BeautifulSoup - طريقة سهلة للحصول على HTML-محتويات الحرة
-
20-09-2019 - |
سؤال
أنا باستخدام هذا الرمز أن تجد جميع الروابط في الصفحة:
soup.findAll('a', href=re.compile('^notizia.php\?idn=\d+'))
وأنه لا وظيفة لها بشكل جيد.للأسف داخل a الوسم هناك الكثير من العلامات المتداخلة مثل الخط, ب و أشياء مختلفة...أود أن الحصول على محتوى النص ، دون أي علامة html.
على سبيل المثال من الرابط:
<A HREF="notizia.php?idn=1134" OnMouseOver="verde();" OnMouseOut="blu();"><FONT CLASS="v12"><B>03-11-2009: <font color=green>CCS Ingegneria Elettronica-Sportello studenti ed orientamento</B></FONT></A>
بالطبع انها قبيحة (و العلامات ليست دائما نفس!) و أود الحصول على:
03-11-2009: CCS Ingegneria Elettronica-Sportello studenti ed orientamento
في وثائق تقول أن استخدام text=True
في findAll الطريقة ولكن فإنه سيتم تجاهل بلدي regex.لماذا ؟ كيف يمكنني حل هذا ؟
المحلول
لقد استعملت هذا:
def textOf(soup):
return u''.join(soup.findAll(text=True))
لذا...
texts = [textOf(n) for n in soup.findAll('a', href=re.compile('^notizia.php\?idn=\d+'))]
نصائح أخرى
المهتمة في pyparsing تأخذ على المشكلة ؟
from pyparsing import makeHTMLTags, SkipTo, anyOpenTag, anyCloseTag, ParseException
htmlsrc = """<A HREF="notizia.php?idn=1134" OnMouseOver="verde();" OnMouseOut="blu();"><FONT CLASS="v12"><B>03-11-2009: <font color=green>CCS Ingegneria Elettronica-Sportello studenti ed orientamento</B></FONT></A>"""
# create pattern to find interesting <A> tags
aStart,aEnd = makeHTMLTags("A")
def matchInterestingHrefsOnly(t):
if not t.href.startswith("notizia.php?"):
raise ParseException("not interested...")
aStart.setParseAction(matchInterestingHrefsOnly)
patt = aStart + SkipTo(aEnd)("body") + aEnd
# create pattern to strip HTML tags, and convert HTML entities
stripper = anyOpenTag.suppress() | anyCloseTag.suppress()
def stripTags(s):
s = stripper.transformString(s)
s = s.replace(" "," ")
return s
for match in patt.searchString(htmlsrc):
print stripTags(match.body)
طباعة:
03-11-2009: CCS Ingegneria Elettronica-Sportello studenti ed orientamento
هذا هو في الواقع جميلة منيع HTML تقلبات ، كما أنه من العوامل في وجود/عدم وجود سمات العلوية/السفلية الحالة ، وهلم جرا.
لا تنتمي إلى StackOverflow