Was ist der beste Weg, um eine schlechte Verbindung zu BeautifulSoup gegeben zu behandeln?

Question

Ich arbeite an etwas, das in Urls von köstlich zieht und dann verwende diese URLs zugehörige Feeds zu entdecken.

Allerdings sind einige der Lesezeichen in köstlichen nicht HTML-Links und verursachen BS barf. Grundsätzlich möchte ich einen Link wegzuwerfen, wenn BS es holt und es sieht nicht so aus html.

Im Moment ist das, was ich bekomme.

trillian:Documents jauderho$ ./d2o.py "green data center" 
processing http://www.greenm3.com/
processing http://www.eweek.com/c/a/Green-IT/How-to-Create-an-EnergyEfficient-Green-Data-Center/?kc=rss
Traceback (most recent call last):
  File "./d2o.py", line 53, in <module>
    get_feed_links(d_links)
  File "./d2o.py", line 43, in get_feed_links
    soup = BeautifulSoup(html)
  File "/Library/Python/2.5/site-packages/BeautifulSoup.py", line 1499, in __init__
    BeautifulStoneSoup.__init__(self, *args, **kwargs)
  File "/Library/Python/2.5/site-packages/BeautifulSoup.py", line 1230, in __init__
    self._feed(isHTML=isHTML)
  File "/Library/Python/2.5/site-packages/BeautifulSoup.py", line 1263, in _feed
    self.builder.feed(markup)
  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/HTMLParser.py", line 108, in feed
    self.goahead(0)
  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/HTMLParser.py", line 150, in goahead
    k = self.parse_endtag(i)
  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/HTMLParser.py", line 314, in parse_endtag
    self.error("bad end tag: %r" % (rawdata[i:j],))
  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/HTMLParser.py", line 115, in error
    raise HTMLParseError(message, self.getpos())
HTMLParser.HTMLParseError: bad end tag: u'</b  />', at line 739, column 1

Update:

Jehija Antwort funktioniert der Trick. Als Referenz ist hier ein Code den Inhaltstyp zu erhalten:

def check_for_html(link):
    out = urllib.urlopen(link)
    return out.info().getheader('Content-Type')

Answer 1

ich einfach meine BeautifulSoup Verarbeitung wickeln und suchen die HTMLParser.HTMLParseError Ausnahme

import HTMLParser,BeautifulSoup
try:
    soup = BeautifulSoup.BeautifulSoup(raw_html)
    for a in soup.findAll('a'):
        href = a.['href']
        ....
except HTMLParser.HTMLParseError:
    print "failed to parse",url

aber weiter als das, können Sie den Inhaltstyp der Antworten überprüfen, wenn Sie eine Seite und stellen Sie sicher, kriechen, dass es so etwas wie text/html oder application/xml+xhtml oder so etwas wie das ist, bevor Sie sogar versuchen, es zu analysieren. Das sollte die meisten Fehler den Kopf ab.