UnicodeEncodeError in bellissima zuppa (Python 2.7.1)

Question

Sto usando la bella zuppa 3.2 su Python 2.7.1 qui.

Di recente ho cercato di far funzionare qualcosa di semplice, ma sembra piuttosto complicato:

Faccio quanto segue:

temp=BeautifulSoup(urllib2.urlopen(urlList[1], None,15))

Tuttavia, ricevo l'errore:

File "/home/foo/k/kat/BeautifulSoup.py", line 1519, in __init__
BeautifulStoneSoup.__init__(self, *args, **kwargs)
File "/home/foo/k/kat/BeautifulSoup.py", line 1144, in __init__
self._feed(isHTML=isHTML)
File "/home/foo/k/kat/BeautifulSoup.py", line 1186, in _feed
SGMLParser.feed(self, markup)
File "/usr/lib/python2.7/sgmllib.py", line 104, in feed
self.goahead(0)
File "/usr/lib/python2.7/sgmllib.py", line 143, in goahead
k = self.parse_endtag(i)
File "/usr/lib/python2.7/sgmllib.py", line 320, in parse_endtag
self.finish_endtag(tag)
File "/usr/lib/python2.7/sgmllib.py", line 358, in finish_endtag
method = getattr(self, 'end_' + tag)
UnicodeEncodeError: 'ascii' codec can't encode character u'\xfa' in
position 4: ordinal not in range(128)

Se eseguo lo stesso ciclo un'altra volta, a volte, ottengo anche:

File "/home/foo/k/kat/BeautifulSoup.py", line 1519, in __init__
BeautifulStoneSoup.__init__(self, *args, **kwargs)
File "/home/foo/k/kat/BeautifulSoup.py", line 1144, in
__init__
self._feed(isHTML=isHTML)
File "/home/foo/k/kat/BeautifulSoup.py", line 1186, in _feed
SGMLParser.feed(self, markup)
File "/usr/lib/python2.7/sgmllib.py", line 104, in feed
self.goahead(0)
File "/usr/lib/python2.7/sgmllib.py", line 143, in goahead
k = self.parse_endtag(i)
File "/usr/lib/python2.7/sgmllib.py", line 320, in parse_endtag
self.finish_endtag(tag)
File "/usr/lib/python2.7/sgmllib.py", line 358, in finish_endtag
method = getattr(self, 'end_' + tag)
UnicodeEncodeError: 'ascii' codec can't encode characters in position
4-5: ordinal not in range(128)

Come evito questi errori? Ovviamente qualcosa non va con lo sgmllib.py.

Ho provato alcune soluzioni da SOF:

*] Provato soup = BeautifulSoup(page, fromEncoding=<encoding of the page>)Risultato: lavoro dosent, stessi errori.

*] Ho provato ad aggiornare il mio sgmllib.py da una versione 2.7.2 sul mio risultato di verbiglia 2.7.1: lavoro dosente, stessi errori.

*] Provato html = BeautifulSoup(page.encode('utf-8'))Risultato: lavoro dosent, stessi errori.

Apprezzerei qualsiasi suggerimento su come risolvere questo errore ENCODE.

Answer 1

Prova questo codice nel tuo modulo

if __name__ == "__main__":
    reload(sys)
    sys.setdefaultencoding("utf-8")