“UnicodeEncodeError: o codec 'ASCII' não pode codificar o personagem”

Question

Estou tentando passar grandes cordas de HTML aleatório através de expressões regulares e meu script Python 2.6 está sufocando isso:

UnicodeEncodeError: 'ASCII' Codec não pode codificar o personagem

Eu o rastreei de volta a um sobrescrito de marca registrada no final desta palavra: Protection ™ - e espero encontrar outras pessoas como isso no futuro.

Existe um módulo para processar caracteres não-ASCII? Ou qual é a melhor maneira de lidar/escapar de coisas não-ASCII no Python?

Obrigado! Erro completo:

E
======================================================================
ERROR: test_untitled (__main__.Untitled)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "C:\Python26\Test2.py", line 26, in test_untitled
    ofile.write(Whois + '\n')
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 1005: ordinal not in range(128)

Script completo:

from selenium import selenium
import unittest, time, re, csv, logging

class Untitled(unittest.TestCase):
    def setUp(self):
        self.verificationErrors = []
        self.selenium = selenium("localhost", 4444, "*firefox", "http://www.BaseDomain.com/")
        self.selenium.start()
        self.selenium.set_timeout("90000")

    def test_untitled(self):
        sel = self.selenium
        spamReader = csv.reader(open('SubDomainList.csv', 'rb'))
        for row in spamReader:
            sel.open(row[0])
            time.sleep(10)
            Test = sel.get_text("//html/body/div/table/tbody/tr/td/form/div/table/tbody/tr[7]/td")
            Test = Test.replace(",","")
            Test = Test.replace("\n", "")
            ofile = open('TestOut.csv', 'ab')
            ofile.write(Test + '\n')
            ofile.close()

    def tearDown(self):
        self.selenium.stop()
        self.assertEqual([], self.verificationErrors)

if __name__ == "__main__":
    unittest.main()

Answer 1

Você está tentando passar um bytestring para algo, mas é impossível (da escassez de informações que você fornece) para dizer o que Você está tentando passar para isso. Você começa com uma string Unicode que não pode ser codificada como ASCII (o codec padrão); portanto, você terá que codificar por algum codec diferente (ou translitra -o, como sugere @r.pate) - mas é impossível para uso dizer o que O codec você deve usar, porque não sabemos o que você está passando pelo bytestring e, portanto, não sabemos o que esse subsistema desconhecido poderá aceitar e processar corretamente em termos de codecs.

Na escuridão total que você nos deixa, utf-8 é um palpite cego razoável (já que é um codec que pode representar qualquer string unicode exatamente como um bytestring, e é o codec padrão para muitos propósitos, como o XML) - mas não pode ser mais do que um palpite, até que e a menos que você nos conte mais sobre o que Você está tentando passar por isso, e para quais propósitos.

Passagem thestring.encode('utf-8') em vez de nu thestring definitivamente evitará o erro específico que você está vendo agora, mas pode resultar em exibições peculiares (ou o que quer que seja é Você está tentando fazer com isso bytestring!) A menos que o destinatário esteja pronto, disposto e capaz de aceitar a codificação UTF-8 (e como poderíamos saber, ter absolutamente zero idéia sobre o que o destinatário poderia ser?!-)

Answer 2

Você está tentando converter Unicode para ASCII no modo "rigoroso":

>>> help(str.encode)
Help on method_descriptor:

encode(...)
    S.encode([encoding[,errors]]) -> object

    Encodes S using the codec registered for encoding. encoding defaults
    to the default encoding. errors may be given to set a different error
    handling scheme. Default is 'strict' meaning that encoding errors raise
    a UnicodeEncodeError. Other possible values are 'ignore', 'replace' and
    'xmlcharrefreplace' as well as any other name registered with
    codecs.register_error that is able to handle UnicodeEncodeErrors.

Você provavelmente quer algo como um dos seguintes:

s = u'Protection™'

print s.encode('ascii', 'ignore')    # removes the ™
print s.encode('ascii', 'replace')   # replaces with ?
print s.encode('ascii','xmlcharrefreplace') # turn into xml entities
print s.encode('ascii', 'strict')    # throw UnicodeEncodeErrors

Answer 3

A "melhor maneira" sempre depende de seus requisitos; Então, o que são seus? Ignorar os não-ASCII é apropriado? Você deve substituir ™ por "(tm)"? (O que parece extravagante para este exemplo, mas rapidamente se decompõe para outros pontos de código - mas pode ser exatamente o que você deseja.) A exceção pode ser exatamente o que você precisa; Agora você só precisa lidar com isso de alguma forma?

Só você pode realmente responder a essa pergunta.

Answer 4

Primeiro de tudo, tente instalar traduções para o idioma inglês (ou qualquer outro, se necessário):

sudo apt-get install language-pack-en

que fornece atualizações de dados de tradução para todos os pacotes suportados (incluindo Python).

E certifique -se de usar a codificação certa em seu código.

Por exemplo:

open(foo, encoding='utf-8')

Em seguida, verifique duas vezes a configuração do seu sistema, como o valor de LANG ou configuração do localidade (/etc/default/locale) e não se esqueça de re-lançar sua sessão.