Преобразование объектов XML/HTML в строку Unicode в Python

https://stackoverflow.com/questions/57708

09-06-2019
|

Вопрос

На этот вопрос уже есть ответ здесь:

Декодировать объекты HTML в строке Python? 5 ответов

Я занимаюсь парсингом веб-страниц, и сайты часто используют объекты HTML для представления символов, отличных от ascii.Есть ли в Python утилита, которая принимает строку с объектами HTML и возвращает тип Юникода?

Например:

Я вернусь:

&#x01ce;

который представляет собой букву «ώ» со знаком тона.В двоичном формате это представлено как 16 бит 01ce.Я хочу преобразовать объект html в значение u'\u01ce'

Решение

Собственный HTMLParser стандартной библиотеки имеет недокументированную функцию unescape(), которая делает именно то, что вы думаете:

import HTMLParser
h = HTMLParser.HTMLParser()
h.unescape('&copy; 2010') # u'\xa9 2010'
h.unescape('&#169; 2010') # u'\xa9 2010'

Другие советы

У Python есть htmlentitydefs модуль, но он не включает функцию отмены экранирования HTML-объектов.

У разработчика Python Фредрика Лунда (автора, среди прочего, elementtree) есть такая функция. на его сайте, который работает с десятичными, шестнадцатеричными и именованными объектами:

import re, htmlentitydefs

##
# Removes HTML or XML character references and entities from a text string.
#
# @param text The HTML (or XML) source text.
# @return The plain text, as a Unicode string, if necessary.

def unescape(text):
    def fixup(m):
        text = m.group(0)
        if text[:2] == "&#":
            # character reference
            try:
                if text[:3] == "&#x":
                    return unichr(int(text[3:-1], 16))
                else:
                    return unichr(int(text[2:-1]))
            except ValueError:
                pass
        else:
            # named entity
            try:
                text = unichr(htmlentitydefs.name2codepoint[text[1:-1]])
            except KeyError:
                pass
        return text # leave as is
    return re.sub("&#?\w+;", fixup, text)

Используйте встроенный unichr -- BeautifulSoup не требуется:

>>> entity = '&#x01ce'
>>> unichr(int(entity[3:],16))
u'\u01ce'

Альтернатива, если у вас есть lxml:

>>> import lxml.html
>>> lxml.html.fromstring('&#x01ce').text
u'\u01ce'

Если вы используете Python 3.4 или новее, вы можете просто использовать команду html.unescape:

import html

s = html.unescape(s)

Ответ можно найти здесь - Получение международных символов с веб-страницы?

РЕДАКТИРОВАТЬ:Кажется, что BeautifulSoup не преобразует сущности, записанные в шестнадцатеричной форме.Это можно исправить:

import copy, re
from BeautifulSoup import BeautifulSoup

hexentityMassage = copy.copy(BeautifulSoup.MARKUP_MASSAGE)
# replace hexadecimal character reference by decimal one
hexentityMassage += [(re.compile('&#x([^;]+);'), 
                     lambda m: '&#%d;' % int(m.group(1), 16))]

def convert(html):
    return BeautifulSoup(html,
        convertEntities=BeautifulSoup.HTML_ENTITIES,
        markupMassage=hexentityMassage).contents[0].string

html = '<html>&#x01ce;&#462;</html>'
print repr(convert(html))
# u'\u01ce\u01ce'

РЕДАКТИРОВАТЬ:

unescape() функция, упомянутая @dF который использует htmlentitydefs стандартный модуль и unichr() может быть более уместным в данном случае.

Это функция, которая должна помочь вам сделать все правильно и преобразовать объекты обратно в символы utf-8.

def unescape(text):
   """Removes HTML or XML character references 
      and entities from a text string.
   @param text The HTML (or XML) source text.
   @return The plain text, as a Unicode string, if necessary.
   from Fredrik Lundh
   2008-01-03: input only unicode characters string.
   http://effbot.org/zone/re-sub.htm#unescape-html
   """
   def fixup(m):
      text = m.group(0)
      if text[:2] == "&#":
         # character reference
         try:
            if text[:3] == "&#x":
               return unichr(int(text[3:-1], 16))
            else:
               return unichr(int(text[2:-1]))
         except ValueError:
            print "Value Error"
            pass
      else:
         # named entity
         # reescape the reserved characters.
         try:
            if text[1:-1] == "amp":
               text = "&amp;amp;"
            elif text[1:-1] == "gt":
               text = "&amp;gt;"
            elif text[1:-1] == "lt":
               text = "&amp;lt;"
            else:
               print text[1:-1]
               text = unichr(htmlentitydefs.name2codepoint[text[1:-1]])
         except KeyError:
            print "keyerror"
            pass
      return text # leave as is
   return re.sub("&#?\w+;", fixup, text)

Не уверен, почему поток переполнения стека не включает в себя '; " в поиске/замене (т.е.лямбда м:'&#%d*;*') Если вы этого не сделаете, BeautifulSoup может выблевать, потому что соседний символ может интерпретироваться как часть HTML-кода (т. е.&#39B для &#39Blackout).

Это сработало лучше для меня:

import re
from BeautifulSoup import BeautifulSoup

html_string='<a href="/cgi-bin/article.cgi?f=/c/a/2010/12/13/BA3V1GQ1CI.DTL"title="">&#x27;Blackout in a can; on some shelves despite ban</a>'

hexentityMassage = [(re.compile('&#x([^;]+);'), 
lambda m: '&#%d;' % int(m.group(1), 16))]

soup = BeautifulSoup(html_string, 
convertEntities=BeautifulSoup.HTML_ENTITIES, 
markupMassage=hexentityMassage)

int(m.group(1), 16) преобразует числовой формат (указанный в базе 16) обратно в целое число.
m.group(0) возвращает всё совпадение, m.group(1) возвращает группу захвата регулярного выражения.
По сути, использование markupMessage аналогично:
html_string = re.sub('&#x([^;]+);', лямбда м:'&#%d;' % int (M.Group (1), 16), html_string)

Другое решение — встроенная библиотека xml.sax.saxutils (как для html, так и для xml).Однако он преобразует только &gt, &amp и &lt.

from xml.sax.saxutils import unescape

escaped_text = unescape(text_to_escape)

Вот версия Python 3 ответ dF:

import re
import html.entities

def unescape(text):
    """
    Removes HTML or XML character references and entities from a text string.

    :param text:    The HTML (or XML) source text.
    :return:        The plain text, as a Unicode string, if necessary.
    """
    def fixup(m):
        text = m.group(0)
        if text[:2] == "&#":
            # character reference
            try:
                if text[:3] == "&#x":
                    return chr(int(text[3:-1], 16))
                else:
                    return chr(int(text[2:-1]))
            except ValueError:
                pass
        else:
            # named entity
            try:
                text = chr(html.entities.name2codepoint[text[1:-1]])
            except KeyError:
                pass
        return text # leave as is
    return re.sub("&#?\w+;", fixup, text)

Основные изменения касаются htmlentitydefs это сейчас html.entities и unichr это сейчас chr.Видеть это Руководство по портированию Python 3.

Лицензировано под: CC-BY-SA с атрибуция

Не связан с StackOverflow