Извлечение текста из HTML-файла с помощью Python
https://stackoverflow.com/questions/328356
-
11-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
Я бы хотел извлечь текст из HTML-файла с помощью Python.Я хочу, по сути, тот же результат, который я получил бы, если бы скопировал текст из браузера и вставил его в блокнот.
Я бы хотел что-то более надежное, чем использование регулярных выражений, которые могут привести к сбою в плохо сформированном HTML.Я видела, что многие люди рекомендуют Прекрасный Суп, но у меня было несколько проблем с его употреблением.Во-первых, он обнаруживал нежелательный текст, такой как исходный код JavaScript.Кроме того, он не интерпретировал HTML-объекты.Например, я бы ожидал, что 'в исходном коде HTML, который будет преобразован в текстовый апостроф, точно так же, как если бы я вставил содержимое браузера в блокнот.
Обновить html2text выглядит многообещающе.Он корректно обрабатывает HTML-объекты и игнорирует JavaScript.Однако это точно не создает обычный текст;он создает markdown, который затем должен быть преобразован в обычный текст.Он поставляется без примеров или документации, но код выглядит чистым.
Сопутствующие вопросы:
Решение
html2text - текст это программа на Python, которая довольно хорошо справляется с этой задачей.
Другие советы
Лучший фрагмент кода, который я нашел для извлечения текста без получения javascript или нежелательных вещей :
import urllib
from bs4 import BeautifulSoup
url = "http://news.bbc.co.uk/2/hi/health/2284783.stm"
html = urllib.urlopen(url).read()
soup = BeautifulSoup(html)
# kill all script and style elements
for script in soup(["script", "style"]):
script.extract() # rip it out
# get text
text = soup.get_text()
# break into lines and remove leading and trailing space on each
lines = (line.strip() for line in text.splitlines())
# break multi-headlines into a line each
chunks = (phrase.strip() for line in lines for phrase in line.split(" "))
# drop blank lines
text = '\n'.join(chunk for chunk in chunks if chunk)
print(text)
Вам просто нужно установить BeautifulSoup перед :
pip install beautifulsoup4
ПРИМЕЧАНИЕ: NTLK больше не поддерживает clean_html функция
Оригинальный ответ ниже и альтернативный вариант в разделах комментариев.
Использование НЛТК
Я потратил впустую свои 4-5 часов на устранение проблем с html2text.К счастью, я смог столкнуться с NLTK.
Это работает волшебным образом.
import nltk
from urllib import urlopen
url = "http://news.bbc.co.uk/2/hi/health/2284783.stm"
html = urlopen(url).read()
raw = nltk.clean_html(html)
print(raw)
Сегодня я столкнулся с точно такой же проблемой.Я написал очень простой HTML-анализатор, который удаляет из входящего содержимого все разметки, возвращая оставшийся текст с минимальным форматированием.
from HTMLParser import HTMLParser
from re import sub
from sys import stderr
from traceback import print_exc
class _DeHTMLParser(HTMLParser):
def __init__(self):
HTMLParser.__init__(self)
self.__text = []
def handle_data(self, data):
text = data.strip()
if len(text) > 0:
text = sub('[ \t\r\n]+', ' ', text)
self.__text.append(text + ' ')
def handle_starttag(self, tag, attrs):
if tag == 'p':
self.__text.append('\n\n')
elif tag == 'br':
self.__text.append('\n')
def handle_startendtag(self, tag, attrs):
if tag == 'br':
self.__text.append('\n\n')
def text(self):
return ''.join(self.__text).strip()
def dehtml(text):
try:
parser = _DeHTMLParser()
parser.feed(text)
parser.close()
return parser.text()
except:
print_exc(file=stderr)
return text
def main():
text = r'''
<html>
<body>
<b>Project:</b> DeHTML<br>
<b>Description</b>:<br>
This small script is intended to allow conversion from HTML markup to
plain text.
</body>
</html>
'''
print(dehtml(text))
if __name__ == '__main__':
main()
Вот версия ответа xperroni, которая немного более полная.Он пропускает разделы скрипта и стиля и переводит символы (например, ') и HTML-объекты (например, &).
Он также включает в себя тривиальный обратный конвертер обычного текста в html.
"""
HTML <-> text conversions.
"""
from HTMLParser import HTMLParser, HTMLParseError
from htmlentitydefs import name2codepoint
import re
class _HTMLToText(HTMLParser):
def __init__(self):
HTMLParser.__init__(self)
self._buf = []
self.hide_output = False
def handle_starttag(self, tag, attrs):
if tag in ('p', 'br') and not self.hide_output:
self._buf.append('\n')
elif tag in ('script', 'style'):
self.hide_output = True
def handle_startendtag(self, tag, attrs):
if tag == 'br':
self._buf.append('\n')
def handle_endtag(self, tag):
if tag == 'p':
self._buf.append('\n')
elif tag in ('script', 'style'):
self.hide_output = False
def handle_data(self, text):
if text and not self.hide_output:
self._buf.append(re.sub(r'\s+', ' ', text))
def handle_entityref(self, name):
if name in name2codepoint and not self.hide_output:
c = unichr(name2codepoint[name])
self._buf.append(c)
def handle_charref(self, name):
if not self.hide_output:
n = int(name[1:], 16) if name.startswith('x') else int(name)
self._buf.append(unichr(n))
def get_text(self):
return re.sub(r' +', ' ', ''.join(self._buf))
def html_to_text(html):
"""
Given a piece of HTML, return the plain text it contains.
This handles entities and char refs, but not javascript and stylesheets.
"""
parser = _HTMLToText()
try:
parser.feed(html)
parser.close()
except HTMLParseError:
pass
return parser.get_text()
def text_to_html(text):
"""
Convert the given text to html, wrapping what looks like URLs with <a> tags,
converting newlines to <br> tags and converting confusing chars into html
entities.
"""
def f(mo):
t = mo.group()
if len(t) == 1:
return {'&':'&', "'":''', '"':'"', '<':'<', '>':'>'}.get(t)
return '<a href="%s">%s</a>' % (t, t)
return re.sub(r'https?://[^] ()"\';]+|[&\'"<>]', f, text)
Вы также можете использовать метод html2text в библиотеке stripogram.
from stripogram import html2text
text = html2text(your_html_string)
Чтобы установить stripogram, запустите sudo easy_install stripogram
Я знаю, что уже есть много ответов, но самые элегантный и питонический решение, которое я нашел, описано частично, здесь.
from bs4 import BeautifulSoup
text = ''.join(BeautifulSoup(some_html_string, "html.parser").findAll(text=True))
Обновить
Основываясь на комментарии Фрейзера, вот более элегантное решение:
from bs4 import BeautifulSoup
clean_text = ''.join(BeautifulSoup(some_html_string, "html.parser").stripped_strings)
Существует библиотека шаблонов для интеллектуального анализа данных.
http://www.clips.ua.ac.be/pages/pattern-web
Вы даже можете решить, какие теги сохранить:
s = URL('http://www.clips.ua.ac.be').download()
s = plaintext(s, keep={'h1':[], 'h2':[], 'strong':[], 'a':['href']})
print s
PyParsing отлично справляется с этой задачей.PyParsing wiki был удален, поэтому вот еще одно место, где есть примеры использования PyParsing (пример ссылки).Одна из причин потратить немного времени на pyparsing заключается в том, что он также написал очень краткое, очень хорошо организованное руководство O'Reilly Short Cut, которое к тому же стоит недорого.
Сказав это, я часто использую BeautifulSoup, и справиться с проблемами с сущностями не так уж сложно, вы можете преобразовать их перед запуском BeautifulSoup.
Удачи
Это не совсем решение на Python, но оно преобразует текст, сгенерированный Javascript, в текст, который я считаю важным (например,google.com ).Ссылки браузера (не Lynx) имеют движок Javascript и преобразуют исходный код в текст с помощью опции -dump.
Таким образом, вы могли бы сделать что-то вроде:
fname = os.tmpnam()
fname.write(html_source)
proc = subprocess.Popen(['links', '-dump', fname],
stdout=subprocess.PIPE,
stderr=open('/dev/null','w'))
text = proc.stdout.read()
Вместо модуля HTMLParser проверьте htmllib.Он имеет аналогичный интерфейс, но выполняет большую часть работы за вас.(Он довольно древний, так что это не сильно помогает с точки зрения избавления от javascript и css.Вы могли бы создать производный класс, но и добавить методы с такими именами, как start_script и end_style (подробнее см. Документы python), но трудно сделать это надежно для искаженного html.) В любом случае, вот что-то простое, что выводит обычный текст на консоль
from htmllib import HTMLParser, HTMLParseError
from formatter import AbstractFormatter, DumbWriter
p = HTMLParser(AbstractFormatter(DumbWriter()))
try: p.feed('hello<br>there'); p.close() #calling close is not usually needed, but let's play it safe
except HTMLParseError: print ':(' #the html is badly malformed (or you found a bug)
если вам нужна большая скорость и меньшая точность, то вы могли бы использовать raw lxml.
import lxml.html as lh
from lxml.html.clean import clean_html
def lxml_to_text(html):
doc = lh.fromstring(html)
doc = clean_html(doc)
return doc.text_content()
установить html2text - текст используя
pip устанавливает html2text
тогда,
>>> import html2text
>>>
>>> h = html2text.HTML2Text()
>>> # Ignore converting links from HTML
>>> h.ignore_links = True
>>> print h.handle("<p>Hello, <a href='http://earth.google.com/'>world</a>!")
Hello, world!
Beautiful soup действительно преобразует html-объекты.Вероятно, это ваш лучший выбор, учитывая, что HTML часто глючит и полон проблем с кодировкой unicode и html.Это код, который я использую для преобразования html в необработанный текст:
import BeautifulSoup
def getsoup(data, to_unicode=False):
data = data.replace(" ", " ")
# Fixes for bad markup I've seen in the wild. Remove if not applicable.
masssage_bad_comments = [
(re.compile('<!-([^-])'), lambda match: '<!--' + match.group(1)),
(re.compile('<!WWWAnswer T[=\w\d\s]*>'), lambda match: '<!--' + match.group(0) + '-->'),
]
myNewMassage = copy.copy(BeautifulSoup.BeautifulSoup.MARKUP_MASSAGE)
myNewMassage.extend(masssage_bad_comments)
return BeautifulSoup.BeautifulSoup(data, markupMassage=myNewMassage,
convertEntities=BeautifulSoup.BeautifulSoup.ALL_ENTITIES
if to_unicode else None)
remove_html = lambda c: getsoup(c, to_unicode=True).getText(separator=u' ') if c else ""
Я рекомендую пакет Python под названием goose-extractor Goose попытается извлечь следующую информацию:
Основной текст статьи Основное изображение статьи Любые фильмы Youtube / Vimeo, встроенные в статью Мета-описание Мета-теги
Другой вариант - запустить HTML-код через текстовый веб-браузер и сбросить его.Например (используя Lynx):
lynx -dump html_to_convert.html > converted_html.txt
Это может быть сделано в скрипте python следующим образом:
import subprocess
with open('converted_html.txt', 'w') as outputFile:
subprocess.call(['lynx', '-dump', 'html_to_convert.html'], stdout=testFile)
Это не даст вам точно только текст из HTML-файла, но в зависимости от вашего варианта использования это может быть предпочтительнее вывода html2text.
Другое решение, отличное от python:Офис Libre:
soffice --headless --invisible --convert-to txt input1.html
Причина, по которой я предпочитаю этот вариант другим альтернативам, заключается в том, что каждый абзац HTML преобразуется в одну текстовую строку (без разрывов строк), что я и искал.Другие методы требуют последующей обработки.Lynx действительно выдает хороший результат, но не совсем то, что я искал.Кроме того, Libre Office можно использовать для конвертации из любых форматов...
Кто-нибудь пробовал bleach.clean(html,tags=[],strip=True) с отбеливатель?у меня это работает.
Я знаю, что здесь уже есть много ответов, но я думаю газета3k также заслуживает упоминания.Недавно мне понадобилось выполнить аналогичную задачу по извлечению текста из статей в Интернете, и эта библиотека до сих пор отлично справлялась с этой задачей в моих тестах.Он игнорирует текст, найденный в пунктах меню и боковых панелях, а также любой JavaScript, который появляется на странице в качестве запросов OP.
from newspaper import Article
article = Article(url)
article.download()
article.parse()
article.text
Если у вас уже есть загруженные HTML-файлы, вы можете сделать что-то вроде этого:
article = Article('')
article.set_html(html)
article.parse()
article.text
В нем даже есть несколько функций НЛП для обобщения тем статей:
article.nlp()
article.summary
У меня были хорошие результаты с Апач Тика.Его целью является извлечение метаданных и текста из содержимого, следовательно, базовый анализатор настраивается соответствующим образом "из коробки".
Tika может быть запущена как сервер, тривиально запускать / развертывать в контейнере Docker, и оттуда к нему можно получить доступ через Привязки к Python.
простым способом
import re
html_text = open('html_file.html').read()
text_filtered = re.sub(r'<(.*?)>', '', html_text)
этот код находит все части html_text , начинающиеся с '<' и заканчивающийся на '>' и замените все найденные значения пустой строкой
Ответ @PeYoTIL: использование BeautifulSoup и устранение стиля и содержимого скрипта у меня не сработали.Я попробовал это с помощью decompose вместо того , чтобы extract но это все равно не сработало.Поэтому я создал свой собственный, который также форматирует текст, используя <p> помечает и заменяет <a> теги со ссылкой href.Также справляется со ссылками внутри текста.Доступно по адресу эта суть со встроенным тестовым документом.
from bs4 import BeautifulSoup, NavigableString
def html_to_text(html):
"Creates a formatted text email message as a string from a rendered html template (page)"
soup = BeautifulSoup(html, 'html.parser')
# Ignore anything in head
body, text = soup.body, []
for element in body.descendants:
# We use type and not isinstance since comments, cdata, etc are subclasses that we don't want
if type(element) == NavigableString:
# We use the assumption that other tags can't be inside a script or style
if element.parent.name in ('script', 'style'):
continue
# remove any multiple and leading/trailing whitespace
string = ' '.join(element.string.split())
if string:
if element.parent.name == 'a':
a_tag = element.parent
# replace link text with the link
string = a_tag['href']
# concatenate with any non-empty immediately previous string
if ( type(a_tag.previous_sibling) == NavigableString and
a_tag.previous_sibling.string.strip() ):
text[-1] = text[-1] + ' ' + string
continue
elif element.previous_sibling and element.previous_sibling.name == 'a':
text[-1] = text[-1] + ' ' + string
continue
elif element.parent.name == 'p':
# Add extra paragraph formatting newline
string = '\n' + string
text += [string]
doc = '\n'.join(text)
return doc
В Python 3.x вы можете сделать это очень простым способом, импортировав пакеты 'imaplib' и 'email'.Хотя это более старый пост, но, возможно, мой ответ сможет помочь новичкам в этом посте.
status, data = self.imap.fetch(num, '(RFC822)')
email_msg = email.message_from_bytes(data[0][1])
#email.message_from_string(data[0][1])
#If message is multi part we only want the text version of the body, this walks the message and gets the body.
if email_msg.is_multipart():
for part in email_msg.walk():
if part.get_content_type() == "text/plain":
body = part.get_payload(decode=True) #to control automatic email-style MIME decoding (e.g., Base64, uuencode, quoted-printable)
body = body.decode()
elif part.get_content_type() == "text/html":
continue
Теперь вы можете напечатать основную переменную, и она будет в формате открытого текста :) Если она вас устраивает, было бы неплохо выбрать ее в качестве принятого ответа.
Лучше всего у меня получаются надписи .
https://github.com/weblyzard/inscriptis
import urllib.request
from inscriptis import get_text
url = "http://www.informationscience.ch"
html = urllib.request.urlopen(url).read().decode('utf-8')
text = get_text(html)
print(text)
Результаты действительно хорошие
вы можете извлекать только текст из HTML с помощью BeautifulSoup
url = "https://www.geeksforgeeks.org/extracting-email-addresses-using-regular-expressions-python/"
con = urlopen(url).read()
soup = BeautifulSoup(con,'html.parser')
texts = soup.get_text()
print(texts)
Хотя многие люди упоминали использование регулярных выражений для удаления html-тегов, есть много недостатков.
например:
<p>hello world</p>I love you
Должен быть проанализирован на:
Hello world
I love you
Вот фрагмент, который я придумал, вы можете адаптировать его к вашим конкретным потребностям, и он работает как шарм
import re
import html
def html2text(htm):
ret = html.unescape(htm)
ret = ret.translate({
8209: ord('-'),
8220: ord('"'),
8221: ord('"'),
160: ord(' '),
})
ret = re.sub(r"\s", " ", ret, flags = re.MULTILINE)
ret = re.sub("<br>|<br />|</p>|</div>|</h\d>", "\n", ret, flags = re.IGNORECASE)
ret = re.sub('<.*?>', ' ', ret, flags=re.DOTALL)
ret = re.sub(r" +", " ", ret)
return ret
Вот код, который я использую на регулярной основе.
from bs4 import BeautifulSoup
import urllib.request
def processText(webpage):
# EMPTY LIST TO STORE PROCESSED TEXT
proc_text = []
try:
news_open = urllib.request.urlopen(webpage.group())
news_soup = BeautifulSoup(news_open, "lxml")
news_para = news_soup.find_all("p", text = True)
for item in news_para:
# SPLIT WORDS, JOIN WORDS TO REMOVE EXTRA SPACES
para_text = (' ').join((item.text).split())
# COMBINE LINES/PARAGRAPHS INTO A LIST
proc_text.append(para_text)
except urllib.error.HTTPError:
pass
return proc_text
Я надеюсь, что это поможет.
Комментарий LibreOffice writer заслуживает внимания, поскольку приложение может использовать макросы python.Похоже, что это дает множество преимуществ как для ответа на этот вопрос, так и для расширения базы макросов LibreOffice.Если это решение является одноразовой реализацией, а не предназначено для использования как часть более масштабной производственной программы, открытие HTML в writer и сохранение страницы в виде текста, по-видимому, решат обсуждаемые здесь проблемы.
Perl way (извини, мама, я никогда не буду делать это в продакшене).
import re
def html2text(html):
res = re.sub('<.*?>', ' ', html, flags=re.DOTALL | re.MULTILINE)
res = re.sub('\n+', '\n', res)
res = re.sub('\r+', '', res)
res = re.sub('[\t ]+', ' ', res)
res = re.sub('\t+', '\t', res)
res = re.sub('(\n )+', '\n ', res)
return res
Я добиваюсь этого примерно так.
>>> import requests
>>> url = "http://news.bbc.co.uk/2/hi/health/2284783.stm"
>>> res = requests.get(url)
>>> text = res.text
