Библиотека загрузчиков веб-сайтов
-
20-09-2019 - |
Вопрос
Мне нужно собрать небольшой проект для себя, и мне нужен некоторый функционал для загрузки страницы для просмотра в автономном режиме.Существует ли библиотека, которая будет загружать данную страницу и встроенные в нее изображения и редактировать теги img, чтобы отразить локальное расположение изображений.
Я знаю, что существует множество загрузчиков веб-сайтов, но я не могу найти что-то, что можно было бы использовать непосредственно в своем коде.
У меня есть несколько базовых сценариев, написанных на Python, поэтому Python очень приветствуется.но подойдет практически любой язык.
Решение
Да, BeautifulSoup + питон URLlib модуль
Другие советы
Вы ищете КрасиваяСуп.
Как насчет веб-сканера Python?http://code.google.com/p/pywebcrawler/
ИЛИ, Анемона (рубин)?http://anemone.rubyforge.org/
самое простое решение, которое я могу придумать.
wget -p example.com