Автоматическая проверка ссылок для тестирования системы [закрыта]

Question

Мне часто приходится работать с хрупкими устаревшими веб-сайтами, которые неожиданно ломаются при обновлении логики или конфигурации.

У меня нет времени или знаний о системе, необходимых для создания Селен сценарий.Кроме того, я не хочу проверять конкретный вариант использования - я хочу проверить каждую ссылку и страницу на сайте.

Я хотел бы создать автоматизированный системный тест, который будет проходить по сайту и проверять наличие неработающих ссылок и сбоев.В идеале, существовал бы инструмент, который я мог бы использовать для достижения этой цели.Он должен иметь как можно больше следующих функций в порядке убывания приоритета:

• Запускается с помощью скрипта
• Не требует взаимодействия с человеком
• Переходит по всем ссылкам, включая теги привязки и ссылки на файлы CSS и js
• Создает журнал всех найденных 404-х, 500-х и т.д.
• Может быть развернут локально для проверки сайтов во внутренних сетях
• Поддерживает аутентификацию на основе файлов cookie / форм
• Бесплатно / С открытым исходным кодом

Существует множество частичных решений, таких как Физическая форма, Средство проверки ссылок Firefox и средство проверки ссылок W3C, но ни один из них не делает всего, что мне нужно.

Я хотел бы использовать этот тест с проектами, использующими целый ряд технологий и платформ, поэтому, чем более портативным будет решение, тем лучше.

Я понимаю, что это не заменяет надлежащего тестирования системы, но было бы очень полезно, если бы у меня был удобный и автоматизируемый способ проверки того, что ни одна часть сайта не была явно взломана.

Answer 1

Я использую Сыщик по связям с Ксену для такого рода вещей.Быстро проверьте, нет ли мертвых ссылок и т.д.на любом сайте.Просто укажите на любой URI, и он распространит все ссылки на этом сайте.

Описание с сайта:

Ксену ссылка сыщик (ТМ) проверяет веб сайтов на наличие неработающих ссылок.Ссылка проверка осуществляется на "нормальный" ссылки, изображения, рамки, Плагины, фоны, карты местности изображения, стиль листы, скрипты и Java апплеты.IT отображает постоянно обновляемый список URL-адресов, которые можно сортировать по различным критериям.Отчет может быть подготовлен в любое время.

Оно отвечает всем вашим требованиям, за исключением возможности использования скриптов, поскольку это приложение для Windows, которое требует запуска вручную.

Answer 2

Мы используем и нам очень нравится Linkchecker:

http://wummel.github.io/linkchecker/

Это открытый исходный код, Python, командная строка, возможность внутреннего развертывания и вывод в различные форматы.Разработчик нам очень помог, когда мы обратились к нему с проблемами.

У нас есть скрипт Ruby, который запрашивает нашу базу данных внутренних веб-сайтов, запускает LinkChecker с соответствующими параметрами для каждого сайта и анализирует XML, который LinkChecker предоставляет нам, для создания собственного отчета об ошибках для каждого сайта в нашей CMS.

Answer 3

Какая часть вашего списка не соответствует средству проверки ссылок W3C?Это был бы тот, который я бы использовал.

Альтернативно, саржа (на основе Python) — интересный небольшой язык для подобных вещей.Оно имеет модуль проверки ссылок но я не думаю, что это работает рекурсивно, так что для поиска пауков это не очень хорошо.Но вы можете изменить его, если вас это устраивает.И я могу ошибаться, может быть рекурсивный вариант.В любом случае стоит проверить.

Answer 4

Возможно, вы захотите попробовать использовать для этого wget.Он может просматривать сайт, включая «реквизиты страницы» (т. е.файлы) и может быть настроен для регистрации ошибок.Я не знаю, будет ли в нем достаточно информации для вас, но он бесплатен и доступен как для Windows (cygwin), так и для Unix.

Answer 5

InSite это коммерческая программа, которая, похоже, делает то, что вы хотите (её не использовали).

Если бы я был на вашем месте, я бы, наверное, сам написал такого паука...

Answer 6

Я не уверен, что он поддерживает аутентификацию по форме, но он будет обрабатывать файлы cookie, если вы сможете запустить его на сайте, а в противном случае, я думаю, Чекбот сделаю все по вашему списку.Раньше я использовал это в качестве шага в процессе сборки, чтобы проверить, что на сайте ничего не сломано.Есть пример вывода на вебсайте.

Answer 7

мне всегда нравилось Линклинт для проверки ссылок на сайте.Однако я не думаю, что он соответствует всем вашим критериям, особенно тем аспектам, которые могут зависеть от JavaScript.Я также думаю, что он пропустит изображения, вызванные из CSS.

Но для закрепления всех якорей это работает отлично.

Answer 8

Пытаться Сортировка сайта.Это не бесплатно, но, кажется, делает все, что вам нужно, и даже больше.

Альтернативно, PowerMapper от той же компании имеет похожий, но другой подход.Последний даст вам меньше информации о детальной оптимизации ваших страниц, но все равно определит неработающие ссылки и т. д.

Отказ от ответственности:У меня есть финансовый интерес к компании, производящей эту продукцию.

Answer 9

Пытаться http://www.thelinkchecker.com это онлайн-приложение, которое проверяет количество исходящих ссылок, рейтинг страницы, якорь, количество исходящих ссылок.Я думаю, что это то решение, которое вам нужно.