Парсер/анализатор журналов в Unix

Question

Какой популярный инструмент используют в Unix для анализа/анализа файлов журналов?Занимаясь подсчетом, найдите уникальные, выберите/скопируйте определенную строку, имеющую определенные закономерности.Посоветуйте, пожалуйста, какие-нибудь инструменты или какое-нибудь ключевое слово.Поскольку я считаю, что подобные вопросы должны были задаваться и раньше, но я понятия не имею о ключевых словах.Спасибо.

Answer 1

Для регулярной ночной проверки имеется logwatch которые имеют несколько разных скриптов в /usr/share/logwatch/scripts/services которые проверяют определенные вещи (например, данные веб-сервера, данные ftp-сервера, данные, связанные с sshd и т. д.) в системном журнале.Установка по умолчанию включает большинство из них, но вы можете включать/отключать их по своему усмотрению или даже писать свои собственные сценарии.

Для просмотра в реальном времени есть многохвостый.

Answer 2

Я считаю огромным провалом то, что многие форматы журналов не разделяют столбцы правильными уникальными разделителями полей.Не потому, что это лучше, а потому, что это основная предпосылка unix textutils, которые работают с табличными данными.Вместо этого они, как правило, используют пробелы в качестве разделителей и поля кавычек, которые могут содержать пробелы.

Одним из наиболее практичных и простых изменений, которые я внес в анализ веб-журналов, было оставить формат журнала NCSA по умолчанию, создаваемый веб-сервером nginx, и вместо этого использовать табуляцию в качестве разделителя полей.

Внезапно я смог использовать все примитивные текстовые утилиты Unix для быстрого поиска, но особенно awk!Печатайте только те строки, в которых поле user-agent содержит Googlebot:

awk 'BEGIN {FS="\t"}  $7 ~ /Googlebot/ { print; }' < logfile

Найдите количество запросов для каждого уникального запроса

awk 'BEGIN {FS="\t"}  { print $4; }' < logfile | sort | uniq -c | sort -n

И, конечно же, множество комбинаций для поиска конкретных посетителей.

Answer 3

Возможно, вы захотите попробовать лнав, анализатор журналов на основе проклятий.Он имеет большинство функций, которые вы ожидаете от анализатора журналов, такие как хронологическое расположение сообщений журнала из нескольких файлов журнала, поддержка нескольких форматов журналов, выделение сообщений об ошибках/предупреждениях, горячие клавиши для навигации между сообщениями об ошибках/предупреждениях, поддержка SQL. запросы и многое другое.Взгляните на проект Веб-сайт скриншоты и подробный список функций.

Answer 4

Взгляните на некоторые из перечисленных общих анализаторов журналов. здесь.Если вы используете что-то вроде syslog, вы, вероятно, также можете получить собственный парсер/анализатор.В противном случае, для тривиального поиска, любой язык сценариев, например perl, python или даже awk достаточно.

Answer 5

Можно использовать любой язык программирования, который позволяет открывать и читать файлы, выполнять манипуляции со строками/текстом, например Perl, Python, (g)awk, Ruby, PHP, даже Java и т. д.Они поддерживают модули для форматов файлов, которые вы анализируете, например CSV и т. д.