Использование Datamining/Statistics для мониторинга журналов

Question

У меня есть большой набор файлов журналов, которые я хочу охарактеризовать или, возможно, добавить какое-то дерево решений или какую-то аналитику.Но я не знаю, что именно.Какой анализ вы проводили с файлами журналов, множеством файлов журналов.

Например, до сих пор я собираю количество запросов к конкретной странице для данного файла журнала.

Сервлет = 60 Сервлетов Дефетс 2 = 70 запросов и т. Д.

Наверное тут же фильтровать только по самым популярным запросам.Кроме того, можно выполнить около 60 запросов за 2 часа.60/160 минут.

Answer 1

Решение о том, какой анализ проводить, зависит от того, какие решения вы пытаетесь принять на основе этого анализа.Например, в настоящее время я отслеживаю в журналах исключения, о которых сообщает наше приложение (все исключения в клиентском приложении регистрируются на сервере), чтобы решить, какие ошибки клиента должны быть высокоприоритетными для расследования.Я также использую программное обеспечение для поиска в журналах для отслеживания любых исключений, о которых сообщает наше серверное программное обеспечение, которые могут потребовать более немедленного расследования.В любом случае, помимо журналов, генерируемых всем, я также использую некоторое программное обеспечение для мониторинга, чтобы отслеживать использование нашего веб-сервера и сервера базы данных, который записывает статистику использования и т. д.в базе данных.Конечная цель — спрогнозировать будущие уровни использования и закупить больше оборудования, если это необходимо, чтобы удовлетворить спрос.

Два (бесплатных) инструмента, которые я использую:

Гиперический для мониторинга его довольно легко настроить, и он может начать регистрировать большое количество данных, которые могут вас заинтересовать, то есть количество запросов в секунду на веб-сервере.

Спланк для поиска файлов журналов его очень легко настроить и работать, и он предоставляет отличные возможности поиска по файлам журналов.Если вы сейчас работаете с файлами журналов и еще не пробовали splunk, я определенно рекомендую это.Я заметил пару моментов 100% загрузки процессора при использовании его на нашем основном рабочем сервере, поэтому недавно перестал запускать его на этом компьютере, просто предупреждение.

Не уверен, какова ваша цель в этом анализе, я в основном сосредоточился на поиске ошибок, о которых мне следует знать, и планировании будущих потребностей в мощности.Если вас интересует последнее, я бы также рекомендовал Искусство планирования мощностей.