로그 모니터링에 데이터 미닝/통계 사용

Question

나는 어떤 종류의 의사 결정 트리 또는 종류의 분석을 특성화하거나 추가하려는 큰 로그 파일 세트를 가지고 있습니다. 그러나 나는 정확히 무엇을 모른다. 로그 파일, 많은 로그 파일로 어떤 종류의 분석을 수행 했습니까?

예를 들어, 지금까지 주어진 로그 파일에 대한 특정 페이지에 몇 개의 요청이 작성된 수를 수집하고 있습니다.

servlet = 60 requets servlet2 = 70 요청 등

가장 인기있는 요청만으로 필터를 필터로 생각합니다. 또한 2 시간 동안 60 개의 요청과 같은 일을 할 수 있습니다. 60 / 160 분.

Answer 1

어떤 분석을 수행 해야하는지 결정하는 것은 해당 분석을 기반으로 어떤 결정을 내려고하는지 결정합니다. 예를 들어, 현재 응용 프로그램에 의해보고 된 예외에 대한 로그를 모니터링하고 (클라이언트 응용 프로그램의 모든 예외는 서버에 로그인) 조사 할 우선 순위가 높은 클라이언트 버그가 무엇인지 결정합니다. 또한 로그 검색 소프트웨어를 사용하여 더 즉각적인 조사가 필요할 수있는 서버 소프트웨어에서보고 한 예외를 모니터링합니다. 어쨌든 모든 것에 의해 생성 된 로그 외에도 일부 모니터링 소프트웨어를 사용하여 데이터베이스에서 사용 통계 등을 기록하는 웹 서버 및 데이터베이스 서버 사용을 추적합니다. 이것의 마지막 목표는 미래의 사용 수준을 예측하고 수요에 부응하기 위해 더 많은 하드웨어를 구매하는 것입니다.

내가 사용했던 두 가지 도구는 다음과 같습니다.

초심 모니터링을 위해서는 설정이 매우 쉽고 웹 서버에서 초당 요청이 많은 많은 데이터를 로그인 할 수 있습니다.

Splunk 로그 파일 검색의 경우 설정 및 작업을 쉽게 수행 할 수 있으며 로그 파일보다 우수한 검색 기능을 제공합니다. 지금 로그 파일로 작업하고 있고 Splunk를 시도하지 않은 경우 확실히 추천합니다. 나는 메인 프로덕션 서버에서 그것을 사용하는 동안 100% CPU의 몇 순간을 보았으므로 최근에 해당 기계에서 실행을 중지했습니다.

이 분석에서 당신의 목표가 무엇인지 잘 모르겠지만, 내가 알아야 할 오류를 찾고 미래의 용량 요구를 계획하는 데있어서 저의 목표는 매우 중요했습니다. 후자에 관심이 있다면 추천합니다 역량 계획의 기술.