Что делать со старыми журналами доступа? [закрыто]

Question

У меня есть 51 ГБ журналов доступа HTTP (Apache) для моего веб-сайта пять лет назад. Что касается моей личности, я являюсь чем-то вроде накопителя, поэтому я не хочу их удалять, даже если он занимает больше места на диске, чем хотелось бы. Должен ли я укусить пулю и удалить? Или анонимизировать?

Что люди делают со своими старыми файлами журналов?

Answer 1

Ответ на самом деле зависит от того, что вам обычно нужно делать с журналами, каков ваш бизнес и ваша (компания?) политика безопасности.

Со своей стороны я обычно никогда не удаляю логи. Они действительно полезны для выявления дыр в безопасности, поведения, тенденций.

Если проблема с хранилищем, рассмотрите возможность использования службы хранилища, такой как Amazon S3, и не забудьте сжать ее! Я обычно перемещаю туда все сжатые журналы старше одного месяца.

Answer 2

Большинство файлов журналов, которые я "накапливал" Я либо застегну молнию на основе месяца / квартала / года, тогда они у вас будут, но файлы журналов молниеносно. Если есть проблема с пространством, запишите на DVD (сделайте более одной копии тоже).

Answer 3

Это много логов. Используете ли вы logrotate ? Простое застегивание их может дать вам комнату, которая вам нужна Все журналы моего сервера свернуты в сжатые файлы. За один год журналы из корпоративной сети малого и среднего бизнеса составляют 174 млн.

Answer 4

Я согласен с другими:

Если вам становится лучше, сожмите и запишите на диск.

Если вам нужен дополнительный комфорт, храните вне офиса.

Если вам просто нужно что-то, что отвлекает вас от решения отпустить, вы можете написать синтаксический анализатор, который разбирает ваши журналы до самого необходимого, находит различия или иным образом калечит их, так что у вас есть кое-что, проницательное, проницательное, сочный набор данных. Тогда вы можете сохранить две вещи. :)

Answer 5

У нас более 75 гигабайт журналов в день. В настоящее время мы не храним журналы по месяцам по понятным причинам, но мы ищем решения, в том числе DFS, чтобы мы могли легко добавить больше. Хранилище дешево, но вы всегда должны думать о том, что, если. При $ 0,15 / месяц / гига вы говорите только о $ 8 / месяц для хранения на S3, и тогда вам не нужно беспокоиться о потере чего-либо. Я предлагаю вам изучить это.

Диски тоже дешевы, если вы заинтересованы, возьмите несколько дешевых дисков за 50 долларов, скопируйте в них логи и храните их в доме друзей / родственников. : -)