Traitement CloudFront-logs avec Elastic MapReduce (PIG)

Question

Je voudrais traiter les accès-journaux qui crée Amazon CloudFront avec Amazon Elastic MapReduce.

J'ai juste besoin des statistiques simples sur combien de fois des fichiers différents a été chargé de CloudFront donc je pensais que je devrais écrire un script simple, PIG pour cela.

Le premier problème est que j'ai CloudFront écrire les journaux gzippés et pour autant que je sais que je ne peux pas lire .gz chez le porc?

Toutes les suggestions sur la façon dont je devrais le faire? Je suis très nouveau pour Elastic MapReduce donc des conseils sur la façon de structurer ce genre de travail est bien accueilli.

Answer 1

Désolé, cela fonctionne par défaut. Pas besoin de décompresser les journaux avant de les traiter. Mon mauvais.

Answer 2

Vous pourriez être intéressé Qloudstat . Nous offrirons des statistiques des journaux d'accès CloudFront en tant que service.