如何处理大量的日志文件数据以在动态图表中显示？

Question

我有很多日志文件数据，我想从基本上任意的时间段内显示动态图，可选地通过不同的列进行过滤或汇总（我可以预生化）。我想知道将数据存储在数据库中并访问以显示图表的最佳方法，

• 时间分辨率应从一秒钟到一年的变化
• 有一些条目跨越了几个“时间存储桶”，例如，连接可能已经开放了几天，我想计数并显示她每小时连接的用户或完成

是否有最佳实践，或用于有助于处理此类数据的轨道的工具/插件？是否有专门针对此的数据库引擎或具有有用的功能（例如CouchDB索引）？

编辑：我正在寻找 可扩展 处理此数据和访问模式的方法。我们考虑的事情：为每个存储桶运行查询，在应用程序中合并 - 可能太慢了。小组通过时间戳/粒度 - 无法正确计算连接。通过最小的粒度和查询的降采样将数据预处理成行 - 可能是最好的方法。

Answer 1

我最终解决的方式是将数据预处理到每分钟的存储桶中，因此每个事件和分钟都有一行。这使得它变得容易快速，可以选择和产生正确的结果。为了获得不同的粒度，您可以在时间戳列上进行整数算术 - 选择ABS（时间戳/因子）*因子和组通过ABS（TIMESTAMP/FICERS）*因子。

Answer 2

我认为您可以为此使用MySQL时间戳。