应用程序如何收集统计数据？

Question

我需要从用 python 编写的服务器应用程序收集统计信息。我正在寻找一些有关如何设置模型以及如何存储统计信息的一般指导。我正在考虑在数据库中存储和组织所有这些信息，但事实证明我的实现过于具体。

我需要随着时间的推移收集活跃用户、处理的请求等统计数据。

是否有任何指南或技术来创建一些更通用的统计存储系统？

Answer 1

与大多数软件解决方案一样，我可以推荐没有一个解决方案可以解决您的问题。但我已经创建了一些类似的程序，这里有一些我发现效果很好的东西。

• 创建异步日志记录服务，以便日志记录不会对代码的性能产生不利影响。（您需要注意数据的存储位置、处理位置等。因为如果不小心的话，性能仍然会显着降低。）我发现创建 Web 服务通常很方便。
• 尝试保存尽可能多的有关请求的信息。将来，这将使添加新查询和报告变得更加容易。
  • 标准化 你的数据
  • 始终包含执行操作的时间。如果您可以捕获运行时间，它通常也很有用。

Answer 2

一种方法是分阶段执行此操作：将活动日志（包括请求和用户）存储为文本文件。之后，将日志挖成数据点（python应该能够轻松完成）。您可能希望将用于python的日志记录库用于日志记录阶段。通常，从高时间分辨率记录开始，您可以稍后将其汇总为每小时，每日，每周摘要等。