建议使用哪种Python内存分析器？ [关闭]

https://stackoverflow.com/questions/110259

02-07-2019
|

题

我想知道我的Python应用程序的内存使用情况，并且特别想知道哪些代码块/部分或对象占用了大部分内存。 Google搜索显示商业广告是 Python内存验证器（仅限Windows）。

开源的 PySizer 和 Heapy 。

我没有尝试任何人，所以我想知道哪一个是最好的考虑：

提供大部分详细信息。
我必须对代码做最少的修改或不做任何修改。

解决方案

Heapy 使用非常简单。在代码中的某个时刻，您必须编写以下内容：

from guppy import hpy
h = hpy()
print h.heap()

这会给你一些这样的输出：

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

您还可以找出引用对象的位置并获取有关它的统计信息，但不知何故，文档上的文档有点稀疏。

还有一个图形浏览器，用Tk编写。

其他提示

由于没有人提及它，我将指向我的模块 memory_profiler ，它能够逐行打印内存使用情况的报告，适用于Unix和Windows（最后一个需要psutil）。输出不是很详细，但目标是概述代码消耗更多内存的位置，而不是对已分配对象的详尽分析。

使用 @profile 装饰您的函数并使用 -m memory_profiler 标志运行代码后，它将打印出这样的逐行报告：

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

我建议 Dowser 。它很容易设置，您只需对代码进行零更改。您可以通过时间查看每种类型的对象计数，查看活动对象列表，查看对活动对象的引用，所有这些都来自简单的Web界面。

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

导入memdebug，并调用memdebug.start。就是这样。

我没有尝试过PySizer或Heapy。我会很感激别人的评论。

<强>更新

以上代码适用于 CherryPy 2.X ， CherryPy 3.X server.quickstart 方法已被删除且 engine.start 不带 blocking 标志。因此，如果您使用的是 CherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

考虑 objgraph 库（参见 http://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks 示例用例）

Muppy 是（又一个）适用于Python的内存使用情况分析器。该工具集的重点是识别内存泄漏。

Muppy试图帮助开发人员识别Python应用程序的内存泄漏。它可以在运行时跟踪内存使用情况，并识别泄漏的对象。此外，还提供了一些工具，可以找到未释放对象的来源。

我发现 meliae 比Heapy或PySizer功能更强大。如果您正在运行wsgi webapp，那么 Dozer 是Dowser的一个不错的中间件包装器

我正在为Python开发一个名为memprof的内存分析器：

http://jmdana.github.io/memprof/

它允许您在执行装饰方法期间记录和绘制变量的内存使用情况。您只需使用以下方法导入库：