Есть ли модуль профилирования высокого уровня для Python?

Question

Я хочу профилировать свой код Python. Я хорошо знаю cProfile, И я использую его, но это слишком низкий уровень. (Например, даже нет прямого способа получить возвращаемое значение из функции, которую вы профилируете.)

Одна из вещей, которые я хотел бы сделать: я хочу сделать функцию в моей программе и установить его, чтобы быть профилированным на лету при запуске программы.

Например, скажем, у меня есть функция heavy_func в моей программе. Я хочу начать программу и иметь heavy_func Функция не сам профиль. Но когда-нибудь во время выполнения моей программы я хочу изменить heavy_func чтобы профилировать себя, пока он работает. (Если вам интересно, как я могу манипулировать вещами, пока запущена программа: я могу сделать это либо из исследуемого зонда или из оболочки, встроенного в мое приложение GUI.)

Есть ли уже написанный модуль, который хочет так? Я могу написать это сам, но я просто хотел спросить раньше, поэтому я не буду изобретать колесо.

Answer 1

Я написал свой собственный модуль для этого. Я назвал это cute_profile. Вот код. Вот тесты.

Вот пост блога, объясняющий, как его использовать.

Это часть Гарницим, Так что, если вы хотите использовать его, вы можете установить garlicsim и делай from garlicsim.general_misc import cute_profile.

Если вы хотите использовать его на коде Python 3, просто установите Python 3 вилка garlicsim.

Вот а устаревший Выдержка из кода:

import functools

from garlicsim.general_misc import decorator_tools

from . import base_profile


def profile_ready(condition=None, off_after=True, sort=2):
    '''
    Decorator for setting a function to be ready for profiling.

    For example:

        @profile_ready()
        def f(x, y):
            do_something_long_and_complicated()

    The advantages of this over regular `cProfile` are:

     1. It doesn't interfere with the function's return value.

     2. You can set the function to be profiled *when* you want, on the fly.

    How can you set the function to be profiled? There are a few ways:

    You can set `f.profiling_on=True` for the function to be profiled on the
    next call. It will only be profiled once, unless you set
    `f.off_after=False`, and then it will be profiled every time until you set
    `f.profiling_on=False`.

    You can also set `f.condition`. You set it to a condition function taking
    as arguments the decorated function and any arguments (positional and
    keyword) that were given to the decorated function. If the condition
    function returns `True`, profiling will be on for this function call,
    `f.condition` will be reset to `None` afterwards, and profiling will be
    turned off afterwards as well. (Unless, again, `f.off_after` is set to
    `False`.)

    `sort` is an `int` specifying which column the results will be sorted by.
    '''


    def decorator(function):

        def inner(function_, *args, **kwargs):

            if decorated_function.condition is not None:

                if decorated_function.condition is True or \
                   decorated_function.condition(
                       decorated_function.original_function,
                       *args,
                       **kwargs
                       ):

                    decorated_function.profiling_on = True

            if decorated_function.profiling_on:

                if decorated_function.off_after:
                    decorated_function.profiling_on = False
                    decorated_function.condition = None

                # This line puts it in locals, weird:
                decorated_function.original_function

                base_profile.runctx(
                    'result = '
                    'decorated_function.original_function(*args, **kwargs)',
                    globals(), locals(), sort=decorated_function.sort
                )                
                return locals()['result']

            else: # decorated_function.profiling_on is False

                return decorated_function.original_function(*args, **kwargs)

        decorated_function = decorator_tools.decorator(inner, function)

        decorated_function.original_function = function
        decorated_function.profiling_on = None
        decorated_function.condition = condition
        decorated_function.off_after = off_after
        decorated_function.sort = sort

        return decorated_function

    return decorator

Answer 2

Это может быть маленькая разум, но Эта техника Должна помочь вам найти «узкие места», это то, что вы хотите сделать. Вы уверены в том, какую рутину вы хотите сосредоточиться. Если это рутина, на которой вам нужно сосредоточиться, она докажет вас правильно. Если реальные проблемы (ы) где-то еще, она покажет вам, где они есть.

Если вы хотите утомительный список причин, почему, Смотри сюда.