Профилирование многопроцессорного пула Python
-
06-07-2019 - |
Вопрос
Я пытаюсь запустить cProfile.runctx () для каждого процесса в многопроцессорном пуле, чтобы получить представление о узких местах многопроцессорности в моем источнике. Вот упрощенный пример того, что я пытаюсь сделать:
from multiprocessing import Pool
import cProfile
def square(i):
return i*i
def square_wrapper(i):
cProfile.runctx("result = square(i)",
globals(), locals(), "file_"+str(i))
# NameError happens here - 'result' is not defined.
return result
if __name__ == "__main__":
pool = Pool(8)
results = pool.map_async(square_wrapper, range(15)).get(99999)
print results
К сожалению, при попытке выполнить " result = square (i) " в профилировщике не влияет на «результат» в области, из которой он был вызван. Как я могу выполнить то, что я пытаюсь сделать здесь?
Решение
Попробуйте это:
def square_wrapper(i):
result = [None]
cProfile.runctx("result[0] = square(i)", globals(), locals(), "file_%d" % i)
return result[0]
Не связан с StackOverflow