Как узнать текущее использование процессора и оперативной памяти в Python?
https://stackoverflow.com/questions/276052
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
Какой способ получения текущего состояния системы (текущий процессор, оперативная память, свободное место на диске и т. д.) в Python вы предпочитаете?Бонусные баллы для платформ *nix и Windows.
Кажется, есть несколько возможных способов извлечь это из моего поиска:
Использование библиотеки, такой как пси (который в настоящее время, похоже, активно не разрабатывается и не поддерживается на нескольких платформах) или что-то вроде pystatgrab (похоже, снова никакой активности с 2007 года и никакой поддержки Windows).
Использование кода, специфичного для платформы, например,
os.popen("ps")или аналогичный для систем *nix иMEMORYSTATUSвctypes.windll.kernel32(видеть этот рецепт на ActiveState) для платформы Windows.Можно объединить класс Python со всеми этими фрагментами кода.
Дело не в том, что эти методы плохи, но существует ли уже хорошо поддерживаемый многоплатформенный способ сделать то же самое?
Решение
Библиотека psutil предоставит вам некоторую системную информацию (использование ЦП / памяти) по различным платформ:
<Ч>psutil - это модуль, предоставляющий интерфейс для извлечения информации о запущенных процессах и использовании системы (ЦП, память) в портативном виде с использованием Python, реализуя многие функции, предлагаемые такими инструментами, как ps, top и диспетчер задач Windows.
В настоящее время он поддерживает Linux, Windows, OSX, Sun Solaris, FreeBSD, OpenBSD и NetBSD, как 32-разрядные, так и 64-разрядные архитектуры, с версиями Python от 2.6 до 3.5 (пользователи Python 2.4 и 2.5 могут использовать 2.1.3 версия).
ОБНОВЛЕНИЕ: Вот несколько примеров использования psutil :
#!/usr/bin/env python
import psutil
# gives a single float value
psutil.cpu_percent()
# gives an object with many fields
psutil.virtual_memory()
# you can convert that object to a dictionary
dict(psutil.virtual_memory()._asdict())
Другие советы
Используйте библиотеку psutil . На Ubuntu 18.04 pip установлен 5.5.0 (последняя версия) по состоянию на 1-30-2019. Старые версии могут вести себя несколько иначе. Вы можете проверить свою версию psutil, выполнив это в Python:
from __future__ import print_function # for Python2
import psutil
print(psutil.__version__)
Чтобы получить статистику по памяти и процессору:
from __future__ import print_function
import psutil
print(psutil.cpu_percent())
print(psutil.virtual_memory()) # physical memory usage
print('memory % used:', psutil.virtual_memory()[2])
virtual_memory (кортеж) будет иметь процент использования памяти в масштабе всей системы. Мне показалось, что это несколько преувеличено для меня в Ubuntu 18.04.
Вы также можете получить память, используемую текущим экземпляром Python:
import os
import psutil
pid = os.getpid()
py = psutil.Process(pid)
memoryUse = py.memory_info()[0]/2.**30 # memory use in GB...I think
print('memory use:', memoryUse)
который дает текущее использование памяти вашего скрипта Python.
На странице pypi для psutil есть еще несколько подробных примеров .
Только для Linux: Одна строка для использования ОЗУ с зависимостью только от stdlib:
import os
tot_m, used_m, free_m = map(int, os.popen('free -t -m').readlines()[-1].split()[1:])
edit: указанная зависимость ОС от решения
Ниже у меня работают коды без внешних библиотек. Я тестировал на Python 2.7.9
Загрузка процессора
import os
CPU_Pct=str(round(float(os.popen('''grep 'cpu ' /proc/stat | awk '{usage=($2+$4)*100/($2+$4+$5)} END {print usage }' ''').readline()),2))
#print results
print("CPU Usage = " + CPU_Pct)
Использование плунжера, общее, использованное и бесплатное
import os
mem=str(os.popen('free -t -m').readlines())
"""
Get a whole line of memory output, it will be something like below
[' total used free shared buffers cached\n',
'Mem: 925 591 334 14 30 355\n',
'-/+ buffers/cache: 205 719\n',
'Swap: 99 0 99\n',
'Total: 1025 591 434\n']
So, we need total memory, usage and free memory.
We should find the index of capital T which is unique at this string
"""
T_ind=mem.index('T')
"""
Than, we can recreate the string with this information. After T we have,
"Total: " which has 14 characters, so we can start from index of T +14
and last 4 characters are also not necessary.
We can create a new sub-string using this information
"""
mem_G=mem[T_ind+14:-4]
"""
The result will be like
1025 603 422
we need to find first index of the first space, and we can start our substring
from from 0 to this index number, this will give us the string of total memory
"""
S1_ind=mem_G.index(' ')
mem_T=mem_G[0:S1_ind]
"""
Similarly we will create a new sub-string, which will start at the second value.
The resulting string will be like
603 422
Again, we should find the index of first space and than the
take the Used Memory and Free memory.
"""
mem_G1=mem_G[S1_ind+8:]
S2_ind=mem_G1.index(' ')
mem_U=mem_G1[0:S2_ind]
mem_F=mem_G1[S2_ind+8:]
print 'Summary = ' + mem_G
print 'Total Memory = ' + mem_T +' MB'
print 'Used Memory = ' + mem_U +' MB'
print 'Free Memory = ' + mem_F +' MB'
Вот кое-что, что я собрал некоторое время назад, это только окна, но может помочь вам получить часть того, что вам нужно сделать.
Получено из: " для sys доступно mem " http://msdn2.microsoft.com/en-us/library/aa455130.aspx
" отдельная информация о процессе и примеры скриптов на python " http://www.microsoft.com/technet/scriptcenter/scripts /default.mspx?mfr=true
ПРИМЕЧАНИЕ. Интерфейс / процесс WMI также доступен для выполнения аналогичных задач. Я не использую его здесь, потому что текущий метод покрывает мои потребности, но если когда-нибудь понадобится расширить или улучшить его, то, возможно, захочется исследовать инструменты WMI как доступную.
WMI для Python:
http://tgolden.sc.sabren.com/python/wmi.html
Код: http: // monkut. webfactional.com/blog/archive/2009/1/21/windows-process-memory-logging-python '''
Monitor window processes
derived from:
>for sys available mem
http://msdn2.microsoft.com/en-us/library/aa455130.aspx
> individual process information and python script examples
http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true
NOTE: the WMI interface/process is also available for performing similar tasks
I'm not using it here because the current method covers my needs, but if someday it's needed
to extend or improve this module, then may want to investigate the WMI tools available.
WMI for python:
http://tgolden.sc.sabren.com/python/wmi.html
'''
__revision__ = 3
import win32com.client
from ctypes import *
from ctypes.wintypes import *
import pythoncom
import pywintypes
import datetime
class MEMORYSTATUS(Structure):
_fields_ = [
('dwLength', DWORD),
('dwMemoryLoad', DWORD),
('dwTotalPhys', DWORD),
('dwAvailPhys', DWORD),
('dwTotalPageFile', DWORD),
('dwAvailPageFile', DWORD),
('dwTotalVirtual', DWORD),
('dwAvailVirtual', DWORD),
]
def winmem():
x = MEMORYSTATUS() # create the structure
windll.kernel32.GlobalMemoryStatus(byref(x)) # from cytypes.wintypes
return x
class process_stats:
'''process_stats is able to provide counters of (all?) the items available in perfmon.
Refer to the self.supported_types keys for the currently supported 'Performance Objects'
To add logging support for other data you can derive the necessary data from perfmon:
---------
perfmon can be run from windows 'run' menu by entering 'perfmon' and enter.
Clicking on the '+' will open the 'add counters' menu,
From the 'Add Counters' dialog, the 'Performance object' is the self.support_types key.
--> Where spaces are removed and symbols are entered as text (Ex. # == Number, % == Percent)
For the items you wish to log add the proper attribute name in the list in the self.supported_types dictionary,
keyed by the 'Performance Object' name as mentioned above.
---------
NOTE: The 'NETFramework_NETCLRMemory' key does not seem to log dotnet 2.0 properly.
Initially the python implementation was derived from:
http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true
'''
def __init__(self,process_name_list=[],perf_object_list=[],filter_list=[]):
'''process_names_list == the list of all processes to log (if empty log all)
perf_object_list == list of process counters to log
filter_list == list of text to filter
print_results == boolean, output to stdout
'''
pythoncom.CoInitialize() # Needed when run by the same process in a thread
self.process_name_list = process_name_list
self.perf_object_list = perf_object_list
self.filter_list = filter_list
self.win32_perf_base = 'Win32_PerfFormattedData_'
# Define new datatypes here!
self.supported_types = {
'NETFramework_NETCLRMemory': [
'Name',
'NumberTotalCommittedBytes',
'NumberTotalReservedBytes',
'NumberInducedGC',
'NumberGen0Collections',
'NumberGen1Collections',
'NumberGen2Collections',
'PromotedMemoryFromGen0',
'PromotedMemoryFromGen1',
'PercentTimeInGC',
'LargeObjectHeapSize'
],
'PerfProc_Process': [
'Name',
'PrivateBytes',
'ElapsedTime',
'IDProcess',# pid
'Caption',
'CreatingProcessID',
'Description',
'IODataBytesPersec',
'IODataOperationsPersec',
'IOOtherBytesPersec',
'IOOtherOperationsPersec',
'IOReadBytesPersec',
'IOReadOperationsPersec',
'IOWriteBytesPersec',
'IOWriteOperationsPersec'
]
}
def get_pid_stats(self, pid):
this_proc_dict = {}
pythoncom.CoInitialize() # Needed when run by the same process in a thread
if not self.perf_object_list:
perf_object_list = self.supported_types.keys()
for counter_type in perf_object_list:
strComputer = "."
objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")
query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread
if len(colItems) > 0:
for objItem in colItems:
if hasattr(objItem, 'IDProcess') and pid == objItem.IDProcess:
for attribute in self.supported_types[counter_type]:
eval_str = 'objItem.%s' % (attribute)
this_proc_dict[attribute] = eval(eval_str)
this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
break
return this_proc_dict
def get_stats(self):
'''
Show process stats for all processes in given list, if none given return all processes
If filter list is defined return only the items that match or contained in the list
Returns a list of result dictionaries
'''
pythoncom.CoInitialize() # Needed when run by the same process in a thread
proc_results_list = []
if not self.perf_object_list:
perf_object_list = self.supported_types.keys()
for counter_type in perf_object_list:
strComputer = "."
objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")
query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread
try:
if len(colItems) > 0:
for objItem in colItems:
found_flag = False
this_proc_dict = {}
if not self.process_name_list:
found_flag = True
else:
# Check if process name is in the process name list, allow print if it is
for proc_name in self.process_name_list:
obj_name = objItem.Name
if proc_name.lower() in obj_name.lower(): # will log if contains name
found_flag = True
break
if found_flag:
for attribute in self.supported_types[counter_type]:
eval_str = 'objItem.%s' % (attribute)
this_proc_dict[attribute] = eval(eval_str)
this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
proc_results_list.append(this_proc_dict)
except pywintypes.com_error, err_msg:
# Ignore and continue (proc_mem_logger calls this function once per second)
continue
return proc_results_list
def get_sys_stats():
''' Returns a dictionary of the system stats'''
pythoncom.CoInitialize() # Needed when run by the same process in a thread
x = winmem()
sys_dict = {
'dwAvailPhys': x.dwAvailPhys,
'dwAvailVirtual':x.dwAvailVirtual
}
return sys_dict
if __name__ == '__main__':
# This area used for testing only
sys_dict = get_sys_stats()
stats_processor = process_stats(process_name_list=['process2watch'],perf_object_list=[],filter_list=[])
proc_results = stats_processor.get_stats()
for result_dict in proc_results:
print result_dict
import os
this_pid = os.getpid()
this_proc_results = stats_processor.get_pid_stats(this_pid)
print 'this proc results:'
print this_proc_results
" ... текущее состояние системы (текущий процессор, оперативная память, свободное место на диске и т. д.) " И " * nix и платформы Windows " может быть трудной комбинацией для достижения.
Операционные системы принципиально отличаются тем, как они управляют этими ресурсами. Действительно, они различаются по основным понятиям, таким как определение того, что считается системой, а что - временем приложения.
" Свободное место на диске " ;? Что считается «дисковым пространством»? Все разделы всех устройств? А как насчет внешних разделов в мультизагрузочной среде?
Я не думаю, что между Windows и * nix существует достаточно четкий консенсус, который делает это возможным. Действительно, между различными операционными системами, называемыми Windows, может и не быть единого мнения. Существует ли единый Windows API, который работает как для XP, так и для Vista?
Мне кажется, что эти ответы были написаны для Python 2, и в любом случае никто не упомянул стандарт resource , доступный для Python 3. Он предоставляет команды для получения ресурса limit для данного процесса (по умолчанию вызывающий процесс Python) , Это не то же самое, что получение текущего использования ресурсов системой в целом, но это может решить некоторые из тех же проблем, например, например, " Я хочу убедиться, что в этом сценарии я использую только много оперативной памяти X. "
Этот скрипт для загрузки процессора:
import os
def get_cpu_load():
""" Returns a list CPU Loads"""
result = []
cmd = "WMIC CPU GET LoadPercentage "
response = os.popen(cmd + ' 2>&1','r').read().strip().split("\r\n")
for load in response[1:]:
result.append(int(load))
return result
if __name__ == '__main__':
print get_cpu_load()
Мы решили использовать для этого обычный источник информации, потому что мы могли обнаружить мгновенные колебания в свободной памяти и чувствовали, что задаемся вопросом. меминфо источник данных был полезен.Это также помогло нам получить еще несколько связанных параметров, которые были предварительно проанализированы.
Код
import os
linux_filepath = '/proc/meminfo'
meminfo = dict((i.split()[0].rstrip(':'), int(i.split()[1]))
for i in open(linux_filepath).readlines())
meta['memory_total_gb'] = meminfo['MemTotal'] / (2**20)
meta['memory_free_gb'] = meminfo['MemFree'] / (2**20)
meta['memory_available_gb'] = meminfo['MemAvailable'] / (2**20)
Выход для справки (мы удалили все символы новой строки для дальнейшего анализа)
МемВсего:1014500 КБ MemFree:562680 КБ Доступно:646364 КБ буферы:15144 КБ Кэшировано:210720 КБ SwapCached:0 КБ Активно:261476 КБ неактивно:128888 КБ Активный(анон):167092 КБ Неактивно(анон):20888 KB Active (файл):94384 КБ Неактивный(файл):108000 КБ Неизбежно:3652 КБ Mlocked:3652 КБ Всего подкачки:0 КБ без замены:0 КБ Грязный:0 КБ Обратная запись:0 КБ168160 КБ Сопоставлено:81352 КБ Шмем:Плита 21060 КБ:34492 КБ18044 КБ SUnreclaim:16448 КБ KernelStack:2672 КБ.8180 КБ NFS_Unstable:0 КБ отказов:0 КБ WritebackTmp:0 KB Commitlimit:507248 КБ Зафиксировано_AS:1038756 КБ VmallocВсего:34359738367 КБ VmallocИспользовано:0 КБ0 КБ Аппаратное повреждение:0 КБ AnonHugePages:88064 КБ CmaTotal:0 КБ CmaFree:0 KB TUSHPAGES_TOTAL:0 огромных страниц_бесплатно:0 HugePages_Rsvd:0 HugePages_Surp:0 Огромный размер страницы:2048 КБ DirectMap4k:43008 КБ DirectMap2M:1005568 КБ
Для получения подробной информации о процессоре используйте psutil библиотека
Для частоты ОЗУ (в МГц) используйте встроенную библиотеку Linux. dmidecode и немного манипулировать выводом;).для этой команды требуется разрешение root, поэтому укажите также свой пароль.просто скопируйте следующую команду, заменив мойпасс с вашим паролем
import os
os.system("echo mypass | sudo -S dmidecode -t memory | grep 'Clock Speed' | cut -d ':' -f2")------------------- Выход ---------------------------
1600 МТ/с
Неизвестный
1600 МТ/с
Неизвестно 0
- более конкретно
[i for i in os.popen("echo mypass | sudo -S dmidecode -t memory | grep 'Clock Speed' | cut -d ':' -f2").read().split(' ') if i.isdigit()]
-------------------------- выход ----------------------- --
['1600', '1600']
Вы можете использовать psutil или psmem с подпроцессом пример кода
import subprocess
cmd = subprocess.Popen(['sudo','./ps_mem'],stdout=subprocess.PIPE,stderr=subprocess.PIPE)
out,error = cmd.communicate()
memory = out.splitlines()
Ссылка http: // techarena51.com/index.php/how-to-install-python-3-and-flask-on-linux/
Основываясь на коде использования процессора @Hrabal, это то, что я использую:
from subprocess import Popen, PIPE
def get_cpu_usage():
''' Get CPU usage on Linux by reading /proc/stat '''
sub = Popen(('grep', 'cpu', '/proc/stat'), stdout=PIPE, stderr=PIPE)
top_vals = [int(val) for val in sub.communicate()[0].split('\n')[0].split[1:5]]
return (top_vals[0] + top_vals[2]) * 100. /(top_vals[0] + top_vals[2] + top_vals[3])
Я не верю, что есть хорошо поддерживаемая многоплатформенная библиотека. Помните, что сам Python написан на C, поэтому любая библиотека просто примет умное решение о том, какой фрагмент кода для конкретной ОС запускать, как вы предложили выше.
