Python, перенаправляющий поток Popen в функцию python

Question

Я новичок в программировании на Python.У меня есть такая проблема:У меня есть список текстовых файлов (как сжатых, так и нет), и мне нужно :- подключитесь к серверу и откройте их - после открытия файла мне нужно взять его содержимое и передать его другой функции python, которую я написал

def readLogs (fileName):
f = open (fileName, 'r')
inStream = f.read()
counter = 0
inStream = re.split('\n', inStream) # Create a 'list of lines'
out = ""              # Will contain the output
logInConst = ""       # log In Construction
curLine = ""          # Line that I am working on

for nextLine in inStream:
    logInConst += curLine  
    curLine = nextLine
    #   check if it is a start of a new log && check if the previous log is 'ready'
    if newLogRegExp.match(curLine) and logInConst != "":

        counter = counter + 1

        out = logInConst
        logInConst = ""
        yield out

yield logInConst + curLine

def checkFile (regExp, fileName):
    generatore = readLogs(fileName)
    listOfMatches=[]

    for i in generatore: #I'm now cycling through the logs
        # regExp must be a COMPILE regular expression
        if regExp.search(i):
            listOfMatches.append(i)
    return listOfMatches

для того, чтобы уточнить информацию, содержащуюся в этих файлах.Цель функции - записать всего в 1 строку журналы , которые хранятся в этих файлах , используя 3 строки ...Функция отлично работает с файлами, считываемыми с моего локального компьютера, но я не могу понять, как подключиться к удаленному серверу и создать эти однострочные журналы без сохранения содержимого каждого файла в виде строки и последующей работы со строкой ...Команда, которую я использую для подключения к удаленному компьютеру, является :

connection_out = Popen(['ssh', retList[0], 'cd '+retList[2]+'; cat'+fileName], stdout=PIPE).communicate()[0]

retList[0] и retList [2] - это user@remote и имя папки, к которой я должен получить доступ

Заранее всем спасибо !

Обновить:

Моя проблема в том, что сначала я должен установить ssh-соединение :

pr1=Popen(['ssh', 'siatc@lgssp101', '*~/XYZ/AAAAA/log_archive/00/MSG_090308_162648.gz*' ], stdout=PIPE).communicate()[0]

Все файлы, которые мне нужно открыть, хранятся в списке FileList[], часть из них сжаты (.gz), а часть - просто текстовые файлы!!Я перепробовал все процедуры, которые вы показывали перед ботом, но ничего не сработало...Я думаю, что я должен изменить третий аргумент функции Popen, но я не могу понять, как это сделать!Есть ли кто - нибудь , кто может мне помочь ???

Answer 1

Вам не нужно самостоятельно разбивать поток / файл на строки.Просто повторите:

for ln in f:
    # work on line in ln

Это должно одинаково хорошо работать для файлов (используя open() для file()) и каналов (используя Popen).Используйте stdout свойство объекта popen для доступа к каналу, подключенному к стандартному выходу подпроцесса

Пример

from subprocess import Popen, PIPE
pp = Popen('dir', shell=True, stdout=PIPE)

for ln in pp.stdout:
    print '#',ln

Answer 2

Удалите InStream и просто используйте файловый объект.

Чтобы ваш код читался следующим образом:

for nextLine in f.readlines():
    .
    .
    .

Бер все правильно понял.

Чтобы уточнить, поведение итерации файлового объекта по умолчанию заключается в возврате следующей строки.итак "для следующей строки в f" даст вам те же результаты , что и "для следующей строки в f.readlines()".

Дополнительные сведения см. в документации по файловому объекту: http://docs.python.org/library/stdtypes.html#bltin-file-objects

Answer 3

Если вы хотите что-то сделать через ssh, почему бы не использовать SSH-модуль Python?

Answer 4

Попробуйте эту страницу, лучшая информация о popen, которую я нашел на данный момент....

http://jimmyg.org/blog/2009/working-with-python-subprocess.html