Usando FTPLIB para uploads multithread
-
23-09-2019 - |
Pergunta
Estou tentando fazer uploads multithread, mas receba erros. Eu imaginei que talvez seja impossível usar multithreads com ftplib?
Aqui vem meu código:
class myThread (threading.Thread):
def __init__(self, threadID, src, counter, image_name):
self.threadID = threadID
self.src = src
self.counter = counter
self.image_name = image_name
threading.Thread.__init__(self)
def run(self):
uploadFile(self.src, self.image_name)
def uploadFile(src, image_name):
f = open(src, "rb")
ftp.storbinary('STOR ' + image_name, f)
f.close()
ftp = FTP('host') # connect to host, default port
ftp.login() # user anonymous, passwd anonymous@
dirname = "/home/folder/"
i = 1
threads = []
for image in os.listdir(dirname):
if os.path.isfile(dirname + image):
thread = myThread(i , dirname + image, i, image )
thread.start()
threads.append( thread )
i += 1
for t in threads:
t.join()
Obtenha um monte de erros de ftplib como
levantar error_reply, resp error_reply: 200 tipo definido como i
Se eu tentar fazer upload de um por um, tudo funciona bem
Solução
Você já tentou colocar o código de conexão dentro do thread?
Em outras palavras, faça com que cada thread faça sua própria conexão separada com ftp.host () e ftp.login (). O servidor pode não gostar de vários uploads ao mesmo tempo em uma única conexão, porque pode estar analisando comandos um de cada vez e não pode lidar com um segundo comando de upload ou "storr". Mas se você puder fazer várias conexões com o mesmo endereço IP, terá sessão separada para emitir o comando 'stor'.
Aqui está um exemplo:
class myThread (threading.Thread):
def __init__(self, threadID, src, counter, image_name):
###############
#Add ftp connection here!
self.ftp = FTP('host') # connect to host, default port
self.ftp.login() # user anonymous, passwd anonymous@
################
self.threadID = threadID
self.src = src
self.counter = counter
self.image_name = image_name
threading.Thread.__init__(self)
def run(self):
uploadFile(self.src, self.image_name)
def uploadFile(src, image_name):
f = open(src, "rb")
self.ftp.storbinary('STOR ' + image_name, f)
f.close()
dirname = "/home/folder/"
i = 1
threads = []
for image in os.listdir(dirname):
if os.path.isfile(dirname + image):
thread = myThread(i , dirname + image, i, image )
thread.start()
threads.append( thread )
i += 1
for t in threads:
t.join()
Veja se isso se comporta melhor.
PS Não tenho certeza se todas as minhas guias estão alinhadas.