Comment copier un fichier sur un serveur distant en Python en utilisant SCP ou SSH?

Question

J'ai un fichier texte sur ma machine locale généré par un script Python quotidien exécuté dans cron.

J'aimerais ajouter un peu de code pour que ce fichier soit envoyé en toute sécurité à mon serveur via SSH.

Answer 1

Si vous souhaitez une approche simple, cela devrait fonctionner.

Vous voudrez ".close () " le fichier d'abord pour que vous sachiez qu'il est vidé sur le disque de Python.

import os
os.system("scp FILE USER@SERVER:PATH")
#e.g. os.system("scp foo.bar joe@srvr.net:/path/to/foo.bar")

Vous devez générer (sur la machine source) et installer (sur la machine de destination) au préalable une clé ssh afin que le scp soit automatiquement authentifié avec votre clé ssh publique (autrement dit, pour que votre script ne demande pas Un mot de passe).

exemple de ssh-keygen

Answer 2

Effectuer cette opération en Python (c’est-à-dire ne pas insérer scp dans subprocess.Popen ou similaire) avec le Paramiko bibliothèque, vous feriez quelque chose comme ceci:

import os
import paramiko

ssh = paramiko.SSHClient() 
ssh.load_host_keys(os.path.expanduser(os.path.join("~", ".ssh", "known_hosts")))
ssh.connect(server, username=username, password=password)
sftp = ssh.open_sftp()
sftp.put(localpath, remotepath)
sftp.close()
ssh.close()

(Vous voudrez probablement traiter avec des hôtes inconnus, des erreurs, créer les répertoires nécessaires, etc.).

Answer 3

Vous utiliseriez probablement le module de sous-processus . Quelque chose comme ça:

import subprocess
p = subprocess.Popen(["scp", myfile, destination])
sts = os.waitpid(p.pid, 0)

Où destination a probablement la forme utilisateur @ hôte distant: remotepath . Grâce à @Charles Duffy pour avoir signalé la faiblesse de ma réponse d'origine, qui utilisait un seul argument de chaîne pour spécifier l'opération scp shell = True - qui ne gérait pas les espaces dans les chemins.

La documentation du module contient des exemples de vérification des erreurs que vous pouvez effectuer conjointement à cette opération. .

Assurez-vous que vous avez configuré les informations d'identification appropriées pour pouvoir effectuer un scp sans surveillance et sans mot de passe entre le machines . Il existe déjà une question de stackoverflow .

Answer 4

Il existe différentes manières d’aborder le problème:

1. Renvoi sur des programmes en ligne de commande
2. utilisez une bibliothèque Python offrant des fonctionnalités SSH (par exemple, Paramiko ou Conque tordue )

Chaque approche a ses propres bizarreries. Vous devrez configurer les clés SSH pour permettre les connexions sans mot de passe si vous utilisez des commandes système telles que "ssh", "scp". ou "rsync." Vous pouvez incorporer un mot de passe dans un script à l'aide de Paramiko ou d'une autre bibliothèque, mais le manque de documentation peut être frustrant, en particulier si vous ne connaissez pas les bases de la connexion SSH (par exemple, les échanges de clés, les agents, etc.). Il va sans dire que les clés SSH sont presque toujours une meilleure idée que les mots de passe pour ce genre de choses.

REMARQUE: il est difficile de vaincre rsync si vous envisagez de transférer des fichiers via SSH, en particulier si vous utilisez l'alternative simple, vieux scp.

J’ai utilisé Paramiko en vue de remplacer les appels système, mais j’ai été redirigé vers les commandes encapsulées en raison de leur facilité d’utilisation et de leur familiarité immédiate. Vous pourriez être différent. J’ai donné à Conch le coup d’arrivée il ya quelque temps, mais cela ne m’a pas séduit.

Si vous optez pour le chemin d’appel système, Python propose un éventail d’options telles que os.system ou les modules commandes / sous-processus. J'irais avec le module de sous-processus si vous utilisez la version 2.4 +.

Answer 5

Nous avons eu le même problème, mais au lieu de "piratage". ou émulation de ligne de commande:

Trouvé cette réponse ici .

from paramiko import SSHClient
from scp import SCPClient

ssh = SSHClient()
ssh.load_system_host_keys()
ssh.connect('example.com')

with SCPClient(ssh.get_transport()) as scp:
    scp.put('test.txt', 'test2.txt')
    scp.get('test2.txt')

Answer 6

tissu peut être utilisé pour télécharger des fichiers via ssh:

#!/usr/bin/env python
from fabric.api import execute, put
from fabric.network import disconnect_all

if __name__=="__main__":
    import sys
    # specify hostname to connect to and the remote/local paths
    srcdir, remote_dirname, hostname = sys.argv[1:]
    try:
        s = execute(put, srcdir, remote_dirname, host=hostname)
        print(repr(s))
    finally:
        disconnect_all()

Answer 7

Vous pouvez utiliser le paquet vassal, qui est exactement conçu pour cela.

Tout ce dont vous avez besoin est d'installer vassal et de faire

from vassal.terminal import Terminal
shell = Terminal(["scp username@host:/home/foo.txt foo_local.txt"])
shell.run()

De plus, cela vous permettra d’enregistrer vos informations d’authentification et vous éviterez de les taper encore et encore.

Answer 8

L'appel de la commande scp via un sous-processus ne permet pas de recevoir le rapport de progression à l'intérieur du script. pexpect peut être utilisé pour extraire cette information:

import pipes
import re
import pexpect # $ pip install pexpect

def progress(locals):
    # extract percents
    print(int(re.search(br'(\d+)%

 Voir  fichier de copie python dans le réseau local (linux - > linux)  
, locals['child'].after).group(1)))

command = "scp %s %s" % tuple(map(pipes.quote, [srcfile, destination]))
pexpect.run(command, events={r'\d+%': progress})

Voir fichier de copie python dans le réseau local (linux - > linux)

Answer 9

from paramiko import SSHClient
from scp import SCPClient
import os

ssh = SSHClient() 
ssh.load_host_keys(os.path.expanduser(os.path.join("~", ".ssh", "known_hosts")))
ssh.connect(server, username='username', password='password')
with SCPClient(ssh.get_transport()) as scp:
        scp.put('test.txt', 'test2.txt')

Answer 10

J'ai utilisé sshfs pour monter le répertoire distant via ssh et shutil pour copier les fichiers:

$ mkdir ~/sshmount
$ sshfs user@remotehost:/path/to/remote/dst ~/sshmount

Puis en python:

import shutil
shutil.copy('a.txt', '~/sshmount')

Cette méthode offre l’avantage de pouvoir transmettre des données en continu si vous générez des données plutôt que de les mettre en cache localement et d’envoyer un seul fichier volumineux.

Answer 11

Essayez ceci si vous ne voulez pas utiliser les certificats SSL:

import subprocess

try:
    # Set scp and ssh data.
    connUser = 'john'
    connHost = 'my.host.com'
    connPath = '/home/john/'
    connPrivateKey = '/home/user/myKey.pem'

    # Use scp to send file from local to host.
    scp = subprocess.Popen(['scp', '-i', connPrivateKey, 'myFile.txt', '{}@{}:{}'.format(connUser, connHost, connPath)])

except CalledProcessError:
    print('ERROR: Connection to host failed!')

Answer 12

une approche très simple est la suivante:

import os
os.system('sshpass -p "password" scp user@host:/path/to/file ./')

aucune bibliothèque python n'est requise (seulement os) et ça marche

Answer 13

Type de hacky, mais ce qui suit devrait fonctionner:)

import os
filePath = "/foo/bar/baz.py"
serverPath = "/blah/boo/boom.py"
os.system("scp "+filePath+" user@myserver.com:"+serverPath)