¿Opciones de protocolo de transferencia de archivos?

Question

Estoy buscando una buena forma de transferir cantidades de datos no triviales (10G > x > 10MB) de una máquina a otra, potencialmente en varias sesiones.

He mirado brevemente

• * ftp (sftp, tftp, ftp)
• http
• torrents (porque no tendré una red de semillas en general)
• rsync (no estoy seguro si realmente puedo adaptar esto a lo que necesito)

¿Hay otros protocolos por ahí que puedan ajustarse un poco mejor a la cuenta? La mayoría de los anteriores no son muy tolerantes a los fallos en sí mismos, sino que dependen de las aplicaciones cliente / servidor para resolver el problema. En esta etapa, me importa mucho más el protocolo en sí, en lugar de una implementación cliente / servidor en particular que funcione bien.

(Y sí, sé que puedo escribir mi propio sobre udp, pero preferiría casi cualquier otra cosa !!)

Answer 1

Utilizo rsync (a través de SSH) para transferir cualquier cosa que creo que puede tomar más de un minuto.

Es fácil clasificar, suspender / reanudar y obtener informes de progreso. Puedes automatizarlo con claves SSH. Ya está (generalmente) ya instalado (en las cajas * nix, de todos modos).

Dependiendo de lo que necesite, rsync probablemente pueda adaptarse. Si está distribuyendo a una gran cantidad de usuarios, FTP / HTTP podría ser mejor para las preocupaciones del firewall; pero rsync es ideal para transferencias de uno a uno o de uno a unos pocos.

Answer 2

rsync es casi siempre la mejor apuesta.

ya que solo transfiere diferencias, si la transferencia se interrumpe, la próxima vez no será tan diferente como la primera (cuando no había un archivo en el destino)

Answer 3

BitTorrent no requiere una gran red de semillas para que sea eficaz, funcionará bien con una sembradora y un compañero. Hay un poco de gastos generales al configurar un rastreador, etc., pero una vez configurado, será un método de transferencia agradable, ágil y tolerante a errores.

Answer 4

Bueno, HTTP es una buena opción, ya que admite el reinicio de transferencias parciales mediante el uso de rangos de bytes . FTP o TFTP son buenos porque puede obtener un software de servidor que es extremadamente fácil de configurar, en lugar de tener que bloquear algo como un servidor HTTP.

Answer 5

GridFTP es lo que Argonne está usando para transportar enormes cantidades de datos de forma fiable.