C # Baixar todos os arquivos no diretório HTTP
Pergunta
Como faço para baixar todos os arquivos em um diretório e todos os subdiretórios em um servidor HTTP?
Solução
Se a pesquisa no diretório está habilitado no servidor, então você pode rastrear as listas do diretório, ou seja, usar HttpWebRequest para obter a página de listagem, analisar a resposta para encontrar os links de arquivos, baixar cada arquivo (também com HttpWebRequest), navegar para cada subpasta , enxaguar e repetir.
Se a navegação de diretório não está habilitado, então você não pode realmente baixar todos os arquivos em todos os subdiretórios, porque você não pode saber que eles existem.
No entanto, você pode ainda usar HttpWebRequest para indexar as páginas web expostas e baixar quaisquer arquivos vinculados que são de interesse.
Outras dicas
Ao usar uma ferramenta de linha de comando como o wget em vez de reinventar a roda.