C# 下载HTTP目录下的所有文件

Question

如何下载 HTTP 服务器上目录及其所有子目录中的所有文件？

Answer 1

如果服务器上启用了目录浏览，那么您可以抓取目录列表，即使用 HttpWebRequest 获取列表页面，解析响应以查找文件链接，下载每个文件（也使用 HttpWebRequest），导航到每个子文件夹，冲洗并重复。

如果未启用目录浏览，则您无法真正下载所有子目录中的所有文件，因为您不知道它们存在。

但是，您仍然可以使用 HttpWebRequest 来抓取公开的网页并下载任何感兴趣的链接文件。

Answer 2

通过使用像 wget 这样的命令行工具，而不是重新发明轮子。