robots.txt块访问所有https：//页面[闭幕

Question

阻止所有访问机器人https：//页面的语法是什么？我有一个现在没有SSL的旧网站，我想阻止对所有https：//页面的访问

Answer 1

我不知道它是否有效，机器人是否使用/请求不同 robots.txt 对于不同的协议。但是你可以提供不同的 robots.txt 对于HTTPS的请求。

所以什么时候 http://example.com/robots.txt 要求您提供正常 robots.txt. 。什么时候 https://example.com/robots.txt 要求您交付 robots.txt 这会剥夺一切。