robots.txt的和现代重写在.htaccess

Question

在robots.txt文件，我将禁止我的网站的某些部分。

举例来说，我不希望我的“条款与条件”被搜索引擎收录。

 User-agent: *
 Disallow: /terms

该文件的实际路径实际上是

 /data/terms_and_conditions.html

但是我已经使用的.htaccess重写网址。

现在我的Q，我应该在robots.txt或实际的URL指定重写URL？

后续的问题：我是否需要有一个“允许”太行，或将搜索引擎假设所有其他被允许这不是在robots.txt文件

由于

Answer 1

搜索引擎会假定所有其他被允许这不是在robots.txt。在你的情况下，将禁止路径/学期。