我可以使用robots.txt的同时处理我的网站的htaccess

Question

我用我的网站htaccess的，使得所有到我的网站的要求将在我的根目录重定向到索引页。在我的网站没有其他可以访问文件，因为我的htaccess会限制它。我的疑问是，当我使用robots.txt文件，将搜索引擎能够达到的robots.txt文件中的我的域名？或者必须修改我的htaccess的文件，以允许搜索引擎读取robots.txt文件。如果是的话帮我找到htaccess的特定代码。

Answer 1

我想你正在使用某种形式的重写。可以从通过mod_rewrite的用下面的规则beeing处理排除文件：

RewriteCond %{REQUEST_FILENAME} -f
RewriteRule ^(.*) $1 [L]

在这种情况下的所有的那些在根目录中存在并被直接调用的文件不会被进一步处理的任何。使用robots.txt替换_％{REQUEST_FILENAME}和你应该罚款。

祝，结果 费边

Answer 2

怎么样，如果你可以自己通过Web浏览器访问的robots.txt努力？如果可以的话，那么搜索引擎可以，一个反之亦然（除非你使用的是IP的或特定的浏览器，重定向或此类）。即， http://yoursite.com/robots.txt