如何以及在哪里robots.txt文件添加到ASP.net的Web应用程序？

Question

我使用ASP.net与C＃。

要提高我在谷歌网站的搜索性，我已经搜索与发现，我可以用我的robots.txt做，但我真的没有任何想法如何创建它，并在那里我可以把我的标签等ASP.net，C#在我的txt文件。

另外，请让我知道必要的步骤，它包括在我的应用程序。

Answer 1

robots.txt文件的根文件夹中的文本文件集搜索机器人，主要是哪些文件夹来访问和没有什么一定的规则。你可以阅读更多关于它在这里： http://www.robotstxt.org/robotstxt.html

Answer 2

大多数搜索引擎将索引你的网站的除非的一个robots.txt告诉它不要。换句话说，robots.txt的通常用于排除机器人从您的网站。

Answer 3

在robots.txt文件被放置在您的网站的根目录，并使用到搜索蜘蛛被允许去控制，例如，你可能不希望他们在您的/js文件夹中。与往常一样，维基百科有很大写上去

我想你可能会发现 SiteMaps的更加有用，虽然。这是你生产代表您的网站的内容的XML文件。然后你把这个给主要的搜索引擎。虽然谷歌开始所有主要的搜索引擎现在已经同意遵循标准模式。

增加您的谷歌评分，SEO在一般情况下，是不是我已经很了解。这听起来像一个黑色的艺术给我:)退房的 IIS SEO工具包虽然的，它可以提供一些指针。