从WordPress网站改变robots.txt文件SEO混乱

Question

我最近使用的WordPress插件编辑在我的网站的robots.txt文件。但是，因为我这样做，谷歌似乎已经从他们的搜索页中删除我的网站。如果我能得到关于为什么会是这样的专家意见，以及可能的解决方案我会很感激。我最初做它通过限制谷歌正在访问的网页，以提高我的搜索排名。

这是在我的WordPress的robots.txt文件：

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

Sitemap: http://www.instant-wine-cellar.co.uk/wp-content/themes/Wineconcepts/Sitemap.xml

Answer 1

这是为WordPress一个良好的robots.txt指令。添加Allow: /wp-content/uploads如果你想上传到被索引，但是这没有任何意义，因为所有的图像，PDF等，都包含在您的文章和网页，并收录在那里。

User-agent: *
Allow: /
Disallow: /*?s=
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /wp-includes/*
Disallow: /wp-content/cache
Disallow: /wp-content/themes/*
Disallow: /trackback
Disallow: /comments
Disallow: /category/
Disallow: */trackback
Disallow: */comments

但信息的最critcal位是在你的网页源代码：

<meta name='robots' content='noindex,nofollow' />

这意味着你有隐私的仪表板/设置/隐私设置，这就是阻止所有的搜索机器人，甚至在他们到达的robots.txt。

一旦你获得了良好的robots.txt文件，并更改WordPress的隐私设置，所以谷歌网站管理员工具，把你的抓取速度有谷歌打到网站更快。

Answer 2

请注意：“你封锁了所有的机器人，因为你错过了关键的允许：/后用户代理：*”是的不正确。默认情况下，的robots.txt将允许所有抓取，你一般不需要指定任何“允许”指令。

然而，“noindex”漫游元标记将是一个理由不索引内容的网站。

此外，目前阻止所有爬行，这样搜索引擎的robots.txt不能告诉该网站可再次建立索引。如果你想有现场再次收录，您需要删除“禁止：/”从robots.txt文件。您可以验证，在谷歌的网站管理员工具，无论是通过查找最新的robots.txt文件或通过使用“Googlebot抓取方式”功能页面的测试爬行的网站上。

Answer 3

我建议你使用谷歌网站管理员工具的robots.txt检查，并比正在消失，并确保谷歌仍然会去那里的网址。

这样，你可以验证它是否是您的robots.txt或别的东西。