Automaticamente login do Google Web Crawler
https://stackoverflow.com/questions/1435583
-
07-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianPergunta
Gostaria de detectar automaticamente o Google e outros Crawlers e registrá-los em meu site ASP.NET. Alguém já encontrou uma maneira confiável para fazer isso? A parte Login é fácil, no entanto, de forma confiável detectá-los é a verdadeira questão.
Cumprimentos.
Solução
Olhe para o user-agent. Deve ser o Googlebot. A maneira mais confiável é fazer uma pesquisa inversa do adddress IP. Vai dizer-lhe se é um google bot ou não. Eu usaria ambos os métodos. Mas note:. Você vai abrandar o seu site, uma vez que você vai fazer uma pesquisa inversa para cada visitante
http://www.google.com /support/webmasters/bin/answer.py?hl=en&answer=80553
Outras dicas
Esta parece ser uma péssima idéia por várias razões, não menos do que é que o Google irá armazenar em cache cópias de suas páginas, de modo que mesmo se eu não autenticar em seu site, eu vou ser capaz de ver o conteúdo do páginas da web e outros documentos serviram de trás da porção protegida do seu web site.
Quanto detectar crawlers vai, eu não confiar em qualquer User Agent. Você provavelmente poderia compilar uma lista de endereços IP os indexadores originam, mas assim que o Google adiciona um outro endereço IP, você será como negar que o acesso do rastreador.
Fazendo uma pesquisa de DNS inversa em cada solicitação para garantir o domínio do visitante é googlebot.com como sugerido em Verificando Googlebot poderia ser um grande impacto na performance se o seu site está ocupado.
Você não precisa fazer uma pesquisa inversa em cada solicitação. Cache os resultados da pesquisa inversa. Eu só passei meus registros, e eu vejo corridas longas de Googlebot provenientes do mesmo IP. Esse comportamento não é garantido, mas em qualquer caching evento deve ser uma boa estratégia.
Você pode facilmente dirigir o Google a indexar, mas não armazenar em cache páginas do seu site utilizando a meta tag noarchive. Dessa forma, você obter os benefícios de ser pesquisáveis ??sem expor seu conteúdo.
Veja esta página no Google Webmaster Central para mais informações
http://www.google.com /support/webmasters/bin/answer.py?hl=en&answer=156412
