Bot Web-Qualität

Question

Ich bin auf der Suche nach einem guten Open-Source-bietet einige Qualität, um zu bestimmen, oft für Google Indizierung erforderlich ist.

Zum Beispiel

• finden doppelte Titel
• ungültige Verknüpfungen (jspider dies tun, und ich denke, viel mehr wird dies tun)
• genau die gleiche Seite, aber verschiedene URLs
• etc, wo etc gleich google Qualität reqs.

Answer 1

Ihre Anforderungen sind sehr spezifisch, so dass es sehr unwahrscheinlich ist, gibt es ein Open-Source-Produkt, das tut genau das, was Sie wollen.

Es gibt jedoch Webcrawler viele Open-Source-Frameworks für den Bau. Welches Sie hängt von Ihrer bevorzugten Sprache verwenden.

Zum Beispiel:

• Für Python, versuchen Scrapy
• Für Java versuchen Arachnidus
• Für Ruby versuchen Anemone
• Für Perl, versuchen WWW :: Spinne

Im Allgemeinen werden diese Frameworks Klassen bieten für das Crawling und Seiten einer Website, auf der Grundlage der Regeln Schaben Sie geben, aber es ist dann an Ihnen, die Daten, die Sie durch Einhaken in Ihrem eigenen Code benötigen zu extrahieren.

Answer 2

Google Webmaster-Tools ist eine web-basierte Service (eher als on-Demand-bot), und es ist nicht alles, was Sie haben gefragt - aber es hat einige davon und eine Menge Dinge, die Sie gebeten haben, nicht tut, und - von Google zu sein - es ist kein Zweifel entspricht Ihrer ungerade "etc, wo etc gleich google Qualität reqs." besser als anderswo wird.