Rails:Erkennen von Bot-IPs, um Shortener-Pings zu umgehen

Question

Ich habe eine Anwendung, die Klicks von Benutzern protokolliert.Das Problem ist, dass diese Klicks über Twitter weitergeleitet werden, was jeden einzelnen Link mit verkürzt t.co .Aus diesem Grund scheint Twitter die Verbindung zwischen 7 und 15 Mal von verschiedenen IPs aus zu treffen, wahrscheinlich um Dinge wie Protokollierung und SPAM-Schutz zu tun.Das Problem ist, dass dadurch 7-15 "Klicks" auf meine App protokolliert werden, die nicht von tatsächlichen Benutzern stammen.

Ich frage mich, ob es eine Möglichkeit gibt zu erkennen, ob ein Besuch von einem tatsächlichen Benutzer kommt oder einfach nur von einem Bot oder einer Spinne eingerollt wird.

Die einzige Methode, die anscheinend hätte funktionieren können, war die Verwendung von http://www.projecthoneypot.org/ API, um festzustellen, ob die IPs, die auf meine Website gelangen, von bekannten Bots stammen.Ich habe ein Juwel gefunden, um zu helfen (http://cl.ly/GlT8 ), aber beim Versuch, es zu benutzen, wurde immer wieder ein NET-DNS-Fehler angezeigt.

Ich bin frisch aus Ideen.Würde mich über jede Hilfe sehr freuen!

Answer 1

Twitter sollte seine User-Agent: http-Header richtig, damit Sie diese herausfiltern können.Das kann natürlich gefälscht werden, aber es ist ein Anfang.

Sie können den Header in Schienen erhalten mit request.headers["User-Agent"].