Welche Alternativen gibt es jetzt, dass die Google-Websuche API veraltet ist? [geschlossen]

Question

Google Web Search API ist veraltet und mit Custom Search API ersetzt (siehe http: // Code. google.com/apis/websearch/ ).

Ich wollte die ganze Web suchen, aber es sieht aus wie mit der neuen API nur benutzerdefinierten Websites durchsucht werden können.

Gibt es eine Möglichkeit programmatisch die gesamte Web zu durchsuchen? Ich konnte die alte API JSON aus einem Java-Programm abgefragt werden.

Answer 1

Sie können sie nur durch senden wie ein Browser tut, und dann die html analysieren, das ist, was ich immer getan haben, auch für Dinge wie Youtube.

Answer 2

Ja, Google Custom Search hat sich nun die alte Search API ersetzt, aber Sie können noch Google Custom Search verwenden, um die gesamte Web durchsuchen , obwohl die Schritte nicht offensichtlich sind vom Custom Search Setup.

Google Custom Search Engine erstellen, durchsucht das gesamte Web:

1. Von der Google Custom Search Homepage ( http://www.google.com/cse/ ), klicken Sie auf eine benutzerdefinierte Suchmaschine erstellen.
2. Geben Sie einen Namen und eine Beschreibung für Ihre Suchmaschine.
3. Unter Definieren Sie Ihre Suchmaschine in den Seiten-Box auf Suchen, geben Sie mindestens eine gültige URL (Vorerst nur www.anyurl.com lässig hinter diesem Bildschirm zu bekommen. Mehr dazu später).
4. Wählen Sie die CSE Ausgabe, die Sie wollen, und die Nutzungsbedingungen akzeptieren, klicken Sie auf Weiter. Wählen Sie das Layout Option, die Sie möchten, und klicken Sie auf Weiter.
5. Klicken Sie auf einen der Links unter dem nächsten Abschnitt zu navigieren zu Ihrem Control Panel Schritte.
6. In dem linken Menü unter Systemsteuerung, Basics klicken.
7. Im Sucheinstellungen Abschnitt, wählen Sie den gesamten Web suchen, aber eingeschlossene Websites hervorheben.
8. Klicken Sie auf Änderungen speichern.
9. In dem linken Menü unter Systemsteuerung auf Sites.
10. Löschen Sie die Website, die Sie während der Ersteinrichtung eingegeben.

Jetzt ist Ihre benutzerdefinierte Suchmaschine wird die gesamte Web durchsuchen.

Preise

• Google Custom Search gibt Ihnen 100 Anfragen pro Tag kostenlos.
• Danach können Sie $ 5 pro 1000 Abfragen zahlen.
• Es gibt ein Maximum von 10.000 Abfragen pro Tag.

Quelle: https://developers.google.com/ custom-Suche / json-api / v1 / Übersicht # Pricing

---

• Die Suchqualität ist viel niedriger als normale Google-Suche (kein Synonyme, „Intelligenz“ usw.)
• Es scheint, dass Google auch diesen Dienst vollständig herunterzufahren planen.

Answer 3

Google Custom Search (wie in den am besten bewerteten Antworten befürworten) funktioniert gut, ist aber sehr teuer, im Vergleich zu seinen Konkurrenten (siehe unten) oder im Vergleich zu anderem Google-API. Es hat ein kleines freies Tier (100 Anfragen / Tag) und einen sehr hohen Preis von $ 5 pro 1000 Abfrage.

Sie bieten die Möglichkeit, Website-Suche zu aktualisieren, die etwas bessere Preise hat, aber das ist für die Suche einer Website (eigene) gemeint, so ist es wirklich etwas ganz anderes -. Nicht ein Upgrade

Die wichtigsten Alternativen zu sein scheinen:

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE -BF57-A49D98D29A44
Die eine freie Reihe von 5000Q / Monat und Preisen ab 5 Abfrage pro Cent und keine harte Grenze hat.

UPDATE: Ende 2016 diese API war Shutdown zugunsten seiner Azure Pendant "Kognitive Leistungen Bing Search API":
https://azure.microsoft.com/en-us/services/ kognitiv-Dienstleistungen / search /

Sehen Sie hier für einen Preis Diagramm, das für 1.000 Transaktionen in US 3 / m $ beginnt. Es sei denn, ich etwas fehle es ist ziemlich teuer.

Yahoo BOSS Search API
UPDATE: Wurde am 31. März eingestellt, 2016. http://developer.yahoo.com/boss/search/
Mit Preisen ab etwa 12 Anfragen / Penny für ganze Websuchen zu starten.

Und einige habe ich nicht gehört vor:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[Nicht mehr lieferbar - wie erwähnt unten]

Es ist ein bisschen Diskussion einiger dieser auf dieser SO Post .
[Bekam für sein Wegthema geschlossen und ist jetzt weg]

Answer 4

Hier ist eine Option am unteren Rande der Custom Search Control Panel: "Sites suchen" können Sie wählen "Im gesamten Web suchen, aber eingeschlossene Websites hervorheben"

Answer 5

FAROO hat einen kostenlose Web Search API

Answer 6

Ich bin gerade über diesen von gemeinsamen Crawl.

http://www.commoncrawl.org/

könnte die Antwort sein, die wir alle suchen !!

sind

Answer 7

Es gibt eine Notiz oben auf der docs :

  

Hinweis: Die Google Web Search API hat   offiziell als veraltet ab   1. November 2010. Es wird auch weiterhin   Arbeit gemäß unserer deprecation Politik ,   aber die Anzahl der Anfragen können Sie   make pro Tag begrenzt werden.   Daher empfehlen wir Ihnen, zu bewegen   die neue Custom Search API .

Die deprecation Politik sagt, dass sie weiterhin die API für laufen 3 Jahre. Also, wenn Sie bereits eine Anwendung, die die alte API verwendet, müssen Sie jetzt noch nicht zu ändern überstürzen. Wenn Sie eine neue Anwendung zu schreiben, verwenden Sie die Custom Search API . Siehe meine Antwort , wie dies in Python zu tun, aber die Idee ist die gleiche für jede Sprache.

Answer 8

Es gibt eine kostenlose Java API JFreeWebSearch genannt, die die bereits erwähnten FAROO verwendet: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Answer 9

Sie können erstellen "überall" custom Motor direkt aus der Google Custom Search Homepage suchen ( http: // www. google.com/cse/ ). Sie sollten nur ‚Erweitert‘ klicken, während neuen Motor hinzufügen. Dort können Sie Schema.org Site-Typ liefern. ‚ Thing ‘ ist allgemeinste Art, die alle im Internet abdeckt.

Answer 10

Gigablast bietet eine billige Web-Suche API: http://www.gigablast.com/searchfeed.html