Quali sono le alternative ora che la ricerca web di Google API è stato deprecato? [chiuso]

Question

Google Web Search API è stato deprecato e sostituito con Custom Search API (vedi http: // codice. google.com/apis/websearch/ ).

Ho voluto cercare l'intero web, ma sembra che con la nuova API unico personalizzato siti possono essere cercati.

C'è un modo per cercare l'intero web di programmazione? Sono stato in grado di interrogare la vecchia API utilizzando JSON da un programma Java.

Answer 1

Si potrebbe semplicemente inviarle tramite un browser come lo fa, e quindi analizzare il codice HTML, che è quello che ho sempre fatto, anche per le cose come Youtube.

Answer 2

Sì, Google Custom Search ora ha sostituito il vecchio Search API, ma possono usare ancora Google Custom Search per cercare tutto il web , anche se i passaggi non sono evidenti dal setup Custom Search.

Per creare un motore di Google Custom Search che le ricerche in tutto il Web:

1. Dal Google Custom Search homepage ( http://www.google.com/cse/ ), fare clic su Crea un motore di ricerca personalizzato.
2. Digitare un nome e una descrizione per il tuo motore di ricerca.
3. Sotto Definire tuo motore di ricerca, nei siti di dialogo per ricerca, inserire almeno un URL valido (per ora, basta mettere www.anyurl.com per superare questa schermata. Più su questo più tardi).
4. Seleziona l'edizione CSE si desidera e di accettare i Termini di servizio, quindi fare clic su Avanti. Selezionare l'opzione di layout desiderato, quindi fare clic su Avanti.
5. clic su uno dei link sotto i passi successivi sezione per navigare al pannello di controllo.
6. Nel menu a sinistra, sotto Pannello di controllo, Nozioni di base.
7. Nella sezione Preferenze di ricerca, selezionare Cerca in tutto il Web ma priorità ai siti inclusi.
8. Fare clic su Salva modifiche.
9. Nel menu a sinistra, in Pannello di controllo, fare clic su Siti.
10. Elimina il sito che hai inserito durante la procedura di configurazione iniziale.

Ora il vostro motore di ricerca personalizzato cercherà l'intero web.

Prezzi

• Google Custom Search ti dà 100 query al giorno gratuitamente.
• Dopo che si paga 5 $ per 1000 query.
• C'è un massimo di 10.000 query al giorno.

Fonte: https://developers.google.com/ custom-search / jSON-api / v1 / panoramica # Prezzi

---

• La qualità della ricerca è molto più basso rispetto al normale ricerca su Google (no sinonimi, "intelligenza", ecc.)
• Sembra che Google sta anche progettando di chiudere questo servizio completamente.

Answer 3

Google Custom Search (come auspicato nelle top rated risposte) funziona bene, ma è molto costoso, rispetto ai suoi concorrenti (sotto) o rispetto ad altri di Google API. Ha un piccolo livello gratuito (100 query / giorno) e un prezzo molto alto di $ 5 per 1000 query.

offrono la possibilità di passare a Site Search, che ha prezzi leggermente migliori, ma che è destinato per la ricerca di un sito (il proprio), quindi è davvero qualcosa di molto diverso -. Non un aggiornamento

Le alternative principali sembrano essere:

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE -BF57-A49D98D29A44
Il che ha un livello privo di 5000q / mese, e prezzi a partire da 5 query al centesimo, e nessun limite rigido.

UPDATE: Alla fine del 2016 questa API è stato di arresto a favore della sua controparte Azure "Cognitive Servizi Bing Search API":
https://azure.microsoft.com/en-us/services/ cognitivo-services / search /

Vedi qui per un pricing grafico, che parte da US $ 3 / m per 1.000 transazioni. A meno che non mi manca qualcosa è piuttosto costoso.

Yahoo BOSS Search API
UPDATE: è stato interrotto il 31 Marzo 2016. http://developer.yahoo.com/boss/search/
Con prezzi a partire da circa 12 domande / centesimo per le ricerche web intero.

E alcuni non ho sentito parlare prima:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[Interrotto - come fuori punte sotto]

C'è un po 'di discussione su alcuni di questi su questo post SO .
[Ma ho chiuso per essere off-topic e ora è andato]

Answer 4

Ecco un opzione nella parte inferiore della ricerca Pannello di controllo personalizzato: "Siti per la ricerca" , è possibile scegliere "Cercare l'intero web, ma priorità ai siti inclusi"

Answer 5

libero Web Search API

Answer 6

Ho appena incontrato questo da Common Crawl.

http://www.commoncrawl.org/

potrebbe essere la risposta che stiamo tutti cercando !!

Answer 7

C'è una nota in cima alla docs :

  

Nota: Il Google Web Search API ha   stato ufficialmente deprecato a partire dal   1 novembre 2010. Essa continuerà a   il lavoro come per la nostra deprecazione politica ,   ma il numero di richieste si può   make al giorno sarà limitato.   Pertanto, ti consigliamo di passare a   il nuovo Custom Search API .

Il disapprovazione politica dice che continueranno a correre le API per 3 anni. Quindi, se si dispone già di un'applicazione che utilizza la vecchia API, non avere fretta di cambiare le cose ancora. Se si scrive una nuova applicazione, utilizzare il Custom Search API . Vedere la mia risposta qui per sapere come fare questo in Python, ma l'idea è la stesso per tutte le lingue.

Answer 8

C'è un'API Java gratuito chiamato JFreeWebSearch che utilizza il Faroo già citato: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Answer 9

È possibile creare "ovunque" Custom Search motore destro dalla home page di Google Ricerca Personalizzata ( http: // www. google.com/cse/ ). Si dovrebbe solo fare clic su 'avanzate', durante l'aggiunta di nuovo motore. Ci si può fornire Schema.org tipo di sito. ' Thing ' è di tipo più generale, che copre tutto il web.

Answer 10

Gigablast offre un buon web di ricerca API: http://www.gigablast.com/searchfeed.html