Question

API Google Recherche sur le Web a été désapprouvée et remplacée par API Custom Search (voir http: // code. google.com/apis/websearch/ ).

Je voulais rechercher l'ensemble du Web, mais il semble que la nouvelle API ne peuvent être recherchés sur mesure des sites.

Y at-il un moyen de rechercher toute programmation web? J'ai pu interroger l'ancienne API à l'aide JSON d'un programme Java.

Était-ce utile?

La solution

Vous pouvez tout simplement les envoyer par un navigateur comme le fait, puis analyser le code HTML, c'est ce que je l'ai toujours fait, même pour des choses comme Youtube.

Autres conseils

Oui, Google Custom Search a remplacé l'ancienne API de recherche, mais peut toujours utiliser Google Custom Search pour rechercher l'ensemble du Web , bien que les étapes ne sont pas évidentes de la configuration Recherche personnalisée.

Pour créer un moteur Google Custom Search qui recherche le Web entier:

  1. A partir de la page d'accueil Google Custom Search ( http://www.google.com/cse/ ), cliquez sur Créer un moteur de recherche personnalisé.
  2. Tapez un nom et une description pour votre moteur de recherche.
  3. Sous Définir votre moteur de recherche, dans les sites à la recherche, entrez au moins une URL valide (Pour l'instant, il suffit de mettre www.anyurl.com pour dépasser cet écran. Plus tard).
  4. Sélectionnez l'édition du CST que vous voulez et accepter les conditions d'utilisation, puis cliquez sur Suivant. Sélectionnez l'option de mise en page que vous voulez, puis cliquez sur Suivant.
  5. Cliquez sur un des liens dans la section Prochaines étapes Pour accéder à votre panneau de configuration.
  6. Dans le menu de gauche, sous Panneau de configuration, cliquez sur Bases.
  7. Dans la section Préférences de recherche, sélectionnez Rechercher tout le Web en privilégiant les sites inclus.
  8. Cliquez sur Enregistrer les modifications.
  9. Dans le menu de gauche, sous Panneau de configuration, cliquez sur Sites.
  10. Supprimer le site que vous avez entré au cours du processus de configuration initiale.

Maintenant, votre moteur de recherche personnalisé va chercher sur le Web entier.

Prix

  • Google Custom Search vous donne 100 requêtes par jour gratuitement.
  • Une fois que vous payez 5 $ par 1000 requêtes.
  • Il y a un maximum de 10.000 requêtes par jour.

Source: https://developers.google.com/ sur mesure Recherche / JSON-api / v1 / Vue d 'ensemble Prix


  • La qualité de la recherche est plus faible que beaucoup de recherche normale Google (pas de synonymes, "intelligence", etc.)
  • Il semble que Google prévoit même de fermer complètement vers le bas ce service.

Google Custom Search (tel que préconisé dans les réponses les mieux notés) fonctionne bien, mais il est très cher, par rapport à ses concurrents (ci-dessous) ou par rapport aux autres Google API. Il dispose d'un petit niveau gratuit (100 requêtes / jour) et un prix très élevé de 5 $ par 1000 requête.

Ils offrent la possibilité de passer à Site Search, qui a des prix un peu mieux, mais est destiné à la recherche d'un site (votre propre), donc il est vraiment tout autre chose -. Pas une mise à jour

Les principales alternatives semblent être:

API Bing Search https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE -BF57-A49D98D29A44
Ce qui a un niveau sans 5000q / mois, et les prix à partir de 5 requête par penny, et aucune limite dure.

MISE À JOUR: À la fin de 2016 cette API a été arrêté en faveur de son homologue Azure "cognitive services Bing Search API":
https://azure.microsoft.com/en-us/services/ -services cognitifs / search /

Voir ici pour un prix graphique, qui commence à US $ 3 / m pour 1000 transactions. À moins que je me manque quelque chose, il est assez cher.

Yahoo Search API BOSS MISE À JOUR: a été arrêté le 31 Mars, ici 2016. http://developer.yahoo.com/boss/search/
Avec des prix commençant à environ 12 requêtes / penny pour recherches sur le Web entier.

Et certains que je ne l'ai pas entendu parler avant:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[Interrompu - comme hors pointe ci-dessous]

Il y a un peu de discussion sur certains d'entre eux sur ce poste SO .
[A été fermé pour être hors-sujet et est maintenant disparu]

Voici une option au bas du Custom Search Panneau de configuration: "sites pour la recherche" , vous pouvez choisir "Rechercher sur le Web entier, mais mettre l'accent sur les sites inclus"

Custom Search Panneau de configuration - Sites de recherche

Je suis venu juste en face de cette commune Crawl.

http://www.commoncrawl.org/

Peut-être la réponse que nous recherchons tous !!

Il y a une note au-dessus de la docs :

  

Remarque: L'API Google Web Search a   été officiellement OBSOLETE   1er novembre 2010. Il continuera à   travail par deprecation politique ,   mais le nombre de demandes que vous pouvez   faire par jour sera limitée.   Par conséquent, nous vous encourageons à passer à   la nouvelle Custom Search API .

La politique deprecation dit qu'ils continueront à exécuter l'API 3 années. Donc, si vous avez déjà une application qui utilise l'ancienne API, vous ne devez pas se précipiter pour changer les choses tout de suite. Si vous écrivez une nouvelle application, utilisez le Custom Search API . Voir ma réponse pour savoir comment faire en Python, mais l'idée est la même pour toutes les langues.

Il y a une API Java gratuit appelé JFreeWebSearch qui utilise le Faroo déjà mentionné: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Vous pouvez créer "partout" recherche personnalisé droit du moteur à partir de la page d'accueil Google Custom Search ( http: // www. google.com/cse/ ). Vous devez simplement cliquer sur « Avancé », lors de l'ajout de nouveaux moteurs. Là, vous pouvez fournir le type de site Schema.org. « chose » est le type le plus générique, qui couvre tout le web.

Gigablast propose une API de recherche web pas cher: http://www.gigablast.com/searchfeed.html

Licencié sous: CC-BY-SA avec attribution
Non affilié à StackOverflow
scroll top