Какие есть альтернативы сейчас, когда API веб-поиска Google устарел?[закрыто]

Question

API веб-поиска Google устарел и заменен пользовательским API поиска (см. http://code.google.com/apis/websearch/).

Я хотел выполнить поиск по всему Интернету, но, похоже, с новым API можно выполнять поиск только по пользовательским сайтам.

Есть ли способ выполнить программный поиск по всему Интернету?Мне удалось запросить старый API с помощью JSON из Java-программы.

Answer 1

Вы могли бы просто отправить их через, как браузер, а затем проанализирует HTML, то есть то, что я всегда делал, даже для таких вещей, как YouTube.

Answer 2

Да, пользовательский поиск Google теперь заменил старый Search API, но ты может по-прежнему используйте пользовательский поиск Google для поиска по всему Интернету, хотя шаги не очевидны из настроек пользовательского поиска.

Создать пользовательскую поисковую систему Google, которая выполняет поиск по всему Интернету:

1. С главной страницы пользовательского поиска Google ( http://www.google.com/cse/ ), нажмите кнопку Создать пользовательскую поисковую систему.
2. Введите название и описание для вашей поисковой системы.
3. В разделе "Определите свою поисковую систему" в поле "Сайты для поиска" введите хотя бы один допустимый URL (пока просто введите www.anyurl.com, чтобы пройти мимо этого экрана.Подробнее об этом позже).
4. Выберите нужную версию CSE и примите Условия предоставления услуг, затем нажмите кнопку Далее.Выберите нужный вариант компоновки, а затем нажмите кнопку Далее.
5. Щелкните любую из ссылок в разделе "Следующие шаги", чтобы перейти к панели управления.
6. В меню слева, в разделе Панель управления, выберите пункт Основы.
7. В разделе Настройки поиска выберите Поиск по всему Интернету, но выделите включенные сайты.
8. Нажмите кнопку Сохранить изменения.
9. В меню слева, в разделе Панель управления, выберите пункт Сайты.
10. Удалите сайт, который вы ввели в процессе первоначальной настройки.

Теперь ваша пользовательская поисковая система будет выполнять поиск по всему Интернету.

Цены

• Пользовательский поиск Google выдает вам 100 запросов в день бесплатно.
• После этого вы платите 5 долларов за 1000 запросов.
• В день поступает максимум 10 000 запросов.

Источник: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

---

• Качество поиска намного ниже, чем у обычного поиска Google (нет синонимов, "интеллекта" и т.д.).
• Похоже, что Google даже планирует полностью закрыть этот сервис.

Answer 3

Пользовательский поиск Google (как выступал в ответ на лучшие ответы), но очень дорого, по сравнению с его конкурентами (ниже) или по сравнению с другими Google API. Он имеет небольшой свободный уровень (100 запросов / день) и очень высокая цена 5 долларов за 1000 запросов.

Они предлагают возможность обновления до поиска сайта, который имеет несколько лучших цен, но это предназначено для поиска одного сайта (самостоятельно), поэтому это действительно что-то совсем другое - не обновление.

Основные альтернативы, кажется, являются:

Bing Search API
https://datamarket.azure.com/dataset/5ba839f1-12ce-4cce-bf57-a49d98d29a44.
Который имеет свободный уровень 5000Q / месяц, а цены, начиная с 5 запросов на пенни, и без жесткого предела.

Обновление: В конце 2016 года этот API был выключен в пользу своего аналога Azure Contropart «Поиск познавательных услуг Bing API»:
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Глянь сюда Для ценовой графики, которая начинается в 3 доллара США за 1000 транзакций. Если я не упускаю что-то, что это довольно дорого.

Yahoo Boss Search API
Обновление: было прекращено 31 марта 2016 года.http://developer.yahoo.com/boss/search/
Благодаря ценам, начиная с 12 запросов / пенни за целые веб-поиски.

И некоторые я не слышал раньше:

http://www.gigablast.com/searchfeed.html.

http://www.faroo.com/hp/api/api.html.

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
прекращено - как указано ниже

Есть немного обсуждения некоторых из них на Это так пост.
закрыто за то, чтобы быть безделью и сейчас ушла

Answer 4

Вот опция в нижней части пользовательской панели управления поиском: "Сайты для поиска", ты можешь выбрать «Ищите всю сеть, но подчеркните включенные сайты»

Answer 5

У Фаро есть А. Бесплатный веб-поиск API

Answer 6

Я только что столкнулся с общего ползания.

http://www.commoncrawl.org/

Может быть ответ, который мы все ищем !!

Answer 7

Есть нота на вершине документы:

Примечание. API Google Web Search был официально устарел от 1 ноября 2010 года. Он будет продолжать работать согласно нашему Политика амортизации, но количество запросов, которые вы можете сделать в день, будет ограничен. Поэтому мы рекомендуем вам перейти к новому Пользовательские поисковые API.

То Политика амортизации Говорит, что они будут продолжать управлять API в течение 3 лет. Поэтому, если у вас уже есть приложение, которое использует старый API, вам не нужно спешить, чтобы менять вещи только. Если вы пишете новое приложение, используйте Пользовательские поисковые API. Отказ Смотри мой ответ здесь Для того, как сделать это в Python, но идея одинакова для любого языка.

Answer 8

Там есть бесплатная Java API под названием JFreeWebsearch, который использует уже упомянутую Faroo:http://www.ke.tu-darmstadt.de/resources/jfreewebsearch.

Answer 9

Вы можете создать «везде» пользовательскую поисковую систему прямо из главной страницы пользовательских поисков Google ( http://www.google.com/cse/ ). Вы должны просто нажать «Advanced» во время добавления нового двигателя. Там вы можете предоставить Schema.org тип сайта. «Предмет«Это самый универсальный тип, который охватывает всю сеть.

Answer 10

Gigablast предлагает дешевые веб-поиски API: http://www.gigablast.com/searchfeed.html.