有什么选择现在谷歌的网络搜索API已经不?[关闭]

Question

谷歌的网络搜索API已经被弃用和更换的定制搜索API(见 http://code.google.com/apis/websearch/).

我想要搜索整个网络，但它看起来像与新API仅定义的网站，可以搜索。

有没有一种方法来搜索整个网络编程方式?我能够查询的老API使用JSON从Java程序。

Answer 1

您可以像浏览器一样将它们发送给它们，然后解析HTML，这是我一直以来所做的，即使对于YouTube之类的事情也是如此。

Answer 2

是的，Google自定义搜索现在已更换了旧的搜索API，但是 你 能够 仍然使用Google自定义搜索搜索整个网络, ，尽管从自定义搜索设置中不明显这些步骤。

要创建一个搜索整个网络的Google自定义搜索引擎：

1. 从Google自定义搜索主页（ http://www.google.com/cse/ ），单击创建自定义搜索引擎。
2. 为您的搜索引擎键入名称和描述。
3. 在定义您的搜索引擎下，在要搜索框的站点中，输入至少一个有效的URL（目前，只需将www.anyurl.com放置在此屏幕上。稍后再详细介绍）。
4. 选择所需的CSE版本并接受服务条款，然后单击“下一步”。选择所需的布局选项，然后单击下一步。
5. 单击“下一步”部分下的任何链接以导航到控制面板。
6. 在左侧菜单中，在控制面板下，单击基础知识。
7. 在搜索偏好部分中，选择搜索整个网络，但强调包含的网站。
8. 单击“保存更改”。
9. 在左侧菜单中，在控制面板下，单击站点。
10. 删除您在初始设置过程中输入的网站。

现在，您的自定义搜索引擎将搜索整个网络。

价钱

• Google自定义搜索每天可免费查询100个查询。
• 之后，您每1000个查询支付5美元。
• 每天最多有10,000个查询。

来源： https://developers.google.com/custom-search/json-api/v1/overview#pricing

---

• 搜索质量比普通的Google搜索要低得多（无同义词，“智能”等）
• 似乎Google甚至计划完全关闭这项服务。

Answer 3

Google自定义搜索（如最高额定答案所提倡的）效果很好，但是与竞争对手（下图）或与其他Google API相比，非常昂贵。它有一个小的免费层（每天100个查询），每1000个查询$ 5的价格非常高。

他们提供了升级到网站搜索的选项，该网站搜索的价格略高，但这是为了搜索一个站点（您自己），因此它确实是完全不同的 - 不是升级。

主要替代方案似乎是：

Bing搜索API
https://datamarket.azure.com/dataset/5ba839f1-12ce-4cce-bf57-a49d98d29a44
每月的免费级别为5000Q，价格从每分便利5点开始，也没有硬性限制。

更新：2016年底，此API被关闭，有利于其Azure对应物“认知服务bing search api”：
https://azure.microsoft.com/en-us/services/cognitive-services/search/

看这里 对于定价图表，该图表起价为1,000美元的3/m $ 3/m。除非我缺少某些东西，否则这很昂贵。

雅虎老板搜索API
更新：2016年3月31日停产。http://developer.yahoo.com/boss/search/
价格从大约12个查询/一分钱开始，用于整个网络搜索。

还有一些我以前从未听说过：

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
停产 - 如下指出

有一些关于其中一些的讨论 这个帖子.
因脱离主题而关闭，现在已经消失了

Answer 4

这是自定义搜索控制面板底部的选项： “搜索站点”, ， 你可以选择 “搜索整个网络，但强调包括网站”

Answer 5

法鲁有一个 免费的Web搜索API

Answer 6

我只是从普通爬网中遇到了这一点。

http://www.commoncrawl.org/

可能是我们都在寻找的答案！

Answer 7

上面有一个注释 文档:

注意：Google Web搜索API已于2010年11月1日正式贬值。它将继续根据我们的 折旧政策，但是您每天可能提出的请求数量将受到限制。因此，我们鼓励您转向新的 自定义搜索API.

这 折旧政策 说他们将继续运行API 3年。因此，如果您已经有一个使用旧API的应用程序，则不必急于更改内容。如果您正在编写新应用程序，请使用 自定义搜索API. 。看到我的答案 这里 对于如何在Python中执行此操作，但任何语言的想法都是相同的。

Answer 8

有一个免费的Java API，称为Jfreewebsearch，它使用已经提到的Faroo：http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Answer 9

你可以创建"无处不在"的定制搜索引擎Google定制搜索页( http://www.google.com/cse/ ).你应该只是点击"高级"，在此期间增加新的引擎。还有你能提供Schema.org 网站的类型。'事情'最通用型的，其涵盖了所有网络。

Answer 10

Gigablast提供便宜的网络搜索API： http://www.gigablast.com/searchfeed.html