第三方数据传递大量数据

Question

有谁知道拥有大量数据的实时Feed的网站如何运作？我指的是类似股票网站的东西，他们可以在那里实时告诉你（好吧，主要是20分钟的延迟，但仍然是实时的 - 据我所知20分钟）。

他们每秒都有数以千计的数据传递给他们，我想：MSFT 25.00 + .23 VOL 12000 ????对于在某个时间间隔内发生变化的每只股票。

那么，是不是只有小推进的持续馈送？或者你认为一个网站会从拥有真实数据的地方拉出来并说“从CST 12:23:45到现在为止给我所有的变化”类型查询？

我问这个是因为在工作中我们可能会遇到这样的情况：我们需要在我们的应用程序的指尖获得这样的实时信息，并且每秒钟反复击中我们的第三方提供商是没有意义的...

Answer 1

通常在两方之间定义服务器/客户端协议。在公司里，我一直都在努力保持联系。

以下是与您的股票示例一起使用的实时数据Feed的信息

纽约证券交易所，纳斯达克

数据提供商通常也拥有带有（延迟）批量数据的FTP站点。我想到的是 NWS EMWIN

Answer 2

Twitter 等网站通过 XMPP （ Wiki链接）。

Answer 3

从广义上讲，推模型将是实现“实时”的最佳方式。转移，特别是如果你在谈论大量数据时。

但是，在使用纯粹的推送模型时，如果从错过的数据中恢复，则总是会遇到问题。

根据您的数据性质可能不是一个问题（将视频传输视为模拟，数据量巨大但有足够的冗余来从丢失的数据中恢复）。如果您对数据有任何控制权，您可以构建一些冗余。例如，在每个更改事件中，您可以提供绝对值而不是更改，或先前的值和新值。

Answer 4

我这样做是为了尝试从源代码中检索股票报价，并在主要资源出现故障或超时时回退到报价的带时间戳的磁盘缓存。