大量のデータのサードパーティのデータ配信

Question

大量のデータのリアルタイムフィードを持つサイトの仕組みを知っている人はいますか？ストックサイトのようなものを参照しています。彼らはリアルタイムであなたに伝えることができます（まあ、ほとんど20分遅れですが、それでもリアルタイムです-私が理解すると20分です）。

これらには毎秒数千のデータが配信されます。私は想像します。MSFT25.00 +.23 VOL 12000 ????一定の間隔で変化があった各株式について。

では、継続的に小さなプッシュのフィードが行われていますか？または、サイトが実際のデータがある場所からプルして「12:23:45 CSTから現在までのすべての変更をください」と言うと思いますか。クエリを入力しますか？

これをお願いします...

Answer 1

通常、2者間にはサーバー/クライアントプロトコルが定義されています。接続のために働いている会社では、常に維持されています。

こちらは、ストックの例に使用するリアルタイムデータフィードに関する情報です

NYSE 、 NASDAQ

データプロバイダーは、（遅延）バッチデータを含むFTPサイトも持つことが一般的です。思い浮かぶのは、 NWS EMWIN

です。

Answer 2

Twitter などのサイトは、 XMPP （ Wikiリンク）。

Answer 3

最も広い意味では、プッシュモデルは「リアルタイム」を達成するための最良の方法です。特に大量のデータについて話している場合は転送してください。

ただし、失われたデータから回復する方法の純粋にプッシュモデルを使用する場合、常に問題が発生します。

問題ではない可能性のあるデータの性質に依存します（ビデオ配信はアナログとして考えます。データ量は膨大ですが、欠落データから回復するための十分な冗長性があります）。また、データを制御できる場合は、冗長性を構築できます。たとえば、すべての変更イベントで、変更ではなく絶対値、または以前の値と新しい値を提供できます。

Answer 4

ソースから株価を取得しようとしてこれを実行し、メインソースが失敗またはタイムアウトした場合、タイムスタンプ付きのディスク上のキャッシュの見積もりにフォールバックします。