Consegna di dati di terzi di molti dati

Question

Qualcuno sa come funzionano i siti che hanno un feed in tempo reale di molti dati? Mi riferisco a qualcosa di simile a un sito stock, in cui possono dirti in tempo reale (beh, un ritardo di 20 minuti per lo più, ma comunque in tempo reale - 20 minuti a quanto ho capito).

Hanno migliaia di dati consegnati a loro ogni secondo, immagino: MSFT 25.00 +.23 VOL 12000 ???? per ogni azione che ha subito una modifica durante un certo intervallo.

Quindi, c'è solo un flusso costante di piccole spinte in corso? O pensi che un sito si attaccherà dal luogo che ha i dati reali e mi dice "dammi tutte le modifiche da 12:23:45 CST a ora " digitare query?

Lo chiedo perché al lavoro potremmo avere una situazione in cui dovremmo avere a portata di mano le nostre informazioni in tempo reale come questa, e non ha senso colpire ripetutamente il nostro fornitore terzo ancora e ancora ogni secondo ...

Answer 1

Generalmente esiste un protocollo server / client definito tra le 2 parti. In compagnia lavoro per la connessione è mantenuta in ogni momento.

Ecco le informazioni sui feed di dati in tempo reale da seguire con l'esempio di borsa

NYSE , NASDAQ

È comune per i fornitori di dati avere anche siti FTP con dati (ritardati) in batch. Uno che mi viene in mente è NWS EMWIN

Answer 2

Siti come Twitter forniscono i dati a determinati siti approvati in tempo reale tramite XMPP ( Link Wiki ).

Answer 3

In termini più ampi, un modello push sarà il modo migliore per raggiungere "tempo reale". trasferimento, in particolare se stai parlando di una grande quantità di dati.

Tuttavia, si ha sempre un problema quando si utilizza un modello puramente push di come recuperare dai dati persi.

A seconda della natura dei dati che potrebbero non essere un problema (pensare alla consegna di video come un analogo, in cui la quantità di dati è enorme ma c'è una ridondanza sufficiente per il recupero da dati mancanti). E se hai il controllo sui dati, potresti essere in grado di creare ridondanza. Ad esempio, in ogni evento di modifica puoi fornire valori assoluti anziché modifiche, oppure valore precedente e nuovo valore.

Answer 4

L'ho fatto provando a recuperare la quotazione di borsa dalla fonte e tornando a una cache su disco con timestamp della citazione quando la fonte principale fallisce o va in timeout.