Entrega de datos de terceros de lotes de datos

Question

¿Alguien sabe cómo funcionan los sitios que tienen una fuente de datos en tiempo real? Me refiero a algo como un sitio de stock, donde pueden decirle en tiempo real (bueno, 20 minutos de retraso en su mayoría, pero aún en tiempo real - 20 minutos, según tengo entendido).

Ellos tienen miles de piezas de datos entregadas cada segundo, me imagino: MSFT 25.00 +.23 VOL 12000 ??? para cada acción que tuvo un cambio durante algún intervalo.

Entonces, ¿hay solo una alimentación constante de pequeños empujes? ¿O cree que un sitio se retirará del lugar que tiene los datos reales y dice "dame" todos los cambios desde las 12:23:45 CST hasta ahora " tipo de consulta?

Le pregunto esto porque, en el trabajo, es posible que tengamos una situación en la que tengamos al alcance de la mano de nuestra aplicación información en tiempo real como esta, y no tendrá sentido golpear a nuestro proveedor externo una y otra vez una y otra vez cada segundo ...

Answer 1

Generalmente hay un protocolo de servidor / cliente definido entre las 2 partes. En la empresa donde trabajo la conexión se mantiene en todo momento.

Aquí hay información sobre feeds de datos en tiempo real para acompañar a su ejemplo de inventario

NYSE , NASDAQ

Es común que los proveedores de datos también tengan sitios FTP con datos agrupados (retrasados). Uno que viene a la mente es el NWS EMWIN

Answer 2

Sitios como Twitter alimentan datos de ciertos sitios aprobados en tiempo real a través de XMPP ( enlace de Wiki ).

Answer 3

En los términos más amplios, un modelo push será la mejor manera de lograr " tiempo real " Transferencia, especialmente si está hablando de una gran cantidad de datos.

Sin embargo, siempre tiene un problema al usar un modelo puramente push de cómo recuperarse de los datos perdidos.

Dependiendo de la naturaleza de sus datos, puede que no sea un problema (pensar en la entrega de video como un análogo, donde la cantidad de datos es enorme pero hay suficiente redundancia para que se recupere de los datos faltantes). Y si tiene algún control sobre los datos, puede generar cierta redundancia. Por ejemplo, en cada evento de cambio puede proporcionar valores absolutos en lugar de cambios, o valor anterior y valor nuevo.

Answer 4

He hecho esto intentando recuperar la cotización de acciones de la fuente y recurriendo a un caché en el disco de la cotización cuando la fuente principal falla o se agota el tiempo de espera.