많은 데이터의 타사 데이터 전달

Question

많은 데이터를 실시간으로 사용하는 사이트가 어떻게 작동하는지 아는 사람이 있습니까? 나는 그들이 실시간으로 당신에게 말할 수있는 주식 사이트와 같은 것을 언급하고 있습니다 (주로 20 분 지연하지만 여전히 실시간 - 20 분).

그들은 매 순간마다 그들에게 수천 개의 데이터 조각이 전달되어 있습니다. 어느 정도 간격으로 변경된 각 주식에 대해.

그렇다면 작은 푸시가 지속되는 일정한 피드가 있습니까? 아니면 사이트가 실제 데이터가있는 곳에서 "지금 12:23:45 CST 이후로 모든 변경 사항을 줘"라고 말합니까?

직장에서 우리는 이와 같은 응용 프로그램의 손끝에있는 실시간 정보에 필요한 상황이있을 수 있기 때문에 이렇게 묻습니다. 매 초마다 반복해서 타사 제공 업체를 때리는 것은 의미가 없습니다 ...

Answer 1

일반적으로 두 당사자간에 정의 된 서버/클라이언트 프로토콜이 있습니다. 회사에서는 연결을 위해 일하는 것이 항상 유지됩니다.

다음은 재고 예제와 함께 진행할 실시간 데이터 피드에 대한 정보입니다.

NYSE,나스닥

데이터 제공 업체는 (지연된) 배치 데이터가있는 FTP 사이트를 보유하는 것이 일반적입니다. 떠오르는 것은입니다 NWS Emwin

Answer 2

같은 사이트 트위터 실시간으로 승인 된 사이트에 대한 데이터를 실시간으로 공급합니다 XMPP (위키 링크).

Answer 3

가장 넓은 용어로 푸시 모델은 특히 많은 양의 데이터에 대해 이야기하는 경우 "실시간"전송을 달성하는 가장 좋은 방법이 될 것입니다.

그러나 누락 된 데이터에서 복구하는 방법의 순전히 푸시 모델을 사용할 때 항상 문제가 있습니다.

문제가되지 않을 수있는 데이터의 특성에 따라 (비디오 전달을 아날로그로 생각하는, 데이터 양이 거칠지 만 누락 된 데이터로부터 복구하기에 충분한 중복성이 있습니다). 또한 데이터를 제어 할 수있는 경우 약간의 중복성을 구축 할 수 있습니다. 예를 들어, 모든 변경 이벤트에서 변경보다는 절대 값 또는 이전 가치 및 새 값을 제공 할 수 있습니다.

Answer 4

이 작업을 수행하여 소스에서 재고 견적을 검색하고 기본 소스가 실패하거나 시간이 오래 걸렸을 때 인용문의 타임 스탬프 오피 디스크 캐시로 다시 떨어졌습니다.