Metodologia alla base del recupero di grandi set di dati XML a pezzi

Question

Sto lavorando su un server HTTP in Delphi che invia semplicemente un set di dati XML personalizzato. Non sto seguendo alcun tipo di formattazione standard, come il sapone. Ho il sistema che funziona perfettamente, tranne un piccolo difetto: quando ho un set di dati molto grande da inviare al client, potrebbero essere necessari fino a 2 minuti per trasferire tutti i dati. Il server HTTP che sto costruendo è essenzialmente un'API basata sui dati XML attorno a un database, implementando la regola aziendale comune, pertanto le richieste sono specifiche per i dati alla base del sistema.

Quando, ad esempio, prendo un ampio set di dati sul prodotto, vorrei scomporlo e inviarlo indietro per pezzo. Tuttavia, una singola richiesta HTTP richiede una singola risposta. Non posso necessariamente continuare a alimentare il client con più pacchetti XML diversi a meno che il client non lo richieda esplicitamente.

Non ho alcuna gestione delle sessioni, ma piuttosto una chiave API. So che se avessi sessioni, potrei mantenere temporaneamente un set di dati per un cliente e potevano richiederne pezzi. Tuttavia, senza la gestione delle sessioni, dovrei eseguire la query SQL più volte (per ogni pezzo di dati) e, nel momento medio, se tali dati cambiano, le "pagine" potrebbero essere incasinate, causando quindi gli articoli a mostrare Nelle pagine sbagliate, dopo aver navigato in una pagina diversa.

Allora come viene gestito comunemente? Qual è la metodologia alla base di un grande set di dati XML in blocchi per salvare il carico?