Quali sono le buone strategie per graficamente i set di dati di grandi dimensioni (1m +)?

Question

Sto appena iniziando ad affrontare questo problema, voglio consentire agli utenti di selezionare arbitrariamente intervalli e filtri che consentono loro di graficamente set di dati di grandi dimensioni (realisticamente non dovrebbero mai essere più di 10 milioni di punti dati) su una pagina Web. Uso Elasticsearch come metodo di archiviazione e aggregamento dei dati, insieme a Redis per tenere traccia dei dati di riepilogo e d3.js è la mia libreria grafica.

I miei pensieri sulla migliore soluzione sono di avere riassunti precalcolati in diversi raggruppamenti che possono essere utilizzati per graficamente. Quindi, se i punti dati esistono per diversi anni, posso avere raggruppamenti per mese e giorno (cosa che farei comunque), ma poi dai raggruppamenti di mezza giornata, quarto giorno, ora, mezz'ora, ecc. Query per i dati grafici faccio un rapido calcolo per vedere quale di questi raggruppamenti mi darà un numero ideale di punti dati (diciamo 1000).

È un modo ragionevole per affrontare il problema? C'è un modo migliore?