Quelles sont les bonnes stratégies pour représenter graphiquement de grands ensembles de données (1M +)?

Question

Je commence juste à aborder ce problème, je veux permettre aux utilisateurs de sélectionner arbitrairement les gammes et les filtres qui leur permettent de représenter de grands ensembles de données (en réalité, il ne devrait jamais dépasser 10 millions de points de données) sur une page Web. J'utilise Elasticsearch comme méthode de stockage et d'agrégation des données, ainsi que Redis pour garder une trace des données sommaires, et d3.js est ma bibliothèque graphique.

Mes réflexions sur la meilleure solution consiste à avoir des résumés pré-calculés dans différents groupes qui peuvent être utilisés pour représenter des graphiques. Donc, si les points de données existent sur plusieurs années, je peux avoir des groupements par mois et jour (ce que je ferais quand même), mais ensuite par des groupes de discours d'une demi-journée, d'un quart de jour, d'une heure, d'une demi-heure, etc., puis avant moi Requête pour les données du graphique Je fais un calcul rapide pour voir lesquels de ces groupes me donneront un nombre idéal de points de données (disons 1000).

Est-ce un moyen raisonnable d'aborder le problème? Y a-t-il une meilleure façon?