SQL: cumulatif rapide Fréquence requête (postgres)
-
10-10-2019 - |
Question
Je cherche à obtenir cumulatif Fréquence de données de notre base de données. J'ai créé une simple table temporaire avec tous les chefs de mise à jour de statut unique que nous avons vu, et le nombre d'utilisateurs qui ont ce montant des mises à jour de statut.
Table "pg_temp_4.statuses_count_tmp"
Column | Type | Modifiers
----------------+---------+-----------
statuses_count | integer |
frequency | bigint |
Indexes:
"statuses_count_idx" UNIQUE, btree (statuses_count)
Ma requête en cours est:
select statuses_count, frequency/(select * from total_statuses)::float, (select sum(frequency)/(select * from total_statuses)::float AS percentage from statuses_count_tmp WHERE statuses_count <= SCT.statuses_count) AS cumulative_percent FROM statuses_count_tmp AS SCT ORDER BY statuses_count DESC;
Mais cela prend un certain temps et le nombre de requêtes se développe assez rapidement. Donc, avec les 50.000 lignes ~ j'ai, je regarde 50k lignes factoriels à lire. Assis ici en regardant la mouture de requête loin j'espère Theres une meilleure solution que je n'ai pas encore par des.
En espérant obtenir quelque chose comme ceci:
0 0.26975161 0.26975161
1 0.15306534 0.42281695
2 0.05513516 0.47795211
3 0.03050646 0.50845857
4 0.02064444 0.52910301
La solution
Si résoluble avec des fonctions de fenêtrage, supposant que vous avez PostgreSQL 8.4 ou version ultérieure. Je devine que total_statuses
est une vue ou une table de température le long des lignes de select sum(frequency) from statuses_count_tmp
? Je l'ai écrit comme un CTE ici qui devrait permettre de calculer le résultat juste une fois pour la durée de l'instruction:
with total_statuses as (select sum(frequency) from statuses_count_tmp)
select statuses_count,
frequency / (select * from total_statuses) as frequency,
sum(frequency) over(order by statuses_count)
/ (select * from total_statuses) as cumulative_frequency
from statuses_count_tmp
Sans les fonctions de la fenêtre de 8.4 votre meilleur pari est tout simplement de traiter les données itérativement:
create type cumulative_sum_type as ( statuses_count int, frequency numeric, cumulative_frequency numeric );
create or replace function cumulative_sum() returns setof cumulative_sum_type strict stable language plpgsql as $$
declare
running_total bigint := 0;
total bigint;
data_in record;
data_out cumulative_sum_type;
begin
select sum(frequency) into total from statuses_count_tmp;
for data_in in select statuses_count, frequency from statuses_count_tmp order by statuses_count
loop
data_out.statuses_count := data_in.statuses_count;
running_total := running_total + data_in.frequency;
data_out.frequency = data_in.frequency::numeric / total;
data_out.cumulative_frequency = running_total::numeric / total;
return next data_out;
end loop;
end;
$$;
select * from cumulative_sum();