DBMS diminuisce i requisiti di memoria?
-
31-10-2019 - |
Domanda
Ho terminato la mia tesi di economia usando Rstudio, ma la mia sceneggiatura è stata molto lenta a causa del massiccio consumo di RAM durante il processo.
Il mio caso
Avevo un enorme set di dati (prezzi delle azioni in frequenza giornaliera per 10 anni, ~ 700 titoli, cioè $ 3500 Times700 $) e stavo scegliendo ogni stock come vettore per decomporsi in wavelet e filtro CF (2 set di dati $ 28000 Times700 $) e Applicare la legge di Benford (due set di dati $ 9 tempe700 $).
Il problema
RStudio stava archiviando i miei set di dati in memoria e stavano consumando una proporzione significativa solo toccandoli.
Domanda
Ho iniziato a imparare i comandi SQL di base e ho scoperto che posso chiamare colonne specifiche da una determinata tabella. La mia sceneggiatura sarebbe più efficiente se chiamassi i miei titoli uno per uno come vettori da lì invece di sceglierli direttamente da Rstudio? In altre parole, le query chiamano l'intero set di dati e quindi recuperano i valori richiesti o seguono una sorta di scorciatoia per essere efficiente dalla memoria? In caso contrario, qual è lo scopo di utilizzare i database per l'uso domestico?
Nessuna soluzione corretta