Domanda

Ho terminato la mia tesi di economia usando Rstudio, ma la mia sceneggiatura è stata molto lenta a causa del massiccio consumo di RAM durante il processo.


Il mio caso

Avevo un enorme set di dati (prezzi delle azioni in frequenza giornaliera per 10 anni, ~ 700 titoli, cioè $ 3500 Times700 $) e stavo scegliendo ogni stock come vettore per decomporsi in wavelet e filtro CF (2 set di dati $ 28000 Times700 $) e Applicare la legge di Benford (due set di dati $ 9 tempe700 $).


Il problema

RStudio stava archiviando i miei set di dati in memoria e stavano consumando una proporzione significativa solo toccandoli.


Domanda

Ho iniziato a imparare i comandi SQL di base e ho scoperto che posso chiamare colonne specifiche da una determinata tabella. La mia sceneggiatura sarebbe più efficiente se chiamassi i miei titoli uno per uno come vettori da lì invece di sceglierli direttamente da Rstudio? In altre parole, le query chiamano l'intero set di dati e quindi recuperano i valori richiesti o seguono una sorta di scorciatoia per essere efficiente dalla memoria? In caso contrario, qual è lo scopo di utilizzare i database per l'uso domestico?

Nessuna soluzione corretta

Autorizzato sotto: CC-BY-SA insieme a attribuzione
scroll top