modo più veloce per memorizzare / recuperare un dizionario - SQL, file di testo ...?

Question

Ho un file di testo di parole e frequenze di parole. E 'molto grande - in teoria stiamo parlando di milioni di righe.

Voglio solo recuperare i valori dal file, e farlo il più rapidamente ed efficacemente possibile (per una web app, in Django).

La mia domanda è: qual è il modo migliore per conservare e recuperare i valori? Dovrebbe importarli in SQL? O mantenere il file e utilizzare grep? O metterli in un JSON dizionario ...? O qualche altro modo?

sarei molto grato per un consiglio!

Answer 1

mettendoli in un dizionario JSON sarebbe una cattiva idea a meno che non si desidera caricare l'intera cosa in memoria quando si cerca attraverso di essa.

sql è fondamentalmente costruita per questo genere di cose, quindi vorrei usare quello. un file e grep potrebbe anche funzionare bene, ma non sarebbe ottenere alcuni benefici di indicizzare ecc che SQL darebbe.