Ottimizza PostgreSQL per molti inserti e aggiornamenti bytea
-
02-11-2019 - |
Domanda
Cosa abbiamo (software):
- POSTRGESQL 9.3 con configurazione di base (nessuna modifica in
postgresql.conf
) - Windows 7 64 bit
Hardware:
- Intel Core i7-3770 3,9 GHz
- 32 GB RAM
- WDC WD10EZRX-00L4HBata Drive (1000 GB, SATA III)
Quindi, dobbiamo caricare in DB APROX. 100.000.000 righe con bytea colonna e più semplice 500.000.000 righe (senza lobs). Ce ne sono 2 varchar
indici sulla prima tabella (con 13, 19 lunghezza) e 2 varchar
indici sulla 2a tabella (18, 10 lunghezze). Ci sono anche sequenze per la generazione ID per ogni tabella.
Ormai queste operazioni stanno facendo con 8 connessioni in parallelo con 50 batch JDBC. L'immagine seguente dimostra il carico del sistema: è a carico zero postgresql
processi. Dopo 24 ore di carico abbiamo caricato solo 10.000.000 righe, il che è molto lento.
Stiamo chiedendo aiuto per la messa a punto PostrgreSQL
configurazione a scopo di:
1) Per il caricamento ultra veloce di questa quantità di dati, è un funzionamento solo una volta, quindi potrebbe essere una configurazione temporanea
2) Per la modalità di produzione per fare un numero moderato di selezioni in queste 2 tabelle dai loro indici senza join e senza ordinamento.
Nessuna soluzione corretta