Come velocizzare il mio test MongoDB?

Question

Dal mio test ottengo circa 500 inserimenti, 200 query, 400 aggiornamenti al secondo.Mi chiedo cosa posso modificare per aumentare questi numeri.

Ho letto che altri riescono a ottenere migliaia o addirittura decine di migliaia di inserimenti nei loro test, il che è molto meglio del mio test.Mi chiedo se mi manca qualcosa di fondamentale?

Quindi, ecco i fatti:

• Sto utilizzando un mongodb v2.0.3 win a 32 bit con configurazione predefinita
• Driver Java (2.7.3) con Spring Mongo, (non forzo fsync)
• Facendo una combinazione di inserimento e aggiornamenti atomici come push, pull, aumento, diminuzione, set,
• E ripeti tutto questo per 500k volte.
• L'intenzione è quella di simulare le azioni dell'utente come l'inserimento e gli aggiornamenti
• Non sono definiti indici specifici, ma penso che per impostazione predefinita ci sarà sempre l'indice univoco sull'id?
• L'app Java eseguita nell'IDE Eclipse è in esecuzione sulla stessa macchina del server Mongod
• Specifiche H/W:core i5, memoria 4GB, thinkpad edge
• Ho notato che il processo Java richiede circa 280 MB ed è stabile su quel numero nel corso del ciclo

L'orario di inizio è:2012-03-08 21:50:16

E monitoro utilizzando mongostat e dopo aver raggiunto il momento di 22:05:10, chiudo la mia domanda incompiuta..ed ecco l'ultimo output del mongostato

insert  query update delete getmore command flushes mapped  vsize    res faults locked % idx miss %     qr|qw   ar|aw  netIn netOut  conn       time
   499    200    400      0       0     100       0  1023m  1.06g   581m    145      8.5          0       0|0     0|0   645k    97k     3   22:05:01
   503    201    403      0       0     102       0  1023m  1.06g   582m    154     10.7          0       0|0     0|1   651k    98k     3   22:05:02
   520    208    415      0       0     105       0  1023m  1.06g   582m    176     11.1          0       0|0     0|0   671k   101k     3   22:05:03
   504    202    403      0       0     102       0  1023m  1.06g   582m    167      7.2          0       0|0     0|0   651k    98k     3   22:05:04
   524    209    419      0       0     106       0  1023m  1.06g   582m    147      8.3          0       0|0     0|0   675k   102k     3   22:05:05
   534    213    428      0       0     107       0  1023m  1.06g   583m    176      7.4          0       0|0     0|0   690k   103k     3   22:05:06
   531    213    424      0       0     108       0  1023m  1.06g   584m    160      4.9          0       0|0     0|0   685k   104k     3   22:05:07
   533    213    427      0       0     107       0  1023m  1.06g   584m    164      6.9          0       0|0     0|0   689k   103k     3   22:05:08
   518    208    414      0       0     105       0  1023m  1.06g   585m    158      7.3          0       0|0     0|0   669k   101k     3   22:05:09
   521    208    417      0       0     105       0  1023m  1.06g   585m    154      4.7          0       0|0     0|0   673k   101k     3   22:05:10

E poi ho controllato il mio numero di inserzione:

> db.myCollection.find().size();
90575

E questo è un esempio del mio documento inserito, che viene anche aggiornato ecc. nel processo

> db.myCollection.findOne().pretty();
{
        "_id" : "b146189a-56a4-4035-8245-c4bd6dc2bd22",
        "something1" : "my class is cool !",
        "something2" : {
                "value" : "this is a statement blah blah",
                "name" : "myStatement"
        },
        "something3" : {
                "size" : {
                        "value" : 0,
                        "name" : "size"
                },
                "value" : [
                        "6810cb0c-fa3e-4ca9-8a27-8432f2d1e828",
                        "a8276d05-a796-4c43-bc74-edc06d074099"
                ],
                "name" : "myids"
        },
        "something4" : {
                "myattr" : {
                        "value" : "something",
                        "name" : "name"
                },
                "attr" : {
                        "content" : {
                                "value" : "another another body body content content",
                                "name" : "content"
                        },
                        "contentId" : "b146189a-56a4-4035-8245-c4bd6dc2bd22",
                        "name" : "something"
                },
                "subsubchildchild" : {
                        "size" : {
                                "value" : 0,
                                "name" : "size"
                        },
                        "value" : [ ],
                        "name" : "subBodies"
                },
                "myId" : "b146189a-56a4-4035-8245-c4bd6dc2bd22",
                "name" : "hiccups"
        },
        "something5" : {
                "value" : false,
                "name" : "hahaha"
        },
        "something6" : {
                "name" : "okay this is just a test"
        },
        "something7" : {
                "value" : false,
                "name" : "remove me !"
        },
        "something8" : {
                "size" : {
                        "value" : 0,
                        "name" : "size"
                },
                "value" : [ ],
                "name" : "guess what"
        },
        "something9" : {
                "size" : {
                        "value" : 0,
                        "name" : "anotherSize"
                },
                "value" : [ ],
                "name" : "tarantula"
        },
        "something10" : {
                "value" : 8,
                "name" : "my exam score"
        },
        "something11" : {
                "size" : {
                        "value" : 0,
                        "name" : "justAnotherSize"
                },
                "value" : [ ],
                "name" : "myReference"
        },
        "something12" : {
                "size" : {
                        "value" : 0,
                        "name" : "size"
                },
                "value" : [ ],
                "name" : "myOtherReference"
        },
        "something13" : {
                "value" : "8b78fff0-50f5-4992-9972-89f9d944fee7",
                "name" : "user"
        },
        "something14" : {
                "dateTime" : "2012-03-08 21:50:17.480000000"
        },
        "something15" : {
                "value" : false,
                "name" : "lovely"
        }
}

Ed ecco la mia statistica db:

> db.stats();
{
        "db" : "qa",
        "collections" : 7,
        "objects" : 815197,
        "avgObjSize" : 622.2093211824872,
        "dataSize" : 507223172,
        "storageSize" : 610770944,
        "numExtents" : 57,
        "indexes" : 5,
        "indexSize" : 64197952,
        "fileSize" : 1056702464,
        "nsSizeMB" : 16,
        "ok" : 1
}

Inoltre un'altra domanda per curiosità..a giudicare dalle dimensioni della mia raccolta principale, che contiene circa 90.000 record, e da altre raccolte non sostanziali che non dovrebbero essere di grandi dimensioni, è ragionevole avere circa 1 TB di dimensione file in questo caso?C'è qualcosa che posso fare per ridurre le dimensioni del mio file?

Per favore condividi i tuoi pensieri.

Answer 1

Sembra che tu abbia molti difetti su mongostat.Qualche idea sul perché?

Eseguendo una combinazione di inserimento e aggiornamenti atomici come push, pull, inc, dec, set

Come state rilasciando questi aggiornamenti?Di _id?

Ho letto che altri riescono a ottenere migliaia o addirittura decine di migliaia di inserimenti nei loro test, il che è molto meglio del mio test.Mi chiedo se mi manca qualcosa di fondamentale?

Secondo mongostat hai solo 3 connessioni attive e la percentuale di blocco è solo del 10% circa.

• Stai effettuando il multi-threading dei tuoi input?
• Stai rovinando tutto sullo stesso computer?
• Come funziona l'IO del sistema?
• Stai facendo WriteConcern.Safe?

Queste sono tutte considerazioni che potrebbero influire sulla produttività.

è ragionevole avere circa 1 TB di dimensione file in questo caso?

Basati sul tuo db.stats(), hai solo circa 600 MB di disco in uso.

"storageSize" : 610770944 // = 610,770,944

La dimensione media dell'oggetto è 622 byte, ma hai 815.197 oggetti, non i 90.000 documenti che affermi di avere.

C'è qualcosa che posso fare per ridurre le dimensioni del mio file?

Sì, riduci la dimensione delle chiavi nei tuoi documenti JSON.Per esempio:

"something1" : "my class is cool !"  => ~28 bytes
"s1": "my class is cool !"           => ~20 bytes

Assicurati di archiviare correttamente i nomi abbreviati e consenti al framework di accesso ai dati di eseguire la mappatura di questi nomi più ragionevoli.