SOLR Informazioni di caricamento senza gestore di importazione dei dati

Question

Ho 700.000 nomi di strada, 8111 nomi di comunali e 80333 codici postali di località. Vorrei indicizzare tutte queste informazioni in solr. L'utente vuole cercare queste informazioni tramite un modulo di completamento automatico AJAX. L'ho dimostrato con pochi dati e il comportamentato del modulo autocompleto Ajax è OK.

 <fieldType name="text" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="stopwords.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="stopwords.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
  </analyzer>
</fieldType>

.

Il problema avviene quando si caricano tutti i dati in SOLR

.
• Come dovrei caricare le informazioni sul server SOLR (sono in un'app Grails e ho bisogno di caricare le istanze che hanno le informazioni senza gestore di input dei dati) oggi sono state molte ore oggi per farlo e infine Grails Console Si è schiantato :( -> Dovrei usare uno script di graali invece di fare un servizio ed eseguirlo con la console Grails ??
• o dovrei usare il gestore di ingresso dati per caricarlo più velocemente ?? Posso concat valori stringa da colonne diverse di diverse tabelle con gestore di ingresso dati ??

(va bene avere un documento diverso per ciascuno (700.000 + 8111 + 80.333 documenti) ??)

Grazie per il tuo tempo

Answer 1

Assumi i tuoi comuni, i nomi delle strade e i codici postali dovrebbero essere autocomensibili separatamente.In questo caso, useresti un solr core per ciascuno.

.

o dovrei usare il gestore di ingresso dati per caricarlo più velocemente ??

DIH sarà piuttosto veloce, e purché queste informazioni non cambino molto spesso, dovrebbe andare bene farlo in questo modo.

.

posso concat valori stringa da colonne diverse di diverse tabelle con gestore di ingresso dati ??

Sì;In data-config.xml fornisci una specifica query SQL e può utilizzare la concatenazione nativa del database (ad esempio || in Oracle).

Answer 2

Seriamente, scrivi uno script di shell e utilizzare il ricciolo per inviare gli aggiornamenti a solr.

stai cercando di sparare la lattina dal muro con un cannone montato su una nave che galleggia nella piscina. Non hai bisogno di un cannone o una nave o una piscina. Basta stare lì con una pistola ad aria e pop gli aggiornamenti da uno per uno fino a quando è stato fatto.

Per uno script di shell di ricerca completo di aggiornamenti SOLR di esempio, scaricare il solr binario, Apache-solr-3.5.0.tgz o apache-solr-3.5.0.zip da uno specchio vicino a te. Trova lo specchio a http://lucene.apache.org/solr/downloads.html

Disimballare l'archivio, vai nella directory di esempio e segui queste istruzioni http://lucene.apache.org/solr/tutorial.html

Se sei su Unix, usa solo post.sh.

A proposito, controlla la versione SOLR che hai installato sul tuo server. Se non è 3.50, allora perché stai usando una vecchia versione quando hai il nuovo qui, in questo momento?