Ошибка Solr при массовой загрузке - org.apache.lucene.index.MergePolicy$MergeException
https://stackoverflow.com//questions/25020670
-
21-12-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
Я получаю множество следующих исключений при массовой загрузке миллионов записей через sstableloader:
ERROR [Lucene Merge Thread #132642] 2014-07-29 00:35:01,252 CassandraDaemon.java (line 199) Exception in thread Thread[Lucene Merge Thread #132642,6,main]
org.apache.lucene.index.MergePolicy$MergeException: java.lang.IllegalStateException: failed
at org.apache.lucene.index.ConcurrentMergeScheduler.handleMergeException(ConcurrentMergeScheduler.java:545)
at org.apache.lucene.index.ConcurrentMergeScheduler$MergeThread.run(ConcurrentMergeScheduler.java:518)
Caused by: java.lang.IllegalStateException: failed
at org.apache.lucene.util.packed.DirectPackedReader.get(DirectPackedReader.java:93)
at org.apache.lucene.util.packed.BlockPackedReader.get(BlockPackedReader.java:86)
at org.apache.lucene.util.LongValues.get(LongValues.java:35)
at org.apache.lucene.codecs.lucene45.Lucene45DocValuesProducer$5.getOrd(Lucene45DocValuesProducer.java:459)
at org.apache.lucene.codecs.DocValuesConsumer$4$1.setNext(DocValuesConsumer.java:389)
at org.apache.lucene.codecs.DocValuesConsumer$4$1.hasNext(DocValuesConsumer.java:352)
at org.apache.lucene.codecs.lucene45.Lucene45DocValuesConsumer.addNumericField(Lucene45DocValuesConsumer.java:141)
at org.apache.lucene.codecs.lucene45.Lucene45DocValuesConsumer.addSortedField(Lucene45DocValuesConsumer.java:350)
at org.apache.lucene.codecs.perfield.PerFieldDocValuesFormat$FieldsWriter.addSortedField(PerFieldDocValuesFormat.java:116)
at org.apache.lucene.codecs.DocValuesConsumer.mergeSortedField(DocValuesConsumer.java:305)
at org.apache.lucene.index.SegmentMerger.mergeDocValues(SegmentMerger.java:197)
at org.apache.lucene.index.SegmentMerger.merge(SegmentMerger.java:116)
at org.apache.lucene.index.IndexWriter.mergeMiddle(IndexWriter.java:4058)
at org.apache.lucene.index.IndexWriter.merge(IndexWriter.java:3655)
at org.apache.lucene.index.ConcurrentMergeScheduler.doMerge(ConcurrentMergeScheduler.java:405)
at org.apache.lucene.index.ConcurrentMergeScheduler$MergeThread.run(ConcurrentMergeScheduler.java:482)
Caused by: java.io.EOFException: Read past EOF (resource: BBIndexInput(name=_13ms5_Lucene45_0.dvd))
at com.datastax.bdp.search.lucene.store.bytebuffer.ByteBufferIndexInput.switchCurrentBuffer(ByteBufferIndexInput.java:188)
at com.datastax.bdp.search.lucene.store.bytebuffer.ByteBufferIndexInput.readByte(ByteBufferIndexInput.java:129)
at org.apache.lucene.store.DataInput.readShort(DataInput.java:77)
at com.datastax.bdp.search.lucene.store.bytebuffer.ByteBufferIndexInput.readShort(ByteBufferIndexInput.java:89)
at org.apache.lucene.util.packed.DirectPackedReader.get(DirectPackedReader.java:64)
... 15 more
Из трассировки исключений я вижу, что это как-то связано с длинными значениями и EOF.Однако я понятия не имею, что вызывает ошибку.Файлы SSTable, которые я пытаюсь импортировать, были сгенерированы программой Java (написанной мной), которая использует org.apache.cassandra.io.sstable.CQLSSTableWriter.
Схему CF, схему Solr и код генератора SSTable можно найти здесь: https://www.dropbox.com/sh/1rpo3ixmz1bg9y2/AAA3aqlfzWEsNIwy79G9dASba
PS:
- Недавно я обновился с DSE 4.1.3 до 4.5.1.Я не помню, чтобы видел эту ошибку до обновления
- Библиотека cassandra, включенная в путь к классу генератора, имеет версию 2.0.8.До обновления DSE он использовал библиотеки версии 2.0.5
- Топология DSE:1 DC, 6 solr-узлов (vnodes отключены), RF 2
- Другая конфигурация DSE:LeveledCompaction, сжатие LZ4, обмен ссылками на свойства файлов
- Технические характеристики машины:CentOS 6.5 x64, JDK 1.7.0_55, hexacore, размер кучи 120 ГБ (у нас есть конкретные запросы, которые требуют этого), общий объем оперативной памяти 128 ГБ
Изначально я столкнулся с ошибкой в 3 из 6 узлов.Я перезапустил их все, и мне удалось импортировать более 150 миллионов записей без ошибок.Но когда я оставил импорт без присмотра во время сна, именно тогда ошибка вновь появилась в 1 из 6 узлов.
Сейчас я очень встревожен, потому что количество проиндексированных записей в каждом узле (согласно Solr admin UI) меньше примерно на 60 000 записей по сравнению с количеством строк Cassandra (согласно nodetool cfstats)
Обновить:
Все еще продолжаю испытывать это.Расхождение между количеством проиндексированных документов (Solr) и сохраненных документов (Cassandra cfstats) увеличивается день ото дня
ОБНОВЛЕНИЕ (2014-08-13):
Изменил фабрику каталогов, как предложил Rock Brain;но ошибка повторилась в течение нескольких часов непрерывного импорта через sstableloader
ОБНОВЛЕНИЕ (2014-08-14):
Интересно, что я заметил, что на самом деле я получаю два похожих исключения (с разницей только в трассировке стека последнего "вызванного":
Исключение 1:
ERROR [Lucene Merge Thread #24937] 2014-08-14 06:20:32,270 CassandraDaemon.java (line 199) Exception in thread Thread[Lucene Merge Thread #24937,6,main]
org.apache.lucene.index.MergePolicy$MergeException: java.lang.IllegalStateException: failed
at org.apache.lucene.index.ConcurrentMergeScheduler.handleMergeException(ConcurrentMergeScheduler.java:545)
at org.apache.lucene.index.ConcurrentMergeScheduler$MergeThread.run(ConcurrentMergeScheduler.java:518)
Caused by: java.lang.IllegalStateException: failed
at org.apache.lucene.util.packed.DirectPackedReader.get(DirectPackedReader.java:93)
at org.apache.lucene.util.packed.BlockPackedReader.get(BlockPackedReader.java:86)
at org.apache.lucene.util.LongValues.get(LongValues.java:35)
at org.apache.lucene.codecs.lucene45.Lucene45DocValuesProducer$5.getOrd(Lucene45DocValuesProducer.java:459)
at org.apache.lucene.codecs.DocValuesConsumer$4$1.setNext(DocValuesConsumer.java:389)
at org.apache.lucene.codecs.DocValuesConsumer$4$1.hasNext(DocValuesConsumer.java:352)
at org.apache.lucene.codecs.lucene45.Lucene45DocValuesConsumer.addNumericField(Lucene45DocValuesConsumer.java:141)
at org.apache.lucene.codecs.lucene45.Lucene45DocValuesConsumer.addSortedField(Lucene45DocValuesConsumer.java:350)
at org.apache.lucene.codecs.perfield.PerFieldDocValuesFormat$FieldsWriter.addSortedField(PerFieldDocValuesFormat.java:116)
at org.apache.lucene.codecs.DocValuesConsumer.mergeSortedField(DocValuesConsumer.java:305)
at org.apache.lucene.index.SegmentMerger.mergeDocValues(SegmentMerger.java:197)
at org.apache.lucene.index.SegmentMerger.merge(SegmentMerger.java:116)
at org.apache.lucene.index.IndexWriter.mergeMiddle(IndexWriter.java:4058)
at org.apache.lucene.index.IndexWriter.merge(IndexWriter.java:3655)
at org.apache.lucene.index.ConcurrentMergeScheduler.doMerge(ConcurrentMergeScheduler.java:405)
at org.apache.lucene.index.ConcurrentMergeScheduler$MergeThread.run(ConcurrentMergeScheduler.java:482)
Caused by: java.io.EOFException: Read past EOF (resource: BBIndexInput(name=_67nex_Lucene45_0.dvd))
at com.datastax.bdp.search.lucene.store.bytebuffer.ByteBufferIndexInput.switchCurrentBuffer(ByteBufferIndexInput.java:188)
at com.datastax.bdp.search.lucene.store.bytebuffer.ByteBufferIndexInput.readByte(ByteBufferIndexInput.java:129)
at org.apache.lucene.util.packed.DirectPackedReader.get(DirectPackedReader.java:64)
... 15 more
Исключение 2 (точно такое же, как исходное исключение в верхней части этого поста):
ERROR [Lucene Merge Thread #24936] 2014-08-14 06:20:34,694 CassandraDaemon.java (line 199) Exception in thread Thread[Lucene Merge Thread #24936,6,main]
org.apache.lucene.index.MergePolicy$MergeException: java.lang.IllegalStateException: failed
at org.apache.lucene.index.ConcurrentMergeScheduler.handleMergeException(ConcurrentMergeScheduler.java:545)
at org.apache.lucene.index.ConcurrentMergeScheduler$MergeThread.run(ConcurrentMergeScheduler.java:518)
Caused by: java.lang.IllegalStateException: failed
at org.apache.lucene.util.packed.DirectPackedReader.get(DirectPackedReader.java:93)
at org.apache.lucene.util.packed.BlockPackedReader.get(BlockPackedReader.java:86)
at org.apache.lucene.util.LongValues.get(LongValues.java:35)
at org.apache.lucene.codecs.lucene45.Lucene45DocValuesProducer$5.getOrd(Lucene45DocValuesProducer.java:459)
at org.apache.lucene.codecs.DocValuesConsumer$4$1.setNext(DocValuesConsumer.java:389)
at org.apache.lucene.codecs.DocValuesConsumer$4$1.hasNext(DocValuesConsumer.java:352)
at org.apache.lucene.codecs.lucene45.Lucene45DocValuesConsumer.addNumericField(Lucene45DocValuesConsumer.java:141)
at org.apache.lucene.codecs.lucene45.Lucene45DocValuesConsumer.addSortedField(Lucene45DocValuesConsumer.java:350)
at org.apache.lucene.codecs.perfield.PerFieldDocValuesFormat$FieldsWriter.addSortedField(PerFieldDocValuesFormat.java:116)
at org.apache.lucene.codecs.DocValuesConsumer.mergeSortedField(DocValuesConsumer.java:305)
at org.apache.lucene.index.SegmentMerger.mergeDocValues(SegmentMerger.java:197)
at org.apache.lucene.index.SegmentMerger.merge(SegmentMerger.java:116)
at org.apache.lucene.index.IndexWriter.mergeMiddle(IndexWriter.java:4058)
at org.apache.lucene.index.IndexWriter.merge(IndexWriter.java:3655)
at org.apache.lucene.index.ConcurrentMergeScheduler.doMerge(ConcurrentMergeScheduler.java:405)
at org.apache.lucene.index.ConcurrentMergeScheduler$MergeThread.run(ConcurrentMergeScheduler.java:482)
Caused by: java.io.EOFException: Read past EOF (resource: BBIndexInput(name=_67fvk_Lucene45_0.dvd))
at com.datastax.bdp.search.lucene.store.bytebuffer.ByteBufferIndexInput.switchCurrentBuffer(ByteBufferIndexInput.java:188)
at com.datastax.bdp.search.lucene.store.bytebuffer.ByteBufferIndexInput.readByte(ByteBufferIndexInput.java:129)
at org.apache.lucene.store.DataInput.readShort(DataInput.java:77)
at com.datastax.bdp.search.lucene.store.bytebuffer.ByteBufferIndexInput.readShort(ByteBufferIndexInput.java:89)
at org.apache.lucene.util.packed.DirectPackedReader.get(DirectPackedReader.java:64)
... 15 more
ОБНОВЛЕНИЕ, часть 2 (2014-08-14):
пример предупреждения о перезагрузке:
WARN [http-8983-2] 2014-08-14 08:31:28,828 CassandraCoreContainer.java (line 739) Too much waiting for new searcher...
WARN [http-8983-2] 2014-08-14 08:31:28,831 SolrCores.java (line 375) Tried to remove core myks.mycf from pendingCoreOps and it wasn't there.
INFO [http-8983-2] 2014-08-14 08:31:28,832 StorageService.java (line 2644) Starting repair command #3, repairing 0 ranges for keyspace solr_admin
INFO [http-8983-2] 2014-08-14 08:31:28,835 SolrDispatchFilter.java (line 672) [admin] webapp=null path=/admin/cores params={slave=true&deleteAll=false&name=myks.mycf&distributed=false&action=RELOAD&reindex=false&core=myks.mycf&wt=javabin&version=2} status=0 QTime=61640
ОБНОВЛЕНИЕ (2014-08-23):
Я больше не смог воспроизвести исключение после повторного выполнения предложенного обходной путь
Решение
Обновите свой solrconfig.xml для всех ваших ядер:поменять местами directoryFactory От com.datastax.bdp.cassandra.index.solr.DSENRTCachingDirectoryFactory Для solr.MMapDirectoryFactory.
Кроме того, какая операционная система, версия JVM используется, сколько процессоров, размер кучи, общий объем доступной памяти.Через сколько минут / часов после загрузки возникает ошибка.
Не связан с StackOverflow
