Met Lucene: Hoekom kry ek 'n Te veel Klousules fout as ek doen 'n voorvoegsel soek?

Question

Ek het 'n app doen voorvoegsel soektogte vir 'n rukkie het. Onlangs is die indeks grootte toegeneem en het dit geblyk dat sommige voorvoegsels was te darned talle vir Lucene te hanteer. Dit het gooi my 'n Te veel klousules fout, wat was baie frustrerend as ek het bly kyk na my pype en bevestig dat nie een van die ingesluit kode eintlik gebruik 'n boolean navraag.

Hoekom is dit nie iets soos 'n Te veel uitsondering Treffers gooi? En waarom die verhoging van statiese maksimum klousules die boolean navraag se heel getal eintlik maak hierdie fout gaan weg, wanneer ek beslis net met behulp van 'n voorvoegsel navraag? Is daar iets fundamenteel tot hoe navrae bedryf wat ek nie verstaan; Wat is dit wat hulle in die geheim geword Boole navrae?

Answer 1

Ek het hierdie voor getref. Dit het te doen met die feit dat Lucene, onder die dek, draai baie (al?) Dinge in boolean navrae wanneer jy bel Query.rewrite ()

Van: http://lucene.apache.org/java/2_2_0/api/org/apache/lucene/search/Query.html#rewrite (org.apache.lucene.index.IndexReader)

public Query rewrite(IndexReader reader)
              throws IOException

    Expert: called to re-write queries into primitive queries.
            For example, a PrefixQuery will be rewritten into a
            BooleanQuery that consists of TermQuerys.

    Throws:
        IOException

Answer 2

Die API verwysing bladsy van TooManyClauses toon dat PrefixQuery, FuzzyQuery, WildcardQuery, en RangeQuery is uitgebrei op hierdie manier (in BooleanQuery). Want dit is in die API verwysing, moet dit 'n gedrag wat gebruikers kan staatmaak op wees. Lucene nie plaas arbitrêre perke op die aantal hits (behalwe 'n dokument ID synde 'n int) so 'n "te veel treffers" uitsondering dalk nie sin maak nie. Miskien PrefixQuery.rewrite (IndexReader) moet die TooManyClauses vang en gooi 'n "te veel voorvoegsels" uitsondering, maar nou is dit nie optree op die manier.

By the way, 'n ander manier om te soek deur voorvoegsel is om PrefixFilter gebruik. Óf filter jou navraag met dit of draai die filter met 'n ConstantScoreQuery.

Answer 3

As jy 'n voorvoegsel navraag, Lucene soek vir al die terme in sy "woordeboek" wat ooreenstem met die soektog. As daar meer as 1024 (by verstek) wedstryd, die TooManyClauses-Uitsondering gegooi.

Jy kan BooleanQuery.setMaxClauseCount bel om die maksimum aantal klousules toegelaat per BooleanQuery verhoog.