Verwenden Sie LIBLINEAR für Big Data für die semantische Analyse

Question

ich benutze Libsvm Daten auszubilden und die Klassifizierung vorhersagen Semantische Analyse Problem. Aber es hat eine Leistung Ausgabe von Daten in groß angelegten Daten, da die semantische Analyse betrifft N-Dimension Problem.

Vergangenes Jahr, Liblinear wurde veröffentlicht, und es kann den Performance -Engpass lösen. Aber es hat zu viel gekostet Erinnerung. Ist Karte verkleinern Die einzige Möglichkeit, das semantische Analyseproblem auf Big Data zu lösen? Oder gibt es andere Methoden, die den Speicher Engpass verbessern können Liblinear?

Answer 1

Beachten Sie, dass es eine frühe Version von LIBLINEAR gibt Apache Funken. Sehen Mailingliste Kommentare für einige frühe Details und die Projektseite.

Answer 2

Sie können auschecken Vowpal Wabbit. Es ist sehr beliebt für groß angelegte Lernen und umfasst parallele Bestimmungen.

Von ihrer Website:

VW ist die Essenz der Geschwindigkeit im maschinellen Lernen und kann mühelos aus TerafeaTure -Datensätzen lernen. Durch parallele Lernen kann es den Durchsatz einer einzelnen Maschinennetzwerkschnittstelle beim linearen Lernen überschreiten, eine erste unter Lernalgorithmen.