セマンティック分析のためにビッグデータでLiblinearを使用します

Question

私が使う libsvm データをトレーニングし、分類を予測する 意味分析 問題。しかし、それはあります パフォーマンス セマンティック分析が懸念されるため、大規模なデータで発行します n次元 問題。

去年、 liblinear リリースされ、パフォーマンスのボトルネックを解決できます。しかし、費用がかかりすぎます メモリー. 。は MapReduce ビッグデータのセマンティック分析の問題を解決する唯一の方法は？または、メモリボトルネックを改善できる他の方法はありますか liblinear?

Answer 1

に移植されたliblinearの初期バージョンがあることに注意してください アパッチスパーク. 。見る メーリングリストのコメント いくつかの初期の詳細、および プロジェクトサイト.

Answer 2

チェックアウトできます Vowpal Wabbit. 。大規模な学習で非常に人気があり、並行規定が含まれています。

彼らのウェブサイトから：

VWは機械学習のスピードの本質であり、Terafeatureデータセットから簡単に学ぶことができます。並列学習を介して、Linear Learningを実行するときに、学習アルゴリズムの1つであるLinear Learningを実行するときの任意の単一マシンネットワークインターフェイスのスループットを超える可能性があります。