在大数据上使用liblinear进行语义分析

Question

我用 libsvm 培训数据并预测分类 语义分析 问题。但是它有一个 表现 大规模数据的问题，因为语义分析问题 n维度 问题。

去年， liblinear 是发布的，它可以解决性能瓶颈。但这太多了 记忆. 。是 MapReduce 解决大数据上语义分析问题的唯一方法？或还有其他可以改善内存瓶颈的方法 liblinear?

Answer 1

请注意，有一个早期版本的liblinear移植到 Apache Spark. 。看 邮件列表评论 有关一些早期细节，以及 项目站点.

Answer 2

你可以退房 Vowpal Wabbit. 。它在大规模学习中非常受欢迎，并包括并行规定。

从他们的网站：

大众是机器学习速度的本质，能够轻松地从Terafeature数据集中学习。通过并行学习，它可以超过任何单个机器网络界面的吞吐量，这是学习算法中的第一个。