Apache Spark上的Amplab Shark

Question

根据文档，

“Apache Spark是一个快速和通用的发动机，用于大规模数据处理。”

“Shark是一个用于Hadoop数据的开源分布式SQL查询引擎。”

和鲨鱼使用火花作为依赖。

我的问题是，火花只是将Hiveql解析为Spark工作，或者如果我们在分析查询中使用鲨鱼进行快速响应的情况，请做任何伟大的东西？

Answer 1

是的，鲨鱼使用与hive相同的想法，但将hiveql转换为spark作业而不是mapreduce作业。请阅读这个文档，用于这两个的架构差异。