Requin amplab sur Apache Spark

Question

selon la documentation,

"Apache Spark est un moteur rapide et général pour le traitement de données à grande échelle."

"requin est un moteur de requête SQL distribué à la source ouverte pour les données Hadoop."

et requin utilise Spark comme une dépendance.

Ma question est que Spark n'utilise que Hiveql dans Spark Jobs ou fait quelque chose de grand si nous utilisons Shark pour une réponse rapide sur les requêtes analytiques?

Answer 1

Oui, Shark utilise la même idée que Hive, mais traduit Hiveql dans Spark Jobs au lieu des travaux de MapReduce.Veuillez lire les pages 13-14 de Ce document pour les différences architecturales entre ces deux.