Squalo Amplab su Apache Spark

Question

Come da documentazione,

"Apache Spark è un motore veloce e generale per l'elaborazione dei dati su larga scala."

"Shark è un motore di query SQL distribuito open source per i dati di Hadoop."

e lo squalo usa Spark come dipendenza.

La mia domanda è, è Spark Just Parses Hiveql in Spark Jobs o fa qualcosa di eccezionale se usiamo lo squalo per una risposta rapida sulle query analitiche?

Answer 1

Sì, Shark usa la stessa idea dell'alveare, ma traduce Hiveql in Spark Jobs invece dei lavori di Mapreduce.Per favore, leggi le pagine 13-14 di Questo documento per differenze architettoniche tra questi due.