Tiburón amplab en apache chispa

Question

según la documentación,

"Apache Spark es un motor rápido y general para el procesamiento de datos a gran escala".

"Shark es un motor de consulta SQL distribuida de código abierto para los datos de Hadoop".

y tiburón usa la chispa como una dependencia.

Mi pregunta es, ¿es SPROP, solo analiza HiveQL en trabajos de chispa o hace algo genial si usamos tiburones para una respuesta rápida en consultas analíticas?

Answer 1

Sí, Tiburón usa la misma idea que la colmena, pero traduce HiveQL a los trabajos de chispas en lugar de los trabajos de MapReduce.Por favor, lea las páginas 13-14 de este documento para las diferencias arquitectónicas entre estos dos.