Appache Spark에서 Amplab Shark.

Question

문서별로

"Apache Spark는 대규모 데이터 처리를위한 빠르고 일반 엔진입니다."

"상어는 Hadoop 데이터를위한 오픈 소스 분산 SQL 쿼리 엔진입니다."

및 상어는 스파크를 종속성으로 사용합니다.

내 질문은 Spark이므로 분석 쿼리에 대한 빠른 응답을 위해 상어를 사용하는 경우 Spark Jobs에 Spark Jobs를 구문 분석하는 것입니다.

Answer 1

예, 상어는 하이브와 동일한 아이디어를 사용하지만 Hiveql을 MapReduce 작업 대신 스파크 작업으로 번역합니다.이 두 가지 사이의 아키텍처 차이를위한이 문서