출처 http://bcho.tistory.com/1023

스팍의 정의를 내려보면 한마디로 범용적 목적의 분산 고성능 클러스터링 플랫폼 (General purpose high performance distributed platform) 입니다 말이 정말 길고 모호한데, 달리 설명할만한 단어가 없습니다.

스팍은 범용 분산 플랫폼입니다. 하둡과 같이 Map & Reduce 만 돌리는 것도 아니고, Storm 과 같이 스트리밍 처리만 하는게 아니라, 그냥 분산된 여러대의 노드에서 연산을 할 수 있게 해주는 범용 분산 클러스터링 플랫폼으로, 이 위에, Map & Reduce나, 스트리밍 처리등의 모듈을 추가 올려서 그 기능을 수행하게 하는 기능을 제공합니다.

특히나, 메모리 하둡이라고도 불리는데, 이 스팍은 기존의 하둡이 MR(aka. Map & Reduce) 작업을 디스크 기반으로 수행하기 때문에 느려지는 성능을 메모리 기반으로 옮겨서 고속화 하고자 하는데서 출발하였습니다.

그 플랫폼 위에 SQL 기반으로 쿼리를 할 수 있는 기능이나, 스트리밍 기능등등을 확장하여 현재의 스팍과 같은 모습을 가지게 되었습니다. 스팍의 주요 기능은 앞에서 언급하였듯이

• Map & Reduce (cf. Hadoop)
• Streaming 데이타 핸들링 (cf. Apache Storm)
• SQL 기반의 데이타 쿼리 (cf. Hadoop의 Hive)
• 머신 러닝 라이브러리 (cf. Apache Mahout)

등을 제공합니다.