spark是一个什么类型的计算框架
集群计算框架
Spark是一个开源的集群计算框架,主要用于处理实时生成的数据。它实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流。与MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上。
Spark支持Scala、Java、Python、R的API,支持交互式的Python和Scala的shell,提供了统一的解决方案,可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)等。
