科创网 关注科创领域的新机会

spark是什么计算机框架

spark是一个什么类型的计算框架 

集群计算框架

Spark是一个开源的集群计算框架,主要用于处理实时生成的数据。它实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流。与MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上。

Spark支持Scala、Java、Python、R的API,支持交互式的Python和Scala的shell,提供了统一的解决方案,可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)等。

版权说明:文章均为账号作者发布,不代表本网站观点与立场,如有侵权请联系我们删除