Spark使用SparkSQL、Spark Streaming、MLlib、Graph几乎完美地解决了大数据中的Batch Processing、Stream Processing、Ad-hocQuery（即席查询）等三大核心问题。

Spark定义

a.是一个通用的大规模数据快速处理引擎。

b.Spark就是一个大数据分布式处理框架。

Spark与Hadoop的功能性质都是一样的，就是提供为大规模数据处理而设计的快速通用的计算引擎---开源集群计算环境。简单通俗点讲，就是Spark集群能够容纳足够大规模（就是未知而且规模不停增长的）数据，在这个集群运行环境中，还能够不停的反复操作数据，还要速度非常快，还有稳定性等等，在此基础上，通过开发的分析软件，快速的以不同形式的比如图表，表格等形式提供分析结果。

Spark与Hadoop相似，但总体来说比Hadoop有优势，主要表现在某些工作负载方面比Hadoop更加优越，比如内存计算下Spark比Hadoop快很多倍，提供了80多个高级运算符很易用，提供了大量的库包括SQL、DataFrames、MLlib、GraphX、Spark Streaming等可以在同一个应用程序中无缝组合使用这些库。

典型的应用场景比如大数据在广告、分析报表、推荐系统等方面的应用，比如大数据做应用分析、效果分析、定向优化、优化排名、个性化推荐、热点点击分析等等。Spark主要使用SCALA（面向对象、函数式编程语言）来实现，当然也支持Java、Python等语言。

Spark是大数据领域中最为火爆的一个分布式计算框架。

我们把Spark部署在几个或几百甚至几千服务器上后形成一个系统，然后往这个系统提交Spark作业，作业在这些服务器上分布式并行高效执行，执行结果由Spark返回给我们。

Spark及其之上的子框架（如Spark Streaming、Spark MLlib、Spark SQL等）支持多种作业类型，应用范围很广场景很丰富。典型的应用场景有：数据统计分析（如传统Oracle、MySQL做的），尤其是海量数据在大规模Spark系统中非常高效，还有海量数据挖掘方面啊，推荐系统啊，风控系统啊，只要跟数据相关的，基本上都是Spark能做的。

！笔者刚签约Spark大数据工程师岗位，就Spark的特性和应用场景展开说明一下！

Spark特性

Spark与Hadoop的功能性质都是一样的，就是提供为大规模数据处理而设计的快速通用的计算引擎。简单通俗点讲，就是Spark集群能够容纳足够大规模（就是未知而且规模不停增长的）数据。 Spark与Hadoop相似，但总体来说比Hadoop有优势，主要表现在某些工作负载方面比Hadoop更加优越，比如内存计算下Spark比Hadoop快很多倍，提供了80多个高级运算符很易用，提供了大量的库包括SQL、DataFrames、MLlib、GraphX、Spark Streaming等可以在同一个应用程序中无缝组合使用这些库。

典型的应用场景

比如大数据在广告、分析报表、推荐系统等方面的应用，比如大数据做应用分析、效果分析、定向优化、优化排名、个性化推荐、热点点击分析等等。Spark主要使用scala（面向对象、函数式编程语言）来实现，当然也支持Java、Python等语言。

Spark的应用有个流程：

其实就是数据分析的过程 - 接收，处理，输出一次性完成的过程！

使用Spark最简单的方法：就是直接在你的机器上使用Pyspark。

1.什么是Spark

Spark是一种通用的大数据计算框架，跟传统大数据Hadoop的MapReduce引擎不同的是，Spark主要基于内存计算，而MapReduce则基于磁盘计算。

Spark是加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用于构建大型的、低延迟的数据分析应用程序。Spark主要使用Scala语言开发，当然也是支持Python、Java和R语言开发的。

2.Spark发展历史

2009年由Berkeley's AMPLab开始编写最初的源代码