大数据与Hadoop之间是什么关系？

谢请！

大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。

大数据自身的岗位包括大数据平台研发、大数据应用开发、大数据分析、大数据运维等，不同的工作岗位有不同的任务要求。比如大数据平台研发主要从事大数据基础性的开发任务，解决大数据分布式存储和分布式计算机的系统级问题，另外还需要考虑并发、安全、事务等内容。

Hadoop本身就是大数据平台研发人员的工作成果，Hadoop是目前比较常见的大数据支撑性平台，Hadoop平台提供了分布式存储（HDFS）、分布式计算（MapReduce）、任务调度（YARN）、对象存储（Ozone）和组件支撑服务（Common）。

大数据开发人员可以通过Hadoop提供的系统级服务支持从而帮助企业完成大数据改造，对于开发人员来说，只需要关注于具体的服务实现就可以了，系统级功能已经由Hadoop提供了实现。所以，Hadoop是大数据开发人员的重要基础。

大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为4V。

大数据中的数据量非常巨大，达到了PB级别。而且这庞大的数据之中，不仅仅包括结构化数据（如数字、符号等数据），还包括非结构化数据（如文本、图像、声音、视频等数据）。这使得大数据的存储，管理和处理很难利用传统的关系型数据库去完成。在大数据之中，有价值的信息往往深藏其中。这就需要对大数据的处理速度要非常快，才能短时间之内就能从大量的复杂数据之中获取到有价值的信息。在大数据的大量复杂的数据之中，通常不仅仅包含真实的数据，一些虚假的数据也混杂其中。这就需要在大数据的处理中将虚假的数据剔除，利用真实的数据来分析得出真实的结果。

大数据分析（Big Data Analysis）

大数据，表面上看就是大量复杂的数据，这些数据本身的价值并不高，但是对这些大量复杂的数据进行分析处理后，却能从中提炼出很有价值的信息。对大数据的分析，主要分为五个方面：可视化分析（Analytic Visualization）、数据挖掘算法（Date Mining Algorithms）、预测性分析能力（Predictive Analytic Capabilities）、语义引擎（Semantic Engines）和数据质量管理（Data Quality Management）。

可视化分析是普通消费者常常可以见到的一种大数据分析结果的表现形式，比如说百度制作的“百度地图春节人口迁徙大数据”就是典型的案例之一。可视化分析将大量复杂的数据自动转化成直观形象的图表，使其能够更加容易的被普通消费者所接受和理解。

广义上讲 大数据是时代发展和技术进步的产物。Hadoop只是一种处理大数据的技术手段。

“大数据”概念在1980年由维克托·迈尔-舍恩伯格及肯尼斯·库克耶 在《第三次浪潮》首次提出，由麦肯锡公司(McKinsey)最早应用。

大数据的特征

容量：数据的大小决定所考虑的数据的价值和潜在的信息

种类：数据类型的多样性

！

Hadoop是处理大数据的工具，下面有其他人详细的

可以这样简单地理解：

1、大数据是一个高层次的概念（相当于互联网的概念），而Hadoop只是承载大数据的一个平台框架一种实现方式而已（类似于各种物理电脑网络）。

2、大数据包含的内涵广泛得多，而Hadoop只是其中一部分实现。

我们平常所说的大数据包含：采集、传输、存储、分析、可视化等等；而Hadoop更多是用于提取、存储、分析的一个系统平台而已。

大数据涉及到理论研究、平台与工具开发、应用等方面，是一个很泛的领域。而hadoop是大数据采集、存储、管理和计算于一体的大数据平台。可以理解为hadoop是大数据的一个平台实现，是大数据领域中很小的一个分支。

大数据是指无法在一定时间内用常规软件进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化的海量、高增长率和多样化的信息化资产。

Hadoop是一个分布式处理架构，是大数据的一个解决方案，主要用来解决海量数据的存储(HDFS)和海量数据的计算(Mapreduce)。

搞大数据你离不开Hadoop，离开Hadoop的大数据都是骗人的。

可以参考我的《大数据的15年发展历程（2003-2018）》这篇文章。

锅和美食的关系