大数据主要涉及的内容有哪些？可以从事哪些岗位？

记得大学毕业的第一份工作，我们公司的业务就是做BI产品研发。哪时候互联网没有今天这样火热，也没有大数据、移动互联网的概念。记得有一次和同事去华师后门买书，同事买了一本javascript,我买了一个ajax。那时候，我们产品的客户端是用Delphi开发的，其实买书就是为了补充一点新知识，工作中基本用不到。在公司的第三年，公司要转做web的BI展示界面，我帮公司用svg做了两个展示组件，心里还是美滋滋的。

随着时间的推移、电商的发展，大数据、云计算似乎成了每个互联网公司对外宣传的标准说法。如果不讲点这些概念，似乎给人感觉缺少些逼格。记得10年在公司的一次培训上，有个同事问，云计算是不是你搞出来的，就因为我姓云。听到这个问题，我哭笑皆非。

大数据这个概念喊了这么多年了，很多人还是不清楚大数据指的是什么？为了好这个问题，我还去专门搜索了大数据的概念。老实说百科的解释，连我从事了这么多年互联网的人，也没看懂。

“大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。”

什么是大数据？

大数据是IT行业的专业数据，目前被大家片面的理解为“很多很多的数据”，这是一个错误的认知！

大数据是人工智能时代的基础特点之一，根据《大数据时代》一书介绍，大数据需要具备以下五个特点：

1、大量（Volume）
2、告诉（Velocity)
3、多样（Variety）
4、低价值密度（Value）
5、真实性（Veractiy）

大数据之所以被称之为“大”，主要是指数量比较大。只有数据体量达到PB级别以上，才能被称为大数据。我们日常听到的部分企业建个数据库，收集了几个GB的图像或用户信息，就称为大数据，要知道1PB=1024TB=1024*1024GB，也就是说，这些企业建设的数据量，很多连大数据的零头都算不上！

从以上几个特点，我们可初步分析出大数据的应用场景，然后再从应用场景去分析大数据主要涉及的内容和在这些应用场景中的岗位有那些。

场景1、大数据量的交易。如互联网行业的大型电商平台，需要通过交易大数据进行客户行为分析、商品广告分析等；

作为一名科技工作者，大数据也是我的主要研究方向之一，所以我来一下这个问题。

首先，从技术体系结构上来看，当前的大数据技术已经趋于成熟，其内容涉及到数据的采集、传输、整理、存储、分析和应用等多个方面，在就业岗位上涉及到大数据开发、大数据分析和大数据运维等岗位。

大数据技术本身并不是孤立的，大数据技术与云计算、物联网和人工智能等技术也有非常紧密的联系，所以也可以把大数据技术看成是一个大的技术生态。对于要想进入大数据领域发展的技术人员来说，可以根据自身的知识结构和能力特点来选择切入点，当前大数据开发岗位的人才缺口要相对大一些，而如果具有扎实的数学和统计学基础，也可以考虑从事大数据分析岗位（算法岗位），虽然当前算法岗位的竞争比较激烈，但是算法岗位的岗位附加值还是比较高的，未来的发展空间也相对比较大。

大数据开发岗位通常分为平台开发岗位和行业应用开发岗位，平台开发岗位属于研发级岗位，对于从业者的知识结构有更多的要求，当前研究生更愿意从事平台开发岗位，而且当前大厂的平台开发岗位也比较多。对于初学者来说，从大数据应用开发岗位开始做起是比较现实的选择。

相对于大数据平台开发岗位来说，大数据应用开发的技术门槛要低一些，开发人员基于已有的大数据平台来完成开发任务，往往并不需要考虑系统级问题，但是需要开发人员掌握一定的行业知识。所以，从事大数据开发岗位也需要一个系统的学习过程。

大数据一词起源于apache旗下的一款开源组件hadoop（该组件可用于存储结构化与半结构化数据并进行离线批处理）。目前，业界对大数据并没有明确的定义，一般是从大数据的‘4V’特征进行阐述，即volume（大体量）、variaty（多样性）、velocity（及时性）及value（价值密度低）。

大数据设计的内容比较广泛，包括大数据存储、大数据实时/离线计算、大数据分析等。经过十几年的发展，大数据已经形成一套涵盖各种应用的大数据生态圈，具体包含数十种组件。其中，与大数据存储相关的组件有HDFS（分布式文件系统）、hive（数据仓库）、HBase（大数据列式存储）等；与大数据计算相关的组件有mapreduce（第一代离线批处理计算框架）、spark（基于内存的计算框架，可用于离线或实时计算）、Flink（流式计算）等；与大数据分析相关的组件有spark ml（spark机器学习算法库）、tensorflow（分布式深度学习框架）等。此外，还包括yarn（资源调度）、oozie（工作流）、kafka（消息队列）等就不一一介绍了。

目前，大数据相关的岗位可以粗略地分为大数据开发与大数据分析两种。其中，大数据开发主要是负责搭建并维护大数据集群，并对相关组件进行二次开发以适应公司的具体业务；大数据分析主要是在大数据集群上实现相关的机器学习或深度学习算法，挖掘相关的信息，辅助决策。

大数据涉及各行各业，小到一个人的购物，阅读习惯就可以。可以做什么职业，例如行业信息检索方案解决工程师，话题制造者，舆论观测，购物引导等等

大数据发展趋势一路向好，尤其是在实现落地之后，大数据在各个行业的应用，开始快速扩展，行业人才需求也由此开始增长。大数据处理的流程，从数据获取、到存储、计算、分析、展现等各个环节，都需要专业的技术支持，对应到不同的岗位，各个岗位共同组成一个完整的数据团队。

大数据工作岗位及技能要求

1、大数据项目经理

工作内容：项目需求、进度、质量、成本管理。

岗位要求：有IT项目管理经验，尤其是数据项目的实施经验。

在“大数据”出现之前，对于大量的数据一般称为“海量数据”或“大规模数据”。而“大数据”不仅指规模庞大的数据对象，还包括对这些数据对象的处理和应用活动，是数据对象、技术与应用的三者统一。

“大数据”首先是指数据体量大；其次“大数据”数据类别大，数据的种类和格式多，不仅有结构化数据，还包括半结构化和非结构化数据。“大数据”还要求数据处理速度快。此外，“大数据”数据的真实性高，

并没有限制“大数据”可以做什么不可以做什么。在目前和可预见的不远的将来，大数据可以应用在以下几个方面：

1. 决策分析。通过以前和现在的数据对可能发生的事情进行预测并提出行动建议。

2. 在未知因素间寻找关联性。用“大数据”来分析不想管的数据间是否有关联性，这种关联性造成的影响。

涉及政治、经济、民生等，基本上生活中的事情都可以用大数据来做分析。可从事的岗位比较多，主要看你自己懂什么。

首先为你讲解一下大数据分析流程，总共有6个步骤，分别是：1.业务理解；2. 数据采集；3. 数据存储；4. 数据预处理；5. 数据分析；6.数据可视化。

对于以上的大数据分析流程都要求我们具备一定的编程基础，当下比较火的，用得比较多的是python编程语言，python比较快捷且容易上手和理解，因而它比较偏上层，而Java、C、C++等都比较偏底层；如果做偏业务类的数据分析python就够了，但是如果想走数据科技这条线，底层语言的JAVA、C是需要掌握的。

大数据相关岗位基本分为两类：技术类和应用类。

技术类岗位：大数据开发工程师、大数据系统设计师、大数据架构师、大数据系统运维、数据库管理员等

应用类岗位：大数据分析师、业务分析师、大数据建模师、模型优化与算法设计师、产品经理等

任何一次技术革命，都会带来新的机遇和挑战，机遇与挑战都需要人才，我们已经进入大数据时代，多家权威机构都爆出大数据人才缺口多少多少百万，大数据领域现在有个大风口，那么大数据领域的职位是如何分布的呢？如果要参加培训，该如何选择？

大数据领域分为二个方向：

一是大数据维护、研发、架构工程师方向；所涉及的职业岗位为：大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等；

二是大数据挖掘、分析方向；所涉及的职业岗位为：大数据分析师、大数据高级工程师、大数据分析师专家、大数据挖掘师、大数据算法师等；

大数据开发工程师和大数据分析师企业需求都非常大，这里先给大家介绍下大数据分析方向的课程，大数据分析方向将是未来职业人才岗位缺口最大的职位之一，它将会和软件人才一样，再次掀起一次培训高潮；