大数据工程师有不少细分方向，不同的方向需要具备不同的知识结构，通常情况下大数据工程师分为四个具体的工作领域，分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维，其中大数据平台研发工程师的数量占比较少，属于大数据领域的高端人才，往往从业者在研究生期间主攻的方向就是大数据平台研发。

大数据应用开发工程师是大数据领域一个比较热门的岗位，由于目前大数据正在处在落地应用的阶段，所以有大量的传统应用需要进行大数据改造，因此大数据应用开发岗位有较多的人才需求。这个岗位需要掌握的知识结构包括大数据平台体系结构，比如目前常见的Hadoop、Spark平台，以及众多组件的功能和应用，另外还需要掌握至少一门编程语言，比如Java、Python、Scala等，这些编程语言是可以开发落地应用的。

大数据分析工程师是大数据领域非常重要的岗位，因为大数据的核心之一是数据价值化，而数据价值化的核心则在于数据的分析和应用，所以数据分析是大数据应用的一个重点所在。大数据分析工程师需要掌握的知识结构包括算法设计、编程语言以及呈现工具，算法设计是大数据分析师需要掌握的重点内容，而编程语言的作用则是完成算法的实现。另外，大数据分析师还需要掌握一些常见的分析工具，比如一些常见的BI工具，在一些比较简单的场景下BI工具能完成大量的工作，并生成呈现界面。看一个使用Python中scipy库的应用：

大数据运维工程师的主要工作内容是搭建大数据平台、部署大数据功能组件、配置网络环境和硬件环境、维护大数据平台，大数据运维工程师需要具备的知识结构包括计算机网络、大数据平台体系结构、编程语言（编写运维脚本）等，通常情况下，大数据运维工程师也需要对数据库有深入的了解。

大数据是我的主要研究方向之一，目前我也在带大数据方向的研究生，我会陆续在头条写一些关于大数据方面的文章，感兴趣的朋友可以关注我的头条号，相信一定会有所收获。

具备大数据技术

楼主这样问，应该是个刚接触大数据的同学，咱不来虚的，实打实一下。

第一，这两个问题顺序反一下，比较合理。先掌握一些大数据技术，再去成为优秀的大数据工程师。

第二，如果是培训或者自学，基本不会去做什么底层平台研发，根本不用考虑，就是放眼整个国内都是用的国外开源的大数据生态技术，直到近两年才有一些国内大厂贡献了几个不错的组件，但在企业里落地使用情况怎么样还不好说。华为，腾讯都开源有自己的大数据组件，有的已经成为了Apache基金会的顶级项目，说明国内在底层，生态上的贡献已经有一席之地了，但这种源码级工程师在各行各业都不太多的。

那么，做大数据工程师主要工作就是应用研发，数据分析和运维部署这三块（说实话，安全这一块也很重要，在大数据这块尤其重要）。目前来看中小企业是不会特别区分这些岗位的，很多小企业连个正式的运维都没有的，经常是一人身兼多职，有机会有本事的同学也可以到大厂感受一下研发氛围和流程。

做好了上述三个方面工作自然就算的上优秀了。应用研发方面要求熟悉大数据组件Hadoop，Hive，Spark，Kafka，Flink，Hbase，ES等，我这里说的，你只要摸透精通其中三个，能力就不虚现在业内一半的大数据从业者。为什么这么说？大数据概念也就15年火起来，在这之前大学正经的大数据科班出身可以说不存在的，除了阿里腾讯等大厂自身数据优势（被迫）成长起来的一点大牛之外，业内普通的大数据工程师哪个不是培训或Java转型过去的？打着高薪噱头培训机构蜂拥而至鱼龙混杂，学生水平能力参差不齐，光学历上都有初中毕业到硕士毕业的差别（我没听说博士去培训这个东西的）。不吹不黑，培训机构刚出来的良品率低到不能看。

看你是做哪方面的，大数据也分很多种，最基本的大数据组件要会。

怎样成为优秀的大数据工程师？需要具备哪些技术？，说明如下：

熟悉Hadoop生态体系

1.HBase优缺点、架构以及HBase API使用

2.搭建Hbase集群、使用Hbase Web UI、使用HBase Shell、利用Java编写程序在hbase中创建表、利用Java编写程序向hbase表中写入和读取数据

3.掌握Hive内部原理，了解常见Hive的优化方式

4.Presto基本架构，Presto与Hive对比，Presto基本使用

想要学习大数据开发，第一件事并不是要找书籍或者是找视频教程，而是要了解一下大数据行业前景，了解一下成为大数据工程师需要具备什么样的能力，掌握哪些技能我当初学习大数据之前也有过这样的问题，作为一个过来人，今天就跟大家聊下大数据人才应该具备的技能。

首先我们要知道对于大数据开发工程师需要具备的技能，下面我们分别来说明：

用人单位对于大数据开发人才的能力要求有

技能要求：