这是一个非常好的问题,随着当前大数据行业的从业者越来越多,很多从业者将随着大数据的落地应用而选择不同的发展道路,如何选择适合自己的发展道路,以及如何获得不断的提升,将是很多大数据行业从业者面临的重要问题。
目前大数据行业的从业者大多集中在技术领域,涉及到的岗位包括大数据开发(含平台开发和应用开发)、大数据分析和大数据运维,这些岗位对于从业者的要求普遍比较高,需要具备丰富的知识结构以及较强的实践能力。由于大数据相关技术目前正处在落地应用的初期,所以目前从事大数据相关技术研发的行业从业者,多以研发型人才为主,学历也普遍比较高,所以在薪资待遇方面,大数据行业还是具有较为明显的优势。
对于目前从事大数据岗位的技术从业者来说,要想不断提升自身的岗位级别和价值,要根据自己的知识结构和能力特点来选择不同的发展方向,应该重点关注于以下三方面内容:
第一:物联网。在5G通信的推动下,未来物联网领域会迎来众多的发展机会,而且物联网是大数据主要的数据来源,所以关注于物联网知识能够全面丰富自身的知识结构。目前大数据处在物联网体系结构的第四层,处于承上启下的关键位置,上是人工智能,下是物联网平台。
第二:人工智能。大数据本身并不是最终的目的,大数据的最终目的是应用,而人工智能则是大数据的重要出口,所以在当前大数据技术体系逐渐成熟的当下,对于研发人员来说,下一步应该考虑向人工智能方向发展。由于大数据分析本身就会使用到机器学习相关技术,所以从大数据进入人工智能领域并不困难。
你好,这问题特别好,想提升自己的大数据职业道路。看你想从事大数据研发还是大数据其他岗位。为什么这么说呢?因为要是从事大数据研发,比较其他岗位难度大。前景更好。
我重点讲讲大数据研发需要做什么?让自己职业发展更高,路更宽。做研发,技术才是王道。咱们先来说说要掌握哪些技术。
一、大数据技术对计算机基础知识,Java基础知识要求都很高。计算机基础包括:数据库、计算机组成原理、数据结构、软件工程等知识。这些知识要掌握扎实。Java基础也一样,大数据各个组件都是用Java语言实现的,所以Java基础必须掌握好,还有JavaWeb相关框架,比如Spring-boot,Mybatis等等。
二、大数据生态圈各个组件运行原理和常用操作。核心框架有两个:Hadoop和Spark。Hadoop相关组件包括:Hadoop(Hdfs+MapReduce)、Hive、Hbase、Sqoop、Flume、Kafka、Oozie、Impala、Hue、Zookeeper等。这些组件也是目前大数据技术使用最多的。Spark是基于内存计算的引擎,提供大量计算高级引擎库。这里面主要包括:Spark Core、Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX五个核心库。前三个库大数据场景下使用比较多,后两个库机器学习,人工智能场景下用的多一些。技术有一定门槛。学习者要有数学基础。如:微积分、离散数学、线性代数、概率论统计等掌握好。
三、大数据应用场景解决方案,这里解决方案不是技术层面的PPT讲解。而是在某个场景下,用那个组件在遇到技术难题时怎么解决。比较用Hbase海量数据毫秒级查询。好多公司数据量很大了,应用场景要求实现毫秒级查询。应该怎么解决呢?这种解决方案也是技术核心。