搞大数据,JAVA工程师需要掌握哪些知识?

由于目前的大数据很多都是指的Hadoop,而且目前企业使用最多的大数据工具也是Hadoop。Java作为学习大数据的基础,很多组件都是使用Java语言或者JVM可以运行的语言。所以在你熟练使用Java具备转大数据的基本条件后,接下来就是知识、技术的学习。

Hadoop主要包括三部分HDFS,MapReduce,Yarn都需要深入学习,因为面试的时候可能会被问到一些原理的问题。

Hadoop生态区重要组件 Hive(离线)、Hbase、Spark(实时,实时框架有spark、storm、flink等,可以选择其中的一种学习),这些重要的组件都需要深入系统的学习,在大数据中也是使用最对的。

Hadoop生态圈重要工具kafka、flume、sqoop等等,还有像azkaban这样的调度工作,在日常的工作中都是必不可少的。

当然,在学会上面的相关知识、技术后,最重要的还是需要项目实战来学会使用。另外最好也能多看看别人优秀的源码来提升自己。加油!

关于作者: 网站小编

码农网专注IT技术教程资源分享平台,学习资源下载网站,58码农网包含计算机技术、网站程序源码下载、编程技术论坛、互联网资源下载等产品服务,提供原创、优质、完整内容的专业码农交流分享平台。

热门文章