处理大数据哪里还需要到处找软件,我们最常用的Excel就可以。
不要觉得EXCEL有行数限制,运行慢,那是因为你没有找对地方,处理大数据要用Excel里面的Powerquery,在Excel2010/2013可以从微软官网下载该插件,而到了Excel2016,直接把该功能内嵌进来了,用起来更顺手。
可以从各种数据源导入,导入以后就是在查询编辑器中操作,按字段进行数据处理,大部分功能轻松点击鼠标就可搞定,如果是复杂操作,需要借助M函数,也很容易上手。
如果数据处理完了还有可视化的需求,也可以直接使用微软的PowerBI,数据处理也是使用PQ的功能,
好像说到上BI,很多人的第一反应都是上国外的,觉得国外的BI的厂商发展的那么早,国产BI工具肯定不如国外BI工具,如果你有这个想法,那就大错特了。在BI商业智能这个赛道,国产BI工具可以说是不输国外的。
当然,这里的“跑赢”并不是说在各方面完胜,国外BI工具在技术上确实更加成熟,毕竟早发展这么多年,每个工具也都有各有自己的优劣,无法用一句话去说明哪个工具最好用。但是基于中国这个大市场环境下,国内企业选择国产BI工具是更优的选择。并且在《IDC2018年中国商业智能软件市场追踪报告》中,领跑第一位的也是国内某BI厂商。
IDC2018年中国商业智能软件市场份额图
作为一个做了十多年BI项目的“老BI人”,在这方面也算有点经验,下面就来给大家说道说道,为什么国产BI工具是国内企业的更优选择。
1.从工具与企业的需求契合度来看,国产BI工具更契合中国企业的需求
国内的BI公司各有特色,像Smartbi、帆软、永洪、亿信华辰等你都可以了解下,我们公司用的是Smartbi,软件比较成熟,功能和服务都不错,感觉蛮好用的。
首先,题主要知道大数据和BI其实在之前都是两个不同的行业,只不过最近大数据方面的突飞猛进有兼并BI的趋势,许多原先搞BI的都开始转行到大数据,毕竟都算是数据分析领域。
其次,题主需要知道自己的数据是什么样的数据,如果是一般的业务数据,直接用excel和access就可以处理,而且生成的图表也还可以。特点是,这个是自助的,需要人大量干预;如果是比较大的关系型数据,可以使用power bi或者tableau,国产的帆软也还可以。而如果是非关系型数据,比如视频音频等数据,那么题主就必须使用主流的大数据平台,如hadoop等进行数据处理,但是这种情况一般不是一个人搞得定的,需要对整个数据流程进行架构设计,并最终展现。
最后,如果题主的编程能力很不错,不如用python去实现下,python有很多库可以调用,而且网上相关资料很多。
我前阵子正整这块,国内现在东软Datainsight和日志易现在打前阵,datainsight网站介绍我给你找找,https://platform.neusoft.com/