大数据需要对数据做什么处理？

随着企业发展，各个业务系统中数据会越来越多，这样如何处理才能有效的进行大数据分析呢？做大数据据时需要对数据做什么处理呢？

数据的采集：首先必须对所需数据源的数据进行抽取和集成，从中提取出数据的实体和关系，经过关联和聚合之后采用统一定义的结构来存储这些数据。

数据的管理：把企业信息基础数据进行统一管理，进行基础数据的整合，治理、清洗，使企业的基础数据具有完整性、一致性，这样才能保证数据价值的最大化，企业应以主数据为中心，通过主数据把各类大数据有效串联起来，从而获得更好的数据应用效果和价值。

数据的处理：把业务系统的数据进行打散再进行有效的整合，建立数仓，再通过数仓里的数据构建不同业务角度的分析模型主题，来满足业务的实时计算需求，帮助企业能够更好的决策分析。

综上所述通过数据采集把企业的有效数据提取采集出来，通过基础数据的管理把各个业务系统的基础数据统一管理，再通过数据处理把这些数据进行有效的整合，建立可以满足不同业务分析的数仓模型，这样才能进行大数据分析，才能随着企业发展，在数据多而杂的情况下进行数据分析。

大数据处理流程：

1、数据采集，搭建数据仓库，数据采集就是把数据通过前端埋点，调用流数据，数据库抓取，把这些信息基础数据把各种维度保存起来。

2、数据清洗/预处理：就是把收到数据简单处理，比如把ip转换成地址，过滤掉脏数据等。

3、有了数据之后就可以对数据进行加工处理，数据处理的方式很多，总体分为离线处理，实时处理，离线处理就是每天定时处理，常用的有阿里的maxComputer,hive,MapReduce,离线处理主要用storm,spark,hadoop。

4、数据展现，数据做出来没用，要可视化，就是快速做出来一个效果，不合适及时调整。

大数据要应用要做成产业，必须解决好两大问题，一是数据的开发利用不能危害国家和社会经济安全，二是数据的开发利用不能侵害公民个人的隐私权利，否则对大数据发展将是灾难性和毁灭性的。这就需要在对数据商业化前进行预处理，也就是数据清洗加工和脱敏。