随着时代的发展，企业的不断壮大，在数据量井喷、各个应用口渐深入的背景下，越来越多的领域开始应用大数据来创造价值，为了合理有效的挖掘数据所带来的价值，首先需要进行全面的数据治理，具体内容包括：元数据管理、数据整合、数据治理和数据质量管控等一系列手段，从而保证数据的一致性，完整性，准确性。

从数据治理定义角度来看，为对数据资产管理行使权力和控制的活动集合，是从元数据、主数据、数据标准、数据质量再到数据处理、数据交换和数据权限，为企业提供一站式解决方案，打通数据治理全流程。其中元数据管理、数据整合、质量管控占有重要的作用。

1.元数据管理主要为元数据的整合、控制以及提供元数据，通过采集汇总企业系统数据属性的信息，帮助各行各业用户获得更好的数据洞察力，通过元数据之间的关系和影响挖掘隐藏在资源中的价值。

你可以看看SaCa DataQuality，辅助发现问题，并提供改进指导这点上做的不错，具体网站有介绍：https://platform.neusoft.com/，是东软的一个产品。

数据质量监控背景

当我们把数据导入数据仓库时，ETL中的每个步骤中都可能会遇到数据质量错误。比如与源系统的连接错误，抽取数据可能会失败。由于记录类型冲突，数据转换可能会失败。即使的ETL任务成功，提取的记录中也会出现异常值，导致后续过程报错。

那么如何主动捕获这些错误，并确保数据仓库中的数据质量？

接下来，我们来总结5条规则，在做ETL的过程中，使用这些规则来确保数据仓库中的数据质量。

1、校验每天的记录数

分析师遇到的最常见数据异常是其报告的输出突然降至0。

我们通常会发现最后的罪魁祸首是当天没有将新记录添加到相应的表中。