在步入信息化数字化阶段后,都会面临数据质量问题。没有一个组织拥有完美的业务流程、完美的技术流程或完美的数据管理实践,所有组织都会遇到与数据质量相关的问题。相比那些不开展数据质量管理的组织,实施正式数据质量管理的组织碰到的问题会更少。如何确保自己企业的数据质量比较高,或者是逐步提高。一个很重要的保障措施就是颁布管理制度。数据质量管理制度需要包含数据质量管理办法,数据质量管理规范,数据质量绩效考核方面的内容。
值得大家注意的是,管理制度搭建的过程中,往往很难区分规范、办法两者之间的关系。规范是指对于某一工程作业或者行为进行定性的信息规定。主要是因为无法精准定量而形成的标准。所以相对笼统。办法是按照规范制度的要求提出具体可落地、可执行的实施措施。所以一定是很具体可量化的细则。
例如:我们在规范中可以强调数据的及时性,但是在具体的管理办法中需要明确、量化及时性这一指标概念。如:获取数据后X个工作日内录入数据,发生变更时X个工作日内完成数据更新等。

图 1 数据质量管理制度导图
细分来讲,数据质量管理制度应该由以下几个关键部分组成:
一、规范定义
- 首先定义清楚什么样的数据称之为高质量的数据,高质量数据并不是越高越好,因为学过质量成本控制的都清楚,数据质量并不存在绝对的,而只要满足企业业务管理需要,即可认为数据质量达标的数据。
- 明确什么样的数据属于数据质量管理的范畴。比如核心,重要的数据,所以识别关键数据重要数据,并且还要确认该类数据的生成规则和维护流程。
- 达到什么程度才算高质量。例如:确保数据的及时性,究竟怎么才算及时性,是获取数据的时效?还是分发到下游的时效?还是接受数据的时效?
二、稽查监控措施
- 针对我们已经识别的数据及其对应生成规则,我们需要确定稽查监控的措施。(提升数据质量的关键是预防,而不是事后修正)
- 对于产生问题的错误数据,我们如何去修复改正的相应流程。
- 数据稽查的频率和问题反馈频率,以及反馈渠道或稽查工具平台需要明确清楚。
三、组织与职能
- 重点描述组织岗位对应的职能,定义需要执行遵守的数据质量管理原则。
- 各组织对数据质量流程中的职责权利需要明确清楚,例如谁生产,谁使用,谁负责,谁改进等权责。
四、数据质量考核指标
评价标准需要量化:一般情况下, 以单条数据为单位,通过数据质量巡检规则,从完整性、及时性、准确性、一致性、唯一性、有效性等六个维度进行检查,根据计算规则得出各区域的数据质量综合得分。常见的数据质量考核计算方法如下:
1)员工数据质量综合得分
以该员工录入维护的相关数据质量项为范围,以数据质量检查项的单条数据质量规则为检查单元,先计算正确记录数占比作为该条数据质量规则对应的得分,再加权计算该数据项的所有数据质量规则得分作为该数据项的得分,最后取所有数据项得分的平均值作为员工的数据质量综合得分,计算过程及计算公式如下:
- 数据质量规则得分=(1-数据质量规则检查的问题数/数据质量规则检查的总数)*100
| 数据质量规则名称 | 问题记录数 | 记录总数 |
数据质量规则得分 |
| 规则 A1 | 10 | 100 | 90.00 |
| 规则 A2 | 50 | 200 | 75.00 |
| 规则 B1 | 10 | 1000 | 99.00 |
| 规则 B2 | 20 | 1000 | 98.00 |
| 规则 C1 | 10 | 1000 | 99.00 |
| … | … | … | … |
数据质量规则的得分表(示例)

- 备注:n 为数据项的数据质量规则总数。
|
数据项名称 |
数据质量规则名称 | 数据质量规则得分 | 权重 |
数据项得分 |
| 数据项 A | 规则 A1 | 90.00 | 50% | 82.50 |
| 规则 A2 | 75.00 | 50% | ||
| 数据项 B | 规则 B1 | 99.00 | 60% | 98.60 |
| 规则 B2 | 98.00 | 40% | ||
| 数据项 C | 规则 C1 | 99.00 | 100% | 99.00 |
| … | … | … | … | … |
数据项的得分表(示例)

- 备注:n 为员工的数据项总数。
| 员工名称 | 数据项名称 | 数据项得分 | 项目得分 |
|
张三 |
数据项 A | 82.50 | 93.37 |
| 数据项 B | 98.60 | ||
| 数据项 C | 99.00 | ||
|
李四 |
数据项 A | 80.00 | 80.00 |
| 数据项 B | 70.00 | ||
| 数据项 C | 90.00 | ||
| … | … | … | … |
员工的得分表(示例)
2)团队数据质量综合得分
以该团队的全体成员为范围,统计每个团队的数据质量综合得分,取所有项目得分的平均值作为该团队的综合得分,计算公式如下:

- 备注:n 为数据对象总数。
|
团队名称 |
员工名称 | 员工数据质量综合得分 |
区域数据质量综合得分 |
| 数据管理团队 | 张三 | 93.37 | 80.84 |
| 李四 | 80.00 | ||
| 数据执行团队 | 王五 | 99.00 | 96.20 |
| 赵六 | 90.00 | ||
| … | … | … | … |
区域的得分表(示例)
统计各团队的综合得分,并根据各团队的综合得分从高到低进行排名,由数据管理团队负责人进行有效奖惩排名。如果对数据质量评价结果有意见,可向数据管理团队提出。
|
团队 |
综合得分 |
排名 |
| 数据对象录入方 A | 100.00 | 1 |
| 数据对象录入方 B | 96.20 | 2 |
| 数据对象录入方 C | 90.00 | 3 |
| 数据对象录入方 D | 80.84 | 4 |
| … | … | … |
团队数据质量综合评价表(示例)
五、数据质量衡量维度
在DAMA体系中,数据质量维度是指数据的某个可测量的特性。国际上较为成熟的框架包括:Strong-Wang 框架、Redman的“可表示的三元组”还有Larry Englist的固有特征和实用特征。各个企业公司可以根据自身的业务场景、管控要求选择不同的质量维度框架,DAMA 体系的六个核心维度如下:
- 完整性:指数据在创建、传递过程中无缺失和遗漏。包括实体完整、属性完整、记录完整和字段值完整四个方面,完整性是数据质量最基础的评判维度。
- 及时性:指及时记录和传递相关数据,满足业务对信息获取的时间要求。数据交付的及时性,及时抽取、及时展现,如果数据交付时间过长,可能导致分析结论失去参考意义。
- 准确性:指真实、准确记录原始数据,无虚假数据及信息。数据准确反映其所建模的“真实世界”实体。例如:员工的身份信息必须与身份证件上的信息保持一致。
- 一致性:指遵守统一的数据标准,记录和传递数据和信息。主要体现在数据 记录的规范和数据是否符合逻辑。例如:同一工号数据在不同系统的员工姓名不一致。
- 唯一性:指同一数据只能有唯一的标识符。体现在一个数据集中,没有实体多余一次出现,并且每个唯一实体有一个键值且该键值只指向该实体。例如:员工有且仅有一个有效工号。
- 有效性:指数据的值、格式和展现形式符合数据定义和业务定义的要求。描述数据格式、数据类型、值域和相关业务规则的有效性。例如:员工的国籍类型必须存在于国家基础数据中定义的允许值。
六、数据质量考核的实施要点
我们在执行考核排名的过程中,往往会出现人浮于事的情况。很多企业,到年底考核的时候,大家都是优秀没问题,在过程中由于监控部门和执行部门之间一团和气,所谓的考核变成了部门之间相互拉拢的手段,考核就陷入了“形式主义”。最后我们会发现,明明考核大家都没问题,实际去使用数据,却还是千疮百孔,无法拉通,我们不禁会问:考核真的起作用了吗?
避免考核“形式主义”是一个复杂且重要的课题,如何解决这个问题,需要从多个角度进行思考和探讨。以下将围绕五个方面进行阐述,以避免考核“形式主义”为核心,力争将问题讨论清楚,为实际应用提供参考。
1、明确考核目标和标准
制定明确的考核目标和标准是避免考核“形式主义”的第一步。在制定目标和标准时,需要遵循SMART原则,确保目标具体、可衡量、可达成、相关性强且有时限性。具体而言,需要明确以下五点:
- 考核目的:明确考核的目的和意义,是评估执行员工的工作表现、能力、潜力还是其他方面,以确保考核结果能够达到预期目标。最常见的考核目的,例如需要保障数据的准确性等。
- 考核指标:根据岗位和工作内容的不同,制定相应的考核指标,包括定量指标和定性指标。定量指标应具有客观性和可衡量性,而定性指标则需要有明确的评价标准和尺度。
- 考核权重:针对不同的考核指标,需要确定其权重,以体现其在整个考核体系中的重要程度。权重的设定需要结合实际情况和专家意见,确保其合理性和科学性。
- 考核周期:根据组织和岗位特点,确定合适的考核周期,如季度考核、年度考核或半年考核等。同时,需要关注考核的及时性,以便及时发现问题并采取相应措施。
- 目标值设定:针对定量指标,需要设定合理的目标值,以确保考核结果具有挑战性和激励作用。目标值的设定需要参考历史数据、行业标准和实际情况,以确保其合理性和可行性。
2、建立科学的考核方法
建立科学的考核方法是避免考核“形式主义”的关键步骤。在制定考核方法时,需要综合考虑被考核者的主观客观情况,具体而言,需要从以下几个方面入手:
- 360度反馈法:通过收集上级、下级、同事、客户等多个角度的评价信息,对被考核者的表现和工作成果进行全面评估。这种方法可以减少单一评价源的主观性和片面性,提高考核结果的公正性和客观性。但是由于这种反馈太过于主观,且无法进行量化考核,所以建议占比尽可能小一点,最好体现在执行员工是否提升数据思维、是否支持数据治理工作等态度层面的考核。
- 关键绩效指标法:将组织的战略目标分解为可操作性的关键绩效指标,并确定各个指标的权重和目标值。然后,对被考核者在各个指标上的表现进行评估,以衡量其工作绩效和贡献。例如数据准确性、及时性、完整性等等,还有是否按照标准去进行录入维护等指标。
- 平衡计分卡:从财务、客户、内部业务过程和学习成长四个角度出发,将组织的战略目标转化为具体的考核指标和目标值。这种方法可以帮助组织实现战略落地和可持续发展。
- 关键事件法:通过对被考核者在工作中发生的重大事件进行记录和分析,了解其优点和不足之处,并为其制定个性化的改进计划。这种方法可以帮助被考核者更好地认识自己的工作表现和能力。这种考核方式更多的是针对数据治理内部的员工进行考核,去提升数据治理的能力,和业务理解能力。
- 行为锚定等级评价法:将工作行为划分为多个等级,并为每个等级制定具体的描述和评价标准。然后,根据被考核者在工作中的实际表现,将其归入相应的等级中进行评估。这种方法可以减少主观性和不确定性,提高考核结果的客观性和准确性。
3、常态化的考核和监督
除了定期的考核外,还要注重平时的考核和监督。这样可以及时发现被考核者的问题和不足,及时进行指导和纠正,避免问题积压到定期考核时才被发现。具体而言,需要从以下几个方面入手:
- 建立工作档案:为每个被考核者建立工作档案,记录他们的工作计划、任务完成情况、工作成果和其他相关信息。这样可以方便平时的监督和考核时查阅相关资料。数据巡检表和排名表就必须常态化公示,特别每个考核指标的取数逻辑、计算逻辑都必须非常明确清晰可信。
- 定期汇报制度:建立定期汇报制度,要求被考核者定期向上级汇报工作进展、存在的问题和改进计划等。这样可以及时了解被考核者的工作状况并提供指导和支持。特别是针对某些排名比较靠后的区域,子公司,员工,需要通过汇报及时纠偏。
- 工作观察与反馈:上级在日常工作中对被考核者进行观察和记录,对其工作表现和能力进行评估并及时给予反馈。这可以帮助被考核者及时发现自己的不足之处并加以改进。
- 绩效辅导和培训:根据平时的考核结果和观察情况,为被考核者提供个性化的绩效辅导和培训计划。这可以帮助他们提高工作能力和绩效水平,实现个人成长与组织目标的一致性。
- 定期审查与调整:定期对考核目标和标准进行审查和调整,以确保其与组织战略目标和实际工作情况相符合。同时,根据实际情况对考核方法和流程进行优化和完善,以提高其科学性和有效性。
4、加强沟通和反馈
加强与被考核者的沟通和反馈是避免考核“形式主义”的重要环节之一。及时告知被考核者考核结果和反馈意见,让他们知道自己的表现和不足之处,以便及时改进和提高。具体而言,需要从以下几个方面入手:
- 建立有效的沟通机制:制定定期的沟通计划和时间表,安排专门的沟通会议或面谈时间,为上级和被考核者提供交流和讨论的平台。同时要鼓励被考核者主动向上级反映问题和提出建议。
- 及时反馈:在平时的工作中,上级应该及时对被考核者的工作表现进行反馈和指导。反馈应该具体、明确,针对被考核者的不足之处提出改进建议。
- 建立反馈渠道:除了正式的沟通渠道,还可以建立一些非正式的反馈渠道,如员工建议箱、内部社交平台等。这些渠道可以提供更加灵活的反馈方式,让员工针对数据标准,或者考核方式更加方便地提出问题和建议。
- 鼓励双向沟通:沟通和反馈应该是双向的,员工也应该被鼓励向上级或相关部门提供反馈和建议。这可以让组织更加了解员工的需求和意见,从而做出更加合理的决策。
- 提供培训和支持:对于一些对数据治理或者数据相关标准不清楚的员工,组织可以提供相关的培训和支持,帮助他们学习熟悉相关制度规范和标准。有效提升员工的数据思维。
总 结
建立有效的数据质量管理体系,制定完善的数据管理及考核制度,并让大家乐于接受地完成考核评比,形成良性的提升。是数据治理工程师需要重点思考的任务之一,只有不陷入“形式主义”的考核陷阱,才能最大化的发挥考核排名的激励作用。


