数据质量指标:衡量缺陷,不臆测缺失事实
数据质量指标依据明确声明的规则与统计总体,量化数据集中的具体缺陷。报告缺陷数量、分母、排除项以及受影响的源数据行,让其他审核人员能复现每项比率。下方的六行练习衡量必填字段完整性、允许值有效性、多余的重复键行和未解决的状态冲突,同时明确保留未知事实。
完整性关注必需的观测值是否存在;有效性关注提供的值是否符合规则。两者都不能证明值真实无误。一个完整填入且符合允许范围的状态,仍可能与现实不符;评估这种差异需要独立的证据来源。
质量计分表传输状态:已文档化。这项电子表格写入方案有目录文档;Ai Flowi 尚未进行生产环境测试。下方比率由虚构记录推算而来,没有外部基准。
复制六行源数据集
本练习要求每一源数据行都必须有 enquiry_id 和 status。允许的状态严格限定为 new、contacted 和 closed。标识符是区分大小写的文本,契约要求每个咨询 ID 对应一条记录。金额是可选字段,单位为 sen;空白金额表示未知,提供的零值仍是零。
source_row,enquiry_id,status,amount_sen
R1,Q01,new,12500
R2,Q02,contacted,
R3,Q03,waiting,0
R4,Q04,,8000
R5,Q02,closed,5000
R6,,new,9000
source_row 是观测引用,并非业务标识。因此 R2 和 R5 可以分别追踪,同时共用 Q02。数据没有提供事件时间戳或权威修订版本,审核人员无法从中判断哪个 Q02 状态是当前状态。应保留两条观测及其冲突,而非选择显示位置靠后的行。
计算前,将这份源数据冻结为 SYN-QUALITY-A,并记录规则版本。不要先清洗或丢弃行,否则会改变计分表本应描述缺陷的统计总体。之后可以另行准备已接受的数据集,并为它保留独立的数据血缘与决策。
复制质量计分表
metric,numerator,denominator,rate_percent,exclusions,affected_source_rows
Required-cell completeness,10,12,83.33,none,R4 and R6 missing cells
Status validity among populated statuses,4,5,80,R4 empty status,R3 invalid status
Excess duplicate-key rows,1,5,20,R6 missing key,R2 and R5 form duplicate group
Conflicted key groups,1,4,25,R6 missing key,Q02 represented by R2 and R5
四项数值都是基于模拟数据的算术结果,必要时为显示而四舍五入。应将整数计数与四舍五入后的比率一起保留。完整性与有效性百分比描述通过规则的观测值;重复与冲突百分比描述缺陷。不要为它们共用“越高越好”的图例。
指标定义表支持横向滚动与键盘焦点,方便访问计算方法和不确定性列。
| 指标 | 计算方法 | 仍然未知的事项 |
|---|---|---|
| 必填单元格完整性 | 六行乘以两个必填字段,共 12 个单元格。R4 缺少 status,R6 缺少 enquiry_id,剩余 10 个已填单元格:10 / 12。 | 提供的十个值是否正确。 |
| 允许值有效性 | 五个状态已填入。四个符合允许词汇;R3 的 waiting 不符合:4 / 5。 | 四个允许的状态是否反映实际咨询阶段。 |
| 多余的重复键 | 五行有键,剩余四个不同的键。多出一次出现记录:(5 − 4) / 5。 | 应由哪条 Q02 观测代表该咨询。 |
| 未解决的冲突组 | 四个不同的非空键中,有一个键具有相互不兼容的已提供状态:1 / 4。 | Q02 的权威状态。 |
区分单元格完整性与完整行
主要的完整性数值是 10 / 12,约为 83.33%,因为其统计单位是必填单元格。如果问题改为有多少行包含两个必填字段,那么 R1、R2、R3 与 R5 符合条件。该行完整率为 4 / 6,约为 66.67%。R3 虽然含有无效的 waiting,仍算已填入。
应将这两种定义分开。把 83.33% 称为“完整记录率”,会改变分母的含义。还应在缺失状态报告中保留 R4,不要因为状态有效性排除了空白单元格,就让它的缺失消失。已提供值的高有效率可以与大量缺失同时存在。
可选金额单元格不参与这项必填字段完整性计算。在任何金额汇总中,R2 的空白金额都需要保持未知状态,而 R3 的零是已经提供的金额。给 R2 填零只会改善表面结果,并没有获得证据。采用报告规则前,可用数据字典模板约定这些含义。
明确重复率统计的对象
这份计分表统计每个非空键保留一次后多余的出现次数。Q02 出现两次,产生一行多余记录。另一项有用的指标统计所有涉及重复键的行:R2 与 R5 得出 2 / 5,即 40%。两种计算都可复现,但回答的问题不同。每份报告都应注明所选定义。
缺失标识符不参与基于键的指标,因为其业务标识尚未解决。R6 仍出现在完整性统计与缺失键问题清单中。将所有空白标识符归为同一条重复咨询,会凭空赋予源数据并未确立的共同标识。
冲突计算按非空键将观测值分组,并比较提供的状态。Q02 同时有 contacted 与 closed,因此有一组需要审核。R2 的空白金额与 R5 的已填金额,本身并不能证明金额冲突:缺失并未提供一个相互竞争的金额。在没有权威来源或事件时间信息时,按这份快照的一记录契约,阶段变化仍属于未解决的冲突。
修改记录前先审核缺陷
将 R3 的词汇问题、R4 的缺失状态、R6 的缺失键以及 Q02 的冲突交给对应的源数据管理人员。记录问题及解决所需的证据。审核人员可以确认应将 waiting 纳入允许阶段,但这会改变规则版本,并不能证明原来的计算有误。
只有必填字段、总体范围、排除规则与重复定义一致时,才比较不同报告期间。如果修订后的导出文件省略了被拒绝的行,较低的缺陷率可能只是覆盖范围变化的结果。应将源数据数量与问题引用同比率一起保留,以便调查这种差异。
不要将这四个百分比取平均,作为预测性的质量分数。它们的单位、方向与排除项不同,而且多种缺陷可能影响同一条观测。合理修复可参见数据清洗;转换检查可参见 ETL 测试。计分表衡量的是这些独立操作之前提供的快照。
将已接受的指标行传入电子表格
示例配置,并非已记录的测试
共享写入接口可参见目录中的 Update Range 条目;通过 Google 访问指南授权你自己的账户访问计分表。
根据六列计分表 CSV 构建 values,让标题行与四个已计算指标行占据 range_name Quality!A1:F5。除比率外,也复制排除项与受影响的来源引用。D 列包含已按百分数表达的数值:83.33 表示约 83.33%,80 表示 80%。若使用为小数比例设计的百分比显示格式,就会错误呈现这些数值。本次传输是上述计算的快照,并不是会随源数据行变化而重新计算的公式。
检查 JSON result,并将每个表格行与 SYN-QUALITY-A 核对:完整性使用十二个必填单元格,有效性使用五个已填状态,重复超额使用五个有键的行,冲突使用四个键组。不要用同一个源数据行数替换这些分母。检查 R4 是否仍列在有效性排除项中,尽管它同时也贡献了一个缺失的必填单元格。将此计分表与其他报告证据结合的方法可参见报告自动化。
数据质量指标有哪些失败检查与不适用场景?
确认六个来源引用都仍可访问,且指标计数能够复现 CSV。测试空数据集:分母为零的每项比率都应保持未定义。移除 R3 的状态:必填单元格完整性变为 9 / 12,有效性变为 4 / 4;较高的有效性百分比不能掩盖新增的缺失观测。
将 R5 的状态改为 contacted:重复超额仍为一,但状态冲突计数变为零。这说明去重与冲突衡量需要各自的规则。本练习不提供准确性审计、数据时效性保证、基准或自动冲突解决。不要用这些比率证明数据集已足够可信,可以用于具有重大影响的决策。
作者:Ai Flowi · 发布于 。