데이터 품질 지표: 누락된 사실을 추측하지 않고 결함 측정

데이터 품질 지표는 명시된 규칙과 모집단을 기준으로 데이터셋의 구체적인 결함을 수치화합니다. 다른 검토자가 각 비율을 재현할 수 있도록 결함 건수, 분모, 제외 항목, 영향을 받는 원본 행을 보고합니다. 아래 6행 실습에서는 알 수 없는 사실을 그대로 드러내면서 필수 필드 완전성, 허용 값 유효성, 중복 키의 초과 발생, 미해결 상태 충돌을 측정합니다.

완전성은 필요한 관측값이 있는지를, 유효성은 제공된 값이 규칙을 충족하는지를 묻습니다. 어느 쪽도 값이 사실임을 입증하지 않습니다. 모든 필드가 채워지고 허용된 상태값이 있더라도 실제 상황과 다를 수 있으며, 그 불일치를 평가하려면 독립적인 근거 출처가 필요합니다.

품질 점검표 전송 상태: 문서화됨.이 시트 쓰기 제안은 카탈로그에 문서화되어 있지만 Ai Flowi가 운영 환경에서 테스트하지는 않았습니다. 아래 비율은 가상 기록에서 계산한 값이며 외부 벤치마크는 없습니다.

6행 원본 데이터셋 복사하기

이 실습에서는 모든 원본 행에 enquiry_id와 status가 필수입니다. 허용 상태값은 정확히 new, contacted, closed입니다. 식별자는 대소문자를 구분하는 텍스트이며, 계약은 문의 ID당 기록 하나를 요구합니다. 금액은 선택 사항이고 단위는 센입니다. 빈 금액은 알 수 없는 값이며, 제공된 0은 그대로 0입니다.

source_row,enquiry_id,status,amount_sen
R1,Q01,new,12500
R2,Q02,contacted,
R3,Q03,waiting,0
R4,Q04,,8000
R5,Q02,closed,5000
R6,,new,9000

source_row는 관측 참조값이며 업무상의 식별자가 아닙니다. 따라서 R2와 R5는 Q02를 공유하면서도 각각 추적할 수 있습니다. 이벤트 타임스탬프나 기준이 되는 수정본이 제공되지 않아, 이 데이터셋만으로는 Q02의 현재 상태를 알 수 없습니다. 화면에서 뒤에 나온 행을 선택하지 말고 두 관측값과 충돌을 모두 보존합니다.

계산 전에 이 원본을 SYN-QUALITY-A로 고정하고 규칙 버전을 기록합니다. 먼저 행을 정제하거나 버리지 않습니다. 그렇게 하면 점검표가 결함을 설명해야 하는 모집단이 바뀝니다. 별도의 허용 데이터셋은 자체 계보와 결정 기록을 갖추어 나중에 준비할 수 있습니다.

품질 점검표 복사하기

metric,numerator,denominator,rate_percent,exclusions,affected_source_rows
Required-cell completeness,10,12,83.33,none,R4 and R6 missing cells
Status validity among populated statuses,4,5,80,R4 empty status,R3 invalid status
Excess duplicate-key rows,1,5,20,R6 missing key,R2 and R5 form duplicate group
Conflicted key groups,1,4,25,R6 missing key,Q02 represented by R2 and R5

네 값 모두 가상 데이터의 산술 계산 결과이며, 필요한 경우 표시용으로 반올림했습니다. 반올림한 비율과 함께 정수 건수를 유지합니다. 완전성과 유효성의 백분율은 통과한 관측값을, 중복과 충돌의 백분율은 결함을 나타냅니다. 모두에 “높을수록 좋음”이라는 공통 범례를 붙이지 않습니다.

지표 정의 표는 가로 스크롤과 키보드 포커스를 지원하므로 계산과 불확실성 열에도 접근할 수 있습니다.

셀 완전성과 완전한 행 구분하기

대표 완전성 수치는 10 / 12, 약 83.33%입니다. 단위가 필수 셀이기 때문입니다. 필수 필드 2개가 모두 있는 행의 수를 묻는다면 R1, R2, R3, R5가 해당합니다. 행 완전성 비율은 4 / 6, 약 66.67%입니다. R3의 waiting은 유효하지 않지만 값이 채워진 것으로 셉니다.

두 정의를 구분합니다. 83.33%를 “완전한 기록”이라고 부르면 분모의 의미가 달라집니다. 상태 유효성에서 빈 셀을 제외한다고 해서 R4의 누락이 사라지지 않도록 상태 누락 보고에도 R4를 유지합니다. 제공된 값의 유효성 비율이 높아도 누락이 광범위할 수 있습니다.

선택 사항인 금액 셀은 이 필수 필드 완전성 계산에 포함하지 않습니다. 금액을 요약할 때 R2의 빈 금액은 알 수 없는 상태로 남겨야 하며, R3의 0은 제공된 금액입니다. R2를 0으로 채우면 근거 없이 겉보기만 좋아집니다. 보고 규칙을 채택하기 전에 의미를 합의할 때는 데이터 사전 템플릿을 사용합니다.

중복 비율이 무엇을 세는지 정의하기

이 점검표는 비어 있지 않은 키당 한 번을 넘는 초과 발생을 셉니다. Q02가 두 번 나타나므로 초과 행은 1개입니다. 중복 키와 관련된 모든 행을 세는 지표도 유용합니다. R2와 R5를 세면 2 / 5, 즉 40%입니다. 두 계산 모두 재현할 수 있지만 서로 다른 질문에 답합니다. 모든 보고서에서 선택한 정의를 명시합니다.

식별자가 누락된 행은 업무상의 식별이 미해결이므로 키 기반 지표에서 제외합니다. R6는 완전성과 키 누락 문제 목록에 계속 포함됩니다. 빈 식별자를 모두 하나의 중복 문의로 묶으면 원본이 입증하지 않는 공통 식별을 지어내게 됩니다.

충돌 계산은 비어 있지 않은 키로 관측값을 묶고 제공된 상태값을 비교합니다. Q02에는 contacted와 closed가 있어 한 그룹을 검토해야 합니다. R2의 빈 금액과 R5의 채워진 금액만으로 금액 충돌이 입증되지는 않습니다. 값의 부재는 경쟁하는 금액을 제공하지 않습니다. 기준 출처나 이벤트 시점이 없으면 변경된 단계는 이 스냅샷의 기록 하나라는 계약에 따라 미해결 충돌로 남습니다.

기록을 바꾸기 전에 결함 검토하기

R3의 어휘 문제, R4의 상태 누락, R6의 키 누락, Q02의 충돌을 각 원본 관리 담당자에게 배정합니다. 해결할 질문과 필요한 근거를 기록합니다. 검토자가 waiting을 허용 단계에 추가해야 한다고 확인할 수는 있지만, 이는 규칙 버전을 바꾸는 일이지 원래 계산이 틀렸다는 입증은 아닙니다.

필수 필드, 모집단 범위, 제외 규칙, 중복 정의가 일치할 때만 보고 기간을 비교합니다. 수정된 내보내기에서 거절된 행을 빼면 낮아진 결함 비율은 달라진 포함 범위를 반영할 수 있습니다. 차이를 조사할 수 있도록 비율과 함께 원본 건수와 문제 참조값을 유지합니다.

이 네 백분율을 평균 내어 예측용 품질 점수로 만들지 않습니다. 단위, 방향, 제외 항목이 서로 다르고 한 관측값에 여러 결함이 영향을 줄 수 있습니다. 근거 있는 수정에는 데이터 정제를, 변환 검증에는 ETL 테스트를 사용합니다. 점검표는 이러한 별도 조치를 하기 전의 제공된 스냅샷을 측정합니다.

허용된 지표 행을 스프레드시트로 전송하기

설정 예시이며, 기록된 테스트는 아닙니다

공통 쓰기 인터페이스는 Update Range 카탈로그 항목을 참고하고, 품질 점검표 시트에 본인 계정의 접근을 승인하려면 Google 접근 가이드를 참고합니다.

6열 점검표 CSV로 values를 구성하고, 헤더와 계산된 지표 4행이 들어갈 range_name Quality!A1:F5를 지정합니다. 비율뿐 아니라 제외 항목과 영향을 받는 원본 참조값도 복사합니다. D열의 숫자는 이미 백분율 단위입니다. 83.33은 약 83.33%를, 80은 80%를 뜻합니다. 분수 형태 값에 쓰는 백분율 표시 방식을 적용하면 제공된 숫자를 잘못 표현하게 됩니다. 이 전송은 위 계산의 스냅샷이며, 원본 행이 바뀔 때 다시 계산하는 수식이 아닙니다.

JSON의 result를 확인하고 각 시트 행을 SYN-QUALITY-A와 대조합니다. 완전성은 필수 셀 12개, 유효성은 채워진 상태값 5개, 중복 초과 발생은 키가 있는 행 5개, 충돌은 키 그룹 4개를 사용합니다. 이 분모들을 공통 원본 행 수 하나로 바꾸지 않습니다. R4가 필수 셀 누락에도 기여하지만 유효성 제외 항목에도 여전히 명시되는지 확인합니다. 점검표를 다른 보고 근거와 결합하려면 보고서 자동화를 참고합니다..

데이터 품질 지표의 실패 점검과 적합하지 않은 용도는 무엇인가요?

원본 참조값 6개가 모두 남아 있고 지표 건수가 CSV와 일치하는지 확인합니다. 빈 데이터셋도 테스트합니다. 분모가 0인 비율은 정의되지 않은 상태로 남겨야 합니다. R3의 상태값을 제거하면 필수 셀 완전성은 9 / 12, 유효성은 4 / 4가 됩니다. 더 높은 유효성 백분율로 새로운 관측값 누락을 감춰서는 안 됩니다.

R5의 상태를 contacted로 바꾸면 중복 초과 발생은 1건으로 유지되지만 상태 충돌 건수는 0이 됩니다. 이는 중복 제거와 충돌 측정에 별도 규칙이 필요한 이유를 보여줍니다. 이 실습은 정확성 감사, 최신성 보장, 벤치마크, 자동 충돌 해결을 제공하지 않습니다. 중요한 결정에 사용할 만큼 데이터셋을 신뢰할 수 있다는 증거로 이 비율을 사용하지 않습니다.

작성: Ai Flowi · 게시일 2026-10-11.