Data quality metrics: ukur kecacatan tanpa meneka fakta yang tiada

Data quality metrics (metrik kualiti data) mengukur kecacatan tertentu dalam set data berdasarkan peraturan dan populasi yang dinyatakan. Laporkan bilangan kecacatan, penyebut, pengecualian dan baris sumber yang terjejas supaya penyemak lain boleh menghasilkan semula setiap kadar. Latihan enam baris di bawah mengukur kelengkapan medan wajib, kesahan nilai yang dibenarkan, lebihan kunci pendua dan konflik status yang belum diselesaikan sambil memastikan fakta yang tidak diketahui kekal jelas.

Kelengkapan menilai sama ada pemerhatian yang diperlukan tersedia; kesahan menilai sama ada nilai yang dibekalkan memenuhi peraturan. Kedua-duanya tidak membuktikan bahawa sesuatu nilai itu benar. Status yang diisi sepenuhnya dan dibenarkan masih boleh bercanggah dengan keadaan sebenar, dan penilaian percanggahan itu memerlukan sumber bukti bebas.

Status pemindahan kad skor kualiti: didokumenkan. Cadangan penulisan ke helaian ini didokumenkan dalam katalog; Ai Flowi belum mengujinya dalam persekitaran pengeluaran. Kadar di bawah dikira daripada rekod rekaan, tanpa penanda aras luar.

Salin set data sumber enam baris

Untuk latihan ini, enquiry_id dan status wajib pada setiap baris sumber. Hanya nilai status new, contacted dan closed dibenarkan. Pengecam ialah teks yang peka huruf besar dan kecil, dan kontrak menjangkakan satu rekod bagi setiap ID pertanyaan. Amaun adalah pilihan dan dinyatakan dalam sen; amaun kosong tidak diketahui, manakala sifar yang dibekalkan kekal sifar.

source_row,enquiry_id,status,amount_sen
R1,Q01,new,12500
R2,Q02,contacted,
R3,Q03,waiting,0
R4,Q04,,8000
R5,Q02,closed,5000
R6,,new,9000

source_row ialah rujukan pemerhatian, bukan identiti perniagaan. Oleh itu, R2 dan R5 boleh dijejaki secara berasingan walaupun berkongsi Q02. Tiada cap masa peristiwa atau versi rekod yang berautoriti dibekalkan, maka set data ini tidak boleh memberitahu penyemak status Q02 yang terkini. Kekalkan kedua-dua pemerhatian dan konflik, bukannya memilih baris yang dipaparkan kemudian.

Bekukan salinan data sumber ini pada satu titik masa sebagai SYN-QUALITY-A dan catatkan versi peraturan sebelum mengira. Jangan bersihkan atau buang baris terlebih dahulu: tindakan itu akan mengubah populasi yang kecacatannya sepatutnya diterangkan oleh kad skor. Set data diterima yang berasingan boleh disediakan kemudian, dengan jejak asal usul dan keputusannya sendiri.

Salin kad skor kualiti

metric,numerator,denominator,rate_percent,exclusions,affected_source_rows
Required-cell completeness,10,12,83.33,none,R4 and R6 missing cells
Status validity among populated statuses,4,5,80,R4 empty status,R3 invalid status
Excess duplicate-key rows,1,5,20,R6 missing key,R2 and R5 form duplicate group
Conflicted key groups,1,4,25,R6 missing key,Q02 represented by R2 and R5

Keempat-empat nilai ialah pengiraan sintetik yang dibundarkan untuk paparan apabila perlu. Kekalkan kiraan integer bersama kadar yang dibundarkan. Peratusan kelengkapan dan kesahan menerangkan pemerhatian yang lulus; peratusan pendua dan konflik menerangkan kecacatan. Jangan gunakan petunjuk “lebih tinggi lebih baik” yang sama untuk kesemuanya.

Jadual takrif metrik menyokong penatalan mendatar dan fokus papan kekunci supaya lajur pengiraan dan ketidakpastiannya kekal boleh diakses.

Bezakan kelengkapan sel daripada baris lengkap

Angka utama kelengkapan ialah 10 / 12, atau kira-kira 83.33%, kerana unitnya ialah sel wajib. Jika soalan sebaliknya menanyakan bilangan baris yang mengandungi kedua-dua medan wajib, R1, R2, R3 dan R5 memenuhi syarat. Kadar kelengkapan baris itu ialah 4 / 6, atau kira-kira 66.67%. R3 dikira sebagai berisi walaupun waiting tidak sah.

Asingkan kedua-dua takrif tersebut. Menamakan 83.33% sebagai “rekod lengkap” akan mengubah maksud penyebut. Kekalkan juga R4 dalam pelaporan status yang tiada, bukannya membiarkan ketiadaannya terlepas kerana kesahan status mengecualikan sel kosong. Kadar kesahan yang tinggi bagi nilai yang dibekalkan boleh wujud bersama banyak nilai yang tiada.

Sel amaun pilihan tidak termasuk dalam pengiraan kelengkapan medan wajib ini. Amaun kosong R2 memerlukan keadaan tidak diketahui dalam sebarang ringkasan amaun, manakala sifar R3 ialah amaun yang dibekalkan. Mengisi R2 dengan sifar akan memperbaik penampilannya tanpa memperoleh bukti. Gunakan templat kamus data untuk mempersetujui maksud tersebut sebelum menerima pakai peraturan pelaporan.

Takrifkan perkara yang dikira oleh kadar pendua

Kad skor ini mengira kemunculan berlebihan melebihi satu bagi setiap kunci yang tidak kosong. Q02 muncul dua kali, menghasilkan satu baris berlebihan. Ukuran lain yang berguna mengira semua baris yang terlibat dalam kunci pendua: R2 dan R5 menghasilkan 2 / 5, atau 40%. Kedua-dua pengiraan boleh dihasilkan semula, tetapi menjawab soalan yang berbeza. Namakan ukuran yang dipilih dalam setiap laporan.

Pengecam yang tiada dikecualikan daripada metrik berasaskan kunci kerana identiti perniagaannya belum diselesaikan. R6 masih muncul dalam kelengkapan dan senarai isu kunci yang tiada. Mengumpulkan semua pengecam kosong sebagai satu pertanyaan pendua akan mereka identiti bersama yang tidak dibuktikan oleh sumber.

Pengiraan konflik mengumpulkan pemerhatian mengikut kunci yang tidak kosong dan membandingkan nilai status yang dibekalkan. Q02 mempunyai contacted dan closed, maka satu kumpulan memerlukan semakan. Amaun kosong R2 dan amaun berisi R5 tidak dengan sendirinya membuktikan konflik amaun: ketiadaan tidak membekalkan amaun yang bersaing. Tanpa autoriti atau masa peristiwa, perubahan peringkat kekal sebagai konflik yang belum diselesaikan di bawah kontrak satu rekod bagi salinan data ini.

Semak kecacatan sebelum mengubah rekod

Serahkan persoalan kosa kata R3, status R4 yang tiada, kunci R6 yang tiada dan konflik Q02 kepada penjaga sumber yang berkenaan. Catatkan soalan dan bukti yang diperlukan untuk penyelesaian. Penyemak boleh mengesahkan bahawa waiting patut menjadi peringkat yang dibenarkan, tetapi tindakan itu mengubah versi peraturan; ia tidak membuktikan bahawa pengiraan asal salah.

Bandingkan tempoh pelaporan hanya apabila medan wajib, skop populasi, peraturan pengecualian dan takrif pendua sepadan. Jika eksport yang disemak semula menggugurkan baris ditolak, kadar kecacatan yang lebih rendah mungkin mencerminkan perubahan liputan. Kekalkan bilangan baris sumber dan rujukan isu bersama kadar supaya perbezaan itu boleh disiasat.

Jangan puratakan keempat-empat peratusan ini menjadi skor kualiti ramalan. Unit, arah dan pengecualiannya berbeza, dan beberapa kecacatan boleh menjejaskan pemerhatian yang sama. Gunakan pembersihan data untuk pembaikan yang berasas dan pengujian ETL untuk semakan transformasi. Kad skor mengukur salinan data yang dibekalkan sebelum tindakan berasingan tersebut.

Pindahkan baris metrik yang diterima ke hamparan

contoh konfigurasi, bukan ujian yang direkodkan

Rujuk entri katalog Update Range untuk antara muka penulisan bersama dan panduan akses Google untuk memberi akaun anda sendiri kebenaran pada helaian kad skor.

Bina values daripada CSV kad skor enam lajur, dengan pengepala dan empat baris metrik yang dikira mengisi range_name Quality!A1:F5. Salin pengecualian dan rujukan sumber terjejas bersama kadar. Lajur D mengandungi nombor yang sudah dinyatakan sebagai peratus: 83.33 menandakan kira-kira 83.33%, manakala 80 menandakan 80%. Menggunakan konvensyen paparan peratusan yang dimaksudkan untuk pecahan akan menyalahgambarkan nombor yang dibekalkan. Pemindahan ini ialah salinan hasil pengiraan di atas, bukan formula yang mengira semula apabila baris sumber berubah.

Periksa JSON result dan selaraskan setiap baris helaian dengan SYN-QUALITY-A: kelengkapan menggunakan dua belas sel wajib, kesahan menggunakan lima status berisi, lebihan pendua menggunakan lima baris yang mempunyai kunci, dan konflik menggunakan empat kumpulan kunci. Jangan gantikan penyebut tersebut dengan satu bilangan baris sumber yang sama. Semak bahawa R4 masih dinamakan dalam pengecualian kesahan walaupun ia juga menyumbang satu sel wajib yang tiada. Untuk menggabungkan kad skor ini dengan bukti pelaporan lain, gunakan automasi laporan.

Apakah semakan kegagalan dan penggunaan metrik kualiti data yang tidak sesuai?

Sahkan bahawa keenam-enam rujukan sumber masih tersedia dan kiraan metrik menghasilkan semula CSV. Uji set data kosong: setiap kadar dengan penyebut sifar patut kekal tidak ditakrifkan. Buang status R3: kelengkapan sel wajib menjadi 9 / 12 dan kesahan menjadi 4 / 4; peratusan kesahan yang lebih tinggi tidak boleh menyembunyikan pemerhatian baharu yang tiada.

Ubah status R5 kepada contacted: lebihan pendua kekal satu, manakala kiraan konflik status ini menjadi sifar. Ini menunjukkan mengapa penyahduplikasian dan pengukuran konflik memerlukan peraturan berasingan. Latihan ini tidak menyediakan audit ketepatan, jaminan kekinian, penanda aras atau penyelesaian konflik automatik. Elakkan penggunaan kadarnya sebagai bukti bahawa set data cukup boleh dipercayai untuk keputusan yang membawa kesan besar.

Oleh Ai Flowi · Diterbitkan 2026-10-11.