text classification: label, pilihan untuk tidak melabel dan penilaian
Oleh Ai Flowi · Diterbitkan
Text classification menetapkan satu atau lebih label kepada unit teks menggunakan taksonomi yang ditetapkan. Unit itu mungkin berupa dokumen, abstrak atau petikan; taksonomi menentukan makna label. Pengelas yang berguna juga mempunyai cara untuk tidak menetapkan label apabila teks yang diberikan tidak menyokongnya atau pilihan antara beberapa label masih belum dapat diputuskan.
Berkaitan: Ekstrak kata kunci daripada teks: frasa dan bukti.
Tugas label tunggal, berbilang label dan berhierarki
Pengelasan label tunggal memilih satu kategori bagi setiap input yang diterima. Pilihan itu memerlukan peraturan apabila teks meliputi beberapa topik. “Pilih topik utama” tidak memadai jika penyemak tidak sepakat sama ada utama bermaksud topik pembukaan, perbincangan terpanjang atau tujuan dokumen yang dinyatakan.
Pengelasan berbilang label membenarkan beberapa kategori yang masing-masing terpakai secara bebas. Ia memerlukan peraturan penyertaan bagi setiap kategori dan perwakilan untuk set kosong. Hierarki menyusun label kepada kategori induk dan anak, seperti Operations diikuti Facilities. Tentukan sama ada kategori induk boleh diterima tanpa memilih kategori anak, dan sama ada berbilang cabang dibenarkan.
Struktur ini ialah kontrak tugas, bukannya ukuran kecanggihan model. Respons berbilang label tidak sesuai untuk destinasi yang menerima satu kategori melainkan peraturan yang telah disemak menyelesaikannya. Hierarki boleh menerangkan taksonomi sedangkan tugas sebenar masih memerlukan satu label pada peringkat paling bawah.
Taksonomi sintetik untuk abstrak dokumen
Senario rekaan bagi dokumen dalaman yang dibenarkan untuk digunakan; tiada pelaksanaan pengelas dilaporkan. Bayangkan pasukan penyelidikan menyusun abstrak ke dalam indeks. Versi taksonomi topics_v1 menggunakan tiga kategori label tunggal serta keadaan semakan.
| Label | Sertakan | Kecualikan atau semak |
|---|---|---|
| Methods | Prosedur untuk mengumpul atau menganalisis hasil pengukuran penyelidikan. | Penyelenggaraan bilik peralatan tanpa prosedur pengukuran. |
| Facilities | Bilik, utiliti dan penyelenggaraan ruang fizikal bersama. | Peraturan untuk meluluskan penyelidikan atau menyimpan rekodnya. |
| Governance | Tanggungjawab semakan, kebenaran dan peraturan penyimpanan rekod. | Sebutan jawatankuasa semata-mata tanpa peraturan atau keputusan. |
| needs_review | Teks tidak mencukupi, kategori bersaing tanpa peraturan keutamaan atau topik di luar skop. | Jangan gunakannya sebagai kategori topik keempat dalam statistik topik. |
Pertimbangkan tiga abstrak rekaan: “Prosedur untuk menentukur pengukuran suhu” menyokong Methods; “Jadual pemeriksaan pengudaraan makmal” menyokong Facilities; dan “Peraturan kelulusan dan penyimpanan rekod kajian” menyokong Governance. Ini ialah label pengajaran yang ditetapkan oleh penulis, bukannya ramalan.
“Keperluan kelulusan untuk pengubahsuaian makmal” melibatkan kemudahan dan peraturan kelulusan. Dalam skema label tunggal tanpa peraturan keutamaan, kembalikan needs_review dan kekalkan kedua-dua sebab. Dalam skema berbilang label yang telah disemak, Facilities dan Governance boleh terpakai serentak. Perubahan struktur label mengubah jawapan yang betul.
Apakah perbezaan antara pengelasan, pengecaman entiti dan padanan kata kunci?
Dokumen boleh menyebut universiti sedangkan topiknya ialah penyelenggaraan pengudaraan. Pengecaman entiti bernama mengenal pasti dan menentukan jenis rentang teks nama tersebut; pengelasan menetapkan label kepada abstrak secara keseluruhan. Output itu menjawab soalan yang berbeza.
Kata kunci topik ialah bukti untuk diperiksa, bukannya semestinya peraturan pengelasan. Perkataan “kelulusan” boleh muncul dalam pengecualian, petikan atau ayat sampingan. Mulakan dengan padanan deterministik apabila kategori diberikan secara jelas oleh medan yang dipercayai. Gunakan pentafsiran apabila topik perlu diinferenskan daripada teks yang dibenarkan, dan kekalkan batas taksonomi yang menyokong inferens itu.
Panduan pengelasan tiket sokongan menggunakan label untuk triage dan penghalaan tiket. Contoh indeks dokumen ini tidak mempunyai keperluan baris gilir, tahap keterukan atau tindakan pelanggan. Kontrak label di sini berkaitan dengan topik dan kebolehsemakan.
Tidak menetapkan label ialah keputusan, bukannya kegagalan penghuraian
Gunakan sebab yang jelas apabila tidak menetapkan label: kandungan tidak mencukupi, di luar taksonomi, topik bercanggah atau output tidak disokong. Kekalkan rujukan dokumen asal dan versi taksonomi. Rekod needs_review yang terbentuk dengan betul boleh memenuhi kontrak output walaupun masih tidak sesuai untuk pengindeksan automatik.
Abstrak yang dipendekkan mungkin menggugurkan ayat yang menentukan topiknya. Jika hanya “pengubahsuaian makmal” kekal selepas pemendekan, Facilities kelihatan munasabah walaupun petikan yang hilang menerangkan dasar kelulusan. Rekodkan versi teks yang dikelaskan dan tandakan abstrak tidak lengkap untuk semakan di bawah topics_v1. Label pada serpihan teks tidak boleh secara senyap menjadi label untuk dokumen lengkap yang belum dilihat.
Untuk contoh ini, hasil aplikasi yang dicadangkan mempunyai document_ref, taxonomy_version, label, evidence_excerpt dan abstention_reason. Label di luar senarai yang diluluskan merupakan pelanggaran kontrak. Label yang dibenarkan tetapi disertai bukti tidak relevan merupakan kegagalan semantik. Rekodkan kedua-duanya secara berasingan.
Contoh matriks kekeliruan
Ilustrasi pemarkahan yang dibina secara manual, bukannya bukti penanda aras. Andaikan enam contoh berlabel menerima penetapan label hipotetikal di bawah. Baris menunjukkan label rujukan; lajur menunjukkan label cadangan. Setiap baris mengandungi dua contoh.
| Rujukan / cadangan | Methods | Facilities | Governance |
|---|---|---|---|
| Methods | 2 | 0 | 0 |
| Facilities | 0 | 1 | 1 |
| Governance | 1 | 0 | 1 |
Pepenjuru mengandungi empat penetapan yang betul daripada enam. Kejituan Methods ialah dua ramalan Methods yang betul daripada tiga ramalan Methods; perolehan semulanya ialah dua contoh Methods yang ditemukan daripada dua contoh rujukan Methods. Facilities mempunyai satu ramalan betul daripada satu label Facilities yang dicadangkan, tetapi hanya satu daripada dua contoh rujukannya ditemukan. Perbezaan ini memperlihatkan ralat yang mungkin terlindung dalam jumlah keseluruhan.
Rekodkan kes tanpa penetapan label di luar matriks penetapan yang diterima ini. Jika dua contoh tambahan ditangguhkan untuk semakan, populasi penilaian ialah lapan dan liputan yang diterima ialah enam daripada lapan. Jangan bentangkan ketepatan penetapan yang diterima tanpa melaporkan liputan tersebut dan memeriksa kes yang dirujuk untuk semakan.
Penilaian set berasingan dan label yang berubah
Asingkan set penilaian daripada contoh yang digunakan untuk menulis taksonomi atau menala arahan model. Sertakan abstrak pendek, bercampur topik dan di luar skop. Kumpulkan dokumen yang hampir pendua sebelum pembahagian supaya salinan dengan suntingan kecil tidak muncul dalam kedua-dua set pembangunan dan penilaian.
Minta setiap penyemak membuat anotasi secara berasingan, kemudian periksa percanggahan. Peraturan penyertaan yang kabur ialah masalah taksonomi; ramalan yang melanggar peraturan yang dipersetujui ialah kesilapan model. Kekalkan percanggahan manusia yang belum diselesaikan dan jangan berpura-pura setiap rujukan itu pasti.
Hanyutan taksonomi berlaku apabila makna label atau kategori berubah. Berikan versi kepada taksonomi dan rekodkan pemetaan kategori lama kepada kategori baharu sebelum membandingkan bilangan. Perubahan bahasa dokumen atau campuran topik ialah peralihan yang berbeza, yang boleh mengubah corak ralat walaupun label kekal sama.
Sempadan komponen AI Flowi Workflow
Gunakan entri katalog Structured Output dan Batch Run untuk antara muka yang menjadi asas percubaan taksonomi dokumen ini.
Kedua-dua percubaan menjawab soalan label topik yang sama pada skala input berbeza. Dalam percubaan kelompok, kekalkan rujukan dokumen dalam salinan semakan tetapi pilih hanya abstrak untuk pentafsiran model. Folder pentadbiran bernama Governance tidak boleh menjadi bukti untuk mengelaskan abstrak tentang prosedur pengukuran. Semak label yang terhasil berdasarkan teks, dan bukannya lokasi penyimpanan.
konfigurasi contoh, bukannya ujian yang direkodkan
Untuk satu abstrak, bekalkan rujukan dokumen dan teks melalui Structured Output.input_value. Tetapkan system_prompt kepada peraturan penyertaan topics_v1 dan dasar needs_review yang telah disemak; tetapkan schema_name kepada document_topic dan konfigurasikan Table output_schema yang telah diperiksa untuk medan hasil cadangan. Pilih model serasi LanguageModel yang telah dikonfigurasikan.
Untuk percubaan kelompok yang berasingan, berikan Table yang dibenarkan untuk digunakan melalui Batch Run.df, tetapkan column_name kepada abstract dan output_column_name kepada topic_proposal, serta letakkan taksonomi dalam system_message. Periksa sama ada rujukan sumber dan nilai hasil kekal berkaitan. Tiada dakwaan tentang sambungan secara terus daripada Structured Output ke Batch Run atau skema hasil kelompok yang dikuatkuasakan.
Kedua-dua pilihan memerlukan akaun penyedia model dan kunci API anda sendiri, dengan caj penyedia dibayar secara berasingan. Structured Output dan Batch Run didokumenkan dalam katalog; belum diuji dalam persekitaran pengeluaran oleh Ai Flowi. Gunakan semakan manual apabila koleksi kecil atau label mengawal keputusan yang membawa kesan penting. Hab kes penggunaan menyediakan contoh aliran kerja sedia ada dengan skopnya sendiri; output berstruktur menerangkan sempadan format.