Pemprosesan bahasa semula jadi: tugas, input dan bahasa yang kabur
Pemprosesan bahasa semula jadi, atau NLP, ialah bidang pengkomputeran yang berkaitan dengan analisis dan penjanaan bahasa manusia. Bidang ini merangkumi tugas seperti mengelaskan teks, mengekstrak maklumat bernama, meringkaskan petikan dan menghasilkan respons. Tugas NLP yang berguna menetapkan input, output yang dikehendaki dan tindakan apabila makna bahasa tidak jelas.
Dalam konteks AI, NLP bermaksud pemprosesan bahasa semula jadi, bukannya pengaturcaraan neurolinguistik. Istilah ini merangkumi pelbagai tugas bahasa, tanpa menjanjikan bahawa sistem memahami setiap pernyataan seperti manusia. Mulakan dengan menentukan perkara yang mesti dipastikan melalui output.
Cara NLP berfungsi dalam skop tugas
Aplikasi bahasa menerima teks atau representasi teks yang dihasilkan daripada sumber lain, seperti pertuturan. Aplikasi boleh membahagikan input kepada unit, menerapkan peraturan yang jelas atau menggunakan model terlatih, kemudian mengembalikan hasil yang ditetapkan oleh tugas. Kaedah berlainan boleh menyelesaikan bahagian berlainan dalam proses ini.
Pentokenan membahagikan bahasa kepada unit pemprosesan; unit tersebut tidak semestinya perkataan lengkap. Pengelasan menghasilkan kategori, pengekstrakan menghasilkan maklumat terpilih, manakala penjanaan menghasilkan ungkapan baharu. Perenggan yang dijana boleh mengandungi keputusan pengelasan, tetapi output masih memerlukan kontrak yang jelas jika sistem lain akan menggunakan keputusan itu.
Konteks mengubah makna. Penafian, rujukan, petikan ujaran, variasi ejaan dan penggunaan berbilang bahasa boleh mempengaruhi perkara yang disokong oleh sesuatu mesej. Komponen yang menerima teks tidak membuktikan bahasa, istilah khusus atau panjang konteks yang dapat dikendalikannya dengan betul. Uji tugas yang sebenar; jangan anggap kelancaran bahasa secara umum sebagai bukti bagi semua operasi bahasa.
Korpus enam mesej untuk memilih tugas
Korpus mini rekaan dengan jangkaan output yang ditulis oleh penulis. Ini ialah enam kes pengajaran yang berasingan, bukannya respons model yang direkodkan. Skema pengekstrakan menamakan hari dan tempat pengambilan; skema pengelasan membezakan permintaan perubahan butiran daripada soalan maklumat. Label rujukan hanya terpakai pada tugas yang dinyatakan itu.
| Kes dan input | Tugas | Jangkaan output yang ditulis | Contoh balas yang kabur atau batasan |
|---|---|---|---|
| N01: Ambil pada hari Selasa di Cedar Desk. | Pengekstrakan medan | day = Tuesday; place = Cedar Desk; tarikh kalendar tidak diketahui. | “Ambil ketika itu di meja” memerlukan konteks terdahulu. |
| N02: Sila ubah pengambilan kepada hari Khamis. | Pengelasan tindakan yang diminta | change_detail, dengan klausa permintaan sebagai bukti. | “Adakah pengambilan telah berubah?” meminta maklumat. |
| N03: Dulang telah tiba. Penutupnya tiada. Penutup gantian telah diminta. | Peringkasan | Dulang tiba tanpa penutupnya, dan penutup gantian telah diminta. | Permintaan bukan bukti bahawa penutup gantian telah dihantar. |
| N04: Drafkan permintaan yang sopan untuk bertanya hari pengambilan yang dimaksudkan. | Penjanaan bahasa | Pada hari apakah anda ingin mengambilnya? | Draf tidak boleh mereka-reka tempahan yang telah disahkan. |
| N05: Jangan ubah label itu; terangkannya. | Tafsiran tugas | Terangkan label sedia ada; pengubahsuaian tidak dibenarkan. | Mengabaikan “Jangan” membalikkan arahan. |
| N06: Pindahkannya ke sana selepas itu. | Tafsiran rujukan | Tanya objek, destinasi dan peristiwa yang dimaksudkan. | Tiada konteks yang dibekalkan menjelaskan mana-mana rujukan tersebut. |
Hari Selasa dalam N01 ialah sebutan hari dalam minggu, bukannya tarikh lengkap. Menambah bulan atau tahun akan melampaui bukti dalam input. Ringkasan N03 boleh memendekkan sumber sambil mengekalkan status permintaan penutup gantian yang belum selesai. Kedua-dua kes menunjukkan sebab jawapan yang munasabah boleh gagal memenuhi tugas yang dikehendaki.
N04 mempunyai banyak ungkapan yang boleh diterima. Peraturan penerimaannya menilai kesopanan, hari yang belum dinyatakan dan ketiadaan janji yang direka-reka, bukannya padanan satu ayat aksara demi aksara. N05 mempunyai batas tindakan yang lebih ketat: sebarang tafsiran yang membenarkan perubahan label melanggar penafian yang dibekalkan.
Apakah kegunaan NLP?
NLP boleh membantu menyusun teks, mencari sebutan, memadatkan bahan atau mendraf bahasa untuk semakan. Pilih unit terlebih dahulu: seluruh dokumen, perenggan, ayat atau rentang teks tertentu. Label bagi satu ayat tidak boleh secara automatik menggambarkan dokumen asalnya.
Pengelasan teks menangani masalah pemberian label. Pengecaman entiti bernama mengenal pasti rentang sebutan dan jenisnya. AI perbualan menangani konteks dialog merentas giliran. Tugas khusus tersebut memerlukan semakan penerimaan masing-masing; istilah umum ini tidak menggantikannya.
Gunakan medan yang dibekalkan secara jelas atau peraturan teks biasa apabila kaedah itu sudah menjawab soalan. Jika rekod yang dipercayai terus menyatakan collection_day = Tuesday, membaca medan itu mungkin sudah memadai. Gunakan tafsiran apabila jawapan bergantung pada makna bahasa yang tidak dibekalkan oleh struktur sedia ada.
Bahasa yang kabur memerlukan keadaan output
Frasa seperti “Itu tidak mengapa” boleh meluluskan cadangan, menolak kebimbangan atau memetik pernyataan orang lain. Kekalkan konteks yang tersedia kepada sistem dan bezakan keputusan yang disokong daripada tekaan. Tidak diketahui, penjelasan diperlukan dan di luar skop boleh menjadi output yang berguna jika ditetapkan sebelum pemprosesan.
Asingkan teks sumber literal daripada arahan tugas. Jika dokumen memetik “ubah label itu”, petikan tersebut ialah kandungan untuk dianalisis, dan tidak semestinya arahan kepada aplikasi. Rekod semakan perlu mengenal pasti arahan siapa yang berkuasa dan perkara yang hendak ditunjukkan melalui petikan sumber itu.
Bagi N06, cerita yang masuk akal tentang memindahkan dulang selepas makan tengah hari tetap tidak disokong. Objek, destinasi dan peristiwa yang tidak dinyatakan tidak boleh diperoleh daripada ayat ini sahaja. Meminta butiran tersebut memenuhi kontrak penjelasan sambil membiarkan tindakan belum dilaksanakan.
Antara muka yang didokumentasikan dalam AI Flowi Workflow
Rujukan Language Model dan entri Structured Output dalam katalog komponen meliputi antara muka panggilan model dan pemformatan; kedua-duanya didokumentasikan dalam katalog; belum diuji dalam produksi oleh Ai Flowi.
Bagi korpus ini, tentukan perkara yang dianggap ralat tugas sebelum memilih antara muka. N01 gagal jika jawapan menukar hari Selasa kepada tarikh kalendar tertentu; rentetan berformat tarikh yang sah tetap gagal. N02 gagal jika soalan tentang perubahan sedia ada dihalakan sebagai permintaan pengubahsuaian baharu. N03 gagal jika ringkasan menyatakan penutup gantian telah dihantar. Semakan ini menilai maklumat yang ditambah atau disalahtafsir, bukannya struktur respons.
Kekalkan kriteria semakan yang berasingan untuk pengekstrakan dan penjanaan. N01 memerlukan hari dan tempat yang dinyatakan dikekalkan; N04 membenarkan variasi ungkapan sambil mewajibkan soalan tentang hari yang belum dinyatakan. Membandingkan setiap jawapan dengan satu rentetan rujukan yang tepat akan menolak draf yang boleh diterima dan boleh terlepas tarikh tanpa sokongan yang kebetulan diformatkan dengan kemas. Korpus ini hanya mengandungi jangkaan yang ditulis oleh penulis. Percubaan penyedia pada masa hadapan memerlukan kelayakan akses penyedia anda sendiri, jika berkenaan, serta akaun penggunaan yang dibayar secara berasingan.
Kesilapan lazim NLP dan takrif berkaitan
Jangan kelirukan jawapan yang betul dari segi tatabahasa dengan tafsiran yang betul, respons model dengan tindakan yang telah dilaksanakan, atau objek yang terbentuk dengan baik dengan fakta yang disokong. Semak penafian dan rujukan sebelum menghantar arahan yang ditafsirkan ke langkah seterusnya. Perubahan pada kontrak output tugas memerlukan semakan semula kes yang sama.
Analisis sentimen menumpukan penilaian yang dinyatakan. Pengecaman pertuturan membekalkan teks daripada audio, manakala anotasi menyediakan rujukan tugas. Penjanaan bahasa NLP sahaja tidak membuktikan bahawa model asas dilatih dalam aliran kerja.
Oleh Ai Flowi · Diterbitkan