Apa itu LLM?

Apa itu LLM? LLM ialah model bahasa besar: model pembelajaran mesin yang dilatih menggunakan teks untuk mempelajari pola yang menyokong tugas bahasa. Banyak LLM generatif menghasilkan respons dengan meramalkan token berturut-turut berdasarkan input dan teks yang telah dijana. Model membekalkan keupayaan pemprosesan bahasa; aplikasi membekalkan data, kebenaran, alat dan antara muka yang mengelilinginya.

Oleh Ai Flowi · Diterbitkan

Di sini, LLM merujuk kepada kecerdasan buatan. Model bahasa boleh menyediakan draf, meringkaskan, mengelaskan atau membantu mengekstrak maklumat, tetapi respons yang munasabah bukan bukti kebenaran. Tingkah lakunya bergantung pada model yang dipilih, permintaan dan sebarang bukti yang dibekalkan oleh aplikasi.

Berkaitan: Fine tuning AI dan pembelajaran pindahan: mengubah pemberat berbanding membekalkan konteks; AI generatif: menghasilkan draf berbeza daripada mengesahkan fakta.

Apakah kepanjangan LLM?

Singkatan ini bermaksud large language model, atau model bahasa besar. “Bahasa” merujuk kepada tugas pembelajarannya yang berorientasikan teks, manakala “model” merujuk kepada sistem matematik yang dipelajari dan digunakan untuk memproses input. “Besar” ialah gambaran umum, bukan ambang saiz tetap yang menjadikan setiap model mampu melakukan kerja yang sama.

Chatbot ialah antara muka perbualan, manakala LLM ialah salah satu model yang mungkin digunakan di sebalik antara muka itu. Aliran kerja boleh menggunakan LLM untuk satu langkah pentafsiran tanpa menjadi ejen autonomi. Aplikasi juga boleh melakukan kerja yang berguna melalui pemprosesan deterministik tanpa memanggil model bahasa langsung.

Panduan ejen, aliran kerja dan chatbot sedia ada menerangkan peranan produk tersebut. Entri ini menerangkan model asasnya, bukannya menganggap antara muka atau langganan sebagai takrif LLM.

Cara ramalan token menghasilkan teks

Token ialah unit perwakilan yang digunakan oleh pentoken model. Ia boleh sepadan dengan perkataan, sebahagian perkataan atau unit teks lain; tiada peraturan sejagat bahawa satu token bersamaan satu perkataan. Pentokenan penting apabila mentafsir had input dan output model.

Semasa penjanaan, model menganggarkan token seterusnya yang mungkin berdasarkan inputnya dan token terdahulu yang telah dijana. Prosedur penjanaan memilih token sehingga syarat berhenti dipenuhi. Teks yang terhasil boleh koheren kerana model telah mempelajari pola bahasa, tetapi masih boleh mengandungi butiran yang tidak disokong.

Permintaan tidak secara automatik menyebabkan carian pangkalan data secara langsung. Melainkan aplikasi membekalkan kandungan yang diperoleh melalui carian atau pemerhatian alat yang dikonfigurasikan, jangan anggap model telah merujuk sumber terkini. Jawapannya yang lancar tidak patut disalah anggap sebagai laporan operasi luaran.

Latihan dan inferens ialah operasi berbeza

Latihan mengubah parameter yang dipelajari oleh model menggunakan data dan proses pengoptimuman. Inferens menggunakan model untuk memproses permintaan. Memberikan petikan dasar kepada model dalam prom lazimnya merupakan sebahagian input inferens tersebut; tindakan itu sahaja bukan pelaksanaan latihan baharu.

Penalaan halus ialah proses latihan yang diterapkan pada model untuk objektif yang lebih khusus. Sebaliknya, penambahan contoh dalam prom ialah teknik dalam konteks. Kedua-dua penerangan ini tidak menentukan perkara yang disimpan atau digunakan oleh penyedia di bawah dasar perkhidmatannya; terma pengendalian data tersebut memerlukan semakan tersendiri.

Perbezaan ini membantu penyelesaian masalah pembantu dokumen. Jika dasar berubah, aplikasi mungkin perlu mengemas kini bukti yang dibekalkan untuk inferens. Mengubah kata-kata prom tidak dapat membetulkan sumber yang tidak pernah dikemas kini, dan memuat naik petikan tidak membuktikan bahawa parameter yang dipelajari oleh model telah berubah.

Apakah yang dilakukan oleh LLM?

LLM boleh menukar permintaan tidak berstruktur kepada draf ringkasan, mengelaskan niatnya atau mencadangkan medan yang diekstrak. Pertimbangkan mesej rekaan: “Skrin bilik mesyuarat kekal kosong selepas saya menyambungkan kabel.” Tugas yang direka boleh meminta penerangan masalah yang ringkas dan sebarang butiran penyelesaian masalah yang belum diberikan.

Penerangan sasaran perlu mengekalkan maklumat skrin kosong dan sambungan kabel tanpa mereka kerosakan perkakasan. “Paparan perlu diganti” melampaui mesej yang dibekalkan. Respons yang berguna boleh menyatakan perkara yang dilaporkan sambil membiarkan puncanya belum dipastikan.

Ini ialah contoh tugas dan batas penerimaan, bukan respons sebenar yang dijana. Untuk pengiraan tepat, pengesahan tetap atau carian pengecam yang diketahui, gunakan operasi deterministik apabila sesuai. Fleksibiliti model bahasa berguna apabila pentafsiran diperlukan, tetapi pentafsiran yang tidak perlu boleh mewujudkan kekaburan yang boleh dielakkan.

Asingkan model, aplikasi dan data luaran

Permintaan pengguna
  → Aplikasi: menyemak akses dan memilih input tugas
  → Data luaran: rekod yang diluluskan atau pemerhatian alat, jika diperlukan
  → Permintaan model: arahan bersama konteks terpilih
  → Respons yang dijana
  → Aplikasi: mengesahkan dan memaparkan hasil

Ini ialah rajah seni bina berkonsep, bukan graf Flowi yang boleh dilaksanakan. Aplikasi menentukan sama ada sesuatu alat dibenarkan dan data yang boleh disertakan. Model menjana teks daripada permintaan yang diterimanya. Balasan yang menyatakan tindakan berjaya bukan bukti bahawa aplikasi benar-benar melakukannya.

Had konteks juga bergantung pada konfigurasi model tertentu. Input, contoh, bukti dan respons yang dijana perlu muat dalam had yang terpakai. Kejuruteraan konteks membincangkan pemilihan bahan tersebut, manakala kejuruteraan prom membincangkan arahan tugas.

Menggunakan model dalam AI Flowi Workflow

Rujukan Language Model menerangkan tetapan permintaan dan jenis sambungan komponen itu.

Untuk mesej skrin kosong tadi, tentukan sumbangan model sebelum mengkonfigurasikannya. Ringkasan boleh mengekalkan simptom yang dilaporkan dan mengenal pasti bahawa model skrin tidak dinyatakan. Ia tidak dapat memeriksa kabel atau membuat diagnosis fizikal. Meminta punca dan bukannya ringkasan simptom mengubah bukti yang diperlukan, walaupun model yang sama memproses kedua-dua permintaan.

Pastikan draf yang dijana dan laporan asal dapat dibezakan. Jika juruteknik kemudian menemukan penyambung yang longgar, pemerhatian itu perlu dimasukkan dalam rekod baharu dengan sumbernya sendiri. Ia tidak patut dikaitkan secara retrospektif dengan inferens model terdahulu. Pengasingan ini membantu menjelaskan pernyataan yang berasal daripada pemerhatian seseorang dan pernyataan yang berasal daripada tugas bahasa.

Model pembenaman menjalankan tugas perwakilan, bukannya menulis ringkasan ini; entri pembenaman teks menerangkan perbezaan tersebut.

Pilih LLM apabila pentafsiran kata-kata yang pelbagai berguna dan hasilnya boleh disemak terhadap input. Borang tetap yang sudah mengandungi medan simptom mungkin tidak memerlukan model langsung. Perubahan penyedia atau versi model memerlukan semakan semula mesej yang mewakili kes penggunaan: nama komponen yang biasa digunakan tidak membuktikan tingkah laku bahasa yang sama merentas konfigurasi.

didokumenkan dalam katalog; belum diuji dalam persekitaran produksi oleh Ai Flowi

Rujuk API Hub untuk konfigurasi akses; pelaksanaan tugas ringkasan simptom memerlukan akaun penyedia model dan kelayakan API anda sendiri, dan anda membayar panggilan inferens itu secara berasingan.

Kesilapan lazim dan had

Jangan samakan token model dengan unit bil aliran kerja, anggap petikan konteks sebagai latihan, atau anggap respons chat merangkumi carian terkini. Singkatan LLM tidak menentukan keupayaan model tertentu, tarikh akhir pengetahuan atau angka prestasi.

Gunakan rujukan Agent apabila alat digunakan dalam aplikasi, dan kes penggunaan untuk reka bentuk permulaan yang didokumenkan. Model, kawalan yang mengelilinginya dan bahan sumbernya masing-masing perlu disemak; keyakinan dalam prosa tidak boleh menggantikan semakan tersebut.

Bacaan lanjut

Sumber pembelajaran mesin Google: pengenalan kepada model bahasa besar.