Cara guna LangWatch untuk penilaian LLM dalam AI Flowi Workflow
Cara guna LangWatch untuk penilaian LLM dalam AI Flowi Workflow melibatkan LangWatch Evaluator, komponen yang menghantar input penilaian ke titik akhir penilaian LangWatch dan mengembalikan hasil penilaian JSON. Tetapkan kelayakan perkhidmatan dan nama penilai, kemudian pastikan input asal, output calon, output rujukan dan teks konteks kekal berasingan.
LangWatch Evaluator didokumenkan dalam katalog; belum diuji dalam persekitaran pengeluaran oleh Ai Flowi. Eksport 1.9.2 bertarikh 9 Oktober 2026 menerangkan nod ini sebagai Menilai pelbagai aspek model bahasa menggunakan titik akhir penilaian LangWatch.
Kategori katalognya ialah sumber bagi medan di bawah.
Tujuh medan pada LangWatch Evaluator
Fokuskan jadual medan penilai dan tatal ke sisi apabila lajur pemetaan permintaannya melebihi lebar skrin.
| Input | Jenis medan | Wajib | Jenis sambungan | Batas konfigurasi |
|---|---|---|---|---|
api_key | str | Ya | Senarai kosong | Kelayakan perkhidmatan wajib; nilai kunci tidak boleh dimasukkan dalam teks penilaian. |
contexts | str | Tidak | Message | Teks konteks yang serasi dengan Message; tiada skema senarai atau dokumen dibekalkan. |
evaluator_name | str | Ya | Tidak dinyatakan | Pengenal penilai wajib; senarai pilihan yang dieksport kosong. |
expected_output | str | Tidak | Message | Teks rujukan untuk penilai yang dipilih, bukannya jawapan calon. |
input | str | Tidak | Message | Tugas atau soalan asal yang dibekalkan kepada penilai. |
output | str | Tidak | Message | Jawapan calon yang dinilai; ini ialah medan input walaupun namanya begitu. |
timeout | int | Tidak | Tidak dinyatakan | Tetapan had masa dalam bentuk integer; unit, nilai lalai dan julat tidak dinyatakan. |
Medan wajib ialah api_key dan evaluator_name. Empat medan teks penilaian ialah rentetan pilihan yang menerima sambungan Message. Pilihan di sini merujuk kepada penanda dalam eksport: penilai yang dipilih mungkin masih memerlukan teks tertentu untuk menjalankan penilaian yang bermakna.
Senarai jenis yang diterima yang kosong pada api_key ialah metadata yang dinyatakan secara jelas, manakala medan had masa tiada senarai jenis yang diterima. Jangan anggap mana-mana keadaan itu sebagai kebenaran untuk menyambungkan sebarang objek. Pemilih nama penilai juga mengeksport senarai pilihan kosong, jadi rujukan ini tidak dapat membekalkan nama yang disokong untuk ditampal ke dalamnya.
Petakan setiap bahagian teks penilaian
| Nilai | Peranan dalam permintaan penilaian | Keperluan pemeriksaan |
|---|---|---|
input | Soalan atau tugas asal. | Pastikan ia dipasangkan dengan jawapan calon daripada kes yang sama. |
output | Jawapan untuk dinilai. | Jangan gantikannya dengan teks rujukan sebelum menghantar permintaan. |
expected_output | Jawapan rujukan atau teks penerimaan yang dimaksudkan, jika sesuai. | Sahkan cara penilai yang dipilih mentafsir medan ini. |
contexts | Teks bukti yang dibekalkan untuk penilaian. | Gunakan bukti sebenar yang dibekalkan, bukannya bahan sumber yang tidak berkaitan. |
evaluation_result | Output Evaluation Result, berjenis JSON. | Periksa skema sebenar sebelum memilih skor atau medan untuk komponen seterusnya. |
Medan bernama output ialah sebahagian daripada permintaan. Port yang mengembalikan hasil bernama evaluation_result, dipaparkan sebagai Evaluation Result. Membezakan nama-nama ini mengelakkan kesilapan sambungan yang lazim: membekalkan respons penilaian terdahulu seolah-olah itulah jawapan yang ingin dinilai.
Ikuti kaedah pemetaan bukti penilaian RAG apabila menentukan konteks sumber yang sesuai untuk sesuatu penilaian.
contexts dieksport sebagai rentetan yang menerima Message, bukannya tatasusunan petikan yang didokumenkan. Katalog tidak menyediakan konvensyen pemisah atau skema penghuraian untuk beberapa petikan. Sahkan bentuk yang diterima oleh penilai yang dipilih sebelum memformat beberapa dokumen ke dalam medan itu.
Perkara yang perlu dikonfigurasi di luar jadual medan
Anda memerlukan akaun dan kunci API LangWatch sendiri, kebenaran untuk menggunakan penilai yang dimaksudkan, serta pengenal penilai yang disokong yang diperoleh daripada perkhidmatan itu. LangWatch mengenakan caj secara berasingan daripada pelan aliran kerja. Jika anda menambah model untuk menjana jawapan calon, model itu juga memerlukan akaun dan kelayakannya sendiri yang telah dikonfigurasi, dengan caj penyedia yang berasingan.
Panduan sambungan menerangkan mekanisme kelayakan umum platform. Bekalkan kunci penilaian melalui tetapan kelayakan yang berkaitan, bukannya dalam input, output atau teks konteks. Sahkan pengenal dalam perkhidmatan sebelum mengaitkan permintaan yang gagal dengan jawapan calon.
timeout mempunyai jenis medan integer, tetapi tiada unit, sela yang dibenarkan, dasar percubaan semula atau peraturan pembatalan dieksport. Semak penyunting dan konfigurasi perkhidmatan yang berkenaan sebelum memilih nilai. Had masa yang tamat ialah percubaan penilaian yang gagal dan perlu disiasat; ia bukan bukti bahawa calon lulus atau gagal dalam penilaian kandungan.
Latihan pemetaan permintaan untuk satu kes
contoh konfigurasi, bukan ujian yang direkodkan
Gunakan notis perkhidmatan rekaan dan bukannya teks pelanggan. Latihan ini membekalkan jawapan calon secara langsung, jadi ia tidak memerlukan model penjanaan atau hasil model yang direka-reka.
- Tambah LangWatch Evaluator, tetapkan
api_keymenggunakan kelayakan anda dan pilihevaluator_nameyang disokong penyedia. Halaman ini sengaja tidak membekalkan pengenal penilai berdasarkan andaian. - Tetapkan
inputkepada “Pada hari apakah kaunter perkhidmatan rekaan dibuka?” Tetapkancontextskepada “Kaunter perkhidmatan rekaan dibuka pada hari Selasa.” - Tetapkan
outputkepada “Kaunter perkhidmatan dibuka pada hari Rabu.” Gunakanexpected_outputbernilai “Selasa” hanya selepas mengesahkan bahawa teks rujukan sesuai untuk penilai yang dipilih. - Sambungkan
evaluation_resultkepada Chat Output.input_value, yang jenis diterimanya termasuk JSON. Periksa keseluruhan objek yang dikembalikan sebelum memilih sifat individu. - Kekalkan penilai dan teks permintaan yang sama, ubah hanya
outputkepada “Kaunter perkhidmatan dibuka pada hari Selasa”, dan periksa percubaan berasingan. Simpan kedua-dua konfigurasi permintaan bersama hasil sebenarnya.
Artifak yang dimaksudkan ialah objek JSON penilaian untuk setiap permintaan. Tiada skor, bilangan kelulusan atau nama sifat yang dikembalikan dibekalkan di sini kerana tiada pelaksanaan direkodkan. Peraturan penerimaan manusia jelas dalam notis rekaan itu; sama ada penilai yang dipilih mengesan perbezaan tersebut masih perlu ditentukan melalui percubaan.
Sebelum mana-mana percubaan, semak pemetaan medan yang disimpan: Rabu ialah nilai untuk output, manakala Selasa ialah rujukan yang dicadangkan dalam expected_output. Menukar kedua-dua nilai itu akan meminta perkhidmatan menilai jawapan yang dimaksudkan terhadap calon yang salah. Mengubah evaluator_name pada masa yang sama akan memperkenalkan tafsiran permintaan yang lain, jadi simpan pengenal itu bersama setiap konfigurasi. Pemilih katalog yang kosong bermakna permintaan dengan sambungan yang betul sekalipun memerlukan nama penilai yang disahkan oleh perkhidmatan; notis rekaan membekalkan teks, bukannya pengenal itu.
Periksa JSON sebelum menentukan laluan berdasarkannya
Eksport memberikan jenis, bukannya skema respons. Ia tidak mendokumenkan medan bernama score, passed, explanation atau status. Rekodkan objek yang dikembalikan oleh penilai yang dipilih dan sahkan sifat yang menyatakan penilaiannya, sifat yang menyatakan kegagalan permintaan serta sifat yang mungkin tiada.
Jangan tetapkan ambang berangka sebelum mengetahui maksud nilai sebenar dan menyemak kes yang mewakili penggunaan. Respons perkhidmatan yang berjaya membuktikan hasil telah disampaikan, bukannya bahawa pertimbangan penilai itu betul. Pastikan jawapan calon asal dan teks rujukan tersedia untuk pemeriksaan manusia apabila pertimbangan itu tidak dijangka.
Untuk pemprosesan JSON seterusnya, rujukan JSON Operations menerangkan komponen transformasi sedia ada. Konfigurasikan pemilihan medan hanya berdasarkan medan yang telah diperhatikan. Nod LangWatch sendiri tiada input percubaan semula atau output kegagalan berasingan yang dieksport, jadi rujukan ini tidak menerangkan aliran pengendalian ralat yang lengkap.
Apakah perbezaan antara titik akhir penilaian LangWatch dengan kebolehcerapan yang lebih luas?
Kategori LangWatch yang dieksport mengandungi komponen penilai ini. Penerangan dan portnya tidak membuktikan adanya penjejakan automatik, pengeksport telemetri, sambungan papan pemuka atau pengumpulan setiap panggilan model. Jika keperluan anda ialah penilaian teks tertentu, medan ini relevan; jika keperluannya ialah penjejakan hujung ke hujung, dapatkan antara muka berasingan yang telah disahkan sebelum memilih nod ini untuk tugas tersebut.
Panduan penilaian RAG menerangkan label korpus, bukti pengambilan dan perbandingan versi. Gunakannya untuk reka bentuk eksperimen dan halaman ini untuk kontrak permintaan penilai. Pelaksanaan korpus yang lebih luas masih memerlukan orkestrasi yang telah disahkan; output JSON tunggal ini tidak membuktikan adanya penjadualan kelompok.
Elakkan menghantar teks tugas sensitif sebelum menyemak keperluan pengendalian perkhidmatan yang berkenaan. Abaikan penilai luaran apabila perbandingan deterministik langsung meliputi keseluruhan peraturan penerimaan. Layari integrasi untuk mencari kategori lain yang didokumenkan dan bukannya menganggap penilaian menyediakan fungsi kategori tersebut.
Oleh Ai Flowi · Diterbitkan
Sumber rasmi: dokumentasi LangWatch
Penggunaan aliran kerja
Pelan: Go dari USD8/bulan dengan bil tahunan (USD10 bulanan), Plus dari USD16 (USD20 bulanan), Pro 100 dari USD80 (USD100 bulanan), Pro 200 dari USD160 (USD200 bulanan) dan Pro 500 dari USD400 (USD500 bulanan), dengan 5,000 hingga 250,000 Flowi Tokens sebulan dan pilihan tambah nilai; 1 token bagi setiap pelaksanaan nod; penggunaan API dan model pihak ketiga tidak termasuk.