Batch inference: kekalkan identiti baris dan padankan hasil separa

Batch inference menerapkan model sedia ada pada sekumpulan input, bukannya melayani satu permintaan segera pada satu masa. Kekalkan identiti yang stabil bagi setiap input, padankan setiap hasil yang dikembalikan dengan versi input tepatnya, dan semak padanan baris yang hilang atau gagal sebelum mengisytiharkan kumpulan itu lengkap. Tiga hasil yang dikembalikan tidak boleh melengkapkan manifes empat permintaan.

Status keupayaan: didokumenkan. Batch Run dan Table Operations didokumenkan dalam katalog; belum diuji dalam persekitaran produksi oleh Ai Flowi. Tiada ujian masa jalan yang direkodkan untuk konfigurasi gabungannya di bawah.

Oleh Ai Flowi · Diterbitkan 2026-10-11

Sekumpulan input bukan API kelompok penyedia

Permintaan masa nyata memerlukan jawapan tersendiri untuk interaksi seterusnya. Kelompok menghimpunkan input untuk tugas pemprosesan dan semakan bersama, seperti meringkaskan rekod teks yang dibekalkan. Pengelompokan sahaja tidak menunjukkan sama ada pelaksanaan berlaku secara berurutan, selari atau tak segerak.

Untuk tugas berasaskan baris ini, entri katalog Batch Run menyatakan Menjalankan LLM pada setiap baris lajur DataFrame. Jika tiada lajur ditetapkan, semua lajur digunakan. Ini menetapkan tujuan pemprosesan. Ia tidak membuktikan API kelompok tak segerak penyedia, pengekalan susunan, pelaksanaan tepat sekali, diskaun atau kependaman. Penerangan saluran pembelajaran mesin meliputi batas latihan; panduan ini bermula dengan model yang telah dikonfigurasikan.

Manifes input empat baris yang boleh disalin

Artifak perancangan sintetik; tiada model dijalankan. Salin rekod ini ke jadual sumber terkawal anda. Pengecam dan medan lejar ialah kontrak aplikasi yang anda cadangkan, bukannya tetapan terbina dalam Batch Run. Gunakan request_key baharu bagi setiap versi input yang berubah, dan kekalkan kunci yang sama merentasi percubaan semula versi yang sama.

[
  {"request_id":"R-A","input_version":"v1","request_key":"R-A-v1","source_text":"The library opens at noon."},
  {"request_id":"R-B","input_version":"v1","request_key":"R-B-v1","source_text":"The workshop moved to Tuesday."},
  {"request_id":"R-C","input_version":"v1","request_key":"R-C-v1","source_text":"The collection point is the east entrance."},
  {"request_id":"R-D","input_version":"v1","request_key":"R-D-v1","source_text":"The briefing is postponed; no replacement date is given."}
]

Sebelum penghantaran, tolak identiti kosong, kunci pendua dan teks sumber kosong. Simpan teks asal secara berasingan daripada output yang dijana. Catat model terpilih dan semakan arahan bersama manifes supaya prompt yang berubah tidak menyamar sebagai percubaan semula tanpa disedari.

Nombor baris ialah kedudukan paparan, bukannya identiti kekal. Pengisihan jadual tidak boleh mengubah teks yang menjadi milik R-B. Meminta model mengulang pengecam juga tidak mencukupi: output boleh mengubahnya. Terima identiti hanya daripada pemetaan yang disahkan kembali kepada rekod yang dihantar.

Konfigurasikan antara muka yang didokumenkan sahaja

Anda memerlukan sumber yang menghasilkan Table, kebenaran memproses teksnya dan sambungan model yang dikonfigurasikan. Dapatkan akaun dan kunci API penyedia model di bawah urusan pengebilan anda sendiri; caj penggunaannya tidak termasuk dalam langganan aliran kerja. Gunakan panduan sambungan dan rujukan Language Model untuk konfigurasi dan jangan letakkan kelayakan akses dalam baris sumber.

Antara muka pemuatan, penukaran dan Language Model yang dipautkan mempunyai status didokumenkan yang sama; contoh ini tidak menambah bukti ujian untuknya.

contoh konfigurasi, bukan ujian yang direkodkan

1. Periksa Table sumber dan sahkan empat rekod manifes serta kuncinya. Jika sumber anda ialah CSV, ikuti Load CSV dan Data → DataFrame untuk pemuatan dan penukaran; contoh ini bermula selepas pemeriksaan itu.
2. Pada Batch Run, sambungkan Table ke df dan sambungan LanguageModel yang dikonfigurasikan ke model. Kedua-dua medan wajib diisi menurut eksport.
3. Tetapkan column_name kepada source_text, output_column_name kepada draft_summary, dan system_message kepada: “Ringkaskan hanya teks yang dibekalkan dalam satu ayat. Kekalkan ketidakpastian yang dinyatakan; jangan tambah tarikh atau fakta yang tiada.” Pemilihan lajur secara jelas mengecualikan medan lejar daripada tugas teks yang diminta.
4. Periksa batch_results, yang jenis output didokumenkannya ialah Table. Sahkan setiap hasil boleh dijejaki kepada kunci dan versi asalnya. Katalog tidak menyediakan struktur pembungkus hasil atau skema ralat; jika identiti tidak dapat dipastikan, berhenti sebelum penggabungan.
5. Semak padanan hasil yang diperiksa dengan manifes ini berdasarkan request_key menggunakan pilihan "Merge" dan "left" Table Operations, dengan mengikuti konfigurasi cantuman sedia ada untuk inputnya.

Penerangan cantuman pengayaan data pelanggan meliputi pengekalan populasi dan kesan kunci pendua.

Untuk manifes ini, padankan B1 kepada empat keputusan di bawah sebelum mempertimbangkan B2. Bukti R-A menjadi milik ayat perpustakaan walaupun tiba kedua; bukti R-C menjadi milik ayat pintu masuk walaupun tiba pertama. R-D kekal sebagai permintaan belum selesai dengan kegagalan yang disahkan secara berasingan, dan tidak hilang daripada kumpulan. Simpan teks asalnya untuk semakan percubaan semula kemudian.

Contoh lejar hasil separa dan percubaan semula

Lejar rekaan berikut merekodkan tiga hasil yang dikembalikan daripada kelompok B1. Pemeriksaan hasil berasingan mengesahkan R-D mengalami kegagalan sementara, tidak menghasilkan hasil yang boleh digunakan dan tiada percubaan yang masih berjalan. Entri kegagalannya tidak disimpulkan berdasarkan ketiadaan hasil semata-mata. Rujukan hasil dan ralat mewakili bukti yang diperiksa secara berasingan; ia bukan medan respons penyedia atau ringkasan sebenar yang dijana.

[
  {"request_key":"R-C-v1","attempt_id":"A-C1","batch_id":"B1","result_state":"returned","result_ref":"held-result-C1","error_ref":null,"review_state":"pending"},
  {"request_key":"R-A-v1","attempt_id":"A-A1","batch_id":"B1","result_state":"returned","result_ref":"held-result-A1","error_ref":null,"review_state":"approved"},
  {"request_key":"R-B-v1","attempt_id":"A-B1","batch_id":"B1","result_state":"returned","result_ref":"held-result-B1","error_ref":null,"review_state":"pending"},
  {"request_key":"R-D-v1","attempt_id":"A-D1","batch_id":"B1","result_state":"failed","result_ref":null,"error_ref":"inspected-transient-error-D1","review_state":"not_ready"},
  {"request_key":"R-D-v1","attempt_id":"A-D2","batch_id":"B2","result_state":"returned","result_ref":"held-result-D2","error_ref":null,"review_state":"pending"}
]

Tiga entri pertama sengaja tiba di luar susunan manifes. Padanan mengikut kedudukan akan mengaitkan output R-C dengan R-A. Padanan mengikut kunci menghasilkan tiga permintaan yang dikembalikan dan satu kegagalan disahkan dalam B1. B2 hanya mengandungi R-D, mengekalkan versi inputnya dan menggunakan ID percubaan baharu; kekalkan A-D1 apabila menambah A-D2.

Selepas percubaan semula hipotetikal itu, empat permintaan berbeza mempunyai hasil merentasi lima percubaan. Hanya R-A mempunyai semakan diluluskan dalam lejar ini. Oleh itu, liputan pelaksanaan dan penyiapan semakan kekal berasingan. Penyemak memeriksa setiap ringkasan dengan sumbernya, khususnya ketiadaan tarikh pengganti R-D, sebelum menerima kumpulan.

Perlukah menahan, mencuba semula atau menyemak hasil inferens kelompok?

• Hasil tidak diketahui: kekalkan status permintaan sebagai tidak diketahui sambil memeriksa bukti yang tersedia. Tamat masa mungkin meninggalkan kerja yang masih berjalan; jangan hantar semula seluruh kelompok secara automatik.
• Hasil pendua atau lapuk: tahan kunci berulang, percubaan bercanggah dan hasil bagi versi input terdahulu. Tentukan percubaan yang diterima sebelum mencantumkan data.
• Baris gagal yang disahkan: cuba semula secara berasingan hanya selepas memeriksa punca dan kesan sampingan yang belum selesai. Membetulkan teks sumber mencipta versi input baharu, bukannya percubaan semula tanpa perubahan.
• Ringkasan dikembalikan tetapi tanpa sokongan: tandakan semakan sebagai ditolak dan simpan output. Kejayaan penghantaran data tidak boleh meluluskan tarikh rekaan.

Batasan, penggunaan dan bila perlu melangkaunya

Katalog menyenaraikan enable_metadata tetapi tidak mentakrifkan medannya; ia tidak boleh menggantikan semakan identiti anda. Pengendalian ralat, had baris, keserentakan dan tingkah laku percubaan semula juga tidak dinyatakan. Penyimpanan lejar yang kekal dan semakan padanan automatik tidak dibuktikan oleh antara muka komponen ini.

Gunakan permintaan langsung untuk interaksi segera. Gunakan senarai semak jadual biasa untuk kumpulan kecil yang boleh disemak secara manual. Elakkan cadangan ini apabila anda memerlukan tugas penyedia tak segerak yang disahkan, daya pemprosesan terukur atau penerimaan automatik tanpa memeriksa output.

Pelan: Go dari USD8/bulan dengan bil tahunan (USD10 bulanan), Plus dari USD16 (USD20 bulanan), Pro 100 dari USD80 (USD100 bulanan), Pro 200 dari USD160 (USD200 bulanan) dan Pro 500 dari USD400 (USD500 bulanan), dengan 5,000 hingga 250,000 Flowi Tokens sebulan dan pilihan tambah nilai; 1 token bagi setiap pelaksanaan nod; penggunaan API dan model pihak ketiga tidak termasuk.

Untuk anggaran penggunaan, ikuti perbincangan penggunaan automasi pemasaran sedia ada; rujuk kebolehcerapan LLM untuk bukti permintaan dan ukuran yang tiada.