AI agent guardrails: kawalan, kebenaran dan batas perlindungan

Oleh Ai Flowi · Diterbitkan 2026-10-10

AI agent guardrails ialah kawalan yang mengehadkan perkara yang boleh diterima, dihasilkan atau dilakukan oleh ejen. Kawalan ini boleh merangkumi semakan input deterministik, kebenaran alat, pengesanan kandungan berasaskan model dan semakan manusia sebelum tindakan yang membawa kesan penting. Setiap kawalan menangani kegagalan yang berbeza; tiada satu semakan yang membuktikan perlindungan menyeluruh.

Mulakan dengan tindakan yang dibenarkan untuk ejen. Ejen penyemak sumber boleh mendraf dapatan tetapi tidak sepatutnya diberikan alat penyuntingan semata-mata kerana teksnya melepasi semakan keselamatan. Penilaian output dan kuasa pelaksanaan ialah batas yang berasingan.

Berkaitan: AI agent skills: arahan tugas yang boleh digunakan semula; Tadbir urus AI: daftar operasi dan templat dasar penggunaan praktikal.

Soalan manakah dijawab oleh kawalan perlindungan yang berbeza?

Lapisan ini saling melengkapi apabila diletakkan pada titik yang betul dalam sistem. Pengelas kandungan selepas operasi penulisan tidak boleh menghalang operasi itu. Arahan yang menyuruh ejen mematuhi peraturan akses tidak boleh menggantikan semakan kebenaran dalam kod yang membaca atau mengubah sumber.

Semakan berasaskan model dalam katalog

Komponen Guardrails diterangkan sebagai Mengesahkan teks input berdasarkan pelbagai kawalan keselamatan dan perlindungan menggunakan pengesanan berasaskan LLM. Input yang diperlukan ialah input_text, model dan enabled_guardrails. Katalog menyenaraikan “PII”, “Tokens/Passwords”, “Jailbreak”, “Offensive Content”, “Malicious Code” dan “Prompt Injection” sebagai pilihan.

Medan tambahan termasuk heuristic_threshold, enable_custom_guardrail dan custom_guardrail_explanation. Output pass_result dan failed_result ialah JSON. Eksport tidak menerbitkan skema muatan, penentukuran ambang atau ketepatan pengesanannya. Jangan anggap hasil lulus sebagai jaminan keselamatan yang telah diukur.

Bagi bahan yang diambil daripada sumber, perbezaan antara arahan tugas dengan teks sumber adalah penting. Dokumen mungkin menyatakan “abaikan peraturan terdahulu.” Anggap frasa itu sebagai kandungan untuk diperiksa, bukan kuasa untuk menambah senarai alat. Pengesanan boleh menjadi isyarat tambahan, sementara aplikasi masih menguatkuasakan batas kebenaran tetap.

Perlindungan alat dan kebenaran sebenar

Policies memerlukan in_tools yang menerima Tool dan model yang menerima LanguageModel. Ia menyenaraikan policies, enabled, mode dan project, serta memulangkan guarded_tools sebagai Tool. Katalog menerangkan pembinaan kod perlindungan alat daripada dasar perniagaan berbentuk teks.

Ini menyokong cadangan peringkat perlindungan antara sumber Tool dengan tools pada Agent. Ia tidak membuktikan liputan penguatkuasaan atau menggantikan kebenaran yang dimiliki oleh akaun perkhidmatan yang digunakan. Berikan akaun itu hanya akses yang diperlukan dan sahkan operasi yang ditolak secara langsung pada batas perkhidmatan.

Halaman kontrak alat menerangkan konfigurasi Flow as Tool; di sini, periksa sama ada setiap laluan ke alat itu melalui perlindungan.

Cadangan batas penyemakan sumber

Bayangkan ejen diminta menyemak draf berdasarkan petikan yang diluluskan. Ejen patut menghasilkan dakwaan yang disokong dan perkara yang belum diselesaikan, tanpa pengubahsuaian luaran. Bekalkan dokumen sintetik untuk semakan awal dan berhenti jika pengguna meminta perubahan dasar sebenar.

contoh konfigurasi, bukan ujian yang direkodkan

Guardrails
input_text: supply the synthetic request text
enabled_guardrails: "Prompt Injection"
model: select your configured model

Policies
in_tools: connect your separately verified read-only Tool
policies: Permit reading approved sources only. Deny edits and publishing.
enabled: true
mode: "🛡️ Guard"
model: select your configured model

Agent
tools: connect Policies.guarded_tools
system_prompt: Review source support. Return unknowns; propose no edits.

Ini ialah tetapan yang dicadangkan dan calon sambungan Tool. Tiada pelaksanaan gabungan direkodkan. Muatan sebenar hasil JSON Guardrails perlu diperiksa sebelum sebarang peraturan penghalaan direka. Komponen pengesanan dan perlindungan alat yang disenaraikan didokumenkan dalam katalog; belum diuji dalam persekitaran produksi oleh Ai Flowi. Akses model menggunakan akaun penyedia dan kunci API anda sendiri, dengan caj berasingan oleh penyedia itu.

Penghalaan berbeza daripada pengesanan

Antara muka Verification Router menerangkan penghalaan keputusan, yang berasingan daripada pengesanan kandungan atau pemberian kebenaran akses sumber.

Pengesah input webhook merekodkan 28 daripada 28 kes lulus untuk permintaan produksi sintetiknya. Resipi itu menggunakan peraturan JSON deterministik dan cabang respons. Ia ialah bukti bagi konfigurasi pengesah yang dipautkan, bukan bagi Guardrails, Policies atau reka bentuk ejen yang dicadangkan ini. Rujukan penghala menerangkan antara mukanya.

Ikuti pengesahan output berstruktur apabila model membekalkan rekod keputusan.

Untuk semakan kawalan perlindungan, periksa asal setiap keputusan yang diterima. Penghala yang menerima penanda lulus yang dibekalkan tidak membuktikan pengesan mana yang dijalankan, sama ada konfigurasinya tersedia atau sama ada perkhidmatannya selesai menjalankan semakan. Pastikan aplikasi yang menggunakannya membezakan kegagalan tersebut daripada keputusan lulus dasar.

Batas kelulusan manusia mesti menghalang tindakan pramatang

Gunakan keperluan aliran kerja kelulusan untuk semakan cadangan dan pengikatan keputusan.

Sahkan batas pelaksanaan secara berasingan: semasa semakan belum selesai, cuba tindakan sintetik yang sama melalui setiap titik masuk yang tersedia kepada pemanggil. Laluan alat langsung, laluan percubaan semula atau ejen kedua tidak boleh memintas penangguhan itu. Rekodkan sama ada operasi telah dicuba pada perkhidmatan, bukan sekadar sama ada jawapan akhir mendakwa penolakan. Medan katalog yang ditunjukkan di sini tidak membuktikan kewujudan baris gilir kelulusan terbina dalam.

Semak liputan laluan yang dilindungi

Periksa sambungan alat Agent untuk Tool yang dilindungi dan sumber asalnya yang tidak dilindungi. Jika kedua-duanya masih tersedia, kewujudan Policies tidak membuktikan bahawa setiap panggilan melalui perlindungan. Gunakan permintaan operasi sintetik yang sepatutnya ditolak dan periksa alat yang dipilih. Semak peserta yang menerima delegasi secara bebas; melindungi ejen pertama tidak membuktikan apa-apa tentang ejen pakar dengan senarai alat berasingan.

Uji gangguan pengesan dengan permintaan sintetik yang sama seperti semakan yang berjaya. Aplikasi patut mengekalkan gangguan itu sebagai semakan yang belum diselesaikan, bukan menggunakan semula keputusan lulus terdahulu atau menganggap jawapan kosong sebagai dibenarkan. Kemudian uji teks tidak berbahaya yang menyebut serangan sebagai petikan. Penolakan yang terlalu luas boleh menyekat penyemakan sumber yang sah; rekodkan alasan penolakan berdasarkan dasar dan kekalkan laluan untuk seseorang memeriksa kes itu. Kes ini menilai liputan penguatkuasaan dan penolakan yang tidak sepatutnya secara berasingan.

Kesilapan lazim dan semakan kegagalan yang berguna

Uji kandungan yang dibenarkan, kandungan yang tidak dibenarkan, ungkapan yang kabur dan arahan berniat jahat yang disisipkan dalam sumber yang kandungan selebihnya relevan. Uji konfigurasi pengesan yang tiada dan kegagalan penyedia secara berasingan. Kegagalan akibat tamat masa tidak boleh dianggap sebagai keputusan lulus secara automatik. Permintaan yang ditolak patut menerima penjelasan jelas tanpa membocorkan input sensitif.

Jangan simpulkan keberkesanan daripada nilai ambang atau satu contoh yang berjaya. Asingkan semakan akses yang ditolak daripada semakan pengesanan kandungan. Semak sama ada aliran kerja mempunyai laluan pintasan yang mengelakkan kawalan perlindungan. Lihat pemanggilan fungsi untuk pengesahan argumen, output berstruktur untuk semakan hasil dan autonomi untuk skop tindakan. Rujukan Agent menerangkan antara muka asas.

Penggunaan aliran kerja

Pelan: Go dari USD8/bulan dengan bil tahunan (USD10 bulanan), Plus dari USD16 (USD20 bulanan), Pro 100 dari USD80 (USD100 bulanan), Pro 200 dari USD160 (USD200 bulanan) dan Pro 500 dari USD400 (USD500 bulanan), dengan 5,000 hingga 250,000 Flowi Tokens sebulan dan pilihan tambah nilai; 1 token bagi setiap pelaksanaan nod; penggunaan API dan model pihak ketiga tidak termasuk.