Автономные ИИ агенты

Автор: Ai Flowi · Опубликовано

Автономные ИИ агенты выбирают действия для достижения цели в рамках разрешений и инструментов, предоставленных системой. Автономность касается того, какие решения могут приниматься без одобрения человеком каждого шага. Она не означает неограниченный доступ, верные суждения или способность восстановиться после любого сбоя.

Полезное определение называет и цель, и границу. Агент, которому разрешено изучать документы и готовить ответ, имеет иную область действий, чем агент, которому разрешено менять бизнес-запись. Называя обоих автономными без описания разрешений, мы скрываем существенное решение.

Определяйте автономность через разрешённое действие

Практические области действий, а не универсальная шкала оценки
ОбластьЧто разрешено агентуГраница участия человека
РекомендацияПредложить ответ на основе предоставленной информации.Человек решает, использовать ли его.
Исследование только для чтенияВыбирать разрешённые инструменты поиска и сравнивать наблюдения.Человек одобряет доступ и проверяет нерешённые вопросы в свидетельствах.
Подготовленное действиеПодготовить точное предлагаемое изменение.Человек одобряет это изменение до выполнения.
Ограниченное выполнениеВыполнить узко разрешённое действие при явных проверках.Исключения и неопределённые исходы требуют проверки.

Эта таблица помогает проектировать систему, а не сертифицирует продукт. Привязывайте разрешение к действию, системе назначения и затрагиваемым данным. Одобрение чтения источника не разрешает его редактировать. Разрешение подготовить черновик не разрешает его публиковать.

Как работает автономный агент

О механизме выбора действий по результатам инструментов см. ReAct-агент.

Автономность начинается с полномочий, назначенных этому процессу. В приведённой ниже проверке политики разрешённый результат — рекомендация проверяющему; для изменения политики нужно отдельное разрешение. Зафиксируйте это различие вместе с задачей, чтобы просьба о более полном ответе не могла незаметно расширить полномочия агента.

Наблюдаемая последовательность важнее заявления агента об успехе. Предложенный вызов — ещё не выполненный вызов. Успешный ответ инструмента всё равно может не содержать свидетельств, необходимых для ответа на вопрос. Завершение должно зависеть от проверенных результатов и определённого условия остановки, а не от тона итогового ответа.

Явно различайте фиксированный рабочий процесс и компонент, использующий инструменты. Существующее сравнение вариантов платформы объясняет это различие. Эта страница посвящена объёму полномочий на действия после выбора такого подхода.

Пример ограниченного исследования

Предположим, проверяющий предоставляет два фрагмента внутренних политик и спрашивает, обоснована ли предлагаемая процедура. Цель агента — найти подтверждающие цитаты, противоречия и недостающую информацию. Он может читать предоставленные фрагменты и готовить ответ; у него нет полномочий менять процедуру или исходные записи.

Выберите правило остановки до добавления инструментов: завершить работу цитатами, если они отвечают на вопрос, или сообщить о недостатке свидетельств, если нет. Противоречие второго фрагмента первому — повод показать разногласие. Оно не даёт разрешения выдумать компромисс и считать его политикой.

пример настройки, а не зафиксированный тест

Agent
input_value: the question and synthetic policy extracts
system_prompt: Use only supplied evidence. Identify conflicts.
               Request human review when evidence is insufficient.
max_iterations: 3
model: select a configured model
tools: connect only separately verified read-only tools, if needed

Число итераций — иллюстративная настройка, а не измеренный безопасный предел или документированное значение по умолчанию. Если пакет уже содержит нужные материалы, не добавляйте инструменты.

Подключите свою учётную запись поставщика и ключ API через руководство по подключению моделей; этот поставщик отдельно выставляет счёт за использование модели.

Как это представлено в AI Flowi Workflow

Настройте упражнение с ограниченным исследованием через справочник Agent, определяющий интерфейс модели, задачи и ответа компонента.

Изучите вызов функций, если помимо предоставленного пакета нужен поиск только для чтения.

Решите, может ли агент выбрать другой одобренный документ или только перечитать два уже предоставленных фрагмента. Эти разрешения различаются, хотя оба касаются чтения. Если для вопроса нужен источник вне разрешённого набора, верните проверяющему запрос на недостающий источник. Не расширяйте поиск лишь ради видимости полного ответа.

Страница об ограничениях безопасности описывает защиту инструментов; решение об автономности здесь касается того, какие возможности вообще предоставить.

Для этого упражнения с пакетом зафиксируйте три отдельных разрешения: интерпретация фрагментов, выбор разрешённого поиска и предложение пересмотренной процедуры. Разрешение первого не подразумевает двух других. Ограничьте начальное упражнение интерпретацией, пока проверяющий не сможет указать свидетельства, оправдывающие расширение. Его компоненты документированы в каталоге; не проверены Ai Flowi в рабочей среде.

Как обратимость меняет решение об одобрении для автономного агента?

Чтение документа, подготовка черновика и удаление общей записи имеют разные последствия. Оцените, можно ли отменить действие, кого оно затронет и какие свидетельства подтверждают результат. Обратимый локальный черновик тоже требует корректных прав доступа, но граница его проверки может быть проще, чем у необратимого внешнего изменения.

Требования к рабочему процессу согласования определяют запись о проверке и границу версии предложения.

Выбирайте область автономности по последствиям: личный рабочий черновик может ждать обычной проверки, а изменение общей процедуры затрагивает людей, которые могут сразу на неё полагаться. Определите, способен ли агент проверить результат, есть ли надёжный путь отмены разрешённого действия и может ли человек разрешить неопределённый исход. Если какой-либо ответ неизвестен, ограничьте область подготовкой вместо выполнения без участия человека. Это решение принимается до подключения инструмента, а не после первого успешного вызова.

Остановка и неопределённые исходы

Различайте завершение задачи, отсутствие свидетельств, отказ в разрешении и технический сбой. Тайм-аут после внешнего запроса может оставить исход неизвестным. Немедленный повтор способен повторить уже произошедшее изменение. Прежде чем повторять запись с неопределённым исходом, проверьте систему назначения и при необходимости используйте отдельно проверенную схему обработки дубликатов.

Лимит итераций ограничивает объём попыток работы согласно реализации; он не доказывает завершение задачи. Каталог содержит max_iterations, но не публикует значение по умолчанию, допустимый диапазон или точный ответ при завершении по лимиту. Проверяйте исчерпание лимита отдельно от успешного ответа. Ошибки поставщика должны оставаться видимыми оператору без раскрытия учётных данных в результате для пользователя.

Типичные ошибки

  • Предоставление всех доступных инструментов из-за широкого звучания задачи. Выбирайте минимальный набор инструментов, отвечающий на вопрос.
  • Трактовка дружелюбного итогового ответа как свидетельства завершения. Проверяйте реальные наблюдения и предлагаемые изменения.
  • Смешение недавнего контекста разговора с долговременным обучением. Хранение сообщений и их последующее извлечение — отдельные операции.
  • Включение записи без участия человека до проверки отказа в доступе, недостающих свидетельств и неоднозначных исходов. Успешная демонстрация только для чтения не подтверждает безопасность записи.

Ограничения безопасности ИИ агентов объясняют проверки вокруг полномочий на действия. Память агента охватывает информацию, сохраняемую для последующего использования. Мультиагентные системы добавляют контракты делегирования при разделении обязанностей. Прежде чем расширять область действий агента, изучите существующие примеры в документированных сценариях использования.

Использование рабочего процесса

Тарифы: Go от USD8 в месяц при годовой оплате (USD10 помесячно), Plus от USD16 (USD20 помесячно), Pro 100 от USD80 (USD100 помесячно), Pro 200 от USD160 (USD200 помесячно) и Pro 500 от USD400 (USD500 помесячно), от 5,000 до 250,000 Flowi Tokens в месяц с возможностью пополнения; 1 токен за каждый запуск узла; использование сторонних API и моделей не включено.