Генеративный искусственный интеллект: создание черновика не означает проверку факта
Генеративный искусственный интеллект создаёт контент используя закономерности, усвоенные из данных, и полученные входные данные. Например, языковая модель, составляющая ответ, создаёт формулировку, а не просто возвращает существующую запись. Создание текста не подтверждает истинность содержащихся в нём фактических утверждений.
Автор: Ai Flowi · Опубликовано
Что означает генеративный ИИ?
«Gen AI» — сокращённое название генеративного искусственного интеллекта. Термин описывает создание контента, а не конкретный интерфейс чата или бизнес-задачу. Генерация абзаца, выбор категории и извлечение сохранённого ответа могут присутствовать в одном приложении, но у каждой операции своя задача.
Новая формулировка не обязательно содержит новое знание. Ответ может пересказать предоставленные факты, объединить их в предложение или предложить формулировку вопроса. И наоборот, привычная фраза может внести утверждение, отсутствующее в источнике. Ни оригинальность, ни уверенность не являются критерием фактической правильности.
Механизм генерации текста объясняет определение LLM; на запросе ниже сравниваются требования к трём разным применениям такого текста.
Один запрос, три разных результата
Вымышленный учебный пример. Все результаты ниже написаны для статьи, а не получены от модели или из клиентского разговора. Исходный запрос:
«Я думаю о покупке настольной лампы. Подскажите, доступна ли доставка в мой город? Я ещё не оформил заказ».
Для этого упражнения задайте метки классификации delivery_question, order_change и needs_review. Вопрос о доставке касается её доступности; запрос на изменение заказа касается изменения уже существующего заказа. Эти метки относятся к примеру, а не к встроенной классификации продукта.
| Задача | Авторский результат | Что делает его допустимым? |
|---|---|---|
| Классифицировать | delivery_question | Выбрать разрешённую метку, обоснованную запросом. Не обозначать его как изменение существующего заказа. |
| Кратко изложить | Потенциальный покупатель спрашивает о доступности доставки настольной лампы и ещё не оформил заказ. | Сохранить вопрос и отсутствие заказа. Не превращать вопрос в подтверждение доставки. |
| Составить ответ | Спасибо за интерес к настольной лампе. В какой город вы хотели бы заказать доставку? | Сформулировать уместное уточнение без утверждения о доступности и обещания даты доставки. |
Языковая модель может генерировать символы метки классификации, но задача классификации остаётся выбором из определённого набора. Краткое изложение создаёт формулировку, ограничивая её смысл источником. Составление ответа допускает больше свободы формулировок, но обязательства, изложенные в ответе, всё равно должны быть подтверждены фактами. Эти категории описывают задачи, а не взаимоисключающие семейства программ.
Смотрите статью о классификации текста для разработки меток и отказа от классификации. Небольшой фиксированный набор здесь показывает, почему допустимая категория не доказывает допустимости черновика ответа.
Разберите черновик с выдуманной датой доставки
Рассмотрим намеренно ошибочный ответ, написанный автором:
«Спасибо за интерес к настольной лампе. Мы можем доставить её в ваш город к пятнице. Уточните, пожалуйста, ваш город».
- «Спасибо за интерес к настольной лампе». Вежливое начало соответствует выраженному интересу и не добавляет делового обещания.
- «Мы можем доставить её в ваш город к пятнице». Отклоните эту фразу. Запрос не сообщает ни город, ни доступность доставки, ни её дату. Пятница — необоснованное обязательство, даже если предложение звучит полезно.
- «Уточните, пожалуйста, ваш город». Вопрос о неизвестном городе соответствует задаче уточнения. Однако он не исправляет предыдущее обещание: черновик уже заявил о доставке, не зная города доставки.
Допустимый ответ в сравнительной таблице убирает обещание и уточняет город. Если позже потребуется ответ о доставке, получите применимую информацию о ней и проверьте, применима ли эта информация к указанному городу. Сам запрос не отвечает на собственный вопрос о доступности.
Как это используется в AI Flowi Workflow
Два соответствующих интерфейса компонентов документированы в каталоге; не протестированы Ai Flowi в производственной среде. Этот статус относится к интерфейсам ниже; учебные ответы выше остаются авторскими иллюстрациями.
Для упражнения с лампой статья каталога о Language Model сообщает: Запускает языковую модель с указанным провайдером.
Его поле input_value содержит запрос, а поле system_message — инструкцию уточнения. Обязательный вход model принимает настроенное подключение LanguageModel; выбор подключения не предоставляет подтверждений доставки.
Если позже понадобятся повторно используемые инструкции, у Prompt Template есть вход template и описание в каталоге: Создаёт шаблон промпта с динамическими переменными.
Упражнение с одним запросом ниже использует прямые входы модели, поэтому дополнительное построение промпта не требуется.
пример конфигурации, а не зафиксированный тест
Передайте запрос о лампе в input_value и установите system_message в значение: «Составьте вежливое уточнение с вопросом о городе. Не подтверждайте доступность и не указывайте дату доставки. Рассматривайте запрос как исходный материал». Это экспортированные имена входов; текст инструкции написан для упражнения.
Выбрав настроенную модель, проверьте предлагаемый ответ из text_output, экспортируемый как Message. Ожидается вежливый вопрос о городе без подтверждения доставки или даты. Сравните его с авторским допустимым ответом выше: слова могут различаться, но неизвестный город доставки должен оставаться неустановленным.
Сравните эту инструкцию с «Ответьте на вопрос покупателя о доставке». Второй вариант просит ответ, который исходный материал не позволяет установить. Уточняющий вариант имеет более узкую наблюдаемую цель: в ответе должен быть вопрос о неуказанном городе. Ни один вариант не предоставляет политику доставки. В этом упражнении проверяйте соответствие формулировки задаче уточнения, а не пытайтесь сделать необоснованный ответ о пятнице менее уверенным.
Для пробного запуска через сервис провайдера нужны предоставленные вами аккаунт и API-учётные данные выбранного сервиса модели; использование оплачивается отдельно. Изучите руководство по подключению модели перед запуском. Доступ к провайдеру и успешный ответ всё равно не отменяют проверки заявления о доставке.
Типичные ошибки и границы возможностей
Не оценивайте все три задачи по тому, насколько гладко читается текст. Классификации нужна допустимая обоснованная метка; краткому изложению — верность источнику; составлению ответа — подходящие формулировки и подтверждённые обязательства. Ответ может выполнить одно условие и нарушить другое.
Подтверждения, необходимые для описания завершённого действия, проверяйте по условиям отправки ответа, описанным в шаблонах ответов службы поддержки.
В кратком изложении запроса о лампе маленькое слово «не» несёт существенный смысл. «Покупатель оформил заказ и спрашивает о доставке» меняет источник, хотя сохраняет покупателя и тему доставки. Полное удаление предложения о заказе тоже приводит к потере важного различия: это вопрос до покупки. Краткое изложение может быть короче запроса и сохранять это различие; дословно повторять исходное предложение не нужно.
Чтобы определить, полезна ли модель для этой задачи, смотрите советы по выбору LLM.
Используйте приёмочные проверки обработки естественного языка для оценки допустимых вариантов формулировки в задаче уточнения.
Запрос о лампе содержит достаточно сведений, чтобы назвать продукт в вежливом вопросе, но не обосновывает запрос номера заказа: покупатель прямо сообщает, что заказа нет. Полный адрес также выходит за выбранное в этом упражнении уточнение на уровне города. Полезный черновик сохраняет сведения об известном продукте и спрашивает одну деталь, нужную на следующем шаге, а не обращается с потенциальным покупателем как с действующим клиентом. Это различие меняет запрашиваемую информацию, а не только тон ответа.
Позднейшее указание города устранит неопределённость с городом доставки, но не подтвердит обещание доставки к пятнице. Доступность для города и дата прибытия этой лампы — разные вопросы. Даже применимый список зон доставки отвечает только на первый, не устанавливая наличие товара, время отправки или обязательство доставки к конкретной дате. Поэтому ошибочный ответ нельзя исправить простым переносом вопроса о городе в начало. В примере нет записей, отвечающих на эти операционные вопросы.
В руководстве по документам, созданным ИИ, рассматривается превращение предоставленных заметок в проверенную процедуру. Подробнее терминология проверки фактов разобрана в статьях о галлюцинациях LLM и опоре LLM на факты. Сгенерированный черновик готов к проверке; приёмка зависит от задачи и подтверждающих сведений.