LangWatch: оценка LLM в AI Flowi Workflow
LangWatch: оценка LLM в AI Flowi Workflow выполняется через компонент LangWatch Evaluator, который отправляет данные для оценки на соответствующие конечные точки LangWatch и возвращает результат в JSON. Настройте учётные данные сервиса и имя оценщика, затем чётко разделите исходный запрос, проверяемый ответ, эталонный ответ и текст контекста.
LangWatch Evaluator описан в каталоге; не проверен Ai Flowi в рабочей среде. В экспорте версии 1.9.2 от 9 октября 2026 года узел описан так: Оценивает различные аспекты языковых моделей через конечные точки оценки LangWatch.
Поля ниже взяты из его категории в каталоге.
Семь полей LangWatch Evaluator
Переведите фокус на таблицу полей оценщика и прокрутите её по горизонтали, если столбцы с сопоставлением полей запроса выходят за пределы экрана.
| Вход | Тип поля | Обязательное | Типы подключений | Границы настройки |
|---|---|---|---|---|
api_key | str | Да | Пустой список | Обязательные учётные данные сервиса; значение ключа нельзя включать в текст для оценки. |
contexts | str | Нет | Message | Текст контекста, совместимый с Message; схема списка или документа не приведена. |
evaluator_name | str | Да | Не указаны | Обязательный идентификатор оценщика; экспортированный список вариантов пуст. |
expected_output | str | Нет | Message | Эталонный текст для выбранного оценщика, а не проверяемый ответ. |
input | str | Нет | Message | Исходная задача или вопрос, передаваемые оценщику. |
output | str | Нет | Message | Проверяемый ответ; несмотря на название, это входное поле. |
timeout | int | Нет | Не указаны | Целочисленная настройка тайм-аута; единицы, значение по умолчанию и диапазон не указаны. |
Обязательные поля — api_key и evaluator_name. Четыре поля с текстом для оценки — необязательные строки, принимающие подключения Message. Здесь необязательность означает флаг в экспорте: выбранному оценщику всё же может понадобиться определённый текст для содержательной оценки.
Пустой список принимаемых типов у api_key — явно заданные метаданные, тогда как у поля тайм-аута такого списка нет. Ни то ни другое не означает, что можно подключать произвольный объект. Селектор имени оценщика также экспортируется с пустым списком вариантов, поэтому этот справочник не может предложить поддерживаемое имя для вставки.
Распределите текст для оценки по полям запроса
| Значение | Роль в запросе на оценку | Что проверить |
|---|---|---|
input | Исходный вопрос или задача. | Сохраняйте его вместе с проверяемым ответом из того же примера. |
output | Ответ для оценки. | Не заменяйте его эталонным текстом перед отправкой запроса. |
expected_output | Предполагаемый эталонный ответ или текст критериев приёмки, если это уместно. | Проверьте, как выбранный оценщик интерпретирует это поле. |
contexts | Текст источников, предоставленный для оценки. | Используйте фактически предоставленные сведения, а не посторонние материалы. |
evaluation_result | Выход Evaluation Result типа JSON. | Изучите реальную схему, прежде чем выбирать оценки или поля для дальнейшей обработки. |
Поле output относится к запросу. Возвращаемый порт называется evaluation_result и отображается как Evaluation Result. Разделение этих имён предотвращает частую ошибку подключения: передачу предыдущего результата оценки вместо ответа, который нужно оценить.
При выборе исходного контекста для оценки используйте метод сопоставления подтверждающих данных для оценки RAG.
contexts экспортируется как строка, принимающая Message, а не как документированный массив фрагментов. В каталоге не приведены ни соглашение о разделителях, ни схема разбора нескольких выдержек. Прежде чем помещать несколько документов в это поле, проверьте, какое представление принимает выбранный оценщик.
Что нужно настроить помимо полей таблицы
Вам нужны собственная учётная запись LangWatch и ключ API, разрешение на использование нужного оценщика и поддерживаемый идентификатор оценщика, полученный в этом сервисе. LangWatch оплачивается отдельно от тарифного плана рабочего процесса. Если вы добавите модель для генерации проверяемых ответов, ей также потребуются настроенная учётная запись и учётные данные; услуги поставщика оплачиваются отдельно.
Общие механизмы работы платформы с учётными данными описаны в руководстве по подключениям. Передавайте ключ для оценки через соответствующую настройку учётных данных, а не через input, output или текст контекста. Проверьте идентификатор в сервисе, прежде чем связывать сбой запроса с проверяемым ответом.
Поле timeout имеет целочисленный тип, но единицы, допустимый интервал, правила повторных попыток и отмены в экспорте отсутствуют. Перед выбором значения изучите редактор и применимые настройки сервиса. Истечение тайм-аута — неудачная попытка оценки, причину которой нужно выяснить; оно не свидетельствует о прохождении или непрохождении проверки содержания ответа.
Сопоставление полей запроса на одном примере
пример настройки, а не зафиксированный тест
Используйте вымышленное служебное объявление вместо клиентского текста. В этом упражнении проверяемый ответ задаётся напрямую, поэтому модель генерации и выдуманный результат её работы не нужны.
- Добавьте LangWatch Evaluator, задайте
api_keyс помощью своих учётных данных и выберите поддерживаемое поставщиком значениеevaluator_name. На этой странице намеренно не приводится предположительный идентификатор оценщика. - Задайте
input: «В какой день работает вымышленная служба поддержки?» Задайтеcontexts: «Вымышленная служба поддержки работает во вторник». - Задайте
output: «Служба поддержки работает в среду». Используйтеexpected_outputсо значением «Вторник» только после подтверждения, что эталонный текст подходит для выбранного оценщика. - Подключите
evaluation_resultк Chat Output.input_value, среди принимаемых типов которого есть JSON. Изучите весь возвращаемый объект, прежде чем выбирать отдельные свойства. - Оставьте оценщика и текст запроса без изменений, измените только
outputна «Служба поддержки работает во вторник» и изучите результат отдельного пробного запуска. Сохраните обе настройки запросов рядом с их фактическими результатами.
Предполагаемый результат — объект JSON с оценкой для каждого запроса. Здесь не приводятся ни оценка, ни число успешных проверок, ни имя возвращаемого свойства, поскольку запуск не был зафиксирован. Критерий приёмки, по которому человек проверяет ответ, указан в вымышленном объявлении; сможет ли выбранный оценщик обнаружить это различие, предстоит проверить.
Перед обеими попытками проверьте сохранённое сопоставление полей: среда должна быть в output, а вторник — в предполагаемом эталоне expected_output. Перестановка этих значений заставит сервис оценивать правильный ответ относительно неверного проверяемого варианта. Одновременное изменение evaluator_name добавит другую интерпретацию запроса, поэтому сохраняйте этот идентификатор с каждой настройкой. Из-за пустого селектора в каталоге даже правильно подключённому запросу нужно подтверждённое сервисом имя оценщика; вымышленное объявление даёт текст, а не этот идентификатор.
Изучите JSON перед маршрутизацией по его значениям
Экспорт задаёт тип, а не схему ответа. Поля с именами score, passed, explanation или status в нём не описаны. Сохраните объект, возвращённый выбранным оценщиком, и подтвердите, какие свойства выражают оценку, какие — сбой запроса, а какие могут отсутствовать.
Не задавайте числовой порог, пока не выясните смысл фактического значения и не рассмотрите репрезентативные примеры. Успешный ответ сервиса подтверждает получение результата, а не правильность суждения оценщика. Сохраняйте исходный проверяемый ответ и эталонный текст, чтобы человек мог проверить их при неожиданной оценке.
Для дальнейшей обработки JSON используйте справочник JSON Operations, описывающий существующий компонент преобразования. Настраивайте выборку свойств только по наблюдаемым полям. У самого узла LangWatch в экспорте нет входа повторной попытки или отдельного выхода ошибки, поэтому этот справочник не описывает полный процесс обработки ошибок.
Чем конечные точки оценки LangWatch отличаются от других возможностей наблюдаемости?
Экспортированная категория LangWatch содержит этот компонент оценки. Его описание и порты не подтверждают автоматическую трассировку, экспорт телеметрии, подключение панели мониторинга или сбор данных обо всех вызовах модели. Если вам нужна оценка заданного текста, эти поля подходят; если нужна сквозная трассировка, получите отдельный проверенный интерфейс, прежде чем выбирать этот узел для такой задачи.
Руководство по оценке RAG описывает метки корпуса, подтверждающие данные поиска и сравнение версий. Используйте его для планирования эксперимента, а эту страницу — для контракта запроса оценщика. Для запуска по более широкому корпусу всё равно нужна проверенная оркестрация; единственный выход JSON не подтверждает наличие планирования пакетных запусков.
Не отправляйте текст задач, содержащий чувствительные данные, пока не изучите применимые требования сервиса к обработке данных. Откажитесь от внешнего оценщика, если прямая детерминированная проверка покрывает всё правило приёмки. Просмотрите интеграции, чтобы найти другие документированные категории, вместо того чтобы предполагать, что оценка выполняет их функции.
Автор: Ai Flowi · Опубликовано
Официальный источник: документация LangWatch
Использование рабочего процесса
Тарифы: Go от USD8 в месяц при годовой оплате (USD10 помесячно), Plus от USD16 (USD20 помесячно), Pro 100 от USD80 (USD100 помесячно), Pro 200 от USD160 (USD200 помесячно) и Pro 500 от USD400 (USD500 помесячно), от 5,000 до 250,000 Flowi Tokens в месяц с возможностью пополнения; 1 токен за каждый запуск узла; использование сторонних API и моделей не включено.