Разметка данных: метки, разногласия и обоснование решений
Разметка данных добавляет к примерам метки или другую информацию, связанную с задачей, чтобы люди или программы могли использовать их для обучения, оценки или анализа. Метка может обозначать запрошенное в сообщении действие, фрагмент текста с сущностью или область изображения с объектом. Разметка — это решение по письменным правилам; она не становится автоматически проверенным результатом в реальном мире.
Полезная разметка сохраняет вместе входные данные, правило присвоения метки, решение проверяющего и неопределённость. Разногласие может указывать на нечёткую инструкцию, а не на небрежность проверяющего. На этой странице разобраны восемь выдуманных сообщений до появления предсказаний модели или оценочных показателей.
Метки, неразмеченные данные и результаты
Неразмеченные входные данные содержат пример без требуемой эталонной разметки. Размеченные данные объединяют этот пример с разметкой, определённой задачей. Одно и то же предложение может получить тематическую метку в одном наборе данных и метку запрашиваемого действия в другом; ни одна метка не имеет смысла без своей схемы.
Результат — это то, что произошло вне процесса разметки. Сообщение с просьбой изменить дату доставки не доказывает, что дата изменилась. Сохраняйте наблюдаемые результаты в другом поле с собственными доказательствами. Иначе обучающий или оценочный набор данных может смешать то, что человек запросил, с тем, что организация действительно сделала.
Эталонные метки иногда называют «золотыми». Это название описывает их роль в сравнении, а не гарантирует отсутствие ошибок. Прежде чем считать их эталоном для проверки ответов, проверьте правила, версию источника и неразрешённые разногласия.
Краткий справочник меток запрашиваемых действий
Синтетическое упражнение по разметке. Сообщения и оба проверяющих ниже вымышлены. Разметчик A и разметчик B работают независимо по справочнику меток actions_v1. Единица разметки — одно полное сообщение; каждому сообщению разрешена одна метка. Ни один проверяющий не видит первого решения другого.
| Метка | Что включать | Граница |
|---|---|---|
| информация | Запрос объяснения или существующих сведений. | Вопрос о статусе не запрашивает изменение. |
| изменение | Явный запрос на изменение предоставленных сведений. | Упоминания возможного изменения без просьбы о нём недостаточно. |
| отмена | Ясный запрос на прекращение бронирования или услуги. | Прекращение только уведомлений выходит за рамки этого правила отмены. |
| проверка | Отсутствующий контекст, несколько конкурирующих запрашиваемых действий или формулировка вне схемы. | Это состояние проверки, а не подтверждённое действие. |
Справочнику меток нужны примеры и исключения, потому что обычные слова могут описывать разные операции. «Прекратить» может относиться к бронированию, напоминанию или повторяющемуся сообщению. Если считать каждое такое упоминание отменой, возникнет видимая согласованность при неверной интерпретации смысла.
Восемь сообщений, две независимые разметки
| Идентификатор | Выдуманное сообщение | A | B | Первоначальное совпадение |
|---|---|---|---|---|
| A01 | Во сколько открывается стойка выдачи? | информация | информация | Да |
| A02 | Пожалуйста, перенесите назначенную мне выдачу на пятницу. | изменение | изменение | Да |
| A03 | Отмените это бронирование, пожалуйста. | отмена | отмена | Да |
| A04 | Изменилось ли назначенное мне время выдачи? | информация | информация | Да |
| A05 | Воспользуйтесь боковым входом, когда будете выдавать мне товар. | изменение | изменение | Да |
| A06 | Можете объяснить правило отмены? | информация | информация | Да |
| A07 | Может, пока оставим это? | отмена | проверка | Нет |
| A08 | Прекратите напоминания; сохраните моё бронирование. | отмена | проверка | Нет |
При первоначальной разметке совпадают решения по шести из восьми сообщений. Этот подсчёт получен из составленной автором таблицы, а не из результатов сервиса разметки или бенчмарка модели. Он не подтверждает ни правильность, ни согласованность с поправкой на случайные совпадения. Шесть одинаковых ошибок всё равно дали бы шесть совпадений.
A04 и A06 важны, потому что оба упоминают слово, связанное с изменением, не запрашивая соответствующее действие. Совпадающие метки «информация» соответствуют правилу определения запрашиваемого действия. Простое правило по ключевым словам упустило бы это различие, хотя сама таблица разметки остаётся удобной для чтения.
Журнал разногласий и правило их разрешения
Разрешение разногласий сопоставляет исходное сообщение со справочником меток, фиксирует причину различий при первоначальной разметке и сохраняет нерешённое состояние, если источника недостаточно. В этом упражнении третий вымышленный проверяющий применяет существующие исключения; голосование большинством не нужно, поскольку правила уже определяют соответствующую границу.
| Сообщение | Причина разногласия | Метка после разрешения разногласия | Доказательство |
|---|---|---|---|
| A07 | У «оставим это» нет указанного объекта или определённого действия. | проверка | Уточните, что нужно приостановить или прекратить; отмена не установлена. |
| A08 | Запрошенное прекращение относится к напоминаниям, а бронирование сохраняется. | проверка | «Сохраните моё бронирование» исключает отмену; предпочтения по напоминаниям выходят за рамки actions_v1. |
Сохраняйте идентификатор сообщения, точную редакцию текста, версию справочника меток, обе первоначальные метки, итоговую метку и обоснование решения. Не заменяйте первоначальные метки «отмена» у A на «проверка», чтобы затем сообщить о полном совпадении первоначальных решений. Если позднее справочник добавит категорию предпочтений по уведомлениям, создайте новую редакцию разметки, а не меняйте молча определение старых меток.
По теме: Компьютерное зрение: визуальные свидетельства, распознавание и выводы.
Чем разметка данных отличается от предсказания и оценки?
Классификация текстов предсказывает или присваивает тексту метки задачи. Разметка готовит эталонные решения, с которыми можно сравнивать такие результаты. Различайте predicted_label и reference_label, чтобы предложение модели не могло незаметно стать собственным эталоном для проверки ответов.
Оценка ИИ-агентов проверяет поведение при выполнении задачи, а оценка RAG также требует меток, отмечающих подтверждающие фрагменты источников. Эти страницы рассматривают подсчёт оценок и наблюдения за рабочими процессами. Вопрос разметки возникает раньше: может ли проверяющий обосновать ожидаемый результат по этим входным данным и этому правилу?
Границы возможностей AI Flowi Workflow
Интерфейсы формирования предложений описаны в разделе Structured Output в каталоге и в справочнике Language Model; их статус: документированы в каталоге; не проверены Ai Flowi в рабочей среде.
Эти справочники не подтверждают наличие встроенной среды разметки или механизма разрешения разногласий. Если модель предлагает метки для actions_v1, скрывайте эти предложения во время независимой разметки людьми. Иначе A и B могут скопировать одно предложение, и видимое совпадение станет доказательством общего предложения, а не независимой интерпретации. Помощь провайдера требует разрешённой учётной записи и необходимого API-ключа, если он нужен; использование услуг провайдера оплачивается отдельно.
Перед пересмотром справочника меток проверьте, какое отсутствующее различие привело к случаю A08. Добавление категории предпочтений по напоминаниям может устранить неоднозначность разметки этого сообщения, оставив A07 неоднозначным. Запишите пример включения для прекращения напоминаний и исключение для прекращения бронирования. Затем заново разметьте затронутые сообщения по actions_v2, сохранив старые результаты. Пересмотр правил устраняет пробел в категориях; он не может восполнить отсутствующий объект в «оставим это».
Типичные ошибки и связанные понятия
Не скрывайте разногласия, не считайте проверку подтверждённым действием и не используйте более поздние результаты обслуживания, чтобы переписать смысл исходного запроса. Для небольшой подборки может быть достаточно независимой ручной разметки и письменного журнала. Реализация обучения или платный сервис разметки здесь не заявляются.
Статья о синтетических данных объясняет выдуманные входные данные, статья об обработке естественного языка (NLP) разграничивает языковые задачи, а статья о пайплайнах машинного обучения объясняет, где эталонные метки входят в жизненный цикл обучения.
Автор: Ai Flowi · Опубликовано