Распознавание именованных сущностей: метки и границы
Автор: Ai Flowi · Опубликовано
Распознавание именованных сущностей (NER) находит упоминания в тексте и присваивает их фрагментам типы, например PERSON, ORG или LOCATION. Результат указывает, где встречается упоминание и как оно размечено, а не назначает одну тему всему документу. Распознавание имени не устанавливает, к какому реальному объекту оно относится.
Упоминания, типы и границы в источнике
Упоминание — конкретное вхождение в конкретном источнике. Если имя встречается дважды, это два упоминания, даже если они могут относиться к одной сущности. Тип сущности описывает категорию разметки. Набор меток зависит от задачи: одни схемы включают даты и числовые выражения, другие ограничиваются именами людей, названиями организаций и мест.
Границы фрагмента важны не меньше категории. Разметка лишь последнего слова многословного названия организации оставляет упоминание неполным. Включение окружающей пунктуации может нарушить правила разметки, даже если организация очевидна. До передачи разметки людям или моделям определите, входят ли во фрагмент титулы, притяжательные формы и сокращения.
Для смещений укажите единицу счёта и включается ли конечная позиция. Смещения в байтах, кодовых точках Unicode и кодовых единицах UTF-16 могут различаться. Изменение источника или нормализация также могут сдвинуть границы. Сохраняйте точную версию источника, использованную для разметки, вместо применения смещений к отредактированному тексту.
Синтетический абзац с эталонной разметкой
Вымышленный текст и иллюстративные эталонные метки; здесь не сообщаются результаты модели или показатели точности. В этой учебной схеме DATE — допустимый тип, сокращения организаций получают отдельные записи упоминаний, а вложенные упоминания исключаются.
Mira Chen встретилась с Northbank Labs (NBL) в Penang 12 марта. Позже Mira посетила University of Penang. Jordan присоединился удалённо.
| Точная подстрока источника | Тип | Вопрос о границах фрагмента или идентификации сущности |
|---|---|---|
| Mira Chen | PERSON | Включить полное имя, исключив следующий глагол. |
| Northbank Labs | ORG | Скобки находятся за пределами фрагмента. |
| NBL | ORG | Отдельное упоминание сокращения; контекст указывает на связь с полным названием. |
| Penang | LOCATION | Это вхождение обозначает место встречи. |
| 12 марта | DATE | Год отсутствует и должен оставаться неустановленным. |
| Mira | PERSON | Повторное краткое упоминание; не выдумывайте фамилию в тексте его фрагмента. |
| University of Penang | ORG | По этим правилам без вложенности находящийся внутри Penang не размечается как дополнительное место. |
| Jordan | PERSON | Действие присоединения обосновывает этот иллюстративный тип; личность остаётся неизвестной. |
Абзац подтверждает связь сокращения NBL с Northbank Labs. Он не устанавливает реестровый идентификатор этой организации. Позднейшее упоминание Mira может относиться к Mira Chen, но решение о связывании упоминаний следует принимать отдельно от сохранения их точного текста.
В другом предложении Jordan может быть именем человека или названием места. Другой контекст, например «Jordan есть на карте», потребует собственной контекстной разметки. Если предоставленный текст говорит лишь «Jordan обсуждали», эти учебные правила оставляют тип неустановленным до проверки. Когда контекст не позволяет определить допустимый тип, сохраняйте запись с неопределённостью для проверки вместо принудительного выбора категории.
Чем извлечение сущностей отличается от связывания сущностей?
Извлечение сущностей иногда понимается широко — как сбор имён или полей бизнес-данных. У NER более узкая задача: выделить упоминания и определить их типы. Извлекатель данных из документа может вернуть название поставщика, дату счёта и сумму к оплате, не размечая каждое вхождение этих значений. Для задачи извлечения полей используйте ИИ для документов.
Связывание сущностей сопоставляет упоминание с записью в базе знаний или другой системе идентификации. Ему нужны подтверждения помимо совпадения строки. Две организации могут иметь одно название; одна организация может использовать несколько названий. Ни уверенная формулировка модели, ни корректный фрагмент ORG не доказывают, какая зарегистрированная организация имелась в виду.
Кореференция — это отношение между упоминаниями, обозначающими один и тот же объект, включая выражения «она» или «лаборатория». Эти выражения могут не входить в перечень именованных сущностей. Представляйте результаты обнаружения упоминаний, группировки вариантов имён и названий и поиска в системе идентификации по отдельности, чтобы неопределённость в одном не превращалась незаметно в уверенность в другом.
По теме: Граф знаний: моделирование сущностей, связей и подтверждающих данных.
Оценивайте ошибки границ отдельно от ошибок типов
| Гипотетическое предсказание | Ошибка | Что проверить |
|---|---|---|
| Labs / ORG | Неверная граница. | Эталон включает Northbank Labs. |
| Northbank Labs / LOCATION | Правильный фрагмент, неверный тип. | Категорию организации в сравнении с географической категорией. |
| Нет упоминания NBL | Пропущенное упоминание. | Охват сокращений. |
| марта / PERSON | Необоснованные упоминание и тип. | Правила для дат и окружающие слова. |
При точном совпадении фрагмента и типа предсказание правильно только тогда, когда начало, конец и метка совпадают с эталоном. Точность — доля правильных предсказаний среди всех предсказаний; полнота — доля найденных эталонных упоминаний среди всех эталонных упоминаний. Несовпадение границы может оставить и несопоставленное предсказание, и пропущенное эталонное упоминание. Определите правило подсчёта до расчёта результата.
Оценка частичного перекрытия отвечает на другой вопрос и должна сообщаться отдельно. Включайте повторяющиеся имена, сокращения, вложенные кандидаты и неопределённые случаи в отложенную выборку с разметкой. Разрешайте разногласия о правилах до того, как считать их ошибками модели; эталонная метка полезна лишь при воспроизводимых правилах.
Предлагаемая разметка NER в AI Flowi Workflow
Запись Structured Output в каталоге и справочник Language Model предоставляют общие интерфейсы для предлагаемой ниже разметки упоминаний.
Для этого абзаца одного совпадения с источником недостаточно, чтобы определить, какое вхождение Penang размечено. Отдельное название места и слово внутри University of Penang совпадают с одной подстрокой. По объявленным правилам без вложенности только первое является упоминанием LOCATION. Сохраняйте указатель на источник для каждого варианта разметки, чтобы проверяющий мог отличить допустимую разметку места от исключённого вложенного кандидата.
пример конфигурации, а не зафиксированный тест
Используйте собственную учётную запись провайдера модели/API-ключ и разрешённый синтетический текст; услуги провайдера оплачиваются отдельно. Настройте Language Model.model для этого провайдера. Подключите его model_output к Structured Output.model. Поместите абзац в input_value, задайте schema_name как mention_annotations, а через system_prompt укажите правила меток без вложенности, точные подстроки и неустановленное состояние.
Настройте output_schema как таблицу типа Table с проверенной схемой для текста упоминания, типа сущности, ссылки на источник и предлагаемых границ. Это поля приложения; страница не предоставляет импортируемую схему. Ожидаемый артефакт — набор предлагаемых аннотаций для проверки, а не заявленный результат разметки. Structured Output документирован в каталоге; Ai Flowi не проверяла его в производственной эксплуатации.
Проверки перед использованием разметки
Найдите каждую предложенную подстроку в сохранённом источнике. При повторяющемся тексте проверяйте конкретное вхождение и предложенные смещения, а не только наличие имени где-либо. Отклоняйте вымышленные дополнения, границы за пределами текста и метки вне перечня задачи. Детерминированная проверка подстроки подтверждает расположение; категорию всё равно нужно оценить человеку или сверить с проверенным эталоном.
Не используйте только NER для проверки идентичности или удаления всех чувствительных упоминаний из документа: пропущенные и косвенные упоминания требуют дополнительной обработки. Существующий охват рабочих процессов описан в сценариях применения, метки документов — в классификации текста, а граница формата ответа — в структурированном выводе LLM.