데이터 라벨링: 라벨, 의견 불일치, 검토 근거

데이터 라벨링은 사람이나 소프트웨어가 예시를 훈련, 평가, 분석에 활용할 수 있도록 라벨 또는 작업별 정보를 추가하는 일입니다. 라벨은 메시지에서 요청한 행동, 개체의 텍스트 구간, 객체의 이미지 영역 등을 식별할 수 있습니다. 라벨링은 문서화된 정책에 따른 결정입니다. 라벨링 결과가 곧 실제 세계에서 검증된 결과를 뜻하는 것은 아닙니다.

유용한 라벨링은 입력, 라벨 규칙, 검토자의 결정, 불확실성을 함께 보존합니다. 의견 불일치는 검토자의 부주의보다 모호한 지침을 드러낼 수 있습니다. 이 페이지에서는 모델 예측이나 평가 점수를 사용하기 전에 가상의 메시지 8개를 살펴봅니다.

라벨, 라벨 없는 입력, 실제 결과

라벨 없는 입력에는 요청된 기준 라벨 정보 없이 예시만 들어 있습니다. 라벨이 있는 입력은 해당 예시와 작업에서 정의한 라벨 정보를 함께 담습니다. 같은 문장도 한 데이터셋에서는 주제 라벨을, 다른 데이터셋에서는 요청 행동 라벨을 받을 수 있습니다. 분류 체계가 없으면 어느 라벨도 의미가 없습니다.

실제 결과는 라벨링 절차 밖에서 일어난 일입니다. 배송일 변경을 요청한 메시지가 있다고 해서 날짜가 바뀌었다고 입증되지는 않습니다. 관찰된 결과는 자체 근거와 함께 다른 필드에 보존합니다. 그렇지 않으면 훈련 또는 평가 데이터셋에서 사람이 요청한 것과 조직이 실제로 한 일을 혼동할 수 있습니다.

기준 라벨은 때로 골드 라벨이라고도 부릅니다. 이 이름은 비교에서의 역할을 설명하며, 실수가 전혀 없음을 보장하지는 않습니다. 정답표로 취급하기 전에 정책, 원자료 버전, 미해결 의견 불일치를 확인합니다.

요청 행동을 위한 간단한 라벨 지침서

가상 데이터 라벨링 실습입니다. 아래 메시지와 두 검토자는 모두 가상입니다. 라벨링 담당자 A와 B는 라벨 지침서 actions_v1을 사용하여 독립적으로 작업합니다. 작업 단위는 하나의 완전한 메시지이며, 메시지당 라벨 하나를 허용합니다. 두 검토자는 서로의 최초 결정을 보지 않습니다.

일상적인 단어가 서로 다른 작업을 나타낼 수 있으므로 라벨 지침서에는 예시와 제외 기준이 필요합니다. “중단”은 예약, 알림, 반복 메시지에 관한 말일 수 있습니다. 이 단어가 나올 때마다 취소로 취급하면 겉으로는 일관돼 보이지만 의미는 잘못 적용됩니다.

메시지 8개와 두 번의 독립적인 라벨링

최초 라벨링에서는 메시지 8개 중 6개의 라벨이 일치합니다. 이는 직접 작성한 표에서 계산한 건수이며, 라벨링 서비스 결과나 모델 벤치마크가 아닙니다. 정확성이나 우연 일치를 보정한 일치도를 입증하지도 않습니다. 같은 실수를 6번 했더라도 일치는 여전히 6건입니다.

A04와 A06은 모두 변경 관련 단어를 언급하지만 해당 행동을 요청하지 않는다는 점에서 중요합니다. 두 검토자가 일치해서 부여한 ‘정보 요청’ 라벨은 이 작업의 요청 행동 규칙을 따릅니다. 라벨링 표 자체는 읽기 쉬워도, 단순한 키워드 정책은 이 차이를 놓칠 수 있습니다.

의견 불일치 기록부와 판정 규칙

판정은 원본 메시지를 라벨 지침서와 대조하고, 최초 라벨링이 달랐던 이유를 기록하며, 원자료가 불충분하면 미해결 상태를 유지합니다. 이 실습에서는 가상의 세 번째 검토자가 기존 제외 기준을 적용합니다. 정책이 이미 해당 경계를 정하고 있으므로 다수결은 필요하지 않습니다.

메시지 ID, 정확한 텍스트 수정본, 라벨 지침서 버전, 두 검토자가 최초에 부여한 라벨, 최종 라벨, 결정 이유를 저장합니다. A의 최초 ‘취소 요청’ 라벨을 ‘검토 필요’로 덮어쓴 뒤 처음부터 완전히 일치했다고 보고해서는 안 됩니다. 나중에 라벨 지침서에 알림 선호 범주를 추가한다면, 변경 사실을 기록하지 않은 채 이전 라벨의 의미를 바꾸지 말고 새 라벨링 수정본을 만듭니다.

관련 자료: 컴퓨터 비전: 이미지 증빙, 인식, 추론의 구분.

라벨링은 예측·평가와 어떻게 다른가요?

텍스트 분류는 텍스트에 작업 라벨을 예측하거나 부여합니다. 라벨링은 그러한 출력과 비교할 수 있는 기준 결정을 준비합니다. 모델의 예측이 확인 절차 없이 그 예측을 평가하는 정답으로 사용되지 않도록 predicted_label과 reference_label을 구분합니다.

AI 에이전트 평가는 작업 동작을 확인하며, RAG 평가에는 원자료 근거 라벨도 필요합니다. 이 페이지들은 점수 산정과 워크플로우 관찰을 다룹니다. 라벨링에서 먼저 물어야 할 것은 검토자가 이 규칙에 따라 이 입력의 기대 결과를 정당화할 수 있는지입니다.

AI Flowi Workflow의 기능 경계

제안 생성 인터페이스는 카탈로그의 Structured Output과 Language Model 참조 문서를 참고하세요. 해당 기능은 카탈로그에 문서화되어 있으며, Ai Flowi가 운영 환경에서 검증한 것은 아닙니다.

이 참조 문서만으로 자체 라벨링 작업 공간이나 판정 기능이 입증되지는 않습니다. 모델이 actions_v1의 라벨을 제안한다면, 사람이 독립적으로 라벨링하는 동안 그 제안을 숨깁니다. 그렇지 않으면 A와 B가 같은 제안을 복사할 수 있어, 겉으로 드러난 일치가 독립적으로 해석했다는 근거가 아니라 동일한 제안을 참고했다는 근거가 됩니다. 제공업체의 도움을 받으려면 사용 권한이 있는 계정과 필요한 API 키가 있어야 하며, 제공업체 사용료는 별도로 청구됩니다.

라벨 지침서를 수정하기 전에 어떤 구분의 누락이 A08을 유발했는지 확인합니다. 알림 선호 범주를 추가하면 A08은 해결할 수 있지만 A07은 모호한 상태로 남을 수 있습니다. 알림 중단을 포함하는 예시와 예약 중단을 제외하는 예시를 작성합니다. 그런 다음 이전 결과를 유지하면서 actions_v2에 따라 영향을 받는 메시지를 다시 라벨링합니다. 정책 수정은 범주의 빈틈을 보완하지만, “그냥 두다”에 누락된 지칭 대상을 제공할 수는 없습니다.

흔한 실수와 관련 개념

의견 불일치를 숨기거나, ‘검토 필요’를 확인된 행동으로 취급하거나, 나중의 서비스 결과로 원래 메시지의 요청 내용을 다시 써서는 안 됩니다. 소규모 모음에서는 독립적인 수동 라벨링과 서면 기록부로 라벨링 작업을 처리할 수 있습니다. 여기서는 모델 학습 기능을 구현했다거나 유료 라벨링 서비스를 제공한다고 주장하지 않습니다.

합성 데이터는 가상 입력을 설명하고, 자연어 처리는 언어 작업을 구분하며, 머신러닝 파이프라인은 학습 생애주기에서 기준 라벨이 들어가는 위치를 설명합니다.

작성: Ai Flowi · 게시일 2026-10-11