텍스트 분류: 라벨, 판단 유보와 평가

작성: Ai Flowi · 게시일 2026-10-11

텍스트 분류는 정의된 분류 체계를 사용해 텍스트 단위에 하나 이상의 라벨을 부여합니다. 단위는 문서, 초록, 구절일 수 있으며, 분류 체계가 라벨의 의미를 결정합니다. 유용한 분류기에는 제공된 텍스트가 라벨을 뒷받침하지 못하거나 경쟁하는 라벨 중 어느 것이 맞는지 해결되지 않을 때 판단을 유보하는 방법도 있어야 합니다.

단일 라벨, 다중 라벨, 계층형 작업

단일 라벨 분류는 수락된 입력마다 하나의 범주를 선택합니다. 텍스트가 여러 주제를 다루면 선택 규칙이 필요합니다. 주된 주제가 첫 주제인지, 가장 길게 논의된 주제인지, 문서에 명시된 목적인지를 두고 검토자의 의견이 다르다면 “주된 주제를 선택하라”는 지시만으로는 충분하지 않습니다.

다중 라벨 분류는 각각 독립적으로 적용 가능한 여러 범주를 허용합니다. 범주별 포함 규칙과 빈 집합을 표현하는 방식이 필요합니다. 계층 구조는 운영 상위 범주 아래 시설 하위 범주를 두는 식으로 라벨을 상위·하위 범주로 구성합니다. 하위 범주를 선택하지 않고 상위 범주만 수락할 수 있는지, 여러 분기를 허용하는지 정하세요.

이 구조는 작업 규약이며, 모델의 정교함을 측정하는 척도가 아닙니다. 검토된 규칙으로 하나를 선택하지 않는 한 다중 라벨 응답은 한 범주만 허용하는 대상 시스템에 부적합합니다. 분류 체계가 계층형이어도 실제 작업은 하나의 최하위 라벨만 요구할 수 있습니다.

문서 초록을 위한 가상의 분류 체계

사용 권한이 있는 내부 문서를 가정한 가상 시나리오이며, 분류기 실행은 보고하지 않습니다. 연구팀이 초록을 분류해 색인에 넣는다고 생각해 보세요. 분류 체계 버전 topics_v1은 세 가지 단일 라벨 범주와 하나의 검토 상태를 사용합니다.

지어낸 초록 세 개를 살펴보겠습니다. “온도 측정 보정 절차”는 Methods, “실험실 환기 점검 일정”은 Facilities, “연구 기록 승인 및 보존 규칙”은 Governance를 뒷받침합니다. 이는 작성자가 지정한 교육용 라벨이며 예측 결과가 아닙니다.

“실험실 개보수 승인 요건”은 시설과 승인 규칙을 모두 다룹니다. 우선순위 규칙이 없는 단일 라벨 체계에서는 needs_review를 반환하고 두 이유를 모두 유지하세요. 검토된 다중 라벨 체계에서는 Facilities와 Governance가 모두 적용될 수 있습니다. 라벨 구조가 바뀌면 정답도 바뀝니다.

분류는 개체명 인식이나 키워드 일치와 어떻게 다른가요?

문서가 대학을 언급해도 주제는 환기 설비 유지보수일 수 있습니다. 개체명 인식은 해당 이름의 텍스트 범위를 찾아 유형을 지정합니다. 분류는 초록 전체에 라벨을 부여합니다. 두 출력은 서로 다른 질문에 답합니다.

주제 키워드는 살펴볼 증거이지 반드시 분류 규칙인 것은 아닙니다. “승인”이라는 단어는 제외 조건, 인용문, 부수적인 문장에 나타날 수 있습니다. 신뢰할 수 있는 필드가 범주를 명시적으로 제공하면 결정론적 일치 방식부터 사용하세요. 허용된 텍스트에서 주제를 추론해야 할 때는 해석을 사용하고, 그 추론을 뒷받침하는 분류 체계의 경계를 유지하세요.

지원 티켓 분류 가이드는 티켓 선별과 라우팅에 라벨을 적용합니다. 이 문서 색인 예시에는 대기열, 심각도, 고객 대상 실행 요건이 없습니다. 여기의 라벨 규약은 주제와 검토 가능성에 관한 것입니다.

관련 자료: 키워드 추출: 텍스트의 핵심 표현과 근거.

판단 유보는 결정이며, 파싱 실패가 아닙니다

내용 부족, 분류 체계 밖 주제, 주제 충돌, 지원되지 않는 출력처럼 판단 유보 이유를 명시하세요. 원본 문서 참조 정보와 분류 체계 버전을 보존하세요. 올바른 형식의 needs_review 레코드는 출력 규약을 충족하면서도 자동 색인에는 부적합할 수 있습니다.

짧아진 초록에는 주제를 결정하는 문장이 빠질 수 있습니다. 잘린 텍스트에 “실험실 개보수”만 남았다면, 누락된 구절이 승인 정책을 설명하더라도 Facilities가 그럴듯해 보입니다. 어떤 텍스트 버전을 분류했는지 기록하고, topics_v1에 따라 불완전한 초록을 검토 대상으로 표시하세요. 텍스트 일부에 부여한 라벨이 확인하지 않은 전체 문서의 라벨로 암묵적으로 바뀌어서는 안 됩니다.

이 예시의 제안된 애플리케이션 결과에는 document_ref, taxonomy_version, label, evidence_excerpt, abstention_reason이 있습니다. 승인된 목록 밖 라벨은 규약 위반입니다. 허용된 라벨에 관련 없는 증거가 붙으면 의미상의 실패입니다. 두 경우를 별도로 기록하세요.

혼동 행렬 예시

직접 구성한 점수 계산 예시이며, 벤치마크 증거가 아닙니다. 라벨이 있는 예시 여섯 개에 아래와 같은 가상 라벨이 부여되었다고 가정해 보겠습니다. 행은 기준 라벨, 열은 제안 라벨을 나타냅니다. 각 행에는 예시가 두 개씩 있습니다.

대각선에는 여섯 개 중 네 개의 올바른 분류가 있습니다. Methods의 정밀도는 Methods 예측 세 개 중 올바른 두 개의 비율이고, 재현율은 기준 Methods 예시 두 개 중 찾아낸 두 개의 비율입니다. Facilities는 제안된 Facilities 라벨 한 개 중 한 개가 올바르지만, 기준 예시 두 개 중 한 개만 찾아냈습니다. 이 구분은 전체 합계에 가려질 수 있는 오류를 드러냅니다.

판단 유보는 이 수락된 분류 행렬 밖에 기록하세요. 추가 예시 두 개를 검토 대상으로 보류했다면 평가 대상은 여덟 개이고, 수락 비율은 여덟 개 중 여섯 개입니다. 이 비율을 보고하고 검토 사례를 살펴보지 않은 채 수락된 분류의 정확도만 제시하지 마세요.

별도로 남겨 둔 데이터로 평가하기와 라벨 변경

분류 체계를 작성하거나 프롬프트를 조정하는 데 사용한 예시와 별도로 평가 세트를 남겨 두세요. 짧거나 여러 주제가 섞이거나 범위 밖인 초록을 포함하세요. 분할 전에 거의 같은 문서를 묶어, 조금 수정한 사본이 개발 세트와 평가 세트 모두에 들어가지 않게 하세요.

검토자에게 독립적으로 라벨을 지정하도록 요청한 뒤 의견 불일치를 살펴보세요. 모호한 포함 규칙은 분류 체계의 문제이고, 합의된 규칙을 위반하는 예측은 모델의 실수입니다. 모든 기준이 확실한 것처럼 꾸미지 말고 해결되지 않은 사람 간 이견을 보존하세요.

라벨의 의미나 범주가 바뀌면 분류 체계 변화가 발생합니다. 개수를 비교하기 전에 분류 체계에 버전을 부여하고 이전 범주가 새 범주에 어떻게 대응하는지 기록하세요. 문서 언어나 주제 구성의 변화는 별개의 변화이며, 라벨이 고정되어 있어도 오류 양상을 바꿀 수 있습니다.

AI Flowi Workflow 컴포넌트의 경계

이 문서 분류 체계 시험의 기반 인터페이스는 Structured Output과 Batch Run 카탈로그 항목을 참고하세요.

두 시험은 입력 규모가 다를 뿐 동일한 주제 라벨 질문에 답합니다. 배치 시험에서는 검토용 사본에 문서 참조 정보를 유지하되, 모델의 해석에는 초록만 선택하세요. Governance라는 관리용 폴더 이름이 측정 절차에 관한 초록을 분류하는 증거가 되어서는 안 됩니다. 저장 위치가 아니라 텍스트에 맞춰 결과 라벨을 확인하세요.

기록된 테스트가 아닌 구성 예시

단일 초록에서는 Structured Output.input_value를 통해 문서 참조 정보와 텍스트를 제공하세요. system_prompt에는 검토된 topics_v1 포함 규칙과 needs_review 정책을 설정하고, schema_name은 document_topic으로 설정하세요. 제안된 결과 필드에 대해 확인한 output_schema Table을 구성하세요. 구성된 LanguageModel 호환 model을 선택하세요.

별도의 배치 시험에서는 사용 권한이 있는 Table을 Batch Run.df로 제공하고, column_name을 abstract로, output_column_name을 topic_proposal로 설정하세요. 분류 체계는 system_message에 넣으세요. 소스 참조 정보와 결과 값의 연결이 유지되는지 살펴보세요. Structured Output에서 Batch Run으로 직접 연결한 체인이나 강제되는 배치 결과 스키마를 주장하지 않습니다.

두 대안 모두 본인의 모델 제공업체 계정과 API 키가 필요하며, 제공업체 요금은 별도로 지불합니다. Structured Output과 Batch Run은 카탈로그에 문서화되어 있지만, Ai Flowi가 운영 환경에서 테스트하지 않았습니다. 자료 모음이 작거나 라벨이 중요한 결과를 낳는 판단을 제어한다면 수동 검토를 사용하세요. 활용 사례 모음은 각자의 범위를 가진 기존 워크플로우 예시를 제공하며, 구조화 출력은 형식 경계를 설명합니다.