고객 상담 품질 평가
작성: Ai Flowi · 게시일
고객 상담 품질 평가는 정의된 기준에 따라 고객 지원 상호작용을 반복 가능한 방식으로 검토하는 작업입니다. 평가 기준표를 만들고, 제공된 대화를 그 기준에 맞춰 점검하며, 각 판단을 뒷받침하는 근거를 기록합니다. AI가 점수나 라벨을 제안한다면 코칭이나 서비스 결정에 사용하기 전에 사람이 결과를 확정해야 합니다.
이 가이드는 대화 기록의 품질 평가와 챗봇 답변 검증에 초점을 맞춥니다. 설정 및 교육 서비스는 고객 지원 활용 사례의 범위 설정을 다룹니다. 아래 워크플로는 여기에 검토 데이터셋, 근거 필드, 반복 가능한 회귀 테스트 사례를 추가합니다.
1. 이 대기열에서 품질이 의미하는 바 정의하기
대화에서 관찰할 수 있는 기준을 선택합니다. 정책의 정확성, 적절한 다음 단계, 개인정보 존중, 명확한 접수 확인은 검토할 수 있습니다. 별도 근거가 없다면 친절한 답변만으로 ‘고객이 매우 만족했다’는 사실이 입증되지는 않습니다. 의사소통의 품질과 최종 업무 결과를 구분합니다.
각 기준에 pass, fail, not_assessable 상태를 부여합니다. 기록 누락이 부적절한 행동의 증거는 아니며, 정중한 문장이 조치 완료의 증거도 아닙니다. 첫 대화 기록을 검토하기 전에 각 상태에 필요한 최소 근거를 작성합니다.
작은 화면에서는 포커스를 이동할 수 있는 가로 스크롤 영역 안에서 평가 기준표를 움직여, 각 기준과 근거가 불충분할 수 있는 이유를 비교합니다.
| 평가 기준 | 점검할 근거 | not_assessable로 판단하는 이유 |
|---|---|---|
| 사실 정확성 | 답변의 진술을 제공된 사례 기록과 비교합니다. | 계정이나 거래 기록을 확인할 수 없습니다. |
| 정책 근거 | 적용되는 정책 버전과 그 정책이 뒷받침하는 문장을 확인합니다. | 검토 묶음에 관련 정책이 포함되지 않았습니다. |
| 다음 단계의 명확성 | 담당 역할이 지정된 구체적인 다음 조치를 확인합니다. | 다음 단계를 논의하기 전에 대화가 끝났습니다. |
| 개인정보 처리 | 답변이 민감한 세부 정보를 불필요하게 요청하거나 공개하는지 확인합니다. | 제공된 발췌문에 해당 대화가 빠져 있습니다. |
| 상위 담당자 이관 판단 | 관찰된 문제를 승인된 이관 조건과 비교합니다. | 이관 정책이나 후속 인계 기록이 없습니다. |
치명적인 실패는 종합 점수와 별도로 기록합니다. 그렇지 않으면 평균 계산으로 인해 여러 적절한 표현 점검 결과 뒤에 근거 없는 중대한 약속이 가려질 수 있습니다. 가중치를 정한다면 팀의 정책으로 문서화하고, 적용 전에 그 결과가 유용한지 검토합니다.
관련 자료: AI 고객 세분화.
2. 추적 가능한 검토 묶음 만들기
처리가 허가된 대화 기록을 사용합니다. conversation_id, 메시지 순서, 발화자 역할, policy_version, 관련 사례 근거를 유지합니다. 기준을 판단할 충분한 맥락을 남기면서 불필요한 개인 식별자는 제거합니다. 전체 원본은 검토 요약보다 더 제한된 접근 권한으로 보관합니다.
쉬운 사례만 검토하지 말고 문제 유형과 결과를 고르게 포함하는 표본을 선택합니다. 독자가 검토 범위를 이해할 수 있도록 품질 평가 보고서에 선택 규칙을 설명합니다. 불만이 포함되어 있다는 이유로 선택한 표본으로는 모든 대화의 전반적인 품질을 측정할 수 없습니다.
현재 답변이 틀려 보여도 그대로 보존합니다. 코딩 전에 대화 기록을 바꾸면 발견 사항을 설명하는 데 필요한 근거가 사라집니다. 수정 문구는 별도의 suggested_revision 필드에 넣습니다.
관련 자료: 데이터 품질 지표: 누락된 사실을 추측하지 않고 결함 측정.
3. 한 차례의 검토 구성하기
구성 예시이며, 기록된 테스트가 아닙니다
입력은 사용이 허가된 대화 기록 내보내기 파일, 승인된 평가 기준표, 관련 정책 문구입니다. 처리량이나 민감도를 고려했을 때 자동 제안이 불필요하다면 평가 기준표에 따른 수동 검토로 충분할 수 있습니다.
평가 기준표에 따른 제안을 받으려면 자체 제공업체 계정과 API 키로 인증하고, 해당 요금을 별도로 부담하며, 설정에는 Language Model 참조 문서를 사용합니다.
| 컴포넌트 | 설정할 카탈로그 입력 | 명시된 출력과 점검 사항 |
|---|---|---|
| Load CSV | 입력 csv_file에 준비한 품질 평가 내보내기 파일을 지정합니다. | data_list: JSON; 여러 줄로 된 대화 내용과 식별자가 불러오기 후에도 보존되었는지 점검합니다. |
| Data → DataFrame | 점검한 출처 객체를 data_list에 연결합니다. | dataframe: Table; 행별 모델 호출을 사용하기 전에 각 행이 완전한 검토 묶음 하나를 담고 있는지 확인합니다. |
| Batch Run | review_packet을 column_name에 지정하고, 대화 Table은 df로 제공합니다. 입력 system_message에는 ‘제공된 근거만 평가 기준표에 따라 평가하고, 메시지 식별자를 인용하며, 근거가 없으면 not_assessable을 사용하세요’를 지정합니다. 새 필드 이름 qa_suggestion은 output_column_name에 지정합니다. 필수 입력 model은 Language Model의 model_output에 연결합니다. | 출력 batch_results의 Table은 행별 제안을 담습니다. 기준을 판단하기 전에 각 conversation_id의 연결과 인용된 메시지를 점검합니다. |
| Structured Output | 별도의 단일 대화 시험에서는 input_value에 검토 묶음을 넣고, system_prompt에 평가 기준표를 넣습니다. 구조 이름 service_qa를 schema_name에 지정합니다. criterion, suggested_state, evidence_message_ids, reason, suggested_revision이 포함된 스키마 Table을 점검한 뒤 output_schema에 제공합니다. 필수 입력 model 포트는 Language Model의 model_output에 연결합니다. | 출력 structured_output의 기준별 JSON에 허용된 상태와 뒷받침하는 메시지 식별자가 있는지 점검합니다. 해당 dataframe_output Table은 검토용 보기이며, 승인된 품질 평가 판정이 아닙니다. |
행별 시험과 단일 묶음 시험 중 선택하기 전에 내보낸 Batch Run 및 Structured Output 인터페이스에 대한 카탈로그 내용을 점검합니다.
4. 사람이 라벨을 붙인 대화로 기준 조정하기
검토자들이 모델 제안에 의존하지 않고 동일한 자료에 코드를 부여하도록 합니다. 특히 ‘잘못됨’과 ‘근거 없음’이 혼동되는 경우를 중심으로 기준별 불일치를 논의합니다. 경계를 더 분명히 하도록 평가 기준표를 갱신하고, 과거 결과를 계속 이해할 수 있도록 이전 버전도 보존합니다.
그런 다음 모델 제안을 해당 라벨과 비교합니다. 잘못된 통과 판정, 잘못된 실패 판정, 인용 누락, 허용되지 않은 출력 상태를 기록합니다. 전체 일치율 하나만으로는 팀이 중요하게 보는 특정 개인정보·정책 오류를 탐지하지 못하는 문제가 가려질 수 있습니다.
모호한 사례는 논의할 수 있도록 남깁니다. 검토 과정은 불완전한 대화로 정밀해 보이는 점수를 만들기보다 불확실성을 드러내야 합니다. 직원에게 영향을 미치는 모든 발견 사항에는 권한 있는 검토자의 승인을 요구합니다.
5. 챗봇 회귀 테스트 사례 모음 유지하기
회귀 검토의 입력 자료로 응답 템플릿 테스트 사례를 사용합니다.
각 사례에 case_id, input_revision, rubric_version, 선택한 모델, 프롬프트 개정 내역, 각 기준의 예상 상태를 저장합니다. 출처 변경을 모델 결과 변경으로 오인하지 않도록 입력과 함께 제공된 정책 묶음을 고정합니다. 실제 기준별 상태와 근거 식별자는 별도의 실행 기록에 남기고, 기준 조정을 위해 불일치를 보존합니다.
프롬프트, 모델, 정책 묶음을 바꾼 뒤 같은 사례를 다시 실행합니다. 유창성뿐 아니라 근거 처리와 금지된 약속을 비교합니다. 모델 답변은 더 좋아 보이면서도 필수 예외나 고지 내용을 알리지 않은 채 빠뜨릴 수 있습니다.
6. 평가 기준표 버전 간 동일 기준 비교하기
가상 검토 묶음에서 답변은 환불 정책을 설명하고 요청을 조사하는 팀을 밝히지만 결제 기록은 없습니다. 거래 근거가 필요한 평가 기준표에서는 결제 완료가 not_assessable이며, 제공된 정책이 설명을 뒷받침하면 정책 근거 기준은 통과할 수 있습니다. 이는 별개의 판단입니다. 출처 하나가 없다는 이유만으로 답변 전체를 실패로 처리하면 평가 기준표가 보존하려던 구분이 사라집니다.
개정된 평가 기준표가 근거 없는 결제 주장을 치명적인 실패로 분류한다면 이전과 새로운 기준 정의를 모두 보존합니다. 동일하게 고정된 묶음으로 실행 결과를 비교하고, 결과 변화가 규칙, 출처 근거, 모델 제안 중 어디에서 비롯되었는지 식별합니다. 더 엄격한 평가 기준표에서 늘어난 실패를 직원 성과의 측정된 하락으로 제시하지 마세요.
7. 고객 서비스 품질 보증에서 발견 사항과 제약을 어떻게 보고하나요?
대화와 기준별 상태, 근거 구간, 평가 기준표 버전, 검토자 결정을 연결하는 관리 대장에 품질 평가 결과를 보존합니다. 반복되는 실패를 범위와 제안된 수정 사항과 함께 요약합니다. 각 수정 사항을 문제가 여전히 남아 있는지 드러낼 후속 사례와 연결합니다.
승인된 문구 변경을 적용하려면 유지·관리되는 응답 템플릿을 사용하고, 반복되는 경험 주제를 살피려면 피드백 분석을 사용합니다. 구성 세부 사항은 컴포넌트 카탈로그와 활용 사례 참조 문서를 확인합니다. 생성된 품질 평가 라벨을 자동 직원 순위나 모든 향후 답변이 정확하다는 증거로 사용하지 마세요.
근거 상태와 노드 사용량
이 고객 상담 품질 평가 제안은 카탈로그에 문서화되어 있으나 Ai Flowi가 실운영 환경에서 테스트하지 않았습니다.
요금제: Go 연간 결제 시 월 USD8부터(월간 USD10), Plus 월 USD16부터(월간 USD20), Pro 100 월 USD80부터(월간 USD100), Pro 200 월 USD160부터(월간 USD200), Pro 500 월 USD400부터(월간 USD500). 매월 5,000~250,000 Flowi Tokens가 제공되며 충전도 가능합니다. 노드 실행 1회당 1토큰, 타사 API 및 모델 사용 요금은 포함되지 않습니다.