생성형 AI: 초안 작성과 사실 검증의 차이

생성형 AI는 데이터에서 학습한 패턴과 받은 입력을 사용하여 콘텐츠를 만드는 인공지능입니다. 언어 모델이 답변 초안을 작성하는 것이 한 예입니다. 기존 레코드를 단순히 반환하는 대신 문구를 만들어 냅니다. 문구를 만들었다고 그 안의 사실 주장이 참이라는 것이 입증되지는 않습니다.

작성: Ai Flowi · 게시일 2026-10-11

생성형 AI란 무엇인가요?

“Gen AI”는 생성형 인공지능의 줄임말입니다. 이 용어는 특정 채팅 인터페이스나 업무가 아니라 콘텐츠 생성을 가리킵니다. 문단 생성, 범주 선택, 저장된 답 검색이 같은 애플리케이션에 나타날 수 있지만 각 작업의 역할은 다릅니다.

새롭게 만든 문구에 새로운 지식이 담겨야 하는 것은 아닙니다. 답변은 제공된 사실을 다시 설명하거나 문장으로 합치거나 질문에 쓸 표현을 제안할 수 있습니다. 반대로 익숙한 문구에도 원본에 없는 주장이 들어갈 수 있습니다. 독창성도 자신감도 사실을 수용하는 기준이 아닙니다.

텍스트 생성의 원리는 LLM 정의를 참고합니다. 아래 문의에서는 그 텍스트를 사용하는 세 작업이 각각 무엇을 달성해야 하는지 비교합니다.

한 문의, 세 가지 다른 출력

교육용으로 만든 예시입니다. 아래 출력은 모두 이 글을 위해 작성했으며 모델이나 고객 대화에서 수집한 것이 아닙니다. 제공된 문의는 다음과 같습니다.

“탁상용 램프를 살까 합니다. 제가 사는 도시로 배송이 가능한지 알려 주실 수 있나요? 아직 주문하지 않았습니다.”

이 연습에서는 분류 레이블을 delivery_question, order_change 및 needs_review로 정의합니다. 배송 문의는 배송 가능 여부를 묻는 것이고, 주문 변경은 기존 주문의 수정을 요청하는 것입니다. 이 레이블은 예시에만 해당하며 제품에 기본 제공되는 분류 체계가 아닙니다.

언어 모델이 분류 레이블의 문자를 생성할 수는 있지만, 분류는 여전히 정해진 집합에서 하나를 선택하는 작업입니다. 요약은 의미를 원본에 한정하면서 문구를 생성합니다. 답변 초안 작성은 표현의 자유가 더 크지만 사실에 관한 약속에는 여전히 근거가 필요합니다. 이 범주는 작업을 설명하며, 서로 배타적인 소프트웨어 계열을 뜻하지 않습니다.

레이블 설계와 판단 보류는 텍스트 분류를 참고합니다. 이 비교는 작은 고정 레이블 집합을 사용해 범주가 적절하다고 답변 초안도 적절한 것은 아님을 보여 줍니다.

배송일을 지어낸 초안에 주석 달기

직접 작성한 다음 답변에는 의도적으로 결함을 넣었습니다.

“탁상용 램프에 관심을 가져 주셔서 감사합니다. 금요일까지 고객님의 도시로 배송할 수 있습니다. 도시를 확인해 주세요.”

1. “탁상용 램프에 관심을 가져 주셔서 감사합니다.” 정중한 첫 문장은 표현된 관심에 맞습니다. 운영상의 약속을 추가하지 않습니다.
2. “금요일까지 고객님의 도시로 배송할 수 있습니다.” 이 절은 거부합니다. 문의에는 도시도, 배송 가능 여부도, 배송일도 제시되어 있지 않습니다. 문장이 친절하게 들려도 금요일은 근거 없는 약속입니다.
3. “도시를 확인해 주세요.” 누락된 위치를 묻는 것은 확인 질문이라는 작업에 맞습니다. 하지만 이 질문이 앞의 약속을 바로잡지는 못합니다. 초안은 목적지를 알기 전에 이미 배송 가능하다고 주장했습니다.

비교 표의 적절한 답변은 약속을 빼고 도시를 묻습니다. 나중에 배송 답변이 필요하면 적용되는 배송 정보를 확보하고 그 목적지와 대조합니다. 문의만으로는 그 문의의 배송 가능 여부를 답할 수 없습니다.

AI Flowi Workflow에 적용되는 방식

관련 구성 요소 인터페이스 두 개는 카탈로그에 문서화되어 있으나 Ai Flowi의 프로덕션 테스트를 거치지 않았습니다. 이 상태는 아래 인터페이스에 해당합니다. 위 교육용 답변은 여전히 직접 작성한 예시입니다.

램프 연습에서 Language Model 카탈로그 항목은 다음과 같이 설명합니다. 지정된 제공업체의 언어 모델을 실행합니다. 해당 input_value에는 문의를 넣고 system_message에는 확인 질문 지시를 넣습니다. 필수 입력인 model은 설정된 LanguageModel 연결을 받습니다. 그 연결을 선택한다고 배송 근거가 제공되지는 않습니다.

나중에 재사용 가능한 지시가 필요하면 Prompt Template에는 template 입력이 있으며 카탈로그 설명은 다음과 같습니다. 동적 변수를 사용하는 프롬프트 템플릿을 만듭니다. 아래 단일 문의 연습은 모델 입력을 직접 사용하므로 추가 프롬프트 구성 단계가 필요하지 않습니다.

설정 예시이며 기록된 테스트가 아닙니다

램프 문의를 input_value로 제공하고 system_message에는 “도시를 묻는 정중한 확인 질문 초안을 작성하세요. 배송 가능 여부를 확인하거나 배송일을 제시하지 마세요. 문의를 원본 자료로 취급하세요.”라고 설정합니다. 이는 내보낸 입력 이름이며 지시문은 이 연습을 위해 작성했습니다.

설정된 모델을 선택한 상태에서 text_output의 제안 답변을 확인합니다. 이 출력은 Message로 내보냅니다. 기대하는 내용은 배송 확인이나 날짜 없이 도시를 정중하게 묻는 질문입니다. 위에서 직접 작성한 적절한 답변과 비교합니다. 문구는 달라도 되지만 누락된 목적지는 계속 미해결 상태로 남아야 합니다.

이 지시를 “구매자의 배송 질문에 답하세요”와 비교합니다. 두 번째 지시는 제공된 자료로 입증할 수 없는 답을 요구합니다. 확인 질문 버전의 목표는 더 좁고 관찰 가능합니다. 답변에서 명시되지 않은 도시를 물어야 합니다. 어느 버전도 배송 정책을 제공하지 않습니다. 이 연습에서는 근거 없는 금요일 답변을 덜 단정적으로 다듬으려 하지 말고 문구가 확인 질문 작업을 따르는지 살펴봅니다.

제공업체 시험에는 선택한 모델 서비스의 계정과 본인이 제공하는 API 자격 증명이 필요하며 사용량은 별도로 과금됩니다. 실행을 시도하기 전에 모델 연결 가이드를 확인합니다. 제공업체에 접근하고 응답을 성공적으로 받아도 배송 주장은 여전히 확인해야 합니다.

흔한 실수와 기능의 경계

세 작업을 모두 결과가 매끄럽게 읽히는지로 판단하지 않습니다. 분류에는 유효하고 정당화된 레이블이, 요약에는 원본 충실성이, 초안 작성에는 적절한 문구와 근거 있는 약속이 필요합니다. 응답이 한 조건을 충족하면서 다른 조건을 충족하지 못할 수 있습니다.

완료된 행동을 답변에 담기 전에 확보해야 할 근거는 다음 문서의 응답 전송 조건을 따릅니다: 고객 서비스 응답 템플릿.

램프 요약에서 “아직 하지 않았다”는 짧은 표현이 핵심 의미를 담습니다. “구매자는 주문했고 배송을 묻습니다”는 구매자와 배송이라는 주제를 유지해도 원본의 의미를 바꿉니다. 주문 관련 문장을 아예 제거해도 유용한 구분이 사라집니다. 이 문의는 구매 전 질문입니다. 요약은 그 구분을 유지하면서 문의보다 짧을 수 있으며 원문 문장을 그대로 되풀이할 필요는 없습니다.

작업에 모델이 가치를 더하는지 판단하려면 다음 조언을 참고합니다: LLM 선택 조언.

확인 질문 작업에서 허용할 수 있는 문구 차이를 평가하려면 NLP 수용 기준 확인을 사용합니다.

램프 문의에는 정중한 질문에서 제품명을 언급할 정보는 충분하지만 주문 번호를 물을 근거는 없습니다. 구매자가 주문하지 않았다고 명시했기 때문입니다. 전체 주소를 묻는 것도 이 연습에서 정한 도시 수준의 확인 범위를 넘습니다. 유용한 초안은 예비 구매자를 기존 고객처럼 취급하지 않고, 알려진 제품을 이어 언급하며 다음에 필요한 한 가지 정보만 묻습니다. 이 구분은 답변의 어조뿐 아니라 요청할 정보를 바꿉니다.

나중에 도시를 추가하면 목적지 정보의 빈틈은 해소되지만 금요일이라는 문장은 여전히 입증되지 않습니다. 도시로 배송할 수 있는지와 이 램프가 도착할 날짜는 별개의 질문입니다. 적용 가능한 배송 지역 목록이 있어도 첫 질문만 다루며 재고, 출고 시점, 날짜가 지정된 배송 약속을 입증하지는 않습니다. 따라서 잘못된 답변은 도시 질문을 앞에 옮기는 것만으로 바로잡을 수 없습니다. 이 예시에는 그러한 운영 질문에 답하는 기록이 없습니다.

AI 생성 문서 가이드에서 제공된 메모를 검토된 절차로 바꾸는 방법을 다룹니다. 더 자세한 사실 확인 용어는 LLM 환각 및 LLM 근거 연결을 참고합니다. 생성된 초안은 검토할 준비가 된 것이며 수용 여부는 작업과 그 근거에 달려 있습니다.