RAG 리랭킹

작성: Ai Flowi · 게시일 2026-10-11

공식 출처: Cohere Rerank 문서

RAG 리랭킹은 언어 모델에 보낼 근거를 선택하기 전에 질문에 대해 검색된 후보 구절을 다시 정렬합니다. 검색은 후보를 모으고, 리랭커는 각 후보가 해당 쿼리에 얼마나 관련되는지 판단합니다. 답변 프롬프트에 전달되는 구절을 바꿀 수는 있지만 후보 집합에 없는 근거를 복구할 수는 없습니다.

이 가이드는 AI Flowi Workflow에 Cohere Rerank 단계를 추가하고 통제된 비교를 수행하는 방안을 제안합니다. 구성 요소는 카탈로그에 문서화되어 있으나 Ai Flowi가 운영 환경에서 테스트하지 않았습니다. 결합된 설계에 대해 순위 개선, 지연 시간 결과, 성공적인 문서 형식 변환은 기록되어 있지 않습니다.

1. 먼저 검색 기준선을 확인합니다

내용이 채워진 Knowledge Base와 근거 구절에 라벨을 붙인 질문을 사용합니다. knowledge_base, search_query, top_k를 설정하고 include_metadata를 활성화합니다. 리랭킹 전에 Results를 저장합니다. 필요한 구절이 전혀 나타나지 않는다면 근거의 정렬 순서 탓으로 돌리지 말고 문서 모음이나 검색 쿼리를 다시 검토합니다.

지식 베이스 가이드는 검색 가능한 콘텐츠를 준비하고 확인하는 방법을 다룹니다. 여기서는 각 질문의 후보 목록, 즉 구절 텍스트, 출처 식별자, 버전, 원래 순서에 집중합니다. 이 정보를 함께 보관합니다. 변환을 단순화하려고 메타데이터를 제거하면 최종 답변이 적용 가능한 출처를 사용했는지 확인하기 어려워집니다.

2. 리랭커 계정과 후보 형식을 준비합니다

Cohere Rerank에는 본인의 Cohere 계정과 API 키가 필요하며, 검색 및 모델 제공업체에서 이미 사용하는 자격 증명도 필요합니다. 카탈로그 설명은 Cohere API를 사용해 문서를 다시 정렬합니다. 입니다. 입력에는 model, search_query, search_results, top_n, api_key가 나열되어 있습니다.

아래 JSON 시험을 설정하기 전에 후보 테이블 변환 경계에 관한 Type Convert 참고 문서를 확인합니다.

변환 전에 각 후보를 구분할 수 있게 합니다. 서로 다른 버전에 같은 구절 텍스트가 반복되더라도 별도의 식별 정보를 유지해야 합니다. 변환된 후보 모음을 순서와 개수까지 포함해 원래 목록과 비교합니다. 두 출처가 하나의 텍스트 항목으로 합쳐지면 순위를 매기기 전에 중단합니다. 이후의 순위만으로는 어느 출처가 사라졌는지 알 수 없습니다. 내보내기 자료에는 리랭커가 요구하는 문서 스키마가 명시되어 있지 않으므로 유효한 JSON 값이라는 사실만으로는 충분하지 않습니다.

3. 후보 수와 선택할 근거 수를 설정합니다

후보 선택 설정: 설정 예시이며, 기록된 테스트가 아닙니다

내보내기 자료에는 "rerank-english-v3.0", "rerank-multilingual-v3.0" 같은 모델 이름이 포함되어 있습니다. 이는 카탈로그 선택지이며 제공업체가 현재 해당 모델을 제공한다는 주장이 아닙니다. 계정과 편집기에서 선택한 모델을 확인합니다. api_key가 선택 사항으로 표시되어 있다고 해서 외부 서비스가 인증 없이 작동한다고 추론하지 않습니다.

4. 변환과 순위 변경 과정에서 식별 정보를 유지합니다

후보 텍스트, 식별자, 버전이 Type Convert를 거친 뒤에도 유지되는지 검토합니다. 이어서 JSON인 Cohere Rerank.reranked_documents를 확인합니다. 카탈로그에는 중첩 필드, 점수 척도, 원래 후보와 연결하는 방식이 나열되어 있지 않습니다. 실제 합성 출력으로 그 대응 관계를 확인합니다. index, text, score라는 이름의 필드가 있을 것이라고 가정하지 않습니다.

검토자는 선택된 각 문서의 원래 후보와 출처 구절을 찾을 수 있어야 합니다. 새 순위만으로 답변의 인용 출처를 안전하게 복원할 수는 없습니다. 결과에 메타데이터가 빠져 있다면 원래 후보 목록을 유지하고 답변 생성 전에 명시적인 일치 규칙을 검증합니다. 반복되는 문단이 같은 축약 텍스트를 가질 수 있으므로 짧게 줄인 구절 텍스트만으로 일치 여부를 판단하지 않습니다.

Parser 참고 문서는 입력을 설명하고 자리 표시자 문법이 명시되어 있지 않음을 밝힙니다. 편집기에서 형식 문법을 검증합니다.

5. 문서 모음을 바꾸지 않고 순서를 비교합니다

질문, 색인된 문서, 후보 수, 답변 지시를 고정합니다. 모든 사례의 기준선 후보 순서와 리랭킹 후 선택 결과를 저장합니다. 라벨이 붙은 구절과 필요한 예외 사항이 선택된 근거에 남아 있는지 확인합니다. 첫 번째 구절의 관련성이 높아져도, 답변에 필요한 보완 구절이 제거되었다면 여전히 충분하지 않습니다.

선택 연습 예시로 한 후보에는 주요 지시, 다른 후보에는 그 지시에 적용되는 조건이라는 라벨을 붙입니다. 요청한 선택 개수가 하나만 허용한다면 관련성이 매우 높은 지시도 불완전한 근거를 만들 수 있습니다. 같은 후보에서 선택 개수를 늘린 결과와 비교합니다. 이렇게 하면 검색 범위와 선택 개수 제한의 영향을 분리할 수 있습니다. 동시에 문서 모음에 새 문서를 추가하면 원인이 불분명해집니다.

RAG 평가를 활용해 검색의 근거 포함 범위와 답변의 근거 일치 여부를 분리합니다. 리랭커 호출 실패는 관련 문서 목록이 비어 있는 경우가 아니라 운영상 실패로 집계합니다. 기준선으로 대체하는 방식을 선택한다면 그 동작을 명시적으로 검증합니다. 제안된 연결 흐름에는 문서화된 자동 복구 분기가 없습니다.

6. 필요한 근거에 맞춰 개수를 조정합니다

top_k는 후보 검색에, top_n은 리랭킹 선택에 속합니다. 서로 다른 설정입니다. 후보 집합을 늘린다고 사용 가능한 컨텍스트가 자동으로 늘어나지는 않으며, 적은 수를 선택하면 관련 사실이 제외될 수 있습니다. 한 번에 설정 하나만 바꾸고 라벨이 붙은 동일한 질문을 검토해 근거가 어디서 사라지는지 확인합니다.

이 시험에서는 요청하는 선택 개수가 제공하려는 후보 수를 넘지 않게 하고 실제 반환 개수를 확인합니다. 내보내기 자료에는 후보가 더 적을 때의 동작이 정의되어 있지 않습니다. 문서 길이 제한이나 제공업체의 배치 처리 규칙도 없습니다. 없는 정보를 보편적인 크기 설정 권장 사항으로 바꾸지 않습니다.

7. RAG 파이프라인에서 리랭킹을 추가할 가치가 있는지 어떻게 결정하나요?

고정된 검색이 이미 필요한 근거를 확인 가능한 순서로 반환하고 추가 요청이 관찰된 문제를 해결하지 않는다면 리랭커를 추가하지 않습니다. 리랭커는 제공업체 호출과 실패 지점을 하나 더 만듭니다. 문서 권한, 버전 관리, 신뢰할 수 있는 검토를 대신하는 용도로도 적합하지 않습니다.

리랭킹은 후보 신호를 결합하는 방식에 관한 RAG 하이브리드 검색과 다릅니다. 어느 설계도 특정 답변의 정확성을 증명하지 않습니다. 기준선을 유지해 추가 단계가 자신의 환경에서 근거 선택에 도움이 되는 변화를 만드는지 확인합니다. 한 번의 시험으로 전반적인 품질 향상을 주장하지 않습니다.

워크플로 용량과 다음 단계

플랜과 워크플로 용량.월별 Flowi Tokens 제공량은 Go 5,000개, Plus 25,000개, Pro 100 50,000개, Pro 200 100,000개, Pro 500 250,000개입니다. 워크플로, 연결 도구, 검토 절차에 맞는 용량을 선택하세요. 데모 예약

사용량 추정에 변환, 선택, 반복되는 제공업체 호출을 포함합니다. 검색된 문서 수는 워크플로우 노드 실행 횟수나 제공업체 과금 사용량과 같은 단위가 아닙니다.