📚 AI가 사내 규정을 찾아 답하는 방식은? RAG로 이해하는 문서 검색

 

회사에서 쓰는 AI에게 “출장비는 어디까지 지원되나요?”라고 물었다고 생각해볼까요?

일반적인 설명은 할 수 있어도 우리 회사의 규정까지 정확하게 알고 있다고 보기는 어려워요.

 

이때 활용할 수 있는 방식이 RAG입니다.

질문과 관련된 회사 문서를 먼저 찾고 그 내용을 AI에게 함께 전달해 답변을 만들도록 하는 구조예요.

 

🔎 AI에게 필요한 자료를 찾아 건네주는 방식

 

RAG는 Retrieval-Augmented Generation의 약자로 보통 ‘검색 증강 생성’이라고 부릅니다.

쉽게 말하면 외부 자료를 검색해 AI의 답변에 참고할 근거를 보태는 방식이에요.

 

자료를 보지 않고 기억만으로 답하는 상황과 규정집을 펼쳐 필요한 내용을 확인한 뒤 답하는 상황을 떠올리면 이해하기 쉽습니다.

RAG에서는 검색 시스템이 필요한 부분을 찾아주고 AI가 그 내용을 바탕으로 답변을 구성해요.

 

핵심은 회사 문서 전체를 AI에게 새로 학습시키는 것이 아니라 질문에 필요한 자료를 찾아 답변할 때 참고하게 하는 데 있어요.

 

출장비를 물으면 어떤 과정을 거칠까?

 

 

회사 문서가 연결된 사내 챗봇을 예로 들어볼게요.

직원이 “출장 숙박비 기준이 궁금해요”라고 입력하면 검색 시스템이 출장 규정에서 숙박비와 관련된 부분을 찾습니다.

 

찾아낸 문서 내용은 직원의 질문과 함께 AI에게 전달됩니다.

AI는 그 안에 적힌 지원 조건과 예외 사항을 읽고 질문에 맞는 설명을 만들어내요.

 

서비스가 출처 표시를 지원하도록 만들어졌다면 답변 옆에 문서명이나 원문 링크를 붙일 수도 있습니다.

직원은 답변을 읽은 뒤 실제 규정의 해당 부분을 확인할 수 있죠.

 

📄 긴 문서에서 필요한 부분만 찾는 이유

 

 

문서가 많아지면 질문할 때마다 모든 내용을 전달하기는 부담스럽습니다.

AI가 한 번에 참고할 수 있는 분량에도 한계가 있어 필요한 내용을 골라 보내는 과정이 중요해져요.

 

많은 RAG 시스템은 문서를 적당한 크기로 나누고 검색할 수 있는 형태로 준비해둡니다.

질문이 들어오면 이 조각들 가운데 관련성이 높은 내용을 찾아 전달하는 방식이에요.

 

검색에는 단어가 얼마나 일치하는지 보는 방법과 문장의 의미가 얼마나 가까운지 보는 방법 등을 활용할 수 있습니다.

의미 기반 검색은 표현이 달라도 비슷한 내용을 찾는 데 도움이 돼요.

 

예를 들어 ‘숙박비’라는 질문으로 ‘출장 중 숙소 이용 비용’이라는 문장을 찾는 식입니다.

다만 의미가 비슷하다는 이유만으로 정확한 규정까지 찾았다고 보장되지는 않아요.

 

문서를 연결해도 틀린 답이 나올 수 있어요

 

검색 단계에서 필요한 조항을 놓치면 AI도 충분한 근거를 받지 못합니다.

지원 기준은 찾았지만 바로 뒤에 있는 예외 조건을 빠뜨렸다면 답변이 불완전해질 수 있어요.

 

문서의 최신 여부도 영향을 줍니다.

개정 전 규정이 검색되거나 서로 다른 버전이 함께 전달되면 현재 기준과 맞지 않는 답변이 나올 수 있습니다.

 

자료를 정확히 찾았더라도 AI가 내용을 잘못 해석하거나 근거에 없는 설명을 덧붙일 가능성은 남아 있어요.

RAG는 답변에 근거를 보태는 방식이지 오류를 완전히 없애는 장치는 아닙니다.

 

 

사내 문서에서는 접근 권한도 함께 고려해야 합니다.

직원마다 볼 수 있는 문서가 다르다면 검색 결과와 AI에게 전달되는 내용에도 그 권한이 반영되어야 해요.

 

RAG를 이해하면 AI가 회사 정보를 안다는 말의 의미도 조금 달라집니다.

답변하는 순간 어떤 문서를 찾아 참고했는지 살펴보는 것이 정확성을 판단하는 중요한 기준이 돼요.

 

RAG를 만들려면 무엇이 필요할까?

RAG를 실제 서비스에 적용하려면 크게 보면 몇 가지 준비가 필요합니다.

먼저 AI가 참고할 문서가 있어야 하고 이 문서를 검색하기 좋은 형태로 나누어 저장해야 해요.

그다음 사용자의 질문과 관련된 내용을 찾아주는 검색 단계가 필요합니다.
여기서는 단어가 비슷한지 확인하는 검색이나 문장의 의미가 가까운 내용을 찾는 방식 등을 사용할 수 있어요.

마지막으로 검색된 내용을 질문과 함께 AI에게 전달해 그 자료를 참고해서 답변하도록 만들면 됩니다.

정리하면 흐름은 생각보다 단순합니다.

문서를 준비하고 → 질문과 관련된 내용을 찾고 → 찾은 내용을 AI에게 건네주는 것

그 위에 문서 최신화나 접근 권한 출처 표시 같은 기능을 하나씩 더하면서 실제 서비스에 맞게 다듬어가는 구조라고 보면 이해하기 쉬워요.

처음부터 복잡한 시스템을 만들기보다
작은 문서 몇 개를 연결해 질문과 관련된 내용을 잘 찾는지 확인해보는 것부터 시작해도 충분합니다.