“우리 회사도 내부 문서 기반 AI 챗봇을 만들 수 있을까요?”, “PDF, 이미지, 내규까지 검색되는 기업용 RAG 구조가 실제로 가능한가요?” 2025년 이후 기업들이 원하는 챗봇은 단순한 FAQ 형태가 아니라, 내부 문서를 기반으로 정확한 답변을 생성하는 지식형 AI 에이전트 입니다.
일반적인 LLM은 공개된 지식에는 강하지만, 사내 규정, 매뉴얼, 계약서, ERP 데이터처럼 기업 고유의 문맥에는 취약합니다. 이 한계를 해결하기 위해 등장한 구조가 바로 RAG입니다.
UiPath는 이를 위해 Storage Bucket, Index, 대화형 Agent를 활용하는 전형적인 RAG 구조를 제공합니다.
이번 글에서는 연구소에서 실제 테스트를 거쳐 구축한 내용을 기반으로, 기업이 실무에 바로 적용할 수 있는 RAG 구축 방식을 정리해보았습니다.
📌 목차 1. RAG 구조란 무엇인가요? 2. 스토리지 버킷과 Index 3. 대화형 Agent vs 자율형 Agent 4. 시스템 프롬포트 설계의 중요성 5. RAG 인덱스의 한계 6. 실제 시연 결과 7. 기업형 AI Agent 성공의 결정 요인 : 문서 구조화 8. Q&A |
1. RAG 구조란 무엇인가요?
RAG(Retrieval-Augmented Generation)는 검색과 생성을 결합한 구조입니다.
내부 문서를 “검색 + 생성”이 가능하도록 만드는 핵심 기술이에요. 일반적인 LLM은 실시간 검색 능력이 없어요. 따라서 내부 문서에 기반한 정확한 답변을 제공하기 위해서는 문서를 검색 가능한 형태로 구조화해야 합니다. 이를 해결하는 구조가 바로 RAG예요. RAG는 다음과 같은 과정을 거칩니다.
1. 사용자의 질문을 받음 2. 연결된 Index(백터 DB)에서 의미 기반 검색 수행 3. 검색된 문서 조각을 근거로 답변 생성 |
LLM이 내부 문서를 읽고 답하도록 만드는 방식이라고 이해하시면 됩니다.
2. 스토리지 버킷과 Index
내부 문서를 벡터 데이터로 변환하는 핵심 구성요소입니다. UiPath에서 RAG 구축의 중심은 Index예요.
1. 스토리지 버킷
- 문서를 보관하는 저장 공간입니다. 이 단계에서는 아직 벡터화되지 않습니다.
2. Index (벡터 DB 역할)
- 스토리지 버킷에 저장된 문서를 검색 가능한 벡터 구조로 변환하는 과정입니다.
- Index 구성 시 아래 요소를 설정하게 됩니다.
인텍스 이름 |
데이터 소스 (스토리지 버킷/외부 드라이브) |
수집 일정 (자동 인덱싱 여부) |
수집 방식 (기본 : 텍스트 중심 인덱싱 / 고급 : 표, 이미지, 그래프까지 포함하는 인덱싱(유닛소모)) |
💡실무자 팁
- 표와 이미지가 많은 문서는 고급 모드가 더 정확해요.
-고급 모드는 유닛이 발생하므로 대량 문서 자동화 시 주의가 필요해요.
3. 대화형 Agent vs 자율형 Agent
이 둘 중 어떤 에이전트를 선택해야 할까요? UiPath는 두 종류의 에이전트를 제공합니다.
대화형 Agent | 자율형 Agent |
챗봇 형식의 Agent | 시스템 형식의 Agent |
사용자가 직접 사용자 프롬프트를 작성 | 프롬프트가 개발자에 의해 고정돼 사용자 질문이 제한 |
Apps 및 Cloud Potal에서 실행 가능 | Agent 단독 실행 불가 |
이번 프로젝트에서는 대화형 Agent를 구축했습니다. 이 에이전트는 지정된 Index만 사용하도록 제한되어 있으며,
문서에 없는 내용에 대해서는 “문서에 해당 내용이 없습니다.” 라고 답변하도록 설계했습니다.
이 방식은 내부 정책을 기반으로 정확한 답변이 필요한 HR, 총무, 재무 부서에 특히 적합합니다.
4. 시스템 프롬프트 설계의 중요성
시스템 프롬프트 설계가 정확도를 결정해요, “환각 없는 AI”를 만드는 가장 중요한 요소는 대화형 Agent의 품질은 시스템 프롬프트에 의해 좌우됩니다.
시스템 프롬프트에 반드시 포함해야 하는 내용이 있는데요.
1. 지정된 Index만 사용하도록 제한 2. 문서에 없는 내용은 “해당 내용이 없습니다”로 답변 3. 답변에 문서 근거(조항·페이지 등) 명시 4. 답변 절차를 단계별로 명확히 정의 5. 예시 답변을 함께 제공하여 톤·구조를 고정 |
이 다섯 가지를 넣으면 환각을 크게 줄일 수 있으며, 기업이 원하는 정책형 챗봇의 정확도가 크게 향상됩니다.
5. RAG 인덱스의 한계
왜 PDF 300행 이상에서 문제가 발생할까요? 실제 테스트 과정에서 다음과 같은 한계를 확인했습니다.
1. 약 20,000자 정도까지만 안정적으로 인덱싱 2. 300행까지는 문제없음 3. 400행 이상에서는 인덱싱 실패 4. 복잡한 구조의 PDF는 파싱에 실패하는 경우 발생 |
이는 모든 LLM 기반 RAG 시스템의 공통적인 한계예요. 해결 방법은 무엇일까요?
1. 문서를 항목별로 나누어 인덱싱 2. 이미지 기반 문서는 Word 또는 텍스트 중심 포맷으로 변환 3. 대규모 내규는 단일 Index 대신 챕터별 Index 활용 |
이 전략을 적용하면 정확도와 안정성이 모두 크게 높아져요.
6. 실제 시연 결과
내규 기반 질문에 대해 정확한 근거를 포함한 답변 제공 에이전트는 다음과 같은 질문에 대해 문서 기반으로 정확한 답변을 생성했어요.
"승진 절차 알려줘", "채용 절차 안내해줘", "해고 규정 알려줘" 답변에는 문서 조항(예: 제24조 등)이 함께 표현되어 사용자는 즉시 근거를 확인할 수 있어요.
이 구조는 정책을 잘 모르거나 찾기 어려운 사원들에게 매우 효과적이에요.
7. 기업 적용 시 고려해야 할 배포 전략
Apps | API |
UI 제공 가능 | 웹/모바일 앱으로 확장 가능 |
사내 포털과 유사한 방식으로 운영 가능 | 전사 배포 시 효율적 |
실행 계정 및 라이선스가 필요해 비용 증가 | 개발 리소스는 추가되지만 운영 비용 절감 |
조직 규모가 클수록 API 방식이 더 유리한 경우가 많아요.
8. 기업형 AI 에이전트 성공의 결정 요인: 문서 구조화
RAG 기반 대화형 에이전트는 단순한 챗봇을 넘어 내부 정책·규정·문서를 이해하는 AI예요.
성공적인 구축을 위해서는 문서 포맷 정리, Index 설계, 고품질 시스템 프롬프트, 적절한 배포 방식 선택
이 네 가지 요소가 매우 중요합니다.
기업은 이 구조를 도입함으로써 정책 안내, 휴가·출장비 질의, HR 규정 안내 등 반복적인 질문에 대한 시간을 크게 줄일 수 있어요.
Q&A
Q. RAG 구조를 도입하면 기존 챗봇과 무엇이 달라지나요?
A. RAG는 단순한 FAQ형 챗봇과 달리,내부 문서를 검색해 근거 기반으로 답변을 생성할 수 있다는 점이 가장 큰 차이예요. 문서에 없는 내용은 “해당 내용이 없습니다”라고 답하도록 설정할 수 있어 정확성과 신뢰도가 크게 올라갑니다.
Q. PDF, 이미지, 표가 많은 문서도 인덱싱이 가능한가요?
A. 가능하지만, 문서 형태에 따라 정확도가 달라져요.
표·이미지가 많은 문서는 고급 인덱싱을 사용해야 하며, 이 경우 유닛이 소모될 수 있어요. 문서 구조가 복잡할 경우 챕터 단위로 나누어 인덱싱하는 방식을 추천합니다.
Q. 내부 정책이나 HR 규정을 챗봇 형태로 제공할 수 있나요?
A. 네,가능합니다. 대화형 에이전트는 승진, 채용, 휴가, 출장비 등과 같은 인사·총무 정책 질의에 매우 적합해요.지정된 문서 인덱스만 사용하도록 설정할 수 있어, 정책에 근거한 일관된 답변을 제공할 수 있습니다.
KS C&C는 RAG 기반 지식형 에이전트 구축 역량을 보유하고 있습니다. 글에서 소개한 스토리지 버킷 관리, 인덱스 구성, 시스템 프롬프트 설계 방식은 KS C&C 연구소에서 실제로 테스트하고 검증한 접근 방식이에요.
기업 환경에서 내규·정책·업무문서 기반의 지식 에이전트를 도입하고 싶거나, RAG 구조를 활용한 자동화 방향을 검토하고 계시다면 KS C&C가 기술적 가능성과 적용 방안을 함께 검토해드릴 수 있어요.
기업 환경에 맞는 에이전트 도입 전략이 필요하시다면 KS C&C에서 기술적 방향성과 적용 가능성을 함께 논의해드릴 수 있어요.
필요하신 내용이나 궁금한 점이 있다면 편하게 문의해주세요.