"우리 회사 자료를 학습한 챗봇을 만들 수 있나요?"는 AI 도입 상담에서 가장 자주 듣는 질문입니다. 이를 구현하는 대표적인 방법이 **RAG(Retrieval-Augmented Generation, 검색 증강 생성)**입니다. 트레넷이 HRD 원격훈련 LMS에 AI 학습 챗봇을 구축한 경험을 바탕으로 정리했습니다.
RAG 챗봇이란 무엇인가요?
RAG 챗봇은 질문과 관련된 문서를 먼저 검색한 뒤, 그 내용을 근거로 LLM이 답변을 만드는 챗봇입니다. LLM이 모르는 회사 내부 정보도 문서만 있으면 답할 수 있고, 답변의 근거가 된 문서를 함께 보여줄 수 있습니다.
일반 ChatGPT와 무엇이 다른가요?
| 구분 | 일반 LLM 챗봇 | RAG 챗봇 | |---|---|---| | 지식 범위 | 학습 시점까지의 공개 정보 | 회사가 넣은 문서까지 포함 | | 최신 정보 반영 | 재학습 필요 | 문서만 추가·수정하면 즉시 반영 | | 근거 제시 | 어려움 | 참고한 문서 출처 제시 가능 | | 잘못된 답변(환각) | 상대적으로 많음 | 문서 근거로 줄일 수 있음 |
RAG 챗봇은 어떻게 만드나요?
- 문서 수집·정리 — 매뉴얼, 강의 자료, FAQ 등 답변 근거가 될 문서를 모읍니다.
- 분할(청킹) — 문서를 검색하기 좋은 크기의 조각으로 나눕니다.
- 임베딩·저장 — 각 조각을 벡터로 변환해 벡터 DB에 저장합니다. HRD LMS에서는 PostgreSQL의 pgvector를 사용해 별도 DB 없이 기존 데이터베이스에서 검색하도록 구성했습니다.
- 검색 — 질문이 들어오면 의미가 가까운 문서 조각을 찾습니다.
- 답변 생성 — 찾은 조각을 LLM에 함께 넘겨 근거 기반 답변을 만듭니다.
- 평가·개선 — 실제 질문으로 답변 품질을 점검하고 분할 방식·프롬프트를 조정합니다.
도입 전에 무엇을 준비해야 하나요?
- 문서 품질: 답변 품질은 문서 품질을 넘지 못합니다. 오래되거나 서로 모순되는 문서는 먼저 정리해야 합니다.
- 보안·권한: 직원별로 볼 수 있는 문서가 다르다면 검색 단계에서 권한을 반영해야 합니다.
- 답변 범위: "문서에 없는 내용은 모른다고 답한다" 같은 규칙을 정해 두면 잘못된 답변을 줄일 수 있습니다.
- 운영 비용: LLM API 사용료가 질문 수에 비례해 발생하므로 예상 사용량을 미리 산정합니다.
어디에 활용할 수 있나요?
- 사내 규정·업무 매뉴얼 안내
- 교육·강의 자료 기반 학습 도우미 (HRD LMS 적용 사례)
- 제품 매뉴얼 기반 고객 상담
- 계약서·기술 문서 검색
개발 기간과 비용은?
단순 LLM 연동과 권한 관리·평가 체계까지 갖춘 사내 시스템은 범위 차이가 큽니다. 자동 견적에서 AI 솔루션 유형을 선택하면 대략적인 범위를 확인할 수 있고, 정확한 범위는 보유 문서와 요구사항을 확인한 뒤 확정됩니다.
HRD LMS 구축 사례는 포트폴리오에서 자세히 볼 수 있습니다.