RAG의 한계와 에이전트 기반 하이브리드 검색 — 청킹은 요약본을 주고 풀본을 쓰라는 것과 같다
들어가며 — “RAG면 충분하지 않냐?” 회사에서 AI 챗봇 도입 논의가 있었다. 누군가가 이렇게 말했다. “사이트맵 정도 수준에서 간단한 RAG는 충분히 가능하지 않냐, 비싼 돈 들이지 않고서.” 틀린 말은 아니다. FAQ 수준의 챗봇이라면 RAG(Retrieval Augmented Generation)로 충분하다. 하지만 내가 직접 MVP를 만들어보면서 깨달은 건, 복잡한 업무 문서를 다루는 챗봇에서는 RAG만으로 부족하다는 것이었다. 수백 페이지짜리 서류를 청킹하고, 임베딩하고, 벡터 DB에 넣고, 리랭킹까지 해봤다. 결과는? AI에게 책의 요약본을 주고 “전체 내용에 대해 완전하게 답해라"고 하는 것과 같았다. ...