기술 트렌드

LLM에 회사 지식을 붙이는 법… RAG와 벡터 검색의 진화

휴먼에이아이2026.11.10

대규모 언어모델은 학습하지 않은 사내 문서나 최신 정보를 알지 못합니다. 이 한계를 보완하는 대표적인 방법이 검색 증강 생성(RAG)이며, 최근에는 단순한 벡터 검색을 넘어 하이브리드 검색, 재순위화, 에이전트형 검색으로 발전하고 있습니다. RAG의 동작 원리와 최신 흐름, 개발자가 익혀야 할 역량을 정리합니다.

【왜 RAG인가】 ChatGPT, Claude, Gemini 같은 대규모 언어모델(LLM)은 방대한 데이터로 학습했지만, 학습 시점 이후의 정보나 기업 내부 문서처럼 공개되지 않은 지식은 알지 못합니다. 모르는 내용을 그럴듯하게 지어내는 환각(hallucination) 문제도 있습니다. 이를 보완하기 위해 질문과 관련된 문서를 먼저 검색해 모델에 함께 전달하고, 모델이 그 근거를 바탕으로 답하게 하는 방식이 검색 증강 생성(Retrieval-Augmented Generation, RAG)입니다. 이 개념은 2020년 메타(당시 페이스북) AI 연구진의 논문에서 정식화되었고, 생성형 AI가 기업에 도입되면서 사내 지식 검색, 고객 상담, 기술 문서 질의응답 등에 가장 널리 쓰이는 구조가 되었습니다.

【기본 동작 원리】 전형적인 RAG 파이프라인은 크게 색인과 질의 두 단계로 나뉩니다. 색인 단계에서는 문서를 적당한 크기의 조각(청크)으로 나누고, 임베딩 모델을 이용해 각 조각을 의미를 담은 숫자 벡터로 변환해 저장합니다. 질의 단계에서는 사용자 질문도 같은 방식으로 벡터화한 뒤, 의미적으로 가까운 문서 조각을 찾아 질문과 함께 프롬프트에 넣어 LLM에 전달합니다. 모델을 새로 학습시키지 않고도 문서만 바꾸면 최신 지식을 반영할 수 있고, 답변의 출처를 함께 제시할 수 있다는 점이 큰 장점입니다.

【벡터 데이터베이스의 등장과 일반화】 수많은 벡터 중 질문과 가까운 것을 빠르게 찾으려면 근사 최근접 이웃(ANN) 검색이 필요합니다. HNSW 같은 그래프 기반 인덱스가 대표적이며, 이를 전문적으로 다루는 Pinecone, Milvus, Weaviate, Qdrant, Chroma 같은 벡터 데이터베이스가 주목받았습니다. 동시에 기존 데이터베이스도 벡터 기능을 흡수하고 있습니다. PostgreSQL의 확장인 pgvector, Elasticsearch와 OpenSearch의 벡터 검색, 주요 클라우드 데이터베이스의 벡터 타입 지원이 대표적입니다. 그 결과 벡터 검색은 별도의 특수 기술이라기보다 데이터베이스가 갖춰야 할 기본 기능 중 하나로 자리 잡는 흐름입니다.

【벡터 검색만으로는 부족하다: 하이브리드 검색】 실무에서 RAG를 운영해 보면 벡터 검색의 약점이 드러납니다. 의미는 잘 잡아내지만 제품 코드, 에러 메시지, 고유명사처럼 정확한 문자열 일치가 중요한 질의에는 약할 수 있습니다. 그래서 BM25 같은 전통적인 키워드 검색과 벡터 검색 결과를 함께 활용하는 하이브리드 검색이 사실상 표준적인 구성으로 자리 잡았습니다. 두 결과를 합칠 때는 순위를 기반으로 점수를 융합하는 RRF(Reciprocal Rank Fusion) 같은 기법이 자주 쓰입니다. 오래된 검색 기술이 생성형 AI 시대에 다시 중요해졌다는 점은 흥미로운 대목입니다.

【재순위화와 청킹 전략】 검색 품질을 높이는 또 하나의 핵심은 재순위화(reranking)입니다. 1차 검색으로 후보 문서를 넉넉히 뽑은 뒤, 질문과 문서를 함께 입력받아 관련도를 더 정밀하게 판단하는 크로스 인코더 계열 모델로 순서를 다시 매기는 방식입니다. 문서를 어떻게 나누느냐도 결과에 큰 영향을 줍니다. 고정 길이로 자르면 문맥이 끊기기 쉬워, 제목과 단락 구조를 따르는 분할, 조각 사이를 일부 겹치게 하는 방식, 각 조각에 상위 문서의 요약이나 맥락을 덧붙이는 방식 등이 활용됩니다. 표, PDF, 이미지가 섞인 문서를 정확히 파싱하는 전처리 역시 성능을 좌우하는 숨은 과제입니다.

【GraphRAG와 에이전트형 RAG】 최근의 발전 방향은 크게 두 갈래로 볼 수 있습니다. 하나는 지식 그래프를 결합하는 접근입니다. 마이크로소프트 연구진이 2024년에 공개한 GraphRAG는 문서에서 개체와 관계를 추출해 그래프로 구성하고, 이를 바탕으로 문서 전체를 아우르는 질문에 더 잘 답하도록 설계되었습니다. 다른 하나는 에이전트형 RAG입니다. 한 번 검색하고 끝내는 대신, LLM이 질문을 하위 질문으로 쪼개고, 어떤 검색 도구를 쓸지 스스로 판단하며, 결과가 부족하면 다시 검색하는 방식입니다. 검색이 고정된 전처리 단계에서 에이전트가 사용하는 여러 도구 중 하나로 바뀌어 가는 셈입니다.

【긴 컨텍스트 시대에도 RAG가 필요한가】 최신 LLM은 수십만 토큰 이상의 긴 입력을 처리할 수 있게 되면서, 문서를 통째로 넣으면 RAG가 필요 없지 않느냐는 논의도 있습니다. 실제로 문서 양이 적다면 전부 넣는 편이 간단하고 정확할 수 있습니다. 하지만 기업의 지식 저장소는 대개 모델의 입력 한도를 훨씬 넘고, 입력이 길수록 비용과 응답 시간이 늘어나며, 긴 입력 중간의 정보를 놓치는 현상도 보고되어 왔습니다. 또한 사용자별 접근 권한에 따라 볼 수 있는 문서를 걸러내는 기능은 검색 계층에서 처리하는 것이 자연스럽습니다. 따라서 현재는 둘 중 하나를 고르기보다, 검색으로 범위를 좁힌 뒤 넉넉한 컨텍스트에 담는 식의 조합이 현실적인 방향으로 받아들여지고 있습니다.

【평가와 운영이 진짜 과제】 RAG 시스템은 데모를 만들기는 쉽지만 실서비스 수준의 품질을 내기는 어렵습니다. 그래서 평가 체계가 중요해졌습니다. 검색 단계에서는 정답 문서를 상위에 잘 가져오는지를 재현율, MRR 같은 지표로 보고, 생성 단계에서는 답변이 검색된 근거에 충실한지, 질문에 적절히 답했는지를 확인합니다. Ragas 같은 오픈소스 평가 도구나 LLM을 채점자로 활용하는 방식이 쓰이지만, 결국 도메인에 맞는 질문과 정답 데이터셋을 직접 구축하는 일이 품질 관리의 출발점입니다. 문서가 바뀔 때 색인을 갱신하는 파이프라인, 개인정보와 권한 관리, 프롬프트 인젝션에 대한 방어도 운영 단계에서 함께 고려해야 합니다.

【개발자가 익혀야 할 역량】 RAG는 AI 연구자만의 영역이 아니라 백엔드와 데이터 엔지니어링 역량이 크게 요구되는 분야입니다. 임베딩과 유사도의 개념, 벡터 인덱스의 동작 방식, 키워드 검색과 형태소 분석 같은 정보 검색 기초, 문서 파싱과 데이터 파이프라인 구성, API 기반 LLM 호출과 비용 관리가 모두 필요합니다. 특히 한국어 서비스라면 한국어 문서에 대한 임베딩 모델의 성능과 키워드 검색의 형태소 처리를 별도로 점검해야 합니다. LangChain, LlamaIndex 같은 프레임워크로 빠르게 시작할 수 있지만, 내부에서 무슨 일이 일어나는지 이해해야 문제가 생겼을 때 원인을 찾을 수 있습니다.

【마무리】 RAG는 LLM을 실제 업무 데이터와 연결하는 가장 실용적인 방법으로 자리 잡았고, 그 핵심은 결국 좋은 검색입니다. 단순한 벡터 검색에서 시작해 하이브리드 검색, 재순위화, 그래프, 에이전트로 확장되는 흐름은 생성형 AI가 기존 검색과 데이터 기술 위에서 성장하고 있음을 보여줍니다. 취업이나 전직을 준비한다면 작은 문서 묶음으로 직접 RAG를 구성해 보고, 검색 방식과 청킹 전략을 바꿔 가며 결과를 비교하고 평가해 보는 경험이 이 분야를 이해하는 가장 확실한 방법이 될 것입니다.