기술 트렌드
LLM 활용의 초점이 '어떻게 물어볼까'에서 '무엇을 보여줄까'로 옮겨가고 있습니다. 컨텍스트 엔지니어링이 무엇이고 왜 주목받는지, 개발자에게 어떤 역량을 요구하는지 정리했습니다.
생성형 AI가 처음 대중화되던 시기에는 '프롬프트 엔지니어링'이 가장 주목받는 기술이었습니다. 질문을 어떻게 쓰느냐에 따라 답변의 질이 크게 달라졌기 때문에, 역할을 지정하고 예시를 붙이고 단계별로 생각하도록 유도하는 요령이 활발히 공유됐습니다. 그러나 LLM이 실제 서비스와 업무 시스템 안으로 들어오면서 개발 현장의 관심은 한 단계 더 나아갔습니다. 문장 한 줄을 다듬는 것보다 모델이 답을 만들 때 참고하는 정보 전체를 어떻게 설계하느냐가 결과를 좌우한다는 인식이 퍼진 것입니다. 이를 가리키는 말이 바로 '컨텍스트 엔지니어링(Context Engineering)'입니다.
【컨텍스트 엔지니어링이란 무엇인가】 컨텍스트란 LLM이 한 번의 응답을 생성할 때 입력으로 받는 모든 정보를 뜻합니다. 사용자의 질문뿐 아니라 시스템 지시문, 이전 대화 기록, 검색으로 찾아온 문서, 외부 도구의 실행 결과, 사용자 설정이나 업무 규칙 같은 데이터가 모두 여기에 포함됩니다. 컨텍스트 엔지니어링은 이 정보들을 어떤 기준으로 고르고, 어떤 순서와 형식으로 배치하며, 얼마만큼 담을지를 체계적으로 설계하는 작업입니다. 2025년 중반 안드레이 카파시(Andrej Karpathy) 등 업계 주요 인사들이 이 용어를 적극적으로 언급하면서 개발자 커뮤니티에 빠르게 확산됐습니다.
【왜 프롬프트만으로는 부족해졌나】 간단한 질의응답이라면 잘 쓴 프롬프트 하나로 충분합니다. 하지만 기업 내부 문서를 근거로 답하는 챗봇, 여러 단계를 거쳐 작업을 수행하는 AI 에이전트, 사용자의 이전 이력을 기억해야 하는 개인화 서비스처럼 복잡한 애플리케이션에서는 사정이 다릅니다. 모델이 알아야 할 정보가 질문 바깥에 흩어져 있고, 그 정보를 적절히 가져와 정리해 주지 않으면 아무리 뛰어난 모델이라도 엉뚱한 답을 내놓거나 사실과 다른 내용을 그럴듯하게 만들어 낼 수 있습니다. 결국 결과의 품질은 모델의 성능만큼이나 '모델에게 무엇을 보여주었는가'에 달려 있습니다.
【컨텍스트 창이 커져도 설계가 필요한 이유】 최근 LLM이 한 번에 처리할 수 있는 컨텍스트 길이는 크게 늘어났습니다. 그렇다면 관련 자료를 전부 넣으면 되지 않느냐는 질문이 나올 수 있지만, 현실은 그렇게 단순하지 않습니다. 2023년 발표된 'Lost in the Middle' 연구는 긴 입력의 중간에 위치한 정보를 모델이 상대적으로 잘 활용하지 못하는 경향을 보고했습니다. 또한 입력이 길어질수록 처리 비용과 응답 시간이 늘어나고, 관련 없는 정보가 섞이면 오히려 답변의 정확도가 떨어질 수 있습니다. 그래서 많이 넣는 것보다 필요한 것을 정확히 골라 넣는 능력이 중요해졌습니다.
【핵심 구성 요소 ① 검색과 선별】 컨텍스트 엔지니어링의 출발점은 필요한 정보를 찾아오는 일입니다. 대표적인 방식이 검색 증강 생성(RAG)으로, 문서를 의미 단위로 나누고 임베딩해 벡터 데이터베이스에 저장한 뒤 질문과 관련성이 높은 조각을 찾아 모델에 전달합니다. 이때 문서를 어떤 크기로 나눌지, 키워드 검색과 의미 검색을 어떻게 조합할지, 검색 결과를 다시 정렬하는 리랭킹을 적용할지 같은 결정이 최종 답변의 품질에 직접적인 영향을 줍니다.
【핵심 구성 요소 ② 메모리와 상태 관리】 대화가 길어지거나 에이전트가 여러 단계에 걸쳐 일을 처리할 때는 무엇을 기억하고 무엇을 버릴지 정해야 합니다. 오래된 대화를 요약해 압축하거나, 중요한 사실만 별도의 장기 메모리에 저장했다가 필요할 때 불러오는 방식이 널리 쓰입니다. 에이전트의 경우 도구 호출 결과가 계속 쌓이면 컨텍스트가 금세 포화되기 때문에, 중간 결과를 정리하고 다음 단계에 꼭 필요한 정보만 넘기는 설계가 안정성을 좌우합니다.
【핵심 구성 요소 ③ 도구와 구조화된 출력】 모델이 외부 API나 데이터베이스를 호출할 수 있도록 도구를 정의하는 것도 컨텍스트 설계의 일부입니다. 도구의 이름과 설명, 입력 형식을 명확하게 작성해야 모델이 상황에 맞는 도구를 올바르게 선택합니다. 또 모델의 출력을 JSON 같은 정해진 형식으로 받도록 설계하면 후속 처리 코드와 안정적으로 연결할 수 있습니다. 이런 작업은 전통적인 소프트웨어 설계, 데이터 모델링 역량과 맞닿아 있어 개발자의 기본기가 그대로 드러나는 영역이기도 합니다.
【평가 없이는 개선도 없다】 컨텍스트를 바꿨을 때 결과가 정말 좋아졌는지 확인하려면 체계적인 평가가 필요합니다. 대표 질문과 기대 답변으로 테스트 세트를 만들고, 검색 정확도와 답변의 사실성, 응답 시간과 비용을 함께 측정하는 방식이 점차 표준적인 개발 절차로 자리 잡고 있습니다. 감에 의존해 프롬프트를 고치던 방식에서 벗어나, 데이터를 근거로 반복 개선하는 엔지니어링 문화가 LLM 애플리케이션 개발에도 정착하고 있는 것입니다.
【개발자에게 요구되는 역량의 변화】 이 흐름이 시사하는 바는 분명합니다. AI 서비스 개발에서 경쟁력은 특정 모델의 사용법을 외우는 데서 나오지 않습니다. 데이터를 수집하고 정제하는 능력, 검색 시스템과 데이터베이스를 이해하는 능력, API와 백엔드 구조를 설계하는 능력, 그리고 결과를 측정하고 개선하는 능력이 결합될 때 실제로 쓸 수 있는 AI 서비스가 만들어집니다. 모델은 계속 바뀌지만 이런 기본기는 새로운 모델과 도구가 등장해도 그대로 활용할 수 있는 자산입니다.