구글, RAG 시스템의 환각 현상 해결하는 ‘충분한 맥락’ 기법 개발

구글 연구팀이 RAG(Retrieval Augmented Generation) 시스템의 오답과 환각 현상을 획기적으로 줄일 수 있는 새로운 접근법을 발표했다. ICLR 2025에 게재된 연구논문 “Sufficient Context: A New Lens on Retrieval Augmented Generation Systems”을 통해 공개된 이 기법은 검색된 정보가 질문에 답하기에 ‘충분한 맥락’을 갖췄는지 판단하는 방법론을 제시한다.

검색 정보의 충분성이 핵심 문제

RAG 시스템은 외부 정보를 검색해 대형언어모델(LLM)의 답변 품질을 향상시키는 기술로 널리 활용되고 있지만, 여전히 잘못된 정보를 생성하는 환각 현상이 발생한다. 기존 연구는 검색된 정보의 관련성에만 집중했지만, 구글 연구팀은 정보가 실제로 질문에 답하기에 충분한지 여부가 더 중요하다고 판단했다. 연구진은 “맥락의 관련성만으로는 충분하지 않다. 우리가 정말 알고 싶은 것은 LLM이 질문에 답할 수 있을 만큼 충분한 정보를 제공하는지 여부”라고 설명했다.

대형 모델과 소형 모델의 상반된 행동 패턴

연구 결과에 따르면 Gemini, GPT, Claude 등 대형 상용 모델들은 충분한 맥락이 제공될 때 높은 정확도를 보이지만, 불충분한 맥락에서도 답변을 거부하지 않고 잘못된 답을 제시하는 경향이 있다. 반면 Llama, Mistral, Gemma 등 오픈소스 소형 모델들은 충분한 맥락이 있어도 환각을 일으키거나 답변을 회피하는 경우가 많았다. 흥미롭게도 모델들이 불충분한 맥락에서도 35-62%의 정확도로 올바른 답을 제시할 수 있다는 사실도 발견됐다.

‘충분한 맥락’ 자동 판별 시스템 구축

연구팀은 충분한 맥락을 “질문에 대한 확정적 답변을 제공하는 데 필요한 모든 정보를 포함한 상태”로 정의하고, 불충분한 맥락을 “필요한 정보가 부족하거나 불완전하거나 모순된 정보를 포함한 상태”로 분류했다. 예를 들어 “404 오류 코드는 어느 유명한 연구소의 404호실 이름에서 따온 것인가?”라는 질문에 대해 CERN의 404호실에 대한 구체적인 설명이 있다면 충분한 맥락이고, 단순히 404 오류에 대한 일반적 설명만 있다면 불충분한 맥락으로 분류된다.

선택적 생성 기법으로 환각 현상 감소

이러한 분석을 바탕으로 연구팀은 신뢰도 점수와 충분한 맥락 신호를 결합해 언제 답변하고 언제 답변을 보류할지 결정하는 ‘선택적 생성’ 기법을 개발했다. 이 방법은 Gemini, GPT, Gemma에서 모델이 응답할 때의 정답 비율을 2-10% 향상시켰다. 구글의 시니어 연구과학자 Cyrus Rashtchian은 “엔지니어들은 검색 구성요소의 유사도 점수 이상의 것을 살펴봐야 한다”며 추가적인 신호의 중요성을 강조했다.

기업용 RAG 시스템 개선 지침 제시

연구팀은 실제 기업 환경에서 RAG 시스템을 개선하려는 팀들을 위한 실용적 접근법도 제시했다. 먼저 실제 운영에서 접하게 될 질문-맥락 쌍의 데이터셋을 수집하고, LLM 기반 자동평가기를 사용해 각 예시의 맥락 충분성을 라벨링하라고 권장했다. 만약 충분한 맥락의 비율이 80-90% 미만이라면 검색이나 지식베이스 측면에서 개선할 여지가 많다는 것이다.

RAG 기술 발전의 새로운 이정표

이번 연구는 RAG 시스템의 성능을 단순히 검색 정확도나 생성 품질로만 평가하던 기존 관점에서 벗어나, 정보의 충분성이라는 새로운 차원을 제시했다는 점에서 의미가 크다. 특히 신뢰성과 사실 정확성이 중요한 기업용 AI 애플리케이션 개발에 실질적인 도움을 줄 것으로 기대된다. 연구팀은 향후 다양한 검색 방법이 맥락 충분성에 미치는 영향을 분석하고, 검색 품질 신호를 활용한 모델 후처리 개선 방안을 탐구할 계획이라고 밝혔다.