“암호화해도 대화 주제 유출”…MS, LLM 신종 사이드채널 공격 ‘Whisper Leak’ 발견

Slug: microsoft-whisper-leak-llm-side-channel-attack

마이크로소프트가 암호화된 통신 상태에서도 언어모델과의 대화 주제를 추론할 수 있는 신종 사이드채널 공격 ‘Whisper Leak’을 발견했다. 7일(현지시간) MS 디펜더 보안 연구팀에 따르면 이 공격은 네트워크 패킷 크기와 타이밍 정보만으로 사용자가 챗봇과 어떤 주제로 대화하는지 파악할 수 있으며, TLS(전송 계층 보안) 종단간 암호화에도 불구하고 작동한다. 국가 기관이나 ISP 레벨의 공격자, 로컬 네트워크나 동일 Wi-Fi 라우터에 연결된 누군가가 암호화된 트래픽을 관찰할 수 있다면, 사용자의 프롬프트가 특정 주제와 관련 있는지 추론할 수 있다. MS는 여러 벤더와 협력해 위험을 완화했으며, MS 소유 언어모델 프레임워크도 보호 조치를 완료했다고 밝혔다.

Whisper Leak은 스트리밍 모드 언어모델의 고유한 특성을 악용한다. 언어모델은 한 번에 하나의 토큰씩 예측하며 응답을 생성하고, 사용자 경험을 위해 생성된 텍스트를 즉시 스트리밍한다. MS 연구팀은 이 과정에서 발생하는 암호화된 패킷의 크기와 도착 시간 시퀀스가 초기 프롬프트의 주제를 분류할 수 있을 만큼 충분한 정보를 담고 있다는 가설을 세웠다. 실험에서는 “자금세탁의 합법성”을 타겟 주제로 설정하고, 이와 관련된 100개의 의미상 유사한 질문 변형과 Quora Questions Pair 데이터셋에서 추출한 11,716개의 무관한 질문을 사용했다. LightGBM, LSTM, BERT 기반 세 가지 머신러닝 모델로 평가한 결과, 다수 모델에서 98% 이상의 공격 성공률을 기록했다.

실제 감시 시나리오 시뮬레이션에서 결과는 더욱 충격적이다. 10,000개의 무작위 대화 중 타겟 민감 주제에 관한 대화가 단 하나만 섞여 있는 극단적 불균형 상황에서도, 공격자는 100% 정밀도(플래그된 대화가 모두 타겟 주제와 관련)를 달성하면서 동시에 타겟 대화의 5~50%를 포착할 수 있었다. 즉, 정부 기관이나 ISP가 인기 AI 챗봇 트래픽을 모니터링한다면 자금세탁, 정치적 반체제, 기타 감시 대상 주제에 대해 질문하는 사용자를 암호화된 상태에서도 신뢰성 있게 식별할 수 있다는 의미다. MS는 “공격 효과는 공격자가 더 많은 훈련 데이터를 수집할수록 향상되며, 다중 턴 대화나 동일 사용자의 여러 대화에서 더 풍부한 패턴을 활용하면 성공률이 더 높아질 수 있다”고 경고했다.

MS는 영향받는 벤더들과 책임 있는 공개를 진행했으며, OpenAI, Mistral, Microsoft, xAI가 보호 조치를 배포했다고 밝혔다. OpenAI와 이를 미러링한 Azure는 스트리밍 응답에 “obfuscation”이라는 추가 필드를 구현해 가변 길이의 무작위 텍스트 시퀀스를 각 응답에 추가함으로써 토큰 길이를 마스킹한다. MS는 Azure의 완화 조치가 공격 효과를 실용적 위험이 아닌 수준으로 낮추는 데 성공했음을 직접 확인했다. Mistral도 유사한 효과를 가진 “p”라는 새 파라미터를 추가했다. 사용자는 신뢰할 수 없는 네트워크에서 민감한 주제 논의를 피하고, VPN 서비스를 사용하며, 완화 조치를 구현한 제공업체를 선호하고, 비스트리밍 모델을 사용하는 등의 추가 보호 조치를 취할 수 있다.

이번 발견은 AI 시대의 프라이버시 보호가 단순히 암호화만으로는 불충분하다는 점을 보여준다. 암호화가 콘텐츠를 보호하더라도 메타데이터와 통신 패턴은 민감한 정보를 노출할 수 있다. 특히 억압적 정부 하에서 시위, 금지된 자료, 선거 과정, 저널리즘 같은 주제에 대해 질문하는 사용자에게 실질적 위험을 초래한다. MS가 모델과 데이터 수집 코드를 Whisper Leak 리포지토리에 공개하며 투명성을 유지한 것은 보안 커뮤니티의 협력적 대응을 촉진하는 긍정적 선례다. AI 서비스 제공자들은 이제 단순한 암호화를 넘어 통신 패턴 난독화까지 고려해야 하는 새로운 보안 과제에 직면하게 됐다.

태그: #마이크로소프트 #WhisperLeak #AI보안