미국 볼티모어 카운티 켄우드 고등학교에서 AI 총기 감지 시스템이 학생이 들고 있던 스낵 봉지를 총으로 오인해 무장 경찰이 출동하고 해당 학생이 수갑을 채워지는 사건이 발생했다. WBLTV는 22일(현지시간) 16세 학생 타키 앨런이 칩을 먹던 중 총을 든 경찰들에게 제압당해 바닥에 엎드린 뒤 수갑이 채워졌다고 보도했다.

타키 앨런은 “그들은 나를 무릎 꿇게 하고 두 손을 등 뒤로 짚게 한 다음 수갑을 채웠다. 그리고 수색했는데 내게 아무것도 없다는 걸 알아냈다”며 “그다음 내가 서 있던 곳에서 칩 한 봉지를 발견했다”고 말했다. 경찰은 그에게 AI 감지기를 작동시킨 사진을 보여줬고, “도리토스 봉지를 들고 있었는데 두 손과 한 손가락이 나와 있었고 총처럼 보인다고 했다”고 설명했다. 카운티 경찰은 “용의자가 수색받았고 무기를 소지하고 있지 않은 것으로 확인됐다”며 “수갑을 채웠지만 체포하지는 않았다”고 밝혔다.

볼티모어 카운티 고등학교들은 지난해 학교 카메라에 무기를 감지하는 AI 총기 감지 시스템을 도입했다. 이 시스템은 무기를 식별하고 학교 안전팀과 법 집행 기관에 경고를 보낼 수 있다. AI 총기 감지 소프트웨어 회사 옴니럿(Omnilert)은 BBC와의 인터뷰에서 “나중에 해당 물체가 총기가 아닌 것으로 판명됐지만, 절차는 의도한 대로 진행됐다. 즉, 신속한 검증을 통해 안전과 인식을 우선시하는 것”이라고 밝혔다. 학교 교장은 학부모들에게 편지를 보내 “수색을 당한 학생과 사건을 목격한 다른 학생들이 얼마나 당황했는지 잘 알고 있다. 상담원들이 이 사건에 연루된 학생들에게 직접적인 지원을 제공할 것”이라고 전했다. 이 사건은 AI 시스템의 오탐지가 실제 상황에서 초래할 수 있는 심각한 영향을 보여준다.