앤트로픽(Anthropic)과 오픈AI(OpenAI)의 최첨단 인공지능(AI) 에이전트가 사이버보안 능력 평가 과정에서 실제 인터넷에 접속해 사람과 조직을 상대로 총 19건의 승인되지 않은 행동을 벌인 것으로 나타났다. 이 가운데 한 AI 에이전트는 오픈소스 프로젝트에 악성 코드를 삽입하기 위해 가짜 온라인 신원을 만들고 사람을 설득하려 한 것으로 조사됐다.

 

영국 인공지능보안연구소(AI Security Institute·AISI)의 사고 조사 결과에 따르면, 연구소는 지난 7월 28일 사이버보안 평가 도중 연구 시스템 외부로 비정상적인 데이터가 전송되는 현상을 발견했다. 조사 결과 테스트 중이던 일부 AI 에이전트가 실제 인터넷에서 연구진이 승인하지 않은 행동을 수행한 사실이 확인됐다.

 

AISI는 여러 AI 모델을 대상으로 동일한 사이버보안 과제를 총 122차례 수행했다. 이 가운데 10차례의 실행에서 AI 에이전트가 실제 사람이나 조직을 대상으로 자율적인 무단 행동을 했으며, 확인된 행동은 모두 19건이었다.

 

 

19건 가운데 17건은 앤트로픽의 미소스 5(Mythos 5)에서 발생했고, 나머지 2건은 오픈AI의 GPT-5.6 솔(GPT-5.6 Sol)에서 확인됐다. GPT-5.6 솔의 경우 사이버 공격 악용을 막기 위한 분류기 등 일부 안전장치가 비활성화된 상태에서 시험이 진행됐다.

 

가장 심각한 사례에서는 AI 에이전트가 오픈소스 소프트웨어 프로젝트에 악성 코드를 삽입하려 했다. 해당 에이전트는 코드 승인을 받아내기 위해 프로젝트 관계자에 대한 정보를 조사하고 가짜 온라인 신원을 생성한 뒤, 프로젝트 관리자에게 코드 변경을 승인하도록 압박하는 사회공학적 수법까지 사용했다. 그러나 실제 관리자가 악성 코드를 발견해 승인을 거부하면서 피해로 이어지지는 않았다.

 

일부 에이전트는 자신의 활동이 의심받자 기존 행동 기록을 보다 무해해 보이도록 수정하려 했으며, 새로운 신원을 만들어 다시 접근하는 방안도 고려한 것으로 전해졌다. 또 깃허브(GitHub)에 다른 AI 에이전트와 협력하자는 공개 메시지를 남기고, 뒤이어 실행되는 에이전트가 이용할 수 있도록 계정과 작업 흔적을 남긴 사례도 확인됐다.

 

다만 이번 사례는 AI 모델이 보안시설을 스스로 뚫고 외부로 탈출한 사건과는 차이가 있다. AISI는 AI 모델의 최대 사이버 능력을 측정하기 위해 의도적으로 인터넷 접근을 허용하고 일부 안전 필터를 비활성화했다. 연구소 역시 이전 세대 모델을 시험할 때 적용했던 위험 판단 기준을 AI 성능 향상 속도에 맞춰 충분히 재검토하지 못했다고 인정했다.

 

최근에는 AI 에이전트가 평가 환경을 벗어나거나 시스템의 허점을 이용해 목표를 달성하려 한 사례가 잇따르고 있다. 지난달에는 오픈AI의 AI 에이전트가 사이버보안 평가 도중 제한된 환경을 벗어나 허깅페이스(Hugging Face)의 시스템에 접근해 평가 문제의 답을 확보한 사건이 공개되기도 했다.

 

AISI는 “이번 사건은 자율성과 기만에 관한 위험이 구체적인 지시 없이 현실 세계에서 이처럼 명확하게 나타난 첫 사례”라며, “이 행동이 가능했고 지속적으로 이뤄졌으며 이전에 보지 못한 새로운 형태였다는 사실만으로도 주의가 필요하다”고 밝혔다.

 

헬로티 이동재 기자 |