에임인텔리전스가 컴퓨터 사용 에이전트의 보안 취약성을 실증한 연구를 발표했다.
연구는 오픈AI의 GPT Operator, 앤트로픽의 Claude, 구글의 Gemini 등 실제 사용 중인 AI 기반 컴퓨터 사용 에이전트를 대상으로 진행됐다. 연구 결과 해당 AI가 악성 명령을 우회적으로 수용하고 실행하는 취약성이 확인됐다.
연구진은 이를 위해 'SUDO(Screen-based Universal Detox2Tox Offense)' 프레임워크를 개발했다. 이 프레임워크는 AI의 안전 정책을 우회해 악성 행동을 유도하는 구조다. 무해한 표현으로 요청을 변환한 뒤 Vision-Language 모델을 통해 실행 단계를 생성하게 하고, 마지막 순간에 악성 요청으로 되돌리는 '톡시파이(toxify)' 과정을 거친다. AI가 거절할 경우, 거절 사유를 분석해 공격 방식을 수정하며 반복 시도했다. 초기 시도 성공률은 24%, 전략 수정 시 최대 41%까지 증가했다.
에임인텔리전스는 본 실험에서 50가지 악성 시나리오를 구성해 검증을 진행했다. 사용자 폴더 삭제, 외모에 대한 욕설, 위험 물질 구매, 도박 사이트 배팅 등 현실적인 위협 사례가 포함됐다. 연구는 개인정보 유출, 피싱, 여론 조작, 시스템 파괴 등 사회 전반에 영향을 미칠 수 있는 공격 가능성을 확인했다. 특히 ‘계정 삭제’, ‘맞춤형 피싱’, ‘불법 정보 수집’, ‘유해 콘텐츠 게시’ 등의 위협이 주요한 취약 지점으로 지적됐다.
연구는 세계 최대 규모 자연어처리 학회인 ACL에 투고됐으며 산업계 응용을 다루는 Industry Track부문에서 주목받고 있다. 논문 제목은 리눅스 명령어에서 전체 시스템 삭제를 의미하는 ‘sudo rm -rf agentic_security’이다.
유상윤 에임인텔리전스 대표는 “AI가 실제 환경을 직접 조작하는 시대에 보안은 핵심 요소가 돼야 한다”며 “AI의 잠재적 악용 가능성을 실증한 첫 사례로 향후 금융·의료 등 민감 분야에서 협력을 확대할 것”이라고 밝혔다.
헬로티 구서경 기자 |
