생성형 AI와 AI 에이전트가 기업 업무 전반으로 빠르게 확산되면서 보안 위협 역시 새로운 국면으로 접어들고 있다. 파수 AI의 강봉호 본부장은 “이제 AI는 단순 해킹 도구가 아니라 스스로 공격을 수행하는 자율형 에이전트로 진화하고 있다”고 진단했다. 실제 랜섬웨어와 서버 해킹, 공급망 공격은 급증하고 있으며, 기업 내부 데이터와 AI 시스템을 동시에 겨냥한 공격도 빠르게 늘고 있다. 이에 따라 AI 가드레일, 제로트러스트, 데이터 권한 통제, 반복형 보안 훈련이 기업 AI 전략의 핵심 과제로 떠오르고 있다. AI 시대 보안은 더 이상 IT 부서만의 문제가 아니라 조직 전체의 생존 전략으로 재정의되고 있다.
사이버 위협의 패러다임이 바뀌고 있다
AI 시대가 본격화되면서 기업 보안 환경 역시 이전과는 완전히 다른 국면으로 접어들고 있다. 과거의 사이버 공격은 사람이 직접 악성코드를 만들고 취약점을 분석해 시스템을 공격하는 방식이었다. 하지만 이제 공격의 주체 자체가 AI로 이동하고 있다. 생성형 AI와 AI 에이전트가 빠르게 발전하면서 해킹 역시 자동화·지능화 단계로 진입하고 있다는 분석이다.
파수 AI 강봉호 본부장은 “이제 AI는 해커를 돕는 수준이 아니라 스스로 목표를 설정하고 공격하는 자율형 주체로 변하고 있다”고 설명했다. 특히 최근 공격 패턴은 기존과 달리 자동화된 에이전트 기반으로 진화하고 있으며, 피해 범위 역시 특정 기업을 넘어 공급망 전체로 확산되는 양상을 보이고 있다고 강조했다.
실제 국내 사이버 위협 상황도 심각하다. KISA 사이버 위협 동향 보고서에 따르면 지난해 보안 사고 신고 건수는 약 2300건 수준으로 집계됐다. 이는 전년 대비 약 26% 증가한 수치이며, 2년 전과 비교하면 거의 두 배 수준까지 늘어난 것이다. 특히 서버 해킹은 전체 사고의 44% 이상을 차지했고, 디도스 공격은 100% 이상 급증했다. 랜섬웨어 공격 역시 40% 이상 증가한 것으로 나타났다.
문제는 공격 대상도 달라지고 있다는 점이다. 과거 랜섬웨어 조직들은 의료·교육 분야처럼 사회적 비난 가능성이 높은 영역은 비교적 피하는 경향이 있었다. 하지만 최근에는 병원과 학교까지 공격 대상이 되고 있다. 단순 금전 탈취를 넘어 사회 기반 시설 전체를 압박하는 전략으로 이동하고 있다는 의미다.
특히 공급망 공격이 새로운 핵심 위협으로 떠오르고 있다. 하나의 기업만 공격하는 것이 아니라 협력사와 고객사까지 연쇄적으로 영향을 미치는 구조다. AI 기반 공격은 이 과정에서 더욱 위험해지고 있다. 생성형 AI를 활용하면 악성 이메일이나 피싱 시나리오를 자동 생성할 수 있고, 공격 대상에 맞춘 개인화 공격도 가능해진다.
강 본부장은 바이브 코딩 사례도 언급했다. 개발 경험이 없는 직원조차 생성형 AI를 활용해 고도화된 프로그램을 만들 수 있을 정도로 AI의 진입장벽이 낮아졌다는 것이다. 문제는 이 기술이 공격자에게도 동일하게 열려 있다는 점이다. AI는 이제 생산성 혁신 도구이면서 동시에 가장 강력한 공격 도구가 되고 있다.
생성형 AI 도입 열풍…기업 보안은 아직 준비되지 않았다
기업들의 생성형 AI 도입 속도는 매우 빠르다. 최근 대부분의 조직은 ChatGPT나 코파일럿, 클로드 같은 AI 서비스를 업무에 활용하기 시작했다. 이제는 단순 챗봇 수준을 넘어 AI 에이전트와 MCP(Model Context Protocol)를 활용해 내부 업무 시스템과 직접 연결하는 단계까지 이동하고 있다. 문제는 AI 확산 속도에 비해 보안 체계는 아직 충분히 준비되지 않았다는 점이다.
강봉호 본부장은 실제 현장에서 보안 담당자들의 고민이 커지고 있다며 한 교육청 보안 담당자의 사례를 소개했다. 해당 담당자는 “AI 구축 부서는 보안에는 관심이 없고 무조건 기능만 추진한다”며, 자신이 보안을 이야기하면 오히려 AI 혁신을 막는 사람처럼 보이는 상황이라고 토로했다.
이 같은 문제는 AI 기술 자체가 아직 ‘통제 중심’보다 ‘활용 촉진 중심’ 단계에 있기 때문이라는 분석도 나온다. 실제 한국은 세계에서 두 번째로 AI 기본법을 시행한 국가다. 하지만 법안 내용 역시 단순 규제보다는 AI 활용 촉진과 안전한 확산 구조에 초점이 맞춰져 있다.
특히 ‘고영향 AI’ 개념이 중요하게 다뤄졌다. 고영향 AI는 의료·에너지·원자력·채용 등 사람의 생명과 권리에 직접 영향을 줄 수 있는 10개 분야를 의미한다. 이러한 영역의 AI 시스템은 사전에 인공지능 영향 평가를 반드시 수행해야 한다. 이는 단순 기술 검토 수준이 아니라 환경영향평가처럼 위험성과 사회적 영향을 사전에 분석하는 개념이다.
공공기관에서는 국가정보원이 발표한 AI 보안 가이드라인이 새로운 기준이 되고 있다. 흥미로운 점은 해당 가이드라인이 “하지 말라”는 금지 중심이 아니라는 것이다. 대신 AI 구축 모델별 위험 요소를 정의하고, 이를 어떻게 관리하면 되는지를 설명하는 형태로 구성돼 있다.
민간 기업 역시 비슷한 고민에 직면해 있다. AI를 적극 활용해야 한다는 압박은 커지고 있지만, 동시에 보안과 컴플라이언스 문제는 조직 차원에서 해결되지 않은 상태다. 결국 기업들은 지금 “AI를 얼마나 잘 활용할 것인가”와 동시에 “AI를 얼마나 안전하게 운영할 것인가”라는 두 개의 숙제를 동시에 안게 되고 있다.
AI 보안의 핵심은 ‘가드레일’…왜 지금 가장 중요한 기술이 됐나
생성형 AI 시대 보안에서 가장 많이 등장하는 단어 중 하나는 ‘AI 가드레일(Guardrail)’이다. 강봉호 본부장은 “AI 가드레일 개념만 이해해도 생성형 AI 보안의 절반은 이해한 것”이라고 설명했다.
AI 가드레일은 쉽게 말해 AI가 허용된 범위 안에서만 동작하도록 만드는 안전장치다. 사용자의 위험한 입력을 차단하고, 민감한 데이터를 보호하며, AI의 행동 자체를 제한하는 역할을 수행한다.
배경에는 새로운 AI 보안 위협들이 존재한다. OWASP가 정의한 에이전틱 AI 보안 위험 모델 가운데 핵심 위협을 살펴보면, 대표적인 것이 프롬프트 인젝션이다. 사용자가 의도적으로 이상한 입력을 넣어 AI가 원래 해서는 안 되는 행동을 하도록 유도하는 공격이다.
민감 데이터 유출 문제도 중요하다. 기업 내부 문서와 업무 데이터를 AI와 연결하는 순간, 권한 관리가 제대로 되지 않으면 누구나 내부 정보를 검색할 수 있는 위험이 생긴다. 에이전트 탈취 역시 새로운 위협으로 떠오르고 있다. AI 에이전트가 잘못된 권한을 획득하면 스스로 데이터를 유출하거나 시스템을 조작할 수 있기 때문이다.
이러한 문제를 막기 위해 AI 가드레일은 6개 영역으로 구성된다. 입력 가드레일은 위험한 프롬프트와 우회 요청을 차단한다. 정책 가드레일은 AI 행동 기준과 금지 규칙을 강제한다. 데이터 가드레일은 사용자 권한 기반으로 데이터 접근을 제한한다.
또한 도구 사용 가드레일은 AI가 허용된 도구만 사용하도록 제한하며, 출력 가드레일은 개인정보와 민감 정보 노출을 막는다. 마지막 운영·모니터링 가드레일은 AI 행동 로그를 수집하고 이상 행동을 탐지한다.
특히 강 본부장은 “AI 보안은 단일 솔루션으로 해결되지 않는다”고 강조했다. 결국 중요한 것은 입력·행동·출력·모니터링 전 구간에 걸친 다층 방어 체계를 구축하는 것이다. AI는 블랙박스 특성이 강하기 때문에, 사람이 AI 행동을 지속적으로 감시할 수 있는 구조가 핵심이라는 설명이다.
AI 시대 데이터 보안의 핵심…‘제로트러스트’가 다시 주목받는 이유
AI 시대 보안에서 가장 중요한 자산은 단연 데이터다. 생성형 AI와 에이전트 AI 모두 결국 데이터를 기반으로 움직이기 때문이다. 문제는 대부분 기업들이 아직 데이터 권한 체계를 제대로 정리하지 못하고 있다는 점이다.
강봉호 본부장은 “AI를 구축하려면 결국 내부 데이터를 AI가 이해할 수 있는 구조로 모아야 한다”고 설명했다. 하지만 이 과정에서 권한 관리와 데이터 분류가 제대로 되지 않으면 심각한 정보 유출 위험이 발생할 수 있다는 것이다.
예를 들어 기업 내부에는 임원 전용 문서, 팀 단위 문서, 특정 부서만 접근 가능한 자료가 존재한다. 그런데 AI가 이러한 권한 체계를 이해하지 못한 채 모든 데이터를 검색하게 되면 누구나 민감 정보를 조회할 수 있는 상황이 발생한다.
이 문제를 해결하기 위해 다시 주목받는 개념이 ‘제로트러스트(Zero Trust)’다. 제로트러스트는 “아무도 기본적으로 신뢰하지 않는다”는 보안 철학이다. 특히 한국인터넷진흥원(KISA)은 이를 단계별 성숙도 모델로 정리해 기업들이 현실적으로 도입할 수 있도록 가이드라인을 제시하고 있다.
강 본부장은 특히 데이터 영역이 기업 보안 성숙도 평가에서 가장 낮은 수준이라고 지적했다. 많은 기업이 방화벽이나 네트워크 보안은 강화했지만, 실제 데이터 자체의 권한과 중요도 관리는 여전히 부족하다는 의미다.
이를 해결하기 위한 5단계 AI 데이터 아키텍처도 소개했다. 핵심은 문서를 생성하는 순간부터 자동 분류와 태깅을 수행하는 구조다. AI 기반 분류 엔진이 문서 중요도를 자동 판단하고, 이를 ACL(접근 권한)과 함께 저장한다. 이후 AI가 데이터를 검색할 때도 사용자의 권한에 맞는 문서만 검색 결과에 포함된다.
특히 중요하게 강조된 것은 ‘사용 중 데이터 암호화’다. 최근 카드사 개인정보 유출 사고처럼 저장 시에는 암호화돼 있어도 실제 사용 시 메모리에서 복호화되는 순간을 노린 공격이 늘어나고 있기 때문이다.
AI 시대 데이터 보안은 단순 저장 보안이 아니라 “AI가 데이터를 어떻게 읽고 접근하는가”까지 포함하는 개념으로 확장되고 있다.
결국 마지막 방어선은 사람…AI 시대 ‘휴먼 방화벽’의 중요성
AI 시대 보안이 아무리 자동화돼도 마지막 방어선은 여전히 사람이다. 강봉호 본부장은 이를 ‘휴먼 방화벽(Human Firewall)’이라는 표현으로 설명했다.
특히 최근 악성 이메일 공격은 생성형 AI 때문에 훨씬 정교해지고 있다. 과거 피싱 메일은 어색한 번역이나 문법 오류 때문에 쉽게 구분할 수 있었다. 하지만 이제 AI가 작성한 악성 메일은 자연스러운 한국어와 개인 맞춤형 문장까지 구현할 수 있다.
더 심각한 문제는 기존 보안 솔루션이 이러한 AI 기반 공격을 점점 더 구분하기 어려워지고 있다는 점이다. 강 본부장은 “악성 메일 차단 솔루션만으로는 한계가 있다”고 설명했다. 결국 사용자의 보안 습관 자체를 바꾸는 훈련이 필요하다는 것이다.
하지만 현실에서는 여전히 형식적인 훈련이 많다. 강 본부장은 실제 기업들이 “훈련 한 번 하는데 얼마냐”만 묻는 경우가 많다고 지적했다. 국정원이나 인증 대응 때문에 단발성으로 수행하는 경우가 많다는 것이다.
강 본부장은 반복 훈련의 중요성을 강조했다. KISA 데이터에 따르면 정기적으로 반복 훈련에 참여한 기업은 악성메일 감염률이 유의미하게 감소하는 것으로 나타났다. 특히 효과적인 훈련은 매달 다양한 시나리오 기반으로 진행돼야 한다고 설명했다.
흥미로운 점은 최근 AI가 보안 훈련에도 활용되고 있다는 부분이다. 직원들이 신고한 의심 메일을 AI가 자동 분석하고, 실제 위험 여부를 분류해주는 구조가 가능해지고 있다. 이는 관리자 부담을 줄이면서도 조직 전체 보안 수준을 높이는 방식이다.
강 본부장은 “보안은 기술만으로 완성되지 않는다”고 강조했다. AI 시대일수록 사람의 판단과 습관, 조직 문화가 더 중요해지고 있다는 설명이다.
AI 시대 보안은 ‘옵션’이 아니다…기업 생존 전략이 되고 있다
생성형 AI와 AI 에이전트는 기업 생산성을 빠르게 바꾸고 있다. 하지만 동시에 사이버 공격 역시 이전과 비교할 수 없을 정도로 지능화되고 있다. AI는 이제 업무 혁신 도구이면서 동시에 가장 강력한 공격 도구가 되고 있다.
강봉호 본부장은 전반에서 “AI 보안은 특정 솔루션 하나로 해결할 수 있는 문제가 아니다”라는 메시지를 반복해서 강조했다. 가드레일, 제로트러스트, 데이터 권한 체계, 반복 훈련까지 모두 연결된 다층 구조가 필요하다는 것이다.
특히 AI 시대에는 데이터가 곧 기업 경쟁력이다. 그리고 데이터를 안전하게 통제하지 못하면 AI 역시 조직 안으로 들어올 수 없다. 결국 AI 도입 전략과 보안 전략은 이제 분리할 수 없는 하나의 과제가 되고 있다.
AI 시대 기업 경쟁력은 단순히 최신 AI를 얼마나 빨리 도입했는지가 아니다. AI를 얼마나 안전하게 운영하고, 조직 전체가 얼마나 보안 문화를 내재화했는지가 새로운 경쟁력이 되고 있다.
헬로티 임근난 기자 |
* 이 글은 ‘AI TECH 2026 컨퍼런스’에서 파수 AI 강봉호 본부장이 발표한 내용을 재구성하여 정리한 것입니다.
