SK텔레콤이 자사 AI 서비스의 신뢰성과 안전성을 체계적으로 관리하기 위한 ‘AI 거버넌스 포털’을 공식 오픈했다. 이번 포털은 SKT가 자체 수립한 AI 거버넌스 원칙 ‘T.H.E. AI’를 기준으로 AI 서비스의 위험과 기회 요인을 분석하고, 위험 수준별 체크리스트 준수 여부를 진단하는 기능을 갖췄다. ‘T.H.E. AI’는 ▲by Telco(통신기술 기반의 연결과 신뢰) ▲for Humanity(인류 복지 증진과 다양성·포용) ▲with Ethics(결정 투명성과 윤리적 책임성 강조)를 의미한다. AI 거버넌스 포털은 사업팀의 자가진단과 거버넌스팀·Red Team의 검토·심의로 이원화된 프로세스를 통해 운영된다. 사업팀은 ‘T.H.E. AI’ 원칙을 기준으로 ▲신뢰성 ▲다양성과 포용 ▲결정 투명성 ▲윤리적 책임성 등 4개 영역, 60여 개 체크리스트로 자가진단을 진행한다. 이후 Red Team과 AI 거버넌스팀이 2차 진단을 수행해 기술적 결함, 저작권, 편향성 등 잠재적 위험 요인에 대한 심층 피드백과 개선 조치를 제시한다. 특히 Red Team은 사업팀 결과를 바탕으로 서비스 취약점을 분석하고 개선책을 요구하는 등 엄격한 평가를 수행한다. 이러한 진
한국전자통신연구원(ETRI)이 인공지능(AI) 안전성과 신뢰성 확보를 위한 국제표준 개발을 주도한다. ETRI는 AI 시스템의 잠재적 위험을 탐색하는 ‘AI 레드팀 테스팅’ 표준과 소비자가 AI의 신뢰 수준을 확인할 수 있는 ‘신뢰성 사실 라벨(TFL)’ 표준을 국제표준화기구(ISO/IEC)에 제안하고 개발을 시작했다고 밝혔다. ‘AI 레드팀 테스팅’은 생성형 AI가 잘못된 정보를 제공하거나 보호장치를 회피해 악용되는 상황을 모의 공격 방식으로 점검하는 기법이다. ETRI는 ISO/IEC 42119-7 에디터로 참여해 의료, 금융, 국방 등 다양한 산업에 적용할 수 있는 공통 시험 절차와 방법을 마련한다. ETRI는 식품의약품안전처와 함께 9월 4~5일 노보텔 서울 동대문 호텔에서 ‘첨단 AI 디지털의료제품 레드팀 챌린지 및 기술 워크숍’을 개최한다. 이번 행사는 의료인, 보안 전문가, 일반 시민이 참여해 AI의 편향과 위험성을 점검하는 자리로, 참가 신청은 22일까지 가능하다. 서울아산병원과 공동으로 의료 전용 레드팀 평가 방법론도 개발 중이다. 또한 STA, 네이버, 업스테이지, 셀렉트스타, KT, LG AI연구원 등과 협의체를 구성해 국제표준화 협력을
콕스웨이브가 대화형 AI 모델의 ‘긴 맥락(Long-context)’ 처리 과정에서 발생하는 보안 취약점을 규명한 연구 논문으로 국제자연어처리학회(ACL) 2025 메인 컨퍼런스에 채택됐다. 해당 논문은 윤리·편향성·공정성(Ethics, Bias, and Fairness) 트랙에 선정되며, 빠르게 진화하는 생성형 AI 기술의 이면을 드러낸 점에서 학계와 업계의 주목을 받고 있다. 이번 연구는 KAIST 김재철 AI 대학원의 이기민 교수와의 협업으로 진행됐다. 이 교수는 구글 리서치 출신으로, ICML, NeurIPS, ICLR 등 주요 학술대회에 다수의 AI 안전성 관련 논문을 발표한 바 있으며, 지난해 콕스웨이브 어드바이저로 합류해 산학 협력에 참여하고 있다. 논문은 최근 LLM 분야에서 핵심 기술로 떠오른 ‘맥락 길이 확장’이, 기대와 달리 보안적 측면에서 새로운 리스크를 동반할 수 있음을 입증했다. 연구팀은 최대 128,000개 토큰까지 확장 가능한 모델 환경에서 실험을 진행한 결과, 반복되거나 무작위로 구성된 텍스트 입력만으로도 모델의 안전장치를 무력화할 수 있는 ‘다중샷 탈옥(Many-Shot Jailbreaking)’ 현상을 확인했다. 이는 대화의
공공 부문과 민간 산업 현장을 아우르는 구성으로 이뤄져 국제인공지능윤리협회(IAAE)가 오는 27일 서울 강남구 구글 스타트업 캠퍼스에서 ‘2025 ASC(AI Safety Compass) 컨퍼런스’를 개최한다. 이번 행사는 ‘변화하는 AI 환경에서의 기업 경쟁력 확보’를 주제로, 기술 혁신과 함께 AI 안전성과 윤리 문제를 중심에 둔 지속가능한 활용 전략을 논의하는 자리가 될 전망이다. AI 산업이 급속히 성장하는 가운데, 미국과 중국 등 주요국은 막대한 예산과 정책적 지원을 바탕으로 자국 중심의 AI 생태계를 강화하고 있다. 이에 맞서 국내 기업들도 AI 기술을 단순히 도입하는 것을 넘어, 안전하고 윤리적인 방식으로 운영해 글로벌 경쟁력을 높일 수 있는 기반 마련이 절실한 상황이다. 이번 컨퍼런스는 공공 부문과 민간 산업 현장을 아우르는 구성으로 이뤄진다. 공공 세션에서는 정부와 연구기관의 전문가들이 국가 차원의 AI 정책 방향과 차세대 기술 연구 동향을 제시한다. 과학기술정보통신부 공진호 인공지능기반정책과장은 국내 AI 정책 및 법제화 흐름을 공유하며, KISTI 이경하 초거대AI연구센터장은 AI 기술의 확장성과 안전성을 조화롭게 관리하는 연구 방향을
은밀한 유해표현, 설득력 등 다양한 지표를 통해 AI의 잠재 위험성 탐지 에임인텔리전스가 연세대학교, KIST, 서울대학교와 공동으로 개발한 AI 안전성 진단 체계 ‘ELITE(Enhanced Language-Image Toxicity Evaluation)’가 머신러닝 학술대회인 'ICML 2025'에 공식 논문으로 채택됐다. 이는 국내 연구진이 글로벌 AI 안전성 연구 흐름을 선도하는 신호탄으로 해석된다. ICML(International Conference on Machine Learning)은 인공지능 및 머신러닝 분야에서 가장 권위 있는 학회 중 하나로, 매년 전 세계 연구자들이 최신 기술을 발표하고 교류하는 자리다. 올해로 42회를 맞이한 이 학회에 국내 연구팀의 논문이 이름을 올린 것은, 한국 기술력의 실질적 성과가 국제적으로 공론화됐다는 점에서 의미가 깊다. ELITE는 이미지와 텍스트를 함께 입력받는 비전언어모델(VLM)의 응답을 ‘정밀 진단’하는 평가 체계다. 단순히 노골적인 표현만을 걸러내는 기존 방식에서 나아가, 겉보기에 문제가 없는 응답 속에서도 은밀한 유해 표현, 설득력, 구체성 등 다양한 지표를 통해 AI의 잠재 위험성을 탐지한다.
AI 보안의 중요성이 날로 커지는 가운데, 국내 AI 보안 기업 에임인텔리전스가 세계적인 AI 연구기업 앤트로픽(Anthropic)의 비공개 AI 모델을 정밀 진단하며 실력을 입증했다. 서울대학교 전기정보공학 석사 출신 유상윤 대표가 이끄는 에임인텔리전스는 레드팀 테스트를 통해 AI 모델의 취약점을 분석하고 글로벌 AI 보안 시장에서 경쟁력을 강화하고 있다. 앤트로픽은 최근 AI 보안 강화를 위해 새로운 버그 바운티(Bug Bounty) 프로그램을 도입했다. 에임인텔리전스는 해당 프로그램에 초청받아 AI 모델의 악용 가능성을 방지하는 최신 방어 시스템을 점검하고 사전에 보안 취약점을 찾아내는 데 집중했다. 특히, CBRN(화학, 생물학, 방사능, 핵)과 관련된 10개 금지 질문을 설정해 AI 모델이 얼마나 정확히 대응하는지 평가하는 과정을 수행했다. 전 세계에서 초청된 해커 중 약 20명만이 2개 이상의 문제를 우회하는 데 성공했으며 에임인텔리전스의 박하언 연구원이 이에 포함되며 탁월한 보안 분석 능력을 인정받았다. 에임인텔리전스는 AI 모델이 내장한 보안 기능을 우회할 수 있는 방법을 탐색하며 기존의 방어 체계를 뚫는 새로운 기법을 실험했다. 이러한 연구
상호명(명칭) : (주)첨단 | 등록번호 : 서울,자00420 | 등록일자 : 2013년05월15일 | 제호 :헬로티(helloT) | 발행인 : 이종춘 | 편집인 : 김진희 |
본점 : 서울시 마포구 양화로 127, 3층, 지점 : 경기도 파주시 심학산로 10, 3층 | 발행일자 : 2012년 4월1일 | 청소년보호책임자 : 김유활 | 대표이사 : 이준원 | 사업자등록번호 : 118-81-03520 | 전화 : 02-3142-4151 | 팩스 : 02-338-3453 | 통신판매번호 : 제 2013-서울마포-1032호
copyright(c) HelloT all right reserved
UPDATE: 2025년 09월 26일 18시 48분
