"ChatGPT로 과제 하지 마세요. 다 잡아낼 수 있습니다"라는 말이 현실화되고 있다. 표절 검사 서비스로 잘 알려진 카피킬러의 '무하유'가 인공지능으로 만들어 낸 글을 감지할 수 있는 DetectGPT 'GPTKiller'를 출시했기 때문이다. 그야말로 창과 방패의 대결 속, 무하유 신동호 대표는 "GPTKiller는 무하유만이 할 수 있는 일"이라고 전한다.
챗GPT가 쏘아올린 공...AI 잡아내는 AI 'DetectGPT' 출시
OpenAI가 개발한 프로토타입 대화형 인공지능 챗봇 ChatGPT는 방대한 데이터 학습을 통해 새로운 정보를 생성하고 대답해 주는 대화형 챗봇 시스템이다. ChatGPT와 대화형 생성AI 시대가 도래하면서 전 산업 분야, 특히 교육계는 혼란을 겪고 있다. ChatGPT는 작문도, 코딩도 거의 모든 과제를 할 수 있기 때문이다.
국내외 ChatGPT를 이용한 학생에게 '부정행위'라며 0점 처리를 하는 등 교육계 ChatGPT를 활용 여부는 뜨거운 감자다. 인공지능을 활용한 콘텐츠를 감지하기 위해선 인공지능을 활용한 탐지 기술이 필요하다. 미국 스탠퍼드대 연구팀은 ChatGPT 바탕인 AI 언어모델 GPT3로 만들어진 문장을 찾아내는 기술인 DetectGPT를 공개했다. 그야말로 창과 방패의 대결이다.
카피킬러 무하유가 ChatGPT 탐지할 수 있나요?
무하유는 DetectGPT, GPTKiller를 개발했다. ChatGPT가 각종 콘텐츠에 활용되며, 표절 검사 시스템 카피킬러가 주로 사용되는 교육계에서 ChatGPT로 작성한 콘텐츠를 탐지할 수 있냐는 문의가 쇄도했기 때문이다. 무하유의 고객사 담당자 9328명 대상으로 'ChatGPT 탐지 프로그램이 필요한지에 대한 설문조사를 진행한 결과, 응답자 중 79.7%가 필요하다고 답변했다.
GPT 탐지 프로그램을 어디에 이용할 예정인지에 대한 답변으로는 '학생이 과제, 토론, 시험 등에 생성 AI를 활용해 기술한 내용인지 본인 스스로가 기술한 내용인지에 대한 구분'과 '자기소개서 검증 등 채용 현장에서 필요'하다는 응답 결과가 나왔다. 응답자 소속은 대학교 도서관, 대학원, 중고등학교, 연구원 등 교육, 연구 분야 비중이 높았다.
무하유 신동호 대표는 "국내 DetectGPT, GPTKiller 개발은 카피킬러를 개발한 무하유만이 할 수 있는 일, 해야만 하는 일"이라고 전한다. 지난 12년간 카피킬러를 운영하면서 축전된 레포트, 과제물에 대한 데이터, 그 과정에서 쌓인 무하유만의 노하우를 활용해 국내 유일하게 DetectGPT 서비스를 출시한 것이다.
표절 검사 서비스 카피킬러는 공기관, 학교 및 연구원, 사기업 등 3025여 개 기관에서 약 1000만 명이 사용하고 있다. 1분 이내에 100억 건의 데이터를 기반으로 표절 검사를 진행한다. 무하유의 빅데이터 처리 기술, 자연어 분석 기술, 문맥 정보 분석 기술을 통한 카피킬러의 축적된 데이터로 GPTKiller를 개발할 수 있었다.
한국어를 학습해 결과를 산출하는 GPTKiller서비스는 무하유, 카피킬러에서 유일하게 사용 가능하다. 무하유에 따르면 오는 9월 카피킬러에 기능을 추가해 기존 고객사에서 활용가능하도록 출시할 예정이다.
국내 유일 한국어 학습한 AI DetectGPT, 무하유의 GPTKiller
현재 시장에 알려진 DetectGPT 서비스는 총 7가지며, 국내 언론에 가장 많이 언급된 서비스는 GPTZero다. 공식적으로 한국어를 지원한(학습한) 서비스는 없으며, 한국어 입력이 가능한 서비스는 Writer, GPTZero 2가지다. 한글 입력은 가능하나, 정삭적으로 작동하지 않는 경우가 많다.
무하유의 GPTKiller는 문장 속 단어와 어순 관계를 추적해 맥락과 의미를 학습하는 AI 신경 모델인 트랜스포머를 기반으로 한다. 한국어 자연어 이해모델을 학습한 AI가 검사 문서를 문단 단위로 분할한 후 각 문단에 대한 ChatGPT 작성 확률을 분석한다. 검출을 원하는 문단과 이전 맥락을 고려한 후, 입력된 값을 결과에 따라 참 또는 거짓 형태로 분류해 ChatGPT 작성 여부를 판단하는 이진분류(Binary Classification) 방식이다.
GPTkiller는 한글 데이터를 학습해 분석 가능한 유일한 서비스다.
실제 무하유가 해외 디텍트 GPT 프로그램들과 비교해 본 결과, GPTKiller는 한국어를 사용했을 때 타사 솔루션 대비 거짓 데이터를 찾아낸 비율이 더 높고, 오검출 없이 실제로 잡아내야 하는 문제를 더 잘 잡아내는 것으로 나타났다.
무하유에 따르면 타 서비스와 무하유 GPTKiller를 비교했을 때 Sensitivity는 0.97, FPR은 0.22 수준이다. Sensitivity가 높다는 것은 AI로 과제물을 작성한 학생들 대부분을 잡아냈다는 뜻이고, FPR은 거짓 데이터라고 오탐지한 비율이다. 즉, 억울한 학생 비율이 적다는 것이다.
GPTKiller 확장 계획은?
현재 GPTKiller의 기술 수준은 문장 4~5개의 단락 단위 수준이다. 무하유는 검사, 검증, 평가 3단계에 맞춰 로드맵을 제시한다. 단기적인 목표는 GPTKiller의 '검사' 단계다. 카피킬러에 GPTKiller를 적용해 챗GPT를 감지할 수 있게끔의 적용 단계다. 이후 중기 목표는 '검증'이다.
GPT의 최대 문제는 거짓 생성이다. 실제 인용해서 썼다고 하는 내용이 정말 맞는지의 유효성 검증 단계가 중기적인 목표다. 최종 장기 목표는 '평가'다. GPT 문제를 검색 기술, 검색 엔진에 따라 평가를 자동화하는 것이 목표다.
무하유는 카피킬러 외에도 HR 분야의 '프리즘'과 대화형 AI 면접 서비스 '몬스터'를 서비스하고 있다. GPTKiller의 단기 목표에 따라 현재는 감상문 보고서와 같이 줄글로 된 레포트 위주로 탐지하고 있으나 추후에는 수식이 많은 실험 보고서나 프로그래밍 코드 등도 탐지할 수 있도록 범위를 확장할 예정이다.
신동호 대표는 "향후 자기소개서와 같이 채용 과정에서 작성되는 문서에 대한 탐지 또한 가능하도록 데이터 학습해 프리즘과 몬스터에도 적용해 나가는 것이 장기적인 목표"라고 밝혔다.
헬로티 함수미 기자 |
