무하유가 GPT-4o 생성 문장까지 탐지할 수 있도록 ‘GPT킬러’ 기능을 업데이트했다고 26일 밝혔다.
GPT킬러는 무하유가 작년 9월에 국내 최초로 선보인 디텍트(Detect) GPT 솔루션으로, 문서를 검토하는 과정에서 챗GPT가 작성했다고 의심되는 부분을 탐지해 준다. 지난 12년간 AI 표절검사 서비스 카피킬러를 운영하며 축적해 온 문서 데이터와 한국어 자연어 이해(NLU) 노하우와 운영 철학을 접목시켰다.
이번 업데이트를 통해 가장 최신의 챗GPT 버전인 GPT-4o에서 생성한 문장까지 탐지할 수 있도록 기능을 고도화했다. 탐지 정확도 향상을 위해 챗GPT 각 버전에서 실제 학생들이 과제물을 생성할 때 사용하는 것과 유사한 프롬프트를 활용해서 대량의 과제물 및 자기소개서를 생성했다.
또한 GPT-4o로 생성한 과제물 데이터를 내부적으로 구축한 후 기존 챗GPT 모델에 대해서도 추가학습을 진행해 모든 버전에 대한 정확도를 크게 향상시켰다.
실제 무하유의 자체 성능 테스트 결과, GPT4-o가 쓴 문장에 대한 탐지 정확도는 0.9695로 나타났다. GPT3.5 터보 및 GPT-4 터보가 쓴 문장에 대해서도 각각 0.9807, 0.9824의 높은 정확도를 보였다. 숫자가 1에 가까울 수록 오류 없이 높은 정확도로 탐지해 냄을 의미한다.
신규 버전의 챗GPT가 출시되면 즉각적으로 대응할 수 있도록 자동화 파이프라인도 구축했다. 챗GPT 모델들의 업데이트에 따른 GPT킬러의 성능 하락을 자동 감지하고 보완할 수 있도록 모델 성능 변화를 지속적으로 관찰하고 필요한 일련의 과정을 자동화했다.
신동호 무하유 대표는 “해외에서는 디텍트GPT 솔루션으로 교사가 AI로 생성된 학생 작업을 감지하도록 돕는 것은 물론 최근에는 정부 조달 기관, 보조금 작성 기관, 채용 관리자, AI 교육 데이터 라벨러 등으로 영역을 확장하고 있다”며 “GPT킬러 역시 유즈케이스를 다양하게 확장함으로써 생성형 AI의 무분별한 사용을 막고 올바르게 활용할 수 있도록 하는 길잡이 역할을 수행할 것”이라고 밝혔다.
헬로티 이창현 기자 |
