헬로티 –매일 만나는 첨단 산업, 경제, IT 소식

일반뉴스 메타, 라마 3 오픈소스로 공개....'추론·코드 생성 도약했다'

두 모델, 동급의 오픈소스 모델 중 최고 수준의 성능인 것으로 평가받아 메타가 다양한 목적으로 사용 가능한 최신 대규모 언어모델(LLM) ‘라마 3(Llama 3)’를 오픈소스로 공개했다. 메타의 차세대 대규모 언어모델 라마3는 사전훈련과 미세조정을 마친 80억 개(8B)와 700억 개(70B) 매개변수 모델 두 가지로 공개됐다. 이 두 모델은 현재 동급의 오픈소스 모델 중 최고 수준의 성능인 것으로 평가받는다. ‘대규모 다중작업 언어 이해(MMLU)’를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았으며 추론과 코드 생성, 지시 수행에 있어 전보다 성능이 크게 개선됐다. 라마3의 성능 향상은 모델의 사전 훈련과 사후 훈련 과정을 고도화함으로써 이뤄졌다. 사전 훈련을 위해 데이터셋의 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다. 라마3는 15조 이상의 토큰으로 훈련되었으며, 이는 라마2 대비 7배 이상 많으며 코드량은 4배 더 많다. 라마3의 사전 훈련에는 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용되었다. 이를 통해 모델이 보다 여러 영역에서 활용될 수 있

서재창 기자

2024-04-22 17:55

일반뉴스 초거대 AI 모델 '훈위안' 발표한 텐센트, 中 AI 판도 바꾸나

1000억 개 이상 매개변수와 2조 개 이상 토큰 사전 학습 능력 갖춰 텐센트가 지난 7일 중국 선전에서 개최된 연례 컨퍼런스 ‘글로벌 디지털 에코시스템 서밋’에서 자체 개발한 초거대 AI 모델 '훈위안(Hunyuan)'을 공개했다. 중국 기업들은 이제 텐센트의 클라우드 플랫폼을 통해 훈위안에 접속하며, 기업의 특정 니즈에 맞춰 세밀하게 조정해 사용한다. 훈위안은 1000억 개 이상의 매개변수와 2조 개 이상의 토큰 사전 학습 능력을 갖췄으며, 우수한 중국어 처리 능력과 고급 논리 추론 기능에 더불어 안정적인 작업 실행 능력을 보유하고 있다. 이 AI 모델은 이미지 생성, 텍스트 인식, 카피라이팅, 고객 서비스 등 다양한 기능을 지원해 금융, 공공 서비스, 소셜 미디어, 전자 상거래, 물류 운송, 게임 등의 주요 산업에서 중요한 역할을 할 것으로 기대되고 있다. 기업은 지난 6월 첫 출시된 텐센트의 서비스형 모델(MaaS)을 기반으로 자체 고유의 거대 모델을 훈련하는 것에서 나아가 자체 비즈니스를 위한 강력한 맞춤형 AI 도구를 구축하게 됐다. 현재 텐센트의 MaaS는 20개의 주요 산업군에 걸쳐 총 50개 이상의 솔루션이 포함된 거대 AI 모델을 기업에 제

서재창 기자

2023-09-08 22:19