헬로티 –매일 만나는 첨단 산업, 경제, IT 소식

일반뉴스 메타, 라마 3 오픈소스로 공개....'추론·코드 생성 도약했다'

두 모델, 동급의 오픈소스 모델 중 최고 수준의 성능인 것으로 평가받아 메타가 다양한 목적으로 사용 가능한 최신 대규모 언어모델(LLM) ‘라마 3(Llama 3)’를 오픈소스로 공개했다. 메타의 차세대 대규모 언어모델 라마3는 사전훈련과 미세조정을 마친 80억 개(8B)와 700억 개(70B) 매개변수 모델 두 가지로 공개됐다. 이 두 모델은 현재 동급의 오픈소스 모델 중 최고 수준의 성능인 것으로 평가받는다. ‘대규모 다중작업 언어 이해(MMLU)’를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았으며 추론과 코드 생성, 지시 수행에 있어 전보다 성능이 크게 개선됐다. 라마3의 성능 향상은 모델의 사전 훈련과 사후 훈련 과정을 고도화함으로써 이뤄졌다. 사전 훈련을 위해 데이터셋의 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다. 라마3는 15조 이상의 토큰으로 훈련되었으며, 이는 라마2 대비 7배 이상 많으며 코드량은 4배 더 많다. 라마3의 사전 훈련에는 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용되었다. 이를 통해 모델이 보다 여러 영역에서 활용될 수 있

서재창 기자

2024-04-22 17:55

일반뉴스 메타, 차세대 대규모 오픈소스 언어모델 ‘라마2’ 공개

메타가 연구와 상용 목적으로 활용 가능한 차세대 대규모 언어모델 '라마2(Llama2)'를 오픈소스로 공개한다. 개방형 접근 방식을 통해 생성형 AI 기술의 발전과 안전한 개발을 도모한다는 방침이다. '라마'는 메타가 올해 초 연구원들을 위해 공개한 오픈소스 대규모 언어모델(Large Language Model, LLM)이다. 출시 이후 연구원들로부터 10만 건이 넘는 액세스 요청을 받는 등 뜨거운 관심을 받은 바 있다. 차세대 버전인 라마2는 연구뿐만 아니라 상업적 용도로도 활용할 수 있는 것이 특징이다. 성능 면에서는 이전 모델(라마1) 대비 40% 더 많은 2조 개의 토큰을 학습했으며, 2배 더 긴 컨텍스트 길이를 자랑한다. 컨텍스트 길이는 하나의 언어모델이 처리할 수 있는 토큰의 양으로, 길이가 길수록 더 많은 정보와 더 다양한 맥락을 이해할 수 있다. 파라미터(매개변수) 규모는 70억, 130억, 700억 개다. 라마2를 활용하는 주요 파트너로는 메타와 오랜 협력 관계를 유지해온 마이크로소프트가 함께한다. 마이크로소프트의 클라우드 플랫폼인 '애저(Azure)'에 라마2를 제공, 애저 이용자들이 라마2를 활용해 다양한 AI 경험을 구축할 수 있도록 했

이창현 기자

2023-07-20 10:05

헬로티TV 'AI 분석으로 제조업 혁신하기' 인공지능 통한 스마트 팩토리 잠재력 도출

과연 제조 산업 현장에도 ChatGPT가 적용될 수 있을까? 빅데이터와 인공지능 솔루션의 상호 보완적 관계가 점점 더 명확해지는 시대, 제조 산업에서 더욱 효율적인 생산성을 위해 빅데이터와 AI를 활용한 솔루션에 대한 관심이 높아지고 있습니다. AI 데이터 분석 솔루션 개발회사 알티엠은 이번 웨비나를 통해 현재까지 산업에 적용된 인공지능의 현 주소 및 초정밀 제조 산업 현장에 필요한 빅데이터 분석 방법과 인공지능 솔루션을 제시합니다. 제조 공정에서 발생하는 데이터 수집, 불량률 및 생산성 개선, 유지보수 예측 등에 관심을 가지고 계신 분들께 큰 도움이 될 것입니다. 헬로티 최재규 기자 |

최재규 기자

2023-07-10 22:29