헬로티 –매일 만나는 첨단 산업, 경제, IT 소식

일반뉴스 SK하이닉스, ‘AI 하드웨어 서밋’서 최신 AiM 설루션 공개

SK하이닉스가 최근 미국 캘리포니아주 새너제이에서 열린 ‘인공지능(AI) 하드웨어 & 엣지 AI 서밋 2024’(이하 AI 하드웨어 서밋)에서 가속기 카드인 AiMX 등 AI 시대를 위한 기술을 선보였다. 19일 SK하이닉스 뉴스룸에 따르면 SK하이닉스는 이번 행사에 ‘데이터센터부터 엣지 디바이스까지 AI 성능을 가속하는 AiM’이라는 슬로건을 내걸고 참가, AiM 설루션과 미래 비전을 제시했다. AI 하드웨어 서밋은 글로벌 정보기술(IT) 기업과 유망 스타트업 등이 참가해 최신 기술과 연구 결과를 공유하고 네트워킹을 통해 산업 내 협력 기회를 모색하는 자리다. AiM은 SK하이닉스의 지능형 반도체(PIM) 제품명이다. 이번에 선보인 AiMX는 GDDR6-AiM 칩을 사용해 대규모 언어 모델(LLM)에 특화된 SK하이닉스의 가속기 카드 제품이다. SK하이닉스는 자사의 AiM이 메모리 내에서 일부 연산을 수행해 기존 메모리 대비 높은 대역폭과 우수한 에너지 효율성을 보이며, LLM 기반의 생성형 AI가 요구하는 높은 컴퓨팅 성능을 더 경제적으로 구현할 수 있게 해준다고 설명했다. 전시 부스에서는 메타의 최신 LLM 모델인 ‘라마(Llama)3 70B’를

이창현 기자

2024-09-19 15:16

일반뉴스 메타, 라마 3 오픈소스로 공개....'추론·코드 생성 도약했다'

두 모델, 동급의 오픈소스 모델 중 최고 수준의 성능인 것으로 평가받아 메타가 다양한 목적으로 사용 가능한 최신 대규모 언어모델(LLM) ‘라마 3(Llama 3)’를 오픈소스로 공개했다. 메타의 차세대 대규모 언어모델 라마3는 사전훈련과 미세조정을 마친 80억 개(8B)와 700억 개(70B) 매개변수 모델 두 가지로 공개됐다. 이 두 모델은 현재 동급의 오픈소스 모델 중 최고 수준의 성능인 것으로 평가받는다. ‘대규모 다중작업 언어 이해(MMLU)’를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았으며 추론과 코드 생성, 지시 수행에 있어 전보다 성능이 크게 개선됐다. 라마3의 성능 향상은 모델의 사전 훈련과 사후 훈련 과정을 고도화함으로써 이뤄졌다. 사전 훈련을 위해 데이터셋의 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다. 라마3는 15조 이상의 토큰으로 훈련되었으며, 이는 라마2 대비 7배 이상 많으며 코드량은 4배 더 많다. 라마3의 사전 훈련에는 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용되었다. 이를 통해 모델이 보다 여러 영역에서 활용될 수 있

서재창 기자

2024-04-22 17:55