리벨리온이 최근 다수의 글로벌 서버 제조사로부터 AI 반도체 ‘아톰(ATOM)’의 서버 안정성 인증을 잇달아 획득하며 제품 신뢰성을 증명했다. 특히 하나의 서버에 다수의 ‘아톰’ 카드를 장착하는 멀티카드 환경에서 검증을 거치며 LLM(Large Language Model, 대규모언어모델) 등 큰 규모의 모델도 안정적으로 지원할 수 있음을 입증했다. 안정성 인증은 특정 서버 내에서 카드 등 제품이 문제없이 구동하는지 점검하고, 서버 제조사와 칩 제조사 간 기술적인 최적화를 거치는 절차다. 리벨리온은 올 9월까지 델 테크놀로지스, HPE, 슈퍼마이크로, 레노버, 기가바이트 등 글로벌 서버 제조사로부터 검증을 완료했으며, 국내 서버사로는 이슬림코리아를 비롯한 4개사로부터 인증을 획득했다. 리벨리온은 대규모 AI 모델 지원을 위한 멀티카드 환경에서 검증을 진행했으며, 현재 고객에게 제공되는 정식 서버 환경에서 ‘라마 3.1 70B’ 등 LLM을 안정적으로 구동하고 있다. 이를 바탕으로 LLM을 지원하는 AI 데이터 센터를 본격 공략한다는 계획이다. 특히 리벨리온과 각 서버사가 인증 획득 과정에서 통신 프로토콜 호환성 확인, 펌웨어 최적화 등 기술 협력을 거쳤기에 다
"AI 작업 위해 AMD CPU 및 GPU에 대한 최상의 조합 만들어내" AMD가 8월 28일(현지시간) AI 관련 개방형 컨소시엄인 ML커먼즈의 웹사이트를 통해 AMD 인스팅트 MI300X GPU를 사용한 ML퍼프(MLPerf)의 첫 벤치마크 결과를 공개했다. 제출 가능한 벤치마크 유형에는 ML퍼프 인퍼런스 : 데이터 센터, ML퍼프 트레이닝, 2024년 도입된 최첨단 대규모 생성형 AI 언어 모델인 라마 2 70B 등이며, AMD는 이들 중 널리 사용되는 LLM인 라마 2 70B를 채택했다. AMD는 이번 ML퍼프 인퍼런스 v4.1 테스트 결과에 대해 AI 작업을 위한 AMD CPU 및 GPU의 최상의 조합을 만들어냈다고 밝혔다. 이와 함께 MI300X의 대용량 메모리(192GB)를 통해 단일 MI300X GPU로 전체 라마 2 70B 모델 실행 가능하며, AMD의 차세대 CPU를 통한 AI 작업 성능을 개선한다고 덧붙였다. AMD의 ML퍼프 4.1 인퍼런스 테스트 결과는 ROCm를 기반으로 한 MI300X이 라마 2 70B와 같은 대규모 LLM에 대해 뛰어난 추론 성능을 제공함을 증명했으며, 라마 2 70B LLM이 포함된 엔비디아 H100과 같은 경쟁
HPE는 동국시스템즈, 바이브컴퍼니와 협력해 국내 시장에 최적화된 맞춤형 온프레미스 AI 솔루션을 필요로 하는 기업들을 위해 한국어 대규모언어모델(LLM)을 개발한다고 22일 밝혔다. 최근 기업 고객들이 방대한 고객 데이터를 활용하면서 AI 추론 솔루션 시장이 빠르게 성장하고 있다. 이에 3사는 한국어의 고유한 특성을 고려해 국내 기업 고객들을 위한 혁신적이고 통합된 한국어 LLM 개발에 집중하고 있다. 기업들이 LLM을 활용한 애플리케이션을 배포할 수 있도록 이번 협력은 AI 워크로드를 지원할 수 있는 엔비디아 H100 텐서 코어 GPU를 탑재한 HPE 크레이 XD670과 엔비디아 L40S GPU를 탑재한 HPE 프로라이언트 DL380a Gen11 서버를 기반으로 한다. HPE 크레이 XD670은 대규모 AI 모델의 학습과 조정에 맞게 설계되고 최적화돼 있으며, HPE 프로라이언트 DL380a Gen11 서버는 고집적도 메모리와 빠른 데이터 전송 속도로 까다로운 애플리케이션 실행을 위한 AI 추론 작업을 지원할 예정이다. 바이브컴퍼니는 ▲생성형 AI 기반 모델인 ‘바이브젬(VAIV GeM)’ ▲검색증강생성(RAG) 기술을 바탕으로 한 자동 Q&A 시
가상 비서와 에이전트를 만드는 데 기여할 것으로 보여 디노도테크놀로지(이하 디노도)는 디노도 플랫폼이 아마존 베드록의 대규모 언어 모델(LLM)과 원활한 통합을 제공한다고 밝혔다. 이를 통해 보안, 개인정보 보호, 책임감 있는 AI를 갖춘 생성형 AI 애플리케이션의 개발 생산성을 높일 것으로 보인다. AI와 머신러닝은 데이터 관리의 주요 업무를 자동화 및 효율화하고 데이터 민주화를 실현하는 디노도 플랫폼의 핵심 기술이다. 디노도와 베드록의 조합은 가상 비서와 에이전트를 만드는 데 도움될 것으로 보인다. 이들은 수많은 데이터 소스를 활용해 사용자 요청을 이해하고 작업을 자동으로 분류하며, 대화를 통해 정보를 수집해 요청 사항을 해결한다. 생성형 AI가 가진 잠재력에도 불구하고 오늘날 많은 기업은 비즈니스 목표에 맞는 생성형 AI 애플리케이션 구축에 어려움을 겪는다. 디노도 플랫폼은 검색 증강 생성(RAG) 프레임워크 안에서 아마존 오픈서치를 벡터 데이터베이스로 활용해 가용한 모든 데이터 소스로부터 신뢰할 수 있고 관리된 데이터를 베드록 LLM에 공급한다. 디노도 플랫폼은 데이터 소스 위에 단일 시맨틱 레이어를 구현해 시맨틱스를 표준화하고 강력한 데이터 거버넌스
언어모델 ‘Cerebro-BM-solar’가 평균 71.09점으로 1위 차지해 아이브릭스는 허깅페이스에서 운영하는 ‘Open-Ko-LLM 리더보드’에서 자체 개발 대규모 언어모델(LLM)로 1위를 달성했다고 24일 밝혔다. Open-Ko-LLM 리더보드는 한국어 LLM 모델 성능을 평가하는 벤치마크다. 추론능력, 상식능력, 언어 이해 종합능력, 환각현상 방지능력, 한국어 상식생성능력 등 다섯 가지 기준으로 평가해 순위를 매긴다. 현재까지 약 1713개의 언어모델이 참여했으며, 대기업부터 스타트업까지 치열하게 경쟁하는 이 리더보드에서 아이브릭스의 언어모델 ‘Cerebro-BM-solar’가 평균 71.09점으로 1위를 차지했다. 특히 환각현상 방지능력(Ko-TruthfulQA)과 상식능력(Ko-HellaSwag) 부문의 점수는 각각 86.02점, 81.18점으로 높은 평가를 받았다. Cerebro-BM-solar는 두 개의 SOLAR 언어모델을 융합하고 파인튜닝해 개발된 모델로, 매개변수 107억 개의 적은 파라미터로도 뛰어난 성능을 보여줌으로써 경제성까지 입증했다. 최근 전 세계적으로 글로벌 기업이 매개변수가 적은 모델로 개발 방향을 바꾸는 추세에서 저렴한
문서 내용 토대로 AI와 대화하며 필요한 정보와 인사이트 얻을 수 있어 이파피루스가 AI 문서 질의응답 대규모언어모델(LLM) 서비스인 ‘스트림닥스 에이아이(StreamDocs.ai)’를 출시했다고 24일 밝혔다. StreamDocs.ai는 문서 내용을 토대로 AI와 대화하며 필요한 정보와 인사이트를 얻을 수 있는 서비스다. 긴 문서의 내용을 핵심만 요약하거나 수백 장의 문서 내에서 필요한 정보만 빠르게 검색하는 등의 요청을 대화 식으로 편하게 요청하고 답변을 받는다. 특히 AI가 답변한 내용의 근거를 손쉽게 파악하는 점이 눈에 띈다. SteramDocs.ai는 답변의 근거가 되는 문장을 문서 내에 하이라이트로 표시한다. 답변 하단의 출처 버튼을 누르면 문서 내 해당 위치로 바로 이동해 내용을 확인할 수 있어 편리하다. 이파피루스 김정아 부사장은 “여러 기업에서 문서 내용을 요약하거나 그에 기반한 대화를 나누는 LLM 서비스를 선보이지만, 답변 내용의 정확성을 입증하기 위해서는 결국 사용자가 직접 문서 내용을 일일이 읽고 찾아보며 교차검증해야 한다는 단점이 있다”며 “StreamDocs.ai는 답변 즉시 문서 내 출처를 제시함으로써 신뢰성과 사용자 편의성을
스노우플레이크(Snowflake)가 대규모언어모델(Large Language Model, LLM) 앱 중 챗봇 비중이 지난해 5월 대비 46%까지 증가했다고 밝혔다. 스노우플레이크는 9000개 이상 고객을 대상으로 데이터 및 AI 도입의 패턴과 트렌드를 조사해 ‘데이터 동향 2024(Data Trend 2024) 보고서’를 발간했다. 글로벌 엔터프라이즈 기업들이 AI 기술과 데이터를 비즈니스에 어떻게 활용하고 있는지를 다룬 이 보고서에서는 텍스트 입력 방식의 LLM 앱의 비중은 줄고(2023년 82%, 2024년 54%) 대화형 챗봇이 늘어나고 있다고 분석했다. 또한 스트림릿(Streamlit) 개발자 커뮤니티를 대상으로 실시한 설문 조사에서는 응답자의 약 65%가 업무용으로 LLM 프로젝트를 진행하고 있다고 답했다. 실제로 엔터프라이즈 고객들은 생성형 AI 기반 기술을 업무의 생산성, 효율성, 분석력을 높이는데 다양하게 사용하고 있다. 제니퍼 벨리센트 스노우플레이크 데이터 전략 수석은 “대화형 앱은 사람들이 실제 상호작용하는 방식으로 프로그래밍 되어 이제 사람과 대화하듯 LLM과 쉽게 상호작용할 수 있다”며 “특히 LLM 앱의 기초가 되는 데이터의 거버넌스
코오롱베니트가 엔터프라이즈용 AI플랫폼 ‘코아이웍스(KOAIWORX)’를 개발하고 전사 IT솔루션 고도화에 나선다고 8일 밝혔다. 코아이웍스는 GPT-4, 라마2(Llama2) 등 대규모언어모델(LLM)을 다양한 IT시스템에 연결할 수 있도록 AI서비스를 표준화한 플랫폼이다. 사용자의 요구에 따라 ▲사내 매뉴얼 검색 ▲AI챗봇을 통한 질의응답 ▲자동 메뉴 이동 ▲쿼리 기반의 데이터 조회 등 AI기능을 쉽게 접목할 수 있다. 특히 코아이웍스는 서비스형소프트웨어(SaaS) 기반으로 설계돼 기존 시스템에도 바로 통합할 수 있다는 것이 강점이다. 이에 따라 사내 업무 프로세스에 AI환경을 도입하고자 하는 기업들을 빠르게 지원할 수 있다. 핵심은 코오롱베니트가 자체 개발한 AI오케스트레이터다. 정보의 입력과 출력을 관리하는 솔루션으로 LLM 사용 시 발생할 수 있는 보안 문제와 데이터 권한 관리에 중점을 두고 개발됐다. 사내 권한자가 업로드한 자료를 AI 응답에 활용하는 래그(RAG, 검색증강생성) 방식으로 정보의 정확성을 높였고, 시스템 확장에 용이한 펑션콜링(Function Calling) 기술로 기존 업무 시스템과의 연계성도 강화했다. 코오롱베니트는 우선적으로
LG CNS가 코드 생성형 AI에 최적화된 대규모언어모델(Large Language Model, 이하 LLM)을 31일 공개했다. LG CNS는 지난해 6월 챗GPT 기반의 코드 생성형 AI 서비스인 'AI 코딩'을 개발해 다수의 사내 시스템 운영뿐만 아니라 고객사 SI(System Integration)·SM(System Management) 프로젝트에도 활용 중이다. AI 코딩을 금융·증권사 등 데이터의 외부 유출에 민감한 기업들도 활용할 수 있도록 AI 코딩의 두뇌 역할을 하는 LLM까지도 자체 개발했다. 고객사들은 각각의 비즈니스 환경에 맞춰 LG CNS의 LLM 또는 오픈AI의 GPT를 선택해 AI 코딩을 활용할 수 있다. LG CNS는 메타의 '코드라마(CodeLlama)' 등 다양한 오픈소스 LLM을 활용해 코딩에 최적화된 LLM을 구현했다. 고객사는 보유중인 서버, 클라우드 등 인프라에 LG CNS의 LLM을 설치하고 AI 코딩을 플러그인 방식(기존 시스템에 부가기능을 추가하는 방식)으로 연결하면 된다. 고객사가 가진 자체 인프라를 활용하기 때문에 소스코드, 개인정보 유출에 대한 고민도 해결한다. 이번에 공개한 LLM과 AI 코딩을 도입하고자
지난 5월 산업별 솔루션 개발에 향후 3년간 10억 달러 투자 계획 발표 SAS가 9월 11일부터 14일까지(현지시간) 미국 라스베이거스에서 개최하는 사용자 대상의 글로벌 연례 행사 ‘SAS 익스플로어 2023’에서 생성형 AI 기술 전략 로드맵 및 최신 SaaS 제품과 비즈니스 사례를 대거 발표했다. 글로벌 컨설팅 기업 맥킨지 & 컴퍼니는 생성형 AI가 은행, IT, 생명 과학 및 소매와 같은 산업에서 연간 수십억 달러의 매출 성장을 이끌 것이라고 예측하고 있다. 산업 분야용 분석 솔루션에 중점을 두고 있는 SAS는 지난 5월 산업별 솔루션 개발에 향후 3년간 10억 달러를 투자한다는 계획을 발표했으며 그 일환으로 생성형 AI 기술 개발에 주력하고 있다. 금융 및 의료 산업 분야에서 SAS는 합성 데이터 생성을 위해 고객과 협업하며, 제조 및 물류 산업 분야에서는 디지털 트윈 기반의 시뮬레이션 환경을 구축하기 위해 고객과 지속적으로 협력하고 있다. 또한, 산업에 특화된 생성형 AI를 지원하고 대규모언어모델(LLM)을 적용해 고객에게 안전하고 신뢰할 수 있는 결과를 제공하는 방안을 폭넓게 연구하고 있다. 브라이언 해리스(Bryan Harris) SAS
멀티미디어 콘텐츠를 높은 정확성과 효율성으로 이해 및 분석하는 것 가능해져 알리바바 클라우드가 대규모 언어 모델(LLM)인 ‘통이치엔원(Tongyi Qianwen)’을 AI 구동 미팅 어시스턴트인 ‘팅우(Tingwu)’와 결합했다고 2일 발표했다. 통이치엔원은 알리바바 클라우드가 최근 공개한 대규모 언어 모델이며, 이를 팅우에 결합해 멀티미디어 콘텐츠를 높은 정확성과 효율성으로 이해하고 분석하는 것이 가능해졌다. 가령, 비디오 또는 오디오 파일에서 내용이 요약된 텍스트를 생성하거나 각 화자의 주요 요점을 정리해준다. 또한, 멀티미디어 파일의 타임라인을 생성하거나 섹션별 요약본을 개발한다. 알리바바 클라우드는 이 대규모 언어 모델을 기반으로 한 팅우를 ‘통이 팅우(Tongyi Tingwu)’라 명명하고 현재 베타 테스트 중이다. 통이 팅우는 알리바바의 디지털 협업 업무 공간이자 애플리케이션 개발 플랫폼인 ‘딩톡(DingTalk)’에도 적용돼 업무 간 필요한 AI 서비스를 제공할 예정이다. 통이팅우는 업무 효율성을 개선하는 것 외 다양한 멀티미디어 플랫폼에서 온라인 교육, 트레이닝, 인터뷰, 라이브 스트리밍, 팟캐스트, 숏폼 비디오 등에 활용되며 더욱 빠르고 쉬
상호명(명칭) : (주)첨단 | 등록번호 : 서울,자00420 | 등록일자 : 2013년05월15일 | 제호 :헬로티(helloT) | 발행인 : 이종춘 | 편집인 : 김진희 |
본점 : 서울시 마포구 양화로 127, 3층, 지점 : 경기도 파주시 심학산로 10, 3층 | 발행일자 : 2012년 4월1일 | 청소년보호책임자 : 김유활 | 대표이사 : 이준원 | 사업자등록번호 : 118-81-03520 | 전화 : 02-3142-4151 | 팩스 : 02-338-3453 | 통신판매번호 : 제 2013-서울마포-1032호
copyright(c) HelloT all right reserved
UPDATE: 2024년 11월 22일 17시 59분
