테크노트 [기술 리포트] 특수 신경망 모델을 활용한 효율성 향상

[헬로티] ▷▶크웬튼 홀(Quenton Hall) 자일링스 산업·비전·헬스케어 부문 AI 시스템 설계자 신경망은 새로운 데이터를 통합하여 ‘학습’할 수 있는 인간의 두뇌를 모델링한 일련의 알고리즘으로 분류할 수 있다. 실제로 특수 목적에 맞게 ‘효율적인 컴퓨팅’을 제공하는 신경망 모델을 개발하면, 많은 이점을 얻을 수 있다. 그러나 이러한 모델의 효과를 높이기 위해서는 몇 가지 주요 요건들을 고려해야 한다. 추론 가속기(또는 일반적인 하드웨어 가속기)를 구현할 때 고려해야 할 중요한 사항 중 하나는 메모리 액세스 방법과 관련이 있다. 머신러닝 추론의 경우 가중치는 물론, 중간 활성화(Activation) 값까지 모두 저장할 수 있는 방법을 구체적으로 고려해야 한다. 지난 몇 년간 여러 기법들이 사용되었고, 다양한 성공률을 기록했다. 또한 관련 아키텍처의 선택도 중요한 영향을 미친다. - 지연시간: L1, L2, L3 메모리에 대한 액세스는 비교적 짧은 대기시간에 이뤄진다. 다음 그래프 작업과 관련된 가중치와 활성화가 캐시되면, 합리적인 수준의 효율을 유지할 수 있다. 그러나 외부 DDR에서

• 이나리 기자
• 2020-05-28 16:29