테스트 측정 설계시 데이터 분석으로 시간과 돈을 낭비하지 않는 방법

설계부터 제조(D2M)까지의 과정은 일반적으로 설계, 시뮬레이션, 제조, 검증, 적합성 테스트 및 제조의 순차적인 단계가 포함된다. 각 단계는 일반적으로 초기 설계 실험(DOE)에서 지정된 데이터 수집을 필요로 하며 설계가 중요한 요구 사항을 충족시키고 있다는 확신을 제공하기 위한 것이다. 효과적인 데이터 분석 툴은 엔지니어가 설계-제조 과정의 각 단계에서 DOE에 따라 수집된 데이터 세트 내에서 사용할 수 있는 통찰력을 평가할 수 있도록 도와준다.  또한, 현대적인 데이터 분석 툴 활용으로 주요 기술 결정에 대한 자신감을 증가시켜 제품의 시장 출시(TTM)를 크게 앞당길 수 있다. 

오늘날의 설계 작업 흐름

D2M 과정의 처음 두 단계는 설계 및 시뮬레이션이다. 초기 설계가 완료되면, 설계자는 시뮬레이션을 수행해 설계가 요구하는 설계 사양이 충족되는지 확인한다. 이 시뮬레이션은 몇 가지 주요 통계를 제공하며, 추가적으로 설계에 통합된 업계 표준 인터페이스(예: DDR, USB 또는 PCIE)를 검증할 수 있는 적합성 테스트 애플리케이션에 반영될 수 있는 파형을 생성한다. 시뮬레이션 검증은 일반적으로 매우 비싼 ASIC 및 복잡한 인쇄 회로 기판 제조에 투입되기 전에 처리하는 중요한 작업이다. 이 단계는 많은 양의 데이터와 측정 결과를 생성하므로 나중에 물리적 테스트와 비교하기 위해 보관해야 한다.

제조 후 설계 작업 흐름의 다음 단계는 설계의 물리적 검증이다. 설계 검증은 오실로스코프, 비트 오류율 테스터 및 기타 측정 디바이스와 같은 테스트 장비를 사용해 새로 제작한 디바이스(DUT)에서 수행한다. 이 단계에서 검증 엔지니어는 설계 단계에서 작성된 DOE에 따라 설계의 여러 샘플을 측정한다. 유효성 검사 단계의 목표는 시뮬레이션 단계에서 수행된 것과 같이 많은 측정을 실제 하드웨어에서 수행하는 것이다. DOE는 일반적으로 온도, 입력 전압 및 다양한 소프트웨어 구성과 같은 광범위한 작동 조건에서 검증을 요구하므로, 이 과정에서 많은 데이터가 수집된다. 게다가 이러한 테스트는 테스트 결과의 통계적 중요성을 보장하기 위해 많은 물리적 샘플을 통해 여러 번 실시되어야 한다.

엔지니어링 팀이 데이터를 수집하는 동안, 그들은 설계가 어떻게 수행되는지를 결정하기 위해 데이터를 분석할 것이다. 이 분석은 불편하거나 지루한 툴과 데이터 관리 때문에 자주 지연된다. 데이터들은 CSV, XML, 바이너리 또는 기타 다양한 형식의 데이터가 있는 여러 업체의 다양한 장비로부터 가져온다. 데이터는 여러 장소에 저장되고 여러 사람이 관리한다. 또한 분석은 간혹 데이터베이스, Excel 스프레드시트, 피벗 테이블, JMP, Matlab, R 및/또는 기타 자체 제작 툴과 같은 다양한 툴로 처리된다. 문제는 대부분의 엔지니어링 팀이 이 데이터와 자체 제작 툴 및 프로세스를 직접 관리한다는 사실로 인해 더욱 복잡해지고, 이로 인해 실제로 측정을 수행하고 결과를 신속하게 분석하는 것이 어려워진다. 

기본 시스템 성능에 대해 설계 검증이 되면, 엔지니어링 팀은 물리적 DUT에 대한 적합성 테스트를 진행하여 주요 인터페이스가 업계 표준 인터페이스를 완벽하게 준수하는지 확인한다. 다시 한번 말하지만, 이 테스트는 다양한 조건을 포함해야 하며, 각각 여러 개의 DUT에 대해 여러 번 측정해야 한다. 신뢰할 수 있는 적합성 애플리케이션의 사용이 이 단계에서는 이상적이다. 자동화된 적합성 테스트 소프트웨어는 자동화된 프로세스에서 필요한 모든 측정을 수행하고 해당 업계 표준에 지정된 테스트 한계를 기반으로 통계 분석을 통해 테스트 보고서를 작성하기 때문에 많은 시간을 절약할 수 있다. 이를 통해 엔지니어는 설계 마진을 특성화하고 결정할 수 있다. 또한 원래 시뮬레이션된 설계 결과와 역 비교가 가능하며, 최초 설계 의도를 갖고 있는 경험적 테스트 데이터와 같은 유형의 제품별로 비교가 가능하다. 이 데이터는 첫 번째 설계가 제조 생산하기에 만족스럽지 않을 경우 두번째 설계를 해야 하는 경우에도 매우 유용하다.

설계가 완벽하게 검증되면, 설계가 제조 단계로 넘어갈 수 있다. 제조 팀이 생산 시작을 준비할 때, 설계가 제조 목표를 달성할 수 있도록 하기 위해 생산 프로세스와 측정을 확인할 필요가 있다. 가끔 이러한 목표는 프로그램 시작 시 작성된 원본 DOE에서 파생된다. 따라서 제조 팀은 설계 및 유효성 검사 데이터에 접근할 필요가 있다. 최신 데이터 분석 솔루션을 사용하면 이 데이터를 제조 팀이 쉽게 이용할 수 있다. 생산이 증가함에 따라, 제조 팀은 효율성 향상, 또는, 생산량 향상을 위한 수익성 향상을 추구하는 제조 최적화 단계로 진행할 것이다. 다시 말하지만, 데이터는 이러한 개선을 추진하는데 매우 중요하다. 그 과정에서 제조 팀은 일반적으로 개발 초기 단계에서 수집된 많은 동일한 데이터를 수집할 것이다. 이 데이터와 함께 효과적인 제조 관리 및 최적화를 위한 기초를 제공한다.

명확한 DOE에서 시작하고 올바른 분석 툴 선택하기

분명히 데이터 관리 및 정보 통찰력은 성공적인 D2M 프로그램의 핵심이다. 유능한 데이터 분석 플랫폼은 도움이 될 것이며, 공정 초기에 DOE(초기 실험 설계)를 통합함으로써, 엔지니어링 팀은 효율적이고 자신감 있는 결정을 내릴 수 있게 될 것이다.

DOE는 설계 초기 단계에서 생성되며 설계에 대한 주요 질문에 답할 수 있는 데이터를 제공하는 데 목적이 있다(주요 사양을 충족시킬 것인가, 다양한 조건에서 어떻게 수행할 것인가, 얼마나 많은 전력을 소비할 것인가). 이 DOE는 시뮬레이션 및 실제 DUT에서 실행할 필요가 있는 테스트들을 정의한다. 또한 DOE는 결과에 통계적 신뢰를 얻기 위해 실행이 필요한 테스트 조건 및 테스트 횟수를 확인한다. 이 단계에서는 팀이 시뮬레이션 및 물리적 환경에서 테스트를 실행하는데 필요한 툴(예: 오실로스코프 및/또는 적합성 애플리케이션)를 식별하는 것도 중요하다. 또한 시뮬레이션 및 검증 팀이 동급 제품과의 결과 비교를 확인하기 위한 동일한 측정 툴 및 알고리즘을 사용하는 것이 중요하다. 이렇게 하지 않으면 팀내 의사 결정 과정이 원만하게 이루어지지 않는다.

그렇다. DOE는 프로그램 과정에서 진화할 것이며, DOE 진화와 함께 적용할 수 있는 데이터 분석 플랫폼을 선택하는 것이 중요하다. 어느 누구도 IT 팀이 "데이터베이스 스키마를 재설계"하는 동안 프로그램을 연기하는 것을 좋아하지 않는다.

적합한 데이터 분석 플랫폼에는 몇 가지 핵심 요소가 있다. 

• 모든 측정 데이터 저장 가능(대량 및 실시간 업로드)

•‌ 모든 공급 업체(모든 형식)의 시뮬레이션 및 측정 툴과 호환 가능

• 고 가용성, 백업, 안전한 엔터프라이즈급 성능

•‌ 팀을 병렬로 운영 가능– 병렬로 데이터 추가(여러 사이트 및 지역에서)

• 엔지니어링 팀에 대한 유지 보수가 낮음

•‌ 실시간 DOE 변경에 유연(이는 항상 발생하며 팀을 느리게 하지 않아야 함)

•‌ 전체 팀이 데이터를 신속하게 검색 및 분석 가능(모든 위치에서)

•‌ 사용하기 쉬운 분석으로 전체 팀이 인사이트를 확인하고 의사 결정에 참여.

• 커스텀 분석을 위해 다른 심층적인 분석 툴로 내보내기

• 자동 보고서 생성

최신 시각화 툴로 실시간 분석

현재 엔지니어가 테스트 데이터를 분석할 때 사용되는 시각화 툴은 많다. 그러나 이러한 툴들은 대개 애플리케이션 전문 지식을 습득할 시간이 있는 단일 사용자 용으로 설계된 중량급 기본 애플리케이션에서나 사용할 수 있다. 이러한 툴은 프로그램이 빠르게 진행됨에 따라 실시간으로 신속하고 확신 있는 의사 결정을 진행해야 하는 엔지니어링 팀의 요구를 적합하지 않다. 또한, 엔지니어링 팀이 점차 글로벌화되고 분산되어 가고 있기 때문에 텍스트, 측정 D2M에는 잘 맞지 않는다. D2M 팀을 위한 시각화 툴은 전체 팀에 데이터 접근을 제공해야 하며, 히스토그램, 스윕(sweep), 박스 앤 휘스커(box-and-whisker) 플롯 및 스캐터(scatter) 플롯과 같은 잘 알려진 시각화 기능이 가능해야 한다.

스윕 플롯 또는 벡터 플롯은 2 차원 "스윕 데이터(sweep data)"를 볼 수 있게 해준다. D2M 및 테스트 및 측정 애플리케이션은 시간-영역 파형, 주파수-영역 크기 플롯 및 아이 다이어그램과 같은 스윕 데이터에 크게 의존한다. 올바른 분석 툴은 예를 들어 팀이 서로 다른 테스트 조건에서 여러 개의 아이 다이어그램을 겹치게 할 수 있다. 오버레이 기능은 눈 모양이 작아지거나 마진이 적은 테스트 조건을 결정할 수 있게 해준다. 설계 엔지니어는 이 정보를 사용하여 최상의 성능을 위해 설계를 최적화할 수 있다. 스윕/벡터 플롯의 또 다른 예는 배열 다이어그램이다. 그림 1은 5G QAM4 배열 다이어그램의 예를 보여준다. 3 개의 서로 다른 입력 전압 즉, 1V, 0.9V 및 0.8V를 나타내는 3 세트의 배열 데이터 오버레이가 있다. 플롯은 입력 전압이 1V인 배열 다이어그램이 가장 깨끗한 전송 기호를 가지고 있음을 보여준다. 입력 전압이 0.8V인 배열 다이어그램은 잠재적인 위상 잡음 문제가 있는 가장 낮은 수신 신호 품질을 가진 것으로 보인다.

▲ 그림 1. 3가지 입력 전압의 오버레이(1V, 0.9V 및 0.8V) 5G QAM4

배열 데이터

테스트 및 측정 세계에서 널리 사용되는 또 다른 시각화 방법은 박스 앤드 위스커 플롯이다. 그림 2는 다중 수준 분리 능력이 있는 Jitter(파형 산란) 측정의 박스 앤드 위스커 플롯의 예를 보여준다. 사용자는 분석 목적으로 둘 이상의 속성으로 분할할 수 있다. 왼쪽에 있는 플롯은 Sakata, Fernandez 및 Chang의 세 사용자 이름으로 나뉜다. 오른쪽 플롯은 사용자 이름과 입력 전압으로 나뉜다. 플롯은 Chang의 측정 값이 대부분 특히 0.8V의 입력 전압에 대한 상한보다 높다는 것을 나타낸다.

▲ 그림 2. 다중 수준 분리 기능이 있는 파형 산란(Jitter) 측정의 박스 앤드

위스커 플롯. 

요약하면 성공적인 D2M 프로그램은 명확한 DOE를 요구하며 반드시 많은 양의 데이터를 생성해야 한다. 선행 계획과 올바른 분석 플랫폼을 선택함으로써 엔지니어링 팀은 효과적으로 출시 시간을 최적화할 수 있다. 이 동일한 데이터는 제조 단계 및 제조 최적화에 활용될 수도 있다. 

Brad Doerr&Ailee Grumbine, Keysight Technology