LS 일렉트릭은 2021년 WER 주관 세계 등대 공장에 선정된 기술 중 하나인 '딥러닝 솔루션 기반 검사 시스템'을 저압 차단기 및 전 생산라인에 적용해 운영하고 있다.
기술을 적용했음에도 현장에선 설비 개선, 제품 변경 등 현장에서 4M 관련 변경 시 딥러닝 재학습에 필요한 결함 데이터 재현 및 확보에 시간이 상당히 소요되는 점들에 대해 애로사항이 있었다.
특히, 간헐적으로 발생하는 결함을 재현하는 경우 현장 작업자들의 시간과 노력이 상당 필요했고, 모델 재학습 적용 후 안정화 기간 동안 발생하는 미 검출에 대한 해결책이 필요했다. LS 일렉트릭의 머신비전 솔루션 FactorySol MVS은 해당 문제를 해결하고, 성공적인 머신비전 도입 이후의 안정적이고 지속적인 운영을 목표로 개발됐다.
FactorySol MVS 주요 기능① 생성형 AI 기반 이미지 생성
딥러닝 모델들은 훈련에 사용되는 데이터가 많고 풍부할수록 성능이 향상된다. 하지만 현장에서 모든 결함 유형의 데이터를 취득하기란 매우 어렵고, 인위적으로 제작해 이미지를 수집하는 데도 많은 제약이 따른다. 모든 결함 유형의 모델의 성능을 보장하기는 매우 어려운 것이다.
LS 일렉트릭의 솔루션은 이를 극복하기 위해 생성형AI 기술이 활용됐다. 사용자는 취득하고자 하는 제품의 결함 유형을 텍스트 프롬프트를 입력하여 원하는 유형의 결함 이미지를 높은 안정성과 품질로 제공받을 수 있다.
FactorySol MVS 주요 기능 ② Anomaly Detection 모델
LS ELECTRIC의 Anomaly detection 모델은 정상 이미지만을 학습하여 정상과 비정상을 판별한다. 딥러닝 모델의 지속적인 개선을 위한 다양하고 풍부한 데이터 수집을 위해 라인에서 운영되고 있는 Objection detection 모델에서 정상으로 판별한 이미지들을 Anomaly detection 모델에서 재 판별을 하는 형태로 구성되어 있다.
이상치로 판별된 이미지는 히트 맵을 통해 시작적으로 확인할 수 있다. 판별된 부분은 사용자 편의를 위해 Bounding Box화해 레이블러가 불량의 유형만 선택해 레이블을 할 수 있도록 해 생산성을 향상시켰다.
경쟁 기술 대비 특장점
LS ELECTRIC의 생성형AI 모델은 결함 이미지의 개수가 많지 않아도 모델에서 가지고 있는 불량 유형에 대한 Prompt의 정보를 가지고 있어 결함 이미지를 생성하는 데 문제가 없다. 얻고자 하는 결함 이미지의 다양성 및 완성도에 따라 다르겠지만, 정상 이미지 수십~수백 장 정도와 결함이미지 10~20장 정도면 결함 이미지 생성을 위한 LoRA 학습 모델이 가능하다.
불량 유형에 대한 프롬프트와 대상 모델의 정상품 이미지를 입력 요소로 사용하고, 찍힘, 깨짐, 실금과 같은 일어날 수 있는 유형의 키워드를 선정하고 이를 프롬프트에 적합한 가중치와 함께 적용하게 된다.
정상품 이미지를 IMG2IMG 기능을 활용하여 입력으로 사용하며, 전체 이미지를 대상으로 불량을 생성하는 방법과 이미지 중 특정 부분에만 불량이 생성되도록 마스킹을 하는 Inpaint 기능을 사용하는 방법으로 이미지 생성이 가능하다.
생성된 이미지는 자동적으로 위 그림에서 표현된 위치에 레이블링까지 완성되어 사용자에게 제공한다. 위의 모든 과정은 사용자가 얻고자 하는 불량 유형만 입력하면, 다양한 위치에 각각의 결함 유형들이 있는 이미지가 생성되어 레이블까지 모두 자동화가 되어 있어 사용자 편의성을 높였다.
경쟁 기술인 생성형 AI모델인 GAN을 활용한 솔루션을 출시한 사례들이 있다. GAN의 구성은 데이터를 생성하는 Generator와 데이터를 구별하는 판별모델인 Discriminator로 되어 있고, 학습데이터를 기반으로 Generator 이미지를 생성하고 이를 실제 이미지와 비교하여 판별자가 판단하면서 동작을 한다.
GAN은 초기 모델로 안정성이 떨어진다는 평가가 있으며 판별자가 진짜라고 생각하게 된 경우가 발생한다면, 다양한 데이터를 만들기보다는 진짜로 인정받았던 것을 대량으로 생산하려고 하게 된다. 생성된 이미지의 품질이 불안정하고 판별자를 속이는 것에 집중된 모드 붕괴(Mode Collapse) 현상이 발생하여 생성된 이미지가 특정 패턴에 치우쳐 다양성이 부족한 결과를 낼 수 있다.
반면, 자사에서 사용한 생성형 AI 모델인 Stable diffusion의 경우 이미지를 생성하는 과정이 확률적으로 이루어지며, 여러 단계에 걸쳐 이루어져서 중간 단계를 관찰하거나 수정할 기회가 있어 좀 더 세밀한 조정이 가능하다. 학습적인 면에서 이미 존재하는 이미지를 변형하여 새로운 이미지를 생성하고 경사 하강법과 같은 안정된 최적화 기법을 사용하여 일반적으로 안정적인 학습 곡선을 보여 중간 과정에서 사용자의 튜닝이 가능하여 모델의 세부적인 조정이 가능하여 높은 품질과 다양한 결함 이미지 생성이 가능하다.
주요 타겟 시장
제품을 생산한 적이 없는 신제품 라인 도입이 잦은 업종에 머신비전을 도입하고자 하는 경우, 잦은 외관 변경으로 인한 머신비전 도입이 적합하지 않았던 업종에서도 생성된 이미지 데이터를 활용하여 라인에서도 높은 검출력으로 신속한 검사가 가능하다.
또한 제조 현장에 AI 검사를 도입하고자 하는 모든 현장에 가능하며, 결함 이미지 수집을 위해선 많은 시간, 비용, 노력이 필요하게 되는 데 이를 최소화하고 검출력 제고가 필요한 현장에 솔루션을 제공할 수 있다.
고객이 도입했을 때 기대효과
제조 분야에서는 Industry 4.0 시작과 함께 수많은 기업이 스마트 팩토리 구현에 힘쓰고 있다. 그중 각 분야에서 제조 자동화가 확산되고 있고 AI 기반의 컴퓨터 비전이 각광받고 있다. 육안 검사를 대체하여 높은 검사 성능과 안정성, 검사 인원에 대한 고용 및 관리로부터 자유롭게 될 것이라 기대한다.
하지만 기대와는 달리 도입 후에 결함 이미지 부족 문제로 인한 검출 정확도 및 시스템 적용 문제에 당면하게 된다.
LS ELECTRIC의 생성형 AI를 이용한 머신비전 솔루션을 도입하게 된다면, 결함 이미지가 부족한 초기 생산 제품에 딥러닝 검사 시스템을 즉시 적용이 가능하며, 양질의 결함 데이터 생성으로 데이터 불균형 문제를 극복하여 검출 정확도를 향상시킬 수 있다.
향후 추가 개발 로드맵
LS 일렉트릭은 제조 환경에 적합한 머신비전 검사 솔루션 및 생성형 AI를 활용한 결함 이미지 생성이 범용적으로 사용 가능하도록 솔루션화를 개발할 예정이다. 또한, Autonomous AI Agent를 이용하여 자율적 시스템 운영이 가능하도록 개발할 계획이다. 설비의 이상이 발생하면, 작업자는 Data Scientist에게 연락하여 조치가 완료될 때까지 기다리는 방법 이외에는 없지만, 향후에는 자가 학습이 가능하도록 스스로 데이터를 수집하고 판별해 성능을 개선하고, 사용자의 피드백을 실시간을 받아 개발자의 수정 없이 스스로 해결해 나갈 수 있도록 개발해 나간다.
LS 일렉트릭 관계자는 "현재 개발된 솔루션은 자사의 20개 이상의 생산라인에서 적용되어 및 운영 중에 있으며, 자사의 Smart Factory 사업에서 고객들에게 공급할 수 있기를 기대한다"고 전했다.
헬로티 함수미 기자 |
