[첨단 헬로티]

 

인더스트리 4.0 및 전산업 자동화로 인해 3D 기술 증가

3차원은 이미지 프로세싱 애플리케이션에서 점점 더 중요한 역할을 한다. 이 보고서에서는 시장에서 가장 널리 사용되는 3D 기술에 대해 설명하고 각각의 강점과 약점에 대해 설명한다. 또한 3 차원이 어떠한 응용 프로그램에 가치가 있는지 여부에 대한 질문에 답할 수 있는 기준을 얻을 수 있을 것이다.

 

1. 2D 카메라 기술

에어리어 스캔 및 라인 스캔 카메라는 2D 카메라 기술로 제공된다. 에어리어 스캔 카메라는 단일 이미지로 분석할 장면을 캡처하는 반면, 라인 스캔 카메라는 이미지가 라인 단위로 기록되는 스캔 프로세스를 사용한다. 선택된 카메라 모델에 따라 장면은 RGB 값에서 i.e, 단색 또는 컬러 이미지로 표현된다.  

1.1 응용 분야

2D 이미지 처리는 응용 프로그램이 높은 대비를 제공하거나 객체의 구조와 색상이 최종 결과에 결정적인 경우에 적합하다. 현재 2D는 이미지 처리 작업에서 가장 중요한 기술이다.

2D 카메라용 응용 프로그램은 일반적으로 위치 확인, 감지, 측정 및 읽기와 같은 이미지 처리의 모든 영역에서 찾을 수 있다. 2D 카메라의 일반적인 응용 분야는 다음과 같다.

-대조되는 구성 요소가있는 객체의 조립 검사

-‌높이 값이 거의없는 매우 평평한 물체의 형태와 치수 감지

-‌물체의 오염 탐지, 특히 생산 라인에서 직접적으로 통합된 테스트

-포장에서 바코드의 인쇄질 혹은 색상 평가

-‌색상이나 인쇄물의 관점에서 명확하게 구분되는 제품 정렬

-회로 기판의 솔더 검사

▲ 그림29. 모터 드라이버

2. 3D 카메라 기술

4 장에서 더 자세히 설명할 여러 기술을 사용하여 객체 및 장면의 3차원을 캡처할 수 있다.

2D 및 3D 기술의 특징은 객체에서 X 및 Y 값을 볼 수 있을 뿐만 아니라 기록된 장면 또는 객체의 깊이 값을 제공한다는 것이다.

이는 특히 로봇, 공장 자동화 및 의료 분야에서 복잡한 작업을 해결할 수 있는 완전히 새로운 가능성을 열어준다.

지금까지는 3D 솔루션이 없는 엔터테인먼트 분야를 상상할 수 없으며 가상 현실 경향 및 영화 제작에 3D 데이터 사용에 따른 새로운 애플리케이션의 범위가 증가하고 있다.

2.1 응용 분야

3D 이미지 처리는 특히 물체의 볼륨, 모양 또는 3D 위치가 분석 될 때마다 사용된다.

깊이 정보는 2D의 대비가 충분하지 않은 높이의 눈에 띄는 차이를 보이는 결함의 이미지와 객체를 검사할 때 작업을 처리하는 데에도 사용할 수 있다. 3D 카메라의 일반적인 응용 분야는 다음과 같다.

-지게차와 같은 산업 환경에서 자율 주행 차량의 장애물 및 ‘인간’ 내비게이션 감지

-컨베이어 벨트 또는 빈 따기에 대한 로봇 제어 그립 작업

-‌배경과 대비가 전혀없는 경우에도 빈(bin)/박스(box)의 존재 여부 감지, 확인 및 계산 기능

-회로 기판상의 구성 요소의 위치 및 유무 검사

-다양한 물체의 부피 측정

-육류 분리와 같은 음식의 부분 배치

2D 기술이 지금까지 이미지 프로세싱 시장에서 더 큰 역할을 했음에도 불구하고 3D 솔루션에 대한 추세는 계속해서 증가하고 있다. Industry 4.0과 자동화의 성장 추세로 인해 특히 3D 이미지 프로세싱이 더욱 중요해질 것이다.

3. ‌2D 또는 3D - 제 3 차원은 내 업무를 해결할 수 있을까?

각 검사 작업을 처리하는 데 2D 또는 3D 카메라 기술을 사용해야하는지 여부는 처음부터 충분히 고려되어야하며 많은 고려가 필요하다.

일부 응용 프로그램에서는 요구 사항이 매우 명확하기 때문에 이 질문에 쉽게 대답할 수 있다. 그러나 2D 및 3D 기술은 매우 다른 장점과 단점을 제공하지만 일부 다른 응용 프로그램에도 사용될 수 있다. 이들은 최적의 솔루션을 선택하기 전에 적절히 사용될 수 있도록 이해가 기반이 돼야 한다.

2D 또는 3D 솔루션이 의도한 작업에 적합한지 확인하려면 기준 목록에 따라 진행하고 응용 프로그램과 관련하여 표1과 같은 항목을 고려해야 한다. 

▲ 표1. 2D 혹은 3D 카메라 기술 사용 체크 사항

4. 가장 많이 사용되는 3D 기술 개요

2D 이미지 처리에서 서로 다른 응용 프로그램의 요구를 충족시키기 위해 서로 보완하는 에어리어 스캔 및 라인 스캔 카메라를 사용할 수 있는 것처럼 3D 이미지 처리는 다양한 기술을 제공한다. 

지금 가장 자주 사용되는 것들은 스테레오 비전 및 구조화 된 조명, 레이저 삼각 측량, ToF(Time-of-Flight)이다. 

각각의 기술은 3차원을 기록하기 위한 다른 원칙에 기반을 두고 있으며 각각 다른 장점과 단점을 가지고 있다. 이 기술은 여기서도 서로 보완되며, 가장 적합한 것은 해당 애플리케이션의 요구 사항에 따라 달라진다. 이에 대해서는 다음 섹션에서 자세히 설명하도록 한다.

4.1 스테레오 비전 및 구조 조명

스테레오 비전은 사람의 눈의 원리에 따라 작동한다. 두 개의 카메라는 한 물체의 두 개의 2D 이미지를 기록하는 데 사용된다.

동일한 장면이 두 개의 서로 다른 위치에서 기록되고 깊이 정보는 삼각 측량 원리의 도움을 받아 3차원 이미지로 조립된다.

스테레오 비전은 두 개의 일반 2D 에어리어 스캔 카메라의 이미지 데이터를 사용하여 장면의 깊이 값을 제공한다. 이미지는 카메라 위치 및 응용 프로그램의 기하학에 대한 지식을 기반으로 수정된다.

수정 후, 정합 알고리즘을 사용하여 좌우 영상의 대응점을 찾고 장면의 깊이 영상을 생성한다.

이 프로세스가 작동하는 작동 거리는 기준선 - 카메라 간 거리 -에 따라 다르므로 다양하다.

스테레오 시스템의 성능을 향상시키기 위한 한 가지 옵션은 구조화 된 조명을 스테레오 솔루션에 추가하는 것이다.

장면의 기하학적 밝기 패턴을 투사하는 광원을 사용하면 측정 결과가 더욱 정확해지고 균질 표면 및 저조도로 인한 입체감의 단점이 크게 감소된다.

카메라로 프로젝터를 캘리브레이션하면 두 번째 카메라를 사용하지 않아도 된다.

4.1.1 Stereovision의 강점과 약점

+ 단거리에서 높은 정확도 달성 가능성

+ 2D 에어리어 스캔 카메라 사용 가능.

+ 햇빛 노출은 문제가 되지 않음.

+ 고 반사율, 소위 비협조적 표면에는 문제 없음

- 균일한 표면에서는 작동하지 않음.

- 저조도에서는 작동하지 않음.

- 높은 컴퓨팅 부하로 인해 실시간 기능이 어려움

4.1.2 구조화 된 빛의 강점과 약점

+ 단거리에서 높은 정확도 달성 가능성

+ 2D 에어리어 스캔 카메라를 사용할 수 있음.

+ 햇빛 노출은 문제가 되지 않음.

+ 고 반사율, 소위 비협조적 표면에는 문제 없음

- 높은 컴퓨팅 부하로 인해 실시간 기능이 어려움

- ‌복잡한 설치 및 높은 설치 비용으로 높은 전체 시스템 비용

4.1.3 ‌Stereovision 및 Structured Light의 일반적인 응용 분야

스테레오 비전을 사용하면 상당히 높은 정확도를 얻을 수 있다.

비협조적인 표면은 스테레오 비젼에 중요한 문제를 일으키지 않지만 객체의 몇 가지 참조 마크 또는 임의의 패턴이 항상 필요하다.

즉,이 기술은 일반적으로 프로덕션 환경에서 사용하기에 적합하지 않다. 스테레오 비전은 좌표 측정 기술, 산업, 서비스 또는 로봇 시스템을 사용하는 응용 프로그램의 객체 및 작업 공간을 3D로 측정할 때나 인간이 위험하거나 접근하기 어려운 작업 영역의 3D 시각화에서 종종 볼 수 있다. 스테레오 시스템은 또한 나무 줄기를 측정하고 검사하는 제재소와 같은 실외 지역의 측정 시스템에 사용하기에 매우 적합하다.

그러나 구조화 된 조명을 추가하면 높은 처리 부하, 복잡한 설치 노력 및 높은 비용이 허용되는 경우, 물체를 측정하는 등의 산업 응용 분야에서도 입체 뷰가 흥미롭다.

4.2 레이저 삼각 측량

레이저 삼각 측량의 과정은 2D 카메라와 레이저 광원의 조합을 사용한다. 이 절차에서 레이저는 카메라 앞에 있는 장면에 선이나 점을 투영한다.

레이저 선 또는 점들은 카메라 앞에있는 물체에 나타나며 2D 카메라로 기록된다. 물체를 가로지르는 카메라 이동 또는 물체에 의한 이동으로 인해 측정된 물체와 센서의 거리가 변하면, 컨베이어 벨트를 통해 레이저 선 또는 도트가 관찰되는 각도가 카메라 이미지의 위치와 함께 변경된다. 광원에서 물체까지의 거리는 수학을 사용하여 이미지의 위치 좌표로부터 계산된다.

4.2.1 레이저 삼각 측량의 강점과 약점

+ 매우 높은 정확도

+ 어려운 조명 조건은 문제가되지 않습니다.

+ 반사 또는 고 반사 (비협조적) 표면에는 문제 없음

- 물체의 필요한 레이저 스캐닝으로 인해 천천히

- 작은 작동 거리

- ‌높은 정확도를 위해서는 매우 고가의 개별 부품을 사용해야 함.

- ‌복잡한 설치 및 높은 설치 비용으로 높은 전체 시스템 비용

- 안전주의 사항 없이는 눈의 안전을 보장할 수 없음

4.2.2 레이저 스캐너의 적용 분야

레이저 삼각 측량은 항상 극도의 정확도가 요구되는 애플리케이션에서 선택의 수단이다.

또한 어려운 조명 조건과 결합된 강한 반사로 비협조적인 표면을위한 레이저 삼각 측량을 선택하는 것이 좋다.

예를 들어, 1 밀리미터 이하의 범위에서 반사율이 높은 금속 조각을 측정하는 것은 레이저 삼각 측량의 일반적인 응용 프로그램이된다.

또 다른 예는 콘트라스트가 거의없는 유리 병의 분류다.

4.3 Time-of-Flight 방법

Time-of-Flight 방법은 깊이 데이터를 얻고 거리를 측정하는 매우 효율적인 기술이다. ToF 카메라는 각 픽셀에 대해 회색 값으로 표시된 강도 값과 카메라에 대한 객체의 거리, 즉 깊이 값의 두 가지 정보를 제공한다.

ToF 기술을 사용하는 방법에는 두 가지가 있다. 하나는 연속파, 다른 하나는 펄스 비행 방식이다.

연속파 ToF 방법은 밝기 변조된 광원에 대한 위상 길이의 측정을 기반으로 한다. 이 방법은 성숙되어 표준 전자 장치와 함께 작동한다. 이 방법에 사용된 센서는 비교적 크기가 크며 저해상도에서만 작동한다.

Pulseed ToF는 많은 개별 펄스의 이동 시간을 기준으로 거리를 측정한다. 이를 위해서는 +/- 1cm 범위의 정확도에 도달하려면 매우 빠르고 정밀한 전자 장치가 필요하다. 지금까지 기술 진보는 정확한 광 펄스를 생성하고 정당한 비용으로 고해상도로 정확한 측정을 가능하게 한다. 그렇기 때문에 고해상도에 대한 추세가 중요하기 때문에 펄스 형 ToF 방법이 계속해서 빠르게 발전할 것이다.

ToF 카메라는 움직일 수 있는 부품이 없는 컴팩트 한 시스템으로 다음과 같은 구성 요소로 이루어져 있다.

-통합 된 광원

-통합 렌즈 및

-ToF 센서

광원은 빛 또는 연속 빛의 펄스를 전송한다. 이 빛은 물체를 때리고 카메라쪽으로 다시 반사된다. 통합 렌즈는 반사광이 센서에 도달하도록 한다. 간략한 설명에서, 각각의 개별 픽셀의 거리 및 따라서 깊이 값은 광이 센서에 다시 도달할 때까지의 빛의 이동 시간에 기초하여 계산된다. 이 프로세스는 산란도/깊이 맵을 간단하고 실시간으로 표현할 수 있으며 동시에 기록된 강도와 신뢰도의 이미지를 제공한다.

▲ 그림2

4.3.1 ToF의 강점과 약점

+ 장면을 한 번에 모두 기록하므로 스캔할 필요가 없음.

+ 고속

+ 다중 파트 이미지의 2D 및 3D 정보

+ 높은 X / Y 해상도

+ 움직이는 구성 요소가 없는 컴팩트 시스템

+ 저조도에서 매우 잘 작동함

+ 안구 안전 장치가 제공됨.

+ 구조 또는 대비가 필요 없음

+ 충분히 강한 광원을 사용하면 넓은 작업 거리가 가능함.

+ 전체 시스템 비용 절감

+ 높은 실시간 기능

- 미러링 및 고 반사 (비협조적인) 표면의 문제점

- 흩어져있는 빛에 민감.

- 햇빛과의 어려움

4.3.2 ToF를위한 전형적인 애플리케이션

ToF 카메라는 넓은 작동 거리, 고속 및 낮은 복잡성을 필요로하는 애플리케이션에 적합하다.

이러한 특성을 원하고 밀리미터까지의 정확도보다 낮은 예산이 중요한 경우, 펄스 형 ToF 기술이 올바른 선택이다. 물류 환경에서의 자율 주행 차량 뿐만 아니라 물류, 팔레 타이징 및 팔레 타이징 작업에서의 볼륨 측정은 ToF 카메라에 적합하다.

또한 의료 분야에서 ToF 카메라, 즉 환자의 위치 파악 및 모니터링을 위한 새롭고 흥미로운 작업이 있다. 산업 분야에서는 깊이 정밀도가 상대적으로 낮기 때문에 ToF 카메라가 장착된 시스템은 대형 물체의 픽앤 플레이스(pick and place) 애플리케이션과 같은 일반적인 작업에 더 적합하다.

그들은 또한 자동차 제조 분야에서 로봇 제어 시스템이나 대형 물체의 측정 및 위치 탐지에 사용될 수 있다. 

▲ 그림3

▲ 그림4

5. 3D 기술들의 비교

4 장에서 이미 명백해진 것처럼 3차원을 필요로하는 모든 비전 애플리케이션을 해결할 완벽한 단일 3D 기술은 없다.

최적의 기술을 선택하려면 항상 요구 사항을 고려해야 한다.

표2는 응용 프로그램의 중요한 기준과 관련하여 개별 기술의 성능을 보여준다.

▲ 표2. 3D 기술 비교 표

6. 내 응용 프로그램에 적합한 3D 기술은 무엇인가?

각 응용 프로그램에 대한 완벽한 솔루션은 하나도 없다.

이것이 각 애플리케이션이 요구 사항과 적절한 기술 측면에서 새롭게 평가되어야 하는 이유다.

먼저 솔루션에 2D 또는 3D 중 어떤 것을 사용해야하는지 결정해야한다. 3차원을 요구하는 솔루션이 선택되면, 적합한 기술은 각 3D 기술의 애플리케이션 요구 사항 및 장단점에 따라 선택돼야 한다.

신청서의 기준과 기본 조건을 다시 설명하는 것이 중요하다. 기본적인 조건과 요구 사항을 나열하면 어떤 기술을 전혀 고려해야하는지 결정하기가 더 쉽다.

다음 사항을 명확히해야 한다.

-‌내 애플리케이션에 필요한 정확도는 어느 정도인가? (서브 mm, mm 또는 cm).

-개체의 표면 상태는 무엇인가? (협동 / 비협조적)

-시스템이 어떤 종류의 작동 거리를 충족시켜야 하나?

-시스템의 필수 속도는 얼마인가?

-시스템이 실시간으로 작동할 수 있어야 하나?

-내 설치 및 설정 요구 사항은 무엇인가? 설정이 복잡하거나 구현 및 통합이 매우 쉽지는 않은가?

-애플리케이션의 총 예산은 얼마인가? (총 소유 비용)

-‌3D 솔루션을 개별 구성 요소로 사용하기 위한 최대 비용은 얼마인가?

-태양 빛에 직접 노출되어 옥내 나 옥외에서 사용하나?

가장 중요한 요구 사항이 나열된 후에는 가장 중요한 요구 사항을 찾기 위해 우선 순위를 지정해야 한다. 이것은 자신에게 다음과 같은 질문을 함으로써 가장 효과적이다. 절대적으로 해야 할 것은 무엇이고 B 우선 순위는 무엇인가?

하나의 요구 사항을 생략할만한 가치가 있는 다른 기술의 장점은 무엇인가?

결론

이미지 처리 기술을 선택할 때, 당신이 단 하나의 권리를 찾았다는 100% 확실성은 없다. 또한 2D 및 3D 기술 중에서 항상 유일한 해결책이 없다.

이미지 처리 및 그 뒤에 있는 응용 프로그램은 종종 복잡하여 사용에 따라 개별 결정을 내려야 한다. 각 응용 프로그램은 다르다. B 우선 순위가 있는 기능을 제공하는 응용 프로그램이다. 다른 요소에 우선하여 조금 낮게 평가 된 다른 응용 프로그램에서는 우선 순위가 높으며 다른 요소와 관련하여 높은 가격 또는 단점이 있는 경우 필수 요소다.

2D 또는 3D 중에서 선택하는 것은 적합한 기술을 결정하는 첫 번째 단계다. 이 선택이 완료된 후에만 에어리어 스캔 또는 라인 스캔 카메라와 같은 2D 카메라 또는 어떤 3D 기술이 가장 적합한 지 결정할 수 있다.

여기에서는 개별 구성 요소 뿐만 아니라 전체 라이프 사이클에 걸쳐 축적되는 이러한 투자의 총 비용을 고려하는 것이 중요하다. 개별 구성 요소가 저렴한 것처럼 보일지라도 시스템 및 소프트웨어 솔루션을 설치하면 비용이 높아질 수 있다.

이미지 처리 솔루션의 개발에서 3D에 대한 수요는 계속 증가할 것이다. 이러한 증가는 Industry 4.0 및 일상 생활 뿐만 아니라 모든 산업 분야에서 끊임없이 증가하는 자동화로 인해 특히 발생한다.

기존 2D 솔루션은 또한 3 차원에서 이익을 얻고 시스템을 보다 효율적으로 만들 수 있다. 

Basler AG