KR20150106579A

KR20150106579A - 자유곡면 또는 3차원 형상을 가지는 검사대상물에 대한 검사시스템 및 상기 검사시스템 운영방법

Info

Publication number: KR20150106579A
Application number: KR1020140028803A
Authority: KR
Inventors: 최상진; 서정화; 김대현
Original assignee: 주식회사 마인즈아이
Priority date: 2014-03-12
Filing date: 2014-03-12
Publication date: 2015-09-22
Also published as: KR101583016B1

Abstract

본 발명은 각각 복수의 카메라가 직렬로 장착된 복수의 프레임을 2차원으로 배열한 다중 이미지획득모듈을 구비하여, 자유곡면 또는 3차원 형상을 가지는 검사대상물의 검사를 짧은 검사시간 내에 유연한 검사 자유도로 검사할 수 있는 검사시스템 및 상기 검사시스템의 운영방법을 개시(introduce)한다. 상기 본 발명에 따른 검사시스템은, 다중이미지획득모듈, 구동부, 신호처리부 및 프로세서를 포함하며, 상기 본 발명에 따른 검사시스템 운영방법은, 도 2 및 청구항 제1항에 기재된 검사시스템을 운영하는 방법으로, 검사조건 설정단계, 기초이미지획득단계, 최종이미지지획득단계 및 검사단계를 수행한다.

Description

자유곡면 또는 3차원 형상을 가지는 검사대상물에 대한 검사시스템 및 상기 검사시스템 운영방법 {Testing system of the device with free-form surface or 3 dimensional form and operating method for the testing system}

본 발명은 검사시스템에 관한 것으로, 특히, 자유곡면 또는 3차원 형상을 가지는 검사대상물에 대해 적응적으로 사용될 수 있도록 각각 복수의 카메라가 직렬로 장착된 복수의 프레임을 2차원으로 배열한 다중 이미지획득모듈을 사용하는 검사시스템 및 상기 검사시스템을 운영하는 운영방법에 관한 것이다.

자유곡면 또는 3차원 형상을 가지는 제품의 생산 자동화를 위해서, 카메라, 렌즈 및 조명 등을 구비하는 광학계가 도입된 검사 자동화 시스템(이하 검사시스템)이 사용된다. 여기서 자유곡면은 간단한 수식으로 표현하기가 곤란하고 일정한 연속성의 조건을 만족하도록 접속한 곡면분의 모임으로서 표현되는 곡면을 의미한다.

검사시스템에 사용되는 광학계는 일반적으로 선정된 사양(Specification)에 의해 특정한 이미지획득영역(FOV; Field Of View)과 촛점깊이(DOF; Depth Of Field)를 가지고 있다.

도 1은 광학계의 이미지획득영역 및 촛점깊이에 대해 설명한다.

도 1을 참조하면, 카메라(110)가 촬영할 수 있는 제한된 영역 즉 광학계의 이미지획득영역(FOV)과 촛점깊이(DOF)의 의미를 알 수 있다. 도 1(a) 및 도 (b)의 차이는 검사 대상물(120) 표면의 곡률차이에 따른 것이다.

광학계와 검사 대상물(120) 사이의 거리(WD)는 광학계에 포함되는 카메라(110)가 촬영할 수 있는 제한된 영역과 렌즈의 포커스가 확보되는 심도 이내에서 결정되며, 실제의 검사를 수행하기 위해서는 광학계가 고정되거나 검사대상물이 고정되어야 하며, 검사대상물 전체 또는 검사대상물의 복수의 영역을 검사하기 위해서는 광학계 또는 검사대상물을 연속적으로 또는 불연속적으로 이동하면서 검사 대상물의 이미지를 획득하고 검사한다.

일반적인 제품의 생산라인은 다양한 형상의 단일 제품 또는 여러 종류의 제품을 동시에 생산하며, 검사시스템의 제한된 검사 조건, 즉 검사동작 자유도의 한계 및 검사대상물의 모델 변경에 대한 유연성의 한계로 인해, 육안으로 검사하는 사람을 검사 자동화시스템 즉 검사시스템으로 1:1로 대체하는 것은 거의 불가능하다.

특히, 자유곡면 또는 3차원 형상을 가지는 제품을 검사하는 경우, 사람의 눈이 실시간으로 포커싱할 수 있는 능력에 비해 검사시스템에 포함된 광학계의 이미지 포커싱 능력이 열악하기 때문에, 다양한 위치에서 촬영한 다수의 이미지를 획득하여야 하므로 검사에 소요되는 시간이 증가하게 되어, 자동화를 도입하는데 커다란 부담이 된다.

검사시스템에 사용되는 산업용 광학계는 특수한 사용 목적에 의해 디지털 카메라와 같은 대중적인 카메라에 비해 부피나 중량이 큰 카메라를 사용하기 때문에 검사시스템을 설치하는데 필요한 공간과 이들이 동작하는데 필요한 공간을 확보하여야 하므로, 공장 설비 레이아웃을 최소로 하는데 커다란 제약이 된다.

일반적으로 검사대상물 전체를 검사하기 위해서는 아래의 2가지 방식이 주로 사용된다.

첫 째, 검사대상물 전체 영역에 다수의 카메라를 고정하여 촬영하는 방식이다. 이 방식은 검사시간이 짧다는 장점이 있으나 검사대상물이 달라 질 때마다 유연하게 대응할 수 없다는 단점이 있다.

둘 째, 검사대상물의 변경에 유연하게 대응할 수 있도록, 검사장비에 로봇 또는 스테이지와 같은 구동부를 구비하여 다양한 위치에서 촬영을 할 수 있도록 하는 방식이다. 이 방식은 검사대상물의 변경에 유연하게 대응할 수는 있지만 검사시간이 많이 소요된다는 단점이 있다.

상술한 바와 같이, 검사 대상물이 자유곡면 또는 3차원 형상을 가지는 제품의 검사를 하고자 하는 경우, 검사의 자동화를 위해서는 상술한 바와 같은 유연한 검사 자유도를 가지면서도 빠르게 검사할 수 있는 검사시스템이 요구된다.

본 발명이 해결하고자 하는 기술적 과제는, 각각 복수의 카메라가 직렬로 장착된 복수의 프레임을 2차원으로 배열한 다중 이미지획득모듈을 구비하여, 자유곡면 또는 3차원 형상을 가지는 검사대상물의 검사를 짧은 검사시간 내에 유연한 검사 자유도로 검사할 수 있는 검사시스템을 제공하는 데 있다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 상기 검사시스템의 운영방법을 제공하는 것에 있다.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 검사시스템은, 다중이미지획득모듈, 구동부, 신호처리부 및 프로세서를 포함한다. 상기 다중이미지획득모듈은 복수의 카메라가 2차원으로 배열된 적어도 하나의 패널 또는 복수의 카메라가 직렬로 장착된 복수의 프레임을 2차원으로 배열한다. 상기 구동부는 위치제어신호에 응답하여, 상기 패널 또는 상기 복수의 프레임들 각각의 곡률을 조절한다. 상기 신호처리부는 상기 복수의 카메라로부터 촬영된 영상신호를 수신하여 처리한다. 상기 프로세서는 상기 위치제어신호를 생성하며, 상기 신호처리부의 동작을 제어한다.

상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 검사시스템 운영방법은, 도 2 및 청구항 제1항에 기재된 검사시스템을 운영하는 방법으로, 검사조건 설정단계, 기초이미지획득단계, 최종이미지지획득단계 및 검사단계를 수행한다. 상기 검사조건 설정단계에서는 상기 프로세서가 수행하며 상기 검사 대상물의 곡면특성에 따라 상기 패널 또는 복수의 프레임의 곡률을 사전 설정한다. 상기 기초이미지획득단계에서는 상기 다중이미지획득모듈에 장착된 카메라를 이용하여 상기 시험 대상물을 촬영하여 기초이미지를 획득한다. 상기 최종이미지지획득단계에서는 상기 다중이미지획득모듈이 상기 기초이미지를 상기 신호처리부에 전송하고, 상기 신호처리부는 상기 복수의 기초이미지에 포함된 중첩된 영역을 제거한 후 결합하여 최종이미지를 생성한다. 상기 검사단계에서는 상기 프로세서는 상기 최종이미지에서 관심영역이미지를 추출하고, 상기 관심영역이미지에서의 불량을 검사한다.

본 발명에 따른 검사시스템을 이용하여 검사대상물의 검사를 수행하는 경우, 검사대상물이 다양한 형태로 변경되더라도 짧은 시간 내에 검사시스템을 셋팅할 수 있고, 검사에 소요되는 시간도 단축할 수 있으며, 검사시스템의 소형화가 가능하기 때문에, 검사시스템의 설치공간을 최소한으로 할 수 있는 장점이 있다.

도 1은 광학계의 이미지획득영역 및 촛점깊이에 대해 설명한다.
도 2는 본 발명에 따른 검사시스템의 블록도이다.
도 3은 패널 형태의 다중 이미지획득모듈의 실시 예를 나타낸다.
도 4는 절점 프레임 형태의 다중배열 모듈의 실시 예를 나타낸다.
도 5는 연속 프레임 형태의 다중배열 모듈의 실시 예를 나타낸다.
도 6은 본 발명에 따른 다중이미지획득모듈의 사용 예를 나타낸다.
도 7은 본 발명에 따른 검사시스템의 운영방법을 나타낸다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시 예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 2는 본 발명에 따른 검사시스템의 블록도이다.

도 2를 참조하면, 본 발명에 따른 검사시스템(200)은, 다중이미지획득모듈(210), 구동부(220), 신호처리부(230) 및 프로세서(240)를 구비한다.

다중이미지획득모듈(210)은 복수의 카메라가 2차원으로 배열된 적어도 하나의 패널 또는 복수의 카메라가 직렬로 장착된 복수의 프레임을 2차원으로 배열한다. 구동부(220)는 위치제어신호(C__PO)에 응답하여, 패널 또는 복수의 프레임들 각각의 곡률을 조절한다. 신호처리부(230)는 복수의 카메라로부터 촬영된 영상신호를 수신하여 처리한다. 프로세서(240)는 위치제어신호(C__PO)를 생성하며, 신호처리부(230)의 동작을 제어한다.

이하에서는 각각의 구성요소에 대해 자세하게 설명한다.

먼저 다중 이미지획득모듈에 대해 설명한다.

도 3은 패널 형태의 다중이미지획득모듈의 실시 예를 나타낸다.

도 4는 절점 프레임 형태의 다중이미지획득모듈의 실시 예를 나타낸다.

도 5는 연속 프레임 형태의 다중이미지획득모듈의 실시 예를 나타낸다.

도 3에 도시된 하나의 패널(210)에는 점선 원으로 표시된 복수의 카메라(211)가 설치되어 있고, 도 4 및 도 5에 도시된 프레임들 각각에도 복수의 카메라(211)가 설치되어 있다. 카메라의 설치 위치 및 대수는 시험대상물의 곡면의 형태 및 시험의 종류에 따라 결정되어야 할 것이다. 카메라(211)에 도시된 점선은 카메라(211)의 촬영 방향을 각각 의미한다.

도 3 내지 도 5에 도시된 실시 예를 비교하기 편하도록 하기 위하여, 도 3에는 하나의 패널에 수직방향 및 수평방향으로 3개씩 배열된 총 9개의 카메라를 병렬로 연속하여 배열시키는 예를, 그리고 도 4 및 도 5에는 수평방향으로 위치하는 하나의 프레임에 3개의 카메라가 설치되고, 수직 방향으로 3개의 프레임이 병렬로 배열되도록 설치하는 예에 대해서 설명하였다.

상술한 바와 같이, 패널 및 각각의 프레임의 곡율은 검사대상물(250)의 형태에 따라 결정된다.

검사대상물(250)의 곡면특성은, 검사대상물(250)을 다중이미지획득모듈(210)의 하부에 설치한 후 다중이미지획득모듈(210)에 설치된 카메라(211)에서 촬영한 영상을 이용하여 프로세서(240)에서 인식하거나, 검사를 시작하기 이전에 검사대상물의 곡면특성을 조사한 후 프로세서(240)에 입력시켜 놓는 방식 중 어떤 것을 선택할 수 있을 것이다.

도 3에 도시된 패널은 특정방향으로 탄성력을 가지는 재질을 선택하여 사용하고, 이 때 구동부(220)는 패널의 양쪽 종단부의 위치를 상·하·좌·우 방향으로 조절함으로써 프레임의 곡률을 조정할 수 있다.

도 4에 도시된 프레임 각각은 복수의 연결체(512)가 중간에 형성된 복수의 절점(511)에 일정한 각도로 연결된 결합구조로 이루어지며, 이 경우 구동부(220)는 복수의 연결체(512)가 복수의 절점(511)에 연결되는 각도를 조절함으로써 해당 프레임들의 곡률을 조정할 수 있다.

도 5에 도시된 프레임 각각은 특정방향으로 탄성력을 가지는 하나의 일체형 연결구조로 이루어지며, 이 때 구동부(220)는 각각의 프레임의 양쪽 종단부의 위치를 상·하·좌·우 방향으로 조절함으로써 프레임의 곡률을 조정할 수 있다.

도 6은 본 발명에 따른 다중이미지획득모듈의 사용 예를 나타낸다.

도 6(a)는 설명의 편의를 위해 기준이 되는 형태를 나타낸 것으로, 이 때 패널(210) 또는 프레임(210)의 가장자리의 위치를 2차원 좌표로 (x1, y1) 및 (x2, y2)라고 가정한다.

도 6(b)는 패널(210) 또는 프레임(210)의 왼쪽 가장자리의 위치를 x방향으로는 a1만큼 이동시키고 y방향으로는 -b1만큼 이동시키며, 오른쪽 가장자리의 위치를 x방향으로는 -a1만큼 이동시키고 y방향으로는 -b1만큼 이동시킨 후의 상태를 나타낸다.

도 6(c)는 패널(210) 또는 프레임(210)의 왼쪽 가장자리의 위치를 x방향으로는 -a2만큼 이동시키고 y방향으로는 b2만큼 이동시키며, 오른쪽 가장자리의 위치를 x방향으로는 a2만큼 이동시키고 y방향으로는 b2만큼 이동시킨 후의 상태를 나타낸다.

도 6(a) 내지 도 6(c)를 참조하면, 도 6(a)를 기준으로 할 때, 도 6(b)는 도 6(a)에 비해 곡률이 크고, 도 6(c)는 도 6(a)에 비해 곡률이 적다는 것을 알 수 있다. 따라서, 본 발명에 따른 다중배열모듈(210)의 경우 패널(210) 또는 프레임(210)의 양단자의 위치를 조절함으로써 검사대상물의 곡률에 따라 적응적으로 검사에 활용할 수 있다는 것을 알 수 있다.

도 7은 본 발명에 따른 검사시스템의 운영방법을 나타낸다.

도 7을 참조하면, 본 발명에 따른 검사시스템의 운영방법(700)은 도 2에 도시된 검사시스템(200)을 운영하는 방법으로, 검사조건 설정단계(710), 기초이미지획득단계(720), 최종이미지지획득단계(730), 검사단계(740), 이미지합성단계(750) 및 검사결과이미지생성단계(760)를 수행한다.

검사조건 설정단계(710)는 프로세서(240)가 수행하며 검사대상물(250)의 곡면특성에 따라 패널 또는 복수의 프레임의 곡률을 사전 설정한다. 기초이미지획득단계(720)는 다중이미지획득모듈(210)에 장착된 카메라(211)를 이용하여 시험대상물을 촬영하여 기초이미지를 획득한다. 최종이미지획득단계(730)에서는 다중이미지획득모듈(210)이 기초이미지를 신호처리부(230)에 전송하고, 신호처리부(230)는 복수의 기초이미지에 포함된 중첩된 영역을 제거한 후 결합하여 최종이미지를 생성한다. 검사단계(740)에서는 프로세서(240)가 최종이미지에서 관심영역이미지를 추출하고, 관심영역이미지에서의 불량을 검사한다. 이미지합성단계(750)에서는 프로세서(240)가 복수의 관심영역이미지를 하나의 통합관심영역이미지로 합성한다. 검사결과이미지생성단계(760)에서는 프로세서(240)가 검사단계(740)에서 수행하여 얻은 검사결과를 하나의 이미지로 합성하여 검사결과이미지를 생성한다.

여기서, 검사대상물의 곡면특성은, 검사대상물을 다중이미지획득모듈의 하부에 설치한 후 다중이미지획득모듈에 설치된 카메라에서 촬영한 영상을 이용하여 프로세서에서 인식하거나, 검사조건 설정단계(710) 이전에 검사대상물의 곡면특성을 조사한 후 프로세서(240)에 입력시켜 놓는다.

이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방 가능함은 명백한 사실이다.

210: 다중이미지획득모듈
211: 카메라
220: 구동부
230: 신호처리부
240: 프로세서

Claims

복수의 카메라가 2차원으로 배열된 적어도 하나의 패널 또는 복수의 카메라가 직렬로 장착된 복수의 프레임을 2차원으로 배열한 다중이미지획득모듈;
위치제어신호에 응답하여, 상기 패널 또는 상기 복수의 프레임들 각각의 곡률을 조절하는 구동부;
상기 복수의 카메라로부터 촬영된 영상신호를 수신하여 처리하는 신호처리부; 및
상기 위치제어신호를 생성하며, 상기 신호처리부의 동작을 제어하는 프로세서;를
포함하는 것을 특징으로 하는 검사시스템.
제1항에 있어서, 상기 다중이미지획득모듈은,
상기 각각의 프레임에는 3개의 카메라가 일정한 간격으로 직렬로 연결되어 있는 것을 특징으로 하는 검사시스템.
제2항에 있어서,
상기 패널 및 상기 각각의 프레임의 곡율은 검사대상물의 형태에 따라 결정되는 것을 특징으로 하는 검사시스템.
제3항에 있어서,
상기 패널은 특정방향으로 탄성력을 가지며,
상기 구동부는 상기 패널의 양쪽 종단부의 위치를 상·하·좌·우 방향으로 조절하여 해당 프레임의 곡률을 조정하는 것을 특징으로 하는 검사시스템.
제3항에 있어서,
상기 프레임 각각은 특정방향으로 탄성력을 가지는 하나의 일체형 연결구조로 이루어지며,
상기 구동부는 상기 각각의 프레임의 양쪽 종단부의 위치를 상·하·좌·우 방향으로 조절하여 해당 프레임의 곡률을 조정하는 것을 특징으로 하는 검사시스템.
제3항에 있어서,
상기 프레임 각각은 복수의 연결체가 중간에 형성된 복수의 절점에 일정한 각도로 연결된 결합구조로 이루어지며,
상기 구동부는 상기 복수의 연결체가 상기 복수의 절점에 연결되는 각도를 조절함으로써 해당 프레임들의 곡률을 조정하는 것을 특징으로 하는 검사시스템.
청구항 제1항에 기재된 검사시스템을 운영하는 방법에 있어서,
상기 프로세서가 수행하며 상기 검사 대상물의 곡면특성에 따라 상기 패널 또는 복수의 프레임의 곡률을 사전 설정하는 검사조건 설정단계;
상기 다중이미지획득모듈에 장착된 카메라를 이용하여 상기 시험 대상물을 촬영하여 기초이미지를 획득하는 기초이미지획득단계;
상기 다중이미지획득모듈이 상기 기초이미지를 상기 신호처리부에 전송하고, 상기 신호처리부는 상기 복수의 기초이미지에 포함된 중첩된 영역을 제거한 후 결합하여 최종이미지를 생성하는 최종이미지지획득단계; 및
상기 프로세서는 상기 최종이미지에서 관심영역이미지를 추출하고, 상기 관심영역이미지에서의 불량을 검사하는 검사단계;를
수행하는 것을 특징으로 하는 검사시스템 운영방법.
제7항에 있어서,
상기 프로세서는 복수의 관심영역이미지를 하나의 통합관심영역이미지로 합성하는 이미지합성단계;를 더 수행하는 것을 특징으로 하는 검사시스템 운영방법.
제8항에 있어서,
상기 프로세서는 상기 검사단계에서 수행하여 얻은 검사결과를 하나의 이미지로 합성하여 검사결과이미지를 생성하는 검사결과이미지생성단계;를 더 수행하는 것을 특징으로 하는 검사시스템 운영방법.
제7항에 있어서, 상기 검사 대상물의 곡면특성은,
상기 검사 대상물을 상기 다중이미지획득모듈의 하부에 설치한 후 상기 다중이미지획득모듈에 설치된 카메라에서 촬영한 영상을 이용하여 상기 프로세서에서 인식하거나,
상기 검사조건 설정단계 이전에 상기 검사 대상물의 곡면특성을 조사한 후 상기 프로세서에 입력시켜 놓는 것을 특징으로하는 검사시스템 운영방법.