KR101098087B1

KR101098087B1 - 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 매체

Info

Publication number: KR101098087B1
Application number: KR1020097019791A
Authority: KR
Inventors: 미츠아키 후쿠다; 소이치 하마; 다카히로 아오키
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2007-03-28
Filing date: 2007-03-28
Publication date: 2011-12-26
Also published as: CN101617535A; KR20100005042A; EP2131589A1; JPWO2008120321A1; US8203614B2; EP2131589A4; CN101617535B; US20100013938A1; EP2131589B1; JP4842374B2; WO2008120321A1

Abstract

촬상 대상물을 조명하지 않는 비조명시에 그 촬상 대상물을 촬상한 제1 화상을 취득하는 제1 화상 취득부(101)와, 촬상 대상물을 조명하는 조명시에 그 촬상 대상물을 촬상한 제2 화상을 취득하는 제2 화상 취득부(102)와, 제1 화상 취득부(101)에서 취득되는 제1 화상에서의 각 화소의 휘도와, 제2 화상 취득부(102)에서 취득되는 제2 화상에서의 각 화소의 휘도와의 차분으로 이루어진 차분 화상을 생성하는 차분 화상 생성부(103)와, 차분 화상 생성부(103)에서 생성되는 차분 화상에서의, 소정의 휘도값 이상의 휘도를 갖는 화소로 이루어진 화상 영역을 추출하는 고휘도 영역 추출부(105)와, 고휘도 영역 추출부(105)에서 추출되는 화상 영역에 기초하여, 제1 화상의 촬상 타이밍과 제2 화상의 촬상 타이밍과의 사이에서의 촬상 대상물의 이동량을 판정하는 이동 판정부(106)를 구비하여 이루어진다.

Description

화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER READABLE MEDIUM HAVING RECORDED THEREON AN IMAGE PROCESSING PROGRAM}

본 발명은, 촬상 대상물을 조명하지 않는 비조명시에 그 촬상 대상물을 촬상한 화상과, 촬상 대상물을 조명하는 조명시에 그 촬상 대상물을 촬상한 화상에 기초하여, 촬상 화상상에서의 그 촬상 대상물의 추출을 행하는 화상 처리 기술에 관한 것이다.

감시나 인증의 목적으로, 정점 관측으로 시야에 들어오는 피사체를 촬영하는 경우에, 피사체의 주위의 배경은 제외하고, 피사체만을 추출한 화상을 원하는 경우가 있다.

이 때문에, 카메라의 시야에 들어오는 피사체를 비추는 조명 장치를 점멸시키고, 이 조명의 점멸 타이밍에 동기시켜 촬상을 행하고, 조명의 점등시에 촬영한 화상과 소등시에 촬영한 화상과의 각 화소값의 차분을 구함으로써, 피사체의 배경 화상을 제거하여 피사체만이 찍힌 화상을 생성하는 기술이 알려져 있다(이하, 조명 온ㆍ오프 차분이라 함).

예를 들어, 조명 온ㆍ오프 차분을 행하여 얻은 화상을 사용하여 외란광의 영향을 받지 않는 피사체 화상을 취득하는 기술이 알려져 있다(예를 들어 특허문헌 1 참조). 그러나, 이러한 조명 온ㆍ오프 차분의 화상을 생성할 때, 조명이 온일 때와 조명이 오프일 때와의 사이의 짧은 기간에 피사체가 조금이라도 움직여 버리면, 피사체가 흔들린 상태의 차분 화상이 되어 버려, 적절하게 피사체를 추출할 수 없다.

또, 미리 촬영해 둔 정상 화상과의 비교에 의해 이상 물체를 검출할 때, 피사체에 도트 패턴 조명을 투영하여, 그 도트 패턴을 선명하게 촬영하기 위해 조명 온ㆍ오프 차분을 사용하는 기술이 알려져 있다(예를 들어 특허문헌 2 참조). 이와 같이, 피사체의 존재 유무를 조사하기 위해 조명 온ㆍ오프 차분을 사용하는 예는 그 외에도 있지만, 피사체의 존재 유무를 조사할 뿐이기 때문에, 이들 공지기술에서는 피사체의 이동에 의한 화상의 흔들림은 고려되지 않는다.

그 밖에, 매우 짧은 시간 간격으로 연속 촬영함으로써, 촬영한 화상 사이에서의 피사체의 이동량을 1화소 이내로 함으로써 피사체 흔들림을 방지하는 방법이 알려져 있다. 그러나, 촬영 속도에 비해 피사체의 이동 속도가 빠른 경우나, 조명이 어두워 고속 연속 촬영이 곤란한 상황에서는, 이 방법으로는 피사체 흔들림을 완전하게 방지할 수는 없다. 특히, 피사체가 카메라에 가까운 경우, 이 방법으로는 피사체 흔들림이 커져 버릴 가능성이 높다.

또, MPEG 등 동화상 인코딩의 분야에서는, 부분 화상의 블록 매칭 처리에 의해 동화상 중의 이동 물체의 이동 방향이나 이동량을 산출하는 움직임 검출 기술이 알려져 있지만, 이 처리는 일반적으로 연산량이 많고, 고속으로 처리하기 위해서는 전용 하드웨어나 고속 연산이 가능한 CPU 등이 필요하여, 비용면에서의 문제가 있다.

특허문헌 1 : 일본 특허 공개 평10-177449호 공보

특허문헌 2 : 일본 특허 공개 2001-25001호 공보

(발명의 개시)

(발명이 해결하고자 하는 과제)

조명의 점멸 타이밍에 동기하여 연속적으로 촬영한 2장의 화상의 차분 화상을 생성함으로써, 피사체의 배후에 비치는 배경을 제거하거나 외란광의 영향을 제거하여, 피사체만이 명료하게 찍힌 화상을 생성하는 경우에, 차분을 구하는 화상 사이에서 피사체가 조금이라도 이동하고 있으면, 차분 화상을 작성하더라도, 피사체가 흔들린 것같은 화상이 되거나 요철이 부자연스럽게 강조되어 버리거나 하여, 선명한 화상을 얻을 수 없다는 문제가 있다.

본 발명은 상술한 문제점을 해결하기 위해 이루어진 것으로, 촬상 대상물을 조명하지 않는 비조명시에 그 촬상 대상물을 촬상한 화상과, 촬상 대상물을 조명하는 조명시에 그 촬상 대상물을 촬상한 화상에 기초하여, 촬상 화상상에서의 그 촬상 대상물의 추출을 행하는 화상 처리 기술에 있어서, 간편한 장치 구성 및 적은 처리 부하로 고정밀도의 촬상 대상물의 추출을 실현할 수 있는 기술을 제공하는 것을 목적으로 한다.

(발명을 해결하기 위한 수단)

상술한 과제를 해결하기 위해, 본 발명에 따른 화상 처리 장치는, 촬상 대상물을 조명하지 않는 비조명시에 그 촬상 대상물을 촬상한 제1 화상을 취득하는 제1 화상 취득부와, 상기 촬상 대상물을 조명하는 조명시에 그 촬상 대상물을 촬상한 제2 화상을 취득하는 제2 화상 취득부와, 상기 제1 화상 취득부에서 취득되는 제1 화상에서의 각 화소의 휘도와, 상기 제2 화상 취득부에서 취득되는 제2 화상에서의 각 화소의 휘도와의 차분으로 이루어진 차분 화상을 생성하는 차분 화상 생성부와, 상기 차분 화상 생성부에서 생성되는 차분 화상에서의, 소정의 휘도값 이상의 휘도를 갖는 화소로 이루어진 화상 영역을 추출하는 고휘도 영역 추출부와, 상기 고휘도 영역 추출부에서 추출되는 화상 영역에 기초하여, 상기 제1 화상의 촬상 타이밍과 상기 제2 화상의 촬상 타이밍과의 사이에서의 상기 촬상 대상물의 이동량을 판정하는 이동 판정부를 구비한 것이다.

또, 본 발명에 따른 화상 처리 방법은, 촬상 대상물을 조명하지 않는 비조명시에 그 촬상 대상물을 촬상한 제1 화상을 취득하는 제1 화상 취득 단계와, 상기 촬상 대상물을 조명하는 조명시에 그 촬상 대상물을 촬상한 제2 화상을 취득하는 제2 화상 취득 단계와, 상기 제1 화상 취득 단계에서 취득되는 제1 화상에서의 각 화소의 휘도와, 상기 제2 화상 취득 단계에서 취득되는 제2 화상에서의 각 화소의 휘도와의 차분으로 이루어진 차분 화상을 생성하는 차분 화상 생성 단계와, 상기 차분 화상 생성 단계에서 생성되는 차분 화상에서의, 소정의 휘도값 이상의 휘도를 갖는 화소로 이루어진 화상 영역을 추출하는 고휘도 영역 추출 단계와, 상기 고휘도 영역 추출 단계에서 추출되는 화상 영역에 기초하여, 상기 제1 화상의 촬상 타이밍과 상기 제2 화상의 촬상 타이밍과의 사이에서의 상기 촬상 대상물의 이동량을 판정하는 이동 판정 단계를 갖는 것이다.

또, 본 발명에 따른 화상 처리 프로그램은, 촬상 대상물을 조명하지 않는 비조명시에 그 촬상 대상물을 촬상한 제1 화상을 취득하는 제1 화상 취득 단계와, 상기 촬상 대상물을 조명하는 조명시에 그 촬상 대상물을 촬상한 제2 화상을 취득하는 제2 화상 취득 단계와, 상기 제1 화상 취득 단계에서 취득되는 제1 화상에서의 각 화소의 휘도와, 상기 제2 화상 취득 단계에서 취득되는 제2 화상에서의 각 화소의 휘도와의 차분으로 이루어진 차분 화상을 생성하는 차분 화상 생성 단계와, 상기 차분 화상 생성 단계에서 생성되는 차분 화상에서의, 소정의 휘도값 이상의 휘도를 갖는 화소로 이루어진 화상 영역을 추출하는 고휘도 영역 추출 단계와, 상기 고휘도 영역 추출 단계에서 추출되는 화상 영역에 기초하여, 상기 제1 화상의 촬상 타이밍과 상기 제2 화상의 촬상 타이밍과의 사이에서의 상기 촬상 대상물의 이동량을 판정하는 이동 판정 단계를 컴퓨터에 실행시키는 것이다.

도 1은 본 발명의 제1 실시형태에 의한 화상 처리 장치의 구성에 관해 설명하기 위한 기능 블록도이다.

도 2는 본 발명의 제1 실시형태에 의한 화상 처리 장치(1)에서의 처리(화상 처리 방법)의 흐름을 나타낸 플로우차트이다.

도 3은 차분 화상 생성 처리의 개요 및 차분 화상의 일례를 나타낸 도면이다.

도 4는 마스크 화상 생성 처리의 개요 및 마스크 화상의 일례를 나타낸 도면이다.

도 5는 마스크 화상의 구멍 메움 처리에 관해 설명하기 위한 도면이다.

도 6은 마스크 화상의 구멍 메움 처리에 관해 설명하기 위한 도면이다.

도 7은 마스크 화상의 구멍 메움 처리에 관해 설명하기 위한 도면이다.

도 8은 차분 화상 생성 단계에서 생성된 차분 화상에 대하여 2값화 처리를 실시한 결과의 일례를 나타낸 도면이다.

도 9는 차분 화상에 2값화 처리를 실시한 화상에 대하여 「세선화 처리」를 더 실시한 결과의 일례를 나타낸 도면이다.

도 10은 세선화 처리의 결과에 기초하여, 2값화한 화상에서의 고휘도 화상 영역의 선폭을 구하는 방법을 나타낸 도면이다.

도 11은 이동 판정부(106)에서의 이동량 및 이동 방향의 판정 방법에 관해 설명하기 위한 도면이다.

도 12는 이동 판정부(106)에서의 이동량 및 이동 방향의 판정 방법에 관해 설명하기 위한 도면이다.

도 13은 이동 판정부(106)에서의 이동량 및 이동 방향의 판정 방법에 관해 설명하기 위한 도면이다.

도 14는 세선화 처리의 알고리즘에 관해 설명하기 위한 도면이다.

도 15는 세선화 처리의 알고리즘에 관해 설명하기 위한 도면이다.

도 16은 세선화 처리의 알고리즘에 관해 설명하기 위한 도면이다.

도 17은 세선화 처리의 알고리즘에 관해 설명하기 위한 도면이다.

도 18은 세선화 처리의 알고리즘에 관해 설명하기 위한 도면이다.

도 19는 세선화 처리의 알고리즘에 관해 설명하기 위한 도면이다.

도 20은 세선화 처리의 알고리즘에 관해 설명하기 위한 도면이다.

도 21은 세선화 처리의 알고리즘에 관해 설명하기 위한 도면이다.

도 22는 촬상 대상물의 위치 어긋남 등이 없는 경우의, 적절한 조명 온 화상과 조명 오프 화상과의 차분 화상의 일례를 나타낸 도면이다.

도 23은 마스크 화상이, 원래의 피사체 형상에 비해 피사체의 이동 방향으로 이동량만큼 두꺼워진 상태를 나타낸 도면이다.

도 24는 마스크 화상의 형상의 조정에 관해 설명하기 위한 도면이다.

도 25는 본 발명의 제2 실시형태에 의한 화상 처리 장치(1')의 구성에 관해 설명하기 위한 기능 블록도이다.

도 26은 본 발명의 제2 실시형태에 의한 화상 처리 장치에서의 처리(화상 처리 방법)의 흐름을 나타낸 플로우차트이다.

도 27은 본 발명의 제3 실시형태에 의한 화상 처리 장치(1")의 구성에 관해 설명하기 위한 기능 블록도이다.

도 28은 본 발명의 제3 실시형태에 의한 화상 처리 장치에서의 처리(화상 처리 방법)의 흐름을 나타낸 플로우차트이다.

도 29는 마스크 화상을 이용하여 여분의 선분 등을 제거하는 기술에 관해 설명하기 위한 도면이다.

(발명을 실시하기 위한 최선의 형태)

이하, 본 발명의 실시형태에 관해 도면을 참조하면서 설명한다.

(제1 실시형태)

우선, 본 발명의 제1 실시형태에 관해 설명한다. 본 실시형태에서는, 연속 촬영한 2장의 화상 사이에서 차분 화상을 생성할 때, 이들 화상의 촬영 간격 사이에 촬상 대상이 이동한 경우에, 차분 화상에서의 촬상 대상물의 윤곽 부분이나 그 윤곽의 내측에 휘도가 높은 화소 영역이 나타나는 현상을 이용한다.

도 1은, 본 발명의 제1 실시형태에 의한 화상 처리 장치의 구성에 관해 설명하기 위한 기능 블록도이다. 본 실시형태에 의한 화상 처리 장치(1)는, 촬상 장치(2)로 촬상 대상물을 촬상하여 얻어지는 화상 데이터를 취득할 수 있게 되어 있다. 여기서는, 촬상 장치(2)로 촬상된 화상 데이터는 데이터베이스(3)에 저장되고, 화상 처리 장치(1)는 이 데이터베이스(3)를 참조함으로써, 화상 데이터를 취득하는 구성으로 되어 있다. 화상 처리 장치(1), 촬상 장치(2) 및 데이터베이스(3)는 서로 전기 통신 회선을 통해 통신 가능하게 접속되어 있다. 여기서의 전기 통신 회선이 유선인지 무선인지는 관계없다.

촬상 장치(2)는, 촬상 대상물을 조명하기 위한 조명 장치(201), 촬상 대상물을 촬상하기 위한 CCD 카메라 등으로 이루어진 카메라(202), 조명 장치(201) 및 카메라(202)를 제어하기 위한 촬상 제어부(203)를 구비하고 있다. 조명 장치(201)는, 촬상 제어부(203)로부터의 명령에 의해 원하는 타이밍에서의 온/오프가 가능하게 되어 있다. 이하, 본 실시형태에서는, 조명 장치(201)에 의해 촬상 대상물을 조명한 상태를 「조명시」라 부르고, 조명 장치(201)에 의해 촬상 대상물을 조명하지 않는 상태를 「비조명시」라 부른다.

데이터베이스(3)는, 예를 들어 데이터베이스 서버 등으로 구성되어 있고, 촬상 장치(2)로 촬상된 화상 데이터의 저장, 화상 처리 장치(1)에서 이용되는 여러가지 데이터의 관리 등을 행하는 역할을 갖고 있다. 여기서는, 화상 처리 장치(1)에서 이용하는 각종 데이터를 데이터베이스(3)(화상 처리 장치(1)의 외부)에 저장하는 예를 나타냈지만, 이에 한정되지 않고, 화상 처리 장치(1)내에 설치된 소정의 기억 영역에 저장하도록 해도 된다.

구체적으로, 본 실시형태에 의한 화상 처리 장치(1)는, 제1 화상 취득부(101), 제2 화상 취득부(102), 차분 화상 생성부(103), 대상물 영역 추출부(104), 고휘도 영역 추출부(105), 이동 판정부(106), 보정 처리부(107), CPU(801) 및 MEMORY(802)를 구비하여 이루어진 구성으로 되어 있다.

제1 화상 취득부(101)는, 「비조명시」에 촬상 대상물을 카메라(202)로 촬상하여 얻어지는 「조명 오프 화상(제1 화상)」을 데이터베이스(3)로부터 취득한다.

제2 화상 취득부(102)는, 「조명시」에 촬상 대상물을 카메라(202)로 촬상하여 얻어지는 「조명 온 화상(제2 화상)」을 데이터베이스(3)로부터 취득한다. 제1 및 제2 화상 취득부에서의 화상 데이터의 취득은, 반드시 화상 데이터를 기억 영역에 저장한 후에 취득할 필요는 없고, 카메라(202)로 촬상되는 화상 데이터를 직접 취득하도록 해도 된다.

차분 화상 생성부(103)는, 제1 화상 취득부(101)에서 취득되는 「조명 오프 화상」에서의 각 화소의 휘도와, 제2 화상 취득부(102)에서 취득되는 「조명 온 화 상」에서의 각 화소의 휘도와의 차분으로 이루어진 「차분 화상」을 생성한다. 차분 화상 생성부(103)에서 생성되는 차분 화상은, 데이터베이스(3)에서의 차분 화상 기억 영역(303)에 저장된다.

대상물 영역 추출부(104)는, 차분 화상 생성부(103)에서 생성되는 「차분 화상」에 기초하여 「조명 오프 화상」 및 「조명 온 화상」각각에서의 촬상 대상물에 대응하는 화소 영역을 추출한다.

고휘도 영역 추출부(105)는, 차분 화상 생성부(103)에서 생성되는 차분 화상에서의, 소정의 휘도값 이상의 휘도를 갖는 화소로 이루어진 화상 영역을 추출한다.

이동 판정부(106)는, 고휘도 영역 추출부(105)에서 추출되는 화상 영역에 기초하여, 「조명 오프 화상」의 촬상 타이밍과 「조명 온 화상」의 촬상 타이밍과의 사이에서의 촬상 대상물의 이동량을 판정한다. 이동 판정부(106)에서의 판정 결과는, 데이터베이스(3)에서의 대상물 이동량ㆍ이동 방향 판정 결과 기억 영역(306)에 저장된다. 본 실시형태에서는, 조명 온 화상을 촬상한 후에 조명 오프 화상을 촬상하는 예를 들고 있기 때문에, 이동 판정부(106)에서 판정되는 이동량은, 조명 온 화상의 촬상 타이밍부터 조명 오프 화상의 촬상 타이밍까지의 사이에서의 이동량에 해당한다. 조명 오프 화상의 촬상 타이밍과 조명 온 화상의 촬상 타이밍은 상이하면 되고, 그 순서는 관계없다.

구체적으로, 이동 판정부(106)는, 고휘도 영역 추출부(105)에서 추출되는 화상 영역에 대하여 「세선화(細線化) 처리(상세한 것은 후술)」를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 그 화상 영역의 폭 중 가장 큰 것을 이동량으로 판정한다. 또, 이동 판정부(106)는, 고휘도 영역 추출부(105)에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 그 화상 영역의 폭이 가장 큰 폭이 되는 위치에서의 그 세선과 직교하는 방향을, 촬상 대상물의 이동 방향으로 판정한다.

그 밖에, 이동 판정부(106)는, 고휘도 영역 추출부(105)에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 그 화상 영역의 폭 중, 크기가 상위 3위(소정 순위)까지의 값을 평균한 것을 이동량으로 판정할 수 있다. 또, 이동 판정부(106)는, 고휘도 영역 추출부(105)에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 그 화상 영역의 폭 중, 크기가 상위 소정의 순위가 되는 복수 위치에서의 그 세선과 직교하는 방향의 평균을, 촬상 대상물의 이동 방향으로 판정할 수 있다.

또, 이동 판정부(106)는, 고휘도 영역 추출부(105)에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선상의 복수의 소정 위치에 있어서 그 세선과 직교하는 방향에서의 그 화상 영역의 각 폭의 차가 소정의 값을 하회하는 경우, 촬상 대상물의 이동 방향은 그 촬상 대상물을 촬상하는 촬상 장치에 의한 촬상 방향으로 판정할 수도 있다.

이와 같이, 이동 판정부(106)에서 비교적 저부하인 처리로 촬상 대상물의 이동량 및 이동 방향을 판정할 수 있다. 블록 매칭 처리의 반복 등, 다른 수단에 의 한 이동량 검출에 비해 가벼운 처리이기 때문에, 저렴한 하드웨어라도 용이하게 실현시킬 수 있다.

대상물 영역 추출부(104)는, 차분 화상 생성부(103)에서 생성되는 차분 화상에 기초하여, 소정의 화소값을 초과하는 화소로 이루어진 화상 영역을 촬상 대상물에 대응하는 화소 영역으로 하여, 조명 오프 화상 및 조명 온 화상 중 어느 한쪽에서 추출한다. 이에 따라, 촬상 대상물의 이동량 및 이동 방향을 적절하게 파악하여, 그 이동에 의한 어긋남을 보정하기 위한 촬상 대상물의 추출 처리를 간편하게 실현할 수 있다.

보정 처리부(107)는, 이동 판정부(106)에서 판정되는 이동량에 기초하여, 대상물 영역 추출부(104)에서 추출되는 화소 영역의 화상상에서의 위치 및 크기가, 조명 오프 화상 및 조명 온 화상 중 다른 어느 하나에서의 촬상 대상물에 대응하는 화소 영역과 대략 동일한 상태가 되도록 보정한다. 보정 처리부(107)는, 화상상에서의 좌표값의 보정(직선 이동) 뿐만 아니라, 촬상 대상물의 이동이 회전을 수반하는 경우에는, 화상끼리를 상대적으로 회전시키는 처리도 포함시킨 보정 처리를 행한다.

CPU(801)는, 화상 처리 장치에서의 각종 처리를 행하는 역할을 갖고 있고, 또 MEMORY(802)에 저장되어 있는 프로그램을 실행함으로써 여러가지 기능을 실현하는 역할도 갖고 있다. MEMORY(802)는, 예를 들어 ROM이나 RAM 등으로 구성되어 있고, 화상 처리 장치에서 이용되는 여러가지 정보나 프로그램을 저장하는 역할을 갖고 있다.

도 2는, 본 발명의 제1 실시형태에 의한 화상 처리 장치(1)에서의 처리(화상 처리 방법)의 흐름을 나타낸 플로우차트이다.

촬상 제어부(203)는, 조명 장치(201)에 의해 촬상 대상물을 조명시킨 상태(조명시)로 카메라(202)에 의해 그 촬상 대상물을 촬상시킨다(S101).

S101에서 촬상된 화상 데이터는, 데이터베이스(3)에 저장된다(S102). 제2 화상 취득부(102)는, 이와 같이 하여 데이터베이스(3)에 저장된 그 화상 데이터(제2 화상)를 취득한다(제1 화상 취득 단계).

촬상 제어부(203)는, 조명 장치(201)에 의해 촬상 대상물을 조명시키지 않는 상태(비조명시)로 카메라(202)에 의해 그 촬상 대상물을 촬상시킨다(S103).

S103에서 촬상된 화상 데이터는 데이터베이스(3)에 저장된다(S104). 제1 화상 취득부(101)는, 이와 같이 하여 데이터베이스(3)에 저장된 그 화상 데이터(제1 화상)를 취득한다(제2 화상 취득 단계). 여기서는, 조명 오프 화상의 취득에 앞서 조명 온 화상이 취득되어 있는 예를 제시했지만, 후술하는 차분 화상 생성 단계의 실행시에 양쪽 화상이 취득되어 있으면 되고, 조명 오프 화상 및 조명 온 화상 중 어느 것을 먼저 취득하는지는 문제되지 않는다.

차분 화상 생성부(103)는, 제1 화상 취득 단계에서 취득되는 화상에서의 각 화소의 휘도와, 제2 화상 취득 단계에서 취득되는 화상에서의 각 화소의 휘도와의 차분으로 이루어진 차분 화상을 생성한다(차분 화상 생성 단계). 이와 같이 하여 생성된 차분 화상은, 데이터베이스(3)에서의 차분 화상 기억 영역(303)에 저장된다(S105). 도 3은, 차분 화상 생성 처리의 개요 및 차분 화상의 일례를 나타낸 도 면이다. 도 3에 나타낸 예에서는, 촬상 대상물의 위치 어긋남 등에 의해, 촬상 대상물인 사람의 윤곽 부분에 매우 하얀 선이 나타나 있다. 이 선의 선폭은 촬상 대상물의 위치 어긋남의 양에 직결되므로, 선폭을 기초로 피사체의 이동량을 추정할 수 있다. 또, 동 도면에 나타낸 예예서는, 촬상 대상물의 좌우방향에 굵은 선이 나타나 있기 때문에, 촬상 대상물이 좌우방향으로 위치 어긋남을 일으키고 있다는 것을 알 수 있다. 그 밖에, 상하방향에 굵은 선이 나타나는 경우는, 촬상 대상물의 상하방향의 흔들림을 나타내고 있다. 또, 상하 좌우 전방향에 균등하게 높은 콘트라스트의 선이 나타나는 경우에는, 촬상 대상물이 원근방향으로 이동했다고 생각된다.

대상물 영역 추출부(104)는, 차분 화상 생성 단계에서 생성되는 차분 화상 중에서 화소의 휘도값이 소정의 임계값 「Th_mask」를 초과하는 영역을 추출하여 촬상 대상물 마스크 화상으로 하여, 데이터베이스(3)에서의 촬상 대상물 마스크 화상 기억 영역(304)에 저장한다(S106). 도 4는, 마스크 화상 생성 처리의 개요 및 마스크 화상의 일례를 나타낸 도면이다.

다음으로, 대상물 영역 추출부(104)는, 상술한 바와 같이 하여 생성한 마스크 화상에서의 미세한 구멍을 메우는 처리를 행한다(S107). 도 5∼도 7은, 마스크 화상의 구멍 메움 처리에 관해 설명하기 위한 도면이다. 대상물 영역 추출부(104)는, 마스크 화상의 추출 처리시에, 예를 들어 노이즈 등에 의해 마스크 화상의 내측에 구멍이 형성된 부분이 생긴 경우(도 5 참조)에, 이 구멍을 메우는 처리를 행한다.

구체적으로, 대상물 영역 추출부(104)는, 생성한 마스크 화상을 외측으로부터 주사하여, 충돌된 점을 기준으로 마스크 화상의 경계 부분을 거슬러 올라가 마스크 화상의 윤곽선을 작성한다(도 6 참조).

대상물 영역 추출부(104)는, 상술한 처리로 완성된 윤곽선에 기초하여, 그 윤곽선의 내측을 빈틈없이 칠함으로써 구멍 메움을 완료한다(도 7 참조).

고휘도 영역 추출부(105)는, 차분 화상 생성 단계에서 생성되는 차분 화상에서의, 소정의 휘도값 이상의 휘도를 갖는 화소로 이루어진 화상 영역을 추출한다(고휘도 영역 추출 단계). 여기서 추출된 화상 영역에 관한 정보는 「선(線)정보」로서 데이터베이스(3)에서의 선정보 기억 영역(305)에 저장된다(S108).

S108에서 선형의 형상을 갖는 화소 영역이 추출되지 않은 경우(S109, No), 처리는 종료한다.

한편, S108에서 선형의 형상을 갖는 화소 영역이 추출된 경우(S109, Yes), 이동 판정부(106)는, 고휘도 영역 추출 단계에서 추출되는 화상 영역에 기초하여, 카메라(202)에서의 「조명 오프 화상의 촬상 타이밍」과 「조명 온 화상의 촬상 타이밍」과의 사이에서의 촬상 대상물의 이동량(얼마만큼의 거리 이동을 했는지) 및 이동 방향(어느 방향으로 이동했는지)을 판정한다(이동 판정 단계)(S110). 그 판정 처리에 의해 산출되는 촬상 대상물의 이동량 및 이동 방향 등은 데이터베이스(3)에 저장된다.

상술한 처리를 거쳐, 이동 판정부(106)에서의 촬상 대상물의 이동량 및 이동 방향의 판정(S110)이 완료되면, 대상물 영역 추출부(104)는, 차분 화상 생성 단계 에서 생성된 차분 화상 및 마스크 화상에 기초하여, 조명 오프 화상 및 조명 온 화상 중 어느 한쪽에서의, 촬상 대상물에 대응하는 화소 영역을 추출한다(대상물 영역 추출 단계).

보정 처리부(107)는, 대상물 영역 추출부(104)에서 조명 오프 화상 및 조명 온 화상 중 어느 한쪽에서 추출된 촬상 대상물에 대응하는 화소 영역의 화상상에서의 위치 및 크기가, 조명 오프 화상 및 조명 온 화상 중 다른 어느 한쪽에서의 촬상 대상물에 대응하는 화소 영역과 대략 동일한 상태가 되도록 보정한다(보정 처리 단계)(S111).

차분 화상 생성부(103)는, 보정 처리 단계에 의한 보정 처리를 거친 조명 오프 화상 및 조명 온 화상 사이에서의 차분 화상을 생성하여, 생성된 차분 화상을 데이터베이스(3)에 저장한다(S112).

이하, 이동 판정부(106)에 의한 촬상 대상물의 이동량 및 이동 방향의 판정 방법(S110)에 관해 상세하게 설명한다.

도 8은, 차분 화상 생성 단계에서 생성된 차분 화상에 대하여 2값화 처리를 실시한 결과의 일례를 나타낸 도면이다. 여기서, 2값화 처리란, 미리 결정한 임계값보다 작은 화소값을 갖는 화소는 「흑」으로, 임계값보다 큰 화소값을 갖는 화소는「백」으로 함으로써, 흑백 2값만의 화상으로 하는 처리를 의미한다.

도 9는, 차분 화상에 2값화 처리를 실시한 화상에 대하여 「세선화 처리」를 더 실시한 결과의 일례를 나타낸 도면이다. 여기서, 세선화 처리란, 2화소 이상의 폭을 갖는 굵은 선이나 면으로 구성된 화상을, 폭 1화소의 선화상으로 하는 처리를 의미한다. 이 때, 세선화된 선이 원래의 굵은 선의 되도록 중앙을 통과하도록 선을 구한다.

도 10은, 세선화 처리의 결과에 기초하여, 2값화한 화상에서의 고휘도 화상 영역의 선폭을 구하는 방법을 나타낸 도면이다. 동 도면에서, 세선화전의 폭이 굵은 선을 「선 M」, 세선화한 폭 1화소의 선을「선 L」으로 한다. 이동 판정부(106)는, 선 L을 구성하는 임의의 화소의 위치에서의 선 L의 폭을 체크한다. 이 때, 고속화를 위해 선 L상의 화소를, 예를 들어 10화소마다 체크하도록 해도 된다. 선 L상의 임의의 화소 V에 있어서 선 L에 대한 법선을 긋고, 그 법선이 선 M을 가로지를 때의 선 M의 내측의 법선 길이를 화소 V를 기준으로 한 선 M의 폭으로 한다.

예를 들어, 이동 판정부(106)는, 고휘도 영역 추출 단계에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 그 화상 영역의 폭 중 가장 큰 것을 이동량으로 판정할 수 있다(도 11 참조). 이 때, 이동 판정부(106)는, 고휘도 영역 추출 단계에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 그 화상 영역의 폭이 가장 큰 폭이 되는 위치에서의 그 세선과 직교하는 방향을, 촬상 대상물의 이동 방향으로 판정한다.

또, 이동 판정부(106)는, 고휘도 영역 추출 단계에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 그 화상 영역의 폭 중, 크기가 상위 소정의 순위(예를 들어 상위 1위부터 5위까지)까지의 값을 평균한 것을 이동량으로 판정할 수도 있다(도 12). 여기서, 이동 판정 단계는, 고휘도 영역 추출 단계에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 그 화상 영역의 폭 중, 크기가 상위 소정의 순위가 되는 복수 위치에서의 그 세선과 직교하는 방향의 평균을, 촬상 대상물의 이동 방향으로 판정할 수 있다.

그 밖에, 이동 판정부(106)는, 고휘도 영역 추출부(105)에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선상의 복수의 소정 위치에서 그 세선과 직교하는 방향에서의 그 화상 영역의 각 폭의 차가 소정의 값을 하회하는 경우(즉, 상기 복수의 소정 위치에서의 각 폭들이 비슷한 수치인 경우)(도 13 참조), 촬상 대상물의 이동 방향은 그 촬상 대상물을 촬상하는 촬상 장치에 의한 촬상 방향(카메라의 대물 렌즈의 광축방향)으로 판정할 수도 있다.

이어서, 이동 판정부(106)가 차분 화상에 대하여 행하는 세선화 처리의 일례에 관해 설명한다. 세선화 처리의 알고리즘으로는 여러가지 기술이 알려져 있다. 이하에, 그 일례를 든다.

(1) 우선, 이동 판정부(106)는 화소값의 변경 유무를 나타내는 변수「change_flag」에 「0」을 넣는다.

(2) 이어서, 도 14에 나타낸 바와 같이, 이동 판정부(106)는 화상 전체를 좌측 위에서 우측 아래를 향해 비스듬한 방향으로 주사한다.

이동 판정부(106)는, 주사중의 임의의 화소 p에 있어서, 그 화소 p의 주위의 화소가 하기 3종의 상태인 경우에, 그 화소 p의 값을 「0(흑색)」으로 바꾼다. 이 때 화소값에 변경을 가한 것을 나타내는 변수「change_flag」에 「1」을 넣는다(도 15 참조)(0, 1은 그 화소의 값이 각각 0, 1인 것, x는 그 화소의 값은 무엇이든 된다는 것을 나타낸다).

(3) 다음으로, 도 16에 나타낸 바와 같이, 이동 판정부(106)는 화상 전체를 우측 위에서 좌측 아래를 향해 비스듬한 방향으로 주사한다.

이동 판정부(106)는, 주사중의 임의의 화소 p에 있어서, 그 화소 p의 주위의 화소가 하기 3종의 상태인 경우에, 그 화소 p의 값을 「0(흑색)」으로 바꾼다. 이 때 화소값에 변경을 가한 것을 나타내는 변수「change_flag」에 「1」을 넣는다(도 17 참조)(0, 1은 그 화소의 값이 각각 0, 1인 것, x는 그 화소의 값은 무엇이든 된다는 것을 나타낸다).

(4) 다음으로, 도 18에 나타낸 바와 같이, 이동 판정부(106)는 화상 전체를 우측 아래에서 좌측 위를 항해 비스듬한 방향으로 주사한다.

이동 판정부(106)는, 주사중의 임의의 화소 p에 있어서, 그 화소 p의 주위의 화소가 하기 3종의 상태인 경우에, 그 화소 p의 값을 「0(흑색)」으로 바꾼다. 이 때 화소값에 변경을 가한 것을 나타내는 변수「change_flag」에 「1」을 넣는다(도 19 참조)(0, 1은 그 화소의 값이 각각 0, 1인 것, x는 그 화소의 값은 무엇이든 된다는 것을 나타낸다).

(5) 다음으로, 도 20에 나타낸 바와 같이, 이동 판정부(106)는 화상 전체를 좌측 아래에서 우측 위를 향해 비스듬한 방향으로 주사한다.

이동 판정부(106)는, 주사중의 임의의 화소 p에 있어서, 그 화소 p의 주위의 화소가 하기 3종의 상태인 경우에, 그 화소 p의 값을 「0(흑색)」으로 바꾼다. 이 때 화소값에 변경을 가한 것을 나타내는 변수「change_flag」에 「1」을 넣는다(도 21 참조)(0, 1은 그 화소의 값이 각각 0, 1인 것, x는 그 화소의 값은 무엇이든 된다는 것을 나타낸다).

(6) 이동 판정부(106)는 변수「change_flag」가 「1」이면 다시 (1)로 되돌아가 처리를 반복한다. 한편, 변수「change_flag」가 「0」이면, 여기서 세선화 처리는 종료한다.

도 22는, 촬상 대상물의 위치 어긋남 등이 없는 경우의, 적절한 조명 온 화상과 조명 오프 화상과의 차분 화상의 일례를 나타낸 도면이다. 동 도면에 나타낸 바와 같이, 촬상 대상물의 위치 어긋남 등이 없는 경우, 높은 콘트라스트의 선형 화소는 나타나 있지 않다. 도 3에 나타낸 촬상 대상물의 위치 어긋남 등이 있는 경우의 차분 화상과 비교하면, 흐릿한 화상으로 보이지만, 이것이 적절한 조명 온ㆍ오프 차분 화상이다. 촬상 대상물의 위치 어긋남 등이 있는 경우, 윤곽부의 높은 콘트라스트의 선뿐만 아니라 피사체의 내부 모양도 콘트라스트가 높아져 뚜렷하게 보이지만, 그것은 원래의 피사체 모양보다 비정상적으로 강조되어 있어 정확한 차분 화상이 아니다.

도 2에 나타낸 플로우차트로 설명한 마스크 화상에 관해서는, 단순히 차분 화상에서 추출할 뿐만 아니라, 촬상 대상물의 이동 방향이나 이동량에 기초하여 보정을 행해도 된다.

마스크 화상은, 조명 온 시간ㆍ조명 오프시의 피사체의 화상의 논리합이 되어 있고, 원래의 피사체의 형상과 비교하면, 피사체의 이동 방향으로 이동량만큼 굵은 형상으로 되어 있다(도 23 참조). 따라서, 피사체의 이동 방향ㆍ이동량을 추정할 수 있었던 시점에서, 그 이동 방향ㆍ이동량을 기초로, 마스크 화상을 삭제함으로써(도 24 참조), 원래의 촬상 대상물의 형상에 가깝게 하는 것이 가능하다.

또, 보정 처리부(107)는, 이동 판정부(106)에서 판정되는 촬상 대상물의 이동량의 차가 소정 거리 이하인 이동 방향이 복수개인 경우 등, 이동량과 이동 방향을 하나로 결정할 수 없을 때, 그 복수개의 이동 방향 각각에 기초하여, 대상물 영역 추출부(104)에서 조명 오프 화상 및 조명 온 화상 각각에서 추출되는 2개의 화소 영역의 화상상에서의 위치 및 크기가 대략 동일한 상태가 되도록 보정한다(보정 처리 단계).

차분 화상 생성부(103)는, 보정 처리부(107)에 의한 보정 처리를 거친 그 2개의 화소 영역 사이에서의 차분 화상을 생성하는 것이며, 이동 판정부(106)는, 차분 화상 생성부(103)에서 생성되는 복수의 차분 화상 중, 고휘도 영역 추출부(105)에서 추출되는 화상 영역의 면적이 가장 좁은 차분 화상의 생성에 이용된 이동 방향을 촬상 대상물의 이동 방향으로 판정한다. 이렇게 함으로써, 피사체의 움직임이 작은 경우 등에, 피사체의 이동량과 이동 방향을 하나로 추정할 수 없는 것과 같은 미묘한 상황에서 최적의 보정 결과를 얻을 수 있다.

이와 같이, 조명 온ㆍ오프 차분 화상 중에서 높은 콘트라스트의 선을 추출하여, 그 선의 폭이나 방향으로부터 피사체의 이동량ㆍ이동 방향을 추정하고, 그 추정에 기초하여 조명 온ㆍ오프 중의 어느 한 화상 중의 피사체 부분을 어긋나게 하고 나서 다시 차분 화상을 작성함으로써, 피사체 흔들림이 없는 명료한 차분 화상 을 생성할 수 있다.

또, 차분 화상을 사용하여 촬상 대상물을 대강 추출한 후, 그 촬상 대상물의 윤곽 부분에 나타나는 콘트라스트가 높은 선의 선폭ㆍ위치ㆍ방향에 기초하여, 대강 추출한 촬상 대상물에 대응하는 화소 영역을 평행 이동이나 확대 축소 등을 한 다음, 차분 화상을 다시 생성함으로써, 차분 화상을 생성함으로써 배경이나 외광의 영향을 배제한 피사체 화상을 얻을 때, 피사체가 다소 움직이고 있더라도 적절한 피사체 화상을 얻을 수 있다. 이와 같이, 피사체 흔들림의 영향을 저감시킨 차분 화상을 인증 등에 이용함으로써 인증 정밀도의 향상에 기여할 수 있다.

(제2 실시형태)

이어서, 본 발명의 제2 실시형태에 관해 설명한다. 본 실시형태는, 상술한 제1 실시형태의 변형예이다. 이하, 이미 제1 실시형태에서 설명한 부분과 동일한 기능을 갖는 구성 부분에 관해서는 동일한 부호를 붙이고, 설명은 생략한다.

도 25는, 본 발명의 제2 실시형태에 의한 화상 처리 장치(1')의 구성에 관해 설명하기 위한 기능 블록도이다. 본 실시형태에 의한 화상 처리 장치(1')는, 제1 실시형태에 의한 화상 처리 장치(1)의 구성에 더하여, 블록 매칭 처리부(108)를 구비하고 있다.

본 실시형태에 의한 화상 처리 장치(1')에서는, 보정 처리부(107)에 의해, 이동 판정부(106)에서 판정되는 이동량에 기초하여, 상기 대상물 영역 추출부에서 추출되는 화소 영역의 화상상에서의 위치 및 크기가, 상기 제1 및 제2 화상 중 다른 어느 한쪽에서의 상기 촬상 대상물에 대응하는 화소 영역과 대략 동일한 상태가 되도록 보정을 행한다.

그리고, 블록 매칭 처리부(108)에 의해, 보정 처리부(107)에 의한 보정 처리를 거친 제1 및 제2 화상 사이에서 블록 매칭 처리가 실시된다. 차분 화상 생성부(103)는, 블록 매칭 처리부(108)에서 블록 매칭 처리가 실시된 그 2개의 화소 영역 사이에서의 차분 화상을 생성한다. 이에 따라, 보다 정밀도 높은 차분 화상을 얻을 수 있다.

도 26은, 본 발명의 제2 실시형태에 의한 화상 처리 장치에서의 처리(화상 처리 방법)의 흐름을 나타낸 플로우차트이다. 도 26에 나타낸 플로우차트에서의 S201∼S210, S214 및 S215에 관해서는, 도 2에 나타낸 플로우차트에서의 S101∼S110, S111 및 S112와 동일한 처리이므로, 설명은 생략한다.

보정 처리부(107)는, 이동 판정 단계(S210)에서 판정되는 이동량에 기초하여, 대상물 영역 추출 단계(S211)에서 추출되는 화소 영역의 화상상에서의 위치 및 크기가, 제1 및 제2 화상 중 다른 어느 한쪽에서의 촬상 대상물에 대응하는 화소 영역과 대략 동일한 상태가 되도록 보정을 행한다(보정 처리 단계).

블록 매칭 처리부(108)는, 보정 처리 단계에 의한 보정 처리를 거친 제1 및 제2 화상 사이에서 블록 매칭 처리를 실시하여, 고정밀도의 위치 맞춤을 행한다(블록 매칭 처리 단계)(S212).

블록 매칭 처리부(108)는, 블록 매칭 처리의 결과, 최선의 매칭 스코어가 된 이동량 및 이동 방향을 다시 데이터베이스(3)에 등록하고(S213), 차분 화상 생성 단계에 의한 차분 화상의 생성 처리로 진행한다.

본 실시형태에 의하지 않고, 갑자기 블록 매칭 처리를 행하는 구성도 채택할 수 있지만, 너무 많은 후보와의 매칭이 필요로 되어 처리 시간이 많이 걸린다. 이에 비해, 본 실시형태의 구성과 같이, 블록 매칭 처리를 최종적인 보정 처리에 채택하면, 작은 처리 부하로 고정밀도의 차분 화상을 얻을 수 있다.

(제3 실시형태)

다음으로, 본 발명의 제3 실시형태에 관해 설명한다. 본 실시형태는, 상술한 제1 실시형태의 변형예이다. 이하, 이미 제1 실시형태에서 설명한 부분과 동일한 기능을 갖는 구성 부분에 관해서는 동일한 부호를 붙이고, 설명은 생략한다.

도 27은, 본 발명의 제3 실시형태에 의한 화상 처리 장치(1")의 구성에 관해 설명하기 위한 기능 블록도이다. 본 실시형태에 의한 화상 처리 장치(1")는, 제1 실시형태에 의한 화상 처리 장치(1)의 구성에 더하여, 화소 선택부(109)를 구비하고 있다.

화소 선택부(109)는, 대상물 영역 추출부(104)에서 추출되는 화소 영역의 윤곽 부분의 화소 또는 그 윤곽 부분의 내측에 존재하는 화소만을 선택한다.

이동 판정부(106)는, 화소 선택부(109)에서 선택되는 화소에 기초하여 촬상 대상물의 이동량 및 이동 방향을 판정한다. 이에 따라, 여분의 선분의 추출 처리의 발생을 억제할 수 있어, 효율적으로 고정밀도의 보정 결과를 얻을 수 있다.

도 28은, 본 발명의 제3 실시형태에 의한 화상 처리 장치에서의 처리(화상 처리 방법)의 흐름을 나타낸 플로우차트이다. 도 28에 나타낸 플로우차트에서의 S301∼S309, S311∼S313에 관해서는, 도 2에 나타낸 플로우차트에서의 S101∼S109, S110∼S112와 동일한 처리이므로, 설명은 생략한다.

화소 선택부(109)는, 대상물 영역 추출 단계에서 추출되는 화소 영역(촬상 대상물 마스크 화상)의 윤곽 부분의 화소 또는 그 윤곽 부분의 내측에 존재하는 화소만을 선택한다(화소 선택 단계)(S310).

이동 판정 단계는, 화소 선택 단계에서 선택되는 화소만을 대상으로 하여 세선화 처리 등을 행하여, 촬상 대상물의 이동량 및 이동 방향을 판정한다.

촬영시에 피사체 이외의 여분의 것이 찍혀 버리거나, 외광의 영향 등에 의해 조명 온ㆍ오프 차분 화상에 여분의 선분이 출현하거나 하는 경우에, 이 여분의 선분을 촬상 대상물 마스크 화상을 이용하여 배제할 수 있다(도 29 참조). 이에 의해 촬상 대상물에 관한 차분 화상을 생성하는 경우의 흔들림 보정의 정밀도를 높일 수 있다.

상술한 각 실시형태에서, 차분 화상 생성부(103)에 의한 차분 화상의 생성시나 이동 판정부(106)에 의한 판정 처리에서의 선영역의 추출시에, 피사체나 선을 강조하기 위한 휘도 보정을 행해도 된다.

또, 상술한 각 실시형태에서는, 촬상 대상물이 인물인 경우를 예를 들었지만, 이것에 한정되지 않고, 예를 들어 「손바닥」을 촬상 대상물로 하여, 얻어지는 화상 데이터에 기초하여 「손바닥 정맥 인증」을 실현할 수도 있다.

「손바닥 정맥 인증」을 위해 손바닥을 촬상하는 경우, 카메라와 손바닥은 수 cm 정도밖에 떨어져 있지 않아, 상당히 근거리로부터의 촬상이 된다. 이와 같이, 근거리에서 카메라로 촬상하는 경우, 배경과 촬상 대상물의 밝기의 차이가 커 지기 쉽다. 이와 같이 배경과 촬상 대상물의 밝기의 차이가 상당히 커지는 경우에는, 차분 화상 생성부에서 생성되는 차분 화상을 2값화하여, 선화상이나 마스크 화상을 작성할 때의 임계값의 설정을 주위의 조명 상황에 따라 조정하는 것이 바람직하다.

또, 상술한 「손바닥 정맥 인증」에 한하지 않고, 조명 온 화상 및 조명 오프 화상을 거의 동일한 배경(배경이 고정되어 있도록 한 촬영 환경)에서 촬상 대상물(예를 들어 얼굴, 동공, 지문 등)을 촬상하는 촬상 장치에서도 본 발명은 효과를 나타낸다.

또, 상술한 각 실시형태에서는, 본 발명에 따른 화상 처리 장치가 촬상 장치(2)와는 별개로 설치되어, 화상 처리 장치 자체가 독립적으로 거래의 대상이 될 수 있는 예를 나타냈지만, 이것에 한정되지 않고, 예를 들어 상술한 각 실시형태에 의한 화상 처리 장치를 촬상 장치에 내장시키는 구성으로 함으로써, 본 발명에 따른 화상 처리 장치의 효과를 나타내는 촬상 장치를 제공할 수도 있다. 물론, 화상 처리 장치를 구성하는 모든 구성 부분을 촬상 장치에 내장시키는 것 뿐만 아니라, 화상 처리 장치의 구성 요소의 일부를 촬상 장치에 배치하여, 화상 처리 장치와 촬상 장치로 이루어진 화상 처리 시스템 전체로서 본 발명에 따른 화상 처리 장치의 기능을 실현하도록 해도 된다.

상술한 화상 처리 장치에서의 처리의 각 단계는, MEMORY(802)에 저장되어 있는 화상 처리 프로그램을 CPU(801)에 실행시킴으로써 실현되는 것이다.

또한, 화상 처리 장치를 구성하는 컴퓨터에서 상술한 각 단계를 실행시키는 프로그램을 화상 처리 프로그램으로서 제공할 수 있다. 상술한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기억시킴으로써, 화상 처리 장치를 구성하는 컴퓨터에 실행시키는 것이 가능해진다. 여기서, 상기 컴퓨터에 의해 판독 가능한 기록 매체로는, ROM이나 RAM 등의 컴퓨터에 내부 실장되는 내부 기억 장치, CD-ROM이나 플렉서블 디스크, DVD 디스크, 광자기 디스크, IC 카드 등의 휴대형 기억 매체나, 컴퓨터 프로그램을 유지하는 데이터베이스, 또는 다른 컴퓨터 및 그 데이터베이스나, 또한 회선상의 전송 매체도 포함하는 것이다.

이상 설명한 바와 같이, 본 발명에 의하면, 촬상 대상물을 조명하지 않는 비조명시에 그 촬상 대상물을 촬상한 화상과, 촬상 대상물을 조명하는 조명시에 그 촬상 대상물을 촬상한 화상에 기초하여, 촬상 화상상에서의 그 촬상 대상물의 추출을 행하는 화상 처리 기술에 있어서, 간편한 장치 구성 및 적은 처리 부하로 고정밀도의 촬상 대상물의 추출을 실현할 수 있는 기술의 제공이 가능해진다.

Claims

촬상 대상물을 조명하지 않는 비조명시에 상기 대상물을 촬상한 제1 화상을 취득하는 제1 화상 취득부와,

상기 대상물을 조명하는 조명시에 상기 대상물을 촬상한 제2 화상을 취득하는 제2 화상 취득부와,

상기 제1 화상 취득부에서 취득되는 제1 화상에서의 각 화소의 휘도와, 상기 제2 화상 취득부에서 취득되는 제2 화상에서의 각 화소의 휘도와의 차분으로 이루어진 차분 화상을 생성하는 차분 화상 생성부와,

상기 차분 화상 생성부에서 생성되는 차분 화상에서의, 미리 결정된 휘도값 이상의 휘도를 갖는 화소로 이루어진 화상 영역을 추출하는 고휘도 영역 추출부와,

상기 고휘도 영역 추출부에서 추출되는 화상 영역에 기초하여, 상기 제1 화상의 촬상 타이밍과 상기 제2 화상의 촬상 타이밍과의 사이에서의 상기 대상물의 이동량을 판정하는 이동 판정부

를 구비하여 이루어진 화상 처리 장치.
제1항에 있어서,

상기 차분 화상 생성부에서 생성되는 차분 화상에 기초하여, 상기 제1 및 제2 화상 중 어느 한쪽에서의 상기 대상물에 대응하는 화소 영역을 추출하는 대상물 영역 추출부와,

상기 이동 판정부에서 판정되는 이동량에 기초하여, 상기 대상물 영역 추출부에서 추출되는 화소 영역의 화상상에서의 위치 및 크기가, 상기 제1 및 제2 화상 중 다른 어느 한쪽에서의 상기 대상물에 대응하는 화소 영역과 동일한 상태가 되도록 상기 제1 화상 및 상기 제2 화상 중 어느 한쪽을 보정하는 보정 처리부

를 더 구비하고,

상기 차분 화상 생성부는, 상기 보정 처리부에 의한 보정 처리를 거친 제1 및 제2 화상 사이에서의 차분 화상을 생성하는 것인 화상 처리 장치.
제1항에 있어서,

상기 이동 판정부는, 상기 고휘도 영역 추출부에서 추출되는 화상 영역에 대하여 세선화(細線化) 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 상기 화상 영역의 폭 중, 가장 큰 것을 상기 이동량으로 판정하는 것인 화상 처리 장치.
제1항에 있어서,

상기 이동 판정부는, 상기 고휘도 영역 추출부에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 상기 화상 영역의 폭 중, 가장 큰 폭이 되는 위치에서의 상기 세선과 직교하는 방향을, 상기 대상물의 이동 방향으로 판정하는 것인 화상 처리 장치.
제1항에 있어서,

상기 이동 판정부는, 상기 고휘도 영역 추출부에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 상기 화상 영역의 폭 중, 크기가 상위 미리 결정된 순위까지의 값을 평균한 것을 상기 이동량으로 판정하는 것인 화상 처리 장치.
제1항에 있어서,

상기 이동 판정부는, 상기 고휘도 영역 추출부에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 상기 화상 영역의 폭 중, 크기가 상위 미리 결정된 순위가 되는 복수 위치에서의 상기 세선과 직교하는 방향의 평균을, 상기 대상물의 이동 방향으로 판정하는 것인 화상 처리 장치.
제1항에 있어서,

상기 이동 판정부는, 상기 고휘도 영역 추출부에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선상의 복수의 미리 결정된 위치에 있어서 상기 세선과 직교하는 방향에서의 상기 화상 영역의 각 폭의 차가 미리 결정된 값을 하회하는 경우, 상기 대상물의 이동 방향은 상기 대상물을 촬상하는 촬상 장치에 의한 촬상 방향인 것으로 판정하는 것인 화상 처리 장치.
제2항에 있어서,

상기 이동 판정부에서 판정되는 상기 대상물의 이동량의 차가 미리 결정된 거리 이하인 이동 방향이 복수개인 경우, 상기 복수개의 이동 방향 각각에 기초하여, 상기 대상물 영역 추출부에서 상기 제1 및 제2 화상 중 어느 한쪽으로부터 추출되는 화소 영역의 화상상에서의 위치 및 크기가, 상기 제1 및 제2 화상 중 다른 어느 한쪽에서의 상기 대상물에 대응하는 화소 영역과 동일한 상태가 되도록 상기 제1 화상 및 상기 제2 화상 중 어느 한쪽을 보정하는 보정 처리부를 더 구비하고,

상기 차분 화상 생성부는, 상기 보정 처리부에 의한 보정 처리를 거친 제1 및 제2 화상 사이에서의 차분 화상을 생성하는 것이며,

상기 이동 판정부는, 상기 차분 화상 생성부에서 생성되는 복수의 차분 화상 중, 상기 고휘도 영역 추출부에서 추출되는 화상 영역의 면적이 가장 좁은 차분 화상의 생성에 이용된 이동 방향을 상기 대상물의 이동 방향으로 판정하는 것인 화상 처리 장치.
제2항에 있어서,

상기 이동 판정부에서 판정되는 이동량에 기초하여, 상기 대상물 영역 추출부에서 추출되는 화소 영역의 화상상에서의 위치 및 크기가, 상기 제1 및 제2 화상 중 다른 어느 한쪽에서의 상기 대상물에 대응하는 화소 영역과 동일한 상태가 되도록 상기 제1 화상 및 상기 제2 화상 중 어느 한쪽의 보정을 행하는 보정 처리부와,

상기 보정 처리부에 의한 보정 처리를 거친 제1 및 제2 화상 사이에서 블록 매칭 처리를 실시하는 블록 매칭 처리부

를 더 구비하고,

상기 차분 화상 생성부는, 상기 블록 매칭 처리부에서 블록 매칭 처리가 실시된 상기 2개의 화상 사이에서의 차분 화상을 생성하는 것인 화상 처리 장치.
제2항에 있어서,

상기 대상물 영역 추출부는, 상기 차분 화상 생성부에서 생성되는 차분 화상에서의, 미리 결정된 화소값을 초과하는 화소로 이루어진 화상 영역을, 상기 대상물에 대응하는 화소 영역으로서 추출하는 것인 화상 처리 장치.
제2항에 있어서,

상기 대상물 영역 추출부에서 추출되는 화소 영역의 윤곽 부분의 화소 또는 상기 윤곽 부분의 내측에 존재하는 화소만을 선택하는 화소 선택부를 구비하고,

상기 이동 판정부는, 상기 화소 선택부에서 선택되는 화소에 기초하여 상기 대상물의 이동량 및 이동 방향을 판정하는 것인 화상 처리 장치.
촬상 대상물을 조명하지 않는 비조명시에 상기 대상물을 촬상한 제1 화상 및 상기 대상물을 조명하는 조명시에 상기 대상물을 촬상한 제2 화상 중 어느 한쪽을 취득하는 단계와,

상기 제1 화상 및 상기 제2 화상 중 다른 어느 한쪽을 취득하는 단계와,

상기 제1 화상 및 상기 제2 화상 중 어느 한쪽을 취득하는 단계에서 취득되는 화상에서의 각 화소의 휘도와, 상기 다른 어느 한쪽을 취득하는 단계에서 취득되는 화상에서의 각 화소의 휘도와의 차분으로 이루어진 차분 화상을 생성하는 단계와,

상기 생성 단계에서 생성되는 차분 화상에서의, 미리 결정된 휘도값 이상의 휘도를 갖는 화소로 이루어진 화상 영역을 추출하는 단계와,

상기 추출 단계에서 추출되는 화상 영역에 기초하여, 상기 제1 화상의 촬상 타이밍과 상기 제2 화상의 촬상 타이밍과의 사이에서의 상기 대상물의 이동량을 판정하는 단계

를 포함하는 화상 처리 방법.
제12항에 있어서,

상기 생성 단계에서 생성되는 차분 화상에 기초하여, 상기 제1 및 제2 화상 중 어느 한쪽에서의 상기 대상물에 대응하는 화소 영역을 추출하는 단계와,

상기 판정 단계에서 판정되는 이동량에 기초하여, 상기 대상물 영역 추출 단계에서 추출되는 화소 영역의 화상상에서의 위치 및 크기가, 상기 제1 및 제2 화상 중 다른 어느 한쪽에서의 상기 대상물에 대응하는 화소 영역과 동일한 상태가 되도록 상기 제1 화상 및 상기 제2 화상 중 어느 한쪽을 보정하는 단계

를 더 구비하고,

상기 차분 화상 생성 단계는, 상기 보정 단계에 의한 보정 처리를 거친 제1 및 제2 화상 사이에서의 차분 화상을 생성하는 것인 화상 처리 방법.
제12항에 있어서,

상기 판정 단계는, 상기 화상 영역 추출 단계에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 상기 화상 영역의 폭 중, 크기가 상위 미리 결정된 순위까지의 값을 평균한 것을 상기 이동량으로 판정하는 것인 화상 처리 방법.
제12항에 있어서,

상기 판정 단계는, 상기 화상 영역 추출 단계에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 상기 화상 영역의 폭 중, 크기가 상위 미리 결정된 순위가 되는 복수 위치에서의 상기 세선과 직교하는 방향의 평균을, 상기 대상물의 이동 방향으로 판정하는 것인 화상 처리 방법.
제13항에 있어서,

상기 판정 단계에서 판정되는 상기 대상물의 이동량의 차가 미리 결정된 거리 이하인 이동 방향이 복수개인 경우, 상기 복수개의 이동 방향 각각에 기초하여, 상기 대상물 영역 추출 단계에서 추출된 상기 제1 및 제2 화상 중 어느 한쪽으로부터 추출되는 화소 영역의 화상상에서의 위치 및 크기가, 상기 제1 및 제2 화상 중 다른 어느 한쪽에서의 상기 대상물에 대응하는 화소 영역과 동일한 상태가 되도록 상기 제1 화상 및 상기 제2 화상 중 어느 한쪽을 보정하는 단계를 더 구비하고,

상기 생성 단계는, 상기 보정 단계에 의한 보정 처리를 거친 제1 및 제2 화상 사이에서의 차분 화상을 생성하는 것이며,

상기 판정 단계는, 상기 생성 단계에서 생성되는 복수의 차분 화상 중, 상기 화상 영역 추출 단계에서 추출되는 화상 영역의 면적이 가장 좁은 차분 화상의 생성에 이용된 이동 방향을 상기 대상물의 이동 방향으로 판정하는 것인 화상 처리 방법.
화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 매체로서, 컴퓨터가,

촬상 대상물을 조명하지 않는 비조명시에 상기 대상물을 촬상한 제1 화상 및 상기 대상물을 조명하는 조명시에 상기 대상물을 촬상한 제2 화상 중 어느 한쪽을 취득하는 단계와,

상기 제1 화상 및 상기 제2 화상 중 다른 어느 한쪽을 취득하는 단계와,

상기 제1 화상 및 상기 제2 화상 중 어느 한쪽을 취득하는 단계에서 취득되는 화상에서의 각 화소의 휘도와, 상기 다른 어느 한쪽을 취득하는 단계에서 취득되는 화상에서의 각 화소의 휘도와의 차분으로 이루어진 차분 화상을 생성하는 단계와,

상기 생성 단계에서 생성되는 차분 화상에서의, 미리 결정된 휘도값 이상의 휘도를 갖는 화소로 이루어진 화상 영역을 추출하는 단계와,

상기 추출 단계에서 추출되는 화상 영역에 기초하여, 상기 제1 화상의 촬상 타이밍과 상기 제2 화상의 촬상 타이밍과의 사이에서의 상기 대상물의 이동량을 판정하는 단계

를 포함하는 처리를 실행하게 하는 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 매체.
제17항에 있어서,

상기 처리는,

상기 생성 단계에서 생성되는 차분 화상에 기초하여, 상기 제1 및 제2 화상 중 어느 한쪽에서의 상기 대상물에 대응하는 화소 영역을 추출하는 단계와,

상기 판정 단계에서 판정되는 이동량에 기초하여, 상기 대상물 영역 추출 단계에서 추출되는 화소 영역의 화상상에서의 위치 및 크기가, 상기 제1 및 제2 화상 중 다른 어느 한쪽에서의 상기 대상물에 대응하는 화소 영역과 동일한 상태가 되도록 상기 제1 화상 및 상기 제2 화상 중 어느 한쪽을 보정하는 단계

를 더 구비하고,

상기 차분 화상 생성 단계는, 상기 보정 단계에 의한 보정 처리를 거친 제1 및 제2 화상 사이에서의 차분 화상을 생성하는 것인 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 매체.
제17항에 있어서,

상기 판정 단계는, 상기 화상 영역 추출 단계에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 상기 화상 영역의 폭 중, 크기가 상위 미리 결정된 순위까지의 값을 평균한 것을 상기 이동량으로 판정하는 것인 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 매체.
제17항에 있어서,

상기 판정 단계는, 상기 화상 영역 추출 단계에서 추출되는 화상 영역에 대하여 세선화 처리를 실시함으로써 얻어지는 세선에 직교하는 방향에서의 상기 화상 영역의 폭 중, 크기가 상위 미리 결정된 순위가 되는 복수 위치에서의 상기 세선과 직교하는 방향의 평균을, 상기 대상물의 이동 방향으로 판정하는 것인 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 매체.