KR101837482B1

KR101837482B1 - 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치

Info

Publication number: KR101837482B1
Application number: KR1020170039102A
Authority: KR
Inventors: 최종호
Original assignee: (주)이더블유비엠
Priority date: 2017-03-28
Filing date: 2017-03-28
Publication date: 2018-03-13
Also published as: KR20170039113A

Abstract

미리 정해진 주기마다 매회 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반 모션모델을 이용하여 미리 정해진 대상체를 전경영상으로 검출하고 이를 위치와 크기로 간략화시킨 블럽을 산출한 후, 추적의 대상인 오브젝트와 상기 블럽을 비교하여, 상기 오브젝트의 위치를 추적하는 영상처리방법에 있어서, 금회에 상기 블럽이 부존재하면, 금회의 상기 전경영상의 정보를 이용하여 금회의 상기 오브젝트의 위치를 추정하는 오브젝트 추정단계를 포함함을 특징으로 하는 영상처리방법이 제공된다.

Description

영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치 {IMAGE PROCESSING METHOD AND APPARATUS, AND INTERFACE METHOD AND APPARATUS OF GESTURE RECOGNITION USING THE SAME}

본 발명은, 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치에 관한 것으로서, 보다 상세히는, 입력된 블럽(Blob)의 유효성에 대한 검증을 수행하여, 잘못된 블럽이 입력된 경우에도 오차범위를 넘어서는 오판단을 방지하고, 실제로 대상체가 존재하는 경우에는 오브젝트에 대한 추적의 누락이나 유실현상을 방지하고, 대상체의 위치추적의 정확성을 높이고, 추적 소요시간을 단축시키는 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치에 관한 것이다.

컴퓨터 비전기술의 급격한 발전에 따라, 비접촉식 인터페이스의 중요성이 이슈화되고 있다. 일반적으로 알려져 있는 비접촉식 인터페이스에는,

(1) 손동작 인식(Hand Gesture Recognition)

(2) 눈동자 인식(Eye[Pupil] Recognition)

(3) 음성 인식(Voice Recognition)

(4) 얼굴표정 인식(Expression Recognition)

(5) 행위 인식(Behavior Recognition)

등이 포함된다.

이러한 비접촉식 인터페이스는, 사용자와 기기의 상호관계를 위한 도구로서 유용하며, 행정사무, 게임, 운동 등 다양한 응용이 가능하다. 구체적 응용기기의 예로서는,

(1) 모바일(입력장치와 같은 컨트롤러 - 3차원 공간상의 상하좌우 앞뒤)

(2) 텔레비전(리모트 컨트롤러 역할 - 줌인, 줌아웃, 볼륨 및 채널 조정)

(3) 게임기(입력장치와 같은 컨트롤러 - 3차원 공간상의 상하좌우 앞뒤)

(4) 기타(카메라가 장착되어 있는 모든 기기의 컨트롤러)

를 들 수 있다.

예컨대 도 1 및 도 2에 예시된 바와 같이, 카메라(영상취득장치)(cam)를 통하여 취득된 영상으로부터 이용자(h)의 특정 부위(예컨대 손)(h1, h2)인 대상체를 검출하고, 그 움직임의 궤적을 추적하고, 그 궤적에 대응하는 미리 정의된 제스처를 결정하고, 그 제스처에 따라서 상기 카메라(cam)에 연결된 컴퓨터나 스마트폰 등과 같은 정보처리기기(미도시)에 대하여 미리 정해진 후처리(예컨대 전후좌우 상하방향 이동의 발생이벤트 출력)를 행하는 기술이 알려져 있다. 이는 도 3 (c)와 같이, 영상입력(1), 대상체 검출(2), 위치추적(3), 제스처 인식(4) 및 후처리(5)의 순으로 단계가 진행되는 것이다.

이 분야의 종래기술로서, 센서글러브와 같은 외부장치를 이용한 방식과 컴퓨터 비전기술을 이용한 방식의 손동작 인식기술이 존재한다. 특히 컴퓨터 비전기술 기반의 손동작 인식기술은,

(1) 컬러, 모양, 질감 등 특징을 이용한 히스토그램 매칭기법

(2) 챔퍼 디스턴스 (Chamfer Distance)와 같은 윤곽선 기반의 템플릿 매칭 기법

(3) 예측에 기반한 은닉 마코프스 모델 기법 (Hidden Markov Model)

(4) 기계학습 기법 (Machine Learning)

등으로 연구되고 있다.

특히 종래의 특허문헌의 기술은, '깊이정보 기반의 포스처와 제스처 인식장치 및 방법'에 관한 것으로서, 피부색 검출과 배경 제거를 이용한 손 영역 추출 및 손가락 개수 판단을 특징으로 한다. 여기서 종래기술의 손동작 인식의 기술은,

(1) 컬러영상 입력(101)

(2) 색상 및 질감 기반 손 영역 검출(102)

(3) 중첩 영역 기반 손 추적(103)

(4) 손동작 분석(104)

(5) 이벤트 출력(105)

의 5단계로 이루어진다.

특허공개 10-2014-0055172

그런데, 도 1, 도 2 및 도 3과 같이, 상기 카메라(cam)에 이용자(h)만이 아니라 다른 다양한 것들이 함께 촬상되게 되는 환경인 경우에는, 그 처리의 대상이 되는 처리영상이 도 3 (a) (b)와 같이 매우 복잡하게 된다. 여기서, 카메라(cam)에 촬상되는 영상이 수평(x), 수직(y)방향으로 뻗는 가상의 xy평면에 놓이는 것으로 할 때, 이 카메라(cam)로부터 멀어지는 방향을 z방향(깊이방향, 심도방향)으로 설정하고 있다. 그리고, 카메라(cam)로부터 z방향으로 얕은 깊이(근거리)에서 깊은 깊이(원거리)의 순으로 파리(f), 육면체(b), 이용자(h), 텐트(t), 비행기(p)의 순으로 촬상된 경우를 예시한다. 여기서, 파리(f), 이용자(h), 및 비행기(p)는, 움직일 수 있는 것임을 유의하여야 한다.

도 3 (a) (b)와 같이 처리영상에 이용자(h)만이 아니라 다른 다양한 배경물체들이 함께 존재하는 경우에, 이 처리영상으로부터 정확하게 이용자(h)의 대상체(h1, h2)를 검출하고, 그 변화를 추적하는 것은, 쉽지만은 않은 것이라 할 것이다.

종래기술에 의하면, 손 검출부(102)에 의하여 대상체(손)의 전경영상과 이를 위치와 크기로 간략히 나타내는 블럽(Blob)이 특정된 후, 손 추적부(103)에 의하여 이 신규의 블럽이 원래 그 시스템에서 추적 중이던 오브젝트와 동일한 것인지 매칭시켜서, 그 오브젝트의 움직임의 궤적을 추적하게 된다. 그런데, 손 추적부(103)는 단순히 중첩 영역에 기반으로 하여 손 추적을 행할 뿐이므로, 입력된 블럽의 유효성에 대한 검증은 하지 못하여, 잘못된 블럽이 입력된 경우에는 오차범위를 넘어서는 오판단을 한다는 문제가 있다.

특히, 손 추적부(103)는 단순히 중첩 영역에 기반으로 하여 손 추적을 행할 뿐이므로, 다양한 배경물체의 존재나 조명변화, 색상으로 인하여 블럽에 대한 정보의 검출에 실패한 경우에는, 실제로는 대상체가 존재함에도 불구하고 오브젝트와의 중첩 영역을 산정할 수가 없어서, 결과를 산출하지 못하고 아이들링(idling)하게 된다는 문제가 있다.

여기서 중요한 점은, 종래기술에 의하면, 대상체가 화면에 존재하지 않아서 블럽이 산출되지 않은 것은 당연한 것이므로 논외로 하고, 대상체가 화면에 존재함에도 불구하고 어떠한 이유로 인하여 최종적으로 블럽이 산출되지 않은 경우에, 이를 위치추적 단계에서 확인이나 보완을 하지 않고 있다는 점이다. 이로 인하여, 마땅히 위치가 추적되었어야 할 오브젝트에 대하여 추적의 누락이 발생한다. 따라서, 대상체의 위치추적 과정에 있어서, 추적의 정확성이 떨어지고, 이들이 중첩될 경우에는 대상체의 유실현상이 발생하고, 추적 소요시간이 많이 걸리게 된다는 문제가 있다.

본 발명은, 상기 종래기술의 문제를 해소하기 위하여 안출된 것으로서, 입력된 블럽의 유효성에 대한 검증을 수행하여, 잘못된 블럽이 입력된 경우에도 오차범위를 넘어서는 오판단을 방지하고, 실제로 대상체가 존재하는 경우에는 오브젝트에 대한 추적의 누락이나 유실현상을 방지하고, 대상체의 위치추적의 정확성을 높이고, 추적 소요시간을 단축시키는 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치를 제공하고자 하는 것이다.

상기 과제를 달성하기 위한 본 발명의 영상처리방법은, 미리 정해진 주기마다 매회 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반(t-N) 모션모델(Motion Model)을 이용하여 미리 정해진 대상체를 전경영상으로 검출하고 이를 위치와 크기로 간략화시킨 블럽을 산출한 후, 추적의 대상인 오브젝트와 상기 블럽을 비교하여, 상기 오브젝트의 위치를 추적하는 영상처리방법에 있어서, 금회에 상기 블럽이 부존재하면, 금회의 상기 전경영상의 정보(다중 프레임 기반(t-N) 모션모델(Motion Model)에 대한 정보 포함)를 이용하여 금회의 상기 오브젝트의 위치를 유지 또는 추정하는 오브젝트 추정단계를 포함함을 특징으로 한다.

여기서, 상기 오브젝트 추정단계는, 금회의 상기 전경영상이, 최근 1회 이상의 (1) 상기 전경영상 또는 블럽 또는 이들의 조합, 또는 (2) 상기 오브젝트, 또는 (3) 상기 (1)과 (2)의 조합,과 미리 정해진 비율 이상으로 중첩될 때 수행됨이 바람직하다.

그리고, 상기 오브젝트 추정단계에 의하여 추정되는 상기 오브젝트의 위치는, 상기 전경영상의 평균위치로 지정됨이 바람직하다.

그리고, 전회에 상기 오브젝트가 부존재하면, 금회의 상기 블럽이, 최근 1회 이상의 상기 전경영상 또는 블럽 또는 이들의 조합과 미리 정해진 비율 이상으로 중첩될 때, 금회의 상기 블럽이 새로운 오브젝트로 설정되도록 하는 오브젝트 추가단계가 더 구비됨이 바람직하다.

그리고, 금회의 상기 블럽이, 최근 1회 이상의 (a) 상기 전경영상 또는 블럽과 미리 정해진 비율 이상으로, 또한, (b) 상기 오브젝트와 미리 정해진 비율 이상으로 중첩될 때, 금회의 상기 오브젝트의 위치가 결정됨이 바람직하다.

여기서, 금회의 상기 오브젝트의 위치는, 금회의 상기 블럽과 전회의 상기 오브젝트의 평균위치로 산정됨이 바람직하다.

한편, 상기 과제를 달성하기 위한 본 발명의 제스처 인식 인터페이스 방법은, 미리 정해진 주기마다 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반(t-N) 모션모델(Motion Model)을 이용하여 미리 정해진 대상체를 검출하는 검출단계와, 상기 대상체의 과거 위치와 크기에 대한 금회 위치와 크기로부터 궤적을 추적하는 추적단계와, 상기 궤적의 패턴에 대응되는 제스처를 결정하는 제스처 결정단계를 포함하는 제스처 인식 인터페이스 방법으로서, 상기 추적단계는, 상기 영상처리방법을 이용하여 이루어짐을 특징으로 한다.

한편, 상기 과제를 달성하기 위한 본 발명의 영상처리장치는, 미리 정해진 주기마다 매회 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반(t-N) 모션모델(Motion Model)을 이용하여 미리 정해진 대상체를 전경영상으로 검출하고 이를 위치와 크기로 간략화시킨 블럽을 산출한 후, 추적의 대상인 오브젝트와 상기 블럽을 비교하여, 상기 오브젝트의 위치를 추적하는 영상처리장치에 있어서, 금회에 상기 블럽이 부존재하면, 금회의 상기 전경영상의 정보(다중 프레임 기반(t-N) 모션모델(Motion Model)에 대한 정보 포함)를 이용하여 금회의 상기 오브젝트의 위치를 유지 또는 추정하는 오브젝트 추정부를 포함함을 특징으로 한다.

여기서, 상기 오브젝트 추정부는, 금회의 상기 전경영상이, 최근 1회 이상의 (1) 상기 전경영상 또는 블럽 또는 이들의 조합, 또는 (2) 상기 오브젝트, 또는 (3) 상기 (1)과 (2)의 조합과 미리 정해진 비율 이상으로 중첩될 때 수행됨이 바람직하다.

그리고, 상기 오브젝트 추정부에 의하여 추정되는 상기 오브젝트의 위치는, 상기 전경영상의 평균위치로 지정됨이 바람직하다.

그리고, 전회에 상기 오브젝트가 부존재하면, 금회의 상기 블럽이, 최근 1회 이상의 상기 전경영상 또는 블럽 또는 이들의 조합과 미리 정해진 비율 이상으로 중첩될 때, 금회의 상기 블럽이 새로운 오브젝트로 설정되도록 하는 오브젝트 추가부가 더 구비됨이 바람직하다.

한편, 상기 과제를 달성하기 위한 본 발명의 제스처 인식 인터페이스 장치는, 미리 정해진 주기마다 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반(t-N) 모션모델(Motion Model)을 이용하여 미리 정해진 대상체를 검출하는 검출부와, 상기 대상체의 과거 위치와 크기에 대한 금회 위치와 크기로부터 궤적을 추적하는 추적부와, 상기 궤적의 패턴에 대응되는 제스처를 결정하는 제스처 결정부를 포함하는 제스처 인식 인터페이스 장치로서, 상기 추적부는, 상기 영상처리장치를 이용하여 이루어짐을 특징으로 한다.

본 발명에 의하면, 입력된 블럽의 유효성에 대한 검증을 수행하여, 잘못된 블럽이 입력된 경우에도 오차범위를 넘어서는 오판단을 방지하고, 실제로 대상체가 존재하는 경우에는 오브젝트에 대한 추적의 누락이나 유실현상을 방지하고, 대상체의 위치추적의 정확성을 높이고, 추적 소요시간을 단축시키는 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치가 제공된다.

도 1은, 본 발명에 따른 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치에 사용되는 영상의 취득상황 및 장애요인을 설명하기 위한 사시도이다.
도 2는, 도 1의 평면도이다.
도 3은, (a) (b) 카메라에 포착된 영상, (c) 제스처 인식 인터페이스의 전체 블럭도이다.
도 4는, 화면 예로서, (a) 배경제거 후의 전경영상, (b) 전경영상의 위치와 크기를 추출하여 특이부로 정의하고 레이블링하여 출력하는 블럽(Blob)의 개념도, (c) 위치추적의 개념도, (d)업데이팅 조건을 예시하는 테이블이다.
도 5는, 도 4 (d)의 (A)의 세부정책 예시도이다.
도 6은, 도 4 (d)의 (B)의 세부정책 예시도이다.
도 7은, 도 4 (d)의 (C)의 세부정책 예시도이다.

이하, 첨부도면을 참조하면서 본 발명을 보다 상세히 설명한다. 다만, 동일기능을 구비하여 동일역할을 하는 부재에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다.

본 발명은, 미리 정해진 주기마다 매회 영상취득장치(예컨대 카메라(cam))로부터 입력받은 처리영상(도 3 (a) (b)) 속에서 미리 정해진 대상체(예컨대 손)(h1, h2)를 전경영상(BGS; Background Subtraction)으로 검출하고 이를 위치와 크기로 간략화시킨 블럽(Blob)을 산출한 후, 추적의 대상인 오브젝트와 상기 블럽을 비교하여, 상기 오브젝트의 위치를 추적하는 영상처리방법, 또는 이것이 하드웨어로 구현된 영상처리장치이다. 이를 위하여 본 발명은, 도 1 및 도 2에 예시된 바와 같이, 카메라(영상취득장치)(cam)를 통하여 처리영상을 취득하여, 도 3 (c)와 같이, 이 처리영상을 입력받는 영상입력(1), 이 입력된 처리영상으로부터 대상체(h1, h2)를 검출하는 대상체 검출(2), 그 움직임의 궤적을 추적하는 위치추적(3), 그 궤적에 대응하는 미리 정의된 제스처를 결정하는 제스처 인식(4) 및 그 제스처에 따라서 상기 카메라(cam)에 연결된 컴퓨터나 스마트폰 등과 같은 정보처리기기(미도시)에 대하여 미리 정해진 후처리(예컨대 전후좌우 상하방향 이동의 발생이벤트 출력)를 행하는 후처리(5)의 순으로 처리가 진행될 수 있다. 본 발명은 이 중에서, 위치추적(3)에 있어서 특히 종래기술과 현격한 차이를 가진다.

먼저, 본 발명에서는, 대상체 검출(2)에서 도 4 (a)와 같이 전경영상(BGS)이 검출되면, 이로부터 도 4 (b)와 같이 블럽(Blob)이 정의된다. 이 블럽은, 위치와 크기를 가지고, 식별자로 레이블링된다. 도시된 예에서는, 오른손(h1)과 왼손(h2)에 대하여 블럽화되어, 각각 중심위치(X, Y, Z)와 크기(폭과 높이)가 산정되고, 각각 'A135', 'A136'이라는 식별자로 레이블링된 것을 나타낸다. 다만, 이는 예시일 뿐이고, 통일적으로 사용된다는 조건 하에서, 위치를 예컨대 좌상 꼭지점의 위치로 하여도 좋다. 그리고, 위치와 크기 대신에, 2개의 위치, 예컨대 두 마주보는 대각 꼭지점의 위치를 저장하여도 좋다.

따라서, 위치추적(3)에 있어서는, 상기 전경영상(BGS)이 그대로 오브젝트와 비교되는 것이 아니라, 이 전경영상으로부터 산출된 블럽(Blob)이 오브젝트와 비교되는 것이다. 이는 위치추적에 의하여 위치가 갱신되는 매회의 오브젝트도 블럽처럼 위치와 크기로 간략화된 형태로 저장되고 관리되고 있기 때문이다.

도 4 (c)와 같이, 기존에 추적 중인 오브젝트가 시간 순으로 O(t-5), O(t-4), O(t-3), O(t-2), O(t-1)의 순으로 추적되어 있는 상황을 예로 들면, 시각 (t)에 있어서 금회의 오브젝트 O(t)를 결정하여야 한다. 이때, 금회의 블럽 B(t)가 입력되면, 이 블럽 B(t)로부터 직접 또는 가공에 의하여 금회의 오브젝트 O(t)가 결정된다. 여기서 블럽 B(t)의 유효성을 검증하고 보완해야 할 이유에 대해서 생각해 본다.

도 3 (c)의 대상체 검출(2)은, 비전기술에 의존하기 때문에, 조명이나 색채에 따라서 또는 움직임 속도에 따라서 그 검출의 정확도가 현저히 저하될 여지가 있다. 그로 인하여, 비록 도 4 (a)의 전경영상(BGS)이 정확히 검출된 경우에도, 도 4 (b)의 블럽(Blob)이 부정확하게 검출되거나 아예 검출되지 못하는 경우가 발생될 수 있다. 이는 후속의 위치추적(3)에 있어서, 대상체(예컨대 손)의 위치추적에 대한 잘못된 결과를 야기시키고, 이는 결국 제스처 인식 인터페이스의 오류가 된다. 따라서 이런 문제점을 보완할 필요가 있다. 본 발명에 있어서는 움직임 모델에 기반하여, 합리적인 추정을 수행함으로써, 블럽의 부정확, 오류 또는 인식실패에 대한 보완을 행하고 있다.

먼저, 도 4 (d)와 같이, 금회의 블럽 B(t)로부터 금회의 오브젝트 O(t)의 위치를 산정할 업데이팅 조건을 결정할 수 있다. 업데이팅 조건은, 예컨대 블럽의 유무와 오브젝트의 유무를 요소로 하여 결정될 수 있다.

도 4 (d)에 있어서, 대상체 검출(2)로부터 입력받은 결과, (A) (B)는, 금회의 블럽(Blob)이 존재하는 경우이고, (C) (D)는, 금회의 블럽(Blob)이 존재하지 않는 경우이다. 또한, (A) (C)는, 추적 중인 오브젝트가 존재하는 경우이고, (B) (D)는, 추적 중인 오브젝트가 존재하지 않는 경우이다.

먼저, 도 4 (d)의 (A)는, 추적 중인 오브젝트가 존재하는 상황에서 새로운 블럽이 입력된 경우이다. 이 경우에 대해서는, 중첩관계를 계산하여 금회의 오브젝트 O(t)의 위치를 결정하면 된다.

이 경우에, 금회의 상기 블럽이, 최근 1회 이상의 (a) 상기 전경영상 또는 블럽과 미리 정해진 비율 이상으로, 또한, (b) 상기 오브젝트와 미리 정해진 비율 이상으로 중첩될 때, 금회의 상기 오브젝트의 위치가 결정됨이 바람직하다. 구체적으로 예컨대 도 5와 같이, B(t)가 3프레임 기준으로 최근 블럽들 B(t-2), B(t-1)과 25% 이상 중복되고, 기존의 추적 중인 오브젝트 O(t-6), O(t-3) 중의 최근 오브젝트 O(t-3)과 30% 이상 중첩되면, 이로부터 금회 오브젝트 O(t)의 위치가 결정되도록 할 수 있다. 그리고, 예컨대, 금회의 상기 오브젝트의 위치는, 금회의 상기 블럽 B(t)와 최근의 상기 오브젝트 O(t-3)의 평균위치로 산정되도록 할 수 있다.

이처럼, 금회의 블럽 B(t)가 최근 블럽 B(t-1)과 중복되는지를 검증함으로써, 추정에 의하여 금회의 블럽 B(t)가 엉뚱한 데이터가 아님을 검증할 수 있다. 그리고, 금회의 블럽 B(t)가 최근 오브젝트 O(t-3)과 중복되는지를 검증함으로써, 추정에 의하여 금회 오브젝트 O(t)의 산정에 이용되어도 좋은지를 검증할 수 있다.

다음으로, 도 4 (d)의 (B)는, 추적 중인 오브젝트가 존재하지 않는 상황에서 새로운 블럽이 입력된 경우이다. 이 경우에 대해서는, 블럽의 유효성을 검증한 후, 이를 새로운 오브젝트 O(t)로 선정하면 된다.

이 경우에, 전회에 상기 오브젝트가 부존재하면, 금회의 상기 블럽 B(t)가, 최근 1회 이상의 상기 전경영상(BGS) 또는 블럽(B) 또는 이들의 조합과 미리 정해진 비율 이상으로 중첩될 때, 금회의 상기 블럽이 새로운 오브젝트로 설정되도록 하는 오브젝트 추가단계가 구비되도록 할 수 있다. 구체적으로 예컨대 도 6과 같이, B(t)가 3프레임 기준으로 25% 이상 최근 블럽들 B(t-2), B(t-1)과 중복되면, 이로부터 새로운 오브젝트 O(t)가 설정되고 위치가 결정되도록 할 수 있다.

이처럼, 금회의 블럽 B(t)가 최근 블럽 B(t-2), B(t-1)과 중복되는지를 검증함으로써, 추정에 의하여 금회의 블럽이 엉뚱한 데이터가 아님을 검증할 수 있다. 그리고, 이렇게 유효성이 검증된 금회의 블럽 B(t)가 새로운 오브젝트 O(t)가 되도록 설정함으로써, 오브젝트의 유효성을 보장할 수 있다.

다음으로, 도 4 (d)의 (C)는, 추적 중인 오브젝트가 존재하는데도, 새로운 블럽이 입력되지 않은 경우이다. 이 경우에 대해서는, 만일 금회의 전경영상 BGS(t) 정보가 존재한다면, 이를 이용하여 금회의 오브젝트 O(t)의 위치를 유지 또는 추정하도록 할 수 있다. 이 처리단계를 오브젝트 추정단계라 하고, 이를 포함하는 것이 본 발명의 특징이다. 만일 금회의 전경영상(BGS)도 부존재라면, 이는 조명이나 색채에 따라서 대상체를 거의 인식할 수 없을 정도의 상황이거나, 아니면 아예 대상체가 처리영상 범위에 존재하지 않는 상황일 가능성이 극히 높다. 따라서 논외로 하여도 좋을 것이다.

이처럼 본 발명에서는, 블럽 B(t)이 검출되지 않은 경우에, 그 기초정보가 되는 전경영상(BGS)이 존재한다면, 그 정보를 바탕으로 하여 오브젝트 O(t)의 위치를 추정한다고 하는 합리적 추론을 함으로써, 오추적의 여부를 판단하고, 오추적인 경우에는 추적의 중단을 행하고, 오추적 결과를 제거할 수 있다.

그런데, 전경영상(BGS)이 존재한다고 하여 모든 전경영상이 유효한 것은 아닐 수 있다. 금회의 블럽 B(t)가 산출되지 못할 정도의 상황이라면, 금회의 전경영상 BGS(t)도 잘못 추출된 것일 가능성이 존재한다. 따라서 상기 오브젝트 추정단계에서 이용될 전경영상에 대한 유효성도 검증될 필요가 있다.

본 발명에서는, 상기 오브젝트 추정단계는, 금회의 상기 전경영상 BGS(t)가, 최근 1회 이상의 (1) 상기 전경영상 또는 블럽 또는 이들의 조합, 또는 (2) 상기 오브젝트, 또는 (3) 상기 (1)과 (2)의 조합과 미리 정해진 비율 이상으로 중첩될 때 수행되도록 할 수 있다. 이로써, 전경영상이 최근의 다른 전경영상 또는 블럽 또는 오브젝트 중의 어느 하나 또는 그들의 조합과 관련되어 있는 경우에만 추정에 이용될 수 있도록 하고 있다. 이때, 이 오브젝트 추정단계에 의하여 추정되는 상기 오브젝트의 위치는, 예컨대 상기 전경영상의 평균위치로 지정되도록 하여도 좋다.

이처럼, 본 발명에 의하면, 입력된 블럽의 유효성에 대한 검증을 수행하여, 잘못된 블럽이 입력된 경우에도 오차범위를 넘어서는 오판단을 방지하고, 실제로 대상체가 존재하는 경우에는 오브젝트에 대한 추적의 누락이나 유실현상을 방지하고, 대상체의 위치추적의 정확성을 높이고, 추적 소요시간을 단축시킬 수 있다.

한편, 본 발명은, 미리 정해진 주기마다 영상취득장치로부터 입력받은 처리영상 속에서 미리 정해진 대상체를 검출하는 검출단계와, 상기 대상체의 과거 위치와 크기에 대한 금회 위치와 크기로부터 궤적을 추적하는 추적단계와, 상기 궤적의 패턴에 대응되는 제스처를 결정하는 제스처 결정단계를 포함하는 제스처 인식 인터페이스 방법 또는 장치로서, 상기 추적단계는, 상기 설명된 영상처리방법 또는 장치를 이용하여 이루어짐을 특징으로 하는 제스처 인식 인터페이스 방법 또는 장치로 구현될 수 있다.

다만, 이러한 본 발명의 기술은, 각 단계가 세분화되거나 또는 여러 단계가 통합되어 구현될 수 있으며, 이는 전부 또는 일부가 장치로서 하드웨어에 모듈별로 구현될 수도 있고, 모듈별 구현에는 저장장치에 저장되어 있던 소프트웨어 모듈이 메모리에 로드되어 마이크로프로세서 등의 중앙처리장치에 의하여 실행되는 형태의 구현방식도 포함되는 것으로 한다.

이상 본 발명에 대하여 특정 실시예를 가지고 설명하였지만, 이 실시예는 어디까지나 설명의 목적이므로, 본 발명은 이 실시예에 한정되는 것이 아니다. 청구범위에 기재된 범위 내에서 당업자에 의하여 이루어진 개량, 변형, 변경은 모두, 본 발명의 범위에 속하는 것으로 해석되어야 한다.

본 발명은, 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치에 이용될 수 있다.

h: 이용자
h1, h2: 대상체
b, f, p, t: 배경물체
cam: 카메라(영상취득장치)
1: 영상입력모듈
2: 대상체 검출모듈
3: 위치추적모듈
4: 제스처 인식모듈
5: 후처리모듈

Claims

미리 정해진 주기마다 매회 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반 모션모델을 이용하여 미리 정해진 대상체를 전경영상으로 검출하고 이를 위치와 크기로 간략화시킨 블럽을 산출한 후, 추적의 대상인 오브젝트와 상기 블럽을 비교하여, 상기 오브젝트의 위치를 추적하는 영상처리방법에 있어서,
상기 영상처리방법은, 금회의 오브젝트의 위치를 결정할 때, 모션모델에 기반하여, 금회의 블럽의 유무와 추적 중인 오브젝트의 유무를 금회의 오브젝트의 위치 결정의 요소로 함으로써, 블럽의 부정확, 오류 또는 인식실패에 대한 보완을 행하면서 금회의 오브젝트의 위치를 결정하고,
(1) 추적 중인 오브젝트가 존재하는 상황에서 금회에 새로운 블럽이 입력된 경우에는, 금회의 상기 블럽이,
(1-1) 최근 1회 이상의 상기 전경영상 또는 블럽과 미리 정해진 비율 이상으로 중첩되고, 또한,
(1-2) 최근 1회 이상의 상기 오브젝트와 미리 정해진 비율 이상으로 중첩될 때,
금회의 상기 블럽의 위치에 의해 금회의 상기 오브젝트의 위치를 결정하는 오브젝트 검증결정단계와,
(2) 추적 중인 오브젝트가 존재하지 않는 상황에서 금회에 새로운 블럽이 입력된 경우에는, 블럽의 유효성을 검증하기 위하여, 금회의 상기 블럽이, 최근 1회 이상의 상기 전경영상 또는 블럽 또는 이들의 조합과 미리 정해진 비율 이상으로 중첩될 때, 금회의 상기 블럽이 새로운 오브젝트로 설정되도록 하는 오브젝트 추가단계와,
(3) 추적 중인 오브젝트가 존재하는데도, 새로운 블럽이 입력되지 않은 경우에는, 금회의 상기 전경영상의 정보가 존재하면, 금회의 상기 전경영상의 정보를 이용하여 금회의 상기 오브젝트의 위치를 추정하는 오브젝트 추정단계
를 포함하여 이루어지고,
상기 오브젝트 추정단계에 있어서, 상기 전경영상의 유효성의 검증을 위해, 금회의 상기 전경영상이, 최근 1회 이상의
(3-1) 상기 전경영상 또는 블럽 또는 이들의 조합, 또는
(3-2) 상기 오브젝트, 또는
(3-3) 상기 (3-1)과 (3-2)의 조합
과 미리 정해진 비율 이상으로 중첩됨으로써 관련되어 있는 경우에만 추정에 이용됨
함을 특징으로 하는 영상처리방법.
청구항 1에 있어서,
금회의 상기 오브젝트의 위치는, 금회의 상기 블럽의 위치와 전회의 상기 오브젝트의 위치의 평균위치로 산정됨
을 특징으로 하는 영상처리방법.
미리 정해진 주기마다 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반 모션모델을 이용하여 미리 정해진 대상체를 검출하는 검출단계와,
상기 대상체의 과거 위치와 크기에 대한 금회 위치와 크기로부터 궤적을 추적하는 추적단계와,
상기 궤적의 패턴에 대응되는 제스처를 결정하는 제스처 결정단계
를 포함하는 제스처 인식 인터페이스 방법으로서,
상기 추적단계는, 청구항 1의 영상처리방법을 이용하여 이루어짐
을 특징으로 하는 제스처 인식 인터페이스 방법.
미리 정해진 주기마다 매회 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반 모션모델을 이용하여 미리 정해진 대상체를 전경영상으로 검출하고 이를 위치와 크기로 간략화시킨 블럽을 산출한 후, 추적의 대상인 오브젝트와 상기 블럽을 비교하여, 상기 오브젝트의 위치를 추적하는 영상처리장치에 있어서,
상기 영상처리장치는, 금회의 오브젝트의 위치를 결정할 때, 모션모델에 기반하여, 금회의 블럽의 유무와 추적 중인 오브젝트의 유무를 금회의 오브젝트의 위치 결정의 요소로 함으로써, 블럽의 부정확, 오류 또는 인식실패에 대한 보완을 행하면서 금회의 오브젝트의 위치를 결정하고,
(1) 추적 중인 오브젝트가 존재하는 상황에서 금회에 새로운 블럽이 입력된 경우에는, 금회의 상기 블럽이,
(1-1) 최근 1회 이상의 상기 전경영상 또는 블럽과 미리 정해진 비율 이상으로 중첩되고, 또한,
(1-2) 최근 1회 이상의 상기 오브젝트와 미리 정해진 비율 이상으로 중첩될 때,
금회의 상기 블럽의 위치에 의해 금회의 상기 오브젝트의 위치를 결정하는 오브젝트 검증결정부와,
(2) 추적 중인 오브젝트가 존재하지 않는 상황에서 금회에 새로운 블럽이 입력된 경우에는, 블럽의 유효성을 검증하기 위하여, 금회의 상기 블럽이, 최근 1회 이상의 상기 전경영상 또는 블럽 또는 이들의 조합과 미리 정해진 비율 이상으로 중첩될 때, 금회의 상기 블럽이 새로운 오브젝트로 설정되도록 하는 오브젝트 추가부와,
(3) 추적 중인 오브젝트가 존재하는데도, 새로운 블럽이 입력되지 않은 경우에는, 금회의 상기 전경영상의 정보가 존재하면, 금회의 상기 전경영상의 정보를 이용하여 금회의 상기 오브젝트의 위치를 추정하는 오브젝트 추정부
를 포함하여 이루어지고,
상기 오브젝트 추정부에 있어서, 상기 전경영상의 유효성의 검증을 위해, 금회의 상기 전경영상이, 최근 1회 이상의
(3-1) 상기 전경영상 또는 블럽 또는 이들의 조합, 또는
(3-2) 상기 오브젝트, 또는
(3-3) 상기 (3-1)과 (3-2)의 조합
과 미리 정해진 비율 이상으로 중첩됨으로써 관련되어 있는 경우에만 추정에 이용됨
함을 특징으로 하는 영상처리장치.
미리 정해진 주기마다 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반 모션모델을 이용하여 미리 정해진 대상체를 검출하는 검출부와,
상기 대상체의 과거 위치와 크기에 대한 금회 위치와 크기로부터 궤적을 추적하는 추적부와,
상기 궤적의 패턴에 대응되는 제스처를 결정하는 제스처 결정부
를 포함하는 제스처 인식 인터페이스 장치로서,
상기 추적부는, 청구항 4의 영상처리장치를 이용하여 이루어짐
을 특징으로 하는 제스처 인식 인터페이스 장치.
미리 정해진 주기마다 매회 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반 모션모델을 이용하여 미리 정해진 대상체를 전경영상으로 검출하고 이를 위치와 크기로 간략화시킨 블럽을 산출한 후, 추적의 대상인 오브젝트와 상기 블럽을 비교하여, 상기 오브젝트의 위치를 추적하는 영상처리방법의 각 단계를 정보처리기기에서 수행시키기 위한 프로그램을 기록한 정보처리기기로 읽을 수 있는 기록매체에 있어서,
상기 영상처리방법은, 금회의 오브젝트의 위치를 결정할 때, 모션모델에 기반하여, 금회의 블럽의 유무와 추적 중인 오브젝트의 유무를 금회의 오브젝트의 위치 결정의 요소로 함으로써, 블럽의 부정확, 오류 또는 인식실패에 대한 보완을 행하면서 금회의 오브젝트의 위치를 결정하고,
(1) 추적 중인 오브젝트가 존재하는 상황에서 금회에 새로운 블럽이 입력된 경우에는, 금회의 상기 블럽이,
(1-1) 최근 1회 이상의 상기 전경영상 또는 블럽과 미리 정해진 비율 이상으로 중첩되고, 또한,
(1-2) 최근 1회 이상의 상기 오브젝트와 미리 정해진 비율 이상으로 중첩될 때,
금회의 상기 블럽의 위치에 의해 금회의 상기 오브젝트의 위치를 결정하는 오브젝트 검증결정단계와,
(2) 추적 중인 오브젝트가 존재하지 않는 상황에서 금회에 새로운 블럽이 입력된 경우에는, 블럽의 유효성을 검증하기 위하여, 금회의 상기 블럽이, 최근 1회 이상의 상기 전경영상 또는 블럽 또는 이들의 조합과 미리 정해진 비율 이상으로 중첩될 때, 금회의 상기 블럽이 새로운 오브젝트로 설정되도록 하는 오브젝트 추가단계와,
(3) 추적 중인 오브젝트가 존재하는데도, 새로운 블럽이 입력되지 않은 경우에는, 금회의 상기 전경영상의 정보가 존재하면, 금회의 상기 전경영상의 정보를 이용하여 금회의 상기 오브젝트의 위치를 추정하는 오브젝트 추정단계
를 포함하여 이루어지고,
상기 오브젝트 추정단계에 있어서, 상기 전경영상의 유효성의 검증을 위해, 금회의 상기 전경영상이, 최근 1회 이상의
(3-1) 상기 전경영상 또는 블럽 또는 이들의 조합, 또는
(3-2) 상기 오브젝트, 또는
(3-3) 상기 (3-1)과 (3-2)의 조합
과 미리 정해진 비율 이상으로 중첩됨으로써 관련되어 있는 경우에만 추정에 이용됨
함을 특징으로 하는 영상처리방법의 각 단계를 정보처리기기에서 수행시키기 위한 프로그램을 기록한 정보처리기기로 읽을 수 있는 기록매체.
미리 정해진 주기마다 영상취득장치로부터 입력받은 처리영상 속에서 다중 프레임 기반 모션모델을 이용하여 미리 정해진 대상체를 검출하는 검출단계와,
상기 대상체의 과거 위치와 크기에 대한 금회 위치와 크기로부터 궤적을 추적하는 추적단계와,
상기 궤적의 패턴에 대응되는 제스처를 결정하는 제스처 결정단계
를 포함하는 제스처 인식 인터페이스 방법의 각 단계를 정보처리기기에서 수행시키기 위한 프로그램을 기록한 정보처리기기로 읽을 수 있는 기록매체로서,
상기 추적단계는, 청구항 1의 영상처리방법을 이용하여 이루어짐
을 특징으로 하는 제스처 인식 인터페이스 방법의 각 단계를 정보처리기기에서 수행시키기 위한 프로그램을 기록한 정보처리기기로 읽을 수 있는 기록매체.
삭제