KR102203884B1 - 촬상 장치 및 제어 방법 - Google Patents

Abstract

촬상 장치가 개시된다. 촬상 장치는 외부 영상을 촬상하는 촬상부, 촬상된 이전 영상 프레임 및 현재 영상 프레임을 복수의 영역으로 구분하여 이전 영상 프레임의 각 영역에 대응되는 현재 영상 프레임의 각 영역의 이동 방향 및 거리를 산출하고, 산출된 이동 방향 및 거리를 기초로 기 설정된 배경 모델 및 객체 모델을 적용하여 배경 및 객체를 결정하는 영역 결정부 및 바디 파트 모델을 기초로 결정된 객체의 바디 파트를 판단하고, 판단된 바디 파트를 조합하여 객체의 자세를 결정하는 자세 추정부를 포함한다. 이에 따라, 촬상 장치는 다양한 환경에서 영상 프레임의 배경과 객체를 구분하고 객체의 자세를 판단할 수 있다.

Description

촬상 장치 및 제어 방법{IMAGING APPARATUS AND CONTROLLING METHOD THEREOF}

본 발명은 촬상 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 촬상된 영상으로부터 객체와 배경을 구분하고 객체의 자세를 판단하는 촬상 장치 및 제어 방법에 관한 것이다.

종래에는 사용자가 전자 장치에 구비된 버튼 또는 리모컨을 이용하여 전자 장치에 명령을 입력하였다. 최근 전자 기술의 발전에 따라 다양한 방법으로 전자 장치에 명령을 입력하는 방법이 개발되고 있다. 하나의 예로서, 사용자의 제스처(gesture)를 인식하여 명령을 입력하는 방식이 개발되고 있다. 또한, 전자 장치가 사용자의 자세(pose)를 인식하여 부가적인 기능을 수행하는 방식이 개발되고 있다. 이를 위해, 전자 장치는 입력된 영상으로부터 사용자의 제스처 또는 자세를 명확하게 인식할 수 있는 기술에 대한 필요성이 대두되고 있다.

종래에는 고정된 카메라를 전제로 영상에 포함된 객체의 자세를 인식하였다. 이 경우, 영상 프레임의 배경 영역은 거의 움직임이 없는 반면, 객체의 움직임은 활발하기 때문에 미리 배경 영역에 대한 마스크 정보를 생성하여 입력된 영상 프레임과 매칭시키는 방법으로 객체를 파악하고 객체의 자세를 판단하였다.

그러나, 종래의 방식은 배경 영역에 변화가 발생하는 경우 오류가 발생할 가능성이 높았으며, 카메라가 움직이는 경우 영상 프레임의 배경 영역도 변화되기 때문에 적용 범위가 제한되었다.

따라서, 카메라가 움직이는 경우와 같이 다양한 환경에서 배경과 객체를 구분하고 객체의 자세를 정확하게 판단할 수 있는 기술에 대한 필요성이 대두되고 있다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 다양한 환경에서 영상 프레임의 배경과 객체를 구분하고 객체의 자세를 판단하는 촬상 장치 및 제어 방법을 제공하는 것을 목적으로 한다.

본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면, 촬상 장치는 외부 영상을 촬상하는 촬상부, 촬상된 이전 영상 프레임 및 현재 영상 프레임을 복수의 영역으로 구분하여 상기 이전 영상 프레임의 각 영역에 대응되는 상기 현재 영상 프레임의 각 영역의 이동 방향 및 거리를 산출하고, 상기 산출된 이동 방향 및 거리를 기초로 기 설정된 배경 모델 및 객체 모델을 적용하여 배경 및 객체를 결정하는 영역 결정부 및 바디 파트 모델을 기초로 상기 결정된 객체의 바디 파트를 판단하고, 상기 판단된 바디 파트를 조합하여 상기 객체의 자세를 결정하는 자세 추정부를 포함한다.

그리고, 상기 영역 결정부는 상기 이전 영상 프레임의 영역 내의 각 픽셀과 대응되는 상기 현재 영상 프레임의 영역 내의 각 픽셀의 이동 방향 및 거리를 산출하고, 상기 산출된 각 픽셀의 이동 방향 및 거리를 평균하여 상기 현재 영상 프레임의 영역의 이동 방향 및 거리를 산출할 수 있다.

또한, 상기 영역 결정부는 상기 촬상시 생성된 첫번째 영상 프레임과 두번째 영상 프레임을 복수의 영역으로 구분하여 상기 첫번째 영상 프레임의 각 영역에 대응되는 상기 두번째 영상 프레임의 각 영역의 이동 방향 및 거리를 산출하며, 상기 산출된 이동 방향 또는 거리가 기 설정된 이동 방향 또는 거리인 영역은 배경 영역인 것으로 판단하고, 상기 배경 영역과 차이가 있는 영역은 객체 영역인 것으로 판단할 수 있다.

또한, 상기 영역 결정부는 상기 두번째 영상 프레임의 각 영역에 대해 상기 배경 영역으로 판단된 결과와 상기 영역 내의 픽셀들의 색상 정보를 기초로 상기 배경 모델을 생성하고, 상기 객체 영역으로 판단된 결과와 상기 영역 내의 픽셀들의 색상 정보를 균등 분포도와 믹싱하여 상기 객체 모델을 생성할 수 있다.

그리고, 상기 영역 결정부는 상기 두번째 영상 프레임의 각 픽셀에 대해 상기 배경 모델, 상기 객체 모델 및 인접 픽셀의 정보를 기초로 배경 픽셀 및 객체 픽셀을 결정할 수 있다.

또한, 상기 영역 결정부는 상기 객체 픽셀의 정보만을 포함하는 객체 마스크를 생성하고, 상기 자세 추정부는 상기 생성된 객체 마스크를 기초로 자세를 추정할 수 있다.

한편, 상기 바디 파트 모델은 정적 에지 모델(static edge model), 영역 모델(region model) 및 동적 에지 모델(dynamic edge model)중 적어도 하나일 수 있다.

그리고, 상기 동적 에지 모델은 상기 촬상시 생성된 첫번째 영상 프레임과 두번째 영상 프레임을 기초로 결정된 상기 객체의 바디 파트로부터 생성될 수 있다.

한편, 상기 자세 추정부는 상기 결정된 자세를 상기 바디 파트의 위치, 스케일 및 각도 정보 중 적어도 하나로 출력할 수 있다.

그리고, 상기 영역 결정부는 상기 결정된 자세를 기초로 객체 영역 및 배경 영역을 예측할 수 있다.

본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면, 촬상 장치의 제어 방법은 촬상된 이전 영상 프레임 및 현재 영상 프레임을 복수의 영역으로 구분하는 단계, 상기 이전 영상 프레임의 각 영역에 대응되는 상기 현재 영상 프레임의 각 영역의 이동 방향 및 거리를 산출하는 단계, 상기 산출된 이동 방향 및 거리를 기초로 기 설정된 배경 모델 및 객체 모델을 적용하여 배경 및 객체를 결정하는 단계 및 바디 파트 모델을 기초로 상기 결정된 객체의 바디 파트를 판단하고, 상기 판단된 바디 파트를 조합하여 상기 객체의 자세를 결정하는 단계를 포함한다.

그리고, 상기 이동 방향 및 거리를 산출하는 단계는 상기 이전 영상 프레임의 영역 내의 각 픽셀과 대응되는 상기 현재 영상 프레임의 영역 내의 각 픽셀의 이동 방향 및 거리를 산출하고, 상기 산출된 각 픽셀의 이동 방향 및 거리를 평균하여 상기 현재 영상 프레임의 영역의 이동 방향 및 거리를 산출할 수 있다.

한편, 촬상 장치의 제어 방법은 상기 촬상시 생성된 첫번째 영상 프레임과 두번째 영상 프레임을 복수의 영역으로 구분하는 단계, 상기 첫번째 영상 프레임의 각 영역에 대응되는 상기 두번째 영상 프레임의 각 영역의 이동 방향 및 거리를 산출하는 단계 및 상기 산출된 이동 방향 또는 거리가 기 설정된 이동 방향 또는 거리인 영역은 배경 영역인 것으로 판단하고, 상기 배경 영역과 차이가 있는 영역은 객체 영역인 것으로 판단하는 단계를 더 포함할 수 있다.

그리고, 촬상 장치의 제어 방법은 상기 두번째 영상 프레임의 각 영역에 대해 상기 배경 영역으로 판단된 결과와 상기 영역 내의 픽셀들의 색상 정보를 기초로 상기 배경 모델을 생성하고, 상기 객체 영역으로 판단된 결과와 상기 영역 내의 픽셀들의 색상 정보를 균등 분포도와 믹싱하여 상기 객체 모델을 생성하는 단계를 더 포함할 수 있다.

또한, 촬상 장치의 제어 방법은 상기 두번째 영상 프레임의 각 픽셀에 대해 상기 배경 모델, 상기 객체 모델 및 인접 픽셀의 정보를 기초로 배경 픽셀 및 객체 픽셀을 결정하는 단계를 더 포함할 수 있다.

또한, 상기 객체 픽셀의 정보만을 포함하는 객체 마스크를 생성하는 단계 및 상기 생성된 객체 마스크를 기초로 자세를 추정하는 단계를 더 포함할 수 있다.

한편, 상기 바디 파트 모델은 정적 에지 모델(static edge model), 영역 모델(region model) 및 동적 에지 모델(dynamic edge model)중 적어도 하나일 수 있다.

그리고, 상기 동적 에지 모델은 상기 촬상시 생성된 첫번째 영상 프레임과 두번째 영상 프레임을 기초로 결정된 상기 객체의 바디 파트로부터 생성될 수 있다.

한편, 촬상 장치의 제어 방법은 상기 결정된 자세를 상기 바디 파트의 위치, 스케일 및 각도 정보 중 적어도 하나로 출력하는 단계를 더 포함할 수 있다.

그리고, 상기 배경 및 객체를 결정하는 단계는 상기 결정된 자세를 기초로 객체 영역 및 배경 영역을 예측할 수 있다.

따라서, 본 발명의 촬상 장치 및 제어 방법은 다양한 환경에서 영상 프레임의 배경과 객체를 구분하고 객체의 자세를 판단할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 촬상 장치의 블록도.
도 2는 본 발명의 다른 실시 예에 따른 촬상 장치의 블록도.
도 3은 본 발명의 일 실시 예에 따른 영상 프레임의 배경 영역과 객체 영역을 구분하는 과정을 설명하는 도면.
도 4는 본 발명의 일 실시 예에 따른 배경 모델을 설명하는 도면.
도 5는 본 발명의 일 실시 예에 따른 객체 모델을 설명하는 도면.
도 6은 본 발명의 일 실시 예에 따른 배경 모델 및 객체 모델을 적용하는 과정을 설명하는 도면.
도 7은 본 발명의 일 실시 예에 따른 객체 마스크를 생성하는 과정을 설명하는 도면.
도 8은 본 발명의 일 실시 예에 따른 바디 파트 모델을 설명하는 도면.
도 9는 본 발명의 일 실시 예에 따른 객체의 자세를 결정하는 과정을 설명하는 도면.
도 10은 본 발명의 일 실시 예에 따른 촬상 장치 제어 방법의 흐름도.
도 11은 본 발명의 일 실시 예에 따른 결과를 설명하는 도면.

이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 촬상 장치의 블록도이다. 도 1을 참조하면, 촬상 장치(100)는 촬상부(110), 영역 결정부(121), 자세 추정부(122)를 포함한다.

촬상부(110)는 외부 영상을 촬상한다. 경우에 따라, 촬상부(110)는 복수 개로 구현될 수 있다. 또한, 촬상부(110)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래쉬)을 포함할 수도 있다.

영역 결정부(121)는 촬상된 이전 영상 프레임 및 현재 영상 프레임을 복수의 영역으로 구분한다. 영역 결정부(121)는 이전 영상 프레임의 각 영역에 대응되는 현재 영상 프레임의 각 영역의 이동 방향 및 거리를 산출한다. 영역 결정부(121)는 현재 영상 프레임의 하나의 영역에 포함된 각 픽셀에 대해 대응되는 이전 영상 프레임의 영역 내의 각 픽셀과 비교하여 이동 방향 및 거리를 산출한다. 영역 결정부(121)는 산출된 각 픽셀의 이동 방향 및 거리를 평균하여 현재 영상 프레임의 해당 영역의 이동 방향 및 거리를 산출할 수 있다. 이동 방향 및 거리는 현재 영상 프레임의 모든 영역에 대해 산출된다.

영역 결정부(121)는 산출된 이동 방향 및 거리 정보에 기초하여 기 설정된 배경 모델 및 객체 모델을 현재 영상 프레임에 대응시킬 수 있다. 영역 결정부(121)는 현재 영상 프레임의 하나의 영역에 대응된 배경 모델을 적용하여 배경(background) 및 객체(object)를 결정한다. 영역 결정부(121)는 객체에 해당하는 픽셀의 정보만을 포함하는 객체 마스크를 생성할 수 있다. 즉, 객체 마스크는 객체에 대한 정보만을 포함하고, 배경은 0으로 나타내는 이미지 정보를 의미한다. 배경 모델, 객체 모델 및 객체 마스크는 현재 영상 프레임의 정보를 추가하여 업데이트될 수 있다.

객체가 결정되면, 자세 추정부(122)는 바디 파트 모델을 기초로 결정된 객체의 바디 파트(body part)를 판단한다. 예를 들어, 바디 파트 모델은 정적 에지 모델(static edge model), 영역 모델(region model) 및 동적 에지 모델(dynamic edge model)중 적어도 하나일 수 있다. 정적 에지 모델은 평균적인 사람의 윤곽 정보를 포함하는 모델이다. 영역 모델은 평균적인 사람의 부피 또는 영역 정보를 포함하는 모델이다. 동적 에지 모델은 촬상된 영상 내에 존재하는 객체의 윤곽 정보를 포함하는 모델이다. 정적 에지 모델 및 영역 모델은 촬상 장치(100)에 기 저장되어 있을 수 있고, 외부로부터 전송받을 수도 있다.

동적 에지 모델은 몇 개의 프레임에 대해 신호 처리가 진행된 후 생성될 수 있다. 예를 들어, 자세 추정부(122)는 최초 2개의 프레임에 대해서 정적 에지 모델 및 영역 모델만으로 바디 파트를 판단하고, 판단된 바디 파트를 이용하여 동적 에지 모델을 생성할 수 있다. 자세 추정부(122)는 세번째 프레임 이상부터 정적 에지 모델, 영역 모델 및 동적 에지 모델을 이용하여 바디 파트를 판단할 수 있다. 동적 에지 모델은 현재 영상 프레임 내의 객체의 바디 파트 정보를 추가하여 업데이트될 수 있다.

일 실시 예로서, 바디 파트는 10개로 구분될 수 있다. 즉, 바디 파트는 얼굴, 몸통, 왼쪽 상측 팔, 왼쪽 하측 팔, 오른쪽 상측 팔, 오른쪽 하측 팔, 왼쪽 상측 다리, 왼쪽 하측 다리, 오른쪽 상측 다리, 오른쪽 하측 다리와 같이 구분될 수 있다.

자세 추정부(122)는 바디 파트 모델을 이용하여 현재 영상 프레임에 일치하는 부분을 스캔하는 방식으로 바디 파트를 판단할 수 있다. 자세 추정부(122)는 생성된 객체 마스크를 이용하여 스캔 영역을 줄임으로써 처리 시간 및 부하를 줄일 수 있고, 바디 파트 매칭 확률은 높일 수 있다.

자세 추정부(122)는 판단된 바디 파트를 조합하여 객체의 자세를 결정한다. 자세 추정부(122)는 바디 파트 모델을 이용하여 판단한 바디 파트 및 기본적인 바디 파트 위치 정보를 이용하여 객체의 자세를 결정할 수 있다. 예를 들어, 객체의 얼굴과 몸통은 바디 파트 모델을 이용하여 판단될 수 있다. 그리고, 얼굴은 몸통 위쪽에 위치한다는 정보 또는 얼굴은 다리 반대쪽에 위치한다는 정보와 같은 기본적인 바디 파트 위치 정보를 이용하여 자세 추정부(122)는 바디 파트를 조합하여 객체의 자세를 결정할 수 있다.

자세 추정부(122)는 결정된 객체의 자세를 바디 파트의 위치, 스케일 및 각도 정보 중 적어도 하나의 정보로 출력할 수 있다. 또한, 자세 추정부(122)에서 결정된 객체의 자세 정보는 영역 결정부(121)로 출력될 수 있다. 영역 결정부(121)는 자세 정보를 이용하여 다음 프레임의 객체 영역 및 배경 영역을 예측할 수 있다.

도 2는 본 발명의 다른 실시 예에 따른 촬상 장치의 블록도이다. 도 2를 참조하면, 촬상 장치(100a)는 촬상부(110), 제어부(120), 통신부(130)를 포함할 수 있다. 제어부(120)는 영역 결정부(121) 및 자세 추정부(122)를 포함할 수 있다. 도 2에서는 영역 결정부(121) 및 자세 추정부(122)가 제어부(120)에 포함된 것으로 도시하였으나, 영역 결정부(121) 및 자세 추정부(122)는 별개의 구성부로 구현될 수 있으며, 별도의 영상 신호 처리부(미도시)내에 포함된 구성부로 구현될 수도 있다. 또한, 하드웨어적인 구성부로 구현되거나 소프트웨어적인 모듈로 구현될 수도 있다.

촬상부(110)는 촬상부(110)는 외부 영상을 촬상한다. 제어부(120)는 촬상시 생성된 영상 프레임에 대해 객체와 배경을 구분하고, 객체의 자세를 결정한다. 제어부(120)의 동작에 대해서는 도 1에서 설명한 바와 동일하므로 구체적인 설명은 생략하기로 한다.

통신부(130)는 제어부(120)의 제어를 통해 서버(미도시)와 통신을 수행하고 바디 파트 모델을 전송하거나 수신할 수 있다. 예를 들어, 통신부(130)는 서버로부터 정적 에지 모델, 영역 모델을 수신할 수 있다. 수신된 정적 에지 모델 및 영역 모델은 바다 파트를 판단하기 위해 사용될 수 있다. 그리고, 통신부(130)는 각각의 프레임에서 생성된 동적 에지 모델을 서버로 전송하고, 서버는 동적 에지 모델을 수신하여 동적 에지 모델을 업데이트 하거나 정적 에지 모델 및 영역 모델을 업데이트할 수 있다. 상술한 바와 같이, 정적 에지 모델은 사람들의 평균적인 바디의 윤곽선을 의미하고, 영역 모델은 사람들의 평균적인 바디의 질감을 의미한다. 따라서, 정적 에지 모델 및 영역 모델은 가능한 많은 바디 정보를 이용하여 생성되면 실제 평균에 근접할 수 있다.

또한, 통신부(130)는 배경 모델 및 객체 모델을 서버로 전송하고 수신할 수 있다. 그리고, 통신부(130)는 객체 모델을 생성하기 위한 균등 분포도를 수신할 수 있다. 균등 분포도는 모든 색상 값에 대해 균일한 빈도 값을 가지는 것으로 프레임 내의 객체 픽셀의 색상 정보와 믹싱하여 객체 모델을 생성하기 위해 사용된다. 균등 분포도의 빈도 값은 적절하게 설정될 수 있으므로 초기 설정된 빈도 값이 변경되는 경우, 통신부(130)를 통해 서버로부터 수신될 수 있다.

지금까지 촬상 장치의 블록도에 대해 설명하였다. 아래에서는 프레임 내의 배경과 객체를 구분하는 과정과 객체의 자세를 결정하는 과정에 대해 설명하기로 한다.

도 3은 본 발명의 일 실시 예에 따른 영상 프레임의 배경 영역과 객체 영역을 구분하는 과정을 설명하는 도면이다.

도 3(a)을 참조하면, 하나의 영상 프레임(11) 내에 사람(61), A 빌딩(63), B 빌딩(65), C 빌딩(67)이 도시되어 있다. 사람(61)은 좌측으로 이동 중이며, 촬상부를 통해 촬상되는 객체를 의미한다. A 빌딩(63), B 빌딩(65), C 빌딩(67)은 배경을 의미한다. 실제로는 사람(61)만이 좌측으로 이동할 뿐, A 빌딩(63), B 빌딩(65), C 빌딩(67)은 고정되어 있다. 그러나, 사람(61)의 이동에 따라 촬상부의 앵글이 변하면 다음 프레임에서는 사람(61), A 빌딩(63), B 빌딩(65) 및 C 빌딩(67)의 위치가 모두 변하게 된다.

도 3(b)를 참조하면, 사람(61), A 빌딩(63), B 빌딩(65) 및 C 빌딩(67), D 빌딩(69)를 포함하는 다음 영상 프레임(12)이 도시되어 있다. 일반적으로 촬상부의 앵글은 객체를 중심으로 잡는 경향이 있으므로 사람(61)은 좌측으로 이동하더라도 대략적으로 프레임의 중앙 영역에 위치할 수 있다. 이에 따라, 상대적으로 A 빌딩(63), B 빌딩(65) 및 C 빌딩(67)은 우측으로 이동되며, 프레임의 우측 영역에는 새로운 D 빌딩(69)가 나타날 수 있다.

영역 결정부는 이전 프레임과 현재 프레임을 복수의 영역으로 구분한다. 영역 결정부는 현재 프레임의 영역을 기준으로 이전 프레임의 대응되는 픽셀의 이동 방향과 거리를 결정할 수 있다. 도 3(b)를 참조하면, 현재 프레임(12)의 사람(61)은 이전 프레임(11)에 비해 좌측으로 한 칸 이동하였다. 반면에, 현재 프레임(12)의 A 빌딩(63), B 빌딩(65) 및 C 빌딩(67)은 이전 프레임(11)에 비해 우측으로 한 칸 이동하였다. 즉, 사람 영역(31)은 좌측으로 이동하였고, 나머지 배경 영역은 우측으로 이동하였다. 또한, 도 3(b)에서 도시된 바와 같이, 사람 영역(31)은 두 개의 영역이고, 한 프레임 내의 대부분 영역은 배경 영역이다.

즉, 배경 영역으로 판단되는 영역의 기 설정된 이동 방향 및 거리는 대부분의 영역에서 나타나는 일정한 경향의 이동 방향 및 거리가 될 수 있다. 그리고, 대부분의 영역에서 나타나는 이동 방향 및 거리와 의미있는 차이가 있는 영역은 객체 영역으로 판단될 수 있다.

영역 결정부는 사람 영역(31)은 객체 영역으로 판단하고, 나머지 영역은 배경 영역으로 판단할 수 있다. 일 실시 예로서, 영역의 이동 방향 및 거리를 계산하고 객체 영역과 배경 영역의 판단을 위해 에피폴라 제한(epipolar constraint) 방식이 이용될 수 있다. 최초 촬상이 시작되는 시점에는 현재 영상 프레임에 대한 정보가 존재하지 않는다. 따라서, 영역 결정부는 첫번째 프레임과 두번째 프레임이 촬상된 후 두번째 프레임을 이용하여 첫번째 프레임에 대해 상술한 과정을 수행할 수 있다. 또는, 첫번째 프레임과의 차이를 판단하여 두번째 프레임에 대해 객체 영역과 배경 영역을 판단할 수도 있다.

영역 결정부는 객체 영역과 배경 영역을 판단하고, 각 영역에 대해 객체 모델과 배경 모델을 생성한다.

도 4는 본 발명의 일 실시 예에 따른 배경 모델을 설명하는 도면이다.

도 4를 참조하면, 하나의 색상에 대해 x축은 색상 값, y축은 빈도로 표현되는 배경 모델이 도시되어 있다. 배경 모델은 현재 프레임 내 하나의 영역에 포함된 각 픽셀의 색상 정보를 누적하여 표현한 것이다. 각 픽셀은 R의 색상 값, G의 색상 값, B의 색상 값으로 표현될 수 있다. 예를 들어, 검은색은 R은 0, G는 0, B는 0으로 표현될 수 있고, 흰색은 R은 255, G는 255, B는 255로 표현될 수 있다. 또한, 빨간색은 R은 255, G는 0, B는 0으로 표현될 수 있다. 따라서, 하나의 영역 내의 각 픽셀의 R의 색상 값들을 표시한 그래프, G의 색상 값들을 표시한 그래프, B의 색상 값들을 표시한 그래프가 생성될 수 있다. RGB의 그래프를 한 번에 표시하면 입체적인 형태로 생성될 수 있다. 도 4에서는 RGB의 중 하나의 색상에 대한 그래프를 도시한 것이다. R에 대한 그래프로서 색상 값은 0부터 255까지 표현될 수 있고, 색상 값 10에서 빈도가 10, 색상 값 100에서 빈도가 100 이라고 가정한다. 이 경우, 배경 모델은 하나의 영역 안에서 R이 10인 픽셀이 10개, R이 100인 픽셀이 100개임을 나타낸다.

영역 결정부는 모든 영역에 대해 각각 배경 모델을 생성한다. 영역 결정부는 배경 영역과 객체 영역을 구분하였으므로 배경만이 존재하는 영역은 도 4와 같은 형태의 배경 모델이 생성될 수 있고, 객체만이 존재하는 영역은 빈도가 거의 없는 형태의 배경 모델이 생성될 수 있다.

배경 모델은 최초 첫번째 프레임 및 두번째 프레임을 이용하여 상술한 방법으로 생성된다. 생성된 배경 모델은 이후 프레임부터 업데이트되면서 각각의 프레임마다 배경과 객체를 판단하기 위해 사용된다.

도 5는 본 발명의 일 실시 예에 따른 객체 모델을 설명하는 도면이다.

도 5(a)을 참조하면, 하나의 색상에 대해 x축은 색상 값, y축은 빈도로 표현되는 객체의 색상 정보가 도시되어 있다. 객체의 색상 정보는 객체 영역의 픽셀을 이용하여 생성된 것으로 구체적인 과정은 도 4에서 설명한 배경 모델과 유사하다.

도 5(b)를 참조하면, 균등 분포도(uniform distribution)가 도시되어 있다. 균등 분포도는 모든 색상 값에 대해 균일한 빈도를 가지는 그래프를 의미한다. 일반적으로 객체는 다양한 색상을 포함할 수 있으므로 모든 색상 값에 대해 일정한 빈도를 가지는 균등 분포도와 믹싱하여 객체 모델을 생성할 수 있다.

도 5(c)을 참조하면, 하나의 영역에 대해 객체의 색상 정보와 균등 분포도를 믹싱한 객체 모델이 도시되어 있다. 일반적으로 객체는 다양한 색상을 포함하는 경우가 많으므로 이러한 점을 감안하여 색상 정보와 균등 분포도를 믹싱한 객체 모델을 이용하여 픽셀이 판단되면, 보다 정확히 객체가 판단될 수 있다. 객체 모델도 하나의 프레임 모든 영역에 대해 생성된다. 즉, 배경만이 존재하는 영역에 대해서는 객체의 색상 정보가 없으므로 균등 분포도와 동일한 형태의 객체 정보가 생성될 수 있다.

배경 모델과 마찬가지로 객체 모델은 최초 첫번째 프레임 및 두번째 프레임을 이용하여 생성된다. 생성된 객체 모델은 이후 프레임부터 업데이트되면서 각각의 프레임마다 배경과 객체를 판단하기 위해 사용된다.

도 6은 본 발명의 일 실시 예에 따른 배경 모델 및 객체 모델을 적용하는 과정을 설명하는 도면이다.

도 6을 참조하면, 복수의 영역으로 구분된 현재 프레임(13)이 도시되어 있다. 현재 프레임(13)에 이전 프레임에서 생성된 객체 모델 및 배경 모델을 적용하기 위해서는 이전 프레임(13)과 비교하여 현재 프레임의 이동 방향이 고려되어야 한다. 현재 프레임(13)의 하나의 영역(33)에 대해 설명하도록 한다. 실선으로 표시된 영역은 현재 프레임(13)의 영역을 나타내고, 점선으로 표시된 영역(35-1, 35-2, 35-3, 35-4)은 이전 프레임의 영역을 나타낸다. 도 6에 도시된 바와 같이, 현재 프레임의 하나의 영역(33)은 이전 프레임의 4개의 영역(35-1, 35-2, 35-3, 35-4)의 일부와 대응된다. 현재 프레임에 대응되는 이전 프레임의 영역은 복수의 영역 각각에 대한 이동 방향 및 거리를 산출하여 판단될 수 있다.

예를 들어, 현재 프레임의 하나의 영역(33)은 이전 프레임의 제1 영역(35-1)과 50%와 대응(37-1)되고, 제2 영역(35-2)과 20% 대응(37-2)되고, 제3 영역(35-3)과 20% 대응(37-3)되고, 제4 영역(35-4)과 10% 대응(37-4)된다고 가정한다. 이 경우, 영역 결정부는 현재 프레임의 하나의 영역(33)에 대해 제1 영역(35-1) 모델에 대해 50%, 제2 영역(35-2) 모델에 대해 20%, 제3 영역(35-3) 모델에 대해 20%, 제4 영역(35-4) 모델에 대해 10%를 적용한 모델을 이용하여 객체 및 배경을 판단할 수 있다. 즉, 영역 결정부는 현재 프레임의 영역에 대해 이전 프레임에 대응되는 비율을 적용한 배경 모델 및 객체 모델을 업데이트하고, 업데이트된 배경 모델 및 객체 모델과 해당 영역 내의 픽셀을 비교함으로써 객체 픽셀 및 배경 픽셀을 판단할 수 있다. 상술한 과정은 프레임내의 모든 영역에 대해 수행된다.

이와 같이, 각각의 프레임마다 상술한 과정을 반복적으로 수행함으로써 배경 모델 및 객체 모델은 업데이트되고, 현재 프레임의 픽셀에 대해 배경 및 객체 여부가 판단된다.

영역 결정부는 각각의 픽셀의 정보만을 이용하여 배경 및 객체를 판단하면 오류가 발생할 가능성이 있으므로 추가적인 정보를 더 이용하여 배경 및 객체를 판단할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 객체 마스크를 생성하는 과정을 설명하는 도면이다.

도 7(a)을 참조하면, 현재 프레임(14)에는 객체에 해당하는 사람(71)이 존재한다. 도 6에서 설명한 배경 모델 및 객체 모델을 이용하여 각 픽셀이 객체인지 배경인지 판단된다. 사람 내의 하나의 픽셀(38)에 대해 판단할 때, 영역 결정부는 하나의 픽셀(38)의 배경 모델과 객체 모델의 친밀도(likelihood)를 판단한다. 그리고, 영역 결정부는 주변 픽셀들(39a, 39b, 39c, 39d)와의 관계를 고려한다. 일반적으로 객체 픽셀들 주변은 객체 픽셀이 존재할 확률이 높고, 배경 픽셀들 주변은 주변 픽셀이 존재할 확률이 높다. 따라서, 영역 결정부는 하나의 픽셀(38)에 대해 객체 모델과의 친밀도가 높고, 주변 픽셀들(39a, 39b, 39c, 39d)이 객체 픽셀로 판단되면 하나의 픽셀(38)을 객체 픽셀로 판단한다.

이 경우, 영역 결정부는 객체 및 배경의 경계 부분은 오차가 발생할 수 있는데 그래프 컷(graph-cut)에 의한 최적화를 함으로써 보다 정확한 객체를 판단할 수 있다. 그래프 컷 방식은 널리 사용되는 방식이므로 구체적인 설명은 생략하기로 한다. 영역 결정부는 객체를 판단하고 객체 마스크를 생성할 수 있다.

그래프 컷에 의해 얻어진 영역 결정 결과를 이용하여 이전 수행 단계에서 추정된 객체 및 배경의 모션을 수정하게 되며, 이에 따라 다음 수행 단계에서 모델을 수정함으로써 향상된 영역 결정 결과를 얻을 수 있다.

도 7(b)를 참조하면 생성된 객체 마스크(15)가 도시되어 있다. 객체 마스크(15)는 객체 정보만을 포함하고 배경 영역은 0으로 처리한 이미지 정보를 의미한다. 따라서, 생성된 객체 마스크(15)는 객체인 사람(73)에 대한 정보만을 포함하고, 나머지는 0의 값을 가지는 이미지로 생성된다. 객체 마스크(15)는 객체 정보만을 포함하고 있으므로 객체의 자세를 판단할 때 사용될 수 있다. 즉, 객체의 자세 판단은 영상 프레임을 스캔하여 바디 파트 모델과 일치하는 부분을 찾는 방식으로 수행된다. 즉, 객체 마스크(15)는 객체 정보만을 포함하고 있으므로 스캔시 객체 부분만 스캔할 수 있으므로 신호 처리 부하나 시간면에서 유리하다. 또한, 배경 정보는 0이므로 오류가 발생할 확률이 낮아지게 된다. 한편, 연속되는 프레임에서 객체의 움직임도 연속되므로 객체 마스크(15)를 이용하면 다음 프레임 내의 배경 영역, 객체 영역 및 객체 자세의 예측이 가능하다.

이와 같이, 자세 추정부는 생성된 객체 마스크 및 바디 파트 모델을 이용하여 객체의 자세를 결정한다.

도 8은 본 발명의 일 실시 예에 따른 바디 파트 모델을 설명하는 도면이다. 일 실시 예로서, 바디 파트 모델은 정적 에지 모델(static edge model), 영역 모델(region model) 및 동적 에지 모델(dynamic edge model)이 있다. 그리고, 바디 파트 모델은 얼굴, 몸통, 왼쪽 상측 팔, 왼쪽 하측 팔, 오른쪽 상측 팔, 오른쪽 하측 팔, 왼쪽 상측 다리, 왼쪽 하측 다리, 오른쪽 상측 다리, 오른쪽 하측 다리와 같이 10개의 바디 파트로 구현될 수 있다.

도 8(a)을 참조하면 몸통의 정적 에지 모델(71)이 도시되어 있다. 정적 에지 모델은 평균적인 사람을 기준으로 윤곽선 정보를 포함한 이미지를 의미한다. 자세 추정부는 현재 프레임을 스캔하여 몸통의 정적 에지 모델(71)과 가장 유사한 부분을 검출하여 몸통으로 인식한다. 자세 추정부는 상술한 객체 마스크(15)를 이용하여 검색함으로써 스캔하는 영역의 범위 및 오류를 줄일 수 있다. 그러나, 정적 에지 모델은 윤곽선 정보만을 포함하고 있으므로 보다 정확한 바디 파트를 검출하기 위해 영역 모델이 함께 사용된다.

도 8(b)를 참조하면 몸통의 영역 모델(73)이 도시되어 있다. 영역 모델은 평균적인 사람을 기준으로 체적, 질감 또는 영역 정보를 포함한 이미지를 의미한다. 자세 추정부는 현재 프레임을 스캔하여 몸통의 영역 모델(73)과 가장 유사한 부분을 검출하여 몸통으로 인식한다. 영역 모델은 정적 에지 모델과 함께 사용될 수 있다. 예를 들어, 팔의 정적 에지 모델은 나란한 평행선과 유사한 정보를 포함할 수 있다. 따라서, 자세 추정부는 팔의 정적 에지 모델만을 이용하여 스캔하는 경우 프레임 내에서 나란한 평행선이 검출되면 해당 부분을 팔 부분이라고 판단할 수 있다. 따라서, 자세 추정부는 영역 모델을 동시에 이용하여 스캔함으로써 바디 파트 검출의 에러율을 줄일 수 있다. 그러나, 정적 에지 모델 및 영역 모델은 평균적인 사람을 기준으로 생성된 모델이므로 평균적인 사람의 바디와 많이 차이가 나는 경우 바디 파트 검출시 에러가 많이 발생할 수 있다. 따라서, 영역 결정부는 현재 프레임 내의 객체로부터 동적 에지 모델을 생성할 수 있으며, 자세 추정부는 생성된 동적 에지 모델을 이용하여 보다 정확한 바디 파트를 검출할 수 있다.

도 8(c)을 참조하면 몸통의 동적 에지 모델(75)이 도시되어 있다. 동적 에지 모델은 현재 프레임 내의 객체를 기준으로 윤곽선 정보를 포함한 이미지를 의미한다. 최초 촬상이 시작되는 시점에는 동적 에지 모델이 존재하지 않는다. 따라서, 자세 추정부가 첫번째 프레임 및 두번째 프레임에서 바디 파트를 검출할 때는 정적 에지 모델 및 영역 모델만을 이용하여 바디 파트를 검출한다. 이 때, 영역 결정부는 결정된 객체로부터 동적 에지 모델을 생성한다. 따라서, 자세 추정부는 이후 프레임에서 바디 파트를 검출할 때는 정적 에지 모델, 동적 에지 모델 및 영역 모델을 이용하여 바디 파트를 검출할 수 있다. 동적 에지 모델은 각 프레임마다 업데이트될 수 있다.

경우에 따라, 촬상 장치는 정적 에지 모델 및 영역 모델을 서버로부터 수신할 수 있다. 또는, 생성된 동적 에지 모델을 서버로 전송하고, 서버는 동적 에지 모델을 업데이트하여 촬상 장치로 전송할 수 있다.

자세 추정부는 바디 파트 모델을 이용하여 객체의 각 바디 파트를 판단하여 검출한다. 자세 추정부는 검출된 바디 파트를 조합하여 객체의 자세를 결정한다.

도 9는 본 발명의 일 실시 예에 따른 객체의 자세를 결정하는 과정을 설명하는 도면이다.

도 9를 참조하면, 검출된 바디 파트를 조합하여 결정된 객체(77)의 자세가 도시되어 있다. 자세 추정부는 현재 프레임에서 바디 파트 모델을 기초로 각 바디 파트를 판단한다. 일 실시 예로서, 자세 추정부는 얼굴, 몸통, 왼쪽 상측 팔, 왼쪽 하측 팔, 오른쪽 상측 팔, 오른쪽 하측 팔, 왼쪽 상측 다리, 왼쪽 하측 다리, 오른쪽 상측 다리, 오른쪽 하측 다리를 판단한다. 이 때, 자세 추정부는 각 바디 파트를 효율적으로 검출하기 위해 기초 정보와 영역 정보를 이용하여 각 바디 파트의 검색 영역을 결정하여 검색할 수 있다. 기초 정보는 얼굴은 몸통의 윗쪽 또는 다리와 반대쪽에 위치한다는 정보, 팔은 몸통의 좌우측에 위치한다는 정보 등과 같은 정보를 의미한다.

자세 추정부는 바디 파트 모델을 이용하여 프레임 내의 일정 영역을 검색하여 응답 값을 계산한다. 자세 추정부는 계산된 응답 값과 각 바디 파트 간의 관계를 이용하여 최적의 자세를 판단한다. 일 실시 예로서, 최적의 자세는 신뢰도 확산(belief propogation) 방법을 이용하여 판단될 수 있다. 판단된 자세는 바디 파트의 위치, 스케일 및 각도 정보 중 하나로 출력될 수 있다. 자세의 판단 결과는 객체 영역 및 배경 영역을 예측하기 위해 사용될 수 있다. 또한, 자세의 판단 결과는 동적 에지 모델을 업데이트하는데 사용될 수 있다. 자세 결과를 이용하여 현재 추정된 위치와 이전 프레임에서 추정된 위치의 차이를 검출함으로써 각 바디 파트의 속도를 추정할 수 있다.

도 10은 본 발명의 일 실시 예에 따른 촬상 장치 제어 방법의 흐름도이다.

도 10을 참조하면, 촬상 장치는 외부 영상을 촬상한다(S1010). 촬상 장치는 촬상된 이전 영상 프레임 및 현재 영상 프레임을 복수의 영역으로 구분한다(S1020). 촬상 장치는 이전 영상 프레임의 각 영역에 대응되는 현재 영상 프레임의 각 영역의 이동 방향 및 거리를 산출한다(S1030). 이동 방향 및 거리의 산출은 이전 영상 프레임의 영역 내의 각 픽셀과 대응되는 현재 영상 프레임의 영역 내의 각 픽셀의 이동 방향 및 거리를 산출하고, 산출된 각 픽셀의 이동 방향 및 거리를 평균하여 현재 영상 프레임의 영역의 이동 방향 및 거리를 산출할 수 있다.

촬상 장치는 산출된 이동 방향 및 거리를 기초로 기 설정된 배경 모델 및 객체 모델을 적용하여 배경 및 객체를 결정한다(S1040). 촬상 장치는 바디 파트 모델을 기초로 결정된 객체의 바디 파트를 판단한다(S1050). 촬상 장치는 판단된 바디 파트를 조합하여 객체의 자세를 결정한다(S1060). 구체적인 과정은 상술하였으므로 생략하기로 한다.

한편, 최초 촬상이 시작되는 경우, 촬상 장치는 촬상시 생성된 첫번째 영상 프레임과 두번째 영상 프레임을 복수의 영역으로 구분할 수 있다. 촬상 장치는 첫번째 영상 프레임의 각 영역에 대응되는 두번째 영상 프레임의 각 영역의 이동 방향 및 거리를 산출할 수 있다. 촬상 장치는 산출된 이동 방향 및 거리가 기 설정된 이동 방향 또는 거리인 영역은 배경 영역인 것으로 판단하고, 배경 영역과 차이가 있는 영역은 객체 영역인 것으로 판단할 수 있다. 기 설정된 이동 방향 또는 거리의 의미는 다수의 영역에서 판단된 이동 방향 또는 거리를 의미한다.

그리고, 최초 촬상이 시작되는 경우, 촬상 장치는 두번째 영상 프레임의 각 영역에 대해 배경 영역으로 판단된 결과와 각 영역 내의 픽셀들의 색상 정보를 기초로 배경 모델을 생성할 수 있다. 또한, 촬상 장치는 객체 영역으로 판단된 결과와 각 영역 내의 픽셀들의 색상 정보를 균등 분포도와 믹싱하여 객체 모델을 생성할 수 있다. 촬상 장치는 두번째 영상 프레임의 각 픽셀에 대해 생성된 배경 모델, 객체 모델 및 인접 픽셀의 정보를 기초로 배경 픽셀 및 객체 픽셀을 결정할 수 있다. 이후 프레임에 대한 배경 픽셀 및 객체 픽셀의 결정 방법도 상술한 방법과 유사하게 수행될 수 있다.

또한, 촬상 장치는 촬상시 생성된 첫번째 영상 프레임과 두번째 영상 프레임을 기초로 결정된 객체의 바디 파트로부터 동적 에지 모델을 생성할 수 있다. 생성된 동적 에지 모델은 영상 프레임의 변화에 따라 업데이트될 수 있다.

촬상 장치는 객체 픽셀의 정보만을 포함하는 객체 마스크를 생성할 수 있고, 생성된 객체 마스크를 기초로 자세를 추정할 수 있다.

도 11은 본 발명의 일 실시 예에 따른 결과를 설명하는 도면이다.

도 11(1)을 참조하면, 상술한 다양한 실시 예에 따라 생성된 객체 마스크가 도시되어 있다. 촬상 장치는 현재 프레임과 이전 프레임을 복수의 영역으로 분할하여 각 영역에 대해 이동 방향 및 거리를 산출한다. 촬상 장치는 산출된 이동 방향 및 거리를 기초로 배경 모델 및 객체 모델을 적용하여 배경 및 객체를 결정한다. 촬상 장치는 그래프 컷을 이용하여 객체를 최적화하고 배경 영역 정보를 삭제함으로써 도 11(1)에 도시된 바와 같이 객체만이 정확하게 표현되는 객체 마스크를 생성할 수 있다. 생성된 객체 마스크는 객체의 자세를 판단하기 위해 사용될 수 있다.

도 11(2)는 상술한 다양한 실시 예에 따라 결정된 객체의 자세를 표시한 도면이다. 촬상 장치는 복수의 바디 파트 모델 및 객체 마스크를 이용하여 바디 파트를 판단하고, 판단된 바디 파트를 조합하여 객체의 자세를 결정할 수 있다. 객체의 자세 결과는 객체 영역 및 배경 영역을 예측하기 위해 사용될 수 있다. 즉, 객체의 자세 결과는 배경과 객체를 결정하기 위해 사용될 수 있다.

상술한 다양한 실시 예에 따른 촬상 장치의 제어 방법은 프로그램으로 구현되어 촬상 장치에 제공될 수 있다.

일 예로, 촬상된 이전 영상 프레임 및 현재 영상 프레임을 복수의 영역으로 구분하는 단계, 이전 영상 프레임의 각 영역에 대응되는 현재 영상 프레임의 각 영역의 이동 방향 및 거리를 산출하는 단계, 산출된 이동 방향 및 거리를 기초로 기 설정된 배경 모델 및 객체 모델을 적용하여 배경 및 객체를 결정하는 단계, 바디 파트 모델을 기초로 결정된 객체의 바디 파트를 판단하는 단계 및 판단된 바디 파트를 조합하여 객체의 자세를 결정하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100, 100a : 촬상 장치 110 : 촬상부
120 : 제어부
121 : 영역 결정부 122 : 자세 추정부
130 : 통신부

Claims (20)

1. 외부 영상을 촬상하는 촬상부;
   촬상된 제1 영상 프레임 및 제2 영상 프레임을 복수의 영역으로 구분하여 상기 제1 영상 프레임의 각 영역에 대응되는 상기 제2 영상 프레임의 각 영역의 이동 방향 및 거리를 산출하고, 상기 산출된 이동 방향 및 거리를 기초로 기 설정된 배경 모델 및 객체 모델을 적용하여 배경 및 객체를 결정하는 영역 결정부; 및
   바디 파트 모델을 기초로 상기 결정된 객체의 바디 파트를 판단하고, 상기 판단된 바디 파트를 조합하여 상기 객체의 자세를 결정하는 자세 추정부;를 포함하며,
   상기 영역 결정부는,
   상기 산출된 이동 방향 또는 거리가 기 설정된 이동 방향 또는 거리인 영역은 배경 영역인 것으로 판단하고, 상기 배경 영역과 차이가 있는 영역은 객체 영역인 것으로 판단하며
   상기 제2 영상 프레임의 각 영역에 대해 상기 배경 영역으로 판단된 결과와 상기 영역 내의 픽셀들의 색상 정보를 기초로 상기 배경 모델을 생성하고, 상기 객체 영역으로 판단된 결과와 상기 영역 내의 픽셀들의 색상 정보를 균등 분포도와 믹싱하여 상기 객체 모델을 생성하는 촬상 장치.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 영역 결정부는,
   상기 제2 영상 프레임의 각 픽셀에 대해 상기 배경 모델, 상기 객체 모델 및 인접 픽셀의 정보를 기초로 배경 픽셀 및 객체 픽셀을 결정하는 것을 특징으로 하는 촬상 장치.
6. 제5항에 있어서,
   상기 영역 결정부는,
   상기 객체 픽셀의 정보만을 포함하는 객체 마스크를 생성하고,
   상기 자세 추정부는,
   상기 생성된 객체 마스크를 기초로 자세를 추정하는 것을 특징으로 하는 촬상 장치.
7. 제1항에 있어서,
   상기 바디 파트 모델은,
   정적 에지 모델(static edge model), 영역 모델(region model) 및 동적 에지 모델(dynamic edge model)중 적어도 하나인 것을 특징으로 하는 촬상 장치.
8. 제7항에 있어서,
   상기 동적 에지 모델은,
   상기 제1 및 제2 영상 프레임을 기초로 결정된 상기 객체의 바디 파트로부터 생성되는 것을 특징으로 하는 촬상 장치.
9. 제1항에 있어서,
   상기 자세 추정부는,
   상기 결정된 자세를 상기 바디 파트의 위치, 스케일 및 각도 정보 중 적어도 하나로 출력하는 것을 특징으로 하는 촬상 장치.
10. 제1항에 있어서,
    상기 영역 결정부는,
    상기 결정된 자세를 기초로 객체 영역 및 배경 영역을 예측하는 것을 특징으로 하는 촬상 장치.
11. 촬상 장치의 제어 방법에 있어서,
    촬상된 제1 영상 프레임 및 제2 영상 프레임을 복수의 영역으로 구분하는 단계;
    상기 제1 영상 프레임의 각 영역에 대응되는 상기 제2 영상 프레임의 각 영역의 이동 방향 및 거리를 산출하는 단계;
    상기 산출된 이동 방향 및 거리를 기초로 기 설정된 배경 모델 및 객체 모델을 적용하여 배경 및 객체를 결정하는 단계; 및
    바디 파트 모델을 기초로 상기 결정된 객체의 바디 파트를 판단하고, 상기 판단된 바디 파트를 조합하여 상기 객체의 자세를 결정하는 단계;를 포함하며,
    상기 배경 및 객체를 결정하는 단계는,
    상기 산출된 이동 방향 또는 거리가 기 설정된 이동 방향 또는 거리인 영역은 배경 영역인 것으로 판단하고, 상기 배경 영역과 차이가 있는 영역은 객체 영역인 것으로 판단하며,
    상기 제2 영상 프레임의 각 영역에 대해 상기 배경 영역으로 판단된 결과와 상기 영역 내의 픽셀들의 색상 정보를 기초로 상기 배경 모델을 생성하고, 상기 객체 영역으로 판단된 결과와 상기 영역 내의 픽셀들의 색상 정보를 균등 분포도와 믹싱하여 상기 객체 모델을 생성하는, 촬상 장치의 제어 방법.
12. 삭제
13. 삭제
14. 삭제
15. 제11항에 있어서,
    상기 제2 영상 프레임의 각 픽셀에 대해 상기 배경 모델, 상기 객체 모델 및 인접 픽셀의 정보를 기초로 배경 픽셀 및 객체 픽셀을 결정하는 단계;를 더 포함하는 촬상 장치의 제어 방법.
16. 제15항에 있어서,
    상기 객체 픽셀의 정보만을 포함하는 객체 마스크를 생성하는 단계; 및
    상기 생성된 객체 마스크를 기초로 자세를 추정하는 단계;를 더 포함하는 촬상 장치의 제어 방법.
17. 제11항에 있어서,
    상기 바디 파트 모델은,
    정적 에지 모델(static edge model), 영역 모델(region model) 및 동적 에지 모델(dynamic edge model)중 적어도 하나인 것을 특징으로 하는 촬상 장치의 제어 방법.
18. 제17항에 있어서,
    상기 동적 에지 모델은,
    상기 제1 및 제2 영상 프레임을 기초로 결정된 상기 객체의 바디 파트로부터 생성되는 것을 특징으로 하는 촬상 장치의 제어 방법.
19. 제11항에 있어서,
    상기 결정된 자세를 상기 바디 파트의 위치, 스케일 및 각도 정보 중 적어도 하나로 출력하는 단계;를 더 포함하는 촬상 장치의 제어 방법.
20. 제11항에 있어서,
    상기 배경 및 객체를 결정하는 단계는,
    상기 결정된 자세를 기초로 객체 영역 및 배경 영역을 예측하는 것을 특징으로 하는 촬상 장치의 제어 방법.

Images