KR101687530B1 - 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체 - Google Patents

Abstract

제1 촬상장치 및 제2 촬상장치를 갖는 촬상 시스템은, 제1 촬상장치에 의해 촬상된 촬상화상에 대한 해석 처리의 해석 결과가 소정의 조건을 충족시키지 않을 경우, 그 해석 결과가 소정의 조건을 충족시킬 경우보다도, 제2 촬상장치에 의해 촬상된 촬상범위가 넓어지도록, 상기 제2 촬상장치의 촬상범위를 제어한다.

Description

촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체{CONTROL METHOD IN IMAGE CAPTURE SYSTEM, CONTROL APPARATUS AND A COMPUTER-READABLE STORAGE MEDIUM}

본 발명은, 제1 촬상장치 및 제2 촬상장치를 갖는 촬상 시스템에 있어서의 제어방법, 및, 제1 촬상장치 및 제2 촬상장치에 접속되는 제어장치에 관한 것이다.

최근, 복수의 카메라를 조합해서 사용하는 형태를 취하는 감시 시스템이 증가하고 있다. 디지털화나 기기의 성능향상으로 또한, 광각 줌의 카메라나, 모든 방향을 촬상 가능한 카메라등의 다른 특성을 갖는 카메라를 조합해서 사용함으로써, 그 카메라 각각의 장점을 살리는 시스템을 구축하는 것이 가능해진다.

복수의 카메라로 동일한 대상을 촬상하는 해결방법은, 이전에도 제안되어 있다. 일본국 공개특허공보 특개2002-290962에서는, 제1 카메라에서 대상을 인식하는데 사용된 템플릿 정보를 제2 카메라에 송신함으로써 추미(tracking) 동작을 연동시키는 방법이 제안되어 있다.

또한, "실공간에 대응한 Master-Slaving에 의한 추미 카메라 시스템"(오가와 유우조, 후지요시 히로노부, 제9회 화상 센싱 심포지움, 2003)에서는, 단안 카메라로 촬상한 화상으로부터 촬상대상 인물의 발을 검출한 후, 발의 3차원 공간좌표를 추정하고, 미리 위치 정보를 교정한 제2 카메라에서 팬/틸트/줌의 값을 갱신한 촬상을 행하는 방법이 제안되어 있다.

이러한 종류의 시스템을 실현하기 위해서 필요한 화상처리, 특징검출, 인식 등의 공지의 기술은, "Computer Vision: Algorithms and Applications."(Richard Szeliski. Springer, New York, 2010)에서 모여져 있다.

최근은, 카메라의 성능향상이 진행하고, 광각렌즈와 많은 화소를 기록가능한 촬상소자를 조합함으로써, 1대의 카메라로 촬상할 수 있는 범위가 보다 넓어져 있다. 카메라끼리를 연동시키기 위해서는, 지금까지의 상정보다도 넓은 공간에서, 동일한 촬상대상을 탐색할 필요가 있고, 촬상을 시작하기 전의 탐색 시간이 존재한다는 점과, 화각이 오정렬된다는 점에서는 큰 문제가 된다. 이전에 제안된 방법에서는, 카메라의 촬상범위가 넓어짐에 따라서 넓은 영역을 탐색해야하기 때문에, 동일한 촬상 대상을 찾기 전에 긴 시간을 요한다.

본 발명에서는, 복수의 촬상장치에 의해 동일한 촬상대상을 효율적으로 촬영한다.

또한, 본 발명의 특징은, 제1 촬상장치 및 제2 촬상장치를 갖는 촬상 시스템에 있어서의 제어방법을 제공하는 것이고, 이 방법은, 상기 제1 촬상장치에 의해 촬상된 촬상화상에 대한 해석 처리의 해석 결과가 소정의 조건을 충족시키는지를 결정하는 단계; 및 상기 해석 결과가 상기 소정의 조건을 충족시키지 않을 경우, 상기 해석 결과가 상기 소정의 조건을 충족시킬 경우보다도, 상기 제2 촬상장치의 촬상범위가 넓어지도록, 상기 제2 촬상장치의 촬상범위를 제어하는 단계를 포함한다.

또한, 본 발명의 특징은, 제1 촬상장치 및 제2 촬상장치를 갖는 촬상 시스템에 있어서의 제어방법을 제공하는 것이고, 이 방법은, 상기 제1 촬상장치에 의해 촬상된 촬상화상에 대한 해석 처리의 해석 대상의 이동 속도에 따라, 상기 제2 촬상장치의 촬상범위를 설정하는 단계와, 그 설정한 촬상범위를 촬상하도록 상기 제2 촬상장치를 제어하는 단계를 포함한다.

본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.

도 1은 제1 실시예의 카메라 관리시스템의 구성도다.
도 2는 제1 실시예의 카메라 관리시스템을 실현하는 기기의 하드웨어 구성을 나타내는 도면이다.
도 3은 제1 실시예의 카메라 관리시스템을 실현하는 기기에 있어서의 주요 기능 구성을 나타내는 블록도다.
도 4는 카메라(100)에서 실행하는 처리를 나타내는 흐름도다.
도 5는 카메라 관리 서버 장치에서 실행하는 처리를 나타내는 흐름도다.
도 6은 카메라(200)에서 실행하는 처리를 나타내는 흐름도다.

이하, 본 발명의 실시예들에 대해서 첨부도면을 사용해서 상세하게 설명한다.

도 1은 제1 실시예의 카메라 관리시스템의 동작 환경을 나타내는 네트워크 접속의 구성도다. 이 카메라 관리시스템(촬상관리시스템)에서는, 복수의 카메라로 동일한 촬상대상을 촬상할 때, 촬상대상의 동정(identification)을 고속으로 실현한다.

카메라 관리시스템은, 카메라100 및 카메라200, 네트워크 스토리지 장치(300), 카메라 관리 서버 장치(400)(이하, 서버400라고 함), 화상표시장치(500)가, 네트워크 회선인 LAN(600)에 의해 서로 접속되게 구성되어 있다. 촬상장치인 카메라100 및 200은, 촬상대상을 촬상하는 촬상 기능에 더해서, 촬상화상 데이터에 대하여, 동체검지, 물체검지, 인체검지, 얼굴인식 등의 화상해석을 행하는 화상처리기능을 가진다. 기록 장치인 네트워크 스토리지 장치(300)는, 카메라100 및 카메라200으로부터 얻어진 촬상화상 데이터와 그의 화상해석결과를, LAN(600)을 거쳐서 기록한다.

촬상관리장치인 서버(400)는, 감시 범위 전체에 설치된 복수의 카메라(이 경우, 카메라100 및 200)로부터 얻어진 촬상화상 데이터와 그의 화상해석결과, 또한 네트워크 스토리지 장치(300)에 기록된 과거의 화상 데이터와 화상해석결과를 수집한다. 그리고, 서버(400)는, 그 수집된 화상 데이터와 화상해석결과를 이용함으로써, 감시 범위 전체에 걸친 화상정보를 관리한다. 또한, 서버(400)는, 카메라(200)의 촬상범위를 제어하는 제어장치다.

화상표시장치(500)는, 네트워크 스토리지 장치(300)에 기록된 화상 데이터와 화상해석결과를 중첩해서 표시한다. 또한, 화상표시장치(500)는, 서버(400)에서 카메라100 및 200에 의해 감시된 감시 범위 전체에 걸쳐 관리된 화상정보의 표시도 행한다. 추가로, 한층 더, 화상표시장치(500)는, 화상정보에 근거한 화상해석결과로 이벤트 씬 등의 화상검색의 조작을 행하기 위한 입력 기능도 가진다. 화상표시장치(500)는, 예를 들면 퍼스널 컴퓨터(PC)등의 정보처리장치로서 실현된다. 카메라100 및 카메라200은, 2대이상의(복수의) 카메라로서 구성되어도 되고, 2대이상이면 카메라의 대수에 제한되지 않는다. 즉, 복수의 카메라로 동일한 대상을 촬상할 때, 촬상대상을 동정할 수 있는 복수의 카메라이어도 된다.

다음에, 서버(400) 및 화상표시장치(500)를 실현하는 정보처리장치의 하드웨어 구성에 대해서, 도 2를 사용하여 설명한다.

도 2는 본 발명의 제1 실시예의 정보처리장치의 하드웨어 구성을 나타낸 도면이다.

도 2에 있어서, CPU(21), RAM(22), ROM(23), LAN어댑터(24), 비디오 어댑터(25), 키보드(26), 마우스(27), 하드 디스크(28) 및 CD-ROM 드라이브(29)는, 각각 시스템 버스(20)를 거쳐서 서로 접속되어 있다. 시스템 버스(20)는, 예를 들면, PCI버스, AGP버스, 메모리 버스 등의 각종 버스를 의미하기도 한다. 또한, 도 2에서는, 버스간에는 접속용 칩, 키보드 인터페이스, 소위 SCSI나 ATAPI와 같은 입/출력용 인터페이스는 생략하고 있다.

CPU(21)는, 오퍼레이팅 시스템의 프로그램이나 애플리케이션 프로그램 등에 의거하여 사칙연산이나 비교 연산 등의 각종의 연산이나, 하드웨어의 제어를 행한다. RAM(22)에는, 하드 디스크 드라이브(28)나 CD-ROM드라이브(29)에 장착된 CD-ROM등의 기억매체로부터 판독된 오퍼레이팅 시스템의 프로그램이나 애플리케이션 프로그램 등이 기억되고, 이것들은 CPU(21)의 제어하에 실행된다. ROM(23)에는, 오퍼레이팅 시스템과 협동해서 하드 디스크 드라이브(28)에의 입출력을 제어하는 소위 BIOS등의 프로그램이 기억된다.

LAN 어댑터(24)는, CPU(21)에 의해 제어된 오퍼레이팅 시스템의 통신 프로그램과 협동하는 네트워크를 통해 외부기기와 통신을 행한다. 비디오 어댑터(25)는, 비디오 어댑터(25)를 거쳐서 접속된 디스플레이 장치에 출력되는 화상신호를 생성한다. 키보드(26)나 마우스(27)는, 정보처리장치에의 지시를 입력하는데 사용된다.

하드 디스크 드라이브(28)는, 오퍼레이팅 시스템이나 애플리케이션 프로그램 등을 기억하고 있다. CD-ROM드라이브(29)는, CD-ROM, CD-R, CD-R/W등의 기억매체를 장착해서 애플리케이션 프로그램을 하드 디스크 드라이브(28)에 인스톨하는데 사용된다. 이때, CD-ROM드라이브(29) 대신에, CD-R드라이브, CD-R/W드라이브 또는 MO드라이브 등의 다른 드라이브 장치를 사용해도 되는 것을 말할 필요도 없다.

도 3은 제1 실시예의 카메라 관리시스템을 실현하는 기기에 있어서의 주요 기능 구성을 나타내는 블록도다.

도 3에 있어서, 카메라100 및 200 각각에 있어서, 화상취득부101 및 201은, CMOS촬상소자등의 촬상소자로부터 얻어진 디지털 전기신호에 대하여, 소정의 화소보간이나 색 변환처리 등을 행하고, RGB나 YUV등의 화상 데이터(디지털 화상 데이터)를 현상/생성한다. 또한, 화상취득부101 및 201은, 현상을 실행한 후의 화상 데이터에 대하여 화이트 밸런스, 샤프니스, 콘트라스트, 색 변환등의 화상보정처리를 행한다.

화상해석부102 및 202는, 화상취득부101 및 201로부터 얻어진 디지털 화상에 대하여, 동체검지, 물체검지, 인체검지, 얼굴인식 등의 화상해석처리를 행한다. 이 화상해석처리와 아울러, 카메라100(제1 카메라)에서는, 설정부(103)에서 촬상대상영역을 설정하고, 카메라200(제2 카메라)에서는, 동정부(identification unit)(203)에서 촬상대상의 동정을 행한다. 카메라100, 200의 양쪽에는, 설정부(103) 또는 동정부(203)가 구비되어도 된다. 카메라100의 설정부(103)는, 카메라200의 화상취득부(201)에서 취득하는 화상의 촬상대상영역을 제어하는데 사용된다. 카메라200의 동정부(203)는, 카메라100의 화상취득부101에서 취득한 화상에 포함된 촬상대상과, 카메라200의 화상취득부201에서 취득한 화상에 포함된 촬상대상이 동일한지를 판단한다.

각종 화상처리가 종료한 화상 데이터는, 압축/부호화된다. 여기에서, 분배용의 압축 방식은, MPEG4, H.264, MJPEG 또는 JPEG등의 규격에 근거하고 있다. 또한, 화상은, mp4나 mov형식등의 화상 데이터 파일들이 되게 한다. 화상해석결과로부터 얻어진 화상정보 및 압축 화상 데이터 파일들은, LAN(600)을 거쳐서 네트워크 스토리지 장치(300) 또는 서버(400)에 송신된다. 이것들의 장치상에서는, 예를 들면, NFS나 CIFS등의 네트워크 파일 시스템상에 화상 데이터 및 화상해석결과의 기록을 행한다.

서버(400)의 카메라워크 결정부(401)는, 수신된 화상 데이터 및 화상해석결과에 의거하여 카메라 관리시스템에 있어서의 카메라의 카메라 동작(팬(pan)/틸트/줌 등)을 결정한다. 더 구체적으로는, 카메라워크 결정부(401)는, 카메라의 팬, 틸트 또는 줌의 적어도 1개의 초기값을 결정하거나, 또는 그 팬, 틸트 또는 줌의 갱신 방법을 결정한다. 도 2의 CPU(21)가 RAM(22)으로부터 판독한 프로그램을 실행함에 의해, 카메라워크 결정부(401)를 실현하도록 구성해도 좋다. 통지부(402)는, 카메라워크 결정부(401)가 결정한 카메라 동작으로 촬상하도록 카메라(200)를 제어하기 위해서, 카메라 동작을 카메라(200)에 통지한다.

상기의 구성에서, 복수의 카메라로 동일한 대상을 촬상할 때, 촬상대상의 동정을 고속으로 행하는 처리에 대해 상세하게 설명한다. 이때, 아래에서 설명된 처리에 앞서, 각 카메라의 위치 정보는 미리 측정되어 기록된다. 위치 정보는, 카메라의 각각을 기준으로 한 상대 위치이어도 좋고, 소정의 카메라의 설치 위치를 원점으로 할 경우에, 그 위치 정보는 실제의 위치가 아니어도 된다. 이 위치 정보는, 제2 카메라에 있어서, 팬/틸트/줌의 값을 계산할 때의 기본정보로서 사용된다. 그 위치 정보는, 서버(400)나 네트워크 스토리지 장치(300)에 있어서 일괄 관리된다. 달리 말하면, 카메라(100, 200)의 위치 정보는, 서버(400)에 또는 네트워크 스토리지 장치(300)의 RAM(22)에 기억된다.

우선, 유저는, 화상표시장치(500)에 표시된 카메라(100)(제1 카메라)의 촬상화상에 있어서 특정한 대상을 선택한다. 여기서, 유저가 지정하는 대상(피사체)은, 인물, 동체 또는 물체 중 임의의 것이어도 된다. 또한, 화상표시장치(500)는, 카메라(100)에 접속하고, 카메라(100)로부터 수신된 촬상화상을 표시함과 아울러, 화상표시장치(500)로부터 카메라(100)에 정보를 설정하는 것이 가능한 상태로 되어 있다.

화상표시장치(500)는 지정된 대상에 관한 대상정보를, 서버(400)를 거쳐서 카메라(100)에 송신한다. 여기서 송신된 대상정보는, 카메라(100)의 촬상화상에 있어서의 좌상위치를 원점으로 했을 때의 좌표정보다.

다음에, 도 4를 사용하여, 제1 카메라인 카메라(100)가 실행하는 처리에 관하여 설명한다.

우선, 단계SlOl에서, 카메라(100)는, 화상표시장치(500)에서 촬상화상으로부터 지정된 촬상대상에 관한 정보를 판독한다. 이 촬상대상은, 표시 화면에 표시된 촬상화상상에서, 촬상대상을 포함하는 영역의 좌표를 지정한다. 예를 들면, 표시 화면에 표시된 촬상화상내의 촬상대상을 포함하는 영역을, 마우스 등의 포인팅 디바이스를 사용해서 지정한다.

다음에, 단계SlO2에서, 카메라(100)는, 지정된 촬상대상 주변을 포함하는 영역을 화상해석부(102)로 화상해석을 실행한다. 화상해석부(102)의 화상해석에 사용된 기계학습의 학습 결과 데이터는, 서버(400)에 미리 준비되고, 처리에 앞서 판독하고, 설정을 실행한다. 달리 말하면, 카메라(100)의 화상해석부(102)는, 화상해석에 필요한 데이터를 서버(400)로부터 미리 취득해둔다. 이때, 이 화상해석은 서버(400)에서 행해도 된다.

또한, 화상취득부(101)에서 취득한 화상으로부터 검출된 인체(또는 자동차등의 특정한 종류의 물체)를 화상표시장치(500)에 표시하고, 그 표시된 인체등으로부터 촬상대상을 포인팅 디바이스를 사용해서 지정해도 좋다. 화상취득부(101)에서 취득한 화상에 포함되는 인체는, 화상해석부(102)가 화상을 해석함으로써 검출된다.

화상해석부(102)에 의한 화상해석에서는, 인체에 관한 해석 처리와 물체에 관한 해석 처리의 양쪽이 실행된다. 화상해석부(102)는, 인체에 대하여는, 인체검지, 얼굴검지, 얼굴인식, 얼굴방향 검지, 얼굴기관 검출, 도는 연령, 성별, 표정, 어깨, 발 또는 신장등의 인체의 부위인식(인체 특징 인식)의 하나 이상을 실행한다. 또한, 화상해석부(102)는, 물체의 크기나 형상의 해석, 및 의자나 자동차등의 물체 카테고리의 검출을 행한다. 인체와 물체 양쪽에 공통하는 처리로서, 화상해석부(102)는, 인체/물체 공통의 해석 처리를 실행한다. 이 공통의 해석 처리에는, 대상까지의 거리 추정, 3차원 위치의 추정, 및 대상의 이동 방향과 이동 속도의 해석 중 적어도 1개가 포함된다. 이상의 화상해석부(102)에 의한 화상해석은, 모두 실행되어도 되거나, 카메라의 성능이나 시스템의 설정 등에 따라 일부만이 실행되어도 된다.

여기에서, 화상해석의 각 종류에 대해서, 처리 내용과 얻어진 화상해석결과에 관하여 설명한다.

인체검지에 대해서는, 특히, 얼굴검지에서 얼굴의 위치를 검출한다. 이 얼굴의 위치는, 얼굴인식, 얼굴방향 검지, 얼굴기관 검출 등의 후처리가 이용된다. 이러한 처리는, 기계학습에 의해 결과를 산출하기 위해서, 위치나 인식된 처리 대상의 종별 정보를 일치시키는 처리 결과의 확률(우도(likelihood), 스코어)을 얻는다. 인체의 발/어깨 넓이/신장은, 후술하는 3차원 위치 추정의 정밀도 향상에 사용된다.

물체검지에 관해서도, 특히, 기계학습을 사용하여, 배경차분과, 물체의 사이즈나 형상을 추정한다. 또한, 기계학습을 사용해서 그 물체가 무엇인 것인가라고 하는 카테고리를 조사함으로써, 각 카테고리의 대략의 사이즈를 참고정보로서 취득한다. 또한, 물체가 (우도, 스코어)인 카테고리의 확률이 얻어진다. 예를 들면, 차의 경우, 대략의 사이즈는 가로 폭5m, 높이2m로 하고, 어깨 넓이/신장과 마찬가지로, 후술하는 3차원 위치 추정의 정밀도 향상이 사용된다.

최후에, 대상의 이동 방향과 대상의 이동 속도는, 복수 프레임의 화상을 사용함으로써 보행자 검출을 사용해서 취득된다. 또한, 대상의 이동 방향은, 카메라에 수직한 이동 방향으로 촬상대상의 사이즈가 증가할지 감소할지를 확인함으로써 취득될 수 있다.

단계SlO3에서, 카메라(100)는, 설정부(103)에서 촬상대상영역을 설정한다. 설정부(103)는, 촬상화상을 타일형의 부분 영역으로 분할하고, 각각의 부분 영역에 대응하는 실제의 3차원영역(촬상공간을 결정하는 3차원영역)의 위치 관계를 대응표로서 준비해두고, 그 대응관계로부터 촬상대상영역을 취득한다. 이 촬상대상영역은, 카메라(200)의 화상취득부(201)가 취득하는 화상의 촬상대상영역을 제어하는데 사용된다. 또한, 설정부(103)는, 대응표를 사용하지 않고 촬상대상의 3차원 위치를 추정함으로써 촬상대상영역을 설정할 수 있다. 이때, 3차원 위치의 추정은, 발이 촬영되는 인체의 3차원 위치의 추정이다. 또한, 물체의 3차원 위치도 산출 가능하다. 인체의 발이 촬영되지 않은 경우에, 촬상대상의 높이를 미리 정의되어 있는 소정값으로 가정하여 피사체의 발 위치를 추정하여서, 피사체의 발 위치의 대략의 위치를 산출하는 것이 가능하다.

3차원 위치의 추정에서는, 카메라 중심(중심 위치)로부터 촬상대상을 향해서 공간상 확장되는 광빔 벡터로부터, 단지 1개의 해가 산출되는 조건하에서 1개의 좌표를 산출한다. 지면에서의 높이가 0인 점을 산출하는 것을 조건으로 할 때 실제의 위치와의 오정렬을 피할 수 없기 때문에, 인체의 경우에는 어깨 넓이나 신장이 추정되어도 되고, 평균치와 비교함으로써 피사체까지의 대략의 거리가 산출되어도 되고, 3차원 위치 추정시의 조건으로서 사용되어도 된다. 물체의 사이즈나 형상도 같아서, 미리 자동차나 의자등의 물체의 카테고리마다 평균 사이즈를 준비해두고, 그 평균 사이즈와의 비교에 의해, 대략의 거리가 추정되어, 좌표계산의 정보로서 사용된다.

단계SlO2 및 단계SlO3에서 얻어진 결과를 수집하고, 처리 결과로서 서버(400)에 송신하고, 카메라(100)에서의 처리를 완료한다. 서버(400)에 송신된 처리 결과에는, 촬상대상영역의 좌표, 얼굴인식에 의해 얻어진 특징량, 인체검지 혹은 물체검지의 우도, 설정된 촬상대상영역의 우도 등이 포함된다.

도 5는 카메라 관리 서버장치(400)에서 실행한 처리를 나타내는 흐름도다.

우선, 단계S401에서, 서버(400)의 카메라워크 결정부(401)는, 카메라(100)에서 추정한 촬상대상의 3차원 위치와, 해석 처리를 포함하는 처리를 하기 위한 처리 결과를 판독한다. 이때, 이 처리는, 카메라(100) 대신에, 서버(400)에서 행해도 된다.

다음에, 단계S402에서, 서버(400)의 카메라워크 결정부(401)는, 카메라(100)에서 추정한 촬상대상의 3차원위치를 그 중심 위치라고 하는 소정거리내(소정범위내)에서 초기 탐색 범위를 설정하고, 그 화상해석결과를 근거로 해서 탐색 범위를 결정한다. 카메라(100)의 설정부(103)가 설정하는 촬상대상영역은, 촬상대상이 존재하는 것이라고 추정되는 영역이며, 단계S402에서 서버(400)가 결정하는 탐색 범위는, 그 촬상대상영역을 포함하고, 카메라(200)가 촬상하는 범위다. 그 탐색 범위의 확대는, 이하에 설명하는 화상해석결과의 판정 룰(rule)에 근거하여, 확대 조건(판정 룰)에 충족하는 횟수만큼 소정의 배율을 곱해서 행한다. 달리 말하면, 이하와 같은 확대 조건(판정 룰)이 미리 설정되어 있다. 또한, 확대 조건이 충족되도록 그 소정의 배율을 곱하는 횟수가 많아질수록, 확대율이 커지도록, 그 확대율이 설정된다. 이하, 각 화상해석결과의 판정 룰을 설명한다.

우선, 해석 결과로부터 얻어진 우도가 소정의 역치미만인 경우에, 촬상이 성공적으로 행해질 수 없거나, 촬상대상이 먼 장소에 존재하는 가능성이 높기 때문에, 탐색 범위를 확대(넓게)한다(이는 화상해석 전체에 공통되는 사항이다).

또한, 촬상대상의 발을 검출할 수 없었을 경우, 탐색 범위를 확대한다. 또한, 어깨/신장등의 특징정보를 검출할 수 없고, 특징정보를 3차원 위치의 추정시에 사용하지 않은 경우에, 그 탐색 범위를 확대한다. 3차원 위치는 촬상범위 또는 탐색 범위의 결정에 사용되고, 탐색 범위는 카메라 앵글(촬상조건)의 결정에 사용된다.

또한, 촬상대상의 이동 속도가 소정의 속도이상인 경우에는, 이동 속도나, 이동 방향, 카메라(200)에서 동정까지 필요하다고 생각되는 시간을 고려해서 이동가능한 범위를 산출하고, 이 이동가능한 범위에 따라 그 탐색 범위를 설정한다. 한층 더, 비록 이동 속도가 빠르지 않을지라도, 촬상대상이 카메라(200)에 다가오고 있는 경우, 망원방향으로 줌을 설정할 때 촬상 대상이 프레임에서 없어질 가능성이 있기 때문에, 촬상범위를 확대한다.

단계S402에서 탐색 범위를 결정한 후, 카메라(200)의 설치 위치, 대응한 줌 배율등의 촬상장치정보를 근거로 하여, 단계S403에서, 서버(400)의 카메라워크 결정부(401)는, 카메라워크 결정부(401)에서 카메라 앵글(줌 배율, 팬/틸트 등의 촬상조건)을 결정한다. 여기에서는, 탐색 범위가 포함되도록, 줌 배율등을 설정한다. 여기에서는, 단계S402에서, 화상해석결과를 근거로 해서 초기 탐색 범위를 바탕으로 탐색 범위를 결정하고나서, 결정된 탐색 범위가 포함되도록 카메라 앵글을 설정했다. 그렇지만, 초기 탐색 범위를 바탕으로 카메라 앵글을 결정하고나서, 이 결정된 카메라 앵글을, 화상해석결과를 근거로 해서 수정하도록 구성하여도 좋다.

최후에, 단계S404에서, 서버(400)의 통지부(402)는, 결정된 카메라 앵글을 나타내는 카메라 앵글 정보를 카메라(200)에 송신해서 처리를 종료한다. 여기서, 카메라100으로부터 수신한 처리 결과에 의거하여, 카메라200에서의 촬상대상의 동정처리에 사용된 화상해석의 종류에 따라 송신하고, 어느 화상해석결과를 사용하여, 촬상대상을 동정할지를 지정해도 좋다. 얼굴인식에 의해 얻어진 특징량을 사용해서 촬상대상을 동정할 경우, 단계S404에서는, 카메라100의 촬상화상에 대하여 화상해석부(102)가 얼굴인식 처리를 행함으로써 얻어진 특징량을 카메라200에 송신한다.

최후에, 도 6을 사용하여, 제2 카메라인 카메라(200)가 실행하는 처리에 관하여 설명한다.

먼저, 단계S201에서, 카메라(200)는, 서버(400)가 송신한 카메라 앵글 정보를 판독하고, 그 카메라 앵글 정보에 의거하여 카메라 앵글(줌 배율, 팬/틸트)의 값을 적용한다. 다시 말해, 카메라(200)는, 카메라(200)가 촬영하는 줌 배율이, 카메라 앵글 정보에 포함된 줌 배율이 되도록, 카메라 앵글 정보에 의거하여 줌렌즈를 제어한다. 또한, 카메라(200)는, 카메라(200)의 촬영 방향이, 카메라 앵글 정보에 포함되는 팬/틸트 값에 맞는 방향이 되도록, 카메라 앵글 정보에 의거하여 팬/틸트 구동부를 제어한다. 카메라(200)는, 카메라 앵글 정보를 서버(400)로부터 정기적으로 취득한다.

다음에, 단계S202에서, 카메라200은, 카메라100에서 실행된 화상해석처리와 동일한 화상해석처리를 실행함으로써 촬상대상 후보를 탐색한다. 단계S202에서는 복수의 촬상대상후보가 존재할 가능성이 있기 때문에, 단계S203에서, 카메라(200)는, 동정부(203)로 촬상대상의 동정을 실행한다.

단계S205에서, 카메라200은, 카메라100의 해석 결과로 얻어진 촬상대상과, 단계S202에서 얻어진 촬상대상 후보를 비교하고, 그 비교 결과에 의거하여 동일한 촬상대상의 유무를 판정한다. 이 판정은, 그 비교된 촬상대상에 대하여, 예를 들면, 얼굴인식에 의해 얻어진 특징량의 상사도를 이용한다.

동일한 촬상대상이 발견되었을 경우(단계S205에서 YES), 처리를 종료한다. 한편, 동일한 촬상대상이 발견되지 않은 경우(단계S205에서 NO), 단계S204에서, 카메라(200)는, 단계S202에서 얻어진 화상해석결과에 의거하여 한번 더, 카메라 앵글의 값을 갱신한다. 여기에서는, 촬상대상 후보가 전체적으로 그 범위에 맞도록 그 범위를 유지하면서, 서서히 줌 배율을 상승시키는 탐색을 재실행한다. 단계S204에서, 새로운 값으로 카메라 앵글(줌 배율, 팬/틸트) 갱신하고, 카메라(200)자신의 팬/틸트/줌의 값을 갱신한다. 이 처리를 촬상대상의 동정이 완료할 때까지 반복적으로 실행한다.

이상과 같이, 서버(400)는 복수의 카메라의 연동을 제어하여서 촬상대상을 동정한다.

이때, 본 처리의 시작은, 화상표시장치(500)의 유저에 의한 촬상대상의 지정이라고 하고 있지만, 이것에 한정되지 않는다. 예를 들면, 카메라에서 동체를 검지하면 처리를 자동적으로 시작하도록 구성하여도 좋고, 특정한 인물이나 물체를 인식하면 처리를 시작하는 구성으로 하여도 좋다.

또한, 화상해석을 카메라에서 실행하고 있지만, 카메라는 화상의 촬상만을 행하고, 화상해석을 서버(400)에서 실행하는 구성으로 하여도 된다.

이상과 같이, 본 실시예에 의하면, 복수의 카메라로 동일한 촬상대상을 추미하면서 촬상하는 경우에, 카메라간에 공통인 화상해석을 실행함과 아울러, 그 화상해석결과를 연계하여 이용해서 촬상대상(추미 대상)의 탐색 및 동정을 실행한다. 특히, 촬상대상의 탐색 범위를 화상해석결과에 의거하여 확대함으로써, 적절한 조건으로 효율적으로 촬상대상을 동정해서 추미하는 것이 가능하다. 이에 따라, 촬상대상의 동정을 고속으로 행할 수 있다.

제2 실시예에서는, 서버(400)에 있어서의 단계S402의 촬상대상의 존재 영역 추정에 있어서, 화상해석 결과를 근거로 해서 촬상대상의 존재 영역을 개선한 구성에 관하여 설명한다.

즉, 제2 실시예에서는, (화상해석 전체에 공통되는), 해석 결과로부터 얻어진 우도가 소정의 역치이상일 경우, 잘 촬상되고 있거나 또는 대상이 가까이 존재할 가능성이 높기 때문에, 탐색 범위를 축소(좁게) 한다.

또한, 촬상대상의 발을 검출할 수 있는 경우에도, 탐색 범위를 축소한다. 또한, 어깨/신장등의 특징정보를 검출할 수 있거나, 특징정보를 3차원 위치의 추정시에 사용하는 경우도, 탐색 범위를 축소한다.

또한, 촬상대상의 이동 속도가 소정의 속도미만일 경우, 이동 속도나 카메라(200)에서 동정까지 필요하다고 생각되는 시간을 고려해서 이동가능한 범위를 산출하고, 이 이동가능한 범위에 따라 탐색 범위를 설정한다. 또한, 비록 이동 속도가 느리지 않을지라도, 촬상대상이 카메라(200)로부터 멀어져 가고 있는 경우에, 광각방향으로 줌을 설정할 때 촬상대상이 작게 만 촬영될 가능성이 있기 때문에, 탐색 범위를 축소한다. 탐색 범위의 축소는, 축소하는 조건(판정 룰)에 충족하는 횟수만큼 소정의 배율을 곱해서 행해진다.

또한, 제1 실시예의 구성과 조합하여, 서버(400)에 있어서의 단계S402의 촬상대상의 존재 영역 추정에서는, 촬상대상이 존재하는 영역의 확대와 축소의 양쪽을 행하여도 되고, 탐색 범위의 조정(변배)을 행해도 된다. 상기의 판정 룰에 근거하여, 소정의 배율을 곱하여서, 그 영역의 조정을 행한다.

이상 설명한 바와 같이, 제2 실시예에 의해, 상기 제1 실시예와 마찬가지로, 촬상대상의 탐색 범위를 화상해석결과에 의거하여 축소함으로써, 보다 적절한 조건으로 효율적으로 촬상대상을 동정해서 추미하는 것이 가능하다. 이에 따라, 촬상대상의 동정을 고속으로 행할 수 있다.

제3 실시예에서는, 카메라워크 결정부(401)는, 3차원 위치의 추정으로 얻어진 위치 정보를 바탕으로, 화상해석부(102)에서 얻어진 촬상대상의 이동 속도, 이동 방향, 및 카메라(200)에서 촬상대상의 동정처리가 완료할 때까지의 예상 시간에 의거하여, 촬상대상이 존재할 수 있는 범위를 추정한다. 그리고, 추정한 범위에 그 촬상 대상이 포함되도록, 촬상조건인 카메라(200)의 카메라 동작(카메라 앵글)을 결정한다.

이상 설명한 바와 같이, 제3 실시예에 의해, 상기 제1 및 제2 실시예에서 설명한 효과와 아울러, 보다 적절한 촬상조건을 설정할 수 있다.

제4 실시예에서는, 서버(400)에 있어서의 단계S402(도 5)의 촬상대상의 존재 영역 추정에 있어서, 과거의 촬상대상에 관한 정보(촬상대상 영역정보)에 의거하여 작성한 인체/물체의 존재 확률 분포를 바탕으로 촬상대상의 존재 영역을 개선한 구성에 관하여 설명한다.

달리 말하면, 제4 실시예에서는, 네트워크 스토리지 장치(300) 또는 서버(400)에, 촬상대상을 검출하는 영역으로서 화상표시장치(500)에 과거에 지정된 촬상대상영역을 기록해둔다. 그리고, 기록해둔 과거의 촬상대상영역을 서버(400)가 참조함으로써, 어느 촬상영역에 인체 또는 물체가 위치하기 쉬울지에 대한 판정의 기준으로서 상기 기록해둔 과거의 촬상대상영역을 사용하는 것이 가능하다. 현재의 촬상대상이, 과거에 인체 또는 물체가 소정의 역치보다도 높은 확률로 존재한 영역에 존재하면, 서버(400)는 단계S402에 있어서 촬상대상 범위를 축소한다. 반대의 경우에는, 그 촬상대상 범위를 확대함으로써, 효율적으로 탐색을 행할 수 있다.

또한, 화상표시장치(500)에서 지정한 촬상대상영역을 바탕으로 결정된 카메라 앵글에서 도 6의 단계S205에 있어서 촬상대상이 발견되었는지를 기억해두고, 다음번의 카메라 앵글의 결정에 참조하도록 구성하여도 좋다. 달리 말하면, 화상표시장치(500)에서 지정한 촬상대상영역이 과거에도 지정되어 있었을 경우, 아래와 같이, 촬상대상영역을 설정한다. 그 촬상대상영역이 과거에 지정되었을 때에, 그 촬상대상영역에 근거하는 카메라 앵글에서 촬상대상이 발견되지 않고, 촬상대상영역을 넓히고, 단계S204에서, 촬상대상후보를 재탐색했을 경우, 이번은, 미리 촬상대상영역을 넓히고, 촬상대상후보를 탐색한다. 과거에 촬상대상영역Al을 촬상대상영역A2로 넓혀서 촬상대상후보를 재탐색했을 경우, 이번은, 촬상대상영역Al에서의 촬상대상후보의 탐색은 행하지 않고, 촬상대상영역A2에서 촬상대상후보를 탐색한다. 이때, 이번의 촬상대상후보의 탐색은, 상기 영역A2보다 좁고 상기 영역Al보다 넓은 촬상대상영역A3에서 행해도 된다. 단계S205에 있어서 촬상대상이 발견되었는지의 여부는, 네트워크 스토리지 장치(300) 또는 서버(400)에 기억된다.

이상 설명한 바와 같이, 제4 실시예에 의해, 제1 및 제2 실시예의 효과와 더불어, 과거의 촬상대상영역 정보를 이용함으로써 효율적으로 촬상대상을 탐색할 수 있다.

또한, 본 발명의 실시예들은, 기억매체(예를 들면, 비일시적 컴퓨터 판독 가능한 기억매체)에 레코딩된 컴퓨터 실행가능한 명령어를 판독하고 실행하여 본 발명의 상술한 실시예들의 하나 이상의 기능을 수행하는 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예들의 하나 이상의 기능을 수행하여서 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해진 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 중앙처리장치(CPU), 마이크로처리장치(MPU) 또는 기타 회로소자 중 하나 이상을 구비하여도 되고, 별개의 컴퓨터나 별개의 컴퓨터 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)^TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (21)

1. 제1 촬상장치 및 제2 촬상장치를 갖는 촬상 시스템에 있어서의 제어방법으로서,
   소정의 우도(likelihood)의 해석 결과가, 상기 제1 촬상장치에 의해 촬상된 촬상화상에 대한 해석 처리에서 얻어지는 지를 판정하는 단계; 및
   상기 소정의 우도의 상기 해석 결과가 얻어지지 않은 경우, 상기 소정의 우도의 상기 해석 결과가 얻어지는 경우보다도, 상기 제2 촬상장치의 촬상범위를 크게 하는 단계를 포함하는, 제어방법.
   
2. 제 1 항에 있어서,
   상기 제1 촬상장치에 의해 촬상된 촬상화상에서의 물체의 소정의 부분이 검출되는 지를 판정하는 단계를 더 포함하고,
   상기 소정의 부분이 검출되지 않을 경우, 상기 소정의 부분이 검출되었을 경우보다도, 상기 제2 촬상장치의 촬상범위를 크게 하는, 제어방법.
   
   
3. 삭제
4. 제 1 항에 있어서,
   상기 제1 촬상장치에 의해 촬상된 촬상화상에 포함되는 해석 대상이 촬상되도록, 상기 제2 촬상장치의 촬상범위를 제어하는 단계를 더 포함하는, 제어방법.
   
5. 제 1 항에 있어서,
   상기 제1 촬상장치에 의해 촬상된 촬상화상에 포함되는 해석 대상을, 상기 제2 촬상장치에 의해 촬상된 촬상화상으로부터 검출하는, 제어방법.
   
6. 제 1 항에 있어서,
   과거의 해석 처리에 의거하여 상기 제2 촬상장치의 촬상범위를 제어하는, 제어방법.
   
7. 제1 촬상장치 및 제2 촬상장치에 접속되는 제어장치로서,
   소정의 우도(likelihood)의 해석 결과가, 상기 제1 촬상장치에 의해 촬상된 촬상화상에 대한 해석 처리에서 얻어지는 지를 판정하는 판정부; 및
   상기 소정의 우도의 상기 해석 결과가 얻어지지 않은 경우, 상기 소정의 우도의 상기 해석 결과가 얻어지는 경우보다도, 상기 제2 촬상장치의 촬상범위를 크게 하는 제어부를 구비한, 제어장치.
   
8. 제 7 항에 있어서,
   상기 판정부는 상기 제1 촬상장치에 의해 촬상된 촬상화상에서의 물체의 소정의 부분이 검출되는 지를 판정하고,
   상기 제어부는, 상기 소정의 부분이 검출되지 않을 경우, 상기 소정의 부분이 검출되었을 경우보다도, 상기 제2 촬상장치의 촬상범위를 크게 하는, 제어장치.
   
9. 삭제
10. 제 7 항에 있어서,
    상기 제어부는, 상기 제1 촬상장치에 의해 촬상된 촬상화상에 포함되는 해석 대상이 촬상되도록, 상기 제2 촬상장치의 촬상범위를 제어하는, 제어장치.
    
11. 제 7 항에 있어서,
    상기 제어부는, 상기 제1 촬상장치에 의해 촬상된 촬상화상에 포함되는 해석 대상을, 상기 제2 촬상장치에 의해 촬상된 촬상화상으로부터 검출하기 위한 정보를 상기 제2 촬상장치에 송신하는, 제어장치.
    
12. 제1 촬상장치 및 제2 촬상장치에 접속된 컴퓨터를 위한 컴퓨터 프로그램을 기억한 컴퓨터 판독 가능한 기억매체로서, 상기 컴퓨터 프로그램은,
    소정의 우도(likelihood)의 해석 결과가, 상기 제1 촬상장치에 의해 촬상된 촬상화상에 대한 해석 처리에서 얻어지는 지를 판정하는 것; 및
    상기 소정의 우도의 상기 해석 결과가 얻어지지 않은 경우, 상기 소정의 우도의 상기 해석 결과가 얻어지는 경우보다도, 상기 제2 촬상장치의 촬상범위를 크게 하는 것을 포함하는, 기억매체.
    
13. 제 12 항에 있어서,
    상기 제1 촬상장치에 의해 촬상된 촬상화상에서의 물체의 소정의 부분이 검출되는 지를 판정하는 것을 더 포함하고,
    상기 소정의 부분이 검출되지 않을 경우, 상기 소정의 부분이 검출되었을 경우보다도, 상기 제2 촬상장치의 촬상범위를 크게 하는, 기억매체.
    
14. 삭제
15. 제 12 항에 있어서,
    상기 제1 촬상장치에 의해 촬상된 촬상화상에 포함되는 해석 대상이 촬상되도록, 상기 제2 촬상장치의 촬상범위를 제어하는 것을 더 포함하는, 기억매체.
    
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제

Images