KR20160039447A - 스테레오 카메라를 이용한 공간분석시스템 - Google Patents

Abstract

본 발명은 스테레오 카메라를 이용한 공간분석시스템에 관한 것으로, 더욱 상세하게는 스테레오 영상 내 이동객체를 3차원 영상으로 처리한 공간 정보를 실제 지도와 맵핑한 후 공간 함수를 구현하여 오브젝트 트래킹을 수행할 수 있게 되어 이동 객체의 위치, 속도, 방향, 면적, 크기, 길이 등을 계산할 수 있는 스테레오 카메라를 이용한 공간분석시스템에 관한 것이다.

Description

스테레오 카메라를 이용한 공간분석시스템{Spatial analysis system using stereo camera.}

본 발명은 스테레오 카메라를 이용한 공간분석시스템에 관한 것으로, 더욱 상세하게는 스테레오 영상 내 이동객체를 3차원 영상으로 처리한 공간 정보를 실제 지도와 맵핑한 후 공간상에 임의의 범위를 구분짓고, 범위에 해당하는 부분에 대하여 화소정보와 3차원정보를 이용하여 객체를 추출하고 객체에 대하여 공간 함수를 구현하여 오브젝트 트래킹을 수행할 수 있게 되어 이동 객체의 위치, 속도, 방향, 면적, 크기, 길이 등을 계산할 수 있는 스테레오 카메라를 이용한 공간분석시스템에 관한 것이다.

영상으로부터 3차원 모델을 복원하는 기법은, 컴퓨터 비전 영역에서 매우 오래된 연구 주제이다.

그 대표적인 기술로서 빛과 그림자의 관계로부터 3차원 정보를 복원하는 기법(shape from shading), 물체 표면 패턴으로부터 3차원 정보를 복원하는 기법(shape from texture) 및 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull) 등이 있다.

특히, 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull)은 매우 간단하면서도 효율적으로 3차원 모델을 복원할 수 있어 최근 많은 연구가 이루어졌다.

그러나, 이 기법은 오목한 영역에 대한 복원이 불가능한 문제점이 있으며, 카메라의 수가 적은 경우 매우 조악한 모델이 생성되는 문제점이 있다.

한편, 스테레오 영상을 이용한 영상 처리기법이 활발히 연구되고 있는데, 두 대의 카메라에서 얻어진 영상에서 생기는 양안 시차를 이용하여 깊이를 추정하는 기술이지만 이를 활용하기 위한 어플리케이션 기술 개발이 시급한 실정이다.

또한, 기존 지능형 CCTV의 특징으로서, 인공지능 방식의 인식으로 사람의 얼굴, 물체의 인식, 물체의 추적분야로 발달되어 있으나, 해상도 및 화소의 밝기만으로 물체를 판별하는 문제점이 있었다.

그리고, 기존 고정형 CCTV의 경우에는 감시영역을 벗어난 후 물체의 추적이 지속될 수 없으며, 카메라 고정대의 노후 및 바람, 열, 비, 진동 등의 외부 영향을 받아 감시영역이 변경될 소지가 많았었다.

일반적인 CCTV의 단점은 왜곡의 보정이 어려우며, 카메라와 객체의 정확한 위치, 길이, 높이, 크기, 방향을 알 수 없었다.

대한민국 등록특허공보 10-1290197호(2013.07.22)

본 발명의 스테레오 카메라를 이용한 공간분석시스템은 상기와 같은 종래 기술에서 발생하는 문제점을 해소하기 위한 것으로, 스테레오 영상 내 이동객체를 3차원 영상으로 처리한 공간 정보를 실제 지도와 맵핑한 후 공간상에 임의의 범위를 구분짓고, 범위에 해당하는 부분에 대하여 화소정보와 3차원정보를 이용하여 객체를 추출하고 객체에 대하여 공간 함수를 구현하여 오브젝트 트래킹을 수행할 수 있게 되어 이동 객체의 위치, 속도, 방향, 면적, 크기, 길이 등을 계산할 수 있도록 하는데 있다.

본 발명의 다른 목적은 공간 정보를 이용하여 다양한 통계가 가능하도록 하는데 있다.

본 발명의 스테레오 카메라를 이용한 공간분석시스템은 상기와 같은 과제를 해결하기 위하여, 스테레오 영상을 획득하기 위한 스테레오영상획득부(100);

좌측 영상 및 우측영상의 라인을 보정하기 위한 라인보정부(200);

좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하기 위한 에피폴라부(300);

좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하여 3차원 깊이 지도를 자동으로 생성하기 위한 깊이맵생성부(400);

지도 정보를 저장하고 있는 지도맵디비(500);

상기 지도맵디비로부터 공간 정보를 추출한 후, 공간 함수를 이용하여 실제 공간 지도에 실제 이동 객체를 맵핑하여 이동 객체의 위치, 속도, 방향을 분석하기 위한 이동객체분석부(600);

이동 객체의 길이, 거리, 면적, 부피 중 사용자에 의해 설정된 요청 변수정보를 획득하기 위한 설정정보획득부(700);

상기 설정정보획득부에 의해 획득된 요청 정보를 토대로 이동 객체의 길이, 거리, 면적, 부피 중 요청 정보에 부합되는 변수값을 분석하는 요청변수분석부(800);

상기 이동객체분석부에 의한 결과값과 요청변수분석부에 의해 분석된 변수값을 스테레오 이미지와 깊이맵으로 표출하기 위한 결과표출부(900);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.

본 발명에 의해, 스테레오 영상 내 이동객체를 3차원 영상으로 처리한 공간 정보를 실제 지도와 맵핑한 후 공간상에 임의의 범위를 구분짓고, 범위에 해당하는 부분에 대하여 화소정보와 3차원정보를 이용하여 객체를 추출하고 객체에 대하여 공간 함수를 구현하여 오브젝트 트래킹을 수행할 수 있게 되어 이동 객체의 위치, 속도, 방향, 면적, 크기, 길이 등을 계산할 수 있도록 함으로써, 장애물이 있어도 배경 객체와 관계없이 위치와 이동경로를 분석할 수 있는 효과를 제공한다.

또한, 공간 정보를 이용하여 다양한 통계가 가능하며, 사람 및 차량 등의 이동 경로를 알 수 있으므로 어린이 보호 구역, 신호등을 도입할 경우에 데이터로 활용할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 지능형 3차원 씨씨티브이 카메라 영상 처리장치의 전체 블록도이다.
도 2는 좌측 영상 및 우측영상의 라인을 보정하는 예시도이며, 도 3은 깊이 지도 실행 예시도이며, 도 4는 실제 화면에서 관리자가 이동 객체를 설정하는 예시도이며, 도 5는 객체 추적 예시도이다.

이하, 첨부된 도면을 통해 본 발명의 스테레오 카메라를 이용한 공간분석시스템에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 지능형 3차원 씨씨티브이 카메라 영상 처리장치의 전체 블록도이다.

도 1에 도시한 바와 같이, 스테레오 카메라를 이용한 공간분석시스템(1000)은 스테레오영상획득부(100); 라인보정부(200); 에피폴라부(300); 깊이맵생성부(400); 지도맵디비(500); 이동객체분석부(600); 설정정보획득부(700); 요청변수분석부(800); 결과표출부(900);를 포함하여 구성된다.

상기 스테레오영상획득부(100)는 스테레오 카메라(10)로부터 스테레오 영상을 획득하게 된다.

상기 스테레오 영상은 두 개의 카메라에서 촬영된 좌측 영상 및 우측 영상을 의미한다.

상기 라인보정부(200)는 도 2에 도시한 바와 같이, 좌측 영상 및 우측영상의 라인을 보정하게 되는 것이다.

즉, 흔들림이 발생하면 데이터 처리시에 에러가 발생할 수 있기 때문에 보정을 수행하게 되는 것이다.

이후, 상기 에피폴라부(300)는 좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하게 된다.

상기 깊이맵생성부(400)는 도 3과 같이, 좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하여 3차원 깊이 지도를 자동으로 생성하게 된다.

이때, 본 발명에서 지도맵디비를 이용하여 실제 공간 지도에 이동 객체의 위치를 맵핑하게 된다.

이를 위하여 지도 정보를 저장하고 있는 지도맵디비(500)를 구성하게 되며, 이동객체분석부(600)는 지도맵디비로부터 공간 정보를 추출한 후, 공간 함수를 이용하여 실제 공간 지도에 실제 이동 객체를 맵핑하여 이동 객체의 위치, 속도, 방향을 분석하게 된다.

속도 및 방향으로 이미지가 아닌 실시간으로 이동하는 동영상 정보를 가지고 있기 때문에 쉽게 분석이 가능하게 된다.

실제 스테레오 영상은 고정 위치값을 가지고 있는 카메라로부터 획득하기 때문에 이동체를 확인할 수 있고, 지도에 맵핑이 가능하게 되는 것이다.

상기와 같이, 이동경로를 알 수 있기 때문에 예를 들어, 어린이 보호구역을 지정하거나, 신호등을 도입하기 전에 증거 데이터로 활용할 수 있게 된다.

즉, 공간 정보를 이용하여 다양한 통계 정보로 활용할 수 있는 것이다.

또한, 공간 정보를 지도와 매칭한 후, 공간 함수를 구현해서 오브젝트 트래킹이 가능하므로 이동체를 추적하는데 활용할 수 있게 된다.

상기 설정정보획득부(700)는 도 4에 도시한 바와 같이, 사용자에 의해 이동 객체를 지정하여 해당 이동 객체의 길이, 거리, 면적, 부피 등을 확인할 수 있게 된다.

이를 위하여 이동 객체의 길이, 거리, 면적, 부피 중 사용자에 의해 설정된 요청 변수정보를 획득하게 되는 것이다.

상기 요청변수분석부(800)는 설정정보획득부에 의해 획득된 요청 정보를 토대로 이동 객체의 길이, 거리, 면적, 부피 중 요청 정보에 부합되는 변수값을 분석하게 된다.

즉, 화면 상에 점과 점을 선택하고, 이를 연결하게 되면 해당 이동 객체의 길이를 구할 수 있게 되며, 거리를 구할 수 있게 되며, 면적을 계산할 수 있다.

상기 결과표출부(900)는 이동객체분석부에 의한 결과값과 요청변수분석부에 의해 분석된 변수값을 스테레오 이미지와 깊이맵으로 표출하게 된다.

즉, 도 5에 도시한 바와 같이, 이미지를 표출하게 되는 것이다.

본 발명의 구성 및 동작을 통해 스테레오 영상 내 이동객체를 3차원 영상으로 처리한 공간 정보를 실제 지도와 맵핑한 후 공간 함수를 구현하여 오브젝트 트래킹을 수행할 수 있게 되어 이동 객체의 위치, 속도, 방향, 면적, 크기, 길이 등을 계산할 수 있도록 함으로써, 장애물이 있어도 배경 객체와 관계없이 위치와 이동경로를 분석할 수 있는 효과를 제공한다.

또한, 공간 정보를 이용하여 다양한 통계가 가능하며, 사람 및 차량 등의 이동 경로를 알 수 있으므로 어린이 보호 구역, 신호등을 도입할 경우에 데이터로 활용할 수 있게 된다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 스테레오영상획득부
200 : 라인보정부
300 : 에피폴라부
400 : 깊이맵생성부
500 : 지도맵디비
600 : 이동객체분석부
700 : 설정정보획득부
800 : 요청변수분석부
900 : 결과표출부

Claims (3)

1. 스테레오 카메라를 이용한 공간분석시스템에 있어서,
   스테레오 영상을 획득하기 위한 스테레오영상획득부(100);
   좌측 영상 및 우측영상의 라인을 보정하기 위한 라인보정부(200);
   좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하기 위한 에피폴라부(300);
   좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하여 3차원 깊이 지도를 자동으로 생성하기 위한 깊이맵생성부(400);
   지도 정보를 저장하고 있는 지도맵디비(500);
   상기 지도맵디비로부터 공간 정보를 추출한 후, 공간 함수를 이용하여 실제 공간 지도에 실제 이동 객체를 맵핑하여 이동 객체의 위치, 속도, 방향을 분석하기 위한 이동객체분석부(600);
   이동 객체의 길이, 거리, 면적, 부피 중 사용자에 의해 설정된 요청 변수정보를 획득하기 위한 설정정보획득부(700);
   상기 설정정보획득부에 의해 획득된 요청 정보를 토대로 이동 객체의 길이, 거리, 면적, 부피 중 요청 정보에 부합되는 변수값을 분석하는 요청변수분석부(800);
   상기 이동객체분석부에 의한 결과값과 요청변수분석부에 의해 분석된 변수값을 스테레오 이미지와 깊이맵으로 표출하기 위한 결과표출부(900);를 포함하여 구성되는 것을 특징으로 하는 스테레오 카메라를 이용한 공간분석시스템.
   
2. 제 1항에 있어서,
   상기 이동객체분석부는,
   장애물이 있어도 배경 객체와 상관없이 이동객체의 위치, 이동 경로를 분석할 수 있는 것을 특징으로 하는 스테레오 카메라를 이용한 공간분석시스템.
   
3. 제 1항에 있어서,
   상기 이동객체분석부(600)는,
   공간 정보를 실제 지도와 맵핑한 후, 공간 함수를 구현하여 오브젝트 트래킹을 수행할 수 있는 것을 특징으로 하는 스테레오 카메라를 이용한 공간분석시스템.
   

Images