KR101942808B1

KR101942808B1 - 객체 이미지 인식 dcnn 기반 cctv 영상분석장치

Info

Publication number: KR101942808B1
Application number: KR1020180139043A
Authority: KR
Inventors: 장정훈; 전창호
Original assignee: 주식회사 인텔리빅스; 쿠도커뮤니케이션 주식회사
Priority date: 2018-11-13
Filing date: 2018-11-13
Publication date: 2019-01-29

Abstract

본 발명은 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치에 관한 것으로서, 본 발명의 실시예에 따른 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치는 비디오 제공 장치에서 제공하는 복수의 비디오 프레임 영상을 수신하여 영상처리의 부하를 줄이는 포맷으로 변환하는 영상 변환부, 및 상기의 포맷으로 변환한 복수의 비디오 프레임 영상에서 모션 추적을 위한 복수의 추적 객체에 대한 객체 이미지를 추출하여 추출한 객체 이미지를 객체 이미지 인식 방식을 사용하는 DCNN에 적용하여 적용 결과를 근거로 복수의 추적 객체를 분류하며, 분류한 복수의 추적 객체에서 지정 기준을 벗어나는 것으로 확인된 사용자 비관심 객체를 복수의 추적 객체의 대상에서 제거해 획득한 사용자 관심 객체의 추적 정보 및 지정 규칙을 근거로 이벤트를 검출하는 모션 기반 영상 분석부를 포함할 수 있다.

Description

객체 이미지 인식 DCNN 기반 CCTV 영상분석장치{Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN}

본 발명은 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치에 관한 것으로서, 더 상세하게는 가령 중앙처리장치(CPU)에서도 CCTV 영상으로부터 관심 객체들의 검출/추적이 가능하고, 이를 바탕으로 지정된 이벤트를 감지하여 경보를 주는 CCTV 영상분석장치로서, 객체 이미지 인식 DCNN(Deep Convolutional Neural Network)을 이용하여 강건하고 효율적인 영상 분석을 수행하는 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치에 관한 것이다.

최근 관공서나 기업 등에서 보안/안전을 위해 설치하는 CCTV 카메라의 수는 폭발적으로 증가하고 있다. 그러나 설치한 CCTV 카메라 수에 비해 CCTV 카메라 영상을 모니터링하는 요원의 수는 턱없이 부족한 실정이다. 이러한 문제점을 해결하기 위해 지능형 CCTV 영상 감시 시스템의 도입이 활발하게 이루어지고 있다.

지능형 CCTV 영상 감시 시스템의 핵심을 이루는 CCTV 영상분석장치는 CCTV 카메라로부터 비디오 영상을 받아 이동 객체들을 검출/추적하고, 이를 바탕으로 “금지된 구역에 침입 발생” 등과 같은 이상 상황을 자동으로 감지하여 경보를 발생시킨다. 모니터링 요원은 다수의 (무의미한) CCTV 영상을 항상 주시할 필요 없이 경보가 발생한 CCTV 영상만 확인함으로써, 다수의 CCTV 카메라 영상을 효과적으로 모니터링할 수 있다.

그러나 기존의 CCTV 영상분석장치의 대부분은 모션 기반의 객체 검출 알고리즘을 사용하는 관계로, 실제 관심 객체(예: 대표적으로 사람 및 차량)의 검출 이외에도 다양한 원인(예: 바람에 흔들리는 나뭇가지, 출렁이는 물결, 움직이는 그림자, 갑작스러운 조명 변화, 반짝이는 불빛, 눈/비 등)에 의한 객체 오검출이 빈번하게 발생한다. 이를 통해 오경보 또한 빈번하게 발생하여 효율적인 모니터링을 할 수 없게 만든다.

컴퓨터 비전(Computer Vision) 연구자들은 모션 기반의 객체 검출 기술 이외에 2000년대 중반부터 객체 형상 학습 기반의 객체 검출 기술을 발전시켜 왔다. 상기 기술에서는 특정 타입의 객체(예를 들면, 보행자)의 다양한 학습 이미지들로부터 객체 형상 특징을 추출하여 학습하고, 학습된 객체의 형상 특징과 유사한 형상 특징을 보이는 영역을 영상에서 찾음에 의해 객체 검출을 수행한다. 대표적으로 Viola-Jones, HOG, ICF, ACF, DPM 등의 객체 검출 기술이 있다. 그러나 이러한 객체 검출 기술들의 검출 성능 한계 및 처리 부하 문제로 상용 CCTV 영상분석장치에 적용하기에는 어려움이 있었다.

이런 와중에 2012년도에 캐나다 토론토 대학의 G. Hinton 교수 팀이 AlexNet이라는 DCNN을 이용하여, ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 기존의 이미지 인식 알고리즘들과는 압도적인 성능 차이로 우승을 하게 됨에 따라, 컴퓨터 비전 분야에서 딥러닝(Deep Learning) 기술이 주목을 받기 시작하였고, 그 후 딥러닝 기술을 이용하여 컴퓨터 비전의 각종 문제들을 해결하려는 시도가 이어져 왔다.

2014년부터 DCNN 기반의 객체 검출 기술들이 발표되기 시작하였다. 이들 DCNN 기반의 객체 검출 기술은 기존의 객체 검출 기술의 성능을 훨씬 뛰어 넘는 검출 성능을 제공한다. 대표적으로 Fast/Faster R-CNN, RFCN, SSD, YOLO 등의 객체 검출 기술이 있다.

그러나 DCNN 기반의 객체 검출 기술을 상용 CCTV 영상분석장치에 적용하기에는 여전히 여러 제약점들이 있다. 대표적인 제약점은 DCNN 기반의 객체 검출기를 이용해 비디오를 실시간 처리하기 위한 하드웨어 비용이 매우 높다는 점이다. 통상적인 DCNN 기반의 객체 검출기는 한 장의 비디오 프레임으로부터 객체를 검출하는 데에도 상당히 많은 연산량을 요구하기 때문에, 일반 CPU에서 DCNN 기반의 객체 검출기를 이용하여 비디오를 실시간으로 처리(예: 통상적으로 초당 7 프레임 이상 객체 검출 수행 필요)하기에는 매우 어렵다. 따라서 DCNN 기반의 객체 검출기를 이용하여 비디오를 실시간으로 처리하려면, 대규모 병렬 연산이 가능한 GPU가 반드시 요구된다. 또한 GPU를 사용한다 하더라도, 성능이 우수한 고가의 GPU를 사용하지 않는 이상 하나의 영상분석장치에서 여러 개의 비디오 스트림을 동시에 실시간 처리하기는 어렵다.

한국등록특허공보 제10-1040049호(2011.06.02.) 한국등록특허공보 제10-1173853호(2012.08.08.) 한국등록특허공보 제10-1178539호(2012.08.24.) 한국등록특허공보 제10-1748121호(2017.06.12.) 한국등록특허공보 제10-1789690호(2017.10.18.) 한국등록특허공보 제10-1808587호(2017.12.07.) 한국공개특허공보 제10-2018-0072561호(2018.06.29.) 한국등록특허공보 제10-1850286호(2018.04.13.) 한국공개특허공보 제10-2018-0107930호(2018.10.04.)

"Pedestrian Detection: An Evaluation of the State of the Art"IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, Issue 4, April 2012 "Efficient Processing of Deep Neural Networks: A Tutorial and Survey", Proceedings of the IEEE, Vol. 105, Issue 12, Dec. 2017 "Object Detection with Deep Learning: A Review"arXiv.org, arXiv:1807.05511 [cs.CV], Jul. 2018

본 발명의 실시예는, 가령 중앙처리장치(CPU)에서도 CCTV 영상으로부터 관심 객체들의 검출/추적이 가능하고, 이를 바탕으로 지정된 이벤트를 감지하여 경보를 주는 CCTV 영상분석장치로서, 객체 이미지 인식 DCNN을 이용하여 강건하고 효율적인 영상 분석을 수행하는 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치를 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치는, 영상 내의 객체에 대한 인식결과를 제공해주는 DCNN(Deep Convolutional Neural Network)을 이용해 영상 분석을 수행하는 이미지 인식 DCNN 기반 CCTV 영상분석장치로서, 제1 픽셀 포맷, 제1 해상도 및 제1 프레임률(frame rate)을 갖는 복수의 제1 비디오 프레임으로 구성되는 제1 영상 데이터를 비디오 제공 장치로부터 수신하며, 상기 수신한 제1 영상 데이터의 상기 제1 해상도, 상기 제1 프레임률 및 상기 제1 픽셀 포맷을 각각 상기 제1 해상도보다 낮은 제2 해상도, 상기 제1 프레임률보다 낮은 제2 프레임률 및 상기 제1 픽셀 포맷(pixel format)과 다른 형식을 갖는 이종의 제2 픽셀 포맷의 제2 영상 데이터로 변환하는 영상 변환부 및 상기 변환한 제2 영상 데이터의 비디오 프레임에서 모션(motion) 기반으로 복수의 이동 객체의 검출 및 추적을 수행하고, 상기 복수의 추적중인 객체의 이미지를 각각 추출하며, 상기 추출한 객체 이미지를 상기 DCNN에 입력하여 얻은 인식 결과를 이용하여 상기 복수의 추적 객체를 구분하며, 상기 구분한 복수의 추적 객체에서 지정 기준을 벗어나는 사용자 비관심 객체를 확인하여 상기 확인한 사용자 비관심 객체를 상기 복수의 추적 객체의 대상에서 제거하여 획득되는 사용자 관심 객체의 추적 정보 및 지정 규칙을 근거로 이벤트를 검출하는 모션 기반 영상 분석부;를 포함하되, 상기 영상 변환부는 상기 제1 프레임률에 따라 입력되는 상기 복수의 비디오 프레임을 수신하는 비디오 프레임 획득부, 상기 입력된 복수의 제1 비디오 프레임보다 적은 수의 비디오 프레임을 샘플링하여 복수의 제2 비디오 프레임을 생성하는 비디오 프레임 서브샘플링부, 상기 생성한 복수의 제2 비디오 프레임을 상기 제2 해상도로 변환하는 비디오 프레임 스케일링부 및 상기 제2 해상도로 변환된 상기 복수의 제2 비디오 프레임의 상기 제1 픽셀 포맷을 상기 제2 픽셀 포맷으로 변환하여 생성한 상기 제2 영상 데이터를 상기 모션 기반 영상 분석부로 제공하는 픽셀 포맷 변환부를 포함한다.

상기 모션 기반 영상 분석부는 상기 제2 영상 데이터와 학습된 배경 영상을 이용하여 차 영상(difference image)을 생성하고, 상기 생성한 차 영상에서 노이즈를 제거하여 상기 복수의 이동 객체에 대한 모션 영역을 검출하는 모션 영역 검출부, 상기 검출한 모션 영역과 상기 제2 영상데이터를 이용하여 상기 복수의 이동 객체를 검출하고 추적하는 객체 추적부, 상기 복수의 제2 비디오 프레임 중 하나의 비디오 프레임에서 추출한 상기 복수의 추적 객체의 객체 이미지를 상기 DCNN에 적용해 얻은 제1 인식결과 및 상기 복수의 제2 비디오 프레임 중 상기 하나의 비디오 프레임과 일정 시간 간격을 두고 입력된 적어도 하나의 다른 비디오 프레임에서 추출한 상기 복수의 추적 객체의 객체 이미지를 상기 DCNN에 적용해 얻은 제2 인식결과를 근거로 상기 복수의 추적 객체를 구분하는 추적 객체 분류부, 상기 구분한 복수의 추적 객체 중에서 지정 기준에 벗어나는 사용자 비관심 객체를 확인하여 상기 확인한 사용자 비관심 객체를 상기 객체 추적부의 상기 복수의 추적 객체의 대상에서 제거하는 비관심 추적 객체 제거부 및 상기 제거에 따라 획득되는 사용자 관심 객체의 추적 정보가 지정 규칙을 만족하는 이벤트를 검출하는 관심 추적 객체 기반 이벤트 검출부를 포함할 수 있다.

상기 추적 객체 분류부는 추적 객체 분류부는, 상기 제1 인식결과 및 상기 제2 인식결과를 점수로 각각 계산 및 누적하여 누적 점수가 가장 높은 유형(class)을 추적 객체의 유형으로 확정할 수 있다.

상기 비관심 추적 객체 제거부는 상기 확정된 유형의 객체에서 상기 지정 기준을 벗어나는 사용자 비관심 추적 객체를 확인하여 상기 복수의 추적 객체의 대상에서 제거할 수 있다.

상기 영상 변환부는 휘도신호(Y), 적색신호의 차(U) 및 휘도신호와 청색성분의 차(V)의 픽셀 포맷을 갖는 상기 제1 픽셀 포맷을 RGB(Red-Green-Blue) 또는 그레이스케일(Gray-Scale) 픽셀 포맷을 갖는 상기 제2 픽셀 포맷으로 변환할 수 있다.

또한, 본 발명의 실시예에 따른 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치의 구동방법은, 영상 내의 객체에 대한 인식결과를 제공해주는 DCNN(Deep Convolutional Neural Network)을 이용해 영상 분석을 수행하는 이미지 인식 DCNN 기반 CCTV 영상분석장치의 구동방법으로서, 제1 픽셀 포맷, 제1 해상도 및 제1 프레임률(frame rate)을 갖는 복수의 제1 비디오 프레임으로 구성되는 제1 영상 데이터를 비디오 제공 장치로부터 수신하며, 상기 수신한 제1 영상 데이터의 상기 제1 해상도, 상기 제1 프레임률 및 상기 제1 픽셀 포맷을 각각 상기 제1 해상도보다 낮은 제2 해상도, 상기 제1 프레임률보다 낮은 제2 프레임률 및 상기 제1 픽셀 포맷(pixel format)과 다른 형식을 갖는 이종의 제2 픽셀 포맷의 제2 영상 데이터로 변환하는 단계, 및 상기 변환한 제2 영상 데이터의 비디오 프레임에서 모션(motion) 기반으로 복수의 이동 객체의 검출 및 추적을 수행하고, 상기 복수의 추적중인 객체의 이미지를 각각 추출하며, 상기 추출한 객체 이미지를 상기 DCNN에 입력하여 얻은 인식 결과를 이용하여 상기 복수의 추적 객체를 구분하며, 상기 구분한 복수의 추적 객체에서 지정 기준을 벗어나는 사용자 비관심 객체를 확인하여 상기 확인한 사용자 비관심 객체를 상기 복수의 추적 객체의 대상에서 제거하여 획득되는 사용자 관심 객체의 추적 정보 및 지정 규칙을 근거로 이벤트를 검출하는 단계를 포함하되,

상기 변환하는 단계는 상기 제1 프레임률에 따라 입력되는 상기 복수의 비디오 프레임을 수신하는 단계, 상기 입력된 복수의 제1 비디오 프레임보다 적은 수의 비디오 프레임을 샘플링하여 복수의 제2 비디오 프레임을 생성하는 단계, 상기 생성한 복수의 제2 비디오 프레임을 상기 제2 해상도로 변환하는 단계, 및 상기 제2 해상도로 변환된 상기 복수의 제2 비디오 프레임의 상기 제1 픽셀 포맷을 상기 제2 픽셀 포맷으로 변환하여 생성한 상기 제2 영상 데이터를 상기 모션 기반 영상 분석부로 제공하는 단계를 포함한다.

본 발명의 실시예에 따르면, 기존의 모션 기반의 객체 검출 알고리즘을 사용하는 CCTV 영상분석장치의 문제점을 DCNN 기반 이미지 인식 기술을 활용하여 개선하되, 일반적인 CPU가 내장된 장치에서도 DCNN 기반 영상 분석이 가능하게 됨으로써 기존 고가의 장비 구입에 들던 비용을 절약할 수 있을 것이다.

또한, 딥러닝이 적용된 DCNN 기반 이미지 인식 기술을 활용함으로써 객체 검출의 정확도가 증대되어 이벤트 검출에 따른 경보 발송이 정확해지게 될 것이다.

도 1은 본 발명의 일 실시예에 따른 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치의 구성도,
도 2는 본 발명의 일 실시예에 따른 모션 영역 검출부의 처리 과정 및 결과를 보여주는 예시도,
도 3은 본 발명의 일 실시예에 따른 객체 추적부의 처리 과정 및 결과를 보여주는 예시도,
도 4는 본 발명의 일 실시예에 따른 추적 객체 분류부의 처리 과정을 설명하는 도면,
도 5는 주어진 이미지를 사람, 차량, 미확인 클래스 중 하나로 분류하는 객체 이미지 인식 DCNN을 학습하기 위한 샘플 이미지들의 예시도,
도 6은 본 발명의 일 실시예에 따른 추적 객체 분류부를 통해 추적 객체들을 분류한 예시도,
도 7은 본 발명의 일 실시예에 따른 비관심 추적 객체 제거부의 처리 결과를 보여주는 예시도,
도 8은 본 발명의 일 실시예에 따른 관심 추적 객체 기반 이벤트 검출부의 처리 결과를 보여주는 예시도,
도 9은 본 발명의 일 실시예에 따른, N대의 CCTV 카메라 영상을 동시에 실시간 분석하기 위한 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치의 구성도,
도 10은 본 발명의 일 실시예에 따른, CCTV 관제 센터 등에서 대규모로 영상 분석을 수행하기 위한 객체 이미지 인식 DCNN 기반 CCTV 영상 분석 시스템의 구성도,
도 11은 본 발명의 다른 실시예에 따른 영상분석장치의 구조를 나타내는 블록다이어그램, 그리고
도 12는 본 발명의 실시예에 따른 영상분석장치의 구동과정을 나타내는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른, 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치의 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일시예에 따른 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치(혹은 영상분석장치)(100)는 영상 변환부(혹은 영상획득부)(121), 모션 기반 영상 분석부(122) 및 객체 이미지 인식 DCNN(부)(108)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 객체 이미지 인식 DCNN(108)과 같은 일부 구성요소가 생략되어 CCTV 영상분석장치(100)가 구성되거나 모션 기반 영상 분석부(122)와 같은 일부 구성요소가 영상 변환부(121)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분히 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

영상 변환부(121)는 모션 기반 영상 분석부(122)가 사용할 영상 데이터를 취득한다. 가령, 영상 변환부(121)는 통신사의 통신망을 경유하여 CCTV가 제공하는 영상 데이터나 관공서 등의 서버에서 제공하는 영상 데이터를 취득할 수 있다. 모션 기반 영상 분석부(122)는 영상 변환부(121)가 제공하는 영상 데이터를 입력 받아 모션 및 DCNN 기반 영상 분석을 수행한다. 여기서, "영상 데이터"는 영상 신호를 의미할 수 있지만, 비디오 데이터를 의미할 수도 있다. 통상적으로 영상 신호는 비디오 신호와 음성 신호를 포함하고, 부가정보(예: 부호화정보, 자막정보 등)를 더 포함할 수 있는데, 이때 비디오 신호는 비디오 데이터를 나타낸다. 다만, 영상 처리에서는 비디오 신호의 처리가 중점적으로 다루어지는 관계로 당업자들을 영상 데이터와 비디오 데이터를 혼용하는 경향을 보이기도 한다. 따라서, 본 발명의 실시예에서는 위의 용어의 개념에 특별히 한정하지는 않을 것이다. 다시 말해, 영상 데이터와 비디오 데이터를 거의 동일 개념으로 사용할 수도 있다.

다만, 영상 데이터는 일련의 단위 프레임 영상을 포함한다. 다시 말해, 일련의 비디오 프레임으로 구성된다. 가령 프레임률이 60FPS(Frames Per Second)라 하면, 1초당 60장의 정지 영상 즉 단위 프레임 영상이 송수신되거나 하는 것을 의미한다. 따라서, 비디오 프레임, 프레임 비디오 또는 단위 프레임이라는 것은 거의 유사한 개념으로 사용되지만, 그 지칭하는 대상이 프레임이나 아니면 데이터냐에 따라 사용하는 용어는 조금 상이할 수 있다. 물론 통신 과정에서 이러한 단위 프레임 영상은 시리얼 데이터를 형성하므로, 영상 데이터는 단위 프레임 영상을 구성하는 픽셀의 화소값들이 시리얼로 이루어진 데이터라 볼 수도 있다. 그러나, 본 발명의 실시예에서는 위의 용어들이 당업자에게 다양하게 혼용되어 사용되므로 그 개념에 특별히 한정하지는 않을 것이다. 다만, 구분이 필요한 경우에는 명확히 구분하여 사용한다.

영상 변환부(121)는 비디오 프레임 획득부(101), 비디오 프레임 서브샘플링부(102), 비디오 프레임 스케일링부(103) 및 픽셀 포맷 변환부(104)의 일부 또는 전부를 포함할 수 있으며, 또한 모션 기반 영상 분석부(122)는 모션영역 검출부(105), 객체 추적부(106), 추적 객체 분류부(107), 비관심 추적 객체 제거부(109), 관심 추적 객체 기반 이벤트 검출부(110)의 일부 또는 전부를 포함할 수 있다. 여기서, "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다.

비디오 프레임 획득부(101)는 영상분석장치(100)에 연결된 CCTV 카메라, 비디오 스트리밍 서버 등과 같은 비디오 제공 장치로부터 비디오 프레임 데이터를 지속적으로 획득한다. 일례로 영상분석장치(100)에 연결된 비디오 제공 장치가 IP 카메라인 경우, 비디오 프레임 획득부(101)는 IP 카메라로부터 인코딩된 비디오 스트림 데이터를 수신 및 디코딩하여, YUV 픽셀 포맷(예: YV12 픽셀 포맷)의 비디오 프레임 데이터(혹은 프레임 비디오 데이터)를 지속적으로 획득한다. 여기서, YUV(예: 16비트)는 휘도신호(Y)와 적색신호의 차(U), 휘도신호와 청색성분의 차(V)의 3가지 정보로 색을 나타내는 형식이다. Y 성분은 오차에 민감하므로 색상 성분인 U와 V보다 많은 비트를 코딩하며, Y:U:V의 비율은 일반적으로 4:2:2이므로 YUV422로도 불리운다. 또한 적색 성분과 청색 성분을 이용하므로 색상을 지칭하는 크로마(Chroma)와 합쳐져 Chroma Red, Chroma Blue의 약어를 이용하여 YcrCb로도 불리운다.

비디오 프레임 서브샘플링부(102)는 비디오 프레임 획득부(101)가 획득한 (비디오)프레임들로부터 영상 분석에 사용될 프레임들을 서브샘플링(Subsampling)한다. 일례로 영상분석장치(100)에 입력되는 비디오의 프레임 레이트(Frame Rate)즉 프레임률을 30FPS이고, 영상 분석 프레임 레이트가 6FPS로 설정되어 있으면, 비디오 프레임 서브샘플링부(102)는 입력 비디오로부터 매 5 프레임마다 1 프레임씩 비디오 프레임을 취득한다.

입력 비디오의 모든 프레임을 영상 분석에 사용하지 않고 서브샘플링한 프레임(혹은 복수의 제2 비디오 프레임)을 사용하는 이유는, 입력 비디오의 모든 프레임을 사용하는 경우 영상분석장치의 처리 부하는 매우 커지는 반면 그 효과(예: 객체 추적 성능 향상 등)는 통상적으로 작기 때문이다. 통상적인 CCTV 영상에서 보행자나 차량 객체를 추적하는 데 있어서 6~10FPS 정도면 충분하다.

비디오 프레임 스케일링부(103)는 비디오 프레임 서브샘플링부(102)가 획득한 비디오 프레임의 크기(예: 해상도)를 지정된 크기로 스케일링(Scaling)한다. 통상적으로 비디오 프레임 스케일링부(103)는 고해상도의 입력 영상을 저해상도로 줄이는 역할을 한다. 일례로 비디오 프레임 획득부(101)가 획득한 비디오 프레임의 해상도가 1920x1080의 고해상도이고, 영상 분석부(122)에서 사용할 영상의 해상도가 640x480으로 설정되어 있으면, 비디오 프레임 스케일링부(103)는 1920x1080 해상도의 입력 영상으로부터 픽셀 서브샘플링 및 선형 보간(Linear Interpolation) 등을 통해 640x480 해상도의 영상을 생성한다.

영상 분석시 원 고해상도의 영상을 사용하지 않고 축소된 저해상도의 영상을 사용하는 이유는, 고해상도의 영상을 그대로 사용할 경우 영상분석장치의 처리 부하는 매우 커지는 반면 그 효과(예: 객체 검출 성능 향상 등)는 통상적으로 작기 때문이다. 원거리 감시 환경에서 원거리 소형 객체를 감지하려면 고해상도의 입력 영상을 축소하지 않고 그대로 처리하는 것이 필요할 수도 있으나, 통상적인 근거리 감시 환경에서는 고해상도 입력 영상을 축소하여 사용해도 객체 검출률에는 별 영향이 없으며, 반면 영상분석장치의 처리 부하는 훨씬 줄어드는 이득이 있다.

픽셀 포맷 변환부(104)는 비디오 프레임 스케일링부(103)를 통해 스케일링이 된 YUV 픽셀 포맷의 영상을 영상 분석부(122)에서 사용할 수 있는 픽셀 포맷인 RGB 픽셀 포맷이나 그레이스케일(Gray-Scale) 픽셀 포맷으로 변환한다.

모션 영역 검출부(105)는 주기적으로 학습한 배경 영상과 입력 영상의 차(혹은 차 영상)를 통해 기본적인 모션 영역을 구하고(혹은 인식하고), 각종 노이즈 모션 픽셀 제거 방법 및 모폴로지 필터링(Morphology Filtering)에 의한 최종적인 모션 영역을 검출한다. 도 2는 모션 영역 검출부(105)의 처리 과정 및 결과를 보여주는 예로, 입력 영상(201), 학습한 배경 영상(202), 입력 영상과 배경 영상의 차에 의한 기본 모션 영역 검출 결과(203), 노이즈 전경 픽셀 제거 및 모폴로지 필터링에 의한 최종 모션 영역 검출 결과(204)의 예이다.

객체 추적부(106)는 도 2의 입력 영상(201) 및 최종 모션 영역 검출 결과(204)를 이용하여 다중(혹은 복수의) 객체 추적을 수행한다. 구체적으로 객체 추적부(106)는 신규 객체 검출, 매칭에 의한 프레임 간 객체 추적, 추적 객체의 템플리트 이미지(Template Image) 및 바운딩 박스 좌표 업데이트, 추적 객체 목록 관리, 추적 객체 별 궤적 관리 등을 수행한다. 도 3은 도 1의 객체 추적부(106)의 처리 과정 및 결과를 보여주는 예로, 몇몇 추적 객체들의 템플리트 이미지(301) 및 객체 검출/추적 결과(302)의 예이다. 도 3의 객체 검출/추적 결과(302)의 예에서, 관심 객체인 사람 객체 이외에 다수의 무의미한 객체들(예: 바람에 흔들리는 나뭇가지들의 모션에 의해 검출된 객체들)이 검출된 것을 볼 수 있다.

추적 객체 분류부(107)는 추적 중인 객체들에 대해 객체 이미지 인식 DCNN(108)을 이용하여 객체 분류를 수행한다. 추적 객체 분류부(107)와 관련한 자세한 내용은 이후에 도 4 내지 도 6을 참조하여 좀더 살펴보기로 한다.

또한, 비관심 추적 객체 제거부(109)는 비관심 클래스(class, 부류, 계층)로 분류된 추적 객체들을 객체 추적부(106)의 추적 객체 목록에서 제거한다.

관심 추적 객체 기반 이벤트검출부(110)는 관심 클래스의 객체들의 추적 정보를 이용하여 지정된 규칙을 만족하는 이벤트를 검출한다.

도 4는 도 1의 추적객체 분류부의 처리 과정을 설명하기 위한 도면이다.

설명의 편의상 도 4를 도 1과 함께 참조하면, 도 4의 예에서와 같이 도 1의 객체 이미지 인식 DCNN(108)은 크기가 정규화된 객체 이미지를 입력으로 받아 “사람”, “차량”, “미확인” 클래스 중 하나로 인식하는 심층 신경망이다. 가령, 객체 이미지가 입력되면, 객체 이미지 인식 DCNN(108)은 입력된 객체 이미지를 기저장한 이미지들(예: 샘플 이미지 혹은 이미지 데이터)과 비교하여 그에 대한 인식 결과를 제공해 줄 수 있다.

이에 도 1의 추적 객체 분류부(107)는 추적 중인 각 객체에 대해, 입력 영상으로부터 객체 바운딩 박스 영역에 해당하는 이미지 패치(Image Patch)(혹은 객체 이미지)를 획득하고, 이미지 패치의 크기를 정규화한 다음, 객체 이미지 인식 DCNN(108)을 통해 인식을 시도한다.

추적 객체 분류부(107)는 보다 정확한 객체 분류를 수행하기 위해 DCNN 인식을 단 한 번만 시도하는 것이 아니라 주기적으로 여러 번 시도를 한다. 도 4의 401의 예와 같이, 객체 바운딩 박스의 감지 상태에 따라 특정 시점에서 얻은 DCNN 인식 결과는 불안정한 인식 결과일 수도 있기 때문이다.

구체적으로 추적 객체 분류부(107)는 도 4와 같이 특정 추적 객체에 대해 지정된 주기 P마다 입력 영상으로부터 객체의 이미지(혹은 이미지 패치)를 획득하여 DCNN 인식을 시도하고, DCNN 인식 결과를 클래스 별로 누적한 다음, 현재 프레임에서 누적 점수가 가장 높은 클래스를 그 추적 객체의 클래스로 확정한다. 가령, 도 4에서 볼 때 7개의 단위 프레임이 일정 시간 간격으로 입력되면, 입력된 첫번째, 세번째, 다섯번째 및 일곱번째의 단위 프레임에서 동일 객체에 대한 객체 이미지 패치를 각각 획득하여 DCNN을 주기적, 즉 일정시간 간격을 주기로 적용할 수 있다.

위의 주기 P 값은 통상적으로 0.5초~1초가 적당하다. P 값이 작을수록 영상분석장치(100)의 처리 부하가 증가하고, P 값이 클수록 객체 분류 성능이 떨어질 수 있다. 그리고 객체의 이미지 패치를 획득할 때, 원 해상도의 영상(즉, 도 1의 비디오 프레임 서브샘플링부(102)에서 얻은 비디오 프레임)으로부터 획득하는 것이 바람직하다. 이는 축소가 된 이후의 영상으로부터 객체의 이미지 패치를 얻을 경우, 질이 저하되어 인식하기 어려운 이미지 패치를 얻을 수도 있기 때문이다.

주기적으로 수행하는 DCNN 인식 시도 횟수는 총 N회로 한정 지을 수 있다. 이는 장시간 추적하는 객체에 대하여 쓸데 없이 DCNN 인식 시도를 계속 하는 것을 방지하기 위함이다.

도 5는 주어진 이미지를 사람(a), 차량(b), 미확인(c) 클래스 중 하나로 분류하는 객체 이미지 인식 DCNN을 학습하기 위한 샘플 이미지들의 예이다.

설명의 편의상 도 5를 도 1과 함께 참조하면, 도 5의 예에서와 같이 특히 “사람” 객체의 학습 데이터의 경우, 사람의 전신 이미지 이외에 사람의 부분 이미지나 두 명 이상의 사람이 포함된 이미지도 학습 샘플에 포함되어 있음에 주목할 필요가 있다. 이는 도 1의 모션 기반 영상 분석부(122)에 의해 검출된 사람 객체 영역의 경우, 사람의 전신뿐만 아니라 사람의 일부분 또는 두 명 이상의 사람이 포함되는 경우도 자주 발생하기 때문이다.

도 1의 객체 이미지 인식 DCNN(108)의 모델로, 현재까지 제안된 다양한 형태의 DCNN 모델이 사용될 수 있다. 대표적으로 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 우승한 적이 있는 AlexNet, VGGNet, GoogLeNet, ResNet 모델 등이 있다. 실제로 사용할 DCNN 모델 선택 시 단순히 DCNN의 인식 성능만 고려해서는 문제가 있다. 통상적으로 DCNN의 처리 시간(Inference Time) 및 용량(예: 파라미터 수)과 DCNN의 인식 성능 사이에는 트레이드-오프(trade-off) 관계가 있기 때문이다. 최근에 인식 성능은 기존 DCNN 모델과 유사하면서 처리 시간이나 파라미터 수를 획기적으로 줄인 DCNN 모델들이 발표되고 있는데, 예를 들면 스퀴즈넷(SqueezeNet)이나 모바일넷(MobileNet) 등을 들 수 있다.

도 6은 도 1의 추적 객체 분류부를 통해 추적 객체들을 분류한 예이고, 도 7은 도 1의 비관심 추적 객체 제거부의 처리 결과를 보여주는 예이며, 도 8은 도 1의 관심 추적 객체 기반 이벤트 검출부의 처리 결과를 보여주는 예이다.

도 6에서 볼 때, 실제 사람 객체 이외에 나머지 오검출된 객체들을 모두 “미확인(Unknown)”으로 정상 분류한 것을 볼 수 있다.

또한, 도 7에서는 “미확인” 클래스를 비관심 클래스로 지정했을 때, 도 6의 객체 분류 결과로부터 비관심 추적 객체 제거부(109)의 처리 결과를 보여준다.

도 8에서는 “사람” 객체가 지정된 영역에 침입하는 이벤트를 검출하는 예를 잘 보여주고 있다.

도 9는 본 발명의 일 실시예에 따른, N대의 CCTV 카메라 영상을 동시에 실시간 분석하기 위한 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치의 구성도이다.

도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 CCTV 영상분석장치(900)는 N개의 비디오 스트림을 동시에 처리하기 위한 N개의 비디오 채널 처리부(901), 객체 이미지 인식 처리부(902) 및 객체 이미지 인식 DCNN(108)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다.

비디오 채널 처리부(901)는 도 1의 영상 변환부(121)와 모션 기반 영상 분석부(122)의 일부 또는 전부를 포함할 수 있다. N개의 비디오 채널 처리부(901) 및 객체 이미지 인식 처리부(902)는 통상적으로 영상분석장치(900)의 CPU 상에서 동작한다. 반면 객체 이미지 인식 DCNN(108)은 고속 동작을 위해 대규모 병렬 연산이 가능한 GPU 상에서 동작할 수 있다.

N개의 비디오 채널 처리부(901)는 N개의 객체 이미지 인식 DCNN을 각각 사용하는 것이 아니라, 한 개의 객체 이미지 인식 DCNN(108)을 “공유”하여 사용한다. 한 개의 DCNN을 구동하기 위해 통상적으로 많은 시스템 메모리가 요구되는데, N개의 비디오 채널 처리부(901)가 개별적으로 DCNN을 메모리에 올려서 사용할 경우, N의 값이 커짐에 따라 메모리 부족 문제가 발생할 수 있기 때문이다.

N개의 비디오 채널 처리부(901) 내에 있는 각 모션 기반 영상 분석부(122)는 도 4에서 기술한 방식과 동일한 방식으로 추적 객체들의 분류 작업을 수행하기 위해, 추적 객체의 정규화된 객체 이미지 패치와 인식 요청 메시지를 주기적으로 객체 이미지 인식 처리부(902)에 전달한다. 상기의 인식 요청 메시지들은 객체 이미지 인식 처리부(902)의 요청 메시지 큐(Queue)에 순차적으로 저장된다. 객체 이미지 인식 처리부(902)는 요청 메시지 큐에 인식 요청 메시지가 있는 것을 발견하는 즉시 요청 메시지를 큐로부터 꺼내 처리한다. 즉, 객체 이미지 인식 처리부(902)는 인식 요청 메시지와 함께 전달받은 정규화된 객체 이미지 패치를 객체 이미지 인식 DCNN(108)에 입력하여 객체 이미지 인식 결과를 획득하고, 인식 요청을 한 해당 모션 기반 영상 분석부(122)로 객체 이미지 인식 결과를 전달한다. 해당 모션 기반 영상 분석부(122)는 객체 이미지 인식 결과를 받아 도 4와 같이 객체 분류 작업을 수행한다.

도 10은 본 발명의 일 실시예에 따른, CCTV 관제 센터 등에서 대규모로 영상 분석을 수행하기 위한 객체 이미지 인식 DCNN 기반 CCTV 영상분석 시스템의 구성도이다.

대규모의 영상분석 시스템을 구축하기 위해 단순히 도 9에서 제시한 다수의 영상분석장치(900)를 이용하여 시스템을 구성할 수도 있다. 그러나 관제 센터에서 사용 가능한 고성능 GPU는 통상적으로 매우 고가이므로, 개별 영상분석장치마다 GPU를 설치하여 사용하기에는 비용적인 문제가 발생한다.

상기의 문제를 해결하기 위해 본 발명의 실시예에서는 도 10과 같이 통상적인 비디오 채널 처리는 GPU가 탑재되어 있지 않은 다수의 영상 분석 서버(1001)가 수행하고, DCNN 기반의 객체 이미지 인식은 고성능 GPU가 탑재된 소수의 객체 이미지 인식 서버(1002)가 수행하도록 영상분석 시스템(1000)을 구성할 수 있다. 영상 분석 서버(1001)는 객체 이미지 인식 서버(1002)와 고속의 네트워크 통신을 수행한다.

영상 분석 서버(1001)의 비디오 채널 처리부는 도 4와 동일한 방식으로 추적 객체들의 분류 작업을 수행하기 위해, 추적 객체의 정규화된 객체 이미지 패치와 인식 요청 메시지를 주기적으로 객체 이미지 인식 서버(1002)에 전달한다. 이때 객체 이미지 패치 데이터는 JPEG 등의 형식으로 압축하여 전달한다. 상기의 인식 요청 메시지들은 객체 이미지 인식 서버(1002)의 객체 이미지 인식 처리부(1003)의 요청 메시지 큐(Queue)에 순차적으로 저장된다. 객체 이미지 인식 처리부(1003)는 요청 메시지 큐에 인식 요청 메시지가 있는 것을 발견하는 즉시 요청 메시지를 큐로부터 꺼내 처리한다. 즉, 객체 이미지 인식 처리부(1003)는 인식 요청 메시지와 함께 전달받은 압축된 객체 이미지 패치 데이터를 디코딩한 후, 객체 이미지 인식 DCNN(108)에 입력하여 객체 이미지 인식 결과를 획득한다. 객체 이미지 인식 처리부(1003)는 인식 요청을 한 영상 분석 서버(1001)의 비디오 채널 처리부로 객체 이미지 인식 결과를 전달한다. 영상 분석 서버(1001)의 비디오 채널 처리부는 객체 이미지 인식 결과를 받아 도 4와 같이 객체 분류 작업을 수행하는 것이다.

도 11은 본 발명의 또 다른 실시예에 따른 영상분석장치의 구조를 나타내는 블록다이어그램이다.

도 11에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따른 영상분석장치(1100)는 통신 인터페이스부(1110), 제어부(1120), DCNN기반 영상분석부(1130) 및 저장부(1140)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 통신 인터페이스부(1110)나 저장부(1140)와 같은 일부 구성요소가 생략되어 영상분석장치(1100)가 구성되거나 DCNN기반 영상분석부(1130)와 같은 일부 구성요소가 제어부(1120)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신 인터페이스부(1110)는 통신사의 통신망을 경유하여 CCTV와 통신을 수행하고, 이의 과정에서 변/복조 등의 동작을 수행할 수 있다.

제어부(1120)는 도 11의 영상분석장치(1100)를 구성하는 통신 인터페이스부(1110), DCNN기반 영상분석부(1130) 및 저장부(1140)의 전반적인 제어 동작을 담당한다. 가령, 제어부(1120)는 통신 인터페이스부(1110)를 통해 제공되는 CCTV의 촬영영상을 DCNN기반 영상분석부(1130)에 제공할 수 있다.

DCNN기반 영상분석부(1130)는 앞서 도 1 내지 도 10을 참조하여 설명한 바 있는 본 발명의 실시예에 관련되는 영상분석 동작을 수행할 수 있다. 대표적으로는 수신된 프레임 영상의 프레임률을 변환하거나 단위 프레임 영상을 랜덤하게 취득하며, 본 발명의 실시예에서는 이를 서브샘플링이라 명명한 바 있다. 또한, 서브샘플링을 통해 취득된 단위 프레임 영상의 해상도를 고해상도에서 저해상도로 변환한다. 그리고, 수신된 프레임 영상의 포맷을 변환할 수 있다.

또한, DCNN기반 영상분석부(1130)는 포맷이 변환된 서브샘플링된 프레임 영상에서 객체 이미지 패치를 추출하여 DCNN기반으로 객체 이미지를 인식시켜 객체를 정확히 분류하고, 이때 비관심 추적 객체는 제거 즉 필터링한다. DCNN기반 영상분석부(1130)는 이와 같이 제거 동작을 통해 관심 추적 객체에 대하여만 이벤트를 검출하게 되는 것이다. 그리고, 그 이벤트를 근거로 경보를 출력할 수 있다.

상기한 내용들 이외에, 도 11의 통신 인터페이스부(1110), 제어부(1120), DCNN기반 영상분석부(1130) 및 저장부(1140)와 관련해서는 앞서 충분히 설명하였으므로, 자세한 내용은 그 내용들로 대신하고자 한다.

한편, 본 발명의 또 다른 실시예로서 도 11의 제어부(1120)는 CPU와 메모리를 포함할 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함할 수 있고, 메모리는 램을 포함할 수 있다. 여기서, CPU는 도 9에서의 CPU를 의미할 수도 있다. 제어회로는 제어동작을 담당하고, 연산부는 비트연산을 수행하며, 명령어해석부는 기계어를 해석해 어떠한 명령인지를 판단할 수 있다. 레지스트리는 데이터의 일시 저장에 관여할 수 있다. 제어부(1120)는 통상 원칩(One-chip)으로 구성될 수 있다. 따라서, CPU는 영상분석장치(1100)의 동작 초기에 도 11의 DCNN기반 영상분석부(1130)에 저장된 프로그램을 복사하여 메모리에 로딩하고 이를 실행시킴으로써 CPU의 연산 처리 속도를 빠르게 증가시킬 수 있을 것이다.

도 12는 본 발명의 실시예에 따른 영상분석장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상 도 12를 도 11과 함께 참조하면, 본 발명의 실시예에 따른 영상분석장치(1100)는 비디오 제공 장치(예: CCTV 등)에서 제공하는 영상, 즉 복수의 비디오 프레임 영상을 수신하여 영상처리의 부하를 줄이는 포맷으로 변환한다(S1200). 여기서, 포맷은 앞서의 제1 포맷을 의미한다기보다는 수신된 비디오 영상과 다른 형태의 비디오 영상으로 변환한다고 이해하는 것이 좋다. 따라서, 이를 위하여 영상분석장치(1100)는 앞서와 같이 해상도를 입력 영상보다 저해상도로, 그리고 처리해야하는 영상은 더 적게, 그리고 가급적 RGB나 G-scale 픽셀 포맷의 비디오 영상으로 변환하는 것이 바람직하다. 이는 어디까지나 일반적인 CPU 환경에서도 CCTV의 영상을 통해 분석이 가능하고, 이를 통해 관제요원 등이 관제를 수행할 수도 있도록 하기 위한 것이라 볼 수 있다.

이어, 영상분석장치(1100)는 포맷이 변환된 복수의 비디오 프레임 영상에서 모션 추적을 위한 복수의 객체 객체에 대한 객체 이미지를 추출하여, 추출한 객체 이미지를 객체 이미지 인식 방식을 사용하는 DCNN에 적용하여 적용 결과를 근거로 복수의 추적 객체를 분류하고, 분류한 복수의 추적 객체에서 지정 기준을 벗어나는 사용자 비관심 객체를 제거해 획득하는 사용자 관심 객체의 추적 정보 및 지정 규칙을 근거로 이벤트를 검출한다(S1210).

가령, DCNN은 샘플 이미지를 저장하고 이를 활용해 입력된 객체 이미지의 인식 결과를 제공해 줄 수 있다. 또한, 학습에 의해 적용 결과를 누적하여 누적 결과를 생성하고 누적 결과 높은 클래스를 최종적으로 추적 객체로 확정한다. 예를 들어, 사람 객체에 대한 누적 결과가 2점이고, 미확인 1점이라면 해당 프레임 구간에서는 사람 객체로 확정하는 것이다.

이에 따라, 가령 미확인으로 분류된 특정 객체는 해당 객체의 객체 이미지를 근거로 복수의 추적 객체의 대상에서 제외시킨다. 따라서, 화면에서 추적 객체에 형성된 바운딩 박스는 제거될 수 있다.

이러한 방식으로 사용자의 관심 객체만 추적하게 되고, 그 추적 정보가 지정된 규칙을 만족하는 이벤트를 검출하게 되는 것이다.

이외에도 다양한 동작이 가능할 수 있지만, 자세한 내용은 앞서 설명한 내용들로 대신하고자 한다.

한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100, 900, 1100: 영상분석장치 101: 비디오 프레임 획득부
102: 비디오 프레임 서브샘플링부 103: 비디오 프레임 스케일링부
104: 픽셀 포맷 변환부 105: 모션 영역 검출부
106: 객체 추적부 107: 추적 객체 분류부
108: 객체 이미지 인식 DCNN 109: 비관심 추적 객체 제거부
110: 관심 추적 객체 기반 이벤트 검출부 121: 영상 변환부
122: 모션 기반 영상 분석부 901: 비디오 채널 처리부
902, 1003: 객체 이미지 인식 처리부 1000: 영상분석 시스템
1001: 영상 분석 서버 1002: 객체 이미지 인식 서버
1110: 통신 인터페이스부 1120: 제어부
1130: DCNN 영상분석부 1140: 저장부

Claims

영상 내의 객체에 대한 인식결과를 제공해주는 DCNN(Deep Convolutional Neural Network)을 이용해 영상 분석을 수행하는 이미지 인식 DCNN 기반 CCTV 영상분석장치로서,
제1 픽셀 포맷, 제1 해상도 및 제1 프레임률(frame rate)을 갖는 복수의 제1 비디오 프레임으로 구성되는 제1 영상 데이터를 비디오 제공 장치로부터 수신하며, 상기 수신한 제1 영상 데이터의 상기 제1 해상도, 상기 제1 프레임률 및 상기 제1 픽셀 포맷을 각각 상기 제1 해상도보다 낮은 제2 해상도, 상기 제1 프레임률보다 낮은 제2 프레임률 및 상기 제1 픽셀 포맷(pixel format)과 다른 형식을 갖는 이종의 제2 픽셀 포맷의 제2 영상 데이터로 변환하는 영상 변환부; 및
상기 변환한 제2 영상 데이터의 비디오 프레임에서 모션(motion) 기반으로 복수의 이동 객체의 검출 및 추적을 수행하고, 상기 복수의 추적중인 객체의 이미지를 각각 추출하며, 상기 추출한 객체 이미지를 상기 DCNN에 입력하여 얻은 인식 결과를 이용하여 상기 복수의 추적 객체를 구분하며, 상기 구분한 복수의 추적 객체에서 지정 기준을 벗어나는 사용자 비관심 객체를 확인하여 상기 확인한 사용자 비관심 객체를 상기 복수의 추적 객체의 대상에서 제거하여 획득되는 사용자 관심 객체의 추적 정보 및 지정 규칙을 근거로 이벤트를 검출하는 모션 기반 영상 분석부;를 포함하되,
상기 영상 변환부는,
상기 제1 프레임률에 따라 입력되는 상기 복수의 비디오 프레임을 수신하는 비디오 프레임 획득부;
상기 입력된 복수의 제1 비디오 프레임보다 적은 수의 비디오 프레임을 샘플링하여 복수의 제2 비디오 프레임을 생성하는 비디오 프레임 서브샘플링부;
상기 생성한 복수의 제2 비디오 프레임을 상기 제2 해상도로 변환하는 비디오 프레임 스케일링부; 및
상기 제2 해상도로 변환된 상기 복수의 제2 비디오 프레임의 상기 제1 픽셀 포맷을 상기 제2 픽셀 포맷으로 변환하여 생성한 상기 제2 영상 데이터를 상기 모션 기반 영상 분석부로 제공하는 픽셀 포맷 변환부;를 포함하고,
상기 모션 기반 영상 분석부는,
상기 제2 영상 데이터와 학습된 배경 영상을 이용하여 차 영상(difference image)을 생성하고, 상기 생성한 차 영상에서 노이즈를 제거하여 상기 복수의 이동 객체에 대한 모션 영역을 검출하는 모션 영역 검출부;
상기 검출한 모션 영역과 상기 제2 영상데이터를 이용하여 상기 복수의 이동 객체를 검출하고 추적하는 객체 추적부;
상기 복수의 제2 비디오 프레임 중 하나의 비디오 프레임에서 추출한 상기 복수의 추적 객체의 객체 이미지를 상기 DCNN에 적용해 얻은 제1 인식결과 및 상기 복수의 제2 비디오 프레임 중 상기 하나의 비디오 프레임과 일정 시간 간격을 두고 입력된 적어도 하나의 다른 비디오 프레임에서 추출한 상기 복수의 추적 객체의 객체 이미지를 상기 DCNN에 적용해 얻은 제2 인식결과를 근거로 상기 복수의 추적 객체를 구분하는 추적 객체 분류부;
상기 구분한 복수의 추적 객체 중에서 지정 기준에 벗어나는 사용자 비관심 객체를 확인하여 상기 확인한 사용자 비관심 객체를 상기 객체 추적부의 상기 복수의 추적 객체의 대상에서 제거하는 비관심 추적 객체 제거부; 및
상기 제거에 따라 획득되는 사용자 관심 객체의 추적 정보가 지정 규칙을 만족하는 이벤트를 검출하는 관심 추적 객체 기반 이벤트 검출부;를
포함하는 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치.
제1항에 있어서,
상기 추적 객체 분류부는, 상기 제1 인식결과 및 상기 제2 인식결과를 점수로 각각 계산 및 누적하여 누적 점수가 가장 높은 유형(class)을 추적 객체의 유형으로 확정하는 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치.
제2항에 있어서,
상기 비관심 추적 객체 제거부는, 상기 확정된 유형의 객체에서 상기 지정 기준을 벗어나는 사용자 비관심 추적 객체를 확인하여 상기 복수의 추적 객체의 대상에서 제거하는 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치.
제1항에 있어서,
상기 영상 변환부는, 휘도신호(Y), 적색신호의 차(U) 및 휘도신호와 청색성분의 차(V)의 픽셀 포맷을 갖는 상기 제1 픽셀 포맷을 RGB(Red-Green-Blue) 또는 그레이스케일(Gray-Scale) 픽셀 포맷을 갖는 상기 제2 픽셀 포맷으로 변환하는 객체 이미지 인식 DCNN 기반 CCTV 영상분석장치.