KR20210050707A - 색상 및 온도 정보 기반의 객체 검출 장치 및 방법 - Google Patents

Abstract

본 발명은 색상 및 온도 정보 기반의 객체 검출 장치에 관한 것으로, 이는 검출 대상 각각에 대응되는 색상 및 온도 성분이 정의된 학습 영상을 다수개 생성 및 이용하여 신경망을 학습시키는 신경망 학습부; 감시 대상에 대한 칼라 영상을 획득 및 제공하는 영상 카메라; 상기 감시 대상에 대한 열화상 영상을 획득 및 제공하는 열화상 카메라; 상기 칼라 영상으로부터 색상 성분을 추출하고, 상기 열화상 영상으로부터 온도 성분을 추출한 후, 상기 색상 성분과 상기 온도 성분을 픽셀 단위로 조합하여 합성 영상을 생성 및 출력하는 영상 합성부; 및 상기 신경망에 상기 합성 영상을 입력하여, 상기 신경망을 통해 상기 합성 영상 내에 존재하는 객체의 종류 및 검출 위치를 확인 및 통보하는 객체 검출부를 포함할 수 있다.

Description

색상 및 온도 정보 기반의 객체 검출 장치 및 방법{Apparatus and method for object detection based on color and temperature data}

본 발명은 딥 러닝 기반의 객체 검출 장치에 관한 것으로, 특히 칼라 영상 이외에 열화상 영상을 추가 획득 및 이용하여 객체 검출 동작을 수행할 수 있도록 하는 색상 및 온도 정보 기반의 객체 검출 장치에 관한 것이다.

딥 러닝 기반의 객체 검출 기술은 CNN(Convolutional Neural Network)을 기반으로 발전을 거듭하여 R-CNN(Region-Convolutional Neural Network), Fast R-CNN, Faster R-CNN을 거쳐 YOLO(You only Look Once), SSD(Single Shot Detector) 등의 빠르고 검출율이 높은 단계까지 발전하고 있다.

이러한 객체 검출 기술은 꾸준히 발전하여 인간의 인지능력에 대체할 수준까지 발전하고 있으며, 무인자동차를 비롯한 산업계 전반에 활용 및 응용되고 있는 추세이다.

도 1은 종래의 기술에 따른 딥 러닝 기반의 객체 검출 기술을 설명하기 위한 도면이다.

도 1을 참고하면, 객체 검출을 위한 CNN은 Convolution Layer와 Max Pooling 레이어로 구성되는 특징 추출(Feature Extraction) 파트와 Fully Connected Layer를 구성하고 마지막 출력층에 Softmax를 적용한 분류 파트로 구성되어, 입력 영상내에 존재하는 객체의 종류와 위치를 검출 및 출력함을 알 수 있다.

다만, 종래의 객체 검출은 RGB 좌표계를 사용하는 칼라 영상에 기반하여 수행되는 데, 이러한 경우 검출 객체가 일정 체온을 유지하는 실제 생명체인지 아니면 마네킹, 광고판 등에 표시된 이미지인지를 전혀 구분하지 못하는 한계가 존재한다.

국내 등록 특허 제10-1942808호 (등록 일자 : 2019.01.22)

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 칼라 영상 이외에 열화상 영상을 추가 획득한 후, 칼라 영상의 색상 정보와 열화상 영상의 온도 정보를 추출 및 활용함으로써, 보다 세밀하고 신뢰성있는 객체 검출 동작이 이루어질 수 있도록 하는 색상 및 온도 정보 기반의 객체 검출 장치에 관한 것이다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 검출 대상 각각에 대응되는 색상 및 온도 성분이 정의된 학습 영상을 다수개 생성 및 이용하여 신경망을 학습시키는 신경망 학습부; 감시 대상에 대한 칼라 영상을 획득 및 제공하는 영상 카메라; 상기 감시 대상에 대한 열화상 영상을 획득 및 제공하는 열화상 카메라; 상기 칼라 영상으로부터 색상 성분을 추출하고, 상기 열화상 영상으로부터 온도 성분을 추출한 후, 상기 색상 성분과 상기 온도 성분을 픽셀 단위로 조합하여 합성 영상을 생성 및 출력하는 영상 합성부; 및 상기 신경망에 상기 합성 영상을 입력하여, 상기 신경망을 통해 상기 합성 영상 내에 존재하는 객체의 종류 및 검출 위치를 확인 및 통보하는 객체 검출부를 포함하는 것을 특징으로 하는 색상 및 온도 정보 기반의 객체 검출 장치를 제공한다.

상기 영상 합성부는 상기 영상 카메라와 상기 열화상 카메라의 좌표계를 통일시킨 후, 상기 합성 영상을 생성 및 출력하는 기능을 더 포함하는 것을 특징으로 한다.

상기 영상 카메라는 YCbCr 좌표계, YUV 좌표계, HSV 좌표계 중 어느 하나의 좌표계를 이용하는 것을 특징으로 한다.

상기 신경망은 CNN(Convolutional Neural Network), R-CNN(Region-Convolutional Neural Network), Faster R-CNN, Mask R-CNN, YOLO(You only Look Once), SSD(Single Shot Detector) 중 어느 하나일 수 있는 것을 특징으로 한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면 검출 대상 각각에 대응되는 색상 및 온도 성분이 정의된 학습 영상을 다수개 생성 및 이용하여 신경망을 학습시키는 신경망 학습부; 감시 대상에 대한 칼라 영상와 열화상 영상을 동시 획득하는 단계; 상기 칼라 영상으로부터 색상 성분을 추출하고, 상기 열화상 영상으로부터 온도 성분을 추출한 후, 상기 색상 성분과 상기 온도 성분을 픽셀 단위로 조합하여 합성 영상을 생성하는 단계; 검출 대상과 색상 및 온도 성분간 상관관계가 사전 학습된 신경망을 통해 상기 합성 영상내에 존재하는 객체의 종류 및 검출 위치를 확인 및 통보하는 단계를 포함하는 것을 특징으로 하는 색상 및 온도 정보 기반의 객체 검출 방법을 제공한다.

본 발명의 객체 검출 장치 및 방법은 감시 대상의 색상 특성 뿐 아니라 온도 특성까지 고려한 객체 검출 동작을 수행할 수 있으며, 그 결과 검출 객체가 일정 체온을 유지하는 실제 생명체인지 아니면 마네킹, 광고판 등에 표시된 이미지인지까지 구분할 수 있도록 해준다.

도 1은 종래의 기술에 따른 딥 러닝 기반의 객체 검출 기술을 설명하기 위한 도면이다.
도 2은 본 발명의 일 실시예에 따른 색상 및 온도 정보 기반의 객체 검출 장치를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 합성 영상 생성 원리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체 검출 원리를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체 검출 방법을 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

도 2은 본 발명의 일 실시예에 따른 색상 및 온도 정보 기반의 객체 검출 장치를 도시한 도면이다.

도 2를 참고하면, 본 발명의 객체 검출 장치(100)는 신경망 학습부(110), 영상 카메라(120), 열화상 카메라(130), 카메라 캘리브레이션부(140), 영상 합성부(150) 및 객체 검출부(160) 등을 포함한다.

신경망 학습부(110)는 기 획득된 대용량 영상 자료에 기반하여 검출 대상 각각에 대응되는 색상 및 온도 성분이 정의된 학습 영상을 다수개 생성한 후, 이들을 통해 신경망(111)을 반복 학습시킨다. 즉, 신경망에 검출 대상과 색상 및 온도 성분간의 상관관계를 학습시킨다.

이때, 신경망은 CNN(Convolutional Neural Network), R-CNN(Region-Convolutional Neural Network), Faster R-CNN, Mask R-CNN, YOLO(You only Look Once), SSD(Single Shot Detector) 등과 같이 객체 감지를 위한 모든 종류의 신경망일 수 있다.

다만, 본 발명의 학습 영상은 검출 대상 각각에 대응되는 색상 성분 뿐 아니라 온도 성분을 가짐으로써, 검출 대상의 색상 특성과 온도 특성을 동시 학습할 수 있도록 한다.

영상 카메라(120)는 감시 대상에 대한 칼라 영상을 획득 및 제공하도록 한다. 이때, 칼라 영상은 YCbCr 좌표계(Y는 휘도 성분, Cb 및 Cr는 색차 성분), YUV 좌표계(Y는 밝기 성분, U와 V는 색상 성분), HSV 좌표계(H는 색상, S는 채도, V는 명도)를 사용하는 것이 가장 바람직하나, 이에 한정되지는 않는 다.

열화상 카메라(130)는 감시 대상에 대한 열화상 영상을 획득 및 제공하도록 한다.

카메라 캘리브레이션부(140)는 영상 카메라(120)와 열화상 카메라(130)가 물리학적으로 동일 위치에 존재할 수 없음을 고려하여, 영상 카메라(120)와 열화상 카메라(130)간의 위치 관계를 파악하기 위한 카메라 캘리브레이션을 수행한다. 그리고 카메라 캘리브레이션 결과를 기반하여 영상 카메라(120)와 열화상 카메라(130)의 좌표계를 통일시키기 위한 좌표계 변환 정보를 획득 및 저장한다.

영상 합성부(150)는 좌표계 변환 정보를 이용하여 칼라 영상과 열화상 영상의 좌표계를 통일시킨 후, 칼라 영상으로부터는 색상 성분(Cb/Cr, U/V, H)을 추출하고, 열화상 영상으로부터는 온도 성분을 추출한다. 그리고 추출된 색상 성분과 온도 성분을 픽셀 단위로 조합하여 합성 영상을 생성 및 출력한다.

객체 검출부(160)는 신경망 학습부(110)에 의해 학습 완료된 신경망에 합성 영상을 입력함으로써, 신경망을 통해 합성 영상에 포함된 객체 종류, 그리고 객체 위치에 대한 정보를 획득 및 출력하도록 한다.

도 3은 본 발명의 일 실시예에 따른 합성 영상 생성 원리를 설명하기 위한 도면으로,

도 3을 참고하면, 본 발명에서는 영상 카메라(120)와 열화상 카메라(130) 모두를 구비하고, 이들을 통해 칼라 영상과 열화상 영상을 동시 획득하도록 한다.

이때, 칼라 영상은 YCbCr 좌표계, YUV 좌표계, HSV 좌표계 중 어느 하나의 좌표계를 이용할 수 있으며, 만약 YCbCr 좌표계를 이용한다면 칼라 영상으로부터 색상 성분(즉, Cb 성분, Cb 성분)만을 추출하도록 한다.

그리고 추출된 색상 성분(Cb 성분, Cb 성분)을 열화상 영상의 온도 성분과 픽셀 단위로 결합하여, Cb 성분, Cb 성분, 온도 성분의 3채널 정보를 가지는 합성 영상을 새로이 생성 및 출력한다.

도 4는 본 발명의 일 실시예에 따른 객체 검출 원리를 설명하기 위한 도면으로, 이때의 신경망에는 실제 사람을 대상 객체로 검출하기 위해, 실제 사람과 색상 및 온도 성분간의 상관관계가 사전 학습되어 있다고 가정한다.

이러한 상태에서, 실제 사람과 사람 그림자 각각이 촬영된다면, 실제 사람 촬영 결과로부터 추출된 제1 합성 영상과 사람 그림자 촬영 결과로부터 추출된 제2 합성 영상은 유사한 색상 성분을 가지되, 전혀 상이한 온도 성분을 가지게 된다.

그러면 신경망은 기 학습된 색상 및 온도 성분과의 유사도가 높은 색상 및 온도 성분을 제1 합성 영상에는 대상 객체가 존재함을 확인 및 통보하고, 기 학습된 색상 성분과는 유사도가 높으나 온도 성분과의 유사도는 낮은 제2 합성 영상에는 비대상 객체가 존재함을 확인 및 통보하도록 한다.

도 5는 본 발명의 일 실시예에 따른 객체 검출 방법을 설명하기 위한 도면이다.

먼저, 감시 대상를 영상 카메라와 열화상 카메라를 통해 동시 촬영하여 칼라 영상과 열화상 영상을 동시 획득한 후(S1, S2), 칼라 영상으로부터는 색상 성분을 추출하고(S3), 열화상 영상으로부터 온도 성분을 추출한다(S4).

그리고 색상 성분과 온도 성분을 픽셀 단위로 조합하여, 새로운 합성 영상을 생성한다(S5).

그리고 검출 대상과 색상 및 온도 성분간의 상관관계가 기 학습된 신경망에 단계 S5를 통해 생성된 합성 영상을 입력하여, 신경망을 통해 합성 영상 내에 존재하는 객체의 종류 및 위치를 파악 및 통보하도록 한다(S6).

이상에서 살펴본 바와 같이, 본 발명은 칼라 영상의 색상 성분 이외에 열화상 영상의 온도 성분을 추가 고려하여 객체 검출 동작을 수행하므로, 그림자, 마네킹, 사진, 광고판상의 이미지와 실제 생명체에 대응되는 이미지를 명확히 구분할 수 있도록 해준다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (5)

1. 적어도 하나의 검출 대상 각각에 대응되는 색상 및 온도 성분이 정의된 학습 영상을 다수개 생성 및 이용하여 신경망을 학습시키는 신경망 학습부;
   감시 대상에 대한 칼라 영상을 획득 및 제공하는 영상 카메라;
   상기 감시 대상에 대한 열화상 영상을 획득 및 제공하는 열화상 카메라;
   상기 칼라 영상으로부터 색상 성분을 추출하고, 상기 열화상 영상으로부터 온도 성분을 추출한 후, 상기 색상 성분과 상기 온도 성분을 픽셀 단위로 조합하여 합성 영상을 생성 및 출력하는 영상 합성부; 및
   상기 신경망에 상기 합성 영상을 입력하여, 상기 신경망을 통해 상기 합성 영상 내에 존재하는 객체의 종류 및 검출 위치를 확인 및 통보하는 객체 검출부를 포함하는 것을 특징으로 하는 색상 및 온도 정보 기반의 객체 검출 장치.
2. 제1항에 있어서, 상기 영상 합성부는
   상기 영상 카메라와 상기 열화상 카메라의 좌표계를 통일시킨 후, 상기 합성 영상을 생성 및 출력하는 기능을 더 포함하는 것을 특징으로 하는 색상 및 온도 정보 기반의 객체 검출 장치.
3. 제1항에 있어서, 상기 영상 카메라는
   YCbCr 좌표계, YUV 좌표계, HSV 좌표계 중 어느 하나의 좌표계를 이용하는 것을 특징으로 하는 색상 및 온도 정보 기반의 객체 검출 장치.
4. 제1항에 있어서, 상기 신경망은
   CNN(Convolutional Neural Network), R-CNN(Region-Convolutional Neural Network), Faster R-CNN, Mask R-CNN, YOLO(You only Look Once), SSD(Single Shot Detector) 중 어느 하나일 수 있는 것을 특징으로 하는 색상 및 온도 정보 기반의 객체 검출 장치.
5. 검출 대상 각각에 대응되는 색상 및 온도 성분이 정의된 학습 영상을 다수개 생성 및 이용하여 신경망을 학습시키는 신경망 학습부;
   감시 대상에 대한 칼라 영상와 열화상 영상을 동시 획득하는 단계;
   상기 칼라 영상으로부터 색상 성분을 추출하고, 상기 열화상 영상으로부터 온도 성분을 추출한 후, 상기 색상 성분과 상기 온도 성분을 픽셀 단위로 조합하여 합성 영상을 생성하는 단계;
   검출 대상과 색상 및 온도 성분간 상관관계가 사전 학습된 신경망을 통해 상기 합성 영상내에 존재하는 객체의 종류 및 검출 위치를 확인 및 통보하는 단계를 포함하는 것을 특징으로 하는 색상 및 온도 정보 기반의 객체 검출 방법.

Images