KR102708764B1

KR102708764B1 - 카메라 장치 및 이의 이미지 합성 방법

Info

Publication number: KR102708764B1
Application number: KR1020190066219A
Authority: KR
Inventors: 이규태
Original assignee: 엘지이노텍 주식회사
Priority date: 2019-06-04
Filing date: 2019-06-04
Publication date: 2024-09-24
Also published as: KR20200139567A

Abstract

실시 예에 따른 카메라 장치는 컬러 이미지에 대응하는 제1 이미지를 획득하는 제1 카메라; 열영상 이미지에 대응하는 제2 이미지를 획득하는 제2 카메라; 및 상기 제1 이미지에서 제1 영역을 검출하고, 상기 제2 이미지에서 제2 영역을 검출하는 제어부;를 포함하고, 상기 제1 영역은, 상기 제1 이미지 내에서 고조도 영역 또는 저조도 영역에 대응하는 제3 영역을 제외한 영역이고, 상기 제2 영역은, 상기 제2 이미지 내에서 상기 제1 이미지의 고조도 영역 또는 저조도 영역에 대응하는 영역이며, 상기 제어부는, 상기 제1 이미지의 제1 영역 및 상기 제2 이미지의 상기 제2 영역이 합성된 제3 이미지를 생성한다.

Description

카메라 장치 및 이의 이미지 합성 방법{CAMERA DEVICE AND METHOD FOR COMBINING IAMGES THEREOF}

실시 예는 카메라 장치에 관한 것으로, 특히 서로 다른 방식으로 촬영된 복수의 이미지를 합성하여 이미지의 선명도를 향상시킬 수 있는 카메라 장치 및 이의 이미지 합성 방법에 관한 것이다.

일반적으로 이동통신 단말기, MP3 플레이어와 같은 휴대 기기를 비롯하여, 자동차, 내시경, CCTV와 같은 전자 기기에 카메라 장치가 탑재되고 있다. 이러한 카메라 장치는 점차로 고화소 중심으로 발달되고 있으며, 소형화 및 박형화가 진행되고 있다. 뿐만 아니라, 현재 카메라 장치는, 저가의 제작 비용으로 다양한 부가 기능이 구현 가능하도록 변화되고 있다.

카메라 장치는 가시광을 이용하여 이미지를 획득하는 카메라와, 적외선을 이용하여 이미지를 획득하는 카메라를 포함할 수 있다.

가시광을 이용한 카메라는 컬러 영상을 사용자에게 제공할 수 있지만, 어두운 환경이나, 밝은 환경에서 정상적인 이미지를 제공할 수 없다는 문제가 있다. 또한, 적외선을 이용한 카메라는 사용자에게 실제 환경과 동일한 수준의 이미지를 제공할 수 없다는 문제가 있다.

실시 예에서는 서로 다른 방식으로 촬영된 복수의 이미지를 합성하여 이미지의 선명도를 향상시킬 수 있는 카메라 장치 및 이의 이미지 합성 방법을 제공하도록 한다.

또한, 실시 예에서는 제1 카메라를 통해 촬영된 제1 이미지 내에서의 저조도 영역 또는 고조도 영역을 검출하고, 제2 카메라를 이용하여 상기 검출한 저조도 영역 또는 고조도 영역에 대한 제2 이미지를 획득하여 이를 상호 합성할 수 있는 카메라 장치 및 이의 이미지 합성 방법을 제공하도록 한다.

또한, 실시 예에서는 제1 카메라를 통해 획득된 제1 이미지 내에서 관심 영역을 검출하고, 제2 카메라를 이용하여 상기 관심 영역에 대한 제2 이미지를 획득하여 이를 상호 합성할 수 있는 카메라 장치 및 이의 이미지 합성 방법을 제공하도록 한다.

또한, 실시 예에서는 제1 카메라를 통해 획득된 제1 이미지 내에서 관심 영역을 검출하고, 상기 관심 영역 내에서 객체 영역을 검출하고, 제2 카메라를 통해 상기 검출한 객체 영역에 대한 제2 이미지를 획득하여 이를 상호 합성할 수 있는 카메라 장치 및 이의 이미지 합성 방법을 제공하도록 한다.

또한, 실시 예에서는 제1 및 제2 카메라를 통해 촬영된 복수의 이미지의 해상도를 동일하게 변경하여 합성할 수 있는 카메라 장치 및 이의 이미지 합성 방법을 제공하도록 한다.

또한, 실시 예에 따른 카메라 장치는 제1 이미지를 획득하는 카메라; 제2 이미지를 획득하는 열영상 카메라; 및 상기 제1 이미지에서 제1 영역을 검출하고, 상기 제2 이미지에서 제2 영역을 검출하는 제어부;를 포함하고, 상기 제1 영역은, 상기 제1 이미지 내에서 제3 영역을 제외한 영역이고, 상기 제2 영역은, 상기 제2 이미지 내에서 상기 제1 이미지의 상기 제3 영역에 대응하는 영역이며, 상기 제어부는, 상기 제1 이미지의 상기 제1 영역 및 상기 제2 이미지의 상기 제2 영역이 합성된 제3 이미지를 생성한다.

또한, 상기 제3 영역은, 상기 제1 이미지 내에서 휘도 레벨이 제1 기준 범위 또는 제2 기준 범위에 포함되는 영역이고, 상기 제1 영역은, 상기 제1 이미지 내에서 휘도 레벨이 제3 기준 범위에 포함되는 영역이다.

또한, 상기 제1 기준 범위는, 그레이 스케일 레벨을 기준으로 201 레벨 내지 255 레벨 사이이고, 상기 제2 기준 범위는, 그레이 스케일 레벨을 기준으로 0 레벨 내지 50 레벨 사이이고, 상기 제3 기준 범위는, 그레이 스케일 레벨을 기준으로 51 레벨 내지 200 레벨 사이이다.

또한, 상기 제어부는, 상기 제2 이미지의 상기 제2 영역 내에서 객체가 포함된 객체 영역을 검출하며, 상기 제3 이미지는, 상기 제1 이미지 내에서 상기 객체 영역을 제외한 영역 및 상기 제2 이미지 내에서 검출한 상기 객체 영역을 포함한다.

또한, 상기 제1 이미지 및 제2 이미지의 상대 위치 정보를 저장하는 저장부를 포함하고, 상기 제어부는, 상기 상대 위치 정보에 기반하여, 상기 제2 이미지 내에서 상기 제3 영역에 대응하는 제2 영역을 검출한다.

또한, 상기 객체 영역은, 상기 제3 이미지 내에서 복수 개 포함된다.

또한, 상기 제1 이미지와 제2 이미지는 동일 시점에 촬영된 이미지이다.

또한, 상기 제1 이미지의 배율은, 상기 제2 이미지의 배율과 동일하다.

또한, 상기 제2 이미지의 배율은, 상기 제1 이미지의 배율보다 크다.

또한, 상기 제1 이미지의 해상도는, 상기 제2 이미지의 해상도와 동일하다.

또한, 상기 제2 이미지는, 서로 다른 시차를 가진 복수의 프레임 이미지가 합성된 이미지이다.

한편, 실시 예에 따른 카메라 장치의 이미지 합성 방법은 제1 이미지를 획득하는 단계; 제2 이미지를 획득하는 단계; 상기 제1 이미지에서 제1 영역을 검출하고, 상기 제2 이미지에서 제2 영역을 검출하는 단계; 및 상기 제1 이미지의 제1 영역 및 상기 제2 이미지의 제2 영역이 합성된 제3 이미지를 생성하는 단계를 포함하고, 상기 제1 영역은, 상기 제1 이미지 내에서 제3 영역을 제외한 영역이고, 상기 제2 영역은, 상기 제2 이미지 내에서 상기 제1 이미지의 상기 제3 영역에 대응하는 열영상 이미지 영역이다.

또한, 상기 제1 이미지 내에서 상기 제3 영역을 검출하는 단계를 포함하고, 상기 제3 영역은, 상기 제1 이미지 내에서 고조도 영역 또는 저조도 영역을 포함한다.

또한, 상기 제3 영역은, 상기 제1 이미지 내에서 휘도 레벨이 제1 기준 범위 또는 제2 기준 범위에 포함되는 영역이고, 상기 제1 영역은, 상기 제1 이미지 내에서 휘도 레벨이 제3 기준 범위에 포함되는 영역이며, 상기 제1 기준 범위는, 그레이 스케일 레벨을 기준으로 201 레벨 내지 255 레벨 사이이고, 상기 제2 기준 범위는, 그레이 스케일 레벨을 기준으로 0 레벨 내지 50 레벨 사이이고, 상기 제3 기준 범위는, 그레이 스케일 레벨을 기준으로 51 레벨 내지 200 레벨 사이이다.

또한, 상기 제2 이미지의 상기 제2 영역에서 객체 영역을 검출하는 단계를 포함하고, 상기 제3 이미지를 생성하는 단계는, 상기 제1 이미지 내에서 상기 객체 영역을 제외한 영역과, 상기 제2 이미지 내에서 검출한 상기 객체 영역을 합성하는 단계를 포함한다.

본 발명에 따른 실시 예에서의 카메라 장치는 제1 카메라 및 제2 카메라를 포함한다. 이때, 제1 카메라는 컬러 영상을 획득할 수 있는 가시광선 카메라이고, 제2 카메라는 적외선 영상을 획득할 수 있는 가시광선 카메라이다. 이때, 제1 카메라를 통해 획득된 제1 이미지는 주변의 광에 의해 영향을 받으며, 이에 따라 저조도 영역이나 고조도 영역을 포함하게 된다. 고조도 영역은 기준 범위를 초과한 휘도 레벨을 가지는 영역이고, 저조도 영역은 기준 범위보다 낮은 휘도 레벨을 가지는 영역이다. 그리고, 제1 이미지 내에서의 고조도 영역 및 저조도 영역은 선명도가 떨어지게 되며, 상기 고조도 영역 및 저조도 영역 상에 객체가 존재하는 경우, 상기 객체에 대한 인식률이 감소하게 된다. 이에 따라, 실시 예에서는 제1 이미지 내에서 고조도 영역 또는 저조도 영역에 대응하는 관심 영역을 검출한다. 그리고, 실시 예에서는 제1 이미지에서의 관심 영역이 검출되는 경우, 제2 카메라를 통해 획득된 제2 이미지 내에서 상기 관심 영역에 대응하는 영역을 추출한다. 이후, 실시 예에서는 상기 제1 이미지와 상기 제2 이미지에서 추출한 영역을 합성하여 제공한다.

이에 따르면, 실시 예에서는 제1 카메라를 통해 촬영된 컬러 영상을 기본적으로 제공하고, 상기 컬러 영상 내에서의 선명도가 낮은 관심 영역을 제2 카메라를 통해 획득된 이미지로 대체함으로써, 사용자에게 선명도 높은 이미지를 제공해줄 수 있으며, 이에 따른 사용자 만족도를 향상시킬 수 있다.

또한, 실시 예에서는 상기 제1 이미지 내의 상기 관심 영역 내에 객체가 존재하는 경우, 상기 제2 카메라를 통해 획득된 제2 이미지를 이용하여 상기 객체를 인식할 수 있는 객체 이미지를 제공해줌으로써, 사용자에게 제공되는 이미지에 포함된 객체의 인식률을 향상시킬 수 있다.

또한, 실시 예에서는 제1 이미지의 관심 영역 내에서 객체 정보를 추출하고, 상기 제2 이미지에서 상기 객체 정보에 대응하는 영역만을 추출한다. 그리고, 실시 예에서는 상기 제2 이미지에서 추출한 상기 객체 정보에 대응하는 영역과 상기 제1 이미지를 합성하여 사용자에게 제공해준다. 이와 같은 실시 예에 의하면, 제1 이미지 내에서 인식률이 낮은 객체가 존재하는 경우, 상기 제2 이미지를 이용하여 상기 객체에 대응하는 영역을 제공해주며, 이에 따라 디스플레이되는 이미지 내에서 상기 객체의 강조 효과를 제공해줄 수 있으며, 이에 사용자 만족도를 향상시킬 수 있다.

또한, 실시 예에서의 제1 카메라와 제2 카메라의 배율을 동일할 수 있다. 다만, 다른 실시 예에서의 제1 카메라와 제2 카메라의 배율은 다를 수 있다. 예를 들어, 제2 카메라의 배율이 제1 카메라의 배율보다 클 수 있다. 예를 들어, 실시 예에서의 제2 카메라의 배율은 사용자에 의해 다양하게 설정 가능할 수 있다. 이와 같은 실시 예에 의하면, 제2 카메라를 이용하여 상기 제1 카메라보다 높은 배율의 제2 이미지를 획득하고, 이를 토대로 제2 이미지를 이용하여 제1 이미지 내의 관심 영역에 대응하는 이미지를 제공해줄 수 있으며, 이에 따라 상기 관심 영역에 대응하는 정보를 보다 효율적으로 제공해줄 수 있다.

또한, 실시 예에서의 제1 카메라와 제2 카메라의 해상도를 다를 수 있다. 일반적으로, 제2 카메라의 해상도는 제1 카메라의 해상도보다 낮을 수 있다. 이때, 서로 다른 해상도를 가진 이미지를 합성하는 경우, 낮은 해상도를 가진 영역에서의 이질감이 심화되며, 이에 따른 사용자 불만을 야기할 수 있다. 이에 따라 실시 예에서는 제2 카메라의 이미지 센서의 픽셀 수를 증가시키지 않고 SR(Super Resolution)을 구현하여 상기 제1 이미지의 해상도와 동일한 해상도를 가진 제2 이미지를 획득하도록 한다. 이에 따른 실시 예에 의하면, 제1 카메라의 이미지 센서의 물리적 분해능보다 낮은 제2 카메라를 이용하여, 상기 제1 카메라와 동일한 해상도를 가지는 제2 이미지 및 이와 합성된 합성 이미지를 제공해줄 수 있으며, 이에 따른 사용자 만족도를 향상시킬 수 있다.

도 1은 실시 예에 따른 카메라 장치의 구성을 나타낸 블록도이다.
도 2는 실시 예에 따른 카메라 장치의 이미지 합성 방법을 단계별로 설명하기 위한 흐름도이다.
도 3은 실시 예에 따른 제2 영역의 검출 방법의 일부를 단계별로 설명하기 위한 흐름도이다.
도 4는 실시 예에 따른 카메라 장치에서 제3 영역을 검출하는 방법을 단계별로 설명하기 위한 흐름도이다.
도 5는 일 실시 예에 따라 제1 카메라를 통해 획득된 고조도 영역을 포함한 제1 이미지를 나타낸 도면이다.
도 6은 고조도 이미지에서의 히스토그램을 나타낸 도면이다.
도 7은 일 실시 예에 따라 제1 카메라를 통해 획득된 저조도 영역을 포함한 제1 이미지를 나타낸 도면이다.
도 8은 저조도 이미지에서의 히스토그램을 나타낸 도면이다.
도 9는 실시 예에 따른 다른 형태의 히스토그램 그래프를 나타낸 도면이다.
도 10은 다른 실시 예에 따른 제1 이미지의 분석 방법을 설명하기 위한 도면이다.
도 11은 실시 예에 따른 이미지 처리 과정을 설명하기 위한 도면이다.
도 12는 실시 예에 따른 제3 이미지의 생성 과정을 설명하기 위한 흐름도이다.
도 13은 실시 예에 따른 제2 이미지의 일 예를 나타낸 도면이다.
도 14는 실시 예에 따른 제3 이미지의 일 예를 나타낸 도면이다.
도 15는 저조도 이미지에서의 영역 검출 방법을 단계별로 설명하기 위한 도면이다.
도 16은 도 15를 통해 검출된 영역을 합성한 제3 이미지를 나타낸 도면이다.
도 17은 다른 실시 예에 따른 제3 이미지 합성 방법을 단계별로 설명하기 위한 흐름도이다.
도 18은 일 실시 예에 따른 제3 이미지를 나타낸 도면이다.
도 19는 다른 실시 예에 따른 제3 이미지를 나타낸 도면이다.
도 20은 실시 예에 따른 제2 이미지의 획득 과정을 단계별로 설명하기 위한 흐름도이다.
도 21은 실시 예에 따른 필터 액추에이터의 동작 원리를 설명하기 위한 도면이다.
도 22는 일 실시 예에 따른 제2 이미지 생성 방법을 설명하기 위한 도면이다.
도 23은 도 22에서 설명되는 제2 이미지 생성 방법을 보다 상세히 설명하기 위한 도면이다.
도 24는 일 실시 예에 따른 카메라 장치의 제2 이미지 생성 과정에 대한 타이밍도이다.
도 25는 일 실시 예에 따른 제2 이미지 생성 방법의 일 예를 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 에를 상세히 설명한다.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.

또한, 본 발명의 실시 예에서 사용하는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다. 또한, 본 발명의 실시 예에서 사용된 용어는 실시 예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함 할 수 있다. 또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다. 그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속되는 경우 뿐만아니라, 그 구성 요소와 그 다른 구성요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속＇되는 경우도 포함할 수 있다.

또한, 각 구성 요소의 " 상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.

이하, 첨부된 도면을 참조하여 실시 예에 따른 카메라 장치 및 이의 이미지 합성 방법에 대해 구체적으로 설명하기로 한다.

도 1은 실시 예에 따른 카메라 장치의 구성을 나타낸 블록도이다.

도 1을 참조하면, 실시 예에 따른 카메라 장치(100)는 제1 카메라(110), 제2 카메라(120), 사용자 입력부(130), 저장부(140), 디스플레이부(150) 및 제어부(160)를 포함한다.

제1 카메라(110)는 제1 이미지를 획득한다.

그리고, 제2 카메라(120)는 제2 이미지를 획득한다.

여기에서, 제1 카메라(110)를 통해 획득된 제1 이미지와 제2 카메라(120)를 통해 획득된 제2 이미지는 서로 다른 이미지일 수 있다.

즉, 제1 카메라(110) 및 제2 카메라(120)는 서로 다른 방식으로 이미지를 획득하는 카메라일 수 있다.

예를 들어, 제1 카메라(110)를 통해 획득된 제1 이미지는 컬러 이미지일 수 있다. 예를 들어, 제1 카메라(110)를 통해 획득된 제1 이미지는 RGB 이미지일 수 있다. 예를 들어, 제1 카메라(110)를 통해 획득된 제1 이미지는 가시광선 이미지일 수 있다.

이에 따라, 제1 카메라(110)는 가시광선 카메라일 수 있다. 즉, 제1 카메라(110)는 가시광선을 이용하여 가시광선 영상을 획득할 수 있다. 제1 카메라(110)는 380 내지 770nm의 파장을 갖는 가시광선을 이용하여 컬러 영상을 획득할 수 있다. 이를 위해, 제1 카메라(110)는 CCD(Charge Coupled Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 이용하여 제1 이미지를 획득할 수 있다. 이를 위해, 제1 카메라(110)는 가시광 대역을 광을 통과시키는 렌즈를 포함할 수 있다.

한편, 제2 카메라(120)는 적외선 카메라일 수 있다. 또는, 제2 카메라(120)는 열영상 카메라일 수 있다. 즉, 제2 카메라(120)는 적외선을 이용하여 적외선 영상을 획득할 수 있다. 또한, 제2 카메라(120)는 적외선을 이용하여 열영상 이미지를 획득할 수 있다.

즉, 제2 카메라(120)는 열영상 카메라이다. 이에 따라, 제2 카메라(120)를 구성하는 렌즈들은 피사체에서 발생하는 적외선 복사를 감지하기 위해, 제1 카메라(110)를 구성하는 렌즈가 아닌 적외선 복사 에너지 파장 대역을 통과하면서 가시광 대역은 통과되지 않는 게르마늄(Ge) 또는 실리콘(Si)으로 구성된 렌즈를 사용할 수 있다. 또한, 제2 카메라(120)의 렌즈에는 반사 코팅층이 형성될 수 있고, 이에 따라 적외선 복사 에너지의 반사를 방지하면서 상기 적외선 복사 에너지가 모두 통과되도록 할 수 있다.

이를 위해, 제2 카메라(120)의 렌즈들은 피사체로부터 방출되는 적외선을 투과시키기 위해, 칼코게나이드 글라스(Chalcogenide glass) 소재의 PGM (Precision Glass Molding) 가공된 렌즈를 포함할 수 있다.

또한, 제2 카메라(120)는 전방에 렌즈를 보호하기 위한 적외선 투과 윈도우(도시하지 않음)를 더 포함할 수 있다. 적외선 투과 윈도우는 CaF2, BaF2 또는 폴리에틸렌(Polyethylene) 등의 재질로 제작될 수 있다.

또한, 제2 카메라(120)는 제2 이미지를 획득하기 위하여 적외선 복사 에너지에 대하여 감응하는 소자를 포함할 수 있다. 제2 카메라(120)를 구성하는 소자는 상기 적외선 복사 에너지에 대응하는 에너지를 검출할 수 있다. 바람직하게, 제2 카메라(120)를 구성하는 소자는 상기 게르마늄(Ge) 또는 실리콘(Si)으로 구성된 렌즈를 통해 각각 입사되는 적외선 복사 에너지의 결과를 전기적 신호로 만들어주는 역할을 하는 복수의 센서부 포함할 수 있다. 바람직하게, 제2 카메라(120)를 구성하는 센서는 렌즈를 통해 투과된 적외선으로부터 피사체의 온도를 감지하여 대응하는 물리적 특성 변화(아날로그 신호)를 출력한다. 이와 같은 제2 카메라(120)의 센서는 마이크로볼로미터 어레이(MBA: MicroBolometer Array)가 사용될 수 있다.

이에 따라, 제1 카메라(110)는 가시광 대역의 광을 투과시키는 렌즈와, CCD 센서 또는 CMOS 센서 등을 이용하여 컬러 정보를 포함하는 제1 이미지를 획득할 수 있다.

또한, 제2 카메라(120)는 적외선 대역의 광을 투과시키는 렌즈와, 마이크로보로미터 어레이 등을 이용하여 적외선 영상 또는 열영상 등의 제2 이미지를 획득할 수 있다.

이때, 제1 카메라(110)는 주변 광에 영향을 받은 제1 이미지를 획득할 수 있다. 여기에서, 상기 제1 이미지는 주변 광의 상태에 따라 고조도 영역 및/또는 저조도 영역을 포함할 수 있다.

여기에서, 고조도 영역이란 제1 이미지의 픽셀별 휘도 레벨을 기준으로 제1 기준 범위 내의 휘도 레벨을 가진 픽셀 영역일 수 있다. 이때, 상기 픽셀 영역은 해당 픽셀의 휘도 레벨이 주변 픽셀의 광의 영향을 받아 포화(saturation)가 발생하한 경우를 포함할 수 있다. 즉, 고조도 영역은 해당 픽셀의 휘도 레벨이 제1 기준 범위에 속함에 따라 해당 픽셀 내에 포함된 객체의 인식이 어려운 영역을 의미할 수 있다. 이때, 이미지의 휘도 레벨은 그레이 스케일 레벨을 기준으로 0 내지 255 레벨 범위 내에 속한다. 여기에서 상기 제1 기준 범위는 그레이 스케일 레벨의 전체 범위 중 201 내지 255 레벨을 포함할 수 있다. 즉, 제1 이미지 내에서 픽셀의 휘도 레벨이 201 내지 255 레벨 내에 포함되는 경우, 해당 픽셀 영역은 고조도 영역에 포함될 수 있다.

또한, 저조도 영역이란 제1 이미지의 픽셀별 휘도 레벨을 기준으로 제2 기준 범위 내의 휘도 레벨을 가진 픽셀 영역일 수 있다. 이때, 상기 픽셀 영역은 해당 픽셀의 휘도 레벨이 너무 낮음에 따라 인식이 불가능한 경우를 포함할 수 있다. 즉, 저조도 영역은 해당 픽셀의 휘도 레벨이 제2 기준 범위에 속함에 따라 해당 픽셀 내에 포함된 객체의 인식이 어려운 영역을 의미할 수 있다. 이때, 이미지의 휘도 레벨은 그레이 스케일 레벨을 기준으로 0 내지 255 레벨 범위 내에 속한다. 여기에서 상기 제2 기준 범위는 그레이 스케일 레벨의 전체 범위 중 0 내지 50 레벨을 포함할 수 있다. 즉, 제1 이미지 내에서 픽셀의 휘도 레벨이 0 내지 50 레벨 내에 포함되는 경우, 해당 픽셀 영역은 저조도 영역에 포함될 수 있다.

다만, 실시 예에서의 고조도 영역 및 저조도 영역은 하나의 픽셀을 기준으로 선정되는 것이 아니라, 주변 픽셀이 가지는 휘도 레벨의 연속성을 가지고 판단할 수 있다.

예를 들어, 복수의 픽셀 중 제1 픽셀의 휘도 레벨이 제1 기준 범위 또는 제2 기준 범위 내에 속한다고 해서 해당 픽셀을 고조도 영역 또는 저조도 영역으로 판단되는 것은 아니다. 즉, 상기 제1 픽셀의 주위에 배치된 다른 픽셀들도 상기 제1 픽셀과 같이 제1 기준 범위 또는 제2 기준 범위 내에 속하는 경우, 다시 말해서 주변 픽셀들과의 휘도 레벨의 연속성을 가지고 상기 고조도 영역 또는 저조도 영역이 판단될 수 있다. 예를 들어, 실시 예에서는 제1 기준 범위 내의 휘도 레벨을 가진 픽셀이 기설정된 기준 값 이상 연속적으로 존재하는 경우, 이 영역을 고조도 영역으로 검출할 수 있다. 예를 들어, 실시 예에서는 제2 기준 범위 내의 휘도 레벨을 가진 픽셀이 기설정된 기준 값 이상 연속적으로 존재하는 경우, 이 영역을 저조도 영역으로 검출할 수 있다. 이때, 상기 기준 값은 30 픽셀로 설정될 수 있으나 이에 한정되는 것은 아니며, 실시 예에 따라 이보다 더 작은 값으로 설정될 수도 있고, 이보다 더 큰 값으로 설정될 수도 있을 것이다.

이에 따라, 실시 예에서는 제1 카메라(110)를 통해 획득된 이미지 중에서 고조도 영역 또는 저조도 영역이 존재하는 경우, 이를 관심 영역(ROI:Region Of Interest)으로 설정하고, 이를 토대로 상기 관심 영역에 대한 부분을 상기 제2 카메라(120)를 통해 획득한 제2 이미지 내에서 추출하도록 한다.

디스플레이부(150)는 후술할 제어부(160)의 제어에 따라 촬영된 제1 및 제2 이미지를 표시하며, 사진 촬영 시 필요한 설정 화면이나, 사용자의 동작 선택을 위한 화면을 표시한다.

또한, 디스플레이부(150)는 제어부(160)의 제어에 따라 합성된 제3 이미지를 표시할 수 있다.

또한, 실시 예에 따라 프리뷰 키 입력 시, 프리뷰 화면을 표시하며, 촬영 키 입력 시 팝-업 되는 팝-업 화면이나, 미리 설정된 애니메이션 혹은 이미지를 표시한다.

사용자 입력부(130)는 사용자의 입력을 수신하여 제어부(160)로 전달한다.

상기 디스플레이부(150)가 터치 스크린으로 구현된 경우에는 상기 디스플레이부(150)가 동시에 상기 사용자 입력부(130)로 동작할 수 있다.

실시 예에 따라, 사용자 입력부(130)는 촬영을 수행하기 위한 촬영 키와, 프리뷰 화면을 표시하기 위한 프리뷰 키를 더 포함할 수 있다.

저장부(140)는 카메라 장치(100)가 동작하는데 필요한 데이터를 저장한다. 예를 들어, 저장부(140)는 제어부(160)의 처리 또는 제어를 위한 프로그램 등 카메라 장치의 전반적인 동작을 위한 다양한 데이터를 저장할 수 있다.

또한, 실시 예에 따라 저장부(140)는 촬영 키 입력 시, 상기 디스플레이부(150)를 통해 표시할 팝-업 화면이나 애니메이션 혹은 영상을 저장한다.

저장부(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

저장부(140)는 제1 카메라(110) 및 제2 카메라(120)의 위치 좌표 정보를 저장할 수 있다. 예를 들어, 저장부(140)는 제1 카메라(110)의 초점 거리 및 주점 정보를 포함하는 위치 좌표 정보와, 제2 카메라(120)의 초점 거리 및 주점 정보를 포함하는 위치 좌표 정보를 저장할 수 있다. 이는, 추후 제2 이미지 내에서 제1 이미지의 관심 영역에 대응 부분을 검출하기 위해 이용될 수 있다.

제어부(160)는 카메라 장치(100)의 전반적인 동작을 제어한다.

예를 들어, 제어부(160)는 사용자 입력부(130)를 통해 입력된 사용자 명령에 따라 제1 카메라(110) 및 제2 카메라(120)를 통해 각각 제1 및 제2 이미지가 획득되도록 제어할 수 있다.

또한, 제어부(160)는 상기 제1 카메라(110)를 통해 촬영된 제1 이미지가 고조도 이미지 및/또는 저조도 이미지인지를 판단할 수 있다. 즉, 제어부(160)는 상기 제1 카메라(110)를 통해 촬영된 제1 이미지의 히스토그램을 검출할 수 있다.

이때, 히스토그램은 제1 이미지의 각 픽셀에 대한 계조를 분석하여 획득한 정보이며, 여기에는, 각 계조의 빈도 수, 피크 개수, 피크 거리 및 피크 폭을 포함한다.

즉, 히스토그램은 제1 이미지 내에서 픽셀들에 대한 명암 값의 분포를 나타낸 것으로, 밝은 픽셀과 어두운 픽셀이 분포할 때, 그 범위와 값을 표션한 것으로, 이것을 그래프로 나타낸 것을 히스토그램 그래프라 한다.

그리고, 제어부(160)는 상기 히스토그램 그래프를 이용하여 밝은 픽셀은 분포 및 어두운 픽셀의 분포를 확인하고, 이를 토대로 상기 제1 카메라(110)를 통해 촬영된 제1 이미지가 고조도 이미지인지, 아니면 저조도 이미지인지, 아니면 고저조도 이미지인지를 확인할 수 있다. 예를 들어, 전체 빈도수를 기준으로 상기 제1 이미지 내에서, 제1 기준 범위 내의 휘도 레벨을 가진 픽셀의 빈도수가 40% 이상인 경우, 상기 제어부(160)는 상기 제1 이미지를 고조도 이미지라고 판단할 수 있다. 예를 들어, 전체 빈도수를 기준으로 상기 제1 이미지 내에서 제2 기준 범위 내의 휘도 레벨을 가진 픽셀의 빈도수가 40% 이상인 경우, 상기 제어부(160)는 상기 제1 이미지를 저조도 이미지라고 판단할 수 있다. 예를 들어, 전체 빈도수를 기준으로 상기 제1 이미지 내에서, 제1 기준 범위 내의 휘도 레벨을 가진 픽셀의 빈도수가 40% 이상이고, 제2 기준 범위 내의 휘도 레벨을 가진 픽셀의 빈도수가 40% 이상인 경우, 상기 제어부(160)는 상기 제1 이미지를 고저조도 이미지라고 판단할 수 있다.

그리고, 제어부(160)는 상기 제1 이미지가 고조도 이미지, 저조도 이미지 및 고저조도 이미지 중 어느 하나인 것으로 판단되는 경우, 상기 픽셀별 휘도 레벨을 기준으로 상기 제1 이미지 내에서 고조도 영역 및/또는 저조도 영역에 해당하는 관심 영역을 검출한다. 이를 위해, 제어부(160)는 상기 제1 이미지를 이미지 처리할 수 있다. 예를 들어, 제어부(160)는 제1 이미지 내에서 고조도 영역을 검출하기 위하여 상기 제1 이미지를 제1 이미지 처리할 수 있다. 예를 들어, 제어부(160)는 제1 이미지 내에서 저조도 영역을 검출하기 위하여 상기 제1 이미지를 제2 이미지 처리할 수 있다. 이때, 실시 예에서는 고조도 영역을 검출하기 위한 이미지 처리 방법과, 저조도 영역을 검출하기 위한 이미지 처리 방법이 서로 다를 수 있으나, 이에 한정되지는 않는다.

이를 위해, 제어부(160)는 상기 제1 이미지에 고조도 영역 및/또는 저조도 영역이 존재하는 것으로 판단되는 경우, 상기 제1 이미지를 그레이 스케일 이미지로 변환한다.

즉, 제1 이미지는 컬러 이미지이며, 제어부(160)는 상기 제1 이미지를 흑백 이미지인 그레이 스케일 이미지로 변환한다. 이를 위해, 제어부(160)는 상기 제1 이미지의 픽셀별 컬러의 휘도(Y)를 이용하여 상기 제1 이미지를 그레이 스케일 이미지로 변환할 수 있다. 예르 들어, 제어부(160)는 CIE(Commission Internationale de L'Eclairage) XYZ 색 공간(color space)에서 정의된 휘도인 CIE Y 또는 NTSC Y 등을 이용하여 상기 제1 이미지를 그레이 스케일 이미지로 변환할 수 있다. 여기에서, 컬러 이미지를 그레이 스케일 이미지로 변환하는 방법은 본 발명이 속하는 기술분야에서 이미 공지된 기술이므로 이에 대한 상세한 설명은 생략하기로 한다.

그리고, 제어부(160)는 상기 변환된 그레이 스케일 이미지를 이용하여 상기 고조도 영역을 검출하기 위한 제1 이미지 처리 또는 상기 저조도 영역을 검출하기 위한 제2 이미지 처리를 수행할 수 있다.

여기에서, 상기 제1 이미지 처리는 이진화(Binary) 처리를 포함할 수 있다. 즉, 제어부(160)는 상기 그레이 스케일 이미지 내에서 고조도 영역을 검출하기 위하여, 상기 그레이 스케일 이미지를 이진화 처리할 수 있다. 여기에서, 이진화 처리는 그레이 스케일 이미지 내에서의 픽셀 영역들을 기설정된 이진화 기준 값과 비교하여 제1 및 제2 밝기 값으로 이진화하고, 이에 따라 상기 제1 밝기 값에 대응하는 픽셀은 블랙 영역으로, 제2 밝기 값에 대응하는 픽셀은 화이트 영역으로 처리하여 상기 그레이 스케일 이미지를 이진화 기준 값을 기준으로 2개의 밝기 영역으로만 처리하는 것을 의미한다. 여기에서, 상기 이진화 기준 값은 상기 고조도 영역과 그 이외의 영역의 구분을 위해 설정된 상기 제1 기준 범위를 가지고 결정될 수 있다. 예를 들어, 상기 이진화 기준 값은 그레이 스케일 레벨을 기준으로 201 레벨로 설정될 수 있다.

이에 따라, 제어부(160)는 상기 그레이 스케일 이미지의 픽셀별 휘도 레벨을 기준으로, 201 레벨 이상이 되는 픽셀은 화이트로 처리하고, 201 레벨 미만이 되는 픽셀은 블랙으로 처리할 수 있다.

이후, 제어부(160)는 상기 이진화 처리가 된 이미지를 가지고 고조도 영역을 검출할 수 있다. 다시 말해서, 상기 이진화 처리된 이미지는 상기 제1 기준 범위에 속한 픽셀은 화이트로 처리되고, 나머지 다른 픽셀은 블랙으로 처리된다. 이에 따라, 제어부(160)는 상기 이진화 처리된 이미지 내에서 상기 화이트로 처리된 부분를 검출하고, 이를 제1 관심 영역으로 검출할 수 있다. 여기에서, 제1 관심 영역은 상기 제1 이미지 내에서 고조도 영역을 의미할 수 있다.

이때, 제어부(160)는 상기 이진화 처리된 이미지에 기반하여 상기 제1 관심 영역에 대한 정보를 검출할 수 있다. 예를 들어, 제어부(160)는 상기 이진화 처리된 이미지에 기반하여 상기 제1 이미지 내에서 상기 제1 관심 영역의 위치 및 이의 크기 정보를 검출할 수 있다.

또한, 상기 제2 이미지 처리는 색 반전 처리를 포함할 수 있다. 즉, 제어부(160)는 상기 그레이 스케일 이미지를 색 반전 처리하여 색반전된 이미지를 획득할 수 있다. 여기에서, 색 반전 처리는 상기 그레이 스케일 이미지의 각 픽셀별 휘도 레벨에 기반하여, 낮은 휘도 레벨을 가진 픽셀 영역이 높은 휘도 레벨을 가지도록 반전시키는 것을 의미할 수 있다. 이때, 제어부(160)는 제2 기준 범위를 기준으로 상기 색 반전 처리를 진행할 수 있다. 예를 들어, 상기 제어부(160)는 상기 그레이 스케일 이미지 내에서 제2 기준 범위에 속한 0~50 레벨에 속한 픽셀 영역을 높은 휘도 레벨로 반전 시키고, 그 이외의 픽셀 영역을 낮은 휘도 레벨로 반전시킬 수 있다.

이후, 제어부(160)는 상기 색 반전 처리된 이미지를 가지고 상기 제1 이미지 내에서 제2 관심 영역을 검출할 수 있다. 예를 들어, 제어부(160)는 상기 색 반전 처리된 이미지 내에서 기준 값보다 높은 휘도 레벨을 가진 영역을 검출할 수 있다. 즉, 상기 색 반전 처리된 이미지 내에서 기준 값보다 높은 휘도 레벨을 가진 영역은 상기 제2 관심 영역일 수 있으며, 이는 제1 이미지 내에 포함된 저조도 영역일 수 있다.

이에 따라, 제어부(160)는 상기 색 반전 처리된 이미지에 기반하여, 상기 제1 이미지 내에 포함된 제2 관심 영역의 위치 및 크기를 검출할 수 있다.

한편, 제1 이미지를 구성하는 하나의 프레임 내에는 고조도 영역만이 존재할 수 있고, 저조도 영역만이 존재할 수 있다. 다만, 이미지의 촬영 조건이나 환경에 따라 하나의 프레임 내에는 고조도 영역 및 저조도 영역이 공존할 수 있다. 다시 말해서, 제1 이미지는 고조도 영역 및 저조도 영역을 모두 포함할 수 있다. 이와 같은 경우, 제어부(160)는 상기 제1 이미지를 그레이 스케일 이미지로 변환한다. 그리고, 제어부(160)는 상기 그레이 스케일 이미지를 이진화 처리하여 제1 관심 영역을 검출할 수 있다. 또한, 제어부(160)는 상기 그레이 스케일 이미지를 색반전 처리하여 제2 관심 영역을 검출할 수 있다.

또한, 이는 일 실시 예에 불과하며, 고조도 영역 및 저조도 영역을 검출하는 방법은 실시 예에 따라 변경될 수 있다. 예를 들어, 제어부(160)는 상기 그레이 스케일 이미지의 픽셀별 휘도 레벨을 가지고 제1 관심 영역 및 제2 관심 영역을 각각 검출할 수 있다. 예를 들어, 제어부(160)는 상기 그레이 스케일 이미지 내에서 제1 기준 범위에 속한 픽셀의 위치 및 크기를 검출하여 이를 제1 관심 영역으로 검출할 수 있고, 제2 기준 범위에 속한 픽셀의 위치 및 크기를 검출하여 이를 제2 관심 영역으로 검출할 수 있다.

즉, 실시 예에서의 제어부(160)는 제1 카메라(110)를 통해 제1 이미지가 획득되면, 상기 획득된 제1 이미지 내에서 고조도 영역 또는 저조도 영역이 포함되어 있는지를 검출할 수 있다. 즉, 제어부(160)는 상기 제1 이미지를 히스토그램 처리하여 상기 제1 이미지가 고조도 이미지인지, 저조도 이미지인지, 아니면 고저조도 이미지인지, 아니면 일반 이미지인지를 판단할 수 있다.

그리고, 제어부(160)는 상기 제1 이미지가 고조도 이미지, 저조도 이미지, 및 고저조도 이미지 중 어느 하나의 이미지인 것으로 판단된 경우, 상기 제1 이미지를 이미지 처리하여, 상기 제1 이미지 내에서 제1 관심 영역 및/또는 제2 관심 영역을 검출할 수 있다.

한편, 제어부(160)는 상기 제1 및 제2 관심 영역이 검출되면, 상기 제1 이미지 내에서의 상기 제1 및 제2 관심 영역을 대체할 대체 이미지를 획득한다. 구체적으로, 제어부(160)는 상기 제2 카메라(120)를 통해 획득된 제2 이미지 내에서 상기 제1 및/또는 제2 관심 영역에 대응하는 영역을 검출할 수 있다.

이를 위해, 제어부(160)는 상기 제1 관심 영역의 위치 정보 및 제2 관심 영역의 위치 정보를 확인하고, 제2 이미지 내에서 상기 위치정보에 대응하는 영역이 어느 영역인지를 판단할 수 있다.

즉, 실시 예에서의 저장부(140)에는 제1 카메라(110)의 초점 거리 및 주점 정보를 포함하는 위치 좌표 정보와, 제2 카메라(120)의 초점 거리 및 주점 정보를 포함하는 위치 좌표 정보가 저장되어 있다. 이는, 상기 제2 이미지 내에서 제1 이미지의 관심 영역에 대응 부분을 검출하기 위해 이용될 수 있다.

다시 말해서, 하나의 카메라 장치(100) 내에 복수의 카메라가 각각 설치되는 경우, 상기 복수의 카메라 사이의 이격 거리나 렌즈 스펙 등에 의해 상기 제1 이미지와 제2 이미지 사이에는 일정 시차(parallax)를 가지게 된다. 그리고, 상기 저장부(140)에 저장된 위치 좌표 정보는 상기 제1 카메라(110)와 제2 카메라(120) 사이의 시차 정보를 획득하기 위한 정보로 활용될 수 있다.

이를 위해, 제어부(160)는 제1 카메라(110) 및 제2 카메라(120)의 내부 파라미터를 추출할 수 있다. 이때, 상기 내부 파라미터는 각 카메라의 위치 좌표 정보일 수 있다. 즉, 실시 예에서의 카메라 장치에서는 카메라 모듈별로 캘리브레이션을 진행하고, 상기 캘리브레이션의 진행 결과에 기반하여 상기 제1 카메라(110) 및 제2 카메라(120) 각각의 초점 거리 및 주점 정보와 같은 내부 파라미터를 산출할 수 있다. 이때, 상기 내부 파라미터 추출은 각각의 카메라 상이의 기하학적 관계를 계산하는 것이라고 할 수 있다.

이를 위해, 제어부(160)는 각각의 카메라에 대해서, 다양한 시점에서 촬영한체스판 영상을 획득하고, 이를 이용하여 각각의 카메라에 대한 호모그래피를 구할 수 있다. 여기에서, 실시 예에서는 소실점 좌표를 이용하여 내부 파라미터를 산출할 수 있다.

여기에서, 카메라 캘리브레이션은 크게 카메라 자체의 기구적 특성을 파악하는 내부 파라미터 캘리브레이션 과정과 카메라 의 설치 위치 및 자세정보(방향각) 등의 기구 외적인 특성을 파악하는 외부 파라미터 캘리브레이션 과정으로 구분된다. 카메라의 내부 파라미터에는 초점거리(focal length), 카메라 주점(principal point), 렌즈 왜곡계수 등이 있으며 카메라의 외부 파라미터에는 기준 좌표계(월드 좌표계)를 기준으로 한 카메라의 3차원 위치정보(x, y, z 등 카메라의 설치위치)와 자세정보(pan, tilt, roll 등의 방향각)가 있다.

여기에서, 실시 예에 따른 내부 파라미터에는 크게 각 카메라 모듈의 초점거리 f와 주점 정보에 대한 영상좌표 (cx, cy)를 포함할 수 있다.

초점거리는 제1 카메라(110) 및 제2 카메라(120)를 구성하는 각 렌즈의 중심에서 이미지 센서까지의 거리를 픽셀단위로 표현한 것이며, 주점 정보는 각 렌즈의 광학축(optical axis)과 각 이미지 센서의 교점에 대한 픽셀좌표를 의미할 수 있다.

이와 같은 내부 파라미터를 추정하기 위한 사전 단계로서 물리좌표를 영상좌표로 변환하기 위한 호모그래피 행렬을 계산할 수 있다. 이 때, 호모그래피란, 한 평면을 다른 평면에 투영(projection)시켰을 때 원래 평면의 점과 투영된 대응점들 사이에 성립하는 변환관계를 지칭할 수 있다. 호모그래피는 3 x 3 행렬로 표현될 수 있으며, 대응점들의 동차좌표(homogeneous coordinate) 표현에 대해 성립하는 변환관계일 수 있다.

한편, 실시 예에서는 소실점 좌표를 이용하여 내부 파라미터의 값을 산출할 수 있다.

또한, 카메라 좌표계에서 픽셀 이미지 좌표계로 변환하는 행력식은 다음의 식 1과 같이 정의되며, 내부 파라미터 모델을 형성할 수 있다.

------식 1

여기서, f는 카메라의 초점거리, dx, dy는 각각의 단위 센서부가 가지는 폭과 높이, cx, cy는 이미지 좌표계에서 주점의 영상 좌표를 의미한다.

이때, 상기 카메라 장치의 캘리브레이션을 진행하는 과정은 이미 공지된 기술이므로 이에 대한 상세한 설명은 생략한다.

한편, 실시 예에서는 상기와 같이 각 카메라에 대한 내부 파라미터 값이 산출되면, 이를 이용하여 각 카메라 사이의 시차를 구할 수 있다.

그리고, 제어부(160)는 제1 카메라(110)의 위치 좌표 정보를 기준으로 상기 제2 카메라(120)의 상대 위치를 파악할 수 있다. 여기에서, 상기 상대 위치는 제1카메라와 제2 카메라 사이의 상대 위치일 수 있으며, 더 나아가 제1 카메라에서 촬영되는 제1 이미지와 제2 카메라에서 촬영된 제2 이미지 사이의 상대 위치일 수 있다.

이때, 상기 파악된 상대 위치에 대한 정보를 저장부(140)에 저장될 수 있다. 제어부(160)는 상기 저장부(140)에 저장된 상대 위치 정보를 이용하여 상기 제2 이미지 내에서 상기 제1 이미지의 관심 영역에 대응하는 제2 영역을 추출할 수 있다. 여기에서, 상기 제2 영역은 상기 제2 이미지의 전체 영역 내에서, 상기 제1 이미지의 상기 관심 영역에 대응하는 영역을 의미할 수 있다.

제어부(160)는 상기 제2 이미지 내에서 상기 제2 영역이 검출되면, 상기 제1 이미지와 상기 제2 영역을 합성한 제3 이미지를 생성할 수 있다. 바람직하게, 제어부(160)는 제1 이미지의 제1 영역과, 상기 제2 이미지의 제2 영역을 합성한 제3 이미지를 생성할 수 있다. 이때, 상기 제1 영역은 상기 제1 이미지의 전체 영역 내에서 상기 제1 및 제2 관심 영역이 제외된 영역일 수 있다. 한편, 상기 제1 및 제2 관심 영역은 상기 제1 이미지 내에서 상기 제1 영역을 제외한 제3 영역이라고도 할 수 있다.

결론적으로, 제어부(160)는 제1 이미지 내에서 상기 제3 영역을 제외한 제1 영역을 검출한다. 그리고, 제어부(160)는 제2 이미지 내에서 상기 제3 영역에 대응하는 제2 영역을 검출한다. 이후, 제어부(160)는 상기 제1 이미지의 상기 제1 영역과 상기 제2 이미지의 상기 제2 영역을 합성한 제3 이미지를 생성하고, 이를 디스플레이부(150)를 통해 디스플레이할 수 있다.

한편, 제1 이미지와 제2 이미지는 동일 시점에 촬영된 이미지이며, 서로 동일한 배율로 촬영된 이미지일 수 있다.

이에 따라, 상기 제2 이미지에서의 상기 제2 영역은 상기 제1 이미지에서의 상기 제3 영역과 동일한 객체 정보를 포함할 수 있다. 한편, 실시 예에 따라 상기 제1 이미지와 제2 이미지의 배율은 다를 수 있다.

즉, 제2 이미지는 제1 이미지 내에서의 객체 인식이 불가능한 고조도 영역 또는 저조도 영역을 대체하기 위한 이미지이다. 이에 따라, 상기 제2 이미지는 상기 제1 이미지보다 높은 배율로 촬영된 이미지일 수 있다. 이와 같은 경우, 상기 제2 이미지를 제1 이미지보다 높은 배율을 갖도록 하여, 상기 제2 이미지를 이용하여 상기 제1 이미지 내에서의 객체 인식이 불가능한 영역의 정보를 확대하여 제공할 수 있다.

한편, 제어부(160)는 상기 제1 영역과 제2 영역을 단순 합성하여 상기 제3 이미지를 생성할 수도 있지만, 상기 제2 영역에서 중요한 정보를 포함하고 있는 객체 영역을 추가로 검출하고, 이를 가지고 상기 제3 이미지를 생성할 수도 있을 것이다.

이를 위해, 제어부(160)는 상기 제1 및 제2 관심 영역에 대응하는 제3 영역이 검출되면, 상기 제3 영역 내에서 객체 영역을 추가로 검출할 수 있다. 즉, 제어부(160)는 상기 제3 영역에 대한 이미지를 분석하여 객체 인식을 진행할 수 있다.

객체 인식을 진행하기 위해, 제어부(160)는 제1 이미지의 상기 제3 영역에 대해, 특정 특징을 활성화하는 컨벌루션 필터 집합을 사용하여 상기 제3 영역을 통과시킬 수 있다. 이를 위해, 제어부(160)는 딥 러닝 기술의 하나인 ReLu(Rectified Linear Unit)을 이용할 수 있다. 상기 ReLu는 음수 값을 0에 매칭하고, 양수 값을 유지하여 빠르고 효과적인 학습이 가능한 딥 러닝 기술 중의 하나이다. 또한, 제어부(160)는 풀링 과정을 거쳐 비선형 다운 샘플링을 수행하고, 네트워크에서 학습해야 하는 매개 변수의 수를 줄여서 출력을 간소화할 수 있다. 그리고, 제어부(160)는 이와 같은 방법을 통해 상기 제3 영역에 포함된 객체의 종류 및 객체 영역(상기 객체의 위치 및 크기)을 검출할 수 있다.

그리고, 제어부(160)는 상기 제3 영역에서 객체 영역이 인식되면, 상기 제2 이미지 내에서 상기 객체 영역에 대응하는 제2 영역을 검출한다. 이후, 제어부(160)는 상기 제1 이미지 내에서 상기 객체 영역을 제외한 제1 영역과, 상기 제2 이미지 내에서 상기 객체 영역에 대응하는 제2 영역을 합성한 제3 이미지를 생성할 수 있다.

한편, 일반적인 열화상 이미지를 획득하는 제2 카메라(120)는 낮은 해상도를 가지고 있다. 이때, 상기 제1 이미지의 해상도와 제2 이미지의 해상도가 서로 다를 경우, 이를 합성하여 제공되는 제3 이미지는 사용자에게 이질감을 느끼게 할 수 있다. 따라서, 실시 예에서는 상기 제2 이미지의 해상도를 상기 제1 이미지의 해상도와 동일하게 변환할 수 있도록 한다.

이를 위해, 실시 예에의 제2 카메라(120)는 SR 기법을 활용하여 상기 제1 이미지와 동일한 해상도를 갖는 제2 이미지를 획득할 수 있도록 한다. 이를 위해, 제2 카메라(120)는 필터틸팅 액추에이터(미도시)를 구비할 수 있다. 필터 틸팅 액추에이너는 광축을 기준으로 적외선 신호의 입사 광로가 변경되도록 할 수 있다. 즉, 하나의 제2 이미지는 복수의 프레임의 합성으로 획득될 수 있다. 그리고, 상기 복수의 프레임은 각각 시차(관측 위치에 따른 피사체의 위치나 방향의 차이, parallax)가 서로 다른 이미지일 수 있으며, 제어부(160)는 상기 서로 시차를 가진 이미지를 합성하여 하나의 제2 이미지를 획득할 수 있다.

즉, 제2 카메라(120)는 한장의 제2이미지를 획득하기 위해, 복수의 프레임 이미지를 획득할 수 있다. 예를 들어, 제2 이미지는 4장의 프레임 이미지의 합성을 통해 생성될 수 있다. 이때, 4장의 프레임 이미지는 서로 다른 시차를 가질 수 있다. 즉, 필터 액추에이터는 제1 위치를 기준으로 제1 방향으로 제1 픽셀 간격만큼 이동한 제2 위치로 적외선 신호의 입사 경로를 이동시킬 수 있으며, 이때 획득된 이미지는 제1 프레임 이미지일 수 있다. 또한, 필터 액추에이터는 상기 제1 위치를 기준으로 제2 방향으로 제1 픽셀 간격만큼 이동한 제2 위치로 적외선 신호의 입사 경로를 이동시킬 수 있으며, 이때 획득된 이미지는 제2 프레임 이미지일 수 있다. 또한, 필터 액추에이터는 상기 제2 위치를 기준으로 제3 방향으로 제1 픽셀 간격만큼 이동한 제3 위치로 적외선 신호의 입사 경로를 이동시킬 수 있으며, 이때 획득된 이미지는 제3 프레임 이미지일 수 있다. 또한, 필터 액추에이터는 상기 제3 위치를 기준으로 제4 방향으로 제1 픽셀 간격만큼 이동한 제4 위치로 적외선 신호의 입사 경로를 이동시킬 수 있으며, 이때 획득된 이미지는 제4 프레임 이미지일 수 있다. 그리고, 제어부(160)는 상기 제1 내지 제4 프레임 이미지를 합성하여 한장의 제2 이미지를 생성할 수 있다. 그리고, 상기 제3 이미지는 상기 생성된 제2 이미지 내에서의 제2 영역과 상기 제1 이미지의 제1 영역의 합성에 의해 생성될 수 있다.

한편, 상기 제1 픽셀 간격은 0과 1 사이의 값일 수 있다. 바람직하게, 상기 제1 픽셀 간격은 0.5픽셀일 수 있다. 즉, 필터 액추에이터는 제어부(160)의 제어 신호에 따라 기준 위치를 기준으로 0.5 픽셀 간격만큼 상기 적외선 신호의 입사 경로를 제1 내지 제4 방향으로 이동시킬 수 있다.

상기와 같은 본 발명에 따른 실시 예에서의 카메라 장치는 제1 카메라 및 제2 카메라를 포함한다. 이때, 제1 카메라는 컬러 영상을 획득할 수 있는 가시광선 카메라이고, 제2 카메라는 적외선 영상을 획득할 수 있는 가시광선 카메라이다. 이때, 제1 카메라를 통해 획득된 제1 이미지는 주변의 광에 의해 영향을 받으며, 이에 따라 저조도 영역이나 고조도 영역을 포함하게 된다. 고조도 영역은 기준 범위를 초과한 휘도 레벨을 가지는 영역이고, 저조도 영역은 기준 범위보다 낮은 휘도 레벨을 가지는 영역이다. 그리고, 제1 이미지 내에서의 고조도 영역 및 저조도 영역은 선명도가 떨어지게 되며, 상기 고조도 영역 및 저조도 영역 상에 객체가 존재하는 경우, 상기 객체에 대한 인식률이 감소하게 된다. 이에 따라, 실시 예에서는 제1 이미지 내에서 고조도 영역 또는 저조도 영역에 대응하는 관심 영역을 검출한다. 그리고, 실시 예에서는 제1 이미지에서의 관심 영역이 검출되는 경우, 제2 카메라를 통해 획득된 제2 이미지 내에서 상기 관심 영역에 대응하는 영역을 추출한다. 이후, 실시 예에서는 상기 제1 이미지와 상기 제2 이미지에서 추출한 영역을 합성하여 제공한다.

이하에서는 실시 예에 따른 제1 및 제2 이미지의 획득 과정과, 이를 이용하여 제3 이미지를 생성하는 과정에 대해 보다 구체적으로 설명하기로 한다.

도 2는 실시 예에 따른 카메라 장치의 이미지 합성 방법을 단계별로 설명하기 위한 흐름도이다.

도 2를 참조하면, 제1 카메라(110)는 제1 이미지를 획득하고, 제2 카메라(120)는 제2 이미지를 획득한다(100단계). 이때, 상기 제1 및 제2 이미지는 동일 시점에 획득된 이미지일 수 있다. 또한, 상기 제1 및 제2 이미지는 서로 동일한 배율을 가진 이미지일 수 있다. 다만, 실시 예는 이에 한정되지 않으며, 제2 이미지는 상기 제1 이미지보다 높은 배율을 가질 수도 있을 것이다. 제2 이미지가 제1 이미지보다 높은 배율을 가짐에 따라, 실시 예에서는 상기 제1 이미지 내에서 물체 인식 불가 영역에 해당하는 관심 영역에 대한 확대 영상을 제공할 수 있으며, 이에 따라 사용자 만족도를 향상시킬 수 있다.

이후, 제어부(160)는 상기 획득한 제1 이미지 내에서 제1 및 제2 관심 영역에 해당하는 제3 영역을 검출한다(110단계).

즉, 상기 제1 카메라(110)는 주변 광에 영향을 받은 제1 이미지를 획득할 수 있다. 여기에서, 상기 제1 이미지는 주변 광의 상태에 따라 고조도 영역 및/또는 저조도 영역을 포함할 수 있다.

이때, 제어부(160)는 하나의 픽셀의 휘도 레벨을 기준으로 고조도 영역 및 저조도 영역을 검출하는 것이 아니라, 주변 픽셀이 가지는 휘도 레벨의 연속성을 가지고 고조도 영역 및 저조도 영역을 판단할 수 있다.

이에 따라, 실시 예에서는 제1 카메라(110)를 통해 획득된 이미지 중에서 고조도 영역 또는 저조도 영역이 존재하는 경우, 이를 검출할 수 있다.

한편, 제어부(160)는 상기 제1 카메라(110)를 통해 촬영된 제1 이미지로부터 관심 영역에 대응하는 제3 영역을 검출하기에 앞서, 상기 제1 이미지가 고조도 이미지 및/또는 저조도 이미지인지를 판단할 수 있다. 즉, 제어부(160)는 상기 제1 카메라(110)를 통해 촬영된 제1 이미지의 히스토그램을 검출할 수 있다.

이후, 제어부(160)는 상기 관심 영역에 대응하는 제3 영역의 위치 정보가 검출되면, 상기 제2 이미지 내에서 상기 제3 영역에 대응하는 제2 영역을 검출한다(120단계).

또한, 제어부(160)는 상기 제2 영역이 검출되면, 상기 제1 이미지 내에서 상기 제3 영역을 제외한 제1 영역과, 상기 제2 이미지에서 검출된 상기 제2 영역을 합성한 제3 이미지를 획득한다(130단계).

이후, 제어부(160)는 상기 제3 이미지가 획득되면, 디스플레이부(150)를 통해 제3 이미지를 디스플레이한다(140단계).

도 3은 실시 예에 따른 제2 영역의 검출 방법의 일부를 단계별로 설명하기 위한 흐름도이다.

실시 예에서는 도 1 및 도2 에서 설명한 바와 같이, 상기 제1 및 제2 관심 영역에 대응하는 제3 영역이 검출되면, 상기 제2 이미지 내에서 상기 제1 및 제2 관심 영역을 대체할 대체 이미지를 획득한다. 구체적으로, 제어부(160)는 상기 제2 카메라(120)를 통해 획득된 제2 이미지 내에서 상기 제1 및/또는 제2 관심 영역에 대응하는 영역을 검출할 수 있다.

따라서, 실시 예에서의 저장부(140)에는 제1 카메라(110)의 초점 거리 및 주점 정보를 포함하는 위치 좌표 정보와, 제2 카메라(120)의 초점 거리 및 주점 정보를 포함하는 위치 좌표 정보가 저장되어 있다. 이는, 상기 제2 이미지 내에서 제1 이미지의 관심 영역에 대응 부분을 검출하기 위해 이용될 수 있다.

이를 위해, 제어부(160)는 제1 카메라(110) 및 제2 카메라(120)의 내부 파라미터를 추출할 수 있다(200단계). 이때, 상기 내부 파라미터는 각 카메라의 위치 좌표 정보일 수 있다. 즉, 실시 예에서의 카메라 장치에서는 카메라 모듈별로 캘리브레이션을 진행하고, 상기 캘리브레이션의 진행 결과에 기반하여 상기 제1 카메라(110) 및 제2 카메라(120) 각각의 초점 거리 및 주점 정보와 같은 내부 파라미터를 산출할 수 있다. 이때, 상기 내부 파라미터 추출은 각각의 카메라 상이의 기하학적 관계를 계산하는 것이라고 할 수 있다.

이를 위해, 제어부(160)는 각각의 카메라에 대해서, 다양한 시점에서 촬영한 체스판 영상을 획득하고, 이를 이용하여 각각의 카메라에 대한 호모그래피를 구할 수 있다. 여기에서, 실시 예에서는 소실점 좌표를 이용하여 내부 파라미터를 산출할 수 있다.

여기에서, 카메라 캘리브레이션은 크게 카메라 자체의 기구적 특성을 파악하는 내부 파라미터 캘리브레이션 과정과 카메라의 설치 위치 및 자세정보(방향각) 등의 기구 외적인 특성을 파악하는 외부 파라미터 캘리브레이션 과정으로 구분된다. 카메라의 내부 파라미터에는 초점거리(focal length), 카메라 주점(principal point), 렌즈 왜곡계수 등이 있으며 카메라의 외부 파라미터에는 기준 좌표계(월드 좌표계)를 기준으로 한 카메라의 3차원 위치정보(x, y, z 등 카메라의 설치위치)와 자세정보(pan, tilt, roll 등의 방향각)가 있다.

이후, 제어부(160)는 상기와 같이 각 카메라에 대한 내부 파라미터 값이 산출되면, 이를 이용하여 각 카메라 사이의 시차를 구할 수 있다(210단계).

이후, 제어부(160)는 상기 시차 정보를 이용하여 상기 제1 및 제2 카메라간의 위치 좌표 정보를 획득할 수 있다(220단계).

그리고, 제어부(160)는 제1 카메라(110)의 위치 좌표 정보를 기준으로 상기 제2 카메라(120)의 상대 위치를 파악할 수 있으며, 이를 저장부(140)에 저장할 수 있다(230단계). 이후, 제어부(160)는 상기 저장부(140)에 저장된 상대 위치 정보를 이용하여 상기 제2 이미지 내에서 상기 제1 이미지의 관심 영역에 대응하는 제2 영역을 추출할 수 있다. 여기에서, 상기 제2 영역은 상기 제2 이미지의 전체 영역 내에서, 상기 제1 이미지의 상기 관심 영역에 대응하는 영역을 의미할 수 있다.

도 4는 실시 예에 따른 카메라 장치에서 제3 영역을 검출하는 방법을 단계별로 설명하기 위한 흐름도이다.

도 4를 참조하면, 제어부(160)는 상기 제1 카메라(110)를 통해 획득된 제1 이미지를 분석한다(300단계).

즉, 제어부(160)는 상기 제1 이미지의 히스토그램을 분석할 수 있다.

도 5는 일 실시 예에 따라 제1 카메라를 통해 획득된 고조도 영역을 포함한 제1 이미지를 나타낸 도면이다.

도 5를 참조하면, 제1 이미지(200)는 촬영 환경에 따라 물체 인식이 가능한 정상적인 영역인 제1 영역(210)과, 고조도 영역에 해당하는 제3 영역(220)을 포함할 수 있다.

이때, 실시 예에서는 상기 제3 영역을 검출하는 과정을 무조건적으로 수행하지 않고, 제1 이미지의 히스토그램을 분석하여 상기 제1 이미지 내에서 고조도 영역 또는 저조도 영역이 존재할 가능성이 높은 경우에만 상기 제3 영역(220)을 검출하는 과정을 진행할 수 있다.

도 6은 고조도 이미지에서의 히스토그램을 나타낸 도면이다.

도 6을 참조하면, 고조도 이미지에 해당하는 제1 이미지(200)에서, 상기와 같이 고조도 영역에 해당하는 제3 영역(220)이 존재하는 경우, 상기 제1 이미지의 히스토그램은 제1 기준 범위에 해당하는 201 레벨 내지 255 레벨 사이에 빈도수가 집중된 제1 그래프(230)을 가질 수 있다.

그리고, 상기 제1 그래프(230)와 같은 형태의 히스토그램을 가지는 경우, 제어부(160)는 상기 제1 이미지(200)가 고조도 이미지인 것으로 인식할 수 있고, 이에 따라 상기 제1 이미지 내에서 고조도 영역이 존재하는 것으로 판단할 수 있다.

도 7은 일 실시 예에 따라 제1 카메라를 통해 획득된 저조도 영역을 포함한 제1 이미지를 나타낸 도면이다.

도 7을 참조하면, 제1 이미지(300)는 촬영 환경에 따라 물체 인식이 가능한 정상적인 영역인 제1 영역(310)과, 저조도 영역에 해당하는 제3 영역(320)을 포함할 수 있다.

이때, 실시 예에서는 상기 제3 영역을 검출하는 과정을 무조건적으로 수행하지 않고, 제1 이미지의 히스토그램을 분석하여 상기 제1 이미지 내에서 저조도 영역이 존재할 가능성이 높은 경우에만 상기 제3 영역(320)을 검출하는 과정을 진행할 수 있다.

도 8은 저조도 이미지에서의 히스토그램을 나타낸 도면이다.

도 8을 참조하면, 저조도 이미지에 해당하는 제1 이미지(300)에서, 상기와 같이 저조도 영역에 해당하는 제3 영역(320)이 존재하는 경우, 상기 제1 이미지의 히스토그램은 제2 기준 범위에 해당하는 0 레벨 내지 50 레벨 사이에 빈도수가 집중된 제2 그래프(330)을 가질 수 있다.

그리고, 상기 제2 그래프(330)와 같은 형태의 히스토그램을 가지는 경우, 제어부(160)는 상기 제1 이미지(200)가 저조도 이미지인 것으로 인식할 수 있고, 이에 따라 상기 제1 이미지 내에서 저조도 영역에 해당하는 관심 영역(제3 영역)을 검출하는 동작을 수행할 수 있다.

도 9는 실시 예에 따른 다른 형태의 히스토그램 그래프를 나타낸 도면이다.

도 9의 (a)를 참조하면, 상기 제1 이미지가 고조도 영역이나 저조도 영역을 포함하지 않는 일반적인 이미지인 경우, 상기 제1 이미지의 히스토그램은 제3 기준 범위에 해당하는 51 레벨 내지 200 레벨 사이에 빈도수가 집중된 제3 그래프(410)를 가질 수 있다.

또한, 도 9의 (b)를 참조하면, 상기 제1 이미지가 고조도 영역 및 저조도 영역이 혼합된 고저조도 이미지인 경우, 상기 제1 이미지의 히스토그램은 제1 기준 범위에 해당하는 201 레벨 내지 255 레벨 사이와, 제2 기준 범위에 해당하는 0레벨 내지 50레벨 사이에 빈도수가 집중된 제4 그래프(420)를 가질 수 있다. 다시 말해서, 상기 제1 이미지가 고조도 영역 및 저조도 영역이 혼합된 고저조도 이미지인 경우, 상기 제1 이미지의 히스토그램은 제3 기준 범위에 해당하는 51 레벨 내지 200 레벨의 빈도수가 전체 빈도수의 10% 미만일 수 있다. 그리고, 실시 예에서는 이와 같은 히스토그램 분포를 가지는 경우, 상기 제1 이미지가 고조도 영역 및 저조도 영역 중 어느 하나의 영역을 포함하는 것으로 인식할 수 있다.

다시 도 4를 참조하면, 상기 제어부(160)는 상기 제1 이미지 내에 고조도 영역이 포함되는 것으로 판단된 경우, 상기 제1 이미지를 그레이 스케일 이미지로 변환할 수 있다(320단계).

이후, 제어부(160)는 상기 변환된 그레이 스케일 이미지를 이진화 처리할 수 있다(330단계).

또한, 제어부(160)는 상기 이진화 처리된 이미지 내에서 고조도 영역에 해당하는 제3 영역의 위치 및 크기를 검출할 수 있다(340단계).

도 10은 다른 실시 예에 따른 제1 이미지의 분석 방법을 설명하기 위한 도면이다.

도 6, 도 8 및 도 9에 따르면, 제어부(160)는 제1 이미지에 대한 그레이 스케일 레벨을 가지고, 상기 제1 이미지의 히스토그램을 분석하여 상기 제1 이미지의 종류를 판단하였다.

도 10을 참조하면, 실시 예에서는 상기 제1 이미지를 색 채널별로 분리하고, 상기 분리된 채널별로 히스토그램을 분석할 수도 있다. 예를 들어, 실시 예에서는 상기 제1 이미지를 R 채널, G 채널 및 B 채널로 분리할 수 있다. 그리고, 제어부(160)는 도 10(a)와 같이 R 채널에 대한 히스토그램과, 도 10(b)와 같이 G 채널에 대한 히스토그램과, 도 10(c)와 같이 B 채널에 대한 히스토그램을 각각 분석하여 상기 제1 이미지가 고조도 이미지, 저조도 이미지 및 고저조도 이미지인지를 보다 정확하게 판단할 수 있도록 한다.

도 11은 실시 예에 따른 이미지 처리 과정을 설명하기 위한 도면이다.

도 11의 (a)와 같이, 제1 카메라(110)를 통해 촬영된 제1 이미지는 촬영 환경에 따라 고조도 영역을 포함하는 고조도 이미지일 수 있다.

또한, 도 11의 (b)와 같이, 제어부(160)는 상기 고조도 이미지에 해당하는 제1 이미지를 그레이 스케일 이미지로 변환할 수 있다.

또한, 도 11의 (c)와 같이, 제어부(160)는 상기 그레이 스케일 이미지를 이진화 처리하여, 고조도 영역에 해당하는 영역은 화이트로, 그 이외의 영역은 블랙으로 처리된 이진화 이미지를 획득할 수 있다. 또한, 제어부(160)는 상기 이진화 이미지로부터 화이트로 처리된 영역을 고조도 영역에 해당하는 제3 영역으로 인식하고, 이의 위치 및 크기를 검출하는 과정을 진행할 수 있다.

도 12는 실시 예에 따른 제3 이미지의 생성 과정을 설명하기 위한 흐름도이다.

도 12를 참조하면, 제2 카메라(120)는 제2 이미지를 획득할 수 있다(400단계). 이때 ,제2 이미지는 제1 이미지와 동시에 촬영된 이미지임이 바람직하나, 이에 한정되는 것은 아니다. 또한, 제2 이미지는 제1 이미지와 동일 배율을 가진 이미지일 수 있으나, 이에 한정되는 것은 아니며, 상기 제3 영역에 대한 강조 효과를 하기 위하여, 상기 제2 이미지는 상기 제1 이미지보다 높은 배율을 가질 수 있다.

제어부(160)는 상기 제1 이미지 내에서 제3 영역(관심 영역)이 검출되면, 상기 제3 영역에 대한 위치 정보를 확인한다(410단계).

이때, 상기 제3 영역에 대한 위치 정보는 상기 제1 이미지 내에서의 위치 정보일 수 있으며, 또한 제2 이미지 내에서의 위치 정보를 포함할 수 있다. 즉, 상기 제3 영역은 상기 제1 이미지 내에 포함되어 있다. 다만, 실시 예에서는 상기 제3 영역을 대체할 이미지를 제2 이미지에서 획득하게 된다. 이때, 상기 제1 이미지 및 제2 이미지는 일정 시차를 가지고 있다. 이에 따라, 실시 예에서는 저장부(140)에 제1 카메라와 제2 카메라 사이의 상대 위치 정보를 저장한다. 그리고, 제어부(160)는 저장부(140)에 저장된 상대 위치 정보를 이용하여, 상기 제2 이미지 내에서 제1 이미지의 상기 제3 영역에 대응하는 영역의 위치 정보를 검출할 수 있다.

이후, 제어부(160)는 상기 제3 영역의 위치 정보가 확인되면, 상기 제2 이미지 내에서 상기 제3 영역에 대응하는 제2 영역을 검출한다(420단계).

또한, 제어부(160)는 상기 제2 영역이 검출되면, 상기 제1 이미지 내에서 상기 제3 영역을 제외한 제1 영역과 상기 제2 영역을 합성하여 제3 이미지를 생성할 수 있다(430단계).

도 13은 실시 예에 따른 제2 이미지의 일 예를 나타낸 도면이다.

도 13을 참조하면, 제2 카메라(120)는 열화상 이미지에 대응하는 제2 이미지(500)를 획득할 수 있다. 이때, 도 13에서는 제2 이미지의 전체 영역 중에서 상기 제1 이미지의 제3 영역에 대응하는 제2 영역만을 확대 표시한 것이다.

이때, 도 13의 이미지에서 확인되는 바와 같이, 상기 제1 이미지의 제3 영역에서는 확인이 불가능한 객체가 상기 제2 이미지에서는 확인이 가능한 것을 확인할 수 있다. 예를 들어, 상기 제1 이미지의 제3 영역 내에는 차량 객체 및 태양 객체가 포함되어 있지만, 확인이 불가능하였다. 이에 반하여, 제2 이미지에서의 제2 영역을 보면, 상기 제1 이미지에서는 확인이 불가능하였던 차량 객체 및 태양 객체를 명확하게 인식할 수 있다.

도 14는 실시 예에 따른 제3 이미지의 일 예를 나타낸 도면이다.

도 14를 참조하면 제3 이미지(600)는 제1 영역(610) 및 제2 영역(620)을 포함한다. 이때, 상기 제1 영역(610)은 상기 제1 이미지 내에서 상기 관심 영역에 대응하는 제3 영역을 제외한 나머지 영역이다. 그리고, 상기 제2 영역(620)은 상기 제2 이미지 내에서 상기 제1 이미지의 제3 영역에 대응하는 영역이다.

실시 예에서는 제1 이미지의 객체 인식 불가능한 영역에 대해서, 상기 제2 이미지를 이용하여 인식 가능하도록 대체하도록 한다.

도 15는 저조도 이미지에서의 영역 검출 방법을 단계별로 설명하기 위한 도면이고, 도 16은 도 15를 통해 검출된 영역을 합성한 제3 이미지를 나타낸 도면이다.

도 15를 참조하면, (a)에서와 같이 제1 카메라(110)를 통해 촬영된 제1 이미지(700)는 저조도 이미지일 수 있으며, 이에 따라 저조도 영역을 포함할 수 있다.

또한, (b)에서와 같이, 제어부(160)는 상기 제1 이미지(700)에 저조도 영역이 존재하는 경우, 상기 제1 이미지(700)를 그레이 스케일 이미지로 변환하고, 이를 다시 색 반전을 통해 색반전 이미지(710)로 변환할 수 있다. 이때, 색 반전 이미지(710)에는 상기 저조도 이미지에 해당하는 부분이 다른 영역과 구분이 될 수 있으며, 이를 토대로 상기 저조도 영역에 대응하는 제3 영역(720)을 검출하는 과정을 진행할 수 있다.

또한, (c)에서와 같이, 제어부(160)는 제2 이미지 내에서 상기 제3 영역(720)에 대응하는 제2 영역(730)을 검출할 수 있다.

또한, 도 16을 참조하면, 실시 예에서의 제3 이미지(800)는 제1 영역(810) 및 제2 영역(820)을 포함한다. 이때, 상기 제1 영역(810)은 상기 제1 이미지 내에서 상기 관심 영역에 대응하는 제3 영역(720)을 제외한 나머지 영역이다. 그리고, 상기 제2 영역(820)은 상기 제2 이미지 내에서 상기 제1 이미지의 제3 영역에 대응하는 영역이다.

도 17은 다른 실시 예에 따른 제3 이미지 합성 방법을 단계별로 설명하기 위한 흐름도이다.

도 17을 참조하면, 제2 카메라(120)는 제2 이미지를 획득할 수 있다(500단계).

이후, 제어부(160)는 상기 제2 이미지에서 상기 관심 영역에 대응하는 제3 영역에 대한 위치 정보를 검출할 수 있다(510단계). 이때, 상기 제3 영역을 검출하는 방법은 이전에 설명한 내용으로 대체한다.

그리고, 제어부(160)는 상기 제2 이미지 내에서 상기 제3 영역에 대응하는 제2 영역을 검출할 수 있다.

여기에서, 실시 예에서는 상기 제2 영역을 단순히 제1 영역과 합성하는 것이 아니라, 상기 제2 영역 중 일부 영역에 대해서만 상기 제1 이미지의 나머지 영역과 합성하도록 한다.

이를 위해, 제어부(160)는 상기 제2 영역 내에서 객체가 포함된 객체 영역을 다시 검출하는 과정을 진행할 수 있다. 즉, 제어부(160)는 상기 제2 영역이 검출되면, 상기 제2 영역을 분석하여 상기 제2 영역 내에 객체가 포함되어 있는지, 그리고 객체가 포함되어 있다면, 객체가 포함된 객체 영역을 검출하는 과정을 진행한다(520단계, 530단계).

그리고, 상기 제어부(160)는 상기 객체 영역이 검출되면, 상기 제2 이미지의 객체 영역과, 상기 제1 이미지 내에서 상기 객체 영역을 제외한 나머지 제1 영역을 합성한 제3 이미지를 생성한다(540단계).

도 18은 일 실시 예에 따른 제3 이미지를 나타낸 도면이고, 도 19는 다른 실시 예에 따른 제3 이미지를 나타낸 도면이다.

도 18을 참조하면, 제3 이미지(900)는 복수의 영역으로 구분될 수 있다. 이때, 상기 제3 이미지(900)는 제1 영역(910) 및 제2 영역(920)을 포함할 수 있다. 그리고, 상기 제1 영역(910)은 상기 제1 이미지 내에서 객체 영역을 제외한 나머지 영역일 수 있다. 그리고, 상기 제2 영역(920)은 객체 영역일 수 있다. 이대, 상기 제2 영역(920)은 상기 제3 영역 내에 복수의 객체가 포함된 경우, 제1 객체를 포함하는 제1 객체 영역(921) 및 제2 객체를 포함하는 제2 객체 영역(922)으로 구분될 수 있다.

또한, 도 19를 참조하면, 제3 이미지(1000)는 복수의 영역으로 구분될 수 있다. 이때, 상기 제3 이미지(1000)는 제1 영역(1010) 및 제2 영역(1020)을 포함할 수 있다. 그리고, 상기 제1 영역(1010)은 상기 제1 이미지 내에서 객체 영역을 제외한 나머지 영역일 수 있다. 그리고, 상기 제2 영역(1020)은 객체 영역일 수 있다. 이대, 상기 제2 영역(1020)은 상기 제3 영역 내에 단일 객체가 포함된 경우, 상기 단일 객체를 포함하는 단일 영역으로 구성될 수 있다.

도 20은 실시 예에 따른 제2 이미지의 획득 과정을 단계별로 설명하기 위한 흐름도이다.

도 20을 참조하면, 제2 이미지는 복수의 프레임 이미지를 포함할 수 있다. 이때, 상기 복수의 프레임 이미지는 서로 다른 시차를 가질 수 있으며, 예를 들어 서로 다른 광축에서 획득한 프레임 이미지일 수 있다. 이를 위해, 제어부(160)는 필터 액추에이터를 제어하여, 상기 제2 카메라(120)를 통해 한장의 제2 이미지를 생성하기 위한 복수의 프레임 이미지가 획득되도록 할 수 있다.

도 21은 실시 예에 따른 필터 액추에이터의 동작 원리를 설명하기 위한 도면이다.

도 21을 참조하면, 제2 카메라(120)는 렌즈(121), 이미지 센서(122) 및 이들 사이에 배치된 필터 액추에이터(123)을 포함할 수 있다. 그리고, 필터 액추에이터(123)는 제어부(160)의 제어신호에 의해 구동되어 틸팅 동작을 수행할 수 있다.

도 21의 (a)는 필터 액추에이터(123)의 틸팅이 이루어지기 전의 중립 위치에서, 센서부(122)로 입사되는 적외선 신호의 위치를 설명하기 위한 도면이다. 도 21의 (a)를 참조하면, 필터 액추에이터(123)가 중립 위치로 동작하는 경우, 적외선 신호(L1)는 센서부(122)(보다 명확하게는 이미지 센서), 픽셀의 중심으로 입사될 수 있다.

도 21의 (b)는 필터 액추에이터(123)의 제1 틸팅 위치에서, 센서부(122)로 입사되는 적외선 신호의 위치를 설명하기 위한 도면이다. 도 21의 (b)를 참조하면, 필터 액추에이터(123)가 중립 위치에서 제1 틸팅 위치로 틸팅된 경우, 적외선 신호(L2)는 센서부(122)의 픽셀의 중심에서 제1 방향으로 제1 픽셀 간격(Δ1)만큼 쉬프트된 위치로 입사될 수 있다.

도 21의 (c)는 필터 액추에이터(123)의 제2 틸팅 위치에서, 센서부(122)로 입사되는 적외선 신호의 위치를 설명하기 위한 도면이다. 도 21의 (c)를 참조하면, 필터 액추에이터(123)가 중립 위치에서 제2 틸팅 위치로 틸팅된 경우, 적외선 신호(L3)는 센서부(122)의 픽셀의 중심에서 제2 방향으로 제2 픽셀 간격(Δ2)만큼 쉬프트된 위치로 입사될 수 있다.

여기에서, 상기 제1 픽셀 간격(Δ1)및 제2 픽셀 간격(Δ2)은 1/2 픽셀일 수 있다.

이때, 스넬(Snell)의 법칙(n₁ sinθ_i = n² sinθ_o)를 활용하여, 상기 제1 픽셀 간격 및 제2 픽셀 간격에 대응하는 Δd를 계산하면 다음의 식2와 같을 수 있다. 이때, 상기 n₁ 은 air이고, n² 는 filter이며, n은 refractive index(굴절률)이다.

[식2]

Δd = OPL * cos(Δθ)

OPL = t/cos(θ_o), (t는 필터의 두께)

Δθ = 90 - θ_i+θ_o

θ_o= sin^-1θ((n1/n2)*sinθ_i)

이에 따라, 실시 예에서는 Δd가 픽셀 길이의 1/2이 되도록, 필터의 두께(t)와 굴절율을 선정할 수 있다. 이때, 필터의 움직임 각도는 렌즈의 BFL(back focal length)와 연관되어 있다. BFL은 이미지 센서 및 상기 이미지 센서와 가장 가까운 곳에 위치한 렌즈 사이의 거리를 의미한다. 이때, 상기 필터 액추에이터(123)는 상기 이미지 센서(122)와 상기 렌즈부(121) 사이에 배치됨에 따라 높이 제약을 받는다. 즉, 필터 액추에이터(123)의 높이는 BFL보다 작아야 한다. 이에 따라, 필터 액추에이터(123)의 움직임 각도를 줄이기 위해 필터의 굴절률은 높을수록 좋고, 필터의 두께는 두꺼울 수록 좋다. 다만, 상기와 같은 제약 사항이 있으며, 실시 예에의 필터 액추에이터(123)에 포함된 필터의 두께는 0.05mm 내지 0.5mm 범위를 가질 수 있도록 한다.

다시, 도 20을 참조하면, 상기와 같은 필터 액추에이터(123)를 제어하여, 센서부(122)의 서로 다른 위치로 적외선 신호가 입사되도록 할 수 있다.

이를 위해, 제어부(160)는 필터 액추에이터(123)를 제어하여 기준 위치에서 제1 방향으로 제1 거리만큼 이동된 제1 위치에서의 제1 프레임 이미지가 생성되도록 할 수 있다(600단계).

이후, 제어부(160)는 필터 액추에이터(123)를 제어하여 제1 위치에서 제2 방향으로 제1 거리만큼 이동된 제2 위치에서의 제2 프레임 이미지가 생성되도록 할 수 있다(610단계).

제어부(160)는 필터 액추에이터(123)를 제어하여 제2 위치에서 제3 방향으로 제1 거리만큼 이동된 제3 위치에서의 제3 프레임 이미지가 생성되도록 할 수 있다(620단계).

제어부(160)는 필터 액추에이터(123)를 제어하여 제3 위치에서 제4 방향으로 제1 거리만큼 이동된 제4 위치에서의 제4 프레임 이미지가 생성되도록 할 수 있다(630단계).

제어부(160)는 상기 생성된 제1 내지 제4 프레임 이미지를 합성하여 하나의 제2 이미지를 생성할 수 있다(640단계).

도 22는 일 실시 예에 따른 제2 이미지 생성 방법을 설명하기 위한 도면이다. 도 23은 도 22에서 설명되는 제2 이미지 생성 방법을 보다 상세히 설명하기 위한 도면이다.

도 22를 참조하면, 필터 액추에이터(123)는 센서부(122)에 입사되는 적외선의 경로를 변경시킴으로써 초해상도(super resolution) 이미지(명확하게는, 제1 이미지와 동일한 해상도를 갖는 이미지)를 얻을 수 있는 방법의 모식도가 도시되어 있다.

센서부(122)의 픽셀 어레이는 NxM의 매트릭스 형태로 배치된 복수의 픽셀들을 포함할 수 있다. 이하의 설명에서는 설명의 편의상 도 22에서와 같이 픽셀 어레이가 2*2의 매트릭스 형태로 배치된 복수의 픽셀들(A1 내지 A4)을 포함한다고 가정하기로 한다.

각 픽셀(A1 내지 A4)은 렌즈부(121)를 통해 전달되는 적외선 신호를 통해 각 픽셀 장면(PS1 내지 PS4)에 대한 이미지 정보(즉, 적외선 신호에 대응하는 아날로그 픽셀 신호)를 생성할 수 있다.

x축 방향(또는 y축 방향)으로 인접하는 픽셀 간의 거리(예를 들어 픽셀 중심 간의 거리)를 1 PD(픽셀 거리)라 할 때, 그 절반은 0.5 PD에 해당한다. 여기서, 제1 내지 제4 픽셀이동(A 내지 D)을 정의하기로 한다.

제1 픽셀이동(A)은 각 픽셀(A1 내지 A4)을 제1 틸팅 구간이라고 할 수 있으며, 이때에는 +x축 방향을 따라 우측으로 0.5 PD 만큼 픽셀 이동이 이루어질 수 있다. 제1 픽셀이동(A)이 완료된 후의 픽셀은 B1 내지 B4이다.

제2 픽셀이동(B)은 각 픽셀(B1 내지 B4)을 +y축 방향을 따라 아래로 0.5 PD 만큼 이동시키는 것을 의미하며, 제2 픽셀이동(B)이 완료된 후의 픽셀은 C1 내지 C4이다.

제3 픽셀이동(C)은 각 픽셀(C1 내지 C4)을 -x축 방향을 따라 좌측으로 0.5 PD 만큼 이동시키는 것을 의미하며, 제3 픽셀이동(C)이 완료된 후의 픽셀은 D1 내지 D4이다.

제4 픽셀이동(D)은 각 픽셀(D1 내지 D4)을 -y축 방향을 따라 위로 0.5 PD 만큼 이동시키는 것을 의미하며, 제4 픽셀이동(D)이 완료된 후의 픽셀은 A1 내지 A4이다.

여기서, 픽셀 이동은 픽셀 어레이의 픽셀의 물리적 위치를 이동시키는 것이 아니라, 두 픽셀(예를 들어, A1과 A2) 사이의 가상의 픽셀(예를 들어, B1)이 픽셀 장면을 획득할 수 있도록 필터 액추에이터(123)를 이용하여 적외선 신호의 입사 경로를 조정하는 동작을 의미한다.

도 23을 참조하면, 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 센서부(122)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제1 프레임(F1)을 생성할 수 있다.

제1 픽셀이동(A)을 위해 센서부(122)로 입사되는 적외선 신호의 경로를 변경시키도록 하는 제어부(도시하지 않음)의 제어 신호에 따라, 필터 액추에이터(123)는 상기 적외선 신호의 입사 각도를 기준 각도를 기준으로 제1 각도 변화량만큼 우측으로 변경시킴으로써 제1 픽셀 이동(A)이 수행될 수 있다.

이후 각 픽셀(B1 내지 B4)은 픽셀 장면(S2)을 획득하고, 센서부(122)는 각 픽셀(B1 내지 B4)의 픽셀 신호로부터 제2 프레임(F2)을 생성할 수 있다.

제2 픽셀이동(B)을 위해 센서부(122)로 입사되는 적외선 신호의 경로를 변경시키도록 하는 제어부의 제어 신호에 따라, 필터 액추에이터(123)는 상기 적외선 신호의 입사 각도를 제2 각도 변화량만큼 아래로 변경시킴으로써 제2 픽셀 이동(B)이 수행될 수 있다. 이후 각 픽셀(C1 내지 C4)은 픽셀 장면(S3)을 획득하여 센서부(122)는 각 픽셀(C1 내지 C4)의 픽셀 신호로부터 제3 프레임(F3)을 생성할 수 있다.

제3 픽셀이동(C)을 위해 센서부(122)로 입사되는 적외선 신호의 경로를 변경시키도록 하는 제어부의 제어 신호에 따라, 필터 액추에이터(123)는 상기 적외선 신호의 입사 각도를 제1 각도 변화량만큼 좌측으로 변경시킴으로써 제3 픽셀 이동(C)이 수행될 수 있다. 이후 각 픽셀(D1 내지 D4)은 픽셀 장면(S4)을 획득하여 센서부(122)는 각 픽셀(D1 내지 D4)의 픽셀 신호로부터 제4 프레임(F4)을 생성할 수 있다.

제4 픽셀이동(D)을 위해 센서부(122)로 입사되는 적외선 신호의 경로를 변경시키도록 하는 제어부의 제어 신호에 따라, 필터 액추에이터(123)는 상기 적외선 신호의 입사 각도를 제2 각도 변화량만큼 위로 변경시킴으로써 제4 픽셀 이동(D)이 수행될 수 있다. 이후 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 센서부(122)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제5 프레임(F5)을 생성할 수 있다. 이후로도 픽셀 이동 및 이동된 픽셀을 통한 프레임 생성 동작은 반복적으로 수행될 수 있다.

한편, 제어부(160)는 센서부(122)로부터 영상 신호를 수신하고, 영상 신호를 처리(예컨대, 보간, 프레임 합성 등)할 수 있다. 특히, 제어부(160)는 복수의 프레임의 영상 신호(저해상도)를 이용하여 하나의 프레임의 영상 신호(고해상도)로 합성할 수 있다. 복수의 이미지 프레임은 필터 액추에이터(123)의 제1 내지 제4 틸팅 구간 각각에서 생성된 이미지 프레임일 수 있다. 복수의 이미지 프레임은 제1 이미지 프레임과 제2 이미지 프레임을 포함할 수 있고, 제2 이미지 프레임은 제1 이미지 프레임을 기준으로 제1 간격만큼 이동된 이미지 프레임일 수 있다.

제어부(160)는 제1 내지 제4 프레임을 합성함으로써 NxM의 픽셀 어레이가 아닌 2Nx2M의 픽셀 어레이가 획득한 이미지를 생성할 수 있다. 제어부(160)가 제1 내지 제4 프레임을 합성하는 방법은, 제1 내지 제4 프레임을 각 픽셀의 위치에 따라 단순 병합(예를 들어, 첫 번째 행의 경우 A1의 픽셀 신호, B1의 픽셀 신호, A2의 픽셀 신호, B2의 픽셀 신호로 배열하여 하나의 프레임으로 생성)하는 방법, 또는 인접하는 픽셀의 경우 픽셀 장면이 오버랩됨을 이용하여 어느 하나의 픽셀(예컨대, C1)의 픽셀 신호를 인접하는 픽셀(예컨대, A1, B1, A2, D1, D2, A3, B3, A4)의 픽셀 신호를 이용해 보정하는 방법 등이 이용될 수 있으나, 실시 예의 범위는 이에 한정되지 않고 다양한 초해상도 이미지 생성 방법이 이용될 수 있다.

도 22과 도 23에 따르면, 픽셀 이동을 통해 획득한 복수의 프레임을 합성함으로써 제1 이미지와 동일한 해상도를 갖는 제2 이미지를 생성할 수 있다.

도 24는 일 실시 예에 따른 카메라 장치의 제2 이미지 생성 과정에 대한 타이밍도이다.

도 24를 참조하면, 센서부(122)로 입사되는 적외선 신호의 경로를 변경시키도록 하는 제어부의 제어 신호에 따라, 필터 액추에이터(123)는 상기 적외선 신호의 입사 각도를 제2 각도 변화량(θ)만큼 위로 변경시킴으로써 제4 픽셀 이동(D)을 수행할 수 있다. 실시 예에 따라, 제어부가 상기 필터 액추에이터(123)의 제4 픽셀 이동(D)이 완료되었음을 나타내는 피드백 신호를 센서부(122)로 전달할 수 있다. 피드백 신호를 수신한 센서부(122)의 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하고, 이에 따라 센서부(122)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제1 프레임(F1)을 생성할 수 있다.

이후, 센서부(122)로 입사되는 적외선 신호의 경로를 변경시키도록 하는 제어부의 제어 신호에 따라, 필터 액추에이터(123)는 상기 적외선 신호의 입사 각도를 제1 각도 변화량(θ)만큼 우측으로 변경시킴으로써 제1 픽셀 이동(A)을 수행할 수 있다. 실시 예에 따라, 제어부가 상기 필터 액추에이터(123)의 제1 픽셀 이동(A)이 완료되었음을 나타내는 피드백 신호를 센서부(122)로 전달할 수 있다. 피드백 신호를 수신한 센서부(122)의 각 픽셀(B1 내지 B4)은 픽셀 장면(S2)을 획득하고, 이에 따라 센서부(122)는 각 픽셀(B1 내지 B4)의 픽셀 신호로부터 제2 프레임(F2)을 생성할 수 있다.

이후, 센서부(122)로 입사되는 적외선 신호의 경로를 변경시키도록 하는 제어부의 제어 신호에 따라, 필터 액추에이터(123)는 상기 적외선 신호의 입사 각도를 제2 각도 변화량(θ)만큼 아래로 변경시킴으로써 제2 픽셀 이동(B)을 수행할 수 있다. 실시 예에 따라, 제어부가 상기 필터 액추에이터(123)의 제2 픽셀 이동(B)이 완료되었음을 나타내는 피드백 신호를 센서부(122)로 전달할 수 있다. 피드백 신호를 수신한 센서부(122)의 각 픽셀(C1 내지 C4)은 픽셀 장면(S3)을 획득하고, 이에 따라 센서부(122)는 각 픽셀(C1 내지 C4)의 픽셀 신호로부터 제3 프레임(F3)을 생성할 수 있다.

이후, 센서부(122)로 입사되는 적외선 신호의 경로를 변경시키도록 하는 제어부의 제어 신호에 따라, 필터 액추에이터(123)는 상기 적외선 신호의 입사 각도를 제1 각도 변화량(θ)만큼 좌측으로 변경시킴으로써 제3 픽셀 이동(C)을 수행할 수 있다. 실시 예에 따라, 제어부가 상기 필터 액추에이터(123)의 제3 픽셀 이동(C)이 완료되었음을 나타내는 피드백 신호를 센서부(122)로 전달할 수 있다. 피드백 신호를 수신한 센서부(122)의 각 픽셀(D1 내지 D4)은 픽셀 장면(S4)을 획득하고, 이에 따라 센서부(122)는 각 픽셀(D1 내지 D4)의 픽셀 신호로부터 제3 프레임(F4)을 생성할 수 있다.

이후, 센서부(122)로 입사되는 적외선 신호의 경로를 변경시키도록 하는 제어부의 제어 신호에 따라, 필터 액추에이터(123)는 상기 적외선 신호의 입사 각도를 제2 각도 변화량(θ)만큼 위로 변경시킴으로써 제4 픽셀 이동(D)을 수행할 수 있다. 실시 예에 따라, 제어부가 상기 필터 액추에이터(123)의 제4 픽셀 이동(D)이 완료되었음을 나타내는 피드백 신호를 센서부(122)로 전달할 수 있다. 피드백 신호를 수신한 센서부(122)의 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하고, 이에 따라 센서부(122)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제5 프레임(F5)을 생성할 수 있다. 이후로도 픽셀 이동 및 이동된 픽셀을 통한 프레임 생성 동작은 반복적으로 수행될 수 있다.

도 25는 일 실시 예에 따른 제2 이미지 생성 방법의 일 예를 나타낸 도면이다.

도 25을 참조하면, 센서부(122)가 순차적인 픽셀 이동(A 내지 D)에 따라 제1 내지 제7 프레임(F1 내지 F7)을 순차적으로 생성한다고 가정한다.

제어부(160)는 순차적으로 프레임들을 입력받아 초해상도(SR) 이미지 합성을 통해 초해상도 이미지인 합성 프레임을 생성할 수 있다.

이때, 도 25에 도시된 바와 같이, 제어부(160)는 제1 내지 제4 프레임(F1 내지 F4)을 입력받아 제1 합성 프레임(F1')을 생성할 수 있다. 이후, 제어부(160)는 제2 내지 제5 프레임(F2 내지 F5)을 입력받아 제2 합성 프레임(F2')을 생성할 수 있다. 이후, 제어부(160)는 제3 내지 제6 프레임(F3 내지 F6)을 입력받아 제3 합성 프레임(F3')을 생성할 수 있다. 이후, 제어부(160)는 제4 내지 제7 프레임(F4 내지 F7)을 입력받아 초해상도 이미지 생성 알고리즘을 통해 제4 합성 프레임(F4')을 생성할 수 있다. 이때, 상기 제1 내지 제4 합성 프레임(F1' 내지 F4')를 생성하는 동작은 상기 설명한 제어부(160)에 의해 수행될 수 있다.

여기서, 제어부(160)는 센서부(122)로부터 제1 내지 제7 프레임(F1 내지 F7)을 순차적으로 수신하고, 합성 프레임 생성을 위해 현재 입력되는 프레임의 직전 3개의 프레임을 저장할 수 있다. 실시 예에 따라, 프레임을 저장하는 버퍼는 적어도 3개의 프레임을 저장할 수 있는 저장 용량을 가질 수 있다.

만일, 제1 내지 제4 프레임을 이용해 합성 프레임을 생성하고, 이후 제5 내지 제8 프레임을 이용해 합성 프레임을 생성한다면, 원래의 프레임 레이트(frame rate)보다 1/4로 줄어들게 된다. 그러나, 실시 예에 따른 방식과 같이 순차적으로 입력되는 현재 프레임 및 현재 프레임 직전의 3개의 프레임을 이용해 연속적으로 합성 프레임을 생성함으로써, 프레임 레이트의 저하를 방지할 수 있다.

Claims

제1 및 제2 카메라를 이용하여 제1 이미지 및 제2 이미지를 각각 획득하는 단계;
상기 제1 이미지에서 제1 영역을 검출하는 단계;
상기 제2 이미지에서 상기 제1 이미지의 상기 제1 영역에 대응되는 제2 영역을 검출하는 단계; 및
상기 제1 이미지에서 상기 제1 영역을 제외한 나머지 제3 영역 및 상기 제2 이미지의 상기 제2 영역을 합성한 제3 이미지를 생성하는 단계;를 포함하고,
상기 제1 이미지는, 컬러 이미지를 포함하고,
상기 제2 이미지는 적외선 이미지를 포함하며,
상기 제1 이미지의 상기 제1 영역은,
상기 제1 이미지에서 기준 범위를 벗어난 휘도 레벨을 가지는 영역이고,
상기 제1 이미지의 상기 제3 영역은,
상기 제1 이미지에서 상기 기준 범위에 대응하는 휘도 레벨을 가지는 영역이고,
상기 제2 영역을 검출하는 단계는,
상기 제1 이미지 및 제2 이미지의 상대 위치 정보에 기초하여, 상기 제2 이미지 내에서 상기 제1 이미지의 상기 제1 영역에 대응하는 상기 제2 영역을 검출하는 단계를 포함하는,
카메라 장치의 이미지 합성 방법.
제1항에 있어서,
상기 기준 범위는 그레이 스케일 레벨을 기준으로 51 레벨 내지 200 레벨의 범위이고,
상기 제1 영역은,
상기 기준 범위를 초과한 201 레벨 내지 255 레벨 사이를 가지는 고조도 영역과,
상기 기준 범위 미만의 0레벨 내지 50 레벨 사이를 가지는 저조도 영역을 포함하는,
카메라 장치의 이미지 합성 방법.
제2항에 있어서,
상기 제3 이미지는,
상기 제1 이미지에서의 상기 고조도 영역 또는 상기 저조도 영역의 이미지가 상기 제2 이미지에서 검출된 상기 제2 영역의 이미지로 대체된 이미지인,
카메라 장치의 이미지 합성 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제2 이미지의 상기 제2 영역에서 객체 영역을 검출하는 단계를 포함하고,
상기 제3 이미지를 생성하는 단계는,
상기 제1 이미지 내에서 상기 객체 영역을 제외한 영역과, 상기 제2 이미지 내에서 검출한 상기 객체 영역을 합성하는 단계를 포함하는
카메라 장치의 이미지 합성 방법.
삭제
제1 및 제2 카메라를 이용하여 제1 이미지 및 제2 이미지를 각각 획득하는 단계;
상기 제1 이미지에서 제1 영역을 검출하는 단계;
상기 제2 이미지에서 상기 제1 이미지의 상기 제1 영역에 대응되는 제2 영역을 검출하는 단계; 및
상기 제1 이미지에서 상기 제1 영역을 제외한 나머지 제3 영역 및 상기 제2 이미지의 상기 제2 영역을 합성한 제3 이미지를 생성하는 단계;를 포함하고,
상기 제1 이미지는, 컬러 이미지를 포함하고,
상기 제2 이미지는 적외선 이미지를 포함하며,
상기 제1 이미지의 상기 제1 영역은,
상기 제1 이미지에서 기준 범위를 벗어난 휘도 레벨을 가지는 영역이고,
상기 제1 이미지의 상기 제3 영역은,
상기 제1 이미지에서 상기 기준 범위에 대응하는 휘도 레벨을 가지는 영역이고,
상기 제1 이미지와 제2 이미지는 동일 시점에 촬영된 이미지이며,
상기 제2 이미지의 배율은 상기 제1 이미지의 배율보다 큰,
카메라 장치의 이미지 합성 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제