KR101871945B1

KR101871945B1 - 영상 처리 장치 및 방법

Info

Publication number: KR101871945B1
Application number: KR1020130005428A
Authority: KR
Inventors: 이창민
Original assignee: 한화에어로스페이스 주식회사
Priority date: 2013-01-17
Filing date: 2013-01-17
Publication date: 2018-08-02
Also published as: CN103945145A; KR20140093079A; US20140198226A1; US9124811B2; CN103945145B

Abstract

본 발명은, 광역 역광 보정(WDR) 처리를 통해 넓은 동적 영역을 갖는 영상을 획득하는 영상 처리 장치 및 방법에 관한 것으로, 서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받아, 장노광 영상과 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하고, 단노광 영상의 휘도 성분이 장노광 영상의 휘도 성분에 상응하도록 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하고, 검출된 모션 아티펙트 영역을 기초로 비선형이득 제어 단노광 영상 내의 움직임을 보상하고, 비선형이득제어 단노광 영상과 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력함으로써, 종래의 광역 역광 보정 기술들과 달리, 넓은 동적 영역을 갖는 영상을 획득하는 과정에서 움직이는 물체로 인해 발생할 수 있는 모션 아티펙트를 최소화할 수 있다.

Description

영상 처리 장치 및 방법{Apparatus and method for processing image}

본 발명은, 영상 처리 장치 및 방법에 관한 것으로, 광역 역광 보정(WDR) 처리를 통해 넓은 동적 영역을 갖는 영상을 획득하는 영상 처리 장치 및 방법에 관한 것이다.

최근 디지털 카메라, 디지털 캠코더, 카메라 폰 등을 포함하는 디지털 영상 처리 장치에 대한 사용자 수요가 급격하게 증대되고 있으며, 이에 따라 디지털 영상 처리 장치의 기능들이 갈수록 다양화되고 지능화되고 있다.

그러나, 이러한 디지털 영상 처리 장치들은 영상 센서 등을 통해 획득할 수 있는 동적 영역이 실제 장면의 동적 영역에 비해 상대적으로 매우 작기 때문에, 실제 장면에 대한 모든 정보를 처리하기에 부족하며, 특히, 역광 등에 의해 영상의 명부와 암부 사이의 조도 차이가 큰 상태에서 영상을 획득하는 경우에는 영상의 명부 및 암부 모두에 대하여 충분한 정보 획득이 불가능하며, 이로 인해 해당 영역의 화질이 심각하게 열화될 수 있다.

이를 극복하기 위한 기술로, 광역 역광 보정(WDR) 영상 처리 기술이 등장하였다.

WDR 영상 처리 기술은 영상의 명부가 선명하게 보이도록 노출 시간을 짧게 조절한 단노광 영상과 암부가 선명하게 보이도록 노출 시간을 길게 조절한 장노광 영상을 서로 융합하여 명부 및 암부 모두가 선명하게 보일 수 있는 영상을 생성하는 기술이다.

그러나, 이러한 WDR 처리된 영상은 실제 영상 내에 움직이는 물체가 등장하는 경우에는 해당 물체로 인하여 모션 아티펙트가 발생하게 된다.

따라서, WDR 영상 처리 기술을 적용하는 과정에서 이러한 모션 아티펙트를 보정할 수 있는 영상 처리 기술이 필요한 실정이다.

한국공개특허공보 제2010-0060140호

본 발명이 이루고자 하는 기술적 과제는, 광역 역광 보정(WDR) 처리 과정에서 발생할 수 있는 모션 아티펙트를 보정할 수 있는 영상 처리 장치 및 방법을 제공하는 데에 있다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 이루기 위한, 영상 처리 장치는 서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받는 영상 입력부; 장노광 영상과 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하는 모션 아티펙트 영역 검출부; 단노광 영상의 휘도 성분이 장노광 영상의 휘도 성분에 상응하도록 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하고, 검출된 모션 아티펙트 영역을 기초로 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 비선형이득조절부; 및 비선형이득제어 단노광 영상과 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력하는 융합부를 포함할 수 있다.

상기의 기술적 과제를 이루기 위한, 영상 처리 방법은 영상 센서를 통해 서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받는 단계; 장노광 영상과 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하여 모션 아티펙트 영역의 위치 정보와 모션 아티펙트 영역에 적용할 가중치 정보를 생성하는 단계; 단노광 영상의 휘도 성분이 장노광 영상의 휘도 성분에 상응하도록 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하는 단계; 검출된 모션 아티펙트 영역을 기초로 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 단계; 및 비선형이득제어 단노광 영상과 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력하는 단계를 포함할 수 있다.

본 발명이 이루고자하는 기술적 과제를 해결하기 위하여, 상기한 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록 매체를 제공할 수 있다.

본 발명에 따르면, 종래의 광역 역광 보정 기술들과 달리, 넓은 동적 영역을 갖는 영상을 획득하는 과정에서 움직이는 물체로 인해 발생할 수 있는 모션 아티펙트를 최소화할 수 있다.

도 1a 내지 1c는 종래의 광역 보정 기술 및 이에 발생하는 모션 아티펙트를 설명하기 위한 도면이다.
도 2a는 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다.
도 2b는 본 발명의 바람직한 일 실시예에 따른 영상 처리 방법의 흐름을 개략적으로 도시한 흐름도이다.
도 3a는 장노광 영상과 단노광 영상의 융합시 장노광 영상과 단노광 영상의 촬영 시차에 따라 발생할 수 있는 모션 아티펙트를 설명하기 위한 예를 도시한 도면이다.
도 3b는 본 발명의 바람직한 일 실시예에 따라 도 3a에 예시된 모션 아티펙트ㄹ를 검출하는 모션 아티펙트 영역 검출부의 구성을 개략적으로 도시한 블록도이다.
도 4a는 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 일 구성요소인 비선형이득조절부의 구성을 개략적으로 도시한 블록도이다.
도 4b는 도 4a에 도시된 비선형이득조절부에서 수행될 수 있는 영상 처리 방법의 흐름을 개략적으로 도시한 흐름도이다.
도 4c는 도 4b에 도시된 영상 처리 방법의 구체적인 수행 과정을 예시한 도면이다.
도 5a는 본 발명의 바람직한 일 실시예에 따라 모션 아티펙트 영역을 기초로 비선형 단노광 영상 내의 움직임을 보상하는 방법의 흐름을 개략적으로 도시한 흐름도이다.
도 5b는 도 5a에 도시된 움직임 보상 방법의 알고리즘을 보다 상세하게 예시한 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따라 단노광 영상의 휘도 성분을 장노광 영상의 휘도 성분에 상응하도록 정규화하는 과정을 예시한 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따라 장노광 영상 및 단노광 영상을 융함하는 과정을 예시한 도면이다.
도 8은 본 발명의 바람직한 일 실시예에 따른 영상 처리 방법을 적용한 경우에 광역 역광 보정(WDR) 처리시 발생할 수 있는 모션 아티펙트가 제거된 결과를 예시한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.

한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

디지털 카메라를 비롯한 영상 처리 장치들은 성능이 지속적으로 향상되고 있지만, 영상 획득에 사용되는 일반 CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 센서의 경우에는 동적 영역(dynamic range)의 한계로 밝은 영역 또는 어두운 영역의 정보를 상실하는 현상이 나타난다. 여기서 동적 영역이란, 영상에서 가장 밝은 영역과 가장 어두운 영역의 밝기 비율을 뜻한다. 영상 획득 장치에 사용되는 센서의 동적 영역은 실세계 장면의 동적 영역보다 매우 작기 때문에 실세계 장면의 밝기 범위를 모두 표현할 수 없다.

도 1a는, 실세계 장면의 밝기 범위를 충분히 표현할 수 있는 넓은 동적 영역을 갖는 영상을 생성하는 광역 역광 보정(WDR) 기술의 기본 원리를 개략적으로 도시한다.

도 1a를 참조하면, 광역 역광 보정을 위해서는 긴 노출 시간 동안 획득된 장노광 영상 신호(101) 및 짧은 노출 시간 동안 획득된 단노광 영상 신호(102)를 획득하고, 광량의 크기에 따라 장노광 영상 및 단노광 영상 각각에 적용되는 가중치를 달리 적용하여 장노광 영상 및 단노광 영상의 노출 밸런스를 맞추어 주는 소정의 노출 신호 처리(103)를 수행한 후 이들 영상을 서로 융합(Fusion)하여 넓은 동적 범위를 갖는 영상(104)을 생성할 수 있다. 예컨대 촬영 소자의 동적 범위가 60 dB인 경우에 광역 역광 보정 영상 처리를 통해 약 120 dB의 동적 범위를 갖는 영상을 획득할 수 있게 된다.

도 1b는 종래의 광역 역광 보정 기술에서 장/단 가변 노출(Long/short variable exposure) 방식을 통해 장노광 영상 및 단노광 영상을 센싱하는 과정을 개략적으로 도시하고, 도 1c는 이러한 종래의 광역 역광 보정 기술에서 나타나는 모션 아티펙트를 예시한다.

도 1b를 참조하면, 장/단 가변 노출 방식은 프레임 별로 선택적으로 노출 시간을 조절하여, 셔터를 제어함으로써, WDR 처리에 필요한 장노광 영상 및 단노광 영상을 획득한다.

하나의 영상 센서에서 일반적인 프레임 촬영시에 적용되는 노출 시간(Standard Exposure Time) 동안 장노광 신호(111)를 획득하여 이를 기초로 하나의 롱 프레임(121, 도 1c 참조)을 구성하고, 상대적으로 짧은 노출시간(Short Exposure) 동안 단노광 신호(112)를 획득하여 이를 기초로 다른 하나의 쇼트 프레임(122, 도 1c 참조)을 구성할 수 있다.

도 1b에 도시된 장/단 가변 노출 방식을 통해 롱 프레임(121) 및 쇼트 프레임(122)을 번갈아가며, 획득하는 경우에 롱 프레임의 촬영시점과, 쇼트 프레임의 촬영시점 사이의 시차로 인하여, 도 1c에 도시된 바와 같이, 장노광 영상 및 단노광 영상이 서로 융합된 융합 프레임(123)에서 모션 아티펙트(Motion artifact, 124)가 발생할 수 있다. 특히, 이는 영상 내에 빠르게 움직이는 물체(Fast moving object)가 포함되어 있는 경우에 더욱 그러하다,

도 2a는 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치(200)의 구성을 개략적으로 도시한 블록도이며, 도 2b는 도 2a에 도시된 영상 처리 장치에서 수행될 수 있는 영상 처리 방법의 흐름을 개략적으로 도시한 흐름도이다.

도 2a를 참조하면, 본 실시예에 따른 영상 처리 장치(200)는 모션 아티펙트 영역 검출부(210), 비선형이득조절부(220) 및 융합부(230)를 포함하여 구성되며, 본 실시예에 따른 영상 처리 장치는 영상 센서를 통해 프레임별로 노출 시간을 선택적으로 조절하여 장노광 영상 및 단노광 영상을 획득(S201)하는 것을 전제로 한다.

본 실시예에 따른 영상 처리 장치(200)의 모션 아티펙트 영역 검출부(210), 비선형이득조절부(220) 및 융합부(230)는 그 중 적어도 일부가 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈 중 적어도 하나 이상을 포함하는 소프트웨어로 구성될 수 있으며, 물리적으로는 다양한 종류의 공지된 기억 장치에 저장될 수 있다. 또한, 이러한 소프트웨어 모듈들은 따른 영상 처리 장치(200)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 소프트웨어 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 본 발명 자체가 이에 한정되지는 않는다.

비선형이득조절부(220)는 단노광 영상의 휘도 성분(Y_S)이 장노광 영상의 휘도 성분(Y_L)에 상응하도록 단노광 영상의 이득(Gain)을 비선형적으로 조절하여 비선형이득제어 단노광 영상을 생성한다(S202). 본 실시예에 따른 영상 처리 장치의 영상 센서를 통해 획득된 장노광 영상 및 단노광 영상의 영상 신호는 R 25% G 50%, B 25%의 비율로 구성된 배열(R-G-G-B)인 Bayer 패턴의 형태로 입력된다. 따라서, 비선형이득조절부(220)는 이러한 Bayer 패턴의 단위 영역별로 최대색상을 산출하고, 단노광 영상의 휘도 성분을 장노광 영상의 휘도 성분에 상응하도록 단노광 영상의 이득을 비선형적으로 조절한 비선형 곡선으로부터 단위 영역별 최대색상에 상응하는 이득값을 산출한다.

모션 아티펙트 영역 검출부(210)는 장노광 영상 및 단노광 영상을 기초로 모션 아티펙트 영역을 검출하여(S203), 검출 결과를 비선형이득조절부(220)에 전달한다. 본 실시예에서, 모션 아티펙트 영역이란 장노광 영상과 단노광 영상 간에 모션 정보의 차이가 발생하는 영역을 가리킨다. 모션 아티펙트 영역 검출부(210)는 이러한 모션 아티펙트 영역의 위치를 검출하고, 검출된 모션 아티펙트 영역의 위치와 함께 해당 모션 아티펙트 영역에 대해 적용할 가중치를 비선형이득조절부(220)에 전달한다.

S202 단계 및 S203 단계는 (S202->S203)의 순서로 도시되어 있으나, 순서를 바꾸어 수행될 수 있으며, 또한, 별개의 프로세서 회로 또는 구성요소에 의해 서로 병렬적으로 혹은 동시에 수행될 수 있다. 본 발명은 양 자의 수행 순서를 한정하지 않는다고 할 것이다.

또한, 비선형이득조절부(220)는 S203 단계에서 검출된 모션 아티펙트 영역을 기초로 S202 단계에서 생성된 비선형이득제어 단노광 영상 내의 움직임을 보상한다(S204). 모션 아티펙트 영역이 검출된 경우에는 장노광 영상과 단노광 영산 간에 모션 정보의 차이가 존재한다는 것을 나타내며, 따라서 비선형이득조절부(220)는 비선형이득제어 단노광 영상에 대하여 이러한 차이를 보상하게 된다.

융합부(230)는 S204 단계에서 움직임 보상된 비선형이득제어 단노광 영상과 S201 단계에서 획득된 장노광 영상을 융합하여(S205), 광역 역광 보정 영상 처리된 영상을 출력한다.

도 3a는 장노광 영상과 단노광 영상의 융합시 장노광 영상과 단노광 영상의 촬영 시차에 따라 발생하는 모션 아티펙트를 설명하기 위한 예를 도시한 도면이며, 도 3b는 본 발명의 바람직한 일 실시예에 따라 도 3a에 예시된 모션 아티펙트를 검출하는 모션 아티펙트 영역 검출부(300)의 구성을 개략적으로 도시한 블록도이다.

도 3a에 따르면, 특히, 장/단 가변 노출 방식에 따라 장노광 영상 및 단노광 영상 획득시 장노광 영상 및 단노광 영상의 촬영 시점들 간의 시차 때문에, 움직이는 물체가 있는 경우에, 장노광 영상과 단노광 영상이 서로 융합되는 부분(L1)을 융합한 영상에서 해당 물체의 움직임에 대응되는 영역(L3)에 Motion Blur 현상이 발생한다. 이를 모션 아티펙트(Motion Artifact)라 한다.

도 3b를 참조하면, 본 실시예에 따른 모션 아티펙트 영역 검출부(300)는 증폭부(310), 제1저역통과필터(320), 로컬오브젝트검출부(330), 제2저역통과필터(340) 및 가중치설정부(350)를 포함한다.

먼저, 증폭부(310)는 단노광 영상의 노출 시간 및 장노광 영상의 노출 시간의 차이를 보상하기 위해, 장노광 영상의 노출 시간 대비 단노광 영상의 노출 시간의 비율만큼 단노광 영상을 증폭시킨다.

예컨대, 단노광 영상의 셔터 스피드가 x1/10이고, 장노광 영상의 셔터 스피드가 x1인 경우에는, 단노광 영상을 셔터 스피드 비율(shutter ratio)인 10배로 증폭시킬 수 있다.

제1저역통과필터(320)는 장노광 영상 중 단노광 영상과의 융합시 경계선을 형성할 부분 영역에 대한 평활화(smoothing) 처리를 수행한다.

로컬오브젝트검출부(330)는 장노광 영상 및 단노광 영상의 차이가 임계값(Thr) 이상인 영역을 로컬 오브젝트로 검출한다. 본 실시예에서 장노광 영상 및 단노광 영상의 차이는 SAD(Sum of Absolute Difference) 알고리즘을 사용하여 산출할 수 있다. 여기에서 로컬 오브젝트는 장노광 영상과 단노광 영상의 추후 융합시 모션 아티펙트가 발생할 것으로 예상되는 부분 영역을 가리킨다.

제2저역통과필터(340)는 로컬 오브젝트로 검출된 영역의 경계선을 형성할 부분에 대한 평활화(smoothing) 처리를 수행한다.

가중치설정부(350)는 검출된 로컬 오브젝트 영역에 대해 장노광 및 단노광 융합시 적용할 가중치를 설정한다. 이때 가중치는 기설정된 값일 수도 있으며, 장노광 영상 및 단노광 영상의 휘도 레벨이나, 모션 아티펙트의 유무에 따라 달리 설정될 수 있다.

도 4a는 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 일 구성요소인 비선형이득조절부(400)의 구성을 개략적으로 도시한 블록도이며, 도 4b는 도 4a에 도시된 비선형이득조절부에서 수행될 수 있는 영상 처리 방법의 흐름을 개략적으로 도시한 흐름도이며, 도 4c는 이러한 영상 처리 방법의 구체적인 수행 과정을 예시한 도면이다.

도 4a를 참조하면, 본 실시예에 따른 비선형이득조절부(400)는 최대색상산출부(410), 최대색상비선형이득조절부(420), 모션 아티펙트 처리부(430), 및 적응적 이득 조절부(440)를 포함하여 구성되며, 입력된 단노광 영상에 대하여 밝은 부분과 어두운 부분 간의 콘트라스트를 향상시키고, 이러한 콘트라스트 향상 결과를 반영하여, 단노광 영상의 명암 대비 및 명암값의 분포에 관한 정보를 제공하는 히스토그램 그래프를 생성할 수 있다.

최대색상산출부(410)는 단노광 영상의 현재 픽셀을 기준으로 2*2 배열 형태의 베이어 패턴 영역(451, 도 4c 참조)을 선택하고, 해당 베이어 패턴 영역에서 가장 큰 최대색상을 선정하여(S401), 선정된 최대색상으로 해당 베이어 패턴 영역을 모두 대체한 최대색상 플레인(452, 도 4c 참조)을 생성한다(S402).

최대색상비선형이득조절부(420)는 비선형 곡선 상에서 해당 베이어 패턴 영역의 최대색상에 해당되는 비선형이득 값을 산출한다(453, 도 4c 참조). 본 실시예에서 비선형이득 값을 산출하기 위한 비선형 곡선은 단노광 영상의 휘도 성분의 각각의 영역을 장노광 영상의 휘도 성분의 각각의 영역에 상응하도록 정규화하는 과정에서 생성될 수 있다. 이때, 장노광 영상의 휘도 성분에 상응하는 단노광 영상의 휘도 성분을 저휘도 영역, 중휘도 영역 및 고휘도 영역의 3가지 영역들로 분류하고, 휘도 성분 영역들 각각에 대하여 서로 다른 계수(Coefficient)를 적용하여, 휘도 성분 영역들 각각의 선형 곡선을 형성하고, 이들 선형곡선을 연결하여 비선형 곡선을 형성할 수 있다.

이하의 수학식 1(454, 도 4c 참조)과 같이 최대색상(MaxColor) 및 산출된 최대색상에 대응되는 비선형이득 값(NonLinearGain(MaxColor))을 기초로 하는 계산을 통해 단노광 영상의 비선형이득을 조절하여 비선형이득제어 단노광 영상을 생성한다(S404).

[수학식 1]

NonLinearGain(MaxColor)/MaxColor * Input Pixel Image

본 실시예와 같이, 베이어 패턴 영역의 최대색상을 이용하여 비선형이득 조절을 수행하면, 화이트 밸런스 처리되기 이전의 영상이라 하더라도 색상의 틀어짐 없이 비선형이득을 제어할 수 있게 된다.

아울러, 전술한 모션 아티펙트 검출부에서 모션 아티펙트 영역을 검출하는 데에 성공하면(S405), 검출된 모션 아티펙트 영역을 기초로 비선형이득제어 단노광 영상 내의 움직임을 보상한다(S406).

도 5a는 본 발명의 바람직한 일 실시예에 따라 모션 아티펙트 영역을 기초로 비선형 단노광 영상 내의 움직임을 보상하는 방법의 흐름을 개략적으로 도시한 흐름도이며, 도 5b는 도 5a에 도시된 움직임 보상 방법의 알고리즘을 보다 상세하게 예시한 도면으로, 도 5a 및 도 5b에 도시된 움직임 보상 방법은 도 2a에 도시된 영상 처리 장치 및/또는 도 4a에 도시된 비선형이득 조절부에서 수행될 수 있다. 따라서, 도 2a에 도시된 영상 처리 장치 및/또는 도 4a에 도시된 비선형이득 조절부에서와 동일한 사항에 대해서는 이를 참조한다.

본 실시예에서는, 전술한 모션 아티펙트 검출부에서 모션 아티펙트 영역을 검출한 경우에, 검출된 모션 아티펙트 영역의 위치 및 이에 적용될 가중치 정보를 입력받는 것을 전제로 한다.

전술한 모션 아티펙트 검출부로부터 입력받은 모션 아티펙트 영역의 위치 정보를 기초로 비선형이득제어 단노광 영상의 아티펙트 로컬 블록(521)을 설정한다(S501, S511).

아울러, 전술한 모션 아티펙트 검출부로부터 입력받은 모션 아티펙트 영역의 위치 정보를 기초로 장노광 영상의 8개의 아티펙트 주위 로컬 블록들을 설정(S502, S512)

비선형이득제어 단노광 영상의 아티펙트 로컬 블록 및 장노광 영상의 8개의 아티펙트 주위 로컬 블록들 각각의 RGB 영역 평균값들을 산출한다(S503, S513~S514).

비선형이득제어 단노광 영상의 아티펙트 로컬 블록의 RGB 영역 평균값을 장노광 영상의 8개의 아티펙트 주위 로컬 블록들 각각의 RGB 영역 평균값들과 비교하여, 가장 유사한 아티펙트 주위 로컬 블록을 획득한다(S504, S515).

이때, 단노광 영상의 아티펙트 로컬 블록과 장노광 영상의 아티펙트 주위 로컬 블록을 비교하는 데에 있어서 SAD(Sum of Absolute Difference)를 사용할 수 있다.

전술한 일련의 과정을 통해, 장노광 영상 채널의 정보 중 단노광 영상에서 모션 아티펙트가 인식된 위치와 가장 유사한 정보를 획득할 수 있다. 장노광 영상 채널의 정보 중 가장 유사한 정보를 기초로 그와 유사한 단노광 영상의 정규화를 통해 모션 아티펙트를 제거할 수 있게 된다.

즉, 아티펙트 로컬 블록의 RGB 영역 평균값과 획득된 아티펙트 주위 로컬 블록의 RGB 영역 평균값을 비교하여 모션 아티펙트 보상을 위한 이득값을 산출한다(S505, S516).

하기의 수학식 2와 같이, 전술한 모션 아티펙트 검출부로부터 입력받은 모션 아티펙트 영역의 가중치(Weight) 및 모션 아티펙트 보상을 위한 이득값 (Motion_Arfifact_gain)을 비선형이득제어 단노광 영상(Short_NonLinearGain)에 적용하여 비선형이득제어 단노광 영상 내의 움직임을 보상한다. 이는 모션 아티펙트 영역을 보다 부드럽게 보상하기 위함이다.

[수학식 2]

Short_NonLinerGain_Motion_Artifact_removal= Short_NonLinearGain*(Motion_Arfifact_gain*Weight)

이처럼 본 발명에서는, WDR 영상 처리 기술에서 장노광 영상 및 단노광 영상의 노출 정도를 보상하는 것과 별개로, 장노광 영상 및 단노광 영상 간에 움직임 차이가 발생한 부분에 대해서 추가적인 보상을 실시함으로써, 움직임으로 인한 아티펙트를 저감할 수 있다.

도 6은 본 발명의 바람직한 일 실시예에 따라 단노광 영상의 휘도 성분을 장노광 영상의 휘도 성분에 상응하도록 정규화하는 과정을 예시한 도면으로, 본 실시예에 따른 단노광 영상 정규화 과정은 도 2a에 도시된 영상 처리 장치 및 도 4a에 도시된 비선형이득 조절부에서 수행될 수 있다. 따라서, 도 2a에 도시된 영상 처리 장치 및/또는 도 4a에 도시된 비선형이득 조절부에서와 동일한 사항에 대해서는 이를 참조한다.

본 실시예에 따른 단노광 영상 정규화 과정은 단노광 영상 및 장노광 영상의 휘도 성분을 저휘도 영역, 중휘도 영역 및 고휘도 영역의 3가지 영역으로 분리하고, 각 영역별로 서로 다른 가중치를 적용하여, 각 영역에 대한 선형 곡선(Linear Curve)를 생성한다.

이때, 각 영역별로 서로 다른 가중치를 적용함에 있어서, 저휘도 영역에서는 영상의 모션 아티펙트를 저감하는 방향으로 가중치를 조정하고, 중휘도 영역은 영상의 노이즈를 저감하는 방향으로 가중치를 조정하고, 고휘도 영역은 영상의 동적 영역을 넓히는 방향으로 가중치를 조정하는 것이 바람직하다.

이처럼 각 영역에 대하여 생성된 선형 곡선을 조합하여 단노광 영상의 비선형이득값을 갖는 비선형 곡선을 생성할 수 있다.

도 7은 본 발명의 바람직한 일 실시예에 따라 장노광 영상 및 단노광 영상을 융함하는 과정을 예시한 도면으로, 본 실시예에 따른 융합 과정은 도 2a에 도시된 영상 처리 장치에서 수행될 수 있다. 따라서, 도 2a에 도시된 영상 처리 장치에서와 동일한 사항에 대해서는 이를 참조한다.

도 7을 참조하면, 영상 센서로부터 획득된 장노광 영상(701)과 전술된 비선형이득 조절부에서 출력된 비선형이득제어 단노광 영상(702)을 서로 융합한다. 이때, 장노광 영상 및 단노광 영상을 융함함에 있어서, 장노광 영상의 휘도 성분 값을 기초로 Piecewise 방식의 Weight Curve를 구하여 이를 기초로 장노광 영상 및 단노광 영상의 융합 가중치(Weight)를 산출할 수 있다. 아울러, 이하의 수학식 3과 같이, 전술한 모션 아티펙트 검출부에서 도출한 모션 아티펙트 영역의 가중치(Motion_Detect_Weight)를 추가적으로 적용할 수 있다. 즉, 모션 아티펙트 영역 가중치(Motion_Detect_Weight)를 기초로 비선형이득제어 단노광 영상과 장노광 영상의 융합 가중치들(Weight, 1- Weight)을 조절할 수 있다.

[수학식 3]

Fusion = (Weight-Motion_Detect_Weight)*Long + (1-(Weight-Motion_Detect_Weight))*Short

도 8은 본 발명의 바람직한 일 실시예에 따른 영상 처리 방법을 적용한 경우에 광역 역광 보정(WDR) 처리시 발생할 수 있는 모션 아티펙트가 제거된 결과를 예시한 도면이다.

도 8을 참조하면, 롱 프레임(801) 및 쇼트 프레임(802)를 융합하여 융합 프레임 영상(803)를 구성함에 있어서, 도 1c에 도시된 예와 같이 모션 아티펙트로 인한 경계 영역을 평활화(804)하여, 보다 자연스러운 광역 역광 보정 처리된 프레임 영상을 제공할 수 있다.

이처럼 본 발명에 따른 영상 처리 방법을 적용하면, 종래의 광역 역광 보정 기술들과 달리, 넓은 동적 영역을 갖는 영상을 획득하는 과정에서 움직이는 물체로 인해 발생할 수 있는 모션 아티펙트를 최소화할 수 있다.

본 발명에 따른 영상 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

200: 영상 처리 장치
210: 모션 아티펙트 영역 탐지부
220: 비선형이득조절부
230: 융합부
300: 모션 아티펙트 영역 검출부
310: 증폭부
320: 제1저역통과필터
330: 로컬오브젝트검출부
340: 제2저역통과필터
350: 가중치설정부
400: 비선형이득조절부
410: 최대색상산출부
420: 최대색상비선형이득조절부
430: 모션 아티펙트 처리부
440: 적응적 이득 조절부

Claims

서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받는 영상 입력부;
상기 장노광 영상과 상기 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하는 모션 아티펙트 영역 검출부;
상기 단노광 영상의 휘도 성분이 상기 장노광 영상의 휘도 성분에 상응하도록 상기 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하고, 상기 검출된 모션 아티펙트 영역을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 비선형이득조절부; 및
상기 비선형이득제어 단노광 영상과 상기 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력하는 융합부;를 포함하고,
상기 융합부는 상기 모션 아티펙트 영역 검출부로부터 상기 모션 아티펙트 영역에 적용할 가중치를 제공받아, 상기 제공받은 가중치를 기초로 상기 비선형이득제어 단노광 영상과 상기 장노광 영상의 융합 가중치들을 조절하는 것을 특징으로 하는 영상 처리 장치.
[청구항 2은(는) 설정등록료 납부시 포기되었습니다.]

제1항에 있어서,
상기 영상 입력부는 영상 센서를 통해 프레임별로 노출 시간을 선택적으로 조절하여 상기 장노광 영상 및 상기 단노광 영상을 획득하는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서,
상기 모션 아티펙트 영역 검출부는 상기 모션 아티펙트 영역의 위치 정보와 상기 모션 아티펙트 영역에 적용할 가중치 정보를 생성하는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서,
상기 모션 아티펙트 영역 검출부는
상기 장노광 영상의 노출 시간 대비 상기 단노광 영상의 노출 시간의 비율만큼 단노광 영상을 증폭시키는 증폭부;
상기 장노광 영상 중 상기 단노광 영상과 상기 장노광 영상의 융합시 경계선을 형성할 부분 영역을 평활화시키는 제1저역통과필터;
상기 장노광 영상 및 상기 단노광 영상의 차이를 기초로 상기 모션 아티펙트 영역을 검출하는 로컬 오브젝트 검출부;
상기 검출된 모션 아티펙트 영역의 경계선을 형상할 부분 영역을 평활화시키는 제2저역통과필터; 및
상기 검출된 모션 아티펙트 영역에 대해 적용될 가중치 값을 설정하는 가중치 설정부를 포함하는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서,
상기 비선형이득조절부는 상기 단노광 영상의 베이어 패턴의 단위 영역별 최대색상을 산출하고, 상기 단노광 영상의 휘도 성분을 상기 장노광 영상의 휘도 성분에 상응하도록 상기 단노광 영상을 정규화하여 상기 단노광 영상의 이득을 조절한 비선형 곡선으로부터 상기 단위 영역별 최대색상에 상응하는 이득값을 산출하는 것을 특징으로 하는 영상 처리 장치.
[청구항 6은(는) 설정등록료 납부시 포기되었습니다.]

제5항에 있어서,
상기 비선형 곡선은 상기 장노광 영상의 휘도 성분에 상응하는 상기 단노광 영상의 휘도 성분을 휘도 레벨에 따라 복수의 휘도 성분 영역들로 분류하고, 상기 분류된 휘도 성분 영역들 각각에 대하여 서로 다른 계수들을 적용하여 상기 휘도 성분 영역들 각각에 대응하는 선형 곡선들을 형성하고, 상기 형성된 선형 곡선들을 연결하여 생성된 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서,
상기 비선형이득 조절부는 상기 모션 아티펙트 영역의 위치 정보를 기초로 상기 비선형이득제어 단노광 영상의 아티펙트 로컬 블록 및 상기 장노광 영상의 아티펙트 주위 로컬 블록들을 설정하고 상기 아티펙트 주위 로컬 블록들 중 상기 아티펙트 로컬 블록과 가장 유사한 아티펙트 주위 로컬 블록을 획득하여, 상기 아티펙트 로컬 블록과 상기 아티펙트 주위 로컬 블록과의 차이를 기초로 상기 모션 아티펙트 보상을 위한 상기 단노광 영상의 이득값을 산출하는 것을 특징으로 하는 영상 처리 장치.
[청구항 8은(는) 설정등록료 납부시 포기되었습니다.]

제7항에 있어서,
상기 비선형 이득 조절부는 상기 모션 아티펙트 영역 검출부로부터 상기 모션 아티펙트 영역에 적용할 가중치를 제공받아 상기 제공받은 가중치 및 상기 산출된 단노광 영상의 이득값을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 것을 특징으로 하는 영상 처리 장치.
삭제
영상 센서를 통해 서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받는 영상 입력 단계;
상기 장노광 영상과 상기 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하여 상기 모션 아티펙트 영역의 위치 정보와 상기 모션 아티펙트 영역에 적용할 가중치 정보를 생성하는 모션 아티펙트 검출 단계;
상기 단노광 영상의 휘도 성분이 상기 장노광 영상의 휘도 성분에 상응하도록 상기 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하는 비선형 이득 조절 단계;
상기 검출된 모션 아티펙트 영역을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 보상 단계; 및
상기 비선형이득제어 단노광 영상과 상기 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력하는 융합 단계;를 포함하고,
상기 융합 단계는 상기 모션 아티펙트 영역에 적용할 가중치를 기초로 상기 비선형이득제어 단노광 영상과 상기 장노광 영상의 융합 가중치들을 조절하는 것을 특징으로 하는 영상 처리 방법.
[청구항 11은(는) 설정등록료 납부시 포기되었습니다.]

제10항에 있어서,
상기 영상 입력단계는 상기 영상 센서를 통해 프레임별로 노출 시간을 선택적으로 조절하여 상기 장노광 영상 및 상기 단노광 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제10항에 있어서,
상기 모션 아티펙트 검출 단계는
상기 장노광 영상의 노출 시간 대비 상기 단노광 영상의 노출 시간의 비율만큼 상기 단노광 영상을 증폭시키는 단계;
저역 통과 필터를 사용하여 상기 장노광 영상 중 상기 단노광 영상과 상기 장노광 영상의 융합시 경계선을 형성할 부분 영역을 평활화시키는 단계;
상기 장노광 영상 및 상기 단노광 영상의 차이를 기초로 상기 모션 아티펙트 영역을 검출하는 단계;
저역 통과 필터를 사용하여 상기 검출된 모션 아티펙트 영역의 경계선을 형상할 부분 영역을 평활화시키는 단계; 및
상기 검출된 모션 아티펙트 영역에 대해 적용될 가중치 값을 설정하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제10항에 있어서,
상기 비선형 이득 조절 단계는
상기 단노광 영상의 베이어 패턴의 단위 영역별 최대색상을 산출하는 단계;
상기 단노광 영상의 휘도 성분을 상기 장노광 영상의 휘도 성분에 상응하도록 상기 단노광 영상을 정규화하여 상기 단노광 영상의 이득을 조절한 비선형 곡선을 획득하는 단계; 및
상기 비선형 곡선으로부터 상기 단위 영역별 최대색상에 상응하는 이득값을 산출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법
[청구항 14은(는) 설정등록료 납부시 포기되었습니다.]

제13항에 있어서,
상기 비선형 곡선은 상기 장노광 영상의 휘도 성분에 상응하는 상기 단노광 영상의 휘도 성분을 휘도 레벨에 따라 복수의 휘도 성분 영역들로 분류하고, 상기 분류된 휘도 성분 영역들 각각에 대하여 서로 다른 계수들을 적용하여 상기 휘도 성분 영역들 각각에 대응하는 선형 곡선들을 형성하고, 상기 형성된 선형 곡선들을 연결하여 생성된 것을 특징으로 하는 영상 처리 방법.
제10항에 있어서,
상기 보상 단계는
상기 모션 아티펙트 영역의 위치 정보를 기초로 상기 비선형이득제어 단노광 영상의 아티펙트 로컬 블록을 설정하는 단계;
상기 모션 아티펙트 영역의 위치 정보를 기초로 상기 장노광 영상의 아티펙트 주위 로컬 블록들을 설정하는 단계;
상기 아티펙트 주위 로컬 블록들 중 상기 아티펙트 로컬 블록과 가장 유사한 아티펙트 주위 로컬 블록을 획득하는 단계;
상기 아티펙트 로컬 블록과 상기 아티펙트 주위 로컬 블록과의 차이를 기초로 상기 모션 아티펙트 보상을 위한 상기 단노광 영상의 이득값을 산출하는 단계; 및
상기 단노광 영상의 이득값을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
[청구항 16은(는) 설정등록료 납부시 포기되었습니다.]

제15항에 있어서,
상기 보상 단계는 상기 모션 아티펙트 영역에 적용할 가중치 및 상기 산출된 단노광 영상의 이득값을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 것을 특징으로 하는 영상 처리 방법.
삭제
[청구항 18은(는) 설정등록료 납부시 포기되었습니다.]

제10항 내지 제16항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체.