KR102116095B1 - 컬러보간개선 방법 - Google Patents

Abstract

본 발명의 바람직한 일 실시예로서, 컬러보간개선 방법은 R,G, B 및 N 입력 채널로부터 Base 채널을 생성하는 단계; 상기 생성된 Base 채널과 상기 R,G, B 및 N 입력 채널 각각과의 차이값을 계산하는 단계; 및 상기 계산된 차이값의 CI(Color Interpolation) 에러를 최소화하는 단계;를 포함한다.

Description

컬러보간개선 방법{Method for minimizing color interpolation error}

본 발명은 영상처리장치에 관한 것으로, 상세히 MFA센서의 특성에 맞는 칼라보간 방법에 관한 것이다.

가시광선 대역의 영상과 비가시 대역의 NIR영상을 동시에 획득하기 위해 다중대역 필터배열(multi-spectral filter array)를 사용하여 각 채널의 영상을 동시에 획득하였다.

KR 2010-0084458

Quincuncial interpolation 후에 Bayer패턴으로 변환된 패턴 영상으로부터 CI(Color Interpolation)을 수행하는 과정에서 성능 저하가 큰 문제를 해결하면서도 MFA 센서의 해상도를 극대화 하고자 한다.

본 발명의 바람직한 일 실시예로서, 컬러보간개선 방법은 R,G, B 및 N 입력 채널로부터 Base 채널을 생성하는 단계; 상기 생성된 Base 채널과 상기 R,G, B 및 N 입력 채널 각각과의 차이값을 계산하는 단계; 및 상기 계산된 차이값의 CI(Color Interpolation) 에러를 최소화하는 단계;를 포함하고, 상기 에러를 최소화하는 단계는 상기 R,G, B 및 N 입력 채널 각각의 local window 내의 각 픽셀에 가중치를 부여하여 합한값과 Base 채널의 특정 local window 내의 중심 픽셀(m,n)과 주변 픽셀 각각과의 차이값에 가중치를 부여하여 합한 가중합을 더하는 것을 특징으로 한다.

바람직하게, 상기 Base 채널은 R,G, B 및 N 입력 채널의 합을 4로 나누어 생성되는 것을 특징으로 한다.

바람직하게, 상기 가중치는 상기 R,G, B 및 N 입력 채널 각각의 local window 내의 각 픽셀과 상기 R,G, B 및 N 입력 채널 각각의 local window 내의 중심픽셀(m,n)과의 거리값에 기초하여 설정되는 것을 특징으로 한다.

바람직하게, 상기 가중치는 상기 R,G, B 및 N 입력 채널 각각의 local window 내의 각 픽셀과 상기 R,G, B 및 N 입력 채널 각각의 local window 내의 중심픽셀(m,n)과의 거리가 멀수록 감소하는 것을 특징으로 한다.

바람직하게, 상기 R,G, B 및 N 입력 채널은 루미넌스 채널과 크라미넌스 채널의 중첩으로 인해 발생하는 에일리어싱을 제거하여 컬러 보간이 수행된 입력 채널인 것을 특징으로 한다.

본 발명의 바람직한 일 실시예에서 개시한 칼라 보간 개선 방법은 컬러 에일리어징과 컬러 패치 부분의 overshoot 문제점을 해결하는 효과가 있다.

또한 기존에 Quincuncial interpolation 후에 Bayer패턴으로 변환된 패턴 영상으로부터 CI(Color Interpolation)을 수행하는 과정에서 성능 저하가 크던 문제점을 해결하는 효과가 있다.

도 1은 본 발명의 바람직한 일 실시예로서, 카메라 시스템을 개략적으로 도시한 블록도이다.
도 2 는 본 발명의 바람직한 일 실시예로서, MFA 패턴 영상을 quincuncial 패턴영상으로 변환하는 일 예를 도시한다.
도 3 내지 6은 도 2 의 quincuncial 패턴영상을 이용하여 루미넌스 채널과 크라미넌스 채널의 중첩으로 인해 발생하는 에일리어싱을 제거한 컬러 보간 이후에도, 에러가 발생하는 경우의 일 예를 도시한다.
도 7 은 이 경우 발생하는 에러의 가우시안 분포를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서 컬러보간개선 방법의 흐름도를 도시한다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명의 바람직한 일 실시예로서, 카메라 시스템을 개략적으로 도시한 블록도이다.

본 발명은 RGB+NIR구조를 갖는 센서를 이용한 디지털 카메라 시스템에 적용이 가능하다.

도 1을 참조하면, 카메라 시스템(1)은 영상 센서(10)와 영상 처리 장치(30), 디스플레이 장치(50)를 포함한다. 카메라 시스템(1)은 디지털 카메라, 캠코더, 감시 카메라와 같은 영상 촬영 시스템일 수도 있고, 컴퓨터, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 모바일 폰 등에 탑재될 수도 있다.

영상 센서(10)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전변환소자를 이용한다. 영상 센서(10)는 광전변환소자에 의해 광신호를 전기적 영상 신호로 전환하는 다수의 픽셀이 형성된 픽셀 어레이를 구비한다.

영상 센서(10) 상에는 가시 대역 및 비가시 대역의 광을 통과시키는 다중 대역 필터 어레이(Multi spectral Filter Array)가 배치된다. MFA는 가시 대역 중 RGB 등의 400nm~700nm에 이르는 가시광선 대역의 광 성분을 투과시키는 컬러 필터와 비가시 대역 중 700nm~1100nm근적외선 영역의 광 성분을 투과시키는 근적외선 필터를 포함한다.

MFA의 컬러 필터(RCF, GCF, BCF)와 근적외선 필터(NIRF)는 영상 센서(10)의 각 픽셀에 대응하도록 배치되어, 영상 센서(10)의 각 픽셀들은 MFA를 통과한 컬러 채널 신호(R, G, B)와 근적외선 채널 신호(NIR, 이하 "N")를 감지한다. 영상 센서(10) 전단에는 광신호를 수신하는 렌즈(미도시)가 구비될 수 있다.

본 발명은 루미넌스 채널과 크라미넌스 채널의 중첩으로 인해 발생하는 에일리어싱을 제거한 컬러 보간 이후, 에러가 발생하는 경우 추가로 컬러 보간을 개선하기 위한 것을 전제로 한다.

상세히, 본 발명의 바람직한 일 실시예에서는 컬러 보간을 개선하기 위하여 MFA 영상에서 aliasing 이 제거되고, 칼라보간이 이미 수행된 R,G, B,N 채널이 각각 입력되면, 입력된 각각의 R, G, B, N 채널로부터 Base 채널을 생성한다. 그 후, 생성된 Base 채널과 R, G, B 및 N 채널 각각의 차이값을 계산한다.

그 후, 차이값에 포함된 에러를 최소화하기 위하여 R,G, B 및 N 입력 채널 각각의 특정 영역에 해당하는 로컬윈도우(local window) 내의 각 픽셀과 상기 로컬윈도우의 중심픽셀 (m,n)과의 차이값의 가중합을 구하고, 구해진 가중합을 이상에서 생성한 Base 채널의 중심 픽셀(m, n) 위치의 화소값과 합을 구한다.

이 경우, 상기 가중합은 R,G, B 및 N 입력 채널 각각의 특정 영역에 해당하는 로컬윈도우(local window) 내의 각 픽셀과 상기 로컬윈도우의 중심픽셀 (m,n)과의 거리에 따른 가중치값을 곱하여 생성된다. 바람직하게, 거리와 가중치값은 반비례한다. 따라서 거리가 멀어질수록 가중치값은 감소한다. 이와 관련해서는 이하에서 보다 상세히 설명하기로 한다.

도 2 는 본 발명의 바람직한 일 실시예로서, MFA 패턴 영상을 quincuncial 패턴영상으로 변환하는 일 예를 도시한다.

본 발명의 바람직한 일 실시예에서, MFA 패턴 영상을 Bayer 패턴과 근사화 하여 기존의 컬러 보간 알고리즘을 본원 발명에서 사용되는 R,G,B, NIR 채널 보간 방법에도 적용하기 위하여, 대각선 화소방향의 차분값에 기반하여 MFA 패턴 영상(210)을 quincuncial 패턴 영상(220)으로 변경한다.

바람직한 일 실시예로서, MFA 패턴 영상의 중심화소(m,n)(200) 위치의 채널값을 보간하고자 하는 경우, MFA 패턴 영상의 중심화소(m,n)(200)로부터 대각선 방향으로 한 칸 떨어진 위치의 화소값(211, 212, 213, 214)의 제1가중평균값과 MFA 패턴 영상의 중심화소(m,n)와 상기 MFA 패턴의 중심화소로부터 대각선 방향으로 두 칸 떨어진 위치(221, 222, 223, 224)의 각각의 화소값의 차이값을 가중평균한 제2가중평균값의 합을 이용한다. 제1가중평균값과 제 2가중평균값을 구하기 위해 사용되는 각 가중치는 각 화소 방향별 차분값에 반비례 한다.

본 발명의 바람직한 일 실시예에서는, 변경된 quincuncial 패턴 영상의 수직수평 화소방향의 차분값에 기초하여 MFA 패턴 영상을 구성하는 칼라채널 및 근적외선 채널을 최대해상도로 보간한다.

도 3 내지 6은 도 2 의 quincuncial 패턴영상을 이용하여 루미넌스 채널과 크라미넌스 채널의 중첩으로 인해 발생하는 에일리어싱을 제거한 컬러 보간 이후에도, 에러가 발생하는 경우의 일 예를 도시한다.

도 3 은 IR 코팅 처리가 된 이중 비구면 렌즈(Double aspherical surface lens with IR coating)에서 NIR longitudinal defocus문제가 발생한 일 예를 도시한다.

도 4 는 일반적인 렌즈에서 Red 채널에서도 longitudinal defocus문제가 발생한 일 예를 도시한다. 이러한 에러 현상은 파장대별로 굴절률이 상이해서 발생하는 것으로 센서 면에 맺히는 초점이 달라져 발생하게 된다.

도 3 내지 4와 같이 IRCF (IR cut filter)(310, 410)을 사용하지 않았을 경우, 도 5를 참고하면 IR 코팅 처리가 된 이중 비구면 렌즈에서도 NIR 채널과 Red 채널 모두에서 longitudinal defocus 문제가 발생하게 된다. 도 6을 참고하면 일반렌즈의 경우에는 IRCF (IR cut filter)(310, 410)을 사용하지 않았을 경우, 모든 채널에서 longitudinal defocus 문제가 발생하게 된다.

도 3 내지 6과 같은 현상으로 인하여, 에러가 발생하게 되며 영상의 중심부에서 멀어질수록 에지부분이 일치하지 않는 현상이 악화된다.

도 7 은 이 경우 발생하는 CI(Color Interpolation)에러의 가우시안 분포를 도시한다. 본 발명의 바람직한 일 실시예에서는, 이 CI 에러값을 최소화하고자 한다.

이를 위하여 먼저 Base 채널을 아래와 같은 방식으로 생성한다.

Base 채널= (R 채널+ G 채널 + B 채널 + N 채널)/4

이후 생성된 Base 채널과 R,G, B 및 N 입력 채널 각각과의 차이값을 계산한다. Base 채널과 R,G, B 및 N 입력 채널 각각과의 차이값을 각각

,

,

및

과 같이 표시할 수 있다. 이하에서는 설명의 편의를 위해 G 채널의 일 예를 들어 설명하면 아래와 같다.

수학식 1은 G 채널과 Base 채널간의 차이값을 도시한다.

Base 채널과 G 입력 채널의 차이값에 CI(Color Interpolation) 에러가 없는 경우의 값을

라고 할 수 있다. 이 경우, CI(Color Interpolation) 에러를

로 정의하면, 도 7 과 같은 형태의 Gaussian형태를 갖는 정규분포 형태(Probability Density Function)로 표시된다. 바람직한 일 실시예로서, CI(Color Interpolation) 에러는 실험적으로 측정한 결과 0에 가까운 평균값을 갖고 2.76의 표준편차를 갖는다.

렌즈로 인한 longitudinal defocus문제를 줄이기 위해서CI 에러값이 최소화된 G 채널

을 표시하면 수학식 2와 같다.

수학식 2에서

는 G 채널의 특정 영역(local window) 내의 각 픽셀 (m+a,n+b)에 부여되는 가중치를 나타낸다. 이 경우 가중치값은 local window의 중심 픽셀(m,n)에서 거리가 멀어질수록 크기가 작아진다.

수학식 2를 살펴보면, 에러가 최소화된 G 채널을 생성하기 위해서 G 채널의 local window 에 포함된 각 픽셀에 가중치를 부여하여 합한값과, Base 채널의 특정 local window 내의 (m,n) 픽셀과 주변 픽셀(m+a, n+b) 각각과의 차이값에 가중치를 부여하여 합한 가중값을 더한다. 수학식 1 내지 2 에 개시된 방법을 R, B 및 N 채널에도 실질적으로 동일하게 적용한다.

도 8 은 본 발명의 바람직한 일 실시예로서 컬러보간개선 방법의 흐름도를 도시한다.

루미넌스 채널과 크라미넌스 채널의 중첩으로 인해 발생하는 에일리어싱을 제거하여 컬러 보간이 수행된 R,G, B 및 N 입력 채널로부터 Base 채널을 생성한다(S810). Base 채널을 생성하는 일 실시예로는 R,G, B 및 N 입력 채널의 합을 4로 나누는 방법이 있다.

이후 생성된 Base 채널과 R,G, B 및 N 입력 채널 각각과의 차이값을 계산한다(S820). 그 후, 계산된 차이값의 칼라 보간 에러( CI(Color Interpolation) 에러)를 최소화한다(S830). 이 경우 칼라 보간 에러를 최소화하는 방법은 수학식 2를 참고한다.

상세히 R,G, B 및 N 입력 채널 각각의 local window 내의 각 픽셀에 가중치를 부여하여 합한값과 Base 채널의 특정 local window 내의 중심 픽셀(m,n)과 주변 픽셀 각각과의 차이값에 가중치를 부여하여 합한 가중합을 더하여 칼라 보간 에러를 최소화 한다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (5)

1. R,G, B 및 N 입력 채널로부터 Base 채널을 생성하는 단계;
   상기 생성된 Base 채널과 상기 R,G, B 및 N 입력 채널 각각과의 차이값을 계산하는 단계; 및
   상기 계산된 차이값의 CI(Color Interpolation) 에러를 최소화하는 단계;를 포함하고, 상기 에러를 최소화하는 단계는
   상기 R,G, B 및 N 입력 채널 각각의 local window 내의 각 픽셀에 가중치를 부여하여 합한값과 Base 채널의 특정 local window 내의 중심 픽셀(m,n)과 주변 픽셀 각각과의 차이값에 가중치를 부여하여 합한 가중합을 더하며, 이 경우 상기 Base 채널은 R,G, B 및 N 입력 채널의 합을 4로 나누어 생성되는 것을 특징으로 하는 컬러보간개선 방법.
2. 삭제
3. 제 1 항에 있어서, 상기 각 픽셀에 부여되는 가중치는
   상기 R,G, B 및 N 입력 채널 각각의 local window 내의 각 픽셀과 상기 R,G, B 및 N 입력 채널 각각의 local window 내의 중심픽셀(m,n)과의 거리값에 기초하여 설정되고, 또한 상기 가중치는 상기 R,G, B 및 N 입력 채널 각각의 local window 내의 각 픽셀과 상기 R,G, B 및 N 입력 채널 각각의 local window 내의 중심픽셀(m,n)과의 거리가 멀수록 감소하는 것을 특징으로 하는 컬러보간개선 방법.
4. 삭제
5. 제 1 항에 있어서, 상기 R,G, B 및 N 입력 채널은
   루미넌스 채널과 크라미넌스 채널의 중첩으로 인해 발생하는 에일리어싱을 제거하여 컬러 보간이 수행된 입력 채널인 것을 특징으로 하는 컬러보간개선 방법.

Images