KR101700928B1 - 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 - Google Patents
다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 Download PDFInfo
- Publication number
- KR101700928B1 KR101700928B1 KR1020150156030A KR20150156030A KR101700928B1 KR 101700928 B1 KR101700928 B1 KR 101700928B1 KR 1020150156030 A KR1020150156030 A KR 1020150156030A KR 20150156030 A KR20150156030 A KR 20150156030A KR 101700928 B1 KR101700928 B1 KR 101700928B1
- Authority
- KR
- South Korea
- Prior art keywords
- plane
- residual
- line
- quot
- bayer image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001939 inductive effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H04N9/045—
-
- H04N9/07—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법은 베이어 영상으로부터 G(녹색) 평면을 복원하는 단계 및 복원된 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 또는 B(청색) 평면 중 적어도 하나를 추정하는 단계를 포함함으로써, 베이어 영상으로부터 RGB 평면 추정 후 정제 과정을 거치지 않고도 개선된 품질의 디모자이킹 결과를 제공할 수 있다.
Description
실시예들은 베이어(Bayer) 패턴의 컬러 필터 어레이(color filter array)를 구비한 영상 센서로부터 획득한 영상을 디모자이킹(demosaicking)하는 방법에 관한 것으로서, 보다 상세하게는, 녹색(G) 성분에 대한 평면(G plane)을 먼저 복원한 후 복원된 녹색 평면과 유도필터를 이용하여 적색(R) 또는 청색(B) 평면을 추정함으로써 베이어 패턴 영상을 디모자이킹하는 방법에 대한 것이다.
디지털 컬러 카메라가 컬러 필터 어레이(color filter array; CFA)로 영상을 담을 때 세 개의 센서를 사용하는 것은 비용과 공간이 많이 소모되기 때문에 일반적으로 단일 센서가 이용된다. 이러한 기술은 스마트폰과 같은 디지털 영상 산업에서 주로 사용된다.
도 1은 디지털 카메라의 CFA에 널리 이용되는 컬러 배치 패턴 중 하나인 베이어(Bayer) 패턴을 나타낸다. 사람의 눈은 적색(R) 및 청색(B)보다 녹색(G)을 더 잘 식별할 수 있기 때문에, 베이어 패턴에서는 하나의 센서의 1/4은 각각 R 또는 B 성분을 측정하며, 하나의 센서의 절반은 G 성분을 측정한다.
각각의 픽셀 위치에서는 세 개의 컬러 성분(RGB) 중 어느 하나만 샘플링(sampling)되므로, 전체 컬러 영상을 복원하기 위해서는 나머지 두 성분이 추정되어야 한다. 이러한 과정이 디모자이킹(demosaicking)이다.
디모자이킹 방법은 전체 컬러 영상의 복원 품질을 개선하기 위해 개발되어 왔으며, 방향성 보간(directional interpolation) 방법은 복잡도가 낮고 성능이 우수하기 때문에 널리 채용되었다. 예를 들면, 로컬 방향성 보간 및 논로컬 적응적 임계화(local directional interpolation and nonlocal adaptive thresholding; LDI-NAT) 방법은 샘플링되지 않은(missing) 컬러 성분의 로컬(local) 방향성 추정을 먼저 수행하고, 로컬 추정을 강화하기 위해, 논로컬(nonlocal) 유사 구조의 검색 절차를 수행한다. 이러한 방법은 개선된 성능을 보이지만, 복잡도가 증가한다.
따라서 최근에는 더욱 우수한 성능을 갖는 다중 방향성 가중 보간(multi-directional weighted interpolation; MDWI)방법이 제안된 바 있으나, MDWI는 R/B 성분을 보간할 때 수평 또는 수직 관계를 효율적으로 이용하지 않기 때문에 G 성분에 있어서는 효율적이지만 R/B 성분에 대해서는 그렇지 않고, 후처리 과정으로서 정제(refinement)가 필요한 단점이 있다.
X. Chen, G. Jeon, J. Jeong, and L. He, "Multi-derectional weighted interpolation and refinement method for bayer pattern cfa demosaicking," IEEE Trans. Circuits Syst. Video Technol., 2014, DOI:10.1109/TCSVT.2014.2313896.
본 발명의 일 측면에 따르면, 단시간에 별도의 후처리 과정 없이도 우수한 품질로 베이어 패턴 컬러 필터 어레이를 갖는 영상 센서가 획득한 영상을 디모자이킹할 수 있다.
본 발명의 일 실시예에 따른 디모자이킹 방법은, 베이어 영상으로부터 G(녹색) 평면을 복원하는 단계; 및 복원된 상기 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 및 B(청색) 평면 중 적어도 하나를 추정하는 단계;를 포함한다.
일 실시예에서, 상기 R 평면 및 B 평면 중 적어도 하나를 추정하는 단계는, 상기 R 평면 및 B 평면 중 어느 하나를 제 1 평면으로 정의하고 다른 하나를 제 2 평면으로 정의할 때, 복원된 상기 G 평면을 기초로 상기 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성하는 제 1 단계; 상기 베이어 영상의 제 1 평면에 대응하는 컬러 성분 위치에서의 본래(original)값과 상기 선추정값 사이의 잔차(residual)를 계산하는 제 2 단계; 상기 제 2 단계에서 계산된 잔차를 이용하여 상기 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간하는 제 3 단계; 및 상기 제 1 단계에서 생성한 제 1 평면에 대한 선추정값과 상기 제 2 단계 및 제 3 단계에서 얻은 잔차를 합산함으로써 상기 제 1 평면을 얻는 제 4 단계;를 포함한다.
(단, , W m,n 은 로컬 윈도우, a m,n 및 b m,n 은 제 1 평면에 대응하는 컬러 성분(R i,j )의 상기 W m,n 내에서의 평균()을 기초로 결정되는 선형 계수)
일 실시예에서, 상기 a m,n 및 b m,n 은 하기 수학식 2 내지 4를 만족한다.
일 실시예에서, 상기 제 2 단계에서 계산된 잔차를 라고 할 때, 상기 제 3 단계는 하기 수학식 6 및 7 을 통해 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간한다.
본 발명의 일 실시예에 따른 디모자이킹 장치는, 베이어 영상으로부터 G(녹색) 평면을 복원하는 G 평면 복원부; 및 상기 G 평면 복원부에서 복원된 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 및 B(청색) 평면 중 적어도 하나를 추정하는 R/B 평면 추정부;를 포함한다.
일 실시예에서, 상기 R/B 평면 추정부는, 상기 R 평면 및 B 평면 중 어느 하나를 제 1 평면으로 정의하고 다른 하나를 제 2 평면으로 정의할 때, 복원된 상기 G 평면을 기초로 상기 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성하는 선추정값 생성부; 상기 베이어 영상의 제 1 평면에 대응하는 컬러 성분 위치에서의 본래(original)값과 상기 선추정값 생성부에서 생성한 선추정값 사이의 잔차(residual)를 계산하는 잔차 계산부; 상기 잔차 계산부에서 계산된 잔차를 이용하여 상기 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간하는 잔차 보간부; 및 상기 선추정값 생성부에서 생성한 제 1 평면에 대한 선추정값과 상기 잔차 계산부 및 상기 잔차 보간부에서 얻은 잔차를 합산함으로써 상기 제 1 평면을 얻는 제 1 평면 획득부;를 포함한다.
본 발명의 일 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체는 본 발명의 일 실시예에 따른 베이어 영상의 모자이킹 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록하고 있다.
본 발명의 일 실시예에 따르면, 베이어 패턴을 갖는 컬러 필터 어레이를구비한 영상 센서가 획득한 영상으로부터 RGB 평면을 추정한 이후의 정제 과정 없이도 우수한 품질의 디모자이킹 결과를 얻을 수 있다.
도 1은 컬러 필터 어레이의 베이어 패턴을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법의 흐름도이다.
도 4는 베이어 패턴 컬러 필터 어레이의 대각선 방향 컬러 정보를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 장치의 개략적인 블록도이다.
도 6은 디모자이킹 대상 영상(a), 종래의 디모자이킹 기술에 따른 결과 영상((b) 내지 (e)) 및 본 발명의 일 실시예에 따른 디모자이킹 결과 영상(f)을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법의 흐름도이다.
도 4는 베이어 패턴 컬러 필터 어레이의 대각선 방향 컬러 정보를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 장치의 개략적인 블록도이다.
도 6은 디모자이킹 대상 영상(a), 종래의 디모자이킹 기술에 따른 결과 영상((b) 내지 (e)) 및 본 발명의 일 실시예에 따른 디모자이킹 결과 영상(f)을 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 대하여 상술한다.
도 2는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법의 흐름도이다.
도 2를 참고하면, 베이어 영상의 디모자이킹 방법은 베이어 영상으로부터 G(녹색) 평면(plane)을 복원하는 단계(S100) 및 복원된 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 또는 B(청색) 평면 중 적어도 하나를 추정하는 단계(S200)를 포함할 수 있다.
이때 베이어 영상이란 베이어 패턴의 컬러 필터 어레이(color filter array; CFA)를 갖는 영상 센서로부터 획득한 영상을 의미하며, 유도필터는 에지(edge)가 보존되는 스무딩 특성을 갖는 간단하고 효과적인 필터의 한 종류이다.
먼저, 베이어 영상으로부터 G 평면을 추정하는 단계(S100)에 대하여 상세히 설명한다. 그러나 본 발명에서 G 평면을 복원하는 방법은 이에 제한되지 않는다.
G 평면을 복원하기 위해 인접한 픽셀들의 공간적 관계와 스펙트럼 관계를 이용하여 다중 방향 가중 보간을 통해 샘플링되지 않은(missing) G 성분 샘플을 추정한다. G 평면은 서로 다른 가중 계수를 갖는 복수의 보간 방향을 따른 선추정값(pre-estimations)을 기초로 복원된다.
이해를 돕기 위해 8-방향 가중 보간을 통해 G 평면을 복원하는 방법을 예로 들어 상세히 설명한다. 먼저, 샘플링되지 않은 G 성분을 임의변수()의 기대값으로 보며, 임의변수()는 서로 다른 확률()을 갖는 8개의 가능값(possible values)을 취한다. 일 실시예에서, 임의변수()는 8개의 보간 방향(즉, 북(N), 남(S), 서(W), 동(E), 북서(NW), 남서(SW), 북동(NE), 남동(SE))에 따른 선추정값을 나타낸다. B i,j 위치에서 샘플링되지 않은 G 성분의 경우, 하기 수학식 8에 따라 추정값()을 구할 수 있고, 이로부터 G 평면을 구할 수 있다.
수학식 8을 참고하면, 샘플링되지 않은 G 성분을 복원하기 위해 서로 다른 계수를 갖는 B i,j 주변의 8개의 방향에 따른 8개의 선추정값이 공동으로 이용된다. 더욱 자세하게는 하기 수학식 9를 따른다.
수학식 9에서 X 는 선추정하는 방향을 나타내며, 예를 들면 X∈{N, S, W, E, NW, SW, NE, SE}를 만족한다. 는 X 방향에 따른 선추정값을 나타내고, 는 X 방향에 대응하는 가중 계수이다.
도 3은 베이어 패턴의 대각선 방향 정보를 나타낸다.
도 3을 참고하면, 베이어 패턴에서는 G 성분이 대각선 방향을 따라 연속적으로 분배되어 있다. 이 때문에 NW, NE, SW 및 SE 방향을 따르는 픽셀집합()은 중앙의 샘플링되지 않은 G 성분()에 대한 유용한 정보를 포함한다. 따라서 이러한 픽셀집합을 추정에 사용하며, 예를 들면 NW 방향을 따르는 픽셀집합은 하기 수학식 13을 만족한다. 나머지 세 방향에 따른 픽셀집합도 동일한 방식으로 도 3에 도시된 바와 같이 얻을 수 있다.
정확한 G 성분 추정을 보장하기 위하여, 선추정값의 확률에 공동으로 기초하여 결정해야 한다. 즉, 서로 다른 가중 계수()가 필요하며, 가중 계수()는 에지 그래디언트(edge gradient)에 기초하여 연산된다. 예를 들면 하기 수학식 14와 같이 정의될 수 있다.
수학식 14에서 ∇는 다음과 같이 계산되는 방향성 그래디언트 계수를 나타낸다. 북쪽(N)과 북서쪽(NW) 방향에 따른 그래디언트 계수는 각각 하기 수학식 15 및 수학식 16을 만족하며, 다른 방향에 따른 그래디언트 계수는 대칭영역 또는 직교(perpendicular)영역에서 얻을 수 있다.
수학식 15 및 수학식 16에서 ε은 그래디언트가 0이 되는 것을 방지하기 위한 작은 양의 계수이다.
선추정값() 및 가중 계수()를 통해, 수학식 9를 이용하여 B i,j 위치에서의 샘플링되지 않은 G 성분에 대한 최종 추정값()을 계산한다. 마찬가지로 R 위치에서의 샘플링되지 않은 G 성분도 동일한 방식으로 추정할 수 있으며, G 성분의 추정값을 이용하여 G 평면을 복원할 수 있다.
다음으로, 도 4를 참고하여 복원된 G 평면을 가이드 영상으로 하여 유도필터를 이용하여 R 평면 및 B 평면 중 적어도 하나를 추정하는 단계(S200; 도 2)에 대하여 설명한다. 편의상 R 평면을 추정하는 방법을 예시로서 설명하며, B 평면도 동일한 방식으로 추정할 수 있다.
도 4를 참고하면, R 평면 및 B 평면 중 적어도 하나를 추정하는 단계(S200; 도 2)는 복원된 G 평면을 기초로 유도필터를 이용하여 R 평면에 대한 선추정값을 생성하는 제 1 단계(S210); 베이어 영상의 R 성분 위치에서의 본래(original)값과 선추정값 사이의 잔차(residual)를 계산하는 제 2 단계(S220); 제 2 단계(S220)에서 계산된 잔차를 이용하여 베이어 영상의 G 성분 위치 및 B 성분 위치에서의 잔차를 보간하는 제 3 단계(S230); 및 제 1 단계(S210)에서 생성한 R 평면에 대한 선추정값과 제 2 단계(S220) 및 제 3 단계(S230)에서 얻은 잔차를 합산함으로써 R 평면을 얻는 제 4 단계(S240)를 포함할 수 있다. 즉, R 평면 및 B 평면 중 적어도 하나를 추정하는 단계(S200; 도 2)는 복원된 G 평면을 가이드로 하여 R/B 샘플을 업샘플링(upsample)함으로써 전체 영상 구조를 고려한다.
제 1 단계(S210)는 복원된 G 평면을 가이드 영상으로 삼아 유도필터를 이용하여 R 영상에 대한 선추정값을 생성한다. 베이어 영상의 본래의 R 샘플들은 유도필터의 입력으로 이용된다. 유도필터는 R 성분의 선추정값()을 출력하며, 일 실시예에서 R 성분의 선추정값()은 하기 수학식 17을 만족한다.
상기 수학식 17에서, (a m,n , b m,n )은 로컬 윈도우(W m,n )에서 일관된(consistent) 것으로 가정된 선형 계수이며, (a m,n , b m,n )은 출력 과 입력 R 의 차이를 최소화함으로써 결정된다. 일 실시예에서 (a m,n , b m,n )은 하기 수학식 18과 같은 비용함수(E)를 만족한다.
일 실시예에서 a m,n 및 b m,n 는 다음의 수학식 19 및 수학식 20과 같이 선형 회귀(linear regression)에 의해 얻을 수 있다.
수학식 19 및 수학식 20에서 μ m,n 및 σ 2 m,n 은 로컬 윈도우(W m,n ) 내의 의 평균 및 분산이며, N W 는 로컬 윈도우(W m,n ) 내 픽셀의 개수이며, 은 로컬 윈도우(W m,n ) 내의 R 성분의 평균이다.
제 2 단계(S220)는 R 위치에서의 본래값과 선추정된 R 픽셀값 사이의 잔차(residual)를 계산한다. 예를 들면 하기 수학식 21을 통해 R 위치에서의 선추정된 R 픽셀값과 본래값 사이의 잔차를 계산할 수 있다.
제 3 단계(S230)는 G 성분 위치 및 B 성분 위치에서의 잔차의 샘플링되지 않은 성분을 보간한다. 예를 들면 G/B 위치에서의 잔차의 샘플링되지 않은 성분은 하기 수학식 22 내지 수학식 24에 따라 보간된다.
제 4 단계(S240)는 R 영상의 선추정값을 보간된 잔차 영상에 더하여 최종적으로 추정된 R 영상을 얻는다. 최종적으로 추정된 R 평면은 하기 수학식 25와 같이 표현될 수 있다.
B 평면의 경우 상기 설명에서 B 와 R 을 맞바꾸어 유도필터와 복원된 G 평면을 가이드 영상으로 하여 추정될 수 있다. 이러한 추정 방법을 통해 R/B 평면의 에지와 텍스쳐(texture)도 추정될 수 있다.
도 5는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 장치의 개략적인 블록도이다.
도 5를 참고하면, 베이어 영상의 디모자이킹 장치는 베이어 영상으로부터 G 평면을 복원하는 G 평면 복원부(100) 및 상기 G 평면 복원부에서 복원된 G 평면을 기초로 유도필터를 이용하여 R 평면 및 B 평면 중 적어도 하나를 추정하는 R/B 평면 추정부(200)를 포함할 수 있다.
일 실시예에서, R/B 평면 추정부(200)는 선추정값 생성부(210), 잔차 계산부(220), 잔차 보간부(230) 및 제 1 평면 획득부(240)를 포함할 수 있다.
선추정값 생성부(210)는 R 평면 및 B 평면 중 추정하고자 하는 평면을 제 1 평면(예를 들면 R 평면)으로 정의하고 다른 하나를 제 2 평면(예를 들면 B 평면)으로 정의할 때, G 평면 복원부(100)에서 복원된 G 평면을 기초로 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성한다.
잔차 계산부(220)는 베이어 영상의 제 1 평면에 대응하는 컬러(예를 들면 R) 성분 위치에서의 본래(original)값과 선추정값 생성부(210)에서 계산한 선추정값 사이의 잔차(residual)를 계산한다.
잔차 보간부(230)는 잔차 계산부(220)에서 계산된 잔차를 이용하여 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러(예를 들면 B) 성분 위치에서의 잔차를 보간한다.
제 1 평면 획득부(240)는 선추정값 생성부(210)에서 생성한 제 1 평면에 대한 선추정값과 잔차 계산부(220) 및 잔차 보간부(230)에서 얻은 잔차를 합산함으로써 제 1 평면을 얻는다.
선추정값 생성부(210), 잔차 계산부(220), 잔차 보간부(230) 및 제 1 평면 획득부(240)는 각각 앞서 설명한 베이어 영상의 디모자이킹 방법의 제 1 단계(S210; 도 2), 제 2 단계(S220; 도 2), 제 3 단계(S230; 도 2) 및 제 4 단계(S240; 도 2)와 동일한 기능을 할 수 있다.
도 6은 디모자이킹 대상 영상(a), 종래의 디모자이킹 기술에 따른 결과 영상((b) 내지 (e)) 및 본 발명의 일 실시예에 따른 디모자이킹 결과 영상(f)을 나타낸다. 도 6의 (b) 내지 (e)는 각각 DLMMSE(directional linear minimum mean square-error estimation), LDI-NAT(local directional interpolation and nonlocal adaptive thresholding), MDWI(multi-directional weighted interpolation), MLRI(minimized-Laplacian residual interpolation) 방법으로 (a)의 영상을 디모자이킹한 결과를 나타낸다.
도 6을 참고하면 본 발명의 일 실시예에 따른 디모자이킹 방법이 기존의 방법과 비교하여 가장 적은 왜곡을 수반함을 확인할 수 있다.
또한, 디모자이킹 방법의 효율성을 평가하기 위해 널리 이용되는 맥마스터(McMaster; McM) 데이터세트를 이용하여, 도 6의 네 가지 종래 기술에 더불어 MDWI N (MDWI with no refinement)와 본 발명의 일 실시예에 따른 디모자이킹 결과를 CPSNR(color peak signal-to-noise ratio; 컬러 피크 신호 대 잡음비) 및 FSIMc(feature similarity index measure for color image)측면에서 비교하면 각각 다음의 표 1 및 2와 같다.
표 1을 참고하면, 총 18개의 영상 중 13개의 영상에서 본 발명의 실시예에 따른 방법이 가장 높은 CPSNR을 얻은 것을 확인할 수 있다. MDWI N 의 결과와 비교하더라도 모든 테스트 영상에 있어서 평균적으로 0.81dB 만큼 개선된 결과를 나타내며, 보간 이후에 정제 단계를 더 수행하는 MDWI와 비교하면 본 발명의 실시예는 후처리를 하지 않으면서도 평균 0.4dB 만큼 높은 CPSNR을 갖는다. 또한 DLMMSE, LDI-NAT 및 컬러 평면끼리 서로를 가이드로 삼아 컬러 프레인을 추정하는 MLRI 와 비교하면 평균적으로 각각 2.36, 0.58, 0.23 dB 만큼 개선된 성능을 보인다.
다음의 표 2는 FSIMc 값을 나타내며, FSIMc 는 영상 품질 평가 기준으로서 사람에 대하여 테스트할 때와 비교하여 매우 높은 일치도를 갖는다.
표 2를 참고하면, 본 발명의 실시예에 따른 디모자이킹 방법이 가장 좋은 성능을 나타냄을 확인할 수 있으며, MDWI 와 비교하여 FSIMc 가 평균 0.0002 만큼 개선되었다.
도 6, 표 1 및 2 를 참고하면, 영상 품질뿐만 아니라 CPSNR 및 FSIMc 의 측면에서도 본 발명의 디모자이킹 방법이 종래의 방법보다 개선된 방법임을 확인할 수 있다.
본 발명의 실시예에 따른 방법의 연산 복잡도는 O(N) 이며, 이는 실시간 적용에 적합하며, 평균적으로 약 0.36초에 하나의 영상을 처리할 수 있다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
Claims (9)
- 베이어 영상으로부터 G(녹색) 평면을 복원하는 단계; 및
복원된 상기 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 및 B(청색) 평면 중 적어도 하나를 추정하는 단계를 포함하고,
상기 R 평면 및 B 평면 중 적어도 하나를 추정하는 단계는,
상기 R 평면 및 B 평면 중 어느 하나를 제 1 평면으로 정의하고 다른 하나를 제 2 평면으로 정의할 때, 복원된 상기 G 평면을 기초로 상기 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성하는 제 1 단계;
상기 베이어 영상의 제 1 평면에 대응하는 컬러 성분 위치에서의 본래(original)값과 상기 선추정값 사이의 잔차(residual)를 계산하는 제 2 단계;
상기 제 2 단계에서 계산된 잔차를 이용하여 상기 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간하는 제 3 단계; 및
상기 제 1 단계에서 생성한 제 1 평면에 대한 선추정값과 상기 제 2 단계 및 제 3 단계에서 얻은 잔차를 합산함으로써 상기 제 1 평면을 얻는 제 4 단계를 포함하는 베이어 영상의 디모자이킹(demosaicking) 방법. - 삭제
- 삭제
- 베이어 영상으로부터 G(녹색) 평면을 복원하는 G 평면 복원부; 및
상기 G 평면 복원부에서 복원된 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 및 B(청색) 평면 중 적어도 하나를 추정하는 R/B 평면 추정부를 포함하고,
상기 R/B 평면 추정부는,
상기 R 평면 및 B 평면 중 어느 하나를 제 1 평면으로 정의하고 다른 하나를 제 2 평면으로 정의할 때, 복원된 상기 G 평면을 기초로 상기 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성하는 선추정값 생성부;
상기 베이어 영상의 제 1 평면에 대응하는 컬러 성분 위치에서의 본래(original)값과 상기 선추정값 생성부에서 생성한 선추정값 사이의 잔차(residual)를 계산하는 잔차 계산부;
상기 잔차 계산부에서 계산된 잔차를 이용하여 상기 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간하는 잔차 보간부; 및
상기 선추정값 생성부에서 생성한 제 1 평면에 대한 선추정값과 상기 잔차 계산부 및 상기 잔차 보간부에서 얻은 잔차를 합산함으로써 상기 제 1 평면을 얻는 제 1 평면 획득부를 포함하는 베이어 영상 디모자이킹 장치. - 삭제
- 청구항 1, 3, 4, 및 5 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150156030A KR101700928B1 (ko) | 2015-11-06 | 2015-11-06 | 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150156030A KR101700928B1 (ko) | 2015-11-06 | 2015-11-06 | 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101700928B1 true KR101700928B1 (ko) | 2017-02-01 |
Family
ID=58109285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150156030A KR101700928B1 (ko) | 2015-11-06 | 2015-11-06 | 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101700928B1 (ko) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101907451B1 (ko) | 2017-05-19 | 2018-10-12 | 인천대학교 산학협력단 | 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법 |
KR20190081462A (ko) * | 2017-12-29 | 2019-07-09 | 인천대학교 산학협력단 | 양방향 필터링 및 방향성 차이값을 이용한 베이어 디모자이크 방법 |
KR102055411B1 (ko) * | 2018-09-18 | 2019-12-12 | 인하대학교 산학협력단 | 적응적 기준 범위 선택에 따른 디모자이킹 방법 |
CN112805744A (zh) * | 2019-07-05 | 2021-05-14 | 百度时代网络技术(北京)有限公司 | 用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法 |
CN113436075A (zh) * | 2021-07-14 | 2021-09-24 | 贝壳找房(北京)科技有限公司 | 图像去马赛克方法、装置以及电子设备、介质 |
US11263724B2 (en) | 2019-10-02 | 2022-03-01 | Hanwha Techwin Co., Ltd. | Device for interpolating colors and method thereof |
CN114615393A (zh) * | 2020-12-09 | 2022-06-10 | 爱思开海力士有限公司 | 图像信号处理器和图像处理系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012239038A (ja) * | 2011-05-11 | 2012-12-06 | Tokyo Institute Of Technology | 画像処理システム |
JP2015122634A (ja) * | 2013-12-24 | 2015-07-02 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
-
2015
- 2015-11-06 KR KR1020150156030A patent/KR101700928B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012239038A (ja) * | 2011-05-11 | 2012-12-06 | Tokyo Institute Of Technology | 画像処理システム |
JP2015122634A (ja) * | 2013-12-24 | 2015-07-02 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
Non-Patent Citations (2)
Title |
---|
Multispectral demosaicking using guided filter * |
X. Chen, G. Jeon, J. Jeong, and L. He, "Multi-derectional weighted interpolation and refinement method for bayer pattern cfa demosaicking," IEEE Trans. Circuits Syst. Video Technol., 2014, DOI:10.1109/TCSVT.2014.2313896. |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101907451B1 (ko) | 2017-05-19 | 2018-10-12 | 인천대학교 산학협력단 | 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법 |
KR20190081462A (ko) * | 2017-12-29 | 2019-07-09 | 인천대학교 산학협력단 | 양방향 필터링 및 방향성 차이값을 이용한 베이어 디모자이크 방법 |
KR102050352B1 (ko) | 2017-12-29 | 2019-12-02 | 인천대학교 산학협력단 | 양방향 필터링 및 방향성 차이값을 이용한 베이어 디모자이크 방법 |
KR102055411B1 (ko) * | 2018-09-18 | 2019-12-12 | 인하대학교 산학협력단 | 적응적 기준 범위 선택에 따른 디모자이킹 방법 |
CN112805744A (zh) * | 2019-07-05 | 2021-05-14 | 百度时代网络技术(北京)有限公司 | 用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法 |
CN112805744B (zh) * | 2019-07-05 | 2024-04-09 | 百度时代网络技术(北京)有限公司 | 用于对多光谱图像去马赛克的系统和方法 |
US11263724B2 (en) | 2019-10-02 | 2022-03-01 | Hanwha Techwin Co., Ltd. | Device for interpolating colors and method thereof |
CN114615393A (zh) * | 2020-12-09 | 2022-06-10 | 爱思开海力士有限公司 | 图像信号处理器和图像处理系统 |
CN113436075A (zh) * | 2021-07-14 | 2021-09-24 | 贝壳找房(北京)科技有限公司 | 图像去马赛克方法、装置以及电子设备、介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101700928B1 (ko) | 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 | |
CN103369209B (zh) | 视频降噪装置及方法 | |
US6285804B1 (en) | Resolution improvement from multiple images of a scene containing motion at fractional pixel values | |
CN101925922B (zh) | 内插系统和方法 | |
Wu et al. | Bayer demosaicking with polynomial interpolation | |
Chen et al. | Multidirectional weighted interpolation and refinement method for Bayer pattern CFA demosaicking | |
KR101633397B1 (ko) | 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템 | |
CN103595981B (zh) | 基于非局部低秩的色彩滤波阵列图像去马赛克方法 | |
CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
Kim et al. | Four-direction residual interpolation for demosaicking | |
KR102055411B1 (ko) | 적응적 기준 범위 선택에 따른 디모자이킹 방법 | |
JP2012004787A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
Jaiswal et al. | Exploitation of inter-color correlation for color image demosaicking | |
KR20100084458A (ko) | 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치 | |
WO2015119574A1 (en) | Methods and systems for demosaicing an image | |
KR101692747B1 (ko) | 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법 | |
WO2008086037A2 (en) | Color filter array interpolation | |
KR101907451B1 (ko) | 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법 | |
KR102119138B1 (ko) | 카메라를 위한 베이지안 기반 영상 복원 방법 | |
Gevrekci et al. | POCS-based restoration of Bayer-sampled image sequences | |
Safna Asiq et al. | Colour filter array demosaicking: a brief survey | |
KR101780726B1 (ko) | 앤티-에일리어싱 fir 필터에 기반한 디모자이킹 방법 | |
Wang et al. | Image demosaicing by non-local similarity and local correlation | |
KR101803021B1 (ko) | 테일러 급수 및 적응적 가중치 선택에 기반한 디모자이킹 방법 | |
Jiang et al. | Improved directional weighted interpolation method combination with anti-aliasing FIR filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191223 Year of fee payment: 4 |