Nothing Special   »   [go: up one dir, main page]

KR101660447B1 - Multi directional weighted interpolation method for Bayer pattern CFA demosaicking - Google Patents

Multi directional weighted interpolation method for Bayer pattern CFA demosaicking Download PDF

Info

Publication number
KR101660447B1
KR101660447B1 KR1020150042696A KR20150042696A KR101660447B1 KR 101660447 B1 KR101660447 B1 KR 101660447B1 KR 1020150042696 A KR1020150042696 A KR 1020150042696A KR 20150042696 A KR20150042696 A KR 20150042696A KR 101660447 B1 KR101660447 B1 KR 101660447B1
Authority
KR
South Korea
Prior art keywords
quot
green
blue
color
red
Prior art date
Application number
KR1020150042696A
Other languages
Korean (ko)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020150042696A priority Critical patent/KR101660447B1/en
Application granted granted Critical
Publication of KR101660447B1 publication Critical patent/KR101660447B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H04N9/04

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 베이어 패턴 컬러 필터 어레이(CFA-Color Filter Array)의 디모자이킹을 위한 다 방향 보간 방법에 관한 것으로, 본 발명에 따른 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법은 (a) 그린 보간부를 이용하여, 수직, 수평, 대각선 방향을 포함한 8개 방향에서 누락된 그린 요소를 보간하는 단계, (b) 레드 블루 보간부를 이용하여, 보간된 그린 면의 상관관계로 레드 및 블루 요소를 보간하는 단계 및 (c) 후 처리부를 이용하여, 컬러 값 차를 이용하여, 그린 면, 레드 면, 블루 면을 개선하는 단계를 포함하는 것을 기술적 특징으로 한다.The present invention relates to a multidirectional interpolation method for demosaicing a Bayer pattern color filter array (CFA-Color Filter Array), and a multi-directional weighted interpolation method for Bayer pattern color filter array demosaicing according to the present invention a) interpolating missing green elements in eight directions including vertical, horizontal, and diagonal directions using a green interpolation part, and (b) using a red-blue interpolation part, And (c) a step of improving the green surface, the red surface, and the blue surface by using the color value difference using the post-processing unit.

Description

베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법 {Multi directional weighted interpolation method for Bayer pattern CFA demosaicking}[0001] The present invention relates to a multi-directional weighted interpolation method for Bayer pattern color filter array demosaicing,

본 발명은 컬러 필터 어레이 보간을 위한 다 방향 가중 보간 알고리즘에 관한 것으로 특히, 베이어 패턴 컬러 필터 어레이(CFA-Color Filter Array)의 디모자이킹을 위한 다 방향 보간 방법에 관한 것이다.
The present invention relates to a multi-directional weighted interpolation algorithm for color filter array interpolation, and more particularly to a multi-directional interpolation method for demosaicing a Bayer pattern color filter array (CFA).

비용의 이유로, 현재 이용 가능한 디지털 스틸 칼라 카메라들이 칼라 이미지를 캡처할 때, 각각의 픽셀에 대해, 세 개의 칼라 채널들의 칼라 정보 중, 단지 한 부분만이 하나의 CCD(charge-coupled device) 센서에 의해 캡처된다. 일반적으로, RGB의 양을 측정하는 단 하나의 8bit 숫자가 픽셀에서 캡처된다. 이 센서는, 카메라에 있는 각각의 픽셀이 단지 하나의 칼라 채널로 캡처되는, 컬러 필터 어레이(color filter array: CFA)에 포함된다. 이것은 각각의 픽셀에 대해 단지 하나의 칼라 요소가 이용가능하고, 두 개의 결여 컬러들은 인접 픽셀들로부터 추정되어야 하기 때문이다. 이 과정은 CFC 보간 방법 또는 디모자이킹(demosaiking)이라 불린다.[1],[2] 도 1은 가장 흔한 CFA 방식인, Bayer 패턴을 보여준다.For reasons of cost, when currently available digital still color cameras capture a color image, for each pixel, only one of the color information of the three color channels is sent to one CCD (charge-coupled device) sensor ≪ / RTI > In general, only one 8-bit number that measures the amount of RGB is captured at the pixel. This sensor is included in a color filter array (CFA), where each pixel in the camera is captured in only one color channel. This is because only one color element is available for each pixel, and two missing colors must be estimated from adjacent pixels. This process is called the CFC interpolation method or demosaiking. [1], [2] Figure 1 shows the Bayer pattern, the most common CFA scheme.

컬러 재구성 품질은 CFA 견본과 선택된 디모자이킹 알고리즘에 의존한다. Bayer 패턴을 기반으로, 다양한 디모자이킹 알고리즘들이 제안되어 왔다. 종래 기술들은 공간 범위나 주파수 범위에서의 그린과 레드/블루 평면 사이의 색상 차이점을 이용하여 풀 칼라 이미지를 얻는 방식을 제안했다. 이들 방식들의 이점은 매끄러운 영역에서 효율적이라는 것이다. 하지만, 이 방식들은, 보간 방향이 정확히 추정되지 못한다면, 재생성된 고르지 못한 에지와 텍스처 세부 표현들에서의 많고 적은 잡음으로 악화된다.
The color reconstruction quality depends on the CFA sample and the selected demosaicing algorithm. Based on the Bayer pattern, various demosaicing algorithms have been proposed. The prior art has proposed a method of obtaining a full color image using the color difference between the green and red / blue planes in the spatial range or the frequency range. The advantage of these schemes is that they are efficient in the smooth domain. However, these schemes are aggravated by the reproduced, uneven edges and the much less noise in the texture details, if the interpolation direction is not accurately estimated.

[1] B. E. Bayer, "Color imaging array," U.S. Patent 3 971 065, July 1976.[1] B. E. Bayer, "Color imaging array," Patent 3 971 065, July 1976. [2] H. J. Trussell and R. E. Hartwig, "Mathematics for demosaicking," IEEE Trans. Image Processing, vol. 11, no. 4, pp. 485-492, Apr. 2002.[2] H. J. Trussell and R. E. Hartwig, "Mathematics for demosaicking," IEEE Trans. Image Processing, vol. 11, no. 4, pp. 485-492, Apr. 2002. [3] L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. Image Processing, vol. 14, no. 12, pp. 2167-2178, Dec. 2005.[3] L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. Image Processing, vol. 14, no. 12, pp. 2167-2178, Dec. 2005. [4] I. Pekkucuksen and Y. Altunbasak, "Edge strength filter based color filter array interpolation," IEEE Trans. Image Processing, vol. 21, no. 1, pp. 393-397, Jan. 2012.[4] I. Pekkucuksen and Y. Altunbasak, "Edge strength filter based color filter array interpolation," IEEE Trans. Image Processing, vol. 21, no. 1, pp. 393-397, Jan. 2012. [5] D. Paliy, V. Katkovnik, R. Bilcu, S. Alenius, and K. Egiazarian, "Spatially adaptive color filter array interpolation for noiseless and noisy data," Int. J. Imaging Sys. Tech., Sp. Iss. Appl. Color Image Process., vol. 17, no. 3, pp. 105-122, Oct 2007.[5] D. Paliy, V. Katkovnik, R. Bilcu, S. Alenius, and K. Egiazarian, "Spatially adaptive color filter array interpolation for noiseless and noisy data," Int. J. Imaging Sys. Tech., Sp. Iss. Appl. Color Image Process., Vol. 17, no. 3, pp. 105-122, Oct 2007. [6] L. Zhang, A. Wu, A. Buades, and X. Li, "Color demosaicking by local directional interpolation and non-local adaptive thresholding," Journal of Electronic Imaging, vol. 20, no. 2, pp. 023016, 2011.[6] L. Zhang, A. Wu, A. Buades, and X. Li, "Color demosaicking by local directional interpolation and non-local adaptive thresholding," Journal of Electronic Imaging, vol. 20, no. 2, pp. 023016, 2011. [7] W. Lu and Y. Tan, "Color filter array demosaicking: new method and performance measures," IEEE Trans. Image Processing, vol. 12, no. 10, pp. 1194-1210, 2003.[7] W. Lu and Y. Tan, "Color filter array demosaicking: new method and performance measures," IEEE Trans. Image Processing, vol. 12, no. 10, pp. 1194-1210, 2003. [8] A. Buades, B. Coll, J.-M. Morel, and C. Sbert, "Self-similarity driven color demosaicking," IEEE Trans. Image Processing, vol. 18, no. 6, pp. 1192-1202, June 2009.[8] A. Buades, B. Coll, J.-M. Morel, and C. Sbert, "Self-similarity driven color demosaicking," IEEE Trans. Image Processing, vol. 18, no. 6, pp. 1192-1202, June 2009. [9] C. Hu, L. Cheng, and Y. M. Lu, "Graph-based regularization for color image demosaicking," in Proc. IEEE ICIP2012, 2012.[9] C. Hu, L. Cheng, and Y. M. Lu, "Graph-based regularization for color image demosaicking," in Proc. IEEE ICIP2012, 2012. [10] N. X. Lian, L. Chang, Y. -P. Tan, and V. Zagorodnov, "Adaptive filtering for color filter array demosaicking," IEEE Trans. Image Processing, vol. 16, no. 10, pp. 2515-2525, Oct. 2007.[10] N. X. Lian, L. Chang, Y. -P. Tan, and V. Zagorodnov, "Adaptive filtering for color filter array demosaicking," IEEE Trans. Image Processing, vol. 16, no. 10, pp. 2515-2525, Oct. 2007. [11] B. Leung, G. Jeon, and E. Dubois, "Least-squares luma-chroma demultiplexing algorithm for Bayer demosaicking," IEEE Trans. Image Processing, vol. 20, no. 7, pp. 1885-1894, Jul. 2011.[11] B. Leung, G. Jeon, and E. Dubois, "Least-squares luma-chroma demultiplexing algorithm for Bayer demosaicking," IEEE Trans. Image Processing, vol. 20, no. 7, pp. 1885-1894, Jul. 2011. [12] Y. Fang, "DAC spectrum of binary sources with equally-likely symbols," IEEE Trans. Communications, vol. 61, no. 4, pp. 1584-1594, Apr. 2013.[12] Y. Fang, "DAC spectrum of binary sources with equally-likely symbols," IEEE Trans. Communications, vol. 61, no. 4, pp. 1584-1594, Apr. 2013. [13] Y. Fang, "LDPC-based lossless compression of nonstationary binary sources using sliding-window belief propagation," IEEE Trans. Communications, vol. 60, no. 11, pp. 3161-3166, Nov. 2012.[13] Y. Fang, "LDPC-based lossless compression of nonstationary binary sources using sliding-window belief propagation," IEEE Trans. Communications, vol. 60, no. 11, pp. 3161-3166, Nov. 2012. [14] Y. Fang, "Joint source-channel estimation using accumulated LDPC syndrome," IEEE Communications Letters, vol. 14, no. 11, pp. 1044-1046, Nov. 2010.[14] Y. Fang, "Joint source-channel estimation using accumulated LDPC syndrome," IEEE Communications Letters, vol. 14, no. 11, pp. 1044-1046, Nov. 2010. [15] Y. Fang, "EREC-based length coding of variable-length data blocks," IEEE Trans. Circuits and Systems for Video Technology, vol. 20, no. 10, pp. 1358-1366, Oct. 2010.[15] Y. Fang, "EREC-based length coding of variable-length data blocks," IEEE Trans. Circuits and Systems for Video Technology, vol. 20, no. 10, pp. 1358-1366, Oct. 2010. [16] Y. Fang, "Distribution of distributed arithmetic codewords for equiprobable binary sources," IEEE Signal Processing Letters, vol. 16, no. 12, pp. 1079-1082, Dec. 2009.[16] Y. Fang, "Distribution of distributed arithmetic codewords for equiprobable binary sources," IEEE Signal Processing Letters, vol. 16, no. 12, pp. 1079-1082, Dec. 2009. [17] Y. Fang, "Crossover probability estimation using mean-intrinsic-LLR of LDPC syndrome," IEEE Communications Letters, vol. 13, no. 9, pp. 679-681, Sep. 2009.[17] Y. Fang, "Crossover probability estimation using mean-intrinsic-LLR of LDPC syndrome," IEEE Communications Letters, vol. 13, no. 9, pp. 679-681, Sep. 2009. [18] G. Jeon, M. Anisetti, V. Bellandi, and J. Jeong, "Fuzzy rule-based[18] G. Jeon, M. Anisetti, V. Bellandi, and J. Jeong, "Fuzzy rule-based edge-restoration algorithm in HDTV interlaced sequences," IEEE Trans. Consumer Electronics, vol. 53, no. 2, pp. 725-731, May 2007.edge-restoration algorithm in HDTV interlaced sequences, "IEEE Trans. Consumer Electronics, vol. 53, No. 2, pp. 725-731, May 2007. [19] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Rough sets-assisted subfield optimization for alternating current plasma display panel," IEEE Trans. Consumer Electronics, vol. 53, no. 3, pp. 825-832, Aug. 2007.[19] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Rough set-assisted subfield optimization for alternating current plasma display panel," IEEE Trans. Consumer Electronics, vol. 53, no. 3, pp. 825-832, Aug. 2007. [20] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Fuzzy weighted approach to improve visual quality of edge-based filtering," IEEE Trans. Consumer Electronics, vol. 53, no. 4, pp. 1661-1667, Nov. 2007.[20] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Fuzzy weighted approach to improve edge-based filtering," IEEE Trans. Consumer Electronics, vol. 53, no. 4, pp. 1661-1667, Nov. 2007. [21] G. Jeon, M. Anisetti, D. Kim, V. Bellandi, E. Damiani, and J. Jeong, "Fuzzy rough sets hybrid scheme for motion and scene complexity adaptive deinterlacing," Image and Vision Computing, vol. 27, no. 4, pp. 425-436, March 2009.[21] G. Jeon, M. Anisetti, D. Kim, V. Bellandi, E. Damiani, and J. Jeong, "Fuzzy rough sets hybrid scheme for motion and scene complexity adaptive deinterlacing," Image and Vision Computing, vol. 27, no. 4, pp. 425-436, March 2009. [22] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Designing of a type-2 fuzzy logic filter for improving edge-preserving restoration of interlaced-to-progressive conversion," Information Sciences, vol. 179, no. 13, pp. 2194-2207, June 2009.[22] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Designing of a Type-2 Fuzzy Logic Filter for Improved Edge-preserving Restoration of Interlaced-to-Progressive Conversion" Sciences, vol. 179, no. 13, pp. 2194-2207, June 2009. [23] G. Jeon, M. Anisetti, and S. Kang, "A rank-ordered marginal filter for deinterlacing," Sensors, vol. 13, no. 3, pp. 3056-3065, March 2013.[23] G. Jeon, M. Anisetti, and S. Kang, "A rank-ordered marginal filter for deinterlacing," Sensors, vol. 13, no. 3, pp. 3056-3065, March 2013. [24] G. Jeon, M. Anisetti, J. Lee, V. Bellandi, E. Damiani, and J. Jeong, "Concept of linguistic variable-based fuzzy ensemble approach: application to interlaced HDTV sequences," IEEE Trans. Fuzzy Systems, vol. 17, no. 6, pp. 1245-1258, Dec. 2009.[24] G. Jeon, M. Anisetti, J. Lee, V. Bellandi, E. Damiani, and J. Jeong, "Concept of linguistic variable-based fuzzy ensemble approach: application to interlaced HDTV sequences," IEEE Trans. Fuzzy Systems, vol. 17, no. 6, pp. 1245-1258, Dec. 2009. [25] G. Jeon, S.J. Park, Y. Fang, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Specification of efficient block matching scheme for motion estimation in video compression," Optical Engineering, vol. 48, no. 12, Dec. 2009, pp. 127005. [25] G. Jeon, S.J. Park, Y. Fang, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Specification of Efficient Block Matching Scheme for Motion Estimation in Video Compression," Optical Engineering, vol. 48, no. 12, Dec. 2009, pp. 127005. [26] G. Jeon, M.Y. Jung, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Specification of the geometric regularity model for fuzzy if-then rulebased deinterlacing," IEEE/OSA Journal of Display Technology, vol. 6, no. 6, pp. 235-243, June 2010.[26] G. Jeon, M.Y. Jung, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Specification of the geometric regularity model for fuzzy if-then rulebased deinterlacing," IEEE / OSA Journal of Display Technology, vol. 6, no. 6, pp. 235-243, June 2010. [27] K. H. Chung and Y. H. Chan, "Color demosaicing using variance of color differences," IEEE Trans. Image Processing, vol. 15, no. 10, pp. 2944-2955, Oct. 2006.[27] K. H. Chung and Y. H. Chan, "Color demosaicing using variance of color differences," IEEE Trans. Image Processing, vol. 15, no. 10, pp. 2944-2955, Oct. 2006. [28] O. Werner, "Drift analysis and drift reduction for multi-resolution hybrid video coding," Signal Processing: Image Communication, vol. 8, no. 5, pp. 387-409, July 1996.[28] O. Werner, "Drift analysis and drift reduction for multi-resolution hybrid video coding," Signal Processing: Image Communication, vol. 8, no. 5, pp. 387-409, July 1996. [29] H. Kimata and Y. Yashima, "3D motion vector coding with block base adaptive interpolation filter on H.264," in Proc. IEEE ICASSP2003, vol. 3, 2003, pp. 633-636.[29] H. Kimata and Y. Yashima, "3D motion vector coding with block base adaptive interpolation filter on H.264, in Proc. IEEE ICASSP 2003, vol. 3, 2003, pp. 633-636. [30] X. Chen, G. Jeon, and J. Jeong, "A gradient inverse weighted filtering approach for video deinterlacing," IEICE Trans. Communications, vol. E95-B, no. 12, pp. 3933-3936, Dec. 2012.[30] X. Chen, G. Jeon, and J. Jeong, "A gradient inverse weighted filtering approach for video deinterlacing," IEICE Trans. Communications, vol. E95-B, no. 12, pp. 3933-3936, Dec. 2012. [31] Kodak color image dataset, http://r0k.us/graphics/kodak/[31] Kodak color image dataset, http://r0k.us/graphics/kodak/ [32] X. Li, B. Gunturk, and L. Zhang, "Image demosaicing: a systematic survey," in Proc. of SPIE, vol. 6822, pp. 68221J, 2008.[32] X. Li, B. Gunturk, and L. Zhang, "Image demosaicing: a systematic survey," in Proc. of SPIE, vol. 6822, pp. 68221J, 2008. [33] X. Zhang and B. A. Wandell. "A spatial extension of cielab for digital color image reproduction," Journal of Society for Informaiton Display, vol. 5, no. 1, pp. 61-63, March 1997.[33] X. Zhang and B. A. Wandell. "A spatial extension of cielab for digital color image reproduction," Journal of Society for Informaiton Display, vol. 5, no. 1, pp. 61-63, March 1997. [34] L. Zhang, L. Zhang, X. Mou, and D. Zhang, "FSIM: a feature similarity index for image quality assessment," IEEE Trans. Image Processing, vol. 20, no. 8, pp. 2378-2386, 2011.[34] L. Zhang, L. Zhang, X. Mou, and D. Zhang, "FSIM: a Feature Similarity Index for Image Quality Assessment," IEEE Trans. Image Processing, vol. 20, no. 8, pp. 2378-2386, 2011. [35] Y. Yun, J. Bae, and J. Kim, "Multidirectional edge-directed interpolation with region division for natural images," Opt. Eng., vol. 51, no. 4, pp. 040503, April 2012.[35] Y. Yun, J. Bae, and J. Kim, "Multidirectional edge-directed interpolation with region division for natural images, Opt. Eng., Vol. 51, no. 4, pp. 040503, April 2012. [36] X. Chen, G. Jeon, and J. Jeong, "Voting-based directional interpolation method and its application to still color image demosaicking," accetped in IEEE Trans. Circuits and Systems for Video Technology, DOI: 10.1109/TCSVT.2013.2255421.[36] X. Chen, G. Jeon, and J. Jeong, "Voting-based directional interpolation method and its application to still color image demosaicking," IEEE Trans. Circuits and Systems for Video Technology, DOI: 10.1109 / TCSVT.2013.2255421.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은 컬러 면 간의 컬러 상관관계를 기반으로 수평 및 수직 방향 뿐만 아니라 대각선 방향의 누락된 그린 요소를 추정하는 방식으로 보간 성능을 개선하고, 안티-앨리어싱 RIR 필터로 보간 잡음을 감소시킬 수 있는 보간 방법 및 장치를 제공하는데 있다.
It is an object of the present invention to provide a method of estimating missing green elements in diagonal directions as well as in horizontal and vertical directions based on the color correlation between color surfaces, To improve performance and to reduce interpolation noise with an anti-aliasing RIR filter.

본 발명에 따른 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법은 (a) 그린 보간부를 이용하여, 수직, 수평, 대각선 방향을 포함한 8개 방향에서 누락된 그린 요소를 보간하는 단계, (b) 레드 블루 보간부를 이용하여, 보간된 그린 면의 상관관계로 레드 및 블루 요소를 보간하는 단계 및 (c) 후 처리부를 이용하여, 컬러 값 차를 이용하여, 그린 면, 레드 면, 블루 면을 개선하는 단계를 포함하는 것을 특징으로 한다.
A multi-directional weighted interpolation method for demodulating a Bayer pattern color filter array according to the present invention comprises the steps of (a) interpolating missing green elements in eight directions including vertical, horizontal and diagonal directions using a green interpolation part (b) interpolating the red and blue elements with a correlation of the interpolated green planes using the red-blue interpolation unit, and (c) using the post-processing unit, , And improving the blue surface.

이상에서 설명한 바와 같이, 본 발명에 따른 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법은 컬러 면 간의 컬러 상관관계를 기반으로 수평 및 수직 방향뿐만 아니라 대각선 방향의 누락된 그린 요소를 추정하는 방식을 적용하여, 보간 성능을 개선할 수 있으며, 안티-앨리어싱 RIR 필터로 보간 잡음을 감소시킬 수 있는 기술적 효과가 있다.
As described above, the multi-directionally weighted interpolation method for the Bayer pattern color filter array demosaicing according to the present invention estimates the missing green elements in the diagonal direction as well as the horizontal and vertical directions based on the color correlation between color surfaces The interpolation performance can be improved, and there is a technical effect that the interpolation noise can be reduced by the anti-aliasing RIR filter.

도 1은 일반적인 9 × 9 베이어 CFA 블록을 나타내는 도면.
도 2는 블루 픽셀 위치에서 4개의 수직 수평 방향(north(N), south(S), east(E), west(W))에 따른 중앙의 누락된 그린 요소의 사전 보간(pre-interpolation)을 나타내는 도면.
도 3은 블루 픽셀 위치에서 4개의 대각선 방향(northeast(NE), southeast(SE), northwest(NE), southwest(SW))에 따른 중앙의 누락된 그린 요소의 사전 보간(pre-interpolation)을 나타내는 도면.
도 4는 필터의 주파수 반응을 나타내는 도면. (a) 평균필터, (b) 8-탭 고정 계수 Wiener 보간 필터.
도 5는 CFA의 그린(G) 샘플링 위치에서 누락된 레드(R)와 블루(B) 요소를 보간하기 위해 도 1을 분할한 서브 이미지들. (a) 레드(R) 샘플링 위치에서 누락된 블루(B) 요소, (b) 블루(B) 샘플링 위치에서 누락된 레드(R) 요소, (c) 그린(G) 샘플링 위치에서 누락된 레드(R) 요소, (d) 그린(G) 샘플링 위치에서 누락된 블루(B) 요소.
도 6은 본 발명에 따른 후 처리 단계에서 사용된 5×5 컬러 차 면(color difference plane)을 나타내는 도면. (a) 그린과 레드 간의 차(DGR), (b) 그린과 블루 간의 차(DGB), (c) 레드와 그린 간의 차(DRG), (d) 블루와 그린 간의 차(DBG).
도 7은 본 발명에 따른 후 처리 단계에서 4개의 방향에 따른 5×5 컬러 차 면에서 중앙 값인 DGR을 개선하기 위해 사용된 인접한 컬러 차 값.
도 8은 실험에 사용된 분할된 McMaster(McM)의 서브 이미지. 위에서 아래와 왼쪽에서 오른쪽으로 배치된 서브 이미지들은 #1에서 #19로 라벨링됨.
도 9은 (a) #5 원본 이미지 및 이를 다음과 같은 방법으로 디모자이킹한 결과. (b) DWI, (c) MEDI, (d) ESF, (e) SSD, (f) LPA-ICI, (g) LDI-NAT, (h) VDI, (i) MDWIN 및 (j) MDWI.
도 10은 (a) #13 원본 이미지 및 이를 다음과 같은 방법으로 디모자이킹한 결과. (b) DWI, (c) MEDI, (d) ESF, (e) SSD, (f) LPA-ICI, (g) LDI-NAT, (h) VDI, (i) MDWIN 및 (j) MDWI.
도 11은 (a) #17 원본 이미지 및 이를 다음과 같은 방법으로 디모자이킹한 결과. (b) DWI, (c) MEDI, (d) ESF, (e) SSD, (f) LPA-ICI, (g) LDI-NAT, (h) VDI, (i) MDWIN 및 (j) MDWI.
Brief Description of the Drawings Figure 1 shows a typical 9x9 Bayer CFA block.
Figure 2 shows the pre-interpolation of missing center green elements along the four vertical and horizontal directions (north (N), south (S), east (E), west Fig.
Figure 3 shows the pre-interpolation of the missing green elements in the center according to four diagonal directions (northeast (NE), southeast (SE), northwest (NE) drawing.
4 shows the frequency response of a filter. (a) an average filter, and (b) an 8-tap fixed-coefficient Wiener interpolation filter.
Figure 5 shows sub-images in which Figure 1 is divided to interpolate the missing red (R) and blue (B) elements at the green (G) sampling location of the CFA. (a) missing red (R) elements at the red (R) sampling location, (b) red (R) elements missing at the blue (B) sampling location, R) element, (d) Green (G) Blue (B) element missing at the sampling location.
Figure 6 shows the 5x5 color difference plane used in the post-processing step according to the invention. (a) green and the difference between the red (D GR), (b) green and the difference between the blue (D GB), (c) the difference between red and green (D RG), (d) difference (D BG between the blue and green ).
Fig. 7 is an adjacent color difference value used to improve the median D GR in the 5x5 color difference plane according to the four directions in the post-processing step according to the present invention.
Figure 8 is a sub-image of the segmented McMaster (McM) used in the experiment. Sub-images arranged from top to bottom and from left to right are labeled # 1 to # 19.
Figure 9 shows (a) the # 5 original image and the result of demosaicing it in the following manner: (b) DWI, (c) MEDI, (d) ESF, (e) SSD, (f) LPA-ICI, (g) LDI-NAT, (h) VDI, (i) MDWI N and (j) MDWI.
Figure 10 shows (a) the # 13 original image and the result of demosaicing it in the following manner: (b) DWI, (c) MEDI, (d) ESF, (e) SSD, (f) LPA-ICI, (g) LDI-NAT, (h) VDI, (i) MDWI N and (j) MDWI.
11 shows (a) the original image of # 17 and the result of demosaicing it in the following manner. (b) DWI, (c) MEDI, (d) ESF, (e) SSD, (f) LPA-ICI, (g) LDI-NAT, (h) VDI, (i) MDWI N and (j) MDWI.

이하, 본 발명에 따른 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
The multi-directional weighted interpolation method for demosaicing a Bayer pattern color filter array according to the present invention will now be described in detail.

도 1의 베이어 CFA 패턴으로부터 그린(G) 면이 레드(R) 또는 블루(B) 면 샘플 보다 두 배 많은 것을 직관적으로 관찰할 수 있다. 따라서 그린 면은 보간에 있어서, 이미지의 공간 정보의 대부분을 보유한다. 게다가 휴먼 비주얼 시스템에 있어서, 그린 컬러에 가장 민감하다. 따라서 대부분의 종래 디모자이킹 방법에서 누락된 그린 컬러 요소는 이미지의 지각 품질에 큰 영향을 가지므로 사전에 보간된다. 그린 컬러 요소가 완전히 복구되면 그린 면은 채널로 스펙트럼 상관관계를 전적으로 사용하여, 추후 레드와 블루 면의 보간을 가이드 할 수 있다. 그러므로 본 발명에 따른 다 방향 가중 보간 방법(MDWI-Multi directional weighted interpolation method)은 그린 면의 보간 성능을 개선하는데 대부분 초점이 맞춰져 있다. It can be intuitively observed that the green (G) plane is twice as much as the red (R) or blue (B) plane sample from the Bayer CFA pattern of Fig. Thus, the green surface retains most of the spatial information of the image in interpolation. In addition, for human visual systems, it is most sensitive to green color. Thus, the missing green color elements in most conventional demosaicing methods are interpolated beforehand because they have a large impact on the perception quality of the image. Once the green color elements are fully recovered, the green side can use the spectral correlation entirely in the channel to guide the interpolation of the red and blue sides in the future. Therefore, the MDWI multi directional weighted interpolation method according to the present invention is mostly focused on improving the interpolation performance of the green surface.

본 발명은 종래 4 방향 가중 보간법(DWI-4 direction weighted interpolation method)[7]와 유사하지만 본 발명에 따른 보간 방법은 중앙의 누락 픽셀과 서로 다른 방향을 따라 인접한 픽셀이 가지는 가변적 공간적 상관관계를 가지는 추정을 기반으로 한다. 이러한 추정은 보간 방향을 따라 인접한 픽셀 간에 더 인접한 공간적 상관관계가 성립함을 쉽게 설명할 수 있으며, 방향에 의해 더 정확하게 추정된 누락 컬러 값을 얻을 수 있다. The present invention is similar to the DWI-4 direction weighted interpolation method [7], but the interpolation method according to the present invention has a variable spatial correlation of neighboring pixels along different directions from the central missing pixel Estimation based. This estimation can easily explain that a more spatial correlation is established between adjacent pixels along the interpolation direction, and a missing color value more accurately estimated by the direction can be obtained.

먼저, 본 발명의 첫 번째 특징은 컬러 면 간의 컬러 상관관계를 기반으로 한 수평 및 수직 방향뿐만 아니라 그린 면의 고정된 보간 방향을 이용한 대각선 방향의 누락된 그린 요소를 추정할 수 있다. 즉, 존재하는 그린 면은 도 3에 도시된 바와 같이 대각선을 따라 일관적이라는 관찰을 기반으로 하며, 중앙의 누락된 그린 요소는 기존의 그린 컬러 요소를 이용하여 대각선 방향을 따라 상관관계를 이용하여 추정될 수 있음을 알 수 있다. 중앙의 누락된 컬러 요소의 모든 8개 방향의 추정된 후에 다 방향 가중 보간 기술은 방향의 가변 상관관계에 따라 중앙의 누락된 컬러 요소를 보간하는데 사용한다.First, the first feature of the present invention is to estimate the missing green elements in the diagonal direction using the fixed interpolation direction of the green surface as well as the horizontal and vertical directions based on the color correlation between the color surfaces. That is, the existing green surface is based on observation that it is consistent along the diagonal line as shown in FIG. 3, and the missing green elements in the center are obtained by using the existing green color elements and using the correlation along the diagonal direction Can be estimated. The multi-directional weighted interpolation technique is used to interpolate the missing color elements in the center according to the directional variable correlation, after estimating all eight directions of the center missing color element.

본 발명의 두 번째 특징은 세 개의 초기 컬러 요소를 채워 재등록하는 것으로 효과적인 후 처리 절차를 제공하는데 있다. 이는 안티-엘리어싱 FIR 필터로 컬러 차이 평면에 실행된다. 보간 방법과 유사하게, 본 발명은 보간 잡음을 감소시키기 위해 색차 평면을 변경하는 방향 가중의 개선 방법 또한 사용한다.
A second aspect of the present invention is to provide an effective post-processing procedure by re-registering three initial color elements. This is done in the color difference plane with an anti-aliasing FIR filter. Similar to the interpolation method, the present invention also uses a method of improving the direction weighting to change the color difference plane to reduce interpolation noise.

본 발명에 따른 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법은 그린 보간부를 이용하여, 수직, 수평, 대각선 방향을 포함한 8개 방향에서 누락된 그린 요소를 보간하는 단계, (b) 레드 블루 보간부를 이용하여, 보간된 그린 면의 상관관계로 레드 및 블루 요소를 보간하는 단계 및 (c) 후 처리부를 이용하여, 컬러 값 차를 이용하여, 그린 면, 레드 면, 블루 면을 개선하는 단계를 포함하는 것을 특징으로 하며, 각 단계별로 상세 설명을 하면 다음과 같다.
A multi-directional weighted interpolation method for demoicing a Bayer pattern color filter array according to the present invention comprises the steps of interpolating a missing green element in eight directions including vertical, horizontal and diagonal directions using a green interpolation part, ) Interpolating the red and blue elements with the correlation of the interpolated green planes using the red-blue interpolation unit, and (c) using the post-processing unit, And a step of improving the quality of the image.

1. 누락된 그린(G) 요소의 보간 단계 1. Interpolation of Missing Green (G) Elements

본 발명에 있어서, 누락된 그린 요소는 베이어 CFA 패턴에 있어서 그린 면은 레드 및 블루 면 보다 더 많은 정보를 포함하므로 가장 먼저 보간되어야 한다. 도 1에 도시된 9 × 9 베이어 CFA 블록에서와 같이 B13 지점의 누락된 그린 요소

Figure 112015029941588-pat00001
는 8개 방향(N, S, W, E, NW, NE, SW, SE) 중에 가장 먼저 추정된다. 여기서, N, S, W, E 방향의 추정은 수학식 1과 같이 종래 DWI 기법과 동일하며, 도 2에 도시된 바와 같이 유사한 인접 픽셀을 갖는다.In the present invention, a missing green element has to be interpolated first because the green face in the Bayer CFA pattern contains more information than the red and blue faces. As in the 9x9 Bayer CFA block shown in Figure 1, the missing green elements at point B 13
Figure 112015029941588-pat00001
Is estimated first among eight directions (N, S, W, E, NW, NE, SW, SE). Here, the estimation of the N, S, W, and E directions is the same as that of the conventional DWI technique as shown in Equation 1, and has similar adjacent pixels as shown in FIG.

Figure 112015029941588-pat00002
Figure 112015029941588-pat00002

그리고 4개 방향의 더 신뢰할 수 있는 방향 기울기(gradient) 요소는 다음 수학식 2로 산출된다.And the more reliable direction gradient elements in the four directions are calculated by the following equation (2).

Figure 112015029941588-pat00003
Figure 112015029941588-pat00003

Figure 112015029941588-pat00004
Figure 112015029941588-pat00004

여기서 ε는 기울기가 제로가 되는 것을 방지하기 위한 스몰 긍정 요소이다. NW, NE, SW, SE 방향에 따른

Figure 112015029941588-pat00005
의 추정은 다음 관찰을 기반으로 한다. 베이어 패턴에 있어서 그린 면은 연속적으로 분포되며, 대각선 방향의 그린 인접 픽셀들의 상관관계는 중앙의 누락된 그린 요소로 추정하기 위해 사용될 수 있다. 여기서, 8-탭 고정 방향 보간 필터는 NW, NE, SW, SE 방향에 따라 중앙의 누락된 그린 요소
Figure 112015029941588-pat00006
를 근사화하는데 적용된다. 도 3에 도시된 바와 같이, 오리지널 인접 그린 픽셀의 4개 세트는
Figure 112015029941588-pat00007
를 추정하는데 사용된다. 이러한 4개의 세트는 다음 수학식 3으로 산출되며, 방향 정보와 대응된다. Here, epsilon is a small positive element for preventing the slope from becoming zero. NW, NE, SW, SE
Figure 112015029941588-pat00005
Is based on the following observations. In the Bayer pattern, the green planes are distributed continuously and the correlation of the green adjacent pixels in the diagonal direction can be used to estimate the missing green elements in the center. Here, the 8-tap fixed direction interpolation filter has a center missing green element according to the NW, NE, SW, SE directions
Figure 112015029941588-pat00006
Lt; / RTI > As shown in Figure 3, the four sets of original adjacent green pixels
Figure 112015029941588-pat00007
. These four sets are calculated by the following equation (3), and correspond to the direction information.

Figure 112015029941588-pat00008
Figure 112015029941588-pat00008

그리고 8-탭 고정 방향 보간 필터는 고정된 계수의 중앙의 누락된 그린 요소를 근사화하는데 적용된다. And the 8-tap fixed direction interpolation filter is applied to approximate the missing green element in the center of the fixed coefficient.

Figure 112015029941588-pat00009
Figure 112015029941588-pat00009

이러한 8-탭 고정 계수 Wiener 필터는 MPEG-4, H.264/AVC, HEVC의 업 샘플링(up-sampling)을 위해 비디오 코덱의 서브 픽셀을 보간하는데 주로 사용된다. 업 샘플링을 위해 Wiener 필터는 이상적인 안티 앨리어싱 필터로 알려져 있으며, 주파수 반응 형상은 도 4의 (b)에 도시된 바와 같이 직사각형상이고, 극심한 앨리어싱 없이 보간할 수 있는 이점이 있으며, 도 4의 (a)에 도시된 종래 평균 필터 보다 정확한 장점이 있다. 특히 불규칙적 에지나 텍스쳐 디테일과 같은 높은 주파수 영역에서 적용되고, 누락 픽셀들은 본 발명에 따른 방법으로 더 정확하게 재구성될 수 있다. 디모자이킹 어플리케이션의 이점의 활용하여, 중앙의 B13의 누락 그린 요소는 대각선 방향을 따라 추정이 가능하다. [29]의 6탭 보간 필터와 같은 탭 보간 필터에 고정된 몇몇의 다른 유사 안티 엘리어싱이 있으며, 시간적 효율이 높지만 다소 견고하지 못한 로버스트 보간 성능으로 사용될 수 있다. 본 발명에 있어서는 8탭 보간 필터를 적용하며, 보간 방정식은 다음 수학식 5와 같다.These 8-tap fixed-coefficient Wiener filters are mainly used to interpolate subpixels of video codecs for up-sampling of MPEG-4, H.264 / AVC, and HEVC. The Wiener filter is known as an ideal anti-aliasing filter for upsampling, and the frequency response shape is rectangular as shown in Fig. 4 (b) and has the advantage of interpolation without extreme aliasing, There is a more accurate advantage than the conventional average filter shown in Fig. Especially in high frequency regions such as irregular edges or texture details, and the missing pixels can be reconstructed more accurately with the method according to the invention. Utilizing the advantages of the demosaicking application, the missing green elements in the center B13 can be estimated along the diagonal direction. There are several other similar anti-aliasing fixed to the tap interpolation filter, such as the 6-tap interpolation filter of [29], which can be used for robust interpolation performance with high temporal efficiency but somewhat non-robustness. In the present invention, an 8-tap interpolation filter is applied, and the interpolation equation is expressed by the following equation (5).

Figure 112015029941588-pat00010
Figure 112015029941588-pat00010

여기서 X ∈ {NW, NE, SW, SE} 와 GX 는 인접한 그린 픽셀 세트

Figure 112015029941588-pat00011
를 이용하여 X 방향을 따라 누락된 그린 요소를 추정치를 대표한다. 따라서
Figure 112015029941588-pat00012
의 추정값은 대각선 방향에 따라 다음과 같이 산출된다. Where X E {NW, NE, SW, SE} and G X are adjacent green pixel sets
Figure 112015029941588-pat00011
Is used to represent the missing green factor along the X direction. therefore
Figure 112015029941588-pat00012
Is calculated as follows according to the diagonal direction.

Figure 112015029941588-pat00013
Figure 112015029941588-pat00013

그리고 대각선 방향에 따른

Figure 112015029941588-pat00014
의 추정값에 대응하는 방향 기울기 요소는 다음 수학식 7에 정의된다. And along the diagonal
Figure 112015029941588-pat00014
Is defined by the following equation (7). &Quot; (7) "

Figure 112015029941588-pat00015
Figure 112015029941588-pat00015

Figure 112015029941588-pat00016
의 8개 추정값을 위한 관련 가중치는 각 방향의 역 그래디언트 사용에 의해 산출된다. 일반적으로 하나의 방향 수단에 따른 스몰 그래디언트는 그 방향에서 보다 더 많은 상관관계를 가지고 있으며, 해당 방향의 사전 추정치
Figure 112015029941588-pat00017
에 더 높은 가중치를 하는 것이 타당하다. 따라서 본 발명에 따른 8 방향 기반의 보간 스키마는 방향 그래디언트의 조인트 분배와 컬러 차이를 반영해야 한다.
Figure 112015029941588-pat00018
의 방향 추정치에 할당된 가중치 비율은 다음 8개 방향으로 정의된다.
Figure 112015029941588-pat00016
The associated weights for the eight estimates of < RTI ID = 0.0 > E < / RTI > Generally, a small gradient according to one directional means has more correlation than in that direction, and a prior estimate of that direction
Figure 112015029941588-pat00017
It is reasonable to put a higher weight on. Therefore, the 8-way based interpolation scheme according to the present invention should reflect the joint distribution and color difference of direction gradient.
Figure 112015029941588-pat00018
The weighting factors assigned to the direction estimates of < RTI ID = 0.0 >

Figure 112015029941588-pat00019
Figure 112015029941588-pat00019

보간 에러를 방지하기 위해 8개 방향을 따라 추정된다. 다시 말해 본 발명에서는 ωN, ωS, ωE, ωNW, ωNE, ωSW, ωSE의 가중치 요소로 보간 정확성을 보장하기 위해 8개 방향을 따라 사전에 추정된

Figure 112015029941588-pat00020
의 모든 공동 기여를 이용한다. 정규화 보간 방정식은 다음 수학식 9로 정의 된다. It is estimated along eight directions to avoid interpolation errors. In other words, in the present invention, in order to ensure interpolation accuracy with weighting factors of ω N , ω S , ω E , ω NW , ω NE , ω SW , and ω SE ,
Figure 112015029941588-pat00020
All co-contributions of The normalization interpolation equation is defined by the following equation (9).

Figure 112015029941588-pat00021
Figure 112015029941588-pat00021

여기서 ωTNSWENWNESWSE이다.Where ω T = ω N + ω S + ω W + ω E + ω NW + ω NE + ω SW + ω SE .

Figure 112015029941588-pat00022
Figure 112015029941588-pat00022

모든 레드와 블루 위치에서 상기의 절차를 적용함으로써 그린 면을 재구성할 수 있는 것이다.
By applying the above procedure at all red and blue locations, the green surface can be reconstructed.

2. 누락된 레드와 블루 요소의 보간 단계 2. Interpolation steps of missing red and blue elements

베이어 CFA 샘플로부터 그린 픽셀들은 앞서 설명한 접근 방식을 이용하여 초기 보간되었다. 그러나 8 방향 기반의 보간 방법은 보간 조건이나 사용가능한 샘플들이 불충분할 때 누락된 레드와 블루 컬러 요소를 보간하기에 적합하지 않다. 하지만 다행스럽게도 레드, 그린 블루 면은 높은 상관관계에 있으므로 누락된 레드 및 블루 요소를 위한 보간 절차는 컬러 오등록 문제를 방지하도록 재구성된 그린 면의 상관관계를 이용할 수 있다. 본 발명은 누락된 레드 및 블루 요소를 보간하기 위한 개선 단계를 이용하여 종래 DWI를 개선시켰다. 특히 다음 두 가지 조건하에서 보간된다. (1) 도 5의 (a, b)에 도시된 CFA의 레드(또는 블루) 샘플링 위치에서 누락된 블루(또는 레드) 요소 또는 (2) 도 5의 (c, d)에서 도시된 CFA의 그린 샘플링 위치에서 누락된 레드 및 블루 요소. The pixels drawn from the Bayer CFA sample were initially interpolated using the approach described above. However, the 8-way based interpolation method is not suitable for interpolating missed red and blue color elements when interpolation conditions or available samples are insufficient. Fortunately, however, the red and green blues are highly correlated, so that the interpolation procedure for missing red and blue elements can use the reconstructed green side correlation to prevent color misregistration problems. The present invention improves the conventional DWI using an improvement step to interpolate missing red and blue elements. Particularly interpolated under the following two conditions. (1) missing blue (or red) elements at the red (or blue) sampling position of the CFA shown in FIGS. 5 (a) and 5 (b) Red and blue elements missing from sampling position.

먼저, 도 5의 (a)에 도시된 레드 샘플링 위치에서 누락된 블루 요소의 보간 조건을 고려한다. R6 위치에서 누락된 블루 요소를 보간하기 위해 그것을 재구성하기 위한 두 단계 전략을 적용하였다. 첫 번째 단계는 R6 위치에서 누락된 블루 요소를 초기 보간하기 위해 블루와 그린 면 사이의 컬러 차를 활용하는 단계이다. 모든 그린 요소는 복구되어 이용 가능하면 R6 위치에서 4 개의 대각선 방향에서 블루와 그린 사이의 컬러 차이

Figure 112015029941588-pat00023
를 추정할 수 있다.First, the interpolation condition of the missing blue element at the red sampling position shown in FIG. 5 (a) is considered. A two-step strategy was applied to reconstruct it to interpolate missing blue elements at the R 6 position. The first step is to take advantage of the color difference between the green surface and blue to early interpolated blue component missing from the R 6 position. All green elements are recovered and, if available, the color difference between blue and green in the four diagonal directions at the R 6 position
Figure 112015029941588-pat00023
Can be estimated.

Figure 112015029941588-pat00024
Figure 112015029941588-pat00024

여기서

Figure 112015029941588-pat00025
는 B7, B8, B12, B13 각 위치에서 정제된 그린 픽셀 값이다. here
Figure 112015029941588-pat00025
Is the green pixel value at the B7, B8, B12, and B13 positions.

DWI의 적용에 따라 공간적 상관관계의 더 나은 로버스트 추정을 위해 네 개의 방향 추정치

Figure 112015029941588-pat00026
에 다양한 가중치를 할당한다. 그린 면은 완전히 채워졌으므로, 네 개의 대각선 방향에 따른 그린 픽셀들의 그래디언트는 보간 절차를 가이드하는 가중치 요소로 사용된다. 4개의 방향에 따른 그래디언트는 다음 수학식 12와 같이 산출된다. For better robust estimation of spatial correlation with the application of DWI, four direction estimates
Figure 112015029941588-pat00026
Quot; < / RTI > Since the green surface is completely filled, the gradients of the green pixels along the four diagonal directions are used as weighting elements to guide the interpolation procedure. The gradient along the four directions is calculated by the following equation (12).

Figure 112015029941588-pat00027
Figure 112015029941588-pat00027

여기서, ε는 스몰 긍정 요소로 그래디언트가 제로가 되는 것을 방지하기 위해 사용된다.

Figure 112015029941588-pat00028
Figure 112015029941588-pat00029
는 각 R1, R3, R6, R9, R11, B7, B8, B12, B13 위치에서 보간된 그린 픽셀 값이다. 역 그래디언트는 다음과 같은 가중치 요소를 사용한다.Here, epsilon is used as a small positive factor to prevent the gradient from becoming zero.
Figure 112015029941588-pat00028
Figure 112015029941588-pat00029
Is the interpolated green pixel value at each of the R 1 , R 3 , R 6 , R 9 , R 11 , B 7 , B 8 , B 12 , B 13 positions. The reverse gradient uses the following weighting factors:

Figure 112015029941588-pat00030
Figure 112015029941588-pat00030

블루와 그린 면 사이의 색상 차 면 에 따른 DWI 결합으로 누락된 블루 픽셀은 다음 수학식 14와 같이 초기 보간된다.The missing blue pixels due to the DWI combination according to the color difference between the blue and green surfaces are initially interpolated as shown in Equation (14).

Figure 112015029941588-pat00031
Figure 112015029941588-pat00031

여기서

Figure 112015029941588-pat00032
이다. 두 번째 단계는
Figure 112015029941588-pat00033
와 높은 상관관계를 가진 블루 컬러 면을 포함하고, 대각선 방향에 따라 4개의 가장 인접한 픽셀 B7, B8, B12, B13 의 그래디언트 역 가중 필터링 방법(GIWF)을 이용한다.
Figure 112015029941588-pat00034
를 정제하기 위해
Figure 112015029941588-pat00035
는 다음과 같은 수학식 15로 얻을 수 있다. here
Figure 112015029941588-pat00032
to be. The second step is
Figure 112015029941588-pat00033
And a gradient inverse weighted filtering method (GIWF) of the four closest pixels B 7 , B 8 , B 12 , and B 13 along the diagonal direction.
Figure 112015029941588-pat00034
To purify
Figure 112015029941588-pat00035
Can be obtained by the following expression (15).

Figure 112015029941588-pat00036
Figure 112015029941588-pat00036

Figure 112015029941588-pat00037
Figure 112015029941588-pat00037

여기서 k={7, 8, 12, 13}이고, k는 R6 주변에 4개의 기존 블루 요소를 나타낸다. 제약 요소 δ는 0과 1 사이의 양수이고, 개선 성능을 조절하는데 사용된다. 이론상으로 이미지 콘텐츠를 훈련하는 것으로 얻을 수 있다 하지만 본 발명은 단순화하게 일반적인 최적 개선 성능을 유지하기 위해 0.5와 0.7 사이의 일정한 값으로 실험 설정하였다. 이 범위를 초과한 보간 성능은 이미지 컨텐츠에 민감할 것이다. Where k = {7, 8, 12 , 13} , and, k indicates the four existing blue components R 6 to close. The constraint factor δ is a positive number between 0 and 1 and is used to control the improvement performance. Theoretically, this can be achieved by training the image content. However, the present invention has been experimentally set to a constant value between 0.5 and 0.7 to simplify the general optimization performance. Interpolating performance beyond this range will be sensitive to image content.

본 발명에 따른 처리 방법은 도 5의 (b)에 도시된 바와 같이, 블루 샘플링 위치에서 누락된 레드 요소를 보간 및 개선하는데 매우 적합한데 동일한 샘플링 조건을 가지기 때문이다. The processing method according to the present invention is well suited for interpolating and improving missing red elements at the blue sampling position, as shown in Figure 5 (b), because it has the same sampling conditions.

두 번째 보간을 위해 그린 샘플링 위치에서 누락된 블루 요소의 조건은 도 5의 (c, d)에 도시된 바와 같다. The conditions of the missing blue element in the green sampling position for the second interpolation are as shown in (c, d) of FIG.

CFA의 레드(또는 블루) 샘플링 위치에서 누락된 블루(또는 레드) 요소가 회복된 이후에 보간 방법은 N, S, W, E 4개의 방향을 따라 그린 요소를 취급하는 상황과 동일하다. After the missing blue (or red) element is recovered at the red (or blue) sampling location of the CFA, the interpolation method is the same as handling the elements drawn along the four directions N, S, W,

물론 GIWF는 동일한 컬러 면에서 가장 인접한 네 개의 컬러 요소를 갖는 그린 샘플링 위치에서 사전에 보간된 레드(또는 블루) 요소를 개선하는데 이용된다. 도 5의 (c) 케이스에서 가장 인접한 레드 픽셀 세트

Figure 112015029941588-pat00038
Figure 112015029941588-pat00039
를 개선하는데 사용되고, 가장 인접한 블루 픽셀 세트
Figure 112015029941588-pat00040
Figure 112015029941588-pat00041
를 개선하는데 사용된다. 이러한 개선 접근법은 도 5의 (d)에 도시된 보간 상황에서도 적합하다. 모든 컬러 요소를 보간하고 개선한 후에 전체 풀 컬러 영상은 디모자이크된다. 편의상 채워진 컬러 요소는 추후 절차를 위해
Figure 112015029941588-pat00042
로 표시된다.
Of course, the GIWF is used to improve the pre-interpolated red (or blue) element at the green sampling position with the four nearest neighboring color elements in the same color plane. In the case (c) of Fig. 5, the closest red pixel set
Figure 112015029941588-pat00038
The
Figure 112015029941588-pat00039
The nearest blue pixel set < RTI ID = 0.0 >
Figure 112015029941588-pat00040
The
Figure 112015029941588-pat00041
Lt; / RTI > This improvement approach is also suitable for the interpolation situation shown in Fig. 5 (d). After interpolating and refining all color elements, the entire full color image is demarcated. For convenience, filled-in color elements are
Figure 112015029941588-pat00042
.

3. 후 처리 단계 3. Post-processing step

본 발명에 따른 후 처리 접근은 디모자이킹 방법의 컬러 채널의 상관관계를 높이기 위해 주로 사용된다[4], [27]. 컬러 면 간의 컬러 차이에 따라 레드와 블루 면이 보간되고, 신뢰할 수 없고 헐거워진 상관관계가 모자이크된 레드와 블루 면 사이에 사용됨에 따라 보간 잡음은 불가피하다. 보간 에러를 줄이기 위해 방향 가중 개선 방법을 기반으로 한 리얼라이닝(re-aligning) 절차는 색차 값을 부드럽게 하고 오브젝트 내에 로컬 상수가 인가되도록 연속적으로 인가된다. 이러한 후처리 스키마 프로세스는 도 6의 (a, b)에 도시된 바와 같이, 그린과 레드(DGR) 및 그린과 블루(DGB)의 색상 차 활용에 의해 보간된 그린 샘플

Figure 112015029941588-pat00043
가 우선적으로 보간 성능이 개선될 수 있도록 처리되며, 5×5 슬라이딩 윈도우에서 제안된 고정된 탭 보간 필터가 있다. 여기서 후처리 단계의 출력은
Figure 112015029941588-pat00044
로 부른다. 후 처리된 그린 면에 의한 후 처리 단계는 동일한 보간 필터의 레드와 블루 샘플을 보간하는데 수행되며, 도 6의 (c, d)에 도시된 레드와 그린 사이의 컬러 차(DRG)와 블루와 그린 간의 컬러 차(DBG)를 이용한다. The post-processing approach according to the present invention is mainly used to enhance the color channel correlation of the demosaicing method [4, 27]. The interpolation noise is inevitable as the red and blue sides are interpolated according to the color difference between the color sides and the unreliable and loose correlation is used between the mosaicked red and blue sides. In order to reduce the interpolation error, a re-aligning procedure based on the direction weighting improvement method is applied continuously to soften the color difference value and apply a local constant in the object. Such a post-processing schema process may be performed by using a green sample interpolated by utilizing the color difference between green and red (D GR ) and green and blue (D GB ), as shown in (a, b)
Figure 112015029941588-pat00043
Is processed so that the interpolation performance can be improved first, and there is a fixed tap interpolation filter proposed in the 5x5 sliding window. Here, the output of the post-
Figure 112015029941588-pat00044
. The post-processing step with the post-processed green surface is performed to interpolate the red and blue samples of the same interpolation filter, and the color difference (D RG ) between red and green shown in (c, d) Green color difference (D BG ) is used.

강건한 컬러 차 추정을 위해 5탭 안티 앨리어싱 FIR 필터 {h5=[-5 15 44 15 -5]/64}는 다른 면 내에서 네 개의 방향을 따라 인접한 컬러 차 값의 정확성을 향상시키기 위해 적용된다. 컬러 차이 DGR 면을 획득하며, 예를 들어 각 방향을 따라 중앙 컬러 차이 DGR은 다음 수학식 17과 같이 정의된다. For robust color difference estimation, a 5-tap anti-aliasing FIR filter {h 5 = [- 5 15 44 15 -5] / 64} is applied to improve the accuracy of adjacent color difference values along four directions in the other plane . Color Difference D GR For example, the central color difference D GR along each direction is defined as: < EMI ID = 17.0 >

Figure 112015029941588-pat00045
Figure 112015029941588-pat00045

여기서 X∈{P, Q, H, V} 와

Figure 112015029941588-pat00046
는 도 7에 도시된 바와 같이, X 방향에 따른 중앙 값 DGR 의 5개 인접 컬러 차이 값이다. 강건한 중앙 값
Figure 112015029941588-pat00047
을 추정하기 위해서 대각선(P), 안티 대각선(Q), 수평(H), 수직(V)의 네 개의 방향이 고려된다. Here, X∈ {P, Q, H, V} and
Figure 112015029941588-pat00046
Are five adjacent color difference values of the median value D GR along the X direction, as shown in Fig. A robust median
Figure 112015029941588-pat00047
The four directions of the diagonal line P, the anti-diagonal line Q, the horizontal line H, and the vertical line V are considered to estimate the horizontal direction.

보간 단계와 유사하게 DWI 전략은 그 방향의 상관관계에 따라 각 방향의 공동 기여를 강화하기 위해서 후 처리 단계에서도 적용된다. Similar to the interpolation step, the DWI strategy also applies to the post-processing stage to enhance the co-contributions in each direction depending on the directional correlation.

방향 그래디언트는 각 방향에 따라 방향 상관관계를 보여주기 위해 인접 컬러 차 DGR 절대 값을 이용하여 산출된다. 네 개의 방향에 따른 그래디언트는 다음 수학식 18과 같이 산출된다.The direction gradient is calculated using the absolute value of the adjacent color difference D GR to show directional correlation along each direction. The gradient along the four directions is calculated by the following equation (18).

Figure 112015029941588-pat00048
Figure 112015029941588-pat00048

그리고 역 그래디언트는 최종적으로 개선된 컬러 차 DGR에 방향

Figure 112015029941588-pat00049
의 기여도를 조절하기 위한 방향 가중 요소로 사용되며, 가중치는 다음 수학식 19로 산출된다.And the inverse gradient is finally shifted to the improved color difference D GR
Figure 112015029941588-pat00049
Is used as a direction weighting element for adjusting the contribution of the weighting factor, and the weight is calculated by the following equation (19).

Figure 112015029941588-pat00050
Figure 112015029941588-pat00050

여기서 X∈{P, Q, H, V} 와 ε은 그래디언트가 제로가 되는 것을 방지하기 위한 스몰 긍정 요소로 사용된다. Here, Xε {P, Q, H, V} and ε are used as small positive elements to prevent the gradient from becoming zero.

가중치

Figure 112015029941588-pat00051
와 개선 방향
Figure 112015029941588-pat00052
이 계산되면 최종 후 처리된 중앙 DGR ,P은 다음 수학식 20으로 산출된다.weight
Figure 112015029941588-pat00051
And improvement direction
Figure 112015029941588-pat00052
The final post-processed center D GR , P is calculated by the following equation (20).

Figure 112015029941588-pat00053
Figure 112015029941588-pat00053

이 절차는 보간 정확성을 강화시키위 위해 DGB, DRG, DBG의 컬러 차 값을 개선하는데 적합하다. 초기 디모자이크된

Figure 112015029941588-pat00054
Figure 112015029941588-pat00055
와 함께 최종 개선된 컬러 차 DGR,P와 DGB,P을 이용하여, 그린 컬러 요소를 최종적으로 개선할 수 있다.This procedure is suitable for improving the color difference value of D GB , D RG , D BG to enhance interpolation accuracy. Initially demapped
Figure 112015029941588-pat00054
And
Figure 112015029941588-pat00055
And the final improved color differences D GR, P and D GB, P together with the final color difference.

특히 그린 컬러 면은 후 처리 스텝에서 다음과 같이 개선된다.In particular, the green color surface is improved as follows in the post-processing step.

Figure 112015029941588-pat00056
Figure 112015029941588-pat00056

그린 컬러 면이 최종 개선된 후에 개선된 컬러 차 DGR,P 및 DGB,P와 함께 레드 및 블루 면을 개선하는데 사용될 수 있다. The green color facet can be used to improve the red and blue facets together with the improved color differences D GR, P and D GB, P after the final improvement.

Figure 112015029941588-pat00057
Figure 112015029941588-pat00057

모든 컬러 면

Figure 112015029941588-pat00058
이 본 발명에 따른 필터를 이용하여 연속적으로 처리된 후에 풀 컬러 이미지는 마침내 채워진다.
All color faces
Figure 112015029941588-pat00058
After being continuously processed using the filter according to the present invention, the full color image is finally filled.

이러한 본 발명에 따른 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법의 성능을 확인하기 위한 실험 및 그 결과는 다음과 같다.
Experiments to verify the performance of the multi-directional weighted interpolation method for demoicing a Bayer pattern color filter array according to the present invention are as follows.

A. 평가 방법A. Evaluation Method

본 실험에서 객관적인 이미지 품질을 평가하기 위해 종래기술(CPSNR [27], S-CIELAB [33], and FSIMc [34])을 적용하였다. 먼저, 컬러 피크 신호 대 신호 비(CPSNR-color peak signal-to-noise ratio)는 원본 이미지와 재구성된 이미지 컬러 면의 강도(intensity) 차이를 결정하기 위해 적용된다.In this experiment, the conventional techniques (CPSNR [27], S-CIELAB [33], and FSIMc [34]) were applied to evaluate objective image quality. First, the color peak signal-to-noise ratio (CPSNR) is applied to determine the intensity difference between the original image and the reconstructed image color plane.

이러한 CPSNR는 다음 수학식 23으로 획득된다.This CPSNR is obtained by the following equation (23).

Figure 112015029941588-pat00059
Figure 112015029941588-pat00059

Figure 112015029941588-pat00060
Figure 112015029941588-pat00060

여기서 CMSE는 W×H크기의 원본 이미지 I 및 재구성된 이미지

Figure 112015029941588-pat00061
간의 전체 컬러(R, G, B) 평균 제곱 에러를 나타낸다. CMSE가 제로에 접근함에 따라 CPSNR은 무한대로 접근하며, 이는 높은 CMSE 값은 높은 이미지 품질을 제공함을 보여준다. 스케일의 타단에서 CPSNR의 작은 값은 I와
Figure 112015029941588-pat00062
간의 높은 수치 차이를 의미하며, 이는 재구성된 이미지의 품질이 떨어짐을 의미한다.Where CMSE is a W × H sized original image I and a reconstructed image
Figure 112015029941588-pat00061
(R, G, B) mean squared error between the colors of the pixels. As the CMSE approaches zero, the CPSNR approaches infinity, indicating that high CMSE values provide high image quality. The smaller value of CPSNR at the other end of the scale is I and
Figure 112015029941588-pat00062
This means that the quality of the reconstructed image is deteriorated.

이는 앞선 종래 기술에서 증명된 바와 같이, 때때로 CMSE와 CPSNR는 색 차의 인간 지각과 동일 시 하지 않음에 따라 지각적으로 균일한 컬러 공간을 사용해야 한다. 이 경우, 유클리드 거리(Euclidean distance) 간의 컬러는 S-CIELAB △E*에서 지각적으로 균일한 공간을 △E와 같이 산출한다. △E 계산은 먼저 RGB 색 공간에서 CIELAB 색공간으로의 변환을 요구하고, 이 공간의 픽셀 컬러 사이의 유클리드 거리 평균을 계산한다. 그 방정식은 다음 수학식 25와 같다.As evidenced by the prior art, sometimes the CMSE and the CPSNR do not coincide with the human perception of the color difference, so they must use a perceptually uniform color space. In this case, the color between the Euclidean distances yields a perceptually uniform space at S-CIELAB DELTA E * as DELTA E. The ΔE calculation first requires conversion from the RGB color space to the CIELAB color space, and calculates the Euclidean distance average between the pixel colors in this space. The equation is shown in Equation 25 below.

Figure 112015029941588-pat00063
Figure 112015029941588-pat00063

여기서, W와 H는 각각 너비과 높이를 나타내며, I와

Figure 112015029941588-pat00064
는 각각 참조 이미지와 디모자이크된 이미지를 나타내고, 두 가지 모두 CIELAB 색 공간에 있다. 이러한 방법은 휴먼 비주얼 시스템(HVS)의 인식으로 보다 더 나은 컬러 차를 추정할 수 있으며, 따라서 많은 디모자이킹 레퍼런스 중에서 이미지 품질의 글로벌 추정에 권장할 수 있다.Where W and H are the width and height, respectively, and I and
Figure 112015029941588-pat00064
Represent the reference image and the demapped image, respectively, both of which are in the CIELAB color space. This method can estimate a better color difference with the recognition of Human Visual System (HVS), and thus can be recommended for global estimation of image quality among many demosaicing references.

본 발명의 성능을 평가하기 위하여 기능-유사성 인덱스 측정(FSIM-feature-similarity index measure) 품질 매트릭스는 두 개의 이미지 간의 유사성을 측정하기 위한 세 번째 인덱스로 사용된다. 이는 Zhang에 의해 개발되었으며, HVS의 품질 인식과 연관하여 고려되었다. 종래 오차 합산 방법을 이용하는 것 대신에, 세 개의 조합(gradient correlation, luminance distortion, contrast distortion)과 같은 이미지 왜곡인 FSIM 모델을 사용한다. 여기서 컬러 이미지 품질 평가(FISMc)를 위한 부분적인 FISM 인덱스는 디모자이킹 성능을 평가하기 위해 제안되었다. FISMc의 값이 1에 가까우면 재구성된 이미지는 원본 이미지와 매우 유사하다. In order to evaluate the performance of the present invention, the FSIM-feature-similarity index measure (FSIM) quality matrix is used as a third index for measuring the similarity between two images. It was developed by Zhang and considered in connection with the quality perception of HVS. Instead of using the conventional error summing method, the FSIM model, which is image distortion such as gradient correlation, luminance distortion, and contrast distortion, is used. Here, the partial FISM index for color image quality evaluation (FISMc) was proposed to evaluate demosaicing performance. If the value of FISMc is close to 1, the reconstructed image is very similar to the original image.

추가적으로 계산 복잡도는 본 발명의 시간 효율성을 평가하는 것으로 결정된다. 본 실험에서 모든 계산은 이미지의 10 픽셀 폭의 경계를 제거한 후 계산되었다.
Additionally, the computational complexity is determined to evaluate the time efficiency of the present invention. In this experiment, all calculations were performed after removing the border of 10 pixel width of the image.

B. 성능 비교B. Performance Comparison

다양한 디모자이킹 방법을 기반으로 본 발명에 따른 MDWI의 객관적이고, 주관적인 평가를 제공한다. 실험을 시행하기 위해 먼저 타겟 테스트 이미지에서 Bayer CFA를 이용한 모자이크 절차를 수행하고, 모자이크된 이미지를 이용하여 완전한 3개의 컬러 채널을 재구성하기 위해 서로 다른 디모자이킹 방법을 적용한다. 마지막으로 본 발명에 따른 MDWI와 종래 기술 AFD [10], DL [3], ESF [4], SSD [8], LPA-ICI [5], and LDI-NAT [6]를 비교하였다.It provides an objective and subjective assessment of the MDWI according to the present invention based on various demosaicing methods. To perform the experiment, we first perform the mosaic procedure using Bayer CFA in the target test image, and apply different demosaicing methods to reconstruct the full three color channels using the mosaic image. Finally, the MDWI according to the present invention is compared with the prior art AFD [10], DL [3], ESF [4], SSD [8], LPA-ICI [5], and LDI-NAT [6].

VDI의 이전 연구로 본 발명의 이점을 보여주기 위해, VDI도 비교 방법에 나열하였다. 추가적으로 본 발명의 전처리 접근으로부터 개선 결과를 평가하기 위해 전처리 단계 없는 본 발명의 방법도 비교하였으며, 이를 MDWIN으로 표시하였다. 본 발명에 따른 방법을 확인하기 위해 Intel(R) Core(TM) i5 CPU M460 @2.53GHZ. 프로세서의 MATLAB을 이용하여 시뮬레이션을 실행하였다.In order to demonstrate the benefits of the invention in previous studies of VDI, VDI is also listed in the comparison method. In addition, the method of the present invention without the pretreatment step was also compared to evaluate the improvement result from the pretreatment approach of the present invention, which was expressed as MDWI N. To verify the method according to the present invention, the Intel (R) Core (TM) i5 CPU M460 @ 2.53GHZ. Simulation was performed using the MATLAB processor.

먼저 데시벨의 CPSNR은 원본 이미지와 재구성된 이미지 사이의 차이를 측정하기 위해 사용되었다. 다음 표 1은 도 4의 McM 이미지세트를 이용한 CPSNR 성능에 의한 객관적인 이미지 품질의 비교를 보여준다.First, the decibel CPSNR was used to measure the difference between the original image and the reconstructed image. The following Table 1 shows a comparison of objective image quality by CPSNR performance using the McM image set of FIG.

Figure 112015029941588-pat00065
Figure 112015029941588-pat00065

CPSNR의 평균은 직관적인 비교를 위해 계산되었다. 표 1의 결과를 기반으로 본 발명에 따른 MWDI 방법은 대부분의 테스트 이미지용 다른 종래 기술보다 높은 CPSNR을 달성한 것으로 결론 내릴 수 있다. CPSNR 성능에서 가장 안좋은 성능을 갖은 ESF와 비교하였을 때 2.597dB이 개선되었다. LDI-NAT는 평균에서 두 번째로 높은 CPSNR을 갖는다. 이와 대조적으로 최근에 개발된 ESF는 본 실험 데이터 세트에서 가장 낮은 CPSNR을 획득하였다. 중앙의 누락된 컬러 요소를 추정하는데 오직 녹색 컬러 평면만을 추정하므로 MEDI은 12 방향에 따라 누락된 컬러 요소를 보간하더라도 모든 비교 방법에서 두 번째로 낮은 CPSNR 성능을 보였다. 다른 비교 방법에 관해서는 SSD 방법은 다른 두 가지 방법인 DWI와 LPA-ICI을 능가하였다. 특히 MDWI는 모든 테스트 이미지에서 MDWIN 보다 높은 CPSNR을 가지며, 이는 본 발명에 따른 전처리 접근이 디모자이킹 어플리케이션에 효과적이고 강력한 것임을 보여준다.The mean of CPSNR was calculated for intuitive comparison. Based on the results of Table 1, it can be concluded that the MWDI method according to the present invention achieved a higher CPSNR than other prior art for most test images. Compared to ESF with the worst performance in CPSNR performance, 2.597 dB improved. LDI-NAT has the second highest CPSNR in the average. In contrast, the recently developed ESF obtained the lowest CPSNR in this experimental data set. Because only the green color plane is estimated to estimate the missing color component in the center, MEDI has the second lowest CPSNR performance in all comparison methods, even if interpolating missing color components along 12 directions. As for the other comparison methods, the SSD method outperformed the other two methods DWI and LPA-ICI. In particular, MDWI has a higher CPSNR than MDWI N in all test images, indicating that the preprocessing approach according to the present invention is effective and powerful for demosaicing applications.

본 발명에 따른 성능을 더 확인하기 위해 CIELAB 색공간에서 픽셀 컬러 간의 유클리드 거리 평균을 더 측정하였다. 이는 S-CIELAB △E* 성능은 더 나은 측정값이 제로에 가까워지는 긍정적 스코어로서 결정된다.Euclidean distance averages between pixel colors in the CIELAB color space were further measured to further verify the performance according to the present invention. This is because the S-CIELAB DELTA E * performance is determined as a positive score with a better measurement approaching zero.

본 실험에서 McM 이미지 데이터 세트를 이용하여, 표 2에 도시된 바와 같이, S-CIELAB △E* 을 계산하였으며, 이를 통해 MDWI와 LDI-NAT는 다른 방법들과 비교해볼 때 대부분의 테스트 이미지에서 가장 낮은 S-CIELAB △E* 값을 가진 최고 성능을 나타냄을 명확히 확인할 수 있다. ESF는 일반적으로 가장 높은 S-CIELAB △E* 값을 가지고 있고 다른 방법들은 이러한 인덱스 아이템에 적당히 수행된다. 평균 S-CIELAB △E*의 비교에서 MDWI는 ESF와 S-CIELAB △E* 비교에서 0.519 개선된 인자를 보여, 모든 비교 방법의 최고 성능을 다시 획득하였다. Using the McM image data set in this experiment, we calculated S-CIELAB △ E * as shown in Table 2, whereby MDWI and LDI-NAT are compared with other methods to determine the best It can clearly be seen that it exhibits the highest performance with a low S-CIELAB DELTA E * value. ESF generally has the highest S-CIELAB DELTA E * value and other methods are performed appropriately on these index items. In the comparison of the mean S-CIELAB △ E * , MDWI showed an improved factor of 0.519 in the ESF and S-CIELAB △ E * comparisons and regained the best performance of all comparative methods.

Figure 112015029941588-pat00066
Figure 112015029941588-pat00066

종래에 잘 알려진 바와 같이, 이미지 픽셀의 작은 부분만을 차지하는 컬러 에지 주변에 보간 에러가 대부분 나타나므로 CPSNR은 디모자이킹 성능의 좋은 지표가 아니다. 본 발명에 따른 성능을 더 평가하기 위해 우리는 FISMc(feature similarity index measure for color image)의 새로운 측정을 채택하였다. As is well known in the art, CPSNR is not a good indicator of demosaicing performance because most interpolation errors appear around a color edge that occupies only a small portion of the image pixel. To further evaluate the performance according to the present invention, we adopted a new measure of feature similarity index measure for color image (FISMc).

본 실험에서 McM 이미지 데이터세트를 이용한 각 비교 방법의 FISMc 값을 다음 표 3과 같이 계산하였으며, 여기서 MDWI와 LDI-NAT는 다른 방법들과 비교할 때 가장 높은 FISMc 값(#7 및 #8을 제외)을 가짐을 명확히 확인할 수 있다. In this experiment, the FISMc values of each comparison method using the McM image data set are calculated as shown in Table 3, where MDWI and LDI-NAT have the highest FISMc values (except # 7 and # 8) Can be clearly identified.

Figure 112015029941588-pat00067
Figure 112015029941588-pat00067

ESF는 대부분 실험 이미지에서 가장 낮은 FISMc 값을 가지고 있고 다른 방법들은 이러한 두 개의 아이템에 적절히 수행되었다. 평균 FISMc 비교에서 MDWI는 ESF와 비교하여, 0.0013 개선 수치를 가지고 있고 이는 정확한 보간 방향을 찾는 것 이외에 이전 연구 VID이 이미지 특징을 보존하는 이점이 있다는 증거를 제공한다. 그리고 다른 비교 방법 사이에 수행된다. CPSNR 매트릭스의 결과와 유사하게 FSIMc 인덱스 관점에서 MDWI는 MDWIN 보다 확연히 나은 성능을 가지고 있으며, 이는 후 처리 단계가 유효하고 효과적임을 나타낸다.The ESF has the lowest FISMc value in most of the experimental images, and other methods have been performed appropriately on these two items. In the mean FISMc comparison, the MDWI has a 0.0013 improvement compared to the ESF, providing evidence that previous research VIDs have the advantage of preserving image features, in addition to finding the correct interpolation direction. And between the other comparison methods. Similar to the results of the CPSNR matrix, the MDWI has significantly better performance than the MDWI N in terms of FSIMc indexes, indicating that the post-processing step is valid and effective.

디모자이킹 어플리케이션에서 본 발명에 따른 후 처리 절차의 효율을 평가하기 위해 우리는 성능을 결정하는 비교 방법에 후 처리 과정 또한 적용하였다. 그 결과 CPSNR, S-CIELAB △E*, FSIMc 지표는 개선됨을 보여준다. McM 이미지 데이터세트를 이용하여 본 발명에 따른 후처리 방법을 포함/불포함(with-P, without-P)한 비교 방법의 평균 CPSNR, S-CIELAB △E*, FSIMc을 다음 표 4로 정리하였다. To evaluate the efficiency of the post-processing procedure according to the present invention in the demosaicing application, we also applied a post-processing procedure to the comparison method to determine the performance. As a result, the CPSNR, S-CIELAB △ E * and FSIMc indices are improved. The average CPSNR, S-CIELAB? E * , and FSIMc of the comparative method with and without the post-processing method according to the present invention using the McM image data set are summarized in Table 4 below.

표 4로부터 본 발명에 따른 후 처리 단계와 비교 방법은 이러한 세 개의 측정 매트릭스를 사용한 변화도와 함께 전반적인 개선을 얻었음을 분명히 확인할 수 있다.From Table 4 it can be clearly seen that the post-processing steps and the comparison method according to the present invention have obtained overall improvements with the aid of these three measurement matrices.

Figure 112015029941588-pat00068
Figure 112015029941588-pat00068

객관적이 이미지 품질의 평가를 위해 McM 이미지 데이터세트로부터 3개의 이미지를 선택하여 시각 비교에 이용하였다. 도 9, 도 10 및 도 11은 원본 이미지에서 각각 #5, #13 및 #17 선택한 것을 보여준다. 디모자이킹 시뮬레이션을 실행하기 위해 Bayer CFA 패턴을 이용하였다. 본 발명의 방법과 상기에서 언급된 종래 방법을 이용하여 전체 컬러 이미지를 재구성하기 위해 디모자이킹을 실행하였다. 객관적인 디모자이킹 성능을 설명하기 위해 세 개의 선택된 이미지에서 부분적으로 확대된 이미지를 MDWI의 디테일 보존 능력을 결정하기 위해 사용하였다.For the objective image quality evaluation, three images were selected from the McM image data set and used for time comparison. Figures 9, 10 and 11 show the selection of # 5, # 13 and # 17, respectively, in the original image. The Bayer CFA pattern was used to perform the demosaicing simulation. The demosaicing was performed to reconstruct the full color image using the method of the present invention and the conventional method mentioned above. To illustrate objective demosaicing performance, a partially enlarged image from three selected images was used to determine the detail preservation capabilities of the MDWI.

도 9의 (a)는 #5로부터 분할된 T-shirt의 부분적으로 확대된 이미지는 정상적인 디테일 보존 능력을 보여준다. 비교를 통해 MDWI는 섬세한 에지와 클로즈된 디테일 영역에서 최고의 비주얼 효과로 실행되었다. 특히, 여분의 대각선 방향에 따른 누락된 컬러 요소의 측정으로 재구성된 대각선 에지는 최소한의 비주얼 잡음을 가졌다. 예를 들어 도 9의 (i, j) 다른 방법들과 비교한 바와 같이, 에지 부분은 MDWIN 및 MDWI의 디모자이킹 이후에 매우 부드럽게 나타났다. 반면에 다른 방법들은 에지 및 다른 복잡한 영역의 잡음과 같은 노이즈로 실행되었다. 약한 디테일 보존 능력을 평가 시, McM 이미지 데이터 세트에서 특별히 이미지 #13을 선택하여 사용하였다. 특별한 부분은 비주얼 비교를 위해 확대한 도 10 (a)와 같이, 불규칙적으로 갈겨써진 부분을 포함한다. LDI-NAT, MDWIN 및 MDWI를 이용한 재건된 불규칙적인 에지와 약한 디테일은 대부분의 정도를 보존할 수 있으며, 이는 도 10의 (g-j)에서 확인할 수 있다. 반대로 다른 방법들은 도 10의 (b-f)에 도시된 바와 같이, 갑작스런 컬러 변경이 있는 약한 에지를 따라 지퍼 잡음과 거짓 색상의 비주얼 컬러 잡음으로 실행되었다. 이러한 비교된 방법은 솔트-라이크 노이즈 또한 극심하였다. 또한, 본 발명에 따른 MDWI의 불규칙 디테일 보존 능력을 더 평가하기 위해 #17 이미지를 비교를 위해 선택하였다. 꽃과 잎의 부분적으로 확대된 부분은 도 11(a)에 도시된 바와 같이, 분할하였다. 디모자이킹 절차 후에 VDI, MDWIN 및 MDWI에 의해 재구성된 디모자이킹 이미지는 도 11의 (h, i, j)에 도시된 바와 같이 비교된 방법에서 최소한의 잡음을 야기시킴이 명확하다. 그러나 이러한 디모자이킹 방법을 사용 시, 도 11의 (b-g)에 도시된 바와 같이, 꽃과 잎 사이의 결합(joint) 에지는 극심하게 떨어졌다.Figure 9 (a) shows a partially enlarged image of a T-shirt divided from # 5, showing normal detail retention capability. By comparison, the MDWI was executed with the best visual effects in delicate edges and closed detail areas. In particular, the reconstructed diagonal edge with the measurement of missing color elements along the extra diagonal direction had minimal visual noise. For example, as compared to (i, j) other methods in Figure 9, the edge portions appeared very smooth after demosaicing of MDWI N and MDWI. While other methods have been implemented with noise, such as noise in edges and other complex areas. When evaluating the weak detail retention capability, Image # 13 was specifically selected and used in the McM image data set. The special portion includes irregularly scribed portions as shown in Fig. 10 (a) enlarged for visual comparison. Reconstructed irregular edges and weak details using LDI-NAT, MDWI N, and MDWI can preserve most of the degree, which can be seen in Figure 10 (gj). Conversely, other methods were implemented with zipper noise and false color visual color noise along weak edges with sudden color changes, as shown in Figure 10 (bf). This comparable method also exacerbated salt-like noise. In addition, a # 17 image was selected for comparison to further evaluate the irregular detail preservation capability of the MDWI according to the present invention. Partially enlarged portions of flowers and leaves were divided as shown in Fig. 11 (a). It is clear that the demosaicing image reconstructed by the VDI, MDWI N and MDWI after the demosaicing process causes minimal noise in the compared method as shown in (h, i, j) in FIG. However, when such a demosaicing method is used, the joint edge between the flower and the leaf has dropped extremely, as shown in Fig. 11 (bg).

이러한 객관적 및 주관적 평가는 본 발명에 따른 MDWI는 다른 종래 기술들과 비교하여 에지 디테일 보존이 가능하고, 최소의 잡음을 생성하는 이점이 있음을 보여준다. 특히 본 발명에 따른 MDWI는 대각선 방향을 따라 최대 정도의 거짓 컬러 잡음을 조절하는 능력이 있음을 확인할 수 있다.This objective and subjective evaluation shows that the MDWI according to the present invention has the advantage of preserving edge detail and generating minimum noise compared to other prior arts. In particular, it can be seen that the MDWI according to the present invention has the ability to adjust the maximum false color noise along the diagonal direction.

이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법으로 구현할 수 있다. Although the present invention has been described with reference to the exemplary embodiments of the present invention, the technical idea of the present invention is not limited to the above-described embodiments, and a multi-directionally weighted interpolation method for various Bayer pattern color filter array demosaicing in a range not departing from the technical idea of the present invention .

G : 그린 B : 블루
R : 레드 N : north
S : south E : east
W : west NE : northeast
SE : southeast NE : northwest
SW : southwest
G: Green B: Blue
R: Red N: north
S: south E: east
W: west NE: northeast
SE: southeast NE: northwest
SW: southwest

Claims (11)

(a) 그린 보간부를 이용하여, 수직, 수평, 대각선 방향을 포함한 8개 방향에서 누락된 그린 요소를 보간하는 단계;
(b) 레드 블루 보간부를 이용하여, 보간된 그린 면의 상관 관계로 레드 및 블루 요소를 보간하는 단계 및
(c) 후 처리부를 이용하여, 컬러 값 차를 이용하여, 그린 면, 레드 면, 블루 면을 개선하는 단계를 포함하는 것을 특징으로 하며,
상기 (a) 단계는 9 × 9 베이어 CFA 블록에서 8 탭 보간 필터를 적용한 보간 방정식은 수학식 5로 정의되는 것을 특징으로 하고,
[수학식 5]
Figure 112016043819152-pat00069

여기서 X ∈ {NW, NE, SW, SE} 와 GX 는 인접한 그린 픽셀 세트
Figure 112016043819152-pat00070
를 이용하여 X 방향을 따라 누락된 그린 요소를 추정치를 대표함.
상기 (a) 단계에서 누락된 그린 요소
Figure 112016043819152-pat00071
의 추정값은 수학식 6으로 산출되는 것을 특징으로 하며,
[수학식 6]
Figure 112016043819152-pat00072

상기 (a) 단계에서 대각선 방향에 따른
Figure 112016043819152-pat00073
의 추정값에 대응하는 방향 기울기 요소는 수학식 7로 산출되는 것을 특징으로 하며,
[수학식 7]
Figure 112016043819152-pat00074

상기 (a) 단계에서
Figure 112016043819152-pat00075
의 방향 추정치에 할당된 가중치 비율은 다음 수학식 8로 산출되는 것을 특징으로 하고,
[수학식 8]
Figure 112016043819152-pat00076

상기 (a) 단계는 ωN, ωS, ωE, ωNW, ωNE, ωSW, ωSE의 가중치 요소로 보간 정확성을 보장하기 위해 8개 방향을 따라 사전에 추정된
Figure 112016043819152-pat00077
의 모든 공동 기여를 이용하고, 정규화 보간 방정식은 수학식 9로 정의되는 것을 특징으로 하는 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법.
[수학식 9]
Figure 112016043819152-pat00078
(a) interpolating missing green elements in eight directions including vertical, horizontal, and diagonal directions using a green interpolation part;
(b) interpolating the red and blue elements with a correlation of the interpolated green surface using a red-blue interpolator, and
(c) a step of improving the green surface, the red surface and the blue surface by using the color value difference using the post-processing unit,
In the step (a), an interpolation equation using an 8-tap interpolation filter in a 9x9 Bayer CFA block is defined as Equation (5)
&Quot; (5) "
Figure 112016043819152-pat00069

Where X E {NW, NE, SW, SE} and G X are adjacent green pixel sets
Figure 112016043819152-pat00070
To represent estimates of missing green elements along the X direction.
In step (a), the missing green element
Figure 112016043819152-pat00071
Is calculated by Equation (6)
&Quot; (6) "
Figure 112016043819152-pat00072

In the step (a)
Figure 112016043819152-pat00073
The directional gradient component corresponding to the estimated value of < RTI ID = 0.0 >
&Quot; (7) "
Figure 112016043819152-pat00074

In the step (a)
Figure 112016043819152-pat00075
The weighted ratio assigned to the direction estimate of < EMI ID = 8.0 >
&Quot; (8) "
Figure 112016043819152-pat00076

The step (a) may include estimating a weighting factor of ω N , ω S , ω E , ω NW , ω NE , ω SW , ω SE in advance in eight directions to ensure interpolation accuracy
Figure 112016043819152-pat00077
Wherein the normalized interpolation equation is defined by equation (9). ≪ RTI ID = 0.0 > 8. < / RTI >
&Quot; (9) "
Figure 112016043819152-pat00078
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 (b) 단계는
(b-1) CFA의 레드(또는 블루) 샘플링 위치에서 누락된 블루(또는 레드) 요소를 보간하는 단계 및
(b-2) CFA의 그린 샘플링 위치에서 누락된 레드 및 블루 요소를 보간하는 단계를 포함하는 것을 특징으로 하는 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법.
The method according to claim 1,
The step (b)
interpolating the missing blue (or red) element at the red (or blue) sampling location of (b-1) CFA and
(b-2) interpolating missing red and blue elements at a green sampling location of the CFA. < Desc / Clms Page number 20 >
제1항에 있어서,
상기 (c) 단계는 5×5 슬라이딩 윈도우에서 고정된 5탭 안티 앨리어싱 FIR 필터로 레드와 그린 사이의 컬러 차(DRG)와 블루와 그린 간의 컬러 차(DBG)를 적용하며, 4개의 방향에 다른 그래디언트는 수학식 18로 산출되며, 역 그레디언트는 최종적으로 개선된 컬러 차 DGR에 방향
Figure 112015029941588-pat00079
의 기여도를 조절하기 위한 방향 가중 요소로 사용되며, 가중치는 다음 수학식 19로 산출되는 것을 특징으로 하는 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법.
[수학식 18]
Figure 112015029941588-pat00080

[수학식 19]
Figure 112015029941588-pat00081

여기서 X∈{P, Q, H, V} 와 ε은 그레디언트가 제로가 되는 것을 방지하기 위한 스몰 긍정 요소로 사용됨.
The method according to claim 1,
The step (c) applies a color difference (D RG ) between red and green and a color difference (D BG ) between blue and green with a fixed 5-tap anti-aliasing FIR filter in a 5x5 sliding window, And the inverse gradient is finally calculated as the improved color difference D GR in the direction < RTI ID = 0.0 >
Figure 112015029941588-pat00079
Is used as a direction weighting element for adjusting the contribution of the Bayer pattern color filter array demosaicing, and the weight is calculated by the following equation (19).
&Quot; (18) "
Figure 112015029941588-pat00080

&Quot; (19) "
Figure 112015029941588-pat00081

Here, Xε {P, Q, H, V} and ε are used as small positive elements to prevent the gradient from becoming zero.
제8항에 있어서,
상기 (c) 단계에서,
가중치
Figure 112015029941588-pat00082
와 개선 방향
Figure 112015029941588-pat00083
이 계산되면 최종 후 처리된 중앙 DGR ,P은 수학식 20으로 산출되는 것을 특징으로 하는 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법.
[수학식 20]
Figure 112015029941588-pat00084
9. The method of claim 8,
In the step (c)
weight
Figure 112015029941588-pat00082
And improvement direction
Figure 112015029941588-pat00083
Is calculated, the final post-processed center D GR , P is computed as: < EMI ID = 20.0 >
&Quot; (20) "
Figure 112015029941588-pat00084
제9항에 있어서,
상기 (c) 단계의 그린 면 컬러는 수학식 21과 같이 개선되는 것을 특징으로 하는 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법.
[수학식 21]
Figure 112015029941588-pat00085
10. The method of claim 9,
Wherein the green surface color of step (c) is improved as shown in equation (21).
&Quot; (21) "
Figure 112015029941588-pat00085
제10항에 있어서,
상기 (c) 단계의 레드 및 블루 면 컬러는 수학식 22과 같이 개선되는 것을 특징으로 하는 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법.
[수학식 22]
Figure 112015029941588-pat00086
11. The method of claim 10,
Wherein the red and blue face colors of step (c) are modified as shown in equation (22). ≪ EMI ID = 22.0 >
&Quot; (22) "
Figure 112015029941588-pat00086
KR1020150042696A 2015-03-26 2015-03-26 Multi directional weighted interpolation method for Bayer pattern CFA demosaicking KR101660447B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150042696A KR101660447B1 (en) 2015-03-26 2015-03-26 Multi directional weighted interpolation method for Bayer pattern CFA demosaicking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150042696A KR101660447B1 (en) 2015-03-26 2015-03-26 Multi directional weighted interpolation method for Bayer pattern CFA demosaicking

Publications (1)

Publication Number Publication Date
KR101660447B1 true KR101660447B1 (en) 2016-09-28

Family

ID=57101349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150042696A KR101660447B1 (en) 2015-03-26 2015-03-26 Multi directional weighted interpolation method for Bayer pattern CFA demosaicking

Country Status (1)

Country Link
KR (1) KR101660447B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190081462A (en) * 2017-12-29 2019-07-09 인천대학교 산학협력단 Bayer demosaicking method using bilateral filtering and directional differentiation
KR20190082880A (en) * 2016-12-08 2019-07-10 주식회사 소니 인터랙티브 엔터테인먼트 Information processing apparatus and information processing method
CN111784575A (en) * 2020-06-05 2020-10-16 上海赛昉科技有限公司 A Calibration-Based Method for Surveillance Camera Demosaicing
CN114792286A (en) * 2021-01-26 2022-07-26 珠海全志科技股份有限公司 Method and device for realizing heavy mosaic
US11509869B2 (en) 2020-02-04 2022-11-22 Samsung Electronics Co., Ltd. Pixel array reducing loss of image information and image sensor including same
CN118158551A (en) * 2024-04-30 2024-06-07 合肥埃科光电科技股份有限公司 Demosaicing method, system and medium based on FPGA
CN118233764A (en) * 2024-05-23 2024-06-21 杭州海康威视数字技术股份有限公司 Image demosaicing method and device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101007754B1 (en) * 2005-12-29 2011-01-14 마이크론 테크놀로지, 인크 Method and apparatus for providing color interpolation of color filter array using edge detection and correction term

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101007754B1 (en) * 2005-12-29 2011-01-14 마이크론 테크놀로지, 인크 Method and apparatus for providing color interpolation of color filter array using edge detection and correction term

Non-Patent Citations (40)

* Cited by examiner, † Cited by third party
Title
[1] B. E. Bayer, "Color imaging array," U.S. Patent 3 971 065, July 1976.
[10] N. X. Lian, L. Chang, Y. -P. Tan, and V. Zagorodnov, "Adaptive filtering for color filter array demosaicking," IEEE Trans. Image Processing, vol. 16, no. 10, pp. 2515-2525, Oct. 2007.
[11] B. Leung, G. Jeon, and E. Dubois, "Least-squares luma-chroma demultiplexing algorithm for Bayer demosaicking," IEEE Trans. Image Processing, vol. 20, no. 7, pp. 1885-1894, Jul. 2011.
[12] Y. Fang, "DAC spectrum of binary sources with equally-likely symbols," IEEE Trans. Communications, vol. 61, no. 4, pp. 1584-1594, Apr. 2013.
[13] Y. Fang, "LDPC-based lossless compression of nonstationary binary sources using sliding-window belief propagation," IEEE Trans. Communications, vol. 60, no. 11, pp. 3161-3166, Nov. 2012.
[14] Y. Fang, "Joint source-channel estimation using accumulated LDPC syndrome," IEEE Communications Letters, vol. 14, no. 11, pp. 1044-1046, Nov. 2010.
[15] Y. Fang, "EREC-based length coding of variable-length data blocks," IEEE Trans. Circuits and Systems for Video Technology, vol. 20, no. 10, pp. 1358-1366, Oct. 2010.
[16] Y. Fang, "Distribution of distributed arithmetic codewords for equiprobable binary sources," IEEE Signal Processing Letters, vol. 16, no. 12, pp. 1079-1082, Dec. 2009.
[17] Y. Fang, "Crossover probability estimation using mean-intrinsic-LLR of LDPC syndrome," IEEE Communications Letters, vol. 13, no. 9, pp. 679-681, Sep. 2009.
[18] G. Jeon, M. Anisetti, V. Bellandi, and J. Jeong, "Fuzzy rule-based
[19] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Rough sets-assisted subfield optimization for alternating current plasma display panel," IEEE Trans. Consumer Electronics, vol. 53, no. 3, pp. 825-832, Aug. 2007.
[2] H. J. Trussell and R. E. Hartwig, "Mathematics for demosaicking," IEEE Trans. Image Processing, vol. 11, no. 4, pp. 485-492, Apr. 2002.
[20] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Fuzzy weighted approach to improve visual quality of edge-based filtering," IEEE Trans. Consumer Electronics, vol. 53, no. 4, pp. 1661-1667, Nov. 2007.
[21] G. Jeon, M. Anisetti, D. Kim, V. Bellandi, E. Damiani, and J. Jeong, "Fuzzy rough sets hybrid scheme for motion and scene complexity adaptive deinterlacing," Image and Vision Computing, vol. 27, no. 4, pp. 425-436, March 2009.
[22] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Designing of a type-2 fuzzy logic filter for improving edge-preserving restoration of interlaced-to-progressive conversion," Information Sciences, vol. 179, no. 13, pp. 2194-2207, June 2009.
[23] G. Jeon, M. Anisetti, and S. Kang, "A rank-ordered marginal filter for deinterlacing," Sensors, vol. 13, no. 3, pp. 3056-3065, March 2013.
[24] G. Jeon, M. Anisetti, J. Lee, V. Bellandi, E. Damiani, and J. Jeong, "Concept of linguistic variable-based fuzzy ensemble approach: application to interlaced HDTV sequences," IEEE Trans. Fuzzy Systems, vol. 17, no. 6, pp. 1245-1258, Dec. 2009.
[25] G. Jeon, S.J. Park, Y. Fang, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Specification of efficient block matching scheme for motion estimation in video compression," Optical Engineering, vol. 48, no. 12, Dec. 2009, pp. 127005.
[26] G. Jeon, M.Y. Jung, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Specification of the geometric regularity model for fuzzy if-then rulebased deinterlacing," IEEE/OSA Journal of Display Technology, vol. 6, no. 6, pp. 235-243, June 2010.
[27] K. H. Chung and Y. H. Chan, "Color demosaicing using variance of color differences," IEEE Trans. Image Processing, vol. 15, no. 10, pp. 2944-2955, Oct. 2006.
[28] O. Werner, "Drift analysis and drift reduction for multi-resolution hybrid video coding," Signal Processing: Image Communication, vol. 8, no. 5, pp. 387-409, July 1996.
[29] H. Kimata and Y. Yashima, "3D motion vector coding with block base adaptive interpolation filter on H.264," in Proc. IEEE ICASSP2003, vol. 3, 2003, pp. 633-636.
[3] L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. Image Processing, vol. 14, no. 12, pp. 2167-2178, Dec. 2005.
[30] X. Chen, G. Jeon, and J. Jeong, "A gradient inverse weighted filtering approach for video deinterlacing," IEICE Trans. Communications, vol. E95-B, no. 12, pp. 3933-3936, Dec. 2012.
[31] Kodak color image dataset, http://r0k.us/graphics/kodak/
[32] X. Li, B. Gunturk, and L. Zhang, "Image demosaicing: a systematic survey," in Proc. of SPIE, vol. 6822, pp. 68221J, 2008.
[33] X. Zhang and B. A. Wandell. "A spatial extension of cielab for digital color image reproduction," Journal of Society for Informaiton Display, vol. 5, no. 1, pp. 61-63, March 1997.
[34] L. Zhang, L. Zhang, X. Mou, and D. Zhang, "FSIM: a feature similarity index for image quality assessment," IEEE Trans. Image Processing, vol. 20, no. 8, pp. 2378-2386, 2011.
[35] Y. Yun, J. Bae, and J. Kim, "Multidirectional edge-directed interpolation with region division for natural images," Opt. Eng., vol. 51, no. 4, pp. 040503, April 2012.
[36] X. Chen, G. Jeon, and J. Jeong, "Voting-based directional interpolation method and its application to still color image demosaicking," accetped in IEEE Trans. Circuits and Systems for Video Technology, DOI: 10.1109/TCSVT.2013.2255421.
[4] I. Pekkucuksen and Y. Altunbasak, "Edge strength filter based color filter array interpolation," IEEE Trans. Image Processing, vol. 21, no. 1, pp. 393-397, Jan. 2012.
[5] D. Paliy, V. Katkovnik, R. Bilcu, S. Alenius, and K. Egiazarian, "Spatially adaptive color filter array interpolation for noiseless and noisy data," Int. J. Imaging Sys. Tech., Sp. Iss. Appl. Color Image Process., vol. 17, no. 3, pp. 105-122, Oct 2007.
[6] L. Zhang, A. Wu, A. Buades, and X. Li, "Color demosaicking by local directional interpolation and non-local adaptive thresholding," Journal of Electronic Imaging, vol. 20, no. 2, pp. 023016, 2011.
[7] W. Lu and Y. Tan, "Color filter array demosaicking: new method and performance measures," IEEE Trans. Image Processing, vol. 12, no. 10, pp. 1194-1210, 2003.
[8] A. Buades, B. Coll, J.-M. Morel, and C. Sbert, "Self-similarity driven color demosaicking," IEEE Trans. Image Processing, vol. 18, no. 6, pp. 1192-1202, June 2009.
[9] C. Hu, L. Cheng, and Y. M. Lu, "Graph-based regularization for color image demosaicking," in Proc. IEEE ICIP2012, 2012.
edge-restoration algorithm in HDTV interlaced sequences," IEEE Trans. Consumer Electronics, vol. 53, no. 2, pp. 725-731, May 2007.
Xiangdong Chen ET AL., Color filter array interpolation by successive refinement over color channels using gradient inverse-weighted filtering, Optics Communications, 2014, 318, 189-198P *
Xiangdong Chen ET AL., Local adaptive directional color filter array interpolation based on inter-channel correlation, Optics Communications, 2014, 269-276P *
Xiangdong Chen ET AL., Voting-Based Directional Interpolation Method and Its Application to Still Color Image Demosaicking, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, FEBRUARY 2014, VOL. 24, NO. 2 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082880A (en) * 2016-12-08 2019-07-10 주식회사 소니 인터랙티브 엔터테인먼트 Information processing apparatus and information processing method
KR102196845B1 (en) * 2016-12-08 2020-12-30 주식회사 소니 인터랙티브 엔터테인먼트 Information processing device and information processing method
US11282224B2 (en) 2016-12-08 2022-03-22 Sony Interactive Entertainment Inc. Information processing apparatus and information processing method
KR20190081462A (en) * 2017-12-29 2019-07-09 인천대학교 산학협력단 Bayer demosaicking method using bilateral filtering and directional differentiation
KR102050352B1 (en) 2017-12-29 2019-12-02 인천대학교 산학협력단 Bayer demosaicking method using bilateral filtering and directional differentiation
US11509869B2 (en) 2020-02-04 2022-11-22 Samsung Electronics Co., Ltd. Pixel array reducing loss of image information and image sensor including same
US11743606B2 (en) 2020-02-04 2023-08-29 Samsung Electronics Co., Ltd. Pixel array reducing loss of image information and image sensor including same
CN111784575A (en) * 2020-06-05 2020-10-16 上海赛昉科技有限公司 A Calibration-Based Method for Surveillance Camera Demosaicing
CN111784575B (en) * 2020-06-05 2023-09-19 上海赛昉科技有限公司 A calibration-based method for demosaicing surveillance cameras
CN114792286A (en) * 2021-01-26 2022-07-26 珠海全志科技股份有限公司 Method and device for realizing heavy mosaic
CN118158551A (en) * 2024-04-30 2024-06-07 合肥埃科光电科技股份有限公司 Demosaicing method, system and medium based on FPGA
CN118233764A (en) * 2024-05-23 2024-06-21 杭州海康威视数字技术股份有限公司 Image demosaicing method and device

Similar Documents

Publication Publication Date Title
KR101660447B1 (en) Multi directional weighted interpolation method for Bayer pattern CFA demosaicking
Chen et al. Multidirectional weighted interpolation and refinement method for Bayer pattern CFA demosaicking
Dengwen et al. Colour demosaicking with directional filtering and weighting
Chen et al. Voting-based directional interpolation method and its application to still color image demosaicking
KR20140070216A (en) Method and Apparatus for processing image
KR20100084458A (en) Image interpolation method and apparatus using pattern characteristics of color filter array
WO2011141196A1 (en) Two-dimensional super resolution scaling
Chang et al. Hybrid color filter array demosaicking for effective artifact suppression
KR101907451B1 (en) Filter based high resolution color image restoration and image quality enhancement apparatus and method
Wang et al. A deep survey in the Applications of demosaicking
Zhou et al. An effective color image interpolation algorithm
Sung et al. Color filter array demosaicking by using subband synthesis scheme
Iriyama et al. Deep demosaicking considering inter-channel correlation and self-similarity
Song et al. Edge pattern based demosaicking algorithm of color filter array
Wu et al. Color demosaicking with sparse representations
KR102027886B1 (en) Image Resizing apparatus for Large Displays and method thereof
Chen et al. A gradient inverse weighted filtering approach for video deinterlacing
Gupta et al. Performance analysis of median filter demosaicking algorithm using new extended bilinear demosaicking
KR102018246B1 (en) Gradient-Based RGBW CFA Demosaicking Technique
Jiang et al. Improved directional weighted interpolation method combination with anti-aliasing FIR filter
Itoh et al. Up-sampling of YCbCr4: 2: 0 image exploiting inter-color correlation in RGB domain
Chen et al. Local adaptive directional color filter array interpolation based on inter-channel correlation
Song A New Time-Effective Weighted Interpolation Method for Color Filter Array Demosaicking
Chen et al. A Low-Complexity Interpolation Method for Single-Sensor Camera Imaging with White-RGB Color Filter Array
Jeong et al. Edge-Adaptive Demosaicking for Reducing Artifact along Line Edge

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150326

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160318

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160907

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160921

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160922

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190826

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200825

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210825

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220823

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240823

Start annual number: 9

End annual number: 9