Nothing Special   »   [go: up one dir, main page]

KR101026049B1 - White balance adjusting apparatus and method considering effect of single tone image - Google Patents

White balance adjusting apparatus and method considering effect of single tone image Download PDF

Info

Publication number
KR101026049B1
KR101026049B1 KR1020090105486A KR20090105486A KR101026049B1 KR 101026049 B1 KR101026049 B1 KR 101026049B1 KR 1020090105486 A KR1020090105486 A KR 1020090105486A KR 20090105486 A KR20090105486 A KR 20090105486A KR 101026049 B1 KR101026049 B1 KR 101026049B1
Authority
KR
South Korea
Prior art keywords
white balance
automatic white
image frame
input image
histogram
Prior art date
Application number
KR1020090105486A
Other languages
Korean (ko)
Inventor
김경린
강봉순
이성목
장원우
안호필
최원태
김주현
Original Assignee
동아대학교 산학협력단
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단, 삼성전기주식회사 filed Critical 동아대학교 산학협력단
Priority to KR1020090105486A priority Critical patent/KR101026049B1/en
Application granted granted Critical
Publication of KR101026049B1 publication Critical patent/KR101026049B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

PURPOSE: A white balance adjusting apparatus and a method for considering effect of a single tone image are provided to solve a problem of white balance defects due to an effect of an excessive single tone image. CONSTITUTION: A single tone image determining unit(14) respectively compares the maximum value of the histogram of the Cb value or the Cr value with a preset first threshold value. The single tone image determining unit decides an input image frame which has bigger than the first threshold value for a single tone image. An auto white balance gain computing unit(17) computes the automatic white balance gain using a color information of the input image frame excluding the decided input image frame.

Description

단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치 및 방법{WHITE BALANCE ADJUSTING APPARATUS AND METHOD CONSIDERING EFFECT OF SINGLE TONE IMAGE}WHITE BALANCE ADJUSTING APPARATUS AND METHOD CONSIDERING EFFECT OF SINGLE TONE IMAGE}

본 발명은 디지털 영상처리 분야에 관한 것으로, 더욱 상세하게는 단일 색상이 크게 분포하는 단색 영상에서 단일 색상이 자동 화이트 밸런스 조정을 위한 이득 연산에 미치는 영향을 고려하여 자동 화이트 밸런스가 무너지는 것을 방지할 수 있는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치 및 방법에 관한 것이다.The present invention relates to the field of digital image processing, and more particularly, to prevent the automatic white balance from falling down in consideration of the effect of the single color on the gain calculation for automatic white balance adjustment in a monochromatic image having a large distribution of single colors. The present invention relates to an automatic white balance adjustment apparatus and method considering the influence of a monochrome image.

일반적으로, 사람의 시각은 광원이 바뀌어도 동일한 피사체에 대하여 항상 같은 색으로 인지하는 특징이 있다. 즉, 광원이 태양광, 형광등, 백열등과 같이 색온도가 다른 광원으로 변화하는 경우에도 사람의 시각은 흰색을 항상 동일한 흰색으로 인식하게 된다. 이에 반해, 고체 촬상소자를 적용한 이미지 센서는 빛을 전기적 신호로 변환하는 장치이기 때문에 광원에 따라 변화하는 피사체의 색상을 변화한 그대로 검출하게 된다. 따라서, 이러한 이미지 센서로부터 검출된 색상을 사람 의 시각과 유사하게 표현될 수 있도록 하기 위해 대부분의 디지털 이미지 처리 장치들(예를 들어, 디지털 카메라)은 화이트밸런스를 자동으로 조정하기 위한 자동 화이트 밸런스 조정 알고리즘을 적용하고 있다.In general, the human vision is characterized by always recognizing the same color with respect to the same subject even if the light source is changed. That is, even when the light source changes to a light source having a different color temperature such as sunlight, fluorescent lamps, or incandescent lamps, the human vision always recognizes white as the same white color. On the contrary, since the image sensor to which the solid-state image sensor is applied is a device that converts light into an electrical signal, the color of the subject that changes according to the light source is detected as it is. Therefore, in order to be able to express the color detected from such an image sensor similar to the human vision, most digital image processing devices (e.g., digital cameras) have automatic white balance adjustment for automatically adjusting the white balance. The algorithm is applied.

통상적으로, 디지털 이미지 처리 장치에서 이루어지는 자동 화이트 밸런스 조정은, 이미지에서의 중간 밝기를 가진 흰색 피사체가 동일한 출력 레벨들을 가지는 색신호(RGB 신호)로 표현되도록 함으로써 수행된다. 종래의 자동 화이트 밸런스 조정을 위하여 사용되는 가장 일반적인 알고리즘은, 광원의 변동과 상관없이 화면의 색 평균치를 화이트로 가정하여 색 평균치를 구한 후 색 평균치를 화이트로 이동시킬 수 있는 색신호 레벨의 이득을 구하여 전체 이미지에 적용하는 방식을 채택하고 있다. 예를 들면, 종래의 자동 화이트 밸런스 조정 방법은 입력 이미지 내의 백색 추정 영역에 속한 화소들의 색차 신호인 Cb, Cr 값을 적분하고 이에 대한 평균값을 계산하여 적색(R)과 청색(B)의 이득을 조정하는 방법을 채택하였다.Typically, automatic white balance adjustment made in the digital image processing apparatus is performed by causing a white subject having an intermediate brightness in the image to be represented by a color signal (RGB signal) having the same output levels. The most common algorithm used for the automatic white balance adjustment is to calculate the color average value by assuming the color average value of the screen as white regardless of the variation of the light source, and then obtain a gain of the color signal level that can shift the color average value to white. Applied to the whole image. For example, a conventional automatic white balance adjustment method integrates Cb and Cr values, which are color difference signals of pixels belonging to a white estimation region in an input image, and calculates average values thereof to obtain gains of red (R) and blue (B). The method of adjustment was adopted.

그러나 이러한 통상의 자동 화이트 밸런스 조정 기술들은 한 색상이 매우 넓게 분포하는 단색 영상에서는 화이트 밸런스를 위한 이득을 연산하는데 한 색상의 영향을 크게 받아 연산된 이득을 적용한 경우 화이트 밸런스가 무너지는 문제가 발생하게 된다. 따라서, 입력되는 영상이 단색 영상인지 판단하는 기술이 자동 화이트 밸런스 조정 알고리즘에 요구되고 있다.However, these conventional automatic white balance adjustment techniques can calculate the gain for white balance in a monochromatic image in which one color is very widely distributed. Therefore, when the calculated gain is applied, the white balance is broken. do. Therefore, a technique for determining whether an input image is a monochrome image is required for an automatic white balance adjustment algorithm.

이러한, 종래의 단색영상 판단 방법으로, 입력영상의 RGB 각각의 데이터를 모두 고려하여 인접한 화소와의 값들을 비교하고 인접 화소와의 값 차에 대한 데이터의 누적을 통해서 단색영상을 판단하는 방법이 알려져 있다. 이 종래의 방법은 시스템의 효율성이 떨어질 수 있으며 이웃한 화소와의 비교를 통해서 이상적인 단색영상은 판단할 수 있지만 카메라 센서로부터 입력되는 단색영상은 완전히 특정한 한 영역에 모두 집중적으로 형성되는 경우가 아니라 특정한 영역 주변에 집중되어 있는 형태로 구성되어 있기 때문에 이웃한 화소간의 비교 오차가 진행될수록 계속 누적 된다면 최종적으로 판단의 오류가 발생할 확률이 높다. 또한, 이웃한 화소와의 비교는 단순히 한 프레임을 고려했을 때는 단색영상으로 판단하여 색상의 왜곡의 발생을 방지할 수 있으나, 다양한 색상이 비교적 일정하게 분포하는 복합영상에서 한가지 색상이 넓게 분포하는 단색영상으로의 진행과정은 판단할 수 없는 문제점이 있다.As a conventional method of determining a monochrome image, a method of determining a monochrome image by comparing values with adjacent pixels in consideration of all data of RGB of an input image and accumulating data on a difference in value between adjacent pixels is known. have. This conventional method can reduce the efficiency of the system and determine the ideal monochromatic image by comparing with neighboring pixels, but the monochromatic image input from the camera sensor is not a case where all of the monochromatic image is concentrated in one specific area. Because it is composed in the form of concentration around the area, if the comparison error between neighboring pixels continues to accumulate, there is a high probability that an error of judgment will eventually occur. In addition, the comparison with neighboring pixels can be considered as a monochromatic image when considering only one frame to prevent color distortion, but in a composite image where various colors are distributed relatively uniformly, a single color is widely distributed in one color. There is a problem in that the progress to the image cannot be determined.

또 다른 단색영상 판단 방법으로, 화면의 중앙을 카메라 촬영을 위한 피사체의 영역으로 가정하고 해당 영역에서 피사체로 판단되는 윤곽선 영역을 판단해서 판단된 윤곽선 영역을 일정 크기의 블록으로 나누어서 화면 중앙의 피사체 영역의 휘도 값의 평균과 산포도를 비교하여 단색영상을 판단하는 방법이 알려져 있다. 이 방법은, 화면의 중앙에 대한 윤곽선 영역을 판단하고 해당 영역을 일정 크기의 블록으로 분할하는 과정에서 시스템의 부하가 증가될 수 있으며, 피사체 영역에 대한 가정이 어긋난 경우에는 원하는 결과를 얻을 수 없다는 단점이 있다. 그리고 이 방법 또한 복합영상에서 단색영상으로의 진행과정에 대한 고려가 없기 때문에 상기 경우가 발생하는 경우에는 올바르지 못한 결과를 얻을 수 있는 단점이 있다.As another method of determining a monochrome image, it is assumed that the center of the screen is the area of the subject for camera shooting, and the contour area determined as the subject in the area is judged, and the determined contour area is divided into blocks of a predetermined size and the subject area in the center of the screen. A method of determining a monochromatic image by comparing an average of a luminance value and a scatter diagram of a is known. In this method, the load on the system may be increased in determining the contour area of the center of the screen and dividing the area into blocks of a certain size, and the desired result may not be obtained if the assumption about the subject area is out of order. There are disadvantages. In addition, this method also has a disadvantage in that an incorrect result can be obtained when the above case occurs because there is no consideration of the process from the composite image to the monochrome image.

본 발명은 스틸 이미지 또는 동영상을 생성하는데 있어서 단색 영역이 과도하게 존재하는 경우 자동 화이트 밸런스 조정을 수행하더라도 화이트 밸런스가 깨어지는 것을 방지할 수 있는 자동 화이트 밸런스 조정 장치 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.The present invention is to solve the problem to provide an automatic white balance adjustment device and method that can prevent the white balance is broken even if the automatic white balance adjustment when there is an excessively monochromatic region in the generation of still images or movies It is a technical problem.

또한, 본 발명은 자동 화이트 밸런스 조정을 위한 연산량 및 하드웨어 크기를 감소시킬 수 있는 자동 화이트 밸런스 조정 장치 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.In addition, an object of the present invention is to provide an automatic white balance adjustment apparatus and method capable of reducing the amount of computation and hardware size for automatic white balance adjustment.

상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,According to an aspect of the present invention,

입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 샘플링 간격 설정부;A sampling interval setting unit for determining a pixel sampled in the input image frame according to a size of an input image frame;

상기 샘플링 간격 설정부에서 결정된 샘플링 되는 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 히스토그램 생성부;A histogram generator for generating a histogram of Cb and Cr values for the pixels to be sampled determined by the sampling interval setting unit;

상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하고, 상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하는 단색영상 판단부; 및The maximum value of the histogram of the Cb value or the maximum value of the histogram of the Cr value is compared with a first preset threshold value, and an input image frame having at least one of the maximum values greater than the first threshold value is monochrome. Monochromatic image determination unit judging as; And

상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임을 제외한 입력 이미지 프레임의 색상정보를 이용하여 자동 화이트 밸런스 이득을 연산하여 출력하는 자동 화이트 밸런스 이득 연산부를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치를 제공한다.Automatic in consideration of the influence of the monochrome image including an automatic white balance gain calculator which calculates and outputs an automatic white balance gain using color information of the input image frame except the input image frame determined as the monochrome image by the monochrome image determination unit. Provides a white balance adjustment device.

본 발명의 일실시형태에서, 상기 자동 화이트 밸런스 이득 연산부는, 상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력할 수 있다.In one embodiment of the present invention, the automatic white balance gain calculator is calculated for the previous input image frame without calculating the automatic white balance gain for the input image frame determined as the monochrome image by the monochrome image determiner. Auto white balance gain can be output.

본 발명의 일실시형태에서, 상기 히스토그램 생성부는, 하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성할 수 있다.In one embodiment of the present invention, the histogram generator may create a histogram of one of the values Cb and Cr for one input image frame.

본 발명의 일실시형태에는, 상기 단색영상 판단부에 의해 단색영상으로 판단되지 않은 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 제거대상 화소 판단부를 더 포함할 수 있다. 이 실시형태에서, 상기 자동 화이트 밸런스 이득 연산부는, 상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산할 수 있다.In one embodiment of the present invention, the Cb value and Cr adjacent to each other with a frequency greater than a second predetermined threshold value in the histogram of the Cb value and Cr value of the input image frame not determined as the monochrome image by the monochrome image determination unit. The display apparatus may further include a removal target pixel determination unit configured to group values, and determine pixels belonging to a group whose Cb value and Cr value range is narrower than a preset reference range as pixels not used for automatic white balance adjustment. In this embodiment, the automatic white balance gain calculator may calculate the automatic white balance gain using the remaining pixels except the pixels determined as pixels not used for the automatic white balance adjustment from the input image frame.

본 발명의 일실시형태는, 상기 제거대상 화소 판단부에서 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 제거량 판단부를 더 포함할 수 있으며, 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 상기 자동 화이트 밸런스 이득 연산부는 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력할 수 있다.An embodiment of the present invention may further include a removal amount determination unit for comparing the number of pixels determined to be not used for automatic white balance adjustment by the removal target pixel determination unit with a third preset threshold value. If the number of pixels determined not to be used for white balance adjustment is larger than the third threshold value, the automatic white balance gain calculation unit does not calculate the automatic white balance gain for the corresponding input image frame, but for the previous input image frame. The calculated auto white balance gain can be output.

상기 기술적 과제를 해결하기 위한 다른 수단으로서 본 발명은,As another means for solving the above technical problem, the present invention,

입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 단계;Determining a pixel sampled in the input image frame according to the size of an input image frame;

상기 샘플링되는 화소를 결정하는 단계에서 샘플링 되는 것으로 결정된 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 단계;Creating a histogram of Cb and Cr values for the pixels determined to be sampled in the step of determining the sampled pixels;

상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하는 단계; 및Comparing the maximum value of the histogram of the Cb value or the maximum value of the histogram of the Cr value with a first predetermined threshold value, respectively; And

상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하고, 상기 단색영상으로 판단된 입력 이미지 프레임을 제 외한 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법을 제공한다.Determine an input image frame in which at least one of the maximum values is larger than the first threshold value as a monochrome image, and use an automatic white balance gain calculated for the input image frame except for the input image frame determined as the monochrome image. The present invention provides an automatic white balance adjustment method in consideration of the influence of a monochrome image including the step of performing automatic white balance adjustment.

본 발명의 일실시형태에서, 상기 자동 화이트 밸런스 조정을 수행하는 단계는, 상기 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계일 수 있다.In one embodiment of the present invention, the performing of the automatic white balance adjustment may include: calculating the automatic white balance calculated for the previous input image frame without calculating the automatic white balance gain for the input image frame determined as the monochrome image; The automatic white balance adjustment may be performed using the gain.

본 발명의 일실시형태에서, 상기 히스토그램을 작성하는 단계는, 하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성하는 단계일 수 있다.In an embodiment of the present disclosure, generating the histogram may include generating a histogram of one of a Cb value and a Cr value for one input image frame.

본 발명의 일실시형태는, 상기 최대값들이 모두 상기 제1 임계값보다 크지 않은 경우, 상기 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, 그룹들의 Cb값 및 Cr값의 범위와 사전 설정된 기준 범위를 비교하는 단계;According to one embodiment of the present invention, when all of the maximum values are not greater than the first threshold value, Cb adjacent to each other with a frequency greater than a second predetermined threshold value in the histogram of the Cb value and the Cr value of the input image frame. Grouping values and Cr values, respectively, and comparing the ranges of the Cb and Cr values of the groups with a preset reference range;

상기 Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 단계; 및Determining pixels belonging to a group in which the ranges of the Cb and Cr values are narrower than a preset reference range as pixels not used for automatic white balance adjustment; And

상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산하는 단계를 더 포함할 수 있다.The method may further include calculating an automatic white balance gain using the remaining pixels except the pixels determined as pixels not used for the automatic white balance adjustment from the input image frame.

본 발명의 일실시형태는, 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 단계 및 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스를 수행하는 단계를 더 포함할 수 있다.In one embodiment of the present invention, the method further comprises: comparing the number of pixels determined not to be used for the automatic white balance adjustment with a third preset threshold value, and the number of pixels determined not to be used for the automatic white balance adjustment. If greater than the third threshold value, performing the automatic white balance using the automatic white balance gain calculated on the previous input image frame without calculating the automatic white balance gain on the corresponding input image frame; Can be.

본 발명에 따르면, 자동 화이트 밸런즈 수행시, 이미지 프레임에 포함된 과도한 단색 영역의 영향에 의해 화이트 밸런스가 깨어지는 문제점을 해결하여 자연스런 색상의 이미지를 구현할 수 있다.According to the present invention, when performing the automatic white balance, it is possible to solve the problem that the white balance is broken by the influence of the excessive monochromatic region included in the image frame to implement a natural color image.

또한, 본 발명에 따르면, 복합영상에서 단색영상으로의 진행과정에서의 자동 화이트 밸런스 수행시 증가하는 단색 영역을 자동 화이트 밸런스 이득 연산에서 제외 함으로써 동영상에서도 자연스런 색상 구현이 가능한 효과가 있다.In addition, according to the present invention, a natural color can be realized in a video by excluding a monochromatic region that increases when performing automatic white balance in the process of a composite image from a monochrome image to an automatic white balance gain calculation.

또한, 본 발명에 따르면, 입력되는 이미지 프레임의 모든 화소가 아닌 일부 화소만 사용하고, 하나의 이미지 프레임에 대해 Cr 또는 Cb 중 하나의 히스토그램 만 작성하므로 단색영상 판단에 필요한 연산량 및 하드웨어 크기를 감소시킬 수 있는 효과가 있다. In addition, according to the present invention, since only some pixels, not all pixels of the input image frame are used, and only one histogram of Cr or Cb is created for one image frame, it is possible to reduce the amount of computation and hardware required for determining a monochrome image. It can be effective.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. Embodiment of this invention is provided in order to demonstrate this invention more completely to the person skilled in the art to which this invention belongs. Therefore, it should be noted that the shape and size of the components shown in the drawings may be exaggerated for more clear explanation.

도 1은 본 발명의 일실시형태에 따른 화이트 밸런스 조정 장치의 블록 구성도이다.1 is a block diagram of a white balance adjustment device according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일실시형태에 따른 화이트 밸런스 조정 장치는, 색좌표 변환부(11), 샘플링 간격 설정부(12), 히스토그램 생성부(13), 단색영상 판단부(14), 제거대상 화소 판단부(15), 제거량 판단부(16), 자동 화이트 밸런스(Auto White Balance: AWB) 이득 연산부(17) 및 자동 화이트 밸런스 적용부(18)를 포함할 수 있다.As shown in FIG. 1, the white balance adjusting apparatus according to the exemplary embodiment of the present invention includes a color coordinate converting unit 11, a sampling interval setting unit 12, a histogram generating unit 13, and a monochrome image determining unit 14. ), A removal target pixel determination unit 15, a removal amount determination unit 16, an automatic white balance (AWB) gain calculator 17, and an automatic white balance application unit 18.

상기 색좌표 변환부(11)는 RGB 색좌표로 표현된 이미지 프레임을 YCbCr 색좌표로 변환한다. 통상적으로 이미지 센서가 장면을 캡쳐하여 출력하는 신호는 각 화소들을 RGB 중 하나의 색상으로 표현한 베이어 패턴을 나타내며, 이 베이어 패턴으로 출력된 이미지 프레임에 컬러 보간 알고리즘을 적용하여 각 화소들이 RGB 값으로 표현되는 RGB 색좌표로 변환된다. 본 발명의 색좌표 변환부(11)는 이 RGB 색좌표로 표현된 이미지 프레임을 YCbCr 색좌표로 변환한다.The color coordinate converter 11 converts an image frame expressed in RGB color coordinates into a YCbCr color coordinate. In general, a signal captured by an image sensor and outputting a scene represents a Bayer pattern in which each pixel is represented by one of the colors of RGB, and each pixel is represented as an RGB value by applying a color interpolation algorithm to an image frame output in the Bayer pattern. Is converted to RGB color coordinates. The color coordinate conversion unit 11 of the present invention converts an image frame expressed by this RGB color coordinate into a YCbCr color coordinate.

상기 샘플링 간격 설정부(12)는, 입력되는 이미지 프레임에서 샘플링 되는 화소를 결정한다. 즉, 상기 샘플링 간격 설정부(12)는, 입력되는 이미지 프레임에 포함된 모든 화소에서 일부 화소를 선택하기 위해 수평 또는/및 수직 방향의 샘플링 간격을 설정하고, 이 샘플링 간격에 해당하는 화소만을 포함하는 다운 샘플링된 이미지 프레임을 생성할 수 있게 한다. 상기 샘플링 간격 설정부(12)는 이후에 수행되는 단색영상 판단을 위해 적절한 사이즈의 이미지 프레임을 생성하기 위한 것으로, 입력되는 이미지 프레임의 사이즈에 따라 적절하게 샘플링 간격을 설정할 수 있다.The sampling interval setting unit 12 determines a pixel sampled from an input image frame. That is, the sampling interval setting unit 12 sets the sampling interval in the horizontal or / and vertical direction to select some pixels from all the pixels included in the input image frame, and includes only pixels corresponding to the sampling interval. To generate down-sampled image frames. The sampling interval setting unit 12 is for generating an image frame having an appropriate size for determining a monochrome image to be performed later, and may set the sampling interval appropriately according to the size of the input image frame.

상기 히스토그램 생성부(13)는 상기 변환된 YCbCr 색좌표를 이용하여, 상기 샘플링 간격 설정부(12)에서 샘플링되는 것으로 결정된 화소들을 포함하는 이미지 프레임에 대해 Cb 또는 Cr에 대한 히스토그램을 생성한다. 즉, 입력되는 이미지 프레임의 각 화소들의 Cb 또는 Cr 값을 파악하고, x축이 Cb 값을 나타내고 y축이 빈 도수를 나타내는 Cb의 히스토그램 또는 x축이 Cr 값을 나타내고 y축이 빈도수를 나타내는 Cr의 히스토그램을 각각 생성한다. 바람직하게, 상기 히스토그램 생성부(13)는, 샘플링된 하나의 이미지 프레임에 대해 Cb 값 및 Cr 값 중 하나의 값에 대한 히스토그램을 생성할 수 있다. 이러한 히스토그램을 생성하기 위한 Cb 값 또는 Cr 값의 선택은 입력되는 프레임의 순서에 따라 번갈아서 수행될 수 있다.The histogram generator 13 generates a histogram for Cb or Cr for an image frame including pixels determined to be sampled by the sampling interval setting unit 12 using the converted YCbCr color coordinates. That is, the Cb or Cr value of each pixel of the input image frame is grasped, and the histogram or the x-axis represents the Cr value and the y-axis represents the frequency and the y-axis represents the Cb value, and the y-axis represents the frequency. Create a histogram of each. Preferably, the histogram generator 13 may generate a histogram of one of a Cb value and a Cr value with respect to one sampled image frame. Selection of the Cb value or Cr value for generating such a histogram may be performed alternately according to the order of the input frames.

본 발명은 상기 샘플링 간격 설정부(12)에 의한 이미지 프레임의 일부 화소들을 샘플링하는 동작과, 하나의 이미지 프레임에 대해 하나의 색상값에 대해 히스토그램을 산출하는 과정을 통해 단색영상 판단에 소요되는 연산량 및 하드웨어 사이즈를 감소시킬 수 있다.According to an exemplary embodiment of the present invention, an operation amount of a single color image is determined by sampling a portion of pixels of an image frame by the sampling interval setting unit 12 and calculating a histogram with respect to one color value for one image frame. And hardware size can be reduced.

상기 단색영상 판단부(14)는 상기 히스토그램 생성부(13)에서 생성된 Cb 및 Cr의 히스토그램 각각의 최대값, 즉 최대 빈도수와 사전 설정된 제1 임계값을 비교하여 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 경우 해당 이미지 프레임을 단색 영상으로 판단한다.The monochrome image determination unit 14 compares a maximum value of each of the histograms of Cb and Cr generated by the histogram generator 13, that is, a maximum frequency and a preset first threshold value, so that at least one of the maximum values is determined. If larger than the first threshold value, the corresponding image frame is determined as a monochrome image.

상기 제거대상 화소 판단부(15)는 Cb 및 Cr의 히스토그램을 분석하여 해당 이미지 프레임이 복합영상에서 단색 영상으로 변경되고 있는지 판단하고, 단색 영역이 오토 화이트 밸런스에 영향을 미치는 것을 차단하기 위해 오토 화이트 밸런스 이득 연산에서 단색 영역을 제거할 수 있도록 단색 영역의 화소들을 판단한다. 상기 제거대상 화소 판단부(15)는 Cb 및 Cr의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖는 Cb 및 Cr의 값 중 서로 인접한 값들을 그룹화하고, 이 그 룹들의 Cb 및 Cr의 범위가 사전 설정된 기준 범위보다 좁은 경우 이 그룹에 속한 화소들은 단색 영역에 포함되는 화소들로 판단하고 해당 영상에서 이 그룹에 속한 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산할 수 있게 한다.The removal target pixel determination unit 15 analyzes the histograms of Cb and Cr to determine whether the corresponding image frame is changed from the composite image to the monochrome image, and to prevent the monochrome region from affecting the auto white balance. The pixels of the monochrome region are determined to remove the monochrome region in the balance gain operation. The removal target pixel determination unit 15 groups adjacent values among the values of Cb and Cr having a frequency greater than a second preset threshold in the histograms of Cb and Cr, and the ranges of Cb and Cr of these groups are If it is narrower than the preset reference range, the pixels belonging to this group are determined to be pixels included in the monochrome region, and the automatic white balance gain can be calculated using the remaining pixels except for the pixels belonging to the group in the corresponding image.

상기 제거량 판단부(16)는 상기 제거대상 화소 판단부(15)에서 오토 화이트 밸런스 이득 연산에서 제외되어야 하는 것으로 판단된 화소들의 수를 판단하여 과도한 수의 화소가 이득 연산에서 제외되어야 하는 것으로 판단된 경우, 이 판단된 이미지 프레임에 대해 자동 화이트 밸런스 이득 연산 새로이 수행하는 것을 차단하게 한다.The removal amount determination unit 16 determines the number of pixels determined to be excluded from the auto white balance gain calculation by the removal target pixel determination unit 15, and determines that an excessive number of pixels should be excluded from the gain calculation. In this case, the automatic white balance gain calculation is blocked from performing a new operation on the determined image frame.

상기 자동 화이트 밸런스 이득 연산부(17)는, 입력 이미지 프레임의 각 화소들의 색상정보를 이용하여 당 기술분야에 알려진 다양한 기법을 이용하여 색상값을 변동시킬 수 있는 자동 화이트 밸런스 이득을 연산한다. 상기 자동 화이트 밸런스 이득 연산부(17)는 입력 이미지 프레임의 색상 정보를 이용하여 자동 화이트 밸런스 이득을 연산하되, 상기 단색영상 판단부(14)에서 입력 이미지 프레임이 단색영상으로 판단된 경우에는 해당 입력 이미지 프레임을 이용한 자동 화이트 밸런스 이득을 연산하지 않고 이전 입력 이미지 프레임에 대해 연산되었던 자동 화이트 밸런스 이득을 그대로 출력할 수 있다. 또한, 상기 자동 화이트 밸런스 이득 연산부(17)는 상기 제거대상 화소 판단부(15)에서 자동 화이트 밸런스 이득 연산에서 제외되어야 하는 것으로 판단된 화소들을 입력 이미지 프레임에서 제외하고 나머지 화소들의 색상정보를 이용하여 자동 화이트 밸런스 이득을 연산할 수 있다. 또한, 상기 자동 화이트 밸런스 이득 연산부(17)는 상기 제거량 판단부(16)에 의해 상기 제거대상 화소 판단부(15)에서 오토 화이트 밸런스 이득 연산에서 제외되어야 하는 것으로 판단된 화소들의 수가 과도하게 많은 경우, 해당 입력 이미지 프레임을 이용한 자동 화이트 밸런스 이득을 연산하지 않고 이전 입력 이미지 프레임에 대해 연산되었던 자동 화이트 밸런스 이득을 그대로 출력할 수 있다.The automatic white balance gain calculator 17 calculates an automatic white balance gain that can change a color value by using various techniques known in the art, using the color information of each pixel of the input image frame. The automatic white balance gain calculator 17 calculates the automatic white balance gain by using the color information of the input image frame, and when the input image frame is determined to be a monochrome image by the monochrome image determiner 14, the corresponding input image. It is possible to output the automatic white balance gain calculated for the previous input image frame without calculating the automatic white balance gain using the frame. Also, the automatic white balance gain calculator 17 excludes the pixels determined to be excluded from the automatic white balance gain calculation by the removal target pixel determination unit 15 from the input image frame and uses the color information of the remaining pixels. Automatic white balance gain can be calculated. In addition, when the number of pixels determined by the removal amount determining unit 16 to be excluded from the automatic white balance gain calculation by the removal amount determining unit 16 is excessive, the automatic white balance gain calculating unit 17 is excessively large. Instead of calculating the automatic white balance gain using the corresponding input image frame, the automatic white balance gain calculated for the previous input image frame may be output as it is.

상기 자동 화이트 밸런스 이득 적용부(18)는, 상기 자동 화이트 밸런스 이득 연산부(17)에서 입력 이미지 프레임의 색상 상태에 따라 연산되어 출력되는 자동 화이트 밸런스 이득을 입력 이미지 프레임에 적용하여 자동 화이트 밸런스 조정이 이루어진 이미지 프레임을 생성한다.The automatic white balance gain applying unit 18 applies the automatic white balance gain calculated and output according to the color state of the input image frame by the automatic white balance gain calculating unit 17 to the input image frame to automatically adjust the white balance. Create an image frame.

상기와 같이 구성되는 본 발명의 일실시형태에 따른 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치의 작용 및 효과에 대해 첨부도면을 참조하여 더욱 상세하게 설명한다.The operation and effects of the automatic white balance adjustment device in consideration of the influence of the monochrome image according to the exemplary embodiment of the present invention configured as described above will be described in more detail with reference to the accompanying drawings.

도 2는 본 발명의 일실시형태에 따른 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법을 도시한 플로 차트이다.2 is a flowchart illustrating an automatic white balance adjustment method considering the influence of a monochrome image according to an embodiment of the present invention.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시형태는 각 화소가 RGB 색좌표로 표현된 입력 이미지 프레임을 색좌표 변환부(11)에서 YCbCr 색좌표로 변환하는 단계(S21) 및 입력 이미지 프레임에서 일부 화소를 선택하는 샘플링을 수행하기 위한 샘플링 간격을 설정하는 단계(S22)로부터 시작될 수 있다.As shown in FIG. 1 and FIG. 2, in one embodiment of the present invention, an input image frame in which each pixel is expressed in RGB color coordinates is converted by the color coordinate converting unit 11 into YCbCr color coordinates (S21) and the input image frame. In operation S22, a sampling interval for performing sampling for selecting some pixels may be set.

이어, 히스토그램 생성부(13)에서, 샘플링 간격에 따라 선택된 화소를 포함하는 이미지 프레임의 색상 정보에 대한 고려를 위해 Cb 또는 Cr의 히스토그램을 생성한다(S23). 이 때, 하나의 샘플링된 이미지 프레임에 대해서는 Cb 값 및 Cr 값 중 하나의 히스토그램을 생성할 수 있다. 히스토그램의 X축은 0부터 255의 값을 가지며 이는 한 픽셀에서 Cb, Cr이 가질 수 있는 값의 범위를 나타낸다. 그리고 각각의 히스토그램 X축은 0부터 255까지의 값을 모두 하나씩 고려하여 모두 256개의 그룹으로 나누어서 히스토그램을 생성할 수 있으나, 시스템의 부담이 커질 수 있다. 그러므로 0부터 255까지 생성되는 256개의 그룹을 일정 범위의 값끼리는 서로 그룹으로 묶어서 고려함으로 히스토그램을 분석하기 위한 데이터의 그룹을 256개 보다 줄여줄 수 있도록 하여 시스템의 효율성을 높일 수 있도록 하였다. 이 때 한 그룹이 갖는 값의 크기를 작게 한다면 히스토그램의 정밀도는 높아지는 반면에 시스템의 복잡도가 증가하게 되고, 한 그룹이 갖는 값의 크기를 크게 한다면 고려해야 되는 그룹의 개수는 줄어들어 시스템의 부담을 줄여줄 수 있지만 히스토그램의 정밀도는 낮아질 수 있다. 예를 들어, 0부터 255까지의 값에서 하나의 그룹 크기를 4로 지정하는 경우, 0~3, 4~7, ..., 248~251, 252~255로 그룹을 나누어 총 64개의 그룹으로 히스토그램을 생성할 수 있다. 히스토그램의 Y축은 입력 이미지 프레임의 전 체 픽셀들을 고려하여 X축의 Cb 및 Cr 값이 나타나는 빈도수를 나타낸다. 이 때, Y축에 표현되는 빈도수는 해당 Cb, Cr값을 나타내는 픽셀의 수를 그대로 나타낼 수도 있으나, 실제 픽셀 수를 전체 픽셀 개수로 나누어 0~1까지 정규화 시킨 값으로 표현할 수도 있다. 이와 같이 생성된 Cb, Cr의 히스토그램은 Cb, Cr이 갖는 각각의 값에 전체 영상 대비 얼마나 많은 픽셀들이 분포되어 있는지를 알 수 있다.Subsequently, the histogram generator 13 generates a histogram of Cb or Cr in order to consider the color information of the image frame including the pixel selected according to the sampling interval (S23). In this case, a histogram of one of a Cb value and a Cr value may be generated for one sampled image frame. The X-axis of the histogram has a value from 0 to 255, which represents the range of values that Cb and Cr can have in one pixel. Each histogram X-axis can generate a histogram by dividing it into 256 groups by considering all values from 0 to 255 one by one, but the burden on the system can be increased. Therefore, 256 groups generated from 0 to 255 are considered by grouping a range of values into each other so that the efficiency of the system can be improved by reducing the group of data for analyzing the histogram to less than 256. At this time, if the value of one group is smaller, the histogram accuracy is increased, but the complexity of the system is increased. If the value of one group is larger, the number of groups to be considered is reduced, which reduces the burden on the system. However, the accuracy of histograms can be lowered. For example, if you specify a group size of 4 from 0 to 255, the group is divided into 0 ~ 3, 4 ~ 7, ..., 248 ~ 251, 252 ~ 255 to 64 groups in total. You can create a histogram. The Y-axis of the histogram represents the frequency at which the Cb and Cr values of the X-axis appear in consideration of the entire pixels of the input image frame. In this case, the frequency expressed on the Y-axis may represent the number of pixels representing the corresponding Cb and Cr values as they are, but the actual number of pixels may be divided by the total number of pixels and normalized to 0-1. The histograms of Cb and Cr generated as described above can know how many pixels are distributed in the respective values of Cb and Cr compared to the entire image.

이어, 단색영상 판단부(14)에서는 샘플링된 입력 이미지 프레임에 대해 작성된 Cb, Cr의 히스토그램을 분석하여 입력 이미지 프레임이 단색 영상인지 판단한다(S24).Subsequently, the monochrome image determination unit 14 analyzes the histograms of Cb and Cr created on the sampled input image frame to determine whether the input image frame is a monochrome image (S24).

도 3 및 도 4는 본 발명의 일실시형태에 의해 생성된 Cb, Cr의 히스토그램의 일례를 도시한 것으로, 도 3은 한 색상의 영역이 넓게 분포하지 않은 복합 영상의 히스토그램을 도시한 것이며, 도 4는 한 색상의 영역이 넓게 분포하는 단색 영상의 히스토그램을 도시한 것이다.3 and 4 illustrate an example of a histogram of Cb and Cr generated by an embodiment of the present invention. FIG. 3 illustrates a histogram of a composite image in which regions of one color are not widely distributed. 4 shows a histogram of a monochrome image in which one color region is widely distributed.

도 3에 도시된 바와 같이, 복합영상의 Cb, Cr의 히스토그램 분포는 전체 영상에 다양한 색상의 분포로 인해 Cb, Cr 데이터의 분포가 넓게 퍼져있는 형태를 나타내고 있으며 따라서 Cb, Cr 히스토그램의 Y축, 즉 빈도수의 최대값이 크게 나타나지 않음을 확인할 수 있다. 이에 반해, 도 4의 단색영상의 Cb, Cr 히스토그램의 분포는 단일 색에 해당되는 부분에 집중적으로 구성되어 있어서 누적 카운팅되는 픽셀의 수가 증가하게 되고 따라서 Cb, Cr 히스토그램의 최대값 또한 복합영상의 히스토그램의 최대값 보다 상대적으로 큰 값을 갖는 것을 확인할 수 있다. 이 때, 단색영상이라고 정의하는 것은 영상의 RGB 값이 각각 한가지 값으로 완전히 집중되어 있는 이상적인 경우 만을 단색영상이라고 하는 것이 아니라 이미지 센서로부터 입력되는 다양한 이미지 즉, 자연환경에서 단색영상이라고 판단할 수 있는 벽면, 단색의 섬유, 등을 모두 포함한다. 그러므로 사용되는 이미지 센서의 특성 또는 조명의 반사광 등의 영향으로 인해서 영상의 RGB 값이 하나의 값에 모두 집중적으로 형성되는 것이 아니라 하나의 값 주변에 집중적으로 형성되는 형태를 나타낸다. 그러므로 본 발명에서는 단색영상의 이러한 특성 또한 고려하여 단색영상을 판단할 수 있도록 하였다.As shown in FIG. 3, the histogram distribution of Cb and Cr of the composite image shows a form in which the distribution of Cb and Cr data is widely spread due to the distribution of various colors in the entire image. Thus, the Y-axis, That is, it can be seen that the maximum value of the frequency does not appear large. In contrast, the distribution of the Cb and Cr histograms of the monochrome image of FIG. 4 is concentrated in a portion corresponding to a single color, thereby increasing the number of cumulative counting pixels. Thus, the maximum value of the Cb and Cr histograms is also the histogram of the composite image. It can be seen that the value is relatively larger than the maximum value of. In this case, the definition of a monochrome image is not a monochromatic image in which ideally the RGB values of the image are completely concentrated in one value. Instead, a monochromatic image may be judged as a monochrome image in a variety of images input from an image sensor, that is, a natural environment. It includes wall surfaces, monochromatic fibers, and the like. Therefore, due to the influence of the characteristics of the image sensor used or the reflected light of the illumination, the RGB values of the image are not formed intensively all at one value, but rather are formed around the one value. Therefore, in the present invention, it is possible to determine a monochrome image in consideration of this characteristic of the monochrome image.

본 발명의 일실시형태는, 이러한 복합영상과 단색영상의 상기 히스토그램의 특성을 이용하여, 다양한 이미지를 이용한 실험을 통해 얻은 소정의 임계값(Th1)을 사전 결정하고, Cb, Cr 히스토그램의 최대값이 이 임계값(Th1)보다 작으면 복합영상으로 판단해서 자동 화이트 밸런스를 정상적으로 수행하고, Cb Cr 히스토그램의 최대값이 임계값(Th1)보다 크면 단색영상으로 판단해서 자동 화이트 밸런스 이득을 새로이 생성하지 않고, 이전 입력 이미지 프레임에 의해 생성된 자동 화이트 밸런스 이득을 적용하여(S27) 단색영상의 탈색을 방지할 수 있게 한다. 더하여, 일반적인 단색영상일 경우 Cb 히스토그램의 형태와 Cr 히스토그램의 형태가 유사한 형태를 갖지만 일부 단색영상의 경우에는 Cb, Cr의 히스토그램의 형태가 유사하지 않고 Cb 또는 Cr의 히스토그램 중 하나의 히스토그램은 복합영상과 유사한 히스토그램의 형태를 나타나고 나머지 하나의 히스토그램은 단색영상의 히스토그램의 형태를 나타내는 경우가 발생할 수 있다. 이러한 경우를 고려하여 본 발명에서는 단색영상을 판단하기 위하여 Cb 히스토그램의 최대값 또는 Cr 히스토그램의 최대값, 두 값 중 하나의 경우만 임계값을 초과하여도 단색영상이라고 판단하는 것이 바람직하다.In one embodiment of the present invention, by using the characteristics of the histogram of the composite image and the monochromatic image, a predetermined threshold value Th1 obtained through experiments using various images is predetermined, and the maximum value of the Cb and Cr histograms is determined. If the threshold value is smaller than the threshold Th1, the image is judged as a composite image, and auto white balance is normally performed. If the maximum value of the Cb Cr histogram is larger than the threshold value, the monochrome image is judged as a monochrome image, and a new automatic white balance gain is not generated. Instead, by applying the automatic white balance gain generated by the previous input image frame (S27), it is possible to prevent the discoloration of the monochrome image. In addition, in the case of a general monochrome image, the Cb histogram and the Cr histogram have similar shapes, but in some monochrome images, the histograms of Cb and Cr are not similar, and the histogram of one of the histograms of Cb or Cr is a composite image. The histogram may be similar to that of the other, and the other one may show the histogram of the monochrome image. In consideration of such a case, in the present invention, in order to determine a monochrome image, it is preferable to determine that the monochrome image is the maximum value of the Cb histogram or the maximum value of the Cr histogram.

상기와 같은 입력 이미지 프레임의 단색 영상 여부를 판단하는 것을 통해 고정된 스틸 이미지를 획득하는데 있어 자동 화이트 밸런스의 성능을 향상시킬 수 있으나, 결과물로서 동영상을 제공하여야 하는 경우에는 1초에 수 프레임이 진행됨으로 단일 프레임을 단색영상으로 판단한다고 하더라도 복합영상에서 단색영상으로 또는 단색영상에서 복합영상으로 진행되는 과정에서 복합영상에서 일부분을 차지하게 되는 단색영상의 영향으로 인하여 색상의 왜곡이 발생할 수 있다. 그러한 경우 단색영상에서 복합영상으로의 진행 과정에서는 어차피 복합영상에서 자동 화이트 밸런스를 위한 새로운 자동 화이트 밸런스 이득이 생성됨으로 인해서 크게 문제점이 나타나지 않지만, 복합영상에서 단색영상으로 진행되는 경우에는 단색영상으로 판단되기 전까지는 자동 화이트 밸런스 이득이 연산됨으로써 복합영상의 일부분을 차지하고 있는 단색 영역의 영향으로 인해 색상의 왜곡이 발생한다. 즉, 단색영상으로의 진행을 마친 이후에는 전술한 단색 영상 판단 과정(S24)으로 인해 더 이상 자동 화이트 밸런스 이득의 변경이 수행되지 않고 단색영상으로 진행되기 이전의 자동 화이트 밸런스 이득이 유지됨으로 인해서 왜곡된 색상이 계속 유지되어서 단색영상이 탈색이 되지는 않지만, 왜곡된 색상이 유지되는 문제점이 발생한다. 이러한 문제점을 해결하기 위해서 본 발명의 일실시형태는 동영상 결과물을 생성하여야 하는 경우 복합영상에서 단색영상으로의 진행 과정에서 발생하는 색상의 왜곡을 방 지할 수 있는 기법을 구비한다.By determining whether the input image frame is a monochromatic image as described above, the performance of automatic white balance can be improved in obtaining a fixed still image. However, if a video is to be provided as a result, several frames are performed in one second. Even if a single frame is judged as a monochrome image, color distortion may occur due to the influence of the monochrome image occupying a part in the composite image during the process from the composite image to the monochrome image or from the monochrome image to the composite image. In such a case, there is no problem in the process of progressing from a monochrome image to a composite image anyway because a new automatic white balance gain is generated for the automatic white balance in the composite image anyway, but it is judged as a monochrome image when proceeding from the composite image to the monochrome image. Until then, the automatic white balance gain is calculated, resulting in color distortion due to the influence of the monochromatic region occupying a portion of the composite image. That is, after completing the process of the monochrome image, the automatic monochrome balance gain is no longer changed due to the above-described monochrome image determination process (S24), and the distortion is maintained because the automatic white balance gain before the progress to the monochrome image is maintained. Although the monochromatic image is not discolored because the discolored color is continuously maintained, a problem occurs that the distorted color is maintained. In order to solve this problem, an embodiment of the present invention includes a technique for preventing distortion of colors occurring in the process of moving from a composite image to a monochromatic image when generating a moving image result.

도 5는 복합영상에서 단색영상으로 진행되는 과정의 예제 이미지를 일정간격의 프레임 단위로 나타내고 있고, 도 6은 도 5의 일부 이미지 프레임의 Cb, Cr 히스토그램을 나타내고 있다. 도 5 및 도 6에 도시된 바와 같이, 복합영상에서 단색영상으로의 진행 과정에서는, 처음에는 복합영상의 특성을 나타내다가 서서히 단색영역에 대한 영향으로 인해 히스토그램 일부 영역의 빈도수가 증가됨을 확인할 수 있다. 즉, 단색 영역이 증가한 이후에는 최초의 복합영상에 의한 히스토그램 데이터들이 거의 없어지고 단색영역에 의해 생성된 데이터들로 구성되는 것을 알 수 있다. 그러므로 히스토그램 일부 영역의 빈도수가 현저히 증가하게 되는 히스토그램의 데이터를 복합영상에서 단색영상으로 진행되는 과정에서의 단색의 영향이라고 판단할 수 있다. 상기 판단에 따라서 완전히 단색영상으로 판단되기 이전에는 복합영상에서 진행되는 단색영상의 영향을 제거하고 남아있는 복합영상의 데이터들을 이용해서 자동 화이트 밸런스 이득 연산을 수행할 수 있도록 하는 것이 바람직하다. FIG. 5 illustrates an example image of a process of proceeding from a composite image to a monochrome image in units of frames at a predetermined interval, and FIG. 6 illustrates Cb and Cr histograms of some image frames of FIG. 5. As shown in FIG. 5 and FIG. 6, in the process of proceeding from the composite image to the monochrome image, it may be seen that the frequency of the partial histogram is gradually increased due to the influence on the monochromatic region while gradually exhibiting the characteristics of the composite image. . That is, after the monochromatic region is increased, it can be seen that the histogram data of the first composite image is almost disappeared and is composed of the data generated by the monochromatic region. Therefore, it can be judged that the data of the histogram, in which the frequency of some areas of the histogram increases significantly, is the influence of the monochromatic color in the process from the composite image to the monochrome image. According to the above determination, it is preferable to remove the influence of the monochrome image proceeding in the composite image and to perform the automatic white balance gain calculation by using the data of the remaining composite image before it is completely determined as the monochrome image.

단색영역의 영향으로 인해 생성되는 히스토그램 데이터를 제거하기 위해서는 입력 이미지 프레임에 대한 히스토그램에서 데이터가 형성되어 있는 형태를 비교해서 복합영상에 대한 그룹인지 또는 진행되고 있는 단색영상에 의한 그룹인지를 판단한다. 이를 위해 본 발명에서는, Cb, Cr의 히스토그램에서 사전 설정된 임계값(Th2)보다 큰 값을 갖는 서로 인접한 X축의 Cb, Cr값들을 그룹으로 형성하고, 각 그룹의 Cb, Cr 값의 범위와 사전 설정된 기준범위를 비교하여, Cb, Cr값의 범위가 사전 설정된 기준범위보다 작은 그룹은 단색 영역으로 진행되는 것으로 판단한다(S25). 단색 영역으로 진행되는 것으로 판단된 그룹에 속한 픽셀들은 자동 화이트 밸런스 이득 연산에서 제외시킨다. 도 7은 복합영상에서 단색영상으로의 진행과정을 재현한 히스토그램 형태의 예를 나타내고 있다. 도 7에서, 제2 그룹(G2)은 복합영상의 히스토그램 데이터의 형태를 나타내고, 있고 제1 그룹(G1)은 복합영상에서 단색영상으로의 진행과정에서 발생하는 단색영역의 히스토그램 데이터의 형태를 나타낸다. 일반적으로 복합영상에서 단색영상으로의 진행과정이 이루어진다 하더라도 완전히 독립된 데이터로 그룹이 형성되는 것이 아니라 도 7에서와 같이 2개의 그룹으로 나누어지는 형태는 띄지만 전체적으로는 두 그룹 사이에는 미량의 데이터가 잔재하게 된다. 그러므로 복합영상의 히스토그램 데이터들과 단색영상의 히스토그램 데이터들의 두 그룹을 명확하게 구분하기 위해서는 두 그룹 사이에 형성되어 있는 아주 작은 값의 데이터들을 영향을 제거하기 위해 소정의 임계값(Th2)보다 큰 빈도수를 나타내는 경우만 고려함으로써 복합영상에 의한 그룹과 단색영역에 의한 그룹을 명확하게 구분할 수 있게 된다. 단색영역에 의한 데이트임을 판단하기 위해서는 각 그룹이 X축, 즉 각 그룹의 Cb, Cr값의 범위를 비교한다. 일반적으로 복합영상의 히스토그램 데이터는 색상 정보가 다양하게 구성되어 있어 넓게 퍼져있는 형태로 이루어지며 단색영상의 히스토그램 데이터는 다양하지 않은 색상 정보의 구성으로 한 곳에 집중되어 있는 형태로 나타난다. 따라서 X 축의 0부터 255의 값을 갖는 히스토그램에서 복합영상의 데이터는 X축에 차지하게 되는 그룹 영역의 크기가 단색영상이 X축에 차지하게 되는 그룹 영역의 크기보다 큰 그룹 영역을 갖게 된 다. 그러므로 단색영역으로 판단할 수 있는 기준 범위를 사전에 설정하고, 히스토 그램에서 나타나는 그룹들 중 이 기준 범위 보다 작은 x축 범위, 즉 Cb, Cr의 범위를 갖는 그룹은 단색 영상에 의한 그룹으로 판단하여 해당 그룹에 속한 픽셀들은 자동 화이트 밸런스를 위한 이득 연산에서 제외한 후(S28), 자동 화이트 밸런스 이득을 연산하게 한다(S29).In order to remove the histogram data generated by the influence of the monochromatic region, the form in which the data is formed in the histogram for the input image frame is compared to determine whether the group is a composite image or a group based on the ongoing monochrome image. To this end, in the present invention, in the histogram of Cb, Cr, Cb, Cr values of adjacent X axes having a value larger than the preset threshold value Th2 are formed as a group, and the ranges of the Cb and Cr values of each group are preset and set. By comparing the reference range, it is determined that the group whose Cb and Cr values are smaller than the preset reference range proceeds to the monochromatic region (S25). Pixels belonging to the group determined to proceed to the monochrome region are excluded from the automatic white balance gain calculation. 7 shows an example of a histogram form that reproduces the process from a composite image to a monochrome image. In FIG. 7, the second group G2 represents the shape of the histogram data of the composite image, and the first group G1 represents the shape of the histogram data of the monochrome region that occurs in the process from the composite image to the monochrome image. . In general, even when the process from the composite image to the monochromatic image is performed, the group is not formed as completely independent data, but is divided into two groups as shown in FIG. 7, but overall, a small amount of data remains between the two groups. Done. Therefore, in order to clearly distinguish the two groups of the histogram data of the composite image and the histogram data of the monochromatic image, a frequency larger than a predetermined threshold (Th2) to remove the influence of very small data formed between the two groups By considering only the case of, the group by the composite image and the group by the monochromatic region can be clearly distinguished. In order to determine the date based on the monochromatic region, each group compares the X-axis, that is, the range of Cb and Cr values of each group. In general, the histogram data of a composite image is composed of various color information, and is spread in a wide form. The histogram data of a monochromatic image is composed of various color information and is concentrated in one place. Therefore, in the histogram having a value from 0 to 255 of the X axis, the composite image data has a group area whose size of the group area occupied on the X axis is larger than the size of the group area occupied by the monochrome image on the X axis. Therefore, the reference range that can be judged as a monochromatic region is set in advance, and among the groups shown in the histogram, a group having an x-axis range smaller than this reference range, that is, a range of Cb and Cr, is determined as a group based on a monochrome image. The pixels belonging to the group are excluded from the gain calculation for the automatic white balance (S28), and then the automatic white balance gain is calculated (S29).

한편, 상기와 같이 자동 화이트 밸런스 이득 연산에 단색 영역에 속한 픽셀들을 제거하게 되는 경우, 과도한 픽셀 제거로 인해 화이트 밸런스 이득 연산에 충분한 수의 픽셀이 사용되지 못하는 문제가 발생할 수 있다. 예를 들어, 입력 이미지 프레임이 도 8에 도시한 것과 같이 한 종류 이상의 단색영상이 입력되는 경우가 발생할 수도 있다. 이러한 경우 히스토그램 데이터는 도 9와 같이 히스토그램의 Y축의 최대값이 단색영상을 판단하는 과정(S24)에서 제1 임계값보다 작은 값이어서 단색영상으로 판단되지 않고, 단색영역에 포함되는 그룹의 픽셀들을 자동 화이트 밸런스 이득 연산에서 제거하는 과정(S25)에서의 조건은 만족하여, 화이트 밸런스 이득 연산에서 대부분의 픽셀들이 제외될 수 있다. 이러한 경우 자동 화이트 밸런스 이득을 연산하여 적용하면, 화이트 밸런스 이득 연산에 사용된 픽셀을 수가 너무 적어 색상의 왜곡이 심해지거나 원하지 않는 결과를 얻는 문제점이 발생할 수 있다. 이러한 경우를 방지하기 위해서 단색영역의 영향에 의한 히스토그램 데이터 제거를 수행하는 경우에는, 자동 화이트 밸런스 이득 연산에 제외되는 픽셀의 양을 판단하여(S26) 사전 설정된 임계값(Th3) 이상의 픽셀이 제외된다면 이는 하나 이상 의 단색영상이 입력되는 경우라고 판단해서 자동 화이트 밸런스를 위한 이득 연산을 수행하지 않고 단색영상으로 판단되었을 경우와 동일하게 이전의 입력 이미지 프레임에 의해 연산된 자동 화이트 밸런스 이득을 적용함으로써 많은 수의 픽셀이 연산에서 제외되어 발생할 수 있는 문제점을 해결할 수 있도록 하였다.On the other hand, when the pixels belonging to the monochromatic region are removed in the automatic white balance gain calculation as described above, a problem may occur in which a sufficient number of pixels are not used for the white balance gain calculation due to excessive pixel removal. For example, as shown in FIG. 8, one or more types of monochrome images may be input as the input image frame. In this case, the histogram data is not determined as a monochrome image because the maximum value of the Y-axis of the histogram is smaller than the first threshold value in the process of determining a monochrome image as shown in FIG. 9, and the pixels of the group included in the monochrome region are not determined. The condition in the process of removing from the automatic white balance gain operation S25 is satisfied, so that most pixels may be excluded from the white balance gain operation. In this case, when the automatic white balance gain is calculated and applied, the number of pixels used for the white balance gain calculation may be too small, resulting in a severe color distortion or an undesirable result. In order to prevent such a case, when the histogram data is removed due to the influence of the monochromatic region, the amount of pixels excluded from the automatic white balance gain calculation is determined (S26). This is because it is determined that more than one monochrome image is input and does not perform a gain operation for automatic white balance. Therefore, by applying the automatic white balance gain calculated by the previous input image frame in the same way as when the monochrome image is determined, This solves a problem that may occur because a large number of pixels are excluded from the operation.

본 발명의 상세한 설명에서는 구체적인 실시예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims and their equivalents.

도 1은 본 발명의 일실시형태에 따른 화이트 밸런스 조정 장치의 블록 구성도이다.1 is a block diagram of a white balance adjustment device according to an embodiment of the present invention.

도 2는 본 발명의 일실시형태에 따른 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법을 도시한 플로 차트이다.2 is a flowchart illustrating an automatic white balance adjustment method considering the influence of a monochrome image according to an embodiment of the present invention.

도 3 및 도 4는 본 발명의 일실시형태에 의해 생성된 Cb, Cr의 히스토그램의 일례이다.3 and 4 are examples of histograms of Cb and Cr produced by one embodiment of the present invention.

도 5는 복합영상에서 단색영상으로 진행되는 과정의 이미지를 일정 간격의 프레임 단위로 나타낸 도면이며, 도 6은 도 5의 일부 이미지 프레임의 Cb, Cr 히스토그램이다.FIG. 5 is a diagram illustrating an image of a process of proceeding from a composite image to a monochrome image in units of frames at a predetermined interval, and FIG. 6 is a Cb and Cr histogram of some image frames of FIG. 5.

도 7은 복합영상에서 단색영상으로의 진행과정을 나타내는 히스토그램이다.7 is a histogram showing the progress of a composite image to a monochrome image.

도 8은 두 가지 색상으로 이루어진 단색 영상의 예를 도시한 도면이다.8 is a diagram illustrating an example of a monochrome image composed of two colors.

도 9는 도 8에 도시된 단색 영상의 히스토그램이다.9 is a histogram of the monochrome image illustrated in FIG. 8.

*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

11: 색좌표 변환부 12: 샘플링 간격 설정부11: color coordinate conversion unit 12: sampling interval setting unit

13: 히스토그램 생성부 14: 단색영상 판단부13: histogram generator 14: monochrome image determination unit

15: 제거대상 화소 판단부 16: 제거량 판단부15: removal target pixel determination unit 16: removal amount determination unit

17: 자동 화이트 밸런스 이득 연산부17: automatic white balance gain calculator

18: 자동 화이트 밸런스 이득 적용부18: Automatic white balance gain application

Claims (10)

입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 샘플링 간격 설정부;A sampling interval setting unit for determining a pixel sampled in the input image frame according to a size of an input image frame; 상기 샘플링 간격 설정부에서 결정된 샘플링 되는 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 히스토그램 생성부;A histogram generator for generating a histogram of Cb and Cr values for the pixels to be sampled determined by the sampling interval setting unit; 상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하고, 상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하는 단색영상 판단부; 및The maximum value of the histogram of the Cb value or the maximum value of the histogram of the Cr value is compared with a first preset threshold value, and an input image frame having at least one of the maximum values greater than the first threshold value is monochrome. Monochromatic image determination unit judging as; And 상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임을 제외한 입력 이미지 프레임의 색상정보를 이용하여 자동 화이트 밸런스 이득을 연산하여 출력하는 자동 화이트 밸런스 이득 연산부An automatic white balance gain calculator for calculating and outputting an automatic white balance gain using color information of an input image frame except for an input image frame determined as a monochrome image by the monochrome image determination unit. 를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.Automatic white balance adjustment device considering the influence of the monochrome image including a. 제1항에 있어서, The method of claim 1, 상기 자동 화이트 밸런스 이득 연산부는, The automatic white balance gain calculator is 상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.The monochrome image determining unit outputs the automatic white balance gain calculated for the previous input image frame without calculating the automatic white balance gain for the input image frame determined as the monochrome image. Considered automatic white balance adjustment device. 제1항에 있어서, 상기 히스토그램 생성부는,The method of claim 1, wherein the histogram generator, 하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.An automatic white balance adjustment apparatus considering the influence of a monochrome image, characterized by generating a histogram of one of a Cb value and a Cr value for one input image frame. 제1항에 있어서,The method of claim 1, 상기 단색영상 판단부에 의해 단색영상으로 판단되지 않은 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 제거대상 화소 판단부를 더 포함하며,The Cb and Cr values adjacent to each other are grouped with a frequency greater than a second predetermined threshold value in the histogram of the Cb and Cr values of the input image frame not determined as the monochrome image by the monochrome image determining unit, and the Cb values And a removal target pixel determination unit determining pixels belonging to a group whose Cr range is narrower than a preset reference range as pixels not used for automatic white balance adjustment. 상기 자동 화이트 밸런스 이득 연산부는, 상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.The automatic white balance gain calculator may calculate the automatic white balance gain using the remaining pixels except for the pixels determined as pixels not used for the automatic white balance adjustment from the input image frame. Considered automatic white balance adjustment device. 제4항에 있어서,The method of claim 4, wherein 상기 제거대상 화소 판단부에서 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 제거량 판단부를 더 포함하며,The removal target pixel determination unit may further include a removal amount determination unit comparing the number of pixels determined not to be used for automatic white balance adjustment with a preset third threshold value. 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 상기 자동 화이트 밸런스 이득 연산부는 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.If the number of pixels determined not to be used for the automatic white balance adjustment is greater than the third threshold value, the automatic white balance gain calculation unit does not calculate the automatic white balance gain for the corresponding input image frame, but the previous input image frame. And an automatic white balance gain calculated for the automatic white balance gain. 입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 단계;Determining a pixel sampled in the input image frame according to the size of an input image frame; 상기 샘플링되는 화소를 결정하는 단계에서 샘플링 되는 것으로 결정된 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 단계;Creating a histogram of Cb and Cr values for the pixels determined to be sampled in the step of determining the sampled pixels; 상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하는 단계; 및Comparing the maximum value of the histogram of the Cb value or the maximum value of the histogram of the Cr value with a first predetermined threshold value, respectively; And 상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하고, 상기 단색영상으로 판단된 입력 이미지 프레임을 제외한 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계Determine an input image frame having at least one of the maximum values greater than the first threshold value as a monochrome image, and use the automatic white balance gain calculated for the input image frame except for the input image frame determined as the monochrome image. Steps to Perform Automatic White Balance Adjustment 를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.Automatic white balance adjustment method considering the influence of the monochrome image including a. 제6항에 있어서,The method of claim 6, 상기 자동 화이트 밸런스 조정을 수행하는 단계는,The step of performing the automatic white balance adjustment, 상기 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계를 포함하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.Performing automatic white balance adjustment using the automatic white balance gain calculated on the previous input image frame without calculating the automatic white balance gain on the input image frame determined as the monochrome image. Automatic white balance adjustment method considering the influence of monochrome image. 제6항에 있어서, 상기 히스토그램을 작성하는 단계는,The method of claim 6, wherein the creating the histogram comprises: 하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성하는 단계인 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.A method of adjusting the automatic white balance in consideration of the influence of a monochrome image, characterized in that the step of creating a histogram of one of the Cb value and Cr value for one input image frame. 제6항에 있어서,The method of claim 6, 상기 최대값들이 모두 상기 제1 임계값보다 크지 않은 경우, 상기 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, 그룹들의 Cb값 및 Cr값의 범위와 사전 설정된 기준 범위를 비교하는 단계;When the maximum values are not all greater than the first threshold value, the adjacent Cb and Cr values are grouped with frequencies greater than a second predetermined threshold value in the histograms of the Cb and Cr values of the input image frame, respectively. Comparing the ranges of the Cb and Cr values of the groups with a preset reference range; 상기 Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 단계; 및Determining pixels belonging to a group in which the ranges of the Cb and Cr values are narrower than a preset reference range as pixels not used for automatic white balance adjustment; And 상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산하는 단계를 더 포함하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.And calculating an automatic white balance gain using the remaining pixels other than the pixels determined as pixels not used for the automatic white balance adjustment from the input image frame. How to adjust the balance. 제9항에 있어서,10. The method of claim 9, 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 단계; 및Comparing the number of pixels determined not to be used for the automatic white balance adjustment with a preset third threshold value; And 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스를 수행하는 단계를 더 포함하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.If the number of pixels determined not to be used for the automatic white balance adjustment is greater than the third threshold, the automatic white balance calculated for the previous input image frame without calculating the automatic white balance gain for the corresponding input image frame. A method for automatically adjusting the white balance in consideration of the influence of the monochrome image, further comprising the step of performing automatic white balance using the gain.
KR1020090105486A 2009-11-03 2009-11-03 White balance adjusting apparatus and method considering effect of single tone image KR101026049B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090105486A KR101026049B1 (en) 2009-11-03 2009-11-03 White balance adjusting apparatus and method considering effect of single tone image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090105486A KR101026049B1 (en) 2009-11-03 2009-11-03 White balance adjusting apparatus and method considering effect of single tone image

Publications (1)

Publication Number Publication Date
KR101026049B1 true KR101026049B1 (en) 2011-03-30

Family

ID=43939593

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090105486A KR101026049B1 (en) 2009-11-03 2009-11-03 White balance adjusting apparatus and method considering effect of single tone image

Country Status (1)

Country Link
KR (1) KR101026049B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9595086B2 (en) 2014-09-04 2017-03-14 Samsung Electronics Co., Ltd. Image processing device, image processing system and method for image processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000061820A (en) * 1999-03-31 2000-10-25 윤종용 Method and apparatus for improving an operation in auto-white balance processing
KR20040043475A (en) * 2002-11-18 2004-05-24 삼성전자주식회사 Preventing method of error of auto white balance for digital camera
KR100724253B1 (en) 2005-12-23 2007-05-31 매그나칩 반도체 유한회사 Apparatus and method for processing an image to control auto white balance of image sensor
KR20080049458A (en) * 2006-11-30 2008-06-04 삼성전기주식회사 Apparatus to automatically controlling white balance and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000061820A (en) * 1999-03-31 2000-10-25 윤종용 Method and apparatus for improving an operation in auto-white balance processing
KR20040043475A (en) * 2002-11-18 2004-05-24 삼성전자주식회사 Preventing method of error of auto white balance for digital camera
KR100724253B1 (en) 2005-12-23 2007-05-31 매그나칩 반도체 유한회사 Apparatus and method for processing an image to control auto white balance of image sensor
KR20080049458A (en) * 2006-11-30 2008-06-04 삼성전기주식회사 Apparatus to automatically controlling white balance and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9595086B2 (en) 2014-09-04 2017-03-14 Samsung Electronics Co., Ltd. Image processing device, image processing system and method for image processing

Similar Documents

Publication Publication Date Title
US7764319B2 (en) Image processing apparatus, image-taking system, image processing method and image processing program
CN110022469B (en) Image processing method, image processing device, storage medium and electronic equipment
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
KR100983037B1 (en) Method for controlling auto white balance
TWI414179B (en) Shooting parameter adjustment method for face detection and image capturing device for face detection
JP5314357B2 (en) Method and apparatus for correcting chromatic aberration of video
USRE46232E1 (en) Image processing method and apparatus for processing an image by using a face detection result
RU2496250C1 (en) Image processing apparatus and method
WO2007075067A1 (en) Lens shading compensation apparatus and method, and image processor using the same
WO2011118071A1 (en) Image processing method and device, image processing program, and medium having said program recorded thereon
US10412356B2 (en) Image processing apparatus and image processing method
CN107533756B (en) Image processing device, imaging device, image processing method, and storage medium storing image processing program for image processing device
JP2007110576A (en) Color correction device for subject image data and control method thereof
KR101164535B1 (en) Adaptive image compensating device and method thereof
KR101018237B1 (en) White balance adjusting apparatus and method considering effect of single tone image
CN103065334A (en) Color cast detection and correction method and device based on HSV (Hue, Saturation, Value) color space
KR101113483B1 (en) Apparatus for enhancing visibility of color image
JP4947624B2 (en) White balance adjustment method
CN112422940A (en) Self-adaptive color correction method
JP2010219683A (en) Image processing device, image processing method, and program
KR101026049B1 (en) White balance adjusting apparatus and method considering effect of single tone image
KR20130012749A (en) Video enhancer and video image processing method
KR20100067268A (en) Apparatus and method for adjusting auto white balance using effective area
KR100915598B1 (en) Automatic white balance apparatus and method thereof
JP2005260675A (en) Image processor and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee