KR101026049B1 - White balance adjusting apparatus and method considering effect of single tone image - Google Patents
White balance adjusting apparatus and method considering effect of single tone image Download PDFInfo
- Publication number
- KR101026049B1 KR101026049B1 KR1020090105486A KR20090105486A KR101026049B1 KR 101026049 B1 KR101026049 B1 KR 101026049B1 KR 1020090105486 A KR1020090105486 A KR 1020090105486A KR 20090105486 A KR20090105486 A KR 20090105486A KR 101026049 B1 KR101026049 B1 KR 101026049B1
- Authority
- KR
- South Korea
- Prior art keywords
- white balance
- automatic white
- image frame
- input image
- histogram
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000694 effects Effects 0.000 title abstract description 5
- 238000005070 sampling Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000007547 defect Effects 0.000 abstract 1
- 239000002131 composite material Substances 0.000 description 36
- 239000003086 colorant Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
본 발명은 디지털 영상처리 분야에 관한 것으로, 더욱 상세하게는 단일 색상이 크게 분포하는 단색 영상에서 단일 색상이 자동 화이트 밸런스 조정을 위한 이득 연산에 미치는 영향을 고려하여 자동 화이트 밸런스가 무너지는 것을 방지할 수 있는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치 및 방법에 관한 것이다.The present invention relates to the field of digital image processing, and more particularly, to prevent the automatic white balance from falling down in consideration of the effect of the single color on the gain calculation for automatic white balance adjustment in a monochromatic image having a large distribution of single colors. The present invention relates to an automatic white balance adjustment apparatus and method considering the influence of a monochrome image.
일반적으로, 사람의 시각은 광원이 바뀌어도 동일한 피사체에 대하여 항상 같은 색으로 인지하는 특징이 있다. 즉, 광원이 태양광, 형광등, 백열등과 같이 색온도가 다른 광원으로 변화하는 경우에도 사람의 시각은 흰색을 항상 동일한 흰색으로 인식하게 된다. 이에 반해, 고체 촬상소자를 적용한 이미지 센서는 빛을 전기적 신호로 변환하는 장치이기 때문에 광원에 따라 변화하는 피사체의 색상을 변화한 그대로 검출하게 된다. 따라서, 이러한 이미지 센서로부터 검출된 색상을 사람 의 시각과 유사하게 표현될 수 있도록 하기 위해 대부분의 디지털 이미지 처리 장치들(예를 들어, 디지털 카메라)은 화이트밸런스를 자동으로 조정하기 위한 자동 화이트 밸런스 조정 알고리즘을 적용하고 있다.In general, the human vision is characterized by always recognizing the same color with respect to the same subject even if the light source is changed. That is, even when the light source changes to a light source having a different color temperature such as sunlight, fluorescent lamps, or incandescent lamps, the human vision always recognizes white as the same white color. On the contrary, since the image sensor to which the solid-state image sensor is applied is a device that converts light into an electrical signal, the color of the subject that changes according to the light source is detected as it is. Therefore, in order to be able to express the color detected from such an image sensor similar to the human vision, most digital image processing devices (e.g., digital cameras) have automatic white balance adjustment for automatically adjusting the white balance. The algorithm is applied.
통상적으로, 디지털 이미지 처리 장치에서 이루어지는 자동 화이트 밸런스 조정은, 이미지에서의 중간 밝기를 가진 흰색 피사체가 동일한 출력 레벨들을 가지는 색신호(RGB 신호)로 표현되도록 함으로써 수행된다. 종래의 자동 화이트 밸런스 조정을 위하여 사용되는 가장 일반적인 알고리즘은, 광원의 변동과 상관없이 화면의 색 평균치를 화이트로 가정하여 색 평균치를 구한 후 색 평균치를 화이트로 이동시킬 수 있는 색신호 레벨의 이득을 구하여 전체 이미지에 적용하는 방식을 채택하고 있다. 예를 들면, 종래의 자동 화이트 밸런스 조정 방법은 입력 이미지 내의 백색 추정 영역에 속한 화소들의 색차 신호인 Cb, Cr 값을 적분하고 이에 대한 평균값을 계산하여 적색(R)과 청색(B)의 이득을 조정하는 방법을 채택하였다.Typically, automatic white balance adjustment made in the digital image processing apparatus is performed by causing a white subject having an intermediate brightness in the image to be represented by a color signal (RGB signal) having the same output levels. The most common algorithm used for the automatic white balance adjustment is to calculate the color average value by assuming the color average value of the screen as white regardless of the variation of the light source, and then obtain a gain of the color signal level that can shift the color average value to white. Applied to the whole image. For example, a conventional automatic white balance adjustment method integrates Cb and Cr values, which are color difference signals of pixels belonging to a white estimation region in an input image, and calculates average values thereof to obtain gains of red (R) and blue (B). The method of adjustment was adopted.
그러나 이러한 통상의 자동 화이트 밸런스 조정 기술들은 한 색상이 매우 넓게 분포하는 단색 영상에서는 화이트 밸런스를 위한 이득을 연산하는데 한 색상의 영향을 크게 받아 연산된 이득을 적용한 경우 화이트 밸런스가 무너지는 문제가 발생하게 된다. 따라서, 입력되는 영상이 단색 영상인지 판단하는 기술이 자동 화이트 밸런스 조정 알고리즘에 요구되고 있다.However, these conventional automatic white balance adjustment techniques can calculate the gain for white balance in a monochromatic image in which one color is very widely distributed. Therefore, when the calculated gain is applied, the white balance is broken. do. Therefore, a technique for determining whether an input image is a monochrome image is required for an automatic white balance adjustment algorithm.
이러한, 종래의 단색영상 판단 방법으로, 입력영상의 RGB 각각의 데이터를 모두 고려하여 인접한 화소와의 값들을 비교하고 인접 화소와의 값 차에 대한 데이터의 누적을 통해서 단색영상을 판단하는 방법이 알려져 있다. 이 종래의 방법은 시스템의 효율성이 떨어질 수 있으며 이웃한 화소와의 비교를 통해서 이상적인 단색영상은 판단할 수 있지만 카메라 센서로부터 입력되는 단색영상은 완전히 특정한 한 영역에 모두 집중적으로 형성되는 경우가 아니라 특정한 영역 주변에 집중되어 있는 형태로 구성되어 있기 때문에 이웃한 화소간의 비교 오차가 진행될수록 계속 누적 된다면 최종적으로 판단의 오류가 발생할 확률이 높다. 또한, 이웃한 화소와의 비교는 단순히 한 프레임을 고려했을 때는 단색영상으로 판단하여 색상의 왜곡의 발생을 방지할 수 있으나, 다양한 색상이 비교적 일정하게 분포하는 복합영상에서 한가지 색상이 넓게 분포하는 단색영상으로의 진행과정은 판단할 수 없는 문제점이 있다.As a conventional method of determining a monochrome image, a method of determining a monochrome image by comparing values with adjacent pixels in consideration of all data of RGB of an input image and accumulating data on a difference in value between adjacent pixels is known. have. This conventional method can reduce the efficiency of the system and determine the ideal monochromatic image by comparing with neighboring pixels, but the monochromatic image input from the camera sensor is not a case where all of the monochromatic image is concentrated in one specific area. Because it is composed in the form of concentration around the area, if the comparison error between neighboring pixels continues to accumulate, there is a high probability that an error of judgment will eventually occur. In addition, the comparison with neighboring pixels can be considered as a monochromatic image when considering only one frame to prevent color distortion, but in a composite image where various colors are distributed relatively uniformly, a single color is widely distributed in one color. There is a problem in that the progress to the image cannot be determined.
또 다른 단색영상 판단 방법으로, 화면의 중앙을 카메라 촬영을 위한 피사체의 영역으로 가정하고 해당 영역에서 피사체로 판단되는 윤곽선 영역을 판단해서 판단된 윤곽선 영역을 일정 크기의 블록으로 나누어서 화면 중앙의 피사체 영역의 휘도 값의 평균과 산포도를 비교하여 단색영상을 판단하는 방법이 알려져 있다. 이 방법은, 화면의 중앙에 대한 윤곽선 영역을 판단하고 해당 영역을 일정 크기의 블록으로 분할하는 과정에서 시스템의 부하가 증가될 수 있으며, 피사체 영역에 대한 가정이 어긋난 경우에는 원하는 결과를 얻을 수 없다는 단점이 있다. 그리고 이 방법 또한 복합영상에서 단색영상으로의 진행과정에 대한 고려가 없기 때문에 상기 경우가 발생하는 경우에는 올바르지 못한 결과를 얻을 수 있는 단점이 있다.As another method of determining a monochrome image, it is assumed that the center of the screen is the area of the subject for camera shooting, and the contour area determined as the subject in the area is judged, and the determined contour area is divided into blocks of a predetermined size and the subject area in the center of the screen. A method of determining a monochromatic image by comparing an average of a luminance value and a scatter diagram of a is known. In this method, the load on the system may be increased in determining the contour area of the center of the screen and dividing the area into blocks of a certain size, and the desired result may not be obtained if the assumption about the subject area is out of order. There are disadvantages. In addition, this method also has a disadvantage in that an incorrect result can be obtained when the above case occurs because there is no consideration of the process from the composite image to the monochrome image.
본 발명은 스틸 이미지 또는 동영상을 생성하는데 있어서 단색 영역이 과도하게 존재하는 경우 자동 화이트 밸런스 조정을 수행하더라도 화이트 밸런스가 깨어지는 것을 방지할 수 있는 자동 화이트 밸런스 조정 장치 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.The present invention is to solve the problem to provide an automatic white balance adjustment device and method that can prevent the white balance is broken even if the automatic white balance adjustment when there is an excessively monochromatic region in the generation of still images or movies It is a technical problem.
또한, 본 발명은 자동 화이트 밸런스 조정을 위한 연산량 및 하드웨어 크기를 감소시킬 수 있는 자동 화이트 밸런스 조정 장치 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.In addition, an object of the present invention is to provide an automatic white balance adjustment apparatus and method capable of reducing the amount of computation and hardware size for automatic white balance adjustment.
상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,According to an aspect of the present invention,
입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 샘플링 간격 설정부;A sampling interval setting unit for determining a pixel sampled in the input image frame according to a size of an input image frame;
상기 샘플링 간격 설정부에서 결정된 샘플링 되는 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 히스토그램 생성부;A histogram generator for generating a histogram of Cb and Cr values for the pixels to be sampled determined by the sampling interval setting unit;
상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하고, 상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하는 단색영상 판단부; 및The maximum value of the histogram of the Cb value or the maximum value of the histogram of the Cr value is compared with a first preset threshold value, and an input image frame having at least one of the maximum values greater than the first threshold value is monochrome. Monochromatic image determination unit judging as; And
상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임을 제외한 입력 이미지 프레임의 색상정보를 이용하여 자동 화이트 밸런스 이득을 연산하여 출력하는 자동 화이트 밸런스 이득 연산부를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치를 제공한다.Automatic in consideration of the influence of the monochrome image including an automatic white balance gain calculator which calculates and outputs an automatic white balance gain using color information of the input image frame except the input image frame determined as the monochrome image by the monochrome image determination unit. Provides a white balance adjustment device.
본 발명의 일실시형태에서, 상기 자동 화이트 밸런스 이득 연산부는, 상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력할 수 있다.In one embodiment of the present invention, the automatic white balance gain calculator is calculated for the previous input image frame without calculating the automatic white balance gain for the input image frame determined as the monochrome image by the monochrome image determiner. Auto white balance gain can be output.
본 발명의 일실시형태에서, 상기 히스토그램 생성부는, 하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성할 수 있다.In one embodiment of the present invention, the histogram generator may create a histogram of one of the values Cb and Cr for one input image frame.
본 발명의 일실시형태에는, 상기 단색영상 판단부에 의해 단색영상으로 판단되지 않은 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 제거대상 화소 판단부를 더 포함할 수 있다. 이 실시형태에서, 상기 자동 화이트 밸런스 이득 연산부는, 상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산할 수 있다.In one embodiment of the present invention, the Cb value and Cr adjacent to each other with a frequency greater than a second predetermined threshold value in the histogram of the Cb value and Cr value of the input image frame not determined as the monochrome image by the monochrome image determination unit. The display apparatus may further include a removal target pixel determination unit configured to group values, and determine pixels belonging to a group whose Cb value and Cr value range is narrower than a preset reference range as pixels not used for automatic white balance adjustment. In this embodiment, the automatic white balance gain calculator may calculate the automatic white balance gain using the remaining pixels except the pixels determined as pixels not used for the automatic white balance adjustment from the input image frame.
본 발명의 일실시형태는, 상기 제거대상 화소 판단부에서 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 제거량 판단부를 더 포함할 수 있으며, 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 상기 자동 화이트 밸런스 이득 연산부는 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력할 수 있다.An embodiment of the present invention may further include a removal amount determination unit for comparing the number of pixels determined to be not used for automatic white balance adjustment by the removal target pixel determination unit with a third preset threshold value. If the number of pixels determined not to be used for white balance adjustment is larger than the third threshold value, the automatic white balance gain calculation unit does not calculate the automatic white balance gain for the corresponding input image frame, but for the previous input image frame. The calculated auto white balance gain can be output.
상기 기술적 과제를 해결하기 위한 다른 수단으로서 본 발명은,As another means for solving the above technical problem, the present invention,
입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 단계;Determining a pixel sampled in the input image frame according to the size of an input image frame;
상기 샘플링되는 화소를 결정하는 단계에서 샘플링 되는 것으로 결정된 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 단계;Creating a histogram of Cb and Cr values for the pixels determined to be sampled in the step of determining the sampled pixels;
상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하는 단계; 및Comparing the maximum value of the histogram of the Cb value or the maximum value of the histogram of the Cr value with a first predetermined threshold value, respectively; And
상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하고, 상기 단색영상으로 판단된 입력 이미지 프레임을 제 외한 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법을 제공한다.Determine an input image frame in which at least one of the maximum values is larger than the first threshold value as a monochrome image, and use an automatic white balance gain calculated for the input image frame except for the input image frame determined as the monochrome image. The present invention provides an automatic white balance adjustment method in consideration of the influence of a monochrome image including the step of performing automatic white balance adjustment.
본 발명의 일실시형태에서, 상기 자동 화이트 밸런스 조정을 수행하는 단계는, 상기 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계일 수 있다.In one embodiment of the present invention, the performing of the automatic white balance adjustment may include: calculating the automatic white balance calculated for the previous input image frame without calculating the automatic white balance gain for the input image frame determined as the monochrome image; The automatic white balance adjustment may be performed using the gain.
본 발명의 일실시형태에서, 상기 히스토그램을 작성하는 단계는, 하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성하는 단계일 수 있다.In an embodiment of the present disclosure, generating the histogram may include generating a histogram of one of a Cb value and a Cr value for one input image frame.
본 발명의 일실시형태는, 상기 최대값들이 모두 상기 제1 임계값보다 크지 않은 경우, 상기 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, 그룹들의 Cb값 및 Cr값의 범위와 사전 설정된 기준 범위를 비교하는 단계;According to one embodiment of the present invention, when all of the maximum values are not greater than the first threshold value, Cb adjacent to each other with a frequency greater than a second predetermined threshold value in the histogram of the Cb value and the Cr value of the input image frame. Grouping values and Cr values, respectively, and comparing the ranges of the Cb and Cr values of the groups with a preset reference range;
상기 Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 단계; 및Determining pixels belonging to a group in which the ranges of the Cb and Cr values are narrower than a preset reference range as pixels not used for automatic white balance adjustment; And
상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산하는 단계를 더 포함할 수 있다.The method may further include calculating an automatic white balance gain using the remaining pixels except the pixels determined as pixels not used for the automatic white balance adjustment from the input image frame.
본 발명의 일실시형태는, 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 단계 및 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스를 수행하는 단계를 더 포함할 수 있다.In one embodiment of the present invention, the method further comprises: comparing the number of pixels determined not to be used for the automatic white balance adjustment with a third preset threshold value, and the number of pixels determined not to be used for the automatic white balance adjustment. If greater than the third threshold value, performing the automatic white balance using the automatic white balance gain calculated on the previous input image frame without calculating the automatic white balance gain on the corresponding input image frame; Can be.
본 발명에 따르면, 자동 화이트 밸런즈 수행시, 이미지 프레임에 포함된 과도한 단색 영역의 영향에 의해 화이트 밸런스가 깨어지는 문제점을 해결하여 자연스런 색상의 이미지를 구현할 수 있다.According to the present invention, when performing the automatic white balance, it is possible to solve the problem that the white balance is broken by the influence of the excessive monochromatic region included in the image frame to implement a natural color image.
또한, 본 발명에 따르면, 복합영상에서 단색영상으로의 진행과정에서의 자동 화이트 밸런스 수행시 증가하는 단색 영역을 자동 화이트 밸런스 이득 연산에서 제외 함으로써 동영상에서도 자연스런 색상 구현이 가능한 효과가 있다.In addition, according to the present invention, a natural color can be realized in a video by excluding a monochromatic region that increases when performing automatic white balance in the process of a composite image from a monochrome image to an automatic white balance gain calculation.
또한, 본 발명에 따르면, 입력되는 이미지 프레임의 모든 화소가 아닌 일부 화소만 사용하고, 하나의 이미지 프레임에 대해 Cr 또는 Cb 중 하나의 히스토그램 만 작성하므로 단색영상 판단에 필요한 연산량 및 하드웨어 크기를 감소시킬 수 있는 효과가 있다. In addition, according to the present invention, since only some pixels, not all pixels of the input image frame are used, and only one histogram of Cr or Cb is created for one image frame, it is possible to reduce the amount of computation and hardware required for determining a monochrome image. It can be effective.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. Embodiment of this invention is provided in order to demonstrate this invention more completely to the person skilled in the art to which this invention belongs. Therefore, it should be noted that the shape and size of the components shown in the drawings may be exaggerated for more clear explanation.
도 1은 본 발명의 일실시형태에 따른 화이트 밸런스 조정 장치의 블록 구성도이다.1 is a block diagram of a white balance adjustment device according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일실시형태에 따른 화이트 밸런스 조정 장치는, 색좌표 변환부(11), 샘플링 간격 설정부(12), 히스토그램 생성부(13), 단색영상 판단부(14), 제거대상 화소 판단부(15), 제거량 판단부(16), 자동 화이트 밸런스(Auto White Balance: AWB) 이득 연산부(17) 및 자동 화이트 밸런스 적용부(18)를 포함할 수 있다.As shown in FIG. 1, the white balance adjusting apparatus according to the exemplary embodiment of the present invention includes a color coordinate converting
상기 색좌표 변환부(11)는 RGB 색좌표로 표현된 이미지 프레임을 YCbCr 색좌표로 변환한다. 통상적으로 이미지 센서가 장면을 캡쳐하여 출력하는 신호는 각 화소들을 RGB 중 하나의 색상으로 표현한 베이어 패턴을 나타내며, 이 베이어 패턴으로 출력된 이미지 프레임에 컬러 보간 알고리즘을 적용하여 각 화소들이 RGB 값으로 표현되는 RGB 색좌표로 변환된다. 본 발명의 색좌표 변환부(11)는 이 RGB 색좌표로 표현된 이미지 프레임을 YCbCr 색좌표로 변환한다.The color coordinate
상기 샘플링 간격 설정부(12)는, 입력되는 이미지 프레임에서 샘플링 되는 화소를 결정한다. 즉, 상기 샘플링 간격 설정부(12)는, 입력되는 이미지 프레임에 포함된 모든 화소에서 일부 화소를 선택하기 위해 수평 또는/및 수직 방향의 샘플링 간격을 설정하고, 이 샘플링 간격에 해당하는 화소만을 포함하는 다운 샘플링된 이미지 프레임을 생성할 수 있게 한다. 상기 샘플링 간격 설정부(12)는 이후에 수행되는 단색영상 판단을 위해 적절한 사이즈의 이미지 프레임을 생성하기 위한 것으로, 입력되는 이미지 프레임의 사이즈에 따라 적절하게 샘플링 간격을 설정할 수 있다.The sampling
상기 히스토그램 생성부(13)는 상기 변환된 YCbCr 색좌표를 이용하여, 상기 샘플링 간격 설정부(12)에서 샘플링되는 것으로 결정된 화소들을 포함하는 이미지 프레임에 대해 Cb 또는 Cr에 대한 히스토그램을 생성한다. 즉, 입력되는 이미지 프레임의 각 화소들의 Cb 또는 Cr 값을 파악하고, x축이 Cb 값을 나타내고 y축이 빈 도수를 나타내는 Cb의 히스토그램 또는 x축이 Cr 값을 나타내고 y축이 빈도수를 나타내는 Cr의 히스토그램을 각각 생성한다. 바람직하게, 상기 히스토그램 생성부(13)는, 샘플링된 하나의 이미지 프레임에 대해 Cb 값 및 Cr 값 중 하나의 값에 대한 히스토그램을 생성할 수 있다. 이러한 히스토그램을 생성하기 위한 Cb 값 또는 Cr 값의 선택은 입력되는 프레임의 순서에 따라 번갈아서 수행될 수 있다.The
본 발명은 상기 샘플링 간격 설정부(12)에 의한 이미지 프레임의 일부 화소들을 샘플링하는 동작과, 하나의 이미지 프레임에 대해 하나의 색상값에 대해 히스토그램을 산출하는 과정을 통해 단색영상 판단에 소요되는 연산량 및 하드웨어 사이즈를 감소시킬 수 있다.According to an exemplary embodiment of the present invention, an operation amount of a single color image is determined by sampling a portion of pixels of an image frame by the sampling
상기 단색영상 판단부(14)는 상기 히스토그램 생성부(13)에서 생성된 Cb 및 Cr의 히스토그램 각각의 최대값, 즉 최대 빈도수와 사전 설정된 제1 임계값을 비교하여 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 경우 해당 이미지 프레임을 단색 영상으로 판단한다.The monochrome
상기 제거대상 화소 판단부(15)는 Cb 및 Cr의 히스토그램을 분석하여 해당 이미지 프레임이 복합영상에서 단색 영상으로 변경되고 있는지 판단하고, 단색 영역이 오토 화이트 밸런스에 영향을 미치는 것을 차단하기 위해 오토 화이트 밸런스 이득 연산에서 단색 영역을 제거할 수 있도록 단색 영역의 화소들을 판단한다. 상기 제거대상 화소 판단부(15)는 Cb 및 Cr의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖는 Cb 및 Cr의 값 중 서로 인접한 값들을 그룹화하고, 이 그 룹들의 Cb 및 Cr의 범위가 사전 설정된 기준 범위보다 좁은 경우 이 그룹에 속한 화소들은 단색 영역에 포함되는 화소들로 판단하고 해당 영상에서 이 그룹에 속한 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산할 수 있게 한다.The removal target
상기 제거량 판단부(16)는 상기 제거대상 화소 판단부(15)에서 오토 화이트 밸런스 이득 연산에서 제외되어야 하는 것으로 판단된 화소들의 수를 판단하여 과도한 수의 화소가 이득 연산에서 제외되어야 하는 것으로 판단된 경우, 이 판단된 이미지 프레임에 대해 자동 화이트 밸런스 이득 연산 새로이 수행하는 것을 차단하게 한다.The removal
상기 자동 화이트 밸런스 이득 연산부(17)는, 입력 이미지 프레임의 각 화소들의 색상정보를 이용하여 당 기술분야에 알려진 다양한 기법을 이용하여 색상값을 변동시킬 수 있는 자동 화이트 밸런스 이득을 연산한다. 상기 자동 화이트 밸런스 이득 연산부(17)는 입력 이미지 프레임의 색상 정보를 이용하여 자동 화이트 밸런스 이득을 연산하되, 상기 단색영상 판단부(14)에서 입력 이미지 프레임이 단색영상으로 판단된 경우에는 해당 입력 이미지 프레임을 이용한 자동 화이트 밸런스 이득을 연산하지 않고 이전 입력 이미지 프레임에 대해 연산되었던 자동 화이트 밸런스 이득을 그대로 출력할 수 있다. 또한, 상기 자동 화이트 밸런스 이득 연산부(17)는 상기 제거대상 화소 판단부(15)에서 자동 화이트 밸런스 이득 연산에서 제외되어야 하는 것으로 판단된 화소들을 입력 이미지 프레임에서 제외하고 나머지 화소들의 색상정보를 이용하여 자동 화이트 밸런스 이득을 연산할 수 있다. 또한, 상기 자동 화이트 밸런스 이득 연산부(17)는 상기 제거량 판단부(16)에 의해 상기 제거대상 화소 판단부(15)에서 오토 화이트 밸런스 이득 연산에서 제외되어야 하는 것으로 판단된 화소들의 수가 과도하게 많은 경우, 해당 입력 이미지 프레임을 이용한 자동 화이트 밸런스 이득을 연산하지 않고 이전 입력 이미지 프레임에 대해 연산되었던 자동 화이트 밸런스 이득을 그대로 출력할 수 있다.The automatic white
상기 자동 화이트 밸런스 이득 적용부(18)는, 상기 자동 화이트 밸런스 이득 연산부(17)에서 입력 이미지 프레임의 색상 상태에 따라 연산되어 출력되는 자동 화이트 밸런스 이득을 입력 이미지 프레임에 적용하여 자동 화이트 밸런스 조정이 이루어진 이미지 프레임을 생성한다.The automatic white balance
상기와 같이 구성되는 본 발명의 일실시형태에 따른 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치의 작용 및 효과에 대해 첨부도면을 참조하여 더욱 상세하게 설명한다.The operation and effects of the automatic white balance adjustment device in consideration of the influence of the monochrome image according to the exemplary embodiment of the present invention configured as described above will be described in more detail with reference to the accompanying drawings.
도 2는 본 발명의 일실시형태에 따른 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법을 도시한 플로 차트이다.2 is a flowchart illustrating an automatic white balance adjustment method considering the influence of a monochrome image according to an embodiment of the present invention.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시형태는 각 화소가 RGB 색좌표로 표현된 입력 이미지 프레임을 색좌표 변환부(11)에서 YCbCr 색좌표로 변환하는 단계(S21) 및 입력 이미지 프레임에서 일부 화소를 선택하는 샘플링을 수행하기 위한 샘플링 간격을 설정하는 단계(S22)로부터 시작될 수 있다.As shown in FIG. 1 and FIG. 2, in one embodiment of the present invention, an input image frame in which each pixel is expressed in RGB color coordinates is converted by the color coordinate converting
이어, 히스토그램 생성부(13)에서, 샘플링 간격에 따라 선택된 화소를 포함하는 이미지 프레임의 색상 정보에 대한 고려를 위해 Cb 또는 Cr의 히스토그램을 생성한다(S23). 이 때, 하나의 샘플링된 이미지 프레임에 대해서는 Cb 값 및 Cr 값 중 하나의 히스토그램을 생성할 수 있다. 히스토그램의 X축은 0부터 255의 값을 가지며 이는 한 픽셀에서 Cb, Cr이 가질 수 있는 값의 범위를 나타낸다. 그리고 각각의 히스토그램 X축은 0부터 255까지의 값을 모두 하나씩 고려하여 모두 256개의 그룹으로 나누어서 히스토그램을 생성할 수 있으나, 시스템의 부담이 커질 수 있다. 그러므로 0부터 255까지 생성되는 256개의 그룹을 일정 범위의 값끼리는 서로 그룹으로 묶어서 고려함으로 히스토그램을 분석하기 위한 데이터의 그룹을 256개 보다 줄여줄 수 있도록 하여 시스템의 효율성을 높일 수 있도록 하였다. 이 때 한 그룹이 갖는 값의 크기를 작게 한다면 히스토그램의 정밀도는 높아지는 반면에 시스템의 복잡도가 증가하게 되고, 한 그룹이 갖는 값의 크기를 크게 한다면 고려해야 되는 그룹의 개수는 줄어들어 시스템의 부담을 줄여줄 수 있지만 히스토그램의 정밀도는 낮아질 수 있다. 예를 들어, 0부터 255까지의 값에서 하나의 그룹 크기를 4로 지정하는 경우, 0~3, 4~7, ..., 248~251, 252~255로 그룹을 나누어 총 64개의 그룹으로 히스토그램을 생성할 수 있다. 히스토그램의 Y축은 입력 이미지 프레임의 전 체 픽셀들을 고려하여 X축의 Cb 및 Cr 값이 나타나는 빈도수를 나타낸다. 이 때, Y축에 표현되는 빈도수는 해당 Cb, Cr값을 나타내는 픽셀의 수를 그대로 나타낼 수도 있으나, 실제 픽셀 수를 전체 픽셀 개수로 나누어 0~1까지 정규화 시킨 값으로 표현할 수도 있다. 이와 같이 생성된 Cb, Cr의 히스토그램은 Cb, Cr이 갖는 각각의 값에 전체 영상 대비 얼마나 많은 픽셀들이 분포되어 있는지를 알 수 있다.Subsequently, the
이어, 단색영상 판단부(14)에서는 샘플링된 입력 이미지 프레임에 대해 작성된 Cb, Cr의 히스토그램을 분석하여 입력 이미지 프레임이 단색 영상인지 판단한다(S24).Subsequently, the monochrome
도 3 및 도 4는 본 발명의 일실시형태에 의해 생성된 Cb, Cr의 히스토그램의 일례를 도시한 것으로, 도 3은 한 색상의 영역이 넓게 분포하지 않은 복합 영상의 히스토그램을 도시한 것이며, 도 4는 한 색상의 영역이 넓게 분포하는 단색 영상의 히스토그램을 도시한 것이다.3 and 4 illustrate an example of a histogram of Cb and Cr generated by an embodiment of the present invention. FIG. 3 illustrates a histogram of a composite image in which regions of one color are not widely distributed. 4 shows a histogram of a monochrome image in which one color region is widely distributed.
도 3에 도시된 바와 같이, 복합영상의 Cb, Cr의 히스토그램 분포는 전체 영상에 다양한 색상의 분포로 인해 Cb, Cr 데이터의 분포가 넓게 퍼져있는 형태를 나타내고 있으며 따라서 Cb, Cr 히스토그램의 Y축, 즉 빈도수의 최대값이 크게 나타나지 않음을 확인할 수 있다. 이에 반해, 도 4의 단색영상의 Cb, Cr 히스토그램의 분포는 단일 색에 해당되는 부분에 집중적으로 구성되어 있어서 누적 카운팅되는 픽셀의 수가 증가하게 되고 따라서 Cb, Cr 히스토그램의 최대값 또한 복합영상의 히스토그램의 최대값 보다 상대적으로 큰 값을 갖는 것을 확인할 수 있다. 이 때, 단색영상이라고 정의하는 것은 영상의 RGB 값이 각각 한가지 값으로 완전히 집중되어 있는 이상적인 경우 만을 단색영상이라고 하는 것이 아니라 이미지 센서로부터 입력되는 다양한 이미지 즉, 자연환경에서 단색영상이라고 판단할 수 있는 벽면, 단색의 섬유, 등을 모두 포함한다. 그러므로 사용되는 이미지 센서의 특성 또는 조명의 반사광 등의 영향으로 인해서 영상의 RGB 값이 하나의 값에 모두 집중적으로 형성되는 것이 아니라 하나의 값 주변에 집중적으로 형성되는 형태를 나타낸다. 그러므로 본 발명에서는 단색영상의 이러한 특성 또한 고려하여 단색영상을 판단할 수 있도록 하였다.As shown in FIG. 3, the histogram distribution of Cb and Cr of the composite image shows a form in which the distribution of Cb and Cr data is widely spread due to the distribution of various colors in the entire image. Thus, the Y-axis, That is, it can be seen that the maximum value of the frequency does not appear large. In contrast, the distribution of the Cb and Cr histograms of the monochrome image of FIG. 4 is concentrated in a portion corresponding to a single color, thereby increasing the number of cumulative counting pixels. Thus, the maximum value of the Cb and Cr histograms is also the histogram of the composite image. It can be seen that the value is relatively larger than the maximum value of. In this case, the definition of a monochrome image is not a monochromatic image in which ideally the RGB values of the image are completely concentrated in one value. Instead, a monochromatic image may be judged as a monochrome image in a variety of images input from an image sensor, that is, a natural environment. It includes wall surfaces, monochromatic fibers, and the like. Therefore, due to the influence of the characteristics of the image sensor used or the reflected light of the illumination, the RGB values of the image are not formed intensively all at one value, but rather are formed around the one value. Therefore, in the present invention, it is possible to determine a monochrome image in consideration of this characteristic of the monochrome image.
본 발명의 일실시형태는, 이러한 복합영상과 단색영상의 상기 히스토그램의 특성을 이용하여, 다양한 이미지를 이용한 실험을 통해 얻은 소정의 임계값(Th1)을 사전 결정하고, Cb, Cr 히스토그램의 최대값이 이 임계값(Th1)보다 작으면 복합영상으로 판단해서 자동 화이트 밸런스를 정상적으로 수행하고, Cb Cr 히스토그램의 최대값이 임계값(Th1)보다 크면 단색영상으로 판단해서 자동 화이트 밸런스 이득을 새로이 생성하지 않고, 이전 입력 이미지 프레임에 의해 생성된 자동 화이트 밸런스 이득을 적용하여(S27) 단색영상의 탈색을 방지할 수 있게 한다. 더하여, 일반적인 단색영상일 경우 Cb 히스토그램의 형태와 Cr 히스토그램의 형태가 유사한 형태를 갖지만 일부 단색영상의 경우에는 Cb, Cr의 히스토그램의 형태가 유사하지 않고 Cb 또는 Cr의 히스토그램 중 하나의 히스토그램은 복합영상과 유사한 히스토그램의 형태를 나타나고 나머지 하나의 히스토그램은 단색영상의 히스토그램의 형태를 나타내는 경우가 발생할 수 있다. 이러한 경우를 고려하여 본 발명에서는 단색영상을 판단하기 위하여 Cb 히스토그램의 최대값 또는 Cr 히스토그램의 최대값, 두 값 중 하나의 경우만 임계값을 초과하여도 단색영상이라고 판단하는 것이 바람직하다.In one embodiment of the present invention, by using the characteristics of the histogram of the composite image and the monochromatic image, a predetermined threshold value Th1 obtained through experiments using various images is predetermined, and the maximum value of the Cb and Cr histograms is determined. If the threshold value is smaller than the threshold Th1, the image is judged as a composite image, and auto white balance is normally performed. If the maximum value of the Cb Cr histogram is larger than the threshold value, the monochrome image is judged as a monochrome image, and a new automatic white balance gain is not generated. Instead, by applying the automatic white balance gain generated by the previous input image frame (S27), it is possible to prevent the discoloration of the monochrome image. In addition, in the case of a general monochrome image, the Cb histogram and the Cr histogram have similar shapes, but in some monochrome images, the histograms of Cb and Cr are not similar, and the histogram of one of the histograms of Cb or Cr is a composite image. The histogram may be similar to that of the other, and the other one may show the histogram of the monochrome image. In consideration of such a case, in the present invention, in order to determine a monochrome image, it is preferable to determine that the monochrome image is the maximum value of the Cb histogram or the maximum value of the Cr histogram.
상기와 같은 입력 이미지 프레임의 단색 영상 여부를 판단하는 것을 통해 고정된 스틸 이미지를 획득하는데 있어 자동 화이트 밸런스의 성능을 향상시킬 수 있으나, 결과물로서 동영상을 제공하여야 하는 경우에는 1초에 수 프레임이 진행됨으로 단일 프레임을 단색영상으로 판단한다고 하더라도 복합영상에서 단색영상으로 또는 단색영상에서 복합영상으로 진행되는 과정에서 복합영상에서 일부분을 차지하게 되는 단색영상의 영향으로 인하여 색상의 왜곡이 발생할 수 있다. 그러한 경우 단색영상에서 복합영상으로의 진행 과정에서는 어차피 복합영상에서 자동 화이트 밸런스를 위한 새로운 자동 화이트 밸런스 이득이 생성됨으로 인해서 크게 문제점이 나타나지 않지만, 복합영상에서 단색영상으로 진행되는 경우에는 단색영상으로 판단되기 전까지는 자동 화이트 밸런스 이득이 연산됨으로써 복합영상의 일부분을 차지하고 있는 단색 영역의 영향으로 인해 색상의 왜곡이 발생한다. 즉, 단색영상으로의 진행을 마친 이후에는 전술한 단색 영상 판단 과정(S24)으로 인해 더 이상 자동 화이트 밸런스 이득의 변경이 수행되지 않고 단색영상으로 진행되기 이전의 자동 화이트 밸런스 이득이 유지됨으로 인해서 왜곡된 색상이 계속 유지되어서 단색영상이 탈색이 되지는 않지만, 왜곡된 색상이 유지되는 문제점이 발생한다. 이러한 문제점을 해결하기 위해서 본 발명의 일실시형태는 동영상 결과물을 생성하여야 하는 경우 복합영상에서 단색영상으로의 진행 과정에서 발생하는 색상의 왜곡을 방 지할 수 있는 기법을 구비한다.By determining whether the input image frame is a monochromatic image as described above, the performance of automatic white balance can be improved in obtaining a fixed still image. However, if a video is to be provided as a result, several frames are performed in one second. Even if a single frame is judged as a monochrome image, color distortion may occur due to the influence of the monochrome image occupying a part in the composite image during the process from the composite image to the monochrome image or from the monochrome image to the composite image. In such a case, there is no problem in the process of progressing from a monochrome image to a composite image anyway because a new automatic white balance gain is generated for the automatic white balance in the composite image anyway, but it is judged as a monochrome image when proceeding from the composite image to the monochrome image. Until then, the automatic white balance gain is calculated, resulting in color distortion due to the influence of the monochromatic region occupying a portion of the composite image. That is, after completing the process of the monochrome image, the automatic monochrome balance gain is no longer changed due to the above-described monochrome image determination process (S24), and the distortion is maintained because the automatic white balance gain before the progress to the monochrome image is maintained. Although the monochromatic image is not discolored because the discolored color is continuously maintained, a problem occurs that the distorted color is maintained. In order to solve this problem, an embodiment of the present invention includes a technique for preventing distortion of colors occurring in the process of moving from a composite image to a monochromatic image when generating a moving image result.
도 5는 복합영상에서 단색영상으로 진행되는 과정의 예제 이미지를 일정간격의 프레임 단위로 나타내고 있고, 도 6은 도 5의 일부 이미지 프레임의 Cb, Cr 히스토그램을 나타내고 있다. 도 5 및 도 6에 도시된 바와 같이, 복합영상에서 단색영상으로의 진행 과정에서는, 처음에는 복합영상의 특성을 나타내다가 서서히 단색영역에 대한 영향으로 인해 히스토그램 일부 영역의 빈도수가 증가됨을 확인할 수 있다. 즉, 단색 영역이 증가한 이후에는 최초의 복합영상에 의한 히스토그램 데이터들이 거의 없어지고 단색영역에 의해 생성된 데이터들로 구성되는 것을 알 수 있다. 그러므로 히스토그램 일부 영역의 빈도수가 현저히 증가하게 되는 히스토그램의 데이터를 복합영상에서 단색영상으로 진행되는 과정에서의 단색의 영향이라고 판단할 수 있다. 상기 판단에 따라서 완전히 단색영상으로 판단되기 이전에는 복합영상에서 진행되는 단색영상의 영향을 제거하고 남아있는 복합영상의 데이터들을 이용해서 자동 화이트 밸런스 이득 연산을 수행할 수 있도록 하는 것이 바람직하다. FIG. 5 illustrates an example image of a process of proceeding from a composite image to a monochrome image in units of frames at a predetermined interval, and FIG. 6 illustrates Cb and Cr histograms of some image frames of FIG. 5. As shown in FIG. 5 and FIG. 6, in the process of proceeding from the composite image to the monochrome image, it may be seen that the frequency of the partial histogram is gradually increased due to the influence on the monochromatic region while gradually exhibiting the characteristics of the composite image. . That is, after the monochromatic region is increased, it can be seen that the histogram data of the first composite image is almost disappeared and is composed of the data generated by the monochromatic region. Therefore, it can be judged that the data of the histogram, in which the frequency of some areas of the histogram increases significantly, is the influence of the monochromatic color in the process from the composite image to the monochrome image. According to the above determination, it is preferable to remove the influence of the monochrome image proceeding in the composite image and to perform the automatic white balance gain calculation by using the data of the remaining composite image before it is completely determined as the monochrome image.
단색영역의 영향으로 인해 생성되는 히스토그램 데이터를 제거하기 위해서는 입력 이미지 프레임에 대한 히스토그램에서 데이터가 형성되어 있는 형태를 비교해서 복합영상에 대한 그룹인지 또는 진행되고 있는 단색영상에 의한 그룹인지를 판단한다. 이를 위해 본 발명에서는, Cb, Cr의 히스토그램에서 사전 설정된 임계값(Th2)보다 큰 값을 갖는 서로 인접한 X축의 Cb, Cr값들을 그룹으로 형성하고, 각 그룹의 Cb, Cr 값의 범위와 사전 설정된 기준범위를 비교하여, Cb, Cr값의 범위가 사전 설정된 기준범위보다 작은 그룹은 단색 영역으로 진행되는 것으로 판단한다(S25). 단색 영역으로 진행되는 것으로 판단된 그룹에 속한 픽셀들은 자동 화이트 밸런스 이득 연산에서 제외시킨다. 도 7은 복합영상에서 단색영상으로의 진행과정을 재현한 히스토그램 형태의 예를 나타내고 있다. 도 7에서, 제2 그룹(G2)은 복합영상의 히스토그램 데이터의 형태를 나타내고, 있고 제1 그룹(G1)은 복합영상에서 단색영상으로의 진행과정에서 발생하는 단색영역의 히스토그램 데이터의 형태를 나타낸다. 일반적으로 복합영상에서 단색영상으로의 진행과정이 이루어진다 하더라도 완전히 독립된 데이터로 그룹이 형성되는 것이 아니라 도 7에서와 같이 2개의 그룹으로 나누어지는 형태는 띄지만 전체적으로는 두 그룹 사이에는 미량의 데이터가 잔재하게 된다. 그러므로 복합영상의 히스토그램 데이터들과 단색영상의 히스토그램 데이터들의 두 그룹을 명확하게 구분하기 위해서는 두 그룹 사이에 형성되어 있는 아주 작은 값의 데이터들을 영향을 제거하기 위해 소정의 임계값(Th2)보다 큰 빈도수를 나타내는 경우만 고려함으로써 복합영상에 의한 그룹과 단색영역에 의한 그룹을 명확하게 구분할 수 있게 된다. 단색영역에 의한 데이트임을 판단하기 위해서는 각 그룹이 X축, 즉 각 그룹의 Cb, Cr값의 범위를 비교한다. 일반적으로 복합영상의 히스토그램 데이터는 색상 정보가 다양하게 구성되어 있어 넓게 퍼져있는 형태로 이루어지며 단색영상의 히스토그램 데이터는 다양하지 않은 색상 정보의 구성으로 한 곳에 집중되어 있는 형태로 나타난다. 따라서 X 축의 0부터 255의 값을 갖는 히스토그램에서 복합영상의 데이터는 X축에 차지하게 되는 그룹 영역의 크기가 단색영상이 X축에 차지하게 되는 그룹 영역의 크기보다 큰 그룹 영역을 갖게 된 다. 그러므로 단색영역으로 판단할 수 있는 기준 범위를 사전에 설정하고, 히스토 그램에서 나타나는 그룹들 중 이 기준 범위 보다 작은 x축 범위, 즉 Cb, Cr의 범위를 갖는 그룹은 단색 영상에 의한 그룹으로 판단하여 해당 그룹에 속한 픽셀들은 자동 화이트 밸런스를 위한 이득 연산에서 제외한 후(S28), 자동 화이트 밸런스 이득을 연산하게 한다(S29).In order to remove the histogram data generated by the influence of the monochromatic region, the form in which the data is formed in the histogram for the input image frame is compared to determine whether the group is a composite image or a group based on the ongoing monochrome image. To this end, in the present invention, in the histogram of Cb, Cr, Cb, Cr values of adjacent X axes having a value larger than the preset threshold value Th2 are formed as a group, and the ranges of the Cb and Cr values of each group are preset and set. By comparing the reference range, it is determined that the group whose Cb and Cr values are smaller than the preset reference range proceeds to the monochromatic region (S25). Pixels belonging to the group determined to proceed to the monochrome region are excluded from the automatic white balance gain calculation. 7 shows an example of a histogram form that reproduces the process from a composite image to a monochrome image. In FIG. 7, the second group G2 represents the shape of the histogram data of the composite image, and the first group G1 represents the shape of the histogram data of the monochrome region that occurs in the process from the composite image to the monochrome image. . In general, even when the process from the composite image to the monochromatic image is performed, the group is not formed as completely independent data, but is divided into two groups as shown in FIG. 7, but overall, a small amount of data remains between the two groups. Done. Therefore, in order to clearly distinguish the two groups of the histogram data of the composite image and the histogram data of the monochromatic image, a frequency larger than a predetermined threshold (Th2) to remove the influence of very small data formed between the two groups By considering only the case of, the group by the composite image and the group by the monochromatic region can be clearly distinguished. In order to determine the date based on the monochromatic region, each group compares the X-axis, that is, the range of Cb and Cr values of each group. In general, the histogram data of a composite image is composed of various color information, and is spread in a wide form. The histogram data of a monochromatic image is composed of various color information and is concentrated in one place. Therefore, in the histogram having a value from 0 to 255 of the X axis, the composite image data has a group area whose size of the group area occupied on the X axis is larger than the size of the group area occupied by the monochrome image on the X axis. Therefore, the reference range that can be judged as a monochromatic region is set in advance, and among the groups shown in the histogram, a group having an x-axis range smaller than this reference range, that is, a range of Cb and Cr, is determined as a group based on a monochrome image. The pixels belonging to the group are excluded from the gain calculation for the automatic white balance (S28), and then the automatic white balance gain is calculated (S29).
한편, 상기와 같이 자동 화이트 밸런스 이득 연산에 단색 영역에 속한 픽셀들을 제거하게 되는 경우, 과도한 픽셀 제거로 인해 화이트 밸런스 이득 연산에 충분한 수의 픽셀이 사용되지 못하는 문제가 발생할 수 있다. 예를 들어, 입력 이미지 프레임이 도 8에 도시한 것과 같이 한 종류 이상의 단색영상이 입력되는 경우가 발생할 수도 있다. 이러한 경우 히스토그램 데이터는 도 9와 같이 히스토그램의 Y축의 최대값이 단색영상을 판단하는 과정(S24)에서 제1 임계값보다 작은 값이어서 단색영상으로 판단되지 않고, 단색영역에 포함되는 그룹의 픽셀들을 자동 화이트 밸런스 이득 연산에서 제거하는 과정(S25)에서의 조건은 만족하여, 화이트 밸런스 이득 연산에서 대부분의 픽셀들이 제외될 수 있다. 이러한 경우 자동 화이트 밸런스 이득을 연산하여 적용하면, 화이트 밸런스 이득 연산에 사용된 픽셀을 수가 너무 적어 색상의 왜곡이 심해지거나 원하지 않는 결과를 얻는 문제점이 발생할 수 있다. 이러한 경우를 방지하기 위해서 단색영역의 영향에 의한 히스토그램 데이터 제거를 수행하는 경우에는, 자동 화이트 밸런스 이득 연산에 제외되는 픽셀의 양을 판단하여(S26) 사전 설정된 임계값(Th3) 이상의 픽셀이 제외된다면 이는 하나 이상 의 단색영상이 입력되는 경우라고 판단해서 자동 화이트 밸런스를 위한 이득 연산을 수행하지 않고 단색영상으로 판단되었을 경우와 동일하게 이전의 입력 이미지 프레임에 의해 연산된 자동 화이트 밸런스 이득을 적용함으로써 많은 수의 픽셀이 연산에서 제외되어 발생할 수 있는 문제점을 해결할 수 있도록 하였다.On the other hand, when the pixels belonging to the monochromatic region are removed in the automatic white balance gain calculation as described above, a problem may occur in which a sufficient number of pixels are not used for the white balance gain calculation due to excessive pixel removal. For example, as shown in FIG. 8, one or more types of monochrome images may be input as the input image frame. In this case, the histogram data is not determined as a monochrome image because the maximum value of the Y-axis of the histogram is smaller than the first threshold value in the process of determining a monochrome image as shown in FIG. 9, and the pixels of the group included in the monochrome region are not determined. The condition in the process of removing from the automatic white balance gain operation S25 is satisfied, so that most pixels may be excluded from the white balance gain operation. In this case, when the automatic white balance gain is calculated and applied, the number of pixels used for the white balance gain calculation may be too small, resulting in a severe color distortion or an undesirable result. In order to prevent such a case, when the histogram data is removed due to the influence of the monochromatic region, the amount of pixels excluded from the automatic white balance gain calculation is determined (S26). This is because it is determined that more than one monochrome image is input and does not perform a gain operation for automatic white balance. Therefore, by applying the automatic white balance gain calculated by the previous input image frame in the same way as when the monochrome image is determined, This solves a problem that may occur because a large number of pixels are excluded from the operation.
본 발명의 상세한 설명에서는 구체적인 실시예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims and their equivalents.
도 1은 본 발명의 일실시형태에 따른 화이트 밸런스 조정 장치의 블록 구성도이다.1 is a block diagram of a white balance adjustment device according to an embodiment of the present invention.
도 2는 본 발명의 일실시형태에 따른 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법을 도시한 플로 차트이다.2 is a flowchart illustrating an automatic white balance adjustment method considering the influence of a monochrome image according to an embodiment of the present invention.
도 3 및 도 4는 본 발명의 일실시형태에 의해 생성된 Cb, Cr의 히스토그램의 일례이다.3 and 4 are examples of histograms of Cb and Cr produced by one embodiment of the present invention.
도 5는 복합영상에서 단색영상으로 진행되는 과정의 이미지를 일정 간격의 프레임 단위로 나타낸 도면이며, 도 6은 도 5의 일부 이미지 프레임의 Cb, Cr 히스토그램이다.FIG. 5 is a diagram illustrating an image of a process of proceeding from a composite image to a monochrome image in units of frames at a predetermined interval, and FIG. 6 is a Cb and Cr histogram of some image frames of FIG. 5.
도 7은 복합영상에서 단색영상으로의 진행과정을 나타내는 히스토그램이다.7 is a histogram showing the progress of a composite image to a monochrome image.
도 8은 두 가지 색상으로 이루어진 단색 영상의 예를 도시한 도면이다.8 is a diagram illustrating an example of a monochrome image composed of two colors.
도 9는 도 8에 도시된 단색 영상의 히스토그램이다.9 is a histogram of the monochrome image illustrated in FIG. 8.
*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *
11: 색좌표 변환부 12: 샘플링 간격 설정부11: color coordinate conversion unit 12: sampling interval setting unit
13: 히스토그램 생성부 14: 단색영상 판단부13: histogram generator 14: monochrome image determination unit
15: 제거대상 화소 판단부 16: 제거량 판단부15: removal target pixel determination unit 16: removal amount determination unit
17: 자동 화이트 밸런스 이득 연산부17: automatic white balance gain calculator
18: 자동 화이트 밸런스 이득 적용부18: Automatic white balance gain application
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090105486A KR101026049B1 (en) | 2009-11-03 | 2009-11-03 | White balance adjusting apparatus and method considering effect of single tone image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090105486A KR101026049B1 (en) | 2009-11-03 | 2009-11-03 | White balance adjusting apparatus and method considering effect of single tone image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101026049B1 true KR101026049B1 (en) | 2011-03-30 |
Family
ID=43939593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090105486A KR101026049B1 (en) | 2009-11-03 | 2009-11-03 | White balance adjusting apparatus and method considering effect of single tone image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101026049B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9595086B2 (en) | 2014-09-04 | 2017-03-14 | Samsung Electronics Co., Ltd. | Image processing device, image processing system and method for image processing |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000061820A (en) * | 1999-03-31 | 2000-10-25 | 윤종용 | Method and apparatus for improving an operation in auto-white balance processing |
KR20040043475A (en) * | 2002-11-18 | 2004-05-24 | 삼성전자주식회사 | Preventing method of error of auto white balance for digital camera |
KR100724253B1 (en) | 2005-12-23 | 2007-05-31 | 매그나칩 반도체 유한회사 | Apparatus and method for processing an image to control auto white balance of image sensor |
KR20080049458A (en) * | 2006-11-30 | 2008-06-04 | 삼성전기주식회사 | Apparatus to automatically controlling white balance and method thereof |
-
2009
- 2009-11-03 KR KR1020090105486A patent/KR101026049B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000061820A (en) * | 1999-03-31 | 2000-10-25 | 윤종용 | Method and apparatus for improving an operation in auto-white balance processing |
KR20040043475A (en) * | 2002-11-18 | 2004-05-24 | 삼성전자주식회사 | Preventing method of error of auto white balance for digital camera |
KR100724253B1 (en) | 2005-12-23 | 2007-05-31 | 매그나칩 반도체 유한회사 | Apparatus and method for processing an image to control auto white balance of image sensor |
KR20080049458A (en) * | 2006-11-30 | 2008-06-04 | 삼성전기주식회사 | Apparatus to automatically controlling white balance and method thereof |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9595086B2 (en) | 2014-09-04 | 2017-03-14 | Samsung Electronics Co., Ltd. | Image processing device, image processing system and method for image processing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7764319B2 (en) | Image processing apparatus, image-taking system, image processing method and image processing program | |
CN110022469B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
KR100983037B1 (en) | Method for controlling auto white balance | |
TWI414179B (en) | Shooting parameter adjustment method for face detection and image capturing device for face detection | |
JP5314357B2 (en) | Method and apparatus for correcting chromatic aberration of video | |
USRE46232E1 (en) | Image processing method and apparatus for processing an image by using a face detection result | |
RU2496250C1 (en) | Image processing apparatus and method | |
WO2007075067A1 (en) | Lens shading compensation apparatus and method, and image processor using the same | |
WO2011118071A1 (en) | Image processing method and device, image processing program, and medium having said program recorded thereon | |
US10412356B2 (en) | Image processing apparatus and image processing method | |
CN107533756B (en) | Image processing device, imaging device, image processing method, and storage medium storing image processing program for image processing device | |
JP2007110576A (en) | Color correction device for subject image data and control method thereof | |
KR101164535B1 (en) | Adaptive image compensating device and method thereof | |
KR101018237B1 (en) | White balance adjusting apparatus and method considering effect of single tone image | |
CN103065334A (en) | Color cast detection and correction method and device based on HSV (Hue, Saturation, Value) color space | |
KR101113483B1 (en) | Apparatus for enhancing visibility of color image | |
JP4947624B2 (en) | White balance adjustment method | |
CN112422940A (en) | Self-adaptive color correction method | |
JP2010219683A (en) | Image processing device, image processing method, and program | |
KR101026049B1 (en) | White balance adjusting apparatus and method considering effect of single tone image | |
KR20130012749A (en) | Video enhancer and video image processing method | |
KR20100067268A (en) | Apparatus and method for adjusting auto white balance using effective area | |
KR100915598B1 (en) | Automatic white balance apparatus and method thereof | |
JP2005260675A (en) | Image processor and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |