Nothing Special   »   [go: up one dir, main page]

KR100510819B1 - Apparatus for improving lightness characteristic and image quality using color appearance model in digital camcoder - Google Patents

Apparatus for improving lightness characteristic and image quality using color appearance model in digital camcoder Download PDF

Info

Publication number
KR100510819B1
KR100510819B1 KR10-2002-0064586A KR20020064586A KR100510819B1 KR 100510819 B1 KR100510819 B1 KR 100510819B1 KR 20020064586 A KR20020064586 A KR 20020064586A KR 100510819 B1 KR100510819 B1 KR 100510819B1
Authority
KR
South Korea
Prior art keywords
color
image
unit
appearance model
color temperature
Prior art date
Application number
KR10-2002-0064586A
Other languages
Korean (ko)
Other versions
KR20040035440A (en
Inventor
김재철
조맹섭
강병호
김진서
정재영
허태욱
홍상기
김대희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2002-0064586A priority Critical patent/KR100510819B1/en
Publication of KR20040035440A publication Critical patent/KR20040035440A/en
Application granted granted Critical
Publication of KR100510819B1 publication Critical patent/KR100510819B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for improving image illumination characteristics and image quality of a digital camcorder using a color appearance model.

본 발명은 CCD 영상 입력부(100)가 디지털 캠코더의 입력 영상을 획득하고 동작모드 제어부(200)가 입력 영상에 대하여 색현시 모델을 적용하기 위한 색현시 동작 모드를 수행하여 색온도를 전송하면 색현시 모델 적용부(300)가 다양한 조명에 대응하는 순응동작을 하여 입력 영상을 동작모드 제어부(200)에서 전달되는 색온도로 순응시켜 인간 시감화된 영상으로 변환한 후, 색영역 조절부(400)가 인간 시감화된 영상 데이터의 색 영역을 사용자의 선호에 대응하여 조절하고 색 영역이 조절된 영상을 영상 저장부(500)에 디지털 캠코더의 출력 영상으로 저장하도록 되어 있으며,According to the present invention, when the CCD image input unit 100 acquires an input image of a digital camcorder and the operation mode control unit 200 performs a color appearance operation mode for applying a color appearance model to the input image, and transmits a color temperature, the color appearance model After the application unit 300 adapts the input image to the color temperature transmitted from the operation mode controller 200 by converting the input image into a human visualized image, the color gamut controller 400 is a human. The color gamut of visualized image data is adjusted according to a user's preference, and the color gamut is stored in the image storage unit 500 as an output image of a digital camcorder.

이에 따라서, 다양한 조명환경에서 촬영된 영상을 자연광의 상태로 순응시켜 인간의 시감에 자연스러운 색상을 나타내도록 재현할 수 있고 영상의 화질도 향상시킬 수 있다.Accordingly, the image photographed in various lighting environments may be adapted to the state of natural light, and may be reproduced to display natural colors to human eyes, and the image quality of the image may be improved.

Description

색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치 및 방법 { Apparatus for improving lightness characteristic and image quality using color appearance model in digital camcoder } Apparatus for improving lightness characteristic and image quality using color appearance model in digital camcoder}

본 발명은 디지털 캠코더(Digital Camcoder)에 관한 것이며, 보다 상세히는 디지털 캠코더 영상 입력 특성을 인간 시감화시켜 디지털 캠코더가 다양한 조명환경 하에서도 균일한 화질을 유지하도록 하는 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital camcorder, and more particularly, to an image of a digital camcorder using a color appearance model in which a digital camcorder maintains uniform image quality even under various lighting conditions by visualizing a digital camcorder image input characteristic. An apparatus and method for improving illumination characteristics and image quality.

일반적으로 인간의 시감특성은 추상체와 간상체의 응답 특성으로 해석될 수 있다. 또한 상기 추상체는 응답 주파수 대역에 따라서 세 가지 추상체(L,M,S)로 구분이 되며 각각 독립적으로 조명에 응답한다.In general, human visual characteristics can be interpreted as response characteristics of abstracts and rods. In addition, the abstracts are classified into three abstracts (L, M, and S) according to the response frequency band, and each independently responds to illumination.

이러한 인간의 시감특성으로 인하여 인간은 주위 조명이 변하더라도 색에 대하여 균일한 인지특성을 가지게 되며 일반적인 디지털 캡쳐 장치와 다른 응답특성을 가지게 된다.Due to the human visual characteristics, humans have a uniform cognitive characteristic with respect to color even if the ambient light changes, and have a response characteristic different from that of a general digital capture device.

한편, 기존의 디지털 캠코더가 백색조절(white balance)기능을 사용하여 주위 조명의 환경을 고려하고 있으나 이러한 기능으로는 인간의 시감특성을 구현할 수가 없는 단점이 있다.On the other hand, the existing digital camcorder considers the environment of the ambient light by using a white balance (white balance) function, but there is a disadvantage that can not realize the human vision characteristics with this function.

따라서, 본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명의 목적은 디지털 캠코더가 영상을 획득하는 과정이 인간의 시감특성을 가지게 하여 고품질의 영상을 저장할 수 있도록 하고, 디지털 캠코더의 입력 영상에 대해서 색현시 모델 적용부를 이용하여 주위 광원의 변화에 의해 왜곡된 영상을 보정하도록 된 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치 및 방법을 제공하는데 있다. Accordingly, an object of the present invention is to overcome the above-mentioned conventional problems, and an object of the present invention is to allow a digital camcorder to acquire an image and to store a high quality image by having human viewing characteristics. The present invention provides an apparatus and a method for improving image illumination characteristics and image quality of a digital camcorder using a color appearance model, which is configured to correct an image distorted by a change of an ambient light source using a color appearance model application unit.

상기 본 발명의 목적을 달성하기 위한 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치는, 디지털 캠코더의 입력 영상을 획득하는 CCD 영상 입력부와; 상기 CCD 영상 입력부에서 전달되는 입력 영상에 대하여 색현시 모델을 적용하기 위한 색현시 동작 모드를 수행하여 색온도를 전송하는 동작모드 제어부; 다양한 조명에 대응하는 순응동작을 하여 상기 CCD 영상 입력부에서 전달되는 입력 영상을 상기 동작모드 제어부에서 전달되는 색온도로 순응시켜 인간 시감화된 영상으로 변환하는 색현시 모델 적용부; 상기 색현시 모델 적용부에 의해 변환된 영상 데이터의 색 영역을 사용자의 선호에 대응하여 조절하는 색영역 조절부; 및 상기 색영역 조절부에 의해 색 영역이 조절된 영상을 디지털 캠코더의 출력 영상으로 저장하는 영상 저장부로 구성된다. The apparatus for improving image illumination characteristics and image quality of a digital camcorder using a color appearance model for achieving the object of the present invention includes: a CCD image input unit for acquiring an input image of a digital camcorder; An operation mode controller configured to transmit a color temperature by performing a color appearance operation mode for applying a color appearance model to the input image transmitted from the CCD image input unit; A color appearance model application unit adapted to convert an input image transmitted from the CCD image input unit to a color temperature transmitted from the operation mode control unit and convert the image into a human visualized image by performing an adaptation operation corresponding to various illuminations; A color gamut controller configured to adjust a color gamut of the image data converted by the color appearance model application unit according to a user's preference; And an image storage unit for storing the image whose color gamut is adjusted by the color gamut adjusting unit as an output image of the digital camcorder.

상기 본 발명의 목적을 달성하기 위한 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 방법은, CCD 영상 입력부가 디지털 캠코더의 입력 영상을 획득하는 단계와; 동작모드 제어부가 상기 입력 영상에 대하여 색현시 모델을 적용하기 위한 색현시 동작 모드를 수행하여 색온도를 전송하는 단계; 색현시모델 적용부가 다양한 조명에 대응하는 순응동작을 하여 상기 입력 영상을 색온도로 순응시켜 인간 시감화된 영상으로 변환하는 단계; 색영역 조절부가 인간 시감화된 영상 데이터의 색 영역을 사용자의 선호에 대응하여 조절하는 단계; 및 영상 저장부가 색 영역이 조절된 영상을 디지털 캠코더의 출력 영상으로 저장하는 단계로 이루어진다. According to an aspect of the present invention, there is provided a method of improving image illumination characteristics and image quality of a digital camcorder using a color appearance model, comprising: acquiring an input image of a digital camcorder by a CCD image input unit; An operation mode controller performing a color appearance operation mode for applying a color appearance model to the input image to transmit a color temperature; Converting the input image to a color temperature by converting the input image into a color temperature by performing an adaptation operation corresponding to a variety of lights; Adjusting, by the color gamut adjusting unit, the color gamut of the human-visible image data according to a user's preference; And storing the image in which the color gamut is adjusted as an output image of the digital camcorder.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 내지 도 4를 참조하면, CCD 영상 입력부(100)는 디지털 캠코더의 입력 영상을 획득한다.1 to 4, the CCD image input unit 100 obtains an input image of a digital camcorder.

동작모드 제어부(200)는 상기 CCD 영상 입력부(100)에서 전달되는 입력 영상에 대하여 색현시 모델을 적용하기 위한 색현시 동작 모드를 수행하여 색온도를 전송한다.The operation mode controller 200 transmits a color temperature by performing a color appearance operation mode for applying a color appearance model to the input image transmitted from the CCD image input unit 100.

상기 동작모드 제어부(200)의 색온도 저장메모리(230)는 특정한 색온도를 저장하고 있다.The color temperature storage memory 230 of the operation mode control unit 200 stores a specific color temperature.

상기 동작모드 제어부(200)의 색온도 검출부(240)는 외부 색온도를 자동으로 검출한다.The color temperature detector 240 of the operation mode controller 200 automatically detects an external color temperature.

상기 동작모드 제어부(200)의 동작모드 선택부(210)는 사용자가 색현시 모델을 적용하기 위한 색온도를 획득하기 위하여 상기 색온도 저장메모리(230)와 색온도 검출부(240) 중에서 어느 하나를 선택하도록 한다.The operation mode selector 210 of the operation mode controller 200 allows a user to select one of the color temperature storage memory 230 and the color temperature detector 240 to obtain a color temperature for applying a color appearance model. .

상기 동작모드 제어부(200)의 동작모드 제어기(220)는 상기 동작모드 선택부(210)에서 전달된 선택 신호에 따라서 상기 색온도 저장메모리(230)와 색온도 검출부(240) 중에서 어느 하나를 선택하여 색온도를 획득하여 상기 색현시모델 적용부(300)로 전달한다.The operation mode controller 220 of the operation mode control unit 200 selects one of the color temperature storage memory 230 and the color temperature detection unit 240 according to a selection signal transmitted from the operation mode selection unit 210 to select a color temperature. Obtain and transfer to the color appearance model application unit 300.

색현시 모델 적용부(300)는 다양한 조명에 대응하는 순응동작을 하여 상기 CCD 영상 입력부(100)에서 전달되는 입력 영상을 상기 동작모드 제어부(200)에서 전달되는 색온도로 순응시켜 인간 시감화된 영상으로 변환한다.The color appearance model application unit 300 adapts the input image transmitted from the CCD image input unit 100 to the color temperature transmitted from the operation mode control unit 200 by performing an adaptation operation corresponding to various illumination images. Convert to

상기 색현시모델 적용부(300)의 XYZ변환부(310)는 입력 영상의 RGB 데이터를 물체색(XYZ)으로 변환한다. 이때, 아래의 수학식 1을 이용하여 RGB 데이터를 물체색(XYZ)으로 변환한다.The XYZ converter 310 of the color appearance model application unit 300 converts the RGB data of the input image into the object color XYZ. At this time, the RGB data is converted into the object color XYZ using Equation 1 below.

여기서, Xr,max, Yr,max, Zr,max는 Red값이 최대일 때 측정된 X, Y, Z 각각의 물체색 값이며, Xg,max, Yg,max, Zg,max는 값이 Green값이 최대일 때 측정된 X, Y, Z 각각의 물체색 값이며, Xb,max, Yb,max, Zb,max는 값이 Blue값이 최대일 때 측정된 X, Y, Z 각각의 물체색 값이다. Here, Xr, max, Yr, max, Zr, max are the object color values of each of X, Y, and Z measured when the Red value is maximum, and Xg, max, Yg, max, Zg, max are the Green value. X, Y, and Z are the object color values measured at maximum, and Xb, max, Yb, max, Zb, and max are the object color values of each of X, Y, and Z measured when the blue value is the maximum.

상기 색현시모델 적용부(300)의 LMS변환부(320)는 변환된 물체색을 추상체 응답 특성치(LMS)로 변환한다. 이때, 아래의 수학식 2를 이용하여 물체색을 추상체 응답 특성치(LMS)로 변환한다.The LMS converter 320 of the color appearance model application unit 300 converts the converted object color into an LMS. At this time, the object color is converted into an LMS by using Equation 2 below.

여기서, M11, M12, M13, M21, M22, M23, M31, M32, M33은 물체색에서 추상체 특성치로 변환하기 위한 상수이며, 색순응 모델에 따라서 다르게 정의될 수 있다. Here, M11, M12, M13, M21, M22, M23, M31, M32, and M33 are constants for converting the object color into the characteristic values of an object, and may be defined differently according to the color adaptation model.

상기 색현시모델 적용부(300)의 LMS조절부(330)는 상기 LMS변환부(320)에 의해 변환된 추상체 응답 특성치(LMS)를 상기 동작모드 제어부(200)에서 전달된 색온도로 순응시켜 조절한다. 이때, 아래의 수학식 3을 이용하여 추상체 응답 특성치(LMS)를 색온도로 순응시켜 조절한다.The LMS control unit 330 of the color appearance model application unit 300 adapts the LMS transformed by the LMS conversion unit 320 to the color temperature transmitted from the operation mode control unit 200. Adjust At this time, by using the following equation (3) to adjust the response response characteristics (LMS) to the color temperature.

여기서, Lmax1, Mmax1, Smax1은 LMS변환부(320)에서 변환된 LMS 값 중에서 각각의 최대치를 의미하고, Lmax2, Mmax2, Smax2는 변환하고자 하는 색온도에서의 LMS 각각의 최대치를 의미한다. Here, Lmax1, Mmax1, and Smax1 mean maximum values of LMS values converted by the LMS converter 320, and Lmax2, Mmax2, and Smax2 mean maximum values of LMSs at the color temperature to be converted.

상기 색현시모델 적용부(300)의 LMS역변환부(340)는 조절된 추상체 응답 특성치(LMS)를 물체색으로 역변환한다. 이때, 아래의 수학식 4를 이용하여 추상체 응답 특성치(LMS)를 물체색으로 역변환한다.The LMS inverse transform unit 340 of the color appearance model application unit 300 inverts the adjusted LMS to the object color. At this time, the abstract response characteristic value (LMS) is inversely converted into the object color using Equation 4 below.

여기서, 수학식 2와 동일하게, M11, M12, M13, M21, M22, M23, M31, M32, M33은 물체색에서 추상체 특성치로 변환하기 위한 상수이며, 색순응 모델에 따라서 다르게 정의될 수 있다. Here, as in Equation 2, M11, M12, M13, M21, M22, M23, M31, M32, and M33 are constants for converting the object color into the characteristic values of an object, and may be defined differently according to the color adaptation model.

상기 색현시모델 적용부(300)의 XYZ역변환부(350)는 역변환된 물체색(X'YZ)으로부터 R'G'B' 데이터를 추출하여 입력 영상의 특성을 인간 시감화된 영상으로 변환한다. 이때, 아래의 수학식 5를 이용하여 역변환된 물체색(X'YZ)으로부터 R'G'B' 데이터를 추출한다.The XYZ inverse transform unit 350 of the color appearance model application unit 300 extracts R'G'B 'data from the inversely transformed object color X'YZ to convert the characteristics of the input image into a human visualized image. At this time, R'G'B 'data is extracted from the inversely transformed object color (X'YZ) using Equation 5 below.

여기서, 수학식 1과 동일하게, Xr,max, Yr,max, Zr,max는 Red값이 최대일 때 측정된 X, Y, Z 각각의 물체색 값이며, Xg,max, Yg,max, Zg,max는 값이 Green값이 최대일 때 측정된 X, Y, Z 각각의 물체색 값이며, Xb,max, Yb,max, Zb,max는 값이 Blue값이 최대일 때 측정된 X, Y, Z 각각의 물체색 값이다. Here, as in Equation 1, Xr, max, Yr, max, Zr, max are the object color values of each of X, Y, and Z measured when the Red value is maximum, and Xg, max, Yg, max, Zg, max is the object color value of each of X, Y, and Z measured when the Green value is maximum, and Xb, max, Yb, max, Zb, max is the X, Y, Z value measured when the Blue value is maximum. Each object color value.

색영역 조절부(400)는 상기 색현시 모델 적용부에 의해 변환된 영상 데이터의 색 영역을 사용자의 선호에 대응하여 조절한다.The color gamut controller 400 adjusts the color gamut of the image data converted by the color appearance model application unit according to a user's preference.

상기 색영역 조절부(400)의 XYZ변환부(410)는 상기 색현시모델 적용부(300)에 의해 변환된 영상 데이터의 RGB데이터를 물체색으로 변환한다.The XYZ conversion unit 410 of the color gamut control unit 400 converts the RGB data of the image data converted by the color representation model application unit 300 into an object color.

상기 색영역 조절부(400)의 LCH변환부(420)는 변환된 물체색을 균등 색공간(LCH)으로 변환한다.The LCH converter 420 of the color gamut controller 400 converts the converted object color into an equal color space (LCH).

상기 색영역 조절부(400)의 LCH 조절부(430)는 상기 LCH변환부(420)에 의해 변환된 균등 색공간(LCH)의 색 영역들에 대하여 개별적으로 명도, 채도, 색상을 조절한다.The LCH adjusting unit 430 of the color gamut adjusting unit 400 individually adjusts brightness, saturation, and color of the color gamuts of the uniform color space LCH converted by the LCH converting unit 420.

상기 색영역 조절부(400)의 LCH역변환부(440)는 상기 LCH 조절부(430)에 의해 색 영역들에 대한 명도, 채도, 색상이 조절된 균등 색공간(LCH)을 물체색으로 역변환한다.The LCH inverse converting unit 440 of the color gamut adjusting unit 400 inversely converts the uniform color space (LCH) whose brightness, saturation, and color of the color gamuts are adjusted by the LCH adjusting unit 430 into the object color.

상기 색영역 조절부(400)의 XYZ 역변환부(450)는 역변환된 물체색을 RGB 데이터로 역변환하여 색 영역이 조절된 영상을 출력한다.The XYZ inverse converter 450 of the color gamut controller 400 converts the inversely converted object color into RGB data and outputs an image in which the color gamut is adjusted.

영상 저장부(500)는 상기 색영역 조절부에 의해 색 영역이 조절된 영상을 디지털 캠코더의 출력 영상으로 저장한다.The image storage unit 500 stores the image whose color gamut is adjusted by the color gamut adjusting unit as an output image of the digital camcorder.

상기와 같이 구성되는 본 발명에 따른 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치는 다음과 같이 작동한다.An apparatus for improving image illumination and image quality of a digital camcorder using a color appearance model according to the present invention configured as described above operates as follows.

먼저, 상기 CCD 영상 입력부(100)가 디지털 캠코더의 입력 영상을 획득하여 상기 색현시모델 적용부(300)로 전달하고, 상기 동작모드 제어부(200)가 CCD 영상 입력부(100)에서 전달되는 입력 영상에 대하여 색현시 모델을 적용하기 위한 색현시 동작 모드를 수행하여 색온도를 색현시모델 적용부(300)로 전송하면, 상기 색현시모델 적용부(300)는 다양한 조명에 대응하는 순응동작을 하여 상기 CCD 영상 입력부(100)에서 전달되는 입력 영상을 상기 동작모드 제어부(200)에서 전달되는 색온도로 순응시켜 인간 시감화된 영상으로 변환한다.First, the CCD image input unit 100 obtains an input image of a digital camcorder and transmits it to the color appearance model application unit 300, and the operation mode control unit 200 receives an input image transmitted from the CCD image input unit 100. When the color temperature is transmitted to the color model application unit 300 by performing the color mode operation mode for applying the color model to the color model, the color model application unit 300 performs an adaptation operation corresponding to various lights. The input image transmitted from the CCD image input unit 100 is converted into a human visualized image by conforming to the color temperature transmitted from the operation mode control unit 200.

이때, 상기 동작모드 제어부(200)의 동작모드 제어기(220)는 사용자가 색현시 모델을 적용하기 위한 색온도를 획득하기 위하여 동작모드 선택부(210)를 조작하여 색온도가 저장된 색온도 저장메모리(230)와 외부 색온도를 자동으로 검출하는 색온도 검출부(240) 중에서 어느 하나를 선택하면 상기 색온도 저장메모리(230)와 색온도 검출부(240) 중에서 선택된 어느 하나로부터 색온도를 획득하여 상기 색현시모델 적용부(300)로 전달한다.In this case, the operation mode controller 220 of the operation mode control unit 200 operates the operation mode selection unit 210 to obtain a color temperature for the user to apply the color appearance model to the color temperature storage memory 230 in which the color temperature is stored. And a color temperature detector 240 that automatically detects an external color temperature, acquires a color temperature from any one selected from the color temperature storage memory 230 and the color temperature detector 240, and applies the color representation model application unit 300. To pass.

또한, 상기 색현시 모델 적용부(300)의 XYZ변환부(310)가 상기 수학식 1을 이용하여 입력 영상의 RGB 데이터를 물체색(XYZ)으로 변환하고, 상기 LMS변환부(320)는 변환된 물체색을 상기 수학식 2를 이용하여 추상체 응답 특성치(LMS)로 변환하면, 이어서 상기 LMS조절부(330)가 상기 수학식 3을 이용하여 이 추상체 응답 특성치(LMS)를 상기 동작모드 제어부(200)에서 전달된 색온도로 순응시켜 조절한 다음 상기 LMS역변환부(340)가 상기 수학식 4를 이용하여 색온도로 순응시켜 조절된 추상체 응답 특성치(LMS)를 물체색으로 역변환하고, 마지막으로 상기 XYZ역변환부(350)가 상기 수학식 5를 이용하여 역변환된 물체색(X'YZ)으로부터 R'G'B' 데이터를 추출하여 입력 영상의 특성을 인간 시감화된 영상으로 변환하여 상기 색영역 조절부(400)로 전달한다.In addition, the XYZ conversion unit 310 of the color appearance model application unit 300 converts the RGB data of the input image into the object color (XYZ) using Equation 1, and the LMS conversion unit 320 is converted When the object color is converted into the LMS by using Equation 2, the LMS controller 330 then converts the LMS by using Equation 3 into the operation mode control unit. The LMS inverse transform unit 340 converts the adjusted LMS to the object color by integrating with the color temperature using Equation 4, and finally, the XYZ. The inverse transform unit 350 extracts R'G'B 'data from the inverse transformed object color (X'YZ) using Equation 5 to convert the characteristics of the input image into a human visualized image and adjust the color gamut control unit. Forward to 400.

상기와 같이 색현시모델 적용부(300)가 다양한 조명에 대응하는 순응동작을 하여 상기 CCD 영상 입력부(100)에서 전달되는 입력 영상을 상기 동작모드 제어부(200)에서 전달되는 색온도로 순응시켜 인간 시감화된 영상으로 변환하고 나면, 다음으로 상기 색영역 조절부(400)는 색현시 모델 적용부(300)에 의해 변환된 영상 데이터의 색 영역을 사용자의 선호에 대응하여 조절한다.As described above, the color appearance model application unit 300 performs an operation corresponding to a variety of lighting, and adapts the input image transmitted from the CCD image input unit 100 to the color temperature transmitted from the operation mode control unit 200 to visualize human eyes. After the conversion to the normalized image, the color gamut adjusting unit 400 then adjusts the color gamut of the image data converted by the color appearance model application unit 300 according to the user's preference.

이때, 상기 XYZ변환부(410)가 먼저 상기 색현시모델 적용부(300)에 의해 변환된 영상 데이터의 RGB데이터를 물체색으로 변환하면, LCH변환부(420)가 변환된 물체색을 균등 색공간(LCH)으로 변환하고, 이어서 상기 LCH 조절부(430)가 LCH변환부(420)에 의해 변환된 균등 색공간(LCH)의 색 영역들에 대하여 개별적으로 명도, 채도, 색상을 조절하면 LCH역변환부(440)가 색 영역들이 조절된 균등 색공간(LCH)을 물체색으로 역변환하며, 마지막으로 상기 XYZ 역변환부(450)가 역변환된 물체색을 RGB 데이터로 역변환하여 색 영역이 조절된 영상을 출력하여 상기 영상 저장부(500)로 전달하고, 이에 따라서 상기 영상 저장부(500)는 색 영역이 조절된 영상을 디지털 캠코더의 출력 영상으로 저장한다.In this case, when the XYZ converter 410 first converts the RGB data of the image data converted by the color representation model application unit 300 to an object color, the LCH converter 420 converts the converted object color into an equal color space ( LCH), and then the LCH controller 430 adjusts the brightness, saturation, and color of the color gamuts of the uniform color space LCH, which are converted by the LCH converter 420, respectively. In operation 440, an inverse color space LCH in which color areas are adjusted is inversely converted into an object color. Finally, the XYZ inverse converter 450 inversely converts an inversely converted object color into RGB data and outputs an image in which the color gamut is adjusted. The image storage unit 500 transmits the image storage unit 500 as an output image of the digital camcorder.

상술한 바와 같이 본 발명에 따른 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치 및 방법은 디지털 캠코더가 영상을 획득하는 과정이 인간의 시감특성을 가지게 하여 고품질의 영상을 저장할 수 있도록 하고, 디지털 캠코더의 입력 영상에 대해서 색현시 모델 적용부를 이용하여 주위 광원의 변화에 의해 왜곡된 영상을 보정하도록 되어 있기 때문에, 다양한 조명환경에서 촬영된 영상을 자연광의 상태로 순응시켜 인간의 시감에 자연스러운 색상을 나타내도록 재현할 수 있을 뿐만 아니라, 획득된 영상이 색 항상성(color constancy)을 가지게 할 수 있고 영상의 화질을 향상시킬 수 있는 장점이 있다.As described above, the apparatus and method for improving image illumination characteristics and image quality of a digital camcorder using a color appearance model according to the present invention allow a digital camcorder to store images of high quality by having a human vision characteristic in acquiring images. In order to correct the image distorted by the change of the ambient light source using the color appearance model application unit, the input image of the digital camcorder is adapted to the state of natural light so that it is natural for human vision. In addition to being able to reproduce colors, the obtained image can have color constancy and can improve image quality.

특히, 본 발명에 따른 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치 및 방법은 디지털 캠코더에 추가적인 장치를 사용하지 않고서도 사용자의 선택에 의해서 입력 영상을 원하는 조명으로 순응시킬 수 있는 장점이 있다. In particular, an apparatus and method for improving image illumination characteristics and image quality of a digital camcorder using a color appearance model according to the present invention have an advantage of adapting an input image to a desired illumination by a user's selection without using an additional device in the digital camcorder. There is this.

이상에서 설명한 것은 본 발명에 따른 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치 및 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is just one embodiment for implementing the apparatus and method for improving the image illumination characteristics and image quality of the digital camcorder using the color appearance model according to the present invention, the present invention is not limited to the above embodiment, Without departing from the gist of the present invention claimed in the claims, anyone of ordinary skill in the art will have the technical spirit of the present invention to the extent that various modifications can be made.

도 1은 본 발명에 따른 색 현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치를 도시한 구성도,1 is a block diagram illustrating a device for improving image illumination characteristics and image quality of a digital camcorder using a color appearance model according to the present invention;

도 2는 동작모드 제어부를 도시한 구성도,2 is a block diagram showing an operation mode control unit;

도 3은 색현시모델 적용부를 도시한 구성도,3 is a block diagram showing a color appearance model application unit,

도 4는 색영역 조절부를 도시한 구성도이다.4 is a diagram illustrating a color gamut adjusting unit.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

100 : CCD 영상입력부 200 : 동작모드 제어부100: CCD image input unit 200: operation mode control unit

210 : 동작모드 선택부 220 : 동작모드 제어부210: operation mode selection unit 220: operation mode control unit

230 : 색온도 저장 메모리 240 : 색온도 검출부230: color temperature storage memory 240: color temperature detection unit

300 : 색현시모델 적용부 310 : XYZ 변환부300: color appearance model application unit 310: XYZ conversion unit

320 : LMS 변환부 330 : LMS 조절부320: LMS conversion unit 330: LMS control unit

340 : LMS 역변환부 350 : XYZ 역변환부340: LMS inverse transform unit 350: XYZ inverse transform unit

400 : 색영역 조절부 410 : XYZ 변환부400: color gamut adjustment unit 410: XYZ conversion unit

420 : LCH 변환부 430 : LCH 조절부420: LCH converter 430: LCH controller

440 : LCH 역변환부 450 : XYZ 역변환부440: LCH inverse transform unit 450: XYZ inverse transform unit

500 : 영상 저장부500: image storage unit

Claims (8)

디지털 캠코더의 입력 영상을 획득하는 CCD 영상 입력부와;A CCD image input unit which acquires an input image of the digital camcorder; 상기 CCD 영상 입력부에서 전달되는 입력 영상에 대하여 색현시 모델을 적용하기 위한 색현시 동작 모드를 수행하여 색온도를 전송하는 동작모드 제어부;An operation mode controller configured to transmit a color temperature by performing a color appearance operation mode for applying a color appearance model to the input image transmitted from the CCD image input unit; 색현시 모델 적용부는 입력 영상의 RGB 데이터를 물체색(XYZ)으로 변환하는 XYZ변환부, 변환된 물체색을 추상체 응답 특성치(LMS)로 변환하는 LMS변환부, 상기 LMS변환부에 의해 변환된 추상체 응답 특성치(LMS)를 상기 동작모드 제어부에서 전달된 색온도로 순응시켜 조절하는 LMS조절부, 조절된 추상체 응답 특성치(LMS)를 물체색으로 역변환하는 LMS역변환부 및 역변환된 물체색(X'YZ)으로부터 R'G'B' 데이터를 추출하여 입력 영상의 특성을 인간 시감화된 영상으로 변환하는 XYZ역변환부로 이루어지며, 다양한 조명에 대응하는 순응동작을 하여 상기 CCD 영상 입력부에서 전달되는 입력 영상을 상기 동작모드 제어부에서 전달되는 색온도로 순응시켜 인간 시감화된 영상으로 변환하는 상기 색현시 모델 적용부;The color appearance model application unit includes an XYZ conversion unit that converts RGB data of an input image into an object color (XYZ), an LMS conversion unit that converts the converted object color into an abstract response characteristic value (LMS), and an abstract object converted by the LMS conversion unit. LMS control unit for adjusting the response characteristic value (LMS) to the color temperature transmitted from the operation mode control unit, LMS inverse transform unit for inverting the adjusted object response characteristic value (LMS) to the object color and inverse object color (X'YZ) from An XYZ inverse transform unit extracts R'G'B 'data and converts characteristics of an input image into a human visualized image, and operates the input image transmitted from the CCD image input unit by performing an adaptive operation corresponding to various illuminations. The color appearance model application unit adapted to convert the human visualized image into a color temperature transmitted from a mode controller; 상기 색현시 모델 적용부에 의해 변환된 영상 데이터의 색 영역을 사용자의 선호에 대응하여 조절하는 색영역 조절부; 및A color gamut controller configured to adjust a color gamut of the image data converted by the color appearance model application unit according to a user's preference; And 상기 색영역 조절부에 의해 색 영역이 조절된 영상을 디지털 캠코더의 출력 영상으로 저장하는 영상 저장부An image storage unit for storing the image of the color gamut adjusted by the color gamut control unit as an output image of the digital camcorder 로 구성되는 것을 특징으로 하는 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치.Apparatus for improving image illumination and image quality of a digital camcorder using a color appearance model, characterized in that consisting of. 제 1 항에 있어서, 상기 동작모드 제어부는The method of claim 1, wherein the operation mode control unit 색온도가 저장된 색온도 저장메모리와;A color temperature storage memory storing a color temperature; 외부 색온도를 자동으로 검출하는 색온도 검출부;A color temperature detector for automatically detecting an external color temperature; 사용자가 색현시 모델을 적용하기 위한 색온도를 획득하기 위하여 상기 색온도 저장메모리와 색온도 검출부 중에서 어느 하나를 선택하도록 하는 동작모드 선택부; 및An operation mode selection unit for allowing a user to select one of the color temperature storage memory and the color temperature detection unit to obtain a color temperature for applying a color appearance model; And 상기 동작모드 선택부에서 전달된 선택 신호에 따라서 상기 색온도 저장메모리와 색온도 검출부 중에서 어느 하나를 선택하여 색온도를 획득하여 상기 색현시모델 적용부로 전달하는 동작모드 제어기An operation mode controller which selects any one of the color temperature storage memory and the color temperature detection unit according to the selection signal transmitted from the operation mode selection unit, obtains a color temperature, and transfers the color temperature to the color appearance model application unit. 로 구성되는 것을 특징으로 하는 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치.Apparatus for improving image illumination and image quality of a digital camcorder using a color appearance model, characterized in that consisting of. 삭제delete 제 1 항에 있어서, 상기 색영역 조절부는The method of claim 1, wherein the color gamut adjusting unit 상기 색현시 모델 적용부에 의해 변환된 영상 데이터의 RGB데이터를 물체색으로 변환하는 XYZ변환부와;An XYZ conversion unit for converting RGB data of the image data converted by the color appearance model application unit into an object color; 변환된 물체색을 균등 색공간(LCH)으로 변환하는 LCH변환부;An LCH conversion unit for converting the converted object color into a uniform color space (LCH); 상기 LCH변환부에 의해 변환된 균등 색공간(LCH)의 색 영역들에 대하여 개별적으로 명도, 채도, 색상을 조절하는 LCH 조절부;An LCH controller for individually adjusting brightness, saturation, and color of color regions of the uniform color space LCH converted by the LCH converter; 상기 LCH 조절부에 의해 색 영역들에 대한 명도, 채도, 색상이 조절된 균등 색공간(LCH)을 물체색으로 역변환하는 LCH역변환부; 및An LCH inverse transform unit for inversely converting a uniform color space (LCH) in which brightness, saturation, and color of the color areas are adjusted by the LCH controller to an object color; And 역변환된 물체색을 RGB 데이터로 역변환하여 색 영역이 조절된 영상을 출력하는 XYZ 역변환부XYZ inverse converter that converts the inversely converted object color into RGB data and outputs the image with the adjusted color gamut 로 구성되는 것을 특징으로 하는 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 장치.Apparatus for improving image illumination and image quality of a digital camcorder using a color appearance model, characterized in that consisting of. CCD 영상 입력부가 디지털 캠코더의 입력 영상을 획득하는 단계와;Acquiring, by the CCD image input unit, an input image of the digital camcorder; 동작모드 제어부가 상기 입력 영상에 대하여 색현시 모델을 적용하기 위한 색현시 동작 모드를 수행하여 색온도를 전송하는 단계;An operation mode controller performing a color appearance operation mode for applying a color appearance model to the input image to transmit a color temperature; 색현시모델 적용부가 다양한 조명에 대응하는 순응동작을 하여 상기 입력 영상을 색온도로 순응시켜 인간 시감화된 영상으로 변환하는 단계;Converting the input image to a color temperature by converting the input image into a color temperature by performing an adaptation operation corresponding to a variety of lights; 색영역 조절부가 인간 시감화된 영상 데이터의 색 영역을 사용자의 선호에 대응하여 조절하는 단계; 및Adjusting, by the color gamut adjusting unit, the color gamut of the human-visible image data according to a user's preference; And 영상 저장부가 색 영역이 조절된 영상을 디지털 캠코더의 출력 영상으로 저장하는 단계The image storage unit stores the image of which the color gamut is adjusted as an output image of the digital camcorder. 로 이루어지는 것을 특징으로 하는 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 방법.Image illumination characteristics and image quality improvement method of a digital camcorder using a color appearance model, characterized in that consisting of. 제 5 항에 있어서, 상기 동작모드 제어부가 입력 영상에 대하여 색현시 모델을 적용하기 위한 색현시 동작 모드를 수행하여 색온도를 전송하는 단계는The method of claim 5, wherein the operation mode control unit transmits a color temperature by performing a color appearance operation mode for applying a color appearance model to an input image. 사용자가 색현시 모델을 적용하기 위한 색온도를 획득하기 위하여 색온도가 저장된 색온도 저장메모리와 외부 색온도를 자동으로 검출하는 색온도 검출부 중에서 어느 하나를 선택하면 상기 색온도 저장메모리와 색온도 검출부 중에서 선택된 어느 하나로부터 색온도를 획득하여 상기 색현시모델 적용부로 전달하는 것을 특징으로 하는 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 방법.When the user selects one of the color temperature storage memory in which the color temperature is stored and the color temperature detection unit that automatically detects the external color temperature in order to obtain a color temperature for applying the color appearance model, the color temperature is selected from one of the color temperature storage memory and the color temperature detection unit. The image illumination characteristics and image quality improvement method of the digital camcorder using the color appearance model, characterized in that the acquisition and transfer to the color appearance model application unit. 제 5 항에 있어서, 상기 색현시모델 적용부가 다양한 조명에 대응하는 순응동작을 하여 상기 입력 영상을 색온도로 순응시켜 인간 시감화된 영상으로 변환하는 단계는The method of claim 5, wherein the color appearance model application unit converts the input image to a color temperature by adapting the input image to a color temperature by performing an adaptation operation corresponding to various illuminations. 입력 영상의 RGB 데이터를 물체색(XYZ)으로 변환하고, 변환된 물체색을 추상체 응답 특성치(LMS)로 변환한 후, 이 추상체 응답 특성치(LMS)를 상기 동작모드 제어부에서 전달된 색온도로 순응시켜 조절한 다음 물체색으로 역변환하고, 역변환된 물체색(X'YZ)으로부터 R'G'B' 데이터를 추출하여 입력 영상의 특성을 인간 시감화된 영상으로 변환하는 것을 특징으로 하는 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 방법.After converting the RGB data of the input image into the object color (XYZ), and converts the converted object color into an abstract response characteristic value (LMS), this abstract response characteristic (LMS) is adapted to the color temperature transmitted from the operation mode controller Digitally using a color representation model, characterized in that it is converted and then inversely transformed into the object color, and R'G'B 'data is extracted from the inversely transformed object color (X'YZ) to convert the characteristics of the input image into a human visualized image. How to improve image quality and quality of camcorder. 제 5 항에 있어서, 상기 색영역 조절부가 인간 시감화된 영상 데이터의 색 영역을 사용자의 선호에 대응하여 조절하는 단계는The method of claim 5, wherein the color gamut adjusting unit adjusts the color gamut of the human visualized image data according to a user's preference. 상기 색현시 모델 적용부에 의해 변환된 영상 데이터의 RGB데이터를 물체색으로 변환하고, 변환된 물체색을 균등 색공간(LCH)으로 변환한 후, 이 균등 색공간(LCH)의 색 영역들에 대하여 개별적으로 명도, 채도, 색상을 조절한 다음 물체색으로 역변환하고, 역변환된 물체색을 RGB 데이터로 역변환하여 색 영역이 조절된 영상을 출력하는 것을 특징으로 하는 색현시 모델을 이용한 디지털 캠코더의 영상 조명특성과 화질 개선 방법.After converting the RGB data of the image data converted by the color appearance model application unit to the object color, and converts the converted object color to the uniform color space (LCH), the individual color spaces of the uniform color space (LCH) Image lighting characteristics and image quality of digital camcorder using color appearance model, characterized by adjusting brightness, saturation, color, and inversely converting to object color, and inversely converting converted object color into RGB data How to improve.
KR10-2002-0064586A 2002-10-22 2002-10-22 Apparatus for improving lightness characteristic and image quality using color appearance model in digital camcoder KR100510819B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0064586A KR100510819B1 (en) 2002-10-22 2002-10-22 Apparatus for improving lightness characteristic and image quality using color appearance model in digital camcoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0064586A KR100510819B1 (en) 2002-10-22 2002-10-22 Apparatus for improving lightness characteristic and image quality using color appearance model in digital camcoder

Publications (2)

Publication Number Publication Date
KR20040035440A KR20040035440A (en) 2004-04-29
KR100510819B1 true KR100510819B1 (en) 2005-08-30

Family

ID=37334373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0064586A KR100510819B1 (en) 2002-10-22 2002-10-22 Apparatus for improving lightness characteristic and image quality using color appearance model in digital camcoder

Country Status (1)

Country Link
KR (1) KR100510819B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100771635B1 (en) 2006-06-30 2007-10-30 엘지전자 주식회사 High-fidelity color reproduction method and apparatus for flat pannel display based on color appearance model
US8885104B2 (en) 2010-08-10 2014-11-11 Samsung Electronics Co., Ltd. Apparatus and method for generating video signal reducing crosstalk between lightness signal and chrominance signal

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101488647B1 (en) * 2014-10-30 2015-02-04 권오형 Virtual illumination of operating method and apparatus for mobile terminal
US11837140B2 (en) 2020-04-17 2023-12-05 Dolby Laboratories Licensing Corporation Chromatic ambient light correction
US11557265B2 (en) * 2020-11-13 2023-01-17 Samsung Electronics Co., Ltd. Perceptual color enhancement based on properties of responses of human vision system to color stimulus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04363992A (en) * 1991-06-28 1992-12-16 Canon Inc Color image pickup element device
JPH05292536A (en) * 1992-04-10 1993-11-05 Sony Corp Automatic picture quality adjusting device
JPH077734A (en) * 1993-06-17 1995-01-10 Matsushita Electric Ind Co Ltd Color image pickup device, color temperature estimate device and color temperature calculation device
JPH07245764A (en) * 1994-03-04 1995-09-19 Fuji Photo Film Co Ltd Automatic white balance device
JPH10145800A (en) * 1996-11-11 1998-05-29 Canon Inc Video camera
KR20000038213A (en) * 1998-12-04 2000-07-05 윤종용 Method and apparatus for detecting temperature of illumination color

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04363992A (en) * 1991-06-28 1992-12-16 Canon Inc Color image pickup element device
JPH05292536A (en) * 1992-04-10 1993-11-05 Sony Corp Automatic picture quality adjusting device
JPH077734A (en) * 1993-06-17 1995-01-10 Matsushita Electric Ind Co Ltd Color image pickup device, color temperature estimate device and color temperature calculation device
JPH07245764A (en) * 1994-03-04 1995-09-19 Fuji Photo Film Co Ltd Automatic white balance device
JPH10145800A (en) * 1996-11-11 1998-05-29 Canon Inc Video camera
KR20000038213A (en) * 1998-12-04 2000-07-05 윤종용 Method and apparatus for detecting temperature of illumination color

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100771635B1 (en) 2006-06-30 2007-10-30 엘지전자 주식회사 High-fidelity color reproduction method and apparatus for flat pannel display based on color appearance model
US8885104B2 (en) 2010-08-10 2014-11-11 Samsung Electronics Co., Ltd. Apparatus and method for generating video signal reducing crosstalk between lightness signal and chrominance signal

Also Published As

Publication number Publication date
KR20040035440A (en) 2004-04-29

Similar Documents

Publication Publication Date Title
JP4120841B2 (en) Projector color correction method
CN101860761B (en) Correction method of color distortion of projected display images
US6987519B2 (en) Image processing method and apparatus
KR100834762B1 (en) Method and apparatus for gamut mapping for cross medias
JP5611508B2 (en) Ambient light adaptive color correction apparatus and method
JP5430254B2 (en) Image display apparatus and control method thereof
JP2003323610A (en) Color correcting method and device, for projector
JP4592090B2 (en) Color processing method and apparatus
JP2000040140A (en) Image processor and method therefor
JP2000050086A (en) Picture processor, picture processing method and profile generation method
JPH0993451A (en) Image processing method and image processor
JP2002344761A (en) Environment-adaptive image display system, projector, program, information storage medium, and image processing method
EP1085749A2 (en) Image processing method and apparatus
JP3635673B2 (en) Image processing method and image processing apparatus
JP2008510382A (en) Digital color fidelity
JP5156423B2 (en) Color processing apparatus and color processing method
KR100510819B1 (en) Apparatus for improving lightness characteristic and image quality using color appearance model in digital camcoder
US8169475B2 (en) Image processing system, imaging system, and microscope imaging system
JP2002281338A (en) Image processor and image processing method
KR100827128B1 (en) Method of forming image in a portable display apparatus
Hung Color theory and its application to digital still cameras
JP2001309198A (en) Image processing method
JP2005309985A (en) Image processor and method thereof
JP2000050088A (en) Picture processor and picture processing method
JP3539883B2 (en) Image processing method and apparatus, recording medium, imaging apparatus, and image reproducing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080805

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee