Nothing Special   »   [go: up one dir, main page]

KR20090124335A - Color Factor Determination Method for Fruit Color Selection and Fruit Color Grading Method - Google Patents

Color Factor Determination Method for Fruit Color Selection and Fruit Color Grading Method Download PDF

Info

Publication number
KR20090124335A
KR20090124335A KR1020080050472A KR20080050472A KR20090124335A KR 20090124335 A KR20090124335 A KR 20090124335A KR 1020080050472 A KR1020080050472 A KR 1020080050472A KR 20080050472 A KR20080050472 A KR 20080050472A KR 20090124335 A KR20090124335 A KR 20090124335A
Authority
KR
South Korea
Prior art keywords
color
fruit
factor
value
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020080050472A
Other languages
Korean (ko)
Inventor
이수희
이상엽
이형구
Original Assignee
한국산업기술대학교산학협력단
주식회사 생명과기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단, 주식회사 생명과기술 filed Critical 한국산업기술대학교산학협력단
Priority to KR1020080050472A priority Critical patent/KR20090124335A/en
Publication of KR20090124335A publication Critical patent/KR20090124335A/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/009Sorting of fruit

Landscapes

  • Spectrometry And Color Measurement (AREA)

Abstract

본 발명은, 성숙도에 따라 과피의 색상이 변화되는 과실의 색상을 가장 잘 구분할 수 있도록 하기 위하여, (ⅰ) 선별 대상 과실 샘플들의 표피의 착색(surface color)과 지색(ground color)에 대한 복수 개의 색 좌표계의 좌표값들을 획득하는 단계, (ⅱ) 상기 획득된 좌표값들을 이용하여 미리 설정된 복수 개의 색 인자 별로 착색과 지색에 대한 마할라노비스 거리를 산출하는 단계, 및 (ⅲ) 상기 산출된 마할라노비스 거리 중 가장 큰 값을 가지는 색 인자를 과실 색상 선별용 색 인자로 설정하는 단계;를 포함하는 과실 색상 선별용 색 인자 결정 방법 및 이를 이용한 과실 색상 등급 판별 방법을 제공한다.The present invention, in order to be able to best distinguish the color of the fruit changes the color of the skin according to the maturity, (i) a plurality of the color (surface color) and ground color (surface color) of the epidermis of the fruit samples to be screened Obtaining coordinate values of a color coordinate system, (ii) calculating a Mahalanobis distance for coloration and ground color by a plurality of preset color factors using the obtained coordinate values, and (iii) the calculated Mahal It provides a fruit color selection color factor determination method and a fruit color grade determination method comprising the ;; setting the color factor having the largest value of the Lanobis distance as the color factor for fruit color selection.

Description

과실 색상 선별용 색 인자 결정 방법 및 과실 색상 등급 판별 방법{Method of determining color index for color grading of fruits and Method of grading color of fruits}Methods of determining color index for color grading of fruits and Method of grading color of fruits}

본 발명은 과실 색상 선별용 색 인자 결정 방법 및 과실 색상 등급 판별 방법에 관한 것으로서, 사과와 같은 과실의 등급을 색상으로 판별하는 경우에 색상의 구별에 유의한 색 인자를 결정하고 결정된 색 인자를 이용하여 과실의 색상 등급을 판별할 수 있는 과실 색상 선별용 색 인자 결정 방법 및 과실 색상 등급 판별 방법에 관한 것이다.The present invention relates to a method for determining a color factor for fruit color selection and a method for determining a fruit color grade. In the case of discriminating a fruit grade such as an apple by color, the present invention determines a color factor that is significant for color distinction and uses the determined color factor. It relates to a color factor determination method for fruit color selection and fruit color grade determination method capable of determining the color grade of the fruit.

수확된 과실의 선별에 있어서 과실 표피의 색상은 그 품종의 특성을 대표하는 매우 중요한 품질 인자이다. 종래에는 주로 사람의 육안으로 선별하였으나, 이는 노동력이 많이 소요되며 주관적인 기준에 의한 부정확성이 문제되었다. 이러한 문제를 해결하기 위하여, 근래에는 과실을 기계적으로 선별하는 방법이 대두되었다.In the selection of harvested fruits, the color of the fruit epidermis is a very important quality factor representing the character of the variety. In the past, the human eye was mainly selected, but this requires a lot of labor and inaccuracy based on subjective standards. In order to solve this problem, a method of mechanically selecting fruits has recently emerged.

기계적 선별 방법으로서 중량 선별, 색상 선별, 비파괴 당도 측정 선별 등의 방법이 있다. 중량 선별의 경우, 선별 기준이 명확하고 측정이 용이하지만, 과실 의 중량만으로 등급을 판단할 수 없다는 문제점이 있다. 색상 선별은 다시 흑백영상을 이용하는 방법, 컬러영상을 이용하는 방법으로 나뉜다. 흑백영상처리를 이용하는 선별 방법의 경우, 과피 색의 밝고 어두은 정도로만 색상을 평가하므로 정확한 색 판정에는 한계가 있다. 특히, 사과의 옅은 녹색 부위와 노란색 부위는 비슷한 명암을 가지고 있어서 동일한 색으로 인식하는 문제가 있다. As the mechanical screening method, there are methods such as weight screening, color screening, and non-destructive sugar measurement screening. In the case of checkweighing, the sorting criteria are clear and easy to measure, but there is a problem in that the grade cannot be determined only by the weight of the fruit. Color classification is divided into a method using a black and white image, and a method using a color image. In the case of the screening method using black and white image processing, since the color is evaluated only in the light and dark extent of the skin color, accurate color determination is limited. In particular, the pale green area and the yellow area of the apple have a similar contrast, there is a problem to recognize the same color.

이를 극복하기 위하여 컬러 기계시각장치를 사용하는 방법이 사용된다. 이러한 방법으로서, 기존에는 과실 개체의 평균화소치를 이용하는 방법 등이 제기되었다. 그런데, 평균화소치를 이용하는 방법은 과실의 일부 영역에서의 높은 화소치(예를 들면, 사과의 일부 부위에서 빨간색이 진한 경우)가 전체 평균에 큰 영향을 미치므로 과실의 등급을 제대로 대변하지 못하는 문제점이 있다. 또한, 각 등급별 화소치 및 색 등급 구간을 조사하기 위해 예비 실험을 통해 과실의 품종마다 등급별 평균화소치를 구해야 하므로 시스템 변경시 이미 설정한 색 등급을 활용하지 못하고 변경된 시스템에 따라 등급 기준을 재조정해야 하는 문제점이 있다.To overcome this, a method using a color visual device is used. As such a method, the method of using the average pixel value of fruit individuals was proposed conventionally. However, the method of using the average pixel value does not properly represent the grade of the fruit because a high pixel value (for example, when the red color is dark in some areas of the apple) has a large influence on the overall average. There is this. In addition, in order to investigate the pixel value and color grade section for each grade, the average pixel value for each grade of fruit should be obtained through preliminary experiments. Therefore, when changing the system, the grade standard should be readjusted according to the changed system. There is a problem.

본 발명에 따른 과실 색상 선별용 색 인자 결정 방법 및 과실 색상 등급 판별 방법은 성숙도에 따라 과피의 색상이 변해가는 특성을 가진 과실의 등급을 판별하기에 적합한 과실 선별용 색 인자를 결정하고, 기계시각 시스템 별로 등급별 기준 설정과정을 위한 예비 실험이 불필요하고, 등급별 색 조정이 용이한 과실 색상 선별용 색 인자 결정 방법 및 과실 색상 등급 판별 방법을 제공하는 것을 목적으로 한다.Color factor determination method and fruit color grading method according to the present invention determines the fruit color selection method suitable for determining the grade of the fruit having the characteristic that the color of the skin is changed according to the maturity, and machine visual It is an object of the present invention to provide a method for determining color factors for fruit color selection and a method for discriminating fruit color grades, which do not require preliminary experiments for setting the standard for each grade, and facilitate color adjustment for each grade.

상기한 과제들을 해결하기 위하여, 본 발명의 일 측면에 따르면, (ⅰ) 선별 대상 과실 샘플들의 표피의 착색(surface color)과 지색(ground color)에 대한 복수 개의 색 좌표계의 좌표값들을 획득하는 단계, (ⅱ) 상기 획득된 좌표값들을 이용하여 미리 설정된 복수 개의 색 인자 별로 착색과 지색에 대한 마할라노비스 거리를 산출하는 단계, 및 (ⅲ) 상기 산출된 마할라노비스 거리 중 가장 큰 값을 가지는 색 인자를 과실 색상 선별용 색 인자로 설정하는 단계;를 포함하는 과실 색상 선별용 색 인자 결정 방법이 개시된다. In order to solve the above problems, according to an aspect of the present invention, (i) obtaining coordinate values of a plurality of color coordinate system for the surface color and the ground color of the skin of the fruit samples to be screened; (Ii) calculating a Mahalanobis distance for coloring and ground color for each of a plurality of preset color factors using the obtained coordinate values, and (iii) having the largest value among the calculated Mahalanobis distances; A color factor determination method for fruit color selection is disclosed, comprising: setting a color factor as a color factor for fruit color selection.

상기 복수 개의 색 좌표계는 RGB, rgb, Yxy, HSI, YIQ, 및 L*a*b*로 이루어진 그룹에서 선택된 적어도 어느 하나이거나 둘 이상의 조합일 수 있다.The plurality of color coordinate systems may be at least one selected from the group consisting of RGB, rgb, Yxy, HSI, YIQ, and L * a * b * or a combination of two or more.

상기 복수 개의 색 인자들은 R, G, B, G/(G+B), r, g, b, Y, x, y, y/x, Hue, Saturation, Intensity, △E, In-Phase, Quadrature, Q/I, L*, a*, b*, b*/a* 로 이루어진 그룹에서 선택된 둘 이상의 조합일 수 있다.The color factors are R, G, B, G / (G + B), r, g, b, Y, x, y, y / x, Hue, Saturation, Intensity, ΔE, In-Phase, Quadrature It may be a combination of two or more selected from the group consisting of Q / I, L *, a *, b *, b * / a *.

상기 설정된 색 인자가 선별 대상 과실의 착색과 지색을 구분하는데 유의한지 여부를 검증하는 단계를 더 포함할 수 있다.The method may further include verifying whether the set color factor is significant in distinguishing coloration and color of the fruit to be selected.

본 발명의 다른 측면에 따르면, (ⅰ) 선별 대상 과실의 존재 여부를 판별하는 단계, (ⅱ) 존재한다고 판단되는 과실의 영역을 이루는 각 개체 화소별로 제1 항에서 설정된 색 인자의 값을 산출하는 단계, (ⅲ) 상기 개체 화소 수들에 대해 산출된 색 인자 값이 기준 색상값보다 큰 착색 화소의 개수를 산출하는 단계, (ⅳ) 상기 개체 화소의 총 개수에 대한 상기 착색 화소의 개수의 비율인 착색 비율을 산출하는 단계, 및 (ⅴ) 상기 착색 비율에 기초하여 선별 대상 과실의 색상 등급을 판별하는 단계를 포함하는 과실 색상 등급 판별 방법이 개시된다.According to another aspect of the present invention, (i) determining whether the fruit to be selected is present, (ii) calculating the value of the color factor set in claim 1 for each individual pixel constituting the region of the fruit determined to exist; (I) calculating the number of colored pixels whose color factor value calculated for the number of individual pixels is greater than a reference color value; (iii) a ratio of the number of colored pixels to the total number of the individual pixels; Disclosed is a fruit color grading method comprising calculating a coloring ratio and (iii) determining a color grade of the fruit to be selected based on the coloring ratio.

상기 존재 여부를 판별하는 단계는, (ⅰ) 선별 대상 과실의 영상을 획득하는 단계, (ⅱ) 상기 영상을 이루는 모든 화소의 데이터를 이치화하는 단계, (ⅲ) 상기 이치화된 데이터들 중 소정 값으로 이치화된 화소 데이터들을 순차적으로 레이블링하되, 인접한 화소에는 동일 번호로 레이블링하는 단계, (ⅳ) 레이블 번호 중 가장 많은 개수의 레이블 번호를 산출하는 단계, 및 (ⅴ) 산출된 레이블 번호의 개수를 기준 크기와 비교하여 선별 대상 과실의 존재 여부를 결정하는 단계를 포함할 수 있다.The determining of the presence may include (i) acquiring an image of the fruit to be selected, (ii) binarizing data of all pixels constituting the image, and (i) using a predetermined value among the binarized data. Labeling the binarized pixel data sequentially, labeling adjacent pixels with the same number, (i) calculating the largest number of label numbers among the label numbers, and (i) calculating the number of label numbers calculated as a reference size. And determining whether there is a fruit to be selected in comparison with the present invention.

상기 선별 대상 과실이 사과인 경우, 상기 색 인자는 b*/a*일 수 있다.When the fruit to be selected is an apple, the color factor may be b * / a *.

상기 등급은 상기 착색 화소 여부를 판별하는 기준이 되는 기준 색상값을 변경함으로써도 조정될 수 있다.The grade may also be adjusted by changing a reference color value, which is a reference for determining whether the colored pixel is present.

본 발명의 실시예에 따른 과실 색상 선별용 색 인자 결정 방법에 의하면, 과실이 성숙되어 가는 특성을 고려하여 착색 비율로 색상 등급을 판정하므로 과실의 색상을 잘 대변한다. 착색과 지색을 가장 잘 구분할 수 있는 색 인자를 과실에 따라 결정하므로 색상 선별에 정확성을 기할 수 있다.According to the color factor determination method for fruit color selection according to an embodiment of the present invention, since the color grade is determined by the coloring ratio in consideration of the characteristics of the fruit maturing, the color of the fruit is well represented. The color factor that best distinguishes the coloration and the coloration is determined according to the fruit, thus providing accuracy in color screening.

또한, 본 발명의 실시예에 따른 과실 색상 등급 판별 방법에 의하면, 착색과 지색의 측정을 통한 착색 비율, 즉 착색 화소수/총 개체 화소수에 의하여 등급 판단을 수행하므로 예비 실험을 통한 등급별 기준 설정과정이 필요하지 않으며, 착색 화소의 기준 변경만으로 등급별 색 조정을 용이하게 할 수 있다.In addition, according to the fruit color grade determination method according to an embodiment of the present invention, since the grade is determined by the color ratio, that is, the number of colored pixels / the total number of individual pixels through the measurement of the coloration and the color of the ground, setting the criteria for each grade through preliminary experiments The process is not necessary, and color adjustment for each grade can be easily performed only by changing the reference of the colored pixel.

이하에서는 첨부된 도면에 도시된 실시예들을 참조하여, 본 발명을 상세히 설명한다. Hereinafter, with reference to the embodiments shown in the accompanying drawings, the present invention will be described in detail.

도 1은 본 발명의 일 실시예에 따른 과실 색상 선별용 색 인자 결정 방법을 보여주는 순서도이다. 선별 대상이 되는 과실은 사과, 토마토, 복숭아 등 다양할 수 있으며, 이하에서는 주요하게 선별 대상이 되는 사과를 예로 들어 사과의 색상 선별용 색 인자를 결정하는 방법에 대하여 설명한다. 사과의 색상 선별용 색 인자를 결정하기 위하여, 먼저 사과 표피의 착색(surface color)과 지색(ground color)에 대한 여러 색 좌표계의 좌표값들을 획득한다.(S100)1 is a flowchart illustrating a method of determining color factors for fruit color selection according to an embodiment of the present invention. Fruits to be screened may vary from apples, tomatoes, peaches, etc. Hereinafter, a method for determining color factors for screening apples will be described by taking apples as screens as an example. In order to determine the color factor for apple color selection, first, the coordinate values of various color coordinate systems for the surface color and the ground color of the apple skin are obtained.

여기서, 지색은 과실이 성숙되기 전의 엽록소가 많은 상태에서의 과실의 표피 색깔로 사과의 경우 녹색이며, 착색은 과실이 성숙기에 접어들면서 변해가는 색 깔로 빨간색이다. 사과의 착색과 지색에 대한 여러 색 좌표값을 구하기 위해, 비교적 고른 색 특성을 띄는 잘 익은 사과들의 과피색을 착색(빨간색 부위), 그리고 덜 익은 사과들의 과피색을 지색(녹색 부위)으로 구분할 수 있다. Here, the ground color is the color of the epidermis of the fruit in the chlorophyll-rich state before the fruit matures, and in the case of apples, the coloring is red as the color changes as the fruit enters maturity. In order to obtain various color coordinates for the coloring and the color of the apples, the skin color of ripe apples with relatively even color characteristics can be divided into the coloring (red areas) and the skin color of the less ripe apples to green (green areas).

사과의 색상 선별을 위한 색 좌표계로서, RGB, rgb, Yxy, HSI, YIQ, 및 L*a*b* 중 적어도 하나 이상의 색 좌표계들이 사용될 수 있다. RGB 좌표계는 빛의 3원색인 R(빨간색), G(녹색), B(청색)를 의미한다. rgb 좌표계는 색채에 대한 R, G, B를 측정한 후 이들을 소정의 식으로 정규화 하여 얻어지는 색 성분이다. As a color coordinate system for color selection of apples, at least one or more color coordinate systems of RGB, rgb, Yxy, HSI, YIQ, and L * a * b * may be used. The RGB coordinate system means R (red), G (green), and B (blue), which are the three primary colors of light. The rgb coordinate system is a color component obtained by measuring R, G, and B for colors and normalizing them by a predetermined equation.

실험적으로 색은 RGB 좌표에 의한 가법 연산으로는 표시할 수 없는 것으로 알려져 있다. 이를 보완하여 이론적인 XYZ 좌표계가 만들어졌으며, 이를 기초로 모든 색 좌표계로의 변환이 가능하다. HSI 좌표계는 인간의 눈이 사물을 감지하는 원리에 기초한 것으로서, 미술에서의 개념인 Hue(색상), Saturation(채도), Intensity(명도)를 이용하여 색을 표현한다. YIQ 좌표계는 컬러 TV 방송을 위해 고안된 색 좌표계로서 인간의 시각이 색채 정보보다 명암 정보에 민감하다는 특성을 이용한 것으로서, Y(Luminance)는 명암 정보를 나타내고, I(In-phase)와 Q(Quadrant)는 색 정보를 나타낸다. L*a*b* 좌표계는 표준 백색에 대한 RGB 좌표계를 소정의 식에 의해 XYZ 좌표계로 변환하여 Xo, Yo, Zo를 얻고, 시료 영상에 대한 RGB 좌표계를 소정의 식에 의해 X, Y, Z를 구한 후 이들을 이용하여 계산하여 구한다. 이 좌표계에서는 색차 계산이 가능하므로, 그 값에 따라 두 색의 관계를 설명할 수 있다.Experimentally, it is known that color cannot be displayed by the additive operation based on RGB coordinates. Complementary to this, the theoretical XYZ coordinate system was created, and based on this, conversion to all color coordinate systems is possible. The HSI coordinate system is based on the principle that the human eye senses objects, and expresses colors using Hue, saturation, and intensity, which are concepts in art. The YIQ coordinate system is a color coordinate system designed for color TV broadcasting, and uses the characteristic that human vision is more sensitive to contrast information than color information. Y (Luminance) represents contrast information, and I (In-phase) and Q (Quadrant) Indicates color information. The L * a * b * coordinate system converts the RGB coordinate system for standard white color into the XYZ coordinate system by a predetermined equation to obtain Xo, Yo, Zo, and the RGB coordinate system for the sample image by the predetermined expression X, Y, Z. Find and calculate by using them. Since the color difference can be calculated in this coordinate system, the relationship between the two colors can be explained according to the value.

본 발명의 일 실시예에서는 색채계로 측정한 착색과 지색의 L*a*b*값을 사용 하여 색 좌표계 변환을 수행하여 다른 색 좌표계에서의 색 좌표값을 산출하였다.In an embodiment of the present invention, color coordinate values in other color coordinate systems are calculated by performing color coordinate system transformation using L * a * b * values of coloring and ground color measured with a color system.

본 발명에서는 복수 개의 색 좌표계로서 RGB, rgb, Yxy, HSI, YIQ, 및 L*a*b*들 만을 예로 들고 있으나, 본 발명의 보호범위는 이에 한정되지 아니하며, 예시되지 않은 다른 색 좌표계가 추가될 수 있다.In the present invention, as a plurality of color coordinate systems, only RGB, rgb, Yxy, HSI, YIQ, and L * a * b * are exemplified, but the protection scope of the present invention is not limited thereto, and other color coordinate systems not illustrated are added. Can be.

사과 과피의 착색과 지색의 색상 측정은 예를 들면 색채계를 이용하여 30개의 착색 사과와 30개의 지색 사과를 측정함으로써 수행될 수 있다. The coloring of the apple peel and the measurement of the color of the green color can be carried out, for example, by measuring 30 colored apples and 30 colored apples using a colorimeter.

이제, 착색과 지색 그룹을 잘 분리할 수 있는 색 인자를 찾기 위하여, R, G, B, G/(G+B), r, g, b, Y, x, y, y/x, Hue, Saturation, Intensity, △E, In-Phase, Quadrature, Q/I, L*, a*, b*, b*/a*의 색 인자를 각각 착색과 지색에 대한 조사한다. 여기서, △E는 L*a*b* 좌표계에서 계산된 별도의 값이다. 상기 획득된 색 좌표값들을 이용하여 상기 각각의 색 인자 값을 계산한다. 즉, 착색에 대한 색 인자 값들 및 지색에 대한 색 인자 값들을 계산한다. 그리고 계산된 색 인자 별로 착색과 지색에 대한 마할라노비스(Mahalanobis) 거리를 산출한다.(S110) 마할라노비스 거리는 통계적으로 두 집단 간의 거리를 구하는 척도로서, 마할라노비스 거리가 먼 집단일수록 서로 잘 구별되어 유의하다고 할 수 있다. Now, in order to find a color factor that can separate the colored and colored groups well, R, G, B, G / (G + B), r, g, b, Y, x, y, y / x, Hue, Saturation, Intensity, ΔE, In-Phase, Quadrature, Q / I, L *, a *, b *, b * / a * color factors were investigated for coloration and color. ΔE is a separate value calculated in the L * a * b * coordinate system. The respective color factor values are calculated using the obtained color coordinate values. That is, color factor values for coloring and color factor values for ground color are calculated. The Mahalanobis distance for coloring and ground color is calculated for each calculated color factor. (S110) The Mahalanobis distance is a measure for statistically calculating the distance between two groups, and the farther the Mahalanobis distance is, the better. It can be said to be significant.

본 발명에서는 색 인자로서 R, G, B, G/(G+B), r, g, b, Y, x, y, y/x, Hue, Saturation, Intensity, △E, In-Phase, Quadrature, Q/I, L*, a*, b*, b*/a*만을 예로 들고 있으나, 본 발명의 보호범위는 이에 한정되지 아니하며, 예시되지 않은 다른 색 인자가 추가될 수 있다.In the present invention, as a color factor, R, G, B, G / (G + B), r, g, b, Y, x, y, y / x, Hue, Saturation, Intensity, ΔE, In-Phase, Quadrature Although only Q / I, L *, a *, b *, b * / a * are exemplified, the protection scope of the present invention is not limited thereto, and other color factors not illustrated may be added.

이제, 산출된 색 인자별 마할라노비스 거리를 서로 비교하여, 가장 거리가 먼 색 인자를 사과 색상 선별용 색 인자로 결정한다.(S120) 왜냐하면, 전술한 바와 같이 마할라노비스 거리가 먼 색 인자가 착색과 지색의 집단들을 잘 구별할 수 있는 유의성을 가진다고 해석할 수 있기 때문이다. Now, the calculated Mahalanobis distance for each color factor is compared with each other, and the farthest color factor is determined as the color factor for apple color selection (S120). This can be interpreted as having a significance that can distinguish between the coloring and the land groups.

표 1은 색 인자별 사과의 착색과 지색간의 마할라노비스 거리를 나타낸다.Table 1 shows the Mahalanobis distance between the coloration and the coloration of apples by color factors.

색 인자Color factor 마할라노비스 거리Mahalanobis Street 색 인자Color factor 마할라노비스 거리Mahalanobis Street RGBRGB RR 17.817.8 L*a*b* L * a * b * L* L * 96.296.2 GG 125.0125.0 a* a * 123.2123.2 BB 18.218.2 b* b * 69.569.5 HSIHSI HH 137.9137.9 rgbrgb rr 74.274.2 SS 26.126.1 gg 130.7130.7 II 58.958.9 bb 0.70.7 YIQYIQ YY 83.183.1 YxyYxy YY 83.183.1 II 2.82.8 xx 57.457.4 QQ 168.7168.7 yy 113.4113.4 Q/IQ / I 148.8148.8 y/xy / x 121.5121.5 b*/a* b * / a * 493.2493.2 G/(G+B)G / (G + B) 108.4108.4

사과를 이용한 본 실시예의 경우, L*a*b* 좌표계에서의 b*/a* 값이 착색과 지색 사이에 가장 큰 거리 차이를 갖는 것으로 나타났으며, 다음으로 YIQ 좌표계의 Quadrature, Quadrature와 In-phase의 비, 색상을 나타내는 Hue와 녹색을 정규화한 g, 그리고 a* 값의 순으로 마할라노비스 거리의 차이가 큰 것으로 나타났다. 즉, 사과 색상 선별을 위한 가장 유의한 색 인자로서 b*/a*가 결정되었다. 그러므로 색 인자 b*/a* 값을 이용하여 사과의 착색 여부를 충분히 구분할 수 있을 것이다.In the present embodiment using an apple, it was found that the b * / a * value in the L * a * b * coordinate system has the largest distance difference between the coloring and the ground color, and then the Quadrature, Quadrature and In of the YIQ coordinate system. The difference in the Mahalanobis distance was shown in the order of -phase ratio, Hue representing color, g normalizing green, and a * value. That is, b * / a * was determined as the most significant color factor for apple color selection. Therefore, the color factor b * / a * value can be used to distinguish whether the apple is colored.

사과를 예로 든 본 발명의 일 실시예에서는 색상 선별을 위한 가장 유의한 색 인자로서 b*/a*가 결정되었으나, 본 발명의 보호범위는 이에 한정되지 아니하며, 과실의 종류나 품종이 변경될 경우, 가장 유의한 색 인자로서 다른 색 인자가 설정될 수도 있음을 이해하여야 한다.In an embodiment of the present invention taking an apple as an example, b * / a * was determined as the most significant color factor for color selection, but the protection scope of the present invention is not limited thereto, and the type or variety of fruit is changed. It should be understood that other color factors may be set as the most significant color factor.

마지막으로, 설정된 색 인자(본 실시예의 경우 b*/a*)가 사과의 착색과 지색을 구분하는데 유의한지 여부를 검증한다.(S130) 일반적으로 색은 값으로 이해되기 어려운 속성을 가지므로 색 좌표계 값만으로 착색 부위를 결정할 경우 현실적으로 이를 이해하는데 어렵다. 따라서 착색과 지색에 대해 제시된 색 좌표계의 값과 가장 가까운 색을 가지는 색지를 선정하고, 선정된 색지를 이용하여 앞서 설정된 색 인자인 b*/a*가 착색과 지색을 구분할 수 있는지 여부 및 구분(등급 판별)을 위한 문턱값을 설정할 필요가 있다.Finally, it is verified whether the set color factor (b * / a * in the present embodiment) is significant in distinguishing the coloring of the apple from the green color (S130). In the case of determining the coloring part only by the coordinate system value, it is difficult to understand it realistically. Therefore, the color paper that has the color closest to the value of the color coordinate system suggested for the coloring and the ground color is selected, and whether or not the color factor b * / a * set previously can be distinguished from the coloring and the ground color using the selected color paper. It is necessary to set the threshold value for class determination).

도 2는 사과의 착색과 지색에 대한 색 인자 값 및 착색과 지색을 구분하기 위한 색 인자 문턱값을 보여주는 그래프이다.2 is a graph showing color factor values for coloration and coloration of apples and color factor threshold values for distinguishing coloration and coloration.

도면에 도시된 바와 같이, 착색과 지색에 대한 색 인자 값들이 두 개의 그룹으로 명확하게 구분되었으며, b*/a*를 각도로 표시할 경우 약 71도의 b*/a*값이 사과의 착색과 지색을 구분하기 위한 문턱값이라고 볼 수 있다. 즉, 색 인자 b*/a*의 값을 71도로 설정할 경우 어떤 화소에서의 색 인자 값이 71도 보다 작으면 이 화소는 착색 화소로 판정되고, 71도 보다 크면 이 화소는 지색 화소로 판정된다. 이와 같이, 본 발명의 일 실시예에 따른 과실 색상 선별용 색 인자 결정 방법에 의하면, 색 인자의 문턱값만 변경하면 되므로 등급별 색 조정이 용이하다. As shown in the figure, the color factor values for coloring and ground color were clearly divided into two groups, and when b * / a * is expressed in degrees, a b * / a * value of about 71 degrees is associated with the coloring of the apple. It can be seen as a threshold for distinguishing color. That is, when the value of the color factor b * / a * is set to 71 degrees, if the color factor value of any pixel is less than 71 degrees, this pixel is determined as a colored pixel, and if it is larger than 71 degrees, this pixel is determined as a color pixel. . As described above, according to the color factor determination method for fruit color sorting according to an embodiment of the present invention, color adjustment for each grade is easy because only the threshold value of the color factor is changed.

도 3은 본 발명의 일 실시예에 따른 과실 색상 등급 판별 방법을 보여준다. 도 3을 참조하여, 등급 판별 대상이 되는 과실, 예를 들면 사과의 색상 등급을 판별하는 방법에 대하여 설명한다. Figure 3 shows a fruit color grading method according to an embodiment of the present invention. With reference to FIG. 3, the method to determine the color grade of the fruit used as a grade determination object, for example, an apple, is demonstrated.

먼저, 선별하려는 사과가 존재하는지 여부를 판별한다. First, it is determined whether there are apples to be screened.

이를 위하여, 사과가 위치되는 곳의 영상을 획득한다.(S200) To this end, an image of where the apple is located is obtained.

그러고 나서 영상 내의 모든 화소 데이터를 이치화(二値化)한다.(S210) 예를 들면, 화소 데이터들은 소정의 값을 기준으로 밝은 색 부분과 어두운 색 부분으로 나누고 이에 대응하여 1과 0으로 이치화시킬 수 있다. Then, all the pixel data in the image are binarized (S210). For example, the pixel data is divided into light and dark color parts based on a predetermined value and binarized to 1 and 0 correspondingly. Can be.

이치화 단계가 끝나면, 이치화된 모든 화소 데이터들을 예를 들면, 영상의 왼쪽 위부터 오른쪽 아래까지 순차적으로 검색하면서 소정의 값으로 이치화된 화소 데이터들을 순차적으로 레이블링한다.(S220) 예를 들면, 소정의 방향으로 인접한 화소 데이터로서 순차적으로 검색된 데이터들이 1, 0, 1, 1, 1, 0, 1, 1, 1, 1, 1, 0. ... 으로 배열되어 있는 경우, 이 화소 데이터들 중 1의 값을 가지는 화소 데이터들만을 순차 번호화하되, 인접한 화소 데이터에는 동일한 번호를 부여한다. 따라서 이 경우에는 상기한 화소 데이터들에 대응하게 1, 0, 2, 2, 2, 0, 3, 3, 3, 3, 3, 0, ...으로 레이블링된다. After the binarization step, all of the binarized pixel data are sequentially searched from the upper left to the lower right of the image, for example, and the binarized pixel data is sequentially labeled (S220). 1, 0, 1, 1, 1, 0, 1, 1, 1, 1, 1, 0... Only the pixel data having the value of S is sequentially numbered, but the same number is given to adjacent pixel data. In this case, therefore, 1, 0, 2, 2, 2, 0, 3, 3, 3, 3, 3, 0, ... are labeled corresponding to the pixel data.

이후, 레이블 번호들 중 가장 개수가 많은 레이블 번호를 산출한다.(S230) 위의 예에서는 레이블 번호 3이 5개로 가장 많으므로 레이블 번호 3이 산출된다. 사과가 위치하는 부분의 영상은 배경에 비하여 밝은 색으로 촬영되기 때문에 사과가 위치하는 부분은 1로 연속적으로 이치화되었을 것이다. 따라서 그 부분에서의 레이블 번호가 동일한 번호로 부여되며, 그 레이블 번호에 해당하는 영역의 크기가 사과가 차지하는 영역에 대응하게 된다.Thereafter, the label number having the largest number among the label numbers is calculated (S230). In the above example, the label number 3 is calculated because the label number 3 is the most as five. Since the image of the part where the apple is located is photographed in a lighter color than the background, the part where the apple is located will be continuously binarized to 1. Therefore, the label number in the portion is given the same number, and the size of the area corresponding to the label number corresponds to the area occupied by the apple.

그러므로 가장 많은 개수의 레이블 번호의 개수가 기준치 이상인지 판단을 한 후(S240), 기준치 이상이라면 촬영된 이미지 속에 사과가 존재하는 것으로 판단할 수 있다. 만약, 기준치 이하라면 촬영 위치로 아직 사과가 이송 또는 위치되지 않은 것이므로 색상 등급 판별을 위한 영상 처리를 수행하지 않고 소정 시간 이후에 새로운 영상을 촬영한 후 상기한 과정을 반복 수행하여 사과의 존재 여부를 판단한다.Therefore, after determining whether the number of the largest number of label numbers is greater than or equal to the reference value (S240), if it is greater than or equal to the reference value, it may be determined that an apple exists in the photographed image. If the value is less than the reference value, the apple has not yet been transported or positioned to the shooting position. Therefore, the image is taken after a predetermined time without performing image processing for color grading, and the above process is repeated to determine whether the apple exists. To judge.

촬영된 이미지에 사과가 존재하는 것으로 판단된 경우, 과실 영역 내의 개체를 나타내는 각각의 개체 화소들에 대해 앞에서 결정된 색 인자의 값을 산출한다.(S250) 이때, 색 인자 값을 산출하는 개체 화소들은 S240 단계에서 고려된 레이블 번호에 해당하는 화소들, 즉 사과가 존재하는 것으로 인식되는 영역내의 화소들을 의미한다. When it is determined that an apple exists in the photographed image, the value of the color factor determined above is calculated for each individual pixel representing the individual in the fruit area (S250). The pixels corresponding to the label number considered in operation S240, that is, the pixels in the region in which the apple is recognized as present.

계산된 각 개체 화소에서의 색 인자 값이 기준 색상값보다 큰 값인지를 비교한다.(S270) 즉, 각 개체 화소가 착색 화소인지 지색 화소인지를 판별한다. 여기서 기준 색상값은 앞에서 설명한 색 인자 문턱값이 될 것이다. It is compared whether or not the calculated color factor value in each individual pixel is greater than the reference color value (S270). That is, it is determined whether each individual pixel is a color pixel or a color pixel. The reference color value will be the color factor threshold described above.

어떤 개체 화소에서의 색 인자 값이 설정된 색 인자(b*/a*)의 문턱값보다 작으면 이 개체 화소는 착색 화소라고 판정하고, 착색 화소의 총 개수를 하나 증가시키고 개체 화소의 총 개수를 하나 증가시킨다.(S280)If the color factor value in an individual pixel is smaller than the threshold of the set color factor (b * / a *), the individual pixel is determined to be a colored pixel, and the total number of colored pixels is increased by one and the total number of individual pixels is increased. Increase one (S280).

반면, 색 인자 값이 설정된 색 인자의 문턱값보다 크면 이 개체 화소는 지색 화소라고 판정하며, 이때는 개체 화소의 총 개수만 하나 증가시킨다.(S260) On the other hand, if the color factor value is larger than the threshold value of the set color factor, the object pixel is determined to be a color pixel, and in this case, the total number of individual pixels is increased by one (S260).

이와 같은 방식으로 모든 개체 화소에 대해서 착색 화소인지 지색 화소인지를 판별한다.(S290) In this manner, it is determined whether all individual pixels are colored pixels or colored pixels (S290).

이러한 판별이 모든 개체 화소에 대해서 완료되면, 착색 비율을 산출한다.(S300) 착색 비율은 착색 화소의 총 개수를 개체 화소의 총 개수로 나눈 백분율이다. When this determination is completed for all individual pixels, the coloring ratio is calculated (S300). The coloring ratio is a percentage obtained by dividing the total number of colored pixels by the total number of individual pixels.

마지막으로 착색 비율에 기초하여 과실의 색상 등급을 판별한다.(S310) 예를 들어, 착색 비율이 80% 이상이면 1등급, 50~80% 범위이면 2등급, 50% 이하이면 3등급으로 판별할 수 있다.Finally, the color grade of the fruit is determined based on the coloring ratio (S310). For example, if the coloring ratio is 80% or more, the grade 1 is determined. Can be.

이와 같이 과실이 성숙되어가는 특성을 고려하여 착색과 지색의 비율인 착색 비율로 색상 등급을 판정하므로 과실의 색상을 잘 대변한다고 할 수 있다.Thus, the color grade is determined by the coloring ratio which is the ratio of the coloring and the ground color in consideration of the characteristic that the fruit matures, so it can be said that it represents the color of the fruit well.

또한, 착색과 지색의 측정을 통한 착색 비율, 즉 착색 화소수/총 개체 화소수에 의한 선별은 예비 실험을 통한 등급별 기준 설정과정이 필요하지 않으며, 착색 화소의 기준 변경만으로 등급별 색 조정을 용이하게 할 수 있다.In addition, the coloration ratio through measurement of coloration and ground color, that is, selection by the number of colored pixels / total individual pixels does not require a process for setting a standard for each grade through preliminary experiments, and it is easy to adjust the color for each grade simply by changing the standard of the color pixels. can do.

본 발명은 과실의 수확 후 처리 산업에 이용될 수 있다.The invention can be used in the post-harvest processing industry of fruits.

도 1은 본 발명의 일 실시예에 따른 과실 색상 선별용 색 인자 결정 방법을 보여주는 순서도이다.1 is a flowchart illustrating a method of determining color factors for fruit color selection according to an embodiment of the present invention.

도 2는 사과의 착색과 지색에 대한 색 인자 값 및 착색과 지색을 구분하기 위한 색 인자 문턱값을 보여주는 그래프이다.2 is a graph showing color factor values for coloration and coloration of apples and color factor threshold values for distinguishing coloration and coloration.

도 3a 및 3b는 본 발명의 일 실시예에 따른 과실 색상 등급 판별 방법을 보여주는 순서도이다.3A and 3B are flowcharts illustrating a method for determining fruit color grades according to an embodiment of the present invention.

Claims (8)

선별 대상 과실 샘플들의 표피의 착색(surface color)과 지색(ground color)에 대한 복수 개의 색 좌표계의 좌표값들을 획득하는 단계;Acquiring coordinate values of a plurality of color coordinate systems for the surface color and the ground color of the epidermis of the fruit sample to be selected; 상기 획득된 좌표값들을 이용하여 미리 설정된 복수 개의 색 인자 별로 착색과 지색에 대한 마할라노비스 거리를 산출하는 단계; 및Calculating a Mahalanobis distance for coloration and ground color for each of a plurality of preset color factors using the obtained coordinate values; And 상기 산출된 마할라노비스 거리 중 가장 큰 값을 가지는 색 인자를 과실 색상 선별용 색 인자로 설정하는 단계;를 포함하는 과실 색상 선별용 색 인자 결정 방법.And setting a color factor having the largest value among the calculated Mahalanobis distances as a color factor for fruit color selection. 제1 항에 있어서,According to claim 1, 상기 복수 개의 색 좌표계는 RGB, rgb, Yxy, HSI, YIQ, 및 L*a*b*로 이루어진 그룹에서 선택된 적어도 어느 하나이거나 둘 이상의 조합인 과실 색상 선별용 색 인자 결정 방법.The plurality of color coordinate systems are at least one selected from the group consisting of RGB, rgb, Yxy, HSI, YIQ, and L * a * b *, or a combination of two or more colors. 제1 항에 있어서,According to claim 1, 상기 복수 개의 색 인자들은 R, G, B, G/(G+B), r, g, b, Y, x, y, y/x, Hue, Saturation, Intensity, △E, In-Phase, Quadrature, Q/I, L*, a*, b*, b*/a*로 이루어진 그룹에서 선택된 둘 이상의 조합인 과실 색상 선별용 색 인자 결정 방법.The color factors are R, G, B, G / (G + B), r, g, b, Y, x, y, y / x, Hue, Saturation, Intensity, ΔE, In-Phase, Quadrature , Color factor determination method for fruit color selection, which is a combination of two or more selected from the group consisting of Q / I, L *, a *, b *, b * / a *. 제1 항에 있어서,According to claim 1, 상기 설정된 색 인자가 선별 대상 과실의 착색과 지색을 구분하는데 유의한지 여부를 검증하는 단계를 더 포함하는 과실 색상 선별용 색 인자 결정 방법.And determining whether the set color factor is significant in distinguishing the coloration and the color of the fruit to be selected. 선별 대상 과실의 존재 여부를 판별하는 단계;Determining whether a fruit to be selected is present; 존재한다고 판단되는 과실의 영역을 이루는 각 개체 화소별로 제1 항에서 설정된 색 인자의 값을 산출하는 단계;Calculating a value of the color factor set in claim 1 for each individual pixel constituting an area of fruit judged to exist; 상기 개체 화소수들에 대해 산출된 색 인자 값이 기준 색상값보다 큰 착색 화소의 개수를 산출하는 단계;Calculating the number of colored pixels whose color factor values calculated for the individual pixel numbers are larger than a reference color value; 상기 개체 화소의 총 개수에 대한 상기 착색 화소의 개수의 비율인 착색 비율을 산출하는 단계; 및Calculating a coloring ratio that is a ratio of the number of the colored pixels to the total number of the individual pixels; And 상기 착색 비율에 기초하여 선별 대상 과실의 색상 등급을 판별하는 단계;를 포함하는 과실 색상 등급 판별 방법.And determining a color grade of the fruit to be selected based on the coloration ratio. 제5 항에 있어서,The method of claim 5, 상기 존재 여부를 판별하는 단계는,The determining of the presence or absence, 선별 대상 과실의 영상을 획득하는 단계;Obtaining an image of the fruit to be selected; 상기 영상을 이루는 모든 화소의 데이터를 이치화하는 단계;Binarizing data of all pixels forming the image; 상기 이치화된 데이터들 중 소정 값으로 이치화된 화소 데이터들을 순차적으 로 레이블링하되, 인접한 화소에는 동일 번호로 레이블링하는 단계;Sequentially labeling pixel data binarized to a predetermined value among the binarized data, but labeling adjacent pixels with the same number; 레이블 번호 중 가장 많은 개수의 레이블 번호를 산출하는 단계; 및Calculating the largest number of label numbers among the label numbers; And 산출된 레이블 번호의 개수를 기준 크기와 비교하여 선별 대상 과실의 존재 여부를 결정하는 단계;를 포함하는 과실 색상 등급 판별 방법.And comparing the calculated number of label numbers with a reference size to determine whether or not the fruit to be selected is present. 제5 항에 있어서,The method of claim 5, 상기 선별 대상 과실이 사과인 경우, 상기 색 인자는 b*/a*인 과실 색상 등급 판별 방법.And the color factor is b * / a * when the fruit to be selected is apple. 제5 항에 있어서,The method of claim 5, 상기 등급은 상기 착색 화소 여부를 판별하는 기준이 되는 기준 색상값을 변경함으로써도 조정될 수 있는 과실 색상 등급 판별 방법.And the grade can be adjusted by changing a reference color value, which is a reference for determining whether or not the colored pixel.
KR1020080050472A 2008-05-29 2008-05-29 Color Factor Determination Method for Fruit Color Selection and Fruit Color Grading Method Ceased KR20090124335A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080050472A KR20090124335A (en) 2008-05-29 2008-05-29 Color Factor Determination Method for Fruit Color Selection and Fruit Color Grading Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080050472A KR20090124335A (en) 2008-05-29 2008-05-29 Color Factor Determination Method for Fruit Color Selection and Fruit Color Grading Method

Publications (1)

Publication Number Publication Date
KR20090124335A true KR20090124335A (en) 2009-12-03

Family

ID=41686277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080050472A Ceased KR20090124335A (en) 2008-05-29 2008-05-29 Color Factor Determination Method for Fruit Color Selection and Fruit Color Grading Method

Country Status (1)

Country Link
KR (1) KR20090124335A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103464385A (en) * 2013-09-13 2013-12-25 佐竹机械(苏州)有限公司 Optical particulate material sorting machine
KR20150119398A (en) * 2013-02-18 2015-10-23 가부시끼가이샤 사따께 Optical granular substance sorter
KR101703566B1 (en) 2015-08-13 2017-02-07 한국식품연구원 Image photographing apparatus and system of measuring color having the same
WO2022182191A1 (en) * 2021-02-26 2022-09-01 농업회사법인 아이오크롭스 주식회사 Method for determining fruits to be harvested, and fruit harvesting device
CN119169615A (en) * 2024-08-28 2024-12-20 宁波市奉化区水蜜桃研究所 Peach screening and grading method and system based on machine vision

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150119398A (en) * 2013-02-18 2015-10-23 가부시끼가이샤 사따께 Optical granular substance sorter
CN103464385A (en) * 2013-09-13 2013-12-25 佐竹机械(苏州)有限公司 Optical particulate material sorting machine
KR101703566B1 (en) 2015-08-13 2017-02-07 한국식품연구원 Image photographing apparatus and system of measuring color having the same
WO2022182191A1 (en) * 2021-02-26 2022-09-01 농업회사법인 아이오크롭스 주식회사 Method for determining fruits to be harvested, and fruit harvesting device
CN119169615A (en) * 2024-08-28 2024-12-20 宁波市奉化区水蜜桃研究所 Peach screening and grading method and system based on machine vision

Similar Documents

Publication Publication Date Title
Miller et al. A color vision system for peach grading
Abdullah et al. Stepwise discriminant analysis for colour grading of oil palm using machine vision system
US11003958B2 (en) Food quality image classification
Choi et al. Tomato maturity evaluation using color image analysis
Arjenaki et al. Online tomato sorting based on shape, maturity, size, and surface defects using machine vision
US9676004B2 (en) Sorting system
Fashi et al. The relationship between the appearance of pomegranate fruit and color and size of arils based on image processing
US8064691B2 (en) Method for identifying color in machine and computer vision applications
Zhang et al. Date maturity and quality evaluation using color distribution analysis and back projection
Lee et al. Robust color space conversion and color distribution analysis techniques for date maturity evaluation
KR20100015628A (en) Lumber inspection method, device and program
Eissa et al. Understanding color image processing by machine vision for biological materials
WO2007068056A1 (en) Stain assessment for cereal grains
CN104871175A (en) Method for scoring and controlling quality of food products in a dynamic production line
Abdullah et al. Color vision system for ripeness inspection of oil palm elaeis guineensis
KR20090124335A (en) Color Factor Determination Method for Fruit Color Selection and Fruit Color Grading Method
JPH09231362A (en) Appearance inspection device and method
US8526717B2 (en) Rich color transition curve tracking method
Sola-Guirado et al. A smart system for the automatic evaluation of green olives visual quality in the field
García-Alegre et al. Eggshell defects detection based on color processing
Bakar et al. Development of ripeness indicator for quality assessment of harumanis mango by using image processing technique
Wu et al. Food colour measurement using computer vision
Gay et al. Fruit color assessment for quality grading purposes
Saito et al. Eggplant classification using artificial neural network
Doerflinger et al. Objective assessment of dried sultana grape quality using digital image analysis

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080529

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20091130

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20100217

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20091130

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I