Nothing Special   »   [go: up one dir, main page]

JP2008045887A - Inspection device - Google Patents

Inspection device Download PDF

Info

Publication number
JP2008045887A
JP2008045887A JP2006219127A JP2006219127A JP2008045887A JP 2008045887 A JP2008045887 A JP 2008045887A JP 2006219127 A JP2006219127 A JP 2006219127A JP 2006219127 A JP2006219127 A JP 2006219127A JP 2008045887 A JP2008045887 A JP 2008045887A
Authority
JP
Japan
Prior art keywords
image
frame
pattern
defect
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006219127A
Other languages
Japanese (ja)
Inventor
Takahiro Shimizu
高博 清水
Shohei Azuma
昇平 東
Shogo Kosuge
正吾 小菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2006219127A priority Critical patent/JP2008045887A/en
Publication of JP2008045887A publication Critical patent/JP2008045887A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To realize accurate defect inspection by an inspection device for inspecting existence of a defect based on a subject image. <P>SOLUTION: In this inspection device for inspecting existence of a defect based on the subject 11 image, image acquisition means 1-8 acquire the subject 11 image, and a frame setting means 8 sets a frame in each prescribed pattern included in an image acquired by the image acquisition means, and a comparison means 8 compares two or more different frame images set by the frame setting means 8 in the state where each prescribed pattern included in each frame agrees with each other, and a defect detection means 8 detects a defect based on a comparison result by the comparison means. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、液晶ディスプレイ(LCD:Liquid Crystal Display)基板などの被写体の画像(映像)に基づいて欠陥の有無を検査する検査装置に関し、特に、精度の良い欠陥検査を実現する検査装置に関する。   The present invention relates to an inspection apparatus that inspects for the presence or absence of a defect based on an image (video) of a subject such as a liquid crystal display (LCD) substrate, and more particularly to an inspection apparatus that realizes an accurate defect inspection.

例えば、LCD基板の画像をカメラにより撮像し、撮像した画像に基づいてLCD基板の面上の欠陥を検査するシステムが開発されている(例えば、特許文献1参照。)。
図9及び図10を参照して、LCD基板の面上の欠陥を検査する方式の一例を示す。
図9には、LCD基板(例えば、個々のLCD基板を切り取る前におけるワーク基板)の画像の一例を示してあるが、(A)〜(I)の記号及び面上の縦線と横線は説明のために図示してあるだけでLCD基板の画像ではない。
本例では、LCD基板の画面(画像)の視野を9分割し、それぞれの分割領域が隣りの分割領域と少しだけ重複する四角形となるようにする。具体的には、それぞれの分割領域は(A)〜(I)の記号部分を含む等しい四角形の領域となる。
For example, a system has been developed in which an image of an LCD substrate is captured by a camera and a defect on the surface of the LCD substrate is inspected based on the captured image (see, for example, Patent Document 1).
An example of a method for inspecting defects on the surface of the LCD substrate will be described with reference to FIGS.
FIG. 9 shows an example of an image of an LCD substrate (for example, a work substrate before cutting out individual LCD substrates). The symbols (A) to (I) and vertical and horizontal lines on the surface are described. For illustration purposes only, it is not an image of the LCD substrate.
In this example, the visual field of the screen (image) of the LCD substrate is divided into nine so that each divided area becomes a quadrangle slightly overlapping with the adjacent divided area. Specifically, each divided region is an equal rectangular region including the symbol parts (A) to (I).

図10(a)には、或る分割領域(面A)の画像の一例を示してある。この分割領域には、LCD基板の本来の配線パターンである画素パターン111、112と、欠陥113が存在し、これらが画像に現れている。
図10(b)には、図10(a)に示される分割領域に対して隣接した分割領域(面B)の画像の一例を示してある。この分割領域には、LCD基板の本来の配線パターンである画素パターン121、122が存在し、これらが画像に現れている。
ここで、LCD基板の本来の配線パターンは、理想的には、例えば、等間隔のパターンであり、各パターンについて大きさや角度などの配置が一致するが、実際には、多少のずれが生じるため、2つの分割領域の画素パターン111、112、121、122にずれが生じている。
FIG. 10A shows an example of an image of a certain divided area (surface A). In this divided area, there are pixel patterns 111 and 112, which are the original wiring patterns of the LCD substrate, and a defect 113, which appear in the image.
FIG. 10B shows an example of an image of a divided area (surface B) adjacent to the divided area shown in FIG. In this divided area, pixel patterns 121 and 122 which are the original wiring patterns of the LCD substrate exist, and these appear in the image.
Here, the original wiring pattern of the LCD substrate is ideally, for example, an equally spaced pattern, and the arrangement of the size, angle, and the like is the same for each pattern. Deviations occur in the pixel patterns 111, 112, 121, and 122 in the two divided regions.

図10(c)には、図10(a)に示される分割領域(面A)と図10(b)に示される分割領域(面B)との輝度の差の一例を示してある。
本例では、画面(画像)を単純に等分割して、それぞれの面について周囲の他の面との間で輝度を比較して、特異な面があるか否かを判定する。これにより、欠陥113を検出することが可能であるが、本来の配線パターンである画素パターン111、121についても欠陥であると誤検出してしまう可能性があった。
なお、本来の配線パターンは、例えば、クロムなどの金属、或いは、透明な導電性膜又は絶縁膜などから構成される。
FIG. 10C illustrates an example of a difference in luminance between the divided region (surface A) illustrated in FIG. 10A and the divided region (surface B) illustrated in FIG.
In this example, the screen (image) is simply divided equally, and the brightness of each surface is compared with other surrounding surfaces to determine whether or not there is a unique surface. As a result, the defect 113 can be detected, but the pixel patterns 111 and 121, which are the original wiring patterns, may be erroneously detected as defects.
The original wiring pattern is made of, for example, a metal such as chromium, or a transparent conductive film or insulating film.

特開2004−117150号公報JP 2004-117150 A

上述のように、従来の欠陥検査方式では、例えば図10(a)、(b)、(c)に示されるように、2つの隣り合う分割領域(面A、面B)を比較するために差分画像を取った場合に、欠陥113のパターンと共に、本来の配線パターンである一部の画素パターン111、121も残ってしまい、本来の配線パターンである一部の画素パターン111、121についても特異点として誤認識してしまう可能性があるといった問題があり、欠陥検査の精度を向上させることが要求されていた。
本発明は、このような従来の事情に鑑み為されたもので、精度の良い欠陥検査を実現することができる検査装置を提供することを目的とする。
As described above, in the conventional defect inspection method, for example, as shown in FIGS. 10A, 10B, and 10C, in order to compare two adjacent divided regions (surface A and surface B). When the difference image is taken, a part of the pixel patterns 111 and 121 which are the original wiring patterns remain together with the pattern of the defect 113, and the part of the pixel patterns 111 and 121 which are the original wiring patterns are also peculiar. There has been a problem that it may be misrecognized as a point, and it has been required to improve the accuracy of defect inspection.
The present invention has been made in view of such a conventional situation, and an object of the present invention is to provide an inspection apparatus capable of realizing an accurate defect inspection.

上記目的を達成するため、本発明に係る検査装置では、次のような構成により、被写体の画像に基づいて、欠陥の有無を検査する。
すなわち、画像取得手段が、前記被写体の画像を取得する。枠設定手段が、前記画像取得手段により取得された画像に含まれる所定パターン毎に、枠を設定する。比較手段が、前記枠設定手段により設定された2つ以上の異なる枠の画像について、各枠に含まれる所定パターンが一致するように調整した状態で、比較する。欠陥検出手段が、前記比較手段による比較結果に基づいて、欠陥を検出する。
従って、各枠に含まれる所定パターンが一致するように調整した状態で画像の比較が行われるため、精度の良い欠陥検査を実現することができる。
In order to achieve the above object, the inspection apparatus according to the present invention inspects for the presence or absence of a defect based on an image of a subject with the following configuration.
That is, the image acquisition unit acquires an image of the subject. A frame setting unit sets a frame for each predetermined pattern included in the image acquired by the image acquisition unit. The comparison unit compares the images of two or more different frames set by the frame setting unit in a state where the images are adjusted so that the predetermined patterns included in the frames match each other. A defect detection means detects a defect based on the comparison result by the comparison means.
Therefore, since the images are compared in a state where the predetermined patterns included in the frames are matched, it is possible to realize a defect inspection with high accuracy.

ここで、被写体としては、種々なものが用いられてもよく、例えば、同一(或いは、ほぼ同一)のパターンが複数配置されるLCD基板などが用いられるのが好ましい。
また、画像取得手段としては、例えば、カメラのように画像を撮像して取得する手段が用いられてもよく、或いは、既に撮像された画像のデータを外部から入力する手段が用いられてもよい。
また、枠を設定する対象となる所定パターンとしては、種々なものが用いられてもよく、例えば、本来の配線パターンの全部又は一部や、位置合わせマークのパターンなどを用いることができる。
また、枠としては、種々な大きさや形のものが用いられてもよく、例えば、所定パターンより大きい正方形(又は、長方形)を用いることができる。
また、枠の設定としては、例えば、一度設定してそのままの枠を使用するような態様が用いられてもよく、或いは、初期的に設定した後に枠を調整して再度設定(つまり、調整後の枠を設定)するような態様が用いられてもよい。
Here, various objects may be used as the subject. For example, it is preferable to use an LCD substrate on which a plurality of identical (or almost identical) patterns are arranged.
In addition, as the image acquisition unit, for example, a unit that captures and acquires an image like a camera may be used, or a unit that inputs data of an already captured image from the outside may be used. .
Various patterns may be used as the predetermined pattern for setting the frame. For example, all or a part of the original wiring pattern, the pattern of the alignment mark, or the like can be used.
Moreover, as a frame, the thing of various magnitude | sizes and shapes may be used, for example, the square (or rectangle) larger than a predetermined pattern can be used.
In addition, as the frame setting, for example, a mode in which the frame is set once and used as it is may be used. Alternatively, after the initial setting, the frame is adjusted and set again (that is, after the adjustment) A mode in which a frame of () is set) may be used.

また、画像を比較する2つ以上の枠の数としては、種々な数が用いられてもよい。一例として、隣接する枠の画像を比較する。
また、各枠に含まれる所定パターンが一致するように調整する場合における一致度としては、必ずしも完全に一致しなくともよく、例えば、実用上で有効な程度で一致すればよい。
また、各枠に含まれる所定パターンが一致するように調整する態様としては、種々な態様が用いられてもよく、例えば、各所定パターンに対して同じ配置関係(例えば、大きさや角度の関係)となるように設定された枠同士を合わせるように枠内の画像を調整する態様や、或いは、各所定パターンを含むように設定された各枠に含まれる所定パターンを合わせるように枠内の画像を調整する態様などを用いることができる。
また、このような調整では、例えば、パターンマッチングの処理を用いて、2つ以上の所定パターンを一致させるような処理を用いることができる。
In addition, various numbers may be used as the number of two or more frames for comparing images. As an example, images of adjacent frames are compared.
In addition, the degree of coincidence in the case where adjustment is made so that the predetermined patterns included in each frame coincide with each other does not necessarily coincide completely, and for example, they coincide with each other to an extent that is practically effective.
In addition, various aspects may be used as an aspect for adjusting the predetermined patterns included in each frame to match, for example, the same arrangement relationship (for example, a relationship of size and angle) with respect to each predetermined pattern A mode in which the images in the frame are adjusted so that the frames set so as to match each other, or an image in the frame so as to match the predetermined pattern included in each frame set to include each predetermined pattern A mode of adjusting the angle can be used.
In such an adjustment, for example, a process of matching two or more predetermined patterns using a pattern matching process can be used.

また、2つ以上の画像を比較して欠陥を検出する態様としては、種々な態様が用いられてもよく、例えば、画像の輝度を比較して、輝度の差が所定の閾値以上となる(又は、所定の閾値を超える)部分を輝度差のピークとみなして特異な点(例えば、欠陥部分)として検出するような態様を用いることができる。   Various modes may be used as a mode for comparing two or more images to detect a defect. For example, by comparing the brightness of images, the difference in brightness becomes a predetermined threshold value or more ( Alternatively, a mode in which a portion exceeding a predetermined threshold value is regarded as a peak of a luminance difference and detected as a unique point (for example, a defective portion) can be used.

以上説明したように、本発明によると、被写体の画像に基づいて欠陥の有無を検査するに際して、被写体の画像に含まれる所定パターン毎に枠を設定し、各枠に含まれる所定パターンが一致するように調整した状態で2つ以上の異なる枠の画像を比較して、欠陥を検出するようにしたため、例えば、本来の配線パターンについて欠陥であると誤検出してしまうようなことを防止(又は、低減)することができ、精度の良い欠陥検査を実現することができる。   As described above, according to the present invention, when inspecting for the presence or absence of a defect based on an image of a subject, a frame is set for each predetermined pattern included in the image of the subject, and the predetermined pattern included in each frame matches. Since the defect is detected by comparing the images of two or more different frames in the adjusted state, for example, it is prevented that the original wiring pattern is erroneously detected as a defect (or And accurate defect inspection can be realized.

本発明に係る実施例を図面を参照して説明する。
図1には、本発明の一実施例に係る検査装置の構成例を示してある。
本例の検査装置は、対象物の像を拡大する顕微鏡の役割を有する対物レンズ1と、対象物の画像を撮像する撮像装置を構成するCCD(Charge Coupled Device)カメラ2と、光源ユニット3と、ライトガイド4と、XYステージ5と、Zステージ6と、モータドライバユニット7と、例えばパーソナルコンピュータ(PC)から構成されて装置全体を制御する制御部8と、表示装置を構成するモニタ9を備えている。また、XYステージ5の上に、被写体11が載せられている。本例では、被写体11として、LCD基板(例えば、個々のLCD基板を切り取る前におけるワーク基板)が用いられている。
なお、カメラ(本例では、CCDカメラ2)としては、種々なものが用いられてもよく、例えば、テレビカメラなどのエリアセンサを用いることが可能である。
Embodiments according to the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration example of an inspection apparatus according to an embodiment of the present invention.
The inspection apparatus of this example includes an objective lens 1 having a role of a microscope for enlarging an image of an object, a CCD (Charge Coupled Device) camera 2 that constitutes an imaging apparatus that captures an image of the object, a light source unit 3, A light guide 4, an XY stage 5, a Z stage 6, a motor driver unit 7, a control unit 8 configured by, for example, a personal computer (PC) and controlling the entire apparatus, and a monitor 9 configuring a display device. I have. A subject 11 is placed on the XY stage 5. In this example, an LCD substrate (for example, a work substrate before cutting out individual LCD substrates) is used as the subject 11.
Various cameras (CCD camera 2 in this example) may be used. For example, an area sensor such as a television camera can be used.

本例の検査装置により行われる概略的な動作の一例を示す。
XYステージ5に載せられた被写体11の画像が対物レンズ1により拡大されてCCDカメラ2のCCD素子によりとらえられて、被写体11の画像に対応する画像信号(映像信号)がCCDカメラ2から制御部8へ送信される。
これに際して、光源ユニット3から発せられた照明の光が、ライトガイド4を経由して、被写体11を照らす。また、制御部8は、モータドライバユニット7を制御して、XYステージ5を平面(XY平面)に沿って移動させることで、XYステージ5に載せられた被写体11の位置を平面(XY平面)上で任意の位置へ移動させることが可能であり、また、モータドライバユニット7を制御して、Zステージ6を上下方向(Z方向)に移動させることで、Zステージ6に付加された対物レンズ1、CCDカメラ2、光源ユニット3、ライトガイド4の組(セット)の位置を上下方向(Z方向)で任意の位置へ移動させることが可能である。
An example of a schematic operation performed by the inspection apparatus of this example is shown.
An image of the subject 11 placed on the XY stage 5 is enlarged by the objective lens 1 and captured by the CCD element of the CCD camera 2, and an image signal (video signal) corresponding to the image of the subject 11 is sent from the CCD camera 2 to the control unit. 8 is transmitted.
At this time, the illumination light emitted from the light source unit 3 illuminates the subject 11 via the light guide 4. Further, the control unit 8 controls the motor driver unit 7 to move the XY stage 5 along the plane (XY plane), so that the position of the subject 11 placed on the XY stage 5 is a plane (XY plane). The objective lens attached to the Z stage 6 can be moved by moving the Z stage 6 in the vertical direction (Z direction) by controlling the motor driver unit 7. 1. The position of a set of the CCD camera 2, the light source unit 3, and the light guide 4 can be moved to an arbitrary position in the vertical direction (Z direction).

制御部8は、CCDカメラ2から受信した画像信号に対応した被写体11の画像などをモニタ9の画面に表示する。
また、制御部8は、画像処理機能を有しており、被写体11の画像に対して所定の処理を実行することで、被写体11の外観を検査し、被写体11(本例では、LCD基板)内に存在する欠陥を検出する。
ここで、本例では、所定の画像処理の手順を記述したプログラムが制御部8のメモリに予め記憶されており、制御部8のCPU(Central Processing Unit)が当該プログラムを読み出して実行することにより、欠陥検査処理が実行される。
The control unit 8 displays an image of the subject 11 corresponding to the image signal received from the CCD camera 2 on the screen of the monitor 9.
Further, the control unit 8 has an image processing function, and by performing predetermined processing on the image of the subject 11, the appearance of the subject 11 is inspected, and the subject 11 (in this example, the LCD substrate) Detect defects that are present inside.
Here, in this example, a program describing a predetermined image processing procedure is stored in advance in the memory of the control unit 8, and the CPU (Central Processing Unit) of the control unit 8 reads and executes the program. A defect inspection process is executed.

本発明の第1実施例を説明する。
本例では、図1に示される検査装置により行われる欠陥検査処理の一例を示す。
図2〜図4を参照して、本例の欠陥検査処理の概要を説明する。
図2には、CCDカメラ2により取得されてモニタ9に表示された被写体11の画像の一例を示してあるが、枠31は検査装置により設定されるものであるため被写体11の画像ではない。
A first embodiment of the present invention will be described.
In this example, an example of defect inspection processing performed by the inspection apparatus shown in FIG. 1 is shown.
The outline of the defect inspection process of this example will be described with reference to FIGS.
FIG. 2 shows an example of the image of the subject 11 acquired by the CCD camera 2 and displayed on the monitor 9, but the frame 31 is not an image of the subject 11 because it is set by the inspection apparatus.

本例の被写体11では、LCD基板の本来の配線パターンが、理想的には同一のパターンで等間隔で、平面上の縦方向及び横方向に並んでいる。また、各配線パターンには例えばその内側に位置合わせのためのマークとなるパターン(位置合わせマーク)が設けられている。本例では、各配線パターンが設けられる正方形(或いは、他の形)の対角線の両端の一定の位置(本例では、左上と右下の位置であって各配線パターンについて同じ位置)にそれぞれ位置合わせマークが設けられている。
なお、本例では、本来の配線パターンとは異なる専用のパターンとして位置合わせマークを設けたが、他の構成例として、本来の配線パターンの一部を位置合わせマークとして用いることも可能である。
In the subject 11 of the present example, the original wiring pattern of the LCD substrate is ideally arranged in the same pattern in the vertical and horizontal directions on the plane at equal intervals. Each wiring pattern is provided with a pattern (alignment mark) serving as a mark for alignment, for example. In this example, it is located at a fixed position (in this example, the upper left and lower right positions and the same position for each wiring pattern) at both ends of the square (or other shape) diagonal line on which each wiring pattern is provided. An alignment mark is provided.
In this example, the alignment mark is provided as a dedicated pattern different from the original wiring pattern. However, as another configuration example, a part of the original wiring pattern can be used as the alignment mark.

図2に示される被写体11の画像では、本来の配線パターンである画素パターン21が縦方向及び横方向に複数並んでおり、ここでは説明の便宜上から、各画素パターン21について左上の位置合わせマーク22を示してあり、右下の位置合わせマークの図示を省略してある。また、被写体11に発生した欠陥23も示してある。
ここで、各画素パターン21は、理想的には同一なパターンとなるが、実際には、大きさや角度などの配置にずれが生じる。
In the image of the subject 11 shown in FIG. 2, a plurality of pixel patterns 21 that are the original wiring patterns are arranged in the vertical direction and the horizontal direction. Here, for convenience of explanation, the upper left alignment mark 22 for each pixel pattern 21. The lower right alignment mark is not shown. A defect 23 generated in the subject 11 is also shown.
Here, each pixel pattern 21 is ideally the same pattern, but in reality, there is a shift in the arrangement of size, angle, and the like.

本例の画像処理では、まず、外部位置合わせを行って、各画素パターン21に対して各枠31を設定(初期的に設定)する。本例では、この枠31としては、予め設定された一定の大きさ(辺の長さ)を有する正方形(或いは、他の形)が用いられる。この一定の大きさとしては、例えば、各画素パターン21の大きさなどに多少のずれが生じても各画素パターン21の全体を各枠31内に含めることができるような大きさが用いられる。   In the image processing of this example, first, external alignment is performed, and each frame 31 is set (initially set) for each pixel pattern 21. In this example, the frame 31 is a square (or other shape) having a predetermined constant size (side length). As this fixed size, for example, a size is used so that the entire pixel pattern 21 can be included in each frame 31 even if there is a slight shift in the size of each pixel pattern 21.

外部位置合わせの処理では、各画素パターン21に設けられた左上の1つの位置合わせマーク22を基準として、各画素パターン21について、当該位置合わせマーク22に対して同じ配置となるように各枠31を設定する。一例として、縦方向や横方向に隣り合う異なる2つの画素パターン21内の左上の位置合わせマーク22の間の距離(ピッチ)を検出して、当該距離に基づいて各枠31を設定していくことが可能である。ここで、位置合わせマーク22のパターン形状は制御部8のメモリに予め設定されて記憶されており、制御部8は被写体11の画像を解析して、例えばパターンマッチング処理を行うことにより、各画素パターン21内の位置合わせマーク22の位置を検出する。   In the external alignment process, each frame 31 is arranged so that each pixel pattern 21 has the same arrangement with respect to the alignment mark 22 with reference to the upper left alignment mark 22 provided in each pixel pattern 21. Set. As an example, the distance (pitch) between the upper left alignment marks 22 in two different pixel patterns 21 adjacent in the vertical direction or the horizontal direction is detected, and each frame 31 is set based on the distance. It is possible. Here, the pattern shape of the alignment mark 22 is preset and stored in the memory of the control unit 8, and the control unit 8 analyzes the image of the subject 11 and performs, for example, pattern matching processing to thereby each pixel. The position of the alignment mark 22 in the pattern 21 is detected.

本例の画像処理では、次に、内部位置合わせを行って、各画素パターン21に対して設定した各枠31の大きさ(辺の長さ)や角度を調整して、調整後の枠31aを設定する。
図3(a)には、枠31の配置の調整前における様子の一例を示してある。画素パターン21内に左上の位置合わせマーク22と右上の位置合わせマーク41が設けられており、外部位置合わせで設定された枠31の大きさ(本例では、辺の長さaの正方形)は実際の画素パターン21に対して大き過ぎ、外部位置合わせで設定された枠31の角度は実際の画素パターン21に対してずれており、これらのことが2つの位置合わせマーク22、41の検出位置に基づいて検出される。なお、位置合わせマーク22、41のパターン形状は制御部8のメモリに予め設定されて記憶されており、制御部8は被写体11の画像を解析して、例えばパターンマッチング処理を行うことにより、各画素パターン21内の位置合わせマーク22、41の位置を検出する。
In the image processing of this example, next, internal alignment is performed, the size (side length) and angle of each frame 31 set for each pixel pattern 21 is adjusted, and the adjusted frame 31a is adjusted. Set.
FIG. 3A shows an example of a state before the arrangement of the frame 31 is adjusted. An upper left alignment mark 22 and an upper right alignment mark 41 are provided in the pixel pattern 21, and the size of the frame 31 set in the external alignment (in this example, a square having a side length a) is The angle of the frame 31 set in the external alignment is too large with respect to the actual pixel pattern 21 and is shifted with respect to the actual pixel pattern 21, and these are the detection positions of the two alignment marks 22 and 41. Is detected based on Note that the pattern shapes of the alignment marks 22 and 41 are preset and stored in the memory of the control unit 8, and the control unit 8 analyzes the image of the subject 11 and performs pattern matching processing, for example. The positions of the alignment marks 22 and 41 in the pixel pattern 21 are detected.

図3(b)には、枠31の配置の調整後における様子の一例を示してある。画素パターン21及び位置合わせマーク22、41の配置については図3(a)に示されるものと同一である。枠31の配置の調整では、実際の画素パターン21の大きさや角度に対応させるように、枠31の大きさや角度を調整する。調整後の枠31aでは、その辺の長さbが変更され、その角度がθだけ回転させられている。   FIG. 3B shows an example of a state after the arrangement of the frame 31 is adjusted. The arrangement of the pixel pattern 21 and the alignment marks 22 and 41 is the same as that shown in FIG. In adjusting the arrangement of the frame 31, the size and angle of the frame 31 are adjusted so as to correspond to the actual size and angle of the pixel pattern 21. In the adjusted frame 31a, the length b of the side is changed, and the angle is rotated by θ.

ここで、調整後の枠31aは、必ずしも画素パターン21と一致する必要はなく、例えば、予め、枠31aが画素パターン21の大きさの所定倍の大きさとなり画素パターン21に対して所定の配置関係となるようにすることを決めた条件が設定され、この条件に基づいて枠31aが調整される。一例として、2つの位置合わせマーク22、41の位置を結んだ線分の中心点と枠31aの中心点を一致させ、当該線分と枠31aの対角線とが平行になる(本例では、重なる)ようにし、当該線分の長さに所定の係数(例えば、1以上の値)を乗算した結果値が枠31aの対角線の長さとなるようにするような条件を用いることができる。   Here, the adjusted frame 31 a does not necessarily match the pixel pattern 21. For example, the frame 31 a is a predetermined size of the pixel pattern 21 in advance and has a predetermined arrangement with respect to the pixel pattern 21. Conditions that determine the relationship are set, and the frame 31a is adjusted based on the conditions. As an example, the center point of the line segment connecting the positions of the two alignment marks 22 and 41 is matched with the center point of the frame 31a, and the line segment and the diagonal line of the frame 31a are parallel (in this example, they overlap). Thus, a condition can be used such that a result value obtained by multiplying the length of the line segment by a predetermined coefficient (for example, a value of 1 or more) becomes the length of the diagonal line of the frame 31a.

なお、外部位置合わせの処理と内部位置合わせの処理は、例えば、同一の倍率で撮像された画像のデータを用いて行われてもよく、或いは、外部位置合わせの処理を比較的に低い倍率の画像データを用いて行い、その後、内部位置合わせの処理を比較的に高い倍率の画像データを用いて行うようなことも可能である。   The external alignment process and the internal alignment process may be performed using, for example, image data captured at the same magnification, or the external alignment process may be performed at a relatively low magnification. It is also possible to perform using the image data and then perform the internal positioning process using image data with a relatively high magnification.

次に、本例の画像処理では、各画素パターン21に対して各枠31の配置を調整した後に、隣り合う画素パターン21について輝度を比較する。
なお、比較対象とする2つの画素パターン21の位置関係としては、例えば、上下左右或いは斜めなど任意の位置関係が用いられてもよく、また、1つの画素パターン21について、周囲に存在する任意の数の他の画素パターンとの比較が行われてもよい。
また、本例では、隣接する2つの画素パターン21を比較するが、他の構成例として、隣接しない2つの画素パターン21を比較することも可能である。
ここで、通常は、2つの画素パターン21を比較して輝度の差に特異なものを検出しただけでは、いずれの画素パターン21に特異なものが存在するのかが不明であるため、1つの画素パターン21に対して2つ以上の他の画素パターンとの比較を行う。
Next, in the image processing of this example, after adjusting the arrangement of the frames 31 for each pixel pattern 21, the brightness of the adjacent pixel patterns 21 is compared.
As the positional relationship between the two pixel patterns 21 to be compared, for example, an arbitrary positional relationship such as up / down / left / right or diagonal may be used. A comparison with a number of other pixel patterns may be made.
In this example, two adjacent pixel patterns 21 are compared. However, as another configuration example, two non-adjacent pixel patterns 21 can be compared.
Here, since it is unclear which pixel pattern 21 is unique only by comparing two pixel patterns 21 and detecting only those that are specific to the luminance difference, The pattern 21 is compared with two or more other pixel patterns.

図4(a)には、或る枠31a内の領域(面A)の画像の一例を示してある。この領域には、LCD基板の本来の配線パターンである画素パターン21と、2つの位置合わせマーク22、41が存在し、これらが画像に現れている。
図4(b)には、図4(a)に示される枠31a内の領域に対して隣接した他の枠61内の領域(面B)の画像の一例を示してある。この領域には、LCD基板の本来の配線パターンである画素パターン51と、2つの位置合わせマーク52、53と、欠陥23が存在し、これらが画像に現れている。
FIG. 4A shows an example of an image of a region (surface A) within a certain frame 31a. In this area, there are a pixel pattern 21 which is the original wiring pattern of the LCD substrate and two alignment marks 22 and 41, which appear in the image.
FIG. 4B shows an example of an image of a region (surface B) in another frame 61 adjacent to the region in the frame 31a shown in FIG. In this area, there are a pixel pattern 51 which is the original wiring pattern of the LCD substrate, two alignment marks 52 and 53, and a defect 23, which appear in the image.

ここで、本例では、各枠31a、61の大きさや角度が、各画素パターン21、51に対する配置関係が同等なものとなるように、調整されているため、比較する2つの枠31a、61を一致させるように枠31a、61内の画像の大きさを調整(例えば、一方を全体的に拡大或いは縮小)すると、2つの枠31a、61内の画素パターン21、51及び位置合わせマーク22、41、52、53も一致することとなり、これらのパターンに影響されずに、精度良く欠陥23のみを検出することが可能になる。   Here, in this example, since the size and angle of each frame 31a, 61 are adjusted so that the arrangement relationship with respect to each pixel pattern 21, 51 is equivalent, the two frames 31a, 61 to be compared are adjusted. If the sizes of the images in the frames 31a and 61 are adjusted so as to match (for example, one of them is enlarged or reduced as a whole), the pixel patterns 21 and 51 and the alignment marks 22 in the two frames 31a and 61 41, 52, and 53 also coincide with each other, and it is possible to detect only the defect 23 with high accuracy without being affected by these patterns.

図4(c)には、図4(a)に示される枠31a内の領域(面A)と図4(b)に示される枠61内の領域(面B)との輝度の差の一例を示してある。この輝度の差は制御部8により取得される。
図示されるように、それぞれの面について周囲の他の面との間で輝度を比較して、特異な面(例えば、輝度の差のピークが発生した面)があるか否かを判定すると、欠陥23が存在する面については、他の面と比べて欠陥23の部分の輝度が異なるため、特異な面として検出され、欠陥23が存在することが検出される。
FIG. 4C shows an example of the difference in luminance between the region (surface A) in the frame 31a shown in FIG. 4A and the region (surface B) in the frame 61 shown in FIG. 4B. Is shown. This difference in luminance is acquired by the control unit 8.
As shown in the drawing, for each surface, the luminance is compared with the other surrounding surfaces to determine whether there is a unique surface (for example, a surface where a luminance difference peak occurs). The surface where the defect 23 exists is detected as a specific surface because the brightness of the portion of the defect 23 is different from that of the other surface, and the presence of the defect 23 is detected.

図5を参照して、本例の検査装置により行われる欠陥検査の処理の手順の一例を示す。なお、この処理は、制御部8により制御されて行われる。
検査装置では、例えばユーザからの指示などに応じて検査が開始されると、まず、対物レンズ1の倍率を取り得る最低の倍率に設定した状態で、XYステージ5を例えば指定された座標へ移動させて、被写体11の検査したい位置がCCDカメラ2により撮像されるようにする(ステップS1)。次に、画面全体の画像に対してAF(オートフォーカス)により焦点を合わせる(ステップS2)。その後、撮像された画像を蓄積する状態が設定されている場合には(ステップS3)、当該画像のデータをメモリに蓄積した後に(ステップS4)、当該画像を処理対象として登録し(ステップS5)、一方、撮像された画像を蓄積しない状態が設定されている場合には(ステップS3)、当該画像のデータを蓄積せずに、当該画像を処理対象として登録する(ステップS5)。そして、画面全体で十分な輝度(例えば、予め設定された閾値以上の輝度)があるか否かを判定し(ステップS6)、十分な輝度がある場合には検査処理を続行し、十分な輝度がない場合には検査処理を終了する。
With reference to FIG. 5, an example of the procedure of the defect inspection process performed by the inspection apparatus of this example is shown. This process is performed under the control of the control unit 8.
In the inspection apparatus, for example, when inspection is started in response to an instruction from the user, the XY stage 5 is first moved to, for example, specified coordinates in a state where the magnification of the objective lens 1 is set to the lowest possible magnification. In this way, the position of the subject 11 to be inspected is imaged by the CCD camera 2 (step S1). Next, the entire image on the screen is focused by AF (autofocus) (step S2). Thereafter, when the state for storing the captured image is set (step S3), the image data is stored in the memory (step S4), and then the image is registered as a processing target (step S5). On the other hand, when the state in which the captured image is not stored is set (step S3), the image is registered as a processing target without storing the image data (step S5). Then, it is determined whether or not the entire screen has sufficient luminance (for example, luminance equal to or higher than a preset threshold value) (step S6). If there is sufficient luminance, the inspection process is continued, and sufficient luminance is obtained. If there is no, the inspection process is terminated.

画面全体で十分な輝度がある場合には、次に、図2に示されるように、例えば予め登録された画素ピッチの設定に基づいて又は各画素パターン21に適合した任意の画素ピッチで、画面(画像)に各枠31を設定した後に、図3(a)、(b)に示されるように、各枠31の位置や角度を調整し、その後、図4(a)〜(c)に示されるように、それぞれの枠31a、61の面について周りの面との輝度を比較する(ステップS7)。このような輝度比較により、それぞれの枠31a、61の面について特異な面(例えば、輝度の差のピークが発生した面)があるか否かを判定し(ステップS8)、特異な面が無ければ欠陥無しとして検査処理を終了する。   If there is sufficient luminance on the entire screen, then, as shown in FIG. 2, for example, the screen is based on a pre-registered pixel pitch setting or at an arbitrary pixel pitch adapted to each pixel pattern 21. After setting each frame 31 in (image), as shown in FIGS. 3A and 3B, the position and angle of each frame 31 are adjusted, and thereafter, as shown in FIGS. As shown, the brightness of each of the surfaces of the frames 31a and 61 is compared with the surrounding surfaces (step S7). By such a luminance comparison, it is determined whether or not there is a peculiar surface (for example, a surface on which a luminance difference peak occurs) for each of the frames 31a and 61 (step S8), and there is no peculiar surface. If there is no defect, the inspection process is terminated.

一方、特異な面があった場合には、対物レンズ1の倍率が十分に高い倍率(例えば、所定の閾値以上の倍率、又は、取り得る最大の倍率)であるか否かを判定し(ステップS9)、既に十分に高倍率であれば検査処理を終了する。一方、未だに十分に高倍率でなければ、検出された特異な面の特異点(例えば、輝度の差のピークが発生した位置)が画面の中央に位置するようにXYステージ5を移動させ、対物レンズ1を高い倍率(例えば、現在よりも所定値だけ高い倍率)のレンズへ切り換えて(ステップS10)、再び、ステップS2〜ステップS10と同様な処理を行うことにより、欠陥23の画像をより詳しく抽出していく。本例では、本来の配線パターンについては同一パターンでの輝度比較となるため、特異点だけを検出することができる。   On the other hand, if there is a peculiar surface, it is determined whether or not the magnification of the objective lens 1 is sufficiently high (for example, a magnification greater than a predetermined threshold or the maximum possible magnification) (step S9) If the magnification is already sufficiently high, the inspection process is terminated. On the other hand, if the magnification is not yet sufficiently high, the XY stage 5 is moved so that the singular point of the detected singular surface (for example, the position where the peak of the luminance difference occurs) is located at the center of the screen, and the objective The lens 1 is switched to a lens with a higher magnification (for example, a magnification higher than the current value by a predetermined value) (step S10), and the same processing as in steps S2 to S10 is performed again, so that the image of the defect 23 is more detailed. Extract. In this example, since the original wiring pattern is a luminance comparison in the same pattern, only a singular point can be detected.

ここで、一般に、対物レンズ1の倍率が高すぎると、輝度が高すぎて画像処理が困難になることや或いは大きい欠陥の検出が困難になることがあり得るため、本例では、低い倍率から高い倍率へ徐々に倍率を変更して検査処理を行っている。低い倍率で一旦測定して、特異な部分(本例では、欠陥部分)のおよその位置が把握された場合には、高い倍率へ切り換えて測定する際に、把握された欠陥部分(或いは、その付近)に対応した座標が撮像されるように移動させて、画面内に特異な部分をとらえることが可能である。更に、特異な部分が画面の中央(或いは、その付近)に位置するように移動させて、高い倍率でその部分の画像を撮像すると、作業者にとって欠陥部分が非常に見易くなる。
また、例えば、画面(画像)内における検出エリアを指定することができるように、検出エリアの開始点のオフセット値や画素数(例えば、表示画面における画素サイズ)の設定などが可能な構成とされてもよい。
Here, in general, if the magnification of the objective lens 1 is too high, the luminance is too high and image processing may be difficult, or it may be difficult to detect a large defect. Inspection processing is performed by gradually changing the magnification to a higher magnification. Once measured at a low magnification and the approximate position of a peculiar part (in this example, a defective part) is grasped, when the measurement is switched to a higher magnification, the recognized defective part (or its part) It is possible to capture a unique portion in the screen by moving the coordinates corresponding to the vicinity) to be imaged. Furthermore, if the peculiar part is moved so as to be located at the center (or the vicinity thereof) of the screen and an image of that part is taken at a high magnification, it becomes very easy for the operator to see the defective part.
In addition, for example, an offset value of the start point of the detection area and the number of pixels (for example, the pixel size on the display screen) can be set so that the detection area in the screen (image) can be designated. May be.

また、パターンマッチング処理では、次のような(処理例1)〜(処理例3)を用いることも可能である。
(処理例1)画像取得時の揺れや基板の製作誤差を欠陥として認識しないために、±n(nは1以上の整数)画素については無視するフィルタ処理を行って、誤認識を防止する。
(処理例2)基板の製作時の輝度むら誤差を欠陥として認識しないために、±v(vは正の値)の輝度差については無視するフィルタ処理を行って、誤認識を防止する。
(処理例3)照明系の輝度むらの補正として、取得画像から輝度むらを減算した後に、図2に示されるような枠31の設定を行う。
In the pattern matching process, the following (Processing Example 1) to (Processing Example 3) can also be used.
(Processing Example 1) In order not to recognize a shake at the time of image acquisition or a manufacturing error of the substrate as a defect, a filter process ignoring ± n (n is an integer of 1 or more) pixels is performed to prevent erroneous recognition.
(Processing Example 2) In order not to recognize the luminance unevenness error at the time of manufacturing the substrate as a defect, filter processing is performed to ignore the luminance difference of ± v (v is a positive value) to prevent erroneous recognition.
(Processing Example 3) As correction of luminance unevenness of the illumination system, after subtracting the luminance unevenness from the acquired image, the frame 31 as shown in FIG. 2 is set.

以上のように、本例の検査装置では、LCD基板の画面(画像)内の欠陥を検査するに際して、各画素パターン21に対して各枠31を初期的に設定した後に調整することで、各画素パターン21の実際の位置や角度に合わせた各枠31aを設定するようにしたため、隣接する画素パターン21同士を合わせた状態で輝度を比較することができ、このため、例えば図9及び図10に示されるような検出方式の場合と比べて、本来の配線パターンである画素パターン21を特異点(欠陥部分)として検出してしまうことを防止することができ、誤認識を防止することができる。   As described above, in the inspection apparatus of this example, when inspecting a defect in the screen (image) of the LCD substrate, each frame 31 is initially set for each pixel pattern 21, and then adjusted, Since each frame 31a according to the actual position and angle of the pixel pattern 21 is set, it is possible to compare the luminance in a state where the adjacent pixel patterns 21 are aligned. For this reason, for example, FIG. 9 and FIG. Compared with the detection method as shown in FIG. 5, it is possible to prevent the pixel pattern 21 which is the original wiring pattern from being detected as a singular point (defective part), and to prevent erroneous recognition. .

従って、本例の検査装置では、例えば、画素パターン21内の欠陥検出精度を向上させることができ、また、全ての視野を比較することなく、ポイント指定での欠陥検出も可能となる。ここで、本例では、LCD基板内の欠陥検査においては、主に画素パターン内の欠陥検出が行われ、画素パターンとしては同一のパターンが等ピッチで配列されたものが用いられることに着目している。   Therefore, in the inspection apparatus of this example, for example, the defect detection accuracy in the pixel pattern 21 can be improved, and a defect can be detected by specifying a point without comparing all the fields of view. Here, in this example, in the defect inspection in the LCD substrate, the defect detection in the pixel pattern is mainly performed, and the pixel pattern in which the same pattern is arranged at an equal pitch is used. ing.

なお、本例の検査装置では、制御部8がモータドライバユニット7を介してXYステージ5やZステージ6を制御して対物レンズ1やCCDカメラ2や光源ユニット3やライトガイド4により被写体11の画像を撮像して取得する機能により画像取得手段が構成されており、制御部8が被写体11の画像に対して枠を設定(本例では、初期的に設定して、その後に調整)する機能により枠設定手段が構成されており、制御部8が本来の配線パターンである画素パターンが一致するように調整した状態で2つ以上の枠の画像の輝度を比較する機能により比較手段が構成されており、制御部8が輝度の比較結果に基づいて欠陥を検出する機能により欠陥検出手段が構成されている。   In the inspection apparatus of this example, the control unit 8 controls the XY stage 5 and the Z stage 6 via the motor driver unit 7, and the object 11 is detected by the objective lens 1, the CCD camera 2, the light source unit 3, and the light guide 4. The image acquisition means is configured by the function of capturing and acquiring an image, and the control unit 8 sets a frame for the image of the subject 11 (in this example, it is set initially and then adjusted). The frame setting means is configured by the above, and the comparison means is configured by the function of comparing the luminance of the images of two or more frames in a state in which the control unit 8 has adjusted the pixel pattern which is the original wiring pattern to match. Thus, the defect detection means is configured by the function of the controller 8 detecting the defect based on the luminance comparison result.

本発明の第2実施例を説明する。
本例では、図1に示される検査装置により行われる欠陥検査処理の一例を示す。
図6及び図7を参照して、本例の欠陥検査処理の概要を説明する。
図6には、CCDカメラ2により取得されてモニタ9に表示された被写体11の画像の一例を示してあるが、枠81は検査装置により設定されるものであるため被写体11の画像ではない。
A second embodiment of the present invention will be described.
In this example, an example of defect inspection processing performed by the inspection apparatus shown in FIG. 1 is shown.
With reference to FIG. 6 and FIG. 7, an outline of the defect inspection processing of this example will be described.
FIG. 6 shows an example of the image of the subject 11 acquired by the CCD camera 2 and displayed on the monitor 9, but the frame 81 is not an image of the subject 11 because it is set by the inspection apparatus.

本例の被写体11では、LCD基板の本来の配線パターンが、理想的には同一のパターンで等間隔で、平面上の縦方向及び横方向に並んでいる。
図6に示される被写体11の画像では、本来の配線パターンである画素パターン71が縦方向及び横方向に複数並んでいる。また、被写体11に発生した欠陥72も示してある。
ここで、各画素パターン71は、理想的には同一なパターンとなるが、実際には、大きさや角度などの配置にずれが生じる。
In the subject 11 of the present example, the original wiring pattern of the LCD substrate is ideally arranged in the same pattern in the vertical and horizontal directions on the plane at equal intervals.
In the image of the subject 11 shown in FIG. 6, a plurality of pixel patterns 71 which are original wiring patterns are arranged in the vertical direction and the horizontal direction. In addition, a defect 72 generated in the subject 11 is also shown.
Here, each pixel pattern 71 is ideally the same pattern, but in reality, there is a deviation in the arrangement of size, angle, and the like.

本例の画像処理では、まず、各画素パターン71に対して各枠81を設定する。本例では、この枠81としては、予め設定された一定の大きさ(辺の長さ)を有する正方形(或いは、他の形)が用いられる。この一定の大きさとしては、例えば、各画素パターン71の大きさなどに多少のずれが生じても各画素パターン71の全体を各枠81内に含めることができるような大きさが用いられる。
本例では、画面(画像)の視野を予め設定された画素パターンピッチで分割し、各画素パターン71が各枠81に含まれるように、等間隔で、各枠81を当てはめていく。本例では、各枠81は、画面(画像)を等間隔で分割したものとなり、各画素パターン71を含むものとなる。ここで、画面(画像)を分割するピッチとしては、一例として、画素パターン71の配列のピッチと同じピッチを用いることが可能である。
In the image processing of this example, first, each frame 81 is set for each pixel pattern 71. In this example, as the frame 81, a square (or other shape) having a predetermined constant size (side length) is used. As this fixed size, for example, such a size that the entire pixel pattern 71 can be included in each frame 81 even if there is a slight shift in the size of each pixel pattern 71 or the like is used.
In this example, the field of view of the screen (image) is divided at a preset pixel pattern pitch, and each frame 81 is applied at equal intervals so that each pixel pattern 71 is included in each frame 81. In this example, each frame 81 is obtained by dividing the screen (image) at equal intervals, and includes each pixel pattern 71. Here, as an example of the pitch for dividing the screen (image), the same pitch as the pitch of the arrangement of the pixel patterns 71 can be used.

次に、本例の画像処理では、各画素パターン71に対して設定された各枠81内の画像を用いて、隣り合う画素パターン71について輝度を比較する。
なお、比較対象とする2つの画素パターン71の位置関係としては、例えば、上下左右或いは斜めなど任意の位置関係が用いられてもよく、また、1つの画素パターン71について、周囲に存在する任意の数の他の画素パターンとの比較が行われてもよい。
また、本例では、隣接する2つの画素パターン71を比較するが、他の構成例として、隣接しない2つの画素パターン71を比較することも可能である。
ここで、通常は、2つの画素パターン71を比較して輝度の差に特異なものを検出しただけでは、いずれの画素パターン71に特異なものが存在するのかが不明であるため、1つの画素パターン71に対して2つ以上の他の画素パターンとの比較を行う。
Next, in the image processing of this example, the luminance of the adjacent pixel patterns 71 is compared using the image in each frame 81 set for each pixel pattern 71.
As the positional relationship between the two pixel patterns 71 to be compared, for example, an arbitrary positional relationship such as up / down / left / right or diagonal may be used. A comparison with a number of other pixel patterns may be made.
In this example, two adjacent pixel patterns 71 are compared. However, as another configuration example, two non-adjacent pixel patterns 71 can be compared.
Here, normally, by comparing two pixel patterns 71 and detecting a peculiar difference in luminance, it is unclear which pixel pattern 71 has a peculiar one, so one pixel The pattern 71 is compared with two or more other pixel patterns.

図7(a)には、或る枠81内の領域(面A)の画像の一例を示してある。この領域には、LCD基板の本来の配線パターンである画素パターン71が存在し、これが画像に現れている。
図7(b)には、図7(a)に示される枠81内の領域に対して隣接した他の枠101内の領域(面B)の画像の一例を示してある。この領域には、LCD基板の本来の配線パターンである画素パターン91と、欠陥72が存在し、これらが画像に現れている。
FIG. 7A shows an example of an image of a region (surface A) within a certain frame 81. In this region, there is a pixel pattern 71 which is the original wiring pattern of the LCD substrate, and this appears in the image.
FIG. 7B shows an example of an image of a region (surface B) in another frame 101 adjacent to the region in the frame 81 shown in FIG. In this area, there are a pixel pattern 91 which is an original wiring pattern of the LCD substrate and a defect 72, which appear in the image.

ここで、本例では、輝度比較を行うに際して、各枠81、101内に含まれる2つの画素パターン71、91が一致するようにパターンマッチングの処理を行い、比較する2つの画素パターン71、91を一致させるように枠81、101内の画像の大きさや角度を調整(例えば、一方を全体的に拡大或いは縮小し、当該一方を回転)する。すると、輝度比較を行うに際して、2つの画素パターン71、91が一致することとなり、これらのパターンに影響されずに、精度良く欠陥72のみを検出することが可能になる。   Here, in this example, when performing the luminance comparison, pattern matching processing is performed so that the two pixel patterns 71 and 91 included in the frames 81 and 101 match each other, and the two pixel patterns 71 and 91 to be compared are compared. The size and angle of the images in the frames 81 and 101 are adjusted so as to match (for example, one of them is enlarged or reduced as a whole and the other is rotated). Then, when performing the luminance comparison, the two pixel patterns 71 and 91 coincide with each other, and it is possible to detect only the defect 72 with high accuracy without being affected by these patterns.

このように、本例では、各枠81、101により切り取られる内部のパターンについて、隣接するもの同士で、内部のパターンのパターンマッチングを行うことで、欠陥ではない本来の画素パターン71、91については輝度比較に際して一致するように調整する。つまり、等ピッチで分割しても、通常は、実際の画素ピッチとのずれが全くなくなることは無いため、それぞれの枠81、101の面について輝度比較を行う前に、パターンマッチング処理を実行することで、分割面毎の若干のずれを補正している。   As described above, in this example, the internal patterns cut out by the frames 81 and 101 are subjected to pattern matching of the internal patterns between adjacent ones, so that the original pixel patterns 71 and 91 that are not defects are obtained. It adjusts so that it may correspond in luminance comparison. That is, even if divided at equal pitches, there is usually no deviation from the actual pixel pitch, so pattern matching processing is performed before the luminance comparison is performed for the surfaces of the frames 81 and 101. Thus, a slight shift for each divided surface is corrected.

なお、このようなパターンマッチングを行う対象となる本来の配線パターンに対応した画素パターン71、91としては、必ずしも本来の配線パターンの全ての画素パターンが用いられなくともよく、例えば、所定の四角形のパターンなどのように、パターンマッチングの目印として有効な一部のパターンが用いられてもよい。一例として、パターンマッチングの目印として、図4(a)に示されるような1つ又は2つ以上の位置合わせマーク22、41を用いることも可能である。   It should be noted that not all pixel patterns of the original wiring pattern are necessarily used as the pixel patterns 71 and 91 corresponding to the original wiring pattern to be subjected to such pattern matching. Some patterns effective as a pattern matching mark may be used, such as a pattern. As an example, it is also possible to use one or more alignment marks 22 and 41 as shown in FIG.

図7(c)には、図7(a)に示される枠81内の領域(面A)と図7(b)に示される枠101内の領域(面B)との輝度の差の一例を示してある。この輝度の差は制御部8により取得される。
図示されるように、それぞれの面について周囲の他の面との間で輝度を比較して、特異な面(例えば、輝度の差のピークが発生した面)があるか否かを判定すると、欠陥72が存在する面については、他の面と比べて欠陥72の部分の輝度が異なるため、特異な面として検出され、欠陥72が存在することが検出される。
本例では、各枠81、101内に各画素パターン71、91が含まれた状態で、パターンマッチング処理を行い、各枠81、101内の各画素パターン71、91が一致するようにオフセットや倍率や角度などを調整して、2つの画像について輝度を比較する。
FIG. 7C shows an example of the luminance difference between the region (surface A) in the frame 81 shown in FIG. 7A and the region (surface B) in the frame 101 shown in FIG. Is shown. This difference in luminance is acquired by the control unit 8.
As shown in the drawing, for each surface, the luminance is compared with the other surrounding surfaces to determine whether there is a unique surface (for example, a surface where a luminance difference peak occurs). The surface where the defect 72 exists is detected as a specific surface because the brightness of the portion of the defect 72 is different from that of the other surface, and the presence of the defect 72 is detected.
In this example, the pattern matching process is performed in a state where the pixel patterns 71 and 91 are included in the frames 81 and 101, so that the offset patterns and the pixel patterns 71 and 91 in the frames 81 and 101 are matched. The brightness of two images is compared by adjusting the magnification and angle.

図8を参照して、本例の検査装置により行われる欠陥検査の処理の手順の一例を示す。なお、この処理は、制御部8により制御されて行われる。
検査装置では、例えばユーザからの指示などに応じて検査が開始されると、まず、対物レンズ1の倍率を取り得る最低の倍率に設定した状態で、XYステージ5を例えば指定された座標へ移動させて、被写体11の検査したい位置がCCDカメラ2により撮像されるようにする(ステップS11)。次に、画面全体の画像に対してAF(オートフォーカス)により焦点を合わせる(ステップS12)。その後、撮像された画像を蓄積する状態が設定されている場合には(ステップS13)、当該画像のデータをメモリに蓄積した後に(ステップS14)、当該画像を処理対象として登録し(ステップS15)、一方、撮像された画像を蓄積しない状態が設定されている場合には(ステップS13)、当該画像のデータを蓄積せずに、当該画像を処理対象として登録する(ステップS15)。そして、画面全体で十分な輝度(例えば、予め設定された閾値以上の輝度)があるか否かを判定し(ステップS16)、十分な輝度がある場合には検査処理を続行し、十分な輝度がない場合には検査処理を終了する。
With reference to FIG. 8, an example of the procedure of the defect inspection process performed by the inspection apparatus of this example is shown. This process is performed under the control of the control unit 8.
In the inspection apparatus, for example, when inspection is started in response to an instruction from the user, the XY stage 5 is first moved to, for example, specified coordinates in a state where the magnification of the objective lens 1 is set to the lowest possible magnification. In this way, the position of the subject 11 to be inspected is imaged by the CCD camera 2 (step S11). Next, the entire image on the screen is focused by AF (autofocus) (step S12). After that, when the state for storing the captured image is set (step S13), after storing the image data in the memory (step S14), the image is registered as a processing target (step S15). On the other hand, when the state in which the captured image is not stored is set (step S13), the image is registered as a processing target without storing the image data (step S15). Then, it is determined whether or not there is sufficient luminance (for example, luminance equal to or higher than a preset threshold) on the entire screen (step S16). If there is sufficient luminance, the inspection process is continued and sufficient luminance is obtained. If there is no, the inspection process is terminated.

画面全体で十分な輝度がある場合には、次に、図6に示されるように、例えば予め登録された画素ピッチの設定に基づいて、画面(画像)に各枠81を設定した後に、パターンマッチング処理を行って、図7(a)〜(c)に示されるように、それぞれの枠81、101の面について周りの面との輝度を比較する(ステップS17)。このような輝度比較により、それぞれの枠81、101の面について特異な面(例えば、輝度の差のピークが発生した面)があるか否かを判定し(ステップS18)、特異な面が無ければ欠陥無しとして検査処理を終了する。   If there is sufficient luminance on the entire screen, then, as shown in FIG. 6, after setting each frame 81 on the screen (image) based on, for example, a preset pixel pitch setting, Matching processing is performed, and as shown in FIGS. 7A to 7C, the brightness of each of the surfaces of the frames 81 and 101 is compared with the surrounding surfaces (step S17). By such a luminance comparison, it is determined whether or not there is a peculiar surface (for example, a surface where a luminance difference peak has occurred) for each of the frames 81 and 101 (step S18). If there is no defect, the inspection process is terminated.

一方、特異な面があった場合には、対物レンズ1の倍率が十分に高い倍率(例えば、所定の閾値以上の倍率、又は、取り得る最大の倍率)であるか否かを判定し(ステップS19)、既に十分に高倍率であれば検査処理を終了する。一方、未だに十分に高倍率でなければ、検出された特異な面の特異点(例えば、輝度の差のピークが発生した位置)が画面の中央に位置するようにXYステージ5を移動させ、対物レンズ1を高い倍率(例えば、現在よりも所定値だけ高い倍率)のレンズへ切り換えて(ステップS20)、再び、ステップS12〜ステップS20と同様な処理を行うことにより、欠陥72の画像をより詳しく抽出していく。本例では、本来の配線パターンについては同一パターンでの輝度比較となるため、特異点だけを検出することができる。   On the other hand, if there is a peculiar surface, it is determined whether or not the magnification of the objective lens 1 is sufficiently high (for example, a magnification greater than a predetermined threshold or the maximum possible magnification) (step S19) If the magnification is already sufficiently high, the inspection process is terminated. On the other hand, if the magnification is not yet sufficiently high, the XY stage 5 is moved so that the singular point of the detected singular surface (for example, the position where the peak of the luminance difference occurs) is located at the center of the screen, and the objective The lens 1 is switched to a lens with a higher magnification (for example, a magnification higher than the current value by a predetermined value) (step S20), and the same process as in steps S12 to S20 is performed again, so that the image of the defect 72 is more detailed. Extract. In this example, since the original wiring pattern is a luminance comparison in the same pattern, only a singular point can be detected.

ここで、一般に、対物レンズ1の倍率が高すぎると、輝度が高すぎて画像処理が困難になることや或いは大きい欠陥の検出が困難になることがあり得るため、本例では、低い倍率から高い倍率へ徐々に倍率を変更して検査処理を行っている。低い倍率で一旦測定して、特異な部分(本例では、欠陥部分)のおよその位置が把握された場合には、高い倍率へ切り換えて測定する際に、把握された欠陥部分(或いは、その付近)に対応した座標が撮像されるように移動させて、画面内に特異な部分をとらえることが可能である。更に、特異な部分が画面の中央(或いは、その付近)に位置するように移動させて、高い倍率でその部分の画像を撮像すると、作業者にとって欠陥部分が非常に見易くなる。
また、例えば、画面(画像)内における検出エリアを指定することができるように、検出エリアの開始点のオフセット値や画素数(例えば、表示画面における画素サイズ)の設定などが可能な構成とされてもよい。
Here, in general, if the magnification of the objective lens 1 is too high, the luminance is too high and image processing may be difficult, or it may be difficult to detect a large defect. Inspection processing is performed by gradually changing the magnification to a higher magnification. Once measured at a low magnification and the approximate position of a peculiar part (in this example, a defective part) is grasped, when the measurement is switched to a higher magnification, the recognized defective part (or its part) It is possible to capture a unique portion in the screen by moving the coordinates corresponding to the vicinity) to be imaged. Furthermore, if the peculiar part is moved so as to be located at the center (or the vicinity thereof) of the screen and an image of that part is taken at a high magnification, it becomes very easy for the operator to see the defective part.
In addition, for example, an offset value of the start point of the detection area and the number of pixels (for example, the pixel size on the display screen) can be set so that the detection area in the screen (image) can be designated. May be.

また、パターンマッチング処理では、次のような(処理例1)〜(処理例3)を用いることも可能である。
(処理例1)画像取得時の揺れや基板の製作誤差を欠陥として認識しないために、±n(nは1以上の整数)画素については無視するフィルタ処理を行って、誤認識を防止する。
(処理例2)基板の製作時の輝度むら誤差を欠陥として認識しないために、±v(vは正の値)の輝度差については無視するフィルタ処理を行って、誤認識を防止する。
(処理例3)照明系の輝度むらの補正として、取得画像から輝度むらを減算した後に、図6に示されるような枠81の設定を行う。
In the pattern matching process, the following (Processing Example 1) to (Processing Example 3) can also be used.
(Processing Example 1) In order not to recognize a shake at the time of image acquisition or a manufacturing error of a substrate as a defect, a filter process that ignores ± n (n is an integer of 1 or more) pixels is performed to prevent erroneous recognition.
(Processing Example 2) In order not to recognize the luminance unevenness error at the time of manufacturing the substrate as a defect, filter processing is performed to ignore the luminance difference of ± v (v is a positive value) to prevent erroneous recognition.
(Processing Example 3) As correction of luminance unevenness of the illumination system, after subtracting luminance unevenness from the acquired image, a frame 81 as shown in FIG. 6 is set.

以上のように、本例の検査装置では、LCD基板の画面(画像)内の欠陥を検査するに際して、各画素パターン71に対して各枠81を設定し、パターンマッチング処理を行って、各枠81に含まれる各画素パターン71が一致するように画像を調整して輝度比較を行うようにしたため、隣接する画素パターン71同士を合わせた状態で輝度を比較することができ、このため、例えば図9及び図10に示されるような検出方式の場合と比べて、本来の配線パターンである画素パターン71を特異点(欠陥部分)として検出してしまうことを防止することができ、誤認識を防止することができる。   As described above, in the inspection apparatus of this example, when inspecting a defect in the screen (image) of the LCD substrate, each frame 81 is set for each pixel pattern 71 and pattern matching processing is performed. 81. Since the luminance comparison is performed by adjusting the images so that the pixel patterns 71 included in 81 match each other, the luminance can be compared in a state where the adjacent pixel patterns 71 are combined. 9 and FIG. 10 can prevent the pixel pattern 71, which is the original wiring pattern, from being detected as a singular point (defective part) and prevent erroneous recognition. can do.

従って、本例の検査装置では、例えば、画素パターン71内の欠陥検出精度を向上させることができ、また、全ての視野を比較することなく、ポイント指定での欠陥検出も可能となる。ここで、本例では、LCD基板内の欠陥検査においては、主に画素パターン内の欠陥検出が行われ、画素パターンとしては同一のパターンが等ピッチで配列されたものが用いられることに着目している。   Therefore, in the inspection apparatus of this example, for example, the defect detection accuracy in the pixel pattern 71 can be improved, and a defect can be detected by point designation without comparing all the fields of view. Here, in this example, in the defect inspection in the LCD substrate, the defect detection in the pixel pattern is mainly performed, and the pixel pattern in which the same pattern is arranged at an equal pitch is used. ing.

なお、本例の検査装置では、制御部8がモータドライバユニット7を介してXYステージ5やZステージ6を制御して対物レンズ1やCCDカメラ2や光源ユニット3やライトガイド4により被写体11の画像を撮像して取得する機能により画像取得手段が構成されており、制御部8が被写体11の画像に対して枠を設定する機能により枠設定手段が構成されており、制御部8が本来の配線パターンである画素パターンが一致するようにパターンマッチング処理により調整した状態で2つ以上の枠の画像の輝度を比較する機能により比較手段が構成されており、制御部8が輝度の比較結果に基づいて欠陥を検出する機能により欠陥検出手段が構成されている。   In the inspection apparatus of this example, the control unit 8 controls the XY stage 5 and the Z stage 6 via the motor driver unit 7, and the object 11 is detected by the objective lens 1, the CCD camera 2, the light source unit 3, and the light guide 4. An image acquisition unit is configured by a function of capturing and acquiring an image, and a frame setting unit is configured by a function of the control unit 8 setting a frame with respect to the image of the subject 11. Comparing means is configured by the function of comparing the brightness of the images of two or more frames in a state adjusted by the pattern matching process so that the pixel pattern as the wiring pattern matches, and the control unit 8 determines the brightness comparison result. Defect detecting means is constituted by the function of detecting defects based on the above.

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disc)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
Here, the configuration of the system and apparatus according to the present invention is not necessarily limited to the configuration described above, and various configurations may be used. The present invention can also be provided as, for example, a method or method for executing the processing according to the present invention, a program for realizing such a method or method, or a recording medium for recording the program. It is also possible to provide various systems and devices.
The application field of the present invention is not necessarily limited to the above-described fields, and the present invention can be applied to various fields.
In addition, as various processes performed in the system and apparatus according to the present invention, for example, the processor executes a control program stored in a ROM (Read Only Memory) in hardware resources including a processor and a memory. A controlled configuration may be used, and for example, each functional unit for executing the processing may be configured as an independent hardware circuit.
The present invention can also be understood as a computer-readable recording medium such as a floppy (registered trademark) disk or a CD (Compact Disc) -ROM storing the control program, and the program (itself). The processing according to the present invention can be performed by inputting the program from the recording medium to the computer and causing the processor to execute the program.

本発明の一実施例に係る検査装置の構成例を示す図である。It is a figure which shows the structural example of the test | inspection apparatus which concerns on one Example of this invention. 本発明の第1実施例に係る枠の設定の一例を示す図である。It is a figure which shows an example of the setting of the frame which concerns on 1st Example of this invention. 本発明の第1実施例に係る枠の調整の一例を示す図である。It is a figure which shows an example of adjustment of the frame which concerns on 1st Example of this invention. 本発明の第1実施例に係る輝度の比較の一例を示す図である。It is a figure which shows an example of the comparison of the brightness | luminance which concerns on 1st Example of this invention. 本発明の第1実施例に係る欠陥検査の流れの一例を示す図である。It is a figure which shows an example of the flow of the defect inspection which concerns on 1st Example of this invention. 本発明の第2実施例に係る枠の設定の一例を示す図である。It is a figure which shows an example of the setting of the frame which concerns on 2nd Example of this invention. 本発明の第2実施例に係る輝度の比較の一例を示す図である。It is a figure which shows an example of the comparison of the brightness | luminance which concerns on 2nd Example of this invention. 本発明の第2実施例に係る欠陥検査の流れの一例を示す図である。It is a figure which shows an example of the flow of the defect inspection which concerns on 2nd Example of this invention. 枠の設定の一例を示す図である。It is a figure which shows an example of the setting of a frame. 輝度の比較の一例を示す図である。It is a figure which shows an example of a brightness | luminance comparison.

符号の説明Explanation of symbols

1・・対物レンズ、 2・・CCDカメラ、 3・・光源ユニット、 4・・ライトガイド、 5・・XYステージ、 6・・Zステージ、 7・・モータドライバユニット、 8・・制御部、 9・・モニタ、 11・・被写体、 21、51、71、91、111、112、121、122・・画素パターン、 22、41、52、53・・位置合わせマーク、 23、72、113・・欠陥、 31、31a、61、81、101・・枠、   1 .... objective lens, 2 .... CCD camera, 3 .... light source unit, 4 .... light guide, 5 .... XY stage, 6 .... Z stage, 7 .... motor driver unit, 8 .... control unit, 9 ..Monitor, 11..Subject, 21, 51, 71, 91, 111, 112, 121, 122..Pixel pattern, 22, 41, 52, 53..Alignment mark, 23, 72, 113..Defective , 31, 31a, 61, 81, 101 .. frame,

Claims (1)

被写体の画像に基づいて欠陥の有無を検査する検査装置において、
前記被写体の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像に含まれる所定パターン毎に枠を設定する枠設定手段と、
前記枠設定手段により設定された2つ以上の異なる枠の画像について、各枠に含まれる所定パターンが一致するように調整した状態で比較する比較手段と、
前記比較手段による比較結果に基づいて欠陥を検出する欠陥検出手段と、
を備えたことを特徴とする検査装置。
In an inspection apparatus for inspecting the presence or absence of defects based on an image of a subject,
Image acquisition means for acquiring an image of the subject;
Frame setting means for setting a frame for each predetermined pattern included in the image acquired by the image acquisition means;
Comparison means for comparing two or more different frame images set by the frame setting unit in a state where the predetermined patterns included in each frame are adjusted so as to match,
A defect detection means for detecting a defect based on a comparison result by the comparison means;
An inspection apparatus comprising:
JP2006219127A 2006-08-11 2006-08-11 Inspection device Pending JP2008045887A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006219127A JP2008045887A (en) 2006-08-11 2006-08-11 Inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006219127A JP2008045887A (en) 2006-08-11 2006-08-11 Inspection device

Publications (1)

Publication Number Publication Date
JP2008045887A true JP2008045887A (en) 2008-02-28

Family

ID=39179787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006219127A Pending JP2008045887A (en) 2006-08-11 2006-08-11 Inspection device

Country Status (1)

Country Link
JP (1) JP2008045887A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282010A (en) * 2008-05-21 2009-12-03 Wintec Co Ltd Apparatus and method for indentation inspection
JP2020125920A (en) * 2019-02-01 2020-08-20 株式会社キーエンス Image inspection device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272079A (en) * 1995-03-31 1996-10-18 Seiko Epson Corp Method and apparatus for inspecting pattern
JPH10293847A (en) * 1997-04-17 1998-11-04 Nippon Avionics Co Ltd Method and device for pattern inspection
JP2005091331A (en) * 2003-09-19 2005-04-07 Dainippon Printing Co Ltd Inspection device and method of printed matter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272079A (en) * 1995-03-31 1996-10-18 Seiko Epson Corp Method and apparatus for inspecting pattern
JPH10293847A (en) * 1997-04-17 1998-11-04 Nippon Avionics Co Ltd Method and device for pattern inspection
JP2005091331A (en) * 2003-09-19 2005-04-07 Dainippon Printing Co Ltd Inspection device and method of printed matter

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282010A (en) * 2008-05-21 2009-12-03 Wintec Co Ltd Apparatus and method for indentation inspection
JP2020125920A (en) * 2019-02-01 2020-08-20 株式会社キーエンス Image inspection device

Similar Documents

Publication Publication Date Title
JP4468696B2 (en) Semiconductor wafer inspection equipment
KR101590831B1 (en) Method of inspecting foreign substance on a board
EP2631868B1 (en) Image processing device and method for image processing
JP5841427B2 (en) Image processing apparatus and image processing method
CN107155058B (en) Object automatic correction method and automatic correction detection device thereof
JP2010141697A (en) Imaging apparatus
KR101522312B1 (en) Inspection device for pcb product and inspecting method using the same
JP6140255B2 (en) Image processing apparatus and image processing method
JP4987323B2 (en) Color filter defect correcting apparatus and color filter defect correcting method
JP4234661B2 (en) Ball inspection method in wire bonding
JP2008045887A (en) Inspection device
JP2005337797A (en) Pixel position acquiring method of display element, and inspection method of display panel
JP3597484B2 (en) Solder printing inspection equipment
JP6184746B2 (en) Defect detection apparatus, defect correction apparatus, and defect detection method
TWI236562B (en) A method of detecting a pattern and an apparatus thereof
JP4313162B2 (en) Alignment mark detection method and inspection apparatus
JP4880380B2 (en) Substrate defect correcting apparatus and substrate defect correcting method
JP2009079915A (en) Method and device for measuring micro-dimension
JP4975472B2 (en) Color filter defect correcting apparatus and color filter defect correcting method
JP2005181250A (en) Method and device for inspecting liquid crystal display panel
JP2004286584A (en) Apparatus for inspecting defect
JP5339884B2 (en) Focus adjustment method and focus adjustment apparatus for imaging apparatus
JP2009250777A (en) Surface inspection device and surface inspection method
JP2013011569A (en) Displacement amount identification device, displacement amount identification method, and displacement amount identification program
JP2006032521A (en) Mark identifying device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090325

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110413

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121218