JP5934516B2 - Inspection area display device and inspection area display method - Google Patents
Inspection area display device and inspection area display method Download PDFInfo
- Publication number
- JP5934516B2 JP5934516B2 JP2012037212A JP2012037212A JP5934516B2 JP 5934516 B2 JP5934516 B2 JP 5934516B2 JP 2012037212 A JP2012037212 A JP 2012037212A JP 2012037212 A JP2012037212 A JP 2012037212A JP 5934516 B2 JP5934516 B2 JP 5934516B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- inspection area
- image processing
- thumbnail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像された画像に基づいて製品検査を実行する画像処理ツールごとの検査領域を、選択を受け付けた画像処理ツールごとにサムネイル画像として表示する検査領域表示装置及び検査領域表示方法に関する。 The present invention relates to an inspection area display device and an inspection area display method for displaying an inspection area for each image processing tool that performs product inspection based on a captured image as a thumbnail image for each image processing tool that has received a selection.
製品検査システムで製品の良否判定を実行する場合、検査対象物の画像を撮像して撮像された画像と基準となる基準画像とを比較して判定する。撮像された画像の一覧性を高めるために、サムネイル画像を用いることも多い。サムネイル画像を基準画像と並列に配置することにより、良否判定結果の妥当性を目視で確認することもできる。 When the product quality determination is performed by the product inspection system, an image of the inspection object is captured and the captured image is compared with the reference image serving as a reference. Thumbnail images are often used to improve the list of captured images. By arranging the thumbnail images in parallel with the reference image, it is possible to visually confirm the validity of the pass / fail judgment result.
例えば特許文献1では、指定された領域内の画像にサムネイル画像が付加されているか否かを判定し、付加されていないと判定された場合、所定のタイミングで自動的にサムネイル画像を付加する画像処理装置が開示されている。これにより、サムネイル画像の付加忘れを未然に防止することができる。 For example, in Patent Document 1, it is determined whether or not a thumbnail image is added to an image in a designated area. If it is determined that a thumbnail image is not added, an image that automatically adds a thumbnail image at a predetermined timing is determined. A processing device is disclosed. Thereby, it is possible to prevent forgetting to add a thumbnail image.
特許文献1では、サムネイル画像を確実に付加することができるものの、検査対象物を撮像した画像に対して対応する一のサムネイル画像を付加するにすぎない。すなわち、一の画像に対して複数の画像処理ツールを設定することができるのに対して、付加されるサムネイル画像は一種類であり、しかも所定のタイミングにおけるサムネイル画像が付加されるので、例えば画像処理ツールごとに検査領域を設定した場合、複数の画像処理ツールの検査領域を同時に設定した場合等には、サムネイル画像を付加することができないという問題点があった。 In Patent Document 1, although a thumbnail image can be surely added, only one corresponding thumbnail image is added to an image obtained by imaging an inspection object. That is, while a plurality of image processing tools can be set for one image, there is only one kind of thumbnail image to be added, and a thumbnail image at a predetermined timing is added. When the inspection area is set for each processing tool, or when the inspection areas of a plurality of image processing tools are set simultaneously, there is a problem that a thumbnail image cannot be added.
本発明は、斯かる事情に鑑みてなされたものであり、画像処理ツールに対する検査領域の設定状態を目視で確認することが可能なサムネイル画像を容易に生成して表示する検査領域表示装置及び検査領域表示方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and an inspection area display device and an inspection that easily generate and display a thumbnail image capable of visually confirming the setting state of the inspection area for the image processing tool An object is to provide an area display method.
上記目的を達成するために第1発明に係る検査領域表示装置は、検査対象物を撮像する撮像部と接続され、該撮像部で撮像された画像に対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する領域である検査領域を表示する検査領域表示装置において、複数の画像処理ツールを備えており、所望の検査内容に基づいて、検査に必要な複数の画像処理ツールの選択を事前に受け付け、選択を受け付けた画像処理ツールごとに、検査対象物の画像に対して検査領域を設定する検査領域設定部と、設定された検査領域を含む検査対象物の画像を、選択を受け付けた画像処理ツールごとに、逐次サムネイル化したサムネイル画像を生成するサムネイル画像生成部と、画像処理ツールごとに生成された全てのサムネイル画像を表示するサムネイル画像表示部とを備え、前記撮像部により撮像された検査対象物の画像と、前記検査領域設定部により設定された画像処理ツールごとの検査領域とが、一画面上に表示されており、既に画像処理ツールごとに設定されている検査領域を変更する場合、前記サムネイル画像表示部は、表示された複数のサムネイル画像の中から、検査領域を変更するサムネイル画像の選択を受け付け、検査対象物の画像と選択を受け付けたサムネイル画像に対応する画像処理ツールに対して設定されている検査領域とを重ね合わせて表示し、検査領域の内容を変更した後、対応するサムネイル画像を変更して表示することを特徴とする。 In order to achieve the above object, an inspection area display device according to a first invention is connected to an imaging unit that images an inspection object, performs image processing on an image captured by the imaging unit, and performs image processing. An inspection area display device that displays an inspection area, which is an area for determining pass / fail of an inspection object based on a result, includes a plurality of image processing tools, and includes a plurality of images necessary for inspection based on desired inspection contents. The selection of the image processing tool is received in advance, and for each image processing tool that has received the selection, an inspection area setting unit that sets an inspection area for the image of the inspection object, and an inspection object including the set inspection area images, each image processing tool accepts the selection, a thumbnail image generation unit for generating a thumbnail image sequentially thumbnails, all the thumbnail images generated for each image processing tool E Bei and Shimesuru thumbnail image display unit, and an image of the inspection object which is imaged by the imaging unit, and the inspection area for each set image processing tool by the inspection area setting unit, is displayed on one screen When changing the inspection area that has already been set for each image processing tool, the thumbnail image display unit accepts selection of a thumbnail image for changing the inspection area from among the plurality of displayed thumbnail images, The image of the inspection object and the inspection area set for the image processing tool corresponding to the selected thumbnail image are overlaid and displayed, and after changing the contents of the inspection area, the corresponding thumbnail image is changed. It is characterized by displaying .
また、第2発明に係る検査領域表示装置は、第1発明において、前記サムネイル画像生成部は、検査対象物の良否判定の基準となる基準画像の縮小画像に、前記検査領域に関する画像を重ね合わせて前記サムネイル画像を生成することを特徴とする。 The inspection area display device according to a second aspect of the present invention is the inspection area display device according to the first aspect, wherein the thumbnail image generation unit superimposes an image related to the inspection area on a reduced image of a reference image that is a reference for determining the quality of the inspection object. Generating the thumbnail image.
また、第3発明に係る検査領域表示装置は、第1発明において、前記サムネイル画像生成部は、前記撮像部で撮像された検査対象物の画像を縮小した撮像画像に、前記検査領域に関する画像を重ね合わせて前記サムネイル画像を生成することを特徴とする。
また、第4発明に係る検査領域表示装置は、第2発明において、前記撮像部により撮像された検査対象物の画像として、前記基準画像が、前記検査領域設定部により設定された画像処理ツールごとの検査領域とともに一画面上に表示されることを特徴とする。
また、第5発明に係る検査領域表示装置は、第3発明において、前記撮像部により撮像された検査対象物の画像として、前記撮像画像が、前記検査領域設定部により設定された画像処理ツールごとの検査領域とともに一画面上に表示されることを特徴とする。
In the inspection area display device according to a third aspect of the present invention, in the first aspect, the thumbnail image generation unit adds an image related to the inspection area to the captured image obtained by reducing the image of the inspection target image captured by the imaging unit. The thumbnail image is generated by superimposing the thumbnail images.
In the inspection area display device according to a fourth aspect of the present invention, in the second aspect, as the image of the inspection object imaged by the imaging unit, the reference image is set for each image processing tool set by the inspection area setting unit. It is characterized by being displayed on one screen together with the inspection area.
The inspection area display device according to a fifth aspect of the present invention is the inspection area display device according to the third aspect, wherein each of the image processing tools in which the captured image is set by the inspection area setting unit as the image of the inspection object imaged by the imaging unit. It is characterized by being displayed on one screen together with the inspection area.
また、第6発明に係る検査領域表示装置は、第1乃至第5発明のいずれか1つにおいて、前記サムネイル画像生成部は、設定された複数の検査領域に関する画像をグループ化して前記サムネイル画像を生成することを特徴とする。 In the inspection area display device according to a sixth aspect of the present invention, in any one of the first to fifth aspects, the thumbnail image generation unit groups images related to a plurality of set inspection areas and displays the thumbnail images. It is characterized by generating.
次に、上記目的を達成するために第7発明に係る検査領域表示方法は、検査対象物を撮像する撮像部と接続され、該撮像部で撮像された画像に対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する領域である検査領域を表示する検査領域表示装置で実行することが可能な検査領域表示方法において、前記検査領域表示装置が備えている複数の画像処理ツールの中から、所望の検査内容に基づいて、検査に必要な複数の画像処理ツールの選択を事前に受け付け、選択を受け付けた画像処理ツールごとに、検査対象物の画像に対して検査領域を設定するステップと、設定された検査領域を含む検査対象物の画像を、選択を受け付けた画像処理ツールごとに、逐次サムネイル化したサムネイル画像を生成するステップと、画像処理ツールごとに生成された全てのサムネイル画像を表示するステップとを含み、前記撮像部により撮像された検査対象物の画像と、設定された画像処理ツールごとの検査領域とが、一画面上に表示され、既に画像処理ツールごとに設定されている検査領域を変更する場合、表示された複数のサムネイル画像の中から、検査領域を変更するサムネイル画像の選択を受け付け、検査対象物の画像と選択を受け付けたサムネイル画像に対応する画像処理ツールに対して設定されている検査領域とを重ね合わせて表示し、検査領域の内容を変更した後、対応するサムネイル画像を変更して表示することを特徴とする。 Next, in order to achieve the above object, an inspection area display method according to a seventh aspect of the present invention is connected to an imaging unit that images an inspection object, performs image processing on an image captured by the imaging unit, In an inspection area display method that can be executed by an inspection area display device that displays an inspection area that is an area for judging pass / fail of an inspection object based on a result of image processing, the inspection area display device includes a plurality of Based on the desired inspection content, the selection of a plurality of image processing tools necessary for the inspection is received in advance, and the image of the inspection object is received for each image processing tool that has received the selection . and setting an inspection area, an image of the inspection object including the set examination area, for each image processing tool accepts the selection, and generating a thumbnail image sequentially thumbnails See containing and displaying all thumbnail images generated for each image processing tools, and the image of the inspection object which is imaged by the imaging unit, and the inspection area of each image processing tool is set, one screen When changing the inspection area that is displayed above and is already set for each image processing tool, it accepts the selection of the thumbnail image that changes the inspection area from the displayed thumbnail images, and the image of the inspection object And the inspection area set for the image processing tool corresponding to the selected thumbnail image are displayed in an overlapping manner, and after changing the contents of the inspection area, the corresponding thumbnail image is changed and displayed. It is characterized by.
また、第8発明に係る検査領域表示方法は、第7発明において、検査対象物の良否判定の基準となる基準画像の縮小画像に、前記検査領域に関する画像を重ね合わせて前記サムネイル画像を生成することを特徴とする。 The inspection area display method according to an eighth aspect of the present invention is the seventh aspect of the invention, wherein the thumbnail image is generated by superimposing an image relating to the inspection area on a reduced image of a reference image that is a reference for determining the quality of an inspection object It is characterized by that.
また、第9発明に係る検査領域表示方法は、第7発明において、前記撮像部で撮像された検査対象物の画像を縮小した撮像画像に、前記検査領域に関する画像を重ね合わせて前記サムネイル画像を生成することを特徴とする。
また、第10発明に係る検査領域表示方法は、第8発明において、前記撮像部により撮像された検査対象物の画像として、前記基準画像が、前記検査領域設定部により設定された画像処理ツールごとの検査領域とともに一画面上に表示されることを特徴とする。
また、第11発明に係る検査領域表示方法は、第9発明において、前記撮像部により撮像された検査対象物の画像として、前記撮像画像が、前記検査領域設定部により設定された画像処理ツールごとの検査領域とともに一画面上に表示されることを特徴とする。
The inspection area display method according to a ninth invention, in the seventh invention, an image on the captured image obtained by reducing the inspection object captured by the imaging unit, the thumbnail image by superposing an image related to the examination region It is characterized by generating.
An inspection area display method according to a tenth aspect of the present invention is the image processing tool according to the eighth aspect, wherein the reference image is set as the inspection object image picked up by the image pickup unit for each image processing tool set by the inspection area setting portion. It is characterized by being displayed on one screen together with the inspection area.
An inspection area display method according to an eleventh aspect of the present invention is the inspection area display method according to the ninth aspect, wherein each of the image processing tools in which the captured image is set by the inspection area setting unit as an image of the inspection object imaged by the imaging unit. It is characterized by being displayed on one screen together with the inspection area.
また、第12発明に係る検査領域表示方法は、第7乃至第11発明のいずれか1つにおいて、設定された複数の検査領域に関する画像をグループ化して前記サムネイル画像を生成することを特徴とする。 An inspection area display method according to a twelfth aspect of the invention is characterized in that, in any one of the seventh to eleventh aspects, the thumbnail images are generated by grouping images related to a plurality of set inspection areas. .
第1発明及び第7発明では、検査対象物を撮像する撮像部と接続され、該撮像部で撮像された画像に対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する領域である検査領域を表示する。検査領域表示装置が備えている複数の画像処理ツールの中から、所望の検査内容に基づいて、検査に必要な複数の画像処理ツールの選択を事前に受け付け、選択を受け付けた画像処理ツールごとに、検査対象物の画像に対して検査領域を設定する。設定された検査領域を含む検査対象物の画像を、選択を受け付けた画像処理ツールごとに、逐次サムネイル化したサムネイル画像を生成して、画像処理ツールごとに生成された全てのサムネイル画像を表示する。撮像部により撮像された検査対象物の画像と、設定された画像処理ツールごとの検査領域とが、一画面上に表示され、既に画像処理ツールごとに設定されている検査領域を変更する場合、表示された複数のサムネイル画像の中から、検査領域を変更するサムネイル画像の選択を受け付け、検査対象物の画像と選択を受け付けたサムネイル画像に対応する画像処理ツールに対して設定されている検査領域とを重ね合わせて表示し、検査領域の内容を変更した後、対応するサムネイル画像を変更して表示する。単純に表示されている画面を縮小してサムネイル画像を生成するのではなく、設定した検査領域を含む検査対象物の画像を用いてサムネイル画像を生成しているので、ユーザが所望するサムネイル画像を容易に生成することができ、サムネイル画像により、検査領域を目視で確認しながら所望の画像処理ツールを選択することが可能となる。また、検査領域の内容を変更する場合、変更内容を容易に上書きすることができるので、検査内容の再設定が容易となり、検査内容に応じて随時サムネイル画像を変更することが容易となる。 In the first and seventh aspects of the invention, the image processing unit is connected to an image capturing unit that captures an image of the inspection target, performs image processing on the image captured by the image capturing unit, and determines whether the inspection target is acceptable based on the result of the image processing. An inspection area, which is an area for determining whether or not, is displayed. From the plurality of image processing tools provided in the inspection area display device, the selection of a plurality of image processing tools necessary for the inspection is received in advance based on the desired inspection content, and for each image processing tool that has received the selection The inspection area is set for the image of the inspection object . For each image processing tool that has received a selection, an image of the inspection object including the set inspection area is sequentially thumbnailed, and all thumbnail images generated for each image processing tool are displayed. . When the image of the inspection object imaged by the imaging unit and the inspection area for each set image processing tool are displayed on one screen and the inspection area already set for each image processing tool is changed, An inspection area set for the image processing tool corresponding to the image of the inspection object and the selected thumbnail image is accepted from among the plurality of displayed thumbnail images. Are superimposed and displayed, and after changing the contents of the inspection area, the corresponding thumbnail image is changed and displayed. Instead of simply reducing the displayed screen to generate thumbnail images, the thumbnail images are generated using the image of the inspection object including the set inspection area. The thumbnail image can be easily generated, and a desired image processing tool can be selected while visually checking the inspection area. In addition, when changing the contents of the inspection area, the changed contents can be easily overwritten, so that the inspection contents can be easily reset, and the thumbnail image can be easily changed according to the inspection contents.
第2発明及び第8発明では、検査対象物の良否判定の基準となる基準画像の縮小画像に、検査領域に関する画像を重ね合わせてサムネイル画像を生成するので、単純に表示されている画面を縮小してサムネイル画像を生成するのではなく、基準画像に検査領域に関する画像を重ね合わせてサムネイル画像を生成することができ、サムネイル画像により、検査領域を目視で確認しながら所望の画像処理ツールを選択することが可能となる。 In the second and eighth inventions, a thumbnail image is generated by superimposing an image related to an inspection area on a reduced image of a reference image that serves as a reference for determining pass / fail of an inspection object. Instead of generating a thumbnail image, a thumbnail image can be generated by superimposing an image related to the inspection area on the reference image, and the desired image processing tool can be selected with the thumbnail image while visually checking the inspection area. It becomes possible to do.
第3発明及び第9発明では、撮像部で撮像された検査対象物の画像を縮小した撮像画像に、検査領域に関する画像を重ね合わせてサムネイル画像を生成するので、ユーザが実際に検査する検査対象物の画像に基づいたサムネイル画像を生成することができ、サムネイル画像により、検査領域を目視で確認しながら所望の画像処理ツールを選択することが可能となる。
第4発明及び第10発明では、撮像部により撮像された検査対象物の画像として、基準画像が、設定された画像処理ツールごとの検査領域とともに一画面上に表示されるので、検査対象物が搭載された位置に依存することなく検査領域を重ね合わせて表示することができる。
第5発明及び第11発明では、撮像部により撮像された検査対象物の画像として、撮像画像が、設定された画像処理ツールごとの検査領域とともに一画面上に表示されるので、実際に撮像された状態に応じて検査領域を重ね合わせて表示することができる。
In the third and ninth inventions, a thumbnail image is generated by superimposing an image related to the inspection region on the captured image obtained by reducing the image of the inspection object imaged by the imaging unit, so that the inspection object actually inspected by the user A thumbnail image based on the image of the object can be generated, and a desired image processing tool can be selected with the thumbnail image while visually confirming the inspection area.
In the fourth invention and the tenth invention, the reference image is displayed on one screen as the image of the inspection object imaged by the imaging unit together with the inspection area for each set image processing tool. The inspection areas can be displayed in an overlapping manner without depending on the mounted position.
In the fifth and eleventh inventions, the captured image is displayed on one screen as an image of the inspection object imaged by the imaging unit together with the inspection area for each set image processing tool. The inspection areas can be displayed in an overlapped manner according to the state.
第6発明及び第12発明では、設定された複数の検査領域に関する画像をグループ化してサムネイル画像を生成するので、画像処理ツール単位でサムネイル画像を生成することにとどまらず、複数の画像処理ツールの検査領域を一のサムネイル画像として表示することや、表示したい検査領域だけを集めてサムネイル画像として表示することも可能となる。 In the sixth and twelfth inventions, thumbnail images are generated by grouping images related to a plurality of set inspection areas. Therefore, not only generating thumbnail images for each image processing tool but also a plurality of image processing tools. The inspection area can be displayed as a single thumbnail image, or only the inspection areas to be displayed can be collected and displayed as thumbnail images.
本発明では、単純に表示されている画面を縮小してサムネイル画像を生成するのではなく、設定した検査領域を含む検査対象物の画像を用いてサムネイル画像を生成しているので、ユーザが所望するサムネイル画像を容易に生成することができ、サムネイル画像により、検査領域を目視で確認しながら所望の画像処理ツールを選択することが可能となる。また、検査領域の内容を変更する場合、変更内容を容易に上書きすることができるので、検査内容の再設定が容易となり、検査内容に応じて随時サムネイル画像を変更することが容易となる。 In the present invention, the thumbnail image is generated using the image of the inspection object including the set inspection area, instead of simply reducing the displayed screen and generating the thumbnail image. The thumbnail image to be generated can be easily generated, and the thumbnail image can be used to select a desired image processing tool while visually confirming the inspection area. In addition, when changing the contents of the inspection area, the changed contents can be easily overwritten, so that the inspection contents can be easily reset, and the thumbnail image can be easily changed according to the inspection contents.
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. Note that elements having the same or similar configuration or function are denoted by the same or similar reference numerals throughout the drawings referred to in the description of this embodiment, and detailed description thereof is omitted.
図1は、本発明の実施の形態に係る検査領域表示装置を含む製品検査システムの構成を示す模式図である。図1に示すように、本実施の形態に係る製品検査システムは、撮像装置(撮像部)1と、撮像装置1とデータ通信することが可能に接続ケーブル3で接続され、画像処理を実行するFPGA、DSP等を備えている検査領域表示装置2とで構成されている。検査領域表示装置2は表示装置(図示せず)と接続されており、画像処理制御部201と照明制御部202とを内蔵している。 FIG. 1 is a schematic diagram showing a configuration of a product inspection system including an inspection area display device according to an embodiment of the present invention. As shown in FIG. 1, the product inspection system according to the present embodiment is connected to an imaging device (imaging unit) 1 and a connection cable 3 so as to be able to perform data communication with the imaging device 1 and execute image processing. It is comprised with the test | inspection area display apparatus 2 provided with FPGA, DSP, etc. The inspection area display device 2 is connected to a display device (not shown) and includes an image processing control unit 201 and an illumination control unit 202.
また、照明制御部202は、照明装置4とデータ通信することが可能に接続ケーブル3で接続されている。コンベア5上を移動してくる検査対象物6に対して、照明装置4で光を照射し、撮像装置1で撮像する。撮像された検査対象物6の画像に基づいて、検査対象物6が良品であるか不良品であるかを判定する。 Moreover, the illumination control part 202 is connected with the connection cable 3 so that data communication with the illuminating device 4 is possible. The inspection object 6 moving on the conveyor 5 is irradiated with light by the illumination device 4 and imaged by the imaging device 1. Based on the captured image of the inspection object 6, it is determined whether the inspection object 6 is a good product or a defective product.
撮像装置1は、検査対象物6を撮像する撮像素子を有するカメラモジュールを備えている。撮像素子としてはCMOS基板を備えており、例えば撮像されたカラー画像は、CMOS基板にてダイナミックレンジを広げる変換特性に基づいてHDR画像へ変換される。なお、撮像素子としてはCCD等の他のタイプの撮像素子を用いても良い。 The imaging device 1 includes a camera module having an imaging device that images the inspection object 6. The imaging device includes a CMOS substrate. For example, a captured color image is converted into an HDR image based on conversion characteristics that widen the dynamic range on the CMOS substrate. Note that another type of image sensor such as a CCD may be used as the image sensor.
図2は、本発明の実施の形態に係る検査領域表示装置2の構成を示すブロック図である。本発明の実施の形態に係る検査領域表示装置2は、少なくともCPU(中央演算装置)21、メモリ22、記憶装置23、I/Oインタフェース24、ビデオインタフェース25、可搬型ディスクドライブ26、通信インタフェース27及び上述したハードウェアを接続する内部バス28で構成されている。 FIG. 2 is a block diagram showing a configuration of the inspection area display device 2 according to the embodiment of the present invention. The inspection area display device 2 according to the embodiment of the present invention includes at least a CPU (Central Processing Unit) 21, a memory 22, a storage device 23, an I / O interface 24, a video interface 25, a portable disk drive 26, and a communication interface 27. And an internal bus 28 for connecting the hardware described above.
CPU21は、内部バス28を介して検査領域表示装置2の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置23に記憶されたコンピュータプログラム100に従って、種々のソフトウェア的機能を実行する。メモリ22は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム100の実行時にロードモジュールが展開され、コンピュータプログラム100の実行時に発生する一時的なデータ等を記憶する。 The CPU 21 is connected to the above-described hardware units of the inspection area display device 2 via the internal bus 28, controls the operation of the above-described hardware units, and stores the computer program 100 stored in the storage device 23. Various software functions are executed according to the above. The memory 22 is composed of a volatile memory such as SRAM or SDRAM, and a load module is expanded when the computer program 100 is executed, and stores temporary data generated when the computer program 100 is executed.
記憶装置23は、内蔵される固定型記憶装置(ハードディスク)、ROM等で構成されている。記憶装置23に記憶されたコンピュータプログラム100は、プログラム及びデータ等の情報を記録したDVD、CD−ROM等の可搬型記録媒体90から、可搬型ディスクドライブ26によりダウンロードされ、実行時には記憶装置23からメモリ22へ展開して実行される。もちろん、通信インタフェース27を介して接続されている外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。 The storage device 23 includes a built-in fixed storage device (hard disk), a ROM, and the like. The computer program 100 stored in the storage device 23 is downloaded by a portable disk drive 26 from a portable recording medium 90 such as a DVD or CD-ROM in which information such as programs and data is recorded, and from the storage device 23 at the time of execution. The program is expanded into the memory 22 and executed. Of course, a computer program downloaded from an external computer connected via the communication interface 27 may be used.
通信インタフェース27は内部バス28に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、撮像装置1、照明装置4、外部コンピュータ等とデータ送受信を行うことが可能となっている。 The communication interface 27 is connected to an internal bus 28, and by connecting to an external network such as the Internet, a LAN, or a WAN, data can be transmitted / received to / from the imaging device 1, the lighting device 4, an external computer, and the like. It has become.
I/Oインタフェース24は、キーボード501、マウス502等の入力装置と接続され、データの入力を受け付ける。ビデオインタフェース25は、CRTディスプレイ、液晶ディスプレイ等の表示装置503と接続され、所定の画像を表示する。 The I / O interface 24 is connected to input devices such as a keyboard 501 and a mouse 502, and receives data input. The video interface 25 is connected to a display device 503 such as a CRT display or a liquid crystal display, and displays a predetermined image.
図3は、本発明の実施の形態に係る検査領域表示装置2を含む製品検査システムの、撮像環境を設定するパラメータを示す模式図である。図3に示すように、本実施の形態に係る製品検査システムは、撮像装置1の位置座標(X、Y、Z)と、XY平面上での首振り傾斜角度θとをパラメータとして調整することができる。また撮像装置1はピント及び明るさを調整することができる。具体的にはフォーカスリングによりピントを調整し、絞りリングにより明るさを調整する。 FIG. 3 is a schematic diagram showing parameters for setting the imaging environment of the product inspection system including the inspection area display device 2 according to the embodiment of the present invention. As shown in FIG. 3, the product inspection system according to the present embodiment adjusts the position coordinates (X, Y, Z) of the imaging device 1 and the swing inclination angle θ on the XY plane as parameters. Can do. The imaging device 1 can adjust the focus and brightness. Specifically, the focus is adjusted with the focus ring, and the brightness is adjusted with the aperture ring.
同様に、製品検査システムは、検査対象物6の位置座標(X、Y)と、XY平面上での首振り傾斜角度θとをパラメータとして調整することができる。なお、検査対象物6は台座上に載置されているので、Z軸方向への移動機構はない。 Similarly, the product inspection system can adjust the position coordinates (X, Y) of the inspection object 6 and the swing inclination angle θ on the XY plane as parameters. Since the inspection object 6 is placed on the pedestal, there is no moving mechanism in the Z-axis direction.
また、照明装置4は、照明装置4の位置座標(X、Y、Z)及び照射角度αを調整することができ、照明コントローラ41を介して照度を調整することもできる。これらを調整することにより、記憶装置23に記憶されている基準画像と同様の撮像環境で撮像することができる。 In addition, the illumination device 4 can adjust the position coordinates (X, Y, Z) and the irradiation angle α of the illumination device 4, and can also adjust the illuminance via the illumination controller 41. By adjusting these, it is possible to capture an image in the same imaging environment as the reference image stored in the storage device 23.
上述した構成の検査領域表示装置2は、撮像装置1で撮像された検査対象物6の画像に対する各種の画像処理を実行する複数の画像処理ツールを備えている。ユーザは、所望する検査内容に基づいて、検査対象物6に対して一又は複数の画像処理ツールを事前に選択する。選択された複数の画像処理ツールを用いて、良否判定を実行する。 The inspection area display device 2 having the above-described configuration includes a plurality of image processing tools that execute various types of image processing on the image of the inspection object 6 imaged by the imaging device 1. The user selects in advance one or a plurality of image processing tools for the inspection object 6 based on the desired inspection content. The pass / fail determination is executed using the selected plurality of image processing tools.
まず、検査領域表示装置2が備えている複数の画像処理ツールのうち、代表的な画像処理ツールについて説明する。ユーザは、複数の画像処理ツールから検査に用いる一又は複数の画像処理ツールを選択しておき、選択された画像処理ツールごとに設定されたパラメータを調整する。なお、以下では、画像処理ツールの機能及びその使用方法の代表例を示すものに過ぎず、あらゆる画像処理に対応する画像処理ツールが本発明の対象となることは言うまでもない。 First, a representative image processing tool among a plurality of image processing tools provided in the inspection area display device 2 will be described. The user selects one or a plurality of image processing tools used for the inspection from the plurality of image processing tools, and adjusts the parameters set for each of the selected image processing tools. In the following, the functions of the image processing tool and representative examples of how to use the image processing tool are merely shown, and it goes without saying that an image processing tool corresponding to any image processing is an object of the present invention.
まず、エッジ位置計測ツールは、例えば、ユーザが、検査対象物6の画像が表示される画面において、ウインドウを設定することによりエッジ位置を検出したい検査領域を設定し、設定された検査領域内で、任意の方向にスキャンして複数のエッジを検出する。検出した複数のエッジから、一のエッジの指定を受け付け、指定を受け付けたエッジの位置を計測する。 First, the edge position measurement tool, for example, sets an inspection area where the user wants to detect an edge position by setting a window on a screen on which an image of the inspection object 6 is displayed, and within the set inspection area. Scan in any direction to detect multiple edges. The specification of one edge is received from the detected plurality of edges, and the position of the edge that has received the specification is measured.
例えば検査領域の形状に応じてラベル分けをする。具体的には検査領域が矩形領域である場合にはラベル‘1’、円弧領域である場合にはラベル‘0’というように、形状に応じてラベル分けをする。この場合、ラベルごとに設定するべき設定情報が相違する。検査領域のラベル、つまりラベル‘1’やラベル‘2’は、エッジ位置計測ツールにおけるパラメータの一つである。 For example, labels are divided according to the shape of the inspection area. Specifically, the label is divided according to the shape, such as a label “1” when the inspection area is a rectangular area and a label “0” when the inspection area is an arc area. In this case, the setting information to be set for each label is different. The label of the inspection area, that is, the label “1” or the label “2” is one of the parameters in the edge position measurement tool.
図4は、本発明の実施の形態に係る検査領域表示装置2のエッジ位置計測ツールの例示図である。図4(a)は、検査領域が矩形領域である場合を、図4(b)は、検査領域が円弧領域である場合を、それぞれ示している。 FIG. 4 is an exemplary view of an edge position measurement tool of the inspection area display device 2 according to the embodiment of the present invention. FIG. 4A shows a case where the inspection area is a rectangular area, and FIG. 4B shows a case where the inspection area is an arc area.
図4(a)に示すように、検査領域50が矩形領域である場合、エッジの検出方向をX軸の正方向(矢印51の方向)に、エッジの検出位置を明から暗に切り換わる位置に、それぞれ指定することにより、図4(a)では3つのエッジ52を検出することができる。そして、検出したエッジ52の中点の座標をエッジ52の位置として計測する。例えば真ん中のエッジ52の中点53の座標(X、Y)=(560、460)を真ん中のエッジ52の位置とすることができる。 As shown in FIG. 4A, when the inspection area 50 is a rectangular area, the edge detection direction is switched to the positive direction of the X axis (the direction of the arrow 51), and the edge detection position is switched from light to dark. In addition, by specifying each of them, three edges 52 can be detected in FIG. Then, the coordinates of the midpoint of the detected edge 52 are measured as the position of the edge 52. For example, the coordinate (X, Y) = (560, 460) of the middle point 53 of the middle edge 52 can be set as the position of the middle edge 52.
また、図4(b)に示すように、検査領域54が円弧領域である場合、エッジの検出方向を時計回り(矢印55の回転方向)に、エッジの検出位置を明から暗に切り換わる位置に、それぞれ指定することにより、図4(b)では1つのエッジ56を検出することができる。そして、原点を通る所定の位置からの回転角度57を検出したエッジ56の位置として計測する。例えばエッジ56については、原点を通る所定の位置からの回転角度57が240度であり、240度をエッジ56の位置とすることができる。なお、明から暗に切り換わる位置と指定したエッジの検出位置もエッジ位置計測ツールにおけるパラメータの一つであり、逆に暗から明に切り換わる位置をパラメータとして指定しても良い。また、必要に応じて、暗から明に切り換わる位置及び明から暗に切り換わる位置の両方をパラメータとして指定しても良い。 Further, as shown in FIG. 4B, when the inspection area 54 is an arc area, the edge detection direction is switched clockwise (the rotation direction of the arrow 55), and the edge detection position is switched from light to dark. In FIG. 4B, one edge 56 can be detected by designating each of them. Then, the rotation angle 57 from a predetermined position passing through the origin is measured as the position of the detected edge 56. For example, for the edge 56, the rotation angle 57 from a predetermined position passing through the origin is 240 degrees, and 240 degrees can be set as the position of the edge 56. Note that the position where the light switches to dark and the specified edge detection position are also parameters in the edge position measurement tool, and conversely, the position where the light switches from dark to light may be specified as a parameter. Further, if necessary, both the position where the light switches from dark to light and the position where the light switches to dark may be specified as parameters.
なお、エッジは、画素値の絶対値ではなく差分に基づいて検出する。そして、パラメータの一つであるエッジ感度Nを調整することで、検出されたエッジの最大強度のN%以下はノイズとして検出しないよう、すなわちエッジとして検出するか否かを調整することができる。以下、エッジを検出する他の画像処理ツールについても同様である。 Note that the edge is detected based on the difference, not the absolute value of the pixel value. Then, by adjusting the edge sensitivity N that is one of the parameters, it is possible to adjust whether or not N% or less of the maximum intensity of the detected edge is not detected as noise, that is, whether or not it is detected as an edge. The same applies to other image processing tools that detect edges.
次に、エッジ角度計測ツールは、設定を受け付けた検査領域内に2つのセグメントを設定し、それぞれのセグメントで検出したエッジからの検査対象物6の傾斜角度を計測する。本実施の形態では、傾斜角度は便宜上、時計回りを正とする。 Next, the edge angle measurement tool sets two segments in the inspection region that has received the setting, and measures the inclination angle of the inspection object 6 from the edge detected in each segment. In the present embodiment, the inclination angle is positive in the clockwise direction for convenience.
図5は、本発明の実施の形態に係る検査領域表示装置2のエッジ角度計測ツールの例示図である。図5に示すように、傾斜した状態で撮像された検査対象物6の画像に対して、矩形領域である検査領域60を設定する。検査領域60内で2つの異なるセグメント61、62を設定して、それぞれのセグメント61、62においてエッジ63、64を検出する。 FIG. 5 is an exemplary view of an edge angle measurement tool of the inspection area display device 2 according to the embodiment of the present invention. As shown in FIG. 5, an inspection area 60 that is a rectangular area is set for an image of the inspection object 6 captured in an inclined state. Two different segments 61 and 62 are set in the inspection area 60, and edges 63 and 64 are detected in the respective segments 61 and 62.
エッジの検出方向をX軸の正方向に、エッジの検出位置を明から暗に切り換わる位置に、それぞれ指定することにより、セグメント61、62ごとにエッジ63、64を検出することができる。そして、検査領域60の中心を通る所定の位置から、検出した2つのエッジ63の代表点とエッジ64の代表点(図5ではセグメント61、62の上辺での切片)とを結ぶ線分の傾斜角度65をエッジ角度として計測する。例えば図5では、傾斜角度の起点をX軸方向として、傾斜角度65が75度であり、エッジ角度は75度であると計測することができる。 The edges 63 and 64 can be detected for each of the segments 61 and 62 by designating the edge detection direction to the positive direction of the X axis and the edge detection position to a position where the edge detection position switches from light to dark, respectively. Then, from a predetermined position passing through the center of the inspection region 60, the slope of the line segment connecting the detected representative point of the two edges 63 and the representative point of the edge 64 (the intercept at the upper side of the segments 61 and 62 in FIG. 5). The angle 65 is measured as the edge angle. For example, in FIG. 5, it is possible to measure that the inclination angle 65 is 75 degrees and the edge angle is 75 degrees with the starting point of the inclination angle as the X-axis direction.
次に、エッジ幅計測ツールは、設定を受け付けた検査領域内で、任意の方向にスキャンして複数のエッジを検出し、検出した複数のエッジ間の距離を計測する。 Next, the edge width measurement tool detects a plurality of edges by scanning in an arbitrary direction within the inspection region where the setting is received, and measures the distances between the detected plurality of edges.
図6は、本発明の実施の形態に係る検査領域表示装置2のエッジ幅計測ツールの例示図である。図6(a)は、検査領域が矩形領域である場合を、図6(b)は、検査領域が円弧領域である場合を、それぞれ示している。 FIG. 6 is an exemplary view of an edge width measurement tool of the inspection area display device 2 according to the embodiment of the present invention. FIG. 6A shows a case where the inspection area is a rectangular area, and FIG. 6B shows a case where the inspection area is an arc area.
図6(a)に示すように、検査領域70が矩形領域である場合、パラメータとしてエッジの検出方向をX軸の正方向(矢印71の方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、それぞれ指定することにより、複数のエッジを検出することができる。そして、検出した複数のエッジから距離を計測する2つのエッジ72、73の指定を受け付けることで、指定を受け付けた2つエッジ72、73間の距離をエッジ幅74として計測する。例えばエッジ幅74が‘100’であると計測することができる。 As shown in FIG. 6A, when the inspection area 70 is a rectangular area, the edge detection direction is switched to the positive direction of the X axis (the direction of the arrow 71) and the edge detection position is cut from light to dark as parameters. A plurality of edges can be detected by designating the switching position and the switching position from dark to bright. Then, by accepting designation of the two edges 72 and 73 for measuring the distance from the plurality of detected edges, the distance between the two edges 72 and 73 that have accepted the designation is measured as an edge width 74. For example, it can be measured that the edge width 74 is '100'.
また、図6(b)に示すように、検査領域75が円弧領域である場合、エッジの検出方向を時計回り(矢印76の回転方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、それぞれ指定することにより、複数のエッジを検出することができる。そして、検出した複数のエッジから距離を計測する2つのエッジ77、78の指定を受け付けることで、指定を受け付けた2つエッジ77、78間の角度をエッジ幅79として計測する。例えばエッジ幅79が69度であると計測することができる。 Further, as shown in FIG. 6B, when the inspection area 75 is an arc area, the edge detection position is switched clockwise (the rotation direction of the arrow 76), and the edge detection position is switched from light to dark. A plurality of edges can be detected by designating each of the positions that are switched from dark to bright. Then, by accepting designation of two edges 77 and 78 for measuring distances from the plurality of detected edges, the angle between the two edges 77 and 78 that have accepted the designation is measured as an edge width 79. For example, it can be measured that the edge width 79 is 69 degrees.
次に、エッジピッチ計測ツールは、設定を受け付けた検査領域内で、任意の方向にスキャンして複数対のエッジを検出する。検出した複数対のエッジ間の距離の最大値/最小値や平均値を求める。 Next, the edge pitch measurement tool detects a plurality of pairs of edges by scanning in an arbitrary direction within the inspection region in which the setting has been received. The maximum value / minimum value or average value of the distances between the detected pairs of edges is obtained.
図7は、本発明の実施の形態に係る検査領域表示装置2のエッジピッチ計測ツールの例示図である。図7(a)は、検査領域が矩形領域である場合を、図7(b)は、検査領域が円弧領域である場合を、それぞれ示している。 FIG. 7 is an exemplary view of an edge pitch measurement tool of the inspection area display device 2 according to the embodiment of the present invention. FIG. 7A shows a case where the inspection area is a rectangular area, and FIG. 7B shows a case where the inspection area is an arc area.
図7(a)に示すように、検査領域80が矩形領域である場合、エッジの検出方向をX軸の正方向(矢印81の方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、検出した複数対のエッジ間の距離をそれぞれ計測する旨をそれぞれ指定することにより、複数対のエッジを検出することができる。そして、検出した複数対のエッジ間の距離をそれぞれ計測する。すなわち、複数対のすべてについて隣接するエッジ82、83間の距離をエッジ幅84として計測する。例えばエッジ幅84がそれぞれ‘200’、‘180’、‘190’である場合、最大値が‘200’、最小値が‘180’、平均値が‘190’とすることができる。 As shown in FIG. 7A, when the inspection area 80 is a rectangular area, the edge detection direction is the positive direction of the X axis (the direction of the arrow 81), and the edge detection position is switched from light to dark. In addition, by designating that the distance between the detected plurality of pairs of edges is to be measured at the position where the light is switched from dark to bright, it is possible to detect a plurality of pairs of edges. Then, the distances between the detected multiple pairs of edges are each measured. That is, the distance between the adjacent edges 82 and 83 is measured as the edge width 84 for all of the plurality of pairs. For example, when the edge width 84 is ‘200’, ‘180’, and ‘190’, the maximum value can be ‘200’, the minimum value can be ‘180’, and the average value can be ‘190’.
また、図7(b)に示すように、検査領域85が円弧領域である場合、エッジの検出方向を反時計回り(矢印86の回転方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、検出した複数対のエッジの中点間の距離をそれぞれ計測する旨をそれぞれ指定することにより、検査領域85内において複数対のエッジを検出することができる。そして、検出した複数対のエッジの中点間の距離をそれぞれ計測する。すなわち、複数対のすべてについて隣接するエッジ87、88間の中点を求め、隣接する中点間の角度をエッジ幅89として計測する。例えばエッジ幅89がそれぞれ‘46度’、‘45度’、‘47度’、‘46度’である場合、最大値が‘47度’、最小値が‘45度’、平均値が‘46度’とすることができる。 Also, as shown in FIG. 7B, when the inspection area 85 is an arc area, the edge detection direction is switched counterclockwise (rotation direction of the arrow 86), and the edge detection position is switched from light to dark. A plurality of pairs of edges can be detected in the inspection region 85 by designating that the distances between the midpoints of the detected pairs of edges are respectively measured at the position and the position where the light is switched from dark to bright. . Then, the distance between the midpoints of the detected plurality of pairs of edges is measured. That is, the midpoint between the adjacent edges 87 and 88 is obtained for all of the plurality of pairs, and the angle between the adjacent midpoints is measured as the edge width 89. For example, when the edge width 89 is “46 degrees”, “45 degrees”, “47 degrees”, and “46 degrees”, the maximum value is “47 degrees”, the minimum value is “45 degrees”, and the average value is “46”. Can be 'degree'.
次に、ペアエッジ計測ツールは、設定を受け付けた検査領域内で、任意の方向に2回スキャンして複数対のエッジを検出する。検出した複数対のエッジ間の距離の最大値/最小値や平均値を求める。 Next, the pair edge measurement tool detects a plurality of pairs of edges by scanning twice in an arbitrary direction within the inspection region in which the setting is received. The maximum value / minimum value or average value of the distances between the detected pairs of edges is obtained.
図8は、本発明の実施の形態に係る検査領域表示装置2のペアエッジ計測ツールの例示図である。図8(a)は、検出した複数対のエッジ間の距離を計測する場合を、図8(b)は、検出した複数対のエッジの中点間の距離を計測する場合を、それぞれ示している。 FIG. 8 is an exemplary view of a pair edge measurement tool of the inspection area display device 2 according to the embodiment of the present invention. FIG. 8A shows a case where the distance between the detected pairs of edges is measured, and FIG. 8B shows a case where the distance between the midpoints of the detected pairs of edges is measured. Yes.
図8(a)に示すように、検出した複数対のエッジ間の距離を計測する場合、エッジの検出方向をX軸の正方向(矢印91の方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、検出した複数対のエッジ間の距離を計測する旨をそれぞれ指定することにより、検査領域95内において複数対のエッジを検出することができる。そして、検出した複数対のエッジ間の距離をそれぞれ計測する。すなわち、複数対のすべてについて隣接するエッジ97、98間の距離をエッジ幅94として計測する。例えばエッジ幅94がそれぞれ‘200’、‘180’、‘190’である場合、最大値が‘200’、最小値が‘180’、平均値が‘190’とすることができる。 As shown in FIG. 8A, when measuring the distance between a plurality of pairs of detected edges, the edge detection direction is the positive direction of the X axis (the direction of the arrow 91), and the edge detection position is bright to dark. A plurality of pairs of edges can be detected in the inspection region 95 by designating that the distance between the detected plurality of pairs of edges is to be measured at the position where switching to dark and the position where switching from dark to bright is performed. Then, the distances between the detected multiple pairs of edges are each measured. That is, the distance between the adjacent edges 97 and 98 is measured as the edge width 94 for all of the plurality of pairs. For example, when the edge width 94 is ‘200’, ‘180’, and ‘190’, the maximum value can be ‘200’, the minimum value can be ‘180’, and the average value can be ‘190’.
また、図8(b)に示すように、検出した複数対のエッジの中点間の距離を計測する場合、エッジの検出方向をX軸の正方向(矢印96の方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、検出した複数対のエッジの中点間の距離を計測する旨をそれぞれ指定することにより、検査領域95内において複数対のエッジを検出することができる。そして、検出した複数対のエッジの中点間の距離をそれぞれ計測する。すなわち、複数対のすべてについて隣接するエッジ97、98間の中点を求め、隣接する中点間の距離をエッジ幅99として計測する。例えばエッジ幅99がそれぞれ‘100’、‘110’、‘120’である場合、最大値が‘120’、最小値が‘100’、平均値が‘110’とすることができる。 Also, as shown in FIG. 8B, when measuring the distance between the midpoints of the detected pairs of edges, the edge detection direction is the positive direction of the X axis (the direction of the arrow 96), and the edge detection is performed. By specifying that the distance between the midpoints of the detected plurality of pairs of edges is to be measured at the position where the position is switched from light to dark and the position where the position is switched from dark to light, respectively. Edges can be detected. Then, the distance between the midpoints of the detected plurality of pairs of edges is measured. That is, the midpoint between the adjacent edges 97 and 98 is obtained for all the plural pairs, and the distance between the adjacent midpoints is measured as the edge width 99. For example, when the edge width 99 is ‘100’, ‘110’, and ‘120’, the maximum value can be ‘120’, the minimum value can be ‘100’, and the average value can be ‘110’.
次に、エリア計測ツールは、撮像装置1で撮像された検査対象物6の画像を二値化処理して、白色領域又は黒色領域の面積を計測する。例えば、パラメータの一つとして白色領域又は黒色領域の指定を受け付けることにより、白色領域又は黒色領域の面積を計測する。 Next, the area measurement tool binarizes the image of the inspection target 6 imaged by the imaging device 1 and measures the area of the white region or the black region. For example, the area of the white region or the black region is measured by accepting designation of a white region or a black region as one of the parameters.
また、ブロブ計測ツールは、撮像装置1で撮像された検査対象物6の画像を二値化処理して、同一の輝度値(255又は0)の画素の集合(ブロブ)に対してパラメータとして数、面積、重心位置等を計測する。図9は、本発明の実施の形態に係る検査領域表示装置2の二値化画像を表示した画面の例示図である。 In addition, the blob measurement tool binarizes the image of the inspection object 6 imaged by the imaging apparatus 1, and sets a number of parameters for the set (blob) of pixels having the same luminance value (255 or 0). Measure area, center of gravity, etc. FIG. 9 is an exemplary view of a screen displaying a binarized image of the inspection area display device 2 according to the embodiment of the present invention.
図9に示すように、画像表示領域101には、撮像された検査対象物6の画像を二値化処理した二値化画像を表示する。そして、二値化処理に用いる閾値をパラメータとして閾値調整領域102に入力することで調整する。もちろん、ヒストグラム103を用いて調整しても良い。 As shown in FIG. 9, a binarized image obtained by binarizing the captured image of the inspection object 6 is displayed in the image display area 101. And it adjusts by inputting into the threshold value adjustment area | region 102 as a parameter the threshold value used for a binarization process. Of course, the histogram 103 may be used for adjustment.
ヒストグラム103には、二値化画像の画素値分布が示されており、通常は、画素値が‘255’に近い部分がフィルタリングされないよう、面積フィルタの下限値を、マウス502等でドラッグ操作する等により調整する。図9の例では、パラメータの一つである面積フィルタの下限値が‘128’であり、これより低い画素値を有する画素はノイズであるとして無視される。ヒストグラム103上で調整された閾値は、閾値調整領域102と連動しており、下限値が変動することは言うまでもない。 The histogram 103 shows the pixel value distribution of the binarized image. Usually, the lower limit value of the area filter is dragged with the mouse 502 or the like so that the portion where the pixel value is close to “255” is not filtered. Adjust by etc. In the example of FIG. 9, the lower limit value of the area filter, which is one of the parameters, is '128', and a pixel having a lower pixel value is ignored as noise. It goes without saying that the threshold value adjusted on the histogram 103 is linked to the threshold value adjustment region 102 and the lower limit value fluctuates.
なお、エリア計測ツール及びブロブ計測ツールでは、パラメータの一つとして二値化処理の閾値を調整することにより、検出したい特徴部分のみを検出することができる。また、面積フィルタの下限値を調整することにより、一定の面積以下の集まりをブロブとして検出することがないよう調整することもできる。 Note that the area measurement tool and the blob measurement tool can detect only the characteristic portion to be detected by adjusting the threshold value of the binarization process as one of the parameters. Further, by adjusting the lower limit value of the area filter, it is also possible to adjust so that a group having a certain area or less is not detected as a blob.
次に、パターンサーチ計測ツールは、比較対象とする画像パターンを事前に記憶装置23に記憶しておき、画像パターンの位置、傾斜角度、相関値を計測することで、撮像された検査対象物6の画像の中から記憶してある画像パターンに類似している画像パターンを検出する。図10は、本発明の実施の形態に係る検査領域表示装置2のパターンサーチ計測ツールの例示図である。図10(a)は、画像パターンを記憶する場合の画面の例示図を、図10(b)は、記憶してある画像パターンに類似している画像パターンを検出する場合の画面の例示図を、それぞれ示している。 Next, the pattern search measurement tool stores an image pattern to be compared in advance in the storage device 23, and measures the position, tilt angle, and correlation value of the image pattern, thereby imaging the inspection object 6 that has been imaged. An image pattern similar to the stored image pattern is detected from the images. FIG. 10 is an exemplary view of a pattern search measurement tool of the inspection area display device 2 according to the embodiment of the present invention. FIG. 10A shows an example of a screen when an image pattern is stored, and FIG. 10B shows an example of a screen when an image pattern similar to the stored image pattern is detected. , Respectively.
図10(a)に示すように、撮像装置1で撮像された検査対象物6の画像を画面中央に表示した状態で、ウインドウを画面上に設定することにより、サーチ領域111の設定を受け付ける。サーチ領域111内に存在する画像パターンを検出し、記憶する画像パターンを囲む領域としてパターン領域112の設定を受け付ける。もちろん、パターン領域112内に、画像パターンの代表点113の設定を受け付けても良い。パターン領域112内の画像パターン114を記憶装置23へ記憶する。 As shown in FIG. 10A, the setting of the search area 111 is accepted by setting a window on the screen in a state where the image of the inspection object 6 imaged by the imaging device 1 is displayed at the center of the screen. An image pattern existing in the search area 111 is detected, and the setting of the pattern area 112 is accepted as an area surrounding the stored image pattern. Of course, the setting of the representative point 113 of the image pattern in the pattern area 112 may be accepted. The image pattern 114 in the pattern area 112 is stored in the storage device 23.
パターンサーチ計測ツールによるパターンサーチ時には、図10(b)に示すように、記憶してある画像パターン114に類似している画像パターンをサーチ領域115内でサーチする。図10の例では、画像パターンの代表点118の位置座標と傾斜角度117とでパターン領域119を特定して、パターン領域119内の画像パターンと記憶してある画像パターン114との相関値がパラメータの一つである所定の閾値より大きい場合に類似していると判断している。 At the time of pattern search by the pattern search measurement tool, as shown in FIG. 10B, an image pattern similar to the stored image pattern 114 is searched in the search area 115. In the example of FIG. 10, the pattern area 119 is specified by the position coordinates of the representative point 118 of the image pattern and the inclination angle 117, and the correlation value between the image pattern in the pattern area 119 and the stored image pattern 114 is a parameter. If it is larger than a predetermined threshold, which is one of the above, it is determined that they are similar.
もちろん、パターンサーチの方法はこれに限定されるものではなく、例えば記憶してある画像パターン及び撮像装置1で撮像された検査対象物6の画像それぞれについてエッジを検出し、エッジ強度が類似している位置の近傍において画像パターンの位置、傾斜角度、相関値を計測しても良い。 Of course, the pattern search method is not limited to this. For example, an edge is detected for each of the stored image pattern and the image of the inspection object 6 imaged by the imaging apparatus 1 and the edge intensity is similar. The position, inclination angle, and correlation value of the image pattern may be measured in the vicinity of the existing position.
なお、パターンサーチ計測ツールでは、閾値として設定してある相関値の下限値を上げることにより、より類似度の高い画像パターンのみを検出するよう調整することができる。また、パラメータであるサーチ感度、サーチ精度等を調整することもできる。 Note that the pattern search measurement tool can be adjusted to detect only image patterns with higher similarity by increasing the lower limit value of the correlation value set as the threshold value. In addition, parameters such as search sensitivity and search accuracy can be adjusted.
次に、傷計測ツールは、設定を受け付けた検査領域内で、小領域(セグメント)を移動させて画素値の平均濃度値を算出し、閾値以上の濃度差となった位置に傷が存在すると判定する。図11は、本発明の実施の形態に係る検査領域表示装置2の傷計測ツールで傷の存在を判定するためのセグメントの移動状態を示す模式図である。以下、図11(a)〜(d)まで、ハッチング部分がセグメントを示している。 Next, the flaw measurement tool calculates a mean density value of pixel values by moving a small area (segment) within the inspection area where the setting is accepted, and if a flaw exists at a position where the density difference is equal to or greater than the threshold value. judge. FIG. 11 is a schematic diagram showing a segment movement state for determining the presence of a flaw with the flaw measuring tool of the inspection area display device 2 according to the embodiment of the present invention. Hereinafter, in FIGS. 11A to 11D, the hatched portions indicate segments.
まず図11(a)に示すように、セグメント121が検査領域120の左端に位置する場合(以下、「現在のセグメント」とする)、セグメント121内の平均濃度値を‘95’とする。そして、順次矢印122の方向に所定の間隔でセグメント121が移動する。 First, as shown in FIG. 11A, when the segment 121 is located at the left end of the inspection region 120 (hereinafter referred to as “current segment”), the average density value in the segment 121 is set to “95”. Then, the segments 121 sequentially move in the direction of the arrow 122 at a predetermined interval.
図11(b)は、現在のセグメントから‘1’移動した場合(「現在のセグメント+1」とする)を示しており、この場合のセグメント121内の平均濃度値を‘80’とする。以下、図11(c)は、現在のセグメントから‘2’移動した場合(「現在のセグメント+2」とする)を示しており、この場合のセグメント121内の平均濃度値を‘100’とし、図11(d)は、現在のセグメントから‘3’移動した場合(「現在のセグメント+3」とする)を示しており、この場合のセグメント121内の平均濃度値を‘120’とする。 FIG. 11B shows a case where “1” is moved from the current segment (“current segment + 1”), and the average density value in the segment 121 in this case is “80”. In the following, FIG. 11C shows a case where “2” is moved from the current segment (referred to as “current segment + 2”). In this case, the average density value in the segment 121 is set to “100”. FIG. 11D shows a case where “3” is moved from the current segment (“current segment + 3”), and the average density value in the segment 121 in this case is “120”.
図11の例では、4つのセグメント121内における平均濃度値を計測している。そして、最大濃度値と最小濃度値との差を「傷レベル」として計測する。図11の例では、「傷レベル」は、最大濃度値120(現在のセグメント+3)−最小濃度値80(現在のセグメント+1)=40となる。 In the example of FIG. 11, the average density value in the four segments 121 is measured. Then, the difference between the maximum density value and the minimum density value is measured as the “scratch level”. In the example of FIG. 11, the “scratch level” is the maximum density value 120 (current segment + 3) −minimum density value 80 (current segment + 1) = 40.
「傷レベル」がパラメータの一つである所定の閾値を超えた場合、「現在のセグメント」に傷が存在すると判定される。「傷量」は、傷が存在すると判定されたセグメントの数として計測される。 When the “scratch level” exceeds a predetermined threshold which is one of the parameters, it is determined that a “scratch level” exists in the “current segment”. The “scratch amount” is measured as the number of segments determined to have a scratch.
なお、傷の存在を判定する所定の閾値、傷の想定サイズに合わせるべきセグメントの大きさ等を調整することにより、傷が存在するか否かの判定結果を変更することができる。 It should be noted that by adjusting a predetermined threshold value for determining the presence of a flaw, the size of a segment to be matched to the assumed size of the flaw, and the like, it is possible to change the determination result of whether or not a flaw exists.
上述した各種の画像処理ツールの他、検査領域内の文字情報を切り出して辞書データ等と照合することで文字列を認識するOCR認識ツール、ならびに画像上に設定したウインドウ(領域)をシフトさせながら、各ウインドウの位置においてエッジの検出を繰り返す機能を有するトレンドエッジツール、設定したウインドウ内の濃淡の平均、偏差等を計測する機能を有する濃淡ツール等も備えており、必要に応じて選択を受け付ける。各画像処理ツールで処理された判定結果、すなわち良品/不良品の判定結果は、検査対象物6を識別する情報、画像処理ツールを識別する情報に対応付けて、検査領域表示装置2の記憶装置23に記憶される。また、上述した複数の画像処理ツールは、使用者の所望する画像処理フローに基づいて、使用者の所望の画像処理順に設定され、順次画像処理を実行することが可能となっている。 In addition to the various image processing tools described above, the OCR recognition tool that recognizes character strings by cutting out character information in the inspection area and collating it with dictionary data, etc., while shifting the window (area) set on the image It also has a trend edge tool that has the function of repeating edge detection at each window position, and a shading tool that has the function of measuring the average and deviation of shades in the set window, and accepts selection as necessary. . The determination result processed by each image processing tool, that is, the non-defective / defective product determination result is associated with information for identifying the inspection object 6 and information for identifying the image processing tool, and the storage device of the inspection area display device 2 23. The plurality of image processing tools described above are set in the order of image processing desired by the user based on the image processing flow desired by the user, and can execute image processing sequentially.
図12は、本発明の実施の形態に係る検査領域表示装置2の機能ブロック図である。基準画像記憶部301は、良否判定の基準となる基準画像を、検査対象物6を識別する識別情報と対応付けて記憶装置23に記憶する。基準画像は、一の検査対象物6について一記憶しても良いし、複数記憶しても良い。また、以下の実施の形態においては、基準画像は、入力画像と同じ大きさの撮像領域、つまり撮像装置1の撮像素子に設定される撮像領域の大きさとしているが、特にこれに限定されるものではなく、撮像領域内に設定される選択された全ての画像処理ツールを実行するために必要な画像領域の大きさであっても良いし、ユーザによって選択された各画像処理ツールに対応する部分画像であっても良い。 FIG. 12 is a functional block diagram of the inspection area display device 2 according to the embodiment of the present invention. The reference image storage unit 301 stores a reference image serving as a reference for pass / fail determination in the storage device 23 in association with identification information for identifying the inspection object 6. One reference image may be stored for one inspection object 6, or a plurality of reference images may be stored. In the following embodiments, the reference image has an imaging area having the same size as the input image, that is, the size of the imaging area set in the imaging element of the imaging apparatus 1, but is not particularly limited thereto. It may be the size of the image area necessary for executing all the selected image processing tools set in the imaging area, and corresponds to each image processing tool selected by the user. It may be a partial image.
画像取得部302は、撮像装置1で撮像された検査対象物6の画像を取得する。画像表示部303は、取得した検査対象物6の画像、又は記憶してある基準画像のいずれかを表示する。どちらの画像を表示するかは、ユーザの選択を受け付けることにより決定される。 The image acquisition unit 302 acquires an image of the inspection object 6 captured by the imaging device 1. The image display unit 303 displays either the acquired image of the inspection object 6 or the stored reference image. Which image is displayed is determined by accepting a user's selection.
検査領域設定部304は、画像処理ツールごとに検査領域を設定する。サムネイル画像生成部305は、設定した検査領域を含む検査対象物6の画像をサムネイル化したサムネイル画像を生成する。検査対象物6の画像は、基準画像記憶部301で記憶した基準画像であっても良いし、画像取得部302で取得した、撮像装置1で撮像された検査対象物の画像であっても良い。すなわち、サムネイル画像生成部305は、検査対象物6の良否判定の基準となる基準画像の縮小画像に、画像処理ツールごとに設定された検査領域に関する画像を重ね合わせて生成しても良いし、あるいは撮像装置1で撮像された検査対象物6の画像を縮小した撮像画像に、画像処理ツールごとに設定された検査領域に関する画像を重ね合わせて生成しても良い。 The inspection area setting unit 304 sets an inspection area for each image processing tool. The thumbnail image generation unit 305 generates a thumbnail image obtained by converting the image of the inspection object 6 including the set inspection region into a thumbnail. The image of the inspection object 6 may be a reference image stored in the reference image storage unit 301 or may be an image of the inspection object acquired by the image acquisition unit 302 and acquired by the image acquisition unit 302. . That is, the thumbnail image generation unit 305 may generate an image related to the inspection region set for each image processing tool by superimposing the reduced image of the reference image that is a reference for determining whether the inspection object 6 is acceptable, Alternatively, an image related to the inspection area set for each image processing tool may be superimposed on the captured image obtained by reducing the image of the inspection object 6 captured by the imaging device 1.
サムネイル画像表示部306は、生成したサムネイル画像を表示する。表示された一又は複数のサムネイル画像の中からユーザによる選択を受け付けることにより、検査に用いる画像処理ツールを容易に選択することが可能となる。 The thumbnail image display unit 306 displays the generated thumbnail image. By accepting selection by the user from one or a plurality of displayed thumbnail images, it is possible to easily select an image processing tool used for inspection.
図13は、本発明の実施の形態に係る検査領域表示装置2のCPU21の処理手順を示すフローチャートである。図13において、検査領域表示装置2のCPU21は、良否判定の基準となる基準画像を取得して、検査対象物6を識別する識別情報と対応付けて記憶装置23に記憶する(ステップS1301)。基準画像は、一の検査対象物6について一記憶しても良いし、複数記憶しても良い。 FIG. 13 is a flowchart showing a processing procedure of the CPU 21 of the inspection area display device 2 according to the embodiment of the present invention. In FIG. 13, the CPU 21 of the inspection area display device 2 acquires a reference image that is a reference for pass / fail determination, and stores it in the storage device 23 in association with identification information for identifying the inspection object 6 (step S1301). One reference image may be stored for one inspection object 6, or a plurality of reference images may be stored.
CPU21は、撮像装置1で撮像された検査対象物6の画像を取得する(ステップS1302)。CPU21は、取得した検査対象物6の画像、又は記憶してある基準画像のいずれかの選択を受け付けて(ステップS1303)、選択を受け付けた画像を表示装置503へ表示する(ステップS1304)。 The CPU 21 acquires an image of the inspection target 6 imaged by the imaging device 1 (step S1302). The CPU 21 accepts selection of either the acquired image of the inspection object 6 or the stored reference image (step S1303), and displays the accepted image on the display device 503 (step S1304).
図14は、本発明の実施の形態に係る検査領域表示装置2のサムネイル表示画面の例示図である。図15は、本発明の実施の形態に係る検査領域表示装置2の別の形式のサムネイル表示画面の例示図である。図14に示すように、撮像装置選択領域141において、撮像装置1として「カメラ‘1’」の選択を受け付けた場合、「カメラ‘1’」に対応付けられている画像処理ツールのサムネイル画像がサムネイル画像表示領域142に表示される。図14の例では、記憶してある基準画像に設定された検査領域に関する画像を重ね合わせてサムネイル画像を生成している。具体的には、本実施の形態では、検査領域表示装置2が備えている画像処理ツールの中から、ユーザによってパターンサーチ計測ツール、トレンドエッジツール、エッジ幅計測ツール等の各種エッジ検出ツールの画像処理ツールが選択され、各画像処理ツールに対して、検査領域が設定されていることがわかる。 FIG. 14 is a view showing an example of a thumbnail display screen of the examination area display device 2 according to the embodiment of the present invention. FIG. 15 is a view showing an example of another type of thumbnail display screen of the examination area display device 2 according to the embodiment of the present invention. As illustrated in FIG. 14, when the selection of “camera“ 1 ”” is accepted as the imaging device 1 in the imaging device selection area 141, the thumbnail image of the image processing tool associated with “camera“ 1 ”” is displayed. It is displayed in the thumbnail image display area 142. In the example of FIG. 14, thumbnail images are generated by superimposing images related to the inspection region set in the stored reference image. Specifically, in the present embodiment, images of various edge detection tools such as a pattern search measurement tool, a trend edge tool, and an edge width measurement tool are selected by the user from the image processing tools provided in the inspection area display device 2. It can be seen that a processing tool is selected and an inspection area is set for each image processing tool.
一方、画像表示領域140には、検査対象として撮像された検査対象物6の画像(入力画像)が表示されている。そして、表示された入力画像に対して、選択された画像処理ツール、例えばパターンサーチ計測ツールによる位置決め補正を実行するとともに、基準画像に設定された検査領域の位置補正も行うことにより、基準画像に設定された全ての検査領域を入力画像に対して重ね合わせて表示している。 On the other hand, the image display area 140 displays an image (input image) of the inspection object 6 imaged as an inspection object. Then, positioning correction by the selected image processing tool, for example, a pattern search measurement tool, is performed on the displayed input image, and the position of the inspection region set in the reference image is also corrected, whereby the reference image is displayed. All set inspection areas are displayed superimposed on the input image.
なお、図14及び図15に示すユーザインタフェース上に図示しない選択手段を設けることにより、ユーザが基準画像に設定した全ての検査領域を入力画像と重ね合わせて表示するモード(図14の表示に相当)又はサムネイル画像表示領域142の中からユーザが指定した画像処理ツールに対して設定された検査領域のみを入力画像と重ね合わせて表示するモード(図15の表示に相当)の選択を受け付けることができる。また、斯かる2つのモードに、入力画像のみを表示するモードを加えても良い。 14 and FIG. 15 is provided with selection means (not shown) on the user interface so that all inspection areas set by the user as reference images are displayed superimposed on the input image (corresponding to the display in FIG. 14). ) Or the selection of a mode (corresponding to the display in FIG. 15) in which only the inspection area set for the image processing tool designated by the user from the thumbnail image display area 142 is displayed superimposed on the input image. it can. Further, a mode for displaying only the input image may be added to the two modes.
図13に戻って、検査領域表示装置2のCPU21は、画像処理ツールごとに検査領域を設定し(ステップS1305)、設定された検査領域を含む検査対象物6の画像をサムネイル化したサムネイル画像を生成する(ステップS1306)。検査対象物6の画像として、図14の例では、記憶されている基準画像を用いているが、もちろん撮像装置1で撮像された検査対象物6の画像を用いても良い。すなわち、検査対象物6の良否判定の基準となる基準画像の縮小画像に、画像処理ツールごとに設定された検査領域に関する画像を重ね合わせて生成しても良いし、あるいは撮像装置1で撮像された検査対象物6の画像を縮小した撮像画像に、画像処理ツールごとに設定された検査領域に関する画像を重ね合わせて生成しても良い。 Returning to FIG. 13, the CPU 21 of the inspection area display device 2 sets an inspection area for each image processing tool (step S <b> 1305), and displays a thumbnail image obtained by thumbnailing the image of the inspection object 6 including the set inspection area. Generate (step S1306). In the example of FIG. 14, the stored reference image is used as the image of the inspection target 6, but of course, the image of the inspection target 6 captured by the imaging device 1 may be used. In other words, an image related to the inspection area set for each image processing tool may be superimposed on the reduced image of the reference image that is a reference for determining the quality of the inspection object 6, or may be captured by the imaging device 1. Alternatively, a captured image obtained by reducing the image of the inspection object 6 may be generated by superimposing an image related to the inspection region set for each image processing tool.
図14に示すサムネイル画像表示領域142においては、ユーザによって選択され、画像検査機能として用いられる画像処理ツールごとに、設定された検査領域が基準画像に重ね合わせて表示されたサムネイル画像がそれぞれ生成されている。より詳細には、サムネイル画像表示領域142の「エッジを見つける」画像検査機能からもわかるように、同一の画像処理ツールであっても、各検査領域ごとにサムネイル画像を生成するようになっている。ただし、各画像処理ツールごとに、設定された全ての検査領域が表示されたサムネイル画像を生成しても良いことは言うまでもない。 In the thumbnail image display area 142 shown in FIG. 14, for each image processing tool selected by the user and used as the image inspection function, a thumbnail image in which the set inspection area is displayed superimposed on the reference image is generated. ing. More specifically, as can be understood from the “find an edge” image inspection function of the thumbnail image display area 142, even for the same image processing tool, a thumbnail image is generated for each inspection area. . However, it goes without saying that a thumbnail image in which all set inspection areas are displayed may be generated for each image processing tool.
図15に示す画面は、画像表示領域140に表示される入力画像と検査領域との別の形式の重ね合わせ表示方法であり、図14に示す画面と比べて、モードを切り替え、かつユーザによって選択された画像処理ツールに対応する複数のサムネイル画像を表示するサムネイル画像表示領域142にて「エッジを見つける」が指定されているので、画像表示領域140には、基準画像に、指定された「エッジを見つける」画像検査機能に対して設定された検査領域のみが重ね合わせて表示される。 The screen shown in FIG. 15 is an overlay display method in another form of the input image displayed in the image display area 140 and the inspection area. The mode is switched and selected by the user as compared with the screen shown in FIG. Since “find an edge” is designated in the thumbnail image display area 142 for displaying a plurality of thumbnail images corresponding to the designated image processing tool, the “edge” designated in the reference image is displayed in the image display area 140. Only the inspection areas set for the “Find” image inspection function are displayed superimposed.
なお、検査領域の設定が変更された場合、検査領域の変更に伴ってサムネイル画像も即座に変更される。図16及び図17は、本発明の実施の形態に係る検査領域表示装置2の、検査領域の設定変更時の画面の例示図である。図16は、検査領域の設定時の画面を、図17は、検査領域の変更時の画面を、それぞれ例示している。なお、上述した図14に示す画面、図15に示す画面から図16に示す画面に移行するためには、図14に示す画面又は図15に示す画面の右下の「編集」ボタンの選択を受け付ける。これにより、画像表示領域140には、基準画像と、基準画像に設定された全ての検査領域とが表示される。 In addition, when the setting of the inspection area is changed, the thumbnail image is immediately changed with the change of the inspection area. 16 and 17 are examples of screens when changing the setting of the inspection area of the inspection area display device 2 according to the embodiment of the present invention. FIG. 16 illustrates a screen when setting the inspection area, and FIG. 17 illustrates a screen when changing the inspection area. In order to shift from the screen shown in FIG. 14 and the screen shown in FIG. 15 to the screen shown in FIG. 16, the “edit” button at the lower right of the screen shown in FIG. 14 or the screen shown in FIG. Accept. As a result, the image display area 140 displays the reference image and all the inspection areas set in the reference image.
また、別の方法としては、図14に示す画面又は図15に示す画面において、画像表示領域140にて表示される特定の検査領域をユーザがクリックすることにより、画像表示領域140に基準画像と、基準画像に設定された全ての検査領域とが重ね合わせて表示されるように自動的に切り替えても良い。 As another method, when the user clicks a specific inspection area displayed in the image display area 140 on the screen shown in FIG. 14 or the screen shown in FIG. 15, the reference image is displayed in the image display area 140. Alternatively, it may be automatically switched so that all the inspection areas set in the reference image are displayed in an overlapping manner.
なお、図14に示す画面又は図15に示す画面が表示されている場合、既に検査領域表示装置2が備える複数の画像処理ツールからユーザが所望する画像処理ツールが選択され、各画像処理ツールにパラメータが設定されている。したがって、入力画像に対して画像処理を実行することにより、図14又は図15に示す画像表示領域140に、入力画像とともに判定結果が表示される。具体的には、判定結果がNGとなった場合、該画像処理ツールに対して設定された検査領域の色を変化させて表示する。これにより、ユーザは、どの検査領域が判定結果がNGとなった原因であるかを容易に目視で確認することができ、必要に応じて、その検査領域のパラメータ、位置、大きさ等を、図16に示す画面にて容易に変更することができる。 When the screen shown in FIG. 14 or the screen shown in FIG. 15 is displayed, an image processing tool desired by the user is selected from a plurality of image processing tools already provided in the inspection area display device 2, and each image processing tool is selected. The parameter is set. Therefore, by executing image processing on the input image, the determination result is displayed together with the input image in the image display area 140 shown in FIG. Specifically, when the determination result is NG, the color of the inspection area set for the image processing tool is changed and displayed. Thereby, the user can easily visually check which inspection region is the cause of the determination result being NG, and if necessary, the parameters, position, size, etc. of the inspection region It can be easily changed on the screen shown in FIG.
図16に示すように、検査領域表示装置2は、サムネイル画像表示領域142に表示されているサムネイル画像から、検査領域の設定を変更する画像処理ツールの選択を受け付ける。図16では、サムネイル画像表示領域142の左端に表示されているパターンサーチ計測ツールのサムネイル画像161の選択を受け付けた場合の画面を例示している。 As illustrated in FIG. 16, the inspection area display device 2 accepts selection of an image processing tool that changes the setting of the inspection area from the thumbnail images displayed in the thumbnail image display area 142. FIG. 16 illustrates a screen when the selection of the thumbnail image 161 of the pattern search measurement tool displayed at the left end of the thumbnail image display area 142 is received.
この時点では、矩形状の検査領域162は画像表示領域140の略全面にわたって設定されている。ここで、図17に示すように、矩形状の検査領域162を画像表示領域140上で縮小して新たな検査領域172に変更する。この場合、サムネイル画像表示領域142に表示されているサムネイル画像171についても、画像表示領域140上の検査領域の変更に伴って表示される検査領域が変更される。 At this time, the rectangular inspection area 162 is set over substantially the entire surface of the image display area 140. Here, as shown in FIG. 17, the rectangular inspection area 162 is reduced on the image display area 140 and changed to a new inspection area 172. In this case, also for the thumbnail image 171 displayed in the thumbnail image display area 142, the inspection area displayed is changed in accordance with the change of the inspection area on the image display area 140.
これは、単純に画像表示領域140に表示されている画面を縮小してサムネイル画像を生成するのではなく、撮像された検査対象物6の画像又は記憶してある基準画像を縮小した画像に、検査領域に関する画像を重ね合わせて表示するからこそ奏することができる効果であり、単純に画面を縮小してサムネイル画像を生成する従来の方法では、リアルタイムにサムネイル画像が変更されることはない。 This is not to simply reduce the screen displayed in the image display area 140 to generate a thumbnail image, but to reduce the image of the imaged inspection object 6 or the stored reference image, This is an effect that can be achieved because the images related to the inspection area are displayed in a superimposed manner. In the conventional method of simply generating a thumbnail image by reducing the screen, the thumbnail image is not changed in real time.
図13に戻って、検査領域表示装置2のCPU21は、生成したサムネイル画像を表示する(ステップS1307)。すなわち、生成したサムネイル画像が、図14乃至図17のサムネイル画像表示領域142に表示される。表示された一又は複数のサムネイル画像の中からユーザによる選択を受け付けることにより、検査に用いる画像処理ツールを容易に選択することが可能となる。 Returning to FIG. 13, the CPU 21 of the examination area display device 2 displays the generated thumbnail image (step S1307). That is, the generated thumbnail image is displayed in the thumbnail image display area 142 of FIGS. By accepting selection by the user from one or a plurality of displayed thumbnail images, it is possible to easily select an image processing tool used for inspection.
なお、サムネイル画像生成部305は、設定された複数の検査領域に関する画像をグループ化してサムネイル画像を生成しても良い。すなわち、一定の規則に従って、設定された検査領域をグループ化しておくことにより、画像処理ツールごとにサムネイル画像を生成するよりも、直感的に検査領域を把握することが容易となる。 Note that the thumbnail image generation unit 305 may generate thumbnail images by grouping images related to a plurality of set inspection areas. That is, by grouping the set inspection areas according to a certain rule, it is easier to intuitively grasp the inspection areas than to generate thumbnail images for each image processing tool.
例えば、ユーザが任意に選択した画像処理ツールをグループ化し、グループごとにサムネイル画像を生成する。この場合、一の検査対象物6に対して設定した複数の画像処理ツールを一グループとしてグループ化することにより、一の検査対象物6に対して設定された検査領域群を一括して表示することができる。 For example, image processing tools arbitrarily selected by the user are grouped, and thumbnail images are generated for each group. In this case, by grouping a plurality of image processing tools set for one inspection object 6 as one group, the inspection area group set for one inspection object 6 is collectively displayed. be able to.
また、複数の画像処理ツールを種別ごとにグループ化しても良い。ここで、「種別」とは、画像処理ツールの種類を意味する。例えば傷計測ツールのような「傷」関係の画像処理ツールを一グループとしてまとめても良いし、エッジ位置計測ツール等のような「エッジ」関係の画像処理ツールを一グループとしてまとめても良い。 A plurality of image processing tools may be grouped by type. Here, “type” means the type of image processing tool. For example, “scratch” -related image processing tools such as a scratch measurement tool may be grouped together, or “edge” -related image processing tools such as an edge position measurement tool may be grouped together.
さらに、画像処理ツールをカテゴリごとにグループ化しても良い。ここで、「カテゴリ」とは、画像処理ツールの用途の種別を意味する。例えば傷計測ツールのような外観検査を実行する画像処理ツールを一グループとしてまとめても良いし、エッジ位置計測ツール等のような検査対象物6の位置検査を実行する画像処理ツールを一グループとしてまとめても良い。 Furthermore, the image processing tools may be grouped for each category. Here, “category” means the type of use of the image processing tool. For example, image processing tools that perform appearance inspection such as a flaw measurement tool may be grouped together, and image processing tools that perform position inspection of the inspection object 6 such as edge position measurement tools may be grouped as one group. You may summarize.
また、検査対象物6を撮像した画像に対して位置の補正がなされる場合、位置補正元の画像が複数あるときにはこれらの画像を一グループとしてグループ化しても良い。グループ化された一の画像に対して縦移動、横移動、回転移動をするので、画像ごとにどの画像処理ツールで位置補正がなされているのか記憶する必要がなく、サムネイル画像から一目でどの画像処理ツールで位置補正がなされているのか確認することができる。 In addition, when position correction is performed on an image obtained by imaging the inspection object 6, when there are a plurality of position correction source images, these images may be grouped as one group. Since vertical movement, horizontal movement, and rotational movement are performed for one grouped image, there is no need to remember which image processing tool has performed position correction for each image, and which image from the thumbnail image at a glance. It is possible to check whether the position correction has been performed with the processing tool.
さらに、数値演算を伴う画像処理ツールについては、数値演算が引用している画像処理ツールの検査領域群を表示すれば良い。これにより、どの画像処理ツールを引用した数値演算であるのか、サムネイル画像から直感的に把握することができる。 Furthermore, for image processing tools that involve numerical operations, it is only necessary to display the inspection area group of the image processing tools cited by the numerical operations. Thereby, it is possible to intuitively grasp from the thumbnail image which image processing tool is used for the numerical calculation.
以上のように本実施の形態によれば、単純に表示されている画面を縮小してサムネイル画像を生成するのではなく、設定した検査領域を含む検査対象物6の画像を用いてサムネイル画像を生成しているので、ユーザが所望するサムネイル画像を容易に生成することができ、サムネイル画像により、検査領域を目視で確認しながら所望の画像処理ツールを選択することが可能となる。 As described above, according to this embodiment, instead of simply reducing the displayed screen and generating a thumbnail image, the thumbnail image is generated using the image of the inspection object 6 including the set inspection region. Since it is generated, it is possible to easily generate a thumbnail image desired by the user, and it is possible to select a desired image processing tool while visually confirming the inspection area by using the thumbnail image.
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置1と検査領域表示装置2とは、接続ケーブル3で直結されている形態に限定されるものではなく、LAN、WAN等のネットワーク網を介して接続されていても良いことは言うまでもない The present invention is not limited to the above-described embodiments, and various changes and improvements can be made within the scope of the present invention. For example, the imaging device 1 and the inspection area display device 2 are not limited to the form directly connected by the connection cable 3, and needless to say, they may be connected via a network network such as a LAN or WAN.
1 撮像装置(撮像部)
2 検査領域表示装置
4 照明装置
6 検査対象物
301 基準画像記憶部
302 画像取得部
303 画像表示部
304 検査領域設定部
305 サムネイル画像生成部
306 サムネイル画像表示部
1 Imaging device (imaging unit)
2 Inspection Area Display Device 4 Illumination Device 6 Inspection Object 301 Reference Image Storage Unit 302 Image Acquisition Unit 303 Image Display Unit 304 Inspection Area Setting Unit 305 Thumbnail Image Generation Unit 306 Thumbnail Image Display Unit
Claims (12)
該撮像部で撮像された画像に対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する領域である検査領域を表示する検査領域表示装置において、
複数の画像処理ツールを備えており、
所望の検査内容に基づいて、検査に必要な複数の画像処理ツールの選択を事前に受け付け、
選択を受け付けた画像処理ツールごとに、検査対象物の画像に対して検査領域を設定する検査領域設定部と、
設定された検査領域を含む検査対象物の画像を、選択を受け付けた画像処理ツールごとに、逐次サムネイル化したサムネイル画像を生成するサムネイル画像生成部と、
画像処理ツールごとに生成された全てのサムネイル画像を表示するサムネイル画像表示部と
を備え、
前記撮像部により撮像された検査対象物の画像と、前記検査領域設定部により設定された画像処理ツールごとの検査領域とが、一画面上に表示されており、
既に画像処理ツールごとに設定されている検査領域を変更する場合、前記サムネイル画像表示部は、表示された複数のサムネイル画像の中から、検査領域を変更するサムネイル画像の選択を受け付け、検査対象物の画像と選択を受け付けたサムネイル画像に対応する画像処理ツールに対して設定されている検査領域とを重ね合わせて表示し、検査領域の内容を変更した後、対応するサムネイル画像を変更して表示することを特徴とする検査領域表示装置。 Connected to an imaging unit for imaging the inspection object;
In an inspection area display device that performs image processing on an image captured by the imaging unit and displays an inspection area that is an area for determining the quality of an inspection object based on a result of the image processing.
It has multiple image processing tools,
Based on the desired inspection content, we accept in advance selection of multiple image processing tools necessary for inspection,
For each image processing tool that has received a selection, an inspection area setting unit that sets an inspection area for the image of the inspection object;
A thumbnail image generation unit that generates thumbnail images that are sequentially thumbnailed for each image processing tool that has received a selection of an image of an inspection object including a set inspection region;
A thumbnail image display unit for displaying all thumbnail images generated for each image processing tool,
The image of the inspection object imaged by the imaging unit and the inspection area for each image processing tool set by the inspection area setting unit are displayed on one screen,
When changing the inspection area that has already been set for each image processing tool, the thumbnail image display unit accepts selection of a thumbnail image for changing the inspection area from among the plurality of displayed thumbnail images, and the inspection object The image and the inspection area set for the image processing tool corresponding to the selected thumbnail image are displayed in a superimposed manner, and after changing the contents of the inspection area, the corresponding thumbnail image is changed and displayed. An inspection area display device characterized in that:
該撮像部で撮像された画像に対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する領域である検査領域を表示する検査領域表示装置で実行することが可能な検査領域表示方法において、
前記検査領域表示装置が備えている複数の画像処理ツールの中から、所望の検査内容に基づいて、検査に必要な複数の画像処理ツールの選択を事前に受け付け、
選択を受け付けた画像処理ツールごとに、検査対象物の画像に対して検査領域を設定するステップと、
設定された検査領域を含む検査対象物の画像を、選択を受け付けた画像処理ツールごとに、逐次サムネイル化したサムネイル画像を生成するステップと、
画像処理ツールごとに生成された全てのサムネイル画像を表示するステップと
を含み、
前記撮像部により撮像された検査対象物の画像と、設定された画像処理ツールごとの検査領域とが、一画面上に表示され、
既に画像処理ツールごとに設定されている検査領域を変更する場合、表示された複数のサムネイル画像の中から、検査領域を変更するサムネイル画像の選択を受け付け、検査対象物の画像と選択を受け付けたサムネイル画像に対応する画像処理ツールに対して設定されている検査領域とを重ね合わせて表示し、検査領域の内容を変更した後、対応するサムネイル画像を変更して表示することを特徴とする検査領域表示方法。 Connected to an imaging unit for imaging the inspection object;
It is possible to execute image processing on an image captured by the imaging unit, and to perform it on an inspection area display device that displays an inspection area that is an area for determining the quality of an inspection object based on the result of the image processing In the inspection area display method,
From among a plurality of image processing tools provided in the inspection area display device, based on the desired inspection content, in advance selection of a plurality of image processing tools necessary for the inspection,
For each image processing tool that has received a selection, a step of setting an inspection area for the image of the inspection object;
Generating a thumbnail image that sequentially thumbnails the image of the inspection object including the set inspection region for each image processing tool that has received selection;
Displaying all thumbnail images generated for each image processing tool; and
The image of the inspection object imaged by the imaging unit and the inspection area for each set image processing tool are displayed on one screen,
When changing the inspection area that has already been set for each image processing tool, selection of the thumbnail image for changing the inspection area was received from the displayed thumbnail images, and the image and selection of the inspection object were received An inspection characterized by overlaying and displaying the inspection area set for the image processing tool corresponding to the thumbnail image, changing the contents of the inspection area, and then changing and displaying the corresponding thumbnail image Area display method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037212A JP5934516B2 (en) | 2012-02-23 | 2012-02-23 | Inspection area display device and inspection area display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037212A JP5934516B2 (en) | 2012-02-23 | 2012-02-23 | Inspection area display device and inspection area display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013171026A JP2013171026A (en) | 2013-09-02 |
JP5934516B2 true JP5934516B2 (en) | 2016-06-15 |
Family
ID=49265040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012037212A Active JP5934516B2 (en) | 2012-02-23 | 2012-02-23 | Inspection area display device and inspection area display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5934516B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220335587A1 (en) * | 2021-04-16 | 2022-10-20 | Keyence Corporation | Image inspection apparatus and image inspection method |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7143057B2 (en) * | 2016-12-28 | 2022-09-28 | 株式会社キーエンス | Three-dimensional measuring device |
WO2022059710A1 (en) * | 2020-09-18 | 2022-03-24 | 株式会社島津製作所 | Defect inspecting device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3870872B2 (en) * | 2002-08-06 | 2007-01-24 | オムロン株式会社 | Inspection data creation method and substrate inspection apparatus using this method |
JP4220333B2 (en) * | 2003-08-25 | 2009-02-04 | 株式会社サキコーポレーション | Appearance inspection device |
JP2008292405A (en) * | 2007-05-28 | 2008-12-04 | Fujifilm Corp | Inspection device and inspection program |
JP5021503B2 (en) * | 2008-01-15 | 2012-09-12 | 株式会社日立ハイテクノロジーズ | Pattern defect analysis apparatus, pattern defect analysis method, and pattern defect analysis program |
-
2012
- 2012-02-23 JP JP2012037212A patent/JP5934516B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220335587A1 (en) * | 2021-04-16 | 2022-10-20 | Keyence Corporation | Image inspection apparatus and image inspection method |
Also Published As
Publication number | Publication date |
---|---|
JP2013171026A (en) | 2013-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6745173B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device | |
JP6408259B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
JP5841427B2 (en) | Image processing apparatus and image processing method | |
JP6424020B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
US9291450B2 (en) | Measurement microscope device, image generating method, measurement microscope device operation program, and computer-readable recording medium | |
JP5861462B2 (en) | Inspection standard registration method for solder inspection and board inspection apparatus using the method | |
JP6403446B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
WO2007074770A1 (en) | Defect inspection device for inspecting defect by image analysis | |
JP2015021757A (en) | Three-dimensional image processor, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording apparatus | |
JP5934516B2 (en) | Inspection area display device and inspection area display method | |
JP5855961B2 (en) | Image processing apparatus and image processing method | |
JP2015004641A (en) | Wafer appearance inspection device | |
JP6140255B2 (en) | Image processing apparatus and image processing method | |
JP2015021756A (en) | Three-dimensional image processor, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording apparatus | |
JP6045429B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
JP6049052B2 (en) | Wafer visual inspection apparatus and sensitivity threshold setting method in wafer visual inspection apparatus | |
JP6568991B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
JP5960433B2 (en) | Image processing apparatus and image processing method | |
JP5921190B2 (en) | Image processing apparatus and image processing method | |
JP6266243B2 (en) | 3D image processing apparatus, 3D image processing method, 3D image processing program, computer-readable recording medium, and recorded apparatus | |
JP5815434B2 (en) | Manual creation support device and manual creation support method | |
JP2011044094A (en) | Display device | |
JP7380332B2 (en) | Image processing device, control method and program for the image processing device | |
JP6585992B2 (en) | Image inspection device | |
JP2019158711A (en) | Image processing system, image processing device, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150428 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151117 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5934516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |