JP6403446B2 - Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus - Google Patents
Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus Download PDFInfo
- Publication number
- JP6403446B2 JP6403446B2 JP2014119137A JP2014119137A JP6403446B2 JP 6403446 B2 JP6403446 B2 JP 6403446B2 JP 2014119137 A JP2014119137 A JP 2014119137A JP 2014119137 A JP2014119137 A JP 2014119137A JP 6403446 B2 JP6403446 B2 JP 6403446B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- illumination
- workpiece
- reference image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、移動するワークに対して、フォトメトリックステレオ法を利用して傷や印字を検査できるようにした画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。 The present invention relates to an image inspection apparatus, an image inspection method, an image inspection program, a computer-readable recording medium, and a recording medium that can inspect scratches and prints using a photometric stereo method on a moving workpiece. Regarding equipment.
ワークの表面の傷の有無や外観形状、印字された文字の読み取りといった検査を行う画像検査装置が利用されている。このような画像検査装置は、ワーク(検査対象物、被写体等とも呼ぶ。)に対して必要な照明を行い、画像を撮像し、得られた画像データに対してエッジ検出等、画像処理を行い、その結果に基づいて良否判定等の判断を行っていた。 2. Description of the Related Art Image inspection apparatuses that perform inspections such as the presence or absence of scratches on the surface of a workpiece, the appearance shape, and reading of printed characters are used. Such an image inspection apparatus performs necessary illumination on a work (also referred to as an inspection object, a subject, etc.), picks up an image, and performs image processing such as edge detection on the obtained image data. Based on the result, judgments such as pass / fail judgment were made.
しかしながらこのような画像検査装置では、ワークの種類によっては照明の種類や当てる方向によって見えやすさが変わるケースがあった。このため、このようなワークに対して適切な検査を行うには、十分な知識や経験が必要であった。 However, in such an image inspection apparatus, depending on the type of work, there are cases in which the visibility changes depending on the type of illumination and the direction of application. For this reason, sufficient knowledge and experience are required to perform an appropriate inspection on such a workpiece.
また、従来の画像検査装置では、照明条件や設置条件等が少し変わっただけで誤検出が起きやすく、安定的に検出することが困難であるという問題もあった。さらに、ワークの外観検査においては、傷、縁等のワークの形状に関する情報、言い換えると立体的な情報と、印字、シミ等の平面的な情報の両方が検査の対象になるところ、お互いが干渉し合う結果、上手く検出できないことがあるという問題もあった。 Further, in the conventional image inspection apparatus, there is a problem that erroneous detection is likely to occur only when the illumination condition, installation condition, and the like are slightly changed, and it is difficult to detect stably. Furthermore, in the appearance inspection of workpieces, both information on the shape of the workpiece such as scratches and edges, in other words, three-dimensional information, and planar information such as printing and stains are subject to inspection. As a result, there was a problem that it could not be detected well.
このような問題を解決するための技術として、フォトメトリックステレオ法を用いて高さ情報を取得する画像処理装置が知られている(例えば、特許文献1を参照。)。ここでフォトメトリックステレオ法(photometric stereo)とは、照度差ステレオ法とも呼ばれ、異なる複数の照明方向から照明した画像を撮像して、その陰影情報からワークの法線ベクトルを求める三次元計測の手法の一つである。このようなフォトメトリックステレオ法を用いた画像処理装置は、法線ベクトル(傾き画像に相当)からX軸やY軸の成分を輝度値に置き換えた画像や、反射率画像(アルベド画像に相当)を作成して、画像検査に応用している。ここでは、フォトメトリックステレオ法で三次元計測を精度よく行うために、主として、照明機器の設置方法や照明光の照射方法に関する検討がなされている。 As a technique for solving such a problem, an image processing apparatus that acquires height information using a photometric stereo method is known (see, for example, Patent Document 1). The photometric stereo method (photometric stereo) is also called illuminance difference stereo method, which is a three-dimensional measurement method that captures images illuminated from different illumination directions and calculates the normal vector of the workpiece from the shadow information. One of the methods. An image processing apparatus using such a photometric stereo method is an image obtained by replacing the X-axis and Y-axis components with luminance values from a normal vector (equivalent to an inclination image), or a reflectance image (equivalent to an albedo image). Is applied to image inspection. Here, in order to accurately perform the three-dimensional measurement by the photometric stereo method, studies are mainly made on the installation method of the illumination device and the illumination light irradiation method.
フォトメトリックステレオ法は、通常、撮像した複数の画像の同じ位置がワークの同一位置であるという前提で処理が実施される。いいかえると、ワークが静止しており、どの照明方向から照明した部分照明画像も、同じワークの同じ部分を撮像していることが必要となる。上述した特許文献1でも、動きのない静止したワークを対象としている。 In the photometric stereo method, processing is usually performed on the premise that the same position of a plurality of captured images is the same position of a workpiece. In other words, it is necessary that the work is stationary, and the partial illumination images illuminated from any illumination direction are taken of the same part of the same work. The above-described Patent Document 1 also targets a stationary work that does not move.
これに対して、FA等の分野において利用されている画像検査では、移動しているワークに対して画像検査を実行したい用途が多い。そこで、例えばベルトコンベア上で移動しているワークを、フォトメトリックステレオ法を利用して画像検査しようとすれば、撮像した複数の画像の同じ位置が撮像対象の同一位置であるとの前提が成立しないため、そのままでは利用できない。 On the other hand, in the image inspection used in the field of FA or the like, there are many applications in which it is desired to perform an image inspection on a moving workpiece. Therefore, for example, if an image of a workpiece moving on a belt conveyor is to be inspected using the photometric stereo method, it is assumed that the same position of a plurality of captured images is the same position of the imaging target. It cannot be used as it is.
本発明は、このような事情に鑑みてなされたものであり、その主な目的は、フォトメトリックステレオ法を利用して、移動するワークに対しても、傷や印字を検査できるようにした画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。 The present invention has been made in view of such circumstances, and its main purpose is to use an photometric stereo method to enable inspection of scratches and prints on moving workpieces. An object is to provide an inspection apparatus, an image inspection method, an image inspection program, a computer-readable recording medium, and a recorded device.
本発明の第1の側面に係る画像検査装置によれば、移動するワークの外観検査を行うための画像検査装置であって、ワークを互いに異なる照明方向から照明するための三以上の照明手段と、前記三以上の照明手段を一ずつ所定の点灯順に点灯させる、又は該三以上の照明手段を同時に点灯させるための照明制御手段と、前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、照明方向が異なる複数の部分照明画像を撮像するための撮像手段と、前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づきワークの検査画像を生成するための前処理として、予め照明方向を変化させた照明パターンに対してそれぞれモデル画像を取得し、これに基づいてテンプレートを予め定義しておき、移動するワークの外観検査を行う運転時において、各照明パターンに対応するテンプレートでサーチを行い、テンプレートと合致する位置情報を取得するテンプレートサーチ手段と、前記テンプレートサーチ手段で取得された位置情報から、各部分照明画像中で対応する画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段とを備えることができる。上記構成により、フォトメトリックステレオ法を利用して、例えばベルトコンベア上で等速で移動しているワークのみならず、不規則に移動するワークに対しても画像検査することが可能となる。 According to the image inspection apparatus according to the first aspect of the present invention, there is provided an image inspection apparatus for inspecting the appearance of a moving workpiece, and three or more illumination means for illuminating the workpiece from different illumination directions. The lighting control means for lighting the three or more lighting means one by one in a predetermined lighting order, or lighting the three or more lighting means at the same time, and the lighting timing for lighting each lighting means by the lighting control means The imaging unit for imaging a plurality of partial illumination images with different illumination directions by imaging the workpiece from a certain direction, and the plurality of partial illumination images captured by the imaging unit are in a corresponding relationship As a pre-process for generating an inspection image of a workpiece based on the photometric stereo method using each pixel value, an illumination pattern whose illumination direction has been changed in advance is used. Each model image is acquired, and a template is defined in advance based on the model image. In the operation of inspecting the appearance of the moving workpiece, a search is performed with the template corresponding to each illumination pattern, and the position that matches the template. A normal vector with respect to the surface of the workpiece of each pixel is calculated from the template search means for acquiring information and the pixel value for each corresponding pixel in each partial illumination image from the position information acquired by the template search means. And a normal vector calculating means. With the above configuration, it is possible to perform image inspection on not only a workpiece moving at a constant speed on, for example, a belt conveyor but also a workpiece moving irregularly using the photometric stereo method.
また、第2の側面に係る画像検査装置によれば、前記撮像手段は、前記三以上の照明手段を同時に点灯させて撮像した第一基準画像と、該第一基準画像よりも時間的に後の撮像タイミングで第二基準画像とを撮像可能であり、前記画像検査装置はさらに、第一基準画像中におけるワークの位置及び第二基準画像中におけるワークの位置から、移動したワークの位置変化を推定し、該推定結果に基づいて、前記第一基準画像又は第二基準画像と、各部分照明画像との間で対応する画素の位置を推定するための対応位置推定手段を備え、前記対応位置推定手段で推定された推定位置に対して、前記テンプレートサーチ手段でもってテンプレートサーチを実行するよう構成できる。上記構成により、予め対応位置推定手段で推定された推定位置にてテンプレートサーチを実行することが可能となり、より効率よく精度の高い位置決めが実現される。 Further, according to the image inspection apparatus according to the second aspect, the imaging unit includes a first reference image captured by simultaneously lighting the three or more illumination units, and a time later than the first reference image. The second reference image can be imaged at the imaging timing of the image inspection apparatus, and the image inspection apparatus further detects the position change of the moved work from the position of the work in the first reference image and the position of the work in the second reference image. And corresponding position estimation means for estimating a position of a corresponding pixel between the first reference image or the second reference image and each partial illumination image based on the estimation result, and the corresponding position A template search can be executed by the template search means for the estimated position estimated by the estimation means. With the above configuration, it is possible to execute a template search at the estimated position estimated in advance by the corresponding position estimating means, and more efficient and accurate positioning is realized.
さらに、第3の側面に係る画像検査装置によれば、前記対応位置推定手段が、線形補間によってワークが第一基準画像中の位置から第二基準画像中の位置に変化した状態を推定できる。 Furthermore, according to the image inspection apparatus according to the third aspect, the corresponding position estimation means can estimate a state in which the workpiece has changed from a position in the first reference image to a position in the second reference image by linear interpolation.
さらにまた、第4の側面に係る画像検査装置によれば、前記対応位置推定手段が、第一基準画像及び第二基準画像から得られたワークの位置情報及び前記撮像手段の各撮像タイミング情報から、ワークの直線外挿又は直線内挿によって、前記第一基準画像及び第二基準画像と前記第一基準画像及び第二基準画像以外の画像との各画像間で、ワークの位置が整合するように調整できる。
Furthermore, according to the image inspection apparatus according to the fourth aspect, the corresponding position estimating means is based on the position information of the workpiece obtained from the first reference image and the second reference image and the respective imaging timing information of the imaging means. , by linear outer挿又linear interpolation of the work, between each image of the first reference image and the second reference image and the first reference image and the second reference image other than the image, so that the position of the workpiece is aligned Can be adjusted.
さらにまた、第5の側面に係る画像検査装置によれば、前記モデル画像を、前記撮像手段によって撮像された実際の画像とできる。 Furthermore, according to the image inspection apparatus according to the fifth aspect, the model image can be an actual image imaged by the imaging means.
さらにまた、第6の側面に係る画像検査装置によれば、前記モデル画像を、前記撮像手段によって撮像された画像を基に仮想的に生成された画像とできる。 Furthermore, according to the image inspection apparatus according to the sixth aspect, the model image can be an image virtually generated based on the image captured by the imaging unit.
さらにまた、第7の側面に係る画像検査装置によれば、さらに前記第一基準画像及び第二基準画像から第一基準画像及び第二基準画像の動き補正情報を得て、該基準画像動き補正情報から第一基準画像及び第二基準画像の動き補正の推定値を得て、該基準画像動き補正推定値と部分照明画像を用いて部分照明画像動き補正情報を得て、該部分照明画像動き補正情報と部分照明画像を用いてフォトメトリック処理を行い、ワークの法線ベクトル画像又はアルベド画像を得る画像処理部を備えることができる。
Furthermore, according to the image inspection apparatus according to the seventh aspect, the motion correction information of the first reference image and the second reference image is further obtained from the first reference image and the second reference image, and the reference image motion correction is performed. Obtaining an estimated value of motion correction of the first reference image and the second reference image from the information, obtaining partial illumination image motion correction information using the reference image motion correction estimated value and the partial illumination image, and obtaining the partial illumination image motion It performs photometric processing using the correction information and the partial illumination image may comprise an image processing unit for obtaining the normal vector image or albedo image of the workpiece.
さらにまた、第8の側面に係る画像検査方法によれば、移動するワークの画像を撮像して外観を検査する検査方法であって、ワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、互いに異なる照明方向から所定の点灯タイミングで照明し、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、照明方向が異なる複数枚の部分照明画像を取得する工程と、照明方向を変化させた異なる照明パターンに対してモデル画像を取得し、これに基づいてテンプレートを予め定義しておき、移動するワークの外観検査を行う運転時において、各照明パターンに対応するテンプレートでサーチを行い、テンプレートと合致する位置情報を取得する工程と、取得された位置情報から、各部分照明画像中で対応する画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出する工程と、ワークの表面の傾きの輪郭を示す輪郭画像を用いて、ワークの外観検査を行う工程とを含むことができる。これにより、フォトメトリックステレオ法を利用して、例えばベルトコンベア上で等速で移動しているワークのみならず、不規則に移動するワークに対しても画像検査することが可能となる。
Furthermore, according to the image inspection method according to the eighth aspect, the inspection method is for inspecting the appearance by capturing an image of a moving workpiece, wherein the workpiece is subjected to three or more illumination means one by one in a predetermined lighting order. And illuminating at a predetermined lighting timing from mutually different illumination directions, and using a common imaging means in which the relative position with respect to the illumination means and the imaging direction are adjusted in advance, one partial illumination image for each illumination direction And acquiring a plurality of partial illumination images with different illumination directions, obtaining model images for different illumination patterns with different illumination directions, and predefining a template based on the model images. In the operation of inspecting the appearance of the moving workpiece, a search is performed with the template corresponding to each illumination pattern, and the position information that matches the template is obtained. From the information, using the pixel values for each pixel corresponding in each partial illumination image, a step of calculating a normal vector to the surface of the workpiece of each pixel, by using the contour image showing the inclination of the contour of the surface of the workpiece And a step of inspecting the appearance of the workpiece. Thus, using the photometric stereo method, for example, it is possible to inspect not only a workpiece moving at a constant speed on a belt conveyor but also a workpiece moving irregularly.
さらにまた、第9の側面に係る画像検査方法によれば、前記位置情報を取得する工程に先立ち、前記撮像手段でもって、前記三以上の照明手段を同時に点灯させて撮像した第一基準画像と、該第一基準画像よりも時間的に後の撮像タイミングで第二基準画像とを撮像し、第一基準画像中におけるワークの位置及び第二基準画像中におけるワークの位置から、移動したワークの位置変化を推定し、該推定結果に基づいて、前記第一基準画像又は第二基準画像と、各部分照明画像との間で対応する画素の位置を推定する工程を含み、前記推定された推定位置に対して、テンプレートサーチを実行することができる。 Furthermore, according to the image inspection method according to the ninth aspect, prior to the step of acquiring the position information, the imaging unit and the first reference image captured by simultaneously lighting the three or more illumination units The second reference image is captured at an imaging timing later in time than the first reference image, and the workpiece moved from the position of the workpiece in the first reference image and the position of the workpiece in the second reference image Estimating the position change, and estimating the position of the corresponding pixel between the first reference image or the second reference image and each partial illumination image based on the estimation result, the estimated estimation A template search can be performed on the location.
さらにまた、第10の側面に係る画像検査プログラムによれば、移動するワークの画像を撮像して外観を検査するための検査プログラムであって、コンピュータに、ワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、互いに異なる照明方向から所定の点灯タイミングで照明し、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、照明方向が異なる複数枚の部分照明画像を取得する機能と、照明方向を変化させた異なる照明パターンに対してモデル画像を取得し、これに基づいてテンプレートを予め定義しておき、移動するワークの外観検査を行う運転時において、各照明パターンに対応するテンプレートでサーチを行い、テンプレートと合致する位置情報を取得する機能と、取得された位置情報から、各部分照明画像中で対応する画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出する機能と、ワークの表面の傾きの輪郭を示す輪郭画像を用いて、ワークの外観検査を行う機能とを実現させることができる。上記構成により、フォトメトリックステレオ法を利用して、例えばベルトコンベア上で等速で移動しているワークのみならず、不規則に移動するワークに対しても画像検査することが可能となる。
Furthermore, the image inspection program according to the tenth aspect is an inspection program for inspecting the appearance by taking an image of a moving workpiece, and the computer is equipped with three or more illumination means. Illuminate in a predetermined lighting order one by one, illuminate at a predetermined lighting timing from mutually different illumination directions, and use a common imaging means in which the relative position with respect to the illumination means and the imaging direction are adjusted in advance for each illumination direction. Capturing one partial illumination image and acquiring a plurality of partial illumination images with different illumination directions, and obtaining model images for different illumination patterns with different illumination directions, and using this as a template In the operation to perform the appearance inspection of the moving work that is defined in advance, a search is performed with the template corresponding to each lighting pattern, and it matches the template. The function of acquiring the information from the obtained position information, using the pixel values for each pixel corresponding in each partial illumination image, a function of calculating a normal vector to the surface of the workpiece of each pixel, the surface of the workpiece It is possible to realize a function of performing an appearance inspection of a workpiece by using an outline image showing the outline of the inclination of the workpiece. With the above configuration, it is possible to perform image inspection on not only a workpiece moving at a constant speed on, for example, a belt conveyor but also a workpiece moving irregularly using the photometric stereo method.
さらにまた、第11の側面に係る画像検査プログラムによれば、さらに、前記撮像手段でもって、前記三以上の照明手段を同時に点灯させて撮像した第一基準画像と、該第一基準画像よりも時間的に後の撮像タイミングで第二基準画像とを撮像し、第一基準画像中におけるワークの位置及び第二基準画像中におけるワークの位置から、移動したワークの位置変化を推定し、該推定結果に基づいて、前記第一基準画像又は第二基準画像と、各部分照明画像との間で対応する画素の位置を推定する機能を実現させるものであり、前記推定された推定位置に対して、テンプレートサーチを実行することができる。 Further, according to the image inspection program according to the eleventh aspect, the image capturing means further includes a first reference image captured by simultaneously lighting the three or more illumination means, and the first reference image. The second reference image is imaged at a later imaging timing, and the position change of the moved work is estimated from the position of the work in the first reference image and the position of the work in the second reference image, and the estimation Based on the result, the function of estimating the position of the corresponding pixel between the first reference image or the second reference image and each partial illumination image is realized, and the estimated position is Template search can be executed.
また第12の側面に係るコンピュータで読み取り可能な記録媒体または記憶した機器は、上記画像検査プログラムを格納するものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray(商品名)、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC)等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。 A computer-readable recording medium or a stored device according to the twelfth aspect stores the image inspection program. CD-ROM, CD-R, CD-RW, flexible disk, magnetic tape, MO, DVD-ROM, DVD-RAM, DVD-R, DVD + R, DVD-RW, DVD + RW, Blu-ray (product) Name), HD DVD (AOD), and other magnetic disks, optical disks, magneto-optical disks, semiconductor memories, and other media that can store programs. The program includes a program distributed in a download manner through a network line such as the Internet, in addition to a program stored and distributed in the recording medium. Furthermore, the stored devices include general-purpose or dedicated devices in which the program is implemented in a state where it can be executed in the form of software, firmware, or the like. Furthermore, each process and function included in the program may be executed by computer-executable program software, or each part of the process or hardware may be executed by hardware such as a predetermined gate array (FPGA, ASIC), or program software. And a partial hardware module that realizes a part of hardware elements may be mixed.
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための例示であって、本発明は以下のものに特定されない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
(1.画像検査装置1の構成)
Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiment described below is an example for embodying the technical idea of the present invention, and the present invention is not limited to the following. Further, the present specification by no means specifies the members shown in the claims to the members of the embodiments. In particular, the dimensions, materials, shapes, relative arrangements, and the like of the component parts described in the embodiments are not intended to limit the scope of the present invention unless otherwise specified, and are merely explanations. It is just an example. Note that the size, positional relationship, and the like of the members shown in each drawing may be exaggerated for clarity of explanation. Furthermore, in the following description, the same name and symbol indicate the same or the same members, and detailed description thereof will be omitted as appropriate. Furthermore, each element constituting the present invention may be configured such that a plurality of elements are configured by the same member and the plurality of elements are shared by one member. It can also be realized by sharing.
(1. Configuration of the image inspection apparatus 1)
本発明の実施の形態1に係る画像検査装置のブロック図を、図1に示す。この図に示す画像検査装置1は、ワークWKを一定の方向から撮像する撮像手段11と、ワークWKを異なる三以上の照明方向から照明するための照明手段と、各照明手段を一ずつ点灯順に点灯させるための照明制御手段31と、照明制御手段と撮像手段と接続されてこれらを制御する画像処理部41を備えている。画像処理部41と撮像手段とは、撮像ケーブル12を介して、また画像処理部41と照明制御手段31とは照明ケーブル32を介して、それぞれ接続されている。また画像処理部は、表示手段51と操作手段61を接続している。さらに画像処理部には、必要に応じて外部機器であるPLC(Programable Logic Controller)やコンピュータ等と接続することもできる。 FIG. 1 shows a block diagram of an image inspection apparatus according to Embodiment 1 of the present invention. The image inspection apparatus 1 shown in this figure includes an imaging unit 11 that images a workpiece WK from a certain direction, an illumination unit that illuminates the workpiece WK from three or more different illumination directions, and each illumination unit in order of lighting. Illumination control means 31 for lighting, and an image processing section 41 connected to the illumination control means and the imaging means for controlling them are provided. The image processing unit 41 and the imaging unit are connected via the imaging cable 12, and the image processing unit 41 and the illumination control unit 31 are connected via the illumination cable 32, respectively. The image processing unit connects the display unit 51 and the operation unit 61. Furthermore, the image processing unit can be connected to an external device such as a PLC (Programmable Logic Controller) or a computer as necessary.
撮像手段は、照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークWKを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像する。 The imaging unit captures a plurality of partial illumination images having different illumination directions by imaging the workpiece WK from a certain direction at an illumination timing at which each illumination unit is turned on by the illumination control unit.
画像処理部は、撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、照明方向を仮定した仮定照明方向におけるワークの表面のソース画像を、複数の異なる仮定照明方向毎に生成するソース画像生成手段として機能する。ソース画像生成手段は、具体的には、法線ベクトル算出手段41aと、輪郭画像生成手段41bと、テクスチャ抽出画像生成手段41cと、検査領域特定手段41dと、画像処理手段41eと、判定手段41fの機能を実現する。法線ベクトル算出手段41aは、撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークWKの表面に対する法線ベクトルnを算出する。輪郭画像生成手段41bは、算出された各画素の法線ベクトルnに対して、X方向及びY方向に微分処理を施し、ワークWK表面の傾きの輪郭を示す輪郭画像を生成する。テクスチャ抽出画像生成手段41cは、照明手段による照明する回数個ある、算出された各画素の法線ベクトルnから、各画素のアルベドを算出し、アルベドから、ワークWKの表面の傾きの影響を除去した模様を示すテクスチャ抽出画像を生成する。検査領域特定手段41dは、生成された輪郭画像に対して検査対象となる検査領域の位置を特定する。画像処理手段41eは、特定された検査領域内の傷を検出するための画像処理を施す。判定手段41fは、処理結果に基づいて、ワークWK表面の傷の有無を判定する。 The image processing unit uses a pixel value for each pixel having a correspondence relationship between a plurality of partial illumination images captured by the imaging unit, and based on the photometric stereo method, the image processing unit It functions as source image generation means for generating a source image of the surface for each of a plurality of different assumed illumination directions. Specifically, the source image generation means includes a normal vector calculation means 41a, a contour image generation means 41b, a texture extraction image generation means 41c, an inspection region specification means 41d, an image processing means 41e, and a determination means 41f. Realize the function. The normal vector calculation unit 41a calculates a normal vector n with respect to the surface of the work WK of each pixel by using pixel values for each pixel having a correspondence relationship among the plurality of partial illumination images captured by the imaging unit. . The contour image generation unit 41b performs a differentiation process on the calculated normal vector n of each pixel in the X direction and the Y direction to generate a contour image indicating the contour of the inclination of the workpiece WK surface. The texture extraction image generating unit 41c calculates the albedo of each pixel from the calculated normal vector n of each pixel that is illuminated by the illuminating unit, and removes the influence of the surface inclination of the workpiece WK from the albedo. A texture extraction image showing the processed pattern is generated. The inspection area specifying unit 41d specifies the position of the inspection area to be inspected with respect to the generated contour image. The image processing unit 41e performs image processing for detecting a flaw in the specified inspection area. The determination unit 41f determines the presence or absence of a scratch on the surface of the workpiece WK based on the processing result.
撮像手段と照明手段とは、別個の部材として配置可能としている。これによって自由度の高いレイアウトが可能となる。一例として、図2の模式平面図及び図3の模式側面図に示すように、ステージSG上に載置されたワークWKの真上に、光軸を鉛直方向に向けた撮像手段11を配置する。また撮像手段11の周囲の東西南北の方位に、4個の照明手段、すなわち第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24を、同一の高さに配置する。配置された撮像手段と各照明手段の位置関係は、画像検査装置側で記録される。照明制御手段により所定の照明タイミングで各照明手段を順次点灯させて、共通の撮像手段でもって、ワークを一定の方向から撮像して部分照明画像を取得する。 The imaging unit and the illumination unit can be arranged as separate members. This enables a layout with a high degree of freedom. As an example, as shown in the schematic plan view of FIG. 2 and the schematic side view of FIG. 3, the imaging unit 11 with the optical axis directed in the vertical direction is disposed directly above the work WK placed on the stage SG. . Further, the four illumination means, that is, the first illumination means 21, the second illumination means 22, the third illumination means 23, and the fourth illumination means 24 are arranged at the same height in the east, west, north, and south directions around the imaging means 11. Deploy. The positional relationship between the imaging unit arranged and each illumination unit is recorded on the image inspection apparatus side. Each illumination means is sequentially turned on at a predetermined illumination timing by the illumination control means, and the workpiece is imaged from a certain direction with the common imaging means to obtain a partial illumination image.
なお、撮像手段と照明手段とは、別個の部材とする構成に限らず、これらをアーム等を介して一体に構成してもよい。この場合は、予め撮像手段と照明手段の位置関係が固定されているため、光軸を一致させるといった調整作業を不要とできる。ただし、この構成では自由度が失われる。
(撮像手段)
Note that the imaging unit and the illumination unit are not limited to being configured as separate members, and may be configured integrally via an arm or the like. In this case, since the positional relationship between the imaging unit and the illumination unit is fixed in advance, it is possible to eliminate the adjustment work of matching the optical axes. However, this configuration loses flexibility.
(Imaging means)
撮像手段11は、例えば、CCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)イメージャ等の撮像素子が利用できる。撮像素子で被写体の画像を光電変換して画像信号を出力し、出力された画像信号を信号処理ブロックが輝度信号と色差信号とに変換して、撮像ケーブル12で接続された画像処理部41に出力する。
(照明手段)
As the imaging means 11, for example, an imaging element such as a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal Oxide Semiconductor) imager can be used. The image of the subject is photoelectrically converted by the imaging device to output an image signal, and the output image signal is converted into a luminance signal and a color difference signal by the signal processing block, and the image processing unit 41 connected by the imaging cable 12 is connected. Output.
(Lighting means)
照明手段21、22、23、24は、ワークWKに対して、異なる照明方向から照明光を照射できるよう、図2の模式平面図に示すようにワークWKの周囲をとり囲むように配置される。また図3の模式側面図に示すように、各照明手段は、光軸を斜め下方に向けて設置される。各照明手段で照明されたワークを、共通の撮像手段で撮像できるよう、撮像手段の光軸と、照明手段を設けた平面(仮想回転面)の中心軸とを一致させることが好ましい。また、照明手段同士の間隔(中心軸からの方位角)は、360°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。さらにまた、各照明手段とワークとの距離も、一定とすること好ましい。このようにすることで、フォトメトリックステレオ処理の演算に必要な方位角や天頂角情報の入力を簡易化できる。また後述の通り、全灯画像MCを撮像する際はすべての照明手段を点灯した全灯状態で撮像するため、上記状態にすれば、全照明の強さを均等に弱めるだけで、ムラの少ない照明状態で撮像できる。 The illumination means 21, 22, 23, and 24 are arranged so as to surround the work WK as shown in the schematic plan view of FIG. 2 so that the work WK can be irradiated with illumination light from different illumination directions. . Further, as shown in the schematic side view of FIG. 3, each illuminating means is installed with its optical axis obliquely downward. It is preferable that the optical axis of the imaging unit and the central axis of the plane (virtual rotation plane) provided with the illumination unit coincide with each other so that the workpiece illuminated by each illumination unit can be imaged by the common imaging unit. Moreover, it is preferable to arrange | position 360 degrees equally as the space | interval (azimuth angle from a central axis) between illumination means, dividing | segmenting equally by the number of illumination means. Furthermore, the zenith angle is preferably constant for all illumination means. Furthermore, it is preferable that the distance between each illumination means and the workpiece is also constant. By doing so, it is possible to simplify the input of azimuth and zenith angle information necessary for the calculation of photometric stereo processing. As will be described later, when capturing the all-lamp image MC, since all the illumination means are imaged in the all-lamp state, the above-described state reduces the intensity of all the illuminations evenly and reduces unevenness. Images can be taken under illumination.
図1の例では、第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24の4つで構成される。各照明手段は、白熱球や蛍光灯等が利用できる。特に、発光ダイオード(Light Emitting Diode:LED)等の半導体発光素子は、消費電力が少なく長寿命で応答性にも優れ、好ましい。各照明手段は、図1に示すように、それぞれに対応するケーブル71、72、73、74を介して、照明分岐ユニット75に接続され、さらにケーブル76を介して、照明制御手段31に接続されている。
(照明分岐ユニット)
In the example of FIG. 1, the first illumination unit 21, the second illumination unit 22, the third illumination unit 23, and the fourth illumination unit 24 are configured. Each illumination means can use an incandescent bulb or a fluorescent lamp. In particular, a semiconductor light emitting element such as a light emitting diode (LED) is preferable because it consumes less power and has a long life and excellent responsiveness. As shown in FIG. 1, each lighting unit is connected to the lighting branching unit 75 via cables 71, 72, 73, 74 corresponding to each lighting unit, and further connected to the lighting control unit 31 via a cable 76. ing.
(Lighting branch unit)
照明分岐ユニットは、各照明手段を照明制御手段と接続するためのインターフェースである。具体的には、照明手段から延長された照明ケーブルを接続するための照明接続コネクタを設けている。図1の例では、4つの照明手段を接続するよう、4つの照明接続コネクタを設けている。この際、照明ケーブルを正しく照明接続コネクタに接続するよう、設置補助手段としてマーク等を設けてもよい。各照明手段の照明メーブルを、照明分岐ユニットの照明接続コネクタに正しく接続することで、照明制御手段でもって正しい順序で正しい方向から照明手段を点灯でき、さらに各照明タイミングと同期させて撮像手段を動作させることで、部分照明画像を撮像できる。なお、照明分岐ユニットは、図1の例では照明制御手段と別体に設けられているが、この構成に限られず、例えば照明制御手段に照明分岐ユニットを組み込んでもよい。 The illumination branching unit is an interface for connecting each illumination unit to the illumination control unit. Specifically, an illumination connection connector for connecting an illumination cable extended from the illumination means is provided. In the example of FIG. 1, four illumination connection connectors are provided so as to connect the four illumination means. At this time, a mark or the like may be provided as installation assistance means so that the illumination cable is correctly connected to the illumination connection connector. By correctly connecting the illumination table of each illumination means to the illumination connection connector of the illumination branch unit, the illumination means can be lit in the correct direction in the correct order by the illumination control means, and the imaging means can be synchronized with each illumination timing. A partial illumination image can be taken by operating. The illumination branching unit is provided separately from the illumination control unit in the example of FIG. 1, but is not limited to this configuration. For example, the illumination branching unit may be incorporated in the illumination control unit.
照明手段21、22、23、24の照明色は、ワークWKのタイプに応じて変更することもできる。例えば、細かい傷を検査したい場合には、波長が短い青色が好適である。また、着色されたワークを検査するときは、照明の色が邪魔にならないように、白色の照明を使うのが好ましい。さらに、ワークに油が付いているときには、その影響を防ぐために、赤色の照明を採用するとよい。 The illumination colors of the illumination means 21, 22, 23, and 24 can be changed according to the type of the work WK. For example, when it is desired to inspect a fine scratch, blue having a short wavelength is suitable. When inspecting a colored workpiece, it is preferable to use white illumination so that the illumination color does not get in the way. Furthermore, when oil is attached to the workpiece, red illumination may be employed to prevent the influence.
また照明手段は、上述した図1〜図3の例では4個としているが、異なる三以上の照明方向からワークWKを照明できるよう、少なくとも3個あれば足りる。照明手段の数を増やすと、より多くの照明方向から部分照明画像が得られるため、画像検査の精度を向上できる。例えば、北東、北西、南東、南西の方位を加えて全部で8個配置してもよい。また、照明手段同士の間隔(中心軸からの方位角)は、360°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。なお、処理すべき画像の枚数が増えることで処理量が増え、処理時間が遅くなる。本実施の形態においては、処理速度と演算処理のし易さ、精度等のバランスを考慮して、上述の通り照明手段の数を4個としている。 In the example of FIGS. 1 to 3 described above, the number of illumination means is four. However, at least three illumination means are sufficient so that the workpiece WK can be illuminated from three or more different illumination directions. When the number of illumination means is increased, partial illumination images can be obtained from more illumination directions, so that the accuracy of image inspection can be improved. For example, you may arrange | position eight in total including the northeast, northwest, southeast, and southwest direction. Moreover, it is preferable to arrange | position 360 degrees equally as the space | interval (azimuth angle from a central axis) between illumination means, dividing | segmenting equally by the number of illumination means. Furthermore, the zenith angle is preferably constant for all illumination means. Note that the amount of processing increases as the number of images to be processed increases, and the processing time is delayed. In the present embodiment, the number of illumination means is set to four as described above in consideration of the balance between processing speed, ease of arithmetic processing, accuracy, and the like.
また、照明手段を、環状に配置された複数個の発光素子で構成することもできる。例えば図4に示す実施形態2に係るリング照明では、環状に配置された発光素子を4つの照明ブロックに分割している。そして照明制御手段が、第一照明ブロックを第一照明手段、第二照明ブロックを第二照明手段、第三照明ブロックを第三照明手段、第四照明ブロックを第四照明手段として、それぞれの照明ブロックの照明タイミングを異ならせることで、4つの別個の照明手段が存在するのと同様に制御できる。 Further, the illumination means can be constituted by a plurality of light emitting elements arranged in an annular shape. For example, in the ring illumination according to the second embodiment illustrated in FIG. 4, the annular light emitting element is divided into four illumination blocks. The illumination control means uses the first illumination block as the first illumination means, the second illumination block as the second illumination means, the third illumination block as the third illumination means, and the fourth illumination block as the fourth illumination means. By making the illumination timing of the blocks different, it can be controlled in the same way as there are four separate illumination means.
またこの構成であれば、同一のリング照明を用いて、照明手段の数を任意に変更できる利点も得られる。すなわち、各発光素子の点灯を照明制御手段で任意に制御できる場合は、図5に示すように、環状に配列された発光素子の円周を4区分から5区分に分割するように照明ブロックを変更し、5つの照明ブロックをそれぞれ点灯させる照明タイミングをずらして各部分照明画像を撮像するように照明制御手段で制御することで、5つの照明方向からの部分照明画像を取得できる。さらに同様に環状の円周を6分割、7分割に変更すれば、照明方向をさらに増やすことができる。また、常時一定の照明ブロックにて部分照明画像を取得する構成に限らず、周期毎に照明ブロックを変更してもよい。このように、各発光素子の点灯パターンを調整することで、同一のリング照明を用いて、仮想的に照明ブロックの数を変更し、照明手段の数を調整するのと同様の効果を得ることができる。言い換えると、共通のハードウェアでもって異なる精度に対応できる。 Further, with this configuration, there is an advantage that the number of illumination means can be arbitrarily changed using the same ring illumination. That is, when the lighting control means can arbitrarily control the lighting of each light emitting element, as shown in FIG. 5, the illumination block is divided so that the circumference of the annularly arranged light emitting elements is divided into 4 sections to 5 sections. The partial illumination images from the five illumination directions can be acquired by controlling the illumination control unit so that the partial illumination images are captured by shifting the illumination timing for lighting the five illumination blocks. Similarly, if the annular circumference is changed to 6 divisions and 7 divisions, the illumination direction can be further increased. Moreover, you may change an illumination block for every period, not only the structure which acquires a partial illumination image with a constant illumination block at all times. In this way, by adjusting the lighting pattern of each light emitting element, the same effect as the case of virtually changing the number of illumination blocks and adjusting the number of illumination means using the same ring illumination can be obtained. Can do. In other words, common hardware can handle different accuracies.
さらに照明手段は、円環状に配置する他、実施形態3として図6の模式平面図に示すように、バー状に構成された照明手段を矩形状に配置したり、実施形態4として図7の模式平面図に示すように、多角形状に配置することもできる。 Furthermore, the illumination means is arranged in an annular shape, and as shown in the schematic plan view of FIG. 6 as Embodiment 3, the illumination means configured in a bar shape is arranged in a rectangular shape, or as Embodiment 4 in FIG. As shown in the schematic plan view, they can be arranged in a polygonal shape.
あるいは、照明手段を円や多角形の環状に配置する他、平面状に配置することもできる。例えば、多数の発光素子を平面状に配置し、点灯する照明ブロックを変化させることで、異なる照明方向を実現することもできる。具体的には、図8に示す変形例に係る照明手段のように、同心円状の円環を複数重ねた照明ユニット20’を構成し、半径の異なる各円環をそれぞれ照明ブロックとして照明手段を構成する。あるいは、図9に示す他の変形例に係る照明手段のように、ドットマトリックス状に発光素子を並べた照明ユニット20”としつつ、中心を通る複数の線分で分割した照明ブロックでもって照明手段を構成してもよい。このように本発明において照明手段や照明方向とは、必ずしも物理的に離間された照明に限られず、一の照明手段を複数に分割した照明ブロックでもって、照明を行う構成も含む意味で使用する。 Alternatively, the illumination means can be arranged in a planar shape in addition to the circular or polygonal ring shape. For example, different illumination directions can be realized by arranging a large number of light emitting elements in a plane and changing the illumination block to be lit. Specifically, like the illumination unit according to the modification shown in FIG. 8, the illumination unit 20 ′ is configured by stacking a plurality of concentric rings, and the illumination unit is configured with each ring having a different radius as an illumination block. Configure. Alternatively, as in the illumination unit according to another modified example shown in FIG. 9, the illumination unit 20 ″ is a lighting unit in which light emitting elements are arranged in a dot matrix, and the illumination unit is divided by a plurality of line segments passing through the center. Thus, in the present invention, the illumination means and the illumination direction are not necessarily limited to physically separated illumination, and illumination is performed with an illumination block in which one illumination means is divided into a plurality of parts. It is used in the meaning including the structure.
なお、本実施例においては各照明手段による部分照明光が撮像範囲内で並行光であるとの前提で処理している。部分照明光が平行光である限り、照明光の方向(例えば東西南北のいずれか)だけが問題となり、その詳細な位置、例えば照明手段の光源の座標位置等は考慮する必要はない。
(照明制御手段)
In the present embodiment, processing is performed on the assumption that the partial illumination light from each illumination means is parallel light within the imaging range. As long as the partial illumination light is parallel light, only the direction of the illumination light (for example, any one of east, west, south, and north) becomes a problem, and its detailed position, for example, the coordinate position of the light source of the illumination means, does not need to be considered.
(Lighting control means)
照明制御手段は、三以上の照明手段を一ずつ点灯順に点灯させるもしくは同時に点灯させると共に、各照明手段を点灯させる照明タイミングにて、ワークを撮像手段で一定の方向から撮像するよう、各照明手段と撮像手段を同期させるように制御する。いいかえると照明制御手段は、照明手段による照明タイミングと、撮像手段による撮像タイミングとを同期させる。また照明制御手段が各照明手段を点灯させる点灯順は、ワークの周囲を取り囲むように配置された照明手段を、時計回り、反時計回りといった順で点灯させる他、離散的な順序、例えば一つおきや交差するような順としてもよい。どのような順であっても、各照明タイミングで撮像された部分照明画像が、どの照明方向の照明にて撮像されたものであるかを把握できれば、フォトメトリックステレオ法に基づいて法線ベクトル画像を構築できる。 The lighting control means turns on the three or more lighting means one by one in the order of lighting or simultaneously turns them on, and simultaneously illuminates each workpiece so that the workpiece is imaged from a fixed direction at the lighting timing at which each lighting means is turned on. And the imaging means are controlled to be synchronized. In other words, the illumination control means synchronizes the illumination timing by the illumination means and the imaging timing by the imaging means. Further, the lighting control means turns on each lighting means by lighting the lighting means arranged so as to surround the work in the order of clockwise or counterclockwise, or in a discrete order, for example, one It may be in the order of crossing every other. Normal vector images based on the photometric stereo method can be used as long as the partial illumination images captured at each illumination timing are captured in which illumination direction in any order. Can be built.
なお図1の実施形態1では、照明制御手段31は、画像処理部41と別体として設けられているが、この構成に限られない。例えば、図10に示す実施形態5のように、画像処理部41と一体化されていてもよいし、あるいは図11に示す実施形態6のように、照明手段25に内蔵されていてもよい。
(画像処理部)
In Embodiment 1 of FIG. 1, the illumination control unit 31 is provided as a separate body from the image processing unit 41, but is not limited to this configuration. For example, it may be integrated with the image processing unit 41 as in the fifth embodiment shown in FIG. 10, or may be built in the illumination means 25 as in the sixth embodiment shown in FIG.
(Image processing unit)
画像処理部41は、撮像手段11及び照明手段21、22、23、24の動作を制御するとともに、撮像手段11から入力された4つの部分照明画像の画像信号Q1〜Q4を用いて、各画素における面の法線ベクトル画像(以下、「傾き画像」という。)を生成し、傾き画像のX方向及びY方向の第2次の傾き画像(以下、「輪郭抽出画像」という。)や、アルベド(albedo、反射率を意味する。)画像(以下、「テクスチャ抽出画像」ともいう。)を作成し、それらの画像を用いて、傷の検査や文字の検出等を行うための処理をする。なお、傷の検査や文字の検出等を行うための処理は、画像処理部41で処理する構成に限らず、例えばPLC81等の外部部機器側で実行させることもできる。 The image processing unit 41 controls the operations of the imaging unit 11 and the illumination units 21, 22, 23, and 24, and uses the image signals Q <b> 1 to Q <b> 4 of the four partial illumination images input from the imaging unit 11. A normal vector image (hereinafter referred to as an “inclined image”) of the surface at, and a second-order inclined image (hereinafter referred to as an “outline extracted image”) in the X and Y directions of the inclined image, or an albedo. (Albedo, meaning reflectance) An image (hereinafter also referred to as “texture extraction image”) is created, and processing for performing scratch inspection, character detection, and the like is performed using these images. Note that the processing for performing a flaw inspection, character detection, and the like is not limited to the configuration processed by the image processing unit 41, and can be executed by an external device such as the PLC 81, for example.
図12は、画像処理部41の信号処理系42を示している。信号処理系42は、CPU43、メモリ44、ROM45、表示手段51、ポインティングデバイス等の操作手段61、撮像手段11、照明制御手段31、結果出力処理を実行するPLC(プログラマブル・ロジック・コントローラ)81より構成されており、これらは、バス46やケーブル12、32、52、62、82を介して互いに接続されている。なお、ROM45は、可搬メディアであってもよい。また表示手段51を、例えばタッチパネルとする等、操作手段61と兼用させてもよい。 FIG. 12 shows a signal processing system 42 of the image processing unit 41. The signal processing system 42 includes a CPU 43, a memory 44, a ROM 45, a display unit 51, an operation unit 61 such as a pointing device, an imaging unit 11, an illumination control unit 31, and a PLC (programmable logic controller) 81 that executes a result output process. These are connected to each other via a bus 46 and cables 12, 32, 52, 62, 82. The ROM 45 may be a portable medium. Further, the display unit 51 may be combined with the operation unit 61 such as a touch panel.
CPU43は、ROM45に格納されているプログラムに基づいて、メモリ44、ROM45、表示手段51、操作手段61、撮像手段11、照明制御手段31、PLC81の相互間でのデータの送受を制御したり、表示手段51、撮像手段11、照明制御手段31の制御を行っている。 The CPU 43 controls transmission / reception of data between the memory 44, the ROM 45, the display unit 51, the operation unit 61, the imaging unit 11, the illumination control unit 31, and the PLC 81 based on a program stored in the ROM 45, Control of the display means 51, the imaging means 11, and the illumination control means 31 is performed.
画像処理部41は、例えば、プログラムが格納された1台のコンピュータを想定しているが、複数のコンピュータの組み合わせにより各手段が構成されるようにしてもよいし、一部の手段を専用の回路により構成してもよい。あるいは、ASICのように専用設計された部材とすることもできる。
(判定手段)
For example, the image processing unit 41 is assumed to be a single computer in which a program is stored. However, each unit may be configured by a combination of a plurality of computers, or some of the units may be dedicated. You may comprise by a circuit. Or it can also be set as the member designed exclusively like ASIC.
(Judgment means)
画像処理部41は上述の通り、判定手段の機能を実現する。判定手段は、得られたテクスチャ抽出画像に基づいて、傷の有無や大きさの検査を行う。例えば所定の閾値以上の場合に傷であると判定する。また、判定手段は必要に応じて輪郭抽出画像に基づいてOCRを行い、認識された文字列を出力することもできる。
(基本原理)
As described above, the image processing unit 41 realizes the function of the determination unit. The determination means inspects the presence / absence and size of the scratch based on the obtained texture extraction image. For example, if it is equal to or greater than a predetermined threshold, it is determined that it is a scratch. In addition, the determination unit can perform OCR based on the contour extraction image as necessary and output a recognized character string.
(Basic principle)
次に、以上の画像検査装置を用いて、ワークの外観検査を行う基本原理について、従来技術である特許文献1の技術と対比しながら説明する。まず特許文献1に開示された技術の基本原理は、フォトメトリックステレオ法の原理を利用し、未知の面に対して、様々な方向から光を当てて、ワークの反射光の違いを利用してワークの形を推定しようとするものである。ワークの反射光は、照明の入射角度、照明の距離等を反映し、入射角度が90°になるところが最も明るくなり、照明との距離が離れれば離れるほど暗くなる性質がある。 Next, the basic principle of performing an appearance inspection of a workpiece using the above-described image inspection apparatus will be described in comparison with the technique of Patent Document 1 which is a conventional technique. First, the basic principle of the technique disclosed in Patent Document 1 is based on the principle of the photometric stereo method. Light is applied to an unknown surface from various directions, and the difference in reflected light of the workpiece is used. It is intended to estimate the shape of the workpiece. The reflected light of the work reflects the incident angle of the illumination, the distance of the illumination, etc., and has the property that the portion where the incident angle is 90 ° is brightest and becomes darker as the distance from the illumination increases.
この性質を利用して、明るさと位置が既知である照明を複数個用意して、照明の点灯を順に切り替えていき、それぞれの点において、各方向の照明から照射されたときの反射光の明るさの違いを利用して表面がどちらを向いているかを推定する。具体的には、傾き画像のX成分Y成分を、X成分の輝度に置き換えたX成分画像やY成分の輝度に置き換えたY成分画像を作成して検査に応用しようとするものである。 Using this property, prepare multiple illuminations with known brightness and position, switch the lighting on in order, and the brightness of the reflected light when illuminated from each direction of illumination at each point Use the difference to estimate which direction the surface is facing. Specifically, an X component image in which the X component Y component of the tilt image is replaced with the luminance of the X component and a Y component image in which the luminance of the Y component is replaced are created and applied to the inspection.
しかしながら、この方法は、照明やワークの設置面の僅かな傾きや、元々入力している照明の位置等の入力情報の過誤に対して、得られる検査画像が大きく変化してしまう等、ロバスト性に劣るという問題があった。例えば、実際には凸凹がないのに凸凹の画像になったり、あるいは照明に対しては通常、近くが明るく見えるところ、明るさの変化によってワークの中央が盛り上がったような画像に見えるといった、ワークの実際の形状に即した検査画像が必ずしも得られないという欠点があった。 However, this method has robustness such as a slight change in the lighting or workpiece installation surface, or an error in input information such as the position of the originally input lighting, resulting in a large change in the obtained inspection image. There was a problem of being inferior. For example, a work that has an uneven image with no actual unevenness, or that appears to be bright in the vicinity of lighting, but appears to be an image where the center of the work is raised due to changes in brightness. However, there is a drawback that an inspection image conforming to the actual shape cannot always be obtained.
これに対して、本実施の形態に係る画像検査技術の基本原理は、フォトメトリックステレオ法を利用して第1次の傾き画像を生成することを出発点としながらも、得られた第1次の傾き画像をX方向及びY方向に微分処理して第2次の傾き画像、すなわち、輪郭抽出画像を作成し、その画像を用いて、傷の検査等を行うものである。第2次の傾き画像は、前述の欠点が生ずるようなケースであっても、その影響が小さく、面の傾き変化の大きいところが暗くなる階調とする一方、面の傾き変化の小さいところが明るくなる階調と設定することで、ワークの表面の傾きが大きく変化する傷や輪郭等を抽出するのに好適な画像となる。 On the other hand, the basic principle of the image inspection technique according to the present embodiment is that the obtained first order is obtained while generating a first-order tilt image using the photometric stereo method. The second tilt image, that is, the contour extraction image, is generated by differentiating the tilt image in the X direction and the Y direction, and the image is inspected for scratches and the like. Even in the case where the above-mentioned drawbacks occur, the second-order tilt image has a small effect, and the portion where the change in the surface inclination is large is darkened while the portion where the change in the surface inclination is small is bright. By setting the gradation, an image suitable for extracting scratches, contours, and the like that greatly change the inclination of the surface of the workpiece is obtained.
また、特許文献1に開示された技術では、フォトメトリックステレオ法を利用して生成した反射率画像(テクスチャ抽出画像に相当。)は、ハレーションが起きてしまい、文字の検出等が困難な場合があった。これに対して、本実施の形態に係る画像検査技術は、基本的には、2つの照明でしか同じ箇所ではハレーションしないという基本原理を利用して、各画素において、例えば4つの画素値の内、上から3つ目の画素値を採用することで、ハレーションの影響を取り除くようにしている。 Further, with the technique disclosed in Patent Document 1, the reflectance image (corresponding to a texture extracted image) generated by using the photometric stereo method may cause halation and it may be difficult to detect characters. there were. On the other hand, the image inspection technique according to the present embodiment basically uses the basic principle that halation is performed at the same location with only two illuminations. By adopting the third pixel value from the top, the influence of halation is removed.
加えて、特許文献1に開示された画像処理装置は、カメラと照明用の光源を一体に構成しているが、この構成では、カメラと光源が大型化して、設置に際して大きさの制約を受けるという問題もあった。これに対して本実施の形態に係る画像検査装置では、撮像手段と照明手段を別個の部材とできるので、配置スペースを考慮したより柔軟な設置が可能となって、使い勝手の面でも有利となる。
(フォトメトリックステレオ法の基本原理)
In addition, the image processing apparatus disclosed in Patent Document 1 integrally includes a camera and a light source for illumination. However, in this configuration, the camera and the light source are enlarged, and the size is restricted during installation. There was also a problem. On the other hand, in the image inspection apparatus according to the present embodiment, since the imaging unit and the illumination unit can be separate members, more flexible installation is possible in consideration of the arrangement space, which is advantageous in terms of usability. .
(Basic principle of photometric stereo method)
ここで、図13A〜図13Dを参照しながら、フォトメトリックステレオ法の基本原理について説明する。まず、図13Aに示すように、未知の拡散反射面S、及び明るさと位置が既知の複数の照明(この例では第一照明手段L1と第二照明手段L2の2個)がある場合を想定する。例えば図13Bに示すように、第一照明手段L1から光を照射すると、拡散反射面Sの表面における拡散反射光は、(1)照明の明るさ(既知)、(2)照明の向き(既知)、(3)ワークWKの表面の向き(法線ベクトルn)、(4)ワークWKの表面のアルベドのパラメータのみで決定される。 Here, the basic principle of the photometric stereo method will be described with reference to FIGS. 13A to 13D. First, as shown in FIG. 13A, it is assumed that there is an unknown diffuse reflection surface S and a plurality of illuminations whose brightness and position are known (in this example, two of the first illumination unit L1 and the second illumination unit L2). To do. For example, as shown in FIG. 13B, when light is irradiated from the first illumination means L1, the diffuse reflection light on the surface of the diffuse reflection surface S is (1) brightness of illumination (known), (2) direction of illumination (known) ), (3) surface orientation of workpiece WK (normal vector n), and (4) surface albedo parameter of workpiece WK.
そこで、図13B及び図13Cに示すように、複数の異なる照明方向、具体的には三以上の照明方向から照明光が投光されたときの拡散反射光からなる部分照明画像を、それぞれ撮像手段で撮影する。そして図13Dに示すように、3以上の部分照明画像を入力画像とすることで、未知である(3)ワークWK表面の向き(法線ベクトルn)、(4)ワークWK表面のアルベドを、以下の関係式に基づいて算出できる。
I=ρLSn
Therefore, as shown in FIG. 13B and FIG. 13C, each of the partial illumination images composed of the diffuse reflected light when the illumination light is projected from a plurality of different illumination directions, specifically, three or more illumination directions, is respectively imaged. Shoot with. Then, as shown in FIG. 13D, by using three or more partial illumination images as input images, the unknown (3) orientation of the workpiece WK surface (normal vector n), (4) the albedo of the workpiece WK surface, It can be calculated based on the following relational expression.
I = ρLSn
上式において、
ρ:アルベド
L:照明の明るさ
S:照明方向行列
n:表面の法線ベクトル
I:画像の階調値
In the above formula,
ρ: albedo L: illumination brightness S: illumination direction matrix n: surface normal vector I: image gradation value
上式から、照明手段が3つの場合、次式で表すことができる。 From the above formula, when there are three illumination means, it can be expressed by the following formula.
また照明手段が4つの場合は、次式で表すことができる。 Moreover, when there are four illumination means, it can be expressed by the following equation.
上式より、法線ベクトルnは、次式で表現できる。
n=1/ρL・S+I
From the above equation, the normal vector n can be expressed by the following equation.
n = 1 / ρL · S + I
上式において、
S+:正方行列であれば、普通の逆行列
S+:縦長行列の逆行列は以下の式で表現されるムーアペンローズの擬似逆行列
S+=(StS)-1St
で求める。
(アルベド)
In the above formula,
If S + : square matrix, ordinary inverse matrix S + : inverse matrix of vertical matrix is Moore-Penrose pseudo inverse matrix S + = (S t S) −1 St
Ask for.
(Albedo)
さらにアルベドρは、次式で表現できる。
ρ=|I|/|LSn|
(2−2.輪郭抽出画像)
Further, the albedo ρ can be expressed by the following equation.
ρ = | I | / | LSn |
(2-2. Outline extraction image)
次に、フォトメトリックステレオ法で傾き画像を生成すると共に、得られた傾き画像から、傷や輪郭等のワークの表面情報を得る方法について説明する。
(傾き画像)
Next, a method of generating a tilt image by the photometric stereo method and obtaining surface information of a workpiece such as a scratch or a contour from the obtained tilt image will be described.
(Tilt image)
まず、傾き画像の生成方法について説明する。ワークの曲面をSとするとき、傾き画像は次式で与えられる。
x方向:δs/δx、y方向:δs/δy
First, a tilt image generation method will be described. When the curved surface of the workpiece is S, the tilt image is given by the following equation.
x direction: δs / δx, y direction: δs / δy
ここで傾き画像の例として、ワークとして一円玉を用いた例を図14A、図14Bに示す。図14Aは、法線方向のY座標成分画像、図14Bは法線方向のX座標成分画像である。ここでは、4つの照明方向から撮像した部分照明画像を用いて、Y方向(図において垂直方向)に微分することで図14Aに示す傾き画像を、またX方向(図において水平方向)に微分することで図14Bに示す傾き画像を図14Bを、それぞれ得ている。 Here, as an example of the tilt image, an example in which a one-yen coin is used as a work is shown in FIGS. 14A and 14B. FIG. 14A is a Y coordinate component image in the normal direction, and FIG. 14B is an X coordinate component image in the normal direction. Here, using the partial illumination images captured from the four illumination directions, the inclination image shown in FIG. 14A is differentiated in the X direction (horizontal direction in the figure) by differentiating in the Y direction (vertical direction in the figure). Thus, the tilt image shown in FIG. 14B is obtained as shown in FIG. 14B.
ここで、傷や輪郭等はワーク表面の傾きが変化する箇所なので、傾き画像をそれぞれの方向に微分する。第2次の傾き画像は、次式で与えられる。
x方向:δ2s/δx2、y方向:δ2s/δy2
(輪郭抽出画像)
Here, since the scratches, contours, and the like are places where the tilt of the workpiece surface changes, the tilt image is differentiated in each direction. The second-order tilt image is given by the following equation.
x direction: δ 2 s / δx 2 , y direction: δ 2 s / δy 2
(Outline extraction image)
以上から、x方向、y方向の傾き画像の部分δ2s/δx2、δ2s/δy2を合成して、ワークの輪郭や傷情報を含む輪郭抽出画像を生成する。輪郭抽出画像Eは、次式で与えられる。
E=δ2s/δx2+δ2s/δy2
From the above, the portions δ 2 s / δx 2 and δ 2 s / δy 2 of the tilt image in the x direction and the y direction are synthesized to generate a contour extracted image including the contour of the workpiece and flaw information. The contour extraction image E is given by the following equation.
E = δ 2 s / δx 2 + δ 2 s / δy 2
上式において、Eは輪郭情報、Sはワークの曲面をそれぞれ示している。図14A、図14Bから演算された輪郭抽出画像の例を、図14Cに示す。輪郭抽出画像は、高い部分が白色、低い部分が黒色となるように、画像の濃淡(輝度)で高さを表現している。
(微分合成方法)
In the above equation, E indicates contour information, and S indicates the curved surface of the workpiece. An example of the contour extraction image calculated from FIGS. 14A and 14B is shown in FIG. 14C. In the contour extracted image, the height is expressed by shading (brightness) of the image so that the high portion is white and the low portion is black.
(Differential synthesis method)
以上のような輪郭抽出画像の生成に際して行われる微分合成方法としては、(1)単純加算、(2)多重解像度、(3)二乗和等が挙げられる。
(1:単純加算)
Examples of the differential synthesis method performed when generating the contour extracted image as described above include (1) simple addition, (2) multi-resolution, and (3) sum of squares.
(1: Simple addition)
ここで(1)の単純加算は、各画素におけるX,Y傾き画像の微分の和である。
(2:多重解像度)
Here, the simple addition in (1) is the sum of the differentiation of the X and Y tilt images at each pixel.
(2: Multi-resolution)
また(2)の多重解像度は、傾き画像を異なる縮小率で縮小した縮小傾き画像を複数作成し、それぞれの縮小傾き画像において、(1)の方法で輪郭の強さを求める。縮小率は、例えば1/1、1/2、1/4、1/8、1/16、1/32等とする。このようにして得られた複数の縮小輪郭画像に対して、所定の重み付けを行い、拡大処理を行い、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とする。ここで重み付けを変更すれば、任意の太さの傷や輪郭等を抽出することが可能となる。
(3:二乗和)
For the multi-resolution of (2), a plurality of reduced inclination images obtained by reducing the inclination image with different reduction ratios are created, and the strength of the contour is obtained by the method of (1) in each reduced inclination image. The reduction ratio is, for example, 1/1, 1/2, 1/4, 1/8, 1/16, 1/32, or the like. The plurality of reduced contour images obtained in this way are subjected to predetermined weighting and enlargement processing, and the sum of all the enlarged reduced contour images is defined as a contour extraction image. If weighting is changed here, it becomes possible to extract a flaw, outline, etc. of arbitrary thickness.
(3: sum of squares)
さらに(3)の二乗和では、X,Y傾き画像の微分の二乗の和を輪郭の強さとする輪郭抽出画像を作成する。なお、本実施形態においては、(2)の多重解像度を採用している。 Further, in the sum of squares of (3), a contour extraction image is created in which the sum of the squares of the derivatives of the X and Y tilt images is the strength of the contour. In the present embodiment, the multi-resolution (2) is adopted.
如何なる大きさを傷として判断するかは、ユーザの用途によって異なる。例えば、10ピクセルに跨がったものを傷として判断する場合もあれば、100ピクセルに跨がっている凹んだものを傷として判断する場合もある。また、急峻なエッジだけをエッジとして抽出したい場合もある。 What size is determined as a scratch varies depending on the use of the user. For example, there may be a case where a thing straddling 10 pixels is determined as a scratch, and a case where a concave part straddling 100 pixels is determined as a scratch. In some cases, only sharp edges may be extracted as edges.
傾き画像の画素数が大きいと処理上は大きな傷となるため、大きな傷を抽出したければ、傾き画像を縮小してから(1)の方法で輪郭の強さを求めてから拡大する。一方、小さな傷を抽出したければ、重み付けをせずに(1)の方法で微分合成をすればよい。 If the number of pixels in the tilt image is large, the processing results in a large scratch. Therefore, if a large scratch is to be extracted, the tilt image is reduced and then the contour strength is obtained by the method (1) and then enlarged. On the other hand, if it is desired to extract small scratches, differential synthesis may be performed by the method (1) without weighting.
すなわち、重み付けは、合成するときに予め決められた重みのセットを用意しておき、縮小傾き画像を上記の全種類作成し、大きい傷を見たければ、より縮小した画像からの結果を重くし、小さい傷を見たければ、縮小を弱めた画像からの結果を重くする。 That is, for weighting, a set of weights determined in advance is prepared, all the above-mentioned types of reduced tilt images are created, and if you want to see large scratches, the results from the more reduced images are weighted. If you want to see small scratches, weight the results from images with reduced reduction.
ここで、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とするのは、傷は、通常、複数の周波数に跨がって検出されるため、例えば一つの周波数に限定すると、その限定した周波数で検出される傷だけを抽出してしまい、全体的にぼやけてしまうからである。
(特徴サイズ)
Here, the result of adding all the enlarged reduced contour images as the contour extraction image is that the scratch is usually detected across a plurality of frequencies. This is because only the flaws detected at the limited frequency are extracted and blurred as a whole.
(Feature size)
前述した重みのセットは、例えば、特徴サイズというパラメータを設けて、この値が1のときに一番細かい傷が検出でき、この値を上げていくと大きな傷が検出できるようにする。特徴サイズを大きくしていき、より大きな傷が検出し易い状態になったとき、ワーク表面の凸凹がより明瞭となる。そこで、特徴サイズに所定の閾値を設けて、その閾値以上になった場合を凹凸モードとして、輪郭抽出画像の特徴サイズによって、輪郭抽出モードと使い分けるようにしてもよい。 The weight set described above is provided with a parameter called feature size, for example, so that the finest scratches can be detected when this value is 1, and large scratches can be detected as this value is increased. When the feature size is increased and larger scratches are easily detected, the unevenness of the workpiece surface becomes clearer. Therefore, a predetermined threshold value may be provided for the feature size, and the case where the threshold value is equal to or greater than the threshold value may be used as the concavo-convex mode, depending on the feature size of the contour extraction image.
次に、δ2s/δx2及びδ2s/δy2の計算方法について説明する。この計算方法としては、(1)前進差分や、(2)中央差分等が挙げられる。
(1:前進差分)
Next, a method for calculating δ 2 s / δx 2 and δ 2 s / δy 2 will be described. Examples of the calculation method include (1) forward difference, (2) center difference, and the like.
(1: Forward difference)
前進差分においては、水平方向の傾き画像Gh、垂直方向の傾き画像Gvを入力として、輪郭画像Eの座標(x、y)における画素G(x,y)を、次式で計算する。 In the forward difference, the horizontal gradient image Gh and the vertical gradient image Gv are input, and the pixel G (x, y) at the coordinates (x, y) of the contour image E is calculated by the following equation.
E(x,y)=Gh(x−1,y)−Gh(x,y)+Gv(x,y−1)−Gv(x,y) E (x, y) = Gh (x-1, y) -Gh (x, y) + Gv (x, y-1) -Gv (x, y)
ここで、輪郭画像に表れる傷の情報を、模式的なプロファイルとして図15A〜図15Dに示す。これらの図において、図15Aはワークの表面情報、図15Bは傾き画像、図15Cは前身差分による輪郭画像、図15Dは中央差分による輪郭画像のプロファイルを、それぞれ示している。(1)の前進差分では、図15A、図15Cに示すように、1ピクセル単位の傷が明瞭に見えるというメリットがある。一方で、元画像に対して0.5ピクセルずれた画像が得られてしまうというデメリットもある。
(2:中央差分)
Here, the information on the scratches appearing in the contour image is shown in FIGS. 15A to 15D as schematic profiles. In these drawings, FIG. 15A shows the surface information of the workpiece, FIG. 15B shows the tilt image, FIG. 15C shows the contour image based on the forerunner difference, and FIG. 15D shows the profile of the contour image based on the center difference. In the forward difference of (1), there is an advantage that scratches in units of one pixel can be clearly seen as shown in FIGS. 15A and 15C. On the other hand, there is a demerit that an image shifted by 0.5 pixels from the original image is obtained.
(2: Central difference)
次に中央差分によるδ2s/δx2及びδ2s/δy2の計算方法について説明する。水平方向の傾き画像Gh、垂直方向の傾き画像Gvを入力として、輪郭画像Eの座標(x、y)における画素G(x,y)を、次式で計算する。 Next, a method for calculating δ 2 s / δx 2 and δ 2 s / δy 2 by the central difference will be described. The pixel G (x, y) at the coordinates (x, y) of the contour image E is calculated by the following formula using the horizontal tilt image Gh and the vertical tilt image Gv as inputs.
E(x,y)=Gh(x−1,y)−Gh(x+1,y)+Gv(x,y−1)−Gv(x,y+1) E (x, y) = Gh (x-1, y) -Gh (x + 1, y) + Gv (x, y-1) -Gv (x, y + 1)
(2)の中央差分は、図15A、図15Dに示すように、座標が元画像とずれないメリットがある一方で、結果が少しぼけてしまうというデメリットもある。
(2−3.テクスチャ抽出画像)
As shown in FIGS. 15A and 15D, the central difference of (2) has a merit that the coordinates are not shifted from the original image, but also has a demerit that the result is slightly blurred.
(2-3. Texture extraction image)
次に、フォトメトリックステレオ法で得られた傾き画像から、ワークの表面状態を除去して、文字の検出等に好適なテクスチャ抽出画像を得る方法について説明する。まず、テクスチャ情報は、ワークの表面のアルベドρから計算する。アルベドρは、次式で与えられる。 Next, a method for obtaining a texture extracted image suitable for character detection or the like by removing the surface state of the workpiece from the tilt image obtained by the photometric stereo method will be described. First, the texture information is calculated from the albedo ρ on the surface of the workpiece. The albedo ρ is given by the following equation.
ρ=|I|/|LSn| ρ = | I | / | LSn |
上式において、
ρ:アルベド
L:照明の明るさ
S:照明方向行列
n:表面の法線ベクトル
I:画像の階調値
In the above formula,
ρ: albedo L: illumination brightness S: illumination direction matrix n: surface normal vector I: image gradation value
なお上記ρ=|I|/|LSn|の式でテクスチャ抽出画像(アルベド)を1枚求めることができるが、この式で得られた法線ベクトルとN枚の入力画像(部分照明画像)から、テクスチャ抽出画像(アルベド)をN枚求めてこれを合成し、一枚のテクスチャ抽出画像(アルベド)を求めることもできる。具体的な合成の方法としては平均法、ハレーション除去法等が挙げられる。 Note that one texture extraction image (albedo) can be obtained by the above equation ρ = | I | / | LSn |. From the normal vector obtained by this equation and N input images (partial illumination images). It is also possible to obtain N texture extracted images (albedo) and synthesize them to obtain one texture extracted image (albedo). Specific methods of synthesis include an average method, a halation removal method, and the like.
図16A〜図16Cに、テクスチャ抽出画像の例を示す。これらの図において、図16Aは入力画像である4枚のテクスチャ抽出画像を示しており、図16Bはこれらに対して平均法を適用したテクスチャ抽出画像、図16Cはハレーション除去法を適用したテクスチャ抽出画像を、それぞれ示している。
(1:平均法)
Figure 16A~ Figure 16C, showing an example of a texture Extraction image. In these figures, FIG. 16A shows four texture extracted images as input images, FIG. 16B shows a texture extracted image obtained by applying an average method to these images, and FIG. 16C shows a texture extracted image obtained by applying a halation removal method. Each image is shown.
(1: Average method)
平均法は、画素毎にN個のρの平均値をその画素における画素値とするものである。図16Bに示すように、全体の陰影は消えているものの、入力画像中でハレーションが生じている部分は、フォトメトリックステレオ法で消せないため、ハレーションの影響が残った画像となる。すなわち図16Aの4つの入力画像(部分照明画像)の内、白くなっている箇所がハレーションを起こしている箇所であり、平均法によって平均化すると、図16Bに示すように、ある程度凸凹が取れて、読み易くはなるものの、若干下地に凸凹が残ってしまう。
(2:ハレーション除去法)
In the averaging method, the average value of N ρ for each pixel is used as the pixel value in that pixel. As shown in FIG. 16B, although the entire shadow has disappeared, the portion where halation has occurred in the input image cannot be erased by the photometric stereo method, and thus the image remains affected by halation. That is, among the four input images (partial illumination images) in FIG. 16A, the whitened portions are the locations where halation occurs, and when averaged by the averaging method, unevenness is removed to some extent as shown in FIG. 16B. Although it is easy to read, some unevenness remains on the ground.
(2: Halation removal method)
撮像手段であるカメラのダイナミックレンジの制限やワーク表面の反射性の多様性のため、上記ρ=|I|/|LSn|の式そのものがその適応範囲を超えているため、ρに誤差が含まれる。この誤差を補正するために、ハレーション除去法が利用できる。 Because of the limitation of the dynamic range of the camera that is the imaging means and the variety of reflectivity of the work surface, the above equation of ρ = | I | / | LSn | It is. A halation removal method can be used to correct this error.
ハレーションが起きる箇所は照明の位置で決まるため、基本的には、4つの部分照明画像において、同じ箇所ではハレーションは起きないと考えられる。厳密にいえば、2つの方向の間ではハレーションが2カ所に跨がってしまうことがあるものの、基本的には、2つの照明でしか同じ箇所ではハレーションは生じないと言える。 Since the location where halation occurs is determined by the position of illumination, basically, it is considered that no halation occurs at the same location in the four partial illumination images. Strictly speaking, although halation may straddle two places between two directions, it can basically be said that halation does not occur at the same place with only two illuminations.
ハレーション除去法では、N枚の部分照明画像から計算した照明方向別テクスチャ抽出画像を合成する際に、各画素において一番画素値が高い部分照明画像、又は一番目〜N番目に画素値が高い部分照明画像はハレーションが多いと考えて、それらを除去した上で合成を行う。 In the halation removal method, when a texture-extracted image for each illumination direction calculated from N pieces of partial illumination images is synthesized, the partial illumination image having the highest pixel value or the first to Nth highest pixel values in each pixel. The partial illumination image is considered to have a lot of halation, and is synthesized after removing them.
具体的には、本実施形態において4つの照明方向別テクスチャ抽出画像の各画素について、3番目に大きい画素値(例えばアルベドの値や輝度)を採用して合成すると、図16Cの画像のようになり、ハレーションの影響を除去することができる。なお4番目に大きい画素値を採用すると、影の影響が生じるため若干暗い画像となる。逆に2番目に大きい画素値を採用すると、ハレーションの影響が若干残ってしまう。 Specifically, in the present embodiment, when each pixel of the four illumination direction-specific texture extracted images is synthesized by adopting the third largest pixel value (for example, albedo value or luminance), an image shown in FIG. 16C is obtained. Thus, the influence of halation can be removed. If the fourth largest pixel value is adopted, the image is slightly dark because of the influence of shadows. Conversely, when the second largest pixel value is adopted, the influence of halation remains slightly.
また照明手段が8方向の場合は、5番目以降の画素値にはハレーションの影響は発生しないと仮定して、上から5番目の画素値を採用している。実際、発明者が行った試験によれば、5番目の画素値を採用すると、画像が最も良くなることが確認された。また6番目以降の画素値を採用すると影の影響が出てくることも判明した。 When the illumination means is in eight directions, the fifth pixel value from the top is adopted on the assumption that the influence of halation does not occur on the fifth and subsequent pixel values. In fact, according to tests conducted by the inventors, it was confirmed that the image was best when the fifth pixel value was adopted. It has also been found that the influence of shadows comes out when the sixth and subsequent pixel values are adopted.
なお、合成の方法や平均の取り方は、これらに限定されず、種々の方法が利用できる。例えば、上述したハレーション除去法と平均法とを組み合わせて、アルベドの値をソートして、上から特定の順番の値を採用し、例えば3番目と4番目とを平均化してもよい。
(特徴サイズ)
Note that the synthesis method and averaging are not limited to these, and various methods can be used. For example, the above-described halation removal method and averaging method may be combined to sort the albedo values, adopt values in a specific order from the top, and average the third and fourth, for example.
(Feature size)
次に、設定の詳細について説明する。上述の通り、輪郭抽出画像を作成する際に、特徴サイズを設定できる。輪郭抽出画像は、特徴サイズを所定値以上にすることで、OCRに適した画像とできる。
(3−2.ゲイン)
Next, details of the setting will be described. As described above, the feature size can be set when the contour extraction image is created. The contour extraction image can be an image suitable for OCR by setting the feature size to a predetermined value or more.
(3-2. Gain)
輪郭抽出画像やテクスチャ抽出画像を作成する際には、これらの画像の生成過程において元の画像の画素値に対してゲインを乗算することができる。 When creating a contour extraction image or a texture extraction image, the pixel values of the original image can be multiplied by a gain in the process of generating these images.
輪郭抽出画像を作成するときのゲインは、計算処理で算出された画素値を、0〜255の濃淡に分散させるときの定数をいう。例えば、傷や輪郭等が浅すぎて、傷や輪郭等を把握し難いときにこのゲインの値を上げることによって、画素値の濃淡変化が大きくなるため、傷や輪郭等が把握し易くなる。 The gain at the time of creating the contour extraction image refers to a constant when the pixel values calculated by the calculation process are distributed in shades of 0 to 255. For example, when the value of this gain is increased when the scratches, contours, etc. are too shallow and it is difficult to grasp the scratches, contours, etc., the shading, contours, etc. are easily grasped because the change in the pixel value becomes large.
また、計算処理で算出された画素値が、0〜255の範囲を超えていれば、その間に収まるようにし、小さければ、0〜255の範囲に広げるように調節することで、傷や輪郭等が把握し易くなる。 Further, if the pixel value calculated by the calculation process exceeds the range of 0 to 255, the pixel value is adjusted to fall within the range, and if the pixel value is small, the adjustment is performed so that the pixel value is expanded to the range of 0 to 255. Will be easier to grasp.
上述したハレーション除去法では、アルベドの値をソートして上から例えば3番目を採用するため、生成した画像の明るさが予測できない。このため、正反射が取り除かれた結果、予測に反して暗くなることがある。そこで、明るさを調節するために、テクスチャ抽出画像を作成する際には所定のゲインを、画素値に掛ける。 In the halation removal method described above, since the albedo values are sorted and, for example, the third one from the top is adopted, the brightness of the generated image cannot be predicted. For this reason, as a result of removing regular reflection, it may become darker than expected. Therefore, in order to adjust the brightness, a predetermined gain is multiplied by the pixel value when creating the texture extracted image.
なお、傾き画像の計算に際しても、画素値が0〜255の範囲に収まるように、同様にゲインで調節することもできる。
(3−3.ノイズ除去フィルタ)
Note that when calculating the tilt image, the gain can be similarly adjusted so that the pixel value falls within the range of 0 to 255.
(3-3. Noise removal filter)
傾き画像の作成等に際しては、複数枚の画像を使って連立方程式で計算するところ、実際には差分的な計算をすることになる。この際、撮像手段で撮像した画像データは、生データの時点でノイズが存在しているため、傾き画像を作成する際に、ノイズ成分が強調され、輪郭がざらざらすることがある。このようなノイズを軽減するために、ガイデットフィルタ(Guided Filter)等のノイズ除去フィルタを利用する。一般的なローパスフィルタでは、ノイズのみならず傷の情報もなまったり消えたりしてしまうことがあるが、ガイデットフィルタであれば、傾き画像を求める際にガイデッドフィルタを適用することで、エッジを維持したままノイズを除去でき、好適である。
(3−4.アングルノイズ低減)
When creating an inclination image, etc., calculation is performed using simultaneous equations using a plurality of images, but in reality, a differential calculation is performed. At this time, since the image data captured by the image capturing means includes noise at the time of raw data, the noise component may be emphasized and the outline may be rough when creating the tilt image. In order to reduce such noise, a noise removal filter such as a guided filter is used. With a general low-pass filter, not only noise but also information on scratches may be lost or lost, but with a guided filter, the edge can be removed by applying a guided filter when obtaining a tilt image. Noise can be removed while maintaining it, which is preferable.
(3-4. Angle noise reduction)
次に、アングルノイズ低減の原理を、図17の模式図に基づいて説明する。この図に示すように、入射角がα,βという2つ照明があり、ワークWKが拡散反射面からなると仮定して、ワークWKの基準面に対する傾きをγ、基準面に垂直な向きからの角度をθ、照明αからの反射光の明るさをIα、照明βからの反射光の明るさをIβとしたとき、γは次式で与えられる。 Next, the principle of angle noise reduction will be described based on the schematic diagram of FIG. As shown in this figure, assuming that there are two illuminations with incident angles α and β, and the workpiece WK is formed of a diffuse reflection surface, the inclination of the workpiece WK with respect to the reference plane is γ, and the direction perpendicular to the reference plane is When the angle is θ, the brightness of the reflected light from the illumination α is I α , and the brightness of the reflected light from the illumination β is I β , γ is given by the following equation.
γ=arctan(A・|Iβ−Iα|/|Iβ+Iα|)、A=cotθ γ = arctan (A · | I β -I α | / | I β + I α |), A = cotθ
アングルノイズ低減は、|Iβ+Iα|がある程度小さいときに、強制的に傾きγを0とするものである。 The angle noise reduction is forcibly setting the slope γ to 0 when | I β + I α | is small to some extent.
仮に、IβもIαも極めて暗く、例えば、Iβ=2、Iα=1だとすると、|Iβ−Iα|/|Iβ+Iα|=1/3という大きな値となる。一方、IβもIαも明るく、例えば、Iβ=300、Iα=200だとすると、|Iβ−Iα|/|Iβ+Iα|=1/5という小さな値となる。Iβ=2、Iα=1というのは、単にノイズという可能性があるにも拘わらず、傾きに大きく反映されてしまうため、そのノイズの影響を軽減するために、アングルノイズ低減があり、強制的に傾きを0とする|Iβ+Iα|の閾値を設定できるようになっている。
(移動するワークに対する画像検査)
Even if I beta I alpha is extremely dark, for example, I β = 2, I α = 1 Datosuruto, | I β -I α | / | I β + I α | = a large value of 1/3. On the other hand, bright nor I beta I alpha, for example, I β = 300, I α = 200 Datosuruto, | I β -I α | / | I β + I α | = a small value of 1/5. I β = 2 and I α = 1 are largely reflected in the inclination despite the possibility of simply noise, so there is angle noise reduction to reduce the influence of the noise, A threshold value of | I β + I α | forcibly setting the inclination to 0 can be set.
(Image inspection for moving workpiece)
以上のフォトメトリックステレオ法に基づく画像検査は、同じワークを、三以上の異なる照明方向から照明して撮像した部分照明画像PS1、PS2、PS3、...に基づいて画像処理することを前提としている。いいかえると、通常のフォトメトリックステレオ法では、被写体が静止しており、撮像した複数の画像の同じ位置が被写体の同一位置であるという前提で行われている。このため、ワークが移動するような場合には、各部分照明画像を撮像する撮像タイミングが異なることから、その間にワークが移動する結果、画像の同じ位置が同じ部位とはならず、このままではフォトメトリックステレオ法を適用できない。例えばライン上を運搬されるワークに対してフォトメトリックステレオ処理のために4枚の部分照明画像を撮像する場合、図18に示すように、4msといった短い撮像間隔でも、4枚の部分照明画像PS1〜PS4を撮像する間に、数ピクセル〜数100ピクセル程度、ワークが移動してずれてしまう。この結果、ワークWKの対応位置Pも、PS1〜PS4の各画像間で座標が異なってしまう。 The image inspection based on the photometric stereo method described above is performed by illuminating the same work from three or more different illumination directions and imaging the partial illumination images PS1, PS2, PS3,. . . It is assumed that image processing is performed based on the above. In other words, the normal photometric stereo method is performed on the premise that the subject is stationary and the same position of the plurality of captured images is the same position of the subject. For this reason, when the workpiece moves, the imaging timing for capturing each partial illumination image is different, and as a result of the workpiece moving during that time, the same position of the image does not become the same part. The metric stereo method cannot be applied. For example, when four partial illumination images are captured for photometric stereo processing on a workpiece conveyed on a line, as shown in FIG. 18, the four partial illumination images PS1 are obtained even at a short imaging interval of 4 ms. While the PS4 is imaged, the work moves and shifts by several pixels to several hundred pixels. As a result, the coordinates of the corresponding position P of the work WK also differ between the images PS1 to PS4.
そこで、異なる撮像タイミングで撮像された部分照明画像同士で、画像の対応点を一致させるよう、対応関係を登録するレジストレーション作業を行う必要がある。画像のレジストレーションを実施するための方法としては、オプティカルフローベースの方法が考えられる。この方法では、対象画像から追跡に適した部分を自動的に選択し、その部分領域を追跡するために、追跡対象画像に対して、移動位置候補毎に、ゼロ平均正規化相互相関(Zero-mean Normalized Cross-Correlation:ZNCC)やSAD(Sum of Absolute Difference)、SSD(Sum of squared difference)等の類似度又は相違度を計算し、それらの値を元に移動ベクトルを求め、レジストレーションに必要な幾何変換を計算する。または、追跡に適したワークの画像や幾何データを元にモデルを作成しておき、そのモデルを使って追跡を実施するモデルベースの方法も考えられる。 Therefore, it is necessary to perform a registration operation for registering the correspondence relationship so that the corresponding points of the images are matched between the partial illumination images captured at different imaging timings. An optical flow-based method is conceivable as a method for performing image registration. In this method, in order to automatically select a portion suitable for tracking from the target image and track the partial region, zero average normalized cross-correlation (Zero- Mean Normalized Cross-Correlation (ZNCC), SAD (Sum of Absolute Difference), SSD (Sum of squared difference), and other similarities or differences are calculated, moving vectors are calculated based on those values, and necessary for registration Calculate a simple geometric transformation. Alternatively, a model-based method may be considered in which a model is created based on workpiece images and geometric data suitable for tracking, and tracking is performed using the model.
しかしながら、これらの何れの方法も、照明状態が大きく変化しないことを前提としているために、フォトメトリックステレオ法での撮像画像のように、照明状態が大きく変化する画像間では安定したレジストレーションを実施することが困難であった。 However, since any of these methods is based on the premise that the illumination state does not change significantly, stable registration is performed between images in which the illumination state changes greatly, such as a captured image in the photometric stereo method. It was difficult to do.
そこで本実施の形態においては、移動しているワークに対しても、フォトメトリックステレオ法を利用した画像検査を実現できるように、予め追跡対象画像を設定しておき、一連の部分照明画像を撮像する前後あるいは中間に、複数の照明手段を同時に点灯させて撮像した基準画像を、異なる撮像タイミングで複数枚撮像し、対応位置推定手段で各基準画像中で追跡対象画像が含まれている位置を特定し、さらにこの推定された位置に基づいて、各部分照明画像中で対応する画素の対応関係を推定した上で、検査画像生成手段でフォトメトリックステレオ法を用いて検査画像を生成する構成を採用している。これによって、移動しているワークの傷や印字を検査できるようになった。 Therefore, in the present embodiment, a tracking target image is set in advance so that image inspection using the photometric stereo method can be realized even for a moving workpiece, and a series of partial illumination images are captured. Before, during or after the operation, a plurality of reference images captured by simultaneously lighting a plurality of illumination units are captured at different imaging timings, and the position where the tracking target image is included in each reference image is detected by the corresponding position estimation unit. A configuration in which a test image is generated using a photometric stereo method in the test image generation unit after the corresponding relationship of the corresponding pixels in each partial illumination image is estimated based on the estimated position. Adopted. This makes it possible to inspect the moving workpiece for scratches and prints.
なお、対応位置推定手段が推定する追跡対象画像の位置の情報には、追跡対象画像が第二基準画像あるいは第一基準画像中に存在する座標位置に加え、回転角度(姿勢)の情報も含めることができる。
(4.画像レジストレーション手段)
Note that the position information of the tracking target image estimated by the corresponding position estimation means includes information on the rotation angle (posture) in addition to the coordinate position at which the tracking target image exists in the second reference image or the first reference image. be able to.
(4. Image registration means)
画像レジストレーション手段は、例えば図1の例では画像処理部41により構成され、ソフトウェアによって処理がなされる。ここで、画像レジストレーション手段の動作について説明する。 For example, in the example of FIG. 1, the image registration unit is configured by the image processing unit 41 and processed by software. Here, the operation of the image registration means will be described.
ワークが移動する場合は、部分照明画像を撮像している間にもワークが移動するため、各部分照明画像において、ワークの対応する画素の位置が異なる。そこで移動するワークを撮像した部分照明画像に対してフォトメトリックステレオ法で検査対象画像を生成するための方法として、(1)基準画像を作り、線形補間によって、基準画像と整合する画像を抽出することで、画像レジストレーションを成立させ、抽出された画像の位置情報から照明方向を取得するアプローチ(「線形補間アプローチ」と呼ぶ。)と、(2)予め照明方向を変動させたモデル画像を作り、照明方向と関連付けて登録されたモデル画像群と整合する画像を抽出することで、画像レジストレーションを成立させ、整合したモデル画像から関連付けられた照明方向を取得するアプローチ(「モデル画像アプローチ」と呼ぶ。)が考えられる。 When the workpiece moves, the workpiece moves even while the partial illumination image is captured. Therefore, the position of the corresponding pixel of the workpiece is different in each partial illumination image. Therefore, as a method for generating an inspection target image by a photometric stereo method for a partial illumination image obtained by imaging a moving work, (1) a reference image is created, and an image that matches the reference image is extracted by linear interpolation. Thus, an image registration is established and an illumination direction is acquired from the extracted image position information (referred to as a “linear interpolation approach”), and (2) a model image in which the illumination direction is changed in advance is created. , An image registration is established by extracting an image that matches a registered model image group in association with the illumination direction, and an associated illumination direction is obtained from the matched model image (“model image approach”). Can be considered).
まず(1)の線形補間アプローチでは、線形補間によって、サーチする領域が狭められる。このため、狭められた領域に対して、(2)のモデル画像アプローチを適用すると、位置ブレや角度ブレが原因となって線形補間では完全に整合しないようなケースであっても、このような位置ブレ等の問題を解消できる。すなわち、ブレ補正を適用することで、より高精度に画像レジストレーションの成立を実現することができる。すなわち、(1)の線形補間アプローチを主位的、(2)のモデル画像アプローチを予備的に考えると、(2)のモデル画像アプローチはブレ補正という位置付けとなる。 First, in the linear interpolation approach (1), the search area is narrowed by linear interpolation. For this reason, when the model image approach (2) is applied to a narrowed region, even if the linear interpolation does not perfectly match due to position blur and angle blur, Problems such as position blur can be solved. That is, by applying blur correction, it is possible to realize establishment of image registration with higher accuracy. That is, if the linear interpolation approach of (1) is dominant and the model image approach of (2) is considered preliminarily, the model image approach of (2) is positioned as blur correction.
(2)のモデル画像アプローチにおけるモデル画像を作成するに当たっては、(A)実際に撮影した画像をモデル画像とするPSモデル法と、(B)仮想的に作った画像をモデル画像とする仮想モデル法が挙げられる。 In creating a model image in the model image approach of (2), (A) a PS model method using an actually captured image as a model image, and (B) a virtual model using a virtually created image as a model image Law.
本実施の形態では、(1)の線形補間アプローチから、(2)のモデル画像アプローチをブレ補正と位置付けて、画像レジストレーションの成立を実現することができる。以下、(1)と(2)の各実施例について説明する。
(4−1.用語の説明)
In the present embodiment, the image registration can be realized by positioning the model image approach (2) as blur correction from the linear interpolation approach (1). Hereinafter, each example of (1) and (2) will be described.
(4-1. Explanation of terms)
略語を用いて説明するため、最初に略語の意味を明らかにする。PSは、Photometric Stereoの略であり、フォトメトリックステレオ処理のことをPS処理と称し、フォトメトリックステレオ処理用に複数の照明手段の内、一を点灯して撮像して得た部分照明画像をPS画像、またPS画像を撮像する動作をPS撮像という。また、この実施形態においては、4つの第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24を使用するが、1〜4番目の照明によるPS処理用の撮像や画像、処理という意味でPS1、PS2、PS3、PS4とナンバリングする。すなわち、必ずしも第一照明手段21で撮像した画像がPS1、第二照明手段22で撮像した画像がPS2、...という意味ではない。照明手段の設置の態様や照明手段の点灯順によって、PS画像と照明手段の対応関係は任意に決定される。例えば、照明制御手段が各照明手段の点灯を切り替える点灯順を、時計回り、反時計回り、あるいはランダムとすることもできる。ただし以下の説明においては、簡単のため、第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24の順に、時計回りで撮像し、また得られた部分照明画像をPS1、PS2、PS3、PS4として説明する。なおアスタリスク*を付けた場合は、任意を意味し、例えばPS*画像という場合、任意のPS画像の意味になる。 To explain using abbreviations, the meaning of abbreviations is clarified first. PS is an abbreviation for Photometric Stereo, and photometric stereo processing is referred to as PS processing. A partial illumination image obtained by lighting one of a plurality of illumination means for photometric stereo processing is obtained by PS. The operation of capturing an image or PS image is called PS imaging. In this embodiment, four first illumination means 21, second illumination means 22, third illumination means 23, and fourth illumination means 24 are used, but imaging for PS processing by the first to fourth illuminations. And PS1, PS2, PS3, and PS4 in the sense of image and processing. That is, the image captured by the first illumination means 21 is not necessarily PS1, the image captured by the second illumination means 22 is PS2,. . . It does not mean that. The correspondence between the PS image and the illumination means is arbitrarily determined depending on the installation mode of the illumination means and the lighting order of the illumination means. For example, the lighting order in which the lighting control unit switches the lighting of each lighting unit may be clockwise, counterclockwise, or random. However, in the following description, for the sake of simplicity, the first illumination unit 21, the second illumination unit 22, the third illumination unit 23, and the fourth illumination unit 24 are captured in the clockwise direction, and the obtained partial illumination image. Will be described as PS1, PS2, PS3, and PS4. When an asterisk * is added, it means arbitrary. For example, a PS * image means an arbitrary PS image.
MCは、Motion Correctionの略語であり、図19A〜図19Gに示すようにPS撮像の前後あるいは中間において、第一照明手段21〜第四照明手段24をすべて点灯して、線形補間用に撮像する処理をMC撮像と呼び、これによって得られる画像を全灯画像(MC画像)と呼ぶ。図19Aの例では、内挿線形補間法(詳細は後述)に従い、MC1、PS1、PS2、PS3、PS4、MC2、PS1’、PS2’、PS3’、PS4’、MC3、...画像を順次撮像していくタイミングを示している。なおMC画像は複数あり、以下の説明では主に第1全灯画像MC1と第2全灯画像MC2とを使用する。図19Aの例では、第1全灯画像MC1はPS撮像前の全灯照明時の画像、第2全灯画像MC2はPS撮像後の全灯照明時の画像を意味し、MC*はPS撮像の前後の何れか、或いは両方における処理を意味している。ただ、第1全灯画像MC1及び第2全灯画像MC2の撮像のタイミングは、図19Aの例に限らず、例えば外挿線形補間法(詳細は後述)の場合、図19Bに示すように、MC1、MC2、PS1、PS2、PS3、PS4の順で撮像される。さらに以上の例ではMC画像を2枚使用する例を示しているが、本発明はこれに限らず補間用のMC画像を3枚以上に増やすこともできる。一例として、MC画像を2枚、3枚、5枚とした場合の、各画像の撮像タイミングを、図19C〜図19Gに示す。これらの図において、図19Cは図19A、図19Dは図19Bで示した、MC画像を2枚とする撮像タイミングを対比のために示している。また図19E、図19FはMC画像を3枚とした場合の撮像タイミングの変形例を、さらに図19GはMC画像を5枚とした場合の撮像タイミングの例を、それぞれ示している。このように、求められる精度やワークの移動の複雑さ、使用する補間方法等に応じて、MC画像の撮像枚数や撮像タイミングは適宜選択される。 MC is an abbreviation for Motion Correction, and as shown in FIGS. 19A to 19G, the first illumination means 21 to the fourth illumination means 24 are all turned on and imaged for linear interpolation before or after PS imaging. The process is called MC imaging, and an image obtained by this is called a full-lamp image (MC image). In the example of FIG. 19A, MC1, PS1, PS2, PS3, PS4, MC2, PS1 ′, PS2 ′, PS3 ′, PS4 ′, MC3,. . . The timing for sequentially capturing images is shown. There are a plurality of MC images, and in the following description, the first all-lamp image MC1 and the second all-lamp image MC2 are mainly used. In the example of FIG. 19A, the first full-lamp image MC1 means an image at the time of full-lamp illumination before PS imaging, the second full-lamp image MC2 means an image at the time of full-lamp illumination after PS imaging, and MC * denotes PS imaging. The process in either or both of before and after is meant. However, the imaging timing of the first all-lamp image MC1 and the second all-lamp image MC2 is not limited to the example of FIG. 19A, and for example, in the case of extrapolation linear interpolation (details will be described later), as shown in FIG. Images are taken in the order of MC1, MC2, PS1, PS2, PS3, and PS4. In the above example, two MC images are used. However, the present invention is not limited to this, and the number of MC images for interpolation can be increased to three or more. As an example, FIG. 19C to FIG. 19G show the imaging timing of each image when there are two, three, and five MC images. In these figures, FIG. 19C shows the imaging timing of two MC images, shown in FIG. 19A and FIG. 19D, for comparison. FIGS. 19E and 19F show modified examples of the imaging timing when there are three MC images, and FIG. 19G shows an example of the imaging timing when there are five MC images. As described above, the number of MC images to be captured and the imaging timing are appropriately selected according to required accuracy, complexity of movement of the workpiece, interpolation method to be used, and the like.
XYTは、位置(x,y)及び角度θ(theta)の略語であり、画像における位置と姿勢とを意味する。 XYT is an abbreviation for position (x, y) and angle θ (theta), and means position and orientation in an image.
DOFは、Degree of Freedomの略語であり、自由度を意味する。例えばDOFとして、平行移動X、平行移動Y、回転、スケール、アスペクト、スキューの6つの自由度がある場合、DOF=6となる。 DOF is an abbreviation for Degree of Freedom and means degree of freedom. For example, when DOF has six degrees of freedom of translation X, translation Y, rotation, scale, aspect, and skew, DOF = 6.
SWは、Search Windowの略語であり、MC*画像でのサーチ領域を意味し、画像間の類似度(又は相違度)を算出して、最も類似する画像をサーチする範囲を定義するための領域である。以下の説明では主にSW1とSW2とを使用する。SW1はMC1画像でのサーチ領域であり、SW2はMC2画像でのサーチ領域である。 SW is an abbreviation for Search Window, which means a search area in MC * images, and is an area for calculating a similarity (or dissimilarity) between images and defining a range in which the most similar images are searched. It is. In the following description, SW1 and SW2 are mainly used. SW1 is a search area in the MC1 image, and SW2 is a search area in the MC2 image.
TWは、Tracking Windowの略語であり、追跡領域指定法において使用する追跡領域を意味する。 TW is an abbreviation for Tracking Window and means a tracking area used in the tracking area designation method.
またPWは、Pattern Windowの略語であり、追跡パターン指定法において使用するパターン領域を意味する。これら追跡領域TW及びパターン領域PWは、いずれもワークの位置を追跡するための対象となる画像(追跡対象画像)を指定するための領域である。また、これら追跡領域TW及びパターン領域PWは、追跡対象画像指定手段で指定される。具体的には、追跡領域TWは、追跡領域指定法の設定時において、運用時に追跡対象となる画像を含む領域を指定する(後述する図20及び図21A、図22F参照)。追跡領域指定法の運用時においては、追跡領域TWで指定された領域全体でもって、第一基準画像や第二基準画像中からサーチが行われる。 PW is an abbreviation for Pattern Window and means a pattern area used in the tracking pattern designation method. Each of the tracking area TW and the pattern area PW is an area for designating an image (tracking target image) to be a target for tracking the position of the workpiece. The tracking area TW and the pattern area PW are specified by the tracking target image specifying means. Specifically, the tracking area TW specifies an area including an image to be tracked during operation when setting the tracking area specifying method (see FIGS. 20, 21A, and 22F described later). When the tracking area specifying method is used, a search is performed from the first reference image and the second reference image in the entire area specified by the tracking area TW.
なお、追跡対象画像はワークWKである必要はなく、追跡対象画像の位置からワークWKの画像の位置が推定できればよい。 Note that the tracking target image does not need to be the workpiece WK, and it is sufficient that the position of the image of the workpiece WK can be estimated from the position of the tracking target image.
一方パターン領域PWは、追跡パターン指定法の設定時において、同じく運用時に追跡対象となる画像を含む領域を指定する(後述する図23A、図23F等参照)。ただし追跡パターン指定法の運用時においては、設定時にパターン領域を用いて画像を抽出し、抽出された画像でもって第一基準画像や第二基準画像中からサーチが行われる。 On the other hand, the pattern area PW designates an area including an image to be tracked at the time of operation when setting the tracking pattern designation method (see FIGS. 23A and 23F to be described later). However, during operation of the tracking pattern designation method, an image is extracted using a pattern area at the time of setting, and a search is performed from the first reference image and the second reference image with the extracted image.
なお追跡対象画像は、典型的にはワークの全体又は一部を含む画像である。ただ本発明は、追跡対象画像をワークの画像に限定するものでなく、ワークの移動が確認できる画像であれば足り、例えばワークを載せるトレイやコンベアといった、ワークの背景画像等を追跡対象画像に利用することもできる。 The tracking target image is typically an image including the whole or a part of the workpiece. However, the present invention does not limit the image to be tracked to the image of the work, and any image that can confirm the movement of the work is sufficient. It can also be used.
MWは、Measure Windowの略語であり、計測領域を意味し、1Dエッジ法における計測対象の領域を示す。
(4−2.線形補間法)
MW is an abbreviation for Measure Window, which means a measurement area, and indicates a measurement target area in the 1D edge method.
(4-2. Linear interpolation method)
次に線形補間を行うための線形補間法について説明する。線形補間法には、(1)追跡領域指定法、(2)追跡パターン指定法、(3)1Dエッジ法等が挙げられる。以下、各方法の設定時と運用時の動作をそれぞれ説明する。
(1)追跡領域指定法
Next, a linear interpolation method for performing linear interpolation will be described. Examples of the linear interpolation method include (1) tracking area specifying method, (2) tracking pattern specifying method, and (3) 1D edge method. Hereinafter, the operation at the time of setting and operation of each method will be described.
(1) Tracking area designation method
追跡領域指定法では、MC*、PS*画像群を、運用時と同じようにワークWKが動いている状態、又は静止した状態で取得する。このようにして取得した画像群を参照しながら設定を行う。
(追跡領域指定法の設定)
In the tracking area designating method, the MC * and PS * image groups are acquired in a state where the work WK is moving or stationary as in the operation. Setting is performed with reference to the image group acquired in this way.
(Setting of tracking area specification method)
この追跡領域指定法では、設定時に、追跡を開始する追跡領域TWと、サーチ領域SW2を設定する。この設定の様子を、図20A〜図20Bに示す。追跡領域TWは、図20Aに示すように、MC1画像に対して設定する。またサーチ領域SW2は、図20Bに示すように、MC2画像に対して設定する。さらに、線形補間角度から想定される角度ブレ量や、線形補間位置から想定される位置ブレ量を設定することもできる。
(追跡領域指定法の運用)
In this tracking area designation method, a tracking area TW for starting tracking and a search area SW2 are set at the time of setting. The state of this setting is shown in FIGS. 20A to 20B. The tracking area TW is set for the MC1 image as shown in FIG. 20A. The search area SW2 is set for the MC2 image as shown in FIG. 20B. Furthermore, an angle shake amount assumed from the linear interpolation angle and a position shake amount assumed from the linear interpolation position can be set.
(Operation of tracking area designation method)
このようにして追跡領域指定法に関する設定がなされた状態で、運用時における動作を図21A〜図21Fに基づいて説明する。まず、図21Aに示すように、追跡領域TWに対象となるワークWKが進入してきたことをセンサ等で検出して、又はユーザのトリガによって、MC1画像の撮像を開始する。 With the settings relating to the tracking area designation method set in this way, operations during operation will be described with reference to FIGS. 21A to 21F. First, as shown in FIG. 21A, the sensor 1 detects that the target work WK has entered the tracking area TW, or starts capturing an MC1 image in response to a user trigger.
あるいは、画像処理部が検出モードとPSモード(フォトメトリックステレオモード)とを切り替え可能として、検出モードにおいてワークを検出すると、PSモードに移行するよう構成してもよい。検出モードでは、例えば画像処理部41が内部タイマで自動的にトリガを発生させて、画像を撮像し、エリア計測や濃淡計測等の負荷の比較的軽い処理を利用して、FOV(Field of View)にワークWKが進入したことを検出する。またPSモードにおいては、動き補正が必要な場合はMC1、PS1、PS2、PS3、PS4、MC2画像を撮像して、動き補正をしながらPS処理を行う。
Alternatively, the image processing unit may be switched between the detection mode and the PS mode (photometric stereo mode), and when a workpiece is detected in the detection mode, the mode may be shifted to the PS mode. In the detection mode, for example, the image processing unit 41 automatically generates a trigger by an internal timer, picks up an image, and uses a relatively light load process such as area measurement or light / dark measurement, and uses FOV (Field of View). ) To detect that the workpiece WK has entered. In the PS mode, when motion correction is necessary, MC1, PS1, PS2, PS3, PS4, and MC2 images are captured and PS processing is performed while correcting the motion.
次に図21A〜図21Fに示すように、MC1からPS1、PS2、PS3、PS4、MC2までを等間隔で撮像する。そして、図21FにおいてMC2画像中のサーチ領域SW2に対して、MC1画像の追跡領域TWで指定した領域の画像をパターンサーチを行う。パターンサーチの方法としては、例えば以下の数式で与えられるZNCCの値を、追跡領域TWで定義される画像をサーチ領域SW2で定義される範囲内で位置と姿勢を変えながら、重ね合わせて計算することで類似の位置と姿勢を決定することができる。なお、高速化のために、パターンと追跡対象画像のイメージピラミッドとを利用する方法を使用してもよい。 Next, as shown in FIGS. 21A to 21F, images from MC1 to PS1, PS2, PS3, PS4, and MC2 are imaged at equal intervals. Then, in FIG. 21F, a pattern search is performed on the image in the area specified by the tracking area TW of the MC1 image with respect to the search area SW2 in the MC2 image. As a pattern search method, for example, the ZNCC value given by the following formula is calculated by superimposing the image defined in the tracking area TW while changing the position and orientation within the range defined in the search area SW2. Thus, a similar position and posture can be determined. For speeding up, a method using a pattern and an image pyramid of a tracking target image may be used.
ここで、T(i,j)はテンプレートの輝度値、I(i,j)は画像の輝度値である。座標の(i,j)は、テンプレートの幅をm画素、高さをn画素としたとき、左上(又は左下)を(0,0)、右下(又は右上)を(m−1,n−1)としている。 Here, T (i, j) is the brightness value of the template, and I (i, j) is the brightness value of the image. The coordinates (i, j) are (0, 0) for the upper left (or lower left) and (m-1, n) for the lower right (or upper right) when the width of the template is m pixels and the height is n pixels. -1).
このようにして得られた位置と姿勢データから、ワークWKが等速移動しており、かつ撮像手段の撮像タイミング(例えばカメラのシャッタ間隔)が一定との前提で、線形補間方法を適用することで、PS1〜PS4でのXYT、すなわち推定位置と推定姿勢を求めることができる。
(内挿線形補間法)
From the position and orientation data obtained in this way, the linear interpolation method is applied on the assumption that the workpiece WK is moving at a constant speed and the imaging timing of the imaging means (for example, the shutter interval of the camera) is constant. Thus, XYT in PS1 to PS4, that is, an estimated position and an estimated posture can be obtained.
(Interpolation linear interpolation method)
線形補間法の計算に、内挿線形補間法を用いる場合は、以下のようにして行う。MをMC2画像の画像index、Nを推定したい画像の画像indexとして、MC1画像でのXYTを(X0,Y0,T0)、MC2画像でのXYTを(XM,YM,TM)とすると、各PS(N)画像での推定XYTは、次式で求めることができる。
XN=X0+N×(XM−X0)/M
YN=Y0+N×(YM−Y0)/M
TN=T0+N×(TM−T0)/M
で求めることができる。
上式においてM,N共に0から始まるindexである。図19Aに示す例ではM=5,N=1〜4としている。
(外挿線形補間法)
When the interpolation linear interpolation method is used for the calculation of the linear interpolation method, it is performed as follows. Assuming that M is the image index of the MC2 image, N is the image index of the image to be estimated, XYT in the MC1 image is (X0, Y0, T0), and XYT in the MC2 image is (XM, YM, TM), each PS (N) The estimated XYT in the image can be obtained by the following equation.
XN = X0 + N × (XM−X0) / M
YN = Y0 + N × (YM−Y0) / M
TN = T0 + N × (TM−T0) / M
Can be obtained.
In the above formula, both M and N are indexes starting from 0. In the example shown in FIG. 19A, M = 5 and N = 1 to 4.
(Extrapolated linear interpolation method)
線形補間法の計算に、外挿線形補間法を用いる場合は、以下のようにして行う。MをMC2画像の画像index、Nを推定したい画像の画像indexとして、MC1画像でのXYTを(X0,Y0,T0)、MC2画像でのXYTを(XM,YM,TM)とすると、各PS(N)画像での推定XYTは、次式で求めることができる。
XN=X0+N×(XM−X0)/M
YN=Y0+N×(YM−Y0)/M
TN=T0+N×(TM−T0)/M
上式においてM,N共に0から始まるindexである。図19Bに示す例ではM=1,N=2〜5としている。
When the extrapolation linear interpolation method is used for the calculation of the linear interpolation method, it is performed as follows. Assuming that M is the image index of the MC2 image, N is the image index of the image to be estimated, XYT in the MC1 image is (X0, Y0, T0), and XYT in the MC2 image is (XM, YM, TM), each PS (N) The estimated XYT in the image can be obtained by the following equation.
XN = X0 + N × (XM−X0) / M
YN = Y0 + N × (YM−Y0) / M
TN = T0 + N × (TM−T0) / M
In the above formula, both M and N are indexes starting from 0. In the example shown in FIG. 19B, M = 1 and N = 2 to 5.
これらの推定位置及び推定姿勢の値と、位置ブレ及び角度ブレの設定値とから、ブレ位置とブレ角度を求めるためのDOFを決定する。 The DOF for determining the blur position and the blur angle is determined from the estimated position and estimated posture values and the set values of the position blur and the angle blur.
位置ブレ値がピクセル値で角度ブレの値が角度値である場合、追跡領域TWの推定角度で指定される角度を中心として、角度ブレの範囲で追跡領域TWの画像を回転させ、推定位置を中心として位置ブレの値だけ上下左右に拡張した範囲で回転TW画像を重ね合わせ、類似度や相違度を計算して、それぞれのPS*画像で位置と角度情報を得る。このようにサーチ範囲を限定することによって、パターンサーチの安定性を大幅に向上させることができる。 When the position blur value is a pixel value and the angle blur value is an angle value, the image of the tracking region TW is rotated within the angle blur range around the angle specified by the estimated angle of the tracking region TW, and the estimated position is determined. The rotated TW images are overlapped in the range expanded by up and down, left and right by the position blur value as the center, and the similarity and dissimilarity are calculated, and position and angle information is obtained from each PS * image. By limiting the search range in this way, the stability of the pattern search can be greatly improved.
以上のようにして得られた位置と角度情報を用いて、PS*画像のレジストレーションを行う。そしてレジストレーション後の画像群を使って、PS処理を行う。または、これらの位置と角度情報とPS*画像を用いて、直接PS処理を行ってもよい。 The PS * image is registered using the position and angle information obtained as described above. Then, PS processing is performed using the registered image group. Alternatively, the PS processing may be performed directly using these position, angle information, and PS * image.
何れの方法においても、画素情報にアクセスする方法として、例えば最近傍補間や双一次補間、双三次補間等が知られており、これらの方法を適用できる。 In any of the methods, for example, nearest neighbor interpolation, bilinear interpolation, bicubic interpolation, or the like is known as a method for accessing pixel information, and these methods can be applied.
以上の追跡領域指定法では、後述する追跡パターン指定法と比較して、サーチのためのモデルを不要とできる利点が得られる。またワークが鋳肌のような、一見すると模様がランダムに見える表面のテクスチャを用いて、追跡できる利点が得られる。さらに、MC2の回転サーチの角度範囲を狭くすることができる。
(2)追跡パターン指定法
The tracking area designating method described above provides an advantage that a model for searching is not required compared to the tracking pattern designating method described later. In addition, there is an advantage that the workpiece can be traced by using a texture of the surface where the pattern looks random at first glance, such as a cast surface. Furthermore, the angular range of the MC2 rotation search can be narrowed.
(2) Tracking pattern designation method
以上、線形補間法の一として追跡領域指定法について説明した。次に、他の線形補間法として、追跡パターン指定法を説明する。追跡パターン指定法では、MC*、PS*画像群をワークWKが静止した状態で取得する。この取得した画像群を登録画像群と呼ぶ。登録画像群には、登録MC*画像、登録PS*画像が含まれる。追跡パターン指定法では、これらの登録画像群を参照しながら設定を行う。
(追跡パターン指定法の設定)
The tracking region designation method has been described above as one of linear interpolation methods. Next, a tracking pattern designation method will be described as another linear interpolation method. In the tracking pattern designation method, the MC * and PS * image groups are acquired in a state where the work WK is stationary. This acquired image group is called a registered image group. The registered image group includes a registered MC * image and a registered PS * image. In the tracking pattern designation method, setting is performed with reference to these registered image groups.
(Setting of trace pattern designation method)
追跡パターン指定法の設定においては、追跡対象の画像(追跡対象パターン)を定義するパターン領域PWと、サーチ領域SW1と、サーチ領域SW2を設定する。この設定の様子を、図22A〜図22Bに示す。パターン領域PWとサーチ領域SW1は、図22Aに示すように、MC1画像に対して設定する。またサーチ領域SW2は、図22Bに示すように、MC2画像に対して設定する。その他の設定は、上述した追跡領域指定法と同様にできる。
(追跡パターン指定法の運用)
In the setting of the tracking pattern designation method, a pattern area PW that defines a tracking target image (tracking target pattern), a search area SW1, and a search area SW2 are set. This setting is shown in FIGS. 22A to 22B. The pattern area PW and the search area SW1 are set for the MC1 image as shown in FIG. 22A. The search area SW2 is set for the MC2 image as shown in FIG. 22B. Other settings can be made in the same manner as the tracking area specifying method described above.
(Operation of tracking pattern designation method)
このようにして追跡パターン指定法に関する設定がなされた状態で、運用時における動作を図23A〜図23Fに基づいて説明する。まず、図23Aに示すように、対象となるワークがパターン領域PW内に進入してきたことをセンサ等で検出すると、MC1の画像の撮像を開始する。あるいは、追跡領域指定法と同様に検出モードとPSモードとを切り替え可能として、検出モードにおいてワークを検出すると、PSモードに移行するよう構成してもよい。 With the settings regarding the tracking pattern designation method set in this way, operations during operation will be described with reference to FIGS. 23A to 23F. First, as shown in FIG. 23A, when a sensor or the like detects that a target workpiece has entered the pattern area PW, imaging of the MC1 image is started. Alternatively, the detection mode and the PS mode can be switched in the same manner as in the tracking area designation method, and when a workpiece is detected in the detection mode, the mode may be shifted to the PS mode.
次に図23A〜図23Fに示すように、MC1からPS1、PS2、PS3、PS4、MC2までを等間隔で撮像する。そして、撮像されたMC1画像に対して、設定時に設定した登録MC1画像内にパターン領域PWで指定される領域の画像(追跡対象パターン)を、MC1画像のサーチ領域SW1内でサーチを行う。このサーチには、回転も含める。これによって図23Aに示すように、回転した画像が検出される。この画像を、以降のパターンサーチのモデル画像とする。 Next, as shown in FIGS. 23A to 23F, images from MC1 to PS1, PS2, PS3, PS4, and MC2 are imaged at equal intervals. Then, with respect to the captured MC1 image, an image (tracking target pattern) of an area specified by the pattern area PW in the registered MC1 image set at the time of setting is searched in the search area SW1 of the MC1 image. This search includes rotation. As a result, a rotated image is detected as shown in FIG. 23A. This image is used as a model image for subsequent pattern search.
そして、MC2の画像のサーチ領域SW2内から、MC1の画像をサーチする。このようにして得られたXYT情報から、PS1、PS2、PS3、PS4の各画像における推定位置、すなわち推定XYTを線形補間で求める。また必要に応じて、ブレ計測用のウィンドウを推定XYTから決定して、その範囲内でブレ計測用計測を行うこともできる。 Then, the MC1 image is searched from within the MC2 image search area SW2. From the XYT information obtained in this way, an estimated position in each image of PS1, PS2, PS3, and PS4, that is, an estimated XYT is obtained by linear interpolation. If necessary, a blur measurement window can be determined from the estimated XYT, and the blur measurement can be performed within the range.
ここでサーチの方法としては、例えば上述した数3で与えられるZNCCの値を、登録MC1画像内のパターン領域PWで定義される画像(追跡対象パターン)を、MC2画像内のサーチ領域SW2で規定される範囲内で、位置と姿勢を変えながら、重ね合わせて計算することにより、類似の位置と姿勢を決定することができる。なお、追跡領域指定法と同様に、高速化のためにテンプレート画像とサーチ画像のイメージピラミッドとを利用する方法を使用してもよい。 Here, as a search method, for example, the value of ZNCC given by Equation 3 described above is defined, and an image (tracking target pattern) defined by the pattern area PW in the registered MC1 image is defined by the search area SW2 in the MC2 image. Similar positions and orientations can be determined by overlapping and calculating while changing the position and orientation within the range. Similar to the tracking region designation method, a method using a template image and an image pyramid of a search image may be used for speeding up.
このようにして得られた位置と姿勢データから、追跡領域指定法と同様の方法でPS処理を行うことができる。 From the position and orientation data obtained in this way, PS processing can be performed by a method similar to the tracking region designation method.
追跡領域指定法のメリットとしては、PS処理後にモデル画像の位置と姿勢が判明すること、追跡対象の位置の精度が悪くてもよいこと、また追跡対象の位置をサーチによって限定するので、追跡が安定すること等が挙げられる。反面、デメリットとしては、追跡領域指定法と異なり、事前にモデル画像を作成するための処理が必要なことや、モデル画像用のメモリが必要となること、一回目のサーチが広範な範囲で回転を含むサーチとなるため、処理負荷が増大すること等が挙げられる。
(画像検査プログラムの設定画面)
The advantages of the tracking area designation method are that the position and orientation of the model image can be determined after PS processing, the accuracy of the position of the tracking target may be poor, and the tracking target position is limited by search, so tracking It may be stabilized. On the other hand, the disadvantage is that unlike the tracking area specification method, processing for creating model images in advance is required, memory for model images is required, and the first search is rotated over a wide range. For example, the processing load increases.
(Image inspection program setting screen)
ここで、画像検査や画像処理に関する各種の設定を行うための設定手段の一例を、図24〜図25に示す。これらの図は、画像検査プログラムにおけるユーザインターフェースの一例を示している。これら画像検査プログラムの設定画面1100、1200は、例えば図1の画像検査装置において、表示手段51上に表示される。ここでは、設定画面の一例として、(2)追跡パターン指定法の設定時の画面例を示している。ユーザはこれらの画面から、追跡パターン指定法で必要なサーチ領域SW1,SW2、パターン領域PWを、それぞれ指定する。また追跡領域指定法においては、追跡領域SW2を、それぞれ指定する。設定された各領域は、複数の領域を視覚的に区別できるよう、表示態様を変更して表示させることが好ましい。この例では、各領域を色分けして表示している。あるいは、線の太さや線種(実線、破線、一点鎖線等)等、他の領域と区別可能な態様が適宜利用できる。 Here, an example of setting means for performing various settings relating to image inspection and image processing is shown in FIGS. These drawings show an example of a user interface in the image inspection program. These image inspection program setting screens 1100 and 1200 are displayed on the display means 51 in the image inspection apparatus of FIG. Here, as an example of the setting screen, (2) a screen example when setting the tracking pattern designation method is shown. From these screens, the user designates the search areas SW1 and SW2 and the pattern area PW necessary for the tracking pattern designation method. In the tracking area designation method, the tracking area SW2 is designated. It is preferable to display the set areas by changing the display mode so that the plurality of areas can be visually distinguished. In this example, each area is displayed in different colors. Or the aspect distinguishable from other area | regions, such as line | wire thickness and a line | wire type (a solid line, a broken line, a dashed-dotted line etc.), can be utilized suitably.
図24〜図25に示す設定画面1100、1200では、画面の左側に画像表示領域1102を、右側に操作領域1104を、それぞれ設けている。画像表示領域1102には、MC1画像やMC2画像等の各種画像を切り替えて表示できる。また操作領域1104には、選択された画面に応じて、各種設定を行うための設定ツールが配置される。図24に示す例では、表示画像選択欄1105、パターン領域設定欄1106、サーチ領域2設定欄1107、サーチ感度設定欄1108、サーチ精度設定欄1109、相関値下限設定欄1110、角度ブレ設定欄1111、位置ブレ設定欄1112、詳細設定欄1113が設けられている。表示画像選択欄1105では、画像表示領域1102において表示させる画像を切り替えることができる。ここでは、MC1、MC2、PS1、PS2、PS3、PS4のいずれかを切り替えて表示できる。なお、PS*画像の数は、フォトメトリックステレオ処理で用いるPS画像の数によって変動する。また画像表示領域を二画面等、複数の領域に分割したり、別のウィンドウを開く等して、複数の画像を一画面で表示させることもできる。図24の例では、MC1画像を表示させている。 In the setting screens 1100 and 1200 shown in FIGS. 24 to 25, an image display area 1102 is provided on the left side of the screen, and an operation area 1104 is provided on the right side. Various images such as an MC1 image and an MC2 image can be switched and displayed in the image display area 1102. In the operation area 1104, setting tools for performing various settings are arranged according to the selected screen. In the example shown in FIG. 24, a display image selection field 1105, a pattern area setting field 1106, a search area 2 setting field 1107, a search sensitivity setting field 1108, a search accuracy setting field 1109, a correlation value lower limit setting field 1110, and an angle blur setting field 1111. , A position blur setting column 1112 and a detailed setting column 1113 are provided. In the display image selection field 1105, an image to be displayed in the image display area 1102 can be switched. Here, any one of MC1, MC2, PS1, PS2, PS3, and PS4 can be switched and displayed. Note that the number of PS * images varies depending on the number of PS images used in photometric stereo processing. Also, a plurality of images can be displayed on one screen by dividing the image display area into a plurality of areas such as two screens or by opening another window. In the example of FIG. 24, the MC1 image is displayed.
またパターン領域設定欄1106ではパターン領域PWを、サーチ領域2設定欄1107ではサーチ領域SWを、それぞれ新規に設定、あるいは設定済みの領域を変更できる。ここでは、マウス等のポインティングデバイスを利用して、画像表示領域1102の画面上から任意の領域を指定できる。例えば矩形状の対角線上をクリックすることで、矩形状の領域を指定できる。また、座標や角度範囲等、数値を用いて領域を指定することもできる。 Further, the pattern area PW can be set in the pattern area setting column 1106, the search area SW can be set in the search area 2 setting column 1107, and the set area can be changed. Here, an arbitrary area can be designated on the screen of the image display area 1102 using a pointing device such as a mouse. For example, a rectangular area can be designated by clicking on a rectangular diagonal line. Also, the area can be specified using numerical values such as coordinates and angle ranges.
さらにサーチ感度設定欄1108では、パターンサーチの感度を、またサーチ精度設定欄1109ではパターンサーチの精度を、それぞれ設定できる。ここでは、数値でもって感度や精度を指定する。さらにまた相関値下限設定欄1110では、相関値の下限値を数値で指定する。 Further, in the search sensitivity setting column 1108, the sensitivity of the pattern search can be set, and in the search accuracy setting column 1109, the accuracy of the pattern search can be set. Here, sensitivity and accuracy are specified by numerical values. Furthermore, in the correlation value lower limit setting column 1110, the lower limit value of the correlation value is designated by a numerical value.
角度ブレ設定欄1111では、線形補間角度から想定される角度ブレの程度を設定する。ここでは、角度ブレの範囲を数値で指定するように構成してもよいし、あるいはその程度を入力するようにしてもよい。この例では程度として、ドロップダウンボックスから、「なし」、「小」、「中」、「大」のいずれかを選択する。「なし」を選択すると0°すなわち角度ブレをなくし、「小」を選択すると±2°の角度ブレを許容し、「中」を選択すると±4°、「大」を選択すると±6°の角度ブレをそれぞれ許容する。 In the angle blur setting column 1111, the degree of angle blur assumed from the linear interpolation angle is set. Here, the angle blur range may be designated by a numerical value, or the degree thereof may be input. In this example, “None”, “Small”, “Medium”, or “Large” is selected from the drop-down box as the degree. Selecting “None” eliminates 0 ° or angular blur, “Small” allows ± 2 ° angle blur, “Medium” selects ± 4 °, “Large” selects ± 6 ° Each angle blur is allowed.
位置ブレ設定欄1112では、線形補間位置から想定される位置ブレの程度を設定する。ここでもドロップダウンボックスから、「なし」、「小」、「中」、「大」のいずれかを選択する。「なし」を選択すると内挿のみとなって位置ブレを許容せず、「小」を選択すると±8ピクセル、「中」を選択すると±16ピクセル、「大」選択すると±32ピクセルの範囲を、それぞれ許容する。また、このように位置ブレの程度を選択する他、位置ブレの範囲をピクセル単位や長さ単位で直接入力するように構成してもよい。 The position blur setting column 1112 sets the degree of position blur assumed from the linear interpolation position. Again, select one of “None”, “Small”, “Medium”, or “Large” from the drop-down box. If “None” is selected, only interpolation is performed and position blurring is not allowed. If “Small” is selected, the range is ± 8 pixels. If “Medium” is selected, the range is ± 16 pixels. If “Large” is selected, the range is ± 32 pixels. , Tolerate each. In addition to selecting the degree of position blur in this way, the position blur range may be directly input in pixel units or length units.
さらに詳細設定欄1113で、「編集」ボタンを押下することで、GUIが図24から図25に示す詳細設定画面1200に切り替えられる。詳細設定画面1200では、操作領域1104に表示画像選択欄1105に加えて、さらに追跡対象設定欄1202、サーチ領域1設定欄1203、角度範囲設定欄1204が設けられている。サーチ領域1設定欄1203では、上述したサーチ領域2設定欄1107等と同様に、サーチ領域1SW1を設定、あるいは編集できる。追跡対象設定欄1202では、パターンサーチで追跡する対象となる追跡領域TWを、領域とするかパターンとするかを選択できる。領域を選択した場合は、上述したサーチ領域1設定欄1203で指定された矩形状の追跡領域TWでもって、パターンサーチを行う。一方、パターンを選択した場合は、追跡領域TWに含まれる、追跡したいワークWKの形状を抽出して、抽出されたパターンでもってパターンサーチを行う。抽出されたパターンはモデル画像として登録され、運用時においてはMC1画像中からパターンサーチされることになる。さらにこのパターンサーチには、モデル画像の回転も含む。また角度範囲設定欄1204では、パターンサーチにおいてモデル画像を回転させる角度範囲を設定する。ここでは、+方向と−方向をそれぞれ数値で指定できる。 Further, by pressing an “edit” button in the detailed setting field 1113, the GUI is switched from the detailed setting screen 1200 shown in FIG. 24 to FIG. In the detailed setting screen 1200, in addition to the display image selection field 1105, a tracking object setting field 1202, a search area 1 setting field 1203, and an angle range setting field 1204 are provided in the operation area 1104. In the search area 1 setting field 1203, the search area 1SW1 can be set or edited in the same manner as the search area 2 setting field 1107 described above. In the tracking target setting field 1202, it is possible to select whether the tracking area TW to be tracked by the pattern search is an area or a pattern. When an area is selected, a pattern search is performed using the rectangular tracking area TW specified in the search area 1 setting field 1203 described above. On the other hand, when a pattern is selected, the shape of the work WK to be tracked included in the tracking area TW is extracted, and pattern search is performed using the extracted pattern. The extracted pattern is registered as a model image, and a pattern search is performed from the MC1 image during operation. Further, the pattern search includes rotation of the model image. In the angle range setting column 1204, an angle range for rotating the model image in the pattern search is set. Here, the + direction and the − direction can be designated by numerical values.
なお、サーチ領域SW1を設定する際には、画像表示領域1102にMC1画像を表示させ、サーチ領域SW2を設定する際には、MC2画像を表示させた状態で、それぞれ設定することが望ましい。また、画像表示領域1102に表示させる画像の選択は、ユーザが表示画像選択欄1105等を用いて手動で行うことも可能であるが、設定する領域を選択すると、自動的に該領域の設定に適した画像が表示されるように構成してもよい。 When setting the search area SW1, it is desirable to display the MC1 image in the image display area 1102, and when setting the search area SW2, it is preferable to set the MC2 image in the displayed state. The image to be displayed in the image display area 1102 can be manually selected by the user using the display image selection field 1105 or the like, but when the area to be set is selected, the area is automatically set. You may comprise so that a suitable image may be displayed.
また以上の設定画面1100、1200の例では、(2)追跡パターン指定法での設定を説明したが、同様の方法で(1)追跡領域指定法の設定も行えることはいうまでもない。なお追跡領域指定法においては、パターン領域PWの指定に代えて、追跡領域TWを設定する。
(3)1Dエッジ法
In the example of the setting screens 1100 and 1200 described above, (2) the setting by the tracking pattern designation method has been described, but it goes without saying that (1) the tracking area designation method can also be set by the same method. In the tracking area specifying method, the tracking area TW is set instead of specifying the pattern area PW.
(3) 1D edge method
さらに、他の線形補間法として、エッジを利用した1Dエッジ法について説明する。1Dエッジ法では、PS*画像群を運用時と同様にワークWKが動いている状態で取得する。このようにして取得した画像群を用いて設定を行う。
(1Dエッジ法の設定)
Further, a 1D edge method using edges will be described as another linear interpolation method. In the 1D edge method, the PS * image group is acquired in a state where the work WK is moving as in the operation. Setting is performed using the image group acquired in this way.
(1D edge method setting)
1Dエッジ法では、設定時に、すべてのPS*画像でエッジが検出できるような計測領域MW、検出方向、エッジ方向、エッジ強度閾値等を設定する。この設定の様子を図26に示す。まず、PS1画像を表示させて、計測領域MWを、PS1画像上で設定する。 In the 1D edge method, at the time of setting, a measurement region MW, a detection direction, an edge direction, an edge intensity threshold, and the like that can detect an edge in all PS * images are set. The state of this setting is shown in FIG. First, the PS1 image is displayed, and the measurement area MW is set on the PS1 image.
次に、検出方向を設定する。検出方向は、ワークWKと平行になるように設定する。また、検出したいエッジの特徴に合わせて、エッジ方向とエッジ強度閾値を設定する。なお、これらの設定はPS*画像毎に設定してもよい。 Next, the detection direction is set. The detection direction is set to be parallel to the workpiece WK. In addition, an edge direction and an edge strength threshold are set according to the feature of the edge to be detected. These settings may be set for each PS * image.
ここでPS4画像で検出する最終エッジインデックスは最終エッジを指定するために用いる。またエッジ間隔は、PS1画像で検出される複数のエッジ候補の中から、ターゲットエッジを指定することで、登録エッジ間隔として設定される。
(1Dエッジ法の運用)
Here, the final edge index detected in the PS4 image is used to designate the final edge. The edge interval is set as a registered edge interval by specifying a target edge from among a plurality of edge candidates detected in the PS1 image.
(Operation of 1D edge method)
以上のようにして設定がなされた状態で、1Dエッジ法を運用する例について説明する。運用時には、PS4画像からターゲットエッジを求める。これをPS4ターゲットエッジ位置と呼ぶ。この位置と登録エッジ間隔に基づいて、推定エッジ位置を計算する。 An example in which the 1D edge method is operated in the state set as described above will be described. During operation, the target edge is obtained from the PS4 image. This is called a PS4 target edge position. Based on this position and the registered edge interval, an estimated edge position is calculated.
なおPS1画像からエッジを検出すると、複数のエッジ(候補エッジ)が検出されることがあるが、それらの候補エッジの中から、推定エッジ位置に近いエッジをPS1ターゲットエッジ位置とする。そしてこのPS1ターゲットエッジ位置とPS4ターゲットエッジ位置から、線形補間法に基づいてPS2、PS3の推定エッジ位置を求める。このPS2ターゲットエッジ位置とPS3ターゲットエッジ位置の演算は、PS1ターゲットエッジ位置の決定と同様の手法で行うことができる。 If an edge is detected from the PS1 image, a plurality of edges (candidate edges) may be detected. Among these candidate edges, an edge close to the estimated edge position is set as the PS1 target edge position. Then, the estimated edge positions of PS2 and PS3 are obtained from the PS1 target edge position and the PS4 target edge position based on the linear interpolation method. The calculation of the PS2 target edge position and the PS3 target edge position can be performed by the same method as the determination of the PS1 target edge position.
さらに、これらの位置情報を用いて、PS*画像をレジストレーションを行う。そしてレジストレーション後の画像群を用いて、PS処理を行う。または、これらの位置情報を用いて、PS*画像を直接PS処理画像を行うこともできる。 Further, the PS * image is registered using these pieces of position information. Then, PS processing is performed using the registered image group. Alternatively, it is possible to directly perform PS processing on PS * images using these pieces of position information.
何れの方法においても、画素情報へのアクセスの方法としては、例えば最近傍補間や双一次補間、双三次補間等が知られており、これら方法を用いる。
(1Dエッジ法の設定画面)
In any of the methods, for example, nearest neighbor interpolation, bilinear interpolation, bicubic interpolation, or the like is known as a method for accessing pixel information, and these methods are used.
(1D edge method setting screen)
ここで、1Dエッジ法における設定を行う設定手段として、画像検査プログラムのユーザインターフェース画面の一例を図27に示す。この設定画面1300も、上述した図24、図25と同様、画面の左側に画像表示領域1102を、右側に操作領域1104を、それぞれ設けている。また操作領域1104には、表示画像選択欄1105、動き補正法設定欄1302、計測領域設定欄1303、検出方向設定欄1304、エッジ方向設定欄1305、エッジ強度閾値設定欄1306、最終エッジインデックス設定欄1307、エッジ間隔設定欄1308が設けられている。表示画像選択欄1105では、図24等と同様、画像表示領域1102において表示させる画像を切り替えることができる。例えば、PS1、PS2、PS3、PS4のいずれかを切り替えて表示できる。この例では、PS1画像を表示させている。 Here, FIG. 27 shows an example of a user interface screen of the image inspection program as setting means for performing setting in the 1D edge method. The setting screen 1300 also includes an image display area 1102 on the left side of the screen and an operation area 1104 on the right side, as in FIGS. 24 and 25 described above. The operation area 1104 includes a display image selection field 1105, a motion correction method setting field 1302, a measurement area setting field 1303, a detection direction setting field 1304, an edge direction setting field 1305, an edge strength threshold setting field 1306, and a final edge index setting field. 1307, an edge interval setting field 1308 is provided. In the display image selection field 1105, the image to be displayed in the image display area 1102 can be switched as in FIG. For example, any one of PS1, PS2, PS3, and PS4 can be switched and displayed. In this example, a PS1 image is displayed.
動き補正法設定欄1302では、線形補間法で動き補正を、領域で行う追跡領域指定法か、パターンで行う追跡パターン指定法か、又はエッジで行う1Dエッジ法のいずれかを選択する。 In the motion correction method setting field 1302, a tracking region designation method for performing motion correction by a linear interpolation method, a tracking pattern designation method for performing a pattern, or a 1D edge method for performing an edge is selected.
計測領域設定欄1303では、エッジの計測領域MWを矩形とするか、又は回転矩形とするかを選択する。 In the measurement area setting field 1303, it is selected whether the edge measurement area MW is rectangular or rotated.
検出方向設定欄1304では、エッジの検出方向として、画像表示領域1102で表示される画像に対して「↓」、「↑」、「→」、「←」のいずれとするかを選択する。なお、計測領域設定欄1303で回転矩形を選択した場合は、この設定は不要となる。 In the detection direction setting field 1304, any of “↓”, “↑”, “→”, and “←” is selected as the edge detection direction for the image displayed in the image display area 1102. If a rotation rectangle is selected in the measurement area setting field 1303, this setting is unnecessary.
エッジ方向設定欄1305では、エッジ方向として、「明→暗」、「暗→明」、「両方」のいずれかを選択する。 In the edge direction setting field 1305, one of “bright → dark”, “dark → bright”, and “both” is selected as the edge direction.
エッジ強度閾値設定欄1306では、最大エッジ強度を999として、エッジ強度閾値を規格化して数値等により設定する。 In the edge strength threshold setting column 1306, the maximum edge strength is set to 999, and the edge strength threshold is normalized and set by a numerical value or the like.
最終エッジインデックス設定欄1307では、PS4画像のエッジ位置を指定する。 In the final edge index setting field 1307, the edge position of the PS4 image is designated.
エッジ間隔設定欄1308では、PS1画像の最初のエッジを、マウス等のポインティングデバイスで指定する。また、エッジインデックスを指定してもよい。 In the edge interval setting field 1308, the first edge of the PS1 image is designated with a pointing device such as a mouse. An edge index may be specified.
以上の設定画面1300から、ユーザは1Dエッジ法に必要な設定を行うことができる。
(画像転送順序)
From the setting screen 1300 described above, the user can make settings necessary for the 1D edge method.
(Image transfer order)
上述したいずれかの線形補間法のいずれか実施する際は、MC1画像及びMC2画像に対するサーチで得られる情報を用いて、PS*画像でのブレ補正のため、サーチ領域SWの定義を行う。このため、撮像の順序とは関係なく、図28に示すように、動き補正用画像を優先して画像処理部41に転送することが望ましい。これは、仮に図29に示すように、画像を撮像の順序通りに転送すると、転送速度に律速されてしまうため、動き補正用画像の転送が遅くなってしまうからである。
(無効画素)
When any one of the above-described linear interpolation methods is performed, the search area SW is defined for blur correction in the PS * image using information obtained by searching the MC1 image and the MC2 image. Therefore, it is desirable to transfer the motion correction image to the image processing unit 41 with priority as shown in FIG. 28 regardless of the order of imaging. This is because, as shown in FIG. 29, if the images are transferred in the order of imaging, the transfer speed is limited, so that the transfer of the motion correction image is delayed.
(Invalid pixel)
以上のようにして画像レジストレーションを行うと、ある画像中のある画素に対応する画素が、他の画像中に含まれないことがある。画素集合の中にそのような非対応の画素を含む画素集合で計算された画像の画素を、ここでは無効画素とする。 When image registration is performed as described above, a pixel corresponding to a certain pixel in a certain image may not be included in another image. The pixel of the image calculated by the pixel set including such non-corresponding pixels in the pixel set is defined as an invalid pixel here.
このような無効画素を検査に用いることができないので、フォトメトリックステレオ法で作成する画像を表示する際は、例えばユーザに状況が分かるように同一色で表示したり、又は初期背景の画像の背景とすることが望ましい。また、同一色で表示する場合はユーザが選択できるようにすることが望ましい。
(変形例1)
Since such invalid pixels cannot be used for inspection, when displaying an image created by the photometric stereo method, for example, it is displayed in the same color so that the user can understand the situation, or the background of the initial background image Is desirable. Further, when displaying in the same color, it is desirable that the user can select.
(Modification 1)
上記の実施形態では、等速運動をする移動体(ワーク)に対して、PS画像を撮像する最初と最後に基準画像を作り、線形補間によって、基準画像と整合する画像を抽出することで、画像レジストレーションを成立させている。 In the above embodiment, for a moving body (work) that moves at a constant speed, a reference image is created at the beginning and end of capturing a PS image, and an image that matches the reference image is extracted by linear interpolation. Image registration is established.
ただ、本発明はワークが等速運動する場合に限らず、他の運動を示すワークに対しても線形補間等の近似を適用できる。例えば等加速度運動をする移動体に対して線形補間をした場合、図30に示すように、線形補間して得られた移動位置は、実際の移動位置よりも移動量が多くなる。ブレ補正はこのような場合に有用であるが、移動体の位置推定の精度を高めるために、以下のようにしてもよい。 However, the present invention is not limited to the case where the work moves at a constant speed, and approximation such as linear interpolation can be applied to a work showing other movements. For example, when linear interpolation is performed on a moving body that moves at a constant acceleration, as shown in FIG. 30, the movement position obtained by linear interpolation has a movement amount larger than the actual movement position. The blur correction is useful in such a case, but in order to increase the accuracy of position estimation of the moving body, the following may be performed.
例えば、基準画像をPS画像の前後、計2個とするのみならず、3個以上に増やして、等速運動以外の運動をする移動体(例えば、等加速度運動や振動するワーク)に対しても、時間に対する位置の関数で2次補間等の高次フィッティングを行うことで、等速運動に限られない様々な運動をするワークに対して、ワークの位置を補間し、画像レジストレーションを成立させ、フォトメトリックステレオ法を応用することもできる。 For example, the reference image is not only two before and after the PS image, but is increased to three or more, and for a moving body (for example, a uniform acceleration motion or a vibrating workpiece) that moves other than a uniform motion However, by performing high-order fitting such as quadratic interpolation using a position function with respect to time, the position of the workpiece is interpolated for workpieces that move in various ways, not limited to constant velocity, and image registration is established. The photometric stereo method can be applied.
例えば、上述した照明手段を東西南北の4方向に配置し照明方向を4方向としてPS1〜PS4画像を撮像すると共に、その前後に全灯画像MC1画像、MC2画像を撮像する構成において、ワークが非等速運動を示す移動体である場合に2次補間等を行う例を、図32Aに示す。図32Aは、4方向照明の場合の全灯撮像のタイミングを示しており、上述の図19Aで示した実施形態のように、PS画像撮像の前後に全灯画像MC1、MC2を撮像することに加え、MC1画像とMC2画像の間にも、追加の全灯画像MC1’を撮像する動作を追加している。このように計3回の全灯撮像を行って得られた画像を基準画像とし、各部分照明画像に対して、2次補間等の高次フィッティングを行う。そして、各部分照明画像から基準画像と整合する画像を抽出することで、画像レジストレーションを成立させる。 For example, in the configuration in which the above-described illumination means is arranged in four directions, east, west, north, and south, and the PS1 to PS4 images are captured with the illumination directions set to four directions, and the entire lamp image MC1 image and MC2 image are captured before and after that, FIG. 32A shows an example in which quadratic interpolation or the like is performed in the case of a moving body that exhibits constant velocity motion. FIG. 32A shows the timing of all-lamp imaging in the case of four-way illumination. As in the embodiment shown in FIG. 19A described above, all-lamp images MC1 and MC2 are captured before and after PS image capturing. In addition, an operation of capturing an additional all-lamp image MC1 ′ is also added between the MC1 image and the MC2 image. In this way, an image obtained by performing all-lamp imaging three times in total is used as a reference image, and high-order fitting such as secondary interpolation is performed on each partial illumination image. Then, an image registration is established by extracting an image that matches the reference image from each partial illumination image.
また、図32Aでは照明方向を4つとした例を説明したが、照明方向の数は3個としたり、5個以上とすることもでき、これらの場合においても同様に基準画像を追加することで、非等速運動に対応できる。例えば、照明方向として東西南北の4方向に加え、東北、南北、南西、北西の4方向を追加した計8方向とした例を、図32Bに示す。この場合においても、追加の基準画像として追加全灯画像MC1’をPS画像の中間に追加することで、高次フィッティングを利用して各部分照明画像との整合に対応できる。 32A illustrates an example in which there are four illumination directions. However, the number of illumination directions can be three, or five or more. In these cases, a reference image can be added in the same manner. Can support non-constant speed movement. For example, FIG. 32B shows an example in which four directions of northeast, north-south, southwest, and northwest are added in addition to the four directions of east, west, north, and south as illumination directions, for a total of eight directions. Even in this case, by adding the additional full-lamp image MC1 'as an additional reference image in the middle of the PS image, it is possible to cope with matching with each partial illumination image using high-order fitting.
以上の例では、追加する基準画像は、MC1画像とMC2画像の中間に介在させている。これによって、近似の精度を高める効果が期待できる。また、追加基準画像を含めた基準画像の数は3個に限らず、それ以上に増やしてもよい。特にPS画像の数を増やした場合は、一連のPS画像の中間に介在させる追加基準画像の数を増やすことで、より高精度なフィッティングが期待できる。 In the above example, the reference image to be added is interposed between the MC1 image and the MC2 image. As a result, an effect of improving the accuracy of approximation can be expected. Further, the number of reference images including the additional reference image is not limited to three and may be increased beyond that. In particular, when the number of PS images is increased, more accurate fitting can be expected by increasing the number of additional reference images interposed between a series of PS images.
また各照明手段は、部分照明画像の撮像時の照明光の強度を一定にすることが好ましい。これによって部分照明画像間で照度差が大きくなることを回避し、均一に近付けた照度でフォトメトリック処理を行える。 Moreover, it is preferable that each illumination means makes the intensity | strength of the illumination light constant at the time of imaging of a partial illumination image. As a result, an increase in illuminance difference between partially illuminated images can be avoided, and photometric processing can be performed with the illuminance approached uniformly.
さらに全灯画像を撮像するために照明手段をすべて点灯させる際には、照明手段の数をNとするとき、各照明手段の照明光を1/N倍に調整することが好ましい。このように全灯画像の撮像時には照明手段の強度を均一に弱めることで、ムラの少ない照明状態で全灯画像を撮像できる。特にすべての照明方向から一斉に強い照明光をワークに照射すると白飛びが発生し易くなる。よって、意図的に照明光を弱めることで、光量を階調が飽和しない程度に抑えて、高品質な全灯画像が得られるようになる。さらに全灯画像と部分照明画像とで明るさが大きく異なる事態を回避し、ムラのない状態で精度よく対応位置の演算処理を行える利点が得られる。例えば照明手段を4つとする場合は、全灯画像撮像時は各照明光の照明光の輝度を1/4に低下させる。 Furthermore, when all the illumination means are turned on to capture all the lamp images, it is preferable to adjust the illumination light of each illumination means to 1 / N times, where N is the number of illumination means. As described above, when the all-lamp image is captured, it is possible to capture the all-lamp image in an illumination state with less unevenness by uniformly reducing the intensity of the illumination unit. In particular, when the work is irradiated with intense illumination light all at once from all illumination directions, whiteout tends to occur. Therefore, by deliberately reducing the illumination light, it is possible to obtain a high-quality all-lamp image by suppressing the amount of light so that the gradation is not saturated. Furthermore, it is possible to avoid the situation where the brightness differs greatly between the full-lamp image and the partial illumination image, and to obtain the advantage that the corresponding position can be calculated accurately with no unevenness. For example, when the number of illumination means is four, the brightness of the illumination light of each illumination light is reduced to ¼ at the time of capturing all-lamp images.
また、高次の関数で近似する他、多項式以外の特殊な関数で動きがモデリングできる場合は、その関数を一意に決めるためパラメータを計測位置から決定することで、多項式では精度の落ちる動きでもより正確に位置や姿勢を推定でき、正確なPS処理を実現できる。 In addition, if the motion can be modeled with a special function other than a polynomial in addition to approximation with a higher-order function, the parameter can be determined from the measurement position in order to uniquely determine the function, so even a motion with a reduced accuracy can be obtained with a polynomial. The position and orientation can be accurately estimated, and accurate PS processing can be realized.
このように変形例1によれば、3回以上の全灯撮像を行って得られた画像を基準画像として利用することで、等加速度運動や振動運動といった等速運動以外の運動を示すワークにも対応でき、フォトメトリックステレオ法を利用して、移動しているワークの傷検査や印字のOCRを実現できる。
(変形例2)
As described above, according to the first modified example, by using an image obtained by performing all-lamp imaging three times or more as a reference image, a work that shows a motion other than a constant velocity motion such as a uniform acceleration motion or a vibration motion. The photometric stereo method can be used to perform flaw inspection of moving workpieces and OCR for printing.
(Modification 2)
以上の例では、全灯撮像においても、各部分照明撮像においても、照明光として例えば白色光を単色で照射しており、全灯撮像と各部分照明撮像とは異なるタイミングで行っている。例えば、図33A及び図33Bに示すように、最初と最後との間にも全灯撮像を行う場合は、最初と最後に全灯撮像を2回のみ行う場合と比べて、撮像回数が1回増えることとなる。 In the above example, in both the full-lamp imaging and each partial illumination imaging, for example, white light is emitted as a single color as illumination light, and the full-lamp imaging and each partial illumination imaging are performed at different timings. For example, as shown in FIGS. 33A and 33B, when all-lamp imaging is performed between the first and last times, the number of times of imaging is one time as compared to the case where all-lamp imaging is performed only twice at the beginning and the end. Will increase.
ただ本発明は、この構成に限らず、全灯画像と部分照明画像とを同時に撮像してもよい。このような全灯照明と部分照明とを同じタイミングで行うには、照明光を単色光とせず、マルチカラーを利用する。すなわち、照明手段が発する照明光にカラー照明を利用することで、図34に示すように、全灯撮像と各部分照明とを同時に行い、撮像回数を少なくできる。例えば、図35に示すように、全灯照明用の照明光を赤色、各部分照明の照明光を青色とする等、第一照明手段21〜第四照明手段24において色分けして照射すると共に、撮像手段11に単色でなく、カラーのイメージセンサを用いる。そして、撮像手段11で検出された撮像信号を、全灯照明(例えば赤色)と部分照明(例えば青色)に分離することで、全灯照明と各部分照明とを同時に行うことが許容される。 However, the present invention is not limited to this configuration, and a full-lamp image and a partial illumination image may be captured simultaneously. In order to perform such full-light illumination and partial illumination at the same timing, multicolor is used instead of monochromatic light. That is, by using color illumination for the illumination light emitted by the illumination means, as shown in FIG. 34, all-lamp imaging and each partial illumination can be performed simultaneously, and the number of imaging can be reduced. For example, as shown in FIG. 35, the illumination light for full lamp illumination is red, the illumination light of each partial illumination is blue, etc. A color image sensor is used for the image pickup means 11 instead of a single color. Then, by separating the imaging signal detected by the imaging means 11 into full-light illumination (for example, red) and partial illumination (for example, blue), it is allowed to perform full-light illumination and each partial illumination at the same time.
撮像信号の分離は、カラーイメージセンサによって画素レベルで行ってもよいし、光学的に行うこともできる。通常、カラーイメージセンサは、画素毎にRGBの色情報が得られるので、R成分のみを抽出すれば、赤色の全灯画像を作成することができ、B成分のみを抽出すれば、各照明方向の部分照明画像を作成できる。 The separation of the imaging signal may be performed at the pixel level by a color image sensor or may be performed optically. Usually, since the color image sensor can obtain RGB color information for each pixel, if only the R component is extracted, a red all-lamp image can be created, and if only the B component is extracted, each illumination direction can be obtained. A partial illumination image can be created.
光学的に行う場合は、例えば光の波長によって、赤い光は透過し、青い光は反射する等、透過光を選択可能なビームスプリッタを利用して、その出力側に、RとBのそれぞれの成分を検出可能な撮像素子を有する撮像手段11を配するようにしてもよい。あるいは、液晶フィルタのような、特定の波長の光を選択的に透過可能な光学フィルタを、撮像手段11の前段に配置して、その光学フィルタでもって照明光の反射光を選別、抽出するようにしてもよい。 When optically performed, for example, red light is transmitted and blue light is reflected depending on the wavelength of the light, and a beam splitter capable of selecting transmitted light is used. You may make it arrange | position the imaging means 11 which has an image pick-up element which can detect a component. Alternatively, an optical filter, such as a liquid crystal filter, that can selectively transmit light of a specific wavelength is disposed in front of the imaging means 11, and the reflected light of the illumination light is selected and extracted by the optical filter. It may be.
第一照明手段21〜第四照明手段24による色分けは、例えば以下のような態様が考えられる。(1)カラー成分毎の分離で済む組み合わせとしては、単色であれば、(a)緑色+青色、(b)赤色+青色、(c)赤色+緑色、混合色としては、(d)黄色+青色、(e)マゼンダ+緑色、(f)シアン+赤色、等が挙げられる。(2)線形分離が必要な組み合わせとして、上記(a)〜(f)以外の組み合わせを挙げることができる。この場合は、非線形のベクトルを分解する処理が必要となる。 For example, the following modes can be considered for the color classification by the first illumination means 21 to the fourth illumination means 24. (1) Combinations that can be separated for each color component are (a) green + blue, (b) red + blue, (c) red + green, and (d) yellow + Blue, (e) magenta + green, (f) cyan + red, and the like. (2) Examples of combinations that require linear separation include combinations other than the above (a) to (f). In this case, a process for decomposing a non-linear vector is necessary.
移動体が複雑な運動、例えば振動している場合や不規則な動きをしている場合には、図36に示すように、線形補間だけでは移動量に大きな誤差が生ずることもあり得る。しかしながら、変形例2によれば、全灯撮像を別個独立したタイミングで設けなくてもよいので、追加の基準画像を撮像する時間を省いて処理時間を短縮化でき、特にラインの検査のようにリアルタイム処理が求められる用途に好適となる。また、追加の撮像処理を無くす分だけ、各部分照明を増やすことができ、フォトメトリックステレオ処理の精度が向上する。 When the moving body is complicated, for example, when it is vibrating or irregularly moving, as shown in FIG. 36, a large error may occur in the moving amount only by linear interpolation. However, according to the second modification, since it is not necessary to provide all-lamp imaging at separate and independent timings, the processing time can be shortened by omitting the time for imaging an additional reference image, particularly as in line inspection. Suitable for applications requiring real-time processing. Also, the amount of each partial illumination can be increased by eliminating the additional imaging process, and the accuracy of the photometric stereo process is improved.
また、ワークの特性によっては、特定の色に反応し、法線ベクトル画像がその色の輝度値の影響を受けてしまうケースであっても、その色を回避して照明することができるので、検査におけるロバスト性が向上する。なお、ワークの特性によって、特定の色の照明を試しながら、照明の色を変更することができるので、検査に最も適した照明の色を探すことも可能である。例えば、鏡面反射の強いワークでは向きによって凹凸の出方が不安定となるところ、図37A及び図37Bに示すように、4方向からの部分照明撮像を8方向からの部分照明撮像へと点灯数を増やすことによって、凹凸の出方が安定化し(例えば楕円で囲った部分)、検査の安定性や対応力が向上する。 Also, depending on the characteristics of the work, even if it is a case that reacts to a specific color and the normal vector image is affected by the luminance value of that color, it can be illuminated avoiding that color, Robustness in inspection is improved. Note that the illumination color can be changed while trying the illumination of a specific color depending on the characteristics of the workpiece, so that it is possible to search for the illumination color most suitable for the inspection. For example, in a workpiece with strong specular reflection, the unevenness is unstable depending on the orientation. As shown in FIGS. 37A and 37B, the number of lightings is changed from partial illumination imaging from four directions to partial illumination imaging from eight directions. By increasing, the appearance of the unevenness is stabilized (for example, a portion surrounded by an ellipse), and the stability and response of the inspection are improved.
また、変形例2によれば、変形例1のように、ワークが多種多様な運動をするワークに対してフォトメトリックステレオ法を応用する場合にあっては、各方向画像と同時に得られる全灯画像から抽出された画像の位置情報を取得できるので、移動量の補間をしないという態様も考えられ、撮像回数を減らすことが可能であり、撮像回数が多いと撮像のタイミングが追いつかないような例えば高速であったり不規則な動きをするワークに対しても、検査のロバスト性を向上させることができる。 Further, according to the second modification, when the photometric stereo method is applied to a work in which the work moves in a wide variety as in the first modification, all the lamps obtained simultaneously with the respective direction images are used. Since the position information of the image extracted from the image can be acquired, an aspect of not interpolating the movement amount is also conceivable, the number of imaging can be reduced, and the imaging timing cannot catch up when the number of imaging is large, for example The robustness of inspection can be improved even for a workpiece that moves at high speed or irregularly.
さらに、変形例2によれば、撮像枚数が少なくなるので、タクトを縮小し、画像保存用のメモリを削減することができる。
(変形例3)
Furthermore, according to the second modification, since the number of captured images is reduced, the tact can be reduced and the memory for storing images can be reduced.
(Modification 3)
さらに、照明光の波長を変化させることで、部分照明画像の撮像も同じタイミングで行うことも可能となる。すなわち、移動するワークの位置等を推定するため基準画像を追加する処理のみならず、静止したワークに対する通常のフォトメトリックステレオ処理においても、複数枚の部分照明画像を同時に撮像することで、処理時間の短縮を図ることが可能となる。例えば図38に示すように、4つの照明方向から照明した部分照明画像PS1〜PS4を4枚撮像する場合において、第一照明手段と第二照明手段の照明光の波長を異ならせることで、部分照明画像PS1とPS2とを同じタイミングで撮像できる。同様に、第三照明手段と第四照明手段の照明光の波長を異ならせれば、部分照明画像PS3とPS4とを同じタイミングで撮像できる。これにより、フォトメトリックステレオ処理における画像撮像時間の短縮を図ることができる。また、このような処理を、上述した移動体のワークにおける補間処理に適用することも可能である。 Furthermore, by changing the wavelength of the illumination light, the partial illumination image can be captured at the same timing. In other words, not only the process of adding a reference image to estimate the position of a moving work, but also the normal photometric stereo process for a stationary work, it is possible to capture multiple partial illumination images at the same time. Can be shortened. For example, as shown in FIG. 38, in the case of capturing four partial illumination images PS1 to PS4 illuminated from four illumination directions, the wavelength of the illumination light of the first illumination means and the second illumination means can be made different. The illumination images PS1 and PS2 can be captured at the same timing. Similarly, if the wavelengths of the illumination light of the third illumination unit and the fourth illumination unit are different, the partial illumination images PS3 and PS4 can be captured at the same timing. Thereby, it is possible to shorten the image capturing time in the photometric stereo processing. Also, such processing can be applied to the above-described interpolation processing in the workpiece of the moving object.
本実施の形態によれば、ワークとして同じような形状のものを繰り返しサーチするという特殊性がある。この場合において、ワーク表面上の傷や汚れ等を、追跡対象画像として利用することで、指紋のように追跡に役立てることができる。また追跡対象画像は、ワークの全景に限らず、ワークの一部を指定することもできるし、あるいはワークに限らず、ワークの背景等も利用することもできる。
(モデル画像アプローチ)
According to this embodiment, there is a peculiarity of repeatedly searching for a workpiece having the same shape. In this case, scratches, dirt, etc. on the work surface can be used as a tracking target image, which can be used for tracking like a fingerprint. Further, the tracking target image is not limited to the whole view of the work, but a part of the work can be designated, or the work background can be used as well as the work.
(Model image approach)
以上、(1)の線形補間アプローチについて説明した。次に、(2)のモデル画像アプローチについて説明する。上述の通り、モデル画像アプローチにおけるモデル画像を作成するに当たっては、(A)PSモデル法と、(B)仮想モデル法が挙げられる。そこで、まずPSモデル法を説明する。
(4−3.PSモデル法)
The linear interpolation approach (1) has been described above. Next, the model image approach (2) will be described. As described above, in creating a model image in the model image approach, (A) PS model method and (B) virtual model method can be cited. First, the PS model method will be described.
(4-3. PS model method)
画像レジストレーションのためのサーチは、PS画像に対してサーチを行う。PS画像は照明の変動が大きいため、MC1画像をモデルにしたり、PS1画像をモデルにするだけでは、PS*画像のすべてに対して、安定なサーチを実施することが困難となる。そこで、PSモデル法の設定時には、ワークWKを静止させたまま、照明方向を運用時と同様に変動させて、MC*画像及びPS*画像を取得する。これらの取得したMC*画像及びPS*画像を、ここではモデル画像群と呼ぶ。 The search for image registration is performed on the PS image. Since the PS image has a large variation in illumination, it is difficult to perform a stable search for all PS * images only by using the MC1 image as a model or simply using the PS1 image as a model. Therefore, when the PS model method is set, the MC * image and the PS * image are acquired by changing the illumination direction in the same manner as during operation while keeping the work WK stationary. These acquired MC * images and PS * images are referred to herein as model image groups.
次に、モデル画像群の何れかを参照しながら、パターン領域PW又は追跡領域TWを設定する。ここではMC1画像、PS*画像のそれぞれ対応する部分画像をモデルにする。例えば、PS1画像で、画像レジストレーションのためのサーチを行う場合は、登録PS1画像で定義される部分画像をモデルとする。このようにすることで、照明の変動が大きい画像でも、安定して画像レジストレーションを行うことができる。なお、このPSモデル法は、ワークWKの登録時からの姿勢の変動が小さいことを前提にしている。この前提が成立しないような一部の検査条件においては、次の仮想モデル法が好適である。
(4−4.仮想モデル法)
Next, the pattern area PW or the tracking area TW is set while referring to any of the model images. Here, the corresponding partial images of the MC1 image and the PS * image are used as models. For example, when a search for image registration is performed on a PS1 image, a partial image defined by the registered PS1 image is used as a model. By doing in this way, it is possible to perform image registration stably even for an image with a large variation in illumination. This PS model method is based on the premise that the posture variation from the time of registration of the workpiece WK is small. The following virtual model method is suitable for some inspection conditions that do not satisfy this premise.
(4-4. Virtual model method)
次に、他のモデル画像アプローチである仮想モデル法を、設定、運用のそれぞれについて説明する。
(仮想モデル法の設定)
Next, the virtual model method, which is another model image approach, will be described for each of setting and operation.
(Setting of virtual model method)
仮想モデル法の設定においても、ワークWKを静止させたまま、照明方向を運用時と同様に変動させて、MC*画像、PS*画像(モデル画像群)を取得する。そして、モデル画像群の何れかを参照しながら、パターン領域PW又は追跡領域TWを設定する。またMC1画像、PS*画像のそれぞれ対応する部分画像をモデルとする。 Even in the setting of the virtual model method, MC * images and PS * images (model image groups) are acquired by changing the illumination direction in the same manner as in operation while the work WK is stationary. Then, the pattern area PW or the tracking area TW is set while referring to any of the model images. Further, partial images corresponding to the MC1 image and the PS * image are used as models.
さらにPS*画像から、以下の数式が画像上に配置されて得られる重み付き法線画像を取得する。 Further, a weighted normal image obtained by arranging the following mathematical expressions on the image is acquired from the PS * image.
運用時にはこの法線画像から、サーチ用のモデル画像を作成する。
(仮想モデル法の運用)
(仮想モデル法で追跡領域指定法を用いる場合)
In operation, a model image for search is created from this normal image.
(Operation of virtual model method)
(When using tracking area designation method in virtual model method)
仮想モデル法の運用時の処理は、追跡領域指定法と追跡パターン指定法とで異なる。仮想モデル法で追跡領域指定法を用いる場合は、PSモデル法と同様にワークWKの登録時からの姿勢の変動が少ないことが必要となる。 Processing during operation of the virtual model method differs between the tracking area specifying method and the tracking pattern specifying method. When the tracking area designation method is used in the virtual model method, it is necessary that the posture change from the time of registration of the work WK is small as in the PS model method.
この場合、重み付き法線画像に対して、PS*画像のそれぞれに対応する照明光が照射されたと推定して、PS*画像に対応するそれぞれの推定画素値を、以下の数式より計算する。 In this case, the weighted normal image is estimated to have been irradiated with illumination light corresponding to each PS * image, and each estimated pixel value corresponding to the PS * image is calculated from the following formula.
ここで、PS*画像の照明の向きを(S*x,S*y,S*z)で表している。この画像を使って、PS*画像でサーチを行う。
(仮想モデル法で追跡パターン指定法を用いる場合)
Here, the direction of illumination of the PS * image is represented by (S * x , S * y , S * z ). Use this image to search for PS * images.
(When using the tracking pattern specification method in the virtual model method)
次に、仮想モデル法で追跡パターン指定法を用いる場合について説明する。この場合は上述した追跡領域指定法とは異なり、MC*画像から推定姿勢が得られるため、ワークWKの登録時からの姿勢の変動が少ないという前提は不要となる。 Next, a case where the tracking pattern designation method is used in the virtual model method will be described. In this case, unlike the tracking area designation method described above, the estimated posture is obtained from the MC * image, and therefore, it is not necessary to assume that the posture variation from the time of registration of the workpiece WK is small.
まずPS*画像に対応する照明方向を、推定姿勢の分だけ回転させる。これにより上記の(S*x,S*y,S*z)の内(S*x,S*y)が回転の影響を受けて変化する。例えば、姿勢が30°回転した場合は、モデルにとっては−30°照明が回転したことになる。 First, the illumination direction corresponding to the PS * image is rotated by the estimated posture. Thus the above (S * x, S * y , S * z) of the (S * x, S * y ) changes under the influence of rotation. For example, if the posture is rotated by 30 °, the −30 ° illumination is rotated for the model.
この回転変換を(S*x,S*y)に乗じて、上記数5を用いてPS*画像の推定画素値を計算し、この画像を用いてPS*画像でサーチを行う。 By multiplying (S * x , S * y ) by this rotational transformation, the estimated pixel value of the PS * image is calculated using the above equation 5, and the PS * image is searched using this image.
また、これらの実施例を組み合わせて利用することもできる。具体的には、上記の(A)実際に撮影した画像をモデル画像とするPSモデル法と、(B)仮想的に作った画像をモデル画像とする仮想モデル法の2つの内、何れかの方法によって、モデル画像を作成し、線形補間等によって、モデル画像と整合する画像を抽出することで、画像レジストレーションを成立させ、抽出された画像の位置情報から照明方向を取得することもできる。 Further, these embodiments can be used in combination. Specifically, one of the two (A) PS model methods using an actually captured image as a model image and (B) a virtual model method using a virtually created image as a model image. By creating a model image by a method and extracting an image that matches the model image by linear interpolation or the like, image registration can be established, and the illumination direction can be acquired from position information of the extracted image.
なお以上の例では、基準画像として、すべての照明手段を点灯させた全灯画像を用いた例を説明したが、ワークの形状や表面の反射状態によっては、一部の照明手段を消灯した状態でも鮮明な画像が撮像できることがあるので、このような画像を基準画像として利用することも可能である。いいかえると、基準画像は必ずしも全灯画像のみに限定されるものではない。 In the above example, an example in which an all-lamp image in which all the lighting means are turned on has been described as the reference image. However, depending on the shape of the workpiece and the reflection state of the surface, a part of the lighting means is turned off. However, since a clear image may be captured, such an image can be used as a reference image. In other words, the reference image is not necessarily limited to the all-lamp image.
本発明の画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器は、フォトメトリックステレオを用いた検査装置やデジタイザに好適に利用できる。 The image inspection apparatus, the image inspection method, the image inspection program, and the computer-readable recording medium or the recorded device of the present invention can be suitably used for an inspection apparatus or a digitizer using a photometric stereo.
1…画像検査装置
11…撮像手段
12、32、52、62、82…ケーブル
71、72、73、74、76…ケーブル
20、20’、20”…環状照明ユニット
21、22、23、24、25…照明手段
31…照明制御手段
41…画像処理部
41a…法線ベクトル算出手段
41b…輪郭画像生成手段
41c…テクスチャ抽出画像生成手段
41d…検査領域特定手段
41e…画像処理手段
41f…判定手段
42…信号処理系
43…CPU
44…メモリ
45…ROM
46…バス
51…表示手段
61…操作手段
75…照明分岐ユニット
81…PLC
1100…画像検査プログラムの設定画面
1102…画像表示領域
1104…操作領域
1105…表示画像選択欄
1106…パターン領域設定欄
1107…サーチ領域2設定欄
1108…サーチ感度設定欄
1109…サーチ精度設定欄
1110…相関値下限設定欄
1111…角度ブレ設定欄
1112…位置ブレ設定欄
1113…詳細設定欄
1200…詳細設定画面
1202…追跡対象設定欄
1203…サーチ領域1設定欄
1204…角度範囲設定欄
1300…設定画面
1302…動き補正法設定欄
1303…計測領域設定欄
1304…検出方向設定欄
1305…エッジ方向設定欄
1306…エッジ強度閾値設定欄
1307…最終エッジインデックス設定欄
1308…エッジ間隔設定欄
WK…ワーク
SG…ステージ
n…法線ベクトル
S…拡散反射面
P…対応位置
PS1〜PS8、PS1’〜PS4’…部分照明画像(フォトメトリックステレオ画像)
MC1…第1全灯画像;MC2…第2全灯画像;MC3〜MC5…全灯画像
MC1’、MC2’…追加全灯画像
L1…第一照明手段;L2…第二照明手段
TW…追跡領域;SW、SW1、SW2…サーチ領域;PW…パターン領域
MW…計測領域
DESCRIPTION OF SYMBOLS 1 ... Image inspection apparatus 11 ... Imaging means 12, 32, 52, 62, 82 ... Cable 71, 72, 73, 74, 76 ... Cable 20, 20 ', 20 "... Annular illumination unit 21, 22, 23, 24, 25 ... illumination means 31 ... illumination control means 41 ... image processing unit 41a ... normal vector calculation means 41b ... contour image generation means 41c ... texture extraction image generation means 41d ... inspection region specification means 41e ... image processing means 41f ... determination means 42 ... Signal processing system 43 ... CPU
44 ... Memory 45 ... ROM
46 ... Bus 51 ... Display means 61 ... Operation means 75 ... Illumination branch unit 81 ... PLC
1100 ... Image inspection program setting screen 1102 ... Image display area 1104 ... Operation area 1105 ... Display image selection field 1106 ... Pattern area setting field 1107 ... Search area 2 setting field 1108 ... Search sensitivity setting field 1109 ... Search accuracy setting field 1110 ... Correlation value lower limit setting field 1111 ... Angle blur setting field 1112 ... Position blur setting field 1113 ... Detailed setting field 1200 ... Detailed setting screen 1202 ... Tracking target setting field 1203 ... Search area 1 setting field 1204 ... Angle range setting field 1300 ... Setting screen 1302 ... Motion correction method setting field 1303 ... Measurement area setting field 1304 ... Detection direction setting field 1305 ... Edge direction setting field 1306 ... Edge strength threshold setting field 1307 ... Final edge index setting field 1308 ... Edge interval setting field WK ... Work SG ... Stage n ... Normal vector S ... Diffusion anti Plane P ... corresponding position PS1~PS8, PS1'~PS4 '... partial illumination image (photometric stereo images)
MC1 ... first full-light image; MC2 ... second full-light image; MC3-MC5 ... full-light image MC1 ', MC2' ... additional full-light image L1 ... first illumination means; L2 ... second illumination means TW ... tracking area SW, SW1, SW2 ... search area; PW ... pattern area MW ... measurement area
Claims (12)
ワークを互いに異なる照明方向から照明するための三以上の照明手段と、
前記三以上の照明手段を一ずつ所定の点灯順に点灯させる、又は該三以上の照明手段を同時に点灯させるための照明制御手段と、
前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、照明方向が異なる複数の部分照明画像を撮像するための撮像手段と、
前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づきワークの検査画像を生成するための前処理として、予め照明方向を変化させた照明パターンに対してそれぞれモデル画像を取得し、これに基づいてテンプレートを予め定義しておき、移動するワークの外観検査を行う運転時において、各照明パターンに対応するテンプレートでサーチを行い、テンプレートと合致する位置情報を取得するテンプレートサーチ手段と、
前記テンプレートサーチ手段で取得された位置情報から、各部分照明画像中で対応する画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と
を備えることを特徴とする画像検査装置。 An image inspection apparatus for inspecting the appearance of a moving workpiece,
Three or more illumination means for illuminating the workpiece from different illumination directions;
Illumination control means for lighting the three or more lighting means one by one in a predetermined lighting order, or lighting the three or more lighting means simultaneously;
Imaging means for capturing a plurality of partial illumination images with different illumination directions by imaging the workpiece from a certain direction at an illumination timing at which each illumination means is turned on by the illumination control means;
As a pre-process for generating an inspection image of a workpiece based on the photometric stereo method using a pixel value for each pixel having a correspondence relationship between a plurality of partial illumination images captured by the imaging unit, the illumination direction is previously determined A model image is acquired for each illumination pattern that has been changed, a template is defined in advance based on this, and a search is performed with a template corresponding to each illumination pattern during operation for visual inspection of a moving workpiece. Template search means for obtaining position information matching the template,
A normal vector calculating means for calculating a normal vector with respect to the surface of the workpiece of each pixel, using the pixel value of each corresponding pixel in each partial illumination image from the position information acquired by the template search means; An image inspection apparatus comprising:
前記撮像手段は、前記三以上の照明手段を同時に点灯させて撮像した第一基準画像と、該第一基準画像よりも時間的に後の撮像タイミングで第二基準画像とを撮像可能であり、
前記画像検査装置はさらに、第一基準画像中におけるワークの位置及び第二基準画像中におけるワークの位置から、移動したワークの位置変化を推定し、該推定結果に基づいて、前記第一基準画像又は第二基準画像と、各部分照明画像との間で対応する画素の位置を推定するための対応位置推定手段を備え、
前記対応位置推定手段で推定された推定位置に対して、前記テンプレートサーチ手段でもってテンプレートサーチを実行するよう構成してなることを特徴とする画像検査装置。 The image inspection apparatus according to claim 1,
The imaging unit is capable of capturing a first reference image captured by simultaneously lighting the three or more illumination units, and a second reference image at an imaging timing later in time than the first reference image,
The image inspection apparatus further estimates a position change of the moved work from the position of the work in the first reference image and the position of the work in the second reference image, and based on the estimation result, the first reference image Or a corresponding position estimating means for estimating the position of the corresponding pixel between the second reference image and each partial illumination image,
An image inspection apparatus configured to execute a template search by the template search unit for the estimated position estimated by the corresponding position estimation unit.
前記対応位置推定手段が、線形補間によってワークが第一基準画像中の位置から第二基準画像中の位置に変化した状態を推定してなることを特徴とする画像検査装置。 The image inspection apparatus according to claim 2,
The image inspection apparatus, wherein the corresponding position estimation means estimates a state in which the workpiece has changed from a position in the first reference image to a position in the second reference image by linear interpolation.
前記対応位置推定手段が、第一基準画像及び第二基準画像から得られたワークの位置情報及び前記撮像手段の各撮像タイミング情報から、ワークの直線外挿又は直線内挿によって、前記第一基準画像及び第二基準画像と前記第一基準画像及び第二基準画像以外の画像との各画像間で、ワークの位置が整合するように調整してなることを特徴とする画像検査装置。 The image inspection apparatus according to claim 2 or 3,
The corresponding position estimation unit is configured to calculate the first reference by linear extrapolation or linear interpolation of the workpiece from the position information of the workpiece obtained from the first reference image and the second reference image and each imaging timing information of the imaging unit. An image inspection apparatus comprising: an image, a second reference image, and an image other than the first reference image and the image other than the second reference image, adjusted so that the positions of the workpieces are aligned.
前記モデル画像は、前記撮像手段によって撮像された実際の画像であることを特徴とする画像検査装置。 The image inspection apparatus according to any one of claims 2 to 4,
The image inspection apparatus, wherein the model image is an actual image captured by the imaging unit.
前記モデル画像は、前記撮像手段によって撮像された画像を基に仮想的に生成された画像であることを特徴とする画像検査装置。 The image inspection apparatus according to any one of claims 2 to 4,
The image inspection apparatus, wherein the model image is an image virtually generated based on an image captured by the imaging unit.
前記第一基準画像及び第二基準画像から各第一基準画像及び第二基準画像の動き補正情報を得て、該基準画像動き補正情報から第一基準画像及び第二基準画像の動き補正の推定値を得て、該基準画像動き補正推定値と部分照明画像を用いて部分照明画像動き補正情報を得て、該部分照明画像動き補正情報と部分照明画像を用いてフォトメトリック処理を行い、ワークの法線ベクトル画像又はアルベド画像を得る画像処理部を備えることを特徴とする画像検査装置。 The image inspection apparatus according to any one of claims 2 to 6, further obtaining motion correction information of each of the first reference image and the second reference image from the first reference image and the second reference image, Obtaining an estimated value of motion correction of the first reference image and the second reference image from the reference image motion correction information, obtaining partial illumination image motion correction information using the reference image motion correction estimated value and the partial illumination image, An image inspection apparatus comprising an image processing unit that performs photometric processing using partial illumination image motion correction information and a partial illumination image to obtain a normal vector image or an albedo image of a workpiece.
ワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、互いに異なる照明方向から所定の点灯タイミングで照明し、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、照明方向が異なる複数枚の部分照明画像を取得する工程と、
照明方向を変化させた異なる照明パターンに対してモデル画像を取得し、これに基づいてテンプレートを予め定義しておき、移動するワークの外観検査を行う運転時において、各照明パターンに対応するテンプレートでサーチを行い、テンプレートと合致する位置情報を取得する工程と、
取得された位置情報から、各部分照明画像中で対応する画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出する工程と、
ワークの表面の傾きの輪郭を示す輪郭画像を用いて、ワークの外観検査を行う工程と
を含むことを特徴とする画像検査方法。 An inspection method for inspecting the appearance by taking an image of a moving workpiece,
Three or more illumination means are lighted one by one in a predetermined lighting order, and the work is illuminated at a predetermined lighting timing from different illumination directions, and a common image is obtained by adjusting the relative position and the imaging direction with respect to the illumination means in advance. Using the means to capture one partial illumination image for each illumination direction and obtaining a plurality of partial illumination images with different illumination directions;
A model image is acquired for different illumination patterns with different illumination directions, templates are defined in advance based on the model images, and templates corresponding to each illumination pattern are used at the time of operation for visual inspection of moving workpieces. Performing a search and obtaining position information matching the template;
From the acquired position information, using a pixel value for each corresponding pixel in each partial illumination image, calculating a normal vector for the surface of the work of each pixel;
And a step of inspecting the appearance of the workpiece using a contour image showing the contour of the inclination of the surface of the workpiece.
前記位置情報を取得する工程に先立ち、前記撮像手段でもって、前記三以上の照明手段を同時に点灯させて撮像した第一基準画像と、該第一基準画像よりも時間的に後の撮像タイミングで第二基準画像とを撮像し、第一基準画像中におけるワークの位置及び第二基準画像中におけるワークの位置から、移動したワークの位置変化を推定し、該推定結果に基づいて、前記第一基準画像又は第二基準画像と、各部分照明画像との間で対応する画素の位置を推定する工程を含み、
前記推定された推定位置に対して、テンプレートサーチを実行することを特徴とする画像検査方法。 The image inspection method according to claim 8,
Prior to the step of acquiring the position information, a first reference image picked up by the image pickup means with the three or more illumination means turned on simultaneously, and an image pickup timing later in time than the first reference image. The second reference image is imaged, and the change in the position of the moved work is estimated from the position of the work in the first reference image and the position of the work in the second reference image. Based on the estimation result, the first Estimating a position of a corresponding pixel between the reference image or the second reference image and each partial illumination image,
A template search is performed with respect to the estimated position.
ワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、互いに異なる照明方向から所定の点灯タイミングで照明し、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、照明方向が異なる複数枚の部分照明画像を取得する機能と、
照明方向を変化させた異なる照明パターンに対してモデル画像を取得し、これに基づいてテンプレートを予め定義しておき、移動するワークの外観検査を行う運転時において、各照明パターンに対応するテンプレートでサーチを行い、テンプレートと合致する位置情報を取得する機能と、
取得された位置情報から、各部分照明画像中で対応する画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出する機能と、
ワークの表面の傾きの輪郭を示す輪郭画像を用いて、ワークの外観検査を行う機能と
を実現させることを特徴とする画像検査プログラム。 An inspection program for inspecting the appearance by taking an image of a moving workpiece,
Three or more illumination means are lighted one by one in a predetermined lighting order, and the work is illuminated at a predetermined lighting timing from different illumination directions, and a common image is obtained by adjusting the relative position and the imaging direction with respect to the illumination means in advance. A function of capturing one partial illumination image for each illumination direction using a means and acquiring a plurality of partial illumination images with different illumination directions;
A model image is acquired for different illumination patterns with different illumination directions, templates are defined in advance based on the model images, and templates corresponding to each illumination pattern are used at the time of operation for visual inspection of moving workpieces. A function to search and acquire position information that matches the template,
A function for calculating a normal vector with respect to the surface of the work of each pixel using the pixel value for each corresponding pixel in each partial illumination image from the acquired position information;
What is claimed is: 1. An image inspection program for realizing a function of performing an appearance inspection of a workpiece by using a contour image showing a contour of a tilt of a workpiece surface .
前記撮像手段でもって、前記三以上の照明手段を同時に点灯させて撮像した第一基準画像と、該第一基準画像よりも時間的に後の撮像タイミングで第二基準画像とを撮像し、第一基準画像中におけるワークの位置及び第二基準画像中におけるワークの位置から、移動したワークの位置変化を推定し、該推定結果に基づいて、前記第一基準画像又は第二基準画像と、各部分照明画像との間で対応する画素の位置を推定する機能を実現させるものであり、
前記推定された推定位置に対して、テンプレートサーチを実行することを特徴とする画像検査プログラム。 The image inspection program according to claim 10, further comprising:
The imaging means captures a first reference image captured by simultaneously lighting the three or more illumination means, and a second reference image at an imaging timing later in time than the first reference image. A position change of the moved work is estimated from the position of the work in the one reference image and the position of the work in the second reference image, and based on the estimation result, the first reference image or the second reference image, and It realizes the function to estimate the position of the corresponding pixel with the partial illumination image,
An image inspection program that performs a template search on the estimated position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119137A JP6403446B2 (en) | 2014-06-09 | 2014-06-09 | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119137A JP6403446B2 (en) | 2014-06-09 | 2014-06-09 | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015232485A JP2015232485A (en) | 2015-12-24 |
JP6403446B2 true JP6403446B2 (en) | 2018-10-10 |
Family
ID=54934014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014119137A Active JP6403446B2 (en) | 2014-06-09 | 2014-06-09 | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6403446B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11685005B2 (en) | 2021-02-26 | 2023-06-27 | Honda Motor Co., Ltd. | Systems and methods of repairing a stamping die |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6420180B2 (en) * | 2015-02-27 | 2018-11-07 | 国立大学法人岐阜大学 | Surface inspection apparatus and surface inspection method |
JP7019939B2 (en) * | 2016-02-16 | 2022-02-16 | 株式会社大林組 | Belt inspection device |
JP6933887B2 (en) * | 2016-09-23 | 2021-09-08 | 株式会社Screenホールディングス | Inspection equipment and inspection method |
CN107957234B (en) * | 2016-10-17 | 2023-09-29 | 中国航空制造技术研究院 | Method and device for measuring normal vector at any point of free-form surface |
JP6917761B2 (en) * | 2017-05-09 | 2021-08-11 | 株式会社キーエンス | Image inspection equipment |
JP7113627B2 (en) | 2018-02-05 | 2022-08-05 | 株式会社Screenホールディングス | Image Acquisition Device, Image Acquisition Method and Inspection Device |
JP2019135460A (en) * | 2018-02-05 | 2019-08-15 | 株式会社Screenホールディングス | Image acquisition device, image acquisition method, and inspection device |
KR102678467B1 (en) * | 2018-03-28 | 2024-06-27 | 삼성디스플레이 주식회사 | Optical inspection device and method of optical inspection |
JP7054373B2 (en) * | 2018-09-19 | 2022-04-13 | アンリツ株式会社 | Visual inspection equipment and visual inspection method |
CN112630230A (en) * | 2020-10-20 | 2021-04-09 | 天津大学 | Online surface defect detection method based on photometric stereo method |
CN115511825A (en) * | 2022-09-23 | 2022-12-23 | 天津大学 | Surface defect visual detection method and device based on linear array camera |
CN115655104B (en) * | 2022-10-14 | 2024-07-23 | 佛山市顺德区宁睿自动化科技有限公司 | Method for measuring size of concave object by multidirectional image capturing |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2379818A (en) * | 2001-07-25 | 2003-03-19 | Univ Bristol | Automatic surface inspection using plural different radiation sources. |
JP2007206797A (en) * | 2006-01-31 | 2007-08-16 | Omron Corp | Image processing method and image processor |
JP5370056B2 (en) * | 2008-11-04 | 2013-12-18 | オムロン株式会社 | Image processing device |
JP5588331B2 (en) * | 2010-12-09 | 2014-09-10 | Juki株式会社 | 3D shape recognition device |
-
2014
- 2014-06-09 JP JP2014119137A patent/JP6403446B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11685005B2 (en) | 2021-02-26 | 2023-06-27 | Honda Motor Co., Ltd. | Systems and methods of repairing a stamping die |
Also Published As
Publication number | Publication date |
---|---|
JP2015232485A (en) | 2015-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6408259B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
JP6403446B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
JP6424020B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
JP6745173B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device | |
JP6395456B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
JP6650986B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device | |
US20060018534A1 (en) | Technique for detecting a defect of an object by area segmentation of a color image of the object | |
JP6568991B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
US11295434B2 (en) | Image inspection system and image inspection method | |
JP6791631B2 (en) | Image generation method and inspection equipment | |
JP6308880B2 (en) | Image inspection device | |
CN107408518B (en) | Substrate inspection method and system | |
JP2006177781A (en) | Three-dimensional shape measurement method, three-dimensional measurement apparatus, and three-dimensional measurement program | |
JP7151873B2 (en) | inspection equipment | |
US10986761B2 (en) | Board inspecting apparatus and board inspecting method using the same | |
JP6045429B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
JP6140255B2 (en) | Image processing apparatus and image processing method | |
JP7342616B2 (en) | Image processing system, setting method and program | |
JP2006194607A (en) | Substrate inspection device, its parameter setting method and parameter setting device | |
JP5934516B2 (en) | Inspection area display device and inspection area display method | |
JP2021110558A (en) | Inspection system, information processing device, and program | |
JP2007033126A (en) | Substrate inspection device, parameter adjusting method thereof and parameter adjusting device | |
JP7231461B2 (en) | Image inspection system and image inspection method | |
JP2020187020A (en) | Surface inspection method and device therefor | |
JP2023107167A (en) | Inspection system, inspection method, and inspection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6403446 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |