Nothing Special   »   [go: up one dir, main page]

JP6045429B2 - Imaging apparatus, image processing apparatus, and image processing method - Google Patents

Imaging apparatus, image processing apparatus, and image processing method Download PDF

Info

Publication number
JP6045429B2
JP6045429B2 JP2013082431A JP2013082431A JP6045429B2 JP 6045429 B2 JP6045429 B2 JP 6045429B2 JP 2013082431 A JP2013082431 A JP 2013082431A JP 2013082431 A JP2013082431 A JP 2013082431A JP 6045429 B2 JP6045429 B2 JP 6045429B2
Authority
JP
Japan
Prior art keywords
images
image
region
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013082431A
Other languages
Japanese (ja)
Other versions
JP2014206388A (en
Inventor
隼一 古賀
隼一 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013082431A priority Critical patent/JP6045429B2/en
Publication of JP2014206388A publication Critical patent/JP2014206388A/en
Application granted granted Critical
Publication of JP6045429B2 publication Critical patent/JP6045429B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、被検査物を撮像することにより得られた画像から、該被検査物表面の構造を示す情報を取得する撮像装置、画像処理装置及び画像処理方法に関する。   The present invention relates to an imaging apparatus, an image processing apparatus, and an image processing method for acquiring information indicating the structure of the surface of an inspection object from an image obtained by imaging the inspection object.

基板等の被検査物表面に発生した傷の検査方法として、直接目視による検査、顕微鏡による検査、カメラ等で撮像された画像による検査等が知られている。これらの傷の検査方法においては、被検査物表面の傷が微小である場合、高倍率に拡大して観察する必要があるため、一度に観察可能な範囲が狭くなり、検査に長時間を要するといった問題がある。   As inspection methods for scratches generated on the surface of an object to be inspected such as a substrate, direct visual inspection, inspection using a microscope, inspection using an image taken by a camera or the like are known. In these methods for inspecting scratches, if the surface of the object to be inspected is minute, it is necessary to observe the image at a high magnification, so the range that can be observed at one time becomes narrow, and the inspection takes a long time. There is a problem.

また、被検査物表面を着色液によって着色し、傷等の微小な凹部に着色液を充填して観察を行う傷の検査方法も知られている。しかしながら、この傷の検査方法においては、着色液が被検査物表面に劣化等の影響を及ぼすおそれがある。また、検査後に着色液の除去等の作業が必要であり、非常に手間がかかる。   There is also known a method for inspecting scratches in which the surface of an object to be inspected is colored with a coloring liquid, and observation is performed by filling a minute recess such as a scratch with the coloring liquid. However, in this method for inspecting scratches, the colored liquid may affect the surface of the object to be inspected, such as deterioration. Further, it is necessary to perform work such as removal of the colored liquid after the inspection, which is very troublesome.

そのため、被検査物表面の微小な傷を検査するために、被検査物に斜めに光を照射して該被検査物を撮像することにより得られた画像を観察する技術が提案されている。例えば、特許文献1には、被検査物に対して互いに異なる複数の方向から光を照射し、傷部分の凹凸により生じる明暗に基づいて傷を検出する技術が開示されている。また、特許文献2には、被検査物に対する光の照明方向が互いに異なる複数の画像を合成することにより、傷部分の凹部の輪郭が強調された合成画像を生成する技術が開示されている。これらの技術によれば、被検査物表面に非接触且つ比較的短時間での傷の検査が可能である。   Therefore, in order to inspect minute scratches on the surface of the object to be inspected, a technique for observing an image obtained by irradiating light on the object to be inspected and imaging the object to be inspected has been proposed. For example, Patent Document 1 discloses a technique for irradiating light from a plurality of directions different from each other on an object to be inspected and detecting a flaw based on light and dark caused by unevenness of a flaw portion. Patent Document 2 discloses a technique for generating a composite image in which the contour of a concave portion of a scratched part is emphasized by combining a plurality of images having different light illumination directions with respect to the inspection object. According to these techniques, it is possible to inspect a scratch in a relatively short time without contact with the surface of the inspection object.

特開2009−97977号公報JP 2009-99777 A 特開2000−125289号公報JP 2000-125289 A

ところで、被検査物に様々な方向から光を照射して撮像を行う場合、光源の向きや位置、指向性等の条件によっては、得られた画像にシェーディング(輝度のムラ)が発生することがある。しかしながら、特許文献1及び2においてはシェーディングが考慮されていないため、画像にシェーディングが発生している場合、傷部分の凹凸により生じる明暗とシェーディングによる明暗とを区別することができない。また、傷部分の凹凸による明暗に基づき、計算機等を用いて傷の自動検出を行う場合、シェーディングが傷の検出精度を低下させてしまうおそれもある。   By the way, when imaging is performed by irradiating the inspection object with light from various directions, shading (brightness unevenness) may occur in the obtained image depending on conditions such as the direction, position, and directivity of the light source. is there. However, in Patent Documents 1 and 2, since shading is not considered, when shading is generated in an image, it is impossible to distinguish between light and dark caused by unevenness of a scratched portion and light and dark due to shading. In addition, when automatic detection of a flaw is performed using a computer or the like based on the light and darkness due to the unevenness of the flaw part, shading may reduce the flaw detection accuracy.

画像に発生しているシェーディングを、白板等を撮影することにより事前に取得したシェーディング特性を用いて補正する技術も知られているが、この場合、白板を撮影する手間及び工程が増えてしまう。   A technique for correcting shading generated in an image by using a shading characteristic acquired in advance by photographing a white board or the like is also known, but in this case, labor and a process for photographing the white board are increased.

本発明は、上記に鑑みてなされたものであって、照明方向が互いに異なる複数の画像をもとに、シェーディング補正の手間を要することなく、被検査物表面の構造に関する情報を簡単且つ精度良く取得することができる撮像装置、画像処理装置及び画像処理方法を提供することを目的とする。   The present invention has been made in view of the above, and based on a plurality of images having different illumination directions, information relating to the structure of the surface of the object to be inspected can be obtained easily and accurately without the need for shading correction. An object is to provide an imaging device, an image processing device, and an image processing method that can be obtained.

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体に対し、異なる複数の方向から光を順次照射する照明部と、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像し、複数の照明方向にそれぞれ対応する複数の画像の画像情報を生成する撮像部と、前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも2つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも2つの領域画像をそれぞれ抽出する領域画像抽出部と、抽出された前記領域画像を合成する合成処理部と、を備えることを特徴とする。   In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an illumination unit that sequentially irradiates a subject with light from a plurality of different directions, and each time the subject is irradiated with the light. In addition, the subject is imaged so that at least a part of the imaging field of view is common, and an imaging unit that generates image information of a plurality of images respectively corresponding to a plurality of illumination directions, and each of the plurality of images is captured Regions that respectively extract at least two region images that are partial images of a common region of the subject from at least two images of the plurality of images based on information about the illumination direction of the light at the time An image extraction unit and a synthesis processing unit that synthesizes the extracted region images are provided.

上記撮像装置において、前記複数の照明方向は、直交関係にある少なくとも2つの方向を含む、ことを特徴とする。   In the imaging apparatus, the plurality of illumination directions include at least two directions that are orthogonal to each other.

上記撮像装置において、前記領域画像抽出部は、前記複数の画像の各々に生じるシェーディング特性を推定するシェーディング特性推定部を備え、前記シェーディング特性推定部が推定した前記シェーディング特性に基づき、前記少なくとも2つの領域画像を抽出する、ことを特徴とする。   In the imaging apparatus, the region image extraction unit includes a shading characteristic estimation unit that estimates a shading characteristic generated in each of the plurality of images, and based on the shading characteristics estimated by the shading characteristic estimation unit, the at least two A region image is extracted.

上記撮像装置において、前記照明部は、前記撮像視野に対して互いに異なる位置に配置され、各々が前記被写体を照射する光を発光する複数の光源又は複数の光源群を有し、前記シェーディング特性推定部は、前記複数の光源又は前記複数の光源群のうち、前記複数の画像の各々が撮像された際に発光した光源又は光源群の位置及び/又は向きに基づいて前記シェーディング特性を推定することを特徴とする。   In the imaging apparatus, the illuminating units are arranged at different positions with respect to the imaging visual field, each of which includes a plurality of light sources or a plurality of light source groups that emit light that irradiates the subject, and the shading characteristic estimation The unit estimates the shading characteristics based on a position and / or orientation of a light source or a light source group that emits light when each of the plurality of images is captured among the plurality of light sources or the plurality of light source groups. It is characterized by.

上記撮像装置において、前記シェーディング特性推定部は、前記複数の画像の各々の輝度情報に基づいて前記シェーディング特性を推定することを特徴とする。   In the imaging apparatus, the shading characteristic estimation unit estimates the shading characteristic based on luminance information of each of the plurality of images.

上記撮像装置において、前記合成処理部は、前記少なくとも2つの領域画像を合成することにより、前記複数の照明方向の各々に依存する構造に関する情報を取得することを特徴とする。   In the imaging apparatus, the composition processing unit obtains information on a structure depending on each of the plurality of illumination directions by synthesizing the at least two region images.

上記撮像装置において、前記合成処理部は、前記少なくとも2つの領域画像を加重平均処理により合成することを特徴とする。   In the imaging apparatus, the synthesis processing unit synthesizes the at least two area images by a weighted average process.

上記撮像装置において、前記合成処理部は、前記少なくとも2つの領域画像を差分処理により合成することを特徴とする。   In the imaging apparatus, the synthesis processing unit synthesizes the at least two region images by difference processing.

上記撮像装置において、前記領域画像抽出部は、前記複数の画像の各々を前記複数の照明方向に応じて複数の領域に分割することにより、複数の領域画像を設定する画像領域分割部を備え、前記少なくとも2つの画像の間で対応する領域画像を選択することにより、前記少なくとも2つの領域画像を抽出することを特徴とする。   In the imaging apparatus, the region image extraction unit includes an image region dividing unit that sets a plurality of region images by dividing each of the plurality of images into a plurality of regions according to the plurality of illumination directions, The at least two area images are extracted by selecting a corresponding area image between the at least two images.

本発明に係る画像処理装置は、被写体に対し、異なる複数の方向から光を順次照射し、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像することにより生成された画像情報に基づき、複数の照明方向にそれぞれ対応する複数の画像を処理する画像処理装置において、前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも2つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも2つの領域画像をそれぞれ抽出する領域画像抽出部と、抽出された前記領域画像を合成する合成処理部と、を備えることを特徴とする。   The image processing apparatus according to the present invention sequentially irradiates a subject with light from a plurality of different directions, and each time the subject is irradiated with the light, the subject is arranged so that at least a part of an imaging field of view is common. In an image processing apparatus that processes a plurality of images respectively corresponding to a plurality of illumination directions based on image information generated by imaging, information on the illumination direction of the light when each of the plurality of images is captured A region image extraction unit that extracts at least two region images, each of which is a partial image showing a common region of the subject, from at least two images of the plurality of images, and the extracted image And a synthesis processing unit that synthesizes the region images.

本発明に係る画像処理方法は、被写体に対し、異なる複数の方向から光を順次照射し、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像することにより生成された画像情報に基づき、複数の照明方向にそれぞれ対応する複数の画像を処理する画像処理方法において、前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも2つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも2つの領域画像をそれぞれ抽出する領域画像抽出ステップと、抽出された前記領域画像を合成する合成処理ステップと、を含むことを特徴とする。   The image processing method according to the present invention sequentially irradiates a subject with light from a plurality of different directions, and each time the subject is irradiated with the light, the subject is arranged so that at least a part of an imaging field of view is common. In an image processing method for processing a plurality of images respectively corresponding to a plurality of illumination directions based on image information generated by imaging, information on the illumination direction of the light when each of the plurality of images is captured A region image extraction step for extracting at least two region images, each of which is a partial image showing a common region of the subject, from at least two images of the plurality of images; And a synthesis processing step for synthesizing the region images.

本発明によれば、照明方向が互いに異なる複数の画像から、各画像における光の照明方向に関する情報に基づいて合成処理の対象とする領域画像を抽出するので、シェーディング補正の手間を要することなく、被検査物表面の構造に関する情報を、簡単且つ精度良く取得することが可能となる。   According to the present invention, since a region image to be combined is extracted from a plurality of images having different illumination directions based on information on the illumination direction of light in each image, the need for shading correction is not required. Information regarding the structure of the surface of the object to be inspected can be obtained easily and accurately.

図1は、本発明の実施の形態1に係る撮像装置の構成例を示す模式図である。FIG. 1 is a schematic diagram illustrating a configuration example of an imaging apparatus according to Embodiment 1 of the present invention. 図2は、図1に示す領域画像抽出部の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of the region image extraction unit shown in FIG. 図3は、本発明の実施の形態1に係る撮像方法を示すフローチャートである。FIG. 3 is a flowchart showing the imaging method according to Embodiment 1 of the present invention. 図4は、照明方向が互いに異なる複数の画像を取得するステップを説明する図である。FIG. 4 is a diagram illustrating a step of acquiring a plurality of images having different illumination directions. 図5は、異方向照明画像群を示す模式図である。FIG. 5 is a schematic diagram showing a different direction illumination image group. 図6は、被検査物に凹凸のある構造が存在する場合に現れる照明方向に応じた影を説明する模式図である。FIG. 6 is a schematic diagram for explaining a shadow corresponding to the illumination direction that appears when a structure with unevenness exists on the inspection object. 図7は、異方向照明画像群の各画像を領域分割するステップを説明する模式図である。FIG. 7 is a schematic diagram for explaining the step of dividing each image of the different direction illumination image group. 図8は、図7に示す画像を単純平均処理により合成した合成画像を示す模式図である。FIG. 8 is a schematic diagram showing a synthesized image obtained by synthesizing the image shown in FIG. 7 by a simple average process. 図9は、工業用顕微鏡により取得された顕微鏡画像を加重平均処理により合成した例を示す写真である。FIG. 9 is a photograph showing an example in which a microscope image obtained by an industrial microscope is synthesized by a weighted average process. 図10は、図7に示す画像を差分処理により合成した合成画像を示す模式図である。FIG. 10 is a schematic diagram illustrating a combined image obtained by combining the image illustrated in FIG. 7 by difference processing. 図11は、本発明の実施の形態2に係る撮像装置の構成例を示す模式図である。FIG. 11 is a schematic diagram illustrating a configuration example of an imaging apparatus according to Embodiment 2 of the present invention. 図12は、図11に示す領域画像抽出部の構成を示すブロック図である。FIG. 12 is a block diagram showing a configuration of the region image extraction unit shown in FIG. 図13は、本発明の実施の形態2に係る撮像方法を示すフローチャートである。FIG. 13 is a flowchart showing an imaging method according to Embodiment 2 of the present invention. 図14は、図4に示す撮像部の視野を各光源の方向から順次照明して撮像を行うことにより取得した画像を示す模式図である。FIG. 14 is a schematic diagram illustrating an image acquired by performing imaging by sequentially illuminating the field of view of the imaging unit illustrated in FIG. 4 from the direction of each light source.

以下、本発明に係る撮像装置、画像処理装置及び画像処理方法の実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。   Hereinafter, embodiments of an imaging device, an image processing device, and an image processing method according to the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited to these embodiments. Moreover, in description of each drawing, the same code | symbol is attached | subjected and shown to the same part.

以下においては、本発明に係る撮像装置の構成として、基板検査等を行う工業用顕微鏡に本発明に係る画像処理装置を組み合わせた例を挙げるが、本発明に係る撮像装置は、ディジタルカメラ等、被写体を撮像して画像情報を生成する種々の画像取得手段に対し、本発明に係る画像処理装置を組み合わせて構成することが可能である。   In the following, as an example of the configuration of the imaging apparatus according to the present invention, an example in which the image processing apparatus according to the present invention is combined with an industrial microscope that performs substrate inspection or the like will be given. The image processing apparatus according to the present invention can be configured in combination with various image acquisition means for capturing an image of a subject and generating image information.

(実施の形態1)
図1は、本発明の実施の形態1に係る撮像装置の構成を示すブロック図である。図1に示すように、実施の形態1に係る撮像装置1は、被写体である検査対象物(被検査物)10に対し、互いに異なる複数の方向から光を照射する分割光源部11と、該分割光源部11の動作を制御する分割光源制御部12と、被検査物10を撮像して画像情報(画像データ)を生成する撮像部13と、該撮像部13により生成された画像情報に基づき、被検査物10の画像に画像処理を施す画像処理装置100とを備える。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention. As shown in FIG. 1, the imaging apparatus 1 according to Embodiment 1 includes a divided light source unit 11 that irradiates light from a plurality of different directions onto an inspection target (inspected object) 10 that is a subject, Based on the divided light source control unit 12 that controls the operation of the divided light source unit 11, the imaging unit 13 that images the inspection object 10 and generates image information (image data), and the image information generated by the imaging unit 13. And an image processing apparatus 100 that performs image processing on the image of the inspection object 10.

分割光源部11は、後述する撮像部13の視野に対して互いに異なる位置に設けられた複数の光源11a〜11dを有する照明部である。光源11a〜11dは、分割光源制御部12の制御の下で順次発光し、被検査物10を互いに異なる方向から順次照明する。   The divided light source unit 11 is an illuminating unit including a plurality of light sources 11a to 11d provided at positions different from each other with respect to the field of view of the imaging unit 13 described later. The light sources 11a to 11d sequentially emit light under the control of the divided light source control unit 12, and sequentially illuminate the inspection object 10 from different directions.

分割光源部11の構成として、本実施形態においては、図1に示すような複数の点光源(光源11a〜11d)の組み合わせを用いるが、被検査物に対して複数の方向から照明光を照射する構成であれば、これに限定されるものではない。例えば、点光源にレンズ等の光学系を組み合わせた複数の平行光源の組み合わせであっても良いし、或いは、複数の点光源をリング状に配置したリング照明を用いても良い。リング照明は、工業用顕微鏡等の分野において用いられる照明手段であり、複数の点光源を複数の領域に分割し、各領域に含まれる点光源群を同時に発光させることにより、点光源群の重心位置に仮想的な1つの光源が存在するものとみなして、撮像部13の視野との相対的な位置関係や向きを考えることができる。   In the present embodiment, a combination of a plurality of point light sources (light sources 11a to 11d) as shown in FIG. 1 is used as a configuration of the divided light source unit 11, but illumination light is irradiated from a plurality of directions to the inspection object. However, the configuration is not limited to this. For example, a combination of a plurality of parallel light sources in which an optical system such as a lens is combined with a point light source may be used, or ring illumination in which a plurality of point light sources are arranged in a ring shape may be used. Ring illumination is illumination means used in the field of industrial microscopes, etc., and divides a plurality of point light sources into a plurality of regions, and simultaneously emits the point light source groups included in each region, thereby making the center of gravity of the point light source group Assuming that one virtual light source exists at the position, it is possible to consider the relative positional relationship and orientation with the field of view of the imaging unit 13.

分割光源制御部12は、画像処理装置100が備える制御部107(後述)の制御の下で、発光させる光源11a〜11dを順次切り替える。また、分割光源制御部12は、発光した光源11a〜11dの撮像部13との相対的な位置関係や被検査物10に照射している向き等の情報を、撮像部13において撮像が行われた際の照明方向に関する情報として画像処理装置100に送信する。   The divided light source control unit 12 sequentially switches the light sources 11 a to 11 d to emit light under the control of a control unit 107 (described later) included in the image processing apparatus 100. The divided light source control unit 12 captures information such as the relative positional relationship of the emitted light sources 11a to 11d with the image capturing unit 13 and the direction in which the object 10 is irradiated on the image capturing unit 13. Is transmitted to the image processing apparatus 100 as information relating to the illumination direction at the time.

撮像部13は、例えばCCDやCMOS等の撮像素子及び対物レンズ等の光学系を備え、画像処理装置100が備える制御部107(後述)の制御の下で、光源11a〜11dの発光と同期して被検査物10を撮像する。より詳細には、撮像部13は、光源11a〜11dのいずれかから出射し、被検査物10により反射された光を、対物レンズ等の光学系を介して撮像素子の受光面において受光し、光電変換により被検査物10の像を表す電気信号を生成する。撮像部13はさらに、生成した電気信号にA/D変換処理を施すことにより、デジタルの画像情報(画像データ)を生成し、画像処理装置100に出力する。   The imaging unit 13 includes an imaging system such as a CCD or CMOS and an optical system such as an objective lens, for example, and is synchronized with the light emission of the light sources 11a to 11d under the control of a control unit 107 (described later) provided in the image processing apparatus 100. Then, the object 10 is imaged. More specifically, the imaging unit 13 receives light emitted from any of the light sources 11a to 11d and reflected by the inspection object 10 on the light receiving surface of the imaging element via an optical system such as an objective lens, An electric signal representing an image of the inspection object 10 is generated by photoelectric conversion. The imaging unit 13 further generates digital image information (image data) by performing A / D conversion processing on the generated electrical signal, and outputs the digital image information to the image processing apparatus 100.

画像処理装置100は、撮像部13から出力された画像データに所定の画像処理を施すことにより被検査物10の画像を生成すると共に、該画像に基づいて被検査物10表面に生じている傷等の凹凸のある構造に関する情報を取得する。画像処理装置100は、入力部101と、外部インタフェース(I/F)部102と、記憶部103と、領域画像抽出部104と、合成処理部105と、出力部106と、これらの各部を制御する制御部107とを備える。   The image processing apparatus 100 generates an image of the inspection object 10 by performing predetermined image processing on the image data output from the imaging unit 13, and a scratch generated on the surface of the inspection object 10 based on the image. Acquire information on the structure with irregularities such as. The image processing apparatus 100 controls an input unit 101, an external interface (I / F) unit 102, a storage unit 103, a region image extraction unit 104, a synthesis processing unit 105, an output unit 106, and each of these units. And a control unit 107.

入力部101は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスに対するユーザの操作に応じた信号を制御部107に出力する。   The input unit 101 includes input devices such as a keyboard, various buttons, and various switches, and pointing devices such as a mouse and a touch panel, and outputs signals corresponding to user operations on these devices to the control unit 107.

外部インタフェース部102は、当該画像処理装置100に対して外部装置を接続するためのインタフェースであり、実施の形態1においては、分割光源制御部12及び撮像部13が、外部インタフェース部102を介して画像処理装置100に接続される。外部インタフェース部102は、制御部107から出力された撮像動作の制御信号を撮像部13に送信すると共に、撮像部13から出力された画像データを受け取り、該画像データにフォーマット変換等の処理を施すことにより表示用の画像データを生成して記憶部103に記憶させる。また、外部インタフェース部102は、制御部107から出力された、分割光源部11の発光動作の制御信号を分割光源制御部12に送信すると共に、分割光源制御部12から出力された照明方向に関する情報を受け取り、画像データと関連付けて記憶部103に記憶させる。   The external interface unit 102 is an interface for connecting an external device to the image processing apparatus 100. In the first embodiment, the divided light source control unit 12 and the imaging unit 13 are connected via the external interface unit 102. Connected to the image processing apparatus 100. The external interface unit 102 transmits a control signal for the imaging operation output from the control unit 107 to the imaging unit 13, receives image data output from the imaging unit 13, and performs processing such as format conversion on the image data. Thus, display image data is generated and stored in the storage unit 103. In addition, the external interface unit 102 transmits a control signal for the light emission operation of the divided light source unit 11 output from the control unit 107 to the divided light source control unit 12 and information on the illumination direction output from the divided light source control unit 12. Is stored in the storage unit 103 in association with the image data.

記憶部103は、更新記録可能なフラッシュメモリ、RAM、ROMといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、MO、CD−R、DVD−R等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置を含む記録装置等によって構成される。記憶部103は、外部インタフェース部102を介して入力された画像データや各種情報を記憶すると共に、制御部107が実行する各種制御プログラムや、該プログラムの実行中に使用される各種情報を記憶する。   The storage unit 103 includes a recording device such as a flash memory, RAM, and ROM that can be updated and recorded, a recording medium such as a hard disk, MO, CD-R, and DVD-R that is built-in or connected by a data communication terminal, and The recording apparatus includes a reading device that reads information recorded on the recording medium. The storage unit 103 stores image data and various information input via the external interface unit 102, and also stores various control programs executed by the control unit 107 and various information used during the execution of the programs. .

領域画像抽出部104は、被検査物10に対する照明方向が互いに異なる複数の画像から、後段の合成処理部105において処理対象とする領域画像を抽出する。ここで、領域画像とは、各画像内の一部である部分的な画像のことである。   The region image extraction unit 104 extracts region images to be processed in the subsequent synthesis processing unit 105 from a plurality of images having different illumination directions with respect to the inspection object 10. Here, the region image is a partial image that is a part of each image.

図2は、領域画像抽出部104の詳細な構成を示すブロック図である。図2に示すように、領域画像抽出部104は、シェーディング特性推定部110と、画像領域分割部111と、領域画像選択部112とを備える。   FIG. 2 is a block diagram illustrating a detailed configuration of the region image extraction unit 104. As shown in FIG. 2, the region image extraction unit 104 includes a shading characteristic estimation unit 110, an image region division unit 111, and a region image selection unit 112.

シェーディング特性推定部110は、分割光源制御部12から出力された照明方向に関する情報に基づいて、被検査物10に対する照明方向に応じたシェーディング特性を推定する。   The shading characteristic estimation unit 110 estimates a shading characteristic according to the illumination direction with respect to the inspection object 10 based on the information about the illumination direction output from the divided light source control unit 12.

画像領域分割部111は、分割光源制御部12から出力された上記照明方向に関する情報に基づき、各画像を複数の領域に分割する。この分割された各領域が、上述した領域画像として設定される。なお、撮像部13が撮像する際の複数の照明方向が予め決まっている場合には、画像領域分割部111は、照明方向に関する情報を用いることなく、予め決められた方法で各画像を分割しても良い。   The image area dividing unit 111 divides each image into a plurality of areas based on the information on the illumination direction output from the divided light source control unit 12. Each of the divided areas is set as the above-described area image. When a plurality of illumination directions when the imaging unit 13 captures an image are determined in advance, the image area dividing unit 111 divides each image by a predetermined method without using information on the illumination direction. May be.

領域画像選択部112は、シェーディング特性推定部110により推定されたシェーディング特性に基づいて、複数の画像の各々を分割して得られた領域画像のうちから、被検査物10表面の共通の領域が写った領域画像であって、後述する合成処理部105に合成処理を実行させる領域画像のペアを選択する。   The area image selection unit 112 has a common area on the surface of the inspection object 10 out of area images obtained by dividing each of the plurality of images based on the shading characteristics estimated by the shading characteristic estimation unit 110. A pair of area images that are captured image areas and for which the composition processing unit 105 (to be described later) performs composition processing is selected.

合成処理部105は、領域画像抽出部104により抽出された領域画像のペアに合成処理を施すことにより、合成画像を生成する。合成処理部105は、領域画像のペアに対する合成処理として、加重平均処理又は差分処理を実行することが可能であり、いずれの処理を実行するかについては、事前に設定されている。また、差分処理を実行する場合には、出力方式として、差分画像そのもの又は差分画像から凹凸の構造を抽出した結果(検査結果)を出力することが可能であり、いずれを出力するかについては、事前に設定されている。なお、合成処理部105が実行する合成処理や出力方式を、入力部101を用いてユーザが外部から指定できる構成としても良い。   The composition processing unit 105 generates a composite image by performing composition processing on the pair of region images extracted by the region image extraction unit 104. The synthesis processing unit 105 can execute a weighted average process or a difference process as a synthesis process for a pair of region images, and which process is to be executed is set in advance. In addition, when executing the difference processing, as the output method, it is possible to output the difference image itself or the result of extracting the uneven structure from the difference image (inspection result). It is set in advance. The composition processing and output method executed by the composition processing unit 105 may be configured so that the user can specify from the outside using the input unit 101.

出力部106は、例えばLCD、ELディスプレイ又はCRTディスプレイ等の表示装置を含み、合成処理部105により合成された合成画像や検査結果等を表示する。なお、実施の形態1においては、表示装置を画像処理装置100の内部に備える構成としているが、外部インタフェース部102を介して画像処理装置100の外部に表示装置を設ける構成としても良い。   The output unit 106 includes a display device such as an LCD, an EL display, or a CRT display, and displays the composite image synthesized by the synthesis processing unit 105, the inspection result, and the like. In the first embodiment, the display device is provided inside the image processing device 100. However, the display device may be provided outside the image processing device 100 via the external interface unit 102.

制御部107は、例えばCPU等のハードウェアによって構成され、記憶部103に記憶された各種制御プログラムを読み込むことにより、記憶部103に記憶された各種情報に基づき、画像処理装置100及び撮像装置1全体の動作を統括的に制御する。具体的には、制御部107は、被検査物10表面の構造に関する情報を取得するための動作を、分割光源制御部12、撮像部13及び画像処理装置100内の各部を実行させる。   The control unit 107 is configured by hardware such as a CPU, for example, and reads various control programs stored in the storage unit 103, so that the image processing apparatus 100 and the imaging apparatus 1 are based on various types of information stored in the storage unit 103. Overall control of the overall operation. Specifically, the control unit 107 causes the divided light source control unit 12, the imaging unit 13, and each unit in the image processing apparatus 100 to execute an operation for acquiring information regarding the structure of the surface of the inspection object 10.

次に、実施の形態1に係る撮像方法を説明する。図3は、実施の形態1に係る撮像方法を示すフローチャートである。
まず、ステップS1において、画像処理装置100は、分割光源部11の光源11a〜11dを順次発光させると共に、光源11a〜11dの発光と同期して撮像部13に撮像を実行させることにより、被検査物10に対する視野の少なくとも一部が共通し、且つ照明方向が互いに異なる複数の画像(以下、異方向照明画像群ともいう)を取得する。なお、実施の形態1においては、被検査物10に対する視野が一致する画像を取得するものとする。
Next, an imaging method according to Embodiment 1 will be described. FIG. 3 is a flowchart illustrating the imaging method according to the first embodiment.
First, in step S1, the image processing apparatus 100 sequentially emits the light sources 11a to 11d of the divided light source unit 11 and causes the imaging unit 13 to perform imaging in synchronization with the light emission of the light sources 11a to 11d. A plurality of images (hereinafter also referred to as different-direction illumination image groups) in which at least a part of the field of view of the object 10 is common and the illumination directions are different from each other are acquired. In the first embodiment, an image with the same field of view with respect to the inspection object 10 is acquired.

実施の形態1においては、図4に示すように、撮像部13の視野13aを光源11aにより上辺方向から照明し、光源11bにより下辺方向から照明し、光源11cにより左辺方向から照明し、光源11dにより右辺方向から照明し、これらの各方向からの照明と同期して、視野13a内の被検査物10を4回撮像する動作を1サイクルとする。なお、図4においては、光源11aが発光している状態を示している。   In the first embodiment, as shown in FIG. 4, the visual field 13a of the imaging unit 13 is illuminated from the upper side by the light source 11a, illuminated from the lower side by the light source 11b, illuminated from the left side by the light source 11c, and the light source 11d. Thus, the operation of illuminating from the right side direction and imaging the inspection object 10 in the visual field 13a four times in synchronization with the illumination from each of these directions is defined as one cycle. FIG. 4 shows a state where the light source 11a emits light.

照明方向の数及び方向としては、直交関係にある少なくとも2つの照明方向が含まれていれば、特に限定されない。例えば図4においては、視野13aを4つの辺の方向から順次照明しているが、4つの光源11a〜11dを視野13aの4つの頂点の近傍にそれぞれ配置し、該視野13aを4つの頂点の方向から順次照明しても良い。   The number and direction of the illumination directions are not particularly limited as long as at least two illumination directions that are orthogonal to each other are included. For example, in FIG. 4, the visual field 13a is sequentially illuminated from the direction of four sides, but four light sources 11a to 11d are arranged in the vicinity of the four vertices of the visual field 13a, and the visual field 13a is arranged at the four vertices. You may illuminate sequentially from the direction.

ステップS2において、上記1サイクルの撮像動作により順次生成された異方向照明画像群の画像データが、撮像部13から画像処理装置100に順次入力されると共に、各画像の撮像時に発光した光源11a〜11dの位置情報(光源位置情報)が、照明方向に関する情報として分割光源制御部12から画像処理装置100に順次入力される。   In step S2, the image data of the different-direction illumination image group sequentially generated by the imaging operation of the one cycle is sequentially input from the imaging unit 13 to the image processing apparatus 100, and the light sources 11a to 11 emitted at the time of imaging each image. 11d position information (light source position information) is sequentially input from the divided light source control unit 12 to the image processing apparatus 100 as information on the illumination direction.

図5は、画像処理装置100に入力された画像データに対応する異方向照明画像群を示す模式図である。詳細には、図5(a)に示す画像21は、光源11aにより視野13aを図の上方向から照明して撮像された画像である。図5(b)に示す画像22は、光源11bにより視野13aを図の下方向から照明して撮像された画像である。図5(c)に示す画像23は、光源11cにより視野13aを図の左方向から照明して撮像された画像である。図5(d)に示す画像24は、光源11dにより視野13aを図の右方向から照明して撮像された画像である。   FIG. 5 is a schematic diagram showing a different-direction illumination image group corresponding to the image data input to the image processing apparatus 100. Specifically, the image 21 shown in FIG. 5A is an image captured by illuminating the visual field 13a from above in the figure with the light source 11a. An image 22 shown in FIG. 5B is an image captured by illuminating the visual field 13a from below in the figure with the light source 11b. An image 23 shown in FIG. 5C is an image captured by illuminating the visual field 13a from the left direction of the drawing with the light source 11c. An image 24 illustrated in FIG. 5D is an image captured by illuminating the visual field 13a from the right direction of the drawing with the light source 11d.

ここで、図6に示すように、被検査物10の表面に傷等の凹凸のある構造10aが存在する場合、該構造10aを斜めから照明すると、照明方向に応じた影が現れる。このため、被検査物10を写した異方向照明画像群内の各画像には、照明方向、即ち、発光した光源11a〜11dの位置に応じた明暗が現れる。この明暗は、構造10aが照明方向と直交する方向に延びる場合に最も強く現れ、構造10aが照明方向と平行な方向に延びる場合にはほとんど現れない。   Here, as shown in FIG. 6, when a structure 10a having irregularities such as scratches is present on the surface of the inspection object 10, when the structure 10a is illuminated obliquely, a shadow corresponding to the illumination direction appears. For this reason, in each image in the different-direction illumination image group in which the inspection object 10 is copied, light and dark according to the illumination direction, that is, the positions of the emitted light sources 11a to 11d appear. This light and dark appears most strongly when the structure 10a extends in a direction perpendicular to the illumination direction, and hardly appears when the structure 10a extends in a direction parallel to the illumination direction.

従って、視野13aを図の上下方向から照明した画像21、22には、実線で示す左右方向に延びる構造の影が強く現れ、破線で示す上下方向に延びる構造の影はほとんど現れない。一方、視野13aを図の左右方向から照明した画像23、24には、実線で示す上下方向に延びる構造の影が強く現れ、破線で示す左右方向に延びる構造の影はほとんど現れない。従って、同一の視野13aを、直交関係にある2つの方向を含む複数方向から照明して複数回撮像を行うことにより、構造10aの特異的な差が最も現れる複数の画像を取得することができる。   Therefore, in the images 21 and 22 in which the visual field 13a is illuminated from the vertical direction in the figure, the shadow of the structure extending in the left-right direction indicated by the solid line appears strongly, and the shadow of the structure extending in the vertical direction indicated by the broken line hardly appears. On the other hand, in the images 23 and 24 in which the visual field 13a is illuminated from the left-right direction in the figure, the shadow of the structure extending in the up-down direction indicated by the solid line appears strongly, and the shadow of the structure extending in the left-right direction indicated by the broken line hardly appears. Therefore, by illuminating the same visual field 13a from a plurality of directions including two directions that are orthogonal to each other and performing imaging a plurality of times, it is possible to obtain a plurality of images in which the specific difference of the structure 10a appears most. .

なお、被検査物10を斜めから照明すると、傷等の凹凸の構造部分で乱反射が発生するため、乱反射の像を観察することにより当該構造を確認することも可能であるが、実施の形態1においては、簡易な演算処理を行うために、画像内の影から凹凸の構造を検出する。   Note that, when the object to be inspected 10 is illuminated from an oblique direction, irregular reflection occurs in an uneven structure portion such as a scratch. Therefore, the structure can be confirmed by observing an image of irregular reflection. In, in order to perform a simple calculation process, the uneven structure is detected from the shadow in the image.

ステップS3において、画像領域分割部111は、分割光源制御部12から出力された光源位置情報に基づき、異方向照明画像群の各画像を領域分割する。具体的には、照明方向と直交する方向に各画像21〜24を分割する。例えば図5に示す異方向照明画像群の場合、図の上下方向及び左右方向から照明を行っているので、図7の一点鎖線で示すように、各画像21〜24の縦方向及び横方向を各々2分割することにより、4つの矩形の領域に分割する。それにより、画像21〜24から、領域画像21a〜21d、22a〜22d、23a〜23d、24a〜24dがそれぞれ得られる。   In step S <b> 3, the image region dividing unit 111 divides each image of the different direction illumination image group into regions based on the light source position information output from the divided light source control unit 12. Specifically, the images 21 to 24 are divided in a direction orthogonal to the illumination direction. For example, in the case of the different direction illumination image group shown in FIG. 5, since the illumination is performed from the vertical direction and the horizontal direction in the drawing, the vertical direction and the horizontal direction of each image 21 to 24 are shown as indicated by the alternate long and short dashed lines in FIG. By dividing each into two, it is divided into four rectangular areas. Thereby, area images 21a to 21d, 22a to 22d, 23a to 23d, and 24a to 24d are obtained from the images 21 to 24, respectively.

ここで、画像の分割数は4つに限定されず、例えば縦方向及び横方向のいずれか又は両方を3分割以上とするなど、任意に設定して良い。また、例えば光源11a〜11dを視野13aの頂点近傍に配置する場合には、各画像を、照明方向と直交する2つの対角線により4つの三角形の領域に分割しても良い。   Here, the number of image divisions is not limited to four, and may be arbitrarily set, for example, one or both of the vertical direction and the horizontal direction are divided into three or more. For example, when the light sources 11a to 11d are arranged in the vicinity of the apex of the visual field 13a, each image may be divided into four triangular regions by two diagonal lines orthogonal to the illumination direction.

なお、視野13aに対する照明方向や画像の分割方法が予め決まっている場合には、画像領域分割部111は、光源位置情報を用いることなく、予め決められた方法に従って画像分割を行えば良い。   In addition, when the illumination direction with respect to the visual field 13a and the image division method are determined in advance, the image area dividing unit 111 may perform image division according to a predetermined method without using the light source position information.

ステップS4において、シェーディング特性推定部110は、分割光源制御部12から出力された光源位置情報に基づき、異方照明画像群の各画像におけるシェーディング特性を推定する。ここで、例えば工業用顕微鏡等において、光源から出射する照明光の強度は、該光源の直下において最も強く、光源との距離が離れるに従って低下する。そのため、図5(a)〜(d)に示すように、各画像21〜24には、被検査物10と光源11a〜11dとの距離が近い領域ほど明るく、該距離が離れた領域ほど暗くなるというシェーディングが発生する。そこで、シェーディング特性推定部110は、各画像21〜24が撮像された際の視野13aと光源11a〜11dとの位置関係から、各画像21〜24に発生しているシェーディング特性を推定する。例えば画像21の場合、視野13aの上方の光源11aにより照明されたため、上方が明るく、下方が暗いというシェーディング特性が推定される。   In step S <b> 4, the shading characteristic estimation unit 110 estimates the shading characteristic in each image of the anisotropic illumination image group based on the light source position information output from the divided light source control unit 12. Here, for example, in an industrial microscope or the like, the intensity of illumination light emitted from a light source is the strongest directly under the light source and decreases as the distance from the light source increases. Therefore, as shown in FIGS. 5A to 5D, in each of the images 21 to 24, the region where the distance between the inspection object 10 and the light sources 11 a to 11 d is closer is brighter, and the region where the distance is farther is darker. Shading occurs. Therefore, the shading characteristic estimation unit 110 estimates the shading characteristics generated in the images 21 to 24 from the positional relationship between the visual field 13a and the light sources 11a to 11d when the images 21 to 24 are captured. For example, in the case of the image 21, since it is illuminated by the light source 11a above the visual field 13a, the shading characteristic that the upper part is bright and the lower part is dark is estimated.

このようなシェーディング特性は、照明方向別の複数のシェーディング特性を予め記憶部103に記憶させておき、シェーディング特性推定部110が光源位置情報に基づいて、該当するシェーディング特性を記憶部103から読み出すようにしても良い。或いは、シェーディング特性推定部110は、ある光源(例えば光源11a)の位置に対応する1種類のシェーディング特性を予め保持しておき、このシェーディング特性を光源位置情報に基づいて回転させることにより、各画像22〜24におけるシェーディング特性を推定しても良い。
このように、光源位置情報を用いることにより、各画像21〜24に発生しているシェーディング特性を、計算コストを要することなく推定することができる。
For such shading characteristics, a plurality of shading characteristics for each illumination direction are stored in the storage unit 103 in advance, and the shading characteristic estimation unit 110 reads the corresponding shading characteristics from the storage unit 103 based on the light source position information. Anyway. Alternatively, the shading characteristic estimation unit 110 stores in advance one type of shading characteristic corresponding to the position of a certain light source (for example, the light source 11a), and rotates the shading characteristic based on the light source position information, thereby each image. You may estimate the shading characteristic in 22-24.
In this way, by using the light source position information, it is possible to estimate the shading characteristics occurring in each of the images 21 to 24 without requiring calculation cost.

ステップS5において、領域画像選択部112は、ステップS3における領域分割により得られた領域画像21a〜21d、22a〜22d、23a〜23d、24a〜24d(図7参照)から、ステップS4において推定されたシェーディング特性に基づき、続いて実行される合成処理の対象とする領域画像群を選択する。   In step S5, the region image selection unit 112 is estimated in step S4 from the region images 21a to 21d, 22a to 22d, 23a to 23d, and 24a to 24d (see FIG. 7) obtained by the region division in step S3. Based on the shading characteristics, the area image group to be subjected to the subsequent synthesis processing is selected.

詳細には、領域画像選択部112は、被検査物10表面の共通の領域が写った複数の領域画像のうち、領域画像間のシェーディング特性の差が小さい領域画像のペアを複数組選択する。領域画像間のシェーディング特性の差の大小は、例えば、2つの領域画像において対応する画素間におけるシェーディング特性値の差分の2乗和又は絶対値和を算出することにより判断することができる。   Specifically, the region image selection unit 112 selects a plurality of pairs of region images having a small difference in shading characteristics between region images from among a plurality of region images in which a common region on the surface of the inspection object 10 is captured. The magnitude of the difference between the shading characteristics between the area images can be determined, for example, by calculating the square sum or the absolute value sum of the differences between the shading characteristic values between the corresponding pixels in the two area images.

図7の場合、画像21〜24の左上の領域画像21a、22a、23a、24aのうちでは、領域画像21a、23aのペアがシェーディング特性の差が小さい。従って、領域画像21a、23aのペアが、合成処理の対象として選択される。同様に、画像21〜24の右上の領域画像21b、22b、23b、24bからは、領域画像21b、24bのペアが選択される。同様に、画像21〜24の右下の領域画像21c、22c、23c、24cからは、領域画像22c、24cのペアが選択される。同様に、画像21〜24の左下の領域画像21d、22d、23d、24dからは、領域画像22d、23dのペアが選択される。   In the case of FIG. 7, among the upper left region images 21a, 22a, 23a, and 24a of the images 21 to 24, the pair of region images 21a and 23a has a small difference in shading characteristics. Accordingly, the pair of area images 21a and 23a is selected as a target for the synthesis process. Similarly, a pair of region images 21b and 24b is selected from the region images 21b, 22b, 23b, and 24b in the upper right of the images 21 to 24. Similarly, a pair of region images 22c, 24c is selected from the lower right region images 21c, 22c, 23c, 24c of the images 21-24. Similarly, a pair of region images 22d and 23d is selected from the lower left region images 21d, 22d, 23d, and 24d of the images 21 to 24.

なお、同じ位置の領域画像に対し、シェーディング特性の差が小さい領域画像のペアが複数存在する場合には、輝度が高い方のペアを選択することが好ましい。例えば領域画像21a、22a、23a、24aの場合、領域画像22a、24aのペアもシェーディング特性の差は小さいが、合成処理の対象としては、より輝度が高い領域画像21a、23aのペアが選択される。   In addition, when there are a plurality of pairs of region images having a small difference in shading characteristics with respect to the region image at the same position, it is preferable to select the pair having the higher luminance. For example, in the case of the region images 21a, 22a, 23a, and 24a, the pair of the region images 22a and 24a also has a small difference in shading characteristics, but the pair of the region images 21a and 23a with higher luminance is selected as the target of the synthesis process. The

このように、シェーディング特性の差が小さい領域画像のペアを選択することにより、続いて実行される合成処理において、シェーディングの影響を抑制することができる。
なお、ステップS3における領域分割方法が固定されている場合、各領域画像に生じるシェーディング特性も、照明方向及び領域画像の位置ごとに一定となる。この場合、領域画像の位置ごとに、照明方向が互いに異なる領域画像に発生するシェーディング特性の差を予め算出し、シェーディング特性の差が最小となる照明方向のペアを求めておいても良い。それにより、ステップS5においては、光源位置情報のみに基づいて、合成処理の対象とする領域画像のペアを簡単に選択できるようになる。
In this manner, by selecting a pair of region images having a small difference in shading characteristics, it is possible to suppress the influence of shading in the subsequent synthesis processing.
When the region dividing method in step S3 is fixed, the shading characteristics generated in each region image are also constant for each illumination direction and region image position. In this case, for each position of the area image, a difference in shading characteristics generated in area images having different illumination directions may be calculated in advance, and a pair of illumination directions that minimizes the difference in shading characteristics may be obtained. Thereby, in step S5, it becomes possible to easily select a pair of area images to be combined based on only the light source position information.

ステップS6において、合成処理部105は、ステップS5において選択された領域画像群に対する合成処理として、例えば、加重平均処理と差分処理とのうち、事前設定されている処理を選択する。   In step S6, the composition processing unit 105 selects, for example, a preset process from the weighted average process and the difference process as the composition process for the region image group selected in step S5.

合成処理として加重平均処理が事前設定されている場合(ステップS6:加重平均処理)、合成処理部105は、ステップS5において選択された領域画像群に対し、ペアごとに加重平均処理を施す(ステップS7)。   When the weighted average process is preset as the synthesis process (step S6: weighted average process), the synthesis processing unit 105 performs the weighted average process for each pair on the region image group selected in step S5 (step S6). S7).

例えば、ペアとして選択された一方の領域画像(例えば領域画像21b)内の座標(x,y)における画素の画素値をIu(x,y)、他方の領域画像(例えば領域画像24b)内の同じ位置の画素の画素値をIr(x,y)、各領域画像の各画素に与えられる重みを0.5ずつ(即ち、単純平均)とする場合、加重平均画像内の画素の画素値Ia(x,y)は次式(1)によって与えられる。
For example, the pixel value of a pixel at coordinates (x, y) in one region image (for example, region image 21b) selected as a pair is set to I u (x, y), and the other region image (for example, region image 24b) When the pixel value of the pixel at the same position of Ir is set to I r (x, y) and the weight given to each pixel of each area image is set to 0.5 (that is, simple average), the pixel of the pixel in the weighted average image The value I a (x, y) is given by the following equation (1).

また、合成処理部105は、選択された領域画像群の各領域画像の各画素においてエッジ量を算出し、ペアとなる領域画像間で対応する各画素におけるエッジ量の差に基づく重みw(x,y)をつけて加重平均処理を行っても良い。この場合、加重平均画像内の画素の画素値Iw(x,y)は次式(2)によって与えられる。
Further, the composition processing unit 105 calculates an edge amount in each pixel of each region image of the selected region image group, and a weight w (x based on a difference in edge amount in each corresponding pixel between the paired region images. , Y) may be added to perform the weighted average processing. In this case, the pixel value I w (x, y) of the pixel in the weighted average image is given by the following equation (2).

式(2)において、重みw(x,y)は、ペアとして選択された一方の領域画像(例えば領域画像21b)のエッジ量が他方の領域画像(例えば領域画像24b)のエッジ量に対して十分に大きい場合、1に近づくように設定され、反対に、一方の領域画像のエッジ量が他方の領域画像のエッジ量に対して十分小さい場合、0に近づくように設定される。これより、加重平均画像においては、エッジ量が大きい領域画像の画素値の寄与が大きくなる。   In Expression (2), the weight w (x, y) is set so that the edge amount of one region image (for example, region image 21b) selected as a pair is the amount of edge of the other region image (for example, region image 24b). If it is sufficiently large, it is set so as to be close to 1, and conversely, if the edge amount of one area image is sufficiently smaller than the edge amount of the other area image, it is set so as to approach 0. Thus, in the weighted average image, the contribution of the pixel value of the region image having a large edge amount is large.

このように、領域画像のエッジ量に応じた加重平均処理を行うことにより、凹凸の構造を示す画素の画素値と、該構造を示さない画素の画素値との平均化を避けることができ、構造がより鮮明に現れた合成画像を得ることができる。   In this way, by performing the weighted average process according to the edge amount of the region image, it is possible to avoid averaging the pixel value of the pixel showing the uneven structure and the pixel value of the pixel not showing the structure, A composite image in which the structure appears more clearly can be obtained.

続くステップS8において、合成処理部105は、ステップS7における加重平均処理により得られた合成画像(加重平均画像)を出力する。それに応じて、出力部106は、合成画像を画面表示する。
その後、撮像装置1における一連の処理は終了する。
In subsequent step S8, the synthesis processing unit 105 outputs a synthesized image (weighted average image) obtained by the weighted average process in step S7. In response to this, the output unit 106 displays the composite image on the screen.
Thereafter, a series of processes in the imaging apparatus 1 is completed.

一方、ステップS6において、合成処理として差分処理が事前設定されている場合(ステップS6:差分処理)、合成処理部105はステップS5において選択された領域画像群に対し、ペアごとに差分処理を施す(ステップS9)。   On the other hand, when the difference process is preset as the combination process in step S6 (step S6: difference process), the combination processing unit 105 performs the difference process for each pair on the region image group selected in step S5. (Step S9).

続くステップS10において、合成処理部105は、出力方式として、差分画像の出力又は構造を抽出した検査結果の出力を、事前設定に従って選択する。   In subsequent step S10, the composition processing unit 105 selects, as an output method, an output of a difference image or an output of an inspection result obtained by extracting a structure according to a preset setting.

出力方式として差分画像の出力が選択された場合(ステップS10:差分画像)、合成処理部105は、ステップS9において得られた差分画像を出力する(ステップS11)。それに応じて、出力部106は、差分画像を画面表示する。   When the output of the difference image is selected as the output method (step S10: difference image), the composition processing unit 105 outputs the difference image obtained in step S9 (step S11). In response to this, the output unit 106 displays the difference image on the screen.

ここで、差分画像においては、処理対象の領域画像間で画素値の差が大きい画素では明度が高くなり、画素値の差が小さい画素では明度が低くなる。そのため、照明方向に依存する構造(縦方向の傷や横方向の傷)が存在する場合、該構造は明度の高い画素領域として現れる。
その後、撮像装置1における一連の処理は終了する。
Here, in the difference image, the brightness is high in a pixel having a large pixel value difference between the region images to be processed, and the brightness is low in a pixel having a small pixel value difference. Therefore, when there is a structure depending on the illumination direction (a vertical scratch or a horizontal scratch), the structure appears as a pixel region with high brightness.
Thereafter, a series of processes in the imaging apparatus 1 is completed.

一方、ステップS10において検査結果の出力が選択された場合(ステップS10:検査結果)、合成処理部105は、ステップS9において得られた差分画像に対して閾値処理を施す(ステップS12)。上述したように、照明方向に依存する構造は明度の高い画素領域として現れるため、閾値処理により差分画像から構造を抽出し、該構造の有無を自動判別することができる。   On the other hand, when the output of the inspection result is selected in step S10 (step S10: inspection result), the composition processing unit 105 performs threshold processing on the difference image obtained in step S9 (step S12). As described above, since the structure depending on the illumination direction appears as a pixel region with high brightness, the structure can be extracted from the difference image by threshold processing, and the presence or absence of the structure can be automatically determined.

ここで、被検査物10を撮像して得られた画像から傷等の構造を抽出する際には、エッジ検出が行われることが多い。しかしながら、被検査物10の表面に、傷等の構造の他に、文字や図柄といったテクスチャ成分が存在する場合、エッジ検出では構造のみを精度良く抽出することが困難である。   Here, when a structure such as a scratch is extracted from an image obtained by imaging the inspection object 10, edge detection is often performed. However, when a texture component such as a character or a pattern exists on the surface of the inspection object 10 in addition to a structure such as a scratch, it is difficult to accurately extract only the structure by edge detection.

それに対し、実施の形態1の場合、照明方向が異なる2つの領域画像間では、シェーディング特性の違いを除けば、照明方向に依存する構造の違いが存在するだけである。即ち、テクスチャ成分については共通であるため、2つの領域画像の差分を取ることで、被検査物10表面の構造のみを精度良く抽出することが可能となる。   On the other hand, in the case of the first embodiment, there is only a difference in structure depending on the illumination direction between two region images having different illumination directions, except for the difference in shading characteristics. That is, since the texture components are common, it is possible to accurately extract only the structure of the surface of the inspection object 10 by taking the difference between the two region images.

続くステップS13において、合成処理部105は、構造の抽出結果を出力する。具体的には、合成処理部105は、差分画像に対する閾値処理の結果、所定の閾値以上の画素値を有する画素が検出された場合、凹凸のある構造が存在すると判定し、判定結果として例えば、検出された画素の位置情報を出力する。反対に、合成処理部105は、閾値以上の画素値を有する画素が検出されなかった場合、凹凸のある構造は存在しないと判定し、「傷なし」といった判定結果を出力する。これに応じて、出力部106は、合成処理部105から出力された判定結果を画面表示する。
その後、撮像装置1における一連の処理は終了する。
In subsequent step S13, the composition processing unit 105 outputs the structure extraction result. Specifically, when a pixel having a pixel value equal to or greater than a predetermined threshold is detected as a result of threshold processing on the difference image, the synthesis processing unit 105 determines that there is an uneven structure. The position information of the detected pixel is output. On the other hand, when no pixel having a pixel value equal to or greater than the threshold value is detected, the synthesis processing unit 105 determines that there is no uneven structure and outputs a determination result such as “no flaw”. In response to this, the output unit 106 displays the determination result output from the synthesis processing unit 105 on the screen.
Thereafter, a series of processes in the imaging apparatus 1 is completed.

図8(a)は、図7に示す画像21〜24から選択された領域画像のペアに対し、重みw(x,y)を0.5として加重平均処理(ステップS7参照)を施すことにより得られた合成画像を示す模式図である。図8(a)に示すように、この合成画像においては、凹凸の構造を表す影が、もとの画像21〜24の照明方向によらず鮮明に現れている。また、シェーディング特性を考慮して加重平均を取る領域画像のぺアを選択したことにより、合成画像全体においてシェーディングの影響を抑制することができ、構造を明確に識別することが可能となっている。   In FIG. 8A, a weighted average process (see step S7) is performed on a pair of region images selected from the images 21 to 24 shown in FIG. 7 with a weight w (x, y) of 0.5. It is a schematic diagram which shows the obtained synthesized image. As shown to Fig.8 (a), in this synthesized image, the shadow showing the structure of an unevenness | corrugation appears clearly irrespective of the illumination direction of the original images 21-24. In addition, by selecting a pair of area images for which a weighted average is taken in consideration of shading characteristics, the influence of shading can be suppressed in the entire composite image, and the structure can be clearly identified. .

図8(b)に、図5に示す画像21と画像24とを、シェーディング特性を考慮することなく単純平均処理により合成した画像の模式図を比較として示す。図8(b)に示すように、照明方向が互い異なる画像同士を合成することにより、構造の方向依存性を抑制することができる。しかしながら、この合成画像においては、画像21、24に生じたシェーディングの影響がさらに強くなっているため、シェーディングの影響により明度が低下した領域(例えば、図の左下の領域)においては、構造の視認性が低下している。   FIG. 8B shows, as a comparison, a schematic diagram of an image obtained by combining the image 21 and the image 24 shown in FIG. 5 by the simple average process without considering the shading characteristics. As shown in FIG. 8B, the direction dependency of the structure can be suppressed by combining images with different illumination directions. However, in this composite image, the effect of shading generated in the images 21 and 24 is further increased. Therefore, in the region where the brightness is lowered due to the effect of shading (for example, the lower left region in the figure), the structure is visually recognized. The sex is decreasing.

図9は、工業用顕微鏡により取得された顕微鏡画像を合成した例を示す写真である。図9(a)は、視野の上方から照明を行った画像の右上の領域画像(図7(a)の領域画像21bに相当)であり、図9(b)は、視野の右方から照明を行った画像の右上の領域画像(図7(d)の領域画像24bに相当)であり、図9(c)は、これらの領域画像の加重平均画像である。   FIG. 9 is a photograph showing an example in which microscopic images acquired by an industrial microscope are synthesized. FIG. 9A is a region image in the upper right of the image illuminated from above the field of view (corresponding to the region image 21b in FIG. 7A), and FIG. 9B is illuminated from the right side of the field of view. Is a region image in the upper right of the image subjected to (corresponding to the region image 24b in FIG. 7D), and FIG. 9C is a weighted average image of these region images.

図9(a)に示す領域P内には、略横方向に延びる傷が観察されるが、図9(b)の同領域P内には、同じ傷は観察されない。即ち、図9(a)の領域P内に見られる傷は、照明方向に依存する傷である。また、図9(b)に示す領域Q内には、略縦方向に延びる傷が観察されるが、図9(a)の同領域Q内には、同じ傷は観察されない。即ち、図9(b)の領域Q内に見られる傷は、照明方向に依存する傷である。これらの領域画像の加重平均画像においては、領域P及び領域Q内の傷を共に、鮮明に観察することができる。   In the region P shown in FIG. 9A, scratches extending in the substantially horizontal direction are observed, but the same scratches are not observed in the region P in FIG. 9B. That is, the scratches found in the region P in FIG. 9A are scratches depending on the illumination direction. In addition, in the region Q shown in FIG. 9B, scratches extending in a substantially vertical direction are observed, but the same scratches are not observed in the region Q in FIG. 9A. That is, the flaw seen in the area | region Q of FIG.9 (b) is a flaw dependent on an illumination direction. In the weighted average image of these region images, both the scratches in the region P and the region Q can be clearly observed.

図10は、図7に示す画像21〜24から選択された領域画像のペア(ステップS5参照)に対して差分処理(ステップS9参照)を施すことにより得られた合成画像を示す模式図である。上述したとおり、この合成画像においては照明方向に依存する構造が明度の高い(即ち、白っぽい)画素領域として現れている。   FIG. 10 is a schematic diagram showing a composite image obtained by performing difference processing (see step S9) on a pair of region images (see step S5) selected from the images 21 to 24 shown in FIG. . As described above, in this composite image, a structure depending on the illumination direction appears as a pixel area having high brightness (that is, whitish).

以上説明したように、実施の形態1によれば、照明方向が互いに異なる複数の画像の各々を複数の領域画像に分割し、シェーディング特性に基づいて選択された領域画像同士を合成(加重平均処理又は差分処理)するので、シェーディングによる影響を低減しつつ、照明方向に依存する構造を精度良く抽出することができる。従って、シェーディング補正等の計算負荷の高い処理を行うことなく、被検査物表面の構造に関する情報を簡単且つ高精度に取得することが可能となる。   As described above, according to the first embodiment, each of a plurality of images having different illumination directions is divided into a plurality of region images, and the region images selected based on the shading characteristics are synthesized (weighted averaging process). (Or differential processing), the structure depending on the illumination direction can be accurately extracted while reducing the influence of shading. Therefore, it is possible to easily and accurately acquire information related to the structure of the surface of the object to be inspected without performing processing with a high calculation load such as shading correction.

また、従来の傷の検査においては、照明方向が互いに異なる複数の画像の各々を観察する必要があったが、実施の形態1によれば、被検査物表面の構造が抽出された合成画像(加重平均画像若しくは差分画像)や構造の検出結果のみを確認すれば良いので、被検査物10の検査に要する時間や手間の削減を図ることが可能となる。   Further, in the conventional inspection of scratches, it is necessary to observe each of a plurality of images having different illumination directions. According to the first embodiment, a composite image (extracted from the structure of the surface of the inspection object) Since only the weighted average image or the difference image) and the structure detection result need to be confirmed, it is possible to reduce the time and labor required for the inspection of the inspection object 10.

なお、実施の形態1においては、被検査物表面の構造として傷を検出する場合を説明したが、検出対象は傷に限定されず、例えば偏光に応じて光学異方性等が異なる構造を検出する場合であっても、実施の形態1を適用することができる。   In the first embodiment, the case where a scratch is detected as the structure of the surface of the object to be inspected has been described. However, the detection target is not limited to a scratch, and for example, a structure having different optical anisotropy or the like according to polarization is detected. Even in this case, the first embodiment can be applied.

また、実施の形態1においては、撮像部13の視野13aに対し、4つの辺に対応する4つの点光源を設けて照明を行ったが、光源の種類や数や配置を適宜変更することで、検出精度をさらに向上させることも可能である。例えば、上述したように、光源11a〜11dの代わりに複数の平行光源を用いても良いし、リング光源を用いても良い。また、複数の光源を順次発光させる代わりに、フィルタを順次切り替えることにより、視野13aに対する照明方向を切り替えても良い。   In the first embodiment, illumination is performed by providing four point light sources corresponding to the four sides to the visual field 13a of the imaging unit 13, but by appropriately changing the type, number, and arrangement of the light sources. It is also possible to further improve the detection accuracy. For example, as described above, a plurality of parallel light sources may be used instead of the light sources 11a to 11d, or a ring light source may be used. Further, instead of sequentially emitting the plurality of light sources, the illumination direction with respect to the visual field 13a may be switched by sequentially switching the filters.

また、実施の形態1においては、シェーディング特性を考慮し、1つの領域に対して、2つの画像から2つの領域画像を抽出し合成処理を施したが、これに限らず、1つの領域に対して、3つ以上の画像からシェーディングの影響の差が少ない3つ以上の領域画像を抽出し合成処理を施すことも可能である。   In the first embodiment, in consideration of shading characteristics, two region images are extracted from two images and combined for one region. However, the present invention is not limited to this. In addition, it is possible to extract three or more region images with a small difference in the influence of shading from three or more images and perform synthesis processing.

また、実施の形態1においては、事前設定された内容に従って合成処理や出力方式を選択したが(ステップS6、S10参照)、ユーザが入力部101を用いて指示情報を入力することにより、合成処理部105に実行させる合成処理や出力方式を指定するようにしても良い。   In the first embodiment, the composition process and the output method are selected according to the preset contents (see steps S6 and S10), but the user inputs the instruction information using the input unit 101, so that the composition process is performed. You may make it designate the synthetic | combination process and output method which the part 105 performs.

また、上述した各画像に対する処理は、ソフトウェアにより実行される構成としても良いし、ハードウェアにより実行される構成としても良い。   Further, the processing for each image described above may be executed by software or may be executed by hardware.

(実施の形態2)
次に、本発明の実施の形態2について説明する。
図11は、本発明の実施の形態2に係る撮像装置の構成を示す模式図である。図11に示すように、実施の形態2に係る撮像装置2は、図1に示す画像処理装置100の代わりに、画像処理装置200を備える。なお、分割光源部11、分割光源制御部12及び撮像部13の構成及び動作は実施の形態1と同様である。
(Embodiment 2)
Next, a second embodiment of the present invention will be described.
FIG. 11 is a schematic diagram illustrating a configuration of an imaging apparatus according to Embodiment 2 of the present invention. As illustrated in FIG. 11, the imaging apparatus 2 according to the second embodiment includes an image processing apparatus 200 instead of the image processing apparatus 100 illustrated in FIG. 1. The configurations and operations of the divided light source unit 11, the divided light source control unit 12, and the imaging unit 13 are the same as those in the first embodiment.

画像処理装置200は、図1に示す画像処理装置100が備える領域画像抽出部104の代わりに、領域画像抽出部201を備える。図12は、領域画像抽出部201の詳細な構成を示すブロック図である。   The image processing apparatus 200 includes a region image extraction unit 201 instead of the region image extraction unit 104 included in the image processing device 100 illustrated in FIG. FIG. 12 is a block diagram illustrating a detailed configuration of the region image extraction unit 201.

図12に示すように、領域画像抽出部201は、シェーディング特性推定部202と、画像領域分割部111と、領域画像選択部112とを備える。このうち、画像領域分割部111及び領域画像選択部112の動作は実施の形態1と同様である。   As illustrated in FIG. 12, the region image extraction unit 201 includes a shading characteristic estimation unit 202, an image region division unit 111, and a region image selection unit 112. Among these, the operations of the image region dividing unit 111 and the region image selecting unit 112 are the same as those in the first embodiment.

シェーディング特性推定部202は、撮像部13から画像処理装置200に入力されて記憶部103に記憶された画像データに基づき、照明方向が互いに異なる複数の画像の各々に生じているシェーディング特性を推定する。この際、シェーディング特性推定部202は、実施の形態1とは異なり、分割光源制御部12からの光源位置情報を用いることなく、画像そのものの輝度情報を用いてシェーディング特性を推定する。   The shading characteristic estimation unit 202 estimates shading characteristics generated in each of a plurality of images having different illumination directions based on image data input from the imaging unit 13 to the image processing apparatus 200 and stored in the storage unit 103. . At this time, unlike the first embodiment, the shading characteristic estimation unit 202 estimates the shading characteristic using the luminance information of the image itself without using the light source position information from the divided light source control unit 12.

次に、実施の形態2に係る撮像方法を説明する。図13は、実施の形態2に係る撮像方法を示すフローチャートである。なお、図13に示すステップS1〜S3は、実施の形態1と共通である(図3参照)。   Next, an imaging method according to Embodiment 2 will be described. FIG. 13 is a flowchart illustrating an imaging method according to the second embodiment. Note that steps S1 to S3 shown in FIG. 13 are common to the first embodiment (see FIG. 3).

ステップS3に続くステップS20において、シェーディング特性推定部202は、異方照明画像群の各画像の輝度情報に基づき、当該画像のシェーディング特性を推定する。ここで、シェーディングは、画像における低周波の輝度変動とみなすことができる。そのため、画像内の各画素の画素値を輝度値に変換した輝度画像に対し、ローパスフィルタ処理を施すことにより、シェーディング特性を抽出することができる。或いは、モフォロジによるトップハット処理又はボトムハット処理等の公知技術により、シェーディング特性を抽出しても良い。   In step S20 following step S3, the shading characteristic estimation unit 202 estimates the shading characteristics of the image based on the luminance information of each image in the anisotropic illumination image group. Here, shading can be regarded as low-frequency luminance fluctuations in an image. Therefore, shading characteristics can be extracted by performing low-pass filter processing on a luminance image obtained by converting the pixel value of each pixel in the image into a luminance value. Alternatively, the shading characteristics may be extracted by a known technique such as top hat processing or bottom hat processing by morphology.

続くステップS21において、領域画像選択部112は、ステップS3における領域分割により得られた領域画像21a〜21d、22a〜22d、23a〜23d、24a〜24d(図7参照)から、ステップS20において推定されたシェーディング特性に基づき、続いて実行される合成処理の対象とする領域画像群を選択する。なお、領域画像群の選択方法は、実施形態1と同様である(ステップS5参照)。
以降のステップS6〜S13の処理は、実施の形態1と同様である。
In subsequent step S21, the region image selection unit 112 is estimated in step S20 from the region images 21a to 21d, 22a to 22d, 23a to 23d, and 24a to 24d (see FIG. 7) obtained by the region division in step S3. Based on the shading characteristics, a group of region images to be subjected to the subsequent synthesis processing is selected. The region image group selection method is the same as in the first embodiment (see step S5).
The subsequent steps S6 to S13 are the same as those in the first embodiment.

図14(a)〜(d)は、撮像部13の視野13a(図4参照)を各光源11a〜11dの方向から順次照明して撮像を行うことにより取得した画像を示す模式図である。なお図14においては、ステップS3において各画像を8分割にする例を示している。   FIGS. 14A to 14D are schematic diagrams illustrating images obtained by capturing images by sequentially illuminating the visual field 13a (see FIG. 4) of the imaging unit 13 from the directions of the light sources 11a to 11d. FIG. 14 shows an example in which each image is divided into eight in step S3.

撮像装置2において実際に撮像を行う際には、例えば光源11a〜11dの経年劣化や指向性等の影響により、画像に表れるシェーディングが変化する。例えば、図14(a)においては、視野13a(図4参照)を図の上方から照明する光源11aの光が下方まで十分に届かなかったため、画像31には全体的に暗くなるシェーディングが生じている。また、図14(b)においては、視野13aを図の下方から照明する光源11bの光が広範囲に届いていたため、画像32には全体的に明るくなるシェーディングが生じている。このような場合、予め取得されたシェーディング特性を光源位置情報に基づいて読み出すシェーディング特性の推定方法では、実際に生じているシェーディング特性との誤差が大きくなってしまう。そのため、後段の合成処理(ステップS7、S9)におけるシェーディングの影響を効果的に低減するためには、処理対象である画像31〜34からシェーディング特性を直接求めることが好ましい。   When the imaging device 2 actually performs imaging, shading that appears in the image changes due to, for example, the effects of aging and directivity of the light sources 11a to 11d. For example, in FIG. 14A, since the light of the light source 11a that illuminates the visual field 13a (see FIG. 4) from the upper side of the drawing does not reach the lower side enough, the image 31 is shaded as a whole. Yes. In FIG. 14B, since the light from the light source 11b that illuminates the visual field 13a from the lower side of the drawing reaches a wide range, the image 32 is shaded as a whole. In such a case, in the shading characteristic estimation method in which the shading characteristic acquired in advance is read based on the light source position information, an error from the actually generated shading characteristic becomes large. Therefore, in order to effectively reduce the influence of shading in the subsequent synthesis process (steps S7 and S9), it is preferable to directly obtain the shading characteristics from the images 31 to 34 that are the processing targets.

以上説明したように、実施の形態2によれば、処理対象である画像31〜34の輝度情報に基づいてシェーディング特性を推定するので、光源11a〜11dの光量や指向性が変化している場合であっても、後段の合成処理の対象とする最適な領域画像のペア(例えば、領域画像32aと領域画像34a)を選択することができる。従って、被検査物10表面の構造に関する情報を精度良く取得することが可能となる。   As described above, according to the second embodiment, since the shading characteristics are estimated based on the luminance information of the images 31 to 34 to be processed, the light amounts and directivities of the light sources 11a to 11d are changed. Even so, it is possible to select an optimal pair of region images (for example, the region image 32a and the region image 34a) to be subjected to the subsequent synthesis process. Therefore, it is possible to acquire information regarding the structure of the surface of the inspection object 10 with high accuracy.

本発明は、上述した各実施の形態1及び2並びに変形例そのままに限定されるものではなく、各実施の形態1及び2並びに変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態1及び2並びに変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。   The present invention is not limited to the above-described first and second embodiments and modifications, but by appropriately combining a plurality of constituent elements disclosed in the first and second embodiments and modifications. Various inventions can be formed. For example, some components may be excluded from all the components shown in the first and second embodiments and the modified examples. Or you may form combining the component shown in different embodiment suitably.

1、2 撮像装置
10 被検査物
10a 構造
11 分割光源部
11a〜11d 光源
12 分割光源制御部
13 撮像部
13a 視野
21〜24、31〜34 画像
21a〜21d、22a〜22d、23a〜23d、24a〜24d、32a、34a
領域画像
100、200 画像処理装置
101 入力部
102 外部インタフェース(I/F)部
103 記憶部
104、201 領域画像抽出部
105 合成処理部
106 出力部
107 制御部
110、202 シェーディング特性推定部
111 画像領域分割部
112 領域画像選択部
DESCRIPTION OF SYMBOLS 1, 2 Imaging device 10 Inspected object 10a Structure 11 Division | segmentation light source part 11a-11d Light source 12 Division | segmentation light source control part 13 Imaging part 13a Field of view 21-24, 31-34 Image 21a-21d, 22a-22d, 23a-23d, 24a -24d, 32a, 34a
Area image 100, 200 Image processing apparatus 101 Input unit 102 External interface (I / F) unit 103 Storage unit 104, 201 Area image extraction unit 105 Composition processing unit 106 Output unit 107 Control unit 110, 202 Shading characteristic estimation unit 111 Image region Division unit 112 Region image selection unit

Claims (11)

被写体に対し、異なる複数の方向から光を順次照射する照明部と、
前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像し、複数の照明方向にそれぞれ対応する複数の画像の画像情報を生成する撮像部と、
前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも2つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも2つの領域画像をそれぞれ抽出する領域画像抽出部と、
抽出された前記領域画像を合成する合成処理部と、
を備えることを特徴とする撮像装置。
An illumination unit that sequentially irradiates light from a plurality of different directions on the subject;
An imaging unit that images the subject so that at least a part of an imaging field of view is common each time the light is irradiated on the subject, and generates image information of a plurality of images respectively corresponding to a plurality of illumination directions;
A partial image in which a common area of the subject is captured from at least two of the plurality of images based on information on the illumination direction of the light when each of the plurality of images is captured. An area image extraction unit for extracting at least two area images,
A synthesis processing unit for synthesizing the extracted region images;
An imaging apparatus comprising:
前記複数の照明方向は、直交関係にある少なくとも2つの方向を含む、
ことを特徴とする請求項1に記載の撮像装置。
The plurality of illumination directions includes at least two directions in an orthogonal relationship,
The imaging apparatus according to claim 1.
前記領域画像抽出部は、
前記複数の画像の各々に生じるシェーディング特性を推定するシェーディング特性推定部を備え、
前記シェーディング特性推定部が推定した前記シェーディング特性に基づき、前記少なくとも2つの領域画像を抽出する、
ことを特徴とする請求項1に記載の撮像装置。
The region image extraction unit
A shading characteristic estimation unit for estimating a shading characteristic generated in each of the plurality of images;
Extracting the at least two region images based on the shading characteristics estimated by the shading characteristic estimation unit;
The imaging apparatus according to claim 1.
前記照明部は、前記撮像視野に対して互いに異なる位置に配置され、各々が前記被写体を照射する光を発光する複数の光源又は複数の光源群を有し、
前記シェーディング特性推定部は、前記複数の光源又は前記複数の光源群のうち、前記複数の画像の各々が撮像された際に発光した光源又は光源群の位置及び/又は向きに基づいて前記シェーディング特性を推定することを特徴とする請求項3に記載の撮像装置。
The illumination unit is disposed at different positions with respect to the imaging field of view, each having a plurality of light sources or a plurality of light source groups that emit light that irradiates the subject,
The shading characteristic estimation unit is configured to determine the shading characteristic based on a position and / or orientation of a light source or a light source group that is emitted when each of the plurality of images is captured among the plurality of light sources or the plurality of light source groups. The imaging apparatus according to claim 3, wherein:
前記シェーディング特性推定部は、前記複数の画像の各々の輝度情報に基づいて前記シェーディング特性を推定することを特徴とする請求項3に記載の撮像装置。   The imaging apparatus according to claim 3, wherein the shading characteristic estimation unit estimates the shading characteristic based on luminance information of each of the plurality of images. 前記合成処理部は、前記少なくとも2つの領域画像を合成することにより、前記複数の照明方向の各々に依存する構造に関する情報を取得することを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the synthesis processing unit acquires information regarding a structure depending on each of the plurality of illumination directions by synthesizing the at least two region images. 前記合成処理部は、前記少なくとも2つの領域画像を加重平均処理により合成することを特徴とする請求項1又は6に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the synthesis processing unit synthesizes the at least two area images by a weighted average process. 前記合成処理部は、前記少なくとも2つの領域画像を差分処理により合成することを特徴とする請求項1又は6に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the synthesis processing unit synthesizes the at least two region images by difference processing. 前記領域画像抽出部は、
前記複数の画像の各々を前記複数の照明方向に応じて複数の領域に分割することにより、複数の領域画像を設定する画像領域分割部を備え、
前記少なくとも2つの画像の間で対応する領域画像を選択することにより、前記少なくとも2つの領域画像を抽出することを特徴とする請求項1に記載の撮像装置。
The region image extraction unit
An image region dividing unit that sets a plurality of region images by dividing each of the plurality of images into a plurality of regions according to the plurality of illumination directions,
The imaging apparatus according to claim 1, wherein the at least two area images are extracted by selecting a corresponding area image between the at least two images.
被写体に対し、異なる複数の方向から光を順次照射し、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像することにより生成された画像情報に基づき、複数の照明方向にそれぞれ対応する複数の画像を処理する画像処理装置において、
前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも2つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも2つの領域画像をそれぞれ抽出する領域画像抽出部と、
抽出された前記領域画像を合成する合成処理部と、
を備えることを特徴とする画像処理装置。
Image information generated by sequentially irradiating a subject with light from a plurality of different directions and imaging the subject so that at least a part of the imaging field of view is common each time the subject is irradiated with the light. In the image processing apparatus for processing a plurality of images respectively corresponding to a plurality of illumination directions,
A partial image in which a common area of the subject is captured from at least two of the plurality of images based on information on the illumination direction of the light when each of the plurality of images is captured. An area image extraction unit for extracting at least two area images,
A synthesis processing unit for synthesizing the extracted region images;
An image processing apparatus comprising:
被写体に対し、異なる複数の方向から光を順次照射し、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像することにより生成された画像情報に基づき、複数の照明方向にそれぞれ対応する複数の画像を処理する画像処理方法において、
前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも2つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも2つの領域画像をそれぞれ抽出する領域画像抽出ステップと、
抽出された前記領域画像を合成する合成処理ステップと、
を含むことを特徴とする画像処理方法。

Image information generated by sequentially irradiating a subject with light from a plurality of different directions and imaging the subject so that at least a part of the imaging field of view is common each time the subject is irradiated with the light. In the image processing method for processing a plurality of images respectively corresponding to a plurality of illumination directions,
A partial image in which a common area of the subject is captured from at least two of the plurality of images based on information on the illumination direction of the light when each of the plurality of images is captured. A region image extraction step for extracting at least two region images respectively;
A synthesis processing step of synthesizing the extracted region images;
An image processing method comprising:

JP2013082431A 2013-04-10 2013-04-10 Imaging apparatus, image processing apparatus, and image processing method Active JP6045429B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013082431A JP6045429B2 (en) 2013-04-10 2013-04-10 Imaging apparatus, image processing apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013082431A JP6045429B2 (en) 2013-04-10 2013-04-10 Imaging apparatus, image processing apparatus, and image processing method

Publications (2)

Publication Number Publication Date
JP2014206388A JP2014206388A (en) 2014-10-30
JP6045429B2 true JP6045429B2 (en) 2016-12-14

Family

ID=52120054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013082431A Active JP6045429B2 (en) 2013-04-10 2013-04-10 Imaging apparatus, image processing apparatus, and image processing method

Country Status (1)

Country Link
JP (1) JP6045429B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017116982A (en) * 2015-12-21 2017-06-29 ソニー株式会社 Image analyzing device, image analyzing method and image analyzing system
JP7056131B2 (en) * 2017-12-15 2022-04-19 オムロン株式会社 Image processing system, image processing program, and image processing method
JP6939501B2 (en) * 2017-12-15 2021-09-22 オムロン株式会社 Image processing system, image processing program, and image processing method
JP7113627B2 (en) * 2018-02-05 2022-08-05 株式会社Screenホールディングス Image Acquisition Device, Image Acquisition Method and Inspection Device
JP6903348B2 (en) * 2019-07-09 2021-07-14 独立行政法人国立文化財機構 Image processing equipment, image processing methods and programs

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296745A (en) * 1992-04-22 1993-11-09 Toshiba Corp Form measuring device
JPH09210785A (en) * 1996-02-02 1997-08-15 Tokai Carbon Co Ltd Method for detecting defective part of wood
JP2000125289A (en) * 1998-10-15 2000-04-28 Toshiba Mach Co Ltd Method for generating image with emphasized recessed part
JP2002310935A (en) * 2001-04-19 2002-10-23 Murata Mfg Co Ltd Method and apparatus for extraction of illumination condition and visual inspection system
JP4525090B2 (en) * 2004-01-28 2010-08-18 富士ゼロックス株式会社 Paper sheet inspection device, control device
JP4777310B2 (en) * 2007-07-31 2011-09-21 シャープ株式会社 INSPECTION DEVICE, INSPECTION METHOD, INSPECTION SYSTEM, COLOR FILTER MANUFACTURING METHOD, INSPECTION DEVICE CONTROL PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM

Also Published As

Publication number Publication date
JP2014206388A (en) 2014-10-30

Similar Documents

Publication Publication Date Title
JP6745173B2 (en) Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device
JP4882529B2 (en) Defect detection method and defect detection apparatus
JP6403446B2 (en) Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus
JP6045429B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP2015232484A (en) Image inspection device, image inspection method, image inspection program and computer readable recording medium, and apparatus having image inspection program recorded therein
JP2007285754A (en) Flaw detection method and flaw detector
CN116503388B (en) Defect detection method, device and storage medium
CN109155062A (en) Analysis on cracks device and method
TWI512284B (en) Bubble inspection system for glass
WO2019181072A1 (en) Image processing method, computer program, and recording medium
JP2009010890A (en) Image pickup device and method
JP2015232482A (en) Inspection equipment, inspection method and program
JP2019168388A (en) Image inspection method and image inspection device
JP2005331929A (en) Image analysis method, image analysis program, and pixel evaluation system therewith
JP2015004641A (en) Wafer appearance inspection device
JP2005345290A (en) Streak-like flaw detecting method and streak-like flaw detector
JP2009036582A (en) Inspection method, inspection device and inspection program of plane display panel
JP2019090643A (en) Inspection method, and inspection device
JP2003167529A (en) Method and device for picture defect detection, and program for picture defect detection
JP6201922B2 (en) Rust detection device for vehicle, rust detection system for vehicle, and rust detection method for vehicle
JP2005283197A (en) Detecting method and system for streak defect of screen
KR20140082333A (en) Method and apparatus of inspecting mura of flat display
JP2018112478A (en) Image inspection device and image inspection method
JP2007285868A (en) Luminance gradient detection method, flaw detection method, luminance gradient detector and flaw detector
JP6643301B2 (en) Defect inspection device and defect inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161115

R151 Written notification of patent or utility model registration

Ref document number: 6045429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250