JP7101235B2 - Inspection equipment and inspection method - Google Patents
Inspection equipment and inspection method Download PDFInfo
- Publication number
- JP7101235B2 JP7101235B2 JP2020209147A JP2020209147A JP7101235B2 JP 7101235 B2 JP7101235 B2 JP 7101235B2 JP 2020209147 A JP2020209147 A JP 2020209147A JP 2020209147 A JP2020209147 A JP 2020209147A JP 7101235 B2 JP7101235 B2 JP 7101235B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- unit
- imaging
- image pickup
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、ワークの検査を行う検査装置及び検査方法の技術に関する。 The present invention relates to an inspection apparatus and an inspection method for inspecting a work.
従来、ワークの検査を行う検査装置の技術は公知となっている。例えば、特許文献１に記載の如くである。
Conventionally, the technique of an inspection device for inspecting a work has been known. For example, as described in
特許文献１に記載の欠陥検査装置（検査装置）は、ロボット、ＣＣＤカメラ（撮像部）及び画像処理装置等を具備する。ロボットは、アームに取り付けられたＣＣＤカメラを、ワークの加工面に沿って移動可能に構成される。ＣＣＤカメラは、ロボットによる移動により、ワークの加工面を複数箇所で撮像する。画像処理装置は、ＣＣＤカメラの撮像結果に画像処理を施すことで撮像結果から欠陥部のみを抽出し、当該抽出結果に基づいて欠陥の有無を判定（ワークを検査）する。
The defect inspection device (inspection device) described in
特許文献１のような検査装置では、誤判定（例えば、本来不良品であるワークが良品と判定される等）が生じた場合、当該ワークを用いた製品に不具合が生じるおそれがある。このため、当該技術分野では、さらなる検査精度の向上が求められている。
In an inspection device such as
本発明は、以上の如き状況を鑑みてなされたものであり、その解決しようとする課題は、精度よく良否判定を行うことが可能な検査装置及び検査方法を提供するものである。 The present invention has been made in view of the above situations, and the problem to be solved thereof is to provide an inspection device and an inspection method capable of accurately determining the quality.
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。 The problem to be solved by the present invention is as described above, and next, the means for solving this problem will be described.
即ち、請求項１においては、多軸ロボットにより構成され、ワークを移動させる移動部と、前記移動部により前記ワークが移動されることで、当該ワークに形成された孔部に当該孔部の一方側及び他方側から挿入可能であり、前記孔部に挿入された状態で、前記一方側及び前記他方側のそれぞれから当該孔部の所定の撮像箇所を撮像可能な撮像部と、学習済みの学習モデルに前記撮像部の撮像結果を入力することで、前記ワークの良否判定を行う判定部と、を具備するものである。
That is, in
請求項２においては、前記学習モデルは、良品と判定されるべき前記ワークの前記孔部を前記撮像部で撮像した結果と、不良品と判定されるべき前記ワークの前記孔部を前記撮像部で撮像した結果と、をディープラーニングにより学習しているものである。 In the second aspect of the present invention, in the learning model, the result of imaging the hole portion of the work to be determined to be a non-defective product by the imaging unit and the hole portion of the work to be determined to be a defective product are captured by the imaging unit. The result of imaging in is learned by deep learning.
請求項３においては、前記撮像部の撮像結果に対して、前記学習モデルが反応した度合いを示すヒートマップを作成する作成部をさらに具備するものである。 Claim 3 further includes a creating unit that creates a heat map showing the degree to which the learning model reacts to the imaging result of the imaging unit.
請求項４においては、前記撮像部には、前記孔部に挿入された状態で、自身の軸線方向を向いて前記孔部を撮像する第一撮像部と、前記孔部に挿入された状態で、自身の軸線方向及び前記軸線方向に対して直交する方向に対して傾斜する方向を向いて前記孔部を撮像する第二撮像部と、が含まれるものである。 According to claim 4, the image pickup unit includes a first image pickup unit that takes an image of the hole portion while facing its own axial direction while being inserted into the hole portion, and a state of being inserted into the hole portion. , A second image pickup unit that images the hole portion in a direction inclined with respect to its own axial direction and a direction orthogonal to the axial direction.
請求項５においては、前記撮像部には、前記ワークの前記孔部に挿入された状態で、自身の軸線方向に対して直交する方向を向いて前記孔部を撮像可能な第三撮像部がさらに含まれるものである。 In claim 5, the image pickup unit includes a third image pickup unit capable of imaging the hole portion in a state of being inserted into the hole portion of the work and facing a direction orthogonal to its own axial direction. Further included.
請求項６においては、前記撮像部の撮像結果に基づいて、前記撮像部のゲインを前記ワークごとに補正する補正部をさらに具備するものである。 In claim 6, a correction unit for correcting the gain of the image pickup unit for each work based on the image pickup result of the image pickup unit is further provided.
請求項７においては、前記撮像部の撮像結果に対して画像処理を行う処理部をさらに具備するものである。 In claim 7, a processing unit that performs image processing on the image pickup result of the image pickup unit is further provided.
請求項８においては、前記ワークは、鋳造によって製造され、前記検査装置は、前記ワークの製造ロットごとに前記ワークの特徴を抽出する抽出部と、前記抽出部の抽出結果に基づいて、前記撮像部の撮像に関するパラメータ又は前記判定部の判定に関するパラメータの少なくともいずれか一方を、前記製造ロットごとに調整する調整部と、をさらに具備するものである。 In claim 8, the work is manufactured by casting, and the inspection device has an extraction unit that extracts the characteristics of the work for each production lot of the work, and the image pickup based on the extraction result of the extraction unit. It further includes an adjusting unit that adjusts at least one of the parameters related to the imaging of the unit and the parameters related to the determination of the determination unit for each production lot.
請求項９においては、多軸ロボットにより構成された移動部によってワークを移動させる移動工程と、前記移動部により前記ワークを移動させることで、当該ワークに形成された孔部に当該孔部の一方側及び他方側から撮像部を挿通し、前記孔部に挿入された状態で、前記一方側及び前記他方側のそれぞれから当該孔部の所定の撮像箇所を前記撮像部により撮像する撮像工程と、学習済みの学習モデルに前記撮像部の撮像結果を入力することで、前記ワークの良否判定を行う判定工程と、を含むものである。 In claim 9, one of the hole portions is formed in the hole portion formed in the work by moving the work by the moving portion configured by the multi-axis robot and the moving portion. An imaging step in which an imaging unit is inserted from one side and the other side, and a predetermined imaging portion of the hole is imaged by the imaging unit from each of the one side and the other side while being inserted into the hole. It includes a determination step of determining the quality of the work by inputting the imaging result of the imaging unit into the learned learning model.
本発明の効果として、以下に示すような効果を奏する。 As the effect of the present invention, the following effects are exhibited.
請求項１においては、精度よく良否判定を行うことができる。
In
請求項２においては、良否判定をより精度よく行うことができる。
In
請求項３においては、利便性を向上させることができる。 In claim 3, convenience can be improved.
請求項４においては、良否判定をより精度よく行うことができる。 In claim 4, the quality determination can be performed more accurately.
請求項５においては、良否判定をより精度よく行うことができる。 In claim 5, the quality determination can be performed more accurately.
請求項６においては、良否判定をより精度よく行うことが可能となる。 In claim 6, it is possible to make a good / bad judgment more accurately.
請求項７においては、良否判定をより精度よく行うことが可能となる。 In claim 7, it is possible to make a good / bad judgment more accurately.
請求項８においては、良否判定をより精度よく行うことが可能となる。 In claim 8, it is possible to make a good / bad judgment more accurately.
請求項９においては、精度よく良否判定を行うことができる。 In claim 9, good / bad judgment can be made with high accuracy.
以下では、図中の矢印Ｕ、矢印Ｄ、矢印Ｆ、矢印Ｂ、矢印Ｌ及び矢印Ｒで示した方向を、それぞれ上方向、下方向、前方向、後方向、左方向及び右方向と定義して説明を行う。 In the following, the directions indicated by the arrows U, D, arrow F, arrow B, arrow L, and arrow R in the figure are defined as upward, downward, forward, backward, leftward, and rightward, respectively. I will explain.
以下では、まず、図４を参照し、検査装置１の検査対象物となるワークＷの一例について説明する。
In the following, first, with reference to FIG. 4, an example of the work W as the inspection target of the
ワークＷは、例えば、バルブ装置（不図示）のハウジング等に用いられる。ワークＷは、本体部Ｗ１０及びフランジ部Ｗ２０を具備する。本体部Ｗ１０は、略直方体状に形成される。本体部Ｗ１０は、第一孔部Ｗ１１、第二孔部Ｗ１２、第三孔部Ｗ１３及び連通孔Ｗ１４を具備する。 The work W is used, for example, in a housing of a valve device (not shown). The work W includes a main body portion W10 and a flange portion W20. The main body portion W10 is formed in a substantially rectangular cuboid shape. The main body portion W10 includes a first hole portion W11, a second hole portion W12, a third hole portion W13, and a communication hole W14.
第一孔部Ｗ１１は、バルブ装置のスプール（不図示）が設けられる孔である。第一孔部Ｗ１１は、本体部Ｗ１０を前後に貫通する。第一孔部Ｗ１１は、正面視略円状に形成される。第一孔部Ｗ１１は、本体部Ｗ１０の左右中央部に形成される。第一孔部Ｗ１１の前後両端部の内径は、前後中途部の内径よりも大きくなるように形成される。第一孔部Ｗ１１には、摺動部Ｗ１１ａ及びランド部Ｗ１１ｂが形成される。摺動部Ｗ１１ａは、上記スプールに対して摺動可能な部分である。摺動部Ｗ１１ａは、第一孔部Ｗ１１の前後中途部において一定の径を有するように形成される。ランド部Ｗ１１ｂは、第一孔部Ｗ１１の前後中途部において摺動部Ｗ１１ａよりも大径に形成される。 The first hole portion W11 is a hole provided with a spool (not shown) of the valve device. The first hole portion W11 penetrates the main body portion W10 back and forth. The first hole portion W11 is formed in a substantially circular shape in front view. The first hole portion W11 is formed in the left and right central portions of the main body portion W10. The inner diameters of the front and rear ends of the first hole W11 are formed to be larger than the inner diameters of the front and rear halfway portions. A sliding portion W11a and a land portion W11b are formed in the first hole portion W11. The sliding portion W11a is a portion slidable with respect to the spool. The sliding portion W11a is formed so as to have a constant diameter in the front and rear halfway portions of the first hole portion W11. The land portion W11b is formed to have a diameter larger than that of the sliding portion W11a in the front and rear halfway portions of the first hole portion W11.
第二孔部Ｗ１２は、上記スプールが設けられる孔である。第二孔部Ｗ１２は、本体部Ｗ１０を前後に貫通する。第二孔部Ｗ１２は、第一孔部Ｗ１１（摺動部Ｗ１１ａ）よりも小さい内径を有する正面視略円状に形成される。第二孔部Ｗ１２は、第一孔部Ｗ１１の左方に形成される。第二孔部Ｗ１２には、第一孔部Ｗ１１と同様に、摺動部Ｗ１２ａ及びランド部Ｗ１２ｂが形成される。 The second hole portion W12 is a hole in which the spool is provided. The second hole portion W12 penetrates the main body portion W10 back and forth. The second hole portion W12 is formed in a substantially circular shape in front view having an inner diameter smaller than that of the first hole portion W11 (sliding portion W11a). The second hole portion W12 is formed on the left side of the first hole portion W11. Similar to the first hole portion W11, the sliding portion W12a and the land portion W12b are formed in the second hole portion W12.
第三孔部Ｗ１３は、上記スプールが設けられる孔である。第三孔部Ｗ１３は、本体部Ｗ１０を前後に貫通する。第三孔部Ｗ１３は、第二孔部Ｗ１２と略同一の内径を有する正面視略円状に形成される。第三孔部Ｗ１３は、第一孔部Ｗ１１の左上方に形成される。第三孔部Ｗ１３には、第一孔部Ｗ１１と同様に、摺動部及びランド部が形成される（不図示）。 The third hole portion W13 is a hole in which the spool is provided. The third hole portion W13 penetrates the main body portion W10 back and forth. The third hole portion W13 is formed in a substantially circular shape in front view having substantially the same inner diameter as the second hole portion W12. The third hole portion W13 is formed on the upper left side of the first hole portion W11. Similar to the first hole portion W11, a sliding portion and a land portion are formed in the third hole portion W13 (not shown).
連通孔Ｗ１４は、第一孔部Ｗ１１とワークＷの外部とを連通する孔である。連通孔Ｗ１４は、左右方向へ延びるように形成される。連通孔Ｗ１４は、前後に間隔をあけて複数（３つ）形成される。 The communication hole W14 is a hole that communicates the first hole portion W11 with the outside of the work W. The communication hole W14 is formed so as to extend in the left-right direction. A plurality (three) communication holes W14 are formed at intervals in the front and rear.
フランジ部Ｗ２０は、板面を上下方向へ向けた略円板状に形成される。フランジ部Ｗ２０は、本体部Ｗ１０の下側に形成される。 The flange portion W20 is formed in a substantially disk shape with the plate surface oriented in the vertical direction. The flange portion W20 is formed on the lower side of the main body portion W10.
検査装置１は、後述する撮像部７０により上記スプールとの摺動部分、すなわち第一孔部Ｗ１１、第二孔部Ｗ１２及び第三孔部Ｗ１３（以下、「第一孔部Ｗ１１等」と称する）を撮像し、ワークＷに不良が発生していないことを確認（検査）する。このように、第一孔部Ｗ１１等は、検査装置１の検査対象となる孔部（検査孔）となっている。検査装置１は、当該孔部に生じた不良として、例えば、バリ（余分な出っ張り）や異物残り（砂を落とす際に用いるショット玉等が残っていないか）等を確認する。
The
次に、図１から図９を参照し、第一実施形態に係る検査装置１の構成について説明する。検査装置１は、例えば、ワークＷの製造ライン等に設けられる。図１に示すように、検査装置１は、区画部材１０、搬送スライダ２０、昇降スライダ３０、多軸ロボット４０、芯ずれ補正部５０、干渉チェック部６０、撮像部７０、制御部８０及びＰＣ９０を具備する。
Next, the configuration of the
区画部材１０は、検査装置１の機器（搬送スライダ２０等）を囲むような柵状の部材である。区画部材１０の左前部には、ワークＷを区画部材１０の外側から内側へと投入するための投入口１１（開口部）が形成される。投入口１１には、ワークＷを載置可能なテーブル１２（図２参照）が設けられる。以下では、区画部材１０の内側の空間を「内部空間１３」と称する。
The
搬送スライダ２０は、ワークＷを投入口１１から後述する昇降スライダ３０へと搬送するためのものである。搬送スライダ２０は、内部空間１３の左前部において、投入口１１と隣接するように設けられる。図１及び図２に示すように、搬送スライダ２０は、搬送コンベア２１及び載置部２２を具備する。
The
搬送コンベア２１は、後述する載置部２２を移動可能なものである。搬送コンベア２１は、区画部材１０の投入口１１と昇降スライダ３０との間に亘るように設けられる。
The
載置部２２は、ワークＷを載置するための部分である。載置部２２は、搬送コンベア２１上に設けられ、搬送コンベア２１の駆動に伴って左右方向へ移動することができる。
The mounting
上述の如く構成される搬送スライダ２０は、搬送コンベア２１の駆動によって、ワークＷ（載置部２２）を投入位置Ｐ１及び第一受け渡し位置Ｐ２へ移動させることができる。投入位置Ｐ１は、投入口１１から投入されたワークＷを載置部２２で受け取るための位置である。具体的には、投入位置Ｐ１は、ワークＷを投入口１１へ最も接近させた（搬送コンベア２１の左端部へ移動させた）位置である。第一受け渡し位置Ｐ２は、搬送スライダ２０と昇降スライダ３０との間でワークＷを受け渡す位置である。具体的には、第一受け渡し位置Ｐ２は、ワークＷを昇降スライダ３０へ最も接近させた（搬送コンベア２１の右端部へ移動させた）位置である。
The
昇降スライダ３０は、ワークＷを昇降するためのものである。昇降スライダ３０は、内部空間１３の右前部に設けられる。図２及び図５に示すように、昇降スライダ３０は、昇降コンベア３１、リフト部３２、第一ピン３３、第二ピン３４及びシリンダ３５を具備する。
The elevating
昇降コンベア３１は、後述するリフト部３２を昇降可能なものである。昇降コンベア３１は、搬送スライダ２０（搬送コンベア２１）の右端部に固定される。
The elevating
リフト部３２は、昇降コンベア３１の駆動に伴って昇降する部分である。リフト部３２の右部は、昇降コンベア３１に昇降可能に支持される。図５に示すように、リフト部３２には、凹部３２ａが形成される。
The
凹部３２ａは、リフト部３２の左側部において凹状に形成される部分である。凹部３２ａは、リフト部３２の左右中途部に形成される。凹部３２ａは、後述する多軸ロボット４０の把持部４５が進入可能となるように、ある程度の左右方向幅が確保されている。
The
第一ピン３３は、ワークＷの位置を決めるためのものである。第一ピン３３は、軸線方向を前後方向に向けて配置される。第一ピン３３は、凹部３２ａを挟んで前後一対設けられる。第一ピン３３の先端部は、ワークＷの第一孔部Ｗ１１に挿入可能なテーパ状に形成される（図１２参照）。第一ピン３３は、後述するシリンダ３５を介してリフト部３２に支持される。第一ピン３３は、シリンダ３５により駆動され、平面視において凹部３２ａに対して前後方向に進退するように構成される。
The
第二ピン３４は、ワークＷの回転を規制するためのものである。第二ピン３４は、軸線方向を左右方向に向け、凹部３２ａの右方に配置される。第二ピン３４は、ワークＷの連通孔Ｗ１４（図４参照）に挿入可能に形成される。第二ピン３４は、シリンダ（不図示）を介してリフト部３２に支持される。第二ピン３４は、前記シリンダにより駆動され、平面視において凹部３２ａに対して左右方向に進退するように構成される。
The
シリンダ３５は、第一ピン３３を左右方向へ移動させるためのものである。シリンダ３５は、リフト部３２の前部及び後部にそれぞれ固定される。前後のシリンダ３５は、前後一対の第一ピン３３を進退可能に構成される。
The
上述の如く構成される昇降コンベア３１は、第一ピン３３を第一孔部Ｗ１１に挿入することで（図１２参照）、ワークＷを位置決めすることができる。また、昇降コンベア３１は、第二ピン３４を連通孔Ｗ１４に挿入することで、ワークＷの回転を規制することができる。この状態でリフト部３２を昇降させることで、昇降コンベア３１は、ワークＷを上記第一受け渡し位置Ｐ２及び図２に示す第二受け渡し位置Ｐ３へ昇降させることができる。
The elevating
第二受け渡し位置Ｐ３は、昇降スライダ３０と多軸ロボット４０との間でワークＷを受け渡す位置である。具体的には、第二受け渡し位置Ｐ３は、第一受け渡し位置Ｐ２から昇降コンベア３１の上端部へワークＷを上昇させた位置である。第二受け渡し位置Ｐ３と第一受け渡し位置Ｐ２との間隔は、ワークＷの上下幅（高さ）よりも大きくなるように設定される。
The second delivery position P3 is a position where the work W is delivered between the elevating
多軸ロボット４０は、ワークＷの移動及び姿勢の変更を行うためのものである。多軸ロボット４０は、平面視において、内部空間１３の略中央部に設けられる（図１参照）。図１及び図６に示すように、多軸ロボット４０は、台座部４１、旋回部４２、アーム４３、関節部４４及び把持部４５を具備する。
The
台座部４１は、後述する旋回部４２等を支持する部分である。旋回部４２は、台座部４１に載置され、後述するアーム４３や把持部４５等を旋回可能（上下方向を向く回動軸線を中心に回動可能）に設けられる。アーム４３及び関節部４４は、旋回部４２と把持部４５との間にそれぞれ複数設けられる。関節部４４は、２つのアーム４３を接続するように設けられ、アーム４３及び把持部４５を所定の回動軸線を中心に回動可能に構成される。
The
把持部４５は、ワークＷを把持する部分である。把持部４５は、固定部材４５ａ、可動部材４５ｂ及び変形部４５ｃを具備する。
The
固定部材４５ａは、アーム４３の端部に固定される略板状の部材である。固定部材４５ａは、図６（ｂ）に示す状態において、長手方向を上下方向に向けた正面視略矩形状に形成される。
The fixing
可動部材４５ｂは、固定部材４５ａに対して上下方向に相対的に移動可能な部材である。可動部材４５ｂは、上下一対設けられる。上下一対の可動部材４５ｂは、所定の駆動源からの動力によって互いに近接離間（昇降）することができる。
The
変形部４５ｃは、変形可能な部材である。変形部４５ｃは、上下一対の可動部材４５ｂにそれぞれ設けられる。上下の変形部４５ｃは、互いに対向するように配置される。上側の変形部４５ｃは、左右に並んで２つ設けられる。変形部４５ｃには、無数の球体（ビーズ）が収容される。変形部４５ｃは、他の部材と接触した際に球体が適宜移動することで、接触したものの形状に沿って変形することができる。また、変形部４５ｃは、所定のポンプ（不図示）により真空引きする（内部の空気を吸引する）ことで、球体の移動を規制して、自身の形状を固定することができる。
The
上述の如く構成される多軸ロボット４０は、上下一対の可動部材４５ｂを互いに近接させて変形部４５ｃをワークＷに押し当てることで、変形部４５ｃをワークＷの形状に沿って変形させることができる。多軸ロボット４０は、この状態で変形部４５ｃを真空引きすることで、ワークＷを把持することができる（図７参照）。また、この状態で旋回部４２及び関節部４４を回動させることにより、多軸ロボット４０は、ワークＷの移動及び姿勢の変更を行うことができる。また、多軸ロボット４０は、ワークＷの把持とは反対の動作を行うことで、把持部４５で把持したワークＷを放す（把持を解除する）ことができる。
The
芯ずれ補正部５０は、撮像部７０とワークＷ（第一孔部Ｗ１１等）との位置ずれを演算し、ロボット座標を補正するためのものである。芯ずれ補正部５０は、多軸ロボット４０の左方に設けられる。図１及び図７に示すように、芯ずれ補正部５０は、カメラ５１、上側照明５２、下側照明５３及び処理部５４を具備する。
The
カメラ５１は、ワークＷを上方から撮像するものである。上側照明５２は、ワークＷに対して上方から光を照射するものである。上側照明５２は、カメラ５１を挟んで左右一対設けられる。下側照明５３は、ワークＷに対して下方から光を照射するものである。下側照明５３は、カメラ５１の下方に配置される。
The
処理部５４は、位置ずれの演算処理を行うものである。処理部５４は、カメラ５１と接続される。処理部５４には、カメラ５１の撮像結果Ｂ５１（図１４（ａ）参照）が入力される。処理部５４は、入力された撮像結果Ｂ５１に対して演算処理を行うことで、位置ずれを制御部８０へ出力することができる。なお、処理部５４の処理については後述する。
The
干渉チェック部６０は、後述する撮像部７０にワークＷの第一孔部Ｗ１１等が干渉（接触）しないことを確認するための部分である。干渉チェック部６０は、多軸ロボット４０の左後方に設けられる。図８に示すように、干渉チェック部６０は、取付部材６１、軸部材６２及びセンサ部６３を具備する。
The
取付部材６１は、区画部材１０内に設けられた長手部材Ａ１に取り付けられる略箱状の部材である。取付部材６１（干渉チェック部６０）は、長手部材Ａ１に固定され、移動不能に設けられる。
The mounting
軸部材６２は、後述する撮像部７０（挿入部７１ｂ・７２ｂ・７３ｂ）を模した部材である。軸部材６２は、撮像部７０と概ね同一形状（略同一の外径及び長さ）に形成され、撮像部７０と概ね同一の姿勢となるように設けられる。具体的には、軸部材６２は、軸線方向を略上下方向に向けた略円柱状に形成される。軸部材６２の外径は、ワークＷの第一孔部Ｗ１１等の内径よりも小さくなるように形成される。軸部材６２は、取付部材６１から下方へ突出するように取付部材６１に固定される。
The
センサ部６３は、軸部材６２にワークＷの第一孔部Ｗ１１等が接触したことを検知するセンサ（例えば、近接スイッチ等）である。センサ部６３は、取付部材６１内に設けられる。
The
撮像部７０は、ワークＷの第一孔部Ｗ１１等を撮像するためのものである。図１及び図８に示すように、撮像部７０は、第一ボアスコープ７１、第二ボアスコープ７２及び第三ボアスコープ７３を具備する。
The
なお、第一ボアスコープ７１から第三ボアスコープ７３は、配置及び撮像方向Ｄ７１～Ｄ７３が異なる点を除いて互いに同様に構成される。このため、以下では、第一ボアスコープ７１を例に挙げて構成を説明し、第二ボアスコープ７２及び第三ボアスコープ７３については、第一ボアスコープ７１との相違点を中心に説明する。
The
第一ボアスコープ７１は、第一孔部Ｗ１１等の内側を撮像可能な機器である。第一ボアスコープ７１は、干渉チェック部６０の右方に設けられる。第一ボアスコープ７１は、取付部７１ａ、挿入部７１ｂ、光源７１ｃ及びカメラ７１ｄを具備する。
The
取付部７１ａは、長手部材Ａ１に取り付けられる略箱状の部材である。取付部７１ａ（第一ボアスコープ７１）は、長手部材Ａ１に固定され、移動不能に設けられる。
The mounting
挿入部７１ｂは、第一孔部Ｗ１１等に挿入可能な略円筒状の部分である。挿入部７１ｂは、軸線方向を略上下方向に向けて配置される。挿入部７１ｂは、取付部７１ａから下方へ突出するように取付部７１ａに固定される。こうして、挿入部７１ｂは、上方から下方へ垂れ下がるように設けられる。挿入部７１ｂの外径は、ワークＷの第一孔部Ｗ１１等の内径よりも小さくなるように形成される。挿入部７１ｂの外径は、干渉チェック部６０の軸部材６２の外径よりも僅かに小さくなるように形成される。
The
光源７１ｃは、第一孔部Ｗ１１等の内側を照らす光（照明）を照射するためのものである。光源７１ｃは、取付部７１ａ内に設けられる。光源７１ｃから照射された光は、挿入部７１ｂの下端部から外部（下方、後述するカメラ７１ｄの撮像方向Ｄ７１と同一方向）へ照射される。光源７１ｃは、光の明るさを変更可能に構成される。
The
カメラ７１ｄは、第一孔部Ｗ１１等の内側を撮像するためのものである。カメラ７１ｄは、取付部７１ａ内に設けられる。カメラ７１ｄは、挿入部７１ｂ内のレンズを介して、挿入部７１ｂの先端（下端）から下方（撮像方向Ｄ７１）を撮像することができる。こうして、カメラ７１ｄは、挿入部７１ｂの軸線方向と平行な撮像方向Ｄ７１を撮像し、第一孔部Ｗ１１等を真っ直ぐに見た（直視した）画像を得ることができる。
The
第二ボアスコープ７２は、取付部７２ａ、挿入部７２ｂ、光源７２ｃ及びカメラ７２ｄを具備する。第二ボアスコープ７２は、第一ボアスコープ７１の右方に配置される。カメラ７２ｄは、挿入部７２ｂ内のレンズを介して、挿入部７２ｂの先端から斜め方向（撮像方向Ｄ７２）を撮像することができる。こうして、カメラ７２ｄは、挿入部７２ｂの軸線方向及び水平方向（軸線方向と直交する方向）に対して傾斜する撮像方向Ｄ７２を撮像し、第一孔部Ｗ１１等を斜めから見た画像を得ることができる。
The
第三ボアスコープ７３は、取付部７３ａ、挿入部７３ｂ、光源７３ｃ及びカメラ７３ｄを具備する。第三ボアスコープ７３は、第一ボアスコープ７１の右前方に配置される。カメラ７３ｄは、挿入部７３ｂ内のレンズを介して、挿入部７３ｂの先端から水平方向（撮像方向Ｄ７３）を撮像することができる。こうして、カメラ７３ｄは、挿入部７３ｂの軸線方向と直交する撮像方向Ｄ７３を撮像し、第一孔部Ｗ１１等を横から見た画像を得ることができる。
The
制御部８０は、検査装置１の機器（搬送スライダ２０等）を制御するものである。制御部８０は、区画部材１０の外側（右後側）に設けられる。図３に示すように、制御部８０は、搬送スライダ２０、昇降スライダ３０、多軸ロボット４０、芯ずれ補正部５０及び干渉チェック部６０と接続される。
The
制御部８０は、搬送スライダ２０に信号を送信することで、搬送コンベア２１の動作の開始及び停止やワークＷ（載置部２２）の移動方向等を制御することができる。
By transmitting a signal to the
制御部８０は、昇降スライダ３０に信号を送信することで、昇降コンベア３１の動作の開始及び停止やリフト部３２の昇降方向やシリンダ３５（第一ピン３３及び第二ピン３４）の動作等を制御することができる。
By transmitting a signal to the elevating
制御部８０は、多軸ロボット４０に信号を送信することで、上述したワークＷの把持及び把持の解除を行ったり、旋回部４２及び関節部４４を回動させてワークＷ（把持部４５）の移動や姿勢の変更を行うことができる。
By transmitting a signal to the
制御部８０は、芯ずれ補正部５０に信号を送信することで、カメラ５１による撮像や上側照明５２及び下側照明５３からの光の照射及び停止を行うことができる。また、制御部８０は、処理部５４から信号を受信することで、処理部５４での処理結果を取得することができる。
By transmitting a signal to the
制御部８０は、干渉チェック部６０から信号を受信することで、センサ部６３の検知結果を取得することができる。
The
ＰＣ９０は、撮像部７０の撮像結果Ｂ７１・Ｂ７２（図１７参照）に基づいて第一孔部Ｗ１１等の良否判定を行うためのものである。ＰＣ９０は、区画部材１０の外側（左側）に設けられる（図１参照）。ＰＣ９０は、ＣＰＵ・ＧＰＵ等の演算装置やＨＤＤ等の記憶装置や液晶ディスプレイ等の表示装置を具備する。また、ＰＣ９０は、良否判定に関する機能（プログラム）として、補正部９１、良否判定部９２及び作成部９３を具備する。
The
補正部９１は、撮像部７０のゲイン（感度）を補正するためのものである。良否判定部９２は、ワークＷの良否判定を行うためのものである。補正部９１及び良否判定部９２の処理については後述する。
The
作成部９３は、後述するＤＮＮ１００が反応した度合いを示すヒートマップＨ（図１８（ｂ）参照）を作成するためのものである。
The creating
上述の如く構成されるＰＣ９０には、図９に示すように、ＤＮＮ１００が構築される。
As shown in FIG. 9, the
ＤＮＮ１００は、人間の脳の神経回路の仕組みを模した情報処理モデルである。より詳細には、ＤＮＮ１００は、脳の神経細胞をモデル化したユニット１０１ａ・１０２ａ・１０３ａを互いに接続し、当該ユニット１０１ａ等の信号の受け渡しにより種々の情報処理を行うものである。ＤＮＮ１００は、入力層１０１、中間層（隠れ層）１０２、及び出力層１０３を具備する。
The DNN100 is an information processing model that imitates the mechanism of the neural circuit of the human brain. More specifically, the
入力層１０１は、複数のユニット１０１ａを有する。入力層１０１のユニット１０１ａは、中間層１０２のユニット１０２ａと接続される。入力層１０１のユニット１０１ａは、入力された情報に対して演算処理を行って、中間層１０２（ユニット１０２ａ）へ情報を受け渡すことができる。
The
中間層１０２は、複数のユニット１０２ａを有する。中間層１０２は、入力層１０１と出力層１０３との間に複数設けられる。中間層１０２のユニット１０２ａは、入力側（入力層１０１側で隣接するユニット）から受け渡された情報に対して演算処理を行って、出力側（出力層１０３側で隣接するユニット）へ情報を受け渡すことができる。
The
出力層１０３は、複数のユニット１０３ａを有する。出力層１０３は、中間層１０２から受け渡された情報に対して演算処理を行って、その結果を出力することができる。
The
上述の如く構成されたＤＮＮ１００は、ワークＷの第一孔部Ｗ１１等を撮像部７０で撮像した結果と、良否判定の結果と、の関係を予め教師あり学習によって学習している。
In the
より詳細には、ＤＮＮ１００は、良品と判定されるべきワークＷを撮像部７０で撮像した結果と、良否判定の結果が良品であること（答え）と、が入力層１０１に入力され、中間層１０２及び出力層１０３への情報の受け渡しが行われている。こうして、ＤＮＮ１００は、良品と判定するための第一孔部Ｗ１１等の特徴を学習している。また、ＤＮＮ１００は、不良品と判定されるべきワークＷについても、良品と同様に学習が行われている。
More specifically, in the
上述の如く構成されるＰＣ９０は、図３に示すように、撮像部７０及び制御部８０と接続される。
As shown in FIG. 3, the
ＰＣ９０は、撮像部７０から信号を受信することで、撮像部７０の撮像結果Ｂ７１・Ｂ７２を取得することができる。ＤＮＮ１００は、当該撮像結果Ｂ７１・Ｂ７２が入力層１０１に入力されることで、良品及び不良品の確率を示すスコア（例えば、良品の確率が８０％であり、かつ不良品の確率が２０％等）と、良否判定の結果（例えば、ＯＫ又はＮＧとの結果）と、を出力することができる。
By receiving a signal from the
ＰＣ９０は、制御部８０との間で通信することで、制御に関する情報（例えば、ワークＷや機器の位置情報等）をやり取りすることができる。
By communicating with the
以下では、図１、図２及び図１０を参照し、検査装置１によるワークＷの検査の概要について説明する。
Hereinafter, the outline of the inspection of the work W by the
まず、ワークＷが検査装置１（投入位置Ｐ１）にセットされる（ステップＳ１００）。 First, the work W is set in the inspection device 1 (loading position P1) (step S100).
ワークＷがセットされると、搬送スライダ２０は、ワークＷを第一受け渡し位置Ｐ２へ搬送する（ステップＳ１１０）。
When the work W is set, the
ワークＷの搬送が完了すると、昇降スライダ３０は、第一受け渡し位置Ｐ２でワークＷの位置決めを行う（ステップＳ１２０）。
When the transfer of the work W is completed, the elevating
ワークＷの位置決めが完了すると、第二受け渡し位置Ｐ３で昇降スライダ３０から多軸ロボット４０へワークＷを受け渡す（ステップＳ１３０）。
When the positioning of the work W is completed, the work W is delivered from the elevating
ワークＷの受け渡しが完了すると、多軸ロボット４０は、芯ずれ補正部５０が設けられる場所へワークＷを移動させる。その後、芯ずれ補正部５０は、第一孔部Ｗ１１等と撮像部７０との位置ずれからロボット座標を補正する（ステップＳ１４０）。
When the delivery of the work W is completed, the
ロボット座標の補正が完了すると、多軸ロボット４０は、干渉チェック部６０が設けられる場所へワークＷを移動させる。その後、干渉チェック部６０は、第一孔部Ｗ１１等が撮像部７０と干渉しないことを事前に確認する（ステップＳ１５０）。
When the correction of the robot coordinates is completed, the
干渉の確認が完了すると、多軸ロボット４０は、第一ボアスコープ７１が設けられる場所へワークＷを移動させる。その後、補正部９１は、カメラ７１ｄのゲイン（感度）を補正する（ステップＳ１６０）。
When the confirmation of the interference is completed, the
ゲインの補正が完了すると、第一ボアスコープ７１は、補正後のゲインにより、第一孔部Ｗ１１等を撮像する（ステップＳ１７０）。なお、第一ボアスコープ７１で撮像する撮像箇所は、予め複数設定されている。第一ボアスコープ７１は、挿入部７１ｂが第一孔部Ｗ１１等に挿入された状態で、当該撮像箇所を撮像する（図１５（ｂ）参照）。
When the gain correction is completed, the
第一ボアスコープ７１での撮像が完了すると、多軸ロボット４０は、第二ボアスコープ７２が設けられる場所へワークＷを移動させる。第二ボアスコープ７２は、補正後のゲインにより、第一孔部Ｗ１１等を撮像する（ステップＳ１８０）。なお、第二ボアスコープ７２で撮像する撮像箇所は、予め複数設定されている。第二ボアスコープ７２は、挿入部７２ｂが第一孔部Ｗ１１等に挿入された状態で、当該撮像箇所を撮像する（図１５（ｂ）参照）。
When the imaging with the
第二ボアスコープ７２による撮像が完了すると、多軸ロボット４０、昇降スライダ３０及び搬送スライダ２０は、ワークＷを投入位置Ｐ１へと戻す（ステップＳ１９０）。
When the imaging by the
また、ＰＣ９０の良否判定部９２は、ワークＷを戻す動作と並行してワークＷの良否判定を行う（ステップＳ２００）。こうして、検査装置１による検査が完了する。なお、良否判定は、ワークＷを戻す動作と並行して行う必要はなく、第一孔部Ｗ１１等の撮像後に、任意のタイミングで行うことができる。
Further, the
以下では、上述した検査の各ステップＳ１００～Ｓ１９０の詳細について説明する。 Hereinafter, details of each of the above-mentioned inspection steps S100 to S190 will be described.
まず、図２及び図４を参照し、ステップＳ１００（ワークＷのセット）について説明する。ステップＳ１００においてワークＷは、投入口１１を介して区画部材１０内へ投入され、投入位置Ｐ１（搬送コンベア２１の左端部）で載置部２２に載置される。この際、ワークＷは、載置部２２に設けられた所定の位置決め部材により、連通孔Ｗ１４が右方を向くと共に、第一孔部Ｗ１１等が前後方向を向く姿勢で載置される。こうして、載置部２２は、投入口１１から投入されたワークＷを投入位置Ｐ１で受け取る。
First, step S100 (set of work W) will be described with reference to FIGS. 2 and 4. In step S100, the work W is charged into the
次に、図１、図２及び図１１を参照し、ステップＳ１１０（ワークＷの搬送）について説明する。なお、図１１以降の図面においては、説明の便宜上、ワークＷの断面を適宜簡略化して記載している。 Next, step S110 (transportation of the work W) will be described with reference to FIGS. 1, 2, and 11. In the drawings after FIG. 11, for convenience of explanation, the cross section of the work W is described in an appropriately simplified manner.
ステップＳ１１０において、搬送スライダ２０は、制御部８０からの信号により搬送コンベア２１が駆動され、載置部２２を右方へ移動させる。こうして、図１及び図２に示すように、搬送スライダ２０は、ワークＷを投入位置Ｐ１から第一受け渡し位置Ｐ２へ搬送する。この際、制御部８０からの信号により昇降コンベア３１が駆動され、図１１（ａ）に示すように、リフト部３２は、ワークＷと同じ高さ位置に配置される。これにより、図１１（ｂ）及び図１１（ｃ）に示すように、第一ピン３３は、ワークＷの第一孔部Ｗ１１と対向するように配置される。また、第二ピン３４は、連通孔Ｗ１４と対向するように配置される。このようにして、第一受け渡し位置Ｐ２では、第一ピン３３及び第二ピン３４を第一孔部Ｗ１１及び連通孔Ｗ１４へ挿入可能な状態となる。
In step S110, the
次に、図１２を参照し、ステップＳ１２０（ワークＷの位置決め）について説明する。ステップＳ１２０において、制御部８０からの信号によりシリンダ３５が駆動され、第一ピン３３の先端部（テーパ状の部分、以下「テーパ部」と称する）は、第一孔部Ｗ１１に挿入される。より詳細には、テーパ部の先端が摺動部Ｗ１１ａに挿入される。また、当該テーパ部の中途部は、挿入時に摺動部Ｗ１１ａの端部に当接する。こうして第一ピン３３は、ワークＷをテーパ部の形状に倣うように移動させ、ワークＷを所定の位置で位置決めする。また、第二ピン３４は、連通孔Ｗ１４に挿入され、ワークＷの回転を規制する。
Next, step S120 (positioning of the work W) will be described with reference to FIG. In step S120, the
ここで、上述の如く、ワークＷは、鋳造によって製造される。第一ピン３３が挿入される第一孔部Ｗ１１は、鋳造において、中子により形成される。このように、中子で形成された第一孔部Ｗ１１は、ワークＷの中で比較的加工精度が高くなる。このような加工精度が高い部分（第一孔部Ｗ１１）でワークＷの位置決めを行うことで、昇降スライダ３０は、ワークＷを精度よく位置決めすることができる。
Here, as described above, the work W is manufactured by casting. The first hole W11 into which the
次に、図２及び図１３を参照し、ステップＳ１３０（受け渡し）について説明する。ステップＳ１３０においては、制御部８０の制御により、ワークＷの上昇、把持部４５による把持及び第一ピン３３等の引き抜きが行われ、昇降スライダ３０から多軸ロボット４０へとワークＷが受け渡される。
Next, step S130 (delivery) will be described with reference to FIGS. 2 and 13. In step S130, the work W is raised by the
より詳細には、図２及び図１３（ａ）に示すように、ステップＳ１３０においてまず昇降コンベア３１が駆動され、昇降スライダ３０は、位置決めしたワークＷを第一受け渡し位置Ｐ２から第二受け渡し位置Ｐ３まで上昇させる。この際の上昇量は、ワークＷの上下幅（高さ）よりも大きく設定されている。こうして昇降スライダ３０は、ワークＷの上下幅よりも高い位置（第二受け渡し位置Ｐ３）までワークＷを持ち上げる。
More specifically, as shown in FIGS. 2 and 13A, the elevating
次に、多軸ロボット４０は、図１３（ｂ）に示すように、把持部４５をリフト部３２の凹部３２ａへ進入させて変形部４５ｃとワークＷとを対向させる。その後、図１３（ｃ）に示すように、多軸ロボット４０は、上下一対の可動部材４５ｂを互いに接近させ、変形部４５ｃをワークＷに上下から押し当てる。多軸ロボット４０は、こうしてワークＷの外形に沿って変形させた変形部４５ｃを真空引きする（形状を固定する）ことで、ワークＷを把持する。さらに、上下一対の可動部材４５ｂの位置を押し当て状態から固定状態にする。
Next, as shown in FIG. 13B, the
次に、第一ピン３３及び第二ピン３４は、第一孔部Ｗ１１及び連通孔Ｗ１４から引き抜かれる（図１１（ｃ）参照）。こうして第二受け渡し位置Ｐ３において、昇降スライダ３０から多軸ロボット４０へとワークＷが受け渡される。
Next, the
上述の如く、ステップＳ１３０において、多軸ロボット４０は、変形部４５ｃを変形させてワークＷを把持する。これにより、複雑な形状のワークＷや外形にばらつきがあるワークＷに変形部４５ｃを密着させ、ワークＷを確実に把持することができる。また、ワークＷに異物が付着していたとしても、当該異物に沿うように変形部４５ｃを変形させて、多軸ロボット４０とワークＷとが位置ずれするのを防止することができる。
As described above, in step S130, the
次に、図７及び図１４を参照し、ステップＳ１４０（ロボット座標の補正）について説明する。 Next, step S140 (correction of robot coordinates) will be described with reference to FIGS. 7 and 14.
上述の如く、第一ボアスコープ７１及び第二ボアスコープ７２は、挿入部７１ｂ・７２ｂが第一孔部Ｗ１１等に挿入された状態で撮像を行う（図１５（ｂ）参照）。このため、第一ボアスコープ７１及び第二ボアスコープ７２と第一孔部Ｗ１１等との位置がずれていたり、第一孔部Ｗ１１等の向きが上下方向（挿入部７１ｂ等の軸線方向）に対して傾いていた場合、ステップＳ１９０で良否判定を行い難くなる可能性がある。このような挿入部７１ｂ・７２ｂと第一孔部Ｗ１１等との芯ずれ（中心のずれ）による不具合を回避するために、芯ずれ補正部５０による補正（ステップＳ１４０）が行われる。以下、具体的に説明する。
As described above, the
ステップＳ１４０において多軸ロボット４０は、図７に示すように、第一孔部Ｗ１１等が上下方向を向くようにワークＷの姿勢を変更し、芯ずれ補正部５０のカメラ５１と下側照明５３との間に当該ワークＷを移動させる。こうして、カメラ５１の鉛直下方には、第一孔部Ｗ１１が配置されることとなる。上側照明５２及び下側照明５３は、当該第一孔部Ｗ１１に向けて光を照射する。カメラ５１は、こうして照らされた第一孔部Ｗ１１を撮像し、図１４（ａ）に示す撮像結果Ｂ５１を処理部５４に送信する。なお、図１４（ａ）には、処理部５４に送信された撮像結果Ｂ５１の一例を示している。
In step S140, as shown in FIG. 7, the
処理部５４は、撮像結果Ｂ５１を解析し、第一孔部Ｗ１１の手前側（カメラ５１に近い側）端部Ｃ１０の中心Ｃ１１の座標と、第一孔部Ｗ１１の奥側（カメラ５１から遠い側）端部Ｃ２０の中心Ｃ２１の座標と、を算出する。そして、処理部５４は、座標の算出結果に基づいて、撮像結果Ｂ５１（画像データ）の中心Ｐと第一孔部Ｗ１１の中心Ｃ１１・Ｃ２１との距離を算出する。また、処理部５４は、手前側端部Ｃ１０の中心Ｃ１１に対して奥側端部Ｃ２０の中心Ｃ２１がずれている方向（図１４（ａ）では左方）を算出する。
The
処理部５４は、こうして算出した距離及び方向に基づいて、撮像結果Ｂ５１の中心Ｐと第一孔部Ｗ１１の中心Ｃ１１・Ｃ２１とが一致するように（図１４（ｂ）に示す補正後の撮像結果Ｂ５１参照）、多軸ロボット４０を制御する。この際処理部５４は、手前側端部Ｃ１０の中心Ｃ１１と奥側端部Ｃ２０の中心Ｃ２１とが一致するような回動角度を算出し、当該算出結果を制御部８０へ出力する。制御部８０は、当該算出結果に基づいてワークＷを回動させる（多軸ロボット４０を制御する）ことで、第一孔部Ｗ１１の上下方向に対する傾き（角度）を補正する。また、処理部５４は、撮像結果Ｂ５１の中心Ｐに対して手前側端部Ｃ１０の中心Ｃ１１が一致するような方向及び移動量を算出し、当該算出結果を制御部８０へ出力する。制御部８０は、当該算出結果に基づいてワークＷを水平方向に移動させることで、第一孔部Ｗ１１の水平方向のずれを補正する。こうして芯ずれ補正部５０によるロボット座標の補正が完了する。
Based on the distance and direction thus calculated, the
このように、芯ずれ補正部５０によれば、ワークＷが決まった位置（中心Ｐ・Ｃ１１・Ｃ２１が一致する位置）で決まった姿勢（第一孔部Ｗ１１が上下方向を向く姿勢）となるように、多軸ロボット４０を補正することができる。このように、芯ずれ補正部５０は、昇降スライダ３０から第一ボアスコープ７１が設けられる場所へワークＷを移動させる前にワークＷの位置等を補正する（ワークＷの移動を補正する）ことで、挿入部７１ｂ・７２ｂに対する第一孔部Ｗ１１等の位置ずれを抑制することができる。
As described above, according to the
次に、図８を参照し、ステップＳ１５０（干渉のチェック）について説明する。干渉チェック部６０は、第一ボアスコープ７１等の撮像（図１５（ｂ）参照）において挿入部７１ｂ・７２ｂと第一孔部Ｗ１１等とが接触しないことを、軸部材６２を用いて事前に確認する。以下、具体的に説明する。
Next, step S150 (interference check) will be described with reference to FIG. The
ステップＳ１５０において多軸ロボット４０は、ワークＷを移動させ、図８に示す干渉チェック部６０の軸部材６２を第一孔部Ｗ１１に挿入する。このとき、多軸ロボット４０は、第一ボアスコープ７１での撮像（ステップＳ１７０）と同じようにワークＷを移動させる。具体的には、多軸ロボット４０は、第一孔部Ｗ１１が上下方向を向いたワークＷを上方へと移動させ、軸部材６２を第一孔部Ｗ１１に挿入する。
In step S150, the
仮に軸部材６２と第一孔部Ｗ１１とが接触すると、センサ部６３が当該接触を検知して制御部８０へ検知結果を送信する。この場合、制御部８０は、検査を中断する。一方、軸部材６２と第一孔部Ｗ１１とが接触しなければセンサ部６３が接触を検知しないため、検査が中断されることはない。こうしてセンサ部６３が接触を検知しない場合、軸部材６２が第二孔部Ｗ１２、第三孔部Ｗ１３に順番に挿入される。干渉チェック部６０は、このようにして、第一孔部Ｗ１１等が挿入部７１ｂ・７２ｂを模した軸部材６２と接触しないことを確認する。
If the
このように、干渉チェック部６０によれば、事前に（撮像部７０での撮像前に）、第一孔部Ｗ１１等が挿入部７１ｂ・７２ｂと干渉しないことを確認することができる。これにより、第一孔部Ｗ１１等と挿入部７１ｂ・７２ｂとの接触を確実に防止することができる。また、軸部材６２の外径は、挿入部７１ｂ・７２ｂの外径よりも大きくなるように形成されている。当該構成により、挿入部７１ｂ・７２ｂに対して必要以上に接近するワークＷを検出し、第一孔部Ｗ１１等と挿入部７１ｂ・７２ｂとの接触をより確実に防止することができる。
In this way, according to the
次に、図１５及び図１６を参照し、ステップＳ１６０（ゲインの補正）について説明する。 Next, step S160 (gain correction) will be described with reference to FIGS. 15 and 16.
後述するように、第一ボアスコープ７１及び第二ボアスコープ７２は、第一孔部Ｗ１１等を撮像する際に、光源７１ｃから光を照射する。当該光の反射度合い（正反射の度合い）は、ワークＷの表面（鋳肌）状態等によって、ワークＷごとに異なる場合がある。したがって、例えば、図１６（ａ）に一例で示すように、光の反射度合いが高いワークＷを第一ボアスコープ７１で撮像すると、撮像結果Ｂ７１においてワークＷ（第一孔部Ｗ１１等）が明るく写ることとなる。一方、光の反射度合いが低いワークＷを撮像すると、ワークＷが暗く写ることとなる。
As will be described later, the
そこで、ＰＣ９０の補正部９１は、事前にワークＷごとにカメラ７１ｄのゲインを補正することで、どのワークＷを撮像したとしても、見え方が一定の画像（一定の明るさの画像）を取得できるようにしている。以下、具体的に説明する。
Therefore, the
ステップＳ１６０において第一ボアスコープ７１は、最初の撮像箇所を撮像する。すなわち、図１５に示すように、多軸ロボット４０は、第一孔部Ｗ１１等が上下方向を向くようにワークＷの姿勢を変更し、第一ボアスコープ７１の下方から上方へとワークＷを移動させる。こうして多軸ロボット４０は、第一ボアスコープ７１の挿入部７１ｂを第一孔部Ｗ１１に挿入し、最初の撮像箇所を第一ボアスコープ７１で撮像可能な位置（撮像位置）へワークＷを移動させる。
In step S160, the
第一ボアスコープ７１は、この状態で光源７１ｃから下方へ向けて光を照射し、カメラ７１ｄで最初の撮像箇所を撮像する。補正部９１には、こうして撮像された撮像結果Ｂ７１（図１６（ａ）に示すゲイン補正前の撮像結果）が入力される。
In this state, the
補正部９１は、入力された撮像結果Ｂ７１を解析し、予め定められた範囲Ｒ１（図１６（ａ）に破線で示す２つの円の間の範囲）の輝度を算出する。そして、補正部９１は、輝度の算出結果と記憶装置に記憶された比較値（基準となる画像の輝度）とを比較し、当該比較結果に基づいて補正係数を算出する。補正部９１は、当該補正係数を用いて（ゲインの値と補正係数との積を求める等して）、上記比較値に近い輝度で第一孔部Ｗ１１等を撮像できるように、カメラ７１ｄのゲインを補正する。
The
図１６（ａ）に示す補正前の撮像結果Ｂ７１は、上記比較値よりも輝度が高い（明るく写った）第一孔部Ｗ１１の撮像結果である。当該図１６（ａ）の撮像結果Ｂ７１を例に挙げると、補正部９１は、当該撮像結果Ｂ７１の範囲Ｒ１の輝度が上記比較値よりも高いと判断し、カメラ７１ｄのゲインを下げる。図１６（ｂ）に示す撮像結果Ｂ７１は、こうしてゲインを下げて第一孔部Ｗ１１を撮像した結果である。図１６（ｂ）に示すように、ゲインを下げることで第一孔部Ｗ１１を暗く写るように撮像可能となる。
The image pickup result B71 before correction shown in FIG. 16A is an image pickup result of the first hole portion W11 whose brightness is higher (brighter than the above comparison value). Taking the image pickup result B71 of FIG. 16A as an example, the
このようにして補正部９１は、最初の撮像箇所の撮像結果からゲインの調整を行う。当該補正後のゲインにより、第一ボアスコープ７１及び第二ボアスコープ７２で全ての検査箇所の撮像が行われ、良否判定で用いられる撮像結果が取得される（ステップＳ１７０・Ｓ１８０）。
In this way, the
このように、補正部９１によれば、ワークＷの表面（鋳肌）状態（光の反射度合い）に応じてワークＷごとにゲインを補正して、第一孔部Ｗ１１等の明るさの均一化を図ることができる。これにより、撮像結果Ｂ７１で第一孔部Ｗ１１等を確認し易くなるため、良否判定を精度よく行うことができる。また、ＤＮＮ１００で学習を行う際に、明るさの異なる撮像結果（学習データ）を大量に準備しなくて済むため、学習作業の負担を低減することができる。
In this way, according to the
次に、図１５及び図１７（ａ）を参照し、ステップＳ１７０（第一ボアスコープ７１での撮像）について説明する。 Next, step S170 (imaging with the first borescope 71) will be described with reference to FIGS. 15 and 17 (a).
上述の如く、ステップＳ１６０において、第一ボアスコープ７１は、多軸ロボット４０によるワークＷの移動により挿入部７１ｂが第一孔部Ｗ１１に挿入され、最初の撮像箇所を撮像可能となっている。このため、ステップＳ１７０においては、まず補正されたゲインにより、第一ボアスコープ７１で最初の撮像箇所を撮像する。
As described above, in step S160, in the
より詳細には、第一ボアスコープ７１は、光源７１ｃから下方へ向けて光を照射し、カメラ７１ｄで第一孔部Ｗ１１の内側（最初の撮像箇所）を撮像する。このとき、カメラ７１ｄは、撮像方向Ｄ７１、すなわち挿入部７１ｂの軸線方向を撮像する。こうして、第一ボアスコープ７１は、第一孔部Ｗ１１を真っ直ぐに見るように（直視するように）第一孔部Ｗ２１を撮像する。第一ボアスコープ７１は、照射する光の明るさを変えながら複数回最初の撮像箇所を撮像する。
More specifically, the
第一ボアスコープ７１は、同一の撮像箇所で光の明るさを変えることで、第一孔部Ｗ１１の手前側が鮮明に写った画像や、奥側が鮮明に写った画像等、写り方の異なる複数の画像を、同一の撮像箇所で取得することができる。これにより、同一の撮像箇所からの撮像で第一孔部Ｗ１１の広い範囲を確認することができる。
By changing the brightness of the light at the same imaging location, the
第一ボアスコープ７１での最初の検査箇所での撮像が終了すると、多軸ロボット４０によりワークＷを上下方向へ移動させ、第一ボアスコープ７１は、次の検査箇所を撮像する。この際、照射する光の明るさを変えながら複数回撮像する。このようなワークＷの移動及び第一ボアスコープ７１の撮像が繰り返し行われ、第一孔部Ｗ１１の全ての撮像箇所が撮像される。
When the imaging at the first inspection point by the
ステップＳ１７０において、第一孔部Ｗ１１の全ての撮像箇所の撮像が終了すると、多軸ロボット４０は、ワークＷを下方へ移動させ、挿入部７１ｂから第一ボアスコープ７１を抜き出す。その後、多軸ロボット４０は、ワークＷを上下反転させ、挿入部７１ｂを第一孔部Ｗ１１の反対側から挿入する。こうして、第一ボアスコープ７１は、第一孔部Ｗ１１への挿入方向を変えて全ての撮像箇所をもう一度撮像する。
In step S170, when the imaging of all the imaging points of the first hole portion W11 is completed, the
ステップＳ１７０において、当該撮像が終了すると、多軸ロボット４０によりワークＷが移動され、挿入部７１ｂを第二孔部Ｗ１２、第三孔部Ｗ１３に順番に挿入する。第一ボアスコープ７１は、第一孔部Ｗ１１と同様に、第二孔部Ｗ１２、第三孔部Ｗ１３の撮像箇所を順番に撮像する。こうして第一ボアスコープ７１で撮像された全ての検査箇所の撮像結果（図１７（ａ）に一例で示す撮像結果Ｂ７１参照）は、ＰＣ９０へ送信される。
In step S170, when the imaging is completed, the work W is moved by the
次に、図１５及び図１７（ｂ）を参照し、ステップＳ１８０（第二ボアスコープ７２での撮像）について説明する。 Next, step S180 (imaging with the second borescope 72) will be described with reference to FIGS. 15 and 17 (b).
ステップＳ１８０において、多軸ロボット４０は、ステップＳ１７０と同様にワークＷを上方へと移動させ、第二ボアスコープ７２の挿入部７２ｂに第一孔部Ｗ１１を挿入する。
In step S180, the
第二ボアスコープ７２は、この状態で光源７１ｃから斜め向きに光を照射し、カメラ７２ｄで第一孔部Ｗ１１の内側（撮像箇所）を撮像する。こうして、第二ボアスコープ７２は、撮像方向Ｄ７２、すなわち斜めから見るように第一孔部Ｗ１１を撮像する。第二ボアスコープ７２は、同じ撮像箇所において、このような撮像を照射する光の明るさを変えながら複数回撮像する。その後多軸ロボット４０は、挿入部７２ｂの軸線Ｌ７２を中心にワークＷを所定角度回動させ（図１５（ｂ）に示す回動方向Ｒ７２参照）、第二ボアスコープ７２に対して第一孔部Ｗ１１を周方向に移動させる。こうして軸線Ｌ７２を中心にワークＷを回動させことで、多軸ロボット４０は、挿入部７２ｂを第一孔部Ｗ１１等に挿入したままでワークＷを回動させることができ、第二ボアスコープ７２による撮像を速やかに行うことができる。第二ボアスコープ７２は、こうして回動された第一孔部Ｗ１１を光の明るさを変えながら複数回撮像する。
In this state, the
ステップＳ１８０において、第二ボアスコープ７２は、このような回動及び撮像により第一孔部Ｗ１１の撮像箇所の全周を撮像する。その後、多軸ロボット４０によりワークＷを上下方向へ移動させ、第二ボアスコープ７２は、次の検査箇所の全周を撮像するという動作を繰り返す。
In step S180, the
ステップＳ１８０において、第二ボアスコープ７２は、第一孔部Ｗ１１の全ての撮像箇所の撮像が終了すると、ステップＳ１７０と同様に、第一孔部Ｗ１１への挿入方向を変えて第一孔部Ｗ１１の全ての撮像箇所をもう一度撮像する。
In step S180, when the imaging of all the imaging points of the first hole portion W11 is completed, the
第二ボアスコープ７２は、当該撮像が終了すると、第一孔部Ｗ１１と同様に、第二孔部Ｗ１２及び第三孔部Ｗ１３を撮像する。こうして第二ボアスコープ７２で撮像された全ての検査箇所の撮像結果（図１７（ｂ）に一例で示す撮像結果Ｂ７２参照）は、ＰＣ９０へ送信される。
When the imaging is completed, the
次に、図１及び図２を参照し、ステップＳ１９０（ワークＷを戻す動作）について説明する。 Next, step S190 (operation of returning the work W) will be described with reference to FIGS. 1 and 2.
ステップＳ１９０において多軸ロボット４０は、第二ボアスコープ７２での撮像を終えたワークＷを第二受け渡し位置Ｐ３へ移動させ、把持部４５による把持を解除してワークＷを昇降スライダ３０へ受け渡す。昇降スライダ３０は、ワークＷを第一受け渡し位置Ｐ２へ下降させて搬送スライダ２０へ受け渡す。搬送スライダ２０は、第一受け渡し位置Ｐ２から投入位置Ｐ１へとワークＷを搬送する。こうして、ワークＷが投入口１１へ戻される。
In step S190, the
次に、図９、図１７及び図１８を参照し、ステップＳ２００（ワークＷの良否判定）について説明する。ステップＳ２００において良否判定部９２は、ステップＳ１７０・Ｓ１８０で撮像された撮像結果Ｂ７１・Ｂ７２をＤＮＮ１００の入力層１０１に入力する。ＤＮＮ１００は、入力された撮像結果Ｂ７１・Ｂ７２からワークＷの特徴を抽出し、ワークＷが良品であるか不良品であるかを判定する。
Next, step S200 (good / bad determination of the work W) will be described with reference to FIGS. 9, 17 and 18. In step S200, the pass /
例えば、ステップＳ１９０において、図１７に示すように、撮像結果Ｂ７１・Ｂ７２に不良が写っていない場合、ＤＮＮ１００は、ワークＷが良品である可能性が高いことを示すスコアと、良否判定の結果がＯＫであることを出力する。 For example, in step S190, as shown in FIG. 17, when the imaging results B71 and B72 do not show any defects, the DNN100 has a score indicating that the work W is likely to be a good product and a result of good / bad judgment. Output that it is OK.
一方、ステップＳ１９０において、図１８（ａ）に示すように、例えば撮像結果Ｂ７１にバリＢ７１ａ（不良）が写っている場合、ＤＮＮ１００は、当該バリＢ７１ａをワークＷの特徴として抽出する。そして、ＤＮＮ１００は、当該抽出結果に基づいてワークＷが不良品である確率が高いことを示すスコアと、良否判定の結果がＮＧであることを出力する。
On the other hand, in step S190, as shown in FIG. 18A, for example, when the burr B71a (defective) is shown in the imaging result B71, the
また、ステップＳ１９０において、ＰＣ９０の作成部９３は、ＤＮＮ１００の反応度合いを示すヒートマップＨ（図１８（ｂ）参照）を作成する。当該ヒートマップＨは、ＤＮＮ１００が撮像結果Ｂ７１・Ｂ７２の中のどの部分に着目し（どの部分をワークＷの特徴として抽出し）、当該着目部分が判定結果にどの程度影響を与えたのかを可視化するものである。ヒートマップＨでは、撮像結果Ｂ７１・Ｂ７２に対し着目部分が色付けされる。また、ヒートマップＨでは、判定結果に与えた影響の度合いに応じて異なる色が付けられる。当該ヒートマップＨの作成後、ワークＷの良否判定が完了する。
Further, in step S190, the creating
以上のように、検査装置１においては、多軸ロボット４０へのワークＷの受け渡し（ステップＳ１３０）において、第一ピン３３で位置決めされたワークＷを把持部４５で把持している（図１２及び図１３参照）。これにより、把持部４５でワークＷを把持する位置がずれるのを抑制できる。当該ワークＷを撮像部７０へ移動させることで、撮像部７０（第一ボアスコープ７１等）と第一孔部Ｗ１１等との位置ずれを抑制できる。これにより、良否判定部９２で精度よく良否判定を行うことができる。
As described above, in the
また、第一実施形態においては、撮像部７０ではなく、ワークＷを移動させて第一孔部Ｗ１１等を撮像している（ステップＳ１７０・Ｓ１８０）。これによれば、撮像部７０の移動に伴う不具合（例えば、カメラ７１ｄの故障等）の発生を防止することができる。
Further, in the first embodiment, the work W is moved instead of the
また、ステップＳ１７０・Ｓ１８０において、第一孔部Ｗ１１等を上下方向に向けた状態で、第一ボアスコープ７１及び第二ボアスコープ７２による撮像を行っている（図１５参照）。これにより、第一孔部Ｗ１１等の内側に付着した異物を外側へと落下させることができる。
Further, in steps S170 and S180, imaging is performed by the
また、ステップＳ１７０・Ｓ１８０において撮像方向Ｄ７１・Ｄ７２が異なる第一ボアスコープ７１及び第二ボアスコープ７２で第一孔部Ｗ１１等を撮像している。図１７は、当該第一ボアスコープ７１等で撮像された第一孔部Ｗ１１を示すもの（撮像結果）である。より詳細には、図１７（ａ）に示す撮像結果Ｂ７１は、第一ボアスコープ７１の撮像結果である。また、図１７（ｂ）に示す撮像結果Ｂ７２は、図１７（ａ）に示す第一孔部Ｗ１１を第二ボアスコープ７２で撮像した結果である。
Further, in steps S170 and S180, the first hole portion W11 and the like are imaged by the
図１７（ａ）示すように、第一ボアスコープ７１によって、第一孔部Ｗ１１を真っ直ぐに見るようにして、第一孔部Ｗ１１の全周を確認できる。また、図１７（ｂ）に示すように、第二ボアスコープ７２によって、第一孔部Ｗ１１の内周面の一部を斜めから確認できる。このように、異なる撮像方向Ｄ７１・Ｄ７２での撮像により、第一孔部Ｗ１１を異なる視点から検査して、良否判定を精度よく行うことが可能となる。
As shown in FIG. 17A, the
また、ランド部Ｗ１１ｂは、表面（鋳肌）の状態により光に対する反射度合いがばらついて、撮像結果Ｂ７１・Ｂ７２においてランド部Ｗ１１ｂの見え方が変わる場合がある。このため、例えば、ランド部Ｗ１１ｂを撮像する方向によっては、ランド部Ｗ１１ｂが明るく写りすぎる等して、当該ランド部Ｗ１１ｂの形状を把握し難くなる可能性がある。このような場合においても、複数の撮像方向Ｄ７１・Ｄ７２での撮像により、見え方（明るさ）が異なる複数の画像（ランド部Ｗ１１ｂの撮像結果Ｂ７１・Ｂ７２）を得ることができる。これにより、反射度合いの影響を少なくし、良否判定を精度よく行うことができる。 Further, the degree of reflection of the land portion W11b with respect to light varies depending on the state of the surface (casting surface), and the appearance of the land portion W11b may change in the imaging results B71 and B72. Therefore, for example, depending on the direction in which the land portion W11b is imaged, the land portion W11b may appear too bright and it may be difficult to grasp the shape of the land portion W11b. Even in such a case, by imaging in a plurality of imaging directions D71 and D72, it is possible to obtain a plurality of images (imaging results B71 and B72 of the land portion W11b) having different appearances (brightness). As a result, the influence of the degree of reflection can be reduced and the quality determination can be performed accurately.
また例えば、固定されたワークＷに対して撮像部７０（第一ボアスコープ７１等）を移動させて、第一孔部Ｗ１１等に撮像部７０を挿入して撮像を行う場合、撮像部７０の移動の自由度が制限されるため、ワークＷの表面構造によっては死角が発生し、撮像が困難となるおそれがある。これに対して本実施形態では、視野の異なるボアスコープ（第一ボアスコープ７１等）とワークＷを回動させる多軸ロボット４０を組み合わせることで、ワークＷの加工面（第一孔部Ｗ１１等の内側面）を死角なく撮像することができる。
Further, for example, when the image pickup unit 70 (
また、第一ボアスコープ７１及び第二ボアスコープ７２は、第一孔部Ｗ１１等への挿入方向を変えて第一孔部Ｗ１１等を撮像している。こうして挿入方向を変えることで、一方の挿入方向からの撮像では見え難い部分や不良を、もう一方の挿入方向からの撮像で確認し易くすることができる。これにより、第一孔部Ｗ１１等に不良が発生しているか否かを詳細に検査することができ、良否判定を精度よく行うことが可能となる。
Further, the
また、良否判定部９２は、ステップＳ１９０において、学習済みのＤＮＮ１００を用いてワークＷの良否判定を行っている。このような構成により、学習結果に基づいて撮像結果Ｂ７１・Ｂ７２からワークＷの特徴を抽出し、良否判定を精度よく行うことができる。特に、ＤＮＮ１００を用いることで、中間層１０２の数、すなわちユニット１０１ａ・１０２ａ・１０３ａ間での情報の受け渡し回数を増やし（図９参照）、ワークＷの特徴を細かく学習（抽出）することができる。このため、良否判定をより精度よく行うことができる。
Further, the pass /
なお、ステップＳ１７０・Ｓ１８０では、第一ボアスコープ７１及び第二ボアスコープ７２でワークＷを撮像したが、当該撮像に加えて第三ボアスコープ７３でワークＷを撮像してもよい。当該第三ボアスコープ７３での撮像結果を良否判定に用いることで、第一孔部Ｗ１１等を横向きに（撮像方向Ｄ７３から）撮像した結果を用いてワークＷを確認可能となる。これによって、第一孔部Ｗ１１等の形状をより詳細に把握することができるため、良否判定の精度を向上させることができる。
In steps S170 and S180, the work W is imaged by the
また、ステップＳ１９０において作成されるヒートマップＨを用いることで、良否判定の内容を検証し、利便性を向上させることができる。以下、図１８を例に挙げて説明する。 Further, by using the heat map H created in step S190, the content of the pass / fail judgment can be verified and the convenience can be improved. Hereinafter, FIG. 18 will be described as an example.
図１８（ａ）に示す撮像結果Ｂ７１には、バリＢ７１ａが写っている。この場合、上述の如く、ＤＮＮ１００が当該バリＢ７１ａを抽出し、良否判定の結果がＮＧとなる。
The burr B71a is shown in the image pickup result B71 shown in FIG. 18 (a). In this case, as described above, the
図１８（ｂ）は、当該ＮＧとなった判定において作成されたヒートマップＨを示すものである。ヒートマップＨでは、良否判定においてＤＮＮ１００がバリＢ７１ａを抽出した（バリＢ７１ａに反応した）ことから、バリＢ７１ａの一部と重複する範囲Ｈ１で比較的反応が高いことが示されている。また、範囲Ｈ１内の範囲Ｈ２が良否判定に特に大きな影響を与えたことから、ヒートマップＨでは、範囲Ｈ１内の範囲Ｈ２での反応が特に高いことが示されている。 FIG. 18B shows the heat map H created in the determination that the result is NG. In the heat map H, since DNN100 extracted the burr B71a (reacted with the burr B71a) in the pass / fail judgment, it is shown that the reaction is relatively high in the range H1 overlapping a part of the burr B71a. Further, since the range H2 in the range H1 had a particularly large influence on the quality determination, the heat map H shows that the reaction in the range H2 within the range H1 is particularly high.
良否判定の結果がＮＧであった場合等に作業者等がヒートマップＨの範囲Ｈ１・Ｈ２を確認すれば、第一孔部Ｗ１１等にバリＢ７１ａが発生していることを速やかに確認することができる。また、検査装置１の動作確認を行う場合等にヒートマップＨを確認すれば、ＤＮＮ１００がバリＢ７１ａを抽出していると推測でき、良否判定を良好に行っていることを確認することもできる。これによって、ＤＮＮ１００による良否判定の内容を検証可能となり、利便性を向上させることができる。
If the operator or the like confirms the heat map H ranges H1 and H2 when the result of the pass / fail judgment is NG, etc., it is necessary to promptly confirm that the burr B71a is generated in the first hole portion W11 or the like. Can be done. Further, if the heat map H is checked when checking the operation of the
以上の如く、第一実施形態に係る検査装置１は、位置決めされたワークＷを把持し、複数の回動軸回りの回動動作によって前記ワークＷを第一の位置（図１５（ｂ）に示す撮像位置）へ移動させる多軸ロボット４０（移動部）と、前記第一の位置において、前記ワークＷに形成された第一孔部Ｗ１１等（検査孔）の情報を取得する撮像部７０（取得部）と、を具備するものである。
As described above, the
このように構成することにより、ワークＷを第一の位置へ精度よく移動させ、撮像部７０とワークＷとの位置が合った状態でワークＷを撮像し易くなる。これにより、精度よく良否判定を行うことができる。
With such a configuration, the work W is moved to the first position with high accuracy, and it becomes easy to take an image of the work W in a state where the
また、前記検査装置１は、前記第一孔部Ｗ１１に挿入可能な第一ピン３３（挿入部）を有し、当該第一ピン３３を前記第一孔部Ｗ１１に挿入することで、前記ワークＷを位置決めして前記多軸ロボット４０へ受け渡す昇降スライダ３０（位置決め部）をさらに具備するものである。
Further, the
このように構成することにより、ワークＷを精度よく位置決めし、より精度よく良否判定を行う。 With this configuration, the work W is positioned with high accuracy, and the quality of the work W is determined more accurately.
また、前記検査装置１は、前記第一孔部Ｗ１１に前記第一ピン３３を挿入する第二の位置（第一受け渡し位置Ｐ２）まで、前記ワークＷを搬送する搬送スライダ２０（搬送部）をさらに具備するものである。
Further, the
このように構成することにより、作業者の負担を低減できる。特に、第一実施形態に係る搬送スライダ２０は、投入口１１近傍（投入位置Ｐ１）から第二の位置へ搬送することができる。これにより、作業者の負担を効果的に低減できる。
With such a configuration, the burden on the operator can be reduced. In particular, the
また、前記昇降スライダ３０は、前記ワークＷを前記多軸ロボット４０へ受け渡す際に、前記第二の位置から前記ワークＷの高さよりも高い第三の位置（第二受け渡し位置Ｐ３）まで前記ワークＷを持ち上げるものである。
Further, when the work W is delivered to the
このように構成することにより、ワークＷを比較的高い第三の位置まで持ち上げて、多軸ロボット４０でワークＷを把持し易くすることができる。また、第一ピン３３等の締め具合の微調整を行い易くすることができる。また、ワークＷの持ち上げ時にエアをワークＷに吹き付けることで、当該ワークＷに付着した異物を取り除き易くなる。
With this configuration, the work W can be lifted to a relatively high third position, and the work W can be easily gripped by the
また、前記撮像部７０は、前記第一孔部Ｗ１１等に挿入可能に形成され、前記多軸ロボット４０は、前記ワークＷを移動させることで、前記第一孔部Ｗ１１等に前記撮像部７０を挿入するものである。
Further, the
このように構成することにより、撮像部７０の移動に伴う不具合（故障等）の発生を防止することができる。
With such a configuration, it is possible to prevent the occurrence of defects (failures, etc.) due to the movement of the
また、前記多軸ロボット４０は、前記ワークＷを下方から上方へと移動させることで、前記第一孔部Ｗ１１等に前記撮像部７０を挿入するものである。
Further, the
このように構成することにより、撮像部７０（挿入部７１ｂ・７２ｂ）の軸線方向が上下方向を向くこととなるため（図８参照）、撮像部７０の変形（自重によるたわみ等）を抑制することができる。
With this configuration, the axial direction of the image pickup unit 70 (
また、前記多軸ロボット４０は、前記ワークＷの外形に沿って変形させた変形部４５ｃにより前記ワークＷを把持するものである。
Further, the
このように構成することにより、変形部４５ｃによりワークＷを把持し易くすることができる。
With this configuration, the work W can be easily gripped by the
また、前記検査装置１は、学習済みのＤＮＮ１００（学習モデル）に撮像結果Ｂ７１・Ｂ７２（前記取得部の取得結果）を入力することで、前記ワークＷの良否判定を行う良否判定部９２（判定部）をさらに具備するものである。
Further, the
このように構成することにより、ＤＮＮ１００で精度よく良否判定を行うことができる。
With this configuration, the
また、以上の如く、第一実施形態に係る検査方法は、位置決めされたワークＷを多軸ロボット４０（移動部）によって把持して所定位置へ移動させる移動工程（ステップＳ１３０・Ｓ１７０・Ｓ１８０）と、前記所定位置において、前記ワークＷに形成された第一孔部Ｗ１１等（検査孔）の情報を撮像部７０（取得部）によって取得する取得工程（ステップＳ１７０・Ｓ１８０）と、を含むものである。 Further, as described above, the inspection method according to the first embodiment includes a moving step (steps S130, S170, S180) in which the positioned work W is grasped by the multi-axis robot 40 (moving portion) and moved to a predetermined position. The acquisition step (steps S170 / S180) of acquiring information on the first hole portion W11 or the like (inspection hole) formed in the work W at the predetermined position by the imaging unit 70 (acquisition unit) is included.
このように構成することにより、撮像部７０で第一孔部Ｗ１１等の情報を取得し易くなる。
With such a configuration, it becomes easy for the
また、以上の如く、第一実施形態に係る検査装置１は、ワークＷを移動させる多軸ロボット４０（移動部）と、移動不能に設けられ、前記多軸ロボット４０により移動された前記ワークＷを撮像可能な撮像部７０（第一撮像部）と、を具備するものである。
Further, as described above, the
このように構成することにより、撮像部７０ではなくワークＷを移動させ、撮像部７０の移動に伴う不具合（故障等）の発生を防止することができる。
With such a configuration, it is possible to move the work W instead of the
また、前記撮像部７０は、前記ワークＷに形成された第一孔部Ｗ１１等（孔部）に挿入部７１ｂ・７２ｂが挿入された状態で当該第一孔部Ｗ１１等を撮像可能であると共に、撮像方向Ｄ７１・Ｄ７２が互いに異なる少なくとも２つのボアスコープ（第一ボアスコープ７１及び第二ボアスコープ７２）を具備するものである。
Further, the
このように構成することにより、複数の視点から（撮像方向Ｄ７１・Ｄ７２を向けて）第一孔部Ｗ１１等を撮像した結果Ｂ７１・Ｂ７２（図１７参照）を用いて良否を判定可能となり、ワークＷの良否判定の精度を向上させることができる。また、少なくとも２つのボアスコープを用いることで、あるボアスコープ（例えば、第一ボアスコープ７１）が故障したとしても、他のボアスコープ（例えば、第二ボアスコープ７２）で第一孔部Ｗ１１等を継続して撮像できる。これにより、故障したボアスコープを交換するまでの間も検査装置１で検査したり、検査装置１を検査以外の用途（例えば、ＮＧと判定されたワークＷを確認する等の用途）に用いることができ、利便性を向上させることができる。
With this configuration, it is possible to determine the quality of the work using B71 / B72 (see FIG. 17) as a result of imaging the first hole portion W11 or the like from a plurality of viewpoints (pointing the imaging directions D71 / D72). It is possible to improve the accuracy of the quality determination of W. Further, by using at least two borescopes, even if one borescope (for example, the first borescope 71) fails, another borescope (for example, the second borescope 72) has a first hole portion W11 or the like. Can be continuously imaged. As a result, the
また、前記ボアスコープは、上方から下方へ垂れ下がるように設けられるものである。 Further, the bore scope is provided so as to hang down from above to below.
このように構成することにより、ボアスコープ（挿入部７１ｂ・７２ｂ）の軸線方向が上下方向を向くこととなるため、ボアスコープの変形（自重によるたわみ等）を抑制することができる。また、ボアスコープに異物が付着するのを抑制することができる。
With this configuration, the axial direction of the borescope (
また、前記ボアスコープは、同じ場所で前記第一孔部Ｗ１１及び第二孔部Ｗ１２を照らす照明（光）の明るさを異ならせて、複数回前記第一孔部Ｗ１１及び第二孔部Ｗ１２を撮像するものである。 Further, the borescope has different brightness of the illumination (light) that illuminates the first hole portion W11 and the second hole portion W12 at the same place, and the first hole portion W11 and the second hole portion W12 are used a plurality of times. Is to be imaged.
このように構成することにより、第一孔部Ｗ１１等の形状を広範囲に確認できるため、ワークＷの良否判定の精度を向上させることができる。 With such a configuration, the shape of the first hole portion W11 or the like can be confirmed in a wide range, so that the accuracy of the quality determination of the work W can be improved.
また、前記ボアスコープには、前記挿入部７１ｂの軸線方向（撮像方向Ｄ７１）を向いて前記第一孔部Ｗ１１等を撮像する第一ボアスコープ７１と、前記軸線方向及び前記軸線方向に対して直交する方向に対して傾斜する方向（撮像方向Ｄ７２）を向いて前記第一孔部Ｗ１１等を撮像する第二ボアスコープ７２と、が含まれるものである。
Further, the borescope has a
このように構成することにより、複数の視点から（撮像方向Ｄ７１・Ｄ７２を向けて）第一孔部Ｗ１１等を撮像した結果Ｂ７１・Ｂ７２（図１７参照）を用いて良否を判定可能となり、ワークＷの良否判定の精度を向上させることができる。 With this configuration, it is possible to determine the quality of the work using B71 / B72 (see FIG. 17) as a result of imaging the first hole portion W11 or the like from a plurality of viewpoints (pointing the imaging directions D71 / D72). It is possible to improve the accuracy of the quality determination of W.
また、前記ボアスコープには、前記軸線方向に対して直交する方向（撮像方向Ｄ７３）を向いて前記第一孔部Ｗ１１等を撮像可能な第三ボアスコープ７３がさらに含まれるものである。
Further, the borescope further includes a
このように構成することにより、第一孔部Ｗ１１等の内側面の形状を詳細に把握することができるため、ワークＷの良否判定の精度を向上させることができる。 With such a configuration, the shape of the inner surface of the first hole portion W11 or the like can be grasped in detail, so that the accuracy of the quality determination of the work W can be improved.
また、前記検査装置１は、前記ボアスコープを模した軸部材６２（試験体）をさらに具備し、前記多軸ロボット４０は、前記ワークＷを移動させることで、前記軸部材６２を前記第一孔部Ｗ１１等に挿入するものである。
Further, the
このように構成することにより、ボアスコープが第一孔部Ｗ１１等に接触しないことを事前に確認することができる（ステップＳ１４０）。これにより、ボアスコープと第一孔部Ｗ１１等との接触を防止することができる。 With this configuration, it can be confirmed in advance that the borescope does not come into contact with the first hole portion W11 or the like (step S140). This makes it possible to prevent the bore scope from coming into contact with the first hole portion W11 or the like.
また、前記多軸ロボット４０は、前記挿入部７２ｂの軸線Ｌ７２を中心に、前記ワークＷを回動させるものである。
Further, the
このように構成することにより、第一孔部Ｗ１１等の撮像（周方向の位置を変えながらの撮像）を速やかに行うことができる。 With such a configuration, it is possible to quickly perform imaging (imaging while changing the position in the circumferential direction) of the first hole portion W11 or the like.
また、検査装置１は、前記ワークＷに形成された第一孔部Ｗ１１等を撮像するカメラ５１（第二撮像部）と、前記カメラ５１の撮像結果Ｂ５１に基づいて、前記多軸ロボット４０による前記ワークＷの移動を補正する処理部５４（補正部）と、をさらに具備するものである。
Further, the
このように構成することにより、撮像部７０に対する第一孔部Ｗ１１等の位置ずれを抑制することができる。
With such a configuration, it is possible to suppress the positional deviation of the first hole portion W11 or the like with respect to the
また、検査装置１は、学習済みのＤＮＮ１００（学習モデル）に前記撮像部７０の撮像結果Ｂ７１・Ｂ７２を入力することで、前記ワークＷの良否判定を行う良否判定部９２（判定部）をさらに具備するものである。
Further, the
このように構成することにより、ＤＮＮ１００で精度よく良否判定を行うことができる。
With this configuration, the
また、以上の如く、第一実施形態に係る検査方法は、移動部（多軸ロボット４０）によってワークＷを移動させる移動工程と、前記多軸ロボット４０により移動された前記ワークＷを、移動不能に設けられた撮像部７０で撮像する撮像工程と、を含むものである（ステップＳ１７０・Ｓ１８０）。
Further, as described above, in the inspection method according to the first embodiment, the moving step of moving the work W by the moving unit (multi-axis robot 40) and the work W moved by the
このように構成することにより、撮像部７０の移動に伴う不具合（故障等）の発生を防止することができる。
With such a configuration, it is possible to prevent the occurrence of defects (failures, etc.) due to the movement of the
また、以上の如く、第一実施形態に係る検査装置１は、ワークＷに形成された第一孔部Ｗ１１等（孔部）を撮像可能な撮像部７０と、学習済みのＤＮＮ１００（学習モデル）に前記撮像部７０の撮像結果Ｂ７１・Ｂ７２を入力することで、前記ワークＷの良否判定を行う良否判定部９２（判定部）と、を具備するものである。
Further, as described above, the
このように構成することにより、ＤＮＮ１００で精度よく良否判定を行うことができる。
With this configuration, the
また、前記ＤＮＮ１００は、良品と判定されるべき前記ワークＷの前記第一孔部Ｗ１１等を前記撮像部７０で撮像した結果と、不良品と判定されるべき前記ワークＷの前記第一孔部Ｗ１１等を前記撮像部７０で撮像した結果と、をディープラーニングにより学習しているものである。
Further, the
このように構成することにより、ＤＮＮ１００でワークＷの特徴を細かく抽出し、良否判定をより精度よく行うことができる。
With such a configuration, the characteristics of the work W can be finely extracted by the
また、検査装置１は、前記撮像部７０の撮像結果Ｂ７１・Ｂ７２に対して、前記ＤＮＮ１００が反応した度合いを示すヒートマップＨを作成する作成部９３をさらに具備するものである。
Further, the
このように構成することにより、良否判定の内容を検証可能となり、利便性を向上させることができる。 With such a configuration, the content of the pass / fail judgment can be verified, and the convenience can be improved.
また、前記撮像部７０には、前記第一孔部Ｗ１１等に挿入された状態で、自身の軸線方向（撮像方向Ｄ７１）を向いて前記第一孔部Ｗ１１等を撮像する第一ボアスコープ７１（第一撮像部）と、前記第一孔部Ｗ１１等に挿入された状態で、自身の軸線方向及び前記軸線方向に対して直交する方向に対して傾斜する方向（撮像方向Ｄ７２）を向いて前記第一孔部Ｗ１１等を撮像する第二ボアスコープ７２（第二撮像部）と、が含まれるものである。
Further, in the
このように構成することにより、複数の視点から（撮像方向Ｄ７１・Ｄ７２を向けて）第一孔部Ｗ１１等を撮像した結果Ｂ７１・Ｂ７２（図１７参照）を用いて良否を判定可能となり、良否判定をより精度よく行うことができる。 With this configuration, good or bad can be determined using B71 and B72 (see FIG. 17) as a result of imaging the first hole portion W11 and the like from a plurality of viewpoints (pointing the imaging directions D71 and D72). The determination can be made more accurately.
また、前記撮像部７０には、前記ワークＷの前記第一孔部Ｗ１１等に挿入された状態で、自身の軸線方向に対して直交する方向（撮像方向Ｄ７３）を向いて前記第一孔部Ｗ１１等を撮像可能な第三ボアスコープ７３（第三撮像部）がさらに含まれるものである。
Further, in the
このように構成することにより、第一孔部Ｗ１１等の内側面の形状を詳細に把握することができるため、良否判定をより精度よく行うことができる。 With such a configuration, the shape of the inner surface of the first hole portion W11 or the like can be grasped in detail, so that the quality determination can be performed more accurately.
また、前記検査装置１は、前記撮像部７０の撮像結果Ｂ７１に基づいて、前記撮像部７０のゲインを前記ワークＷごとに補正する補正部９１をさらに具備するものである。
Further, the
このように構成することにより、第一ボアスコープ７１及び第二ボアスコープ７２の撮像結果Ｂ７１・Ｂ７２（画像データ）で第一孔部Ｗ１１等を確認し易くなるため、良否判定をより精度よく行うことが可能となる。
With this configuration, it becomes easier to confirm the first hole portion W11 and the like in the image pickup results B71 and B72 (image data) of the
また、以上の如く、第一実施形態に係る検査方法は、ワークＷに形成された第一孔部Ｗ１１等を撮像部７０により撮像する撮像工程（ステップＳ１７０・Ｓ１８０）と、学習済みのＤＮＮ１００（学習モデル）に前記撮像部７０の撮像結果Ｂ７１を入力することで、前記ワークＷの良否判定を行う判定工程（ステップＳ１９０）と、を含むものである。
Further, as described above, the inspection method according to the first embodiment includes an imaging step (steps S170 / S180) in which the first hole portion W11 or the like formed in the work W is imaged by the
このように構成することにより、ＤＮＮ１００で精度よく良否判定を行うことができる。
With this configuration, the
なお、第一実施形態に係る多軸ロボット４０は、移動部の実施の一形態である。
また、第一実施形態に係る第一孔部Ｗ１１等は、検査孔及び孔部の実施の一形態である。
また、第一実施形態に係る撮像部７０は、取得部及び第一撮像部の実施の一形態である。
また、第一実施形態に係る第一ピン３３は、挿入部の実施の一形態である。
また、第一実施形態に係る昇降スライダ３０は、位置決め部の実施の一形態である。
また、第一実施形態に係る搬送スライダ２０は、搬送部の実施の一形態である。
また、第一実施形態に係るＤＮＮ１００は、学習モデルの実施の一形態である。
また、第一実施形態に係る良否判定部９２は、判定部の実施の一形態である。
また、第一実施形態に係る軸部材６２は、試験体の実施の一形態である。
また、第一実施形態に係るカメラ５１は、ワークの移動の補正のため、孔部を撮像する第二撮像部の実施の一形態である。
また、第一実施形態に係る処理部５４は、ワークの移動を補正する補正部の実施の一形態である。
また、第一実施形態に係る第一ボアスコープ７１は、軸線方向を向いて孔部を撮像する第一撮像部の実施の一形態である。
また、第一実施形態に係る第二ボアスコープ７２は、軸線方向及び軸線方向に対して直交する方向に対して傾斜する方向を向いて孔部を撮像する第二撮像部の実施の一形態である。
また、第一実施形態に係る第三ボアスコープ７３は、軸線方向に対して直交する方向を向いて孔部を撮像可能な第三撮像部の実施の一形態である。
The
Further, the first hole portion W11 or the like according to the first embodiment is an embodiment of the inspection hole and the hole portion.
Further, the
Further, the
Further, the elevating
Further, the
Further, the
Further, the
Further, the
Further, the
Further, the
Further, the
Further, the
Further, the
以上、本発明の第一実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。 Although the first embodiment of the present invention has been described above, the present invention is not limited to the above configuration, and various modifications can be made within the scope of the invention described in the claims.
例えば、検査装置１は、バルブ装置のハウジングに用いられるワークＷを検査したが、検査装置１の検査対象物の種類は、特に限定されるものではない。また、検査対象物は、必ずしも鋳造により製造された物である必要はなく、他の手法により製造された物でもよい。
For example, the
また、第一実施形態においてＰＣ９０（補正部９１）は、ゲインを調整したが、これに限定されるものではなく、画像処理を行ってもよい。具体的には、ＰＣ９０は、第一孔部Ｗ１１を最初に撮像した結果Ｂ７１（図１６（ａ）参照）を解析し、輝度を補正するための補正値を算出する。そしてＰＣ９０は、当該補正値を用いて撮像結果Ｂ７１に対して画像処理（明るさを変更する処理やコントラストを調整する処理）を施す。また、ＰＣ９０は、２回目以降に撮像された結果についても補正値を用いて画像処理を行う。これにより、ＰＣ９０は、画像処理によって表面状態の違いに対応することができる。
Further, although the gain is adjusted by the PC 90 (correction unit 91) in the first embodiment, the gain is not limited to this, and image processing may be performed. Specifically, the
以上の如く、検査装置１は、前記撮像部７０の撮像結果Ｂ７１・Ｂ７２に対して画像処理を行うＰＣ９０（処理部）をさらに具備するものである。
As described above, the
このように構成することにより、撮像結果Ｂ７１・Ｂ７２で第一孔部Ｗ１１等を確認し易くなるため、良否判定をより精度よく行うことが可能となる。 With such a configuration, it becomes easy to confirm the first hole portion W11 and the like in the imaging results B71 and B72, so that the quality determination can be performed more accurately.
なお、上述した画像処理を行うＰＣ９０は、処理部の実施の一形態である。
The
なお、ＰＣ９０は、ワークＷの良否判定を実施可能であれば、その他の構成は特に限定されるものではない。したがって、ＰＣ９０は、必ずしもゲインの調整や画像処理を行う必要はない。また、ＰＣ９０は、ヒートマップＨを作成しなくてもよい。
The
また、検査装置１は、検査においてワークＷを移動させるものとしたが、これに限定されるものではない。例えば、撮像部７０を別途移動させてワークＷを撮像してもよい。
Further, the
また、多軸ロボット４０は、変形部４５ｃでワークＷを把持するものとしたが、これに限定されるものではなく、変形不能な部材をワークＷに押し当ててワークＷを把持してもよい。
Further, the
また、多軸ロボット４０は、第二ボアスコープ７２による撮像時に、挿入部７２ｂを第一孔部Ｗ１１等に挿入したままでワークＷを回動させたが、これに限定されるものではない。例えば、多軸ロボット４０は、挿入部７２ｂを第一孔部Ｗ１１等から抜き出してワークＷを回動させてもよい。この場合、挿入部７２ｂの軸線とは異なる方向を中心にワークＷを回動させても、第一孔部Ｗ１１等と挿入部７２ｂとの接触を防止することができる。
Further, the
また、昇降スライダ３０は、第一孔部Ｗ１１に第一ピン３３を挿入することでワークＷを位置決めしたが（図１２参照）、ワークＷを位置決めする手法は、これに限定されるものではない。例えば、昇降スライダ３０は、第二孔部Ｗ１２や第三孔部Ｗ１３に第一ピン３３を挿入することでワークＷを位置決めしてもよい。また、昇降スライダ３０は、必ずしもピンを孔部に挿入して位置決めを行う必要はなく、例えば、ワークＷの側面に所定の部材を押し当てることでワークＷを位置決めしてもよい。
Further, the elevating
また、昇降スライダ３０は、第一受け渡し位置Ｐ２からワークＷの高さよりも高い第二受け渡し位置Ｐ３までワークＷを持ち上げたが（図２参照）、ワークＷを持ち上げる高さは特に限定されるものではなく、任意の高さに持ち上げてよい。
Further, the elevating
また、軸部材６２の外径は、撮像部７０（挿入部７１ｂ等）の外径よりも大きく形成されたが（図８参照）、軸部材６２の形状は、撮像部７０とワークＷとの接触を確認可能となる程度に、形状や姿勢が撮像部７０と近いものであればよい。したがって、軸部材６２は、例えば、挿入部７１ｂ等と同一の外径を有していてもよい。
Further, the outer diameter of the
また、第一ボアスコープ７１から第三ボアスコープ７３の挿入部７１ｂ・７２ｂ・７３ｂは、上方から下方へ垂れ下がるように設けられたが（図８参照）、挿入部７１ｂ等の姿勢はこれに限定されるものではなく、任意の姿勢とすることができる。例えば、挿入部７１ｂ等は、軸線方向を水平方向に向けた姿勢であってもよい。この場合、多軸ロボット４０は、水平方向に沿ってワークＷを移動させ、第一孔部Ｗ１１に挿入部７１ｂ等を挿入する。
Further, the
また、撮像部７０は、検査において２つのボアスコープ（第一ボアスコープ７１及び第二ボアスコープ７２）で第一孔部Ｗ１１等を撮像したが（ステップＳ１７０・Ｓ１８０）、撮像に用いるボアスコープの数は、特に限定されるものではない。例えば、撮像部７０は、第一ボアスコープ７１のみで第一孔部Ｗ１１等を撮像してもよい。
Further, the
また、第一ボアスコープ７１及び第二ボアスコープ７２は、同じ箇所で光の明るさを変えて複数回撮像を行ったが、これに限定されるものではなく、例えば、明るさを変えずに１回だけ撮像を行ってもよい。
Further, the
また、ＰＣ９０は、ＤＮＮ１００を用いて良否判定を行ったが、良否判定を行う手法は特に限定されるものではない。例えば、ＰＣ９０は、中間層１０２が１つのニューラルネットワークを用いて良否判定を行ってもよい。また、ＰＣ９０は、ニューラルネットワークではなく、予め撮像された基準画像を用いて良否判定を行ってもよい。この場合、ＰＣ９０は、例えば、基準画像と撮像部７０の撮像結果Ｂ７１・Ｂ７２との差異を抽出し、当該抽出結果に基づいて良否判定を行うことができる。
Further, although the
また、ＤＮＮ１００は、教師あり学習により学習されるものとしたが、学習の手法は特に限定されるものではなく、例えば、教師なし学習等により学習されるものであってもよい。
Further, although the
また、検査装置１は、ワークＷを撮像して良否判定可能であれば、その他の構成は特に限定されるものではない。したがって、検査装置１は、必ずしも搬送スライダ２０（図２参照）、芯ずれ補正部５０（図７参照）及び干渉チェック部６０（図８参照）を具備する必要はない。
Further, the
また、ＰＣ９０は、ワークＷごとにゲインを調整したが、これに限定されるものではなく、例えば、ワークＷの製造ロットごとに、ゲインを調整してもよい。以下、具体的に説明する。
Further, although the gain of the
ワークＷは、鋳造によって製造される場合、例えば、取鍋ごとに異なる製造ロットが付与される。ＰＣ９０は、こうして付与された製造ロットのワークＷを初めて検査する場合に、ステップＳ１７０・Ｓ１８０で撮像した結果に基づいて、製造ロットに応じたワークＷの特徴（例えば、光の反射度合いやワークＷの色等）を抽出する。また、ＰＣ９０は、当該ワークＷの良否判定（ステップＳ１９０）において不良が抽出された場合、当該不良の種類（バリや異物残り等の種類）及び抽出箇所を前記特徴として抽出する。
When the work W is manufactured by casting, for example, a different manufacturing lot is given to each ladle. When the work W of the production lot thus assigned is inspected for the first time, the
ＰＣ９０は、こうして抽出した前記特徴に基づいて、製造ロットごとにゲインを調整する。例えば、ＰＣ９０は、ある製造ロットの最初に検査を行ったワークＷから、比較的明るい色であるとの特徴を抽出した場合、その後行われる同じ製造ロットのワークＷの検査では、撮像部７０のゲインを低くする。
The
また、ＰＣ９０は、製造ロットごとに（特徴に応じて）、ゲインではなく、ワークＷの判定条件（判定に関するパラメータ）を変更してもよい。なお、ワークＷの判定条件とは、良否判定（ステップＳ１９０）において用いられる値や演算処理の内容であり、より具体的にはＤＮＮ１００による計算処理の内容である。ＰＣ９０には、製造ロットごとに判定条件を変更可能となるように、複数のＤＮＮ１００が構築される。複数のＤＮＮ１００は、上述のような特徴（光の反射度合いやワークＷの色等）の異なるワークＷを用いて学習が行われ、その特徴（ひいては、製造ロット）に応じた良否判定を実行可能に構成される。
Further, the
ＰＣ９０は、判定条件を変更する場合、製造ロットごとに最初に再検査の対象となるワークＷの特徴（色や不良の抽出箇所等）に基づいて、複数のＤＮＮ１００のうち、どのＤＮＮ１００を用いるのかを決定する。ＰＣ９０は、こうして製造ロットごとに判定条件（ＤＮＮ１００）を変更し、ワークＷの良否判定を行う。
When the judgment condition is changed, which of the plurality of DNN100s is used by the PC90 based on the characteristics (color, defect extraction location, etc.) of the work W to be re-inspected first for each production lot. To determine. In this way, the
以上の如く、前記ワークＷは、鋳造によって製造され、前記検査装置１は、前記ワークＷの製造ロットごとに前記ワークＷの特徴を抽出するＰＣ９０（抽出部）と、前記抽出結果に基づいて、前記撮像部７０の撮像に関するパラメータ又は前記良否判定部９２の判定に関するパラメータの少なくともいずれか一方を、前記製造ロットごとに調整するＰＣ９０（調整部）と、をさらに具備するものである。
As described above, the work W is manufactured by casting, and the
このように構成することにより、製造ロットに応じて撮像に関するパラメータ（ゲイン）又は判定に関するパラメータ（ＤＮＮ１００）の最適化を図ることができ、良否判定をより精度よく行うことが可能となる。 With such a configuration, it is possible to optimize the parameter (gain) related to imaging or the parameter (DNN100) related to determination according to the production lot, and it is possible to perform the pass / fail determination more accurately.
なお、上述した製造ロットごとに撮像条件等を調整するＰＣ９０は、抽出部及び調整部の実施の一形態である。
The
次に、図１９から図２３を参照し、第二実施形態に係る検査装置２０１及び検査方法について説明する。
Next, the
第二実施形態に係る検査装置２０１は、ワークＷを再検査するか否かを判定する点で、第一実施形態に係る検査装置１と大きく相違する。まず、再検査について説明する。
The
撮像部７０で撮像された第一孔部Ｗ１１等の写り方等によっては、第一実施形態で説明したワークＷの良否判定（ステップＳ２００）が精度よく行われないことが想定される。このような場合に再検査を行って、良否判定が困難なワークＷや、良品と判定されたとしても念のため所定箇所を再確認した方がよいワークＷについて、詳細に検査することが望ましい。
It is assumed that the quality determination (step S200) of the work W described in the first embodiment may not be performed accurately depending on how the first hole portion W11 or the like captured by the
第二実施形態に係る検査装置２０１は、このような再検査が必要なワークＷ（良否判定が困難なワークＷ等）を抽出して再検査を実施可能に構成されている。以下、具体的に説明する。なお、第一実施形態に係る検査装置１と同様に構成される部材については、第一実施形態と同一の符号を付し、その説明を省略する。
The
図１９に示す第二実施形態に係る検査装置２０１は、ＰＣ２９０の構成が第一実施形態に係るＰＣ９０（図３参照）の構成と相違する。ＰＣ２９０は、補正部２９１、良否判定部２９２、作成部２９３及び再検査判定部２９４を具備する。
In the
補正部２９１は、撮像部７０のゲイン（感度）を補正するためのものであり、第一実施形態に係る補正部９１と同様に構成される。良否判定部２９２は、ワークＷの良否判定を行うためのものであり、第一実施形態に係る良否判定部９２と同様に構成される。作成部２９３は、後述する再検査要否ＤＮＮ２９７が反応した度合いを示すヒートマップＨ２９３（図２３（ａ）参照）を作成するためのものである。
The
再検査判定部２９４は、再検査するか否かを判定するためのものである。再検査判定部２９４の処理については後述する。
The
上述の如く構成されるＰＣ２９０には、入力層、複数の中間層及び出力層を具備するＤＮＮ（図９参照）が複数構築される。具体的には、ＰＣ２９０には、良否判定ＤＮＮ２９６、再検査要否ＤＮＮ２９７及び撮像条件ＤＮＮ２９８が構築される。
A plurality of DNNs (see FIG. 9) including an input layer, a plurality of intermediate layers, and an output layer are constructed in the
良否判定ＤＮＮ２９６は、ワークＷの良否判定を行うためのものであり、第一実施形態に係るＤＮＮ１００と同様に構成される。すなわち、良否判定ＤＮＮ２９６は、第一孔部Ｗ１１等（撮像箇所）を撮像部７０で撮像した結果Ｂ２７１（図２０参照）と、良否判定の結果との関係を予め学習している。図２０（ｂ）に示すように、良否判定ＤＮＮ２９６は、撮像部７０での撮像結果Ｂ２７１が入力されると、良品及び不良品の確率を示す良否判定スコアＳ２９６と、良品及び不良品の判定結果Ｒ２９６とを出力することができる。良否判定スコアＳ２９６は、１００％を母数にして、良品（良否判定がＯＫ）の確率及び不良品（良否判定がＮＧ）の確率がそれぞれ出力される。例えば、良品の確率が８０％、不良品の確率が２０％等と出力される。判定結果Ｒ２９６は、良品の確率及び不良品の確率に基づいて、ＯＫ又はＮＧとの判定結果が出力される。
The quality determination DNN296 is for determining the quality of the work W, and is configured in the same manner as the DNN100 according to the first embodiment. That is, the pass / fail determination DNN296 has learned in advance the relationship between the result B271 (see FIG. 20) in which the first hole portion W11 or the like (imaging location) is imaged by the
ここで、例えば、再検査が必要なワークＷの撮像結果Ｂ２７１には、再検査で詳細を確認すべき部分、すなわち不良や良否判定が困難な部分等が写っていることから、良否判定スコアＳ２９６が低くなる（例えば、良品の確率が３０％、不良品の確率が７０％）。一方、再検査が不要なワークＷ、例えば明らかに良品であるワークＷの撮像結果Ｂ２７１には、不良等が写っていないことから、良否判定スコアＳ２９６が高い値（例えば、良品の確率が１００％、不良品の確率が０％）となる。このように、良否判定ＤＮＮ２９６で入出力される撮像結果Ｂ２７１及び良否判定スコアＳ２９６は、上述した再検査の要否と関連性の深い情報となる。 Here, for example, the image pickup result B271 of the work W that needs to be re-examined includes a part for which details should be confirmed by the re-examination, that is, a defect or a part for which it is difficult to judge whether the quality is good or bad. (For example, the probability of a good product is 30%, the probability of a defective product is 70%). On the other hand, since no defect or the like is shown in the imaging result B271 of the work W that does not require re-inspection, for example, the work W that is clearly a good product, the quality judgment score S296 is a high value (for example, the probability of a good product is 100%). , The probability of defective products is 0%). As described above, the imaging result B271 and the pass / fail determination score S296 input / output by the pass / fail determination DNN296 are information closely related to the necessity of the above-mentioned re-examination.
再検査要否ＤＮＮ２９７は、ワークＷを再検査するか否かを判定するためのものである。上述の如く、撮像結果Ｂ２７１及び良否判定スコアＳ２９６は、再検査の要否と関係している。そこで、再検査要否ＤＮＮ２９７は、撮像結果Ｂ２７１と、良否判定スコアＳ２９６と、再検査の判定結果と、の関係を予め教師あり学習によって学習し、ワークＷを再検査するか否かを判定可能に構成されている。 Re-inspection necessity DNN297 is for determining whether or not to re-inspect the work W. As described above, the imaging result B271 and the pass / fail judgment score S296 are related to the necessity of re-examination. Therefore, the re-examination necessity DNN297 can learn the relationship between the imaging result B271, the pass / fail determination score S296, and the re-examination determination result in advance by supervised learning, and can determine whether or not to re-examine the work W. It is configured in.
具体的には、図２１（ａ）に示すように、再検査が必要なワークＷの撮像結果Ｂ２７１及び良否判定スコアＳ２９６を含む学習データＡ２００と、再検査する必要があること（答え）とを再検査要否ＤＮＮ２９７（入力層）に入力し、出力側へ情報を受け渡す。これにより、再検査要否ＤＮＮ２９７に再検査が必要なワークＷの特徴を学習させている。図２１（ｂ）に示すように、再検査要否ＤＮＮ２９７は、撮像結果Ｂ２７１及び良否判定スコアＳ２９６が入力されると、当該撮像結果Ｂ２７１から良否判定スコアＳ２９６に影響を与えた不良等の特徴を抽出し、再検査が必要であることを判定可能となっている。 Specifically, as shown in FIG. 21 (a), the learning data A200 including the imaging result B271 of the work W requiring re-examination and the pass / fail judgment score S296, and the need for re-examination (answer). Necessity of re-inspection Input to DNN297 (input layer) and pass information to the output side. As a result, the necessity of re-examination DNN297 is made to learn the characteristics of the work W that requires re-examination. As shown in FIG. 21 (b), the re-examination necessity DNN297 has characteristics such as defects that affect the pass / fail judgment score S296 from the image pickup result B271 when the image pickup result B271 and the pass / fail judgment score S296 are input. It is possible to extract and determine that re-examination is necessary.
また、再検査要否ＤＮＮ２９７は、再検査が不要なワークＷについても、再検査が必要なワークＷと同様に学習データＡ２００による学習を行なっている。ここで、再検査が不要なワークＷとは、検査結果（良否判定）が明確なワークＷであり、例えば明らかに不良がないワークＷ（良否判定スコアＳ２９６がある程度高いワーク）や、明らかに不良があるワークＷ（良否判定スコアＳ２９６がある程度低いワーク）等である。学習済みの再検査要否ＤＮＮ２９７は、入力された撮像結果Ｂ２７１から不良の有無等を特徴として抽出し、再検査が不要であることを判定可能となっている。 Further, the re-examination necessity DNN297 also learns the work W that does not require re-examination by using the learning data A200 in the same manner as the work W that requires re-examination. Here, the work W that does not require re-inspection is a work W whose inspection result (pass / fail judgment) is clear, for example, a work W that has no apparent defect (work with a pass / fail determination score S296 high to some extent) or a work W that is clearly defective. There is a work W (a work having a pass / fail judgment score S296 low to some extent) or the like. The trained re-examination necessity DNN297 can extract features such as the presence or absence of defects from the input imaging result B271 and determine that re-examination is unnecessary.
図１９に示す撮像条件ＤＮＮ２９８は、再検査時における撮像部７０の撮像条件（撮像に関するパラメータ）を決定するために用いられる。撮像条件とは、ワークＷ（撮像箇所）をどのように撮像するのかを決めるための条件であり、具体的には、ゲイン、撮像方向及び第一孔部Ｗ１１等へ照射する光の明るさ等である。
The imaging condition DNN298 shown in FIG. 19 is used to determine the imaging condition (parameter related to imaging) of the
ここで、再検査時には、不良等の確認すべき箇所が適切に撮像できる最適な撮像条件（ゲイン等）で第一孔部Ｗ１１等を撮像することが望ましい。このような撮像条件は、撮像結果Ｂ２７１ごとに異なるものとなる。そこで、撮像条件ＤＮＮ２９８は、再検査時の最適な撮像条件を撮像結果Ｂ２７１ごとに決定可能となるように、撮像結果Ｂ２７１と最適な撮像条件との関係を予め教師あり学習（図２１（ａ）参照）によって学習している。 Here, at the time of re-inspection, it is desirable to image the first hole portion W11 or the like under the optimum imaging conditions (gain or the like) so that a portion to be confirmed such as a defect can be appropriately imaged. Such imaging conditions are different for each imaging result B271. Therefore, the imaging condition DNN298 is supervised learning in advance about the relationship between the imaging result B271 and the optimum imaging condition so that the optimum imaging condition at the time of re-examination can be determined for each imaging result B271 (FIG. 21 (a)). See).
具体的には、再検査が必要なワークＷの撮像結果Ｂ２７１と、当該撮像結果Ｂ２７１に対して適切な撮像条件（答え）とを撮像条件ＤＮＮ２９８（入力層）に入力し、出力側へ情報を受け渡す。これにより、撮像結果Ｂ２７１に応じた最適な撮像条件を撮像条件ＤＮＮ２９８に学習させている。学習済みの撮像条件ＤＮＮ２９８は、撮像結果Ｂ２７１が入力されると、当該撮像結果Ｂ２７１から撮像条件を決定するのに必要な情報、具体的には不良の種類やワークＷの色や撮像方向等を特徴として抽出し、最適な撮像条件を出力可能となっている。 Specifically, the image pickup result B271 of the work W that needs to be re-examined and the image pickup condition (answer) appropriate for the image pickup result B271 are input to the image pickup condition DNN298 (input layer), and the information is sent to the output side. Hand over. As a result, the imaging condition DNN298 is made to learn the optimum imaging conditions according to the imaging result B271. When the image pickup result B271 is input, the learned image pickup condition DNN298 obtains information necessary for determining the image pickup condition from the image pickup result B271, specifically, the type of defect, the color of the work W, the image pickup direction, and the like. It is possible to extract as a feature and output the optimum imaging conditions.
以下では、検査装置２０１によるワークＷの検査の流れについて説明する。
Hereinafter, the flow of inspection of the work W by the
図２２に示すように、検査装置２０１（制御部８０）は、第一実施形態で説明したステップＳ１００～Ｓ１８０を行う。すなわち、検査装置２０１は、セットされたワークＷを多軸ロボット４０によって撮像部７０で撮像可能な位置（撮像位置）へ移動させ、撮像部７０で当該ワークＷの第一孔部Ｗ１１等（撮像箇所）を撮像する。
As shown in FIG. 22, the inspection device 201 (control unit 80) performs steps S100 to S180 described in the first embodiment. That is, the
その後、良否判定部２９２は、第一実施形態で説明したステップＳ２００によりワークＷの良否判定を行う。このとき、図２０（ｂ）に示すように、良否判定ＤＮＮ２９６には、ステップＳ１７０・Ｓ１８０で取得された撮像結果Ｂ２７１が入力される。良否判定ＤＮＮ２９６は、当該撮像結果Ｂ２７１に基づいて、良品及び不良品の判定結果Ｒ２９６及び良否判定スコアＳ２９６を出力する。
After that, the
図２２に示すように、ワークＷの良否判定を行った後で、再検査判定部２９４は、良否判定スコアＳ２９６が所定の閾値以上であるか（例えば、良品の確率が８０％であるか）否かを判定する（ステップＳ２１０）。仮に良否判定スコアＳ２９６が所定の閾値以上である場合（ステップＳ２１０：Ｙｅｓ）、第一実施形態で説明したステップＳ１９０によりワークＷが投入位置Ｐ１（図１参照）へ戻されて検査装置２０１による検査が終了する。こうして、検査装置２０１は、良否判定スコアＳ２９６が高いワークＷ、すなわち明らかに良品で再検査の必要性が低いワークＷについては、再検査を行わない。
As shown in FIG. 22, after the quality determination of the work W is performed, the
一方、良否判定スコアＳ２９６が所定の閾値未満である場合（ステップＳ２１０：Ｎｏ）、再検査判定部２９４は、再検査要否ＤＮＮ２９７を用いてワークＷを再検査するか否かを判定する（ステップＳ２２０）。こうして、再検査判定部２９４は、良否判定スコアＳ２９６が低いワークＷ、すなわち良否判定が困難なワークＷや、良品と判定されたとしても念のため所定箇所を確認すべきワークＷ等（再検査が必要なワークＷ）を抽出することができる。このとき、作成部２９３は、再検査要否ＤＮＮ２９７が反応した度合いを示すヒートマップＨ２９３を作成する。
On the other hand, when the pass / fail determination score S296 is less than a predetermined threshold value (step S210: No), the
再検査判定部２９４で再検査が不要であると判定された場合（ステップＳ２２０：Ｎｏ）、ワークＷが投入位置Ｐ１へ戻されて検査装置２０１による検査が終了する（ステップＳ１９０）。こうして、検査装置２０１は、再検査が不要なワークＷ、例えば再検査する必要がないほど明らかな不良があるワークＷ等について、再検査を行わない。
When the
一方、再検査が必要である場合（ステップＳ２２０：Ｙｅｓ）、再検査判定部２９４は、撮像条件ＤＮＮ２９８を用いて再検査時における撮像条件を決定する（ステップＳ２３０）。
On the other hand, when re-examination is necessary (step S220: Yes), the
検査装置２０１は、こうして決定された撮像条件に基づいて、ワークＷの再検査を行う（ステップＳ２４０）。すなわち、多軸ロボット４０は、再検査が必要と判定された撮像箇所を撮像部７０で撮像可能となるようにワークＷを移動する。また、撮像部７０は、ステップＳ２４０で決定された撮像条件でワークＷを撮像する。この際、撮像部７０は、上記撮像条件に含まれる撮像方向に対応するボアスコープで撮像する。例えば、撮像方向が下方である場合に第一ボアスコープ７１（撮像方向Ｄ７１）で、撮像方向が斜め方向である場合に第二ボアスコープ７２（撮像方向Ｄ７２）で、撮像方向が横方向である場合に第三ボアスコープ７３（撮像方向Ｄ７３）で撮像する（図８参照）。良否判定部２９２（良否判定ＤＮＮ２９６）は、こうして撮像された結果に基づいて良否判定（再検査）を行う。
The
以下では、上述した検査装置２０１による検査（ステップＳ１００～Ｓ２４０）の具体例について説明する。なお、以下では、図２０（ａ）に示すバリＢ２７１ａが原因で再検査が行われる場合を例に挙げて具体例を説明する。
Hereinafter, specific examples of the inspection (steps S100 to S240) by the
撮像部７０は、ワークＷの第一孔部Ｗ１１等を撮像する（図２０（ａ）参照、ステップＳ１００～Ｓ１８０）。こうして撮像された第一ボアスコープ７１の撮像結果Ｂ２７１には、図２０（ｂ）に示すように、バリＢ２７１ａが写ったものが含まれる。
The
再検査判定部２９４は、撮像結果Ｂ２７１を良否判定ＤＮＮ２９６に入力して良否判定を行う（ステップＳ２００）。良否判定ＤＮＮ２９６は、撮像結果Ｂ２７１からバリＢ２７１ａ（特徴）を抽出し、良否判定スコアＳ２９６等を出力する。当該良否判定スコアＳ２９６は、良品である確率が上記閾値よりも低いＸ％となっている（ステップＳ２１０：Ｎｏ）。
The
この場合、図２１（ｂ）に示すように、再検査判定部２９４は、再検査要否ＤＮＮ２９７に撮像結果Ｂ２７１（良否判定で用いられた撮像結果）及び良否判定スコアＳ２９６を入力し、再検査を行うか否かを判定する（ステップＳ２２０）。再検査要否ＤＮＮ２９７は、撮像結果Ｂ２７１からバリＢ２７１ａ等の特徴を抽出し、再検査の必要があるとの判定結果Ｒ２９７を出力する。また、作成部２９３は、図２３（ａ）に示すように、バリＢ２７１ａが判定結果Ｒ２９７に大きな影響を与えた（再検査要否ＤＮＮ２９７が高い反応を示した）ことを示すヒートマップＨ２９３を作成する。
In this case, as shown in FIG. 21B, the
そして、再検査判定部２９４は、撮像条件ＤＮＮ２９８に撮像結果Ｂ２７１（良否判定で用いられた撮像結果）を入力し、撮像条件を決定する（ステップＳ２３０）。このとき、撮像条件ＤＮＮ２９８は、撮像結果Ｂ２７１から撮像条件を決定するのに必要な情報（特徴）を抽出する。具体的には、バリＢ２７１ａ、ワークＷの色及び撮像方向Ｄ７１等の情報を抽出する。撮像条件ＤＮＮ２９８は、当該抽出結果に基づいて撮像結果Ｂ２７１について適切な撮像条件を出力する。こうして、撮像条件ＤＮＮ２９８は、例えば、撮像方向を斜め方向（撮像方向Ｄ７２）とするように、撮像条件を出力する。
Then, the
図２３（ｂ）に示すように、検査装置２０１は、ステップＳ２３０で決定された撮像条件に基づいて再検査を行う（ステップＳ２４０）。すなわち、検査装置２０１は、制御部８０により多軸ロボット４０を制御して第二ボアスコープ７２の挿入部７２ｂに第一孔部Ｗ１１を挿入し、第二ボアスコープ７２を用いて斜め向きに（撮像方向Ｄ７２を向いて）バリＢ２７１ａを含む所定の撮像箇所を撮像する。良否判定部２９２は、こうして撮像された結果に基づいてワークＷを良否判定する。
As shown in FIG. 23B, the
このように、上述した再検査では、バリＢ２７１ａを重点的に検査することができる。また、再検査では、バリＢ２７１ａを確認し易い撮像条件（適切な撮像方向Ｄ７２）によって撮像し、再検査時の良否判定を精度よく行うことができる。 As described above, in the above-mentioned re-inspection, the burr B271a can be inspected intensively. Further, in the re-examination, the burr B271a can be imaged under an imaging condition (appropriate imaging direction D72) that makes it easy to confirm, and the quality of the re-examination can be accurately determined.
また、再検査判定部２９４は、再検査要否ＤＮＮ２９７を用いて再検査を行うか否か判定することで（ステップＳ２２０）、撮像結果Ｂ２７１等から再検査の要否を決める特徴、例えば、バリＢ２７１ａ等を抽出し、再検査の必要があるワークＷを精度よく抽出することができる。このようにして抽出されたワークＷに対して再検査を実施することで、製品の品質の向上を図ることができる。
Further, the
また、再検査判定部２９４は、良否判定スコアＳ２９６と閾値との比較を行って、良否判定スコアＳ２９６が高いワークＷについて、再検査の判定を行わないようにしている（ステップＳ２１０：Ｙｅｓ、ステップＳ１９０）。これにより、再検査の必要性が明らかに低いワークＷについて、再検査要否ＤＮＮ２９７での判定を行わないようにして、ＰＣ２９０にかかる負荷の低減を図ることができる。
Further, the
以上の如く、第二実施形態に係る検査装置２０１は、撮像部７０によりワークＷを撮像し、前記撮像部７０の撮像結果Ｂ２７１に基づいて前記ワークＷの良否判定を行うことで、前記ワークＷを検査する制御部８０及び良否判定部２９２（検査部）と、学習済みの再検査要否ＤＮＮ２９７（第一学習モデル）を用いて、前記制御部８０及び良否判定部２９２により前記ワークＷの再検査を行うか否かを判定する再検査判定部２９４（判定部）と、を具備するものである。
As described above, the
このように構成することにより、再検査する必要があるワークＷを精度よく抽出することができる。 With this configuration, the work W that needs to be re-inspected can be extracted with high accuracy.
また、前記良否判定部２９２は、前記ワークＷの良否判定において、前記ワークＷが良品であるか否かの可能性を示すスコア（良否判定スコアＳ２９６）を出力し、前記再検査要否ＤＮＮ２９７は、前記撮像部７０の撮像結果Ｂ２７１及び前記スコアと、前記再検査を行うか否かと、の関係を学習しているものである。
Further, the pass /
このように構成することにより、撮像結果Ｂ２７１等から特徴を抽出し、再検査する必要があるワークＷをより精度よく抽出することができる。 With this configuration, features can be extracted from the imaging result B271 and the like, and the work W that needs to be re-examined can be extracted more accurately.
また、前記ＰＣ２９０は、前記再検査時における前記撮像部７０の撮像に関するパラメータ（撮像条件）を、当該再検査より前の撮像結果Ｂ２７１（ステップＳ１７０・Ｓ１８０での撮像結果）に基づいて決定するものである（ステップＳ２３０）。
Further, the
このように構成することにより、再検査時における撮像に関するパラメータの最適化を図ることができる。例えば、再検査時に良否判定し易い方向からワークＷを撮像可能となり（図２３（ｂ）参照）、ワークＷの良否判定をより精度よく行うことができる。 With this configuration, it is possible to optimize the parameters related to imaging at the time of re-examination. For example, the work W can be imaged from a direction in which it is easy to determine the quality at the time of re-examination (see FIG. 23B), and the quality of the work W can be determined more accurately.
また、前記再検査判定部２９４は、前記撮像部７０の撮像結果Ｂ２７１と前記パラメータとの関係を学習した撮像条件ＤＮＮ２９８（第二学習モデル）を用いて前記パラメータを決定するものである（ステップＳ２３０）。
Further, the
このように構成することにより、撮像結果Ｂ２７１から特徴を抽出し、当該特徴に応じて撮像に関するパラメータをより最適なものにすることができる。 With this configuration, features can be extracted from the imaging result B271 and the parameters related to imaging can be made more optimal according to the characteristics.
また、前記撮像部７０には、前記ワークＷに形成された第一孔部Ｗ１１等（孔部）に挿入された状態で、自身の軸線方向（撮像方向Ｄ７１）を向いて前記第一孔部Ｗ１１等を撮像する第一ボアスコープ７１（第一撮像部）と、前記第一孔部Ｗ１１等に挿入された状態で、自身の軸線方向及び前記軸線方向に対して直交する方向に対して傾斜する方向（撮像方向Ｄ７２）を向いて前記第一孔部Ｗ１１等を撮像する第二ボアスコープ７２（第二撮像部）と、が含まれるものである。
Further, in the
このように構成することにより、複数の視点（撮像方向Ｄ７１・Ｄ７２）から第一孔部Ｗ１１等を撮像した結果Ｂ２７１を用いて良否を判定可能となり、再検査におけるワークＷの良否判定をより精度よく行うことができる。 With this configuration, it is possible to judge the quality of the work W in the re-inspection by using the result B271 as a result of imaging the first hole portion W11 or the like from a plurality of viewpoints (imaging directions D71 and D72), and the quality of the work W in the re-inspection can be judged more accurately. You can do it well.
また、前記撮像部７０には、前記再検査において前記第一孔部Ｗ１１等に挿入され、前記軸線方向に対して直交する方向（撮像方向Ｄ７３）を向いて前記第一孔部Ｗ１１等を撮像する第三ボアスコープ７３（第三撮像部）がさらに含まれるものである。
Further, the
このように構成することにより、再検査において、第三ボアスコープ７３の撮像結果により第一孔部Ｗ１１等の内側面の形状をより詳細に把握することができるため、再検査におけるワークＷの良否判定をより精度よく行うことができる。
With this configuration, in the re-inspection, the shape of the inner surface of the first hole portion W11 or the like can be grasped in more detail from the image pickup result of the
また、以上の如く、第二実施形態に係る検査方法は、撮像部７０によりワークＷを撮像し、前記撮像部７０の撮像結果Ｂ２７１に基づいて良否判定部２９２により前記ワークＷの良否判定を行うことで、前記ワークＷを検査する検査工程（ステップＳ１７０・Ｓ１８０・Ｓ２００）と、学習済みの再検査要否ＤＮＮ２９７（学習モデル）を用いて、前記検査工程をもう一度行うか否かを決定する決定工程（ステップＳ２２０）と、を含むものである。
Further, as described above, in the inspection method according to the second embodiment, the work W is imaged by the
このように構成することにより、再検査する必要があるワークＷを精度よく抽出することができる。 With this configuration, the work W that needs to be re-inspected can be extracted with high accuracy.
なお、第二実施形態に係る制御部８０及び良否判定部２９２は、検査部の実施の一形態である。
また、第二実施形態に係る再検査判定部２９４は、判定部の実施の一形態である。
また、第二実施形態に係る再検査要否ＤＮＮ２９７は、第一学習モデル及び学習モデルの実施の一形態である。
また、第二実施形態に係る撮像条件ＤＮＮ２９８は、第二学習モデルの実施の一形態である。
また、第二実施形態に係る第一孔部Ｗ１１等は、孔部の実施の一形態である。
また、第二実施形態に係る第一ボアスコープ７１は、第一撮像部の実施の一形態である。
また、第二実施形態に係る第二ボアスコープ７２は、第二撮像部の実施の一形態である。
また、第二実施形態に係る第三ボアスコープ７３は、第三撮像部の実施の一形態である。
The
Further, the
Further, the re-examination necessity DNN297 according to the second embodiment is an embodiment of the first learning model and the learning model.
Further, the imaging condition DNN298 according to the second embodiment is an embodiment of the second learning model.
Further, the first hole portion W11 or the like according to the second embodiment is an embodiment of the hole portion.
Further, the
Further, the
Further, the
以上、本発明の第二実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。 Although the second embodiment of the present invention has been described above, the present invention is not limited to the above configuration, and various modifications can be made within the scope of the invention described in the claims.
例えば、再検査判定部２９４は、良品である確率が高いワークＷについて再検査の判定を行わないものとしたが（ステップＳ２１０：Ｙｅｓ、ステップＳ１９０）、これに限定されるものではなく全てのワークＷに対して再検査の判定を行ってもよい。
For example, the
また、良否判定ＤＮＮ２９６は、良品の確率及び不良品の確率（良否判定スコアＳ２９６）、並びに判定結果Ｒ２９６を出力したが、良否判定ＤＮＮ２９６が出力する情報は特に限定されるものではない。例えば、良否判定ＤＮＮ２９６は、良品の確率のみを出力してもよい。この場合、良否判定部２９２や再検査判定部２９４等が良品の確率の出力結果に基づいてワークＷの良否や再検査の要否を適宜判定することができる。
Further, the good / bad judgment DNN296 outputs the probability of a good product, the probability of a defective product (good / bad judgment score S296), and the judgment result R296, but the information output by the good / bad judgment DNN296 is not particularly limited. For example, the quality determination DNN296 may output only the probability of a non-defective product. In this case, the
また、再検査要否ＤＮＮ２９７及び撮像条件ＤＮＮ２９８は、教師あり学習（図２１（ａ）参照）により学習されるものとしたが、学習の手法は特に限定されるものではなく、例えば、教師なし学習等により学習されるものであってもよい。 Further, the re-examination necessity DNN297 and the imaging condition DNN298 are learned by supervised learning (see FIG. 21A), but the learning method is not particularly limited, and for example, unsupervised learning. It may be learned by such as.
また、再検査要否ＤＮＮ２９７は、撮像結果Ｂ２７１、良否判定スコアＳ２９６及び再検査の判定結果の関係を学習したが、再検査するか否かを判定可能であれば、再検査要否ＤＮＮ２９７の学習内容は、特に限定されるものではない。また、再検査の判定を行う学習モデルは、中間層が複数設けられたＤＮＮである必要はなく、例えば、中間層が１つのニューラルネットワークであってもよい。 Further, the re-examination necessity DNN297 learned the relationship between the imaging result B271, the pass / fail determination score S296, and the re-examination determination result. The content is not particularly limited. Further, the learning model for determining the re-examination does not have to be a DNN provided with a plurality of intermediate layers, and may be, for example, a neural network having one intermediate layer.
また、再検査判定部２９４は、撮像条件ＤＮＮ２９８を用いて再検査時の撮像部７０の撮像条件を決定したが（ステップＳ２３０）、撮像条件を決定する手法は特に限定されるものではない。例えば、必ずしもＤＮＮを用いる必要はなく、再検査前に撮像された撮像結果Ｂ２７１の色情報（例えば、輝度等）に基づいて撮像条件を決定してもよい。
Further, the
また、再検査で撮像するワークＷの位置は、予め定められた撮像箇所に限るものではなく、任意に変更することができる。以下、図２３（ａ）を参照して具体的に説明する。 Further, the position of the work W to be imaged in the re-examination is not limited to the predetermined imaging location, and can be arbitrarily changed. Hereinafter, a specific description will be given with reference to FIG. 23 (a).
図２３（ａ）は、バリＢ２７１ａが原因で再検査の必要があると判定された場合のヒートマップＨ２９３を示すものである。当該ヒートマップＨ２９３では、バリＢ２７１ａを含む範囲Ｈ２９３ａ・Ｈ２９３ｂの反応が高くなっている。再検査判定部２９４は、ヒートマップＨ２９３を解析し、反応の高い範囲Ｈ２９３ａ・Ｈ２９３ｂ、すなわちバリＢ２７１ａが鮮明に撮像できる位置から当該バリＢ２７１ａを撮像する。このようにして得られた画像について、上述の場合と同様に良否判定ＤＮＮ２９６による良否判定を行ったり、作業者が目視で良否判定を行ったりすることができる。
FIG. 23A shows a heat map H293 when it is determined that re-inspection is necessary due to the burr B271a. In the heat map H293, the reaction of the ranges H293a and H293b including the burr B271a is high. The
このように、前記検査装置２０１は、前記撮像部７０の撮像結果Ｂ２７１に対して、前記再検査要否ＤＮＮ２９７が反応した度合いを示すヒートマップＨ２９３を作成する作成部２９３をさらに具備し、前記再検査判定部２９４は、前記ヒートマップＨ２９３に基づいて、前記再検査時における前記ワークＷの撮像部分を決定するものである。
As described above, the
このような構成により、不良である可能性が高い部分（例えば、バリＢ２７１ａ等）を重点的に検査することができる。 With such a configuration, it is possible to focus on inspecting a portion that is likely to be defective (for example, burr B271a or the like).
また、再検査判定部２９４は、ステップＳ１７０・Ｓ１８０での撮像結果Ｂ２７１に基づいて撮像条件を決定したが（ステップＳ２３０）、撮像条件の決定に用いる情報は、特に限定されるものではない。例えば、再検査判定部２９４は、ワークＷの製造ロットを利用して撮像条件を決定してもよい。以下、具体的に説明する。
Further, the
ワークＷは、鋳造によって製造される場合、例えば、取鍋ごとに異なる製造ロットが付与される。ＰＣ２９０は、こうして付与された製造ロットのワークＷを初めて検査する場合に、ステップＳ１７０・Ｓ１８０で撮像した結果に基づいて、製造ロットに応じたワークＷの特徴（例えば、光の反射度合いやワークＷの色等）を抽出する。また、ＰＣ２９０は、当該ワークＷの良否判定（ステップＳ２００）において不良が抽出された場合、当該不良の種類（バリや異物残り等の種類）及び抽出箇所を前記特徴として抽出する。
When the work W is manufactured by casting, for example, a different manufacturing lot is given to each ladle. When the work W of the production lot thus assigned is inspected for the first time, the
ＰＣ２９０は、こうして抽出した前記特徴に基づいて、製造ロットごとに撮像条件を決定する。例えば、ＰＣ２９０は、ある製造ロットの最初に検査を行ったワークＷから、比較的明るい色であるとの特徴を抽出した場合、その後行われる同じ製造ロットのワークＷの再検査では、撮像部７０から照射する光を暗くする。
The
また、ＰＣ２９０は、製造ロットごとに（特徴に応じて）再検査時におけるワークＷの判定条件（判定に関するパラメータ）を変更してもよい。なお、ワークＷの判定条件とは、良否判定（ステップＳ２００）において用いられる値や演算処理の内容であり、より具体的には良否判定ＤＮＮ２９６による計算処理の内容である。ＰＣ２９０には、製造ロットごとに判定条件を変更可能となるように、複数の良否判定ＤＮＮ２９６が構築される。複数の良否判定ＤＮＮ２９６は、上述のような特徴（光の反射度合いやワークＷの色等）の異なるワークＷを用いて学習が行われ、その特徴（ひいては、製造ロット）に応じた良否判定を実行可能に構成される。
Further, the
ＰＣ２９０は、判定条件を変更する場合、製造ロットごとに最初に再検査の対象となるワークＷの特徴（色や不良の抽出箇所等）に基づいて、複数の良否判定ＤＮＮ２９６のうち、どの良否判定ＤＮＮ２９６を再検査で用いるのかを決定する。ＰＣ２９０は、こうして製造ロットごとに判定条件（良否判定ＤＮＮ２９６）を変更し、ワークＷの再検査を行う。
When the judgment conditions are changed, the
以上の如く、前記ワークＷは、鋳造によって製造され、前記検査装置２０１は、前記ワークＷの製造ロットごとに前記ワークＷの特徴を抽出するＰＣ２９０（抽出部）と、前記抽出結果に基づいて、前記再検査における前記撮像部７０の撮像に関するパラメータ又は前記再検査判定部２９４の判定に関するパラメータの少なくともいずれか一方を、前記製造ロットごとに調整するＰＣ２９０（調整部）と、をさらに具備するものである。
As described above, the work W is manufactured by casting, and the
このように構成することにより、製造ロットに応じて再検査におけるパラメータの最適化を図ることができ、ワークＷの良否判定をより精度よく行うことができる。 With such a configuration, it is possible to optimize the parameters in the re-inspection according to the production lot, and it is possible to more accurately determine the quality of the work W.
なお、上述した製造ロットごとにパラメータを調整するＰＣ２９０は、抽出部及び調整部の実施の一形態である。
The
次に、図２４から図２７を参照し、第三実施形態に係る検査装置３０１及び検査方法について説明する。
Next, the
第三実施形態に係る検査装置３０１は、検査時に生じる機器（多軸ロボット４０や撮像部７０等）の位置ずれを検知する点で、第一実施形態に係る検査装置１と大きく相違する。まず、検査時に生じる機器の位置ずれについて説明する。
The
第一実施形態で説明したワークＷの検査（ステップＳ１００～Ｓ２００）を長期間行った場合等には、各機器の相対的な位置が徐々にずれるおそれがある。図２７（ａ）は、機器の位置ずれが生じた状態で第一孔部Ｗ１１を撮像した結果Ｂ３７１（第一ボアスコープ７１での撮像結果）の一例を示したものである。機器の位置ずれが大きくなった場合には、図２７（ａ）に示す撮像結果Ｂ３７１（画像データ）の中心Ｐ３７１に対して第一孔部Ｗ１１等の中心Ｃ３１１の位置が大きくずれ、良否判定の精度が悪化する可能性がある。 When the inspection of the work W (steps S100 to S200) described in the first embodiment is performed for a long period of time, the relative positions of the respective devices may gradually shift. FIG. 27A shows an example of the result B371 (the result of imaging with the first borescope 71) in which the first hole portion W11 is imaged in a state where the position of the device is displaced. When the misalignment of the device becomes large, the position of the center C311 such as the first hole W11 is greatly displaced with respect to the center P371 of the image pickup result B371 (image data) shown in FIG. Accuracy may deteriorate.
そこで、第三実施形態に係る検査装置３０１は、ワークＷの検査を行うのに加えて、上述した機器の位置ずれを検知可能に構成されている。以下、具体的に説明する。なお、第一実施形態に係る検査装置１と同様に構成される部材については、第一実施形態と同一の符号を付し、その説明を省略する。
Therefore, the
図２４に示す第三実施形態に係る検査装置３０１は、制御部３８０及びＰＣ３９０の構成が第一実施形態に係るＰＣ９０（図３参照）の構成と相違する。制御部３８０は、調整部３８１を具備する。
In the
調整部３８１は、機器の位置ずれを調整するためのものである。調整部３８１の処理については後述する。 The adjusting unit 381 is for adjusting the misalignment of the device. The processing of the adjusting unit 381 will be described later.
ＰＣ３９０は、補正部３９１、良否判定部３９２、作成部３９３及び検知部３９４を具備する。
The
補正部３９１は、撮像部７０のゲイン（感度）を補正するためのものであり、第一実施形態に係る補正部９１と同様に構成される。良否判定部３９２は、ワークＷの良否判定を行うためのものであり、第一実施形態に係る良否判定部９２と同様に構成される。作成部３９３は、後述する良否判定ＤＮＮ３９６が反応した度合いを示すヒートマップＨ（図１８（ｂ）参照）を作成するためのものであり、第一実施形態に係る作成部９３と同様に構成される。
The
検知部３９４は、検査装置３０１の機器（多軸ロボット４０及び撮像部７０等）の位置ずれが発生していることを検知するためのものである。検知部３９４の処理については後述する。
The
上述の如く構成されるＰＣ３９０には、入力層、複数の中間層及び出力層を具備するＤＮＮ（図９参照）が複数構築される。具体的には、ＰＣ３９０には、良否判定ＤＮＮ３９６及び位置ずれ検知ＤＮＮ３９７が構築される。
A plurality of DNNs (see FIG. 9) including an input layer, a plurality of intermediate layers, and an output layer are constructed in the
良否判定ＤＮＮ３９６は、ワークＷの良否判定を行うためのものであり、第一実施形態に係るＤＮＮ１００と同様に構成される。すなわち、良否判定ＤＮＮ３９６は、第一孔部Ｗ１１等（撮像箇所）を撮像部７０で撮像した結果Ｂ３７１（図２７参照）と、良否判定の結果との関係を予め学習している。良否判定ＤＮＮ３９６は、撮像部７０での撮像結果Ｂ３７１が入力されると、良品及び不良品の確率を示すスコアと、良品及び不良品の判定結果とを出力することができる（図２０（ｂ）参照）。
The quality determination DNN396 is for determining the quality of the work W, and is configured in the same manner as the DNN100 according to the first embodiment. That is, the pass / fail determination DNN396 has learned in advance the relationship between the result B371 (see FIG. 27) in which the first hole portion W11 or the like (imaging location) is imaged by the
位置ずれ検知ＤＮＮ３９７は、機器の位置ずれを検知するためのものである。位置ずれ検知ＤＮＮ３９７は、機器の位置ずれの傾向に基づいて、位置ずれを検知可能に構成される。 The misalignment detection DNN397 is for detecting the misalignment of the device. The misalignment detection DNN397 is configured to be able to detect the misalignment based on the tendency of the misalignment of the device.
具体的には、検査が継続して行われて機器の位置ずれが徐々に大きくなると、図２７（ａ）に示す撮像結果Ｂ３７１の中心Ｐ３７１と第一孔部Ｗ１１等の中心Ｃ３１１との間の距離Ｌ３１１が徐々に大きくなる。そこで、位置ずれ検知ＤＮＮ３９７は、このような機器の位置ずれの傾向（距離Ｌ３１１の変動）を抽出可能となるように、予め所定の学習を行っている。例えば、図２５に示すように、複数のワークＷについて所定の撮像箇所を撮像した結果Ｂ３７１（例えば、直近数十回の検査で所定の撮像箇所を撮像した図２５（ｂ）に示す学習データＡ３００）と、位置ずれの有無（答え）とを位置ずれ検知ＤＮＮ３９７（入力層）に入力し、出力側へ情報を受け渡す。これにより、位置ずれ検知ＤＮＮ３９７は、直近数十回の検査で撮像された撮像結果Ｂ３７１から位置ずれの傾向（距離Ｌ３１１の変動）を抽出し、位置ずれの有無を判定可能となっている。なお、本実施形態において、位置ずれの有無は、距離Ｌ３１１（図２７（ａ）参照）が所定の閾値を超えたかどうかで区別している。すなわち、距離Ｌ３１１が検査に支障がない程度に小さい（所定の閾値以下である）場合、位置ずれは発生していないとみなしている。一方、距離Ｌ３１１が大きい（所定の閾値を超えた）場合、位置ずれが発生しているとみなしている。 Specifically, when the inspection is continuously performed and the misalignment of the device gradually increases, the center P371 of the imaging result B371 shown in FIG. 27 (a) and the center C311 such as the first hole W11 are located. The distance L311 gradually increases. Therefore, the misalignment detection DNN397 performs predetermined learning in advance so that the tendency of the misalignment of the device (variation of the distance L311) can be extracted. For example, as shown in FIG. 25, the learning data A300 shown in FIG. 25B, which is the result of imaging a predetermined imaging location for a plurality of work Ws (for example, imaging a predetermined imaging location in the last several tens of inspections). ) And the presence / absence (answer) of the misalignment are input to the misalignment detection DNN397 (input layer), and the information is passed to the output side. As a result, the misalignment detection DNN397 can extract the tendency of the misalignment (variation of the distance L311) from the image pickup result B371 imaged in the last several tens of inspections and determine the presence or absence of the misalignment. In the present embodiment, the presence or absence of misalignment is distinguished by whether or not the distance L311 (see FIG. 27A) exceeds a predetermined threshold value. That is, when the distance L311 is small enough not to interfere with the inspection (less than or equal to a predetermined threshold value), it is considered that the positional deviation has not occurred. On the other hand, when the distance L311 is large (exceeding a predetermined threshold value), it is considered that the positional deviation has occurred.
以下では、検査装置３０１によるワークＷの検査の流れについて説明する。
Hereinafter, the flow of inspection of the work W by the
図２６に示すように、検査装置３０１（制御部３８０）は、第一実施形態で説明したステップＳ１００～Ｓ１８０を行う。すなわち、検査装置３０１は、セットされたワークＷを多軸ロボット４０によって撮像部７０で撮像可能な位置（撮像位置）へ移動させ、撮像部７０で当該ワークＷの第一孔部Ｗ１１等（検査箇所）を撮像する（図２５（ａ）参照）。
As shown in FIG. 26, the inspection device 301 (control unit 380) performs steps S100 to S180 described in the first embodiment. That is, the
撮像部７０での撮像が完了すると、検知部３９４は、位置ずれ検知ＤＮＮ３９７を用いて機器の位置ずれの有無を検知する（ステップＳ３１０）。仮に位置ずれを検知しなかった場合（ステップＳ３１０：Ｎｏ）、第一実施形態で説明したステップＳ１９０・Ｓ２００により、ワークＷが投入位置Ｐ１（図１参照）へ戻されると共に、良否判定部３９２によるワークＷの良否判定が行われる。
When the image pickup by the
一方、ステップＳ３１０において位置ずれを検知した場合（ステップＳ３１０：Ｙｅｓ）、検知部３９４は、撮像結果Ｂ３７１に基づいて位置ずれの向き及びズレ量を算出する（ステップＳ３２０）。検知部３９４は、当該算出結果をＰＣ３９０の表示装置（液晶ディスプレイ等）に出力すると共に、調整部３８１へ信号を送信して算出結果を通知する。
On the other hand, when the misalignment is detected in step S310 (step S310: Yes), the
位置ずれの向き等を算出すると、調整部３８１は、検知部３９４の算出結果に基づいて位置ずれ（ロボット座標）を調整する（ステップＳ３３０）。 When the direction of the misalignment is calculated, the adjusting unit 381 adjusts the misalignment (robot coordinates) based on the calculation result of the detection unit 394 (step S330).
位置ずれの調整が完了すると、撮像部７０は、ステップＳ１７０・Ｓ１８０と同様にワークＷの撮像を行う（ステップＳ３４０）。
When the adjustment of the misalignment is completed, the
こうして、制御部３８０及び良否判定部３９２は、位置ずれ調整後の撮像結果Ｂ３７１に基づいてワークＷを良否判定すると共に、ワークＷを投入位置Ｐ１へ戻す（ステップＳ３１０：Ｎｏ、ステップＳ１９０・Ｓ２００）。
In this way, the
以下では、図２７を参照し、上述した位置ずれの検知及び補正（ステップＳ３１０～Ｓ３３０）についての具体例を説明する。 Hereinafter, specific examples of the above-mentioned misalignment detection and correction (steps S310 to S330) will be described with reference to FIG. 27.
上述の如く、図２７（ａ）は、機器の位置ずれが生じた状態で第一孔部Ｗ１１を撮像した結果Ｂ３７１（第一ボアスコープ７１での撮像結果）である。図２７（ａ）に示すように、位置ずれが生じると、第一孔部Ｗ１１の中心Ｃ３１１は、撮像結果Ｂ３７１の中心Ｐ３７１に対してずれる。また、機器の位置ずれが徐々に大きくなると、中心Ｐ３７１・Ｃ３１１の距離Ｌ３１１は、徐々に大きくなる。 As described above, FIG. 27A is a result B371 (imaging result with the first borescope 71) of the first hole portion W11 in a state where the position of the device is displaced. As shown in FIG. 27 (a), when the position shift occurs, the center C311 of the first hole portion W11 shifts with respect to the center P371 of the imaging result B371. Further, as the misalignment of the device gradually increases, the distance L311 between the centers P371 and C311 gradually increases.
ステップＳ３１０（位置ずれの検知）において、検知部３９４は、直近数十回の検査で第一孔部Ｗ１１を撮像した結果Ｂ３７１を位置ずれ検知ＤＮＮ３９７に入力し、このような距離Ｌ３１１の増加、すなわち位置ずれの傾向を確認する。位置ずれ検知ＤＮＮ３９７は、位置ずれの傾向を抽出し、位置ずれの有無を判定する。例えば、位置ずれ検知ＤＮＮ３９７は、位置ずれの傾向から、ズレ量が大きい（良否判定に影響がある程度に大きい）と判断した場合に、位置ずれがあるとの判定結果を出力する（ステップＳ３１０：Ｙｅｓ）。
In step S310 (positional deviation detection), the
この場合、検知部３９４は、ステップＳ３２０において、今回（直近のステップＳ１７０・Ｓ１８０）の検査で撮像された撮像結果Ｂ３７１を解析し、第一孔部Ｗ１１の中心Ｃ３１１の座標を算出する。そして、検知部３９４は、座標の算出結果に基づいて、撮像結果Ｂ３７１の中心Ｐ３７１と第一孔部Ｗ１１の中心Ｃ３１１との距離Ｌ３１１を算出する。また、検知部３９４は、撮像結果Ｂ３７１の中心Ｐ３７１に対して第一孔部Ｗ１１の中心Ｃ３１１がずれている方向（ズレの向き、図２７（ａ）では左方）を算出する。検知部３９４は、こうして算出した位置ずれの向き及び距離Ｌ３１１を、表示装置に出力する。こうして検知部３９４は、位置ずれの向き等の算出結果を作業者等へ報知する。
In this case, in step S320, the
その後、調整部３８１は、位置ずれの向き及びズレ量の算出結果に基づいて、撮像結果Ｂ３７１の中心Ｐ３７１と第一孔部Ｗ１１の中心Ｃ３１１が一致するように多軸ロボット４０を制御する（図２７（ｂ）参照、ステップＳ３３０）。こうして調整部３８１は、ロボット座標を補正して機器の位置ずれを調整（補正）する。このようにして、検知部３９４及び調整部３８１による位置ずれの検知及び調整の処理が完了する。
After that, the adjusting unit 381 controls the
このように、検知部３９４は、ワークＷの良否判定に用いられる撮像結果Ｂ３７１を用いて機器の位置ずれを検知することができる。これにより、検査を中断することなく位置ずれを検知可能となり、作業性を向上させることができる。特に本実施形態では、単純な位置ずれの量（距離Ｌ３１１（図２７（ａ）参照））ではなく、位置ずれの変化の傾向から位置ずれの有無を判断しているため、より適切なタイミングで位置ずれの調整（ステップＳ３３０）を行うことができる。
In this way, the
また、検知部３９４は、ゲイン補正後（ステップＳ１６０後）の撮像結果Ｂ３７１を用いて位置ずれを検知している。これにより、検知部３９４は、第一孔部Ｗ１１を確認し易い（ゲイン補正後の）撮像結果Ｂ３７１を用いて、位置ずれを精度よく検知することができる。また、検知部３９４は、第一孔部Ｗ１１の中心Ｃ３１１を精度よく算出できるため、位置ずれの向き及びズレ量を精度よく算出することができる。
Further, the
また、良否判定部３９２は、位置ずれ調整後にワークＷを撮像した結果Ｂ３７１等に基づいて良否判定を行う（ステップＳ３３０・Ｓ３４０・Ｓ２００）。これにより、良否判定部３９２は、良否判定の精度を向上させることができる。
Further, the pass /
以上の如く、第三実施形態に係る検査装置３０１は、ワークＷを撮像位置へ移動させる多軸ロボット４０（移動部）と、前記撮像位置において前記ワークＷを撮像部７０で撮像し、当該撮像結果Ｂ３７１に基づいて前記ワークＷを良否判定することで前記ワークＷを検査する制御部３８０及び良否判定部３９２（検査部）と、前記撮像部７０で撮像された複数の前記ワークＷの撮像結果Ｂ３７１に基づいて、前記撮像部７０及び前記ワークＷの位置ずれを検知する検知部３９４と、を具備するものである。
As described above, in the
このように構成することにより、機器の位置ずれを検知することができる。また、検査を中断することなく位置ずれを検知可能となり、作業性を向上させることができる。 With this configuration, it is possible to detect the misalignment of the device. In addition, misalignment can be detected without interrupting the inspection, and workability can be improved.
また、前記検知部３９４は、複数の前記ワークＷの撮像結果Ｂ３７１及び前記位置ずれの関係を学習した位置ずれ検知ＤＮＮ３９７（学習モデル）を用いて位置ずれを検知するものである。
Further, the
このように構成することにより、精度よく位置ずれを検知することができる。 With this configuration, it is possible to detect the positional deviation with high accuracy.
また、前記検知部３９４は、前記位置ずれを検知した場合に（ステップＳ３１０：Ｙｅｓ）、前記撮像結果Ｂ３７１に基づいて前記位置ずれの向き及びズレ量を算出し、当該算出結果を報知するものである（ステップＳ３２０）。
Further, when the
このように構成することにより、検知部３９４からの報知結果に基づいて作業者等が位置ずれの向き及びズレ量を把握できるため、位置ずれを元に戻す作業（メンテナンス作業）を短時間で行うことができる。
With this configuration, the operator or the like can grasp the direction of the misalignment and the amount of misalignment based on the notification result from the
また、前記検査装置３０１は、前記位置ずれの向き及び前記ズレ量の算出結果に基づいて前記位置ずれを調整する調整部３８１をさらに具備するものである。
Further, the
このように構成することにより、ワークＷと撮像部７０との位置を合わせてワークＷを撮像可能となり（ステップＳ３３０・Ｓ３４０）、良否判定の精度を向上させることができる。 With this configuration, the work W can be imaged by aligning the positions of the work W and the image pickup unit 70 (steps S330 and S340), and the accuracy of the pass / fail judgment can be improved.
また、前記撮像部７０の撮像結果Ｂ３７１に基づいて、前記撮像部７０のゲインを前記ワークＷごとに補正する補正部３９１（第二補正部）をさらに具備し、前記検知部３９４は、前記補正部３９１で補正されたゲインで前記ワークＷを撮像した結果に基づいて、前記位置ずれを検知するものである。
Further, a correction unit 391 (second correction unit) that corrects the gain of the
このように構成することにより、撮像結果Ｂ３７１でワークＷを確認し易くなるため、位置ずれを精度よく検知することができる。 With such a configuration, it becomes easy to confirm the work W in the image pickup result B371, so that the positional deviation can be detected with high accuracy.
また、以上の如く、第三実施形態に係る検査方法は、撮像部７０でワークＷを撮像し、当該撮像結果Ｂ３７１に基づいて前記ワークＷを良否判定部３９２（判定部）で良否判定することで前記ワークＷを検査する検査工程（ステップＳ１７０～Ｓ２００）と、前記撮像部７０で撮像された複数の前記ワークＷの撮像結果Ｂ３７１に基づいて、前記撮像部７０及び前記ワークＷの位置ずれを検知する検知工程（ステップＳ３１０）と、を含むものである。
Further, as described above, in the inspection method according to the third embodiment, the work W is imaged by the
このように構成することにより、機器の位置ずれを検知することができる。 With this configuration, it is possible to detect the misalignment of the device.
なお、第三実施形態に係る多軸ロボット４０は、移動部の実施の一形態である。
また、第三実施形態に係る制御部３８０及び良否判定部３９２は、検査部の実施の一形態である。
また、第三実施形態に係る位置ずれ検知ＤＮＮ３９７は、学習モデルの実施の一形態である。
また、第三実施形態に係る補正部３９１は、第二補正部の実施の一形態である。
また、第三実施形態に係る良否判定部３９２は、判定部の実施の一形態である。
The
Further, the
Further, the position shift detection DNN397 according to the third embodiment is an embodiment of the learning model.
Further, the
Further, the
以上、本発明の第三実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。 Although the third embodiment of the present invention has been described above, the present invention is not limited to the above configuration, and various modifications can be made within the scope of the invention described in the claims.
例えば、位置ずれ検知ＤＮＮ３９７は、教師あり学習により学習されるものとしたが（図２５（ｂ）参照）、学習の手法は特に限定されるものではなく、例えば、教師なし学習等により学習されるものであってもよい。 For example, the misalignment detection DNN397 is learned by supervised learning (see FIG. 25 (b)), but the learning method is not particularly limited, and is learned by, for example, unsupervised learning. It may be a thing.
また、検知部３９４は、位置ずれ検知ＤＮＮ３９７を用いて位置ずれを検知したが、位置ずれを検知する手法は特に限定されるものではない。例えば、検知部３９４は、中間層が１つのニューラルネットワークを用いて位置ずれを検知してもよい。また、検知部３９４は、ニューラルネットワークではなく、予め撮像された基準画像を用いて位置ずれを検知してもよい。この場合、検知部３９４は、例えば、基準画像と撮像結果Ｂ３７１との差異を抽出し、当該抽出結果に基づいて位置ずれを検知することができる。
Further, although the
また、ＰＣ３９０（検知部３９４）は、撮像結果Ｂ３７１に基づいて位置ずれの向き及びズレ量を算出したが（図２７（ａ）参照）、位置ずれの向き等を算出する手法は、特に限定されるものではない。ＰＣ３９０は、例えば、撮像結果Ｂ３７１に加えて、製造ロットを利用して位置ずれの向き等を算出してもよい。以下、具体的に説明する。
Further, the PC 390 (detection unit 394) calculated the direction of the misalignment and the amount of the misalignment based on the image pickup result B371 (see FIG. 27A), but the method of calculating the direction of the misalignment and the like is particularly limited. It's not something. For example, the
ワークＷは、鋳造によって製造される場合、例えば、取鍋ごとに異なる製造ロットが付与される。ＰＣ３９０は、こうして付与された製造ロットのワークＷを初めて検査する場合に、ステップＳ１７０・Ｓ１８０で撮像した結果に基づいて、製造ロットに応じたワークＷの特徴（例えば、撮像結果Ｂ３７１の中心Ｐ３７１及び第一孔部Ｗ１１の中心Ｃ３１１の位置関係等）を抽出する。
When the work W is manufactured by casting, for example, a different manufacturing lot is given to each ladle. When the work W of the production lot thus assigned is inspected for the first time, the
ＰＣ３９０は、こうして抽出した前記特徴に基づいて、製造ロットごとに位置ずれの向き等を補正する。例えば、ＰＣ３９０は、ある製造ロットの最初に検査を行ったワークＷから、第一孔部Ｗ１１の中心Ｃ３１１が撮像結果Ｂ３７１の中心Ｐ３７１に対して所定方向に所定距離ずれているとの特徴を抽出した場合、その後行われる同じ製造ロットのワークＷの検査では、当該特徴に基づいてステップＳ３２０で算出した位置ずれの向き及びズレ量を補正する。
Based on the above-mentioned features extracted in this way, the
以上の如く、前記ワークＷは、鋳造によって製造され、前記検査装置３０１は、前記ワークＷの製造ロットごとに前記ワークＷの特徴を抽出するＰＣ３９０（抽出部）と、前記抽出結果に基づいて、前記位置ずれの向き及びズレ量の算出結果を前記製造ロットごとに補正するＰＣ３９０（第一補正部）と、をさらに具備するものである。
As described above, the work W is manufactured by casting, and the
このように構成することにより、位置ずれの向き及びズレ量を精度よく算出することができる。 With this configuration, the direction of misalignment and the amount of misalignment can be calculated accurately.
なお、上述した製造ロットごとに位置ずれの向き等を調整するＰＣ３９０は、抽出部及び第一補正部の実施の一形態である。
The
なお、ＰＣ３９０は、必ずしも位置ずれの向き及びズレ量を算出する必要はない。例えば、位置ずれの有無だけを検知し（ステップＳ３１０）、その旨を作業者に報知することも可能である。報知を受けた作業者は、機器を点検して位置ずれの向き等を確認することができる。また、ＰＣ３９０は、必ずしもゲインを補正する補正部３９１を具備する必要はない。また、制御部３８０は、必ずしも調整部３８１を具備する必要はない。例えば、作業者が手作業にてゲインや位置ずれを補正（調整）することも可能である。
The
次に、図２８から図３０を参照し、第四実施形態に係る検査装置４０１及び検査方法について説明する。
Next, the
第四実施形態に係る検査装置４０１は、多軸ロボット４０及び撮像部７０等の機器が揺れた場合に機器の位置ずれが発生しているかを判定する点で、第一実施形態に係る検査装置１と大きく相違する。まず、揺れに起因する機器の位置ずれについて説明する。
The
例えば地震等の比較的大きな揺れが生じた場合、多軸ロボット４０等の各機器の位置ずれが生じるおそれがある。この状態でワークＷの検査を行うと、撮像部７０の撮像結果Ｂ４７１の中心に対して第一孔部Ｗ１１等の中心の位置が大きくずれ（図２７（ａ）参照）、良否判定の精度が悪化する可能性がある。
For example, when a relatively large shaking such as an earthquake occurs, there is a possibility that the position of each device such as the
そこで、第四実施形態に係る検査装置４０１は、ワークＷの検査を行うのに加えて、上述した揺れに起因する機器の位置ずれを検知可能に構成されている。以下、具体的に説明する。なお、第一実施形態に係る検査装置１と同様に構成される部材については、第一実施形態と同一の符号を付し、その説明を省略する。
Therefore, the
図２８に示す第四実施形態に係る検査装置４０１は、加速度センサ５００を具備する点と、ＰＣ４９０の構成が異なる点とで第一実施形態に係る検査装置１（図３参照）と相違する。
The
図２８に示す加速度センサ５００は、機器に対する揺れを検知するためのものである。加速度センサ５００は、区画部材１０（図１参照）の所定箇所等に設けられる。加速度センサ５００は、揺れの大きさ及び方向をそれぞれ検知することができる。加速度センサ５００は、制御部８０と接続され、揺れの検知結果Ｂ５００を制御部８０へ送信することができる。また、加速度センサ５００は、制御部８０を介して揺れの検知結果Ｂ５００をＰＣ４９０へ送信することができる。
The acceleration sensor 500 shown in FIG. 28 is for detecting shaking with respect to the device. The acceleration sensor 500 is provided at a predetermined position of the partition member 10 (see FIG. 1). The acceleration sensor 500 can detect the magnitude and direction of the shaking, respectively. The acceleration sensor 500 is connected to the
ＰＣ４９０は、補正部４９１、良否判定部４９２、作成部４９３、位置ずれ判定部４９４及び推定部４９５を具備する。
The
補正部４９１は、撮像部７０のゲイン（感度）を補正するためのものであり、第一実施形態に係る補正部９１と同様に構成される。良否判定部４９２は、ワークＷの良否判定を行うためのものであり、第一実施形態に係る良否判定部９２と同様に構成される。作成部４９３は、後述する良否判定ＤＮＮ４９７が反応した度合いを示すヒートマップＨ（図２３（ａ）参照）を作成するためのものであり、第一実施形態に係る作成部９３と同様に構成される。
The
位置ずれ判定部４９４は、機器の位置ずれが発生しているか否かを判定するためのものである。位置ずれ判定部４９４の処理については後述する。
The
推定部４９５は、位置ずれに関する情報を推定するためのものである。位置ずれに関する情報とは、位置ずれがどのように発生しているのかを示すための情報であり、具体的には、位置ずれが生じた機器、ズレの向き及びズレ量等である。推定部４９５の処理については後述する。
The
上述の如く構成されるＰＣ４９０には、入力層、複数の中間層及び出力層を具備するＤＮＮ（図９参照）が複数構築される。具体的には、ＰＣ４９０には、良否判定ＤＮＮ４９７、位置ずれ判定ＤＮＮ４９８及び情報推定ＤＮＮ４９９が構築される。
A plurality of DNNs (see FIG. 9) including an input layer, a plurality of intermediate layers, and an output layer are constructed in the
良否判定ＤＮＮ４９７は、ワークＷの良否判定を行うためのものであり、第一実施形態に係るＤＮＮ１００と同様に構成される。すなわち、良否判定ＤＮＮ４９７は、第一孔部Ｗ１１等（撮像箇所）を撮像部７０で撮像した結果Ｂ４７１（図２９（ａ）参照）と、良否判定の結果との関係を予め学習している。また、良否判定ＤＮＮ４９７は、撮像部７０での撮像結果Ｂ４７１が入力されると、良品及び不良品の確率を示すスコアと、良品及び不良品の判定結果とを出力することができる（図２０（ｂ）参照）。
The quality determination DNN497 is for determining the quality of the work W, and is configured in the same manner as the DNN100 according to the first embodiment. That is, the pass / fail determination DNN497 has learned in advance the relationship between the result B471 (see FIG. 29 (a)) in which the first hole portion W11 or the like (imaging location) is imaged by the
位置ずれ判定ＤＮＮ４９８は、揺れが発生した場合に機器の位置ずれが発生しているか否かを判定するためのものである。上述の如く、機器の位置ずれが発生すると、撮像結果Ｂ４７１の中心に対して第一孔部Ｗ１１等の中心がずれる。この際、揺れの特徴（方向、大きさ等）と機器の位置ずれ（方向、大きさ等）には相関関係があると考えられる。そこで、位置ずれ判定ＤＮＮ４９８は、このような揺れの特徴から、機器の位置ずれを検知可能となるように、適宜学習が行われている。 The misalignment determination DNN498 is for determining whether or not the misalignment of the device has occurred when the shaking occurs. As described above, when the position of the device is displaced, the center of the first hole portion W11 or the like is displaced with respect to the center of the imaging result B471. At this time, it is considered that there is a correlation between the characteristics of shaking (direction, size, etc.) and the positional deviation of the device (direction, size, etc.). Therefore, the misalignment determination DNN498 is appropriately learned so that the misalignment of the device can be detected from the characteristics of such shaking.
より詳細には、図２９に示すように、加速度センサ５００の検知結果Ｂ５００（揺れの方向や大きさ）及び撮像結果Ｂ４７１（例えば、第一孔部Ｗ１１の最初の撮像箇所の撮像結果）を含む学習データＡ４００と、位置ずれの有無（答え）とを位置ずれ判定ＤＮＮ４９８に入力し、出力側へ情報を受け渡す。これにより、位置ずれ判定ＤＮＮ４９８は、揺れの検知結果Ｂ５００及び撮像結果Ｂ４７１（揺れが収まった後の撮像結果）から位置ずれの傾向（揺れる方向に応じた中心のずれ等）を抽出し、位置ずれが発生しているか否か判定可能となっている。 More specifically, as shown in FIG. 29, the detection result B500 (direction and magnitude of shaking) of the acceleration sensor 500 and the imaging result B471 (for example, the imaging result of the first imaging portion of the first hole portion W11) are included. The learning data A400 and the presence / absence (answer) of the misalignment are input to the misalignment determination DNN498, and the information is passed to the output side. As a result, the misalignment determination DNN498 extracts the tendency of misalignment (center misalignment according to the swing direction, etc.) from the shaking detection result B500 and the imaging result B471 (imaging result after the shaking has subsided), and the misalignment is determined. It is possible to determine whether or not the occurrence of.
情報推定ＤＮＮ４９９は、上述した位置ずれに関する情報（位置ずれが生じた機器等）を推定するためのものである。情報推定ＤＮＮ４９９は、揺れ方に着目し、位置ずれに関する情報を推定可能に構成される。以下、具体的に説明する。 The information estimation DNN499 is for estimating the information regarding the above-mentioned misalignment (equipment in which the misalignment has occurred, etc.). The information estimation DNN499 pays attention to the shaking method and is configured to be able to estimate information regarding the misalignment. Hereinafter, a specific description will be given.
揺れの特徴（方向、大きさ等）と位置ずれが生じる機器（その揺れに対してどの機器でどのような位置ずれが発生し易いか）には相関関係があると考えられる。例えば、第一ボアスコープ７１等は、上方から下方へ垂れ下がるように設けられているため（図２９（ａ）参照）、横に揺れた場合に位置ずれが生じ易いものと考えられる。そこで、情報推定ＤＮＮ４９９は、このような揺れ方に応じた機器の位置ずれの傾向（ずれ易い機器等の特徴）を抽出可能となるように、適宜学習が行われている。具体的には、上述した学習データＡ４００及び位置ずれに関する情報（答え）を情報推定ＤＮＮ４９９（入力層）に入力し、出力側へ情報を受け渡す（図２９（ｂ）参照）。これにより、情報推定ＤＮＮ４９９は、揺れ方に応じた機器の位置ずれの傾向（揺れ易い機器等）を抽出し、位置ずれに関する情報を推定可能となっている。
It is considered that there is a correlation between the characteristics of shaking (direction, magnitude, etc.) and the equipment that causes misalignment (what kind of misalignment is likely to occur in which equipment with respect to the shaking). For example, since the
上述の如く構成される検査装置４０１は、加速度センサ５００が揺れを検知した場合に、図３０に示すような判定処理を行う。以下、判定処理について説明する。
When the acceleration sensor 500 detects shaking, the
判定処理は、機器の位置ずれが発生しているか否かを判定するための処理である。判定処理は、加速度センサ５００が所定の閾値を超える大きさの揺れを検知した場合に行われる。また、判定処理は、ワークＷの検査（第一実施形態で説明したステップＳ１００～Ｓ２００）に割り込む形で行われる。 The determination process is a process for determining whether or not a position shift of the device has occurred. The determination process is performed when the acceleration sensor 500 detects a vibration having a magnitude exceeding a predetermined threshold value. Further, the determination process is performed by interrupting the inspection of the work W (steps S100 to S200 described in the first embodiment).
加速度センサ５００が揺れを検知すると、制御部８０は、当該揺れが収まるまで（加速度センサ５００が揺れを検知しなくなるまで）、搬送スライダ２０、昇降スライダ３０、多軸ロボット４０、芯ずれ補正部５０、干渉チェック部６０及び撮像部７０の動作を一時的に停止させる（ステップＳ４１０）。
When the acceleration sensor 500 detects the shaking, the
揺れが収まると、制御部８０は、撮像部７０でのワークＷの撮像を再開する（ステップＳ４２０）。このとき、制御部８０は、上述したステップＳ１００～Ｓ２００のうち、良否判定（ステップＳ２００）以外の処理を再開する。すなわち、制御部８０は、第一実施形態で説明したワークＷの搬送（ステップＳ１１０）や補正部４９１でのゲインの補正（ステップＳ１６０）等を行う。そして、制御部８０は、多軸ロボット４０等によってワークＷを撮像可能な位置（撮像位置、図２９（ａ）参照）まで移動して撮像部７０でワークＷを撮像し、ワークＷを投入位置Ｐ１（図１参照）へ戻す（ステップＳ１９０）。
When the shaking subsides, the
このように、ステップＳ４２０において、良否判定部４９２は、制御部８０からの指示に基づいてワークＷの良否判定を保留する。また、位置ずれ判定部４９４は、制御部８０からの指示に基づいて保留されたワークＷの数（以下、「保留数」と称する）を集計する。
As described above, in step S420, the
その後、位置ずれ判定部４９４は、位置ずれ判定ＤＮＮ４９８を用いて位置ずれの有無を判定する（ステップＳ４３０）。このとき、位置ずれ判定部４９４は、揺れの検知結果Ｂ５００及びステップＳ４２０で撮像した撮像結果Ｂ４７１を位置ずれ判定ＤＮＮ４９８に入力する。位置ずれ判定ＤＮＮ４９８は、入力された撮像結果Ｂ４７１から上述した位置ずれの傾向（揺れの方向に応じた中心のずれ等）を抽出し、位置ずれが発生しているか否かの判定結果を出力する。
After that, the
また、ステップＳ４３０において、推定部４９５は、情報推定ＤＮＮ４９９を用いて位置ずれに関する情報、すなわち位置ずれが生じた機器、ズレ量及びズレの向き等を推定する。このとき、推定部４９５は、揺れの検知結果Ｂ５００及びステップＳ４２０で撮像した撮像結果Ｂ４７１を情報推定ＤＮＮ４９９に入力し、位置ずれに関する情報を推定する。
Further, in step S430, the
位置ずれを判定後に、ＰＣ４９０は、表示装置に位置ずれの判定結果を出力し、作業者等へ報知する（ステップＳ４４０）。また、ＰＣ４９０は、位置ずれに関する情報の推定結果や良否判定を保留していることも表示装置に出力する。
After determining the misalignment, the
作業者は、当該報知を受けた場合、表示装置に示された位置ずれの判定結果等を確認し、各機器の点検や調整を行うことができる。作業者は、各機器の点検等を行い、良否判定が再開できると判断すれば、制御部８０に設けられた入力装置を適宜操作して、良否判定を再開するように指示を出す（ステップＳ４５０：Ｙｅｓ）。これによって良否判定が保留されていたワークＷの良否判定が良否判定部４９２によって行われ、その後、引き続きワークＷの検査（ステップＳ１００～Ｓ２００）が行われる。
Upon receiving the notification, the operator can check the position deviation determination result and the like shown on the display device, and inspect and adjust each device. If the operator inspects each device and determines that the pass / fail judgment can be restarted, the operator appropriately operates the input device provided in the
一方、作業者から所定時間指示がない場合（ステップＳ４５０：Ｎｏ）、位置ずれ判定部４９４は、保留数が所定の閾値（例えば、１０個）を超えたか否かを確認する（ステップＳ４７０）。仮に保留数が所定の閾値以下である場合（ステップＳ４７０：Ｎｏ）、引き続き撮像部７０でのワークＷの撮像が行われ、保留数が増加する。そして、位置ずれ判定部４９４は、作業者からの指示を待つ（ステップＳ４２０～Ｓ４４０）。
On the other hand, when there is no instruction for a predetermined time from the operator (step S450: No), the
一方、位置ずれ判定部４９４は、保留数が所定の閾値を超えた場合に（ステップＳ４７０：Ｙｅｓ）、ステップＳ４３０で推定した各ワークＷのズレ量が所定の閾値未満であるか否かを確認する（ステップＳ４８０）。各ワークＷのズレ量が所定の閾値未満である場合（ステップＳ４８０：Ｙｅｓ）、制御部８０は、良否判定部４９２による良否判定を再開させる（ステップＳ４６０）。こうして、揺れが生じてもズレ量が少ない、すなわち良否判定の精度が悪化しないと考えられる場合には、作業者の指示を受けることなくワークＷの検査を再開させる。
On the other hand, the
一方、ズレ量が所定の閾値以上である場合（ステップＳ４８０：Ｎｏ）、制御部８０は、搬送スライダ２０等の動作を停止する（ステップＳ４９０）。また、制御部８０は、所定の表示部に動作を停止した旨のメッセージや位置ずれに関する情報等を表示させると共にスピーカから警告音を出力させ、動作を停止したことを作業者に報知する。こうして判定処理が終了する。
On the other hand, when the deviation amount is equal to or more than a predetermined threshold value (step S480: No), the
このように、判定処理では、機器等が揺れた場合に位置ずれが発生しているかを確認することができる（ステップＳ４３０）。これにより、位置ずれが発生した場合に、当該位置ずれに速やかに対応可能となる（ステップＳ４５０～Ｓ４９０）。 In this way, in the determination process, it is possible to confirm whether or not the position shift has occurred when the device or the like shakes (step S430). As a result, when a misalignment occurs, the misalignment can be quickly dealt with (steps S450 to S490).
また、位置ずれ判定部４９４は、ゲイン補正後（ステップＳ１６０後）の撮像結果Ｂ４７１を用いて機器の位置ずれを判定している。これにより、位置ずれ判定部４９４は、第一孔部Ｗ１１を確認し易い（ゲイン補正後の）撮像結果Ｂ４７１を用いて、位置ずれを精度よく判定することができる。また、推定部４９５は、ゲイン補正後の撮像結果Ｂ４７１を用いることで、位置ずれに関する情報を推定し易くなる。
Further, the
以上の如く、第四実施形態に係る検査装置４０１は、ワークＷを所定位置へ移動させる多軸ロボット４０（移動部）と、前記所定位置に移動された前記ワークＷを撮像する撮像部７０と、前記撮像部７０の撮像結果Ｂ４７１に基づいて前記ワークＷの良否判定を行う良否判定部４９２（第一判定部）と、前記多軸ロボット４０及び前記撮像部７０を含む機器に対する揺れを検知する加速度センサ５００（検知部）と、前記加速度センサ５００が揺れを検知した場合に前記ワークＷを前記撮像部７０で撮像した結果に基づいて、前記機器の位置ずれが発生しているか否かを判定する位置ずれ判定部４９４（第二判定部）と、を具備するものである。
As described above, the
このように構成することにより、加速度センサ５００が揺れを検知した場合に機器の位置ずれを確認できる。 With this configuration, it is possible to confirm the positional deviation of the device when the acceleration sensor 500 detects shaking.
また、前記位置ずれ判定部４９４は、前記撮像結果Ｂ４７１及び前記機器の位置ずれの関係を学習した位置ずれ判定ＤＮＮ４９８（第一学習モデル）を用いて位置ずれが発生しているか否かを判定するものである。
Further, the
このように構成することにより、撮像結果Ｂ４７１から位置ずれの特徴を抽出し、精度よく位置ずれを判定することができる。 With this configuration, the characteristics of the misalignment can be extracted from the image pickup result B471, and the misalignment can be determined with high accuracy.
また、前記位置ずれ判定部４９４は、前記ワークＷに形成された第一孔部Ｗ１１（孔部）を前記撮像部７０で撮像した結果Ｂ４７１に基づいて、前記機器の位置ずれが発生しているか否かを判定するものである（ステップＳ４２０～Ｓ４４０）。
Further, whether the
このように構成することにより、良否判定すべきワークＷを用いて位置ずれを判定することができ、利便性を向上させることができる。 With such a configuration, it is possible to determine the positional deviation using the work W to be judged as good or bad, and it is possible to improve the convenience.
また、前記多軸ロボット４０、前記撮像部７０、前記良否判定部４９２及び前記位置ずれ判定部４９４の動作を制御する制御部８０をさらに具備し、前記制御部８０は、前記加速度センサ５００が揺れを検知した場合に、前記良否判定部４９２による前記ワークＷの良否判定を保留すると共に、前記位置ずれ判定部４９４により前記機器の位置ずれが発生しているか否かを判定するものである（ステップＳ４２０～Ｓ４４０）。
Further, the
このように構成することにより、位置ずれが生じた状態でワークＷの良否判定の結果が出るのを防止して、良否判定の精度が悪化するのを抑制することができる。 With such a configuration, it is possible to prevent the result of the quality determination of the work W from being obtained in the state where the position shift occurs, and it is possible to suppress the deterioration of the accuracy of the quality determination.
また、前記制御部８０は、良否判定が保留された前記ワークＷの数が所定数に達した場合に（ステップＳ４７０：Ｙｅｓ）、前記多軸ロボット４０、前記撮像部７０及び前記良否判定部４９２の動作を停止させるものである（ステップＳ４９０）。
Further, when the number of the work W for which the pass / fail judgment is suspended reaches a predetermined number (step S470: Yes), the
このように構成することにより、良否判定を保留するワークＷの数が過剰に多くなるのを防止することができる。 With such a configuration, it is possible to prevent the number of work Ws for which the pass / fail judgment is suspended from becoming excessively large.
また、前記位置ずれ判定部４９４は、前記撮像部７０の撮像結果Ｂ４７１に基づいて前記機器のズレ量を算出し（ステップＳ４３０）、前記制御部８０は、良否判定が保留された前記ワークＷの数が所定数に達しても、前記機器のズレ量の算出結果が所定の閾値未満である場合（ステップＳ４７０：Ｙｅｓ、ステップＳ４８０：Ｙｅｓ）、前記良否判定部４９２による前記ワークＷの良否判定を再開させるものである（ステップＳ４６０）。
Further, the
このように構成することにより、位置ずれが比較的小さい（所定の閾値未満である）場合に、ワークＷの良否判定をスムーズに再開させることができる。 With this configuration, when the positional deviation is relatively small (less than a predetermined threshold value), the quality determination of the work W can be smoothly restarted.
また、前記位置ずれ判定部４９４は、前記撮像部７０の撮像結果Ｂ４７１及び前記加速度センサ５００の検知結果Ｂ５００に基づいて、前記機器の位置ずれが発生しているか否かを判定するものである。
Further, the position
このように構成することにより、撮像結果Ｂ４７１に加えて揺れの検知結果Ｂ５００を用いることで、精度よく位置ずれを検知することができる。 With this configuration, the position shift can be detected with high accuracy by using the shaking detection result B500 in addition to the image pickup result B471.
また、前記加速度センサ５００の検知結果Ｂ５００に基づいて、位置ずれが生じた前記機器、ズレの向き及びズレ量を含む位置ずれに関する情報を推定する推定部４９５をさらに具備するものである。
Further, it further includes an
このように構成することにより、どの機器がどの程度位置ずれしているのか判断する情報（位置ずれに関する情報）を作業者等へ提供できるため、位置ずれを元に戻す作業を短時間で行うことができる。 With this configuration, it is possible to provide workers, etc. with information to determine which device is misaligned to what extent (information about misalignment), so the work to restore the misalignment can be performed in a short time. Can be done.
また、前記推定部４９５は、前記加速度センサ５００の検知結果Ｂ５００及び前記位置ずれに関する情報の関係を学習した情報推定ＤＮＮ４９９（第二学習モデル）を用いて、前記位置ずれに関する情報を推定するものである。
Further, the
このように構成することにより、検知結果Ｂ５００から特徴を抽出し、位置ずれに関する情報を精度よく推定することができる。 With this configuration, features can be extracted from the detection result B500, and information on the misalignment can be estimated accurately.
また、前記撮像部７０の撮像結果Ｂ４７１に基づいて、前記ワークＷを撮像する際の前記撮像部７０のゲインを補正する補正部４９１をさらに具備し、前記位置ずれ判定部４９４は、前記補正部４９１で補正されたゲインで撮像された結果に基づいて位置ずれが発生しているか否かを判定するものである（ステップＳ４２０～Ｓ４４０）。
Further, a
このように構成することにより、撮像結果Ｂ４７１でワークＷを確認し易くなるため、位置ずれが発生しているか否かを精度よく判定することができる。 With such a configuration, it becomes easy to confirm the work W in the image pickup result B471, and it is possible to accurately determine whether or not the position shift has occurred.
また、以上の如く、第四実施形態に係る検査方法は、多軸ロボット４０によりワークＷを所定位置へ移動させる移動工程（ステップＳ１００～Ｓ１８０）と、前記所定位置に移動された前記ワークＷを撮像部７０で撮像する撮像工程（ステップＳ１７０・Ｓ１８０）と、前記撮像部７０の撮像結果Ｂ４７１に基づいて、良否判定部４９２（第一判定部）により前記ワークＷの良否判定を行う第一判定工程（ステップＳ２００）と、前記多軸ロボット４０及び前記撮像部７０を含む機器に対する揺れを加速度センサ５００により検知する検知工程と、前記検知工程で揺れを検知した場合に前記ワークＷを前記撮像部７０で撮像した結果に基づいて、前記機器の位置ずれが発生しているか否かを位置ずれ判定部４９４（第二判定部）により判定する第二判定工程（ステップＳ４３０）と、を含むものである。
Further, as described above, the inspection method according to the fourth embodiment includes a moving step (steps S100 to S180) in which the work W is moved to a predetermined position by the
このように構成することにより、加速度センサ５００が揺れを検知した場合に機器の位置ずれを確認できる。 With this configuration, it is possible to confirm the positional deviation of the device when the acceleration sensor 500 detects shaking.
なお、第四実施形態に係る多軸ロボット４０は、移動部の実施の一形態である。
また、第四実施形態に係る良否判定部４９２は、第一判定部の実施の一形態である。
また、第四実施形態に係る加速度センサ５００は、検知部の実施の一形態である。
また、第四実施形態に係る位置ずれ判定部４９４は、第二判定部の実施の一形態である。
また、第四実施形態に係る位置ずれ判定ＤＮＮ４９８は、第一学習モデルの実施の一形態である。
また、第四実施形態に係る情報推定ＤＮＮ４９９は、第二学習モデルの実施の一形態である。
The
Further, the
Further, the acceleration sensor 500 according to the fourth embodiment is an embodiment of the detection unit.
Further, the position
Further, the position shift determination DNN498 according to the fourth embodiment is an embodiment of the first learning model.
Further, the information estimation DNN499 according to the fourth embodiment is an embodiment of the second learning model.
以上、本発明の第四実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。 Although the fourth embodiment of the present invention has been described above, the present invention is not limited to the above configuration, and various modifications can be made within the scope of the invention described in the claims.
例えば、ＰＣ４９４は、個別に用意した２つのＤＮＮ（位置ずれ判定ＤＮＮ４９８及び情報推定ＤＮＮ４９９）を用いて、位置ずれの判定及び位置ずれに関する情報の推定をそれぞれ個別に行ったが、これに限定されるものではなく、共通のＤＮＮを用いて位置ずれの判定及び位置ずれに関する情報の推定を併せて行ってもよい。 For example, the PC494 uses two individually prepared DNNs (positional deviation determination DNN498 and information estimation DNN499) to individually determine the positional deviation and estimate the information related to the positional deviation, but the present invention is limited to this. Instead of using a common DNN, the determination of the misalignment and the estimation of the information regarding the misalignment may be performed at the same time.
また、位置ずれ判定部４９４は、位置ずれ判定ＤＮＮ４９８を用いて位置ずれを判定したが（ステップＳ４３０）、位置ずれを判定する手法は特に限定されるものではない。例えば、位置ずれ判定部４９４は、中間層が１つのニューラルネットワークを用いて位置ずれを判定してもよい。また、位置ずれ判定部４９４は、ニューラルネットワークではなく、予め撮像された基準画像を用いて位置ずれを検知してもよい。この場合、位置ずれ判定部４９４は、例えば、基準画像と撮像結果Ｂ４７１との差異を抽出し、当該抽出結果に基づいて位置ずれを検知することができる。
Further, although the
また、推定部４９５は、情報推定ＤＮＮ４９９を用いて位置ずれに関する情報を推定したが（ステップＳ４３０）、位置ずれに関する情報を推定する手法は特に限定されるものではない。例えば、推定部４９５は、中間層が１つのニューラルネットワークを用いて位置ずれに関する情報を推定してもよい。また、推定部４９５は、ニューラルネットワークではなく、予め撮像された基準画像を用いて位置ずれに関する情報を推定してもよい。この場合、推定部４９５は、例えば、基準画像と撮像結果Ｂ４７１との差異を抽出し、当該抽出結果に基づいて位置ずれに関する情報を推定することができる。
Further, although the
また、ＰＣ４９４は、位置ずれを判定可能であれば、その他の構成は特に限定されるものではない。したがって、ＰＣ４９４は、必ずしもゲインを補正する補正部４９１及び位置ずれに関する情報を推定する推定部４９５を具備しなくてもよい。
Further, the
また、位置ずれ判定部４９４は、良否判定されるワークＷを用いて位置ずれを判定したが、位置ずれの判定時に撮像する対象は、必ずしも良否判定されるワークＷである必要はない。例えば、位置ずれ判定部４９４は、多軸ロボット４０を調整（ティーチング）する際の基準となるワークＷ（基準物）を撮像して、位置ずれを判定してもよい。
Further, although the
以上の如く、前記位置ずれ判定部４９４は、前記機器の位置ずれの判定の基準となる基準物を前記撮像部７０で撮像した結果に基づいて、前記機器の位置ずれが発生しているか否かを判定するものである。
As described above, the
このように構成することにより、精度よく位置ずれを判定することができる。 With this configuration, the positional deviation can be determined with high accuracy.
また、判定処理においては、保留数が所定の閾値を超えた場合にズレ量の確認等を行ったが（ステップＳ４７０：Ｙｅｓ、ステップＳ４８０）、保留数が所定の閾値を超えた場合の処理は特に限定されるものではない。例えば、保留数が所定の閾値を超えた場合に（ステップＳ４７０：Ｙｅｓ）、ズレ量の大小に関わらず、動作を停止させてもよい。 Further, in the determination process, the amount of deviation was confirmed when the number of holds exceeded a predetermined threshold value (step S470: Yes, step S480), but the process when the number of holds exceeded a predetermined threshold was performed. It is not particularly limited. For example, when the number of holdings exceeds a predetermined threshold value (step S470: Yes), the operation may be stopped regardless of the amount of deviation.
１ 検査装置
７０ 撮像部
９２ 良否判定部
１００ ＤＮＮ（学習モデル）
Ｂ７１・Ｂ７２ 撮像結果
Ｗ ワーク
Ｗ１１ 第一孔部（孔部）
Ｗ１２ 第二孔部（孔部）
Ｗ１３ 第三孔部（孔部）
1
B71 / B72 Imaging result W work W11 1st hole (hole)
W12 second hole (hole)
W13 Third hole (hole)
Claims (9)
前記移動部により前記ワークが移動されることで、当該ワークに形成された孔部に当該孔部の一方側及び他方側から挿入可能であり、前記孔部に挿入された状態で、前記一方側及び前記他方側のそれぞれから当該孔部の所定の撮像箇所を撮像可能な撮像部と、
学習済みの学習モデルに前記撮像部の撮像結果を入力することで、前記ワークの良否判定を行う判定部と、
を具備する、
検査装置。 A moving part that is composed of a multi-axis robot and moves the work,
By moving the work by the moving portion, the work can be inserted into the hole formed in the work from one side and the other side of the hole, and the one side can be inserted into the hole. And an imaging unit capable of imaging a predetermined imaging location of the hole from each of the other side .
By inputting the imaging result of the imaging unit into the learned learning model, the determination unit that determines the quality of the work and the determination unit
Equipped with
Inspection equipment.
良品と判定されるべき前記ワークの前記孔部を前記撮像部で撮像した結果と、不良品と判定されるべき前記ワークの前記孔部を前記撮像部で撮像した結果と、をディープラーニングにより学習している、
請求項１に記載の検査装置。 The learning model is
Deep learning learns the result of imaging the hole of the work to be judged as a non-defective product by the imaging unit and the result of imaging the hole of the work to be determined to be defective by the imaging unit. is doing,
The inspection device according to claim 1.
請求項２に記載の検査装置。 Further, a creating unit for creating a heat map showing the degree to which the learning model reacts to the imaging result of the imaging unit is provided.
The inspection device according to claim 2.
前記孔部に挿入された状態で、自身の軸線方向を向いて前記孔部を撮像する第一撮像部と、
前記孔部に挿入された状態で、自身の軸線方向及び前記軸線方向に対して直交する方向に対して傾斜する方向を向いて前記孔部を撮像する第二撮像部と、
が含まれる、
請求項１から請求項３までのいずれか一項に記載の検査装置。 The image pickup unit
A first image pickup unit that, while being inserted into the hole portion, takes an image of the hole portion while facing its own axis direction.
A second image pickup unit that images the hole portion in a state of being inserted into the hole portion and facing a direction inclined with respect to its own axial direction and a direction orthogonal to the axial direction.
Is included,
The inspection device according to any one of claims 1 to 3.
前記ワークの前記孔部に挿入された状態で、自身の軸線方向に対して直交する方向を向いて前記孔部を撮像可能な第三撮像部がさらに含まれる、
請求項４に記載の検査装置。 The image pickup unit
A third image pickup unit capable of imaging the hole portion in a state of being inserted into the hole portion of the work and facing a direction orthogonal to its own axial direction is further included.
The inspection device according to claim 4.
請求項１から請求項５までのいずれか一項に記載の検査装置。 A correction unit that corrects the gain of the image pickup unit for each work based on the image pickup result of the image pickup unit is further provided.
The inspection device according to any one of claims 1 to 5.
請求項１から請求項６までのいずれか一項に記載の検査装置。 A processing unit that performs image processing on the image pickup result of the image pickup unit is further provided.
The inspection device according to any one of claims 1 to 6.
前記検査装置は、
前記ワークの製造ロットごとに前記ワークの特徴を抽出する抽出部と、
前記抽出部の抽出結果に基づいて、前記撮像部の撮像に関するパラメータ又は前記判定部の判定に関するパラメータの少なくともいずれか一方を、前記製造ロットごとに調整する調整部と、
をさらに具備する、
請求項１から請求項７までのいずれか一項に記載の検査装置。 The work is manufactured by casting and
The inspection device is
An extraction unit that extracts the characteristics of the work for each production lot of the work,
An adjusting unit that adjusts at least one of the parameters related to the imaging of the imaging unit and the parameters related to the determination of the determination unit for each production lot based on the extraction result of the extraction unit.
Further equipped,
The inspection device according to any one of claims 1 to 7.
前記移動部により前記ワークを移動させることで、当該ワークに形成された孔部に当該孔部の一方側及び他方側から撮像部を挿通し、前記孔部に挿入された状態で、前記一方側及び前記他方側のそれぞれから当該孔部の所定の撮像箇所を前記撮像部により撮像する撮像工程と、
学習済みの学習モデルに前記撮像部の撮像結果を入力することで、前記ワークの良否判定を行う判定工程と、
を含む、
検査方法。 A moving process in which the work is moved by a moving part composed of a multi-axis robot ,
By moving the work by the moving portion, the imaging unit is inserted from one side and the other side of the hole into the hole formed in the work, and the one side is inserted into the hole. And an imaging step in which a predetermined imaging portion of the hole is imaged by the imaging unit from each of the other sides .
A determination step of determining the quality of the work by inputting the imaging result of the imaging unit into the learned learning model, and
including,
Inspection methods.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020209147A JP7101235B2 (en) | 2020-12-17 | 2020-12-17 | Inspection equipment and inspection method |
| JP2022107883A JP7281586B2 (en) | 2020-12-17 | 2022-07-04 | Inspection device and inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020209147A JP7101235B2 (en) | 2020-12-17 | 2020-12-17 | Inspection equipment and inspection method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022107883A Division JP7281586B2 (en) | 2020-12-17 | 2022-07-04 | Inspection device and inspection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022096187A JP2022096187A (en) | 2022-06-29 |
| JP7101235B2 true JP7101235B2 (en) | 2022-07-14 |
Family
ID=82163989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020209147A Active JP7101235B2 (en) | 2020-12-17 | 2020-12-17 | Inspection equipment and inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7101235B2 (en) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009257979A (en) | 2008-04-18 | 2009-11-05 | Japan Aerospace Exploration Agency | Method and device for inspecting inside of hole |
| JP2013117463A (en) | 2011-12-05 | 2013-06-13 | Ihi Corp | Flaw detection device and flaw detection method of inspection object surface |
| JP2014178328A (en) | 2010-05-31 | 2014-09-25 | Tohoku Electric Power Co Inc | Steel pipe internal corrosion analyzer and steel pipe internal corrosion analysis method |
| JP2015513071A (en) | 2012-01-31 | 2015-04-30 | シーメンス エナジー インコーポレイテッド | System and method for automatic optical inspection of industrial gas turbines and other generators using a multi-axis inspection scope |
| JP2016523661A (en) | 2013-07-01 | 2016-08-12 | エンドチョイス インコーポレイテッドＥｎｄｏｃｈｏｉｃｅ， Ｉｎｃ． | Circuit board assembly for multi-view element endoscope |
| JP2017190985A (en) | 2016-04-12 | 2017-10-19 | 新日鐵住金株式会社 | Tubular body inner surface inspection apparatus, tubular body inner surface inspection method, drift gage, and drift inspection method |
| JP2018179812A (en) | 2017-04-14 | 2018-11-15 | アイシン精機株式会社 | Hole inside inspection device, and hole inside inspection method |
| CN110648310A (en) | 2019-08-30 | 2020-01-03 | 上海理工大学 | Weak supervision casting defect identification method based on attention mechanism |
| JP2020501154A (en) | 2016-12-07 | 2020-01-16 | ケーエルエー コーポレイション | Data Augmentation for Defect Inspection Based on Convolutional Neural Network |
| KR20200039049A (en) | 2018-10-02 | 2020-04-16 | (주)지엘테크 | Inspection method for appearance badness and inspection system for appearance badness |
| US20200167905A1 (en) | 2018-11-27 | 2020-05-28 | General Electric Company | Fluorescent penetrant inspection system and method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6225242A (en) * | 1985-07-26 | 1987-02-03 | Hitachi Ltd | Device for checking inside of vessel |
-
2020
- 2020-12-17 JP JP2020209147A patent/JP7101235B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009257979A (en) | 2008-04-18 | 2009-11-05 | Japan Aerospace Exploration Agency | Method and device for inspecting inside of hole |
| JP2014178328A (en) | 2010-05-31 | 2014-09-25 | Tohoku Electric Power Co Inc | Steel pipe internal corrosion analyzer and steel pipe internal corrosion analysis method |
| JP2013117463A (en) | 2011-12-05 | 2013-06-13 | Ihi Corp | Flaw detection device and flaw detection method of inspection object surface |
| JP2015513071A (en) | 2012-01-31 | 2015-04-30 | シーメンス エナジー インコーポレイテッド | System and method for automatic optical inspection of industrial gas turbines and other generators using a multi-axis inspection scope |
| JP2016523661A (en) | 2013-07-01 | 2016-08-12 | エンドチョイス インコーポレイテッドＥｎｄｏｃｈｏｉｃｅ， Ｉｎｃ． | Circuit board assembly for multi-view element endoscope |
| JP2017190985A (en) | 2016-04-12 | 2017-10-19 | 新日鐵住金株式会社 | Tubular body inner surface inspection apparatus, tubular body inner surface inspection method, drift gage, and drift inspection method |
| JP2020501154A (en) | 2016-12-07 | 2020-01-16 | ケーエルエー コーポレイション | Data Augmentation for Defect Inspection Based on Convolutional Neural Network |
| JP2018179812A (en) | 2017-04-14 | 2018-11-15 | アイシン精機株式会社 | Hole inside inspection device, and hole inside inspection method |
| KR20200039049A (en) | 2018-10-02 | 2020-04-16 | (주)지엘테크 | Inspection method for appearance badness and inspection system for appearance badness |
| US20200167905A1 (en) | 2018-11-27 | 2020-05-28 | General Electric Company | Fluorescent penetrant inspection system and method |
| CN110648310A (en) | 2019-08-30 | 2020-01-03 | 上海理工大学 | Weak supervision casting defect identification method based on attention mechanism |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022096187A (en) | 2022-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4257570B2 (en) | Transfer robot teaching device and transfer robot teaching method | |
| KR100772843B1 (en) | Apparatus and method to align wafer | |
| JP2014526706A (en) | Non-contact type component inspection apparatus and component inspection method | |
| JP2010076054A (en) | Robot apparatus and control method of robot apparatus | |
| JP2001252883A (en) | Movable robot system | |
| JP2012211836A (en) | Burr detecting device and burr detecting method | |
| CN113189010A (en) | Part detection mechanism based on machine vision and use method thereof | |
| JP2010025615A (en) | Automatic inspection system of spot welding | |
| JP7101235B2 (en) | Inspection equipment and inspection method | |
| JP7101236B2 (en) | Inspection equipment and inspection method | |
| JP7036896B1 (en) | Inspection equipment and inspection method | |
| US10712288B2 (en) | Surface damage inspection system for workpiece | |
| JP7281586B2 (en) | Inspection device and inspection method | |
| JP7143388B2 (en) | Inspection methods | |
| JP2022096186A (en) | Inspection device and inspection method | |
| JP2022096185A (en) | Inspection device and inspection method | |
| JP3019005B2 (en) | LSI handler | |
| KR102316281B1 (en) | Parts production apparatus | |
| KR20230046037A (en) | Wafer inspection system | |
| JP5897213B2 (en) | Optical sensor inspection system and optical sensor inspection method | |
| JP2006100729A (en) | Ball inspecting method in wire bonding | |
| IL312939A (en) | Automatic teaching of substrate handling for production and process control tools | |
| KR102554169B1 (en) | Inspection method for via-hole of the wafer | |
| JP3405175B2 (en) | Device and method for mounting conductive balls | |
| KR20210057238A (en) | Apparatus for Inspection of product combined with Autonomous Vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210709 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220704 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7101235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |