JP2020003452A - 検査装置、検査方法、および、検査装置用のプログラム - Google Patents

Abstract

【課題】検査部分が複雑な形状をしていても、精度よく検査できる検査装置、検査方法、検査装置用のプログラムを提供する。【解決手段】検査装置１０が、検査対象Ｔを撮影した画像データを取得し（Ｓ１）、画像データの画素の明るさが第１閾値以上である第１領域を抽出し（Ｓ２）、画素の明るさが第２閾値以下である第２領域を抽出し（Ｓ３）、第１領域と第２領域とから検査領域Ｒを生成し（Ｓ４）、検査領域Ｒにおいて、画像データを検査する（Ｓ５）。【選択図】図３

Description

本発明は、検査装置、検査方法、および、検査装置用のプログラムに関する。

従来、複雑な形状を持つ包装箱を検査する装置では、検査領域はＣＡＤデータを画像に変換し、設定することで実現している。例えば、特許文献１には、被検査対象物を打ち抜く木枠の打ち抜き面のＤＸＦデータを画像データに変換し、変換された木枠画像データと、良否判定の基準となるマスタ画像データを表示部に表示し、表示部に表示されたマスタ画像に対応させて、木枠画像のサイズ及び位置を変更して、被検査対象物を打ち抜く状態を想定した打ち抜き想定画像を作成し、打ち抜き想定画像に基づいて、検査領域と検査不要領域とを区分した検査枠データを作成する検査枠作成方法が開示されている。

特開２００８−７４０６９号公報

しかし、上記従来技術のＤＸＦデータは、ＣＡＤデータという設計値であるため、打ち抜きされた現物と比較すると若干のズレが生じてしまう。また、搬送時にバタツキがあると撮像した画像とＣＡＤデータの差はさらに広がってしまうため、検査時に誤検出する原因となっていた。食品用ラップフィルムの箱等は、紙面にラップ切断用のカット刃部分が接着されている。カット刃部分は、特に複雑な形状をしており、検査領域の指定は容易ではない。特に、検査したい部分の端に欠陥がある場合、十分に検査ができなかった。

そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、検査対象の検査部分が複雑な形状をしていても、精度よく検査できる検査装置等を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、検査対象を撮影した画像データを取得する取得手段と、前記画像データの画素の明るさが第１閾値以上である第１領域を抽出する第１領域抽出手段と、前記画素の明るさが第２閾値以下である第２領域を抽出する第２領域抽出手段と、前記第１領域と前記第２領域とから検査領域を生成する検査領域生成手段と、前記検査領域において、前記画像データを検査する検査手段と、を備えることを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の検査装置において、前記検査領域が、前記第１領域と前記第２領域とを足し合わせた領域であることを特徴とする。

また、請求項３に記載の発明は、請求項１または請求項２に記載の検査装置において、前記検査領域が、前記第１領域の近傍領域と前記第２領域の近傍領域とを含むことを特徴とする。

また、請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の検査装置において、前記検査手段が、前記画素の明るさが第３閾値以下である領域の大きさが、所定の大きさ以上の場合、前記検査対象が不良品であると判定することを特徴とする。

また、請求項５に記載の発明は、取得手段が、検査対象を撮影した画像データを取得する取得ステップと、第１領域抽出手段が、前記画像データの画素の明るさが第１閾値以上である第１領域を抽出する第１領域抽出ステップと、第２領域抽出手段が、前記画素の明るさが第２閾値以下である第２領域を抽出する第２領域抽出ステップと、検査領域生成手段が、前記第１領域と前記第２領域とから検査領域を生成する検査領域生成ステップと、検査手段が、前記検査領域において、前記画像データを検査する検査ステップと、を含むことを特徴とする。

また、請求項６に記載の発明は、コンピュータを、検査対象を撮影した画像データを取得する取得手段、前記画像データの画素の明るさが第１閾値以上である第１領域を抽出する第１領域抽出手段、前記画素の明るさが第２閾値以下である第２領域を抽出する第２領域抽出手段、前記第１領域と前記第２領域とから検査領域を生成する検査領域生成手段、および、前記検査領域において、前記画像データを検査する検査手段として機能させることを特徴とする。

本発明によれば、画像データの画素の明るさが第１閾値以上である第１領域を抽出し、画素の明るさが第２閾値以下である第２領域を抽出し、第１領域と第２領域とから検査領域を生成しているので、第１領域により主に検査したい部分の領域を抽出でき、第２領域により欠陥がある可能性がある領域を取り込めるので、検査領域がより正確に設定でき、検査対象の検査部分の形状にかかわらず、検査対象を精度よく検査できる。

本発明の実施形態に係る検査システムの概要構成例を示す模式図である。 図１の検査装置の概要構成例を示す模式図である。 検査装置の動作例を示すフローチャートである。 検査対象を撮影した画像の一例を示す模式図である。 検査対象を撮影した画像の一例を示す模式図である。 検査対象を撮影した画像の一例を示す模式図である。 第１領域の一例を示す模式図である。 第１領域の一例を示す模式図である。 第１領域の一例を示す模式図である。 第２領域の一例を示す模式図である。 第２領域の一例を示す模式図である。 第２領域の一例を示す模式図である。 第２領域の一例を示す模式図である。 第２領域の一例を示す模式図である。 第２領域の一例を示す模式図である。 検査領域の一例を示す模式図である。 検査領域の一例を示す模式図である。 検査領域の一例を示す模式図である。 検査領域における検査対象の画像の一例を示す模式図である。 検査領域における検査対象の画像の一例を示す模式図である。 検査領域における検査対象の画像の一例を示す模式図である。

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、検査システムに対して本発明を適用した場合の実施形態である。

［１．検査システム１の構成および機能概要］
まず、本発明の一実施形態に係る検査システムの構成および概要機能について、図１を用いて説明する。

図１は、本発明の実施形態に係る検査システムの概要構成例を示す模式図である。

図１に示すように、検査システム１は、搬送装置（図示せず）に搬送された検査対象Ｔを検査する検査装置１０と、検査対象Ｔの表面を照明する照明装置（図示せず）により照明された検査対象Ｔを撮影する撮影装置２０と、を備えている。

検査対象Ｔは、例えば、食品用ラップフィルム等を収納する組み立て前の包装箱である。包装箱は、ロール紙などの原反に印刷し、金型などで外形を打抜いた後、箱として成形される。食品用ラップフィルムの包装箱の場合、外形を打抜いた紙面にラップ切断用のカット刃が接着された後に、成形される。カット刃が接着された後の成形前の対象が、主な検査対象になる。

検査装置１０と、撮影装置２０と、搬送装置と、照明装置とは、データを送受信したり、指令を送信したりするためのケーブルにより接続されていて、撮影装置２０等は、検査装置１０により制御される。

検査装置１０は、コントローラ（例えば、プログラマブルロジックコントローラ）として、照明装置の照明、および、撮影装置２０による撮影を制御する。また、検査装置１０は、撮影装置２０からの画像データを画像処理する。

撮影装置２０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮影素子を有するカラーまたは白黒のデジタルカメラである。撮影装置２０は、検査対象Ｔの撮影範囲をカバーしやすいように、複数設定されていてもよい。

照明装置は、例えば、蛍光灯、ＬＥＤ（Light Emitting Diode）素子等の発光体が好ましい。照明装置は、検査装置１０によりＯＮ−ＯＦＦや照度が制御される。照明装置が、斜めから光を照らして、検査対象Ｔ上の埃や紙くずの陰が生じて目立つようにしてもよい。

（１．２ 検査装置１０の構成および機能）
次に、検査装置１０の構成および機能について、図２を用いて説明する。
図２は、検査装置１０の概要構成例を示すブロック図である。

図２に示すように、検査装置１０は、例えば、パーソナルコンピュータやプログラマブルロジックコントローラ等である。検査装置１０は、記憶部１１と、表示部１２と、操作部１３と、入出力インターフェース部１４と、システム制御部１５とを備えている。そして、システム制御部１５と入出力インターフェース部１４とは、システムバス１６を介して接続されている。また、入出力インターフェース部１４は、撮影装置２０等に接続されている。

記憶部１１は、例えば、ハードディスクドライブ、シリコンディスクドライブ等からなり、オペレーティングシステム、制御用のプログラム、検査用のプログラム等を記憶する。

表示部１２は、例えば、液晶表示素子または有機ＥＬ（Electro Luminescence）素子等によって構成されている。表示部１２には、検査システム１の制御するための入力情報や検査結果等が表示される。

操作部１３は、例えば、キーボードおよびマウス等によって構成されている。ユーザは、操作部１３を使用して、検査システム１の制御するための入力情報を入力する。

入出力インターフェース部１４は、記憶部１１等とシステム制御部１５とのインターフェースである。

システム制御部１５は、例えば、ＣＰＵ（Central Processing Unit）１５ａと、ＲＯＭ（Read Only Memory）１５ｂと、ＲＡＭ（Random Access Memory）１５ｃとを有する。システム制御部１５は、ＣＰＵ１５ａが、ＲＯＭ１５ｂや、ＲＡＭ１５ｃや、記憶部１１に記憶された各種プログラムを読み出して実行する。なお、これらのプログラムを記憶した記録媒体等をシステム制御部１５が読み出し実行してもよい。

［２．検査システムの動作］
次に、本発明の１実施形態に係る検査システムの動作について図３から図９を用いて説明する。

図３は、検査装置１０の動作例を示すフローチャートである。図４Ａから図４Ｃは、検査対象を撮影した画像の一例を示す模式図である。図５Ａから図５Ｃは、第１領域の一例を示す模式図である。図６Ａから図６Ｃは、第２領域の一例を示す模式図である。図７Ａから図７Ｃは、第２領域の一例を示す模式図である。図８Ａから図８Ｃは、検査領域の一例を示す模式図である。図９Ａから図９Ｃは、検査領域における検査対象の画像の一例を示す模式図である。

まず、再生紙製の原反に印刷が施され、金型で外形を打抜いた包装箱の本体部分に、カット刃が接着された検査対象Ｔが、搬送装置により、撮影装置２０の撮影領域に向けて搬送されてくる。ここで、カット刃は、例えば、紙製、プラスチック製等である。カット刃の色は、包装箱の本体部分に対して、白色等の明るい色である。また、撮影領域は、検査対象Ｔにおけるカット刃部分が主になる。検査対象Ｔには、それぞれ検査対象ＩＤが割り振られている。

次に、検査装置１０が、検査対象Ｔが搬送されたことを、搬送装置からの信号を受信し、検査装置１０からの指令により、撮影装置２０は、照明装置により照明された検査対象Ｔを、所定の撮影領域で撮影する。

次に、図３に示すように、検査装置１０は、検査対象の画像データを取得する（ステップＳ１）。具体的には、検査装置１０のシステム制御部１５が、撮影装置２０から検査対象の画像データを取得する。図４Ａから図４Ｃに示すように、システム制御部１５が、画像データを取得する。

ここで、図４Ａに示すように、撮影領域の画像３０は、カット刃部分の領域ｒ１と、包装箱の本体部分の領域ｒ２とを有する。

図４Ｂの画像例は、カット刃部分の端にある欠陥部分ｓ１と、カット刃部分の内部にある欠陥部分ｓ２とが存在するケースである。画像３０において、欠陥部分ｓ１は、カット刃部分の領域ｒ１の端に存在し、欠陥部分ｓ２は、領域ｒ１の内部に存在する。

図４Ｃの画像例は包装箱の本体部分にある欠陥部分ｓ３が存在するケースである。画像３０において、欠陥部分ｓ３は、領域ｒ２の内部に存在する。

なお、欠陥は、塵、紙の切れ端や、機械の油等である。欠陥部分ｓ３は、油汚れ等の比較的大きな欠陥を示している。

このように、検査装置１０は、検査対象を撮影した画像データを取得する取得手段の一例として機能する。

次に、検査装置１０は、画素の明るさが第１閾値以上の第１領域を抽出する（ステップＳ２）。具体的には、システム制御部１５が、画像３０をスキャンして、画素の明るさが第１閾値以上の画素を集めて、第１領域とする。図５Ａに示すように、欠陥がない場合、画像３１において領域ｒ１が第１領域として抽出される。図５Ｂに示すように、欠陥がある場合、カット刃部分の領域ｒ１に、欠陥部分ｓ１の領域ｒｓ１を加え、欠陥部分ｓ２の領域ｒｓ２を差し引いた領域ｒ３が、第１領域として抽出される。図５Ｃに示すように、本体部分にある欠陥部分ｓ３がある場合、カット刃部分の領域ｒ１が、第１領域として抽出される。

なお、画像３１において、抽出された部分は、白色で表現し、抽出されなかった部分は黒色に表現してある。システム制御部１５が、第１領域の画素の座標を記憶しておけばよい。システム制御部１５が、画素の明るさが第１閾値以上の画素に対してラベリング処理をしてもよい。また、画素の明るさに関して、明るさは、輝度、明度でもよく、カラーの場合、ＲＧＢ等の色の成分の色毎の値でもよい。

ここで、第１領域は、良品を前提として作成した検査領域に該当する。第１閾値は、注意深く検査したいカット刃部分の領域ｒ１が抽出されるように、値に設定されることが好ましい。第１閾値により、再生紙等に含まれるゴミのようなパターンを含む包装箱の本体部分が抽出されにくくなる。また、第１閾値により、暗い、または陰がある欠陥部分ｓ１、ｓ２、ｓ３も除去される。なお、明るさを示す範囲が０から２５５の場合、第１閾値は、例えば、１２０以上である。

なお、システム制御部１５が、前処理として、フィルタでノイズを除去してもよいし、クロージング処理をしてもよい。システム制御部１５が、画像３０から画素の明るさが第１閾値以上の画素を求めてから、クロージング処理をして第１領域を抽出してもよい。

また、検査装置１０は、カット刃部分の領域ｒ１の明るさが、例えば、１５０±２０の範囲に収まっているか否かを判定してもよい。カット刃部分の領域ｒ１の明るさが外れている場合、検査装置１０は、正常に検査領域を作成できない恐れがあるため、欠陥の有無にかかわらずＮＧとして判定してもよい。このカット刃部分の領域ｒ１の明るさは、カット刃部分の領域ｒ１の領域全体の平均値でもよいし、カット刃部分の領域ｒ１の一部の代表的な領域でもよい。検査装置１０は、ステップＳ２の前に、カット刃部分の領域ｒ１の明るさを判定してもよいし、ステップＳ２の後に判定してもよい。

このように、検査装置１０は、前記画像データの画素の明るさが第１閾値以上である第１領域を抽出する第１領域抽出手段の一例として機能する。

次に、検査装置１０は、画素の明るさが第２閾値以下の第２領域を抽出する（ステップＳ３）。具体的には、システム制御部１５が、画像３０をスキャンして、画素の明るさが第２閾値以下の画素を集めて、第２領域とする。図６Ａに示すように、欠陥がない場合、第２領域が抽出されない。図５Ｂに示すように、欠陥がある場合、欠陥部分ｓ１の領域ｒｓ１と、欠陥部分ｓ２の領域ｒｓ２とが、第２領域として抽出される。図６Ｃに示すように、本体部分にある欠陥部分ｓ３がある場合、欠陥部分ｓ３の領域ｒｓ３が、第２領域として抽出される。

なお、図７Ａから図７Ｃには、図６Ａから図６Ｃの画像３２の白黒を反転させた画像３３で第２領域である領域ｒｓ１、領域ｒｓ２、領域ｒｓ３を示している。また、システム制御部１５が、画像３０から画素の明るさが第２閾値以下の画素を求めてから、クロージング処理をして第２領域を抽出してもよい。

ここで、第２閾値は、比較的色が濃い欠陥部分の領域が抽出されるように、値に設定されることが好ましい。第２閾値により、第１領域以外で検査する必要の可能性がある領域が広がる。なお、明るさを示す範囲が０から２５５の場合、第２閾値は、例えば、５０以下である。また、カット刃部分の欠陥部分ｓ１の明るさは、３０前後であることが多い。

なお、検査装置１０は、包装箱の本体部分の領域ｒ２の明るさが、例えば、９０±２０の範囲に収まっているか否かを判定してもよい。本体部分の領域ｒ２の明るさが外れている場合、検査装置１０は、正常に検査領域を作成できない恐れがあるため、欠陥の有無にかかわらずＮＧとして判定してもよい。包装箱の本体部分の領域ｒ２の明るさは、本体部分の領域ｒ２の領域全体の平均値でもよいし、本体部分の領域ｒ２の一部の代表的な領域でもよい。検査装置１０は、ステップＳ３の前に、本体部分の領域ｒ２の明るさを判定してもよいし、ステップＳ３の後に判定してもよい。

このように、検査装置１０は、前記画素の明るさが第２閾値以下である第２領域を抽出する第２領域抽出手段の一例として機能する。

次に、検査装置１０は、第１領域と第２領域とから検査領域を生成する（ステップＳ４）。具体的には、システム制御部１５が、第１領域と第２領域とを足し合わせ、検査領域を生成する。

図４Ａに示すように、欠陥がない場合、画像３２または画像３３の第２領域は０であるので、図８Ａに示すように、画像３１の領域ｒ１に０を足し合わせ、領域ｒ１と同じ検査領域Ｒとなる。図４Ｂに示すように、欠陥がある場合、領域ｒｓ２は領域ｒ１に含まれ、領域ｒｓ１は領域ｒ１と一部重なるので、図８Ｂに示すように、領域ｒ１と、領域ｒ１からはみ出した領域ｒｓ１の部分とが合わさった検査領域Ｒとなる。図４Ｃに示すように、欠陥がある場合、領域ｒｓ３は、領域ｒ１と重ならないので、図８Ｃに示すように、領域ｒ１と領域ｒｓ３とが合わさった検査領域Ｒとなる。

図８Ｂに示すように、第１領域の一例である領域ｒ１の端にある欠陥がある可能性がある部分を取り込んだ検査領域Ｒが生成される。また、図８Ｃに示すように、比較的大きめの欠陥がある可能性がある部分が加わった検査領域Ｒが生成される。これらのように、検査領域が、欠陥の大きさに合わせて拡大される。

このように、検査装置１０は、前記第１領域と前記第２領域とから検査領域を生成する検査領域生成手段の一例として機能する。

次に、検査装置１０は、検査領域において画像データを検査する（ステップＳ５）。具体的には、システム制御部１５が、画像３０において、検査領域Ｒのみをスキャンして、欠陥があるか否かを精査して検査対象Ｔを検査する。より具体的には、システム制御部１５が、検査領域Ｒのみをスキャンして、画素の明るさが第３閾値以下である画素を集めた領域の大きさが、所定の大きさ以上の場合、検査対象Ｔが不良品であると判定し、検査対象Ｔの検査対象ＩＤに関連づけて、記憶部１１に判定結果を記憶する。なお、検査システム１は、包装箱を成形する工程の前に検査対象Ｔが不良品であると判定された検査対象Ｔを取り除いてもよい。

第３閾値が第２閾値より高いと、少しでも暗い画素が抽出されるので、感度が高くなる。また、カット刃部分の塵等を検出しやすくなる。第３閾値が第２閾値より低いと、暗い画素のみが検出されるので、確実に欠陥であるところを検出しやすくなる。第３閾値と第２閾値とが同じでも、検査領域Ｒにおいて詳細に検査することで、カット刃部分の細かい欠陥等を検出できる。

欠陥と判定する領域の大きさの閾値が低いと、検査領域Ｒにおいて塵等の小さい欠陥を検出できる。欠陥と判定する領域の大きさの閾値が高いと、小さな欠陥は無視され、大きい欠陥を検出できる。

なお、検査領域の周囲の近傍に検査領域を拡大してもよい。システム制御部１５が、例えば、検査領域の画素の４近傍または８近傍に対して、所定回数、膨張処理を行う。

このように、検査装置１０は、前記検査領域において、前記画像データを検査する検査手段の一例として機能する。検査装置１０は、前記画素の明るさが第３閾値以下である領域の大きさが、所定の大きさ以上の場合、前記検査対象が不良品であると判定する検査手段の一例として機能する。

以上、本実施形態によれば、画像データの画素の明るさが第１閾値以上である第１領域を抽出し、画素の明るさが第２閾値以下である第２領域を抽出し、第１領域と第２領域とから検査領域Ｒを生成しているので、第１領域により主に検査したい部分の領域を抽出でき、第２領域により、欠陥がある可能性がある領域を取り込めるので、検査領域Ｒがより正確に設定でき、検査対象の検査部分の形状にかかわらず、検査対象Ｔを精度よく検査できる。シミのような巨大な欠陥や、製品の端や検査したい部分の端に欠陥があっても、領域が欠けることがなく検査領域を生成できるため、検査対象Ｔを精度よく検査できる。従って、不良流出を防止できる。

カット刃部分のように、複雑な形状をしていても検査領域の指定が容易にでき、精度よく検査できる。また、検査領域は製品外形でもよい。

ところで、従来、検査領域に対して十分内側に欠陥がある場合は領域の内側を塗りつぶす処理を加えておけば欠陥の影響を除去することができるが、巨大な欠陥や、製品の端に欠陥や、検査したい部分の端に欠陥があった場合、輪郭が潰れてしまうため、正確に検査領域を作成することができなかった。そのため、従来は、矩形、円などで検査領域を指定する方法と併用することになるが、複雑な形状には対応できず、さらに、バタツキの影響で製品が変形してしまうため、端まで検査領域を指定することができなかった。

検査領域が、第１領域と第２領域とを足し合わせた領域である場合、第２領域により、第１領域を補完できるように、欠陥がある可能性がある領域を取り込めるので、検査領域Ｒがより正確に設定でき、検査対象の検査部分の形状にかかわらず、検査対象Ｔを精度よく検査できる。

検査領域が、第１領域の近傍領域と第２領域の近傍領域とを含む場合、近傍まで検査領域が広がるので、検査領域の境界部分にある欠陥をより検出しやすくなる。

画素の明るさが第３閾値以下である領域の大きさが、所定の大きさ以上の場合、検査対象Ｔが不良品であると判定する場合、検査領域Ｒにおいて改めて、画素の明るさが第３閾値以下の領域の欠陥候補を抽出し、所定の大きさ以上とすることにより、欠陥候補を検出のしやすさを調整でき、かつ、誤って不良品とすることを防止できる。

１：検査システム
１０：検査装置
Ｒ：検査領域

Claims (6)

1. 検査対象を撮影した画像データを取得する取得手段と、
   前記画像データの画素の明るさが第１閾値以上である第１領域を抽出する第１領域抽出手段と、
   前記画素の明るさが第２閾値以下である第２領域を抽出する第２領域抽出手段と、
   前記第１領域と前記第２領域とから検査領域を生成する検査領域生成手段と、
   前記検査領域において、前記画像データを検査する検査手段と、
   を備えることを特徴とする検査装置。
2. 請求項１に記載の検査装置において、
   前記検査領域が、前記第１領域と前記第２領域とを足し合わせた領域であることを特徴とする検査装置。
3. 請求項１または請求項２に記載の検査装置において、
   前記検査領域が、前記第１領域の近傍領域と前記第２領域の近傍領域とを含むことを特徴とする検査装置。
4. 請求項１から請求項３のいずれか１項に記載の検査装置において、
   前記検査手段が、前記画素の明るさが第３閾値以下である領域の大きさが、所定の大きさ以上の場合、前記検査対象が不良品であると判定することを特徴とする検査装置。
5. 取得手段が、検査対象を撮影した画像データを取得する取得ステップと、
   第１領域抽出手段が、前記画像データの画素の明るさが第１閾値以上である第１領域を抽出する第１領域抽出ステップと、
   第２領域抽出手段が、前記画素の明るさが第２閾値以下である第２領域を抽出する第２領域抽出ステップと、
   検査領域生成手段が、前記第１領域と前記第２領域とから検査領域を生成する検査領域生成ステップと、
   検査手段が、前記検査領域において、前記画像データを検査する検査ステップと、
   を含むことを特徴とする検査方法。
6. コンピュータを、
   検査対象を撮影した画像データを取得する取得手段、
   前記画像データの画素の明るさが第１閾値以上である第１領域を抽出する第１領域抽出手段、
   前記画素の明るさが第２閾値以下である第２領域を抽出する第２領域抽出手段、
   前記第１領域と前記第２領域とから検査領域を生成する検査領域生成手段、および、
   前記検査領域において、前記画像データを検査する検査手段として機能させることを特徴とする検査装置用のプログラム。