JP6516884B2 - 結線検査作業支援システム - Google Patents

Description

この発明は、電気機器筺体や計装制御盤等の組立時におけるケーブル結線箇所の検査作業を支援する結線検査作業支援システムに関するものである。

一般にケーブルの結線箇所が多い機器筐体や制御盤などを製作する場合には、作業者が設計図面や作業指示書を参照しながら結線作業を実施した後に、検査者の目視による結線箇所の検査が行われる。
このとき作業者が結線作業に慣れていない場合には、結線を忘れたり（未接続）、誤ったケーブルを結線してしまう（誤結線）といった結線作業ミスが起きやすい。この場合、検査者が異常を発見した後に結線作業のやり直しが必要となり、製作完了までにかかる期間が延びてしまうことがある。

そこで作業者が結線作業をした後に、作業者自身で結線箇所を検査して、不備があればすぐにやり直しできるように、結線箇所を検査する機能を持つ結線検査作業支援システムを導入することが考えられる。
結線箇所を検査するための技術として、視線追跡装置と撮影装置を用いて作業者が目視している位置を撮影し、画像処理を行い、文字を判別してから予め記憶しているデータと比較することにより結線箇所を検査する技術があった（特許文献１参照）。
また、駆動部を有する撮影カメラを用いて図板上に配置されたワイヤーハーネスの外観を撮影し、撮像画像に基づき良否判定をする技術があった（特許文献２参照）。

特開２０１５−６０３３９ 特許第３５３３４９２号

機器筺体や制御盤内部では、ケーブルコネクタの嵌合、スクリューレス端子台でのケーブル結線、あるいは電力ケーブル端子接続などの結線作業が行われる。その場合コスト面や異物混入防止等の理由またはスペース等の制約から、結線するケーブルに対して識別属性である文字、記号ラベルが付かない場合がある。
そして上記特許文献１においては、結線箇所を検査する際に文字識別ラベルのない場合には、適用範囲が限定される。

更には上記特許文献２においては、撮像時には画像のぶれが起きないように撮像カメラと識別ラベル面との距離を一定に保つ必要がある。
また、機器筐体や制御盤内部のケーブルおよびケーブル接続器は、取り付け高さや角度の異なる様々な空間における位置並びに姿勢で配置されている状況がある。このような電源端子や制御基板上のコネクタなどの結線状態を検査する必要があるので、撮像条件範囲が制限される上記特許文献２を適用することは困難である。

この発明は上記のような課題を解決するためになされたものであり、電気機器や制御盤など盤内ケーブル実装後のケーブル結線状態の点検検査作業において、文字識別ラベルのないケーブルならびにコネクタにも適用できる結線検査作業支援システムを提供することを目的とする。

この発明に係る結線検査作業支援システムは、
検査箇所を撮影することができるカメラ端末と、
画像処理に用いるための正規の結線状態を撮影した目標画像データ、上記検査箇所の形状に対応したマスク範囲を含むマスク範囲データ、及び判定閾値を保持する記憶部と、
目標画像データに対してマスク範囲データを論理演算することにより目標特徴量を求めるとともに、マスク範囲データの回転角度を変えてカメラ端末から取得した画像データとマスク範囲データの論理演算をすることにより回転角度毎に特徴量を計算し、目標特徴量との差が最も小さい回転角度における特徴量と目標特徴量との差を評価値として、この評価値と判定閾値とを比較することにより結線作業の判定を行う画像処理部と、
画像処理部からの判定結果を通知する判定結果通知部を備えたものである。

以上のような結線検査作業支援システムによれば、文字を表示していない結線箇所に対しても適用でき、様々な位置および方向に存在する結線箇所を高速かつ正確に検査できる。

実施の形態１による結線検査作業支援システムの実施状況を示す概念図である。 実施の形態１による結線検査作業支援システムにおけるカメラ端末の構成を示す斜視図である。 実施の形態１による結線検査作業支援システムにおける作業者とのやり取りを示すシステム構成を示すブロック図である。 ディスプレイに表示される作業指示画面の一例を示す図である。 作業項目リスト部分の一例を示す図である。 実施の形態１による結線検査作業支援システムの動作を示すフローチャートである。 右側レーザーポインタおよび左側レーザーポインタからのレーザーの交点箇所を示す斜視図である。 画像処理部の処理内容を示すブロック構成図である。 設定画面の一例を示す図である。 作業項目リスト部分の一例を示す図である。 目標設定ダイアログの一例を示す図である。 実施の形態２による結線検査作業支援システムの実施状況を示す概念図である。 実施の形態２による結線検査作業支援システムにおけるカメラ端末の構成を示す斜視図である。

実施の形態１．
図１は実施の形態１による結線検査作業支援システムの実施状況を示す概念図である。結線検査作業支援システム本体１０には、ケーブル１１を介してカメラ端末１２が接続されている。そして作業者４７がカメラ端末１２を携帯して作業を行う。図１においては、結線検査作業支援システムにおいて、ディスプレイ一体型のコンピュータを使用した場合を示しているが、ディスプレイとコンピュータが分かれて、両者がディスプレイ用ケーブル、あるいはＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などの無線通信手段で接続されるようにしてもよい。さらにディスプレイはヘッドマウントディスプレイにより作業者が装着するものであってもよい。ケーブル１１はＵＳＢケーブルなど電力供給と信号伝送を行うものである。ケーブル１１の代わりに信号伝送の目的でＷｉＦｉなどの無線通信手段で接続して、カメラ端末１２にはバッテリを内蔵して電力供給を行うようにしてもよい。

図２はカメラ端末１２の構成を示す斜視図であり、図２（Ａ）はカメラ端末１２の前面部を示す斜視図、図２（Ｂ）はカメラ端末１２の背面部を示す斜視図である。カメラ端末１２は内部にカメラおよび制御基板が設置されており、図２（Ａ）に示すように、前面パネル２０には撮影するためのカメラ開口部２２、照準を合わせるための右側レーザーポインタ２３および左側レーザーポインタ２４、暗所で撮影できるようにするための右側照明２５および左側照明２６を備えている。又図２（Ｂ）に示すように、背面パネル３０には判定結果通知部４６の役割を有する緑色ＬＥＤ３１、黄色ＬＥＤ３２、赤色ＬＥＤ３３およびカメラ端末１２と結線検査作業支援システム本体１０を接続するためのケーブル１１が嵌合されるケーブル接続用ソケット３４を備える。

図３は本実施形態による結線検査作業支援システムにおける作業者４７とのやり取りを示すシステム構成を示すブロック図である。結線検査作業支援システムは作業指示部４１、距離確認部４２、カメラ端末１２、画像処理部４４、記憶部４５、設定部４９、判定結果通知部４６から構成される。そしてカメラ端末１２は対象物（結線箇所）４８を撮影する。図４は作業指示部４１が結線検査作業支援システム本体１０のディスプレイに表示する作業指示画面５０の一例を示すものである。作業項目リスト５１には作業項目の一覧と各作業項目の完了あるいは未完了状態を示すチェックボックスが表示される。図５は図４における作業指示画面５０における作業項目リスト部分の一例を示す図である。作業箇所表示５２には現在作業指示をしている箇所の情報を表示する。作業箇所表示の一例として例えば電気機器筐体Ａ、基板Ｂ、コネクタＣ等が表示される。

外観表示５３には作業箇所の外観が示される。即ち電気機器筐体の中でどの部分の作業をするかなどを作業者が認識できるような画像を表示する。作業要領表示５４には、作業者が作業内容を理解できるように作業要領を表示する。目標画像表示５５には、作業者がカメラ端末１２の位置や方向を変えて取るべき目標画像を表示する。撮影結果表示５６には、カメラ端末１２が撮影した画像データを表示する。作業指示表示５７には作業者に作業内容を伝えるメッセージを表示する。図４においては、例えば「コネクタＣにコネクタＪを差し込む。」等の表示がなされる。判定結果表示５８は判定結果通知部４６の一つであり、作業者に判定結果をＯＫまたはＮＧの文字表示で伝えると共に、画像処理部４４で演算した評価値と、記憶部４５から取得した判定閾値を表示する。判定結果表示５８の一例として例えば以下のようなものがある。
ＮＧ 評価値：１６９ 判定閾値：５０以下

さらに図４の選択ボタン５９、設定ボタン６０、目視ＯＫボタン６１、目視ＮＧボタン６２は、作業者が結線検査作業支援システム本体１０のディスプレイのタッチパネルを押したり、結線検査作業支援システム本体１０におけるマウスでカーソルを動かし該当ボタンを押下したりすることができるボタンである。選択ボタン５９を押下したときには、記憶部４５から作業対象名に関するデータを取得して、作業対象の一覧を表示する。作業対象の一覧から項目を選択すると、選択した作業対象における最初の作業箇所の作業指示内容が作業指示画面５０に表示される。

次に設定ボタン６０を押下したときには、後で図９に基づいて述べる設定画面７０を表示して、作業箇所表示７２、外観表示７３、作業要領表示７４、作業指示表示７７に表示される項目を設定し、更には記憶部４５に登録されている図８において示されるような、目標画像データＤ、マスク範囲データＥ、判定閾値及びこれらのデータ一式を識別するための作業対象名（例えばコネクタＣの接続）をそれぞれ設定し、記憶部４５に登録できるようにする。

目視ＯＫボタン６１を押下したときには、作業者の判断で判定結果をＯＫに設定して、次の作業箇所に移行する。目視ＮＧボタン６２を押下したときには、作業者の判断で判定結果をＮＧに設定して作業を終える。これらのボタンは、設定した目標画像データＤ、マスク範囲データＥ、判定閾値が適切でなかった場合など、画像処理部４４による判定結果がＯＫとならない場合に、作業者の判断で次の作業をしたり、あるいは作業を終えられるようにするために用意されたものである。

図６は本実施形態による結線検査作業支援システムの動作を示すフローチャートであり、作業者側の操作およびシステム側の処理に分けて動作を経時的に示すものである。作業が開始されると（ステップＳ０）、作業者４７はまず作業指示部４１が結線検査作業支援システム本体１０のディスプレイに表示している作業指示画面５０における選択ボタン５９を押下する（ステップＳ１）。結線検査作業支援システム本体１０の作業指示部４１が作業対象の一覧を表示する（ステップＳ１０）ので、作業者４７は一覧から作業対象を選択する（ステップＳ２）。その後作業指示部４１が選択した作業対象の最初の作業項目を表示して（ステップＳ１１）、図５に示されるような作業項目リスト５１の各作業項目を未完了の表示状態（チェックマーク無し）にするので、作業者４７は作業指示画面５０の表示内容を確認する（ステップＳ３）。

作業者は図１に示すように電気機器筐体１５におけるケーブル結線箇所１６のような場所で結線作業をする（ステップＳ４）。結線作業をした後に、カメラ端末１２を手に持ち、ケーブル結線箇所１６にカメラ端末１２を近づけて（ステップＳ５）、例えばケーブル結線箇所１６がカメラ撮像範囲１３に入るようにカメラ端末１２を向ける。カメラ端末１２の右側レーザーポインタ２３および左側レーザーポインタ２４はカメラ撮像範囲１３内で交差するようにレーザーを射出しており、作業者は右側レーザーポインタ２３および左側レーザーポインタ２４からのレーザーの交点が作業指示画面５０に表示される目標画像表示５５上のレーザーポインタ交点３７の箇所に一致するようにカメラ端末１２の位置や方向を調整する。図７は右側レーザーポインタ２３および左側レーザーポインタ２４からのレーザーの交点箇所を示す斜視図である。本実施形態においては、右側レーザーポインタ２３および左側レーザーポインタ２４そのものが距離確認部４２に相当している。

そして距離確認部４２により、作業者４７は対象物４８とカメラ端末１２との間の適切な距離およびカメラ端末１２の所定の位置を設定できるようになっている。作業指示部４１は、対象物４８の写真（目標画像表示５５）と共に右側レーザーポインタ２３および左側レーザーポインタ２４の交点３７を合わせる位置を示す。作業者４７は作業指示部４１により示された位置に、右側レーザーポインタ２３および左側レーザーポインタ２４の交点が合うように、対象物４８とカメラ端末１２の間の距離を合わせることができるため、距離を合わせる作業をより効率的にすることができる。更にカメラ端末１２の視野内の所定の位置に交点を合わせるので、後で説明するように、画像処理部４４において、拡大縮小に加えて、平行移動を考慮することが不要になり、回転移動のみ考慮すればよく、良否判定をより高速かつ正確にすることができる。尚レーザーポインタは３つ以上の複数個を設置するようにしても良い。
このようにして作業者４７がケーブル結線箇所１６にカメラ端末１２を近づける（ステップＳ５）一方、結線検査作業支援システム本体１０においては、画像処理部４４により画像処理をして判定結果を表示する（ステップＳ１２）。

判定結果は判定結果通知部４６によって、作業指示画面５０の判定結果表示５８、およびカメラ端末１２の緑色ＬＥＤ３１、黄色ＬＥＤ３２、赤色ＬＥＤ３３に表示する。画像処理をして判定結果を表示する（ステップＳ１２）とき、検査中であることを示すため、判定結果表示５８の判定結果に「検査中」を表示して、緑色ＬＥＤ３１を消灯、黄色ＬＥＤ３２を点灯、赤色ＬＥＤ３３を消灯する。画像処理部４４が出力する判定結果がＯＫ（良）である場合は、判定結果表示５８の判定結果に「ＯＫ」を表示して評価値と判定閾値の表示を更新して、緑色ＬＥＤ３１を点灯、黄色ＬＥＤ３２を消灯、赤色ＬＥＤ３３を消灯する。同様に画像処理部４４が出力する判定結果がＮＧ（不良）である場合は、判定結果表示５８に「検査中」を表示して、評価値と判定閾値の表示を更新して、緑色ＬＥＤ３１を消灯、黄色ＬＥＤ３２を点灯、赤色ＬＥＤ３３を消灯する。

作業者は緑色ＬＥＤ３１の点灯状態、または作業指示画面５０の判定結果表示５８から、判定結果が「ＯＫ」になることを確認して（ステップＳ６）、次の作業項目があるか否かを確認するためカメラ端末１２のグリップ２１に設けられたスイッチ２７を押下する。このとき次の作業項目があれば（ＹＥＳ）、結線検査作業支援システム本体１０の作業指示部４１は、作業項目リスト５１の該当作業項目を完了の表示状態（チェックマーク有り）にして、次の作業項目の作業指示を表示する（ステップＳ１３）。つぎの作業項目がなければ（ＮＯ）、作業項目リスト５１の全項目は完了状態（全てのチェックボックスにチェックが入った状態）になったことを示しており、作業者は作業を完了する（ステップＳ７）。ここで、スイッチ２７を押下する代わりに、一定時間経過したことを確認して、次の作業項目に進めるようにしてもよい。その場合はスイッチ２７は不要となる。

作業者４７は、ケーブル結線箇所の見直しや、カメラ端末１２の位置および方向の調整をしても、判定結果が「ＯＫ」になることを確認できない場合は、目視ＮＧボタン６２を押下する。このとき判定結果表示５８の判定結果に「ＮＧ」を表示して、緑色ＬＥＤ３１を消灯、黄色ＬＥＤ３２を消灯、赤色ＬＥＤ３３を点灯し、作業者４７は作業を中断する。この後に再度検査を行うには、作業指示画面５０の選択ボタン５９を押下する（ステップ１）ことから始める。

図８は画像処理部４４の処理内容を示すブロック構成図である。図６において、画像処理をして判定結果を表示する（ステップＳ１２）ときに図８に示された処理内容を実施する。尚図８においては、図４に示されたコネクタＣを接続する作業とは別の作業を示しており、具体的には赤配線６５、青配線６６、白配線６７の配線作業について説明するものである。まず記憶部４５から目標画像データＤと、マスク範囲データＥと、判定閾値を取得する。ここで目標画像データＤとは画像処理に用いるための正規の結線状態を撮影した画像である。又マスク範囲データＥは検査箇所の形状に対応したマスク範囲６８Ａ、６８Ｂ、６８Ｃを含むものである。次に目標画像データＤのマスク処理を実施して（ステップＳ２１）、目標画像データＤのマスク範囲の各エリア平均色Ｙを求める。即ち目標画像データＤのそれぞれの赤配線６５Ａ、青配線６６Ａ、白配線６７Ａにおいて、マスク範囲データＥに示されたマスク範囲６８Ａ、６８Ｂ、６８Ｃのエリアについて色を取り出し、それぞれの各エリアにおける平均色を求める。図８の場合は赤、青、白のそれぞれについての各エリアの平均色を求める。ここでエリアとは目標画像データＤ上のマスク範囲（例えば６８Ａ、６８Ｂ、６８Ｃ）に相当する箇所を指す。又各エリア平均色とは、目標画像データＤ上のマスク範囲における平均色を指す。平均色の求め方については後で述べる。

このような平均色を求める処理は同じ目標画像データＤおよびマスク範囲データＥのものを繰り返す場合には、１回目のみ実施して、２回目以降を省略することもできる。目標画像データＤは８ｂｉｔＲＧＢカラー画像であり、マスク範囲データＥは１ｂｉｔ画像データである。目標画像データＤおよびマスク範囲データＥの解像度はカメラ端末１２が撮影する画像の解像度と同一である。

更に画像処理をして判定結果を表示する（ステップＳ１２）とき、カメラ端末１２から画像データＦを取得する（ステップＳ２０）。この画像データＦは図４の撮影結果５６に相当するものであり、実際にカメラ端末１２で撮影された赤配線６５、青配線６６、白配線６７が表示されている。画像データＦと、マスク範囲データＥに対しては、マスク回転角度リストＸに基づいてマスク範囲の回転処理（ステップＳ２２)を行ったものについてマスク処理（ステップＳ２３）し、撮影して取得した画像データＦに対する各マスク範囲における各エリア平均色を上記と同様にして求める。画像データＦについては、上記目標画像データＤと異なり、マスク範囲データＥを所定の角度毎に回転させたものについてそれぞれマスク処理を行う。即ち右側レーザーポインタ２３および左側レーザーポインタ２４の交点３７で位置合わせをしたとき、回転方向のずれが残るので、ある程度ずれていてもチェックできるようにするために、マスク範囲データＥを所定の角度毎に回転させてマスク処理を行い、それぞれの角度毎の各エリアの平均色を目標画像データＤの場合と同様に求めるのである。

各エリア平均色には１つ以上の８ｂｉｔＲＧＢ値が含まれる。図８においては、赤、青、白の３組についての８ｂｉｔＲＧＢ値が存在することとなる。マスク範囲データＥの回転処理（ステップＳ２２）においては、マスク回転角度リストＸに含まれる各角度に対して実施し、各角度に対しての各エリアの平均色を求める。目標画像データＤに対する各エリア平均色Ｙと、各角度に対して撮影して取得した画像データＦに対する各エリアの平均色Ｚのそれぞれの８ｂｉｔＲＧＢ値について差の絶対値を演算して、それらのなかの最大値を求める（ステップＳ２４）。即ち図８の場合では、各角度における赤、青、白の３つのうちの差が最大となる値を求める。そしてその最大値をマスク回転角度リストＸの各要素（各回転角度）について比べた場合に最小となる値を求めて（ステップＳ２５）、これを評価値Ｔとする。評価値Ｔが判定閾値Ｒ以下になっていればＯＫ（良）、そうでなければＮＧ（不良）として判定を行い（ステップＳ２６）、判定結果Ｐを得て、判定結果通知部４６に設定する。

上記のような特徴を有する結線検査作業支援システムによれば、画像データＦのマスク範囲における色情報に基づいて良否判定を行うので、文字を表示していない結線箇所に対しても適用できる。また作業者４７がカメラ端末１２を対象物４８に向けて距離と撮影箇所の位置を決めて撮影するとともに、作業者４７が調整することが難しい画像データＦの回転方向のずれに対して画像処理部４４が適切に対応でき、様々な位置および方向に存在する結線箇所を高速かつ正確に検査できる。

マスク回転角度リストＸには、例えば±３０度の範囲において３度間隔で並べた値などを用いる。この場合３度間隔毎に上記各要素が並ぶことになる。このように正常に良否判定ができる程度に角度の間隔を広げることで処理速度を向上させることができる。 ここで、マスク処理は入力された画像データＦおよびマスク範囲データＥについて、画像データＦにマスク範囲データＥを論理演算（例えば積演算又は積和演算等）して、マスク範囲６８Ａ、６８Ｂ、６８Ｃにおける画像データＦのみを抽出する。さらにマスク範囲データＥ内で範囲を区別するためにラベリング処理を行い、各範囲について番号づけをして（マスク範囲６８Ａ、６８Ｂ、６８Ｃに対してそれぞれ番号を付ける）、抽出した各範囲の画像データＦを識別できるようにする。これにより各範囲の画像データＦの平均色を特徴量として出力することができる。

ここでは、マスク範囲データＥは１Ｂｉｔ画像データであり、ラベリング処理をすることで各マスク範囲６８Ａ、６８Ｂ、６８Ｃについて番号づけをしている。これに対して複数のマスク範囲データを用いることにして、各マスク範囲データと番号を対応させてラベリング処理を省略してもよい。即ち図８の場合では、マスク範囲６８Ａ、６８Ｂ、６８Ｃについてそれぞれ別のマスク範囲データとして登録し、これら３つのデータについてそれぞれラベリングするものである。また平均色を求める処理は、各範囲の画素内で中央値となる色を求めるようにしてもよく、更に予め設定した色範囲の画素が予め設定した割合以上に含まれるか否かを判定することにより行う等、異なる処理内容に置き換えてもよい。
また、目標画像データＤおよび画像データＦの画像形式は８ｂｉｔＲＧＢカラー画像以外に例えばＣＭＹＫ画像などの異なる画像データ形式でもよい。マスク範囲データＥの画像形式は１ｂｉｔ画像以外の画像データ形式や、画像データ上の座標を示すデータでもよい。

以上のように本実施形態によれば、画像処理部４４は、カメラ端末１２から取得した画像データＦおよびマスク範囲データＥにおいて、所定の位置を回転中心として、マスク範囲データＥの回転角度を変えて、画像データＦとマスク範囲データＥの論理演算をすることにより得られるマスク範囲の色情報からなる特徴量を、回転角度ごとに計算する。そして目標画像データＤに対してマスク範囲データＥを論理演算することで得られた目標特徴量と最も一致する（最も差が小さい）回転角度における特徴量を抽出し、この特徴量と目標特徴量との差を求めてこれを評価値Ｔとして、評価値Ｔを判定閾値と比較して良否判定を行う。

以上の動作を図３を参照しながら総括する。先ず作業指示部４１が作業者４７に対して作業指示内容を通知する（矢印１３１）。次に作業者４７は対象物４８とカメラ端末１２の間の距離を調整する（矢印１３２）。本実施形態においては右側レーザーポインタ２３および左側レーザーポインタ２４が距離確認部４２であり、これらを用いることによって距離を調整する。次に作業者４７はカメラ端末１２を対象物４８に向ける（矢印１３３）。そしてカメラ端末１２が対象物４８を撮影する（矢印１３４）。次に画像処理部４４がカメラ端末１２から画像データを取得するとともに（矢印１３５）、記憶部４５から参照データを取得する（矢印１３６）。次に画像処理部４４が判定結果通知部４６に対して判定結果を設定する（矢印１３７）。そして判定結果通知部４６は作業者４７に対して判定結果を通知する（矢印１３８）。

次に図４において設定ボタン６０を押下したとき、結線検査作業支援システム本体１０の設定部４９はディスプレイに図９に示すような設定画面７０を表示する。設定画面７０は作業項目リスト７１に作業項目の一覧を表示させ、追加ボタン８３を押下したとき、作業項目リスト７１に項目を追加する。又削除ボタン８４を押下したとき、作業項目リスト７１内で選択中の項目を削除することができる。図１０は作業項目リスト７１の一例を示す図である。

作業項目リスト７１の作業項目を選択したときには、図１０に示すように、該当作業項目名にアンダーラインを表示する。図１０においては、コネクタＣの欄にアンダーラインが引かれている。これにより選択中の項目を明示して、作業箇所表示７２、外観表示７３、作業要領表示７４、目標画像７５、作業指示表示７７、判定結果表示７８に設定済みの内容を更新する。ここで作業箇所表示７２及び作業指示表示７７においては図４における作業箇所表示５２及び作業指示表示５７と同様な表示がなされる。又判定結果表示７８の一例として例えば以下のようなものがある。
設定中 評価値： 判定閾値：５０以下
このときに、作業箇所表示７２または作業指示表示７７を押下すると、結線検査作業支援システム本体１０に接続したキーボードから入力して各欄のテキストを編集でき、エンターキーを入力したときに設定を更新することができる。また外観表示７３、作業要領表示７４をクリックすると、ファイル選択ダイアログを開き、表示する画像を変更することができる。 テストボタン８０を押下すると、現在選択中の作業項目の設定内容のみについて、作業者４７がカメラ端末１２により目標画像７５について撮影することにより、図６の作業を開始して動作テストをすることができる。決定ボタン８１を押下すると設定内容を記憶部４５に保存する。キャンセルボタン８２を押下すると設定内容を破棄して図４の作業指示画面５０に戻る。

次にマスク範囲の設定並びにレーザーポインタの交点目標位置の設定等の目標設定について説明する。図９の設定画面７０における目標設定ボタン７９を押下すると、図１１の目標設定ダイアログ１０５が表示される。この目標設定ダイアログ１０５では、マスク範囲設定表示９０に目標画像７５を表示させ、更に目標画像７５の上にマスク設定箇所１０３に示すようなマスク範囲の描画内容を重ねて表示する。図１１に示された例ではコネクタにマスク範囲（マスク設定箇所１０３）を設定することが示されている。そして撮影ボタン１００を押下したとき、マスク範囲の描画内容を全てクリアして、カメラ端末１２から取得した画像を目標画像７５として設定し、表示内容を更新する。

マスク描画ボタン９１〜９３を押下したのちに、タッチパネルやマウスカーソルでマスク範囲設定表示９０上を押下したままなぞると、マスク範囲を描画することができる。これによりマスク範囲データＥが作成できることになる。マスク消去ボタン９４を押下した後に同様にすると、マスク範囲を消去することができる。マスク描画ボタン９１〜９３およびマスク消去ボタン９４に表示されているマークの大きさが、マスク範囲を描画並びに消去をするときの線の太さとなる。即ちボタン９１、９２、９３において丸の大きさが順番に大きくなっており、この順番で線の太さが大きくなるものである。更に判定閾値表示９７を押下すると、判定閾値の数値を８Ｂｉｔ値である０〜２５５の間で設定することができる。尚判定閾値の大きさは各作業者４７が各現場で主観により決定するものである。

マスク範囲の設定は設定作業者の判断で行うため、設定内容が適切でない場合があり、右側レーザーポインタ２３および左側レーザーポインタ２４の交点を合わせても正しく判定できないことがある。そのため目標画像７５、マスク範囲、判定閾値を設定した後に、更新ボタン９８を押下して良範囲図表示９５を更新する。そして図１１に示されるような良範囲１０４のように目標画像７５のどのあたりを狙って右側レーザーポインタ２３および左側レーザーポインタ２４の交点を合わせるとＯＫ（良）と判定されるかを示す。良範囲図表示９５は入力画像として目標画像７５そのものを用いる。即ち目標画像７５は正規の結線状態を撮影したものであるから判定結果は必ずＯＫでなければならないこととなる。そして目標画像７５を上下左右方向に平行移動させ、画像処理部４４によりシミュレーション処理を行い、画像処理部４４により実際に判定させてＯＫ（良）である平行移動処理の範囲を目標画像７５に重ねて描画し、良範囲１０４を得る。また画像処理部４４により判定させて良範囲１０４の外接矩形を求めて良範囲値表示９６にそのサイズを表示することもできる。即ち作業者は良範囲１０４内に右側レーザーポインタ２３および左側レーザーポインタ２４の交点を合わせるようにカメラ端末１２を操作すれば良い。

設定作業者は、設定部４９により、カメラ端末１２により撮影した正しい結線状態の目標画像データＤ、マスク範囲データＥ及び判定閾値を記憶部４５に設定して、判定閾値とともに記憶部４５に登録する。そして設定部４９は、目標画像データＤを平行移動および拡大縮小して生成した複数の画像データに対して、画像処理部４４により実際に判定させる。その判定結果に基づいて良となる範囲、又は否となる範囲を図示した良否範囲図を示し、又は良範囲値表示９６に良否範囲評価値を表示する。以上により設定作業者は、良否範囲図または良範囲値表示９６を確認して、設定した目標画像データＤ、マスク範囲データＥ並びに判定閾値が誤判定の可能性が低い妥当なものであるかどうかを判断することができるので、不適切な設定内容によって誤判定をすることを予防できる。

設定作業者はこれらの良範囲図表示９５および良範囲値表示９６を確認することで、カメラ端末１２を向ける位置の許容できる範囲や、誤判定の可能性を認識することができる。例えば、良範囲１０４が小さすぎるとカメラ端末１２の位置の許容できる範囲が小さくなり、作業者がカメラ端末１２を向けてもなかなかＯＫ（良）判定とならず作業時間がかかってしまうことになる。また良範囲１０４が大きすぎたり、２箇所以上ある場合は誤判定をする可能性が高くなる。クリアボタン９９を押下したときは、良範囲図表示９５および良範囲値表示９６をクリアする。決定ボタン１０１を押下したときには、マスク範囲を設定して、設定画面７０に戻る。キャンセルボタン１０２を押下したときには、マスク範囲の編集内容を破棄して、設定画面７０に戻る。

実施の形態２．
図１２は実施の形態２による結線検査作業支援システムの実施状況を示す概念図である。上記実施の形態１では、図１のように結線検査作業支援システム本体１０とカメラ端末１２がケーブル１１などで接続されるのに対して、本実施形態においては、図１２に示すように結線検査作業支援システム本体とカメラ端末が一体になった結線検査作業支援システム本体２００を設けたものである。図１２ではカメラ端末にバッテリを内蔵している場合を示しているが、電源ケーブルを接続するようにしてもよい。

図１３（Ａ）はカメラ端末の前面部を示す斜視図、図１３（Ｂ）はカメラ端末の背面部を示す斜視図である。結線検査作業支援システム本体２００は図１３に示すようにカメラ端末の背面パネル３０にタッチパネルディスプレイ２０１を備え、作業指示画面５０及び設定画面７０、あるいはその一部をこのディスプレイに表示する。例えばディスプレイの表示領域が狭い場合には、目標画像表示５５と判定結果表示５８のみを表示するなどしてもよい。
尚本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

Claims (4)

1. 検査箇所を撮影することができるカメラ端末と、
   画像処理に用いるための正規の結線状態を撮影した目標画像データ、上記検査箇所の形状に対応したマスク範囲を含むマスク範囲データ、及び判定閾値を保持する記憶部と、
   上記目標画像データに対して上記マスク範囲データを論理演算することにより目標特徴量を求めるとともに、上記マスク範囲データの回転角度を変えて上記カメラ端末から取得した画像データと上記マスク範囲データの論理演算をすることにより上記回転角度毎に特徴量を計算し、上記目標特徴量との差が最も小さい上記回転角度における上記特徴量と上記目標特徴量との差を評価値として、この評価値と上記判定閾値とを比較することにより結線作業の判定を行う画像処理部と、
   上記画像処理部からの判定結果を通知する判定結果通知部を備えた結線検査作業支援システム。
2. 上記検査箇所と上記カメラ端末との間の適切な距離および上記カメラ端末の位置を設定するための距離確認部を設けた請求項１記載の結線検査作業支援システム。
3. 複数のレーザーポインタから射出されたレーザーの交点を上記検査箇所の所定の位置に合わせることにより上記カメラ端末を位置決めする請求項２記載の結線検査作業支援システム。
4. 上記目標画像データを平行移動および拡大縮小して生成した複数の画像データに対して上記画像処理部によりシミュレーション判定させ、この判定結果に基づいて上記レーザーの交点の範囲を求める請求項３記載の結線検査作業支援システム。

Images