JP2007041730A

JP2007041730A - 電線異常検出方法および装置およびプログラム

Info

Publication number: JP2007041730A
Application number: JP2005223450A
Authority: JP
Inventors: Ryuichi Ishino; 隆一石野; Fujio Tsutsumi; 富士雄堤
Original assignee: Central Research Institute of Electric Power Industry
Current assignee: Central Research Institute of Electric Power Industry
Priority date: 2005-08-01
Filing date: 2005-08-01
Publication date: 2007-02-15

Abstract

【課題】電線異常点検における作業者の労力を軽減し、高速に処理を行なう。
【解決手段】電線が撮影された原画像１から画像処理により電線の異常検出をおこなう方法における、原画像１からの電線部分の切り出し処理において、切り出し処理を行う電線の位置を決定する際に電線の傾きを比較し、傾きの大きさが一定以上異なっていれば、電線の検出に失敗したものとして再度電線の探索領域３を拡大して電線の探索をし、さらに、参照する電線のテンプレートパターンを変更して、再度電線の探索を行うことにより、電線の追尾能力を向上し、かつ迅速な電線の異常検出を行う。
【選択図】図２４

Description

本発明は、画像処理の方法および装置およびプログラムに関する。更に詳述すると本発明は、画像処理により電線の形状や色の異常等を検出する方法および装置およびプログラムに関する。

送電線の保守および管理のために、ヘリコプターによる送電線の巡視点検が従来行われている。この点検の目的の一つは、雷撃等により損傷を受けた電線の異常箇所の早期発見である。電線異常箇所の早期発見は、電力供給の信頼度の維持に不可欠となっている。点検は、ヘリコプターに搭載したビデオカメラで電線を撮影した後、ビデオ映像を再生し、作業者がこのビデオ映像を目視観察することで行なわれている。作業者は、電線の一部が切れてしまっている素線切れや将来素線切れを起こす可能性のあるアーク痕の有無などを確認する。電線の異常箇所の見落としを減らすために、ビデオ映像のスロー再生によるチェックや、作業者二人によるダブルチェックが行われる場合もある。

電線が撮影された画像から電線部分の画像を切り出し、画像処理により切り出した画像に対して電線の異常を検出する技術が提案されている（特許文献１参考）。電線の形状の異常を自動検出することにより、作業者の労力を軽減し、処理を高速化するものである。

特開２００５−５７９５６号公報

しかしながら、特許文献１の技術は、撮影画像の中央部分の画像処理をおこなうことにより電線の検出を行うものである。したがって、電線が画面の端の部分にしか撮影されていない場合、即ち、電線が画像の中央部分に撮影されていない場合などに追跡ができなくなり、システムが一旦停止してしまう問題点があった。また、撮影画像の背景の影響により、電線の検出が正確に行えないという問題点があった。また、追跡ができなくなった場合に、追跡ができているかどうかを判断する機能がなく、追跡ができなくなった場合に作業者が再度、電線位置の設定作業をし直さなければならず煩雑であるという問題点があった。

また、鉄塔や架線金具などの点検対象の電線以外の画像が現れると電線追尾に失敗し、その都度、作業者介在による修正が必要となるという問題点があった。

ヘリコプターにより電線を上空から撮影している以上、ヘリコプターの飛行状況、風などの影響により、電線を画像の中心に捉えられない場合もありうる。このように電線の追尾に失敗するたびに作業者の介在を必要としたのでは、迅速な異常検出処理に資さない。即ち、迅速な異常検出処理のためには、電線の追尾能力の向上が不可欠であり、追尾能力の向上が図れれば、作業者が設定作業をする回数を減らすことができ、作業者の労力の軽減を図ることができ、迅速な処理を行うことができる。

ヘリコプターによる撮影から電線の点検作業が終了するまでの時間は短いほど良いのは言うまでもない。短ければ、現地で確認する必要のあるような重大な問題を早期に対処でき、リスクを軽減できるからである。

そこで、本発明は、特許文献１の発明に比して大幅な追尾能力の向上を可能とすることで、作業者の介在を減らして労力を軽減し、且つ高速な異常検出処理を可能とした電線異常検出方法および装置およびプログラムを提供することを目的とする。

かかる目的を達成するため、請求項１記載の電線異常検出方法は、電線が撮影された原画像に対して前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し処理と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに形状異常検出処理または色異常検出処理とを行う電線異常検出処理とを含み、かつ前記対象画像の切り出し処理は、前記原画像に対し予め探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、前記探索領域を拡大し、再度前記テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定するようにしている。

また、請求項６記載の電線異常検出装置は、電線が撮影された原画像に対して前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し処理部と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに形状異常検出処理または色異常検出処理とを行う電線異常検出処理部とを備え、かつ前記対象画像の切り出し処理部は、予め前記原画像に対し探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、前記探索領域を拡大し、再度前記テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定するものである。

また、請求項１１記載の電線異常検出プログラムは、コンピュータを、電線が撮影された原画像に対して予め探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、前記探索領域を拡大し、再度前記テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し手段と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに、形状異常検出処理または色異常検出処理とを行う電線異常検出処理手段として実行させるさせるようにしている。

したがって、電線が撮影された対象画像から電線部分の切り出し処理において、電線の探索を行う際に、予め電線の探索領域を設定し、探索対象である電線の画像をテンプレートとして予め主記憶領域に記憶させ、記憶されたテンプレートと類似する領域を探索領域内で探索して電線の移動位置を推定する。さらに直前のフレーム画像での電線の傾きと処理を行っているフレーム画像で推定された電線の傾きとを比較し、傾きの大きさが一定以上異なっていれば、電線の検出に失敗したものとして再度電線の探索領域を拡大して再度電線部分の探索を行うこととして、電線の追尾能力の向上を図っている。

請求項２記載の電線異常検出方法は、電線が撮影された原画像に対して前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し処理と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに形状異常検出処理または色異常検出処理とを行う電線異常検出処理とを含み、かつ前記対象画像の切り出し処理は、前記原画像に対し予め探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、予め記憶した他の電線のテンプレートを参照して、再度該テンプレートと最も類似する領域を前記探索領域内で探索するようにしている。

また、請求項７記載の電線異常検出装置は、電線が撮影された原画像に対して前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し処理部と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに形状異常検出処理または色異常検出処理とを行う電線異常検出処理部とを備え、かつ前記対象画像の切り出し処理部は、予め前記原画像に対し探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、予め記憶した他の電線のテンプレートを参照して、再度該テンプレートと最も類似する領域を前記探索領域内で探索するものである。

また、請求項１２記載の電線異常検出プログラムは、コンピュータを、電線が撮影された原画像に対して予め探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、予め記憶した他の電線のテンプレートを参照して、再度該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し手段と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに、形状異常検出処理または色異常検出処理とを行う電線異常検出処理手段として実行させるようにしている。

したがって、電線異常検出方法において電線が撮影された対象画像から電線部分の切り出し処理において電線の探索を行う際、予め電線の探索領域を設定し、探索対象である電線の画像をテンプレートとして予め主記憶領域に記憶させ、記憶されたテンプレートと類似する領域を探索領域内で探索して電線の移動位置を推定する。さらに予め記憶装置に記憶されている電線のテンプレートにおける電線の傾きと処理を行っているフレーム画像で推定された電線の傾きとを比較し、傾きの大きさが一定以上異なっていれば、電線の検出に失敗したものとして予め記憶した他の電線のテンプレートを参照して、再度該テンプレートと最も類似する領域を探索領域内で探索するようにしている。即ち、電線の追尾に失敗した場合でも参照するテンプレートを変更して、再度電線の探索を行うこととして、電線の追尾能力を向上を図っている。

請求項３記載の発明は、請求項１または２に記載の電線異常検出方法において、前記テンプレートは、前記対象画像の切り出し処理を行う際に主記憶装置に記憶され、一定のフレーム経過毎に、該テンプレートを自動更新するようにしている。また、請求項８記載の発明は、請求項６または７に記載の電線異常検出装置において、前記テンプレートは、前記対象画像の切り出し処理を行う際に主記憶装置に記憶され、一定のフレーム経過毎に、該テンプレートを自動更新するものである。

したがって、電線のテンプレートを一定のフレーム数毎に自動で更新することとしているので、作業者が電線のテンプレートを追加する作業を行う必要がなくなり、初めに電線の位置を設定すれば、それ以降は操作を行う必要がないこととしている。

請求項４記載の発明は、請求項１または２に記載の電線異常検出方法において、前記探索領域の設定は、電線が撮影された原画像のうち最初のフレームの画像に対して予め設定し、次のフレームの画像の処理からは、直前のフレームでの電線の探索結果の中点を前記探索領域の中心位置とするようにしている。また、請求項９記載の発明は、請求項６または７に記載の電線異常検出装置において、前記探索領域の設定は、電線が撮影された原画像のうち最初のフレームの画像に対して予め設定し、次のフレームの画像の処理からは、直前のフレームでの電線の探索結果の中点を前記探索領域の中心位置とするものである。

したがって、前のフレームでの電線の中点を、次のフレームでの電線の探索領域の中心とすることで、撮影画像中の電線位置がずれた場合であっても電線を探索することができるようにしている。フレームごとに徐々に画像中の電線の撮影位置がずれていくような場合であっても、電線を探索することができるものとしている。

請求項５記載の発明は、請求項１または２に記載の電線異常検出方法において、電線が撮影された原画像のうち、電線の検出に無関係な画像を予めタイムコードを指定することにより除去し、前記電線の検出に無関係な画像を除去した上で前記対象画像の切り出し処理をおこなうようにしている。また、請求項１０記載の発明は、請求項６または７に記載の電線異常検出装置において、電線が撮影された原画像のうち、電線の検出に無関係な画像を予めタイムコードを指定することにより除去し、前記電線の検出に無関係な画像を除去した上で前記対象画像の切り出し処理をおこなうものである。

したがって、予め電線が撮影された画像のうち、鉄塔部分などの電線の検出に無関係な画像が撮影されている画像を、タイムコードを指定して除いておくことにより、電線の追尾に無関係の画像を予め除去することができることとしている。

以上説明したように、請求項１記載の電線異常検出方法、請求項６記載の電線異常検出装置、請求項１１記載の電線異常検出プログラムによれば、撮影画像において電線の急な移動があり、撮影画像における電線の位置が大幅に移動した場合でも、電線の検出を正確に行うことができる。即ち、電線の追尾失敗をなくして、電線の追尾能力を向上させることにより、作業者の介在をなくし、作業者の労力を軽減することができる。

請求項２記載の電線異常検出方法、請求項７記載の電線異常検出装置、請求項１２記載の電線異常検出プログラムによれば、日照条件や、背景画像等の撮影環境の影響により、従来であれば電線の探索を行うのが困難な撮影環境においても、予め他の電線のテンプレートを別途記憶させておいて比較を行うことにより、撮影環境によらず電線の検出を正確に行うことができ、電線の追尾失敗をなくして、電線の追尾能力を向上させることにより、作業者の介在をなくし、作業者の労力を軽減することができる。

請求項３記載の電線異常検出方法、請求項８記載の電線異常検出装置によれば、初期設定を行えば、それ以降操作を行う必要がないので作業者の介在をなくし、作業者の労力を軽減することができ、かつ迅速な電線異常検出処理を行うことができる。

請求項４記載の電線異常検出方法、請求項９記載の電線異常検出装置によれば、フレームごとに徐々に画像中の電線の撮影位置がずれていくような場合であっても、容易に電線を探索することができ、探索のためのデータ処理量を減らすことができるので迅速な電線異常検出処理を行うことができる。

請求項５記載の電線異常検出方法、請求項１０記載の電線異常検出装置によれば、電線の追尾に無関係の画像を予め除去することができるので、処理するデータ量を軽減することができ、迅速な電線異常検出処理を行うことができる。

以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。

図１から図４３に本発明の電線異常検出方法および装置およびプログラムの実施の一形態を示す。この電線異常検出方法は、例えば図１１に示すように、電線が撮影された原画像を得る前処理（Ｓ１）と、原画像から電線部分の領域を切り出す処理（Ｓ２）と、切り出した対象画像に対して電線の異常を検出する処理（Ｓ３）と、対象画像が上手く切り出せなかった画像や電線の異常が検出された画像出力する処理（Ｓ４）からなる。

前処理（Ｓ１）は、ビデオカメラまたは映像が記録された媒体から、電線が撮影された撮影画像データを読み込み、ハードディスク等の外部記憶装置に画像データを記録する処理を行うものである。尚、撮影画像データは本装置とは、別途設けられた記憶装置に記録をして、インターネット網等を通じて取得するようにしても良い。

点検対象である電線が撮影された画像として、例えば本実施形態では、ヘリコプターに搭載したビデオカメラで撮影した電線の空撮映像を利用している。ビデオカメラは例えば毎秒３０フレームの画像を生成するものとしている。ビデオカメラより得られる各フレーム画像は、前処理において、コンピュータでの処理が可能なＲＧＢのカラーモデルに変換され、さらに処理の簡素化および高速化等のために８ビットのグレースケール画像に変換される。上記のように変換された各フレーム画像を本実施形態における原画像とする。原画像を構成する各画素は、色情報値として、０（黒）〜２５５（白）までの２５６階調の明るさの値（輝度値）を有する。原画像の解像度は、例えば水平方向画素数を６４０画素とし、垂直方向画素数を４８０画素としている。但し、原画像はグレースケール画像に限定されずカラー画像であっても良く、また解像度も上記の例に限定されるものではない。

以下、本実施形態では、画面水平方向を電線長手方向とし、画面垂直方向を電線横断方向とする。尚、電線が画面の上下方向にわたって撮影されているような場合には、画面垂直方向を電線長手方向とし、画面水平方向を電線横断方向として良い。尚、撮影画像には、必ずしも電線が画像の左端から右端、または、上端から下端まで撮影されている必要はなく、画像の端のみに電線が撮影されている画像を含んでいてもよく、また、電線の以外の部分、例えば、鉄塔部分の画像を含んでいても良い。

前処理（Ｓ１）により、外部記憶装置等に記録された電線が撮影された画像データを、以降の対象画像の切り出し処理（Ｓ２）、電線異常検出処理（Ｓ３）により処理することにより、電線異常検出をおこなうものである。尚、本実施形態では、電線が撮影された撮影画像データの読み込みを行いながら、撮影画像の１フレームのデータごとに、対象画像の切り出し処理（Ｓ２）と電線異常検出処理（Ｓ３）を行うことより電線の異常検出を行うものである。

また、本実施形態においては電線を撮影する際、電線の画像の記録に加えて時間情報（以下、タイムコードという）を画像に対応させて記録することとしている。例えば、本実施形態においては、画像の記録を行う際に同時に１フレームごとにタイムコードを記録して、該フレームが何分何秒の何枚目（毎秒３０フレームのうち）の画像であるかを記録することとしている。尚、タイムコードの記録方法は、上記の方法に限られるものではなく、例えば、フレームごとに通し番号を付与するようにしても良く、また実際の撮影時刻を記録するようにしても良い。

図３５（ａ）〜（ｃ）に撮影画像の一例を示す。実際の撮影画像には、例えば、図３５（ａ）、（ｂ）に示すように電線以外の部分が含まれている。図３５（ｂ）は、鉄塔部分の画像である。このような画像に対して、対象画像の切り出し処理（Ｓ２）を行っても、電線検出することができず、誤って検出したりすることも起こりうる。また、無駄なデータ処理を行っていることとなるので迅速な処理に資さない。このような画像は可能な限り、データ処理前に除外しておくことが望ましい。

前処理（Ｓ１）において電線の撮影画像を読み込む際に、タイムコードを指定することにより、電線の異常検出に関係ない画像を除くことができる。具体的には、記録されたタイムコードの異常検出に無関係な画像の開始フレームと終了フレームを指定し、該タイムコードを入力することにより、その間の画像を対象画像の切り出し処理（Ｓ２）以下の処理を行わないようにすることができる。これにより、電線の異常検出に関係ない画像を除くことができ、処理の迅速化が図ることができる。尚、タイムコードの指定方法は、上記の方法に限られるものではなく、例えば、電線部分が撮影されたタイムコードの開始フレームと終了フレームを指定して、その部分の処理を行うようにしても良い。

本実施形態では、例えば、ビデオの撮影時に、電線の径間ごとの開始画像と終了画像のタイムコードを予め記憶装置に記憶させておくことで、その間のフレーム画像についてだけ、監視対象とすることができる。これにより、電線の異常検出に無関係な画像、例えば、鉄塔部分の撮影画像を検査の対象から外すことができ、電線の異常検出に無関係な画像が撮影されたフレームについての処理を省略できる。また、鉄塔部分などの電線が撮影されていない撮影画像に対して、対象画像の切り出し処理（Ｓ２）を行った場合に、電線部分の切り出しができずに処理が停止して、再度、作業者によりテンプレートの追加処理を行うといった労力を予め減らすことができる。このため、作業者の介在を減らして、迅速な電線異常検出処理を行うことができるものである。

次に、対象画像の切り出し処理（Ｓ２）を行う。これは原画像から電線が撮影された部分を切り出す処理を行うものである。これにより、電線の異常を検出する処理（Ｓ３）を行う際のデータ処理量を大幅に減らすことができるものである。即ち、細長い電線が撮影された部分は原画像の中のごく一部であるため、原画像全体に対してエッジ検出処理（Ｓ３０６）を行なっても、エッジ検出精度に余り寄与しないばかりか多大な処理時間がかかってしまう。このため、まず本実施形態のように原画像の中から電線が撮影された部分を切り出す処理（Ｓ２）を行ない、当該切り出された領域を対象画像として記憶装置に記憶し、当該対象画像に対してエッジ検出処理（Ｓ３０６）を行なうことで、処理時間を大幅に短縮することとしている。

本実施形態の対象画像の切り出し処理（Ｓ２）では、例えば図１２に示すように、水平方向範囲および垂直方向範囲が予め定められた探索領域を原画像の電線長手方向である水平方向に３箇所以上分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え（Ｓ２０２）、テンプレートと最も類似する領域を各探索領域内で探索し（Ｓ２０６）、各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を原画像から切り出して対象画像とするようにしている（Ｓ２０９）。

本実施形態における探索領域は、例えば図２８に示すように縦長とし、その水平方向範囲の画素数Ｘはテンプレートの水平方向画素数と同じとし、垂直方向範囲の画素数Ｙはテンプレートの垂直方向画素数よりも大きく且つ原画像の垂直方向画素数以下としている。ここで、図２８および図２９中の符号１は原画像を示し、符号２はテンプレートを示し、符号３は探索領域を示し、符号４は電線の画像を示している。但し、探索領域の大きさは上記例に限定されるものではない。また、本実施形態における探索領域は、例えば図２９に示すように電線長手方向である水平方向に予め定めた距離をおいて３箇所分布させるようにしている。但し、探索領域の数は３つ以上であっても良い。

本実施形態では、原画像をＴＶレート(３０画像/秒)で取り込みを行っている。即ち、３３ミリ秒毎に静止画の取り込みを行っている。通常は３３ミリ秒の間では、撮影された電線の画像内での位置は大きく変化することはないとも考えられるが、撮影画像はヘリコプターにより電線を上空から撮影されるものであるので、突風などの影響により画像内での電線の撮影位置が大幅に移動し、画面の端にしか電線が撮影されていない画像も存在する。例えば、図３０に画面の端にしか電線が撮影されていない画像の一例を示す。このように、撮影画像のうち画像のフレームによっては、電線を画像の中心に捉えていない画像も存在する。従って、このような画像に対して、特許文献１の技術のように画面の中央部分についてのみ画像の処理を行うようにしていたのでは、電線の検出をすることができない。図３１に従来の探索領域を示した図の一例を示す。この問題を解消するためには、画像全体についてデータ処理を行えばよいが、データ処理量が膨大となり、迅速に処理を行うことができない。

そこで、本実施形態においては、例えば図３２に示すように、原画像から切り出した電線の対象画像から、電線長手方向である電線の始点・終点を求め、次に、求めた始点・終点から中点を求め、その中点を記録し、次のフレームの探索領域の３点の中心位置とすることとしている。具体的には、電線の切り出しを行う際（Ｓ２０９）に、探索領域の３点の位置を結ぶ直線を引き、その直線と画像の端との交点となる２点を求め、その中点を計算することとしている。これにより、電線の位置が画像の中心から徐々にずれていってしまった場合であっても、探索領域も電線の位置の移動に伴って移動することになるので、電線の追跡が可能となる。このように処理する画像毎に電線の探索位置を動かすことで、電線の位置が画像の中心から徐々にずれていってしまった場合にも電線の追尾を可能としている。

探索領域内におけるテンプレートと同じ大きさの領域（以下、候補領域と呼ぶ。）と、テンプレートとの類似度の計算には、例えば二乗誤差による相違度を用いる。この場合、テンプレートの座標（ｘ、ｙ）の輝度値をｖ（ｘ、ｙ）とし、候補領域の座標（ｘ、ｙ）の輝度値をｖ’（ｘ、ｙ）とすると、相違度errは次式で求められる。

この相違度errが最も小さくなる候補領域を、探索領域内においてテンプレートと最も類似した領域、即ち探索結果とする。但し、候補領域とテンプレートとの類似度の計算方法は上記例に限定されない。例えば類似度の計算に相互相関を用いたり、周波数領域での類似性を判定するなどの方法を用いることにより、照度変化の影響を軽減した、より安定したテンプレート照合を行うことができる。

本実施形態では、探索の成否判定規準となる「探索結果の規則性」として、各探索結果の変位の位相が揃っているか否か、を判断するようにしている。ここでの位相は「位相幾何」で用いられるものを指す。例えば線分で表現される２つの図形の形状が同じであれば、当該２つの図形は位相が同じ、即ち位相が揃っている、と判断する。本実施形態の場合では、３つの探索結果を例えば左から順に第１、第２、第３の探索結果とすると、第１の探索結果と第２の探索結果とを結ぶ線分の傾きと、第２の探索結果と第３の探索結果とを結ぶ線分の傾きが、同じと見なせれば、位相が揃っていると判断する。各探索結果の変位の位相が揃っているか否かで、探索の成否が判定できる根拠を以下に説明する。即ち、電線は鉄塔部分を除いて他の物体に接触しておらず、物理法則に従って垂れた状態にある。したがって、電線は曲率の極めて小さい曲線形状であり、画面内という小さな範囲ではほぼ直線とみなして問題ない。そのため画面内での電線位置の変位は、ヘリコプターもしくはカメラの動きによる相対的なものである。ヘリコプターは電線に沿って一定速度で飛行を続けており、急激にその進行方向を変えることはない。また、カメラは回転せず上下左右方向のパン（カメラ位置をそのままにして、レンズを左右に動かすこと。）のみを行っている。以上より、電線は時間変化とともに３つの探索領域内で垂直方向に移動し得るが、当該移動は３つの探索領域で揃っているのが通例である。

各探索結果の変位の位相が揃っているか否かを数値的に表現する一例を以下に示す。各探索結果の予め定めた点、例えば各探索結果における中心点の垂直方向の座標位置をそれぞれｙ_１ｉ，ｙ_２ｉ，ｙ_３ｉとする。尚、添字ｉ＝０，…，ｐである。ここで、ｙ_１０，ｙ_２０，ｙ_３０を現在の原画像における座標位置とし、ｙ_１１，ｙ_２１，ｙ_３１を１フレーム前の原画像における座標位置とし、ｙ_１ｐ，ｙ_２ｐ，ｙ_３ｐをｐフレーム前の原画像における座標位置とする。そして、次式に基づいて、一定期間におけるｙ_１ｉとｙ_２ｉとの距離とｙ_２ｉとｙ_３ｉとの距離の差の平均dy12rateを計算し、当該平均dy12rateが予め定めた一定値以内であれば各探索結果の変位の位相が揃っていると判断し、当該一定値を超えた場合に各探索結果の変位の位相が揃っていないと判断する。

但し、各探索結果の変位の位相が揃っているか否かの判断は、上記計算に基づくものには必ずしも限定されない。例えば、より一般的な以下の計算方法を用いても良い。例えば、上述した垂直方向座標位置ｙ_１ｉ，ｙ_２ｉ，ｙ_３ｉを用いて、ｙ１＝（ｙ_１０，…，ｙ_１ｐ），ｙ２＝（ｙ_２０，…，ｙ_２ｐ），ｙ３＝（ｙ_３０，…，ｙ_３ｐ）を定義し、ｙ１，ｙ２，ｙ３の相互相関を計算する。ここで、cor12をｙ１とｙ２の相互相関ベクトルとし、cor23をｙ２とｙ３の相互相関ベクトルとし、cor31をｙ３とｙ１の相互相関ベクトルとする。各相互相関ベクトルcor12，cor23，cor31において、最大値がそれぞれｊ１，ｊ２，ｊ３番目の要素であったとする。これらｊ１，ｊ２，ｊ３が共に一定値以下である場合に、各探索結果の変位の位相が揃っていると判断し、当該一定値を超えた場合に各探索結果の変位の位相が揃っていないと判断する。尚、位相が完全に揃っている場合は、ｊ１，ｊ２，ｊ３は０となる。この計算方法の場合、より精度良く各探索結果の変位の位相が揃っているか否かを検出できる。但し、数式２に基づく方法と比較して計算時間がかかる。

図２３に電線の移動位置推定処理を詳細化したフローチャートの一例を示す。上記方法により、各探索結果の変位の位相が揃っていれば、電線追尾成功・失敗処理を行う。また、各探索結果の変位の位相が揃っていない場合は、当該探索が失敗していると考えられるので、変位の位相が揃っていない場合は、直前のフレームでの各探索結果の座標位置と、本フレームでの各座標位置との差（以下、移動ベクトルという）を求める。この移動ベクトルを用いて各探索領域の座標位置を修正した上で、電線の追尾成功失敗判定処理をおこなうものとしている。

図２４に電線追尾成功・失敗判定処理を詳細化したフローチャートの一例を示す。特許文献１の技術においては、各探索結果の変位の位相が揃っていない場合や、類似度が定めた基準を満たさない場合は、新たにテンプレートの追加処理を行っていたが、テンプレートの追加処理は、作業者が実際にマウス等のポインティングデバイスを用いてユーザインターフェース画面上の当該原画像中の電線部分を指定する必要があり、当該フレームで処理が一旦停止してしまっていた。これに対し、本発明では、テンプレートの更新処理を作業者の介在をなくして、テンプレートを一定のフレームごとに自動で更新することとしている。これにより、最初に電線の位置を指定すれば、それ以降テンプレートの再登録などの作業者の介在する処理を行わずに電線異常検出処理を行うことができるようにしている。

本実施形態においては、電線追尾に成功した場合に限り、一定のフレーム数ごとに新たに電線のテンプレートパターンを登録することとしている。例えば、１００フレームごとに新たにテンプレートパターンを更新するようにしている。テンプレートパターンは、予め登録しておく初期登録テンプレートと一定のフレームごとに更新用テンプレートの２種類を用いることとしている。尚、テンプレートパターンの登録数は、主記憶装置の容量の制約はあるため２種類としているがこれに限られるものではなく、３種類以上用いるようにしても良い。

本実施形態における電線の追尾成功・失敗判定処理では、直前のフレームの画像と比較して、電線の傾きが予め設定した閾値以上であれば、例えば、傾きが約６°（ｔａｎθ＝０．１）以上であれば電線の追尾に失敗したものと判断することとしている。尚、閾値は任意に設定することができるものであるので、上述の例に限られるものではない。また、電線の傾きは、画像内の電線の始点・終点を求めると同時に、始点・終点の座標位置から、電線の傾きを計算することとしている。

さらに、本実施形態では、傾きが閾値を超えて電線の追尾に失敗したものと判断した場合に、探索領域を拡げて再度、テンプレート照合処理（Ｓ２０６）へ戻り電線を探索することとしている。例えば、図３３（ａ）〜（ｃ）に徐々に探索領域を拡げていく図の一例を示す。例えば、初期の探索領域を、電線の直径の３倍とし、３倍の探索範囲内での探索結果が直前のフレームの画像と比較して、電線の傾きがｔａｎθが０．１以上であれば、探索領域を電線の直径の７倍に拡げて再度テンプレート照合処理（Ｓ２０６）へ戻り電線を探索することとしている。さらに、７倍の探索範囲内でも探索結果が直前のフレームの画像と比較して、電線の傾きがｔａｎθが０．１以上であれば、探索領域を電線の直径の１５倍（通常の撮影画像の上下方向の全範囲）に拡げて再度テンプレート照合処理（Ｓ２０６）へ戻り電線を探索することとしている。即ち、３倍、７倍、１５倍と３段階に探索領域を拡げて電線の探索を行っている。尚、探索領域をどの程度拡げるか、探索領域を何回拡げるかは任意に設定することができるものであり、上述の例に限られるものではない。また、電線の直径に対して閾値を設定するだけでなく、他の値を基準として閾値を設定するようにしても良い。例えば、画素数を閾値として１０画素、２０画素といったように画素に閾値を設定するようにしても良い。

また、探索領域を複数回に分けて徐々に拡げる理由は、データ処理範囲を限定して、より迅速な処理を行うためである。例えば、はじめから１５倍の閾値を設定した場合は、電線の位置があまり移動していない場合であっても、１５倍の範囲のデータ処理を行うこととなるので、処理の無駄が多くなる。このため、徐々に探索領域を拡げていき、見つからなかった場合に限り、探索領域を拡げることとしている。これにより、無駄なデータ処理を除き迅速な処理を行うことを可能としている。尚、探索領域を拡げる回数は、最低１回あれば良く、必ずしも２回行う必要もない、また、３回以上行うようにしても良い。

しかしながら、画面の上下方向全体に探索領域を拡げた場合であっても、電線の探索ができない場合がある。電線自体が画像内に撮影されていない場合は当然そのようになるが、電線が撮影されている場合でも、電線の追尾に失敗する可能性があることがわかっている。これは太陽光や雲とヘリコプターの位置などの撮影環境によって生じる電線の明るさの変化が原因である。また、ビデオカメラによる撮影は、電線を上空からヘリコプターで撮影するものであるので、背景画像は当然に、地上の背景となる。この場合に、例えば、電線と色情報値が近傍する背景（例えば、家屋、工場等）を撮影した場合などに、電線の検出に失敗する場合がある。即ち、撮影画像上の電線の陰影等が原因で誤検出をしてしまう場合がある。

そこで、本実施形態においては、上記述べたように、予め撮影画像中の電線のテンプレートパターンを主記憶装置に記憶しておくことにより、日照の変化等の撮影環境に関わらず電線の異常検出処理を行うことができるようにしている。探索領域を拡大しても電線の探索に失敗した場合は、直前のフレームの画像から予め登録しておいた電線のテンプレートパターンを参照するよう変更し、電線の探索を行うようにしている。

本実施形態においては、電線のテンプレートパターンを、上記述べたように予め処理開始時に入力しておき、さらに本処理中に任意に指定した一定の時間間隔でテンプレートパターンを記憶して、更新していくこととしている。具体的には、上記の探索領域を拡げて探索を行っても電線の探索に失敗した場合に、参照する電線のテンプレートパターンを変えたうえで、再度、通常の探索領域を探索するようにしている。さらに、参照する電線のテンプレートパターンを変えて探索を行っても、電線の探索に失敗した場合には、さらに探索領域を拡げて電線の探索を行うこととしている。尚、電線のテンプレートパターンの更新は、任意の時間間隔で行えば良い。また、複数の電線のテンプレートパターンを記憶しておいて、電線の検出ができるまで、参照する電線のテンプレートパターンを変更しながら処理を続けるようにしても良い。

実験の結果より、探索領域を拡大して電線の傾きを判定する処理と、参照する電線のテンプレートパターンを変えて、再度、探索領域を拡げて電線の傾きを判定する処理を行うことにより、ほとんどすべての画像について電線の検出が成功することがわかっている。本実施形態においては、まず探索領域を３段階に変更しながら、電線の検出を行い、その場合でも電線の検出を行うことができない場合においては、参照する電線のテンプレートパターンを変更して、再度、探索領域を３段階に変更しながら、電線の検出を行うこととしている。探索領域を拡大する処理、参照する電線のテンプレートパターンを変更する処理を何段階で行うかは、任意に設定することができるものであり、上記の例に限られるものではない。また、必ずしも両方の処理を行う必要はなく、どちらか一方の処理だけを行うようにしても良い。また、二つの処理をどのような順番で行うかについても上述の例に限られるものではない。

実験の結果、上記述べた電線の追尾成功・失敗判定処理により電線の追尾に失敗することはほとんどなかったが、背景の影響などにより、わずかな確率で失敗する場合も起こりうる。このため、本実施形態においては、上記述べた電線の追尾成功・失敗判定処理をおこなっても電線の探索に失敗した場合は、そのフレームの画像を静止画として記録、次のフレームへ処理へ移るようにしている。このようにすることにより、電線の検出に失敗した場合であっても処理を停止することがないこととしている。これにより、作業者は最初に電線の位置を指定するだけで、それ以降、処理終了まで介在することなく、処理を行うことができることが可能となり、迅速な処理を行うことが可能となった。

電線異常検出処理（Ｓ３）では、例えば図１３に示すように、電線の実際の輪郭線を構成するエッジ画素を検出する処理（Ｓ３０６）と、検出されたエッジ画素を用いて電線が健全である場合の理想輪郭線を求める処理（Ｓ３０７）と、エッジ画素と理想輪郭線との情報に基いて電線の形状の異常を検出する処理（Ｓ３０８）と、理想輪郭線に囲まれる領域の色情報値に基いて電線の色の異常を検出する処理（Ｓ３０９）とを行なうようにしている。

原画像から切り出され、主記憶装置に記憶されている対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する。原画像から電線部分を切り出した対象画像の中で、エッジすなわち輪郭情報がはっきりと現れるものは電線のみであり、エッジ画素を検出することで、電線の領域を正確に抽出することができる。

例えば図７に示すような画像に対し、図中の矢印で示すように、電線横断方向である垂直方向の一方向、例えば図中の上方に向かう方向に、隣接する２画素間の輝度値の差分値を求め、当該差分値と垂直方向の座標位置との関係を表したものを図８に示す。図８に現れている差分値０から突出した点、換言すれば差分値が両隣にある双方の差分値のよりも大きいか又は小さい点（以下、ピークとも呼ぶ。）のうち、絶対値の大きなものが電線部分を示している。従って、電線部分を示すピークの両端を検出できれば、電線領域を正確に抽出できる。

ここで、差分値の絶対値が閾値を超えるピークを探し、当該ピークを構成する画素をエッジ画素と判断する方法もあるが、この場合、太陽の方向や天候などによって適切な閾値が変動するため、一定の閾値の下では正確なエッジ検出が行なえない。

そこで、本実施形態のエッジ検出処理では、例えば図１４に示すように、対象画像における各電線横断方向の画素列について、電線横断方向の一方向に向かい隣接する２画素間の色情報値の差分値を求めて行く（Ｓ３０６−５）。そして、図１５に示すように、当該差分値の絶対値が最大となる点を求め（Ｓ３０６−７−１）、この最大点から電線横断方向の両方向に向かって予め定めた範囲にあり且つ当該最大点から最も離れた、差分値０から突出した点を求め、各突出点を構成する画素をエッジ画素と判断するようにしている（Ｓ３０６−７−６，Ｓ３０６−７−１１）。

図８を拡大した図９を用いて上記の原理を説明する。図９の中で差分値の絶対値が最大となる点Ｐ１を探す。さらに、この最大点Ｐ１を中心として、予め定めた範囲Δｊにあり且つ当該最大点Ｐ１から最も離れたピークＰ２を探す。ここで、ピークＰ２を探す範囲Δｊは、例えば対象画像における電線の太さに基いて定めるようにする。例えば電線の太さは４０画素程度であるものとし、最大点Ｐ１を中心に±２０画素の範囲Δｊでそれぞれ最も外側にあるピークＰ２を探す。そして、ピークＰ２を構成する画素をエッジ画素とする。ここで、ピークＰ２はそれぞれ２つの画素により構成されるが、予め定めた一方をエッジ画素とする。これより２つのエッジ画素が得られる。当該２つのエッジ画素の一方を第１エッジ画素と呼び、他方を第２エッジ画素と呼ぶ。本実施形態では、対象画像における上側に位置するエッジ画素を第１エッジ画素とし、下側に位置するエッジ画素を第２エッジ画素としている。以上の処理を対象画像の垂直方向画素列のすべてについて行なう。

次に、上述の処理で検出されたエッジ画素に基づいて、電線が健全である場合の理想輪郭線を求める処理を行なう。例えば図１６に示すように、第１エッジ画素群および第２エッジ画素群から予め定めた基準を満足しない低信頼性画素を除き、残りの第１エッジ画素群および第２エッジ画素群をそれぞれ直線で近似して、２本の理想輪郭線を求めるようにする（Ｓ３０７−１〜Ｓ３０７−３）。

例えば本実施形態では、第１エッジ画素群および第２エッジ画素群についてそれぞれ以下の処理を行なうことにより、直線性を大きく損ねている低信頼性画素を除くようにしている。即ち、図１７に示すように、エッジ画素をそれぞれ着目画素とし、着目画素を中心として電線長手方向である水平方向に予め定めた範囲、例えば±１５画素にあるエッジ画素の電線横断方向である垂直方向の座標位置の平均を求める（Ｓ３０７−１−３，Ｓ３０７−１−５）。そして、垂直方向の座標位置が当該平均から大きく外れるエッジ画素、即ち垂直方向の座標位置と当該平均との差の絶対値が予め定めた閾値以上となるエッジ画素を低信頼性画素として除くようにする（Ｓ３０７−１−４，Ｓ３０７−１−６）。

また、対となる第１エッジ画素と第２エッジ画素の間隔が極端に狭い又は広いエッジ画素、換言すれば、水平方向の座標位置が同じである第１エッジ画素と第２エッジ画素との垂直方向の座標位置の差が予め定めた上限値以上または下限値以下となるエッジ画素を、低信頼性画素として除くようにする（Ｓ３０７−１−７，Ｓ３０７−１−８）。

低信頼性画素を除いたエッジ画素群に直線を当てはめる方法として、例えば本実施形態では最小自乗法を用いる。但し、直線近似の方法はこの例に限定されるものではない。低信頼性画素を除いた第１エッジ画素群および第２エッジ画素群に基づいて求められた直線を、それぞれ第１理想輪郭線および第２理想輪郭線と呼ぶ。

上記理想輪郭線を利用する形状異常検出処理（図１３のＳ３０８）では、理想輪郭線から電線横断方向である垂直方向に予め定めた距離を超えて離れたエッジ画素が、電線長手方向である水平方向に予め定めた数だけ連続した場合に、素線切れなどにより電線の形状に異常が生じている可能性があると判断するようにしている。例えば、理想輪郭線から１０画素以上離れたエッジ画素が２０画素の長さにわたって現れた場合に、素線切れなどの電線異常の可能性があると判断するようにしている。これは、電線の一部が切れて外側に跳ねてしまっている場合、理想輪郭線からある程度離れたところに、エッジ画素がある程度まとまって存在するようになることを利用している。

一方、色異常検出処理（図１３のＳ３０９）では、第１および第２理想輪郭線に挟まれる各電線横断方向の画素列の色情報値から当該電線横断方向における代表値を求め、色情報の閾値から外れる代表値が電線長手方向に予め定めた数だけ連続した場合に、素線切れやアーク痕もしくは傷などにより電線の色に異常が生じている可能性があると判断するようにしている。

例えば本実施形態では、第１および第２理想輪郭線に挟まれる各垂直方向の画素列の輝度値の平均値を当該垂直方向における代表値とする。但し、この例に限定されず、第１および第２理想輪郭線に挟まれる各垂直方向の画素列の輝度値の最頻値を当該垂直方向における代表値としても良い。

また、本実施形態では、上記の代表値と比較する色情報の閾値を、各対象画像ごとに算出するようにしている。例えば数式３に示すように、ある対象画像について求めた代表値の標準偏差にαを乗じた値を、当該対象画像について求めた代表値の平均値に加算し、その値を当該対象画像における上限の閾値とし、代表値の標準偏差にαを乗じた値を代表値の平均値から減算した値を下限の閾値とする。ここで、αは任意の係数である。αを０．５から１．５まで変化させたところ、特にα＝０．９のとき正確な電線異常の検出が行なえた。そこで、本実施形態ではα＝０．９に設定している。

＜数３＞
閾値＝代表値の平均値±α×代表値の標準偏差

そして、上限の閾値以上となる代表値が水平方向に２０画素以上連続した場合、または下限の閾値以下となる代表値が水平方向に２０画素以上連続した場合に、素線切れやアーク痕などの電線異常の可能性があると判断するようにしている。これは、電線にアーク痕や傷などがある場合、当該異常箇所は電線の正常箇所よりも黒っぽくなる若しくは白っぽくなることを利用している。

ここで、上記の色異常検出処理において、第１エッジ画素および第２エッジ画素に挟まれる各電線横断方向の画素列の輝度値の平均値を、当該電線横断方向における代表値とすることも考えられる。但し、この場合、電線の一部が外に跳ねている素線切れがある場合は、電線でない部分の輝度値、例えば背景の輝度値も平均値の計算に含まれてしまい、正確な色異常検出が行なえない。本実施形態のように、第１および第２理想輪郭線に挟まれる領域で輝度値の平均を求めて代表値とすることにより、電線でない部分の輝度値が平均値の計算に含まれることを防ぎ、正確な色異常検出を行なうことができる利点が得られる。

ここで、本実施形態の対象画像は空撮映像より得られるものであり、電線の異常箇所は数フレームに渡って現れる。そこで、本実施形態では、電線に異常が生じている可能性があると判断された対象画像が予め定めた数、例えば２フレーム以上連続した場合に、電線に異常が生じていると判断するようにしている。これにより、より信頼性の高い電線異常検出を行なえる。ただし、ヘリコプターの飛行速度が遅い場合等には、さらに多くの連続フレームに異常箇所が現れるので、より多くのフレーム数以上連続した場合に、電線に異常が生じていると判断するようにしても良い。

電線異常検出処理を終了すると、ログに記録された異常画像の出力処理（Ｓ４）を行うものとしている。本実施形態においては、対象画像が切り出せなかった原画像や、異常検出した画像の連続する画像を、動画像ファイル（例えば、aviファイル、mpeg2ファイル等）に変換し、出力装置１４上で再生可能なものとしている。これにより、動画像の状態のまま確認できるので、作業者の目視による確認をより容易なものとしている。作業者は出力装置１４に表示された動画像を見て、問題の有無を目視により判定できる。例えば、本実施形態の色異常検出処理では、電線にしみ等がある場合にも異常ありと判断する可能性があるが、単なるしみであるかアーク痕であるかの判断は、最終的に作業者が行なうようにしている。尚、動画像に限らず、静止画像として記録しても良い。例えば、静止画像をアルバム状に整理して表示するようにしても良い。また、動画像と静止画像の両方を記録して、両方の画像を用いて作業者が確認作業をするようにしてもよい。

以上に説明した電線異常検出方法は、例えば周知のコンピュータを用いて、電線異常検出装置として装置化できる。この電線異常検出装置１０は、例えば図１０に示すように、電線が撮影された映像が入力される入力インターフェース１１と、原画像や対象画像等のデータが記録される外部記憶装置１２としてのハードディスクと、一時的な作業データ等が記録される主記憶装置１３としてのＲＡＭと、異常が検出された画像等が出力される出力装置１４と、中央処理演算装置（ＣＰＵ）１５等を備えている。上記のハードウェア資源は例えばバス１６を通じて電気的に接続されている。入力インターフェース１１は、例えばビデオカメラから入力される又は映像が記録されたＤＶＤ等の媒体から読み込まれる信号をコンピュータでの処理が可能なデータに変換する機能や、映像を構成する各フレームをそれぞれ画像データとして外部記憶装置１２に記録する機能を有する。このような入力インターフェース１１として、例えば既存のＮＴＳＣ−ＲＧＢコンバータやフレームグラバまたはパーソナルコンピュータ用画像取り込みボード等を利用して良い。出力装置１４は、例えばディスプレイであり、異常が検出された画像やユーザインターフェース画面などが表示される。また、外部記憶装置１２には本発明の電線異常検出プログラムが記録されており、当該プログラムがＣＰＵ１５に読み込まれ実行されることによって、コンピュータが電線異常検出装置１０として機能する。また、電線異常検出装置１０は、電線が撮影された原画像から電線が撮影されている部分を切り出す対象画像の切り出し処理部と、対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに形状異常検出処理または色異常検出処理とを行う電線異常検出処理部とを備えるものである。

本実施形態の電線異常検出プログラムによって、電線異常検出装置１０が実行する処理の一例を、図１１〜図２４のフローチャートに沿って説明する。先ず前処理を行なう（Ｓ１）。図２２に、この前処理を詳細化したフローチャートを示す。先ず、タイムコードの指定を行い（Ｓ１０１）、ビデオカメラまたは映像が記録された媒体から、入力インターフェース１１を介して、外部記憶装置１２に指定されたタイムコードに対応する画像データを読み込む（Ｓ１０２）。そして、外部記憶装置１２に記録した画像データを、例えば８ビットのグレースケール画像に変換する（Ｓ１０３）。これにより得た原画像に対し、ガウシアンフィルタをかけ、原画像からノイズ成分を除去する（Ｓ１０４）。これは、インパルスノイズのような突発的なノイズが画像に現れるとエッジ検出処理での差分計算の際に大きなピークを発生し、エッジの誤検出を引き起こしてしまうので、このような事態を避けるためである。以上で前処理を終了する。

前処理の終了後、対象画像の切り出し処理を行なう（図１１のＳ２）。図１２に対象画像の切り出し処理を詳細化したフローチャートを示す。この処理では、先ず、フレームカウンタｎに１をセットする（Ｓ２０１）。そして、テンプレートの登録処理を行なう（Ｓ２０２）。例えば図２５に示すようにｎフレーム目すなわち１フレーム目の原画像をウィンドウ２２内に表示する。この画面では、作業者がウィンドウ２２内に表示された電線の上側位置２３を選択し、さらにラジオボタン「電線の上側位置」２１をマウス等のポインティングデバイスで選択する。次に、マウス等で選択したまま電線の下側まで移動（図２６）して選択を解除すると、自動的に矩形２４が現れる（図２７）。最後に設定完了ボタンを押して、テンプレートの登録処理（Ｓ２０２）は終了となる。

ｎフレーム目の原画像が存在する場合は（Ｓ２０３；Ｙｅｓ）、当該原画像を読み込む（Ｓ２０４）。ここで、１フレーム目の原画像については上記のテンプレートの登録の際に電線探索が行なわれているため、テンプレートの登録処理（Ｓ２０２）の中でフレームカウンタｎに１を加算しておいても良い。前のフレームでの電線の検出位置の中点を探索位置の上下方向の中心として、３つの探索領域を配置する（Ｓ２０５）。探索領域内でテンプレートと最も類似する領域を探索するテンプレート照合処理を行なう（Ｓ２０６）。

次に、電線の移動位置推定処理（Ｓ２０７）、電線の追尾成功・失敗処理を行い（Ｓ２０８）、原画像から各探索結果を少なくとも含む画像を切り出し、ｎ番目の対象画像として外部記憶装置１２に記録し、次回の探索領域の配置のため、探索結果の中点の座標位置を記録する（Ｓ２１０）。そして、フレームカウンタｎに１を加算し（Ｓ２１１）、次フレームであるｎフレーム目の原画像について、Ｓ２０３以下の処理を繰り返す。

図２３に電線の移動位置推定処理（Ｓ２０７）を詳細化したフローチャートの一例を示す。各探索結果の幅方向における座標位置を求める（Ｓ２０７−１）、各座標位置の変位の位相がそろっていれば（Ｓ２０７−２；Ｙｅｓ）、電線の追尾成功・失敗処理（Ｓ２０８）を行う。各座標位置の変位の位相がそろっていなければ（Ｓ２０７−２；Ｎｏ）、直前のフレームでの各探索結果の座標位置との差（移動ベクトル）を求め（Ｓ２０７−３）、各探索領域の移動ベクトルの差の絶対値を求める（Ｓ２０７−４）。さらに、移動ベクトルの差の絶対値が最も小さくなった探索領域での移動ベクトルを基準として他の探索領域での座標位置を修正したうえで（Ｓ２０７−５）、電線の追尾成功・失敗処理（Ｓ２０８）を行う。以上で電線の移動位置推定処理を終了する。

図２４に電線の追尾成功・失敗判定処理を詳細化したフローチャートの一例を示す。電線の傾きが予め設定した閾値以上（ここでは、ｔａｎθ＝０．１）であれば（Ｓ２０８−１；Ｙｅｓ）、探索範囲を電線の直径の３倍から７倍に拡大したうえで（Ｓ２０８−２）、再度テンプレート照合処理、電線の移動位置推定処理を行う（Ｓ２０６〜Ｓ２０７）。尚、探索範囲を拡大する回数は、特に限られるものではないが、ここでは、探索範囲を２回拡大するものとする。探索範囲を拡大しても、再度電線の傾きが予め設定した閾値以上であれば（Ｓ２０８−３；Ｙｅｓ）、探索範囲を電線の直径の７倍から１５倍に拡大し（Ｓ２０８−４）、再度テンプレート照合処理、電線の移動位置推定処理を行う（Ｓ２０６〜Ｓ２０７）。再度探索範囲を拡大しても、電線の傾きが予め設定した閾値以上であれば（Ｓ２０８−５；Ｙｅｓ）、参照する電線のテンプレートパターンを変更したうえで、再度テンプレート照合処理、電線の移動位置推定処理を行い（Ｓ２０６〜Ｓ２０７）、電線の追尾成功・失敗判定処理を終了する。また、いずれかの時点で電線の傾きが予め設定した閾値未満であれば（Ｓ２０８−１、Ｓ２０８−３、Ｓ２０８−５；Ｎｏ）電線の追尾に成功したものとして、電線の追尾成功・失敗判定処理を終了する。以上で、電線の追尾成功・失敗判定処理を終了する。

すべての原画像について以上の処理を行なうと（Ｓ２０３；Ｎｏ）、対象画象の切り出し処理を終了し、電線異常検出処理を行なう（図１１のＳ３）。図１３に電線異常検出処理を詳細化したフローチャートを示す。この処理では、画像カウンタｋに１をセットし（Ｓ３０１）、形状異常カウンタｚに０をセットし（Ｓ３０２）、色異常カウンタｑに０をセットする（Ｓ３０３）。そして、ｋ番目の対象画像が存在する場合は（Ｓ３０４；Ｙｅｓ）、当該対象画像を読み込み（Ｓ３０５）、読み込んだ対象画像について、エッジ検出処理（Ｓ３０６）、理想輪郭線推定処理（Ｓ３０７）、形状異常検出処理（Ｓ３０８）、色異常検出処理（Ｓ３０９）を行なう。これらの処理の終了後、画像カウンタｋに１を加算し、次フレームにあたるｋ番目の対象画像について、Ｓ３０４以下の処理を繰り返す。すべての対象画像について以上の処理を行なうと（Ｓ３０４；Ｎｏ）、電線異常検出処理を終了する。

図１４にエッジ検出処理を詳細化したフローチャートを示す。この処理では、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０６−１）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０６−２）。水平画素番号ｉがi_max以下であれば（Ｓ３０６−２；Ｙｅｓ）、電線横断方向である垂直方向の画素番号ｊに１をセットする（Ｓ３０６−３）。そして、垂直画素番号ｊの値が、対象画像の垂直方向画素数j_maxから１を減算した値を超えていないか判断する（Ｓ３０６−４）。垂直画素番号ｊがj_max−１以下であれば（Ｓ３０６−４；Ｙｅｓ）、座標（ｉ，ｊ）にある画素の輝度値と座標（ｉ，ｊ＋１）にある画素の輝度値との差を求め、差分値（ｊ）として記録する（Ｓ３０６−５）。そして、垂直画素番号ｊに１を加算し（Ｓ３０６−６）、Ｓ３０６−４以下の処理を繰り返す。垂直画素番号ｊの値が、j_max−１を超えると（Ｓ３０６−４；Ｎｏ）、水平画素番号ｉにおける垂直方向画素列の隣接する２画素間の輝度値の差分値はすべて求められたこととなり、次にエッジ画素の検索処理を行なう（Ｓ３０６−７）。

図１５にエッジ画素の検索処理を詳細化したフローチャートを示す。当該処理では、記録された差分値の中から絶対値が最大となる差分値（ｊ’）を求め、差分値（ｊ’）に対応する垂直画素番号ｊ’を求める（Ｓ３０６−７−１）。そして、ｊ’にΔｊとして例えば２０を加えた値をＪとする（Ｓ３０６−７−２）。そして、垂直画素番号Ｊに対応する差分値（Ｊ）がピークを構成するか否か判断する。具体的には、差分値（Ｊ）＞０であり且つ差分値（Ｊ）＞差分値（Ｊ−１）であり且つ差分値（Ｊ）＞差分値（Ｊ＋１）であるか（Ｓ３０６−７−３）、若しくは、差分値（Ｊ）＜０であり且つ差分値（Ｊ）＜差分値（Ｊ−１）であり且つ差分値（Ｊ）＜差分値（Ｊ＋１）であるか（Ｓ３０６−７−４）、を判断する。差分値（Ｊ）がピークを構成する場合には（Ｓ３０６−７−３；ＹｅｓまたはＳ３０６−７−４；Ｙｅｓ）、座標（ｉ，Ｊ）にある画素を第１エッジ画素として記録する（Ｓ３０６−７−６）。差分値（Ｊ）がピークを構成しない場合には（Ｓ３０６−７−３；ＮｏかつＳ３０６−７−４；Ｎｏ）、垂直画素番号Ｊから１を減じ（Ｓ３０６−７−５）、Ｊを中心となる垂直画素番号ｊ’に１画素近づけて、当該垂直画素番号Ｊに対応する差分値（Ｊ）がピークを構成するか否か再び検討する。同様に、ｊ’からΔｊとして２０を減じた値をＪ’とし（Ｓ３０６−７−７）、垂直画素番号Ｊ’に対応する差分値（Ｊ’）がピークを構成するか否か判断し（Ｓ３０６−７−８，Ｓ３０６−７−９）、ピークを構成する場合は座標（ｉ，Ｊ’）にある画素を第２エッジ画素として記録し（Ｓ３０６−７−１１）、ピークを構成しない場合は垂直画素番号Ｊ’に１を加算し（Ｓ３０６−７−１０）、Ｊ’を中心となる垂直画素番号ｊ’に１画素近づけて、差分値（Ｊ’）がピークを構成するか否か再び判断する。以上により、差分値が最大となる点ｊ’から定めた範囲±Δｊにあり且つ当該最大点ｊ’から最も離れたピークを構成する画素、即ちエッジ画素が求められる。

水平画素番号ｉについて第１エッジ画素および第２エッジ画素が求められると、図１４の処理に戻り、水平画素番号ｉに１を加算し（Ｓ３０６−８）、当該水平画素番号ｉについてＳ３０６−２以下の処理を繰り返す。以上により、対象画像を構成する各垂直画素列ごとに、換言すれば各水平画素番号ごとに、第１エッジ画素および第２エッジ画素が求められる。水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えると（Ｓ３０６−２；Ｎｏ）、当該対象画像におけるエッジ検出処理を終了する。

エッジ検出処理を終了すると、理想輪郭線推定処理（Ｓ３０７）を行なう。図１６に理想輪郭線推定処理を詳細化したフローチャートを示す。この処理では、先ず除去候補画素の検索処理を行なう（Ｓ３０７−１）。更にこの処理では、図１７に詳細を示すように、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０７−１−１）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０７−１−２）。水平画素番号ｉがi_max以下であれば（Ｓ３０７−１−２；Ｙｅｓ）、水平画素番号ｉ−Δｉ〜ｉ＋Δｉにおいて存在する第１エッジ画素について、電線横断方向である垂直方向の座標位置の平均値を求め、Ave1とする（Ｓ３０７−１−３）。尚、Δｉは例えば１５とする。そして、水平画素番号ｉ−Δｉ〜ｉ＋Δｉにおいて存在する第１エッジ画素のうち、その垂直方向の座標位置と上記平均値Ave1との差の絶対値が、予め定めた閾値以上となるエッジ画素を除去候補画素として記録する（Ｓ３０７−１−４）。同様に、水平画素番号ｉ−Δｉ〜ｉ＋Δｉにおいて存在する第２エッジ画素について、垂直方向の座標位置の平均値を求めてAve2とし（Ｓ３０７−１−５）、これら第２エッジ画素のうち、その垂直方向の座標位置と上記平均値Ave2との差の絶対値が、予め定めた閾値以上となるエッジ画素を除去候補画素として記録する（Ｓ３０７−１−６）。さらに、水平画素番号ｉにおける第１エッジ画素と第２エッジ画素の垂直方向の位置の差を求め、ΔＤとする（Ｓ３０７−１−７）。ΔＤが予め定めた上限値以上または下限値以下となる場合、当該水平画素番号ｉにおける第１エッジ画素と第２エッジ画素を除去候補画素として記録する（Ｓ３０７−１−８）。そして、水平画素番号ｉに１を加算し（Ｓ３０７−１−９）、当該水平画素番号ｉについてＳ３０７−１−２以下の処理を繰り返す。以上により、垂直方向の座標位置が±１５画素の範囲にある周囲のエッジ画素の平均から大きく外れるエッジ画素や、対となる第１エッジ画素と第２エッジ画素の間隔が極端に狭い又は広いエッジ画素が、除去候補画素として記録される。水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えると（Ｓ３０７−１−２；Ｎｏ）、当該対象画像における除去候補画素の検索処理を終了する。

除去候補画素が求められると、図１６の処理に戻り、第１エッジ画素群から、除去候補画素すなわちエッジの直線性を損ねる低信頼性画素を除いた残りの画素を用いて、最小自乗法により、第１輪郭線を作成する（Ｓ３０７−２）。同様に、第２エッジ画素群から除去候補画素を除いた残りの画素を用いて、最小自乗法により第２輪郭線を作成する（Ｓ３０７−３）。これにより、当該対象画像における理想輪郭線推定処理を終了し、当該対象画像について形状異常検出処理（Ｓ３０８）および色異常検出処理（Ｓ３０９）を行なう。

図１８および図１９に形状異常検出処理を詳細化したフローチャートを示す。この処理では、カウンタｗ，ｗ’に０をセットし（Ｓ３０８−１，Ｓ３０８−２）、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０８−３）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０８−４）。水平画素番号ｉがi_max以下であれば（Ｓ３０８−４；Ｙｅｓ）、水平画素番号ｉにおける第１エッジ画素と水平画素番号ｉにおける第１輪郭線上の点との電線横断方向である垂直方向の座標位置の差を求め、ΔＨ１とする（Ｓ３０８−５）。同様に、水平画素番号ｉにおける第２エッジ画素と水平画素番号ｉにおける第２輪郭線上の点との垂直方向の座標位置の差を求め、ΔＨ２とする（Ｓ３０８−６）。そして、ΔＨ１の絶対値およびΔＨ２の絶対値が、予め定めた値H_max以上であるか判断する（Ｓ３０８−７，Ｓ３０８−９）。H_maxは例えば１０とする。ΔＨ１がH_max以上である場合はカウンタｗに１を加算し（Ｓ３０８−８）、ΔＨ２がH_max以上である場合はカウンタｗ’に１を加算する（Ｓ３０８−１０）。そして、カウンタｗまたはカウンタｗ’の値が予め定めた値w_max以上であるか判断する（Ｓ３０８−１１）。w_maxは例えば２０とする。カウンタｗ，ｗ’の双方がw_maxに満たなければ（Ｓ３０８−１１；Ｎｏ）、水平画素番号ｉに１を加算し（Ｓ３０８−１３）、当該水平画素番号ｉについてＳ３０８−４以下の処理を繰り返す。一方、ΔＨ１とΔＨ２の双方がH_maxに満たない場合は、カウンタｗ，ｗ’に０をセットし（Ｓ３０８−１２）、水平画素番号ｉに１を加算し（Ｓ３０８−１３）、当該水平画素番号ｉについてＳ３０８−４以下の処理を繰り返す。

カウンタｗ，ｗ’の少なくとも一方がw_max以上となる場合は（Ｓ３０８−１１；Ｙｅｓ）、理想輪郭線から１０画素以上離れたエッジ画素が２０画素連続して現れたこととなるので、当該対象画像を形状異常候補画像として記録する（Ｓ３０８−１４）。そして、形状異常カウンタｚに１を加算し（Ｓ３０８−１５）、当該カウンタｚが予め定めた値z_max以上であるか判断する（Ｓ３０８−１６）。z_maxは例えば２とする。形状異常カウンタｚがz_maxに満たなければ（Ｓ３０８−１６；Ｎｏ）、当該対象画像についての形状異常検出処理を終了する。一方、形状異常カウンタｚがz_max以上である場合（Ｓ３０８−１６；Ｙｅｓ）、形状異常候補画像が２フレーム以上連続したこととなるので、これらの形状異常候補画像をログに記録する（Ｓ３０８−１７）。そして、形状異常カウンタｚを０にリセットし（Ｓ３０８−１８）、当該対象画像についての形状異常検出処理を終了する。他方、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えるまで処理された場合は（Ｓ３０８−４；Ｎｏ）、理想輪郭線から１０画素以上離れたエッジ画素が２０画素連続して現れることの無かった場合であり、形状異常カウンタｚを０にリセットし（Ｓ３０８−１８）、当該対象画像についての形状異常検出処理を終了する。

図４は素線切れを起こしている電線が撮影された画像を示す。図４の画像に対し、上記のエッジ検出処理を行なった結果を図２に示す。また、図２に示すエッジ画素の中から上記の理想輪郭線推定処理によって低信頼性画素を特定し、当該低信頼性画素を除いた残りのエッジ画素に基づいて理想輪郭線を求めた結果を図３に示す。そして、図２のエッジ画素と図３の理想輪郭線とを重ねて表示した結果を図１に示す。尚、図中の符号４０は第１エッジ画素を示し、符号４１は第２エッジ画素を示し、符号４２は第１理想輪郭線を示し、符号４３は第２理想輪郭線を示す。図１には、理想輪郭線から１０画素以上離れたエッジ画素が２０画素以上連続して現れる様子が示されており、上記の形状異常検出処理によって素線切れを起こしている電線を正確に検出できることが確認できる。

次に、図２０および図２１に色異常検出処理を詳細化したフローチャートを示す。この処理では、カウンタｕ，ｕ’に０をセットし（Ｓ３０９−１，Ｓ３０９−２）、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０９−３）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０９−４）。水平画素番号ｉがi_max以下であれば（Ｓ３０９−４；Ｙｅｓ）、水平画素番号ｉにおいて第１輪郭線と第２輪郭線との間に位置する画素の輝度値の平均値を求め、当該平均値を代表値Val（ｉ）とする（Ｓ３０９−５）。そして、水平画素番号ｉに１を加算し（Ｓ３０９−６）、当該水平画素番号ｉについてＳ３０９−４以下の処理を繰り返す。これにより、各水平画素番号ｉについて代表値Val（ｉ）が求められる。水平画素番号ｉがi_maxを超えると（Ｓ３０９−４；Ｎｏ）、求めた代表値Val（１）〜Val（i_max）を用いて数式３により上限の閾値Val’と下限の閾値Val”を求める（Ｓ３０９−７）。

そして、再び水平画素番号ｉに１をセットし（Ｓ３０９−８）、水平画素番号ｉがi_max以下であるか判断する（Ｓ３０９−９）。水平画素番号ｉがi_max以下であれば、当該画素番号ｉに対応する代表値Val（ｉ）が上限値Val’以上であるか又は下限値Val’以下であるか判断する（Ｓ３０９−１０，Ｓ３０９−１２）。代表値Val（ｉ）が上限値Val’以上である場合はカウンタｕに１を加算し（Ｓ３０９−１１）、代表値Val（ｉ）が下限値Val”以下である場合はカウンタｕ’に１を加算する（Ｓ３０９−１３）。そして、カウンタｕまたはカウンタｕ’の値が予め定めた値u_max以上であるか判断する（Ｓ３０９−１４）。u_maxは例えば２０とする。カウンタｕ，ｕ’の双方がu_maxに満たなければ（Ｓ３０９−１４；Ｎｏ）、水平画素番号ｉに１を加算し（Ｓ３０９−１６）、当該水平画素番号ｉについてＳ３０９−９以下の処理を繰り返す。一方、代表値Val（ｉ）が上限値Val’以上でなく且つ下限値Val”以下でない場合は、カウンタｕ，ｕ’に０をセットし（Ｓ３０９−１５）、水平画素番号ｉに１を加算し（Ｓ３０９−１６）、当該水平画素番号ｉについてＳ３０９−９以下の処理を繰り返す。

カウンタｕ，ｕ’の少なくとも一方がu_max以上となる場合は（Ｓ３０９−１４；Ｙｅｓ）、上限値Val’以上または下限値Val”以下となる代表値Val（ｉ）が２０画素連続して現れたこととなるので、当該対象画像を色異常候補画像として記録する（Ｓ３０９−１７）。そして、色異常カウンタｑに１を加算し（Ｓ３０９−１８）、当該カウンタｑが予め定めた値q_max以上であるか判断する（Ｓ３０９−１９）。q_maxは例えば２とする。色異常カウンタｑがq_maxに満たなければ（Ｓ３０９−１９；Ｎｏ）、当該対象画像についての色異常検出処理を終了する。一方、色異常カウンタｑがq_max以上である場合（Ｓ３０９−１９；Ｙｅｓ）、色異常候補画像が２フレーム以上連続したこととなるので、これらの色異常候補画像をログに記録する（Ｓ３０９−２０）。そして、色異常カウンタｑを０にリセットし（Ｓ３０９−２１）、当該対象画像についての色異常検出処理を終了する。他方、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えるまで処理された場合は（Ｓ３０９−９；Ｎｏ）、上限値Val’以上または下限値Val”以下となる代表値Val（ｉ）が２０画素連続して現れることの無かった場合であり、色異常カウンタｑを０にリセットし（Ｓ３０９−２１）、当該対象画像についての色異常検出処理を終了する。

図６はアーク痕がある電線が撮影された画像を示す。図６の画像に対し、上記の色異常検出処理を行なった結果を図５に示す。尚、図中の符号４４は各水平画素番号における代表値を示し、符号５５は下限の閾値を示す。図５には、下限の閾値以下となる代表値が２０画素以上連続して現れる様子が示されており、上記の色異常検出処理によってアーク痕がある電線を正確に検出できることが確認できる。

すべてのフレームについての電線異常検出処理を（Ｓ３）終了すると、ログに記録された異常画像を動画像ファイルとして出力処理を行なう（図１１のＳ４）。尚、異常画像を動画像ファイルとして出力処理を行なう処理は、すべてのフレームについての処理の終了後に行っても、処理の途中で同時に並列処理を行うようにしても良い。以上により、本実施形態の電線異常検出プログラムによって、電線異常検出装置１０が実行する処理は終了する。

本発明によれば、作業者は電線の空撮映像を最初からすべて目視点検する必要は無く、電線異常検出装置１０が提示する一部の画像や映像について確認すれば良く、作業者の労力が大幅に軽減される。さらに、ビデオカメラを電線異常検出装置１０に接続して、ビデオカメラより得られる映像をリアルタイムで処理することで、ヘリコプターで巡視している現場で電線の異常箇所の検出まで行うことも可能となり、作業に関わる人的資源や設備資源を縮小し全体のコストを大幅に低減することが可能になる。

なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、上述の実施形態ではグレースケール画像を原画像として各処理を行なったが、カラー画像を原画像として各処理を行なっても良い。例えば原画像がグレースケール画像である場合、対象画像の切り出し処理において、山の稜線などを変位の位相が揃っている探索結果として判断してしまう場合があるが、原画像をカラー画像とし、輝度値に加えて色相値も用いたテンプレート照合を行なうことで、そのような失敗を回避できる。

また、エッジ検出処理は必ずしも上述の実施形態の例には限定されず、従来のエッジ検出方法を採用しても良い。また、更なる処理の高速化を図るために、図１１から図２４に示した処理の一部又は全部をハードウェア化しても良い。特にエッジ検出処理の部分は、汎用的な手法であるため、市販の画像処理ボードとの親和性も良く、ハードウェア化が容易である。ハードウェア化によって、ビデオレートでの処理も期待できる。

また、閾値などの各パラメータ、例えばエッジ検出処理においてピークを探す範囲Δｊ、形状異常を判断するエッジ画素と理想輪郭線との距離の基準H_max、色異常を判断する閾値の係数α、連続する異常候補画素の基準w_max，u_max、連続する異常候補画像の基準ｚ，ｑなどは、撮影条件などに合わせて適宜調節してよい。

また、上述の実施形態では、原画像から切り出した対象画像に対して電線異常検出処理を行なったが、場合によっては原画像をそのまま対象画像として、電線異常検出処理を行なっても良い。また、上述の切り出し処理で得られた対象画像を、形状異常検出処理や色異常検出処理以外の電線点検用の画像処理に用いても良い。

また、輝度値に加えて色情報値を利用して判定することにより、例えば、ＯＰＧＷ（光ファイバ複合架空地線）などの捻回確認用赤色ラインが引かれた赤色ライン付き電線についての検出精度を向上するようにしても良い。さらに、飛び越し走査（処理を行う動画像の、画像の奇数行と偶数行で取り込み時間が異なっていること）を補正することにより、画像の鮮明度を向上させ異常箇所を鮮明にして異常検出の精度を向上するようにしても良い。

（実施例１）
実際に電線がビデオカメラにより撮影された画像を用いて、検探索範囲可変、明るさパターン可変機能を有していない特許文献１記載の技術と、特許文献１記載の技術に探索領域を拡大させる機能を加えたプログラム（以下、探索範囲可変版という）と、さらに明るさパターンを参照する機能を追加したプログラム（以下、探索範囲可変＋参照明るさパターン可変版という）において、電線追尾性能を比較する実験を行った。

表１に実験結果を示す。尚、表１において処理画像総数に違いがあるのは、特許文献１記載の技術では、追尾不能により追尾処理が打ち切られ、探索範囲可変版とは処理画像総数が少なくなったためである。また、ここで、追尾失敗率とは電線の位置を特定できなかった割合をいい、再追尾成功率とは追尾失敗後に再度、電線追尾に成功した割合をいう。ここで、画像の背景が森林などの緑であり、道路、河川、民家、工場等が映っていない画像については、特許文献１記載の技術と二つの改良版ともに追尾性能に差はでなかった。しかし、電線に類似した灰色部分（道路、民家、工場等）を含む背景が存在した場合には、特許文献１記載の技術、または、探索範囲可変版では、追尾失敗率が高くなった。この場合、再追尾率も低くなった。一方、探索範囲＋参照明るさパターン可変版では、１径間あたり１%以下の追尾失敗率に加えて再追尾に１００％成功した。即ち、探索範囲可変機能と参照明るさパターン機能を追加したプログラムにより、電線追尾能力が大幅に向上できたことがわかった。

本実験により、探索範囲可変＋参照明るさパターン可変版では０．５３％と１％以下の失敗率まで抑えることができることがわかった。また、電線に類似した灰色部分の背景（民家、工場など）が存在した場合、特許文献１記載の技術、探索範囲可変版では追尾不能となり、再追尾も失敗することがあったが、探索範囲可変＋参照明るさパターン可変版では１００％再追尾可能であることがわかった。即ち、追尾失敗率が１％未満であり、かつ再追尾成功率が１００％であるので、システムがほとんど停止することなく、監視が可能となることがわかった。これにより作業者の介在をへらすことができた。

次に、タイムコードを用いて電線異常検出に無関係な画像の除去を行った。図３４にタイムコード入力画面の一例を示す。図３５（ａ）〜（ｃ）に、電線異常検出に無関係な画像の除去の一例を示す。尚、上がタイムコード、下がこれまで処理した画像の枚数を示している。例えば、図３５（ａ）では、処理した画像枚数が２８枚、タイムコードが４８分３０秒の２２であることを示している。即ち、一秒間に３０枚撮影しているので、４８分３０秒後の２２枚目の画像であることを示している。また、図３５（ｃ）では、タイムコードが４８分４９秒７であることを示している。つまり、４８分４９秒後の画像の７枚目を処理したことを示している。尚、実際の画面にはタイムコードが表示されているが、理解を助けるために、タイムコードを各画像の下に改めて示している。

本実験では、電線異常検出に無関係な画像の除去を行うために、点検ビデオ撮影時に径間ごとの開始と終了のタイムコードを記憶装置に記憶させておき、指定された間だけの撮影画像について電線以上検出処理を行った。具体的には、図３４に示す入力画面に、径間ごとの開始と終了のタイムコードを入力を行った、これにより、指定されたタイムコードの間の画像のみの処理を行うことができるようにした。例えば、図３５（ｂ）に示すような、タイムコードが４８分３１秒〜４８分４８秒の画像は、鉄塔部分の撮影画像であったので、予めタイムコードを指定しないことで、この間の電線異常検出処理を省略した。これにより、処理するデータ量が減るので、迅速な処理を行うことができた。

（実施例２）
次に、ＯＰＧＷ（光ファイバ複合架空地線）などの捻回確認用赤色ラインが引かれた赤色ライン付き電線への適用実験を行った。赤色ラインとアーク痕には色分布に大きな違いがあるため、この色情報を利用して誤判定を減らすようにした。具体的には、ＯＰＧＷの捻回確認用赤色ラインとアーク痕の識別手法について実験を行った。図３６に赤ラインがあった場合の赤(Ｒｅｄ)、緑(Ｇｒｅｅｎ)、青(Ｂｌｕｅ)成分の輝度値の出現頻度分布を示し、図３７にアーク痕があった場合のＲＧＢ成分の輝度値出現頻度分布の様子を示す。色情報値のＲ成分に着目することで、赤色ラインとアーク痕の区別をおこなった。

また、図３８に赤色ラインを含んだ画像の一例を、図３９にアーク痕を含んだ画像の一例を示す。まず、電線のＲ成分に着目して、赤色ライン付き電線が撮影された画像に適用した。ここでは、アーク痕と判定した場合であって、さらにＲ成分との輝度値差がＧ成分、Ｂ成分いずれも６以上あった場合を赤色ラインにより誤検出したものとした。この値は、予め赤色ライン付き電線へ適用し実験的に求めた。電線の色情報を利用しない場合、赤色ラインをアーク痕と誤判定してしまう誤検出率は、３５．０％であったが、Ｒ成分を利用した場合の誤検出率は、１８．７％と約半分に減少し、輝度値に加えて色情報値を用いることが有効であることがわかった。図４０（ａ）は、色情報を利用せず輝度値のみで判定を行った場合を示し、図４０（ｂ）は、色情報を使った場合の判定結果の一例を示している。色情報を利用しなければ、図４０(ａ）に示すように、アーク痕有りと誤判定するが、色情報値を判定に利用することにより(ｂ）に示すように赤色ライン有りと正しく判定することがわかった。本実験により、色情報値をＯＰＧＷ（光ファイバ複合架空地線）などの捻回確認用赤色ラインが引かれた赤色ライン付き電線の異常検出を行う際に適用することにより、誤検出率を減らし、有効な電線の異常検出を行うことができることがわかった。

（実施例３）
次に、本システムの性能評価について実験をおこなった。パターン識別の分野では、通常は異常箇所を検出できる能力で評価するが、電線異常検出の業務では、確実に異常を検出することが必要である。そこで、本システムの評価は、通常のパターン識別で採られている評価手法ではなく、１００％異常を検出できるようにパラメータを設定し、それに伴って増加すると考えられる正常なものを異常と判定する誤判定の割合（誤検出率）を指標として評価することとした。この評価法を採ることで、誤検出率が小さければ、異常検出の最終確認の時間を削減できるため作業効率の評価ができる。

電線異常検出方法、低価格で構成できるシステム上で開発をおこなっている画像の解像度はハイビジョンと比べ解像度が低い。そこで、本システムで対象としている画像解像度で異常を調べた点検記録との比較結果を表２に示す。

特許文献１記載の技術の電線異常検出システムでは、アーク痕や素線切れのみを検出対象としていたが、実際の作業では、ゴミ、変色もあわせて点検しているため、これらも検出するようにパラメータの調整を行った。表２の人（作業者）が正常と判定し、本システムが異常と判定した誤検出率は４３．５％であった。特許文献１記載の技術では約７０％の誤検出率であったのに比べ約２６％向上した。向上した要因は、本システムにより電線の追尾能力が向上し、より正確に電線を認識できるとようになったためと考えられる。

次に、実際の電線の点検業務で使用されているハイビジョンによる画像での点検記録に基づいた比較結果を表３に示す。

本システムで対象としている画像解像度とハイビジョンの解像度には８倍の差があり、解像度の低い画像でごみや変色を確認できなくても、ハイビジョンでは確認できるため、ハイビジョンでの点検結果をもとにパラメータを設定すると、誤検出率は高くなることが予想されるが、本システムの点検業務への適用可能性を調べるため比較実験を行った。表３の結果から、解像度の違いにより誤検出率が約３０％高くなるにすぎないことがわかった。これにより、まず本システムの予備的検査で異常箇所の候補を選び出し、ハイビジョンシステムで問題箇所だけを作業者による最終確認を行うことで作業効率の更なる向上が図れる可能性があることがわかった。

また、現状の大きな問題の一つは、微小なゴミや変色も検出対象としているため、電線の撚りによる影の部分との区別が困難なことである。図４１に撚り部分と異常部分との区別が困難な画像の一例を示す。そこで、撚りによる影の部分を認識し、その部分について検査除外とし、残りの部分について電線のテンプレートを参照することが考えられる。

ここで、本システムで処理している動画像は、画像の奇数行と偶数行で取込み時間が異なり（これを飛び越し走査という）、それぞれ1／６０秒間隔で取り込んでいる。図４２（ａ）〜（ｄ）に飛び越し走査の一例を示す。例えば、図４２（ａ）に示すように画面中に1／３０秒間に黒い線が入ったとすると、奇数行・偶数行ともの同じタイミングで取り込んでいれば図４２(ｂ）のようになり、これより、元の直線に近い画像を構成できる。しかし、実際には、飛び越し走査をしているので、図４２(ｃ）のように本来あるべき部分のデータが欠損することとなる。この場合、1／３０秒で画像を構成すると、奇数行・偶数行でデータのある部分で画像を構成することになるため、図４２(ｄ）のように形と色が元の画像と変わってしまう。

従って、コンピュータに取り込んだ段階で、図４１に示すように、画像としてはぼやけた画像になってしまう。しかし、微小なごみや変色を識別するためには、これを補正し、異常箇所の鮮明度を向上させ、異常部分と正常部分との違いが明確にする処理を追加する必要がある。図４３に、飛び越し走査の影響を除いて補正した結果の画像の一例を示す。これにより、電線の撚りが鮮明になり、検出精度の向上が図れることがわかった。

本発明の電線異常検出方法の原理を説明するグラフであり、電線のエッジ画素と理想輪郭線を重ねて表示したものである。グラフの縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。電線のエッジ画素を表示したグラフであり、縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。電線の理想輪郭線を表示したグラフであり、縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。図１〜図３の元となる画像を示し、素線切れを起こしている電線の画像を示している。本発明の電線異常検出方法の原理を説明するグラフであり、電線の色情報値の代表値と閾値とを表示したものである。グラフの縦軸は輝度値を示し、横軸は水平画素番号を示す。図５の元となる画像を示し、アーク痕がある電線の画像を示している。エッジ検出の原理を説明するための電線の画像を示す。図７の矢印で示す垂直方向上方に、隣接する２画素間の輝度値の差分値を求めた結果を示すグラフである。グラフの縦軸は差分値を求めた下側画素の垂直画素番号を示し、横軸は差分値の大きさを示す。図８の一部を拡大したものである。本発明の電線異常検出装置の実施の一形態を示す概略構成図である。本発明の電線異常検出方法及び装置及びプラグラムの実行により行なわれる処理の一例を示すフローチャートである。図１１の対象画象の切り出し処理を詳細化した処理の一例を示すフローチャートである。図１１の電線異常検出処理を詳細化した処理の一例を示すフローチャートである。図１３のエッジ検出処理を詳細化した処理の一例を示すフローチャートである。図１４のエッジ画素の検索処理を詳細化した処理の一例を示すフローチャートである。図１３の理想輪郭線推定処理を詳細化した処理の一例を示すフローチャートである。図１６の除去候補画素の検索処理を詳細化した処理の一例を示すフローチャートである。図１３の形状異常検出処理を詳細化した処理の一例を示し、処理の前半部分を示すフローチャートである。図１８の後半部分を示すフローチャートである。図１３の色異常検出処理を詳細化した処理の一例を示し、処理の前半部分を示すフローチャートである。図２０の後半部分を示すフローチャートである。図１１の前処理を詳細化した処理の一例を示すフローチャートである。本発明の電線の移動推定処理の一例を示すフローチャートである。本発明の電線の追尾成功・失敗判定処理の一例を示すフローチャートである。本発明の電線異常検出装置が表示する画面の例を示す図である。本発明の電線異常検出装置が表示する画面の他の例を示す図である。本発明の電線異常検出装置が表示する画面の他の例を示す図である。本発明の電線異常検出方法において電線を探索する原理を説明する概念図である。本発明の電線異常検出方法において電線を探索する原理を説明する概念図である。電線が撮影画像の端の部分に撮影されている画像を示している。従来技術の電線の探索領域を示す図である。本発明の電線の中点から探索領域を決定する処理を示す図である。本発明の電線の追尾成功・失敗判定処理の一例を示す図であり、（ａ）は探索範囲を３倍に拡げた場合を示す図の一例であり、（ｂ）は探索範囲を７倍に拡げた場合を示す図の一例であり、（ｃ）は探索範囲を１５倍に拡げた場合を示す図の一例である。本発明のタイムコード入力画面の一例である。本発明の電線異常検出装置が表示する画面を示す画像であり、（ａ）はタイムコード４８分３１秒２２時点での画像を示し、（ｂ）は電線検出に無関係な画像を示し、（ｃ）はタイムコード４８分４９秒７時点での画像を示している。赤色ラインがある電線の輝度分布を示すグラフの一例である。アーク痕がある電線の輝度分布を示すグラフの一例である。赤色ラインを含んだ電線の画像の一例である。アーク痕を含んだ電線の画像の一例である。（ａ）は輝度値のみで赤色ラインの識別を行った結果の一例を示すグラフである。（ｂ）は、色情報値を用いて赤色ラインの識別を行った結果の一例を示すグラフである。電線の異常検出を行う際に、撚り部分と異常部分との区別が困難な画像の一例である。飛び越し走査を示す図であり、（ａ）は１／３０秒間に黒い線が入った場合の図を示し、（ｂ）は飛び越し走査をしない場合の取り込み方法を示し、（ｃ）は飛び越し走査を行う場合の取り込み方法を示し、（ｄ）は飛び越し走査を行った結果を示している。図４１の画像について、飛び越し走査を補正した後の画像の一例である。

符号の説明

１原画像
２テンプレート
３探索領域
１０電線異常検出装置

Claims

電線が撮影された原画像に対して前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し処理と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに形状異常検出処理または色異常検出処理とを行う電線異常検出処理とを含み、かつ前記対象画像の切り出し処理は、前記原画像に対し予め探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、前記探索領域を拡大し、再度前記テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定することを特徴とする電線異常検出方法。
電線が撮影された原画像に対して前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し処理と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに形状異常検出処理または色異常検出処理とを行う電線異常検出処理とを含み、かつ前記対象画像の切り出し処理は、前記原画像に対し予め探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、予め記憶した他の電線のテンプレートを参照して、再度該テンプレートと最も類似する領域を前記探索領域内で探索することを特徴とする電線異常検出方法。
前記テンプレートは、前記対象画像の切り出し処理を行う際に主記憶装置に記憶され、一定のフレーム経過毎に、該テンプレートを自動更新することを特徴とする請求項１または２に記載の電線異常検出方法。
前記探索領域の設定は、電線が撮影された原画像のうち最初のフレームの画像に対して予め設定し、次のフレームの画像の処理からは、直前のフレームでの電線の探索結果の中点を前記探索領域の中心位置とすることを特徴とする請求項１または２に記載の電線異常検出方法。
電線が撮影された原画像のうち、電線の検出に無関係な画像を予めタイムコードを指定することにより除去し、前記電線の検出に無関係な画像を除去した上で前記対象画像の切り出し処理をおこなうことを特徴とする請求項１または２に記載の電線異常検出方法。
電線が撮影された原画像に対して前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し処理部と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに形状異常検出処理または色異常検出処理とを行う電線異常検出処理部とを備え、かつ前記対象画像の切り出し処理部は、予め前記原画像に対し探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、前記探索領域を拡大し、再度前記テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定するものである電線異常検出装置。
電線が撮影された原画像に対して前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し処理部と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに形状異常検出処理または色異常検出処理とを行う電線異常検出処理部とを備え、かつ前記対象画像の切り出し処理部は、予め前記原画像に対し探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、予め記憶した他の電線のテンプレートを参照して、再度該テンプレートと最も類似する領域を前記探索領域内で探索するものである電線異常検出装置。
前記テンプレートは、前記対象画像の切り出し処理を行う際に主記憶装置に記憶され、一定のフレーム経過毎に、該テンプレートを自動更新するものである請求項６または７に記載の電線異常検出装置。
前記探索領域の設定は、電線が撮影された原画像のうち最初のフレームの画像に対して予め設定し、次のフレームの画像の処理からは、直前のフレームでの電線の探索結果の中点を前記探索領域の中心位置とするものである請求項６または７に記載の電線異常検出装置。
電線が撮影された原画像のうち、電線の検出に無関係な画像を予めタイムコードを指定することにより除去し、前記電線の検出に無関係な画像を除去した上で前記対象画像の切り出し処理をおこなうものである請求項６または７に記載の電線異常検出装置。
コンピュータを、電線が撮影された原画像に対して予め探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、前記探索領域を拡大し、再度前記テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し手段と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに、形状異常検出処理または色異常検出処理とを行う電線異常検出処理手段として実行させることを特徴とする電線異常検出プログラム。
コンピュータを、電線が撮影された原画像に対して予め探索領域を設定し、探索対象である電線の画像をテンプレートとして予め記憶装置に記憶させ、該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、さらに直前のフレーム画像に撮影された電線と前記探索結果との傾きを比較し、傾きの差が予め設定した閾値以上であった場合に電線の探索に失敗したと判断して、予め記憶した他の電線のテンプレートを参照して、再度該テンプレートと最も類似する領域を前記探索領域内で探索して電線の移動位置を推定し、前記原画像から電線が撮影されている部分を切り出す対象画像の切り出し手段と、前記対象画像の切り出し処理により切り出された対象画像に対してエッジ検出処理と、理想輪郭線推定処理、並びに、形状異常検出処理または色異常検出処理とを行う電線異常検出処理手段として実行させることを特徴とする電線異常検出プログラム。