JP6995013B2 - 監視システム - Google Patents

Description

本願発明は、対象物の動態観察に関する技術であり、より具体的には、定点カメラで取得した単写真によって対象物の変化領域を抽出する監視システムに関するものである。

我が国の国土は、その２／３が山地であるといわれており、したがって斜面を背後とする土地に住居を構えることも多く、道路や線路などは必ずといっていいほど斜面脇を通過する区間がある。そして斜面は、崩壊や地すべりといった災害の可能性を備えており、これまでもたびたび斜面崩壊等によって甚大な被害を被ってきた。

崩壊のおそれがある斜面（自然斜面や、人工的なのり面を含む）、あるいは地すべりの兆候のある斜面では、その動きを監視するために計測が行われることがある。例えば、地すべり兆候のある斜面では、伸縮計や抜き板を利用した計測、孔内傾斜計による計測、地表面変位計測などが実施されていた。しかしながら、伸縮計や抜き板による計測では、地すべり境界（特に頭部）に亘って設置しなければ効果がなく、孔内伸縮計も地すべり深度を正確に推定しなければ効果がない上に、多数箇所設けるとコストがかかるという問題がある。

地表面変位計測は、斜面上に設置した多数の観測点の座標を求め、経時的な変位を検出することで斜面の動きを監視することから、直接的に異常を把握することができるうえ、伸縮計や孔内傾斜計のようにその効果が計器設置場所に依存することがないという長所がある。しかしながら、観測点の設置に人が斜面に立ち入ることから危険が伴い、さらにトータルステーションなどを用いて人が観測点を測位しなければならないため大きな手間とコストを余儀なくされていた。

そこで、トータルステーション等による直接計測に代わる種々の監視技術が、これまで提案されている。例えば特許文献１では、斜面を撮影した画像を利用して当該斜面の動きを監視する技術について提案している。

特開２０１６－１８０６８１号公報

特許文献１に開示される技術は、ステレオマッチング処理等によって斜面の三次元モデルを生成するとともに、特定箇所の三次元座標を求めたうえで２時期間の変位を算出するものである。そのため、２以上の箇所にカメラを設置する必要があるうえ、複数方向から撮影した画像に基づいて三次元モデルを生成する必要がある。すなわち特許文献１に開示される技術は、複数個所にカメラと撮影者を配置することからその分コストが上昇するという問題、さらに単に画像を機械的に処理することから誤ってノイズ（植生の揺れなど本来の変化とは異なるもの）を評価するおそれがあるという問題を指摘することができる。

本願発明の課題は、従来の問題を解決することであり、すなわち複数個所にカメラを配置する必要がなく、しかもあらかじめ予想し得るノイズは除去したうえで対象物を監視することができる監視システムを提供することである。

本願発明は、定点カメラから得られる画像（単写真）を利用して対象物の変化を抽出する、という点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。

本願発明の監視システムは、１地点に設置した定点カメラによる画像を用いて対象物の変化を監視するシステムであって、定点カメラと画像照合手段、候補領域抽出手段、変化領域抽出手段を備えたものである。このうち定点カメラは、対象物の画像を定期的（あるいは断続的）に取得するもので、画像照合手段は、第１時期画像（定点カメラが第１時期に取得した画像）と第２時期画像（定点カメラが第２時期に取得した画像）を画像照合することによってこれら第１時期画像と第２時期画像の位置を合わせる手段である。また候補領域抽出手段は、位置を合わせた第１時期画像と第２時期画像との間で相対的に移動した領域を「変化領域候補」として抽出する手段であり、変化領域抽出手段は、その変化量があらかじめ定めた変化量閾値を超える変化領域候補を「変化領域」として抽出する手段である。

本願発明の監視システムは、方向ノイズ抽出手段をさらに備えたものとすることもできる。この方向ノイズ抽出手段は、その変化方向があらかじめ定めた変化方向閾値の範囲内にある変化領域候補を「方向ノイズ」として抽出する手段である。なお変化方向閾値は、鉛直上向きから所定幅で設定された範囲である。この場合、変化領域抽出手段は、方向ノイズを除いた変化領域候補から変化領域を抽出する。

本願発明の監視システムは、時間ノイズ抽出手段をさらに備えたものとすることもできる。この時間ノイズ抽出手段は、第１時期画像と短時間画像（定点カメラが第１時期と第２時期の間に取得した１又は２以上の画像）を画像照合することによって第１時期画像と短時間画像の位置を合わせるとともに、位置を合わせた第１時期画像と短時間画像との間で相対的に移動した領域を「時間ノイズ」として抽出する手段である。この場合、変化領域抽出手段は、時間ノイズを除いた変化領域候補から変化領域を抽出する。

本願発明の監視システムは、検索領域作成手段をさらに備えたものとすることもできる。この検索領域作成手段は、第１時期画像と第２時期画像のうち一方を「検索画像」、他方を「被検索画像」としたうえで、検索画像の周辺端部を除いた「検索領域」を切り出す検索手段である。この場合、画像照合手段は、検索領域と被検索画像を画像照合することによって第１時期画像と第２時期画像の位置を合わせる。

本願発明の監視システムには、次のような効果がある。
（１）定点カメラで継続的に画像を取得して監視することから、対象物のリアルタイム監視、及び常時監視が実現できる。
（２）１台の定点カメラの設置で足りることから、従来に比べ、機器にかかる費用や設置にかかる費用を抑えることができる。
（３）「方向ノイズ」や「時間ノイズ」を除去することで、実際に有意な変化があった領域を的確に抽出することができる。

本願発明の監視システムの主な構成を示すブロック図。 本願発明の監視システムの主な処理の流れを示すフロー図。 ペア画像選出手段が第２時期画像を選出する処理の流れを示すフロー図。 第１時期画像と短時間画像、第２時期画像候補の関係を示すモデル図。 （ａ）は第１輝度値と第２輝度値との差分値が小さい２画像の組み合わせを示す画像図、（ｂ）は第１輝度値と第２輝度値との差分値が大きい２画像の組み合わせを示す画像図。 （ａ）は検索画像の周辺端部を除いた検索領域を示す画像図、（ｂ）は位置を変化させながら検索領域と照合される被検索画像を示す画像図。 目的とする「有意な変化領域」と取り除くべき「ノイズ領域」を説明する画像図。 鉛直上向きから両側に所定幅で設定した変化方向閾値を示すモデル図。 警戒情報出力手段が警戒情報を出力する処理の流れを示すフロー図。

本願発明の監視システムの実施形態の一例を、図に基づいて説明する。

はじめに、本願発明の概要について説明する。本願発明は、定点カメラで撮影した多数の単写真の中から２時期分を選出し、この２時期分の画像を照らし合わせることによって対象物のうち変化した領域（以下、「変化領域」という。）を抽出するものである。より詳しくは、定点カメラが第１時期に撮影して得られた画像（以下、「第１時期画像」という。）と、定点カメラが第２時期に撮影して得られた画像（以下、「第２時期画像」という。）との間でパターンマッチングを行い、両画像間で共通する部分画像（パターン）の位置較差を求めることで、変化領域を抽出するわけである。

以下、本願発明の監視システムについて詳しく説明する。なお本願発明は、様々なものを対象物として実施することができるが、便宜上ここでは対象物が斜面（自然斜面やのり面など）の場合で説明する。

図１は、本願発明の監視システムの主な構成を示すブロック図である。この図に示すように本願発明の監視システム１００は、定点カメラ１０１と画像照合手段１０２、候補領域抽出手段１０３、変化領域抽出手段１０４を含んで構成され、さらに画像記憶手段１０５やペア画像選出手段１０６、検索領域作成手段１０７、方向ノイズ抽出手段１０８、時間ノイズ抽出手段１０９、警戒情報出力手段１１０を含んで構成することもできる。

監視システム１００を構成する各手段のうち、画像照合手段１０２と候補領域抽出手段１０３、変化領域抽出手段１０４、ペア画像選出手段１０６、検索領域作成手段１０７、方向ノイズ抽出手段１０８、時間ノイズ抽出手段１０９、警戒情報出力手段１１０に関しては、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、パーソナルコンピュータ（ＰＣ）や、ｉＰａｄ（登録商標）といったタブレット型ＰＣ、スマートフォンを含む携帯端末、あるいはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）などによって構成することができる。コンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリを具備しており、さらにマウスやキーボード等の入力手段やディスプレイを含むものもある。

監視システム１００を構成する定点カメラ１０１は、従来利用されているカメラを用いることができ、例えば野生動物撮影用のトレイルカメラなどを利用することができる。この定点カメラ１０１は、人が操作することなく自動的に撮影するものが望ましく、例えば１時間や３０分間隔で定期的（あるいは不定期的、断続的）に撮影するように設定するとよい。また定点カメラ１０１は、対象物である斜面を俯瞰して撮影できる位置（１地点）に設置され、同じ位置から同じ方向を撮影するため、基本的には斜面のうち同じ範囲の画像が取得される。なお、比較的長期（数か月～１年程度）にわたって自動撮影する場合は、相当のバッテリが用意される。

定点カメラ１０１が長期にわたってしかも定期的に撮影することから、取得する画像は膨大な数となる。この画像を記憶するのが画像記憶手段１０５である。画像記憶手段１０５は、例えばデータベースサーバに構築することができ、定点カメラ１０１の周辺に配置してローカルなネットワーク（ＬＡＮ：ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）で定点カメラ１０１と接続（画像データ通信）することもできるし、インターネット経由（つまり無線通信）で保存するクラウドサーバとすることもできる。

図２は、本願発明の監視システム１００の主な処理の流れを示すフロー図であり、中央の列に実施する処理を示し、左列にはその処理に必要な入力情報を、右列にはその処理から生まれる出力情報を示している。以下、この図を参照しながら監視システム１００の主な処理の流れについて説明する。

定点カメラ１０１が第１時期画像を取得する（つまり、多数の画像から第１時期画像が選択される）と、定点カメラ１０１が第１時期後に定期的（断続的）に取得した（Ｓｔｅｐ１００）画像の中から、ペア画像選出手段１０６が第２時期画像を選出する（Ｓｔｅｐ２００）。既述のとおり本願発明は、第１時期画像と第２時期画像を照らし合わせる（パターンマッチングを行う）ことで、斜面のうちの変化領域を抽出する。しかしながら第１時期と第２時期との間があまりにも短時間であれば有意な変化を検出することはできない。なぜなら、風に揺れる植生や鳥などの動物の移動、あるいは急な光（特に太陽光）の変化などによって、本来目的としない変化を変化領域として抽出することがあるからである。特に斜面の場合、崩壊や地すべりによる変動は比較的緩慢であるため短い間隔の２画像を照らし合わせることは適当でない。そこで、第１時期画像を取得した第１時期から適当な時間（以下、「所定時間」という。）が経過した後に取得した画像の中から、第２時期画像を選出することとした。なお、この所定時間はあらかじめ設定しておくこととし、例えば１０分や３０分、あるいは１時間など、対象物の状況に応じて適宜設定することができる。

図３は、ペア画像選出手段１０６が第２時期画像を選出する処理の流れを示すフロー図である。第１時期の後、定点カメラ１０１が画像を取得すると、第１時期から所定時間が経過したか否かを判断する（Ｓｔｅｐ２０１）。ここで、所定時間を経過することなく取得された画像は「短時間画像」とされ、一方、所定時間を経過した後に取得された画像はひとまず第２時期画像の候補とされる。図４は、第１時期画像と短時間画像、第２時期画像候補の関係を示すモデル図である。

短時間画像と判断された画像は画像記憶手段１０５に記憶され、第２時期画像候補と判断された画像は第２時期画像としての適性が判断される（Ｓｔｅｐ２０４）。所定時間だけ間隔をあけて取得した画像であっても、太陽光の変化によって適切な照合（パターンマッチング）ができないこともある。そこで、第１時期画像と第２時期画像候補でパターンマッチングを行い、その結果得られる相関係数に基づいて第２時期画像としての適性を判断するとよい。すなわち相関係数が、あらかじめ定めた閾値を超えるときはその第２時期画像候補が第２時期画像としての適性があると判断し、そうでないときはその第２時期画像候補が第２時期画像としての適性がないと判断するわけである。あるいは、第１画像の輝度値（以下、「第１輝度値」という。）と第２画像の輝度値（以下、「第２輝度値」という。）を求め、両者の差分値があらかじめ定めた所定の閾値（以下、「輝度差閾値」という。）以内にあるときはその第２時期画像候補が第２時期画像としての適性があると判断し、そうでないときはその第２時期画像候補が第２時期画像としての適性がないと判断することもできる。なお、第１輝度値や第２輝度値は、全画素の輝度の合計値や平均値、あるいは中央値や最頻値といった種々の統計値とすることができる。図５（ａ）では第１輝度値と第２輝度値との差分値が小さい２画像（第１時期画像と第２時期画像）の組み合わせ（第２時期画像としての適性あり＝良好なペア）を示し、図５（ｂ）では第１輝度値と第２輝度値との差分値が大きい２画像の組み合わせ（第２時期画像としての適性なし＝不適なペア）を示している。図５（ａ）に示すように適正ありと判断された第２時期画像候補は、ペア画像選出手段１０６によって第２時期画像として選出される。

第２時期画像が選出できると、図２に示すように、検索領域を作成（Ｓｔｅｐ３００）したうえで画像の照合を行う（Ｓｔｅｐ４００）。検索領域を作成することなくそのまま第１時期画像と第２時期画像を照合することもできるが、定点カメラ１０１が風によって揺れることもあり、この場合、画像の周辺端部はどうしても照合（マッチング）しにくくなる。そのため、画像の周辺端部を除いた検索領域を作成するわけである。具体的には、検索領域作成手段１０７が、第１時期画像（第２時期画像でもよい）を検索画像とし、第２時期画像（第１時期画像でもよい）を被検索画像としたうえで、図６（ａ）に示すように検索画像の周辺端部を除いた検索領域を作成する。なお、検索領域を作成するために削除する画像の周辺端部は、例えば画像全体面積（あるいは画像１辺長の）の５～１０％とするなど適宜設計することができる。

検索領域作成手段１０７によって被検索画像（この場合は第２時期画像）が設定され、検索領域（この場合は第１時期画像の一部）が作成されると、画像照合手段１０２が、検索領域と被検索画像を照合することで検索領域と被検索画像（つまり、第１時期画像と第２時期画像）の位置合わせを行う。具体的には、図６（ｂ）に示すように被検索画像の位置は固定したままで一方の検索領域を移動させながら、その都度、照合の程度を示す値（以下、「照合レベル」という。）を求め、最も高い照合レベルとなった検索領域の配置で第１時期画像と第２時期画像の位置を決定する。なお照合レベルとしては、検索領域と被検索画像との相関係数が例示できる。

画像照合手段１０２によって第１時期画像と第２時期画像の位置合わせが行われると、候補領域抽出手段１０３が、変化領域候補を抽出する（Ｓｔｅｐ５００）。具体的には、位置を合わせた状態の第１時期画像と第２時期画像との間でパターンマッチングを行い、両画像間に共通する部分画像（パターン）を抽出するとともに、共通するパターンの位置が相違するものを変化領域候補として抽出する。ここで変化領域候補をそのまま「変化領域」としないのは、種々のノイズを除いたうえで「変化領域」を抽出する必要があるためである。すなわち、第１時期画像と第２時期画像との間でパターンは共通するが位置が相違する、換言すれば２時期間で共通パターンが移動した（変位した）領域が変化領域候補として抽出され、そして抽出された変化領域候補には「ノイズ領域」が含まれる。例えば図７では、定点カメラ１０１から比較的近い位置にある植生が画像の右側を占めているが、この植生は風などによって頻繁に動き、当然ながらこのような変化は目的とする変化領域ではない。したがって、これを「ノイズ領域」として除いたうえで、目的とする「有意な変化領域」を抽出しなければならない。

ノイズ領域としては、斜面の変動としては考えられない変位が生じている領域（以下、「方向ノイズ」という。）や、短時間で得られた画像間にしか変化が見られない領域（以下、「時間ノイズ」という。）、パターンマッチング精度に伴うもので変位の程度が小さい領域（以下、「変位ノイズ」）が挙げられる。以下、それぞれのノイズを取り除く手法について説明する。

浅層崩壊や深層崩壊、地すべり、土石流など、異常のある斜面の一部は重力方向（つまり下向き）に変動する。したがって、対象物である斜面を監視するにあたっては少なくとも重力に逆らう方向（鉛直上向き）に変位した変化領域候補は「方向ノイズ」として除去しなければならない。具体的には、方向ノイズ抽出手段１０８が、候補領域抽出手段１０３によって抽出された変化領域候補の変位ベクトル（変位量と変位方向）を求め、変位ベクトルの変位方向が概ね上向きであればその変化領域候補は方向ノイズとして判定する（Ｓｔｅｐ６００）。なお、変位ベクトルの変位方向が概ね上向きであると判断するにあたっては、あらかじめ基準となる閾値（以下、「変化方向閾値」という。）を定めておき、変位ベクトルの変位方向がこの変化方向閾値の範囲内にあるときに概ね上向きであると判断するとよい。この変化方向閾値は、例えば図８に示すように、鉛直上向きから両側に所定幅で設定した範囲とすることができる。

既述したとおり、あまりにも短時間で取得された第１時期と第２時期を照らし合わせると、動植物の移動や光の影響によって本来目的としない変化も変化領域候補として抽出することがある。したがって、このような変化は「時間ノイズ」として除去しなければならない。この処理を実行するのが時間ノイズ抽出手段１０９である。具体的には、第１時期画像と１又は２以上の短時間画像（つまり、第１時期と第２時期の間に取得した画像）を画像照合することによって第１時期画像と短時間画像の位置を合わせ、その状態で第１時期画像と短時間画像との間でパターンマッチングを行い相対的に移動した領域（共通パターンが変位した領域）を時間ノイズとして抽出する（Ｓｔｅｐ７００）。短時間画像は、第１時期から十分な時間（所定時間）が経過することなく取得された画像であるから、第１画像と短時間画像との間に生じた変化は時間ノイズとして除去できるわけである。なお、第１時期と第２時期との間に取得された短時間画像どうしを照らし合わせた結果抽出された変化も時間ノイズとして除去することができる。

パターンマッチングの精度によっては、現実には変化していないものでも変化領域候補として抽出することがある。この場合、その変化領域候補の変位ベクトルの変位量は一般的に小さい。あるいは、実際に変化したものであっても微小な変位量を示す変化領域候補は、斜面の異常を把握しやすくするという意味においては除去した方が好適となる。したがって、このように小さな変位量を示す変化は「変位ノイズ」として除去するのが望ましい。具体的には、候補領域抽出手段１０３によって抽出された変化領域候補の変位ベクトルを求め、変位ベクトルの変位量があらかじめ定めた閾値（以下、「変化量閾値」という。）を下回るとその変化領域候補は変位ノイズとして判定される。

方向ノイズ抽出手段１０８によって方向ノイズが抽出され、時間ノイズ抽出手段１０９によって時間ノイズが抽出され、さらに変位ノイズが抽出されると、候補領域抽出手段１０３が抽出した変化領域候補からこれら方向ノイズ、時間ノイズ、変位ノイズを除去することで「変化領域」を確定する（Ｓｔｅｐ８００）。この処理を実行するのが変化領域抽出手段１０４である。

ところで、大規模な崩壊や大量の土石流の発生など斜面全体に大きな変化が見られる場合、第１時期画像と第２時期画像は全く異なる画像となる。そのため、画像照合手段１０２が検索領域と被検索画像を照合しても、その照合レベル（例えば、相関係数や輝度差）は極めて小さな値を示すこととなるが、その状態で第１時期画像と第２時期画像の位置を合わせるのは適当でない。そこで、画像照合手段１０２が検索領域と被検索画像（つまり、第１時期画像と第２時期画像）を照合した結果、照合の程度（照合レベル）があらかじめ定めた閾値（以下、「相関閾値」という。）を下回るときは、斜面に異常な変動が生じたとして「警戒情報」を出力するとよい。

警戒情報出力手段１１０によって「警戒情報」が出力される処理について、図９を参照しながら説明する。図９は、警戒情報出力手段１１０が警戒情報を出力する処理の流れを示すフロー図である。この図に示すように警戒情報出力手段１１０は、画像照合手段１０２が検索領域と被検索画像を照合することで得られる最大の照合レベルと輝度差閾値を比較する（Ｓｔｅｐ４０１）。そして、輝度差閾値を上回るときは図２に示す変化領域候補の抽出（Ｓｔｅｐ５００）に進むよう指令し、輝度差閾値を上回るときはディスプレイやプリンタ、音声出力装置といった出力手段に「警戒情報」を出力するよう指令する（Ｓｔｅｐ９００）。

本願発明の監視システムは、自然斜面や、切土のり面、盛土のり面のほか、コンクリートダムなどのコンクリート構造物、埋立地や軟弱地盤地の変動を判断する際にも利用することができる。

１００ 監視システム
１０１ 定点カメラ
１０２ 画像照合手段
１０３ 候補領域抽出手段
１０４ 変化領域抽出手段
１０５ 画像記憶手段
１０６ ペア画像選出手段
１０７ 検索領域作成手段
１０８ 方向ノイズ抽出手段
１０９ 時間ノイズ抽出手段
１１０ 警戒情報出力手段

Claims (3)

1. １地点に設置した定点カメラによる画像を用いて、対象物の変化を監視するシステムにおいて、
   前記対象物の画像を定期的又は断続的に取得する前記定点カメラと、
   前記定点カメラが第１時期に取得した第１時期画像と、該定点カメラが第２時期に取得した第２時期画像と、を画像照合することによって、該第１時期画像と該第２時期画像の位置を合わせる画像照合手段と、
   位置を合わせた前記第１時期画像と前記第２時期画像との間でパターンマッチングを行い、両画像間に共通する部分画像が相対的に移動した領域を変化領域候補として抽出する候補領域抽出手段と、
   前記第１時期画像と、前記定点カメラが前記第１時期と前記第２時期の間に取得した１又は２以上の短時間画像と、を画像照合することによって該第１時期画像と該短時間画像の位置を合わせるとともに、位置を合わせた該第１時期画像と該短時間画像との間でパターンマッチングを行い両画像間に共通する部分画像が相対的に移動した領域を、時間ノイズとして抽出する時間ノイズ抽出手段と、
   前記変化領域候補のうち、前記第１時期画像と前記第２時期画像との間に生じた位置較差があらかじめ定めた変化量閾値を超える該変化領域候補であって、該変化領域候補から前記時間ノイズを除いた該変化領域候補を、変化領域として抽出する変化領域抽出手段と、
   を備えたことを特徴とする監視システム。
2. 前記変化領域候補のうち、前記第１時期画像と前記第２時期画像との間に生じた変化方向があらかじめ定めた変化方向閾値の範囲内にある該変化領域候補を、方向ノイズとして抽出する方向ノイズ抽出手段を、さらに備え、
   前記変化方向閾値は、鉛直上向きから所定幅で設定された範囲であり、
   前記変化領域抽出手段は、前記方向ノイズを除いた前記変化領域候補から前記変化領域を抽出する、
   ことを特徴とする請求項１記載の監視システム。
3. 前記第１時期画像と前記第２時期画像のうち一方を検索画像とし他方を被検索画像とするとともに、該検索画像の周辺端部を除いた検索領域を切り出す検索領域作成手段を、さらに備え、
   前記画像照合手段は、前記検索領域と前記被検索画像とを画像照合することによって、前記第１時期画像と前記第２時期画像の位置を合わせる、
   ことを特徴とする請求項１又は請求項２記載の監視システム。

Images