JP2008160635A - カメラ状態検出方法 - Google Patents

Abstract

【課題】背景画像の変化が少ない場合や、屋外等での様々な環境条件下の画像を用いる場合など、カメラのレンズ周囲の環境が様々な条件によって変化する場合は、従来の技術では、様々に変化する条件の下でカメラのレンズの汚れを区分検出することは困難である。
【解決手段】カメラで画像を複数撮像する第１工程と、前記複数の画像において画像間で重複する同一領域を検出する第２工程と、前記同一領域において他の画像と異なる特徴領域を有する画像を抽出する第３工程と、前記特徴領域を前記カメラのレンズ異常状態とする第４工程と、を備えることにより、高い検出精度でカメラの状態を検出可能な方法を提供することができる。
【選択図】図３

Description

本発明は、カメラのレンズ状態を検出する技術に関するものである。

ロボットや無人搬送車の運転に際し、従来は、レーザレンジファインダーや超音波センサを用いて自己位置検出や障害物検出を行っている。この時、検出に用いるカメラに汚れが付着して検出精度が低下することがあるため、カメラの状態検知を行う必要がる。

カメラの状態検知の技術として、例えば、カメラに付着した汚れを検出するために、現在と過去のラベリング結果を比較して一致するデータをノイズとして検出する技術がある（例えば、特許文献１参照）。

図７は、特許文献１における生画像変化の一例を示す図である。以下、同じ構成については同じ符号を付して説明を省略する。

図７（ａ）〜（ｃ）において、まず、自動車に搭載されたカメラで道路１内の走行レーンを示す白線２（２Ｒ、２Ｌ）を画像処理によって検出する。その後、この白線２などの画像中のエッジを抽出してラベリングし、白線２Ｌおよび２Ｒを精度良く認識する。ここで、レンズに対する相対移動速度が車両外の風景に比して小いため、画像のフレーム中でのカメラに付着した雨滴などの汚れは、ほぼ静止状態にある。これを利用し、過去のラベリング結果と現在のラベリング結果とを比較し、フレームの略同一位置で一致しているデータをノイズ（汚れ）として判定する。ノイズは画像のフレーム中でほぼ静止状態にあるため、所定期間にわたって、過去のラベリング結果と一致しているデータ、すなわち、静止しているデータ（領域３、４）がある場合はノイズと判定し得る。そして、車速が高い場合には、風景等の画像データはフレーム内をより高速で移動することとなるから、静止しているデータか否かの判定を、より確実に行うことが可能となる。

また、複数のカメラを用いて撮影した複数画像を比較して検査を行う技術がある（例えば、特許文献２参照）。

図８は、特許文献２における装置の基本構成図である。

図８において、画像認識装置５〜７で、それぞれのカメラより計測対象箇所の画像を取り込む。そして、この画像を、画像処理機能を用いてノイズ等を除去し、集中管理装置８でのチューニングパラメータの作成が容易な状態にする。このようにして得られた画像をリファレンス画像（正常状態画像）とし、このリファレンス画像との比較を行うことで、ノイズ（レンズ汚れ）等の異常検出を行う。

また、移動ロボットの複数移動点（複数画像）より、対応する特徴位置を総合演算して３次元のロボット位置を検出する技術がある（例えば、特許文献３参照）。
特開２００２−０９４９７８号公報 特開平０２−０８２３７５号公報 特開平０３−１７４６６８号公報

しかしながら、前記従来の構成では、特定の条件下におけるノイズの検出精度が低くなる可能性がある。特許文献１では、背景画像の変化が少ない場合は、画面全体に静止状態の領域が満たされ、ノイズとの区分が困難となる。また、２値化画像ラベリングによるフレーム間の略同一位置でラベリング結果が一致するかどうかの判定をおこなうため、類似形状が同一位置に存在した場合にも誤ってノイズと判定する可能性がある。また特許文献２では、リファレンス画像は一定の条件下で取得したものであり、屋外等での様々な環境条件下の画像を包含するものではない。例えば、夕日等の直射光が画像の一部に差し込んだ場合に、リファレンス画像を用いてノイズを区分するのは困難である。

本発明は前記従来の課題を解決するためのものであって、様々な条件下において検出精度の高いカメラ状態検出方法を提供することを目的とする。

上記目的を達成するために、本発明の請求項１記載のカメラ状態検出方法は、カメラで画像を複数撮像する第１工程と、前記複数の画像において画像間で同一領域を検出する第２工程と、前記同一領域において、他の画像と異なる特徴領域を有する画像を抽出する第３工程と、前記特徴領域を前記カメラのレンズ異常状態とする第４工程と、を備えることを特徴とする。

また、本発明の請求項２記載のカメラ状態検出方法は、請求項１記載の方法であって、特徴領域を撮像した時の情報に基づいて前記カメラのレンズにおける前記特徴領域の位置を算出する第５工程を更に備えることを特徴とする。

また、本発明の請求項３記載のカメラ状態検出方法は、請求項１または２記載の方法であって、第１工程は、カメラを移動させながら前記カメラ鉛直上側の天井の画像を複数撮像する工程であることを特徴とする。

また、本発明の請求項４記載のカメラ状態検出方法は、請求項１から３いずれか記載の方法であって、第１工程と同時に画像内の特徴点位置を検出し、複数画像間で対応する特徴点位置を総合演算して、カメラの３次元初期位置を検出することを特徴とする。

また、本発明の請求項５記載のカメラ状態検出方法は、請求項１から４いずれか記載の方法であって、Ｚを対象物高さとカメラ高さの差分とし、対象物の位置座標をｘ、ｙとし、変換した対象物の位置座標をＸ、Ｙとした時に、第２工程において、下式（１）〜（３）を用いて歪みを補正することを特徴とする。

以上のように、本発明のカメラ状態検出方法によれば、様々な条件下において高い検出精度でカメラの状態を検出可能な方法を提供することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本発明の説明においては、同じ構成には同じ符号を付して説明を省略する。

（実施の形態１）
図１は、実施の形態１のロボットの概要図である。

図１において、ロボット９は、全方位画像入力部１０、全方位画像入力部１０を天井・壁面に向けて保持することが可能な保持部１１、全方位画像入力部１０より入力された画像から天井・壁面の画像を処理する処理部１２、ロボット９を移動させる車輪などの移動手段１３を備える。ここで、全方位画像入力部１０は、全周囲レンズを備え、直上以外の周囲３６０°を一度に測定できる構成となっている。また、処理部１２は、天井・壁面の全景中央部の画像を変換・抽出する抽出処理部１２（ａ）、ロボット９を移動させながら時系列で画像を記憶する記憶処理部１２（ｂ）、ロボット９を移動させながら記憶した複数画像をそれぞれ比較する比較処理部１２（ｃ）、比較画像から重畳部分を抽出する重畳処理部１２（ｄ）、重畳画像間で差分比較を行う差分処理部１２（ｅ）、差分比較により同一領域を検出する領域処理部１２（ｆ）、同一領域において汚れ（特徴的な領域の有無）を判定する判定処理部１２（ｇ）とから構成される。

図２は、実施の形態１における入力画像の一例を示す図である。以下、図１と図２とを用いて説明する。

全方位画像入力部１０は、時系列で画像を複数撮像して図２（ａ）〜（ｄ）に示す画像を取得し、記憶処理部１２（ｂ）に記憶する。図２（ａ）〜（ｄ）において、中央領域１４は、全周囲レンズで撮像できない全方位画像入力部１０の直上の領域であり、領域１５は検出したいカメラ（レンズ）の汚れである。

図３は、実施の形態１における処理フローを示す図である。以下、図１〜図３を用いて説明する。

図３において、まず、移動手段１３でロボット９を移動させながら、全方位画像入力部１０を用いてロボット９の天井の全周囲画像を撮像し、抽出処理部１２（ａ）を用いてロボット９の天井の全景中央部の画像を抽出する（ステップＳ１）。

次に、ステップＳ１で抽出した画像を、ロボット９の記憶処理部１２（ｂ）に記憶させる（ステップＳ２）。

次に、記憶処理部１２（ｂ）に記憶された画像が少なくとも２つになるまで、ステップＳ１とステップＳ２を繰り返した後、記憶処理部１２（ｂ）に記憶された複数の画像において、比較処理部１２（ｃ）で複数の画像を比較する。この比較に基づいて、重畳処理部１２（ｄ）で画像間の重畳部分を検出する（ステップＳ３）。

次に、差分処理部１２（ｅ）によって重畳する部分を有する画像間で差分比較を行う。その後、差分比較の結果に基づいて領域処理部１２（ｆ）で同一領域を検出する。ここで同一領域とは、ロボット周囲の同一箇所を異なる位置から撮像した場合におけるその同一箇所を示す領域である。なお、重畳部分が存在しない場合は、重畳部分が存在するまでステップＳ１からステップＳ３までを繰り返すか、汚れが存在しないとして処理を終了する（ステップＳ４）。

次に、ステップＳ４で抽出した同一領域において複数の画像を比較する（ステップＳ５）。

次に、ステップＳ５で比較した同一領域における画像間において、判定処理部１２（ｆ）で差異があるか否かを判定する。この時、同一領域における画像間で差異がある場合は、その差異がある場所（領域１５）がカメラのレンズの汚れであることが分かる。ここで、２つの画像を比較して差異を検出することで、レンズの汚れの有無までは分かるが、２つの画像では、その画像のどちら側が汚れの存在する領域であるかは分からない。この場合は、少なくとも３つの画像間で比較することで、具体的にレンズのどの箇所に汚れが付着しているかが分かる（ステップＳ６）。

なお、清掃手段（図示せず）をロボット９に搭載しておけば、ステップＳ６にて汚れを検出した後に、レンズ表面を清掃することでレンズの汚れを除去することもできる。ここで清掃手段としては、例えば、レンズに付着したホコリを吹き飛ばすための空気噴出手段や、レンズに付着した粘性の汚れをふき取るための布巾を備えたロボットアーム等が考えられる。また、画像の濃淡をより精密に判別すると、レンズに付着している汚れの種類やその除去方法までも判別することもできる。

なお、ステップＳ１において、移動手段１３でロボット９を移動させながらロボット９の天井を撮像したが、異なる方向（又は場所）から撮像した複数の画像を得ることが出来れば、ロボット９が静止した状態で行っても良い。

ここで、本実施の形態における種々の処理について詳細に説明する。

図４は、実施の形態１における全景中央部画像抽出の説明図である。

まず、全方位画像入力部１０から入力された図４（ａ）に示す画像において、全周囲レンズを用いることによる歪みの補正を行う。測定対象物（本実施の形態においては天井）の高さと、カメラの高さとの差分をＺとし（床面を基準）、図４（ｂ）に示すように、全方位画像入力部１０で入力された対象物の位置座標をｘ、ｙとし、歪みを補正して変換した対象物の位置座標（ワールド座標）をＸ、Ｙとする。なお、本実施の形態では、Ｚは天井一面で一定値であると仮定し、計算を簡略化している。全方位画像入力部１０から得られた濃淡の画像データに式（１）〜式（３）の変換を加えることで、全方位において画像の歪みを補正する。この変換により画像の周辺歪みが除去され、重畳部分の検出が可能となる。この変換により得られた画像を図４（ｃ）に示す。

なお、周辺歪みのない広角レンズを用いて画像入力した場合は、式（１）〜式（３）の周辺歪みの補正は不要である。

図５は、実施の形態１における重畳部分検出の説明図である。

図５において、複数画像を抽出し、抽出したリファレンス画像１６とそれ以外の画像１７とを重畳処理部１２（ｄ）で比較して、Ｘ方向のズレ量ａとＹ方向のズレ量ｂを求める。ズレ量ａとズレ量ｂは、式（４）を用いて正規化相関マッチングを行い、最も相関マッチング値ｒの大きい縦横方向シフト位置（ａ、ｂ）を算出することで求められる。

図６は、実施の形態１における差分演算の説明図である。

図６（ａ）は画像１６において重畳部分を点線１８で囲った図であり、図６（ｂ）は画像１７において重畳部分を点線１９で囲った図である。点線１８で囲った重畳部分と点線１９で囲った重畳部分とで差分演算を行う。この演算を行うことで、背景部分が消去され、図６（ｃ）に示すように、背景と非同期に動くレンズの汚れの領域１５が求められる。なお、本実施の形態では、２つの画像を比較する例を示したので汚れの領域１５が２箇所表れているが、前述のように少なくとも３つの画像を用いることで、汚れがレンズのどの領域に存在するかを正確に検出できる。

以上のように、本実施の形態では、動きの発生しない天井や壁面等の画像を対象とし、重なる部分を差分比較にて検出することで、低速走行時でも問題の発生しないカメラの汚れ検出技術を提供することが出来る。

また、本実施の形態を用いることで、水滴等のように汚れ部分画像が半透明で移動後に画像写りに変化がある場合においても、差分画像には差分結果が残る。そのため、本実施の形態を用いると両者を比較して汚れを検出可である。さらに、直前、直後の画像間の比較検出であるため、環境変化を画像内に内包させて、その影響をキャンセルすることができる。これにより、カメラ汚れを安定して検出できるため、汚れの自動検出も可能である。

更に、ロボット９を移動させて汚れ検出のための画像入力を行うに際し、画像入力と同時に画像内の特徴点位置を検出し、複数画像間で対応する特徴点位置を総合演算して、ロボット９の３次元初期位置を検出可能とすることも出来る。

本発明のカメラの状態検出によれば、様々な環境下において高い検出精度でカメラの汚れを検出できるため、屋外と屋内を行き来する家庭用の汎用ロボットに搭載するなどの用途に適用できる。

実施の形態１におけるロボットの概要図 実施の形態１における入力画像の一例を示す図 実施の形態１における処理フローを示す図 実施の形態１における全景中央部画像抽出の説明図 実施の形態１における重畳部分検出の説明図 実施の形態１における差分演算の説明図 特許文献１における生画像変化の一例を示す図 特許文献２における装置の基本構成図

符号の説明

１４ 中央領域
１５ 領域

Claims (5)

1. カメラで画像を複数撮像する第１工程と、
   前記複数の画像において画像間で同一領域を検出する第２工程と、
   前記同一領域において他の画像と異なる特徴領域を有する画像を抽出する第３工程と、
   前記特徴領域を前記カメラのレンズ異常状態とする第４工程と、を備えること
   を特徴とするカメラ状態検出方法。
2. 特徴領域を撮像した時の情報に基づいて前記カメラのレンズにおける前記特徴領域の位置を算出する第５工程を更に備えること
   を特徴とする請求項１記載のカメラ状態検出方法。
3. 第１工程は、カメラを移動させながら前記カメラの鉛直上側の天井の画像を複数撮像する工程であること
   を特徴とする請求項１または２記載のカメラ状態検出方法。
4. 第１工程と同時に画像内の特徴点位置を検出し、複数画像間で対応する特徴点位置を総合演算して、カメラの３次元初期位置を検出すること
   を特徴とする請求項１から３いずれか記載のカメラ状態検出方法。
5. Ｚを対象物高さとカメラ高さの差分とし、対象物の位置座標をｘ、ｙとし、変換した対象物の位置座標をＸ、Ｙとした時に、
   第２工程において、下式（１）〜（３）を用いて歪みを補正すること
   を特徴とする請求項１から４いずれか記載のカメラ状態検出方法。
   

   

   

   

Images