JP3850541B2

JP3850541B2 - 高度計測装置

Info

Publication number: JP3850541B2
Application number: JP03623298A
Authority: JP
Inventors: 敬二実吉; 英明土屋
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 1998-02-18
Filing date: 1998-02-18
Publication date: 2006-11-29
Anticipated expiration: 2018-02-18
Also published as: JPH11230745A; EP0937963B1; EP0937963A3; DE69925057T2; US6148250A; EP0937963A2; DE69925057D1

Description

【０００１】
【発明の属する技術分野】
本発明は、比較的低高度を飛行する飛行体の高度を計測する高度計測装置に関する。
【０００２】
【従来の技術】
離着陸を含む低空飛行を行う飛行体においては、対地高度を計測する高度計は必須の装置である。特に、最近では、農薬散布等を無人ヘリコプタによって行う技術が実用化されつつあり、この無人ヘリコプターをラジコンによって遠隔操作する場合、高度計がないと操縦者が遠くからヘリコプタの高度を目測することになり、遠くからヘリコプタを離着陸させるには、かなりの熟練を要する。このような無人ヘリコプタでは、その目的が省力化にあることが多く、できるだけ自律飛行を行わせるためには、高度計からの高度データが不可欠となる。
【０００３】
従来、高度計としては、気圧差を高度に換算するもの、レーザ、電波、超音波等の地表面に対する反射時間を測定して高度を計測するもの、Ｄ−ＧＰＳ等の測位衛星からの測位情報を利用して高度を知るもの、加速度から高度を求めるもの等があり、対地高度の計測精度、地上の物体に対する依存性、耐環境性等を考慮した場合、それぞれ一長一短があり、低空用の飛行体に搭載される高度計としての条件を総合的に満足するものは少ない。
【０００４】
このような低空用の飛行体で対地高度を計測する高度計としては、特に、地表面の質への依存性が少ないことが重要であり、飛行体から地上を撮像し、この撮像画像を処理して高度を計測する技術が有望である。画像による高度計測の技術としては、例えば、特開昭６２−８８９１４号公報に開示された先行技術があり、この先行技術では、撮像された領域の画像上での動きと、その領域の実際の距離との比較から高度を求める技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述の画像による高度計測の先行技術では、実際の距離が既知でなければならないため、撮像した領域の地図が存在し、且つ、特定の目印等が撮像されていなければならない。さらに、撮像視野中心の俯角を知る必要があり、ジャイロ等で間接的に計測せねばならず、精度低下を招く。
【０００６】
本発明は上記事情に鑑みてなされたもので、実際の移動距離を知るための情報や俯角等の計測困難な情報に頼ることなく、飛行体の高度を正確に計測することのできる高度計測装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなり、飛行体に搭載されて下方風景をステレオ撮像するステレオカメラと、上記ステレオカメラで撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出するステレオ処理部と、複数の計測点の上記距離情報に基づいて下方の表面形状を高度の基準として求め、上記飛行体の高度を算出する高度算出部とを備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、上記一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正して、上記距離情報に対し、上記ステレオカメラのレンズ歪み補正を行うことを特徴とする。
【０００９】
請求項３記載の発明は、請求項１又は請求項２記載の発明において、上記表面形状を平面として求め、この平面に上記飛行体から下ろした垂線の長さを高度として算出することを特徴とする。
【００１０】
請求項４記載の発明は、請求項３記載の発明において、上記距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を、平面を構成しない距離情報として除去することを特徴とする。
【００１１】
すなわち、請求項１記載の発明では、所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなるステレオカメラを飛行体に搭載して下方風景を撮像し、このステレオ撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出した後、複数の計測点の距離情報に基づいて下方の表面形状を高度の基準として求め、飛行体の高度を算出する。距離情報は、請求項２に記載したように、一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正することにより、ステレオカメラのレンズ歪み補正を行って求めることが望ましい。
【００１２】
また、請求項３の発明では、高度の算出に際し、高度の基準とする表面形状を平面として捉え、この平面に飛行体から下ろした垂線の長さで高度を算出することができる。この場合、請求項４に記載したように、距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を平面を構成しない距離情報として除去することが望ましい。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図４は本発明の実施の一形態に係わり、図１は高度計測装置の概略構成を示すブロック図、図２は特異点除去処理のフローチャート、図３は高度算出処理のフローチャート、
図４は非平面除去フィルタの説明図である。
【００１４】
図１は、比較的低高度を飛行する飛行体、例えば農薬散布用ヘリコプタ等に搭載されて対地高度を計測するための高度計測装置の基本構成を示し、下方（地上）風景を三次元的に撮像するための２台１組のカメラから構成されるステレオカメラ１０、このステレオカメラ１０で撮像した画像に対する入力処理を行う画像入力部２０、この画像入力部で処理した撮像画像を元画像としてストアする元画像メモリ２５、元画像をステレオ処理して地上の距離分布情報（距離画像）を取得するステレオ処理部３０、距離画像をストアする距離画像メモリ３５、及び、多数の計測点の距離情報から対地高度を算出する高度算出部４０等から構成される。
【００１５】
上記ステレオカメラ１０を構成する２台のカメラ１０ａ，１０ｂは、互いに、同期が取れ、且つ、シャッタースピード可変のＣＣＤカメラであり、一方のＣＣＤカメラ１０ａをステレオ処理の際の基準画像を撮像するメインカメラ、他方のＣＣＤカメラ１０ｂをステレオ処理の際の比較画像を撮像するサブカメラとして、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されている。
【００１６】
画像入力部２０は、各ＣＣＤカメラ１０ａ，１０ｂからの各アナログ撮像信号に対応して、ゲインコントロールアンプを有するアナログインターフェース、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータを備え、さらに、画像の明暗部に対して対数変換を行うためのＬＯＧ変換テーブル等の画像処理の各種機能を例えば高集積度ＦＰＧＡによって構成するものであり、ＣＣＤカメラ１０ａ，１０ｂからの撮像信号に対し、それぞれゲイン調整により信号バランスを揃えた後、ＬＯＧ変換により低輝度部分のコントラストを改善する等の画像補正を行い、所定の輝度階調のデジタル画像データに変換して元画像メモリ２５にストアする。
【００１７】
ステレオ処理部３０は、シティブロック距離計算回路、最小値・画素ズレ検出回路等を、同様に、高集積度ＦＰＧＡによって構成するものであり、元画像メモリ２５にストアされたメイン画像及びサブ画像の２枚の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる画素のズレ（＝視差）から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得する。
【００１８】
すなわち、シティブロック距離計算回路でメイン画像の一つの小領域に対し、対応するサブ画像の小領域との間のシティブロック距離を計算し、最小値・画素ズレ検出回路でシティブロック距離の最小値及び最大値等を評価してシティブロック距離の最小値が本当に２つの画像の小領域の一致を示しているものかどうかをチェックする。そして、チェック条件を満足し、且つ、シティブロック距離が最小になる画素ズレ量を、メイン画像の小領域に対応する距離情報として距離画像メモリ３５にストアする。尚、以上のステレオマッチング処理については、本出願人による特開平５−１１４０９９号公報に詳述されている。
【００１９】
高度算出部４０は、距離画像から得られる距離分布情報に基づいて高速に認識処理を行うためのＲＩＳＣプロセッサ等からなり、距離画像から得られる多数の地上までの距離情報から平面あるいは曲面を仮定し、飛行体からその面までの長さを対地高度として求める。本形態では、多数点の距離情報から地表を平面として捉え、飛行体からこの平面に下ろした垂線の長さを対地高度としており、処理を簡素化して高速に高度を算出する。
【００２０】
すなわち、画面内の多数点の距離を計測することで地表を面として把握することができ、平面のみならず起伏面や段差のある領域等を認識することが可能であり、広い範囲で精度良く高度を知ることができる。
【００２１】
以下、高度算出部４０における高度算出に係わる処理について、図２及び図３のフローチャートを用いて説明する。
【００２２】
多数点の距離情報から地表を平面として捉える場合、本来は平面を構成していない距離情報が距離画像に含まれると、高度の検出に大きな影響を与え、信頼性が低下する。このため、図２に示す特異点除去処理では、ノイズや突起物の検出によって周囲と著しく値の異なる特異点を距離画像から除去し、さらに、距離画像の座標系から実空間の座標系に変換したときに、距離データの系列が規定の範囲外となる距離データを特異点として距離画像から除去する。そして、特異点の除去された距離画像を用い、図３の高度算出処理で実空間の座標系における多数点の距離データを平面に当てはめることにより、平面検出の信頼性を高め、高度の検出精度を向上することができる。尚、以上の処理は実際にはパイプライン処理として実行される。
【００２３】
まず、図２の処理では、ステップS100で、距離画像を読み込み、この距離画像の広領域で最大頻度の値から大きく離れた特異点を除去する。このステップS100の処理は、以下のステップS400での非平面除去フィルタ処理をより確実にするための前処理として実施されるものであり、例えば、距離画像が横４００×縦２００画素の大きさで、距離データ（画素ズレ量）を有する小領域を横８×縦４画素のブロックとする場合、距離画像を横８０×縦４０画素での２５個の中領域に分割し、各中領域（１０×１０＝１００小領域）毎にズレ量のヒストグラムを作成する。そして、この中領域のヒストグラムで最大頻度を持つ距離データに対し、設定範囲（最大頻度の距離データ±１）外にあるブロックのズレ量を０として特異点を除去する。
【００２４】
次いで、ステップS200へ進み、距離画像内で適当なサンプル領域を複数個選び、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正することで、正確な距離データを得る。例えば、横８×縦４画素のサンプル領域を、横に１６画素毎に２１カ所、縦に８画素毎に１７カ所の計３５７カ所選び、各サンプル領域毎に、以下の(1)で示される補正値Ｄを用いて撮像面と光軸の交点からの距離Ｒの値を加減し、レンズ歪みを補正する。但し、(1)式中、Ａ，Ｂ，Ｃはレンズメーカあるいは別途計測による補正係数である。
【００２５】
Ｄ＝Ａ・Ｒ⁵＋Ｂ・Ｒ³＋Ｃ・Ｒ …(1)
続くステップS300では、各サンプル領域のレンズ歪みを補正したＣＣＤ面上の位置と距離データとから各サンプル領域の三次元座標を求め、ステップS400で、距離画像から平面を構成していない画素を除去する非平面除去フィルタ処理を行う。この非平面除去フィルタ処理では、まず、図４に示すように、水平方向の座標軸をｉ、垂直方向の座標軸をｊする距離画像に対し、水平方向の１ラインに注目し、横軸に実空間の水平方向位置Ｘ、縦軸に距離Ｚをとったデータ系列を求める。
【００２６】
そして、データ系列を最小二乗法によって直線式で近似し、図４に斜線で示すように、近似直線から規定の範囲に入っているデータのみを平面を求めるために使う距離情報とし、規定の範囲外のデータを除去する。この処理を画像の上下方向に走査して行うことにより、距離画像から平面を構成していない距離情報を特異点として除去する。
【００２７】
次に、図３に示す高度算出処理では、以上の非平面除去フィルタ処理で平面を構成していない画素を除去した距離画像を用い、まず、ステップS500でサンプル領域の画像上の座標及び距離データをステレオカメラ１０を原点とする実空間の座標に変換した点群のデータから、以下の(2)式で示す平面の方程式に最小二乗法により当てはめるべく、マトリクスを作成して三元連立方程式を解き、各係数ａ，ｂ，ｃを決定する。
【００２８】
ａｘ＋ｂｙ＋ｃｚ＝１ …(2)
そして、ステップS600へ進み、カメラから平面に下ろした垂線の長さｈを、以下の(3)式によって求め、対地高度とする。
【００２９】
ｈ＝１／(ａ²＋ｂ²＋ｃ²)^1/2 …(3)
【００３０】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなるステレオカメラを飛行体に搭載して下方風景を撮像し、このステレオ撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出した後、複数の計測点の距離情報に基づいて下方の表面形状を高度の基準として求め、飛行体の高度を算出するため、実際の移動距離を知るための情報や俯角等の計測困難な情報に頼ることなく、飛行体の高度を正確に計測することができ、しかも、画面内の多数点の距離を計測しているため、地表を面として把握することができ、平面のみならず、起伏面や段差のある領域等を認識して広い範囲で正確な高度を得ることが可能である。
【００３１】
この場合、請求項２に記載したように、一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正することにより、レンズ歪み補正を行うことで、距離情報をより正確なものとすることができる。また、請求項３に記載したように、高度の算出に際し、高度の基準とする表面形状を平面として捉え、この平面に飛行体から下ろした垂線の長さで高度を算出することにより、処理を簡素化して高速に高度を求めることができ、その場合、請求項４に記載したように、距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を平面を構成しない距離情報として除去することで誤検出を防止して信頼性を向上することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】高度計測装置の概略構成を示すブロック図
【図２】特異点除去処理のフローチャート
【図３】高度算出処理のフローチャート
【図４】非平面除去フィルタの説明図
【符号の説明】
１０…ステレオカメラ
３０…ステレオ処理部
４０…高度算出部

Claims

所定の基線長で配置されて互いに同期が取れた２台１組のカメラからなり、飛行体に搭載されて下方風景をステレオ撮像するステレオカメラと、
上記ステレオカメラで撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出するステレオ処理部と、
複数の計測点の上記距離情報に基づいて下方の表面形状を高度の基準として求め、上記飛行体の高度を算出する高度算出部とを備えたことを特徴とする高度計測装置。
上記一対の撮像画像から得られる距離画像内で複数のサンプル領域を設定し、各サンプル領域の画面上の位置をレンズ歪みの無い位置に補正して、上記距離情報に対し、上記ステレオカメラのレンズ歪み補正を行うことを特徴とする請求項１記載の高度計測装置。
上記表面形状を平面として求め、この平面に上記飛行体から下ろした垂線の長さを高度として算出することを特徴とする請求項１又は請求項２記載の高度計測装置。
上記距離情報のデータ系列を直線で近似し、この直線に対して設定した規定の範囲に入らない距離情報を、平面を構成しない距離情報として除去することを特徴とする請求項３記載の高度計測装置。