JPS6280768A - ステレオ画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【発明の利用分野〕 本発明はステレオ画像処理方式に係り、特に視点の違い
による画像片上の幾何学的歪みを補正することにより、
高精度な距離情報あるいは標高情報を得るに好適なステ
レオ画像処理方式に関する。

〔発明の背景〕

従来、ディジタル画像処理システムによるステレオ画像
処理方式については、写真測量工学とりモートセンシン
グ、４４巻２号ページ１４９９〜１５１２（１９７８年
）　　（Ｐｈｏｔｏｇｒａｍｍｓｔｒｉｃ　Ｅｎｇｉｎ
ｅｅｒｉｎｇａｎｄＲｅｍｏｔｅ　Ｓｅｎｓｉｎｇ、　
Ｖｏｌ、　４４．　Ｎａ２．１４９９〜１５１２（１９
７８）　）におけるパントン（Ｄ、　Ｊ、Ｐａｎｔｏｎ
）によるデジタルステレオ図化に対する高柔軟アプロー
チ（“Ａ　Ｆｌｅｘｉｂｌｅ　Ａｐｐｒｏａｃｈ　ｔｏ
　ＤｉｇｉｔａｌＳｔｅｒｅｏ　Ｍａｐｐｉｎｇ”）と
題する文献において論じられている。

ステレオ画像処理システム、特に航空写真などの処理を
目的とするシステムでは、対象とする画像データがテク
スチャを豊富に持つことから、対応点の検出には画像片
マツチング手法が用いられてきている。画像片マツチン
グ手法とは、ある点の対応点を、その点を含む画像片を
他方の画像上で動かし最も類似点の高い点を探索するこ
とにより、見出す方法である。画像片の類似度としては
、（１）相関係数（２）差の絶装置の総和、などが通常
用いられる。

ステレオ画像処理では、視点の違いに起因する対応画像
片間の相対的な幾何学的歪みを除去することが、高い精
度の対応点検出を行うために、重要とする。画像の幾何
学的歪みの除去は、除去後の画像の座標系から原画像の
座標系への写像に基づいた１画素１点ごとの内挿補間計
算である。ところで、上記幾何学的写像、すなわち画像
片間の相対的な幾何学的歪みは、正確な標高情報が得ら
れて初めて求まめものである。したがって従来は本幾何
学的歪みを試行錯誤的に変え、画像片の類似度の繰返し
山登り手法により最良の幾何学的歪みと対応点を同時に
求める方式や、前記文献で論ぜられている。隣接画像点
までの対応点探索結果をもとに、標高の変化すなわち地
形の起伏はゆるやかであることを前提として、歪み量を
外挿予測する方式が行われてきた。

しかし、画像片の歪みを試行錯誤的に変える方式では、
歪みを表わす写像の自由度が大きい場合に、対応点探索
処理が膨大なものとなる。なお写像の自由度とは、写像
を多項式で表わす場合には係数の数、区分線型式で表わ
す場合には区分端点の数などである。

また、標高の変化すなわち地形の起伏がゆるやかである
ことを前提とし、隣接画像点までの対応点探索結果をも
とに、画像用土の幾何学的歪み址を外挿予測する方式で
は、いったん対応点探索を誤まると、その点以降の画像
部分の対応点探索に誤差が伝播することになり１画像上
で一様に精度良く標高情報を求めることができないとい
う欠点があった。

〔発明の目的〕

本発明は上記欠点を取り除くためになされたもので、そ
の目的とするところは、対応画像片間の幾何学的歪みの
予測・補正を含む対応点探索処理において、誤まりが画
像上で伝播することなく。

画像上で一様に精度の良い標高情報を得ることのできる
、ステレオ画像処理方式を提供することにある。

〔発明の概要〕

本発明は、２枚のステレオ画像中の各点の対応関係を画
像片の類似度により求める際、視点の違いと地表の凹凸
による画偉用土の相対的な幾何学的歪みを補正除去し、
高い精度の標高情報を求めるステレオ画像処理システム
において、あらかじめぼかしかつデータを間引く画像処
理により複数レベルの低解像度画像を川；はしておき、
より低解像度の画像を用いて得られた空間的にｍなステ
レオ対応関係を、現解像度の画像上のステレオ対応関係
としかつ内挿することにより現画像上での視点の違いに
よる画像用土の柑対的歪みを予測し、ステレオ対応関係
を低解像度画像がら直解は原画像へと逐次行うようにし
たものである。

〔発明の実施例〕

以下、本発明の一実施例を第１図〜第５回により説明す
る。衛星あるいは航空機によるステレオ画像撮像の様子
を第２図に示す。２つの位置または軌道から地表の同一
地域を撮像した、２枚１組のステレオ画像を、第３図（
ａ）、（ｂ）に模式的に示す。１組のステレオ画像デー
タ１．たとえば、４０９６画素Ｘ　４０９６ラインから
なる画像データは、画像ぼかし間引き処理装置２により
、まず１／２のデータ量に間引かれる。この場合、単に
画像を間引くのではサンプリング定理を満さなくなるこ
とから、下式に示すぼかし処理を行う。

ここで、Ｉ”　（ｘ’　ｒ　ｊ’　）は、ぼかし間引き
画像であり、荷重ω（ｐ＋　ｑ）は、第４図に示すｓｉ
ｎ　Ｃ関数の断面形状を持つ、高周波カットフィルタの
実空間での実現である。

式（１）に従い、画像ぼかし間引き処理装置２により得
られた１／２サイズの画像は、原画像とともに画像ファ
イル３に格納される。画像ファイル３の１／２サイズの
画像は、再度読み出され、画像ぼかし間引き処理装置２
により、さらにぼかし間引きされ、原画像の１／４サイ
ズの画像として画像ファイル３に格納される。このよう
な画像ぼかし間引き処理が複数回繰返された後１画像フ
ァイル３中には、複数のレベルの縮少画像が格納される
。第１図に、複数レベルの縮少画像の模式画像ファイル
３中の、最も低解碌の画像データは、たとえば２５６Ｘ
２５６画素といった、原画像データに比べればごくわず
かなデータ量しか持たない、まず、本低解像ステレオ画
像を画像ファイル３から読み出し、初期ステレオ対応検
出手段４において、第３図（ａ）に模式的に示す格子点
の対応点を求める。地表の点ａを示す左眼画像上の点ａ
′のステレオ対応点を、右眼画像上で探索する場合、対
応点の探索は１点ａを中心とする画像片Ｃを、右眼画像
の領域り内で動かし、画像類似度を最大とする地点を見
出すことにより行われる。画像類似度は、左眼、右眼の
画像をそれぞれＩｍ　（ｘ＋　Ｊ）Ｉｒ　（ｋ、Ｑ）と
すると、次の相関係数などにより求められる。ここで、
１＋Ｊ＋に＋Ｑは画像座標系であり、 ｒ（ｍ、ｎ）＝Σ　Ｉｍ（ｉ、ｊ）Ｉｒ（ｉ＋ｍ、ｊ＋
ｎ）（３）１＋ｊθΩＣ 領域Ωは、左眼画像の画像片を表わす。第３図に模式的
に示すように、画像用土の画像パタンは。

視点の違いと地表の凹凸により、両画像で異なったもの
となる。そして１画像片の煩（成度を前人で求める前に
、右眼の画像用土の画像パタンに幾何学的変換画像処理
を加え、最も高い類似度を与える幾何学的変換での類似
度をもって、その点での類似度とする。幾何学的変換と
しては、区分線型モデル、低次多項式モデルなどが用い
られ、いずれの場合にも、変換式は１０のオーダーの個
数のパラメータで表わされ、最大類似度計算は、パラメ
ータ空間での山登り法４１算である。このような山登り
法による画像片対応計算のパラメータの初期値は、隣接
格子点に関する画像片の幾何学的変換式から、画像片の
オーバーラツプ部分の幾何学的変換が同一となり、かつ
画像用土の幾何学的変換がゆるやかとなるように選ぶ。

また幾何学的変換の画像処理には、画素データ値の線型
補間処理を用いる。

初期ステレオ対応点検出手段４で求められた。

第３図左眼画像上の格子点の右眼画像上の対応点位置座
標（ｋｐ　、　Ｑｐ）（ｐ＝１＋・・・、格子点数）は
、対応点ファイル５に格納される。対応点位置座標は、
幾何学的変換算出手段６により、まず２倍されルベル解
像度の高い画像上の座標に変換され、本画像上で第５図
に示す、格子点に囲まれたブロックごとの下記暗線型写
像の係数ａｏ’、・・・。

ａｓｑに変換される。

ｋ’　＝、ＢＯ’ｉ’　ｊ’　＋ａｚ’ｉ’　＋ａｚ″
ｊ’　＋ａａ’（４）ｉ’、ｊ’、に’は、各ブロック
ｑ内での相対座標を示す６尚、ステレオ画像１は、あら
かじめ補正され、対応点は同一ライン上にあるため、ｎ
′＝　ｊ　ｌである。係数の算出は、各格子点における
上式を４つ連立させ解くことで簡単に求まる。

幾何学的変換算出手段６で求まった、各ブロックの幾何
変換係数に従い、幾何補正装置７は前記ルベル解像度の
高い右眼画像を幾何補正する。

幾何補正は、補正画像上の１点ごとの画素位置について
、（４）式を計算し上記右眼画像上の座標を求め、画像
ファイル３から読み出した画素データを内挿する。幾何
補正画像は、画像ファイル８に書き込まれる。幾何補正
された画像では、第５図（ｃ）に示すように、ルベル低
解像の画像上で求めた。右眼両像格子の対応点は同一の
格子りにある。画像片マツチング装置９は、画像ファイ
ル８と同一の解像度の左眼画像を画像ファイル３から読
み出し、それまでより２倍細かい格子点上で対応点検出
を行う。対応点検出は、画像片マツチング手法であり、
（３）式の相関係数最大値の探索により行う。第５図（
ｃ）のＸ印は、幾何補正画像上の対応点検出位置であり
、より細かい格子点上で対応関係、すなわち標高情報が
得られていることがわかる。対応点探索のための画像片
サイズは、地上対応で１／２となっておりより精度の高
い対応点検出が行えるため１図に示すように旧格子位置
においてもよ−り精確な対応点が検出されているにれら
の対応点座標は、幾何変換済みの右眼画像上のものであ
るため、座標逆変換手段１０において、幾何学的変換算
出手段６により求められた、各ブロックごとの暗線型係
数ａｏｑ、・・・。

ａｓ”をもとに、（４）式の計算で、原右眼画像上の座
標に変換され対応点ファイル５に格納される。

第５図（ｄ）は、変換された対応点の原右眼画像上での
位置を格子点で示したものである。

第１図の指定解像度画像ステレオ対応探索手段１１で行
われる上記ステレオ対応探索処理は、低解像画像からよ
り高解像な画像へと行うよう、処理制御手段１２により
制御され、１倍画像上での対応探索が終了するまで繰返
される。

対応点ファイル５の原１倍画像上での対応点座標は、標
高情報算出手段１３により三角測量計算で標高情報に変
換され、メツシュ上の標高データ１４として出力される
。三角測量計算は、第２図に示すように、対応する２点
それぞれの視線ベクトルを画像上の位置座標から求め、
撮像位ＷＱ。

ｒからの両視線ベクトルの交点、あるいは最近接点を求
めるものである。

〔発明の効果〕

本発明によれば、視点の違いによる画像用土の幾何学的
歪みを、ぼかし間引きしたより低解像度の画像上で求め
たステレオ対応点関係をもとに推定し補正することがで
きるため、現画像上で効率良く精確に対応点検出を行え
るため、低解像から高解像への段階的ステレオ画像処理
方式を実現でき、高精度な距離情報あるいは標高情報を
得ることができる効果がある。

【図面の簡単な説明】

第１図は本発明によるステレオ画像処理方式の全体構成
図、第２図はステレオ航空写真あるいは衛星画像撮像の
様子を示す図、第３図は得られるステレオ画像とその対
応点の説明図、第４図はぼかし間引き画像に使用される
荷重関係の一例を示す図、第５図は格子点上での対応点
検出と、低解像画像上での検出対応点座標に基づいた視
差による画像歪みの補正に関する説明図である。 第　１図 茶ｚ［！１　　　　　　　　　＄３　固第　４０ 第　５１￥Ｉ］

Claims (1)

【特許請求の範囲】
1. ２枚のステレオ画像中の各点の対応関係を画像片の類似
   度より求める手段と、視点の違いによる画像片上の相対
   的な幾何学的歪みをあらかじめ補正する画像処理手段と
   、ステレオ画像中の該対応関係から各点までの距離情報
   あるいは標高情報を求めるステレオ画像処理システムに
   おいて、該ステレオ画像を低解像で少データ量の画像と
   なるようぼかしかつ間引きあらかじめ複数レベルの低解
   像度画像を得て、より低解像度の画像を用いて得られた
   空間的に粗なステレオ対応関係を現解像度の画像上での
   ステレオ対応関係としかつ内挿することにより現解像度
   の画像上での該視点の違いによる画像片上の対相的歪み
   を予測し、ステレオ対応関係算出を低解像度画像から高
   解像度画像へ逐次行うことを特徴とするステレオ画像処
   理方式。