JP4979928B2 - 三次元形状演算装置及び三次元形状演算方法 - Google Patents

Description

本発明は、三次元形状演算装置及び三次元形状演算方法に関する。詳しくは、光学条件を変化させて撮影するカメラ（ズーム式カメラも含む）で撮影したステレオ画像に含まれるレンズ収差の影響を除去して、ステレオ画像計測により対象物の形状を正確かつ効率的に三次元形状演算ができる三次元形状演算装置及び三次元形状演算方法に関する。

従来から、写真測量や写真計測の分野では、収差の少ない画像を得ることが重要である。市販されている一般消費者向けのデジタルカメラで三次元形状のステレオ画像計測を行おうとした場合、レンズディストーションが大きい為に、撮影した画像を無修正で用いたのでは対象物のステレオ画像を正確に計測することはできない。すなわち、固定焦点式のステレオカメラでは、対象物に合わせて焦点距離を調整できないため、撮影条件によってはピントが合わず、或いは対象物の画像が写真画像一杯に写っていないため、ステレオ画像計測を行うのに必要とされる良質なステレオ画像が得られない。さらに、計測対象物の大きさや必要精度のためにカメラやレンズを交換して、適切な焦点距離のカメラやレンズを選定する場合には、新たに選定したステレオカメラに対してキャリブレーションを再度行う必要があった。他方、可動焦点式のいわゆるズームレンズを用いたデジタルカメラに関しては、レンズディストーションが大きく、さらに焦点距離に応じて奥行き精度やレンズディストーションが変動する。このため、焦点距離を変化させると新たにキャリブレーションを行う必要があり、ズームレンズを用いてステレオ画像計測を行うことは作業効率の点から困難であった。

そこで、写真測量や写真計測の分野では、撮影用カメラのレンズとして収差が少ない高精度のレンズを使用しており、さらに、精密に計測された３次元上に配置された多数の点を複数方向から計測することにより、また、製作されたカメラを精密に計測することにより、カメラ内部パラメータ（主点位置、歪パラメータ）を求め、撮影した画像を修正すると共に、三次元計測精度を高めている。発明者らは、ズーム式カメラ、単焦点カメラのいずれを用いる場合でも、レンズディストーションの影響を除去した良質な画像を得るのに必要な内部パラメータが容易に得られる方法、及びステレオ画像計測により対象物の形状を正確に三次元形状計測ができる方法を提案した。（特許文献１〜３参照）

特開２００４−３７２７０号公報（段落００１５〜０１０４、図１〜図２０等） 特願２００２−６４０９４号公報（段落００１８〜００７３、図１〜図１１等） 特願２００３−４１５８０７号公報（段落００２１〜００８７、図１〜図２４等）

しかしながら、レンズディストーションの影響を除くために、カメラ内部パラメータ（主点位置、歪パラメータ）を得るには焦点距離を計測する必要があり、焦点距離を正確に測定するには、多くの演算処理と時間を要するという問題があった。他方、表示値や前回のキャリブレーションで得られた焦点距離をそのまま用いたのでは、良好な奥行き精度が得られないという問題があった。そこで、多くの演算処理と時間を要せず、かつ実用に充分な測定精度を得られる三次元形状演算を行うことが切望されていた。

本発明の目的は、焦点距離を正確に測定しなくても、高精度の三次元形状演算を効率良く行なえる三次元形状演算装置及び三次元形状演算方法を提供することである。

上記課題を解決するために、本発明の第１の態様に係る三次元形状演算装置は、例えば図１に示すように、撮影レンズを有し、２方向から対象物を撮影して一対の撮影画像を取得する画像撮影部１０と、一対の撮影画像から特徴点又は基準点及びその対応点を抽出する標定点抽出部４１と、標定点抽出部４１で抽出された特徴点又は基準点及びその対応点を用いて形成した一対の標定用画像について、相互標定における残存縦視差を最小にするように、又はバンドル調整における残差を最小とするように、撮影レンズの焦点距離を推定する焦点距離推定部４４とを備える。

ここにおいて、２方向から対象物を撮影して一対の撮影画像を取得するには、３方向以上から撮影してそのうちから一対以上の撮影画像を選択する場合も含まれる。また、画像撮影部１０を移動しながら撮影し複数の一対の画像を取得しても良い。また、標定用画像として典型的には一対の撮影画像又はモデル画像が使用されるが、エピポーララインが一致しない或は水平でない一対の画像も使用され得る。また、モデル画像とは偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーララインＥＰ上に再配置したものをいう（図９参照）。また、相互標定における残存縦視差を最小にするとは、一対の標定用画像の相互標定時に、焦点距離を変数として、基準画像と探索画像間で残存縦視差が最小となる焦点距離を最確値として求める意味である。また、バンドル調整における残差を最小とするとは、バンドル調整時に、焦点距離を変数として、大多数の撮影画像における残差（実座標と演算で求められた座標の差の最小自乗法による値）を最小とする焦点距離を最確値として求める意味である。大多数のとは、必ずしも全ての標定点を用いて残差を計算する必要はなく、例えばなかなか収束しない標定点を除いても良く、また計算処理の迅速のため、焦点距離を推定するに充分な数の撮影画像を用いれば、一部の撮影画像を省略しても良い意味である。このように構成すると、焦点距離を正確に測定しなくても必要な焦点距離を短時間で比較的高精度に推定して、三次元形状演算を効率良く行なえる三次元形状演算装置を提供できる。

また、本発明の第２の態様は、第１の態様に係る三次元形状演算装置において、例えば図１に示すように、撮影レンズの焦点距離に対応するカメラ内部標定要素を記憶する内部パラメータ記憶部４６と、焦点距離推定部４４で推定された推定焦点距離に対応するカメラ内部標定要素を内部パラメータ記憶部４６から取得し、取得したカメラ内部標定要素に基づいて撮影画像のデータを補正する画像データ補正部４７とを備える。ここにおいて、カメラ内部標定要素とはカメラ内部パラメータ、又は単に内部標定要素、内部パラメータともいい、典型的には画面中心（主点位置）とレンズ歪パラメータ（レンズディストーション）をいうが、必ずしもこれらに限定されず、コマ収差、２次３次の収差を表すパラメータを使用しても良い。このように構成すると、レンズ歪を補正した画像を形成でき、三次元形状を適切かつ容易に把握できる。

また、本発明の第３の態様は、第２の態様に係る三次元形状演算装置において、例えば図１に示すように、画像データ補正部４７で補正された補正画像に基づき、三次元座標を算出する三次元座標データ演算部５１を備える。ここにおいて、三次元座標を算出する場合、実測データに基づいて絶対座標を使用しても良く、演算データのみに基づいて相対座標を使用しても良い。このように構成すると、レンズ歪を補正して高精度の三次元形状演算ができる。なお、補正画像を使用しなくても、例えば内部パラメータよりエピポーララインを検出することにより三次元形状演算が可能である。

また、本発明の第４の態様は、第１の態様に係る三次元形状演算装置において、撮影レンズは、撮影画角を変更可能なズームレンズである。このように構成すると、ズームレンズについても焦点距離を短時間で比較的高精度に推定して、三次元形状演算を効率良く行うことができる。

また、本発明の第５の態様は、第２又は第３の態様に係る三次元形状演算装置において、撮影レンズは、撮影画角を変更可能なズームレンズであり、内部パラメータ記憶部４６は、撮影画角に対応する撮影条件データ及び内部標定要素を記憶し、内部標定要素は、焦点距離推定部４４で推定された撮影レンズの焦点距離に撮影条件データを加味して定められる。ここにおいて撮影条件データは例えば表３に示すようなデータである。このように構成すると、レンズ歪を補正した画像を形成でき、高精度の三次元形状演算ができる。

上記課題を解決するために、本発明の第６の態様に係る三次元形状演算方法は、例えば図２に示すように、２方向から対象物を撮影して一対の撮影画像を取得する画像撮影工程（Ｓ０１）と、一対の撮影画像から特徴点又は基準点及びその対応点を抽出する標定点抽出工程（Ｓ０４，Ｓ０５）と、標定点抽出工程で抽出された特徴点又は基準点及びその対応点を用いて形成した一対の標定用画像について、相互標定における残存縦視差を最小にするように、又はバンドル調整における残差を最小とするように、撮影レンズの焦点距離ｆを推定する焦点距離推定工程（Ｓ０６）とを備える。このように構成すると、焦点距離を正確に測定しなくても必要な焦点距離を短時間で比較的高精度に推定して、高精度の三次元形状演算を効率良く行なえる三次元形状演算方法を提供できる。

また、本発明の第７の態様は、第６の態様に係る三次元形状演算方法において、撮影レンズの焦点距離に対応するカメラ内部標定要素を内部パラメータ記憶部４６に記憶する内部パラメータ記憶工程（Ｓ００）と、焦点距離推定工程で推定された推定焦点距離に対応するカメラ内部標定要素を内部パラメータ記憶部４６から取得し（Ｓ０７）、取得したカメラ内部標定要素に基づいて撮影画像のデータを補正する画像データ補正工程（Ｓ０８）とを備える。このように構成すると、レンズ歪を補正した画像を形成でき、三次元形状を適切かつ容易に把握できる。

本発明によれば、焦点距離を正確に測定しなくても必要な焦点距離を推定して、高精度の三次元形状演算を効率良く行なえる三次元形状演算装置及び三次元形状演算方法を提供できる。

以下に図面に基づき本発明の実施の形態について説明する。

［第１の実施の形態］
［システム構成］
図１に第１の実施の形態における三次元形状演算装置の全体構成例のブロック図を示す。本実施の形態では撮影レンズがズームレンズの場合で、相互標定において焦点距離の推定を行い、また画像データの補正も行う例を説明する。
三次元形状演算装置１００は、画像撮影部１０、撮影画像記憶部１３、画像対応部４０、表示画像形成部５０、表示部６０を備える。このうち、撮影画像記憶部１３、画像対応部４０、表示画像形成部５０は例えばコンピュータで構成されている。対象物１は、施工対象物・製作対象物となる有体物で、例えば建築物、工場等の各種工作物及び、人物・風景等が該当する。

画像撮影部１０は、対象物１を２方向から撮影して一対の撮影画像（典型的にはステレオ画像であるが、単写真画像をペアで用いても良い）を取得するもので、例えば計測用のステレオカメラ又は汎用のデジタルカメラ等が用いられる。撮影画像記憶部１３は、対象物１の撮影画像を記憶するもので、例えば画像撮影部１０で撮影された対象物１の単写真画像やステレオ画像を記憶する。本実施の形態では一対の撮影画像又はモデル画像等をペアとして対応付け、標定又はステレオマッチングに供される画像をステレオ画像と称することとする。

画像対応部４０は、対象物１に係る一対の撮影画像又はモデル画像を対応づけて標定やマッチングを行なうもので、特徴点抽出、対応点探索、標定処理を行う。また、三次元計測に際しステレオマッチングを行なう。特徴点抽出部４２、対応点探索部４３、標定部４４Ａ、焦点距離推定処理部４４Ｂ、対応点指示部４５、内部パラメータ記憶部４６、画像データ補正部４７、撮影・モデル画像表示部４８、モデル画像形成部４８Ａ、モデル画像記憶部４８Ｂを有している。このうち、特徴点抽出部４２、対応点探索部４３及び対応点指示部４５が標定点抽出部４１を構成し、標定部４４Ａ、焦点距離推定処理部４４Ｂ及びモデル画像形成部４８Ａが焦点距離推定部４４を構成する。

標定点抽出部４１は特徴点抽出部４２と対応点探索部４３により構成され、一対の標定用画像から特徴点又は基準点及びその対応点を抽出する。標定用画像には標定に用いるための一対の撮影画像又はモデル画像が含まれるが、エピポーララインが一致しない或は水平でない一対の画像も含まれる。また、モデル画像とは偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーララインＥＰ上に再配置したものをいう。特徴点抽出部４２は、ステレオ画像の一方の画像（基準画像）上の特徴点を抽出する。特徴点には、例えば対象物１の中心位置、重心位置、コーナー位置、対象物１に貼付された又は投影された標識（ターゲット）などがある。これらの特徴点で測量装置などにより三次元計測された点は基準点となる。操作者が対応点指示部４５を用いて特徴点近傍を指示すると、操作者が基準画像で本来意図した特徴点に引き込まれる。対応点探索部４３は、ステレオ画像の他方の画像（探索画像）上における、特徴点抽出部４２により抽出された特徴点や基準点と対応する対応点を探索して抽出する。操作者が対応点指示部４５を用いて特徴点近傍に指示点を指示すると、操作者が厳格に特徴点を指示しなくても、対応点探索部４３によって探索画像の対応点が探索される。これらの特徴点、基準点（特徴点に含まれる）、対応点をまとめて標定点という。

焦点距離推定部４４は、標定部４４Ａ、焦点距離推定処理部４４Ｂ及びモデル画像形成部４８Ａにより構成され、標定点抽出部４１で求められた特徴点又は基準点とその対応点を用いて形成した標定用画像について撮影レンズの焦点距離ｆ（図示しない）を推定する。焦点距離ｆの推定は、例えば、相互標定における残存縦視差の総計を最小にするように、又はバンドル調整における残差を最小とするように行われる。

標定部４４Ａは、特徴点抽出部４２により抽出された特徴点や基準点と対応点探索部４３により求められた対応点を用いて、一対の画像の対応点関係を求め、相互標定やバンドル調整などの標定処理を行い、外部標定要素（外部パラメータともいう）、すなわち撮影したカメラの位置、傾きを求め、さらに対応点の位置、計測精度（例えばバンドル調整で算出した三次元座標と基準点との残差の標準偏差が用いられる）を求める。対応点指示部４５は、操作者が基準画像の特徴点近傍を指定した場合に本来意図した特徴点を定める。また、探索画像上で操作者が対応点指示部４５を用いて指示すると、指示点に最も近い基準点に対する対応点が探索される。操作者は、表示部６０に表示される基準画像上の指示点と、対応点指示部４５によって定められる探索画像上での対応点の表示位置とを対比して、対象物１の特徴点と対応点の対応関係を容易に認識できる。

焦点距離推定処理部４４Ｂでは変数としての焦点距離ｆを標定部４４Ａに供給し、標定部４４Ａで相互標定の計算を行って外部標定要素（撮影したカメラの位置、傾き）を算出し、後述するモデル画像形成部４８Ａではその外部標定要素を用いてモデル画像を形成し、焦点距離推定処理部４４Ｂでは、これらの焦点距離ｆを変化させたときの一対のモデル画像を比較して残存縦視差が最小となる焦点距離ｆ、すなわち、左右エピポーララインの垂直方向の差異を最小になるような焦点距離ｆを最確値として推定する。

内部パラメータ記憶部４６は、撮影レンズの焦点距離ｆに対応するカメラ内部標定要素（カメラ内部パラメータ、又は単に内部標定要素、内部パラメータともいう）、すなわち、画面中心（主点位置）とレンズ歪パラメータ（レンズディストーション）を記憶する。撮影レンズがズームレンズの場合には、撮影画角に対応する撮影条件データを併せて記憶し、内部パラメータを焦点距離ｆ及び撮影条件データと関連付けて記憶する。これにより、焦点距離推定部４４は、撮影条件データを加味して撮影レンズの焦点距離ｆを推定できる。画像データ補正部４７は、焦点距離推定処理部４４Ｂで推定された推定焦点距離ｆに対応するカメラ内部パラメータを内部パラメータ記憶部４６から取得し、取得したカメラ内部パラメータに基づいて撮影画像データ又はモデル画像データを補正する。

モデル画像形成部４８Ａは、標定部４４Ａによって標定計算処理された外部パラメータ（撮影したカメラの位置、傾き）から、モデル画像を形成する。この際に、画像データ補正部４７で補正された撮影画像データやモデル画像データがある場合は、これを用いて新たなモデル画像を形成する。ここで、モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーラライン上に再配置したものをいう。モデル画像記憶部４８Ｂは、モデル画像形成部４８Ａで形成された対象物１のモデル画像を記憶する。撮影・モデル画像表示部４８は、画像対応部４０で行う特徴点抽出、対応点探索、ステレオマッチング等の処理において、撮影画像又はモデル画像形成部４８Ａにより形成されたモデル画像を一対の画像として表示部６０に表示する。

表示画像形成部５０は、対象物１の三次元座標データ及び対象物１の撮影画像又はモデル画像に基づき、任意の方向からの対象物１の立体的二次元画像を作成し、表示するもので、三次元座標データ演算部５１で対象物１に関する三次元位置座標を演算により求め、その結果を三次元座標データ記憶部５３に記憶する。また、三次元座標データ演算部５１は、画像データ補正部４７で補正した一対の撮影画像やモデル画像について、標定点抽出部４１でのステレオマッチングにより対応点を求め、三次元座標を算出する。立体的二次元画像形成部５４は、求められた三次元座標データとモデル画像に基づいて立体的二次元画像を作成し、その結果を立体的二次元画像記憶部５５に記憶する。立体的二次元画像表示部５７は立体的二次元画像記憶部５５に記憶された情報を基に任意の方向から見た立体的二次元画像を表示部６０に表示する。

［処理フロー］
図２に本実施の形態における処理フロー例を示す。
尚、前準備として、レンズの各焦点位置におけるカメラ内部パラメータ（主点位置、レンズディストーション）を求めておき、内部パラメータ記憶部４６に各焦点位置におけるこれらのパラメータを記憶しておく（内部パラメータ記憶工程：ステップＳ００）。

まず、画像撮影部１０により２方向からの画像を撮影する（画像撮影工程：ステップＳ０１）。典型的にはステレオカメラを用いてペアとなるステレオ画像を撮影するが、カメラは１台から複数台、何台でも良く、１台のときはカメラ位置を移動しながら撮影を行う。本実施の形態におけるズームレンズの場合には撮影画角及びこれに対応する撮影条件を内部パラメータ記憶部４６に出力する（撮影画角出力工程：ステップＳ０２）。内部パラメータは焦点距離ｆに撮影条件による影響を加味して求められる。

次に、画像撮影部１０で撮影した画像を撮影画像記憶部１３に読込む（撮影画像記憶工程：ステップＳ０３）。次に、撮影した一対の画像を撮影画像記憶部１３から取得し、これらの画像のうちの一方を基準画像に選んで、特徴点抽出部４２において特徴点又は基準点を抽出する（特徴点抽出工程：ステップＳ０４）。次に、対応点探索部４３において、他方の画像を探索画像として特徴点又は基準点に対応する対応点を求める（対応点探索工程：ステップＳ０５）。ここにおいて、特徴点抽出工程（ステップＳ０４）及び対応点探索工程（ステップＳ０５）が標定点抽出工程を構成する。対応点を求める場合、マニュアルにて対応点を指示する場合と半自動にて指示する場合、自動で対応点探索する場合がある（特許文献２参照）。

次に、焦点距離推定部４４において、標定点抽出部４１で求められた、特徴点、基準点及び対応点から焦点距離ｆを推定する（焦点距離推定工程：ステップＳ０６）。焦点距離ｆを推定する方法として、例えば、求められた特徴点と対応点から、（１）相互標定時に、焦点距離ｆを変数として、基準画像と探索画像間で残存縦視差が最小となる焦点距離ｆを最確値として求める、（２）バンドル調整時に、焦点距離ｆを変数として、全ての撮影画像における残差（実座標と演算で求められた座標の差の最小自乗法による値）を最小とする焦点距離ｆを最確値として求める、という方法が挙げられ、本実施の形態では（１）を採用する。

次に、内部パラメータ記憶部４６を参照して、焦点距離推定部４４で推定された焦点距離ｆに対応するカメラ内部パラメータ（主点位置、レンズディストーション）を取得する（内部パラメータ取得工程：ステップＳ０７）。本実施の形態のようなズームレンズの場合には、撮影画角に対応する撮影条件による影響を加味してカメラ内部パラメータが読み出される。

次に、画像データ補正部４７において、内部パラメータ記憶部４６から読み出された内部パラメータを用いて、撮影画像又はモデル画像を補正する（画像データ補正工程：ステップＳ０８）。次に、撮影・モデル画像表示部４８では、この補正された撮影画像又はモデル画像を表示する（補正画像表示工程：ステップＳ０９）。この画像表示は三次元座標の算出には省略可能であるが、画像表示すれば操作者が対象物の形状を把握しやすいという利点があり、本実施の形態では画像表示を行なうものとする。さらに、標定とモデル画像の形成を繰り返すなどにより、標定を精密化できる（精密標定工程：ステップＳ１０）。なお、スピードを優先する場合などでは標定の精密化も省略可能である。

次に、最終的に形成されたモデル画像を用いて、画像対応部４０の特徴点抽出部４２と対応点探索部４３で、基準画像と探索画像間でステレオマッチングを行ない、表示画像形成部５０の三次元座標データ演算部５１において、三次元座標を算出する（三次元座標算出工程：ステップＳ１１）。

以下に処理フローに添って詳しく説明する。

〔前準備〕
前準備として、ズーム式カメラにおいて予め、複数焦点の焦点位置にてキャリブレーションを行い、これらのデータより焦点距離ｆに対するカメラの内部パラメータ（主点位置及びレンズディストーション）の近似曲線を求めておく。この近似曲線に基づいて、焦点距離ｆに対する主点位置とレンズディストーションとの対応関係が内部パラメータ記憶部４６に記憶される（ステップＳ００）。

〔ステレオ画像撮影〕
図３にステレオ画像撮影の例を示す。現場でのステレオ撮影はピントが合う焦点位置において行なわれる。この焦点距離は後に推定される。対象物１に対して、１台、２台もしくは複数台のカメラ１０にてオーバーラップするように撮影する（ステップＳ０１）。撮影部１０におけるカメラの台数は１台〜複数台、何台でも良く、とくに制約はない。１台の場合には、位置を移動させながら撮影を行い２方向からの撮影画像を得る。３方向以上から撮影してそのうちから一対の撮影画像を選択しても良い。

基本的には図３（ｂ）に示すように、２台１組のカメラでステレオ撮影し、このステレオ撮影した画像の一部をオーバーラップさせながら一連のステレオ画像を取得し、三次元計測に供するのであるが、図３（ａ）に示すように、１台で複数方向からオーバーラップするように撮影しても良く、また、複数台のマルチカメラでオーバーラップするように撮影してもよい。この場合オーバーラップしあう２つの画像でペアを構成するが、１つの画像が例えば左隣の画像と１つのペアを構成し、右隣の画像と別のペアを構成しても良い。

図４に左右のステレオカメラで撮影される撮影画像の例を示す。図４（ａ）にステレオ画像のオーバーラップの様子を示す。計測される基本範囲は、２枚（一対）のステレオ撮影画像のオーバーラップ範囲である。このとき、４個の標識（ターゲット）ＴＧがオーバーラップ範囲に入るように撮影するが好ましい。このようにするとステレオ画像を用いて対象物１が広域に亘る場合の三次元測定が可能である。また、図４（ｂ）に隣接し合うステレオ画像間のオーバーラップのさせ方の例を示す。この様に、上下左右方向に２個のターゲットＴＧを含んでオーバーラップするように一連の画像を撮影するのが好ましい。このようにすると広域にわたる非接触三次元測定の自動化が可能になる。ここで、標識（ターゲット）ＴＧとして３つのレトロターゲットＲＴを含む例を示す。このようなターゲットＴＧを使用するとリファレンスポイントＲＦと区別でき、オーバーラップ範囲や一連の画像の境界領域を見出すのに便宜である。なお、ブレークラインは画像の有効領域を示すラインであり、４個のターゲットＴＧの最も外側にあるレトロターゲットを結ぶライン内が有効領域である。

〔ズームレンズの場合〕
ズーム式カメラの場合は、前もって、各撮影画角に対して焦点距離のカメラキャリブレーションを行っておき、これに基づいて撮影画角から対応するおよその焦点距離を自動的に推定する。従って撮影部１０から撮影画角及びこれに対応した撮影条件の情報を取得し、内部パラメータ記憶部４６に記憶する（ステップＳ０２）。また、内部パラメータ記憶部４６を参照して、撮影画角で推定された焦点距離ｆに撮影条件による影響を加味してカメラ内部パラメータが読み出される（ステップＳ０７）。その他の工程は後述する単焦点レンズと同様である。なお、ズームレンズの撮影画角や、その使用法によっては（例えば焦点距離を無限大に固定など）、各焦点距離を各撮影画角の位置と１：１に対応付けてもよい。

〔特徴点抽出〕
撮影画像を読み込み（ステップＳ０３）、特徴点（基準点を含む）を抽出し（ステップＳ０４）、その点をもとに対応点を探索し（ステップＳ０５）、これらの特徴点及び対応点を標定点とする。特徴点の抽出は特徴点抽出部４２で、対応点の探索は対応点探索部４３で行なわれる。

特徴点を抽出するには多種多様な方法がある。（１）コーナー検出オペレータを利用して、画像からコーナーを求め、特徴点としたり、（２）エッジ検出を行い、その交点を求めて特徴点としたり、（３）あるいはエッジそのものの一部を特徴点としてテンプレートマッチングして、標定点を求めても良い。ここでは（１）で用いられるコーナー抽出処理及び（２）、（３）で使用されるエッジ抽出処理について説明する。

表１にラプラシアンオペレータを、表２に線検出オペレータを示す。ラプラシアンオペレータはコーナーのパターンを、線検出オペレータはエッジのパターンを示すもので、数値は輝度に対応し、パターンマッチングをとることにより、コーナーやエッジを抽出できる。

［基準点がある場合］
次に、画像上に基準点（測量装置などで三次元計測された特徴点）がある場合について述べる。この場合、特徴点に代えて基準点が用いられる。例えば、計測点にターゲットなどを貼って基準点として使用される。

ターゲットＴＧとして例えばレトロターゲットＲＴを使用できる。中心部の円を反射シールのようなものにすれば、画像からの抽出はさらに容易になる。例えば、フラッシュなどをたけば、この部分が反射して画像中の輝度が高くなるので検出が容易になる。光る部分と光らない部分を２値化して検出してもよい。

図５はレトロターゲットを用いた重心位置検出の説明図で、（Ａ１）は内円部２０４の明度が明るく、外円部２０６の明度が暗いレトロターゲット２００、（Ａ２）は（Ａ１）のレトロターゲットの直径方向の明度分布図、（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット２００、（Ｂ２）は（Ｂ１）のレトロターゲットの直径方向の明度分布図を示している。レトロターゲット２００が図５（Ａ１）のように内円部２０４の明度が明るい場合は、対象物１の撮影画像において重心位置での反射光量が多く、明るい部分になっているため、画像の光量分布が（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲット２００の内円部２０４や中心位置をより正確に求めることが可能となる。

ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、閾値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する。なお、＊は乗算演算子である。

ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の濃度値

なお、（Ｂ１）に表記されたレトロターゲット２００の場合は、明度が閾値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
これにより、レトロターゲット２００の重心位置が求まる。

〔相互相関係数〕
次に、対応点探索について説明する。例えばレトロターゲットを貼った点を含むテンプレート領域を左画像に設定し、右画像上をテンプレートマッチングによって捜索する。この場合、捜索されたレトロターゲットが基準点、対応点として抽出され、標定点として使用される。また、例えばエッジ抽出処理により抽出されたエッジについて、テンプレート領域を左画像に設定し、テンプレートマッチング（相互相関係数による方法）にて右画像上で探索してもよい。このとき、撮影された原画像上又はエッジ抽出処理された画像上で探索しても良く、その両者をミックスした画像上で探索してもよい。

次に、相互相関係数による方法を示す。
図６にテンプレートマッチングにおける探索範囲を示す。左画像を基準画面の画像、右画像を探索画面の画像とする。Ｎ１×Ｎ１画素のテンプレート画像Ｔを左画像に設定し、それより大きいＭ１×Ｍ１画素の入力画像（右画像）内の探索範囲Ｉ（Ｍ１−Ｎ１＋１） ^２ 上で動かし、（式３）のＣ（ａ，ｂ）が最大になるようなテンプレート画像Ｔの右画像での位置を求めて、左画像に対し右画像の位置が探索されたとみなす。

〔対応点探索フロー〕
図７は、対応点探索を説明するフローチャートの例である。対応点探索はマニュアルモード、半自動モード、自動モードと３つのモードが可能である（特許文献２参照）。左右画像の対応点を決定する具体的な処理過程を説明する。対応点探索処理に入ると（Ｓ２００）、対応点探索処理としてのマニュアルモード、半自動モード、自動モードと３つのモードの何れか一つを選択する（Ｓ２０２）。なお、以下に説明する左画像と右画像は、その逆の右画像と左画像と逆に置き換えても処理は全く同様であり、そのように読替えて処理してもよい。

マニュアルモードが選択されると、マニュアルモードでの処理が開始される（Ｓ２１０）。まず、表示部上の左画像の特徴となるところを対応点指示部４５のマウスによって指示し、確定する（Ｓ２１２）。確定は、例えばマウスのボタンを押すことなどにより行う。確定処理により左画像座標が読み込まれる。次に、左画像と同じ特徴点を表示部の右画像上で対応点指示部４５のマウスにより指示・確定する（Ｓ２１４）。これにより、右画像座標が読み込まれる。６点以上の特徴点と対応点が定まれば標定が可能となる。このようにマニュアルモードでは、左右画像上で別々に対応点指示部４５により指示、確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２１６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２１２に戻ってマニュアルモードによる対応点探索処理を継続するようにプログラムを作成してもよい。６点以上対応付けしていれば、終了とする。

半自動モードが選択されると、半自動モードでの処理が開始される（Ｓ２２０）。半自動モードでは、対応点探索部４３による自動探索モードに設定される（Ｓ２２２）。次に、表示部６０の左画像上で特徴点（基準点、レトロターゲット等）を対応点指示部４５のマウスにより指示する（Ｓ２２４）。すると、対応点探索部４３は、右画像上の対応点（レトロターゲット等）を自動で探索する（Ｓ２２６）。

そして、オペレータは対応点探索部４３にて検索された右画像上の対応点が適切であるか判断する（Ｓ２２８）。この場合、対応点探索部４３にて演算された相互相関係数が、ある閾値以上であればＯＫと決定する（例えば０．７以上等）。表示部６０には、対応点指示部４５により、例えば右画像上で左画像上に対応した探索位置がＯＫなら緑表示の点、ＮＧなら赤表示の点を表示したり、カーソルマークの図形を変えたり（例えば、矢印“⇒”から二重丸“◎”にカーソルマーク表示を変更する）、相互相関法における相互相関係数値を表示させたりすることを参照して、オペレータが判定する。右画像探索がＯＫか否かの表示は、オペレータが判断容易であればどのような表示によっても良い。

ＯＫでなかった場合、対応点が他の位置でもよいか判断し（Ｓ２３０）、他の位置でもよければＳ２２４へもどり他の点を指示する。他方、どうしてもその位置を特徴点としたい場合は、右画像上のカーソルをマニュアルにて移動させて指示する（Ｓ２３２）。即ち、例えば対応点指示部４５の奥行き方向を合わせるダイヤル等を回せば、等価的に右画像上のカーソルが動くことになるので、それを調整して、左画像と同じ特徴点のところへ持って行き、あわせる。

そして、Ｓ２２８で右画像探索がＯＫの場合、あるいはＳ２３２にて右画像を指示した場合は、その点の画像座標を読み込む（Ｓ２３４）。例えばマウスのボタンを押すなどして確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２３６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２２２に戻って半自動モードによる対応点探索処理を継続するようにプログラムを作成してもよい。６点以上の対応付けしていれば、終了とする。

上述した半自動モードは、左画像上で特徴点をマウスにより指示することにより、自動で右画像の対応点を探索し、ＯＫかどうか表示している。そこで、オペレータはカーソルマーク表示の表示を見て、対応点探索部４３にて検索された右画像上の対応点が適切であれば、検索された対応点を対応点として確定させる（例えば矢印“⇒”から“◎”に変更されている場合）。半自動モードを用いることにより、オペレータは片方の画像を指示するだけでよいので、対応点探索処理を簡単に処理できる。なお、マウスによる指示と確認のための判定は、ボタンを押すことによっても良いが、更にマウスカーソルを移動して左画像上をなぞるだけで、右画像上の対応点を常に判定表示させるように構成しても良い。左画像上のマウスカーソルに対応する右画像上の対応点を判定表示させると、対応点探索処理をさらに容易に処理できる。

自動モードが選択されると、自動モードでの処理が開始される（Ｓ２４０）。自動モードは、対応点となるターゲットを予め対象物周辺に配置することで、自動でターゲットを検出するモードである。ターゲットとなるものは、予め特徴点として認識しやすいものを対象物周辺に配置する。ターゲットは認識しやすいものであればなんでもよい。本実施の形態では、レトロターゲットＲＴを使用する。この場合、ターゲットの正確な位置が予めわかっていれば、正確な三次元計測が可能となる。

まず、オペレータは、表示部６０により左右画像上に６点以上のターゲットが含まれているか確認する（Ｓ２４２）。もし左右画像上で６点以上のターゲットが含まれていなければ、マニュアルもしくは半自動モードへ行く（Ｓ２４４）。なお、左右画像に対応する６点以上のターゲットが撮影されていない場合には、ターゲットが６点以上入るように撮影しなおす。そして、６点以上のターゲットが撮影されている場合には、自動モード処理に移行する（Ｓ２４６）。

自動モード処理では、自動ターゲット検出を行うために、配置したターゲット画像の一つを対応点指示部４５により指示し、例えば標定点抽出部４１にテンプレート画像として登録する（Ｓ２４８）。そして、特徴点抽出部４２と対応点探索部４３によりテンプレート画像を用いて、左画像と右画像の各々のターゲット位置を探索する（Ｓ２５０）。このターゲット位置の探索処理は、例えば先に説明した相互相関係数法等を利用して自動検出させる。そして、探索されたターゲット位置を表示部６０上に表示する（Ｓ２５２）。

オペレータは、探索されたターゲット位置がＯＫであるか否かを判断し（Ｓ２５４）、ＯＫであれば終了とする。ＮＧであれば、ターゲット位置の修正を行い（Ｓ２５６）、改めて対応点を探索する（Ｓ２５８）。この修正には、マニュアルモードあるいは半自動モードによる処理を用いる。仮に、ＮＧであった場合でも、ターゲットを配置してあるので修正は容易である。

［相互標定］
本実施の形態において、焦点距離の推定は相互標定時に行われる。次にステレオペア選択された各画像について、特徴点や基準点と対応点の座標を用いて、標定部４４Ａにより標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾き等の外部標定要素、対応点の位置、計測精度（例えば、基準点がある場合には、バンドル調整で算出された三次元座標と基準点との残差の標準偏差、無い場合には、相互標定時の縦視差が用いられる）を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。

次に、標定部４４Ａで行なう相互標定について説明する。
図８は、ステレオ画像におけるモデル画像座標系ＸＹＺとカメラ座標系ｘｙｚの関係の説明図である。モデル画像座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要はない。

このような条件にすると、（式８）の共線条件式は（式９）のようになり、この式を解けば各パラメータが求まる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（式１０）、（式１１）が成り立つ。

この式の中の、−ｃが画面距離で、焦点距離ｆと同等なものなので、この値を変動させ、最適値を選ぶことになる。なお、左右のカメラの焦点距離が異なる時は、（式１０）と（式１１）のｃの値が異なる。

これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ１、φ１、κ２、２、ω２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（式９）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（式１０）、（式１１）により求め、観測方程式をたてる。
（ｉｉｉ）最小自乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｉｖ）までの操作を収束するまで繰り返す。

仮に、標定点の配置が悪い等の場合、収束しない場合がありうる。正常に行われなかった場合は、標定結果表示でエラーを出力し、どこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して上記計算を繰り返す。だめなら標定点の配置変更を行なう。

このように、ステレオペア選択された各画像について、抽出された標定点で標定し、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関しては後述するバンドル調整にて行う。

〔モデル画像形成〕
モデル画像形成部４８Ａは、標定部４４Ａによって標定計算処理された外部パラメータ（撮影したカメラの位置、傾き）を用いて、モデル画像を形成する。ここで、モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーラライン上に再配置したものをいう。

図９にモデル画像の例を示す。標定処理の結果を用いてモデル画像を形成すると、このように、左右画像のリファレンスポイントＲＦは同一エピポーラライン（水平線）ＥＰ上に再配列される。焦点距離の推定を行なう場合には、焦点距離を変数として離散値を用いるために、左右画像に僅かな縦視差が生じ得るが、本実施の形態ではこれらの画像もモデル画像として扱う。モデル画像記憶部４８Ｂは、モデル画像形成部４８Ａで形成された対象物１のモデル画像を記憶する。撮影・モデル画像表示部４８は、標定点抽出部４１で行う特徴点抽出、対応点探索、ステレオマッチング等の処理において、撮影画像又はモデル画像形成部４８Ａにより形成されたモデル画像を一対の画像として表示部６０に表示する。

〔焦点距離推定〕
本実施の形態においては、ズーム式カメラにおいて予め、複数焦点の焦点位置にてキャリブレーションを行い、これらのデータより焦点距離ｆに対するカメラ内部パラメータ（主点位置及びレンズディストーション）の近似曲線を求めておく（ステップＳ００）。画像計測用に任意のズーム位置（焦点位置）にてステレオ撮影した（ステップＳ０１）場合、相互標定にて最確（縦視差が最も小さい）な焦点距離ｆを推定する（ステップＳ０６）。推定された焦点距離ｆに基づいてカメラ内部パラメータ（ディストーション及び主点位置）を近似曲線より取り出し（ステップＳ０７）、このようにして求めたカメラ内部パラメータを用いて三次元座標演算を行う（ステップＳ１１）。かかる手法を焦点距離推定法と称することとする。

モデル画像を形成するためには、少なくとも１回の相互標定を行う。この相互標定の際に、焦点距離推定処理部４４Ｂにおいて、標定点抽出部４１で求められた特徴点、基準点及び対応点を用い、焦点距離ｆを変数として、一対のモデル画像間の残存縦視差を最小にするように、撮影レンズの焦点距離を推定する（ステップＳ０６）。すなわち、焦点距離推定処理部４４Ｂでは、相互標定を行い最初のモデル画像を形成する過程で焦点距離ｆを推定する。このとき、焦点距離推定処理部４４Ｂは変数としての焦点距離ｆを標定部４４Ａに供給し、標定部４４Ａで相互標定の計算を行って外部標定要素を算出し、モデル画像形成部４８Ａではその外部標定要素を用いてモデル画像を形成し、焦点距離推定処理部４４Ｂでは、これらの焦点距離ｆを変化させたときのモデル画像を比較して残存縦視差が最小となる焦点距離ｆ、すなわち、左右エピポーララインの垂直方向の差異を最小になるような焦点距離ｆを最確値とする。なお、相互標定を繰り返し行うことにより標定精度を向上できるので、２回目以後の相互標定で形成されたモデル画像を比較して焦点距離ｆを推定しても良い。

焦点距離ｆを変数として比較する際に、例えば、ズーム式カメラの焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、変数として、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。また、この焦点距離の最確値を近似的に求める手法として１段階目として変数を２ｍｍ間隔とし、２段階目として１段階目で求めた最確値の近傍で変数を０．５ｍｍ間隔とするなどにより、段階式に最確値を求め、高速化をはかることも可能である。そして、後述するように、推定した焦点距離より、主点位置とレンズディストーションのパラメータを近似曲線より算出・取り出し、これをカメラ内部パラメータとする。また、毎回推定された焦点距離ｆと対応する内部パラメータを用いて相互標定を行うことにより、焦点距離ｆを高精度に求めることができる。

〔バンドル調整〕
標定計算処理は、複数または全画像間の標定に関してはバンドル調整にて行う。カメラ内部パラメータを演算処理するに際し、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いることができる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小自乗法により外部標定要素（撮影したカメラの位置と傾き）とリファレンスポイントＲＦの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラ内部標定要素（主点位置及びレンズディストーション）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の（式１２）と（式１３）である。

この（式１２）と（式１３）は、共線条件式（式８）を基本式とするものである。即ちバンドル調整法は、（式１２）と（式１３）を用いて、複数画像から最小自乗近似して、最適解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。

ここで、内部標定要素の補正モデルとして、放射方向レンズ歪を有する場合の一例を次の（式１４）に示す。

〔内部パラメータ〕
ここで、カメラ内部標定要素（カメラ内部パラメータ）について説明する。
図１０は、焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図で、図１０（Ａ）は（式１４）の係数ｋ１、図１０（Ｂ）は（式１４）の係数ｋ２、図１０（Ｃ）は画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ_０、図１０（Ｄ）は画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ_０を表している。ここでは、前述の説例のように、ズーム式カメラの焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。

（式１４）の係数ｋ_１、ｋ_２は、最広角側で絶対値が最大となり、最望遠側では小さくなっている。画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ_０は、ズーム式カメラの焦点距離が１１．６ｍｍで極小値を、５２．２ｍｍで最小値４．４１をとり、２４．８ｍｍで最大値４．５５をとる複雑な変化をしているので、焦点距離の五次曲線で近似している。画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ_０は、ズーム式カメラの焦点距離に応じて単調に変化している。なお、チャート撮影画像はピントが合った状態で撮影されるので、ズーム式カメラの焦点距離ｆと、投影中心点Ｏ_１、Ｏ_２から画像座標系までの画面距離ｃとは、等しくなっている。

図１０の近似曲線に焦点距離ｆを入力すると、内部パラメータ関数に用いられる係数ｋ_１、ｋ_２、ｘ_０、ｙ_０が得られる（ステップＳ０７）。そして、内部パラメータ関数としての（式１２）、（式１３）、（式１４）にこれらの係数を代入して、それぞれの観測点に関して観測方程式を立てる。そして、観測方程式を連立して解くと共に、最小自乗法を適用することで、最も確からしい内部パラメータが算出できる。これらの内部パラメータと焦点距離ｆの関係は内部パラメータ記憶部４６に入力されており、内部パラメータ記憶部４６から取得可能である。また、本実施の形態のようなズームレンズの場合には、内部パラメータは撮影画角に対応した撮影条件による影響を加味して読み出される。
また、内部パラメータの主点位置とレンズディストーションは、パスポイント（対応点）の正確な三次元座標を算出するために使用される。

〔撮影画像の補正〕
画像データ補正部４７は、これらの内部パラメータ係数ｋ_１、ｋ_２、ｘ_０、ｙ_０を用いて撮影画像又はモデル画像を補正する（ステップＳ０８）。モデル画像形成部４８Ａは、標定部４４Ａによって標定計算処理された外部パラメータ（撮影したカメラの位置、傾き）から、モデル画像を形成する。この際に、画像データ補正部４７で補正された撮影画像データやモデル画像データがあれば、これを用いて新たなモデル画像を形成する。これにより、レンズ歪みの影響が除去されたモデル画像を形成できる。撮影・モデル画像表示部４８は補正されたモデル画像を表示する（ステップＳ０９）。

モデル画像形成部４８Ａは、カメラで撮影されたステレオ画像について相互標定で得られた外部標定要素を用いて偏位修正画像（モデル画像）を生成する機能を有し、一組のステレオ撮影された画像を偏位修正して、立体視できるように調整する。さらに、偏位修正されたステレオ画像から、いわゆる絶対標定を行って、各画素（ピクセル）の地上座標を計算する。この処理の詳細は、例えば本出願人の提案にかかる特開平１１−３５１８６５号公報に開示されている。このようにして、対象物１表面の凹凸形状のような三次元形状を正確に測定できる。なお、絶対標定に代えて、各画素（ピクセル）の相対座標を計算しても良い。

画像データ補正部４７は、さらに絶対標定又は相対標定で得られたステレオ画像データをオルソ画像に変換する機能を有する。オルソ画像とは、写真測量技術に基づき、カメラの傾きや比高等による歪みを補正して正射投影とした画像である。撮影画像記憶部１３に格納されたステレオ画像データは、中心投影画像とよばれるものである。画像データ補正部４７は、ステレオ画像データの画像を中心投影から正射投影（オルソ）画像に作成し直して、対象物１の詳細な画像図面を作成する。

［計測位置・領域指定フロー］
次に、補正された画像データを用いて三次元座標演算が行われる（Ｓ１１）。必要に応じて三次元座標演算前に精密標定が行われる（Ｓ１０）。なお、補正された画像データを用いなくても三次元座標演算は可能であり，この場合については第５の実施の形態で説明する。計測位置・領域指定にはマニュアル、半自動、自動モードがある（特許文献２参照）。
図１１に、計測位置・計測領域（ステレオマッチング範囲）指定の処理フロー例を示す。計測位置・領域指定処理に入ると（Ｓ４００）、計測領域指定処理としてのマニュアルモード、半自動計測モード、自動計測モードの３モードのうち何れか一つを選択する（Ｓ４０２）。

表示部６０にて、立体画像を表示し、それを見、確認しながら計測することが可能である。更に、表示部６０にはステレオ画像（撮影画像、モデル画像）を表示することも可能である。また、対応点指示部４５からの立体画像上における奥行き方向の指示は、マウスについたダイヤルや、あるいはダイヤル単体等により指示する。

マニュアルモードが選択されると、マニュアルモードでの計測位置指定の処理が開始される（Ｓ４１０）。ここでは、オペレータが表示部６０のステレオ画像を見ながら計測点を指示する手順を説明する。オペレータは、表示部６０で表示されている左画像について、計測したい位置を特徴点として指示する（Ｓ４１２）。次に、表示部６０で表示されている右画像について、同一点と思われる位置を特徴点として指示する（Ｓ４１４）。そして、表示部６０を見て、左画像の特徴点と右画像の特徴点がカーソルの指し示す計測したい点として、一致する特徴点の上にあるか確認する（Ｓ４１６）。このカーソルが指し示す点の位置には、画面の平面方向の他に、奥行き方向も含まれる。もし違っていれば、対応点指示部４５のマウスを利用して計測したい位置を指示する（Ｓ４１８）。

オペレータが表示部６０で立体画像を見ていると、奥行き方向も同時に観察できるため、奥行き方向の位置も合わせる（Ｓ４２０）。即ち、奥行き方向があっていなければカーソルが対象点より浮いたり沈んだりして見える。この場合、奥行き方向を合わせるダイヤルがあれば、それらを利用して対象点の上にカーソル位置を合わせることができる。このカーソル位置合わせ作業は、実質的には、左右画像の位置あわせをしていることと同じであるが、立体視をしながら行っているので間違いがないのと同時に確実である。即ち、特徴が少ないところでも、左右画像の位置あわせをすることができる。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませ（Ｓ４２２）、終了する。

半自動計測モードが選択されると、半自動計測モードでの計測位置指定の処理が開始される（Ｓ４３０）。半自動計測モードでは、表示部６０を見ながら行なう。半自動計測モードでは、対応点探索部４３は、自動捜索モードに移行する（Ｓ４３２）。そして、オペレータは左画像上の計測点をマウスにより指示する（Ｓ４３４）。すると、対応点探索部４３は、左画像上の計測点と同一計測点を右画像上で探索する（Ｓ４３６）。なお、この対応点探索部４３による左画像上の計測点と同一計測点を右画像上で探索するやり方は、対応点探索のＳ２２６と同様である。そして、右画像の探索位置がＯＫか否かを確認する（Ｓ４３８）。

もし右画像の探索位置が左画像上の計測点と違っていれば、マニュアルモードと同様に対応点指示部４５のマウスを利用して計測したい位置を指示する（Ｓ４４０）。この時、オペレータは表示部６０上で奥行き方向と画像平面方向と同時に観察できるため、奥行き方向の位置も一致させる（Ｓ４４２）。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませて（Ｓ４４４）、終了する。この時、表示部６０上には、ＯＫであれば対応する右画像の位置にＯＫ表示をするとよい。また、立体画像表示であれば、ＯＫ表示もカーソルの色、形状をかえることなどにより確認できるが、実際にあっているかどうかも本人の目で確認することができる。

自動計測モードが選択されると、自動計測モードでの計測領域指定の処理が開始される（Ｓ４５０）。自動計測モードでは、指定した領域の三次元座標値を一括して計測することが可能である。そこで、計測したい領域（計測領域）について指定する計測領域指定処理を行う（Ｓ４５２）。即ち、計測領域の一番外側となる左右画像の境界点を指示する。例えば、ほぼ矩形画面一杯の領域を一括計測したい場合は、図４（ａ）のように対応境界となる境界点を４点指示する。オペレータは表示部６０上で境界点の表示を参照して、左右画像の境界点を指示する点が適切か判断し（Ｓ４５４）、指定した境界点を間違えたり、気に入らなければＳ４５２に戻り指示しなおす。

左右画像の境界点の指定が適切であれば、各指定点を結線し、立体画像表示で計測領域を明確にする（Ｓ４５６）。すると、立体画像表示は、対応境界となる境界点を結線した表示となる。そして、オペレータは境界点及び結線表示を参照して、計測領域の指定が適切であるかを確認する（Ｓ４５８）。適切でない場合は、不適切な指定点と対応する結線をクリアして（Ｓ４６０）、Ｓ４５２に戻り指示しなおす。計測領域の指定が適切であれば、計測領域として確定する（Ｓ４６２）。このようにして、計測領域を決めれば、その領域において左右画像の対応点が間違いなく決まっているので、確実な一括計測が可能となる。また、一括計測において、これらの左右画像の対応点を利用すれば、信頼性、速度ともにあげることが可能となる。

次に、計測領域指定された領域内の対応点に対して、対応点探索部４３により自動で対応点検出を一括処理する（Ｓ４６４）。ここでは、画像相関処理により行う。例えば先に説明した、相互相関係数法を利用して、左画像よりテンプレート画像を取得し、右画像をその探索領域として各点の対応点検出を行えばよい。図６に示すように、例えば左画像上にテンプレート画像Ｔを設定し、右画像上で同一エピポーララインＥＰ上を探索する処理で、これを画像全体を探索範囲Ｉとして行い、左右画像の対応点を求める処理である。なお、画像相関処理として、粗密探索相関法やその他の画像相関処理として利用される通常の処理方法を用いても良い。

［画像表示］
計測位置・領域指定がなされた領域について、画像対応部４０の標定点抽出部４１の機能によりステレオマッチングがなされ、標定部４４Ａの機能によりステレオマッチング範囲に存在する多数のリファレンスポイントＲＦに対して絶対座標又は相対座標が求められ、三次元座標データ演算部５１の演算処理にて対象物１の三次元座標が求められる。三次元座標データ演算部５１にて求められた三次元座標、あるいは三次元座標データ記憶部５３から読み込まれた三次元座標から、立体的二次元画像形成部５４にて対象物１の立体的二次元画像が作成され、立体的二次元画像記憶部５５にて立体的二次元画像が記憶される。立体的二次元画像表示部５７は立体的二次元画像記憶部５５に記憶された情報を基に任意の方向から見た立体的二次元画像を表示部６０に表示する。

このようにして、面の自動計測がなされ、対象物１の三次元座標が求められ、立体的二次元画像が表示部６０に表示される。あらゆる角度から視点位置を変化させて計測結果や対象物１を表示部６０に表示させることで、操作者が視覚的に対象物１を確認することが可能となる。また、レンズ歪みの影響が除去された精密な三次元計測が行われ、立体的二次元画像が表示される。また、得られた精密な三次元計測データに基づいて内部パラメータが見直され、内部パラメータ記憶部４６のデータが更新される。

〔ｆ推定法の比較〕
次に本実施の形態における焦点距離推定法の計測精度を他のズームレンズのキャリブレーション方法の計測精度と比較する。
表３に使用カメラの撮影条件を、表４及び図１２に計測精度の比較結果を示す。

各キャリブレーション方法の手法詳細は次のようである。
（１）補正なし：焦点距離はレンズの目盛で表された概略値を、主点位置は撮像面の中心値を使用し、レンズディストーションは全て０としたキャリブレーションデータを使用した。
（２）目盛り合わせ法：焦点距離は一度目盛り中心に合わせてキャリブレーションを行い、再度その焦点距離に目検討で合わせ、前記キャリブレーションデータを使用して精度評価を実施した。
（３）デジタルカメラデータ解析ツール利用法：デジタルカメラの画像ファイルの規格として使用されるＥｘｉｆ（イグジフ、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔの略語）形式の画像ファイルからデジタルカメラのデータ解析ツールにて得られた焦点距離を使用し、ディストーションと主点位置のパラメータは（４）に記すオンサイト法によりデータ取得し、キャリブレーションデータを作成した。
（４）オンサイト法：予め目盛に合わせて例えば６箇所の焦点距離にてキャリブレーションを実施し、これらのデータより焦点距離に対しディストーション及び主点位置に関する関数を作成しておく。任意のズーム位置でステレオ撮影すると仮定し、焦点距離はセルフキャリブレーション付きバンドル調整により取得する。本実験では、パスポイント（対応点）１０点とし、取得された焦点距離に対応するキャリブレーションデータを近似曲線より算出する。
（５）焦点距離推定法：本実施の形態に該当する方法である。相互標定にて縦視差が最も小さくなるような焦点距離を最確値として算出し、ディストーションと主点位置のパラメータは（４）に記すオンサイト法の近似曲線より算出する。
（６）固定焦点法：焦点距離を固定してキャリブレーションを実施し、その固定した焦点位置のみにて撮影・解析を行う。本方法による焦点距離が表４の真値に該当する。

表４、図１２を比較することにより、方法（１）→方法（６）の順に精度が良くなることが解る。また、固定焦点法では撮影毎に約１５分の多重撮影画像から解析を行うキャリブレーション作業が必要であるが、焦点距離推定法では使用するズーム式カメラについて何箇所かの焦点位置で一度キャリブレーションをしておけば、以後のキャリブレーション作業を省略でき、焦点距離推定は１秒以下で可能なので、大幅に計測時間を短縮できる。この結果より、本実施の形態に係る（５）焦点距離推定法が、比較的良好な奥行精度を得ることができ、また、固定焦点法に比して計測に要する時間を大幅に短縮でき、効率的であるといえる。

［第２の実施の形態］
本実施の形態は、焦点距離ｆを推定する方法として、バンドル調整法（正確にはセルフキャリブレーション付きバンドル調整法）で焦点距離ｆの値を変えて残差が最小となる点の焦点距離ｆを採用するものである。（式１２）〜（式１４）において、−ｃが画面距離、すなわち焦点距離ｆと等価なので、このパラメータを調整することになる。すなわち、焦点距離推定処理部４４Ｂにおいて、焦点距離ｆを変数として、バンドル調整における残差（多数の標定点について実座標と計算座標の差異の最小自乗値の総和が最小となる）を最小とするように、撮影レンズの焦点距離を推定する（ステップＳ０６）。このとき、焦点距離推定処理部４４Ｂは変数としての焦点距離ｆを標定部４４Ａに与え、標定部４４Ａでバンドル調整法により、外部標定要素を算出し、焦点距離推定処理部４４Ｂでは、これらの焦点距離ｆを変化させたときの大多数のステレオ画像における多数の標定点について実座標と計算座標の差異の最小自乗値の総和が最小となる焦点距離ｆを最確値とする。ここで、大多数のとは、必ずしも全ての標定点を用いて残差を計算する必要はなく、例えばなかなか収束しない標定点を除いても良く、また計算処理の迅速のため、焦点距離を推定するに充分な数の撮影画像を用いれば、一部の撮影画像を省略しても良い意味である。

焦点距離ｆより内部パラメータが求められ、さらに、（式１２）〜（式１４）に還元され、バンドル調整における残差を最小とするように、外部標定要素と焦点距離ｆが求められる。また、内部パラメータを用いて撮影画像データが補正され、補正データに基づいて三次元計測がなされる。本実施の形態によれば比較的良好な奥行精度を得ることができ、また、高精度の焦点距離を求めるよりも結果を短時間で得ることができ、効率的であるといえる。相互標定を用いる焦点距離推定法と同様に、従来の多重撮影画像から解析を行うキャリブテーション作業（約１５分）が省かれ、焦点距離推定は１秒以下で可能なので、計測時間を大幅に短縮できる。

〔第３の実施の形態〕
本実施の形態では（１）相互標定時に焦点距離ｆを推定する方法と（２）バンドル調整法の際に焦点距離ｆを推定する方法の両方行う。例えば、（１）を行ってから（２）を行っても良い。

〔第４の実施の形態〕
デジタルカメラのデータ解析ツールにて得られた焦点距離を初期値として上記第１〜第３の実施の形態のいずれかを行なう。

〔第５の実施の形態〕
本実施の形態では、図２の画像データ補正（ステップＳ０８）と画像表示（ステップＳ０９）をせずに三次元座標を算出するものである。画像データを補正せずとも、内部パラメータからエピポーラライン上の対応点を探索し、その対応点の三次元座標を算出する。したがって、本実施の形態における三次元形状演算装置では、画像データ補正部４７がなくても良い。

〔第６の実施の形態〕
本実施の形態では、ズームレンズに代えて単焦点レンズを用いるものである。単焦点レンズの場合においても、ピント合わせのために内部レンズが移動して、全体の焦点距離が変わるため、キャリブレーションの必要があり、焦点距離を推定する必要がある。
撮影画角を出力する工程（ステップＳ０２）を省略し、内部パラメータを参照する工程（ステップＳ０７）で内部パラメータに撮影条件による影響が加味されないが、その他の工程はズームレンズと同様である。

以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
例えば、以上の実施の形態では三次元形状演算装置が三次元計測可能な例を説明したが、標定やキャリブレーションのみを行なうものでも良い。また、対応点探索とマッチングエリアの決定はマニュアル、半自動、自動を選択可能な例を説明したが、いずれか１つだけ可能でも良い。また、精密標定なしに三次元計測を行なっても良く、ターゲットもレトロターゲットに限られない。

また、ズームレンズ式の画像データがＥｘｉｆ形式にてほぼ統一されていることを利用して、デジタルカメラデータ解析ツールで焦点距離初期値を読み込み（精度は推定±０．３ｍｍ程と粗い）、これを初期値として、例えば±１．０ｍｍの範囲にて相互標定を繰り返し、焦点距離推定を高速化することも可能であり、また、上記の実施の形態では初回の相互標定ではレンズディストーション及び主点位置は考慮されていないが、各相互標定時（各焦点距離について）に、毎回カメラの内部パラメータと焦点距離とを関係付ける近似曲線よりこれらパラメータを算出・取り出し、より正確に焦点距離を推定し、高精度化することも可能である。

本発明は、三次元形状の効率的な演算に利用される。

第１の実施の形態における三次元形状演算装置の全体構成例のブロック図である。 第１の実施の形態における処理フロー例を示す図である。 ステレオ画像撮影の例を示す図である。 左右のステレオカメラで撮影される撮影画像の例を示す図である。 レトロターゲットを用いた重心位置検出の説明図である。 テンプレートマッチングにおける探索範囲を示す図である。 対応点探索を説明するフローチャートの例である。 ステレオ画像におけるモデル画像座標系ＸＹＺとカメラ座標系ｘｙｚの関係の説明図である。 モデル画像とエピポーララインを説明するための図である。 焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図である。 計測位置・領域指定の処理フロー例を示す図である。 ズームレンズのキャリブレーション方法の計測精度を比較する図である。

符号の説明

１ 対象物
１０ 画像撮影部
１３ 撮影画像記憶部
４０ 画像対応部
４１ 標定点抽出部
４２ 特徴点抽出部
４３ 対応点探索部
４４ 焦点距離推定部
４４Ａ 標定部
４４Ｂ 焦点距離推定処理部
４５ 対応点指示部
４６ 内部パラメータ記憶部
４７ 画像データ補正部
４８ 撮影・モデル画像表示部
４８Ａ モデル画像形成部
４８Ｂ モデル画像記憶部
５０ 表示画像形成部
５１ 三次元座標データ演算部
５３ 三次元座標データ記憶部
５４ 立体的二次元画像形成部
５５ 立体的二次元画像記憶部
５７ 立体的二次元画像表示部
６０ 表示部
１００ 三次元形状演算装置
２００ レトロターゲット
２０４ 内部円
２０６ 外部円
ＥＰ エピポーラライン
ｆ 焦点距離
Ｉ 探索範囲
ＲＦ リファレンスポイント
ＲＴ レトロターゲット
Ｔ テンプレート画像
ＴＧ ターゲット
Ｔｏ 閾値

Claims (7)

1. 撮影レンズを有し、２方向から対象物を撮影して一対の撮影画像を取得する画像撮影部と；
   前記一対の撮影画像から特徴点又は基準点及びその対応点を抽出する標定点抽出部と；
   前記標定点抽出部で抽出された特徴点又は基準点及びその対応点並びに所定の間隔で設定された複数の焦点距離を用いて行なわれる標定について、相互標定における残存縦視差を最小にするように、又はバンドル調整における残差を最小とするように、撮影レンズの焦点距離を前記複数の焦点距離から推定選択する焦点距離推定部と；
   前記撮影レンズの焦点距離に対応するカメラ内部標定要素を予め記憶する内部パラメータ記憶部と；
   前記焦点距離推定部で推定選択された推定焦点距離に対応するカメラ内部標定要素を前記内部パラメータ記憶部から取得し、取得したカメラ内部標定要素に基づいて前記撮影画像のデータを補正する画像データ補正部とを備える；
   三次元形状演算装置。
2. 前記焦点距離推定部は、前記所定の間隔を段階的に狭める；
   請求項１に記載の三次元形状演算装置。
3. 前記画像データ補正部で補正された補正画像に基づき、三次元座標を算出する三次元座標データ演算部を備える；
   請求項１又は請求項２に記載の三次元形状演算装置。
4. 前記撮影レンズは、撮影画角を変更可能なズームレンズである；
   請求項１ないし請求項３のいずれか１項に記載の三次元形状演算装置。
5. 前記内部パラメータ記憶部は、前記撮影画角に対応する撮影条件データ及び内部標定要素を記憶し；
   前記内部標定要素は、前記焦点距離推定部で推定選択された撮影レンズの焦点距離に前記撮影条件データを加味して定められる；
   請求項４に記載の三次元形状演算装置。
6. 撮影レンズを有し、２方向から対象物を撮影して一対の撮影画像を取得する画像撮影部と；
   前記一対の撮影画像から特徴点又は基準点及びその対応点を抽出する標定点抽出部と；
   前記標定点抽出部で抽出された特徴点又は基準点及びその対応点を用いて形成した一対の標定用画像について、相互標定における残存縦視差を最小にするように、撮影レンズの焦点距離を推定する焦点距離推定部とを備える；
   三次元形状演算装置。
7. ２方向から対象物を撮影して一対の撮影画像を取得する画像撮影工程と；
   前記一対の撮影画像から特徴点又は基準点及びその対応点を抽出する標定点抽出工程と；
   前記標定点抽出工程で抽出された特徴点又は基準点及びその対応点並びに所定の間隔で設定された複数の焦点距離を用いて行なわれる標定について、相互標定における残存縦視差を最小にするように、又はバンドル調整における残差を最小とするように、撮影レンズの焦点距離を前記複数の焦点距離から推定選択する焦点距離推定工程と；
   前記撮影レンズの焦点距離に対応するカメラ内部標定要素を予め内部パラメータ記憶部に記憶する内部パラメータ記憶工程と；
   前記焦点距離推定工程で推定選択された推定焦点距離に対応するカメラ内部標定要素を前記内部パラメータ記憶部から取得し、取得したカメラ内部標定要素に基づいて前記撮影画像のデータを補正する画像データ補正工程とを備える；
   三次元形状演算方法。