JP7057097B2 - 距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラム - Google Patents

Description

本発明は、距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラムに関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、撮像装置から被写体までの距離を取得できる測距機能を備えた撮像装置が提案されている。測距機能を備えた撮像装置として、例えば、２つの撮像装置を並置し、位相差方式で被写体までの距離を検出するステレオ撮像装置がある。ステレオ撮像装置は、２つの撮像装置からそれぞれ出力される画像信号間の相対的な像のズレ量（いわゆる視差量）を、相互相関演算を用いて検出し、所定の変換係数を介して、被写体までの距離に変換する。

また、撮像素子の一部あるいは全部の画素に測距機能を有する画素を配置し、位相差方式で被写体までの距離を検出する撮像面位相差測距方式の固体撮像素子が提案されている。撮像面位相差測距方式では、撮像装置が備える結像光学系の異なる瞳領域を通過した光束により生成される像に基づく２つの画像信号を取得し、２つの画像信号間の像のズレ量を、ステレオ撮像装置の視差量検出方法と類似の手法で検出する。そして、所定の変換係数を介して、検出した像のズレ量を被写体までの距離に変換する。さらに、撮像面位相差測距方式では、２つの画像信号を合成することで、観賞用画像信号を生成することができる。いずれの測距方式においても、検出した視差量を所定の変換係数を介して被写体までの距離に変換している。そのため、測距時の誤差を低減するためには、視差量を高精度に算出することに加えて、誤差の少ない変換係数を用いる必要がある。

国際公開第２０１０／０１０７０７号

このような測距機能を有する撮像装置では、熱でレンズや鏡筒が膨張・収縮することなどに依って光学系と撮像素子との関係がずれ、測距誤差が発生する場合がある。特許文献１では、温度センサにより検知した温度を用いて、これらの測距誤差を補正する補正係数を作成している。しかし、特許文献１では温度センサが別途必要なことと、温度センサ近辺の温度しかわからないことから、センサ面上あるいはレンズの温度に分布（ばらつき）がある場合に温度変化を正確に検出できず、測距誤差を精度良く補正できない場合がある。

上記課題に鑑み、本発明は、撮像素子から得られる異なる複数の視点の画像から距離情報を生成する距離計測装置であって、経時的な誤差の影響を低減することが可能な距離計測装置を提供することを目的とする。

上記課題を解決するために、本発明の距離計測装置は、異なる視点で撮像された第１の画像群に基づいて第１の距離情報を取得し、前記第１の画像群とは異なるタイミングで撮像された第２の画像群に基づいて第２の距離情報を取得する第１の取得手段と、前記第２の画像群に基づいて、前記距離情報の補正情報を取得する第２の取得手段と、前記補正情報に基づいて、前記第１の距離情報を補正する補正手段と、を備える。前記第１の取得手段は、異なる視点で撮像された複数の画像に基づいて、複数の画素位置で視差量を算出し、前記視差量と変換係数を用いて前記距離情報を取得し、前記補正手段は、前記補正情報に基づいて、前記変換係数を補正する。

本発明によれば、撮像素子から得られる異なる複数の視点の画像から距離情報を生成する距離計測装置であって、経時的な誤差の影響を低減することが可能な距離計測装置を提供することができる。

撮像装置の構成及び撮像素子の説明図である。 撮像素子が受光する光束と視差量の説明図である。 距離計測装置の説明図である。 距離計測装置の動作を示すフローチャートである。 既知形状被写体検出処理を説明する図である。 距離情報及び被写体距離と画像信号上の位置変化を説明する図である。 像面湾曲量及び像側変化量を説明する図である。 補正情報生成処理について説明する図である。 多項式関数の推定方法について説明する図である。 距離計測装置の処理のデータフローである。 距離計測装置を備えた移動体の説明図である。 撮像装置の構成を説明する図である。 距離計測システムの説明図である。 距離計測システムの説明図である。 対応距離情報抽出処理及び補正情報生成処理について説明する図である。

（第１実施形態）
＜撮像装置の構成＞
図１（Ａ）は、撮像装置１００の構成を概略的に示す図である。撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。撮像装置１００は、結像光学系１２０、撮像素子１０１、距離計測装置１１０および情報格納手段１７０を備える。

結像光学系１２０は、撮像装置１００の撮影レンズであり、複数のレンズ群を有する。結像光学系１２０は、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有し、被写体の像を撮像素子１０１上に形成する。なお、本実施形態においては、ｚ軸は、結像光学系１２０の光軸１４０と平行な軸である。また、ｘ軸とｙ軸は互いに垂直であり、且つ、光軸と垂直な軸とする。

距離計測装置１１０は、論理回路を用いて構成することができる。また、距離計測装置１１０の別の形態として、中央演算処理装置（ＣＰＵ）および演算処理プログラムを格納するメモリを備える構成としてもよい。情報格納手段１７０は、例えば、メモリであり、光量補正値などが格納されている。また、画像群などの情報を一時的に格納するためにも利用される。

＜撮像素子の構成＞
撮像素子１０１は、撮像面位相差測距方式による測距機能を有する撮像素子である。撮像素子１０１は、例えば、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）である。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像信号が取得される。取得した画像信号に対して、画像生成部（不図示）により現像処理を施すことで、カラー画像が生成される。生成したカラー画像は、画像格納部（不図示）に格納される。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１には、２行×２列の画素群１５０が複数配列されている。画素群１５０には、対角方向に緑画素１５０Ｇ１および緑画素１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置されている。

図１（Ｃ）は、画素群１５０のＩ－Ｉ’断面を模式的に示した図である。各画素は、受光層１８２および導光層１８１を有する。受光層１８２は、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１６１および第２の光電変換部１６２）を有する。導光層１８１は、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１８３、所定の波長帯域の光を通過させるカラーフィルタ（不図示）および画像読み出し用及び画素駆動用の配線（不図示）を有する。本実施形態では、１つの瞳分割方向（ｘ軸方向）に２分割された光電変換部の例を説明したが、瞳分割方向及び分割数については任意であり、例えば２つの瞳分割方向（ｘ軸方向およびｙ軸方向）に分割された光電変換部を備える撮像素子を用いてもよい。

＜撮像面位相差測距方式による距離計測＞
撮像素子１０１が備える第１の光電変換部１６１及び第２の光電変換部１６２が受光する光束について、図２（Ａ）を用いて説明する。図２（Ａ）は、受光する光束について説明する図である。図２（Ａ）では、結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される画素の代表例として緑画素１５０Ｇ１について概略を示している。画素１５０Ｇ１内のマイクロレンズ１８３は、射出瞳１３０と受光層１８２が光学的に共役関係になるように配置されている。その結果、図２（Ａ）に示すように、射出瞳１３０に内包される部分瞳領域である第１の瞳領域２１０を通過した光束は、第１の光電変換部１６１に入射する。同様に、部分瞳領域である第２の瞳領域２２０を通過した光束は、第２の光電変換部１６２に入射する。

各画素に設けられる複数の第１の光電変換部１６１は、受光した光束を光電変換して第１の画像信号を生成する。また同様に、各画素に設けられる複数の第２の光電変換部１６２は、受光した光束を光電変換して第２の画像信号を生成する。第１の画像信号からは、第１の瞳領域２１０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。同様に、第２の画像信号からは、第２の瞳領域２２０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の視差量は、デフォーカス量に応じた量となる。視差量とデフォーカス量の関係について、図２（Ｂ）～（Ｄ）を用いて説明する。図２（Ｂ）～（Ｄ）は、視差量について説明する図である。図２（Ｂ）～（Ｄ）では、撮像素子１０１、結像光学系１２０および光束について概略を示している。第１の光束２１１は、第１の瞳領域２１０を通過する第１の光束を示し、第２の光束２２１は、第２の瞳領域２２０を通過する光束を示している。

図２（Ｂ）は、合焦時の状態を示しており、第１の光束２１１と第２の光束２２１が撮像素子１０１上で収束している。合焦時には、第１の光束２１１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号間の相対的な位置ズレ量は０となる。図２（Ｃ）は、像側でｚ軸の負方向にデフォーカスした状態を示している。ｚ軸の負方向にデフォーカスした状態では、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、負の値を有する。図２（Ｄ）は、像側でｚ軸の正方向にデフォーカスした状態を示している。ｚ軸の正方向にデフォーカスした状態では、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、正の値を有する。

図２（Ｃ）と（Ｄ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、幾何関係から、デフォーカス量に応じて視差が生じることが分かる。したがって、第１の画像信号と第２の画像信号間の視差量を、後述する領域ベースのマッチング手法により検出し、検出した視差量を所定の変換係数を介してデフォーカス量に変換することができる。さらに、後述の式２を用いて説明する結像光学系１２０の結像関係を用いることで、デフォーカス量を被写体から撮像装置１００までの距離（以降、被写体距離という）へ変換することができる。

＜距離計測装置の説明＞
本実施形態の距離計測装置１１０について説明する。図３は、距離計測装置１１０の概要構成を表すブロック図である。距離計測装置１１０は、第１の取得手段３１０、第２の取得手段３２０および補正手段３３０を備える。距離計測装置１１０は、第１の取得手段３１０にて距離情報を取得し、第２の取得手段３２０にて補正情報Ｉｃを取得する。さらに、補正手段３３０にて補正情報Ｉｃを用いて第１の距離情報Ｉｄｉｓｔ１の補正を行うことで補正距離情報ＩｄｉｓｔＣを生成し、出力している。

以下では、第１の取得手段３１０、第２の取得手段３２０および補正手段３３０にて行う処理内容について説明する。図４（Ａ）は距離計測装置１１０の動作を示すフローチャートである。
ステップＳ３１０で、第１の取得手段３１０は、撮像素子１０１から取得した第１の画像群Ｓｇ１を用いて、被写体までの距離を表す第１の距離情報Ｉｄｉｓｔ１を取得する。第１の画像群Ｓｇ１には、第１の光電変換部１６１により生成された第１の画像信号Ｓ１１と、第２の光電変換部１６２により生成された第２の画像信号Ｓ１２が含まれている。

ステップＳ３２０で、第２の取得手段３２０は、情報格納手段１７０から取得した第２の画像群Ｓｇ２を用いて、第１の距離情報Ｉｄｉｓｔ１を補正するための補正情報Ｉｃを取得する。第２の画像群Ｓｇ２には、撮像装置１００を用いて第１の画像群Ｓｇ１とは異なる複数のタイミングで撮像された第１の画像信号Ｓ２１と第２の画像信号Ｓ２２が含まれている。つまり、第２の画像群Ｓｇ２は、第１の画像群Ｓｇ１を情報格納手段１７０に蓄積した画像群である。なお、第１の画像信号Ｓ２１は、第１の光電変換部１６１により生成された画像信号であり、第２の画像信号Ｓ２２は、第２の光電変換部１６２により生成された画像信号である。

ステップＳ３３０で、補正手段３３０は、補正情報Ｉｃを用いて第１の距離情報Ｉｄｉｓｔ１の補正を行う。補正手段３３０は、補正情報Ｉｃに含まれる像側補正量を用いて、第１の距離情報Ｉｄｉｓｔ１の一部または全体の距離情報を補正する。つまり、推定した像側変化量から現状の結像光学系１２０の像面位置と撮像素子１０１の位置を定め、後述する式２を用いて被写体距離を表す補正距離情報ＩｄｉｓｔＣに変換する。

次に、ステップＳ３１０～ステップＳ３３０における処理について詳細を説明する。まず、ステップＳ３１０の具体的な処理内容について図４（Ｂ）を用いて説明する。図４（Ｂ）は、第１の取得処理を示すフローチャートである。
ステップＳ３１１では、第１の取得手段３１０が、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２の光量を補正する光量補正処理を行う。結像光学系１２０の画角周辺部では、ヴィネッティングにより、第１の瞳領域２１０と第２の瞳領域２２０の形状が異なることに起因して、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２との間で光量バランスが崩れている。そのため、第１の取得手段３１０は、情報格納手段１７０に格納された光量補正値を用いて、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２間の光量補正を行う。なお、必ずしも情報格納手段に格納された光量補正値を用いる必要はない。例えば、第１の瞳領域２１０と第２の瞳領域２２０の面積比から光量補正値を生成し、光量補正を行っても構わない。

ステップＳ３１２では、第１の取得手段３１０が、撮像素子１０１にて付加されたノイズを低減するためのノイズ低減処理を行う。具体的には、第１の取得手段３１０は、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２に対して、特定の周波数帯域のみ透過させるバンドパスフィルタを用いたフィルタ処理を行う。ステップＳ３１１における光量補正は、結像光学系１２０の製造誤差などにより設計値通りになるとは限らない。そのため、さらに空間周波数＝０となる周波数帯域の通過率＝０となり、且つ高い周波数帯域の通過率が低いバンドパスフィルタを用いることが望ましい。また、一般に、空間周波数が高い周波数帯域ほど、ＳＮ比（信号成分とノイズ成分の比）が低くなり、相対的にノイズ成分が多くなる。したがって、高周波になるほど通過率が低くなる、いわゆるローパスフィルタをノイズ低減処理に用いてもよい。

ステップＳ３１３では、第１の取得手段３１０が、第１の画像信号Ｓ１１と第２の画像信号Ｓ１２間の視差量を算出する視差量検出処理を行う。具体的には、まず、第１の画像信号Ｓ１１に注目点を設定し、注目点を中心とする照合領域を設定する。照合領域は、例えば、注目点を中心とした一辺が所定の長さの長方形である。なお、照合領域は長方形に限られるものではなく、変形しても構わない。次に、第２の画像信号Ｓ１２に、参照点を設定し、参照点を中心とする参照領域を設定する。参照領域は、照合領域と同一の大きさおよび形状である。参照点を順次移動させながら、照合領域内に含まれる第１の画像信号Ｓ１１と参照領域内に含まれる第２の画像信号Ｓ１２の相関度を算出し、最も相関の高い参照点を注目点と対応する対応点とする。注目点と対応点間の相対的な位置のズレ量が注目点における視差量である。第１の取得手段３１０は、注目点を順次変更しながら視差量を算出することで、複数の画素位置における視差量を算出することができる。

相関度の算出方法としては、公知の手法を用いることができる。例えば、画像信号間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）や、画像信号化の差の二乗和を評価するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。また、差の絶対値を評価するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いることもできる。また、これらの相関度を用いた手法の場合には、各画素ブロックのテクスチャ量や周波数成分情報を用いて、算出した距離情報の信頼性を表す信頼度情報を生成することができる。

ステップＳ３１４では、第１の取得手段３１０が、所定の変換係数を用いて視差量を撮像素子１０１から結像光学系１２０の焦点までの距離（デフォーカス量）へ変換する距離変換処理を行う。以降、視差量をデフォーカス量に変換する係数をＢＬ値と呼ぶ。ＢＬ値をＢＬ、デフォーカス量をΔＬ、視差量をｄとしたとき、式１により視差量ｄをデフォーカス量ΔＬに変換することができる。

ΔＬ＝ＢＬ×ｄ …（式１）

第１の取得手段３１０は、複数の画素位置にて視差量をデフォーカス量に変換することで、複数画素位置のデフォーカス量を距離情報として含む第１の距離情報Ｉｄｉｓｔ１を取得することができる。

ステップＳ３１５では、第１の取得手段３１０が、必要に応じて第１の距離情報Ｉｄｉｓｔ１の既知の誤差に対する距離情報の補正を行う既知距離誤差補正処理を行う。既知距離誤差補正処理では、特に、経時的に変化しない誤差要因に関する補正処理を行う。本実施形態においては、設計起因誤差、計算起因誤差、被写体起因誤差、製造組立誤差について説明するが、経時的に変化しない誤差に関しては多くの原因が存在する為、これ以外の誤差の補正処理を行ってもよい。

設計起因誤差は、光学設計時の像面湾曲やヴィネッティングや各種収差により、画角内で距離が変化してしまう誤差である。設計起因誤差は、設計データに基づいて算出した各物体距離・各画角における補正データにより補正することができる。
計算起因誤差は、ステップＳ３１１～ステップＳ３１４で発生する誤差である。可能な限り各ステップ内で誤差が生じないよう高精度化するが、残存する計算起因誤差に関しては、例えば距離情報の空間的なフィルタリング処理により誤差を抑制することができる。

被写体起因誤差は、被写体のコントラストや色によって発生する誤差である。例えば、結像光学系の軸上色収差の影響により、被写体の色によってデフォーカス量ΔＬは変化する。被写体起因誤差は、第１の画像信号Ｓ１１の色情報に合わせ、設計情報に従って補正する。
製造組立誤差は、製造組立時に発生する誤差であり、各個体によって異なる。そのため、製造組立誤差を補正するためには、実際に撮像するなどして個体毎に補正データを生成して、誤差を補正する。

なお、本実施形態の距離計測装置１１０においては、撮影時に第１の画像群Ｓｇ１として第１の取得手段３１０が取得した以降では、この第１の画像群Ｓｇ１を第２の画像群Ｓｇ２として補正情報Ｉｃの取得に用いている。従って、第１の距離情報Ｉｄｉｓｔ１を取得したのち、第１の画像群Ｓｇ１を第２の画像群Ｓｇ２として情報格納手段１７０に格納している。

次に、ステップＳ３２０の具体的な処理内容について図４（Ｃ）を用いて説明する。図４（Ｃ）は、第２の取得処理を示すフローチャートである。
ステップＳ３２１で、第２の取得手段３２０は、第２の画像群Ｓｇ２に基づいて、補正情報を生成するための情報（補正用情報）を生成する補正用情報生成処理を行う。具体的には、第２の取得手段３２０は、情報格納手段１７０に格納されている第２の画像群Ｓｇ２から、同じタイミングで撮像した第１の画像信号Ｓ２１と第２の画像信号Ｓ２２を取得し、補正用情報を生成する。

補正用情報生成処理（ステップＳ３２１）の詳細を、図４（Ｄ）を用いて説明する。図４（Ｄ）は、補正用情報生成処理の動作を示すフローチャートである。
ステップＳ３２３で、第２の取得手段３２０は、第２の画像群Ｓｇ２から取得した第１の画像信号Ｓ２１を用いて、形状が既知と推定される特定の被写体の画素位置（既知形状被写体情報）を検出する既知形状被写体検出処理を行う。既知形状被写体検出処理の一例を、図５（Ａ）～（Ｄ）を用いて説明する。図５（Ａ）は、第１の画像信号Ｓ２１を、図５（Ｂ）～（Ｄ）第１の画像信号Ｓ２１における既知形状の検出結果を示す図である。

特定の被写体としては、直線部や白線や標識などの既知のオブジェクトが検出の対象となる。まず、直線部の抽出について説明する。直線抽出方法はどのような手法を用いても構わないが、例えば、第１の画像信号Ｓ２１において結像光学系１２０の歪曲収差が補正されているとし、ハフ変換を用いて直線部を抽出することができる。図４（Ｂ）は、道路の路側帯の一部を抽出された直線として表示している（点線部）。なお、図４（Ｂ）では、直線部を１つ抽出した結果を示しているが、複数の直線部を検出しても構わない。

次に、既知形状のオブジェクトの抽出について説明する。既知形状として、平面部やその他オブジェクトが抽出される。第１の画像信号Ｓ２１内の既知の形状部の認識とその領域の抽出を行う方法として、例えば、セマンティックセグメンテーションがある。また、これ以外にも、様々な手法があるが、事前にデータベースから学習し識別する手法が主流であり、近年では深層学習を用いて高精度な識別が行われている。図５（Ｃ）は網掛けで示される白線を、図５（Ｄ）は網掛けで示される標識を認識した例を示している。白線や標識はそのサイズ等が決まっているため、白線や標識の情報も補正処理に用いることができる。その他、路面や人や車、また室内であれば壁や床といった形状が既知のものであれば、既知形状の被写体として扱っても構わない。

既知形状被写体検出処理（ステップＳ３２３）の後は、ステップＳ３１１～ステップＳ３１５と同じ処理を行う。第１の画像信号Ｓ２１と第２の画像信号Ｓ２２間の視差量を複数の画素位置にて算出したのち、式１により各画素位置の視差量をデフォーカス量に変換する。以下では、算出したデフォーカス量を距離情報として説明する。

ステップＳ３２４で、第２の取得手段３２０は、ステップＳ３１１～ステップＳ３１５の処理を用いて算出した距離情報に基づいて、既知形状被写体情報に対応した距離情報を抽出する対応距離情報抽出処理を行う。以下では、一例として、図５（Ｂ）に示す直線部を既知形状として検出した場合について説明する。図６（Ａ）は、図５（Ｂ）に対応する距離情報を示す図である。図６（Ａ）の点線部は検出した直線部を表している。対応距離情報抽出処理では、既知形状被写体情報の位置（点線部）および、対応する位置の距離情報を補正用情報として抽出する。

第２の画像信号Ｓｇ２には、同じタイミングで撮像した第１の画像信号Ｓ２１と第２の画像信号Ｓ２２のペアが、複数含まれている。以降、同じタイミングで撮像した第１の画像信号Ｓ２１と第２の画像信号Ｓ２２のペアのことを、画像信号対と呼ぶ。第２の画像群Ｓｇ２に含まれている各画像信号対は、それぞれ異なるタイミングで撮像されているため、画像信号対毎に既知形状被写体の位置が異なる。本実施形態の距離計測装置１１０においては、複数の画像信号対に対して補正用情報生成処理を行うことで、画角と距離の少なくとも一方が異なる複数の補正用情報を生成する。

ステップＳ３２２で、第２の取得手段３２０は、補正用情報生成処理Ｓ３２１が生成した複数の補正用情報を用いて、撮像装置１００の経時的な変化に伴って生じる測距誤差を補正する補正情報を生成する補正情報生成処理を行う。補正用情報には、距離情報としてデフォーカス量が含まれている。このデフォーカス量を被写体距離に変換するには、幾何光学におけるレンズの公式を用いる。物面から結像光学系１２０の主点までの距離をＡ、結像光学系１２０の主点から像面までの距離をＢ、結像光学系１２０の焦点距離をｆとすると、レンズの公式は式２で表される。

１／Ａ＋１／Ｂ＝１／ｆ …（式２）

式２において、焦点距離ｆは既知の値である。また、結像光学系１２０の主点から像面までの距離Ｂは、デフォーカス量を用いて算出することができる。したがって、焦点距離とデフォーカス量を用いて、物面までの距離Ａを算出することができる。

図６（Ｂ）は、被写体距離と画像信号上の位置変化を示す図である。撮像装置１００に経時的な変化が生じていない場合、既知形状被写体検出処理（ステップＳ３２１）にて検出した直線部の画像信号上の位置変化に対する推定した被写体距離は、図６（Ｂ）の（ii）に示す直線となる。一方、温湿度の変化や振動などの影響に伴い撮像装置１００に経時的な変化が生じた場合には、図６（Ｂ）の（i）や（iii）に示すような曲線となり、直線にはならない。そのため、経時的な変化を補正しないと、大きな測距誤差となってしまう。

測距誤差の要因としては複数あるが、例えば、結像光学系１２０の想定像面位置と、実際の像面位置に差が生じていることで、デフォーカス量と物面から結像光学系１２０の主点までの距離の変換関係が崩れることで発生する。以降、結像光学系１２０の想定像面位置と実際の像面位置の差を、像側変化量と呼ぶ。像側変化量≠０の場合でも、デフォーカス量と物体距離の関係は式２に従うため、正しく推定した像側変化量を用いてデフォーカス量を補正すれば、図６（Ｂ）に示す関係が直線になる。補正情報生成処理（ステップＳ３２２）では、画角や距離が異なる複数の補正用情報を用いて図６（Ｂ）の関係が直線になる像側変化量を推定することで、補正情報Ｉｃを生成している。

温湿度の変化や振動等に起因する経時的な変化で、像側変化量≠０となる要因は複数あるが、一例として、結像光学系１２０の光学的な特性が温度変化により経時的に変化した場合について説明する。図７（Ａ）は、結像光学系１２０の像面湾曲量の２次元分布を撮像素子１０１の有効画素範囲内で表した図である。図７（Ｂ）は、図７（Ａ）のＩ－Ｉ’に沿った像面湾曲量を示す図である。図７（Ｂ）の（i）は、経時的な変化が生じていない時の像面湾曲量を表し、（ii）は経時的な変化が生じたときの像面湾曲量を表している。図７（Ｂ）の（i）と（ii）の差が、前述の像側変化量となる。

図７（Ｃ）は、図７（Ａ）のＩ－Ｉ’に沿った像側変化量を示す図である。像側変化量が画角に依らず一定の値の場合には、少なくとも１つの補正用情報があればよい。しかしながら、図７（Ｃ）に示すように、結像光学系１２０の光学的な特性に経時的な変化が生じた場合、像側変化量は画角に応じて変化する。そのため、像側変化量が画角に応じて変化する場合には、１つの補正用情報のみを用いて像側変化量を推定することは困難である。像側変化量が画角に応じて変化する場合には、画角や被写体距離が異なる複数の被写体から取得した補正用情報を用いて、像側変化量の２次元分布を推定する必要がある。

補正情報Ｉｃを生成する手法の一例として、画角と被写体距離が異なる複数の補正用情報を用いて、第１の画像信号Ｓ２１の画素位置を変数とする多項式関数の係数を推定する場合について説明する。図８（Ａ）および図８（Ｂ）は、第２の画像群Ｓｇ２に含まれる第１の画像信号Ｓ２１を示す図である。図８（Ａ）および図８（Ｂ）は、それぞれ異なるタイミングで撮像された画像信号である。図８（Ｃ）は、図８（Ａ）から抽出した直線部を点線で示す図である。図８（Ｄ）は、図８（Ｂ）から抽出した直線部を点線で示す図である。

図８（Ａ）のタイミングでは、画像右側で抽出した直線が少ない。一方、図８（Ｂ）のタイミングでは、画像左側で抽出した直線が少ない。本実施形態の補正情報生成処理（ステップＳ３２２）では、図８（Ａ）のタイミングで撮像した画像信号対から抽出した補正用情報と、図８（Ｂ）のタイミングで撮像した画像信号対から抽出した補正用情報とを用いて、補正情報Ｉｃを取得している。補正情報生成処理（ステップＳ３２２）では、図８（Ｃ）および図８（Ｄ）において抽出した直線部毎に、画像信号上の位置変化に対する距離変化の線形性を評価し、最も線形に近くなる多項式関数の係数を用いて、像側変化量の２次元分布を推定する。多項式関数の推定方法については、図９を用いて後述する。

図８（Ａ）のタイミングで撮像した画像信号対のみを用いた場合、画像左側については、抽出した直線部が多いため、像側変化量を精度良く推定することができる。一方、画像右側については、抽出した直線部が少ないため、像側変化量の推定精度が低下してしまう。すなわち、１つの撮像タイミングのみで取得した画像信号対を用いると、補正情報の生成に適用できるデータが足りず、補正精度が低下する恐れがある。そのため、本実施形態の距離計測装置１１０においては、第２の取得手段３２０において複数の画像信号対から補正用情報を抽出することで、撮像するタイミングによる補正精度の低下を抑制している。

像側変化量を表す多項式関数の推定方法について、図９を用いて説明する。図９（Ａ）は、補正情報生成処理（ステップＳ３２２）の動作を示すフローチャートである。補正情報生成処理では、撮像装置１００に経時的な変化が生じた状態（図６（Ｂ）の（i）や（iii）の状態）から像側変化量を推定し、撮像装置１００に経時的な変化が生じていない状態（図６の（ii）の状態）になる補正情報を生成する。本実施形態では、既知形状として直線部を抽出した場合の補正情報生成処理について説明する。

ステップＳ８２１では、第２の取得手段３２０が、暫定的に設定した像側変化量を表す多項式関数（初期係数は０）を用いて、補正用情報に含まれる距離情報の補正を行い、既知形状との適合度を評価する。ここで、適合度とは、補正用情報に暫定的な像側変化量を適用して補正した物体側の距離情報が、どれだけ直線であるかを示す指標である。適合度の評価は各直線部について行い、例えば、各直線部の適合度の平均値や二乗平均値を用いて、全体的な適合度を評価することができる。

適合度を算出する方法として、例えば、直線フィッティングを行う方法がある。図９（Ｂ）は、直線フィッティングを説明する図である。図９（Ｂ）において太線で示される（i）や（iii）のデータがあった場合、このデータに対して直線フィッティング（図９（Ｂ）中の細線）を行う。そして、図９（Ｂ）中の破線の丸で示されるように、直線と近距離側と遠距離側のデータを比較することで、大小関係から上に凸の曲線か下に凸の曲線化を判断し、適合度とすることができる。なお、フィッティングデータとの比較では、近距離側または遠距離側のいずれか一方のみでも構わないが、補正用情報生成処理（ステップＳ３２１）にて生成した距離情報は誤差を含んでいる可能性があるため、複数の点を用いて適合度を判断することが望ましい。また、直線フィッティングした結果との差の二乗和を用いて、適合度を評価しても構わない。なお、適合度を算出する方法はこれに限られるものではなく、どのような方法でも構わない。既知形状が直線以外の場合には、既知の形状を考慮したフィッティングを行い、特徴的な周辺のデータで適合度を算出すればよい。

ステップＳ８２２では、第２の取得手段３２０が、ステップＳ８２１で算出した適合度を閾値と比較する。適合度が閾値以下である場合には、推定した像側変化量で既知形状になると判断し、推定した像側変化量を補正情報とする。一方、適合度が閾値より高い場合には、推定した像側変化量を改善する必要があると判断し、ステップＳ８２３に進む。なお、多項式関数の係数を調整しても適合度が改善しなくなったところで、推定した像側変化量を補正情報とするように判断してもよい。同様に、多項式関数の係数の更新量が十分小さくなったところで、推定した像側変化量を補正情報とするように判断してもよい。

適合度の評価は、抽出されている複数の既知形状被写体の全てについて行うことが望ましい。例えば、既知形状被写体の距離変化量、画素数、距離情報の信頼度と言った情報を用いて重み付け最適化としても構わない。さらに、ステップＳ８２１からステップＳ８２３の処理を繰り返す回数に上限値を定めておき、推定した像側変化量を補正情報としても構わない。

ステップＳ８２３では、第２の取得手段３２０が、像側変化量を改善するために多項式関数の係数を変化させる処理を行う。その後、再度ステップＳ８２１で適合度を計算するということを繰り返し、最終的な像側変化量の推定値を決定する。多項式関数の係数の変化方法では、変化量を予め定めておき、改善する方向にその変化量分だけ加算または減算するようにすればよい。また、より少ない繰り返し回数で且つ収束値を向上させるために、ＰＩＤ制御（Ｐｒｏｐｏｒｔｉｏｎａｌ－Ｉｎｔｅｇｒａｌ－Ｄｉｆｆｅｒｅｎｔｉａｌ Ｃｏｎｔｒｏｌｌｅｒ）のようなフィードバック制御を用いてもよい。また、複数の変数を変化させる際には、必ずしも個別の改善が全体の改善につながるとは限らない為、最急降下法といった勾配法のアルゴリズムを用いてもよい。ただし、局所解にとどまる可能性があるため、さらに大域的な最適解を得る手法を用いてもよい。

本実施形態では、像側変化量を多項式関数で近似する場合について説明したが、他の関数を用いても構わない。また、像側変化量を算出せずに、例えば、パラメータテーブルを用意するなどして、第１の距離情報Ｉｄｉｓｔ１から直接補正して、補正距離情報ＩｄｉｓｔＣを生成しても構わない。結像光学系１２０の特性が温湿度変化や振動の影響で経時的に変化する場合には、像側変化量だけではなく、焦点距離やＢＬ値も変化していることが多い。そのため、焦点距離やＢＬ値が変化した場合でも、式２の関係が崩れるために、図６（Ｂ）の（i）や（iii）に示す関係は直線から外れる。よって、像側変化量だけではなく、ＢＬ値や結像光学系１２０の焦点距離の経時的な変動を考慮して補正情報を作成しても構わない。いずれの場合においても、第２の画像群に含まれる異なるタイミングで撮像した画像信号対を複数用いて補正情報Ｉｃを取得することで、一部の領域ではなく距離情報の全域に渡って、像側変化量やＢＬ値といった多変数の経時変化を補正することができる。なお、多項式関数の次数は予め設定しておくことが望ましいが、予め設定した次数を用いた際に、適合度が改善しない場合には、さらに高い次数の多項式関数を用いても構わない。

ステップＳ３２０の処理が終了すると、補正手段３３０は、補正処理（ステップＳ３３０）により、補正情報Ｉｃを用いて第１の距離情報Ｉｄｉｓｔ１の補正を行う。補正処理では、補正情報Ｉｃに含まれる像側補正量を用いて、第１の距離情報Ｉｄｉｓｔ１の一部または全体の距離情報を補正する。つまり、推定した像側変化量から現状の結像光学系１２０の像面位置と撮像素子１０１の位置を定め、式２を用いて被写体距離を表す補正距離情報ＩｄｉｓｔＣに変換する。

距離計測装置１１０が行う処理のデータフローについて、図１０を用いて説明する。以下では、時刻Ｔ４に撮像した第１の画像群Ｓｇ１（Ｔ４）を用いて取得した、第１の距離情報Ｉｄｉｓｔ１（Ｔ４）を補正するための補正情報Ｉｃ（Ｔ４）の取得について説明する。
まず、時刻Ｔ１に、第１の取得手段３１０は、撮像素子１０１から第１の画像群Ｓｇ１（Ｔ１）を取得する。第１の画像群Ｓｇ１（Ｔ１）には、第１の画像信号Ｓ１１（Ｔ１）と第２の画像信号Ｓ１２（Ｔ１）が含まれている。第１の取得手段３１０は、第１の画像群Ｓｇ１（Ｔ１）を用いて第１の取得処理（ステップＳ３１０）を行い、第１の距離情報Ｉｄｉｓｔ１（Ｔ１）を取得する。第２の取得手段３２０は、時刻Ｔ１よりも前の時刻に取得した第２の画像群Ｓｇ２を用いて第２の取得処理（ステップＳ３２０）を行い、補正情報Ｉｃ（Ｔ０）を取得する。次に、補正手段が補正処理（ステップＳ３３０）を行い、補正情報Ｉｃ（Ｔ０）を用いて第１の距離情報Ｉｄｉｓｔ１（Ｔ１）の距離情報を補正し、補正距離情報ＩｄｉｓｔＣ（Ｔ１）を生成する。また、第１の画像群Ｓｇ１（Ｔ１）は、情報格納手段１７０に格納される。時刻Ｔ２と時刻Ｔ３についても、同様に補正情報Ｉｃ（Ｔ０）を用いて、各時刻の補正距離情報ＩｄｉｓｔＣを生成し、各時刻の第１の画像群Ｓｇ１を情報格納手段１７０に格納する。

次に、時刻Ｔ４では、第１の取得手段３１０が、撮像素子１０１から第１の画像群Ｓｇ１（Ｔ４）を取得する。そして、第１の取得手段３１０は、第１の取得処理（ステップＳ３１０）により第１の距離情報Ｉｄｉｓｔ１（Ｔ４）を取得する。第２の取得手段３２０は、第２の取得処理（ステップＳ３２０）により、情報格納手段１７０に格納されている第２の画像群Ｓｇ２から、時刻Ｔ１から時刻Ｔ３の間に撮像された画像信号対を選択し、補正情報Ｉｃ（Ｔ３）を取得する。次に、補正手段３３０は、補正処理（ステップＳ３３０）により、補正情報Ｉｃ（Ｔ３）を用いて第１の距離情報Ｉｄｉｓｔ１（Ｔ４）の距離情報を補正し、補正距離情報ＩｄｉｓｔＣ（Ｔ４）を生成する。

なお、ここでは説明のために、補正情報Ｉｃ（Ｔ０）を、Ｔ１～Ｔ３の各時刻の第１の距離情報を補正するために用いているが、時刻ごとに所定の画像信号対を情報格納手段１７０から選択して、補正情報Ｉｃを取得しても構わない。また、温湿度の変化や振動による撮像装置１００の経時的な変化が、第１の画像群Ｓｇ１を撮像する時間間隔と比較して緩やかなことを考慮すると、補正情報Ｉｃを取得するタイミングを第１の画像群Ｓｇ１を取得する時間間隔よりも長くしても構わない。例えば、第１の取得処理と第２の取得処理を異なる中央演算処理装置（ＣＰＵ）にて演算し、さらに補正情報Ｉｃを取得するタイミングを第１の画像群Ｓｇ１を取得する時間間隔よりも長くする。これにより、第１の画像群Ｓｇ１を撮像してから、補正距離情報ＩｄｉｓｔＣを生成し、出力するまでの遅延時間を短縮することができる。

撮像装置１００の周囲環境変化や、駆動時の発熱や、振動に伴う経時的な変化は、撮像装置１００が画像信号を取得する周期間隔（いわゆるフレームレート）と比較して緩やかな変化である。そのため、第１の画像群Ｓｇ１を取得した時刻Ｔ４から所定時間内は、像側変化量が略同じ量となる。つまり、情報格納手段１７０に格納されている第２の画像群Ｓｇ２から、所定時間内（前述の説明では時刻Ｔ１～Ｔ３）に取得した画像信号対のみを用いて推定した補正情報を用いることで、第１の距離情報を高精度に補正することができる。以降、補正情報が同一とみなせる時間範囲のことを、補正情報同一時間と呼ぶ。

例えば、図８（Ａ）と図８（Ｂ）が、補正情報同一時間内に取得された画像信号である場合、図８（Ｃ）と図８（Ｄ）の両方の直線部を像側補正量の算出に用いることができる。その結果、抽出した直線部の位置や距離の偏りが少なくなり、画面全体で像側補正量を高精度に推定することができる。つまり、本実施形態の距離計測装置１１０は、第２の画像群Ｓｇ２に含まれる補正情報同一時間内に撮像した複数の画像信号対を用いることで、抽出した既知形状被写体の数や位置の偏りを低減している。本実施形態では、補正情報同一時間内に撮像した複数の画像信号対を用いて像側変化量を高い精度で推定することで、撮像装置１００の経時的な変動を良好に補正することができる。

補正情報同一時間は、撮像装置１００の温湿度特性や振動に対する耐性に基づき、予め設定することができる。また、撮像装置１００の内部または近傍に温度センサを配置し、温度センサが検出した温度変化に応じて、補正情報同一時間を設定するようにしてもよい。また、撮像装置１００の内部または近傍に設置した振動センサや衝撃センサにより検出した振動の大きさに応じて、補正情報同一時間を設定するようにしてもよい。例えば、急激に温湿度が変化した場合には、正しい補正情報も徐々に変化するため、補正情報同一時間を短く設定することが望ましい。同様に、撮像装置１００に、強い衝撃が加わった場合にも、正しい補正情報が変化している可能性が高いため、補正情報同一時間を短く設定することが望ましい。

図４（Ｄ）を用いて説明したように、補正用情報生成処理（ステップＳ３２１）では、第１の取得処理（ステップＳ３１０）で行っている処理Ｓ３１１～Ｓ３１５と同様の処理を行っている。処理の重複を避け、より効率的に補正情報Ｉｃを生成するために、第１の画像群Ｓｇ１を第２の画像群Ｓｇ２として情報格納手段１７０に格納する際に、第１の距離情報Ｉｄｉｓｔ１も距離情報群として格納するようにしてもよい。情報格納手段１７０に第２の画像群Ｓｇ２と距離情報群が格納されている場合は、補正用情報生成処理（ステップＳ３２１）では、既知形状被写体検出処理（ステップＳ３２３）を第２の画像群Ｓｇ２を用いて行う。そして、対応距離情報検出処理（ステップＳ３２４）は、既知形状検出処理（ステップＳ３２３）にて検出した既知形状被写体と対応する距離情報を距離情報群から抽出して補正用情報とする。

情報格納手段１７０の容量及び書き込み時間を節約するために、第１の画像群Ｓｇ１と第１の距離情報Ｉｄｉｓｔ１に基づいて補正用情報を生成し、補正用情報を補正用情報群として情報格納手段１７０に格納するようにしてもよい。情報格納手段１７０に補正用情報群が格納されている場合、第２の取得手段３２０は、情報格納手段１７０から取得した補正用情報群に基づき、補正情報生成処理（ステップＳ３２２）を行い、補正情報Ｉｃを取得する。補正用情報群は、第２の画像群Ｓｇ２から補正情報Ｉｃの生成に必要な情報のみを抽出した情報であり、情報量を少なくすることができる。そのため、情報格納手段１７０に補正用情報群を格納することで、容量並びに情報書き込み時間を少なくすることができる。また、情報格納手段１７０に格納された補正用情報の数や量を画像上の領域毎に逐次検知し、補正情報の生成に十分な量と判断した場合には、補正情報同一時間よりも短い時間で補正情報を生成するようにしてもよい。

本実施形態の撮像装置１００は、距離計測装置１１０で生成した補正距離情報ＩｄｉｓｔＣを用いて、結像光学系１２０や撮像素子１０１をフィードバック制御し、より高精度な合焦動作に活用することができる。フィードバック制御では、撮像装置１００の光学系制御部（不図示）または撮像素子制御部（不図示）が、任意の画角における補正距離情報ＩｄｉｓｔＣに応じた移動量を計算し、結像光学系または撮像素子を移動させる。撮像装置１００は、経時的な変化に伴う距離情報を撮影シーンに依らずに精度よく補正できるため、一回のフィードバックでより正確にピントを合わせることができる。また、補正距離情報を用いて高精度な被写界情報を取得できるため、被写界の距離範囲に応じてストロボ（不図示）を制御し、最適なストロボ撮影を行うことができる。

また、自律的に移動可能な移動体（ロボット、自動車、ドローンなど）が外部環境を認識するための情報取得手段として、撮像装置１００を活用することができる。以下では、自らが移動可能な移動体として自動車を例に説明する。図１１（Ａ）は、本実施形態の撮像装置１００を備えた移動体としての自動車の構成を概略的に説明する図である。自動車である車両１３００は、撮像装置１００、外界認識装置１３１０、警報装置１３２０、制御装置１３３０および車両情報取得装置１３４０を備える。

外界認識装置１３１０は、撮像装置１００から取得した画像信号と撮像装置１００が備える距離計測装置１１０が生成した補正距離情報に基づき、外界の認識を行う。例えば、撮像装置１００から第１の画像信号を取得し、前走車がいることを認識する。さらに、補正距離情報に基づいて、車両１３００に対する前走車の位置を認識する。

また、外界認識装置１３１０は、警報装置１３２０、制御装置１３３０および車両情報取得装置１３４０それぞれに接続される。外界認識装置１３１０は、車両情報取得装置１３４０から車速（速度）、ヨーレートおよび舵角などの情報を車両情報（移動体の情報）として取得する。制御装置１３３０は、外界認識装置１３１０の認識結果にもとづき車両１３００を制御する。例えば、外界認識装置１３１０の認識結果として前走車との衝突可能性が高い場合、制御装置１３３０は、車両１３００のブレーキをかける、アクセルを戻す、あるいはエンジン出力を抑制するなどして衝突の回避、被害の軽減を行う車両制御を行う。警報装置１３２０は、外界認識装置１３１０の認識結果に基づいて警報を発する。例えば、外界認識装置１３１０の認識結果として前走車との衝突の可能性が高い場合、警報装置１３２０は、音などの警報を発し、カーナビゲーションシステムなどの画面やヘッドアップディスプレイなどに警告情報を表示する。あるいは、警報装置１３２０は、シートベルトやステアリングに振動を与える等して、車両１３００の運転手に警告を行う。

図１１（Ｂ）は、運転支援システムの動作例としての衝突回避処理を示すフローチャートである。まず、ステップＳ１３０１で、外界認識装置１３１０は、撮像装置１００から複数の画像信号（例えば、第１の画像信号と第２の画像信号）を取得する。次に、ステップＳ１３０２で、外界認識装置１３１０は、車両情報取得装置１３４０から車両の情報を取得する。

ステップＳ１３０３で、外界認識装置１３１０は、取得した複数の画像信号のうち少なくとも１つの画像信号に対して特徴解析（認識処理）を行う。具体的には、外界認識装置１３１０が、画像信号におけるエッジの量や方向、濃度値、色、輝度値などの特徴量を解析することにより、対象物（自動車、歩行者、自転車、車線、ガードレール、ブレーキランプなど）を認識（検知）する。なお、画像の特徴量解析は、複数の画像信号のそれぞれに対して行ってもよい、また、複数の画像信号のうち一部の画像信号のみ（例えば第１の画像信号のみ）に対して行ってもよい。

ステップＳ１３０４で、外界認識装置１３１０は、撮像装置１００が備える距離計測装置１１０から、撮像された画像信号に存在する対象物の距離情報を取得する。
ステップＳ１３０５で、外界認識装置１３１０は、取得した距離情報に基づいて、対象物が予め定めた設定内にあるか否か、つまり、設定距離内に障害物が存在するか否かを判定し、前方または後方の衝突可能性の判定を行う。設定距離内に障害物が存在する場合、衝突可能性有りと判定し、ステップＳ１３０６に進む。一方、設定距離内に障害物が存在しない場合、衝突可能性なしと判定し、本処理を終了する。

ステップＳ１３０６で、制御装置１３３０は、車両１３００の移動方向及び移動速度の少なくとも１つを制御する。例えば、車両１３００の各輪に制動力を発生させる制御信号を生成して出力し、エンジンの出力を抑制するなどして前走車との衝突の回避及び衝突可能性の低減を行う。また、警報装置１３２０は、音や映像、振動などで運転手などに危険を通知する。その後、本処理を終了する。

衝突回避処理により、効果的に障害物の検知を行うことが可能となる。つまり、正確に障害物を検知し、衝突回避及び被害低減が可能となる。
車両１３００は、本実施形態の撮像装置１００が生成する補正距離情報と画像信号に基づいて外界を認識し、車両の制御を行っている。撮像装置１００が備える距離計測装置１１０は、経時的な変動を良好に補正した補正距離情報を取得できるため、外部環境をより安定して認識することができる。したがって、本実施形態の距離計測装置１１０や撮像装置１００を用いることで、より高度に外界を認識し、効果的に車両を制御することができる。つまり、より効果的に衝突回避および衝突による被害低減が可能となる。

なお、本実施形態においては、距離情報に基づいた衝突回避について説明したが、前走車に追従走行し、車線内中央を維持し、または、車線からの逸脱を抑制するために、本実施形態の距離計測装置１１０や撮像装置１００を用いることもできる。また、車両１３００の運転支援のみならず、自動車の自律運転にも本実施形態の距離計測装置１１０や撮像装置１００を用いることが可能である。本実施形態の撮像装置１００は、自動車などの車両に限らず、例えば、船舶、航空機、ドローンあるいは産業用ロボットなどの移動体に適用することができる。さらに、本実施形態の撮像装置１００は、移動体に限らず、交差点の監視システムや高度道路交通システム（ＩＴＳ）において用いられる機器など、広く物体認識を利用する機器に適用することができる。例えば、交通監視システムにおける非移動体である交差点監視カメラに本実施形態の撮像装置１００を適用しても構わない。

本実施形態では、１つの結像光学系と１つの撮像素子を有する撮像装置を例示したが、これに限られるものではなく、結像光学系または撮像素子を複数有する構成であってもよい。例えば、図１２に示される撮像装置１２００のように結像光学系と撮像素子が２つであってもよい。図１２は、撮像装置の構成例を示す図である。撮像装置１２００は、第１の結像光学系１２２０ａ、第２の結像光学系１２２０ｂ、第１の撮像素子１２０１ａ、第２の撮像素子１２０１ｂ、距離計測装置１１０および情報格納手段１７０を備える。

第１の結像光学系１２２０ａは、撮像装置１２００の撮影レンズであり、被写体の像を撮像面である第１の撮像素子１２０１ａに形成する。同様に、第２の結像光学系１２２０ｂは、撮像装置１２００の撮影レンズであり、被写体の像を撮像面である第２の撮像素子１２０１ｂに形成する。第１の結像光学系１２２０ａは、複数のレンズ群および絞りを有する。同様に、第２の結像光学系１２２０ｂは、複数のレンズ群および絞りを有する。さらに、第１の結像光学系１２２０ａの光軸１２４０ａと、第２の結像光学系１２２０ｂの光軸１２４０ｂは、略平行になるように構成されている。

距離計測装置１１０の第１の取得手段３１０は、第１の撮像素子１２０１ａから第１の画像信号を取得し、第２の撮像素子１２０１ｂから第２の画像信号を取得し、取得した画像信号に基づいて第１の距離情報Ｉｄｉｓｔ１を生成する。さらに、距離計測装置１１０の補正手段３３０が、補正情報Ｉｃを用いて第１の距離情報Ｉｄｉｓｔ１を補正することで、補正距離情報ＩｄｉｓｔＣを生成することができる。

以上のように、本実施形態によれば、撮像装置の経時的な変動に伴う距離計測誤差の補正を高精度に行うことにより、高精度な距離計測が可能な距離計測装置を提供することができる。

（第２実施形態）
＜距離計測システムの構成＞
図１３（Ａ）は、距離計測システム９００の構成を概略的に示す図である。距離計測システム９００は、撮像装置９１０、第２の距離計測装置９３０および情報格納手段９７０を備える。撮像装置９１０は、異なる視点で複数の画像を撮像可能な撮像装置であり、結像光学系１２０、撮像素子１０１および第１の距離計測装置９２０を備える。第２の距離計測装置９３０は、撮像装置９１０が備える第１の距離計測装置９２０より、温度依存性の低い距離計測装置である。

＜第２の距離計測装置の構成＞
本実施形態の第２の距離計測装置９３０について説明する。本実施形態では、第２の距離計測装置９３０の一例として、レーザ光を利用した距離計測装置を説明する。図１３（Ｂ）は、第２の距離計測装置９３０の構成を示す図である。第２の距離計測装置９３０は、投光系である投射光学系９３１、レーザ９３２および投射制御部９３３と、受光系である受光光学系９３４、検出器９３５および測距演算部９３６と、出力部９３７とを含む。第２の距離計測装置９３０は、照射したレーザ光の戻り光を受光することで被写体までの距離を表す第２の距離情報を出力する。第２の距離計測装置９３０から出力される第２の距離情報は、情報格納手段９７０に格納される。

レーザ９３２は、パルス状のレーザ光を出射する半導体レーザダイオードである。レーザ９３２からの光は、スキャン系を有する投射光学系９３１により集光・照射される。なお、レーザ光は、主に半導体レーザが用いられるが、特に限定は無い。また、レーザ光は指向性、収束性の良好な電磁波の一種である。安全性を考慮すると、赤外線波長帯のレーザ光を使用するのが好ましい。

投射制御部９３３は、レーザ９３２のレーザ光の出射を制御する。投射制御部９３３ではレーザ９３２を発光させる例えばパルス信号を作成し、パルス信号の駆動信号は測距演算部９３６に入力される。投射光学系９３１が備えるスキャン光学系は、所定の周期でレーザ９３２から出射されたレーザ光を水平方向に繰り返し走査する。

レーザ９３２から出射したレーザ光は、物体（被写体）にあたって反射し、受光光学系９３４を介して検出器９３５に入射される。検出器９３５はフォトダイオードを備え、反射光の光強度に対応する電圧値の電気信号を出力する。検出器９３５より出力された電気信号は、測距演算部９３６に入力される。測距演算部９３６は、投射制御部９３３からレーザ９３２に出力される駆動信号が出力されてから受光信号が発生されるまでの時間、すなわち、レーザ光を出射した時刻と反射光を受光した時刻との時間差を測定し、被写体までの距離を算出する。測距演算部９３６が算出した被写体までの距離は、第２の距離情報として出力部９３７を介して出力される。

なお、投射光学系におけるスキャン光学系は、ポリゴンミラーやガルバノミラーなどを用いたものがある。本実施形態におけるスキャン光学系としては、垂直方向に複数のポリゴンミラーを積層し、上下方向に並んで配置された複数のレーザ光を水平に走査する構造のレーザスキャナが望ましい。以上のように動作することで、照射したレーザ光が反射した物体までの距離を取得することができる。

第２の距離計測装置９３０は、射出したレーザ光が被写体にて反射されて、検出器９３５で検出されるまでの光の飛行時間を用いて、被写体距離を計測している。そのため、温湿度変化や振動により投射光学系９３１や受光光学系９３４の光学的な特性が変化しても、光の飛行時間に与える影響は小さい。つまり、第２の距離計測装置９３０は、距離計測装置９２０と比較して、温湿度変化や振動に起因した距離計測結果の経時的な変化が小さい。

＜第１の距離計測装置の説明＞
本実施形態の第１の距離計測装置９２０について説明する。図１４（Ａ）は、第１の距離計測装置９２０の概要構成を表すブロック図である。以下では、第１実施形態の距離計測装置１１０との差異について説明する。

第２の取得手段３２０は、情報格納手段９７０に格納されている第２の距離情報Ｉｄｉｓｔ２と第２の画像群Ｓｇ２を取得し、第２の距離情報Ｉｄｉｓｔ２と第２の画像群Ｓｇ２を用いて補正情報Ｉｃを生成する。補正手段３３０は、第２の距離情報Ｉｄｉｓｔ２と第２の画像群Ｓｇ２を用いて生成された補正情報Ｉｃを用いて第１の距離情報Ｉｄｉｓｔ１を補正することで、撮像装置９１０の経時的な変化に伴う距離計測誤差を補正した補正距離情報ＩｄｉｓｔＣを生成する。

第２の画像群Ｓｇ２は、撮像装置９１０を用いて撮像された第１の画像信号Ｓｇ１とは異なる複数のタイミングで撮像された、第１の画像信号Ｓ２１と第２の画像信号Ｓ２２（両者を合わせて画像信号対という）を含む。第２の距離情報Ｉｄｉｓｔ２は、第２の距離計測装置９３０を用いて取得された距離情報である。第２の画像群Ｓｇ２と同様に、第２の距離情報Ｉｄｉｓｔ２は、第１の画像群Ｓｇ１とは異なる複数のタイミングで取得された距離情報である。

第２の取得手段３２０が行う第２の取得処理（ステップＳ３２０）について、図４（Ｃ）と図１４（Ｂ）を用いて説明する。図４（Ｃ）は、第２の取得処理（ステップＳ３２０）の動作を示すフローチャートである。図１４（Ｂ）は、本実施形態における第２の取得処理の中の補正用情報生成処理（ステップＳ３２１）の詳細を示すフローチャートである。なお、以下の説明では、第２の画像群Ｓｇ２に含まれる画像信号対を取得したタイミングと、第２の距離情報Ｉｄｉｓｔ２を取得したタイミングが略等しいとして説明する。

ステップＳ３１１～ステップＳ３１５では、第１実施形態と同様の処理内容により、第２の画像群Ｓｇ２に含まれる複数の画像信号対を用いて、各画像信号対に対応した補正用距離情報として複数のデフォーカス量を生成している。
ステップＳ９２４で、第２の取得手段３２０は、対応距離情報抽出処理を行う。対応距離情報抽出処理では、第２の取得手段３２０は、第２の距離情報Ｉｄｉｓｔ２のデータ位置と対応する補正用距離情報を抽出し、第２の距離情報Ｉｄｉｓｔ２と併せて補正用情報とする。

対応距離情報抽出処理（ステップＳ９２４）について、図１５（Ａ）を用いて具体的に説明する。図１５（Ａ）は、第２の画像群Ｓｇ２に含まれる第１の画像信号Ｓ２１に、第２の距離情報Ｉｄｉｓｔ２のデータ位置を重畳した様子を説明する図である。なお、撮像装置９１０の視野外にある第２の距離情報Ｉｄｉｓｔ２は図示していない。ひし形９５０が、第２の距離情報Ｉｄｉｓｔ２のデータ位置である。

第２の距離計測装置９３０は、上下方向に並んで配置された複数のレーザを水平方向に走査しているため、第２の距離情報Ｉｄｉｓｔ２のデータ密度は補正用距離情報と比べて疎となる。従って、本実施形態の第１の距離計測装置９２０では、第２距離情報Ｉｄｉｓｔ２のデータ位置を参照しながら、補正用距離情報からデータを間引き、第２の距離情報Ｉｄｉｓｔ２と対応する対応距離情報を生成する。

撮像装置９１０と、第２の距離計測装置９３０は、視点が異なることによる視差が生じる。そのため、第２の距離情報Ｉｄｉｓｔ２のデータ位置を算出する際には、距離に応じた視差を考慮して、データ位置を撮像装置９１０の視野に合うようにシフトすることが望ましい。また、第１の画像信号Ｓ２１内の被写体を検出し、第２の距離情報Ｉｄｉｓｔ２を用いて被写体毎に距離情報を与えても構わない。例えば、図１５（Ａ）に破線の枠で囲った被写体９５１を、第１の画像信号Ｓ２１を用いて検出した場合には、被写体９５１内にあるデータ位置（網掛けのひし形）と対応する第２の距離情報Ｉｄｉｓｔ２の平均値を、被写体９５１の距離情報とする。さらに、被写体９５１と対応する位置の補正用距離情報を抽出し、被写体９５１の距離情報と併せて補正用情報とする。複数の被写体が検出された場合には、被写体毎に補正用情報を生成する。第１の画像信号Ｓ２１から被写体を検出する手法としては、前述のセマンティックセグメンテーションや、特定の被写体（例えば、人物、自動車、標識、建造物など）を事前にデータベースから学習し、検出する手法を用いることができる。

補正情報生成処理（ステップＳ３２２）で、補正手段３３０は、補正用情報生成処理（ステップＳ３２１）で生成した補正用情報を用いて、撮像装置９１０の経時的な変化に伴って生じる測距誤差を補正する補正情報Ｉｃを生成する。補正用情報には、第２の画像群Ｓｇ２を用いて生成したデフォーカス量が距離情報として含まれている。前述の式２を用いてデフォーカス量を被写体距離に変換し、補正用情報に含まれる第２の距離情報と比較した結果を図１５（Ｂ）に示す。

図１５（Ｂ）において、横軸は補正用情報に含まれる第２の距離情報である。縦軸は、補正用情報に含まれるデフォーカス量としての距離情報を、式２により被写体距離に変換した距離値（以下、距離計測装置の距離値という）である。撮像装置９１０に経時的な変化が生じていない場合、第２の距離情報と距離計測装置の距離値の関係は（ii）に示されるように直線となる。一方、温湿度の変化や振動などの影響に伴い撮像装置９１０に経時的な変化が生じた場合には、（i）や（iii）に示される曲線のようになり、直線とはならない。直線にするためには、撮像装置９１０の経時的な変化に伴う視差量を第１の距離計測装置９２０の距離値に変換するための複数の変換係数（ＢＬ値、像側変化量、結像光学系１２０の焦点距離）の変動の２次元的な分布を正しく推定し、誤差を補正する必要がある。

各変換係数の経時的な変動量を推定するために、補正情報生成処理（ステップＳ３２２）では、各変換係数を撮像素子１０１の画素位置を変数とする関数で近似したときの係数を推定する。すなわち、図１５（Ｂ）の関係が直線になるように、関数の係数を推定する。以下では、図１５（Ｂ）の関係を直線近似した結果との適合度を評価することで、関数の係数を推定する手法について説明する。関数としては、例えば、多項式関数を用いることができる。

補図１５（Ｃ）は、正情報生成処理（ステップＳ３２２）の詳細を示すフローチャートである。ステップＳ９６１で、補正手段３３０は、図１５（Ｂ）の関係を直線近似した結果との適合度を評価している。ここで、適合度の評価方法として、例えば、第１実施形態と同様に直線フィッティングを行う方法がある。直線フィッティングした結果との比較を近距離側と遠距離側の両方で比較することで、適合度を評価する。また、直線フィッティングした結果との差の二乗和を用いて、適合度を評価しても構わない。なお、適合度の評価方法はこれに限られるものではなく、どのような手法で適合度を評価しても構わない。

ステップＳ９６２で、補正手段３３０は、ステップＳ９６１で算出した適合度を閾値と比較する。適合度が閾値以下であり、推定した関数の係数で図１５（Ｂ）の関係が直線になると判断できる場合には、推定したそれぞれの変換係数を表す関数の係数を補正情報とし、本処理を終了する。一方、適合度が閾値より高い場合には、ステップＳ９６３に進む。

ステップＳ９６３では、補正手段３３０は、適合度を改善させるため関数の係数を調整する処理を行う。その後、再度ステップＳ９６１で適合度を計算するということを繰り返し、最終的に推定した各変換係数の２次元分布を決定する。係数は、ある変化量を予め定めておき、改善する方向にその変化量分だけ加算または減算して変化させる。また、より少ない繰り返し回数で且つ収束値を向上させるために、ＰＩＤ制御のようなフィードバック制御を用いてもよい。複数の係数を変化させる際には、必ずしも個別の改善が全体の改善につながるとは限らない為、最急降下法といった勾配法のアルゴリズムを用いてもよい。ただし局所解にとどまる可能性があるため、さらに大域的な最適解を得る手法を用いてもよい。

なお、関数の係数を調整しても適合度が改善しなくなったところで、推定したそれぞれの変換係数を表す関数の係数を補正情報とするように判断してもよい。同様に、関数の係数の更新量が十分小さくなったところで、推定したそれぞれの変換係数を表す関数の係数を補正情報とするように判断してもよい。さらに、ステップＳ９６１からステップＳ９６３の処理を繰り返す回数に上限値を定めておき、推定した像側変化量を補正情報としても構わない。

補正情報生成処理（ステップＳ３２２）では、複数の変換係数の推定値を補正情報Ｉｃとして生成している。なお、補正情報としては、推定した関数の係数を用いて作成した各変換係数の２次元分布を用いても構わないし、推定した関数の係数を補正情報としても構わない。なお、経時的な変動量の画角依存性が低い変換係数については、必ずしも２次元分布として扱う必要はない。例えば、結像光学系１２０の焦点距離として近軸量を用い、画角に依存しない一様な値としても構わない。

補正手段３３０は、補正処理（ステップＳ３３０）により、補正情報Ｉｃを用いて第１の距離情報Ｉｄｉｓｔの一部または全体の距離情報を補正する。つまり、補正情報Ｉｃから、現状の視差量とデフォーカス量の関係、及び結像光学系１２０の現状の焦点距離と像面位置を定め、式２を用いて被写体から撮像装置１００までの距離を表す補正距離情報ＩｄｉｓｔＣを生成している。

本実施形態の補正情報Ｉｃは、第２の画像群Ｓｇ２と、第２の距離計測装置９３０から取得した第２の距離情報を用い、被写体が位置する距離や画角が異なる様々なシーンに基づき生成されている。第２の距離計測装置９３０は、第１の距離計測装置９２０と比較して温湿度変化や振動による経時的変化が小さい距離計測装置である。そのため、視差量を被写体距離に変換するための変換係数が複数ある場合でも、撮影タイミングに依らずに複数の変換係数を高い精度で推定することができ、撮像装置１００の経時的な変化に伴う測距誤差を精度よく補正することができる。

本実施形態においては、第２の距離情報Ｉｄｉｓｔ２と、第２の画像群Ｓｇ２に含まれる画像信号対は、略同じタイミングで取得したとして説明したが、異なるタイミングで取得しても構わない。タイミングが異なる場合には、例えば取得間隔が短い方を時間方向に内挿することで、略同じタイミングで取得した情報を生成することができる。内挿方法の一例として、線形内挿を用いることができる。例えば、第２の距離情報の取得間隔が短い場合には、時間方向の距離変化が小さい領域のみを用いることもできる。また、取得時刻が最も近い情報を、対応するタイミングで取得した情報であるとして扱うこともできる。

本実施形態では、複数の変換係数を推定し、それを用いて距離情報を補正する形態について説明したが、例えばパラメータテーブルを用意するなどして、第１の距離情報Ｉｄｉｓｔ１から直接補正して補正距離情報ＩｄｉｓｔＣを生成しても構わない。この場合でも、本実施形態の距離計測装置は、異なるタイミングで取得した第２の距離情報と第２の画像群に含まれる異なるタイミングで撮像した画像信号対を、複数用いて補正情報Ｉｃを取得する。複数の第２の距離情報と画像信号対とを用いることにより、一部の領域ではなく距離情報の全域に渡って、複数の変換係数の経時変化を高精度に補正することができる。

図１４（Ｂ）を用いて説明したように、補正用情報生成処理（ステップＳ３２１）では、第１の取得処理（ステップＳ３１０）で行っているステップＳ３１１～ステップＳ３１５と同様の処理を行っている。処理の重複を避け、より効率的に補正情報Ｉｃを生成するために、第１の画像群Ｓｇ１を第２の画像群Ｓｇ２として情報格納手段９７０に格納する際に、第１の距離情報Ｉｄｉｓｔ１も距離情報群として格納しても構わない。

情報格納手段９７０への情報書き込みおよび情報読出し時間を節約するために、第１の距離情報Ｉｄｉｓｔ１から、所定の条件を満たした情報のみを抽出して情報格納手段９７０へ格納しても構わない。例えば、所定の条件として、複数の設定距離を予め設定し、第２の距離情報Ｉｄｉｓｔ２が設定距離を満たす場合に、対応する領域の第１の距離情報Ｉｄｉｓｔ１を抽出するようにしてもよい。情報格納手段９７０へ格納する情報が、第１の距離情報Ｉｄｉｓｔ１の一部領域のみとなるため、情報量を減らすことができる。

本実施形態の撮像装置１００は、距離計測装置９２０で生成した補正距離情報ＩｄｉｓｔＣを用いて、結像光学系１２０や撮像素子１０１をフィードバック制御し、より高精度な合焦動作に活用することができる。フィードバック制御では、撮像装置１００の光学系制御部（不図示）または撮像素子制御部（不図示）が、任意の画角における補正距離情報ＩｄｉｓｔＣに応じた移動量を計算し、結像光学系または撮像素子を移動させる。撮像装置１００は、経時的な変化に伴う距離情報を撮影シーンに依らずに精度よく補正できるため、一回のフィードバックでより正確にピントを合わせることができる。また、補正距離情報を用いて高精度な被写界情報を取得できるため、被写界の距離範囲に応じてストロボ（不図示）を制御し、最適なストロボ撮影を行うことができる。

また、自律的に行動計画を作成可能な移動体（ロボット、自動車、ドローンなど）が外部環境を認識するための情報取得手段として、距離計測システム９００を活用することができる。例えば、図１１（Ａ）において、車両１３００に撮像装置１００の代わりに距離計測システム９００を搭載することができる。外界認識装置１３１０は、距離計測システム９００が備える距離計測装置１１０が生成した補正距離情報、撮像装置９１０から取得した画像信号および第２の距離計測装置が生成する第２の距離情報に基づき、外界の認識を行う。外界認識装置１３１０は、距離計測装置１１０から経時的な変動を良好に補正した補正距離情報を取得できるため、外部環境をより安定して認識することができる。

以上のように、本実施形態によれば、撮像装置の経時的な変動に伴う距離計測誤差の補正を高精度に行うことにより、高精度な距離計測が可能な距離計測装置を提供することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１１０ 距離計測装置
３１０ 第１の取得手段
３２０ 第２の取得手段
３３０ 補正手段

Claims (20)

1. 異なる視点で撮像された第１の画像群に基づいて第１の距離情報を取得し、前記第１の画像群とは異なるタイミングで撮像された第２の画像群に基づいて第２の距離情報を取得する第１の取得手段と、
   前記第２の画像群に基づいて、前記距離情報の補正情報を取得する第２の取得手段と、
   前記補正情報に基づいて、前記第１の距離情報を補正する補正手段と、を備え、
   前記第１の取得手段は、異なる視点で撮像された複数の画像に基づいて、複数の画素位置で視差量を算出し、前記視差量と変換係数を用いて前記距離情報を取得し、
   前記補正手段は、前記補正情報に基づいて、前記変換係数を補正することを特徴とする距離計測装置。
2. 前記第２の取得手段は、前記第２の画像群から特定の被写体を検出し、検出した前記特定の被写体の情報に基づいて、前記補正情報を算出することを特徴とする請求項１に記載の距離計測装置。
3. 前記特定の被写体は、形状が既知である被写体であり、
   前記第２の取得手段は、検出した前記特定の被写体の形状に基づいて、前記補正情報を算出することを特徴とする請求項２に記載の距離計測装置。
4. 前記第１の取得手段は、被写体に対応した領域ごとに前記距離情報を取得し、
   前記第２の取得手段は、前記領域ごとに前記特定の被写体を検出し、前記領域ごとに前記補正情報を取得することを特徴とする請求項２または請求項３に記載の距離計測装置。
5. 前記第２の取得手段が用いる複数の画像は、前記第１の取得手段が用いる複数の画像が撮像されたタイミングから所定の時間内に撮像された画像であることを特徴とする請求項１乃至４のいずれか１項に記載の距離計測装置。
6. 前記第２の取得手段は、前記複数の画像を撮像する撮像装置の温度または振動の大きさに応じて、前記所定の時間を設定することを特徴とする請求項５に記載の距離計測装置。
7. 前記第２の取得手段は、前記第２の画像群と、前記距離計測装置より温度依存性の低い距離計測装置で計測された距離情報に基づいて、前記補正情報を算出することを特徴とする請求項１乃至６のいずれか１項に記載の距離計測装置。
8. 請求項７に記載の距離計測装置と、前記距離計測装置より温度依存性の低い距離計測装置とを有することを特徴とする距離計測システム。
9. 異なる視点で撮像された第１の画像群に基づいて第１の距離情報を取得し、前記第１の画像群とは異なるタイミングで撮像された第２の画像群に基づいて第２の距離情報を取得する第１の取得手段と、
   前記第２の画像群に基づいて、前記距離情報の補正情報を取得する第２の取得手段と、
   前記補正情報に基づいて、前記第１の距離情報を補正する補正手段と、を備え、
   前記第２の取得手段が用いる複数の画像は、前記第１の取得手段が用いる複数の画像が撮像されたタイミングから所定の時間内に撮像された画像であることを特徴とする距離計測装置。
10. 請求項１乃至７、９のいずれか１項に記載の距離計測装置と、結像光学系と、撮像素子を備えることを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置を備えた、自らが移動可能な移動体であって、
    前記撮像装置において補正された距離情報に基づいて、前記移動体を制御する制御手段を備えることを特徴とする移動体。
12. 距離計測装置の制御方法であって、
    異なる視点で撮像された複数の画像に基づいて距離情報を取得する工程と、
    前記複数の画像とは異なるタイミングで撮像された複数の画像に基づいて、前記距離情報の補正情報を取得する工程と、
    前記補正情報に基づいて、前記距離情報を補正する工程と、を有し、
    前記距離情報を取得する工程では、異なる視点で撮像された複数の画像に基づいて、複数の画素位置で視差量を算出し、前記視差量と変換係数を用いて前記距離情報を取得し、
    前記前記距離情報を補正する工程では、前記補正情報に基づいて、前記変換係数を補正することを特徴とする制御方法。
13. 距離計測装置の制御方法であって、
    異なる視点で撮像された複数の画像に基づいて距離情報を取得する工程と、
    前記複数の画像とは異なるタイミングで撮像された複数の画像に基づいて、前記距離情報の補正情報を取得する工程と、
    前記補正情報に基づいて、前記距離情報を補正する工程と、を有し、
    前記補正情報を取得する工程で用いられる複数の画像は、前記距離情報を取得する工程で用いられる複数の画像が撮像されたタイミングから所定の時間内に撮像された画像であることを特徴とする制御方法。
14. 請求項１乃至７、９のいずれか１項に記載の距離計測装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
15. 第３の距離情報を算出するための第３の情報を検出する第３の距離計測装置と、
    前記第３の距離情報に対応する距離情報を含む第４の距離情報を算出するための第４の情報を検出し、前記第３の距離計測装置より温度依存性の低い第４の距離計測装置と、
    前記第４の距離情報に基づいて前記第３の情報あるいは前記第３の距離情報を補正する補正手段と、を備えることを特徴とする距離計測システム。
16. 前記補正手段は、対応する前記第３の距離情報と前記第４の距離情報とを比較することで前記第３の距離情報を補正するための補正係数を算出し、該補正係数を用いて前記第３の距離情報を補正することを特徴とする請求項１５に記載の距離計測システム。
17. 前記第３の距離計測装置は、異なる視点で複数の画像を撮像可能な撮像手段を有し、
    前記第４の距離計測装置は、投射されたレーザ光を受光する受光手段を有することを特徴とする請求項１５または１６に記載の距離計測システム。
18. 請求項１５乃至１７のいずれか１項に記載の距離計測システムを備えた、自らが移動可能な移動体であって、
    前記補正手段により補正された第３の距離情報に基づいて、前記移動体を制御する制御手段を備えることを特徴とする移動体。
19. 第３の距離計測装置から出力される第３の距離情報を取得する第１の取得ステップと、
    前記第３の距離情報に対応する距離情報を含む第４の距離情報を算出するための第４の情報を検出し、前記第３の距離計測装置より温度依存性の低い第４の距離計測装置から前記第４の距離情報を取得する第２の取得ステップと、
    前記第４の距離情報に基づいて前記第３の情報あるいは前記第３の距離情報を補正する補正ステップと、を有することを特徴とする距離計測システムの制御方法。
20. 請求項１５乃至１７のいずれか１項に記載の距離計測システムの各手段としてコンピュータを機能させることを特徴とするプログラム。

Images