JP2020193820A - 計測装置、撮像装置、制御方法及びプログラム - Google Patents

Abstract

【課題】好適な精度の計測結果を得られる撮像方向をユーザに提示する。【解決手段】計測装置は、計測対象である対象被写体について、所定の項目に係る計測を行う。計測装置は、対象被写体を含む撮像範囲を撮像して得られた撮像画像について、該撮像を行った撮像装置からの被写体距離の分布を示した距離情報と、少なくとも対象被写体の面の法線を示す法線情報と、を取得する取得手段と、取得手段により取得された法線情報に基づいて、所定の項目の計測を行うための撮像装置の撮像方向を示す通知を提示する提示手段と、を有する。【選択図】図２

Description

本発明は、計測装置、撮像装置、制御方法及びプログラムに関し、特に、撮像が行われる撮像範囲内の対象物についての撮像画像に基づく計測技術に関する。

撮像範囲に存在する被写体について、視差を有する関係にある画像群に基づいて、撮像装置からの距離（被写体距離）を導出することで、各画素位置の被写体の３次元位置を得、指定された２点間の空間距離を採寸可能な撮像装置がある（特許文献１）。

特開２０１１−２３２３３０号公報

ところで、特許文献１に記載の技術では、撮像装置と計測対象となる２点の位置関係によっては、計測精度の低下が生じ得る。例えば、計測対象を撮像する構図として、所謂パースペクティブの表現が用いられている場合、撮像範囲において計測対象とする２点の奥行き方向の位置関係に差が生じ得、好適な制度の計測結果が得られない可能性がある。これは、計測対象の被写体の撮像を行った場合に、遠方の被写体ほど空間分解能が低く画像に現れるため、奥行き方向の異なる２点を計測対象として該画像をベースに計測したとしても、計測結果に誤差が生じ得るものであった。

本発明は、上述の問題点に鑑みてなされたものであり、好適な精度の計測結果を得られる撮像方向をユーザに提示する計測装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の計測装置は、計測対象である対象被写体について、所定の項目に係る計測を行う計測装置であって、対象被写体を含む撮像範囲を撮像して得られた撮像画像について、該撮像を行った撮像装置からの被写体距離の分布を示した距離情報と、少なくとも対象被写体の面の法線を示す法線情報と、を取得する取得手段と、取得手段により取得された法線情報に基づいて、所定の項目の計測を行うための撮像装置の撮像方向を示す通知を提示する提示手段と、を有することを特徴とする。

このような構成により本発明によれば、好適な精度の計測結果を得られる撮像方向をユーザに提示することが可能となる。

本発明の実施形態及び変形例に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態及び変形例に係る撮像素子１１１の構成を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される計測処理を例示したフローチャート 本発明の実施形態及び変形例に係る距離導出処理及び法線導出処理を例示したフローチャート 本発明の実施形態及び変形例に係る撮像光学系１１２の結像関係を説明するための図 本発明の実施形態に係るデジタルカメラ１００において、対象被写体の計測に適切な撮像方向の通知態様を例示した図 本発明の実施形態に係るデジタルカメラ１００において、対象被写体の計測に係る計測点の提示態様を例示した図

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、計測装置の一例としての、視差を有する関係の一対の撮像画像に基づいて、被写体距離を導出可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像範囲に含まれる被写体の面の法線を導出可能に構成された任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

システム制御部１０１は、例えばマイクロコンピュータ等の、デジタルカメラ１００が備える各ブロックを制御する制御装置である。システム制御部１０１は、デジタルカメラ１００が備える各ブロックの動作プログラムを記録媒体１０２から読み出して、メモリ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。

記録媒体１０２は、例えばフラッシュＲＯＭ等の書き換え可能な不揮発性メモリである。記録媒体１０２は、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。一方、メモリ１０３は、書き換え可能な揮発性メモリである。メモリ１０３は、デジタルカメラ１００が備える各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データの一時的な記憶領域としても用いられる。

撮像部１０４は、撮像範囲に含まれる被写体を撮像し、撮像画像の画像データを出力する。本実施形態では撮像部１０４は、少なくとも撮像素子１１１及び撮像光学系１１２を含んで構成される。撮像光学系１１２は、被写体像を撮像素子１１１に結像する。撮像光学系１１２には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。撮像光学系１１２には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。

撮像素子１１１は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）センサ等の光電変換素子である。撮像素子１１１は、撮像光学系１１２により撮像面に結像された光学像を光電変換してアナログ画像信号を得る。撮像部１０４は、得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用することで、デジタル画像データ（以下では簡単に撮像画像として言及）を得る。撮像部１０４は、得られた画像データをメモリ１０３に出力して記憶させる。

なお、本実施形態では撮像部１０４は、簡易的にＡ／Ｄ変換処理を適用して撮像画像を出力するものとして説明するが、撮像画像を各種処理において好適に使用可能にすべく、その他の画像処理を行うよう構成されているものであってよい。撮像部１０４は、例えば、ホワイトバランス調整、色補間、縮小／拡大に係る処理等の画像処理を行うものであってもよい。

〈撮像素子１１１の構成〉
また、本実施形態では撮像素子１１１は、被写体と撮像光学系１１２の主点との距離（被写体距離）、及び該被写体距離の分布に基づく被写体の面法線の導出を可能ならしめるべく、視差を有する関係にある一対の撮像画像を撮像可能に構成される。以下、その詳細について図２を用いて説明する。

図２（ａ）に示されるように、撮像素子１１１は撮像光学系１１２の光軸１１４と直交するよう配置された、２次元に並んだ画素構造を有する。より詳しくは撮像素子１１１は、所謂ベイヤー配列で構成されており、２行×２列の画素群２０１を一単位として、該画素群が２次元に配列されることで構成される。画素群２０１に含まれる４画素では、カラーフィルタが適用されており、緑の波長成分の光量を検出する画素２０２Ｇ１及びＧ２が対角方向に配置される。また残りの２画素に、赤の波長成分の光量を検出する画素２０２Ｒと、青の波長成分の光量を検出する画素２０２Ｂが配置される。

また、上述の一対の撮像画像を撮像すべく、１つの画素に設けられる光電変換素子は、図２（ｂ）に示されるような構造を有している。図２（ｂ）は、図２（ａ）における１つの画素群２０１について示したＩ−Ｉ’断面での画素構造を例示した図である。図示されるように、画素２０２Ｇ１と画素２０２Ｒのそれぞれは、受光層２０３と導光層２０４を有して構成されており、マイクロレンズ２０５を介して入射した光束が、受光層２０３で光電変換される。ここで、各画素の受光層２０３には、受光した光を光電変換する２つの光電変換素子２０６ａ及びｂが設けられており、それぞれ入射光束のうちの、撮像光学系１１２の射出瞳１１３の異なる領域を通過した光束を光電変換する。即ち、このような構成とすることで、本実施形態の撮像素子１１１では入射光束を瞳分割した撮像が可能となり、全画素の同一側（ａまたはｂ）の光電変換素子２０６からの出力を統合することで、一対の撮像画像を得ることができる。

より詳しくは、マイクロレンズ２０５を介することで、１つの画素の光電変換素子２０６と撮像光学系１１２の射出瞳１１３とは、光学的に共役な関係になっている。このような構成により、各画素に入射する光束は、マイクロレンズ２０５によって光電変換素子２０６ａ及びｂのそれぞれで受光されることで瞳分割が実現され、１回の撮像で２種類の方向からの入射光束に係る撮像画像群（一対の撮像画像）が得られる。換言すれば、撮像光学系１１２の射出瞳１１３を通過する光束のうちの、図２（ｃ）においてドットを付して示される光束が光電変換素子２０６ａによって受光され、ハッチングを付して示される光束が光電変換素子２０６ｂによって受光される。ここで、図２（ｃ）は、光軸１１４と撮像素子１１１の交点（中心像高）から見た、撮像光学系１１２の射出瞳１１３を示している。即ち、一対の撮像画像は、光電変換素子２０６ａが受光する光束の射出瞳１１３における重心位置２０７ａと、同じく光電変換素子２０６ｂに係る重心位置２０７ｂとがなす距離を基線長とする、異なる視点に係る撮像装置群により撮像されたものと等価である。

なお、本実施形態では、図示されるように撮像素子１１１のｘ軸方向に瞳分割するよう光電変換素子２０６が構成されているものとして説明するが、本発明の実施はこれに限られるものではない。即ち、瞳分割方向は、ｙ軸方向に定められるものであってもよいし、光電変換素子２０６を４つの構成として、ｘ軸及びｙ軸の２軸に定められるものであってもよく、任意の方向及び数に分割されるものであってよい。

距離導出部１０５は、撮像部１０４により得られた撮像画像に基づいて、撮像範囲の被写体についての被写体距離を導出する。上述したように、本実施形態の撮像部１０４で得られる一対の撮像画像は視差を有する関係にあり、距離導出部１０５は、画像間での相対的な像ずれ量に基づくデフォーカス量を導出し、これと撮像条件とに基づいて被写体距離を導出できる。距離導出部１０５は、例えば１つの撮像画像の各画素について、該画素に存在する被写体までの距離を導出し、被写体距離の２次元分布を示す距離情報を構成する。

法線導出部１０６は、距離導出部１０５により得られた距離情報に基づいて、例えば計測対象の被写体（対象被写体）について、該被写体を構成する面の法線を導出する。詳細は後述するが、本実施形態のデジタルカメラ１００は、撮像範囲の被写体のうちの対象被写体について、例えば該被写体に対して設定された２点間の距離や特定部位（対象被写体の面）の外周距離、被写体上に設定された領域の面積等を計測可能に構成される。該計測は、撮像画像をベースに行われるため、本実施形態では法線導出部１０６は、一対の撮像画像からパッシブステレオ法にて得られた距離情報に基づいて法線を導出するものとして説明するが、本発明の実施はこれに限られるものではない。即ち、当該手法は装置構成を最小構成で実現すべく計測に用いる距離情報を有効利用するものであり、法線の導出手法には他の手法が採用されるものであってもよいことは言うまでもない。

方向導出部１０７は、上述した計測の計測精度を高めるべく、対象被写体に対して撮像を行うことが好適な撮像方向を導出する。即ち、対象被写体が撮像範囲において深度方向に延びているような構図での撮像では、撮像画像に現れる被写体像の空間分解能が変化するため、計測精度が低下し得る。このため、本実施形態のデジタルカメラ１００では、方向導出部１０７は、法線導出部１０６により導出された対象被写体の法線の情報に基づいて、計測に適切な撮像が可能となる撮像方向を導出する。

計測部１０８は、好適な撮像方向について取得された距離情報に基づいて、対象被写体について計測するものとして定められた項目の計測を行う。

表示部１０９は、例えばＬＣＤ等の表示装置であり、デジタルカメラ１００における各種の情報提示を行う。表示部１０９は、撮像部１０４により撮像が行われている際、Ａ／Ｄ変換された画像データを表示（スルー表示）することで、デジタルビューファインダとして機能する。また本実施形態では表示部１０９は、好適な撮像方向を通知する際のＧＵＩの表示や、計測結果の表示にも用いられる。

操作入力部１１０は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等のデジタルカメラ１００が備えるユーザ入力インタフェースである。操作入力部１１０は、各種ユーザ入力インタフェースに対してなされた操作入力を検出すると、該操作入力に対応する制御信号をシステム制御部１０１に出力する。また表示部１０９がタッチパネルセンサを備えている態様においては、操作入力部１０９は、表示部１０９に対してなされたタッチ操作を検出するインタフェースとしても機能する。

本実施形態ではハードウェアとしてデジタルビデオカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《計測処理》
このような構成をもつ本実施形態のデジタルカメラ１００で、一対の撮像画像から得られた距離情報に基づいて、対象被写体の該当項目の計測を行う計測処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。本計測処理は、例えば対象被写体に係る画像ベースの計測を行う計測モードがデジタルカメラ１００において設定された際に開始されるものとして説明する。なお、以下では本発明の理解を容易にすべく、計測項目は、対象被写体について設定された２点間の寸法を計測するものであるとする。

Ｓ３０１で、撮像部１０４はシステム制御部１０１の制御の下、撮像範囲の撮像を行う。撮像部１０４は撮像により一対の撮像画像を取得すると、メモリ１０３に格納する。本ステップの処理は、撮像指示に係る操作入力が検出されたことに応じてなされるものであってもよいし、焦点検出や合焦調整等の撮影前に行われる所定の処理を行った後に、操作入力無しに行われるものであってもよい。

Ｓ３０２で、距離導出部１０５はシステム制御部１０１の制御の下、Ｓ３０１で取得された一対の撮像画像に基づいて撮像範囲の被写体距離を導出し、距離情報を構成する距離導出処理を実行する。

〈距離導出処理〉
ここで、本ステップの距離導出処理について、図４（ａ）のフローチャートを用いて詳細を説明する。

Ｓ４０１で、距離導出部１０５は、被写体距離の導出に用いる一対の撮像画像に対して、距離導出前の種々の補正処理を行う。より詳しくは、距離導出部１０５は、撮像光学系１１２のヴィネッティング等による、光電変換素子２０６ａ及びｂ間の受光量の偏りを低減する補正を行う。また距離導出部１０５はさらに、一対の撮像画像に含まれるノイズの影響を低減すべく、バンドパスフィルタを適用する。

Ｓ４０２で、距離導出部１０５は、一対の撮像画像に基づいて、各画素の被写体について像ずれ量を導出する。まず距離導出部１０５は、一対の撮像画像のうちの一方の画像（Ａ像）について、注目画素と該注目画素を中心とする基準領域を設定する。そして距離導出部１０５は、他方の画像（Ｂ像）について、参照画素と該参照画素を中心とする参照領域を順次設定し、基準領域と参照領域の画像の相関値を導出しながら、最も相関の高い参照画素の位置を特定する。相関値としては、公知の手法を用いることができ、例えば、基準領域内の画素値と参照領域内の画素値の差の二乗和を評価するＳＳＤと呼ばれる評価値を用いることができる。ＳＳＤでは、相違度を評価しており、評価値の値が小さいほど、相関度が高いことを示している。参照画素及び参照領域の設定は、瞳分割方向であるｘ方向に順次移動させながらなされるものであってよく、これにより距離導出部１０５は、Ａ像の注目画素と対応する被写体が、Ｂ像のいずれに撮像されているかを特定し、Ａ像とＢ像間での像ずれ量を導出する。

Ｓ４０３で、距離導出部１０５は、Ｓ４０２で導出した各画素の被写体の像ずれ量に基づいて、該被写体の被写体距離を導出する。ここで、像ずれ量からの被写体距離の導出は、既存の手法が用いられるものであってよい。例えば像ずれ量は、基線長を用いた幾何学的な関係に基づき、被写体のデフォーカス量に変換することができるため、デフォーカス量と撮像光学系１１２の結像関係を利用することで、被写体距離を導出することができる。

Ｓ４０４で、距離導出部１０５は、各画素について導出した被写体距離の情報を２次元情報として構成し、距離情報を生成してメモリ１０３に格納する。このように距離導出処理を実行して距離導出部１０５が距離情報を生成すると、システム制御部１０１は処理をＳ３０３に移す。

Ｓ３０３で、法線導出部１０６はシステム制御部１０１の制御の下、Ｓ３０２で生成された距離情報を用いて、対象被写体の面法線を示す法線情報を導出する法線導出処理を実行する。

〈法線導出処理〉
ここで、本ステップの法線導出処理について、図４（ｂ）のフローチャートを用いて詳細を説明する。

Ｓ４１１で、法線導出部１０６は、面法線の導出対象である対象被写体の像が存在する領域（対象領域）を設定する。本実施形態では簡単のため、ユーザが計測を所望する対象被写体は、画角中心近傍に配置されているものと想定し、法線導出部１０６は、画角中心に存在する所定の大きさの領域を対象領域として設定するものとする。

なお、本実施形態では画角中心近傍に配置されている被写体を対象被写体の像が存在する対象領域として設定するものとして説明するが、本発明の実施はこれに限られるものではない。対象領域の設定は、例えば表示部１０９に撮像画像が表示されている状態でなされた、なぞる等のタッチ操作入力やその他の領域指定の操作入力に基づいて行われるものであってよく、任意の領域が対象領域として選択可能であってよい。

Ｓ４１２で、法線導出部１０６は、対象領域に存在する被写体が構成する面を近似した平面を導出する。法線導出部１０６は、対象領域に含まれる画素をランダムサンプリングし（あるいは全て参照し、）、距離情報に基づいてこれら画素に存在する対象被写体の３次元座標を導出する。

ここで、距離情報に基づく３次元座標の導出は、図５に示される撮像光学系１１２を介した結像関係を考慮することで行われる。例えば、対象被写体のうちの点５１１の被写体像が、撮像素子１１１上の点５０１に結像されているとする。このとき、点５０１に係る画素について距離情報に格納される被写体距離は、撮像光学系１１２の主点から点５１１までの距離５１２を示している。また撮像光学系１１２の主点から撮像素子１１１の撮像面までの距離５０２は、撮像設定から判明する。結果、点５１１に係る対象被写体のｘ座標（ｘ軸方向の光軸１１４から距離５１３）は、結像関係式より、光学中心の像が結像する撮像素子１１１から点５０１までの距離５０３と、距離５０２と距離５１２の比を用いることで導出できる。ｙ軸方向についても同様に導出することができるため、結果、撮像光学系１１２の主点を原点とした座標系における、対象被写体に係る任意の点の３次元座標を導出することができる。

そして法線導出部１０６は、導出した３次元座標の分布を近似した平面を、最小二乗法により導出する。より詳しくは、法線導出部１０６は、対象領域の画素に係り導出した、対象被写体上に分布する点の３次元座標群の最小二乗平面を、対象領域に存在する被写体の近似平面として導出する。法線導出部１０６は、導出した近似平面の規定必要なパラメータの情報をメモリ１０３に格納する。

Ｓ４１３で、法線導出部１０６は、Ｓ４１２において導出した近似平面のうちの、対象被写体の任意の点との空間距離が所定の閾値よりも小さい点を含み、かつ、該点から連続している領域を、対象被写体の計測面として選択する。

Ｓ４１４で、法線導出部１０６は、Ｓ４１３において選択した計測面の法線を導出し、法線情報としてメモリ１０３に格納する。Ｓ４１２において導出した近似平面は、平面の方程式（ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０）で表すことができるため、法線導出部１０６は、該方程式の係数に基づいて計測面の法線を導出できる。このように法線導出処理を実行して法線導出部１０６が法線情報を格納すると、システム制御部１０１は処理をＳ３０４に移す。

Ｓ３０４で、方向導出部１０７はシステム制御部１０１の制御の下、Ｓ３０３で導出された計測面の法線に基づき、対象被写体の計測に適切な方向から撮像が行われているか否かを判断する。ここで、対象被写体の計測に適切な方向とは、計測面に対してデジタルカメラ１００が正対している方向、即ち、計測面上の点がある被写体距離近傍に一様に分布している状態で撮像が行われている方向である。故に本ステップの判断は、Ｓ３０３において導出された計測面の法線と光軸１１４とがなす角度が、同一であるものとして判断する所定の角度より小さいか否かに応じて行われる。方向導出部１０７は、対象被写体の計測に適切な方向から撮像が行われていると判断した場合は処理をＳ３０６に移す。また方向導出部１０７は、対象被写体の計測に適切な方向から撮像が行われていないと判断した場合は、該適切な方向の情報、または該適切な方向にするためのデジタルカメラ１００の姿勢変更の情報をメモリ１０３に格納し、処理をＳ３０５に移す。

Ｓ３０５で、システム制御部１０１は、対象被写体の計測に適切な方向への撮像方向の変更を案内する通知を構成し、表示部１０９に伝送して撮像画像に重畳して提示させる。上述したように対象被写体の計測に適切な方向は、計測面の法線と光軸のなす角度が小さくなる方向である。本ステップにおいて表示部１０９には、デジタルカメラ１００の移動もしくは姿勢変更を促すべく、図６に示されるような表示態様の通知で案内を行うものであってよい。

ここで、撮像画像において、対象被写体６００が図６（ａ）に示されるようにデジタルカメラ１００と正対していない状態で撮像され、計測面の法線６０１が光軸１１４方向に向いていない状態について、上記通知の表示態様を例示する。通知は、図６（ｂ）に示されるように、デジタルカメラ１００の撮像方向を対象被写体６００の計測に適切な方向とするための、デジタルカメラ１００の移動方向６０２を撮像画像に重畳して提示する態様であってもよい。また通知は、図６（ｃ）に示されるように、対象被写体の計測面の傾斜状況を示す、傾斜に応じて変化するグリッド６０３を重畳して提示する態様であってもよい。このとき、グリッド６０３は、計測面を３次元的に示すＧＵＩであり、正対している状態に近いほど長方形状で表示されるため、ユーザはグリッド６０３の歪みに応じて、正対しているか否か、及び正対させるための移動方向を把握することができる。この他通知は、図６（ｄ）に示されるように、計測面の法線６０１そのものを３次元ベクトルの態様で重畳して提示するものであってもよい。

なお、重畳の対象となる撮像画像は、Ｓ３０１において取得された一対の撮像画像のいずれかを用いるものであってよい。あるいは、一対の撮像画像を合成することで生成される、即ち各画素で光電変換素子２０６ａ及びｂの出力を合算した、瞳分割をしない状態で撮像したものと等価な画像を用いるものであってもよい。

また、図６においては、単に撮像画像に所定の通知を重畳したものを表示する態様について説明したが、本発明の実施はこれに限られるものではない。対象被写体の撮像状況が計測に適切な方向からなされていない状態である旨を、よりわかりやすくユーザに通知すべく、適切な方向からの乖離度を、これらＧＵＩの色や太さ等、表示態様を異ならせるよう構成してもよい。

システム制御部１０１は、このような提示を行った後、撮像方向の変更がなされて再度の撮像指示に係る操作入力がなされたことをもって、処理をＳ３０１に戻す。

一方、Ｓ３０４において対象被写体の計測に適切な方向から撮像が行われていると判断された場合、システム制御部１０１はＳ３０６で、撮像画像を表示部１０９に表示させた状態で保持する。そして、システム制御部１０１は、対象被写体の面において寸法を計測する対象である２つの計測点の指示に係る操作入力を受け付ける。該操作入力は、例えば表示部１０９へのタッチ操作に基づいてなされるものであってもよい。システム制御部１０１は、２つの計測点の指示がなされたと判断すると、該計測点の情報をメモリ１０３に格納し、処理をＳ３０７に移す。このとき、計測点が支持されると、システム制御部１０１は図７に示されるように、撮像画像に対して計測点７０１を重畳した画像を表示させるよう、表示部１０９の画面遷移を制御してもよい。

Ｓ３０７で、計測部１０８はシステム制御部１０１の制御の下、Ｓ３０６において指示された２つの計測点について、２点間の寸法（長さ）を計測する。より詳しくは、計測部１０８は、距離情報に基づく計測面までの距離、撮像光学系１１２の横倍率、及び撮像画像上の各計測点の座標に基づいて、２つの計測点間の寸法（空間距離）を計測すればよい。あるいは、計測部１０８は、まず距離情報に基づいて各計測点の３次元座標を導出し、該座標値に基づいて２つの計測点間の寸法を計測するものであってもよい。そして計測部１０８は、計測により得られた寸法の情報を計測結果としてメモリ１０３に格納して本計測処理を完了する。

このようにすることで、対象被写体について撮像画像に基づく計測を行う場合に、計測面が正対しておらずに計測精度が低下し得る状態を回避し、好適な状態で計測を行うよう構成することができる。

なお、本実施形態の法線導出処理では、Ｓ４１２において単純に対象領域に含まれる被写体の３次元座標分布に基づいて近似平面を導出するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、対象領域に複数の面が存在し得ることも踏まえ、このうち計測対象とすべき被写体のみに基づいて、適切な近似平面を導出するようにしてもよい。より詳しくは、法線導出部１０６は、平面近似を行った後に、対象領域に含まれる画素のうち、該近似平面と被写体距離が所定の範囲を超えて乖離する画素を対象領域から除外し、除外後の対象領域の画素に係り再度近似平面を導出するよう構成してもよい。このような処理は、再帰的に行われるよう構成されていてもよく、所定の回数、あるいは近似平面と所定の範囲を超えて乖離する画素の数が閾値以下となるまで等、繰り返し行われるものとしてよい。

この他、対象領域を複数の小領域に分割し、Ｓ４１２で導出された近似平面からの距離が所定の値よりも大きい領域と小さい領域とでこれらを分類することで、対象領域を複数の小領域に分割してもよい。この場合、計測面は小領域のうちからユーザに選択させるものとしてよい。

また、本実施形態では、対象被写体の計測に適切な方向の通知及び計測結果の提示を表示部１０９を用いて行うものとして説明したが、ユーザにこれらの情報を通知する態様は、表示部１０９への情報表示に限られるものである必要はない。

また、本実施形態では計測処理のＳ３０４において、対象被写体の計測に適切な方向から撮像が行われていないと判断した場合にのみ、撮像方向変更に係る通知を行うものとして説明したが、本発明の実施はこれに限られるものではない。現在のデジタルカメラ１００の撮像方向を示す通知については、計測に係り変更が必要であるか否かに依らず通知がなされるものであってもよい。態様はるか否かを判断する。即ち、計測に適切な方向から撮像が行われている場合に、撮像方向を変更する必要がない旨の通知を行うものとしてもよい。

また、本実施形態では、撮像素子１１１を瞳分割して記録可能な構成とすることで、距離情報を取得する態様について説明したが、距離情報の取得態様はこれに限られるものではない。例えば、１つの撮像素子１１１で瞳分割した画像を記録可能な構成するのではなく、１つのデジタルカメラ１００内に、もしくは複数のデジタルカメラ１００に設けられた複数の撮像素子１１１を用いることで、一対の撮像画像を取得する構成としてもよい。また例えば、発光部から放射した光が、対象被写体にて反射されて、撮像素子１１１に届くまでの時間を、光の速度を用いて距離情報に換算するTime of Flight方式を用いて、距離情報を取得する構成としてもよい。

［変形例］
上述した実施形態では、対象被写体の計測に適切な方向から撮像が行われていないと判断された場合に、デジタルカメラ１００の撮影方向の変更を促す通知を行うものとして説明した。一方で、撮像環境によっては、現実空間に存在する障害物等により、好適な撮像方向となるようデジタルカメラ１００を移動させることが困難であったり、照度条件が変化することによって距離情報の導出精度自体が低下したりする可能性もある。

このため、例えば計測処理のＳ３０４において対象被写体の計測に適切な方向から撮像が行われていないと判断され、Ｓ３０５で該方向への変更を案内する通知を提示する際に、所定の入力がなされたことに応じて、変更を要さずとも計測可能に構成してもよい。より詳しくは、計測に適切な方向と異なる方向から撮像が行われていたとしても、所定の入力がなされた場合には、計測部１０８は、撮像画像を例えばアフィン変換することで、計測面がデジタルカメラ１００と正対している状態の画像を生成すればよい。そして、計測部１０８は、変換により生成された画像と、該変換を考慮した計測面の距離及び撮像光学系１１２の横倍率に基づいて、２つの計測点間の距離を導出すればよい。このようにすることで、撮像方向の変更を要さずとも、計測面がデジタルカメラ１００と正対していない状態における計測精度の低下度合いを軽減することができる。

なお、このような変換を用いて擬似的に計測を行う処理は、所定の入力がなされたことに応じて行われるのではなく、撮像方向の変更を促す通知を行うモードとは異なる、計測のモードとして予め用意されているものであってもよい。また、該擬似的に計測を行う処理におけるアフィン変換の適用は撮像画像に限られるものではなく、撮像画像及び距離情報の少なくともいずれかに対して適用されるものであってよく、計測部１０８は、変換後の情報に基づいて計測を行えばよい。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０１：システム制御部、１０２：記録媒体、１０３：メモリ、１０４：撮像部、１０５：距離導出部、１０６：法線導出部、１０７：方向導出部、１０８：計測部、１０９：表示部、１１０：操作入力部、１１１：撮像素子、１１２：撮像光学系、１１３：射出瞳、１１４：光軸

Claims (19)

1. 計測対象である対象被写体について、所定の項目に係る計測を行う計測装置であって、
   前記対象被写体を含む撮像範囲を撮像して得られた撮像画像について、該撮像を行った撮像装置からの被写体距離の分布を示した距離情報と、少なくとも前記対象被写体の面の法線を示す法線情報と、を取得する取得手段と、
   前記取得手段により取得された前記法線情報に基づいて、前記所定の項目の計測を行うための前記撮像装置の撮像方向を示す通知を提示する提示手段と、
   を有することを特徴とする計測装置。
2. 前記法線情報に基づいて前記所定の項目の計測を行うか否かを判断する判断手段をさらに有し、
   前記提示手段は、前記判断手段により前記所定の項目の計測を行わないと判断された場合に、前記撮像装置の撮像方向を示す通知を提示する
   ことを特徴とする請求項１に記載の計測装置。
3. 前記判断手段は、前記対象被写体の面の法線と前記撮像装置の撮像光学系の光軸とがなす角度に基づいて、前記所定の項目の計測を行うか否かを判断することを特徴とする請求項２に記載の計測装置。
4. 前記判断手段は、前記対象被写体の面の法線と前記撮像装置の撮像光学系の光軸とがなす角度が所定の範囲に収まる場合に、前記所定の項目を計測すると判断することを特徴とする請求項３に記載の計測装置。
5. 前記判断手段は、前記撮像を行った際の前記撮像装置の状態が、前記対象被写体の面と正対しているとみなす状態であると判断した場合に、前記所定の項目を計測すると判断することを特徴とする請求項２乃至４のいずれか１項に記載の計測装置。
6. 前記提示手段によって提示される通知は、前記判断手段により前記所定の項目の計測を行うと判断される撮像方向への変更を促す通知であることを特徴とする請求項２乃至５のいずれか１項に記載の計測装置。
7. 前記提示手段によって提示される通知は、前記判断手段により前記所定の項目の計測を行うと判断される撮像方向への移動方向を含むことを特徴とする請求項６に記載の計測装置。
8. 前記提示手段によって提示される通知は、前記対象被写体の面及び該面の法線の少なくともいずれかを、重畳した前記撮像画像の表示を含むことを特徴とする請求項６に記載の計測装置。
9. 前記提示手段によって提示される通知は、前記判断手段により前記所定の項目の計測を行うと判断される撮像方向との乖離度を含むことを特徴とする請求項６乃至８のいずれか１項に記載の計測装置。
10. 前記判断手段により前記所定の項目の計測を行うと判断された場合に、前記取得手段により取得された前記距離情報に基づいて、前記所定の項目を計測する計測手段をさらに有することを特徴とする請求項２乃至９のいずれか１項に記載の計測装置。
11. 前記判断手段により前記所定の項目の計測を行わないと判断された場合に、前記撮像装置の撮像方向の変更を行わずに計測を行う旨の指示を受け付ける入力手段と、
    前記入力手段により前記撮像装置の撮像方向の変更を行わずに計測を行う旨の指示が受け付けられた場合に、前記撮像画像及び前記距離情報の少なくともいずれかを、前記所定の項目の計測を行うと判断される状態に変換する変換手段と、
    をさらに有し、
    前記計測手段は、前記判断手段により前記所定の項目の計測を行わないと判断され、かつ、前記撮像装置の撮像方向の変更を行わずに計測を行う旨の指示が受け付けられた場合に、前記変換手段による変換後の情報に基づいて、前記所定の項目の計測を行う
    ことを特徴とする請求項１０に記載の計測装置。
12. 前記距離情報に基づいて前記法線情報を構成する第１の構成手段をさらに有し、
    前記取得手段は、前記第１の構成手段により構成された前記法線情報を取得する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の計測装置。
13. 前記第１の構成手段は、前記距離情報のうちの、前記対象被写体に対応する領域の被写体距離の分布から近似平面を導出し、該近似平面の法線を、前記対象被写体の面の法線として前記法線情報を構成することを特徴とする請求項１２に記載の計測装置。
14. 前記計測装置は、前記撮像装置を含むものであり、
    前記撮像装置は、異なる複数の視点から前記対象被写体を撮像した一対の撮像画像を出力する出力手段を有し、
    前記計測装置は、前記出力手段により出力された前記一対の撮像画像に基づいて、前記距離情報を構成する第２の構成手段をさらに有し、
    前記取得手段は、前記第２の構成手段により構成された前記距離情報を取得する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の計測装置。
15. 前記撮像画像に撮像された被写体のうちから前記対象被写体を選択する選択手段をさらに有することを特徴とする請求項１乃至１４のいずれか１項に記載の計測装置。
16. 前記所定の項目は、前記対象被写体の面における、設定された計測点間の寸法、該面の外周距離、及び設定された領域の面積の少なくともいずれかを含むことを特徴とする請求項１乃至１５のいずれか１項に記載の計測装置。
17. 計測対象である対象被写体について、所定の項目に係る計測を行う撮像装置であって、
    異なる複数の視点から前記対象被写体を含む撮像範囲を撮像して、一対の撮像画像を出力する撮像手段と、
    前記一対の撮像画像に基づいて、前記撮像範囲の被写体について前記撮像装置からの被写体距離の分布を示した距離情報と、少なくとも前記対象被写体の面の法線を示す法線情報と、を生成する生成手段と、
    前記生成手段により生成された前記法線情報に基づいて、前記所定の項目の計測を行うための前記撮像装置の撮像方向を示す通知を提示する提示手段と、
    を有することを特徴とする撮像装置。
18. 計測対象である対象被写体について、所定の項目に係る計測を行う計測装置の制御方法であって、
    前記対象被写体を含む撮像範囲を撮像して得られた撮像画像について、該撮像を行った撮像装置からの被写体距離の分布を示した距離情報と、少なくとも前記対象被写体の面の法線を示す法線情報と、を取得する取得工程と、
    前記取得工程において取得された前記法線情報に基づいて、前記所定の項目の計測を行うための前記撮像装置の撮像方向を示す通知を提示する提示工程と、
    を有することを特徴とする計測装置の制御方法。
19. コンピュータを、請求項１乃至１６のいずれか１項に記載の計測装置の各手段として機能させるためのプログラム。

Images