JPH1042273A - 三次元位置認識利用システム - Google Patents

Abstract

(57)【要約】 【課題】 奥行きを高い精度で自動的に求めた上でこれ
を利用する技術が殆どない。 【解決手段】 入力映像から、被写体の画面上の動き情
報を抽出する（工程１）。このとき、ブロックマッチン
グ等の手法を使う。つづいて三次元空間における被写体
の現実の動きを算出する（工程２）。入力映像はもとの
三次元的な動きの投影であるから、複数の代表点の動き
から三次元表示の動きが逆変換によって求められる。こ
の結果、被写体の座標が判明するため、被写体の奥行き
情報が獲得できる（工程３）。この奥行きを用いて、各
種システムを構築する（工程４）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は物体の三次元位置
認識利用システム、特に、単眼カメラから撮影された二
次元画像またはステレオカメラから撮影された三次元画
像に写し出された被写体の三次元位置を認識し、これを
利用する各種システムに関する。

【０００２】

【従来の技術】テレビジョン技術分野においては、従来
より二次元画像の奥行きをもとに三次元画像、すなわち
疑似立体画像を生成する技術が知られている。この例と
して、特公昭５５−３６２４０号公報には、外部から与
えられた奥行き情報を用いた立体画像表示装置が開示さ
れている。また、雑誌ＰＩＸＥＬ（Ｎｏ．１２８）（１
９９３年５月１日発行）の９７〜１０２ページには、奥
行き情報を利用した疑似立体画像システムが提案されて
いる。さらに、特表平４−５０４３３３号公報（ＷＯ８
８／０４８０４）にも同様に、奥行き情報を利用して疑
似立体視を実現する方法が開示されている。

【０００３】また、フレーム間の対応関係の把握から奥
行き情報を生成するアイデア自体も既知である。例え
ば、特開平７−７１９４０号公報で「従来の技術」とし
て、（１）ステレオカメラで撮影された２つの画像間
で、点や線の対応付けを行い、実際のシーン空間（三次
元空間）における点や線の位置を推定する技術、（２）
カメラを移動しながら被写体を連続的に撮影し、画像上
の特徴点を追跡することで、各特徴点のシーン空間にお
ける実際の位置を推定する技術、の存在が指摘されてい
る。

【０００４】

【発明が解決しようとする課題】このように、奥行き情
報を用いて疑似立体画像を生成する技術自体は知られて
いるが、奥行き情報を疑似立体画像の生成以外の画像処
理のために利用する提案はあまりない。

【０００５】そこで本発明の目的は、まず二次元動画像
（すなわち単眼カメラから撮影した動画像）、または三
次元画像（すなわちステレオカメラから撮影した画像）
から物体、すなわち被写体の奥行きを正確に求める技術
を提案したうえで、この奥行き情報を有効利用する各種
三次元位置認識利用システムを提供することにある。

【０００６】

【課題を解決するための手段】

（１）本発明の三次元位置認識利用システムは、物体の
三次元位置を認識して利用するシステムであって、撮影
された物体の奥行きを抽出する抽出手段を備え、抽出さ
れた奥行きをもとに警備を行う。

【０００７】この構成によれば、物体が撮影されたと
き、抽出手段によってその物体の奥行きが抽出される。
抽出手段はハードウエア的、ソフトウエア的、それらの
混合など、いずれの態様で構成してもよい。「抽出」と
は、検出、算出などの概念を含み、奥行きを認識または
特定することをいう。物体の奥行きが判明すれば、その
物体の動きもわかるため、これを警備に用いる。

【０００８】（２）（１）のときさらに、物体が近づい
たときに所定の処理を行うことにしてもよい。所定の処
理の例として、その物体を拡大して撮影したり、警備関
係者に警告を発したり、警備区域の照明を明るくした
り、警備に関連する処理であればどのような処理をなし
てもよい。

【０００９】（３）本発明の別のシステムでは、抽出さ
れた奥行きをもとにコンピュータビジョン技術における
セグメント・マッチングのための前処理が行われる。
「セグメント・マッチング」とは領域の対応関係を把握
するため、領域の持つ何らかの特徴に着目して行う画像
対比処理をいう。「前処理」とは、セグメント・マッチ
ングを円滑に行うための準備をいう。

【００１０】（４）（３）のときさらに、前記前処理
は、物体の奥行きを利用してセグメント・マッチングに
おける探索エリアを狭める処理であってもよい。すなわ
ち、セグメント・マッチングでは、２つのフレーム間で
対応しあう画像領域を発見しようとするが、この際、予
め対応しそうな領域を奥行きから推測することができ
る。この推測により、対応関係を探索すべきエリアの絞
り込みを行う。

【００１１】（５）本発明の別のシステムでは、抽出さ
れた奥行きをもとにユーザからの指示が認識され、これ
が受け付けられる。ユーザの指示は何らかの動作を伴う
と考えられるため、この動作が起きている箇所の奥行き
をもとに指示の内容を特定しようというものである。

【００１２】（６）（５）のときさらに、撮影された物
体のうち最も奥行きの小さな箇所の動きをユーザの指示
と判断してこれを受け付けてもよい。

【００１３】（７）本発明のさらに別のシステムでは、
抽出された奥行きをもとに疑似立体画像の表示制御が行
われる。表示制御の例として疑似立体画像が正しく知覚
される位置の調整がある。

【００１４】（８）（７）のときさらに、撮影された物
体の位置に疑似立体画像の観視者が存在すると判断し、
この位置にて疑似立体画像が良好に表示されるよう表示
位置制御を行ってもよい。特に、観視者の頭の位置を前
記奥行きとともに輪郭検出等の画像処理技術と組み合わ
せて特定すれば、その頭の位置で疑似立体画像が最も効
果的に表示されるよう制御することも可能である。

【００１５】

【発明の実施の形態】本発明の好適な実施形態を適宜図
面を参照しながら説明する。

【００１６】実施形態１では、単眼カメラから撮影され
た二次元動画像から奥行き情報を抽出し、これを警備シ
ステムの距離センサとして利用する技術を説明する。

【００１７】実施形態２では、多眼カメラ、すなわちス
テレオカメラによる映像をもとに実施形態１同様の処理
を行う。実施形態３〜５では、それぞれ実施形態１また
は２同様に奥行き情報を抽出し、これをそれぞれ、コン
ピュータビジョン、コンピュータシステムのユーザイン
タフェイス、疑似立体表示の制御に利用する。

【００１８】実施形態１．本実施形態ではまず、コンピ
ュータビジョンにおける手法をテレビジョン分野をはじ
めとする画像処理分野に応用し、奥行き情報に基づく正
しい立体画像を生成する技術を説明する。

【００１９】本実施形態では、二次元動画像の動きを検
出し、この動きからその動画像のシーンと撮影視点との
三次元運動を算出し、この相対的な三次元運動と画像各
部位の動きをもとに、前記撮影視点から画像各部位まで
の相対距離を算出することによって、奥行き情報を導出
する。

【００２０】この技術を別の表現でいえば、処理の対象
となる二次元動画像から複数の映像フレーム（以下単に
「フレーム」ともいう）を選択し、これらのフレーム間
における二次元的な位置の変位から映像各部位が現実の
三次元空間において占める相対位置関係を導出し、その
結果に従って奥行きを決定する。すなわち、前記二次元
的な位置の変位から前記映像各部位の三次元的な動きを
算出し、この動きから三角測量の原理によって前記映像
各部位の三次元空間における位置座標を算出し、その結
果に従って奥行きを決定する。ここで「フレーム」と
は、１つの画像処理単位であり、例えばＭＰＥＧでいう
フレームピクチャやフィールドピクチャを含む概念であ
る。

【００２１】二次元動画像の場合、前記「複数の映像フ
レーム」は、異なる時刻に撮影されたフレームであるか
ら以降これを「異時刻フレーム」と呼び、後述の多眼カ
メラによって同時に撮影された複数フレーム、すなわち
「同時刻フレーム」と区別する。「二次元的な位置の変
位」とは、フレーム平面上における位置の変位をいう。
実施形態１では、異時刻フレームが問題になるため、
「二次元的な位置の変位」は、時間経過に伴う位置の変
化、すなわち動きを指す。なお後述の同時刻フレームの
場合は、「二次元的な位置の変位」が複数フレーム間の
位置のずれを指すことに注意すべきである。

【００２２】図１は本実施形態によって三次元表示画像
を生成するための主な工程を示す図である。本実施形態
は以下の工程に従って元となる二次元映像から奥行き情
報を抽出し、これを利用する。ここで工程１〜３が映像
の解析による奥行き情報の抽出、工程４がその利用、特
に実施形態１では警備システムへの利用に関するもので
ある。まず各工程の概略を説明する。

【００２３】［工程１］二次元動き情報の抽出 映像に含まれる被写体の動き情報を抽出する。この動き
情報は二次元情報である。表示画面を座標平面上にと
り、被写体のこの画面上の動きを二次元座標で記述す
る。

【００２４】本工程では、被写体の動きの把握のために
映像フレーム間の対応関係を検出する。基準フレームで
ある時刻ｔの映像フレーム（以降「フレームｔ」とい
う）に予め複数の代表点を設定しておき、別の時刻ｔ'
の対象フレーム（以降「フレームｔ' 」という）におけ
る前記各代表点の対応点を追跡する。フレームｔとｔ'
は異時刻フレームを形成するが、これらは時間的に隣接
するフレームである必要はない。また本工程の特徴は、
被写体の水平方向のみならず、任意の方向の動きから二
次元動き情報を抽出できる点にある。本明細書では、以
降 ｔ、ｔ' がそれぞれ時刻を示す。

【００２５】本明細書では以降「フレーム」といえば、
フィールドなど広く映像構成単位全般を指すものとし、
例えば５２５本の走査線によって構成されるテレビ受像
器の１フレームや、６４０×４８０画素によって構成さ
れるパーソナルコンピュータの一画面のみを指すもので
はない。また、代表点はフレームｔのみならず、フレー
ムｔ、ｔ' の両方に設定してもよい。

【００２６】［工程２］三次元動き情報の算出 被写体の二次元的な動きが判明すれば、この被写体の三
次元空間における現実の動き情報（以下、三次元動き情
報ともいう）を算出する。この際、代表点と対応点の組
を多数とることにより、被写体が実際に起こす動きを並
進および回転の両運動成分によって記述する。

【００２７】［工程３］奥行き情報の獲得 被写体の現実の動きの様子がわかれば、各時刻における
被写体の相対位置関係が判明する。この関係がわかれば
被写体またはその各部位（以降単に「映像各部位」とも
いう）の奥行き情報が求められる。

【００２８】［工程４］奥行き情報の利用 奥行き情報をもとに警備システムを構築する。例えば、
ある場所に対して一定の距離以内に近づいてくる物体が
あれば、警告を発するなどの処理を行う。

【００２９】以上が概略である。以降、各工程を詳述す
る。

【００３０】［工程１］二次元動き情報の抽出 図２は映像フレーム間の対応関係を検出するためのフロ
ーチャートである。同図に示す各ステップを説明する。

【００３１】（Ｓ１０）フレームｔに代表点を設定 図３に示すように、まず基準フレームｔに代表点を設定
する。同図では、フレームｔを８×８画素ごとにメッシ
ュによって分割し、各代表点を格子点に置いている。こ
こでは左からｉ番目、上からｊ番目の代表点をＰt
（ｉ, ｊ）と記述し、Ｐt （ｉ, ｊ）に対する時刻ｔ'
の対応点をＰt'（ｉ, ｊ）と記述する。また、必要に応
じてＰt （ｉ, ｊ）のｘ、ｙ座標をそれぞれ、Ｐt
（ｉ, ｊ）x 、Ｐt （ｉ, ｊ）y と記述する。

【００３２】なお本ステップにおいて、代表点は格子点
に限らず任意の箇所に配置してもよい。極端な場合は全
画素を代表点とすることもできる。

【００３３】（Ｓ１１）対応点候補領域の設定 例えば図３に示すＰt （６, ４）という代表点を考えた
場合、Ｐt'（６, ４）の存在しうる領域を予め設定す
る。これは映像の動きがある限度以上に急激な場合を除
き、Ｐt'（６, ４）がＰt （６, ４）の近傍にあるとい
う仮定に基づく。本実施形態では、例えばＰt （６,
４）の近傍１００×６０画素の領域にＰt'（６, ４）が
入るものとし、Ｐt'（６, ４）の検出の際の計算量を削
減する。

【００３４】本ステップについては以下の応用が可能で
ある。

【００３５】１．映像が比較的激しく動いているときは
フレームｔ、ｔ' が隣接するようにｔ' を決める。代表
点の位置変化は最小に抑制され、対応点が前記領域に入
らないおそれも最小となる。ただし当然ながら、予め候
補領域を画面全体とする方法も考えられる。その場合、
計算量が増加するが、映像の大きな動きによって対応点
を取り逃すおそれは減る。

【００３６】２．本実施形態では単にＰt'（６, ４）が
Ｐt （６, ４）の近傍にあると仮定したが、いったんＰ
t （６, ４）の複数フレームにおける移動軌跡が判明し
たときは、この軌跡の延長線上に候補領域を決めること
も可能である。映像の動きがある程度一定している場
合、この方法による対応点候補領域の絞り込みは非常に
有効である。

【００３７】（Ｓ１２）対応点候補領域における非類似
度の計算 つづいて、候補領域から対応点の位置を具体的に決めて
いく。ただし本ステップでは、前ステップとは逆に、映
像の動きが緩慢過ぎる場合に問題が生じる。動きが少な
いと動き情報の抽出が困難になり、抽出された情報が大
きな誤差を含む可能性があるためである。

【００３８】そこでこのようなときには、予めフレーム
ｔ、ｔ' がある程度離れるようｔ' を選択する。この
際、映像各部位の変化量を統計的に処理し、例えば変化
の大きさまたは変化量の分散が所定値を超えるような
ｔ' を選択すればよい。この他の方法として、所定数以
上の特徴点（後述）の動きの総和が所定値を超えるよう
なｔ’、または特徴点の動きの分散が所定値を超えるよ
うなｔ’を選択してもよい。

【００３９】本ステップでは、対応点の位置を決めるべ
く、フレームｔ、ｔ' 間でブロックマッチングによる非
類似度の計算を行う。前記対応点候補領域内のある点を
中心とする近傍ブロックと代表点の近傍ブロックとの間
で濃度の２乗誤差の総和、すなわち非類似度を求め、こ
れが最小になる点を計算上の対応点と決める。

【００４０】図４はブロックマッチングの様子を示す図
で、本実施形態では９画素で１ブロックと定義し、中央
の画素を代表点とする。

【００４１】同図において、まずフレームｔ上にＰt
（ｉ, ｊ）を含むブロック１を取り、フレームｔ' 側で
は対応点の仮の候補Ｐt'（ｉ, ｊ）を含むブロック２を
取る。ここで一般に、画素（ｘ, ｙ）の時刻ｔにおける
画素値をＩt （ｘ, ｙ）と記述すれば、非類似度（Ｅ１
とする）は、

【数１】 Ｅ1=ΣΣ｛It(Pt(i,j)x+u,Pt(i,j)y+v)-It'(Pt'(i,j)x+u,Pt'(i,j)y+v)｝² （式１） によって求められる。ここで２つのΣはｕ、ｖに関す
る。これらはそれぞれ、 ｕ＝−１，０，１ ｖ＝−１，０，１ の値を取り、仮のＰt'（ｉ, ｊ）に対して合計９画素に
関する２乗誤差総和が計算できる。そこでＰt'（ｉ,
ｊ）を候補領域内で少しずつ動かしていき、Ｅ１が最小
になる点を対応点と決めればよい。

【００４２】図５はＰt'（ｉ, ｊ）ごとにＥ１の値を縦
方向に表した模式図であり、同図の場合、非類似度が急
峻なピークをとる点Ｑが対応点と決まる。以降、同様に
他の代表点についても対応点を決めていく。

【００４３】なお、本ステップには以下の応用または変
形がある。

【００４４】１．ここでは濃淡画像を前提に、濃度の２
乗誤差を計算したが、カラー画像の場合、ＲＧＢ各濃度
の２乗誤差の総和、すなわちＥ１_R ＋Ｅ１_G ＋Ｅ１_B を
非類似度としてもよい。これは他の色空間による濃度、
例えばＨＶＣ濃度であってもよい。２乗誤差の代わりに
単なる誤差の絶対値、すなわち残差の総和を採用しても
よい。２．本ステップでは１ブロックを９画素とした
が、通常はある程度多数の画素によってブロックを定義
することが望ましい。例えば通常のパーソナルコンピュ
ータまたはワークステーションの高解像度画面を想定す
る場合、実験の結果、１６×１６画素程度のブロックに
よって良好な結果が得られている。

【００４５】（Ｓ１３）対応点の初期位置の決定 前ステップにより、一応は対応点を求めることができ
た。しかしこの段階では対応点の位置が正しいとは限ら
ない。被写体の境界やエッジについては対応点が比較的
正しく求まるものの、例えば変化の乏しい映像部位で
は、対応点の位置は相当誤差を含んでいるとみるべきで
ある。図５でいえばＥ１が明確なピークをとらない状態
といってよい。図６は前ステップの結果求められた対応
点と代表点の関係を示す図で、同図に示すごとく、家や
木、特にそれらの輪郭等の特徴的な点については対応点
が良好に求まるが、空や地面については誤差が大きい。

【００４６】そこで本ステップと次ステップにより、対
応点の位置補正を行う。本ステップでは、まず対応点の
初期位置という概念を導入し、実際にその初期位置を決
める。つづいて、次ステップで繰り返し計算による位置
精度の改善を図る。

【００４７】本ステップにおける対応点初期位置の決定
には以下の方針が考えられる。

【００４８】１．前ステップで求められた全対応点を同
等に扱う 全対応点の位置をそのままそれらの初期位置として次ス
テップへ投入する。

【００４９】２．対応点の扱いに差異を設ける 当初よりある程度正しい位置にあると思われる対応点
（以降「特徴点」という）の位置はそのまま初期位置と
して使い、そうでない対応点（以降「非特徴点」とい
う）の初期位置については、前記特徴点のそれをもとに
決めるというものである。ここで特徴点としては以下の
点を想定することができるが、これらの点は現実には一
致することも多い。なお、これらの対応点に対応するも
との代表点も、本明細書では特徴点とよぶことにする。

【００５０】（１）前ステップのＥ１が明確なピークを
示した対応点 このような対応点の位置精度は一般に高いためである。

【００５１】（２）直交エッジ成分が多く存在する箇所
にある対応点 建物の角などの部分では対応点の位置がかなり正しいと
思われるためである。 （３）フレームｔ、ｔ' 、・・・において位置が安定的
に変化している対応点 ここで変化の安定性は、動きベクトルの一定性というこ
とができる。ここでは、フレームの進行に伴って移動方
向、移動距離が一定な対応点を選ぶ。具体的には、例え
ば動きベクトルのばらつきが所定値以下の対応点を選定
する。こうした対応点は的確に追跡されているはずであ
り、代表点と正しい対応関係にあると判断できるためで
ある。ただし、例えば映像を撮影するカメラが不規則に
動いた場合には、その影響を加味して判断する。

【００５２】こうして特徴点が選定されれば、これらは
そのまま初期位置として使い、非特徴点の初期位置は特
徴点の位置を補間したり、または特徴点の近傍から順に
決めていくことができる。すなわち、前ステップによる
非特徴点の位置精度は低いため、精度の高い特徴点から
幾何的に非特徴点の初期位置を与えるのである。なお当
然ながら、（３）の特徴点を見つける場合にも前ステッ
プの方法を有効利用できる。

【００５３】以上、特徴点の選定に基づいた対応点初期
位置の決定方法を述べたが、この他、動的計画法（ダイ
ナミック・プログラミング）を用いて対応点の初期値を
求めてもよい。

【００５４】（Ｓ１４）対応点の改善処理 対応点の位置の妥当性を評価するために式を導入し、繰
り返し計算によって位置精度を改善する。Ｓ１２ステッ
プでは非類似度を評価する式１を導入したが、ここでは
さらに、対応点間の相対位置関係の妥当性を評価する式
を導入し、これら２つの評価結果を統合して位置の改善
を図る。

【００５５】図７は相対位置を評価する原理を説明する
図である。同図において、各点はそれぞれ対応点を表し
ている。このうち、図中のＰt'（ｉ, ｊ）を中心に考え
ると、これには以下の４つの対応点、

【数２】Ｐt'（i-1,j ）、Ｐt'（i+1,j ）、Ｐt'（i,j-
1 ）、Ｐt'（i,j+1 ） が隣接している。Ｐt'（ｉ, ｊ）は通常、これら４つの
点の重心付近に存在すると考えるのが妥当である。これ
は、映像各部位が動いても画素単位の微視的な見方をす
れば相対位置関係がほぼ保たれるという経験則に基づい
ている。なお、この性質を数学的にいえば、（ｉ, ｊ）
の関数Ｐt'（ｉ, ｊ）の２次微分がほぼ０であるという
ことにほかならない。

【００５６】従って上記４点の重心を（St'(i,j)x ，S
t'(i,j)y ）と表記すれば、

【数３】 Ｅ２＝｛Pt'(i,j)x-St'(i,j)x ｝² ＋｛Pt'(i,j)y-St'(i,j)y ｝² （式２） が相対位置の妥当性評価式となる。この式だけを考えれ
ば、Ｅ２が最小値になるときに対応点の位置が最も望ま
しい状態となる。

【００５７】本ステップでは、式１および式２の評価結
果を適当な結合定数ｋで加算し、 Ｅ＝Ｅ１／Ｎ＋ｋ・Ｅ２ （式３） で表されるＥを最終的な評価式とする（Ｎはブロックマ
ッチングの際に定義された１つのブロックに含まれる画
素数である）。すなわち、まず各対応点についてＥを計
算し、続いて全対応点のＥの総和ΣＥを計算し、ΣＥが
最小値となるよう、各対応点の位置をすこしずつ変化さ
せる。ΣＥの値が収束するか、または繰り返し計算を所
定の上限回数に達するまで行い、改善処理を施す。より
具体的には、各対応点の位置を変化させるとき、以下の
いずれかの方法を実施すればよい。

【００５８】（１）オイラー方程式を解く方法 ΣＥが極値、ここでは極小値をとる条件を示すオイラー
方程式を数値的に解くことによって対応点を得る。この
手法自体は既知である。これは、各代表点を含むブロッ
クでの画像傾き情報と、対応ブロック間の画素差分情報
から改善すべき方向を見い出し、これに基づいて対応点
の位置を初期位置から徐々に動かしていき、最終解を求
める。

【００５９】（２）固定探索手法 まず、対応点候補領域において、改善対象の対応点のＥ
が最小になる点を探し、これを新たな対応点とする。こ
のとき、他の点の位置を不動とみなして探索を行う点に
特徴がある。この処理を順次全対応点に対して行う。

【００６０】（３）混合手法 （２）の手法によれば、画素単位の精度で対応点の位置
が求まる。一方、（１）によれば、理論上画素単位以下
の精度で位置を求めることができる。そこで、まず
（２）の手法によって画素単位の精度で対応関係を求
め、しかる後にオイラー方程式を適用して精度を高める
ことも可能である。

【００６１】なお実験によれば、同じ精度で比較した場
合、（２）の手法によって（１）よりも短時間で好まし
い解が得られている。

【００６２】図８は図６の対応点候補に対して本ステッ
プの改善処理を行った結果を示す図である。実験によれ
ば、カラー画像の場合、ｋは５〜２００程度で良好な結
果が得られることがわかった。図６と図８はともに模式
的な図であるが、実験の結果、実際にこれらの図に近い
改善が見られた。

【００６３】以上が工程１の詳細である。本工程の特徴
は被写体の任意方向の動きから二次元動き情報を抽出で
きる点にある。これは代表点と対応点という概念で動き
を把握する利点であり、水平方向の動きを検出して時間
差を決定する従来の技術に比べ、広い応用を可能とする
ものである。

【００６４】なお本工程には、以下の応用または変形が
ある。

【００６５】１．Ｅ２導出の際、上下左右の４点のみな
らず、斜め方向の４点を加えた計８点の重心を考える。
いかなる組合せが最適であるかは映像の種類にも依存す
るため、適宜実験によって決めていくことが望ましい。

【００６６】２．式３による評価は、Ｅ１のみによる評
価結果が思わしくなかった対応点から優先的に行う。こ
れはＥ１の結果が悪い対応点は一般に位置の誤差が大き
いと考えられるためであり、こうした対応点の位置を早
期に、かつ大幅に改善することが望ましいためである。

【００６７】３．位置改善の際、幾何情報も利用する。
フレームｔにおいて幾何的に特徴のある領域、例えば直
線を形成していた複数の代表点については、それらの対
応点も直線を形成するように位置を補正する。これは映
像上直線に見える部分は現実の三次元空間でも直線であ
る可能性が高く、一方、三次元空間の直線はフレーム
ｔ' でも直線となるべきだからである。本来奥行きは直
線に沿って一様に変化するものであり、直線に沿う変化
は視覚的に容易に把握されるため、この方法による改善
効果は大きい。なお、他の幾何情報として、画像領域の
エッジなどが考えられる。

【００６８】４．さらに別のフレームについても対応点
を求める。本工程ではフレームｔに対するフレームｔ'
の対応点を求めたが、さらに第三のフレームｔ''におけ
る対応点も求め、映像各部位の平均化された動きを求め
ることができる。この方法は、フレームｔ' における対
応点位置を改善していくのではない。多くのフレームで
対応点をとることにより、対応点の位置とそのフレーム
が撮影された時間から映像各部位の動きを統計的に決め
ていくものである。

【００６９】［工程２］三次元動き情報の算出 工程１により、映像各部位の画面上の二次元的な動きが
判明した。工程２ではこの情報から各部位の三次元的な
動きを算出する。映像は被写体の現実の動きを平面に投
影したものであり、本工程では代表点と対応点の位置関
係からもとの動きを導出する。

【００７０】一般に被写体の三次元空間における動き
は、並進運動と回転運動の合成として記述することがで
きる。ここではまず、動きが並進運動のみで構成される
場合の計算方法を説明し、後に一般化された方法を概説
する。

【００７１】１．動きが並進運動のみの場合 図９はある点Ｐの画面上の移動と三次元空間での現実の
移動の対応を示す図である。同図では画面上の二次元座
標を大文字Ｘ等で、現実の三次元座標を小文字ｘ等で表
記するものとし、三次元座標のうちｘ、ｙ軸を画面上
に、ｚ軸を奥行き方向にとっている。また、視点から画
面までの距離を１とする。

【００７２】この図に示す通り、Ｐ（Ｘ, Ｙ）は画面上
をＰ' （Ｘ',Ｙ' ）へ移動するが、この間、この点は三
次元空間においてＳ（ｘ, ｙ, ｚ）からＳ（ｘ',ｙ',
ｚ' ）へと移動する。ここで、

【数４】 （ｘ',ｙ',ｚ' ）＝（ｘ, ｙ, ｚ）＋（ａ, ｂ, ｃ） とすれば、画面までの距離が１なので、 Ｘ ＝ｘ／ｚ， Ｙ ＝ｙ／ｚ Ｘ' ＝ｘ' ／ｚ' ， Ｙ' ＝ｙ' ／ｚ' となる。これを解けば、 Ｘ' ＝（Ｘｚ＋ａ）／（ｚ＋ｃ） Ｙ' ＝（Ｙｚ＋ｂ）／（ｚ＋ｃ） となるため、ｚを消去し、次式が求められる。

【００７３】

【数５】 （ａ−Ｘ' ｃ）（Ｙ' −Ｙ）＝（ｂ−Ｙ' ｃ）（Ｘ' −Ｘ） （式４） 式４は画面上の動き情報で表現されているため、工程１
で得られた情報によって未知数ａ, ｂ, ｃを決めること
ができる。しかしこの際、現実にはｋ倍の大きさの物体
がｋ倍離れたところをｋ倍の速さで移動するケースにお
いて、このｋの値（スケールファクター）を決めること
はできず、ａ, ｂ, ｃについてはそれらの比のみを求め
ることが可能となる。数学的にいえば、（Ｘ, Ｙ）と
（Ｘ',Ｙ' ）の対応を３組与えても、この連立方程式を
行列表示した際の係数行列のランク（階数）は高々２で
あり、ａ, ｂ, ｃは相対値としてしか決まらない。そこ
で本工程では、仮にｃ＝１と正規化してａ, ｂを表すこ
とにする。比のみでも、次工程による処理が可能なため
である。

【００７４】並進運動の別の解法として、式４から誤差
ｅを、

【数６】 e ＝｛(a-X'c)(Y'-Y) −(b-Y'c)(X'-X) ｝² ＝｛(Y'-Y)a-（X'-X)b−(XY'-X'Y)c｝² （式５） と定義し、代表点と対応点の全対応関係についてｅの総
和Σｅをとり、この値を最小にするａ, ｂ, ｃを次の式
から求めてもよい。

【００７５】 ｄ（Σｅ）／ｄａ＝０ （式６） ｄ（Σｅ）／ｄｂ＝０ （式７） ｄ（Σｅ）／ｄｃ＝０ （式８） より具体的には、式６〜８はそれぞれ次の形に展開され
る。

【００７６】

【数７】 a Σ(Y'-Y)² -bΣ(X'-X)(Y'-Y)-cΣ(Y'-Y)(XY'-X'Y)=0 （式９） -a Σ(X'-X)(Y'-Y)+bΣ(X'-X)² +cΣ(X'-X)(XY'-X'Y)=0 （式１０） -a Σ(Y'-Y)(XY'-X'Y)+b Σ(X'-X)(XY'-X'Y)+c Σ(XY'-X'Y) ² =0 （式１１） 以上が並進運動に関する計算方法の例である。

【００７７】２．動きが回転運動を含む場合 回転運動はｘ, ｙ, ｚ方向の３つの変位と各軸を中心と
する３つの回転角、例えばα, β, γによって記述する
ことができる。回転角はオイラー角またはロールピッチ
法などによって表現することができる。

【００７８】ここで上記合計６つの変数を決定すればよ
いが、ここでも上述のごとくスケールファクターが決ま
らないため、ある変数を１として各変数の比を求める。
理論的上、代表点と対応点を５組とれば運動を記述する
ことができる。

【００７９】ここで注意すべきは、組のとりかたによっ
ては動きの様子が線形解法によって求まらないことがあ
る点である。こうした場合を考慮する際、組を８以上と
ればよいことが知られている。８組の変化から線形解法
によって回転運動を記述しうる根拠については、例えば
「動きからの単眼立体視による形状認識の線形解法につ
いて」（出口・秋場、計測自動制御学会論文集vol.26，
No.6，714/720 （1990））などに示されている。

【００８０】［工程３］奥行き情報の獲得 工程２によって映像各部位の三次元的な動きの相対量が
わかった。工程３では、この相対量から各部位の奥行き
情報を導出する。本工程では説明のために、被写体は静
止しており、それを撮影するカメラの側が動くものと仮
定する。映像処理の際には被写体とカメラの相対運動が
問題となるため、この仮定によって良好な結果が得られ
る。

【００８１】映像のある部位の動きを回転行列Ｒと並進
ベクトル（ａ, ｂ, ｃ）により、 （ｘ',ｙ',ｚ' ）＝Ｒ（ｘ, ｙ, ｚ）＋（ａ, ｂ, ｃ） と表す場合、この逆変換、

【数８】 （ｘ, ｙ, ｚ）＝Ｒ^-1｛（ｘ',ｙ',ｚ' ）−（ａ, ｂ, ｃ）｝ （式１２） をカメラの動きと考える。

【００８２】図１０はカメラの三次元移動とある点Ｐの
画面上の移動から点Ｐの三次元座標を導く原理を説明す
る図である。同図からわかるように、この原理は一般に
三角測量の原理として知られるもので、位置の異なる２
点から点Ｐの方向を見たとき、点Ｐの現実の位置（図中
の点Ｓ）はそれら２つの視線の交点に存在するというも
のである。

【００８３】同図では、時刻ｔ〜ｔ' の間にカメラが矢
印で示すように式１２に従って移動したとする。フレー
ムｔでは点Ｓが点Ｐt に、ｔ' では点Ｐt'にそれぞれ投
影されている。点Ｓは図中の２つの直線Ｌｔ、Ｌｔ' の
交点にある。

【００８４】ここでカメラの方向とＬｔ、Ｌｔ' のなす
角θｔ、θｔ' は既知であり、一方カメラの移動方向と
距離が判明しているため、点Ｓの三次元座標を求めるこ
とが可能となる。この座標により、映像各部位の奥行き
情報が判明する。

【００８５】ここで注意すべきは、前述のごとくｃ＝１
という正規化のため、求められた座標も一定の割合で拡
大または圧縮されていることである。しかしこの場合で
も、奥行き情報は一様に拡大圧縮されているため、奥行
きの相互関係は正しい。

【００８６】以上が本工程の概要であるが、本工程では
前工程までの誤差を考慮する必要がある。誤差により、
通常は前記Ｌｔ、Ｌｔ' が計算上交わらないためであ
る。こうした事情に配慮し、本工程では両直線の最接近
点の中点のｚ座標を点Ｓの奥行き値と近似する。これを
数式によって説明する。

【００８７】上記Ｌｔ、Ｌｔ' の方向ベクトルをそれぞ
れ（ｕ, ｖ, ｗ）、（ｕ',ｖ',ｗ' ）とする。ここで実
数パラメータα、βにより両直線は、 Ｌｔ ：（ｘ, ｙ, ｚ）＋α（ｕ, ｖ, ｗ） Ｌｔ' ：（ｘ',ｙ',ｚ' ）＋β（ｕ',ｖ',ｗ' ） （式１３） と表すことができる。従って、

【数９】e = {(x+βu)-(x'+ αu')}² +{(y+ βv)-(y'+
αv')}²+{(z+βw)-(z'+ αw')}² とし、ｅを最小にするα、βをｄｅ／ｄα＝０、ｄｅ／
ｄβ＝０より求める。すなわち、

【数１０】 (u² +v² +w² ) α-(uu'+vv'+ww')β+(x-x')u+(y-y')v+(z-z')w=0 (u' ² +v' ² +w' ² ) β-(uu'+vv'+ww')α+(x-x')u'+(y-y')v'+(z-z')w'=0 を解いてα、βを求め、最終的に点Ｓの奥行き値を、

【数１１】{(z+αw)+(z'+ βw')}/2 とすればよい。ここで仮に誤差が０だったとすれば、こ
の座標は両直線の交点のｚ座標に一致する。

【００８８】また別の方法として、これら両直線を一旦
フレームｔの画面に透視投影し、投影後の最近接点のｚ
座標を求めることもできる。ここでＬｔは代表点である
一点に投影され、一方Ｌｔ' は一般に直線に投影され
る。Ｌｔ' が式１３で表記されるならば、投影後の各点
のｘ、ｙ座標は、Ｌｔ' 上の各点のそれらをそのｚ座標
で割ることにより、 x = f(x'+ βu')/(z'+βw') （式１４） y = f(y'+ βv')/(z'+βw') （式１５） と書くことができる。ここでｆは視点からフレームｔの
画面までの距離で、実際にはｆ＝１などとして扱えばよ
い。式１４、１５からβを消去すれば投影後の直線（以
下Ｌｉという）が以下のように求まる。

【００８９】ｋｘ＋ｍｙ＋f ｎ＝0 ただしここで、 ｋ＝v'z'-w'y' 、ｍ＝w'x'-u'z' 、ｎ＝u'y'-v'x' とおいている。

【００９０】求めるべき最近接点は、代表点ＰｔからＬ
ｉに下ろした垂線とＬｉの交点（以下Ｄとする）であ
り、その座標は、 ｘ＝（m ² X-kn-kmY）／（k ² +m² ） （式１６） ｙ＝（k ² Y-mn-kmX）／（k ² +m² ） となる。ここで点Ｔに対応するもとのＬｔ' 上の点をＥ
（x'',y'',z'' ）とすれば、点Ｅは、式１６を式１４に
代入してβを求め、これをＬｔ' の式に代入することよ
って求められる。ここでβは、 β＝（xz'-fx' ）／(fu'-xw'） であるため、これを式１３へ代入し、点Ｅのｚ座標 z''
は、 z'' ＝z'+ w'（xz'-fx' ）／（fu'-xw' ） と求まる。これを点Ｓの奥行き値とすればよい。

【００９１】なお、画像処理の際の誤差によって上記の
奥行きが負の値となる場合（点Ｓがカメラの後方に存在
することになる場合）、この計算結果は信頼することが
できない。このときは正の奥行き値を持つ近傍の代表点
から補間するなどの処理を行う。

【００９２】以上、いずれの方法をとるかは別として、
求められた映像各部位の奥行きは、例えば代表点ごとに
数値として与えればよい。図１１はフレームｔにおいて
各代表点に数値が与えられた状態を示す図で、例えばＰ
t （２, ３）、Ｐt （４, ３）それぞれの奥行きは１０
０、２００となり、後者の実際の位置は前者よりも２倍
離れたところにあることがわかる。

【００９３】［工程４］奥行き情報の利用 工程３で求められた奥行き情報に応じて警備システムを
構築する。一例として、監視カメラおよびＰＣによるシ
ステムが考えられる。すなわち、人やその他任意の物体
が近寄ることが禁止されている区域に監視カメラを設置
し、この監視カメラで撮影された映像をＰＣに送って解
析することにより、被写体の奥行きを抽出する。被写体
が近づくことにより、その奥行きが所定の値以下になっ
たとき、ＰＣ経由で警告音を発する、警備員に通報す
る、その区域の照明を明るくする、被写体の映像を記録
する、などの処理を行う。

【００９４】警備システムには、レーザや超音波を対象
物体に当ててその反射から距離を測定するシステムがあ
るが、その場合レーザ等を振るためのスキャン機構が必
要になる。本実施形態ではそうしたスキャン機構が不要
である。また別の警備システムとして、物体の赤外線を
感知するものもあるが、そのシステムでは熱を発しない
物体を見つけることができない。その意味でも、熱に関
係のない本実施形態は有利である。

【００９５】なお、本警備システムでは、例えばある距
離Ｄ以内に近づいた物体の画像領域のみを画像全体から
切り出すことも可能である。これは画像全体の中から、
奥行きがＤ以内である領域を選択すればよい。こうして
切り出した領域を拡大したり、その領域の動きに追従し
て観察するなどの処理も可能である。

【００９６】実施形態２．実施形態１では、入力映像が
単眼カメラによって撮影されるものとした。ここでは、
多眼カメラによるステレオ映像を入力映像とする場合を
実施形態１との相違点を中心に説明する。

【００９７】図１２は実施形態２の主な工程を示す。同
図と実施形態１の図１との主な違いは以下の通りであ
る。

【００９８】１．工程１の「動き情報」が「変位情報」
に変更される 実施形態１では異時刻フレームを扱ったが、実施形態２
では基本的に同時刻フレームを扱う。同時刻の場合、被
写体に動きを定義することはできないため、代わりに同
時刻フレーム間の被写体の位置のずれ、すなわち変位の
情報を抽出する。

【００９９】２．工程２が不要となる 図１の工程２「三次元動き情報の算出」に対応するステ
ップがない。多眼の場合、はじめから図１０の状態で撮
影がなされるため、三角測量の原理によって直接奥行き
情報が獲得できるためである。

【０１００】なお、複数カメラの相対位置関係に狂いが
発生しうる多眼カメラシステムを用いる場合、この狂い
を補正するセルフキャリブレーションを行ったほうがよ
い。この場合、工程２をセルフキャリブレーション工程
として利用する。セルフキャリブレーションの手法につ
いては、例えば、富田、高橋「ステレオカメラのセルフ
キャリブレーション」（情報処理Vol.31，No.5（1990）
650 〜659 ページ）、特開平０２−１３８６７１号公
報、特開平０２−１３８６７２号公報などに示されてい
る。以下、実施形態２の工程１〜３を説明する。

【０１０１】［工程１］二次元変位情報の抽出 実施形態１の説明において、「動き」を「変位」に置き
換える他、フレームｔ、ｔ' の組をフレーム１、２に置
き換えればよい。フレーム１、２はそれぞれステレオカ
メラを構成する左右のカメラ１、２から撮影された映像
を指し、撮影時刻はｔで固定とする。実施形態２では、
最低これら２枚のフレームのみから最終画像を得ること
ができる。すなわち多眼撮影の場合は、入力は静止映像
であってもよい。その他、実施形態１の工程１との相違
は以下の通りである。

【０１０２】（１）実施形態１のＳ１１（対応点候補領
域の設定）では、映像の動きの激しさまたは各部位の移
動軌跡に基づき、異時刻フレームの選択または対応点候
補領域を絞り込んで対応点検出処理の計算量削減を行っ
た。実施形態２では絞り込みの方法を以下のように変更
し、同様に有効な計算量削減を実現する。

【０１０３】まず、通常どおり多眼カメラが水平に設置
されると仮定する。このとき、対応点のｙ座標（上下方
向の座標）はほぼ等くなる。この仮定と画像処理に伴う
誤差およびカメラの設置誤差を考慮し、対応点候補領域
を横長の帯状領域に限定する。さらに、フレームｔ'
（ｔ' ＝ｔ−１）において対応する代表点の位置の差が
ｘであれば、フレームｔにおける対応点探索領域も、や
はり差がｘとなる近傍に限定することができる。

【０１０４】（２）実施形態１のＳ１２（対応点候補領
域における非類似度の計算）では、映像の動きが緩慢過
ぎる場合に統計処理を導入したが、実施形態２ではこの
作業も不要である。

【０１０５】（３）実施形態１のＳ１２同様、実施形態
２でも対応点の位置を決めるべくブロックマッチングを
行うが、ここではバイアスド・ブロックマッチングを採
用したほうがよい場合がある。バイアスド・ブロックマ
ッチングは、多眼カメラを構成する各カメラが異なる特
性を持つ場合、有効に機能する。例えば、カメラ２がカ
メラ１よりも青味がかった映像を送出するとすれば、フ
レーム２の色濃度から青（Ｂ）の成分を一定量差し引い
た後、すなわち色偏向定数α_B を引いた後、ブロックマ
ッチングを行うべきである。こうした処理を行わない場
合、Ｅ１とＥ２を加算する式３の意味が失せる恐れがあ
る。実際には、例えばＲＧＢで色濃度を表す場合、前記
の青（Ｂ）のみならず、赤（Ｒ）と緑（Ｇ）についても
それぞれ色偏向定数α_R 、α_G を引くべきである。バイ
アスド・ブロックマッチングは、映像の類似性を数値化
する際、２つのカメラの特性を一致させるキャリブレー
ション作用をもつ。バイアスド・ブロックマッチング
は、映像の類似性と相対位置の妥当性を同一ステージで
評価することの適切さを保証する。

【０１０６】図４および式１を基礎として、バイアスド
・ブロックマッチングを式で説明する。ここでは、実施
形態１で用いたＰt （ｉ, ｊ）をフレーム１、２に対応
して単にＰ１、Ｐ２と表記し、Ｉt （ｉ, ｊ）も同様に
Ｉ１、Ｉ２と表記する。このとき式１は、

【数１２】 Ｅ１= ΣΣ｛I1(P1x+u,P1y+v) −I2(P2x+u,P2y+v) ｝² （式１７） と簡単になる。この式が濃淡画像の場合の通常のブロッ
クマッチングを表す。

【０１０７】一方、バイアスド・ブロックマッチングで
は、式１７を、

【数１３】 Ｅ１= ΣΣ｛I1(P1x+u,P1y+v) −I2(P2x+u,P2y+v) −α｝² （式１８） とすればよい。カラー画像の場合、αはα_R 、α_G また
はα_B であり、ＲＧＢそれぞれの画像において求めたＥ
１の和、すなわちＥ１_R ＋Ｅ１_G ＋Ｅ１_B でマッチング
を行う。さらに見やすさを考えて、I1(P1x+u,P1y+v) を
単にＩ１、I2(P2x+u,P2y+v) を単にＩ２と表記すれば、
式１８は、 Ｅ１= ΣΣ（I1-I2-α）² （式１９） となる。Ｉ１、Ｉ２はｕ、ｖの関数であるが、αは定数
である。

【０１０８】αの最適値を考える。カメラ１、２は同じ
被写体を撮影しているはずだから、フレーム１、２の映
像は、映像各部位の変位は別として、ほぼ同様の内容を
含む。すなわちカメラの特性が近づくほど、式１９のＥ
１の値は小さくなる。この事実から逆に、αはＥ１を最
小にする値とすべきことがわかる。式１９は、

【数１４】 Ｅ１＝ΣΣ｛（I1-I2 ）² −2 α（I1-I2 ）＋α² ｝ ＝ΣΣ（I1-I2 ）² −2 αΣΣ（I1-I2 ）＋ΣΣα² （式２０） 領域の総画素数をＮと仮定すれば、ΣΣ１＝Ｎだから、
式２０は、

【数１５】 Ｅ１＝ΣΣ（I1-I2 ）² −2 αΣΣ（I1-I2 ）＋Ｎα² （式２１） となる。従って、 ｄＥ１／ｄα＝−２ΣΣ（I1-I2 ）＋２Ｎα であるから、 α＝｛ΣΣ（I1-I2 ）｝／Ｎ （式２２） のとき、Ｅ１は最小となる。このαは、ブロックマッチ
ングの対象となる２つの領域間の各画素の色濃度差の平
均値と言い換えられる。式２２を式２１に代入して計算
すれば、

【数１６】 Ｅ１＝ΣΣ（I1-I2 ）² −｛ΣΣ（I1-I2 ）｝² ／Ｎ （式２３） となるため、結局バイアスド・ブロックマッチングでは
式２３を計算すればよいことになる。式２３の採用によ
り、仮にカメラ１と２が完全に同じ被写体を写している
とすれば、Ｅ１はほぼ０となる。一方、このとき式２か
らＥ２もほぼ０となるため、バイアスドブロックマッチ
ングは、映像類似性の判断と、相対位置の妥当性の判断
の原点を一致させる効果がある。以降、実施形態１同様
の処理を経て最良マッチングを探索すればよい。

【０１０９】ここでは当然ながら、ＨＶＣ濃度などＲＧ
Ｂ濃度以外の色空間による濃度を採用してもよい。２乗
誤差の代わりに１乗誤差、すなわち残差に基づいてブロ
ックマッチングを行ってもよい。なお、式２２で与えら
れる補正値αの値がある範囲を超えた場合、バイアスド
・ブロックマッチングを中止してもよい。カメラ１、２
は同じ被写体を写していても、写す角度が違うため、仮
にこれらのカメラの特性が完全に同じであっても、当然
撮影された映像にはある程度の差異がある。これをすべ
て補正してしまうと、不必要にＥ１の値が小さくなり、
正しい評価ができない場合もありうる。

【０１１０】なお、バイアスド・ブロックマッチングを
中止した場合、通常のブロックマッチングによる評価値
を映像類似性の評価値としてもよいが、補正が許される
範囲の上限値（これをＴとする）の分だけ補正した後の
値を映像類似性の評価値としてもよい。その場合の評価
値は、以下の式で計算される。

【０１１１】Ｅ１＝ΣΣ（I1-I2 ）² −｛ΣΣ（I1-I2
）｝² ／Ｎ＋Ｎｘ² ただし、ｘ＝｜ΣΣ（I1−I2）／Ｎ｜−Ｔで与えられ
る。

【０１１２】（４）実施形態１のＳ１３（対応点の初期
位置の決定）では、特徴点として、異時刻フレームｔ、
ｔ' 、・・・において位置が安定的に変化している点を
選んだが、ここでは選定基準を加重する。

【０１１３】図１３は実施形態２で導入される特徴点の
選定基準を示す図である。同図において、Ｆ１０〜Ｆ１
２の３枚がカメラ１によって撮影された異時刻フレー
ム、Ｆ２０〜Ｆ２２の３枚がカメラ２によって撮影され
た異時刻フレームである。それぞれ左右２枚の組が同時
刻フレームを示す。ここではある点Ｐに注目し、点Ｐの
位置の異時刻フレーム間の動きをベクトルＡｎで、点Ｐ
の同時刻フレーム間の変位をベクトルＢｎ（ｎ：自然
数）でそれぞれ表している。

【０１１４】以上の設定の下、実施形態２では、次の基
準を満足する点を特徴点として選定する。

【０１１５】（ａ）ベクトルＢｎがほぼ一定であるか、
ほぼ一定変化するあるいは、この他、 （ｂ）ベクトルＡｎがほぼ一定であるか、ほぼ一定変化
する の基準も追加し、（ａ）、（ｂ）をともに満足する点を
特徴点として選定してもよい。

【０１１６】（ｂ）は実施形態１で導入した条件に相当
する。既述のごとく、多眼撮影では同時刻フレームのみ
から奥行き情報を求めることができる。しかしその前提
となる映像間の対応関係の正確な把握は、これとは別問
題であり、異時刻フレーム間の情報も積極的に利用すべ
きである。上記の２条件を同時に満たす点は、相当正確
に追跡されていると考えられるため、二次元変位情報の
抽出に対して重要な手掛かりを与える。ただし入力が静
止映像の場合は、既知の動的計画法（ダイナミック・プ
ログラミング）によって対応点を求めることもできる。

【０１１７】［工程２］奥行き情報の獲得 工程１で求められた映像各部位の変位から各部位の奥行
き情報を導出する。多眼の場合、ある時刻ｔで図１０の
状態が実現されるので、以下、実施形態１の工程３の方
法によって奥行き情報を獲得すればよい。

【０１１８】ここで注意すべきは、撮影カメラの位置関
係が固定であるため、この関係およびカメラの倍率また
は焦点距離が既知であれば、実施形態１で決まらないと
されたスケールファクターｃも含め、実施形態２では正
しい奥行き情報が求まる。

【０１１９】［工程３］奥行き情報の利用 実施形態１の工程４（奥行き情報の利用）と同等の処理
を行えばよい。

【０１２０】実施形態３．実施形態１、２では抽出した
奥行き情報を利用して警備システムを構築したが、実施
形態３では奥行き情報をコンピュータビジョン技術の一
部に利用する。

【０１２１】コンピュータビジョンと呼ばれる研究分野
では、ロボットの自動制御を主目的とし、対象の三次元
構造や三次元運動を推定する手法が研究されている。具
体的には、ロボットの自律走行のために、ステレオカメ
ラから物体を撮影したり、または単眼カメラを移動させ
ながら物体を撮影することにより、物体までの距離を正
しく把握する手法などである。この手法のいくつかの観
点については、例えば「１９９０年画像符号化シンポシ
ジウム（ＰＣＳＪ９０）」の５７ページに記載されてい
る。

【０１２２】コンピュータビジョンにおいて物体までの
距離を把握する際、セグメント・マッチングが行われる
ことが多い。セグメント・マッチングは画像領域間のマ
ッチングをとるという意味ではブロック・マッチングと
共通するが、画像の何らかの特徴領域を対象にマッチン
グをとる点で通常のブロック・マッチングとは異なる。
特徴領域を対象に処理をなすことより、通常のブロック
・マッチングよりも高い精度で物体の三次元位置を特定
するためである。

【０１２３】図１４はエッジセグメントを対象としてセ
グメント・マッチングをとる方法を示す図である。同図
（ａ）はステレオカメラのうち左カメラから撮影された
映像で、いまエッジ１２０が探索の対象である。一方、
同図（ｂ）は右カメラの映像で、複数のエッジ１２２〜
１２６が存在する。現実の映像の場合、エッジがさらに
多数存在することは容易に想像できる。実際の処理の
際、まず右カメラの映像からエッジをもつ領域を選定
し、これらのそれぞれについて詳細なセグメント・マッ
チングを行う。ロボットの制御の場合、物体の位置認識
には非常に高い精度が要求されるため、セグメント・マ
ッチングに要する時間は一般に非常に長い。

【０１２４】本実施形態はこの課題の解消を図る。すな
わち、まず実施形態１の工程１〜３を行い、画像各部位
の奥行き情報を得る。この際、エッジなど特徴領域の選
定を行う必要はないため、処理時間は比較的短い。こう
してある程度の精度で奥行きが判明すれば、この奥行き
情報によってセグメント・マッチングによる探索領域を
絞り込むことができる。

【０１２５】図１５は探索領域の絞り込み原理を説明す
る図である。同図（ａ）に示す左カメラの映像に含まれ
るエッジ１３０が探索の対象エッジであり、これを同図
（ｂ）の右カメラの映像から探すものとする。エッジ１
３０は左カメラの映像の右端からｘ０の位置にあるとす
る。なお、ここでカメラは平行に設置されているとす
る。

【０１２６】この前提において、このエッジ１３０の奥
行きｚの値により、エッジ１３０が右カメラの映像のい
ずれの位置に見えるべきかが、数学的に一意的に決ま
る。例えばｚが無限大なら視差がないはずだから、同図
（ａ）（ｂ）で、カメラ間隔だけ離れた同じ位置、すな
わち映像の右端からｘ０＋ｌ（ｌは画像上におけるカメ
ラ間隔）の位置に見えることになる。同図（ｂ）ではこ
の位置を直線Ｌ１で示している。この位置からｚが小さ
くなるに従い、同図（ｂ）においてエッジ１３０は次第
に左に寄っていく。ここではその様子をｚ＝１００、５
０、１０という数値を例に、それぞれ直線Ｌ２、Ｌ３、
Ｌ４という位置で模式的に示している。

【０１２７】一方、こうした数学的な考察とは別に、映
像の各部位の奥行きは実施形態１の工程１〜３で判明し
ている。そこで、実施形態１の方法で得られた奥行きの
分布と図１５（ｂ）の分布から、奥行きの一致する位置
を求めれば、この位置がエッジ１３０に対応するセグメ
ントである確率が高い。図１５（ｂ）のある領域１３２
がｚ＝５０の直線Ｌ３上にあり、かつその領域の奥行き
が工程１〜３によって５０程度の値に求まれば、領域１
３２付近にエッジ１３０の対応領域の存在する可能性が
高い。そこで、この領域１３２付近に絞って詳細なセグ
メント・マッチングを実施すればよい。

【０１２８】以上、本実施形態によれば、セグメント・
マッチングの処理時間を大幅に短縮できるのみならず、
よく似たセグメントが多数存在する画像における誤対応
を低減することも可能となる。

【０１２９】実施形態４．本実施形態では、実施形態
１、２で抽出した奥行き情報をコンピュータシステムの
ユーザインタフェイス、具体的には指示入力に利用す
る。

【０１３０】周知のごとく、ユーザが指示をコンピュー
タに入力する場合、キーボード、マウス、タッチパネル
などを用いることが多い。こうした入力装置を使わない
ユーザインタフェイスについても研究されているが、従
来は一般に、人の顔や手の形状のモデルをコンピュータ
内に保持し、このモデルと実際のユーザの顔の表情や手
の形とを対比することにより、指示を読み取ろうとする
ものであった。しかし現実には、正確なモデルを持つこ
とが困難であったり、手などのいわゆる「柔らかいモデ
ル」のマッチングは精度や処理時間の面で問題があり、
実用化が困難であった。本実施形態では、奥行き情報を
もとにコンピュータシステムの比較的簡易的なユーザイ
ンタフェイスを実現する。

【０１３１】図１６は本実施形態のシステムの構成とそ
の利用方法を示す模式図である。同図では、ユーザ１４
０がＰＣ１４２に対して指示を行う。ＰＣ１４２の一部
にはユーザ１４０を撮影するカメラ１４４が設置されて
いる。この構成にて、ユーザ１４０は指先１４６によ
り、上下左右等の簡単な動作を行う。カメラ１４４から
撮影されたユーザ１４０の映像についてはＰＣ１４２内
部で実施形態１または実施形態２の工程１〜３に従い、
奥行き情報が計算される。

【０１３２】ここで、ユーザの指先１４６はカメラ１４
４から最も近い位置にあるため、奥行きが最小になる映
像部分を選定することにより、指先１４６を認識するこ
とができる。以降、指先１４６が動いたとき、奥行きが
最小になる映像部分を追跡することによって指先１４６
の動きを知ることができる。ＰＣ１４２は、指先１４６
がある方向に動いたことがわかれば、その方向に画面上
のカーソルを動かす等の処理を行えばよいし、指先１４
６が例えば円を描けば「ＯＫ」サインとして何らかの処
理を実行すればよい。

【０１３３】実施形態５．本実施形態では、実施形態
１、２によって抽出された奥行き情報を三次元表示装置
の表示制御に利用する。

【０１３４】画像の立体表示はいくつかの方法で実現さ
れている。代表的なものに、画面にレンチキュラーレン
ズを重ねた表示装置がある。レンチキュラーレンズは表
面に微細な弧状の凸部が連続的に多数設けられており、
このレンズの屈折作用によって、右目からは右目用画像
を構成する画素のみが、また左目からは左目用画像を構
成する画素のみが見える仕組みになっている。この右目
用および左目用画像には視差がつけられており、立体視
が可能となる。

【０１３５】レンチキュラーレンズを用いる表示装置の
課題は、観視者の頭の位置が少しでもずれると逆立体視
（逆視ともいう）状態になることである。逆立体視と
は、右目から左目用の画素が、左目から右目用の画素が
それぞれ見える状態である。この問題に対処すべく、ヘ
ッドトラッキング技術が知られている。ヘッドトラッキ
ング技術は、「三次元映像の基礎」（泉武博監修，ＮＨ
Ｋ放送技術研究所編、オーム社）の１５４、１５５ペー
ジに紹介されるように、観視者の頭の動きを赤外線、磁
気、超音波などで検出し、頭の移動に連動させて右目用
の画素と左目用の画素を適宜入れ換えるものである。こ
の他に、表示装置の上部に赤外線センサをおき、観視者
の頭の動きを検出してレンチキュラースクリーンの位置
を機械的に変更する装置がある旨も記載されている。

【０１３６】しかしながらこれらのヘッドトラッキング
技術では、赤外線、超音波についてはスキャン機構やア
レイ構造が必要となる。磁気的な検出の場合は観視者が
頭にセンサをつけることが必要になる。

【０１３７】本実施形態のシステムは、こうした課題を
解消するものである。本実施形態では、実施形態４の図
１６のごとく、立体表示を行う表示装置にカメラを併設
し、このカメラから観視者を撮影する。このカメラの映
像から観視者の奥行きを含む三次元的な位置が判明する
ため、観視者の位置に適合する表示制御を行う。

【０１３８】制御方法の例として、観視者の奥行きが小
さいとき、すなわち観視者が表示装置に近い場合は、立
体表示すべき左右画像の視差を全体に少なめに調整し、
観視者から見て表示面（つまり画面位置）よりも向こう
側で被写体が像を結ぶよう配慮する。この逆に、観視者
の奥行きが大きいときは、表示面よりもこちら側に像を
結ぶよう調整したり、被写体間で奥行き感の差が明確に
なるよう、与える視差の範囲を広げる等の措置をとるこ
とができる。

【０１３９】図１７は本システムの構成図である。同図
のごとくこのシステムは、表示装置として左目で見るた
めの左ディスプレイパネル１５８と右目で見るための右
ディスプレイパネル１６０を採用する。また、観視者を
撮影するカメラ１５２と、その映像から観視者の頭の奥
行きを抽出する奥行き抽出部１６２が設けられている。

【０１４０】表示すべき画像は入力端子１５０に与えら
れる。この画像は左目用の画像であり、本システムでは
この画像から画素を変位させて右目用画像を生成する。
画素の変位によって視差が生じ、立体視が可能となる。
入力端子１５０から入力された画像はバッファメモリ１
５４と右目用画像生成部１５６に並行して入力される。
バッファメモリ１５４は、右目用画像生成部１５６によ
る処理遅延を吸収するよう働く。左ディスプレイパネル
１５８は、バッファメモリ１５４から出力された画像を
表示し、右ディスプレイパネル１６０は、右目用画像生
成部１５６によって変位の与えられた画像を表示する。

【０１４１】奥行き抽出部１６２で抽出された観視者の
頭の奥行きは、右目用画像生成部１５６に入力される。
ここで、この奥行きが小さいときには画素の変位量を小
さくとり、奥行きが大きいときは大きくとる。この結
果、観視者の位置に応じて良好な立体視が実現する。な
お、ここでは右目用画像のみを生成したが、左目用画像
についてももとの画像の画素に変位を加えることで生成
してもよい。

【０１４２】

【発明の効果】本発明の三次元位置認識利用システムを
警備システムとして用いる場合、赤外線や超音波の反射
を見る警備システムで必要なスキャン機構が不要であ
り、赤外線を感知するセンサと異なり、熱を発しない物
体でも検出することができる。

【０１４３】本発明の三次元位置認識利用システムをコ
ンピュータビジョンの前処理に用いる場合、セグメント
・マッチングの時間短縮と誤対応の低減が可能になる。

【０１４４】本発明の三次元位置認識利用システムをコ
ンピュータのユーザインタフェイスに用いる場合、キー
ボードなどの入力装置がいらない。また、表情や手の形
状などをテンプレートまたはモデルとして保持する必要
がない。さらに、表情の認識などに比べて処理時間が短
かい。

【０１４５】本発明の三次元位置認識利用システムを疑
似立体画像の表示制御に用いる場合、観視者の位置を知
るためのハードウエア構成が簡単になる。

【図面の簡単な説明】

【図１】 実施形態１によって三次元表示画像を生成す
るための主な工程を示す図である。

【図２】 映像フレーム間の対応関係を検出するための
フローチャートである。

【図３】 基準フレームｔに代表点を設定する様子を示
す図である。

【図４】 ブロックマッチングの様子を示す図である。

【図５】 仮の対応点Ｐt'（ｉ, ｊ）ごとにＥ１の値を
縦方向に示した模式図である。

【図６】 Ｓ１２ステップの結果求められた対応点と代
表点の関係を示す図である。

【図７】 対応点の相対位置を評価する原理を説明する
図である。

【図８】 図６の対応点候補に対して本ステップの改善
処理を行った結果を示す図である。

【図９】 ある点Ｐの画面上の移動と三次元空間での移
動の対応を示す図である。

【図１０】 カメラの三次元移動とある点Ｐの画面上の
移動から点Ｐの三次元座標を導く原理を説明する図であ
る。

【図１１】 フレームｔにおいて各代表点に数値が与え
られた状態を示す図である。

【図１２】 実施形態２の主な工程を示す図である。

【図１３】 実施形態２で導入される特徴点の選定基準
を示す図である。

【図１４】 エッジセグメントを対象としてセグメント
・マッチングをとる方法を示す図である。

【図１５】 実施形態３による探索領域の絞り込み原理
を説明する図である。

【図１６】 実施形態４のシステムの構成とその利用方
法を示す模式図である。

【図１７】 実施形態５のシステムの構成図である。

【符号の説明】

１２０，１３０ 探索の対象のエッジ、１２２〜１２６
エッジ、１３２ 領域、１４０ ユーザ、１４２ Ｐ
Ｃ、１４４ カメラ、１４６ 指先、１５０入力端子、
１５２ カメラ、１５４ バッファメモリ、１５６ 右
目用画像生成部、１５８ 左ディスプレイパネル、１６
０ 右ディスプレイパネル、１６２奥行き抽出部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 荒川 勉 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 物体の三次元位置を認識して利用するシ
   ステムであって、撮影された物体の奥行きを抽出する抽
   出手段を備え、抽出された奥行きをもとに警備を行うこ
   とを特徴とするシステム。
2. 【請求項２】 前記システムは、物体が近づいたときに
   所定の処理を行う請求項１に記載のシステム。
3. 【請求項３】 物体の三次元位置を認識して利用するシ
   ステムであって、撮影された物体の奥行きを抽出する抽
   出手段を備え、抽出された奥行きをもとにコンピュータ
   ビジョン技術におけるセグメント・マッチングのための
   前処理を行うことを特徴とするシステム。
4. 【請求項４】 前記前処理は、物体の奥行きを利用して
   セグメント・マッチングにおける探索エリアを狭める処
   理である請求項３に記載のシステム。
5. 【請求項５】 物体の三次元位置を認識して利用するシ
   ステムであって、撮影された物体の奥行きを抽出する抽
   出手段を備え、抽出された奥行きをもとにユーザからの
   指示を認識してこれを受け付けることを特徴とするシス
   テム。
6. 【請求項６】 撮影された物体のうち最も奥行きの小さ
   な箇所の動きをユーザの指示と判断してこれを受け付け
   る請求項５に記載のシステム。
7. 【請求項７】 物体の三次元位置を認識して利用するシ
   ステムであって、撮影された物体の奥行きを抽出する抽
   出手段を備え、抽出された奥行きをもとに疑似立体画像
   の表示制御を行うことを特徴とするシステム。
8. 【請求項８】 撮影された物体の位置に疑似立体画像の
   観視者が存在すると判断し、この位置にて疑似立体画像
   が良好に表示されるよう表示位置制御を行う請求項７に
   記載のシステム。