JP3197801B2 - 二次元表示画像生成方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は二次元表示用の画
像を生成する方法、特に、入力された単眼映像または多
眼映像に加工処理を施すことによって、新たな画像を生
成する方法に関する。この発明は主に、画像の視点変
更、画像の一部拡大または縮小、画像領域の切り出しな
どに使用可能である。

【０００２】

【従来の技術】映像を撮影するカメラの数という観点か
らすれば、映像は単眼映像と多眼映像に大別される。単
眼映像は１つのカメラ、多眼映像は複数のカメラから被
写体を撮影した場合に得られる。後者はステレオ映像と
も呼ばれる。

【０００３】一方、この映像に所定の処理を加えて画像
を出力する場合、その出力は、表示形式の観点から二次
元表示画像と三次元表示画像に大別される。三次元表示
画像とは、疑似立体表示のために左右両眼に与えられる
画像で、静止画像の場合、通常は二枚一組のフレームか
らなる。動画像の場合はこのフレームの組が次々に観視
者に与えられる。二次元表示画像とは三次元表示画像以
外の通常の画像をいう。すなわち、二次元表示静止画像
は一枚の写真のような画像、二次元表示動画像は通常の
テレビ画像のような画像をいう。以降、本明細書におい
て「映像」といえば、主に画像処理の対象となる入力
（ただし後述の視点変更映像を除く）、「画像」といえ
ば主に処理後の出力を指す。

【０００４】以上の入出力のタイプによる場合分けのう
ち、本発明は出力として二次元表示画像を想定する。本
発明の想定する入出力の組合せは以下の２通りである。

【０００５】 （１）入力が単眼映像、出力が二次元表示画像 （２）入力が多眼映像、出力が二次元表示画像 これらのうち、（１）では入力映像をそのまま出力する
ことが一般的である。（２）では、多眼映像のうちの一
方を選択してそのまま出力する場合が多い。多眼映像を
撮影するメリットは、主に三次元表示画像の生成におい
て発揮されるためである。本発明はこれら（１）（２）
の分野において全く新しい画像処理方法を提供するもの
であり、対応する従来技術はないといってよい。

【０００６】

【発明が解決しようとする課題】本発明の目的は、入力
映像に対して以下の処理を施し、以下の出力画像を生成
することにある。この際、カメラ位置（すなわち観視者
の視点であり、以下単に「視点」という）と被写体との
距離の情報（以降単に「奥行き情報」という）を含む三
次元位置情報の導出と利用を通して一連の処理を行う点
に特徴がある。

【０００７】１．視点変更 視点を仮想的に変更したとき、映像は変化するはずであ
る。本発明は、現実のカメラ位置を固定したまま、視点
変更後に得られるべき映像（以下「視点変更映像」とい
う）を自動生成する。

【０００８】２．画像の一部拡大・縮小 画像処理において画像の一部拡大・縮小はしはしば行わ
れるが、本発明は奥行き情報を利用することにより、最
も自然かつ効果的な画像を自動生成する。

【０００９】３．画像領域の切り出し 所望の画像領域を切り出すとき、前提として画像領域の
認識が必要となる。画像領域の認識には、クラスタリン
グ手法等いくつかの技術が提案されているが、大きな成
功に至っていない。本発明は奥行き情報という全く異な
る観点から、高い精度で領域の切り出しを行う。

【００１０】

【課題を解決するための手段】本発明は、処理の対象と
なる元の映像から該映像の奥行き情報を抽出し、この情
報に従って二次元表示用の画像を生成する。ここで「元
の映像」とは、単眼で撮影されたものでもよいし、多眼
で撮影されたステレオ映像でもよい。また、カメラで撮
影された映像だけでなく、例えばアニメーション映像や
コンピュータ・グラフィックスでもよい。

【００１１】このとき本発明は、複数の映像フレーム間
における映像各部位の二次元的な位置の変位を検出し、
この情報から前記奥行き情報を抽出する。「映像各部
位」とは、映像を構成する各領域や各画素をいう。「映
像フレーム」とは映像の処理単位で、通常の画像フレー
ムの他、画像フィールド、ＭＰＥＧのピクチャ等を含
む。「複数の映像フレーム」は、単眼の場合は異なる時
刻に撮影された複数フレーム（以下「異時刻フレー
ム」）をいう。多眼の場合は、同時に撮影された複数フ
レーム（以下「同時刻フレーム」）でもよいし、多眼カ
メラを構成する１つのカメラによる異時刻フレームでも
よい。「二次元的な」とは、映像フレームが平面映像で
あることを意味する。多眼の場合でも、各カメラの映像
は平面映像である。「二次元的な位置の変位」とは、平
面上における位置の変位をいう。異時刻フレームなら時
間経過に伴う位置の変化（すなわち動き）、同時刻フレ
ームなら複数フレーム間の位置のずれを指す。

【００１２】本発明のある態様では、前記複数の映像フ
レームは異時刻フレームであり、前記二次元的な位置の
変位量に基づいてこれらの異時刻フレームが選択され
る。変位量が大き過ぎる場合は、例えば時刻差を少なく
して複数フレームを選択する方法が考えられる。

【００１３】本発明では、前記映像各部位の二次元的な
位置の変位量を統計的に処理し、その処理結果に基づい
て複数の映像フレームを選択してもよい。統計的な処理
として、映像各部位の動きベクトルの分散を導出し、こ
の値が所定値よりも大きくなるように複数の映像フレー
ムを選択してもよい。分散の導出は既知の計算によって
行われる。映像各部位の動きが小さすぎると計算誤差が
大きくなるため、分散がある程度大きいほうが好まし
い。

【００１４】従って本発明のある態様では、分散が所定
値よりも大きくなるような複数の映像フレームを選択す
ることができない場合、二次元表示用画像の生成を中止
する。誤差の大きさに起因して不自然なが画像が生成さ
れる事態を回避するためである。

【００１５】本発明は、こうして得られた映像各部位の
二次元的な位置の変位から、映像各部位が現実の三次元
空間において占める相対位置関係を導出する。その結果
に従って前記奥行きを決定する。入力が単眼映像の場
合、必ずしも絶対位置が求まらない。これは後述のスケ
ールファクターの問題である。そこで、少なくとも相対
位置を求める。

【００１６】このとき、前記二次元的な位置の変位から
前記映像各部位の三次元的な動きを算出し、この動きか
ら三角測量の原理によって前記映像各部位の三次元空間
における位置座標を算出し、その結果に従って前記奥行
きを決定してもよい。単眼の場合はカメラの移動を仮定
して三角測量の原理を適用する。多眼の場合は例えば左
右映像に対してこの原理を適用する。

【００１７】本発明では、複数の映像フレーム間におけ
る被写体の対応を把握する必要がある。そこで、基準と
なる映像フレーム（以下「基準フレーム」という）に代
表点を設定し、他の映像フレーム（以下「対象フレー
ム」という）における前記代表点の対応点を求め、これ
ら代表点と対応点の位置関係を求めて、前記映像各部位
の二次元的な位置の変位を認識してもよい。これは一種
の画像認識技術である。ここでいう「対応点」とは、代
表点に対応する点である。対応点には、「真の対応点」
と「計算上の対応点」の２つの概念が存在する。対応点
は本来、各代表点に対して一意的に存在するはずであ
り、その存在個所以外の点が対応点であるという状態は
考えられない。この理想的な対応点が真の対応点であ
る。

【００１８】一方、画像処理計算から決まる対応点は、
真の対応点に一致するとは限らない。これが計算上の対
応点である。計算上の対応点は、真の対応点の存在個所
以外に存在することがありうるだけではなく、その位置
が適宜変更されることもある。後者は、例えば後述の対
応点精度の改善処理を行う場合に発生する。

【００１９】なお本明細書では、特に必要でない限り、
「対応点」ということばを「真の対応点」と「計算上の
対応点」の２つの概念に対して区別することなく用い
る。

【００２０】ここで、基準フレームと対象フレームが異
時刻フレームであるとき、代表点と対応点の位置関係か
ら、さらに別の対象フレームの対応点の位置を予想し、
対応点を探索すべき領域を限定してもよい。最も簡単な
例では、基準フレームと対象フレーム間で検出された被
写体の動きが同じ速度で維持されると仮定して、別の対
象フレームにおける被写体の存在個所を予想すればよ
い。

【００２１】このとき、前記代表点のうち幾何的に特徴
のある映像領域に関連するものについては、それら代表
点の対応点の関連する映像領域についても前記幾何的な
特徴が維持されるよう、前記対応点の位置を調整しても
よい。「幾何的な特徴」を有する映像部分の例は、家の
屋根の角や地平線などである。幾何的な特徴は被写体の
幾何的特徴のみならず、映像中の色の変化点で構成され
ることもある。幾何的な特徴を維持すれば対応関係がよ
り正確に把握されるという経験則に基づく。

【００２２】このとき、幾何的に特徴のある映像領域と
して直線を含む領域を採用してもよい。基準フレームで
直線をなした部分は対象フレームでも直線をなすと仮定
するのである。対応点の位置を微調整して直線上に乗せ
る計算負荷は比較的軽い。

【００２３】対象フレームにおける特定点近傍の映像領
域と、基準フレームの代表点近傍の映像領域間で映像の
類似性を評価し、この評価結果が良好な場合に前記特定
点をもって前記代表点の対応点と決めてもよい。対応関
係の把握に映像の類似性を採用するのである。「類似
性」の判断基準は、色の近さ、形の近さなどである。

【００２４】ここで「特定点」とは、評価に投入される
対応点の候補をいう。候補の決め方は問わない。例えば
等間隔に複数の特定点をとり、これらのうちで評価結果
が最良だった点を対応点とすればよい。

【００２５】さらに、この類似性だけでなく、特定点間
の相対位置の妥当性を評価し、これら両評価の結果が良
好な場合に前記特定点をもって前記代表点の対応点と決
めてもよい。例えば、基準フレームで点Ａよりも右にあ
った点Ｂが、類似性評価の結果、対象フレームにおいて
点Ａよりも左に存在するとされた場合、その周囲の対応
関係にもこうした逆転現象があれば、点Ｂの位置は妥当
と考えることができる。別の例としては、基準フレーム
に取られたある領域の重心は対象フレームでもその領域
の重心付近にくると仮定し、位置の評価を行ってもよ
い。

【００２６】ここでは、２つの評価を終えてから対応点
を決めてもよいし、いずれか一方が終わった段階で対応
点を仮りに決め、他方の評価によってその妥当性を判断
してもよい。

【００２７】こうした２つの評価を経て対応点が決まっ
た場合、本発明のある態様では、各評価の結果を数値化
して統合し、対応点の位置を変化させながらその数値を
再計算し、繰り返し計算を通して対応点の位置精度を改
善してもよい。つまり、２種類の評価結果を重み付けし
て加算し、この加算結果を最適化する対応点を求める。

【００２８】このときさらに、一旦全対応点の位置を固
定した上で、１つの対応点のみを移動させながら前記各
評価の結果が最良となる点を探索し、探索された最良点
の位置を前記１つの対応点の新たな位置とし、これらの
探索および位置の変更を順次全対応点について行っても
よい。

【００２９】ある対応点Ｘを移動するとき、他の対応点
を固定した上で２つの評価を行い、その結果が最良とな
る点をもって対応点Ｘの新たな位置とする。これで対応
点Ｘの１回の位置改善が終わる。つづいて、次の対応点
について同様の探索と移動処理を行う。このときも他の
点は固定しておく。処理は全対応点について行い、必要
に応じて二巡以上繰り返す。以下、この改善手法を「固
定探索手法」と呼ぶことにする。

【００３０】固定探索処理が終了したのち、オイラー方
程式を用いて対応点の位置精度を高めてもよい。オイラ
ー方程式は２つの評価の統合後の数値が極大値または極
小値をとる条件を表す。この数値には、全対応点の評価
結果が反映されている。オイラー方程式によれば、画像
の最小単位（例えば画素）よりも高い精度で対応点の位
置を改善することも可能である。

【００３１】本発明では、前記類似性評価をブロックマ
ッチングによって行ってもよい。この方法によれば、色
の類似性と形状の類似性の両方が同時に評価される。

【００３２】より具体的には、このブロックマッチング
は、比較すべき映像領域の間で色濃度のｎ乗誤差総和を
計算すればよい。ｎは１または２とする。ｎ＝１のとき
は色濃度の差の絶対値の総和を求める。

【００３３】ここで色濃度に対し、所定の色偏向定数を
考慮してブロックマッチングを行ってもよい（以下「バ
イアスド・ブロックマッチング」と呼ぶ）。同時刻フレ
ームの場合、複数のカメラの特性によって色濃度に一定
の偏位が生じやすい。同じカメラによる異時刻フレーム
の場合にも、時刻によって天候が変わる（つまり映像の
明度等が変わる）ようなとき、同様の現象が起こる。こ
れを打ち消すように色偏向定数を与える。

【００３４】ここで色偏向定数は、ｎ乗誤差総和が最小
となるよう決められる。そのように決めることで色濃度
の偏向が最もよく解消されると考えられるためである。

【００３５】具体的には、色偏向定数は映像領域間の各
画素の色濃度差の平均値とすればよい。このとき、最も
一般的な２乗誤差総和が最小になるためである。前記ブ
ロックマッチングは、映像領域間で各画素の色濃度差か
ら色偏向定数を減算した後に２乗誤差総和を算出すれば
よい。

【００３６】本発明のある態様では、映像に含まれる点
を特徴点と非特徴点に分類し、特徴点である代表点につ
いて優先的に対応点を決める。特徴点である対応点を補
間して非特徴点である対応点を決めることもできる。基
準フレームと対象フレームの間でブロックマッチングを
行い、その結果、代表点との対応が良好な対応点を特徴
点と決めてもよい。ブロックマッチングはバイアスド・
ブロックマッチングでもよい。

【００３７】本発明では、異時刻フレームにおいて位置
が安定的に変化している点を特徴点としてもよい。別の
言い方をすれば、動きベクトルが安定している点を特徴
点とする。このような点は的確に追跡されていると考え
られるためである。

【００３８】同時刻フレーム間における位置の変位（す
なわち位置のずれ）が、その近傍時刻において撮影され
た同時刻フレーム間においてもほぼ一定であるか、また
は一定変化する点を特徴点としてもよい。このような点
も追跡の精度が高いためである。

【００３９】本発明の別の態様では、奥行き情報に従っ
て視点変更映像を生成する。このために、想定される視
点の変更に伴う映像各部位の位置の変位を前記奥行き情
報から逆算し、前記位置の変位に従って映像を再構築す
る。これは、一種の画像加工技術である。例えば視点の
高さを変えてみる場合、カメラの移動距離と前記奥行き
情報から被写体（映像各部位）の変位（並進量と回転
量）が計算できる。この計算結果に従って所期の映像を
構築すればよい。

【００４０】元の映像が２眼カメラによって撮影された
ものであるとき、これら２眼から十分に近い位置に仮想
カメラを想定し、この仮想カメラから撮影されるべき映
像を視点変更映像として生成し、この視点変更映像と前
記２眼カメラによって撮影された現実の映像とによって
多視点映像を生成してもよい。一般に多視点映像を得る
場合、３眼以上のカメラによって映像を撮影しなければ
ならない。そこでこの態様では、もともと２眼カメラに
よる映像が存在する場合、仮想カメラで撮影される映像
を視点変更映像として生成し、これら３以上の映像によ
って多視点映像を生成する。

【００４１】別の態様として、映像の視点を、ある映像
フレームを撮影した視点から別の映像フレームを撮影し
た視点まで仮想的に移動させながら、移動経路上の任意
の個所を視点とする視点変更映像を生成するしてもよ
い。例えば、映像フレーム１を撮影した視点を視点１、
別の映像フレーム２を撮影した視点を視点２と定義する
と、本発明は映像の視点を視点１から視点２に仮想的に
移動させながら、移動中の任意の視点で撮影されるべき
映像を視点変更映像として生成する。映像フレーム１と
２が異時刻フレームを構成する場合、視点変更映像を多
めに生成すれば、映像フレーム１と２の間を滑らかに変
化する映像を得ることができる。これは、例えば滑らか
なスローモーション画像を得る場合などに応用すること
ができる。当然ながら、映像フレーム１、２は同時刻フ
レームであってもよい。

【００４２】また別の態様によれば、奥行き情報を基準
として映像の一部領域の大きさを変更した上で画像が生
成される。映像の一部領域として奥行きが小さな領域を
選定し、該領域を拡大した上で画像を生成してもよい。
一般に視点から近い被写体をさらに近くに見せることに
より、強調表示が可能となる。そこで小さな奥行きを持
つ領域を選定し、これを拡大する。

【００４３】逆の態様として、奥行きが大きな領域を選
定し、該領域を縮小した上で画像を生成してもよい。も
ともと視線から遠い被写体をさらに遠くに見せることに
より、こうした領域の重要度を落として表示するためで
ある。

【００４４】なお、こうして異なる視点からの映像や、
拡大・縮小を行った後の映像については、映像領域間の
遮蔽関係を考慮してもよい。例えば、視点が移動するこ
とによって奥行きの大きな被写体が奥行きの小さな被写
体に遮蔽されたり、ある被写体の拡大によって背景が遮
蔽される場合がある。こうした場合は、遮蔽される部分
の画像を削除して画像を生成することにより、さらに自
然な画像を得ることが可能となる。

【００４５】視点変更映像や一部領域の拡大縮小等の画
像処理に伴い、画像枠に望ましくない段差が現れること
がある。本発明ではこの段差を修正してもよい。例え
ば、画像処理の結果、画像端部が画像中央方向に移動す
るような変位を受ける場合、その部分が中央方向に凹ん
で見えるためである。この部分は補間等の方法によって
もとの映像同様に滑らかな端部を再生すればよい。

【００４６】さらに別の態様では、奥行き情報に従い、
所望の映像領域を切り出して画像を生成する。切り出し
は例えば、映像各部位のうち所定範囲の奥行きを持つ部
位を選定することによって行われる。例えば、奥行きが
１０メートル以内の映像部位のみを選定する場合、視点
から１０メートル以内の被写体のみが切り出される。こ
れは一種の画像認識技術である。

【００４７】このときさらに、切り出された映像領域を
別の映像に重ねることによって新たな画像を生成しても
よい。上記の例でいえば、１０メートル以内に存在する
被写体を切り出し、これを別途用意した風景、同時に撮
影された別の風景、同時に生成したＣＧ映像などに張り
付けて仮想的な画像を得ることができる。

【００４８】

【発明の実施の形態】実施形態１． 本発明の好適な実施形態を適宜図面を参照
しながら説明する。実施形態１と２では、単眼で撮影さ
れた映像が入力されるものとする。多眼（ステレオ映
像）の場合は実施形態３で説明する。

【００４９】図１は本実施形態によって二次元表示画像
を生成するための主な工程を示す図である。図に示すよ
うに本実施形態は以下の工程に従って、元となる入力映
像から二次元表示用の画像を生成する。ここで工程１〜
３が映像の解析による奥行き情報の導出に関するもので
あり、工程４が所期の画像の生成に関するものである。
まず各工程の概略を説明する。

【００５０】［工程１］二次元動き情報の抽出 映像に含まれる被写体の動き情報を抽出する。動き情報
を二次元情報であり、表示画面を座標平面上にとり、被
写体のこの画面上の動きを二次元座標で記述する。

【００５１】本工程では、被写体の動きの把握のために
映像フレーム間の対応関係を検出する。基準フレームで
ある時刻ｔの映像フレーム（以降「フレームｔ」とい
う）に予め複数の代表点を設定しておき、別の時刻ｔ'
の対象フレーム（以降「フレームｔ' 」という）におけ
る前記各代表点の対応点を追跡する。フレームｔとｔ'
は異時刻フレームを形成するが、これらは時間的に隣接
するフレームである必要はない。本工程の特徴は、被写
体の任意の方向の動きから二次元動き情報を抽出するこ
とができる点にある。

【００５２】本明細書では以降「フレーム」といえば、
フィールドなど広く映像構成単位全般を指すものとし、
例えば５２５本の走査線によって構成されるテレビ受像
器の１フレームや、６４０×４８０画素によって構成さ
れるパーソナルコンピュータの一画面のみを指すもので
はない。また、代表点はフレームｔのみならず、フレー
ムｔ、ｔ' の両方に設定してもよい。

【００５３】［工程２］三次元動き情報の算出 被写体の二次元的な動きが判明すれば、この被写体の三
次元空間における現実の動き情報（三次元動き情報）を
算出する。この際、代表点と対応点の組を多数とること
により、被写体が実際に起こす動きを並進および回転の
両運動成分によって記述する。

【００５４】［工程３］奥行き情報の獲得 被写体の現実の動きの様子がわかれば、各時刻における
被写体の相対位置関係が判明する。この関係がわかれば
被写体またはその各部位（以降単に「映像各部位」とも
いう）の奥行き情報が求められる。

【００５５】［工程４］画像の生成 奥行き情報を含む三次元情報に応じて所期の画像を自動
生成する。ここでは、視点変更映像、画像の一部拡大・
縮小によって生成される画像、ある画像領域を切り出し
て生成される画像を説明する。

【００５６】以上が概略である。以降、各工程を詳述す
る。

【００５７】［工程１］二次元動き情報の抽出 図２は映像フレーム間の対応関係を検出するためのフロ
ーチャートである。同図に示す各ステップを説明する。

【００５８】（Ｓ１０）フレームｔに代表点を設定 図３に示すように、まず基準フレームｔに代表点を設定
する。同図では、フレームｔを８×８画素ごとにメッシ
ュによって分割し、各代表点を格子点に置いている。こ
こでは左からｉ番目、上からｊ番目の代表点をＰt
（ｉ, ｊ）と記述し、Ｐt （ｉ, ｊ）に対する時刻ｔ'
の対応点をＰt'（ｉ, ｊ）と記述する。また、必要に応
じてＰt （ｉ, ｊ）のｘ、ｙ座標をそれぞれ、Ｐt
（ｉ, ｊ）x 、Ｐt （ｉ, ｊ）y と記述する。

【００５９】なお本ステップにおいて、代表点は格子点
に限らず任意の箇所に配置してもよい。極端な場合は全
画素を代表点とすることもできる。

【００６０】（Ｓ１１）対応点候補領域の設定 例えば図３に示すＰt （６, ４）という代表点を考えた
場合、Ｐt'（６, ４）の存在しうる領域を予め設定す
る。これは映像の動きがある限度以上に急激な場合を除
き、Ｐt'（６, ４）がＰt （６, ４）の近傍にあるとい
う仮定に基づく。本実施形態では、例えばＰt （６,
４）の近傍１００×６０画素の領域にＰt'（６, ４）が
入るものとし、Ｐt'（６, ４）の検出の際の計算量を削
減する。

【００６１】なお、本ステップについては以下の応用が
可能である。

【００６２】１．映像が比較的激しく動いているときは
フレームｔ、ｔ' が隣接するようにｔ' を決める。代表
点の位置変化は最小に抑制され、対応点が前記領域に入
らないおそれも最小となる。ただし当然ながら、予め候
補領域を画面全体とする方法も考えられる。その場合、
計算量が増加するが、映像の大きな動きよって対応点を
取り逃すおそれは減る。

【００６３】２．本実施形態では単にＰt'（６, ４）が
Ｐt （６, ４）の近傍にあると仮定したが、いったんＰ
t （６, ４）の複数フレームにおける移動軌跡が判明し
たときは、この軌跡の延長線上に候補領域を決めること
も可能である。映像の動きがある程度一定している場
合、この方法による対応点候補領域の絞り込みは非常に
有効である。

【００６４】（Ｓ１２）対応点候補領域における非類似
度の計算 つづいて、候補領域から対応点の位置を具体的に決めて
いく。ただし本ステップでは、前ステップとは逆に、映
像の動きが緩慢過ぎる場合に問題が生じる。動きが少な
いと動き情報の抽出が困難になり、抽出された情報が大
きな誤差を含む可能性があるためである。

【００６５】そこでこのようなときには、予めフレーム
ｔ、ｔ' がある程度離れるようｔ'を決める。この際、
映像各部位の変化量を統計的に処理し、例えば変化量の
分散が所定値を超えるようなｔ' を決めればよい。な
お、仮に条件を満たすｔ' が見つからなければ、二次元
表示用画像の生成を中止する。このときは入力された映
像をそのまま出力してもよい。

【００６６】本ステップでは、対応点の位置を決めるべ
く、フレームｔ、ｔ' 間でブロックマッチングによる非
類似度の計算を行う。前記対応点候補領域内のある点を
中心とする近傍ブロックと代表点の近傍ブロックとの間
で濃度の２乗誤差の総和（非類似度）を求め、これが最
小になる点を計算上の対応点と決める。

【００６７】図４はブロックマッチングの様子を示す図
で、本実施形態では９画素で１ブロックと定義し、中央
の画素を代表点とする。同図において、まずフレームｔ
上にＰt （ｉ, ｊ）を含むブロック１を取り、フレーム
ｔ’側では対応点の候補Ｐt'（ｉ, ｊ）を含むブロック
２を取る。ここで一般に、画素（ｘ, ｙ）の時刻ｔにお
ける画素値をＩt （ｘ, ｙ）と記述すれば、非類似度
（Ｅ１とする）は、

【数１】 Ｅ1=ΣΣ｛It(Pt(i,j)x+u,Pt(i,j)y+v)-It'(Pt'(i,j)x+u,Pt'(i,j)y+v)｝² （式１） によって求められる。ここで２つのΣはｕ、ｖに関す
る。これらはそれぞれ、 ｕ＝−１，０，１ ｖ＝−１，０，１ の値を取り、仮のＰt'（ｉ, ｊ）に対して合計９画素に
関する２乗誤差総和が計算できる。そこでＰt'（ｉ,
ｊ）を候補領域内で少しずつ動かしていき、Ｅ１が最小
になる点を対応点と決めればよい。

【００６８】図５はＰt'（ｉ, ｊ）ごとにＥ１の値を縦
方向に表した模式図であり、同図の場合、非類似度が急
峻なピークをとる点Ｑが対応点と決まる。以降、同様に
他の代表点についても対応点を決めていく。

【００６９】なお、本ステップには以下の応用または変
形がある。

【００７０】１．ここでは濃淡画像を前提に、濃度の２
乗誤差を計算したが、カラー画像の場合、ＲＧＢ各濃度
の２乗誤差の総和、すなわちＥ１_R ＋Ｅ１_G ＋Ｅ１_B を
非類似度としてもよい。これは他の色空間による濃度、
例えばＨＶＣ濃度であってもよい。２乗誤差の代わりに
単なる誤差の絶対値（残差の総和）を採用してもよい。 ２．本ステップでは１ブロックを９画素としたが、通常
はある程度多数の画素によってブロックを定義すること
が望ましい。例えば通常のパーソナルコンピュータまた
はワークステーションの高解像度画面を想定する場合、
実験の結果、１６×１６画素程度のブロックによって良
好な結果が得られている。

【００７１】（Ｓ１３）対応点の初期位置の決定 前ステップにより、一応は対応点を求めることができ
た。しかしこの段階では対応点の位置が最適とは限らな
い。被写体の境界やエッジについては対応点が比較的正
しく求まるものの、例えば変化の乏しい映像部位では、
対応点の位置は相当誤差を含んでいるとみるべきであ
る。図５でいえばＥ１が明確なピークをとらない状態と
いってよい。図６は前ステップの結果求められた対応点
と代表点の関係を示す図で、同図に示すごとく、家や
木、特にそれらの輪郭等の特徴的な点については対応点
が良好に求まるが、空や地面については誤差が大きい。

【００７２】そこで本ステップと次ステップにより、対
応点の位置補正を行う。本ステップでは、まず対応点の
初期位置という概念を導入し、実際にその初期位置を決
める。次ステップで繰り返し計算による位置精度の改善
を図る。本ステップにおける対応点初期位置の決定には
以下の方針が考えられる。

【００７３】１．前ステップで求められた全対応点を同
等に扱う 全対応点の位置をそのままそれらの初期位置として次ス
テップへ投入する。

【００７４】２．対応点の扱いに差異を設ける 当初よりある程度正しい位置にあると思われる対応点
（以降「特徴点」という）の位置はそのまま初期位置と
して使い、そうでない対応点（以降「非特徴点」とい
う）の初期位置については、前記特徴点のそれをもとに
決めるというものである。ここで特徴点としては以下の
点を想定することができるが、これらの点は現実には一
致することも多い。

【００７５】（１）前ステップのＥ１が明確なピークを
示した対応点 このような対応点の位置精度は一般に高いためである。

【００７６】（２）直交エッジ成分が多く存在する箇所
にある対応点 建物の角などの部分では対応点の位置がかなり正しいと
思われるためである。 （３）フレームｔ、ｔ' 、・・・において位置が安定的
に変化している対応点 ここで変化の安定性は、動きベクトルの一定性というこ
とができる。ここでは、フレームの進行に伴って移動方
向、移動距離が一定な対応点を選ぶ。具体的には、例え
ば動きベクトルのばらつきが所定値以下の対応点を選定
する。こうした対応点は的確に追跡されているはずであ
り、代表点と正しい対応関係にあると判断できるためで
ある。ただし、例えば映像を撮影するカメラが不規則に
動いた場合には、その影響を加味して判断する。

【００７７】こうして特徴点が選定されれば、これらは
そのまま初期位置として使い、非特徴点の初期位置は特
徴点の位置を補間したり、または特徴点の近傍から順に
決めていくことができる。すなわち、前ステップによる
非特徴点の位置精度は低いため、精度の高い特徴点から
幾何的に非特徴点の初期位置を与えるのである。なお当
然ながら、（３）の特徴点を見つける場合にも前ステッ
プの方法を有効利用できる。

【００７８】以上、特徴点の選定に基づいた対応点初期
位置の決定方法を述べたが、この他、動的計画法（ダイ
ナミック・プログラミング）を用いて対応点の初期値を
求めてもよい。

【００７９】（Ｓ１４）対応点の改善処理 対応点の位置の妥当性を評価するために式を導入し、繰
り返し計算によって位置精度を改善する。Ｓ１２ステッ
プでは非類似度を評価する式１を導入したが、ここでは
さらに、対応点間の相対位置関係の妥当性を評価する式
を導入し、これら２つ評価結果を統合して位置の改善を
図る。

【００８０】図７は相対位置を評価する原理を説明する
図である。同図において、各点はそれぞれ対応点を表し
ている。このうち、図中のＰt'（ｉ, ｊ）を中心に考え
ると、これには以下の４つの対応点、

【数２】Ｐt'（i-1,ｊ）、Ｐt'（i+1,ｊ）、Ｐt'（ｉ,j
-1）、Ｐt'（ｉ,j+1）が隣接している。Ｐt'（ｉ, ｊ）
は通常、これら４つの点の重心付近に存在すると考える
のが妥当である。これは、映像各部位が動いても画素単
位の微視的な見方をすれば相対位置関係がほぼ保たれる
という経験則に基づいている。なお、この性質を数学的
にいえば、（ｉ, ｊ）の関数Ｐt'（ｉ, ｊ）の２次微分
がほぼ０であるということにほかならない。

【００８１】従って上記４点の重心を（St'(i,j)x ，S
t'(i,j)y ）と表記すれば、

【数３】 Ｅ２＝｛Pt'(i,j)x-St'(i,j)x ｝² ＋｛Pt'(i,j)y-St'(i,j)y ｝² （式２） が相対位置の妥当性評価式となる。この式だけを考えれ
ば、Ｅ２が最小値になるときに対応点の位置が最も望ま
しい状態となる。

【００８２】本ステップでは、式１および式２の評価結
果を適当な結合定数ｋで加算し、 Ｅ＝Ｅ１／Ｎ＋ｋ・Ｅ２ （式３） で表されるＥを最終的な評価式とする（Ｎはブロックマ
ッチングの際に定義された１つのブロックに含まれる画
素数である）。すなわち、まず各対応点についてＥを計
算し、続いて全対応点のＥの総和ΣＥを計算し、ΣＥが
最小値となるよう、各対応点の位置をすこしずつ変化さ
せる。ΣＥの値が収束するか、または繰り返し計算を所
定の上限回数に達するまで行い、改善処理を施す。より
具体的には、各対応点の位置を変化させるとき、以下の
いずれかの方法を実施すればよい。

【００８３】（１）オイラー方程式を解く方法 ΣＥが極値（ここでは極小値）をとる条件を示すオイラ
ー方程式を数値的に解くことによって対応点を得る。こ
の手法自体は既知である。これは、各代表点を含むブロ
ックでの画像傾き情報と、対応ブロック間の画素差分情
報から改善すべき方向を見い出し、これに基づいて対応
点の位置を初期位置から徐々に動かしていき、最終解を
求める。

【００８４】（２）固定探索手法 まず、対応点候補領域において、改善対象の対応点のＥ
が最小になる点を探し、これを新たな対応点とする。こ
のとき、他の点の位置を不動とみなして探索を行う点に
特徴がある。この処理を順次全対応点に対して行う。

【００８５】（３）混合手法 （２）の手法によれば、画素単位の精度で対応点の位置
が求まる。一方、（１）によれば、理論上画素単位以下
の精度で位置を求めることができる。そこで、まず
（２）の手法によって画素単位の精度で対応関係を求
め、しかる後にオイラー方程式を適用して精度を高める
ことも可能である。

【００８６】なお実験によれば、同じ精度で比較した場
合、（２）の手法によって（１）よりも短時間で好まし
い解が得られている。

【００８７】図８は図６の対応点候補に対して本ステッ
プの改善処理を行った結果を示す図である。実験によれ
ば、カラー画像の場合、ｋは５〜２００程度で良好な結
果が得られることがわかった。図６と図８はともに模式
的な図であるが、実験の結果、実際にこれらの図に近い
改善が見られた。

【００８８】以上が工程１の詳細である。なお本工程に
は、以下の応用または変形がある。 １．Ｅ２導出の際、上下左右の４点のみならず、斜め方
向の４点を加えた計８点の重心を考える。いかなる組合
せが最適であるかは映像の種類にも依存するため、適宜
実験によって決めていくことが望ましい。

【００８９】２．式３による評価は、Ｅ１のみによる評
価結果が思わしくなかった対応点から優先的に行う。こ
れはＥ１の結果が悪い対応点は一般に位置の誤差が大き
いと考えられるためであり、こうした対応点の位置を早
期に、かつ大幅に改善することが望ましいためである。

【００９０】３．位置改善の際、幾何情報も利用する。
フレームｔにおいて幾何的に特徴のある領域、例えば直
線を形成していた複数の代表点については、それらの対
応点も直線を形成するように位置を補正する。これは映
像上直線に見える部分は現実の三次元空間でも直線であ
る可能性が高く、一方、三次元空間の直線はフレーム
ｔ' でも直線となるべきだからである。本来奥行きは直
線に沿って一様に変化するものであり、直線に沿う変化
は視覚的に容易に把握されるため、この方法による改善
効果は大きい。かかる改善をしない場合、最終的に生成
される画像において直線に沿う奥行きにむらが生じ、不
自然な画像になることがある。

【００９１】４．さらに別のフレームについても対応点
を求める。本工程ではフレームｔに対するフレームｔ'
の対応点を求めたが、さらに第三のフレームｔ''におけ
る対応点も求め、映像各部位の平均化された動きを求め
ることができる。この方法は、フレームｔ' における対
応点位置を改善していくのではない。多くのフレームで
対応点をとることにより、対応点の位置とそのフレーム
が撮影された時間から映像各部位の動きを統計的に決め
ていくのである。

【００９２】［工程２］三次元動き情報の算出 工程１により、映像各部位の画面上の二次元的な動きが
判明した。工程２ではこの情報から各部位の三次元的な
動きを算出する。映像は被写体の現実の動きを平面に投
影したものであり、本工程では代表点と対応点の位置関
係からもとの動きを導出する。

【００９３】一般に被写体の三次元空間における動き
は、並進運動と回転運動の合成として記述することがで
きる。ここではまず、動きが並進運動のみで構成される
場合の計算方法を説明し、後に一般化された方法を概説
する。

【００９４】１．動きが並進運動のみの場合 図９はある点Ｐの画面上の移動と三次元空間での現実の
移動の対応を示す図である。同図では画面上の二次元座
標を大文字Ｘ等で、現実の三次元座標を小文字ｘ等で表
記するものとし、三次元座標のうちｘ、ｙ軸を画面上
に、ｚ軸を奥行き方向にとっている。また、視点から画
面までの距離を１とする。

【００９５】この図に示す通り、Ｐ（Ｘ, Ｙ）は画面上
をＰ' （Ｘ',Ｙ' ）へ移動するが、この間、この点は三
次元空間においてＳ（ｘ, ｙ, ｚ）からＳ（ｘ',ｙ',
ｚ' ）へと移動する。ここで、

【数４】 （ｘ',ｙ',ｚ' ）＝（ｘ, ｙ, ｚ）＋（ａ, ｂ, ｃ） とすれば、画面までの距離が１なので、 Ｘ ＝ｘ／ｚ， Ｙ ＝ｙ／ｚ Ｘ' ＝ｘ' ／ｚ' ， Ｙ' ＝ｙ' ／ｚ' となる。これを解けば、 Ｘ' ＝（Ｘｚ＋ａ）／（ｚ＋ｃ） Ｙ' ＝（Ｙｚ＋ｂ）／（ｚ＋ｃ） となるため、ｚを消去し、次式が求められる。

【００９６】

【数５】 （ａ−Ｘ' ｃ）（Ｙ' −Ｙ）＝（ｂ−Ｙ' ｃ）（Ｘ' −Ｘ） （式４） 式４は画面上の動き情報で表現されているため、工程１
で得られた情報によって未知数ａ, ｂ, ｃを決めること
ができる。しかしこの際、現実にはｋ倍の大きさの物体
がｋ倍離れたところをｋ倍の速さで移動するケースにお
いて、このｋの値（スケールファクター）を決めること
はできず、ａ, ｂ, ｃについてはそれらの比のみを求め
ることが可能となる。数学的にいえば、（Ｘ, Ｙ）と
（Ｘ',Ｙ'）の対応を３組与えても、この連立方程式を
行列表示した際の係数行列のランク（階数）は高々２で
あり、ａ, ｂ, ｃは相対値としてしか決まらない。そこ
で本工程では、仮にｃ＝１と正規化してａ, ｂを表すこ
とにする。比のみでも、次工程による処理が可能なため
である。

【００９７】並進運動の別の解法として、式４から誤差
ｅを、

【数６】 e ＝｛(a-X'c)(Y'-Y) −(b-Y'c)(X'-X) ｝² ＝｛(Y'-Y)a-（X'-X)b−(XY'-X'Y)c｝² （式５） と定義し、代表点と対応点の全対応関係についてｅの総
和Σｅをとり、この値を最小にするａ, ｂ, ｃを次の式
から求めてもよい。

【００９８】ｄ（Σｅ）／ｄａ＝０ （式６） ｄ（Σｅ）／ｄｂ＝０ （式７） ｄ（Σｅ）／ｄｃ＝０ （式８） より具体的には、式６〜８はそれぞれ次の形に展開され
る。

【００９９】

【数７】 a Σ(Y'-Y)² -bΣ(X'-X)(Y'-Y)-cΣ(Y'-Y)(XY'-X'Y)=0 （式９） -a Σ(X'-X)(Y'-Y)+bΣ(X'-X)² +cΣ(X'-X)(XY'-X'Y)=0 （式１０） -a Σ(Y'-Y)(XY'-X'Y)+b Σ(X'-X)(XY'-X'Y)+c Σ(XY'-X'Y) ² =0 （式１１） 以上が並進運動に関する計算方法の例である。

【０１００】２．動きが回転運動を含む場合 回転運動はｘ, ｙ, ｚ方向の３つの変位と各軸を中心と
する３つの回転角、例えばα, β, γによって記述する
ことができる。回転角はオイラー角またはロールピッチ
法などによって表現することができる。

【０１０１】ここで上記合計６つの変数を決定すればよ
いが、ここでも上述のごとくスケールファクターが決ま
らないため、ある変数を１として各変数の比を求める。
理論的上、代表点と対応点を５組とれば運動を記述する
ことができる。

【０１０２】ここで注意すべきは、組のとりかたによっ
ては動きの様子が線形解法によって求まらないことがあ
る点である。こうした場合を考慮する際、組を８以上と
ればよいことが知られている。８組の変化から線形解法
によって回転運動を記述しうる根拠については、例えば
「動きからの単眼立体視による形状認識の線形解法につ
いて」（出口・秋場、計測自動制御学会論文集vol.26，
No.6，714/720 （1990））などに示されている。

【０１０３】［工程３］奥行き情報の獲得工程２によっ
て映像各部位の三次元的な動きの相対量がわかった。工
程３では、この相対量から各部位の奥行き情報を導出す
る。本工程では説明のために、被写体は静止しており、
それを撮影するカメラの側が動くものと仮定する。映像
処理の際には被写体とカメラの相対運動が問題となるた
め、この仮定によって良好な結果が得られる。

【０１０４】映像のある部位の動きを回転行列Ｒと並進
ベクトル（ａ, ｂ, ｃ）により、 （ｘ',ｙ',ｚ' ）＝Ｒ（ｘ, ｙ, ｚ）＋（ａ, ｂ, ｃ） と表す場合、この逆変換、

【数８】 （ｘ, ｙ, ｚ）＝Ｒ^-1｛（ｘ',ｙ',ｚ' ）−（ａ, ｂ, ｃ）｝ （式１２） をカメラの動きと考える。

【０１０５】図１０はカメラの三次元移動とある点Ｐの
画面上の移動から点Ｐの三次元座標を導く原理を説明す
る図である。同図からわかるように、この原理は一般に
三角測量の原理として知られるもので、位置の異なる２
点から点Ｐの方向を見たとき、点Ｐの現実の位置（図中
の点Ｓ）はそれら２つの視線の交点に存在するというも
のである。

【０１０６】同図では、時刻ｔ〜ｔ' の間にカメラが矢
印で示すように式１２に従って移動したとする。フレー
ムｔでは点Ｓが点Ｐt に、ｔ' では点Ｐt'にそれぞれ投
影されている。点Ｓは図中の２つの直線Ｌｔ、Ｌｔ' の
交点にある。

【０１０７】この条件下、カメラの方向とＬｔ、Ｌｔ'
のなす角θｔ、θｔ' は既知であり、一方カメラの移動
方向と距離が判明しているため、点Ｓの三次元座標を求
めることが可能となる。この座標により、映像各部位の
奥行き情報が判明する。

【０１０８】ここで注意すべきは、前述のごとくｃ＝１
という正規化のため、求められた座標も一定の割合で拡
大または圧縮されていることである。しかしこの場合で
も、奥行き情報は一様に拡大圧縮されているため、奥行
きの相互関係は正しい。

【０１０９】以上が本工程の概要であるが、本工程では
前工程までの誤差を考慮する必要がある。誤差により、
通常は前記Ｌｔ、Ｌｔ' が計算上交わらないためであ
る。こうした事情に配慮し、本工程では両直線の最接近
点の中点のｚ座標を点Ｓの奥行き値と近似する。これを
数式によって説明する。

【０１１０】上記Ｌｔ、Ｌｔ' の方向ベクトルをそれぞ
れ（ｕ, ｖ, ｗ）、（ｕ',ｖ',ｗ'）とする。ここで実
数パラメータα、βにより両直線は、 Ｌｔ ：（ｘ, ｙ, ｚ）＋α（ｕ, ｖ, ｗ） Ｌｔ' ：（ｘ',ｙ',ｚ' ）＋β（ｕ',ｖ',ｗ' ） （式１３） と表すことができる。従って、

【数９】 e = {(x+βu)-(x'+ αu')}² +{(y+ βv)-(y'+ αv')}² +{(z+βw)-(z'+ αw')}² とし、ｅを最小にするα、βをｄｅ／ｄα＝０、ｄｅ／
ｄβ＝０より求める。すなわち、

【数１０】 (u² +v² +w² ) α-(uu'+vv'+ww')β+(x-x')u+(y-y')v+(z-z')w=0 (u' ² +v' ² +w' ² ) β-(uu'+vv'+ww')α+(x-x')u'+(y-y')v'+(z-z')w'=0 を解いてα、βを求め、最終的に点Ｓの奥行き値を、

【数１１】{(z+αw)+(z'+ βw')}/2 とすればよい。ここで仮に誤差が０だったとすれば、こ
の座標は両直線の交点のｚ座標に一致する。

【０１１１】また別の方法として、これら両直線を一旦
フレームｔの画面に透視投影し、投影後の最近接点のｚ
座標を求めることもできる。ここでＬｔは代表点である
一点に投影され、一方Ｌｔ' は一般に直線に投影され
る。Ｌｔ' が式１３で表記されるならば、投影後の各点
のｘ、ｙ座標は、Ｌｔ' 上の各点のそれらをそのｚ座標
で割ることにより、 x = f(x'+ βu')/(z'+βw') （式１４） y = f(y'+ βv')/(z'+βw') （式１５） と書くことができる。ここでｆは視点からフレームｔの
画面までの距離で、実際にはｆ＝１などとして扱えばよ
い。式１４、１５からβを消去すれば投影後の直線（以
下Ｌｉという）が以下のように求まる。

【０１１２】ｋｘ＋ｍｙ＋f ｎ＝0 ただしここで、 ｋ＝v'z'-w'y' 、ｍ＝w'x'-u'z' 、ｎ＝u'y'-v'x' とおいている。

【０１１３】求めるべき最近接点は、代表点ＰｔからＬ
ｉに下ろした垂線とＬｉの交点（以下Ｄとする）であ
り、その座標は、 ｘ＝（m ² X-kn-kmY）／（k ² +m² ） （式１６） ｙ＝（k ² Y-mn-kmX）／（k ² +m² ） となる。ここで点Ｔに対応するもとのＬｔ' 上の点をＥ
（x'',y'',z'' ）とすれば、点Ｅは、式１６を式１４に
代入してβを求め、これをＬｔ' の式に代入することよ
って求められる。βは、 β＝（xz'-fx' ）／(fu'-xw'） であるため、これを式１３へ代入し、点Ｅのｚ座標 z''
は、 z'' ＝z'+ w'（xz'-fx' ）／（fu'-xw' ） と求まる。これを点Ｓの奥行き値とすればよい。

【０１１４】なお、画像処理の際の誤差によって上記の
奥行きが負の値となる場合（点Ｓがカメラの後方に存在
することになる場合）、この計算結果は信頼することが
できない。このときは正の奥行き値を持つ近傍の代表点
から補間するなどの処理を行う。

【０１１５】以上、いずれの方法をとるかは別として、
求められた映像各部位の奥行きは、例えば代表点ごとに
数値として与えればよい。図１１はフレームｔにおいて
各代表点に数値が与えられた状態を示す図で、例えばＰ
t （２, ３）、Ｐt （４, ３）それぞれの奥行きは１０
０、２００となり、後者の実際の位置は前者よりも２倍
離れたところにあることがわかる。

【０１１６】［工程４］画像の生成 工程３で求められた奥行き情報に応じて、所期の画像を
生成する。いままでの工程では少なくとも２つの映像フ
レームから必要情報を抽出したが、本工程では１つの映
像フレームをもとに所期の画像を得ることができる。

【０１１７】（１）視点変更映像 図１２、１３は元の映像と視点変更映像の対応関係を示
す図である。図１２には元の映像が示され、この映像は
奥行きが小さい順に「木」、「家」、「人」の映像領域
を含んでいる。一方、図１３には視点変更映像が示され
ている。ここでは、視点を仮想的に右上に移動した場合
を例にしている。

【０１１８】これらの図からわかるように、本発明によ
れば、実際にカメラの位置を移動しなくとも、異なる視
点からの映像を得ることができる。工程３により、映像
各部位について奥行き情報を含む三次元位置座標が把握
されているためである。ここでは視点が右上に移動する
と仮定したが、これは被写体が左下に移動すると考える
ことと等価である。この左下への移動は、工程３で説明
したように、回転と並進によって表すことができる。そ
こで、本実施形態の工程１〜３を逆向きに辿ることによ
り、この仮想的な三次元移動から画像上の二次元移動を
逆算することが可能となる。この結果、図１３に示す画
像が得られる。工程１〜４の画像生成過程には人が恣意
をさし挟む余地はなく、得られる画像は極めて自然なも
のとなる。

【０１１９】本工程では、遮蔽関係を考慮して画像を生
成することが望ましい。例えば図１３の場合、視点の移
動に伴って「木」の下端が「家」の屋根に隠される。そ
こで「木」の下端の部分を「家」の画像データで塗りつ
ぶすことにより、自然な画像を生成する。実際のソフト
ウエア処理では、奥行きの大きい映像部位から順に、視
点移動後の画像を生成していけばよい。遮蔽関係を計算
によって把握したいときは、新たな視点から映像各部位
を見込む視線ベクトルが一致するか否かを判定すればよ
い。視線ベクトルが一致する２つの部位Ａ、Ｂがある場
合、部位Ａのほうが部位Ｂよりも視点に近ければ、部位
Ｂが部位Ａによって隠されることになる。この情報に従
って画像を生成してもよい。

【０１２０】なお、視点変更映像を生成する場合、当然
ながら、視点の仮想的な移動距離が短いほうが正確な画
像を得ることができる。この事実を利用して、視点変更
映像には次のような用途も考えられる。

【０１２１】１．２眼映像から多視点映像の生成 ２眼カメラによってステレオ映像が得られているとき、
仮想的に第３のカメラを設けて多視点映像を生成する。
２眼カメラの間隔は一般に小さいため、例えばこれらと
ともに小さな三角形をなす点を視点とする視点変更映像
を生成する。この映像は比較的正確であり、もとの２眼
カメラによる映像と合わせることで良好な多視点映像を
形成することができる。

【０１２２】２．スローモーション映像の生成 例えば時間的に最も近い２枚の異時刻フレームをフレー
ムｔ、ｔ' とする。これらのフレームを撮影した視点を
それぞれ視点ｔ、ｔ' とする。視点はフレームｔ、ｔ'
の間に視点ｔから視点ｔ' に実際に移動しているが、こ
の間の映像は存在しない。そこで視点ｔ、ｔ' 間に仮想
的な視点を設け、視点変更映像を生成する。視点変更映
像を多数設けて順次表示すればスローモーション映像が
得られる。この際、次の効果がある。

【０１２３】ａ．本来ならコマ送り的な映像となるべき
映像の動きが極めて滑らかになる ｂ．時間的に近いフレーム間では一般に視点の移動が少
ないため、非常に良好な映像が得られる ｃ．視点ｔ、ｔ' 間の視点の移動経路を変化させれば、
異なるイメージのスローモーション映像が得られる。

【０１２４】なおこの技術は、当然ながら同時刻フレー
ム間に適用することもできる。

【０１２５】（２）一部拡大・縮小画像 画像表示技術の１つに強調表示がある。強調表示の一例
として、近い被写体はより近く、遠い被写体はより遠く
に配置しなおす場合がある。画像にメリハリを付けるた
めである。

【０１２６】こうした要請に答えるべく、本発明では奥
行き情報に基づいて画像の一部拡大・縮小を行う。図１
４は図１２の画像の一部を拡大して生成された画像を示
す。ここでは拡大処理の対象を奥行きの小さな領域、す
なわち「人」としている。この結果、観視者に最も近い
「人」がさらに手前に知覚され、効果的な強調表示が可
能となる。ここでも（１）同様、遮蔽関係を考慮するこ
とが望ましい。

【０１２７】ここで注意すべきは、最小の奥行きを持つ
領域を拡大する限り、原則として拡大率に制限がないこ
とである。その領域が理論上奥行きゼロの距離に知覚さ
れてもよいためである。一方、中間の奥行きを持つ領
域、例えば図１４の「家」を拡大する場合、これは
「人」よりも手前に知覚されるべきではないため、自ず
と制限が生じる。この制限を守らない場合、非常に不自
然な画像が生成される。本発明にように、奥行き情報に
基づいて拡大を行う場合、例えば、「最小の奥行きを持
つ領域のみを拡大し、最大の奥行きを持つ領域のみを縮
小する」という規則を設けることが可能となり、現実に
マッチした自然な画像（自然法則に則った画像）を得る
ことができる。

【０１２８】ここでは自然な画像の生成について触れた
が、逆に、敢えて不自然な画像を作りたいという要望も
ある。例えばゲームの画像において、遠い個所にあるも
のを拡大して一種のちぐはぐ感を創出するような用途が
考えられる。いずれにせよ、本実施形態の特徴はこうし
た自然感、不自然感の選択を意識的に行うことのできる
点にある。従来の手法では、ある領域を拡大してみたら
偶然自然な画像が得られた、というような事態が発生し
がちだったが、本実施形態はこうした事態を解消する。

【０１２９】なお、本工程の結果自然な画像を得られた
として、この画像に対し、さらに上記（１）または後述
（３）の処理を施す場合、まず拡大・縮小した領域の奥
行きを変更することが望ましい。例えば、２倍の長さに
拡大した領域については、その奥行きを約１／２にす
る。逆に、１／２の大きさに縮小した領域は奥行きを約
２倍にする。これは領域の大きさと奥行きがほぼ反比例
する事実による。この配慮により、後段の処理において
も自然な画像を得ることができる。

【０１３０】また、（１）と（２）の画像処理に際し
て、画像枠に現れる段差を修正して最終画像を生成して
もよい。例えば、図１２の元の映像から図１３の視点変
更映像を生成する場合、一般に図１３に含まれるすべて
の映像部位と図１２のそれらが完全に一対一に対応する
ことはない。図１３の右上端は、図１２の場合に比べ
て、より「家」の右上端から遠いため、図１３の右上端
付近の映像の元となる映像は図１２に含まれていない。
従って、図１２に含まれる映像情報から単純に図１３の
映像を生成する場合、右上端付近が欠ける。この部分が
図１３に示す理想的な画像枠から内側に凹む。同様の理
由から、図１２に含まれる剰余の映像情報は図１３の画
像枠から外に飛び出す。

【０１３１】そこでここでは、凹部に画素を充当し、一
方凸部から余剰画素を切除することにより、画像枠（画
像領域の外形で、ここでは矩形）をもとのまま維持する
ものとする。充当は、例えば近傍の画素と同じ色の画素
によって行う。（２）の一部拡大・縮小の場合も、それ
ぞれ凸凹が発生すると考えられるため、同様の処理を施
す。こうした処理により、不自然な画像枠の表示を回避
することができる。

【０１３２】（３）切り出しによる画像 所期の領域を切り出して画像を生成する。例えば図１２
において、「人」「家」「木」の奥行きがそれぞれ３、
１０、２０メートルであるとする。ここで仮に、「人」
のみを切り出す場合、例えば「奥行き５メートル以内」
という条件を与えて各部位の奥行きを検索、判定してい
けばよい。「家」の場合は「奥行き５〜１５メートル」
などとする。

【０１３３】図１５は図１２の画像のうち、「家」を切
り出して生成された画像を示している。所望の領域が切
り出された後は、それ以外の領域を空白にしたり、別の
映像に切り出した領域を貼り付けることができる。

【０１３４】このように、本発明は一種の画像認識・加
工技術をも与える。従来、画像領域の切り出しは人手作
業または色によるクラスタリング等の手法によって行わ
れたが、本発明は奥行き情報という新しい観点から、相
当精度の高い領域認識手法を提供する。

【０１３５】以上が実施形態１に係る二次元表示画像生
成方法の説明である。本発明によれば、正確な奥行き情
報の導出とその利用により、新しい画像処理技術が開示
される。一連の処理は、例えばソフトウエア的にすべて
自動化することができるため、本発明の用途は広範であ
る。

【０１３６】実施形態２．実施形態２では実施形態１の
実施に最適な装置を説明する。

【０１３７】図１６は実施形態１を実施するためのハー
ドウエア構成例を示す図である。

【０１３８】同図において、処理対象となる映像は映像
入力回路２０から入力され、ここでＡ／Ｄ変換を受け
る。変換後の映像はフレームメモリ制御回路２２によっ
てフレームメモリ２４に格納される。フレームメモリ２
４の後段には、複数の映像フレームを読み出して対応点
を検出する対応点検出回路２６が置かれている。この回
路は実施形態１の工程１をハードウエア的に実施するも
ので、ブロックマッチングには、例えばＭＰＥＧのエン
コーダ回路を採用することができる。

【０１３９】対応点検出回路２６において検出された対
応点の座標は、いったん対応点座標メモリ２８に格納さ
れ、動き検出回路３０によって適宜読み出される。動き
検出回路３０は実施形態１の工程２、３を実施するもの
で、並進・回転運動から被写体の三次元相対位置を算出
する。

【０１４０】つづいて三次元位置情報は画像生成回路３
２へ入力される。この回路はフレームメモリ２４から元
の映像を読み出し、所定の処理を加えて画像を生成す
る。画像生成回路３２の前段には、外部から各種指示を
受け付ける指示入力部３４が設けられている。

【０１４１】こうして生成された画像は、画像出力回路
３６によるＤ／Ａ変換を受け、図示しないディスプレイ
装置へ出力される。

【０１４２】以上の構成による本装置の動作を説明す
る。

【０１４３】まず、カメラによって撮影された映像また
はビデオ再生装置によって再生された映像等が映像入力
回路２０から入力される。この映像はフレームメモリ２
４に格納される。フレームメモリ２４から読み出された
複数の映像フレームに対し、対応点検出回路２６、動き
検出回路３０によって被写体の奥行き情報が獲得され
る。つづいて画像生成回路３２がこの奥行き情報に従
い、視点変更映像等の画像を生成する。この際、前述の
指示入力部３４からの入力により、視点変更、拡大・縮
小、切り出しを行う。こうした指示は、既知のユーザー
・インタフェイスによって実現可能である。

【０１４４】以上、本装置をワークステーションに組み
込んで映像の奥行き情報を求めた実験の結果を図面によ
って説明する。

【０１４５】図１７〜２２は本装置による画像生成の過
程を示すもので、いずれもディスプレイ上に表示された
中間調画像の写真であり、約６４０×４８０画素領域で
構成されている。

【０１４６】図１７と図１８はそれぞれフレームｔとフ
レームｔ' の映像で、カメラの移動によって多少映像に
動きがある。図１９はフレームｔをメッシュ分割して代
表点を設けた状態を示し、図２０はフレームｔ' におけ
る対応点の初期位置を示している。ここでは特徴点を優
先的に扱い、代表点を中心とする１６×１６画素の領域
でブロックマッチングを行った結果の最良点を初期位置
とした。

【０１４７】図２１は実施形態１の式３、つまり対応点
の位置関係をも考慮して対応点位置を改善した結果を示
す図で、図２０に比べて位置の大幅な改善が見られる。

【０１４８】図２２は獲得された奥行き情報を濃淡で表
したもので、薄い画素ほど奥行きが小さい。同図からわ
かるように、奥行き情報がかなり正確に得られている。

【０１４９】以上、本装置によれば実施形態１を円滑に
実施することができる。この際、特にブロックマッチン
グのソフトウエアによる実行時間を考慮すれば、ここを
ハードウエアで行うことによる処理速度の改善効果は大
きい。

【０１５０】本装置を製品とする場合の態様としては、
例えばパーソナルコンピュータやワークステーションに
図１６の構成を有するアド・オンカードを搭載する方
法、テレビ受信装置やビデオ再生装置に図１６の構成を
予め内蔵する方法等が有効である。本装置をカメラと組
み合わせた場合、従来必要とされたレーザ、赤外線、超
音波等による奥行きの測定が不要となる。

【０１５１】実施形態３．実施形態１、２では、入力映
像が単眼カメラによって撮影されるものとした。ここで
は、多眼カメラによるステレオ映像を入力映像とする場
合の二次元表示画像生成方法を、実施形態１との相違点
を中心に説明する。

【０１５２】図２３は実施形態３によって二次元表示画
像を生成するための主な工程を示す。同図と実施形態１
の図１との主な違いは以下の通りである。

【０１５３】１．工程１の「動き情報」が「変位情報」
に変更される 実施形態１では異時刻フレームを扱ったが、実施形態３
では基本的に同時刻フレームを扱う。同時刻の場合、被
写体に動きを定義することはできないため、代わりに同
時刻フレーム間の被写体の位置のずれ（変位）の情報を
抽出する。

【０１５４】２．工程２が不要となる 図１の工程２「三次元動き情報の算出」に対応するステ
ップがない。多眼の場合、はじめから図１０の状態で撮
影がなされるため、三角測量の原理によって直接的に奥
行き情報が獲得できるためである。

【０１５５】なお、複数カメラの相対位置関係に狂いが
発生しうる多眼カメラシステムを用いる場合、この狂い
を補正するセルフキャリブレーションを行ったほうがよ
い。この場合、工程２はセルフキャリブレーション工程
となる。セルフキャリブレーションの手法については、
例えば、富田、高橋「ステレオカメラのセルフキャリブ
レーション」（情報処理Vol.31，No.5（1990）650 〜65
9 ページ）、特開昭６３−２９３０３８号公報、特開昭
６３−２９３０３９号公報などに示されている。

【０１５６】以下、実施形態３の工程１〜３を説明す
る。

【０１５７】［工程１］二次元変位情報の抽出 実施形態１の説明において、「動き」を「変位」に置き
換える他、フレームｔ、ｔ' の組をフレーム１、２に置
き換えればよい。フレーム１、２はそれぞれカメラ１、
２から撮影された映像を指し、撮影時刻はｔで固定とす
る。実施形態３では、最低これら２枚のフレームのみか
ら最終画像を得ることができる。すなわち多眼撮影の場
合は、入力は静止映像であってもよい。その他、実施形
態１の工程１との相違は以下の通りである。

【０１５８】（１）実施形態１のＳ１１（対応点候補領
域の設定）では、映像の動きの激しさまたは各部位の移
動軌跡に基づき、異時刻フレームの選択または対応点候
補領域を絞り込んで対応点検出処理の計算量削減を行っ
た。実施形態３では絞り込みの方法を以下のように変更
し、同様に有効な計算量削減を実現する。

【０１５９】まず、通常どおり多眼カメラが水平に設置
されると仮定する。このとき、対応点のｙ座標（上下方
向の座標）はほぼ等くなる。この仮定と画像処理に伴う
誤差およびカメラの設置誤差を考慮し、対応点候補領域
を横長の帯状領域に限定する。さらに、フレームｔ'
（ｔ' ＝ｔ−１）において対応する代表点の位置の差が
ｘであれば、フレームｔにおける対応点探索領域も、や
はり差がｘとなる近傍に限定することができる。

【０１６０】（２）実施形態１のＳ１２（対応点候補領
域における非類似度の計算）では、映像の動きが緩慢過
ぎる場合に統計処理を導入したが、実施形態３ではこの
作業も不要である。

【０１６１】（３）実施形態１のＳ１２同様、実施形態
３でも対応点の位置を決めるべくブロックマッチングを
行うが、ここではバイアスド・ブロックマッチングを採
用したほうがよい場合がある。バイアスド・ブロックマ
ッチングは、多眼カメラを構成する各カメラが異なる特
性を持つ場合、有効に機能する。例えば、カメラ２がカ
メラ１よりも青味がかった映像を送出するとすれば、フ
レーム２の色濃度から青（Ｂ）の成分を一定量差し引い
た後（すなわち所定の色偏向定数α_B を引いた後）、ブ
ロックマッチングを行うべきである。こうした処理を行
わない場合、最良マッチングを取り逃がすおそれがあ
る。ただし実際には、例えばＲＧＢで色濃度を表す場
合、前記の青（Ｂ）のみならず、赤（Ｒ）と緑（Ｇ）に
ついてもそれぞれ色偏向定数α_R 、α_G を引くべきであ
る。

【０１６２】図４および式１を基礎として、バイアスド
・ブロックマッチングを式で説明する。ここでは、実施
形態１で用いたＰt （ｉ, ｊ）をフレーム１、２に対応
して単にＰ１、Ｐ２と表記し、Ｉt （ｉ, ｊ）も同様に
Ｉ１、Ｉ２と表記する。このとき式１は、

【数１２】 Ｅ１= ΣΣ｛I1(P1x+u,P1y+v)-I2(P2x+u,P2y+v) ｝² （式１８） と簡単になる。この式が濃淡画像の場合の通常のブロッ
クマッチングを表す。

【０１６３】一方、バイアスド・ブロックマッチングで
は、式１８を、

【数１３】 Ｅ１= ΣΣ｛I1(P1x+u,P1y+v)-I2(P2x+u,P2y+v)-α｝² （式１９） とすればよい。カラー画像の場合、αはα_R 、α_G また
はα_B であり、ＲＧＢそれぞれの画像において求めたＥ
１の和、すなわちＥ１_R ＋Ｅ１_G ＋Ｅ１_B でマッチング
を行う。さらに見やすさを考えて、I1(P1x+u,P1y+v) を
単にＩ１、I2(P2x+u,P2y+v) を単にＩ２と表記すれば、
式１９は、 Ｅ１= ΣΣ（I1-I2-α）² （式２０） となる。Ｉ１、Ｉ２はｕ、ｖの関数であるが、αは定数
である。

【０１６４】αの最適値を考える。カメラ１、２は同じ
被写体を撮影しているはずだから、フレーム１、２の映
像は、映像各部位の変位は別として、ほぼ同様の内容を
含む。すなわちカメラの特性が近づくほど、式２０のＥ
１の値は小さくなる。この事実から逆に、αはＥ１を最
小にする値とすべきである。式２０は、

【数１４】 Ｅ１＝ΣΣ｛（I1-I2 ）² −2 α（I1-I2 ）＋α² ｝ ＝ΣΣ（I1-I2 ）² −2 αΣΣ（I1-I2 ）＋ΣΣα² （式２１） であり、領域の総画素数をＮと仮定すれば、ΣΣ１＝Ｎ
だから式２１は、

【数１５】 Ｅ１＝ΣΣ（I1-I2 ）² −2 αΣΣ（I1-I2 ）＋Ｎα² （式２２） となる。従って、 ｄＥ１／ｄα＝−２ΣΣ（I1-I2 ）＋２Ｎα であるから、 α＝｛ΣΣ（I1-I2 ）｝／Ｎ （式２３） のとき、Ｅ１は最小となる。このαは、ブロックマッチ
ングの対象となる２つの領域間の各画素の色濃度差の平
均値と言い換えられる。式２３を式２２に代入して計算
すれば、

【数１６】 Ｅ１＝ΣΣ（I1-I2 ）² −｛ΣΣ（I1-I2 ）｝² ／Ｎ （式２４） となるため、結局バイアスド・ブロックマッチングでは
式２４を計算すればよい。あとは実施形態１同様の処理
を経て最良マッチングを探索すればよい。

【０１６５】ここでは当然ながら、ＨＶＣ濃度などＲＧ
Ｂ濃度以外の色空間による濃度を採用してもよい。２乗
誤差の代わりに一般の１乗誤差、すなわち色の残差に基
づいてブロックマッチングを行ってもよい。

【０１６６】（４）実施形態１のＳ１３（対応点の初期
位置の決定）では特徴点として、異時刻フレームｔ、
ｔ' 、・・・において位置が安定的に変化している点を
選んだが、ここでは選定基準を加重する。

【０１６７】図２４は実施形態３で導入される特徴点の
選定基準を示す図である。同図において、Ｆ１０〜Ｆ１
２の３枚がカメラ１によって撮影された異時刻フレー
ム、Ｆ２０〜Ｆ２２の３枚がカメラ２によって撮影され
た異時刻フレームである。それぞれ左右２枚の組が同時
刻フレームを示す。ここではある点Ｐに注目し、点Ｐの
位置の異時刻フレーム間の動きをベクトルＡｎで、点Ｐ
の同時刻フレーム間の変位をベクトルＢｎ（ｎ：自然
数）でそれぞれ表している。

【０１６８】以上の設定の下、実施形態３では、次の基
準を満足する点を特徴点として選定する。

【０１６９】（ａ）ベクトルＢｎがほぼ一定であるか、
ほぼ一定変化する あるいは、この他、 （ｂ）ベクトルＡｎがほぼ一定であるか、ほぼ一定変化
する の基準も追加し、（ａ）、（ｂ）をともに満足する点を
特徴点として選定してもよい。

【０１７０】（ｂ）は実施形態１で導入した条件に相当
する。既述のごとく、多眼撮影では同時刻フレームのみ
から奥行き情報を求めることができる。しかしその前提
となる映像間の対応関係の正確な把握は、これとは別問
題であり、異時刻フレーム間の情報も積極的に利用すべ
きである。上記の２条件を同時に満たす点は、相当正確
に追跡されていると考えられるため、二次元変位情報の
抽出に対して重要な手掛かりを与える。ただし入力が静
止映像の場合は、既知の動的計画法（ダイナミック・プ
ログラミング）によって対応点を求めることもできる。

【０１７１】［工程２］奥行き情報の獲得 工程１で求められた映像各部位の変位から各部位の奥行
き情報を導出する。多眼の場合、ある時刻ｔで図１０の
状態が実現されるので、以下、実施形態１の工程３の方
法によって奥行き情報を獲得すればよい。

【０１７２】ここで注意すべきは、撮影カメラの位置関
係が固定であるため、この関係およびカメラの倍率（焦
点距離）が既知であれば、実施形態１で決まらないとさ
れたスケールファクターｃも含め、実施形態３では奥行
き情報が正しく求まる。

【０１７３】［工程３］画像の生成 実施形態１の工程４（画像の生成）と同等の処理を行え
ばよい。

【０１７４】以上が実施形態３の概要である。実施形態
３の場合、一般に非常に高い精度で奥行き情報を求める
ことができ、最終画像である視点変更映像等の精度も高
くなる。

【０１７５】

【発明の効果】本発明によれば元の映像の奥行き情報か
ら二次元表示用の画像を生成することができ、課題であ
った機能的・技術的制約が解消される。入力映像は単
眼、多眼のいずれでもよく、適用範囲が広い。単眼の場
合はシステム構成が簡素化でき、多眼の場合は奥行きの
計算精度がさらに高くなる。

【０１７６】本発明によれば、複数の映像フレーム間に
おける映像各部位の二次元的な位置の変位から奥行き情
報を抽出することができる。

【０１７７】二次元的な位置の変位量に基づいて複数の
映像フレームを選択する場合は、計算途上の誤差が減
る。

【０１７８】二次元的な位置の変位量を統計的に処理す
る場合は、選択の最適化、客観化が可能となる。

【０１７９】映像各部位の動きベクトルの分散が所定値
よりも大きくなるように複数の映像フレームを選択する
場合は、選択の客観化に加え、計算精度の保証が可能と
なる。 分散が大きくなるような選択ができない場合、
通常の映像表示等、他の表示で代替できる。

【０１８０】二次元的な位置の変化から映像各部位が現
実の三次元空間において占める相対位置関係を導出する
場合は、奥行きを正しく求めることができる。

【０１８１】映像各部位の三次元的な動きから三角測量
の原理によって映像各部位の三次元空間における位置座
標を算出する場合は、奥行きの決定を容易かつ正確に行
うことができる。

【０１８２】本発明では、代表点と対応点という概念を
導入したため、動き情報の把握が容易になる。

【０１８３】代表点と対応点の位置関係から他の異時刻
フレームの対応点の位置を予想する場合は、対応点探索
の計算量が削減される。

【０１８４】代表点のうち幾何的に特徴のある映像領域
に関連するものについては、対応点の関連する映像領域
についてもその特徴が維持されるため、対応点の位置精
度が高い。

【０１８５】幾何的に特徴のある映像領域として直線を
含む領域を採用する場合は、対応点の位置精度が改善さ
れる。

【０１８６】複数の映像フレーム間で映像の類似度が高
い点を対応点とする場合は、対応点を正しく求めること
ができる。

【０１８７】映像の類似性のみならず、対応点間の相対
位置の妥当性も評価する場合は、両評価の結果から対応
点の位置精度を改善することができる。

【０１８８】前記各評価の結果が統合され、繰り返し計
算がなされる場合は、対応点の位置精度を徐々に改善し
ていくことができる。

【０１８９】前記類似性の評価をブロックマッチングに
よって行う場合は、容易かつ妥当な評価が可能となる。

【０１９０】ブロックマッチングでは、色濃度のｎ乗誤
差が計算されるため、映像に応じて実験等により最適の
条件を設定することができる。

【０１９１】バイアスド・ブロックマッチングを行う場
合は、特に多眼撮影された入力映像に対して良好な二次
元表示画像の生成が可能となる。

【０１９２】色偏向定数をｎ乗誤差総和が最小となるよ
う決めらる場合は、評価結果の信頼性が高まる。

【０１９３】色偏向定数として映像領域間の各画素の色
濃度差の平均値を採用する場合は、２乗誤差総和が最小
となり、評価結果の信頼性が高まる。

【０１９４】特徴点の対応点を優先的に決める場合は、
対応点の位置精度が高まる。

【０１９５】特徴点である対応点を補間することで非特
徴点である対応点を決める場合は、非特徴点の対応点の
位置精度も必然的に高くなる。

【０１９６】複数の映像フレーム間でブロックマッチン
グを行って特徴点を決める場合は、特徴点選定の客観
化、選定結果の妥当性向上が可能となる。

【０１９７】異時刻フレームで位置の変化が安定して発
生する点を特徴点とした場合、かかる点は精度よく追跡
されているため、その位置精度が高い。

【０１９８】同時刻フレーム間における位置の変位が、
その近傍時刻に撮影された同時刻フレーム間においても
ほぼ一定となるか点を特徴点とする場合、多眼映像から
二次元表示画像を良好に生成することができる。

【０１９９】奥行き情報に従って視点変更映像を生成す
る場合は、カメラの実際の移動が不要である。生成され
る画像も自然である。２眼映像から多視点映像を生成し
たり、滑らかなスローモーション映像を作ることも可能
となる。

【０２００】前記奥行き情報を基準とし、映像の一部拡
大・縮小を行う場合は、画像の自然さを失うことなく、
強調表示等が可能となる。奥行きの小さい領域を拡大し
たり、逆に大きな領域を縮小する場合は特に効果的であ
る。

【０２０１】これらの画像処理によって発生する画像端
部の段差を修正する場合は、もとの映像同様、自然な画
像枠を再生することができる。

【０２０２】奥行き情報に従って映像領域を切り出しを
行う場合は、従来と全く異なる観点から相当正確な切り
出しが可能となる。映像各部位のうち所定範囲の奥行き
を持つ部位を切り出す場合は、映像の貼り付け等、画像
加工処理が可能となる。

【図面の簡単な説明】

【図１】 実施形態１によって二次元表示画像を生成す
るための主な工程を示す図である。

【図２】 映像フレーム間の対応関係を検出するための
フローチャートである。

【図３】 基準フレームｔに代表点を設定する様子を示
す図である。

【図４】 ブロックマッチングの様子を示す図である。

【図５】 仮の対応点Ｐt'（ｉ, ｊ）ごとにＥの値を縦
方向に示した模式図である。

【図６】 Ｓ１２ステップの結果求められた対応点と代
表点の関係を示す図である。

【図７】 対応点の相対位置を評価する原理を説明する
図である。

【図８】 図６の対応点候補に対して本ステップの改善
処理を行った結果を示す図である。

【図９】 ある点Ｐの画面上の移動と三次元空間での移
動の対応を示す図である。

【図１０】 カメラの三次元移動とある点Ｐの画面上の
移動から点Ｐの三次元座標を導く原理を説明する図であ
る。

【図１１】 フレームｔにおいて各代表点に数値が与え
られた状態を示す図である。

【図１２】 元の映像と視点変更映像の対応関係を示す
図である。

【図１３】 元の映像と視点変更映像の対応関係を示す
図である。

【図１４】 画像の一部を拡大して生成された画像を示
す図である。

【図１５】 図１２の画像のうち、「家」を切り出して
生成された画像を示す図である。

【図１６】 実施形態１を実施するためのハードウエア
構成例を示す図である。

【図１７】 フレームｔの映像をディスプレイ上に表示
した中間調画像の写真である。

【図１８】 フレームｔ' の映像をディスプレイ上に表
示した中間調画像の写真である。

【図１９】 フレームｔをメッシュ状に分割して代表点
を設けた状態をディスプレイ上に表示した中間調画像の
写真である。

【図２０】 フレームｔ' における対応点の初期位置を
ディスプレイ上に表示した中間調画像の写真である。

【図２１】 対応点位置を改善した結果をディスプレイ
上に表示した中間調画像の写真である。

【図２２】 奥行き情報を濃淡でディスプレイ上に表示
した中間調画像の写真である。

【図２３】 実施形態３によって二次元表示画像を生成
するための主な工程を示す図である。

【図２４】 実施形態３で導入される特徴点の選定基準
を示す図である。

【符号の説明】

２０ 映像入力回路、２２ フレームメモリ制御回路、
２４ フレームメモリ、２６ 対応点検出回路、２８
対応点座標メモリ、３０ 動き検出回路、３２画像生成
回路、３４ 指示入力部、３６ 画像出力回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 荒川 勉 大阪府守口市京阪本通２丁目５番５号 三洋電機株式会社内 (56)参考文献 特開 平７−162744（ＪＰ，Ａ) 特開 平５−250459（ＪＰ，Ａ) 特開 平６−203163（ＪＰ，Ａ) 特開 平４−4476（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 3/00 - 3/60 G06T 7/00,7/20

Claims (35)

(57)【特許請求の範囲】
1. 【請求項１】 処理の対象となる元の映像から該映像の
   奥行き情報を抽出し、この情報に従って二次元表示用の
   画像を生成する二次元表示画像生成方法であって、 複数の映像フレーム間相互における二次元的な位置の変
   位を検出する二次元的位置変化検出ステップと、 前記複数の映像フレーム数以下の所定の複数フレームを
   選択する複数フレーム選択ステップと、 前記選択された所定の複数フレーム間相互における映像
   各部位の二次元的な位置の変位から前記映像各部位が現
   実の三次元空間において占める相対位置関係を導出し、
   その結果に従って前記奥行きを決定する奥行き決定ステ
   ップと、 を有し、 前記複数の映像フレームは異なる時刻に撮影されたもの
   であり、前記複数フレーム選択ステップでは、前記二次
   元的位置変化検出ステップで検出された映像フレーム間
   の位置変化量に基づいて、所定の複数フレーム間の二次
   元的な位置の変位量を更に求め、該変化量と所定値とを
   比較することによって前記所定の複数フレームから特定
   の複数の映像フレームを選択することを特徴とする二次
   元表示画像生成方法。
2. 【請求項２】 処理の対象となる元の映像から該映像の
   奥行き情報を抽出し、この情報に従って二次元表示用の
   画像を生成する二次元表示画像生成方法であって、 複数の映像フレーム間相互における二次元的な位置の変
   位を検出する二次元的位置変化検出ステップと、 前記複数の映像フレーム数以下の所定の複数フレームを
   選択する複数フレーム選択ステップと、 前記選択された所定の複数フレーム間相互における映像
   各部位の二次元的な位置の変位から前記映像各部位が現
   実の三次元空間において占める相対位置関係を導出し、
   その結果に従って前記奥行きを決定する奥行き決定ステ
   ップと、 を有し、 前記複数の映像フレームは異なる時刻に撮影されたもの
   であり、前記複数フレーム選択ステップでは、前記二次
   元的位置変化検出ステップで検出された映像フレーム間
   の位置変化量に基づいて、所定の複数フレーム間の二次
   元的な位置の変位量を更に求め、該変化量の平均値が所
   定値より大きくなるよう前記所定の複数フレームから特
   定の複数の映像フレームを選択することを特徴とする二
   次元表示画像生成方法。
3. 【請求項３】 処理の対象となる元の映像から該映像の
   奥行き情報を抽出し、この情報に従って二次元表示用の
   画像を生成する二次元表示画像生成方法であって、 複数の映像フレーム間相互における二次元的な位置の変
   位を検出する二次元的位置変化検出ステップと、 前記複数の映像フレーム数以下の所定の複数フレームを
   選択する複数フレーム選択ステップと、 前記選択された所定の複数フレーム間相互における映像
   各部位の二次元的な位置の変位から前記映像各部位が現
   実の三次元空間において占める相対位置関係を導出し、
   その結果に従って前記奥行きを決定する奥行き決定ステ
   ップと、 を有し、 前記複数の映像フレームは異なる時刻に撮影されたもの
   であり、前記複数フレーム選択ステップでは、前記二次
   元的位置変化検出ステップで検出された映像フレーム間
   の位置変化量に基づいて、所定の複数フレーム間の動き
   ベクトルの分散を求め、該分散値が所定値より大きくな
   るよう前記所定の複数の映像フレームから特定の複数の
   映像フレームを選択することを特徴とする二次元表示画
   像生成方法。
4. 【請求項４】 請求項３に記載の二次元表示画像生成方
   法において、前記分散値が所定値より大きくなるような
   所定の複数の映像フレームを選択することができない場
   合には、二次元表示用画像の生成を中止することを特徴
   とする二次元表示画像生成方法。
5. 【請求項５】 請求項１〜４のいずれかに記載の二次元
   表示画像生成方法において、前記二次元的な位置の変位
   から前記映像各部位の三次元的な動きを算出し、この動
   きから三角測量の原理によって前記映像各部位の三次元
   空間における位置座標を算出し、その結果に従って前記
   奥行きを決定することを特徴とする二次元表示画像生成
   方法。
6. 【請求項６】 処理の対象となる元の映像から該映像の
   奥行き情報を抽出し、この情報に従って二次元表示用の
   画像を生成する二次元表示画像生成方法であって、 複数の映像フレーム間相互における二次元的な位置の変
   位を検出する二次元的位置変化検出ステップと、 前記複数の映像フレーム数以下の所定の複数フレームを
   選択する複数フレーム選択ステップと、 前記選択された所定の複数フレーム間相互における映像
   各部位の二次元的な位置の変位から前記映像各部位が現
   実の三次元空間において占める相対位置関係を導出し、
   その結果に従って前記奥行きを決定する奥行き決定ステ
   ップと、 を有し、 前記複数の映像フレームは異なる時刻に撮影されたもの
   であり、前記複数フレーム選択ステップでは、前記二次
   元的位置変化検出ステップで検出された映像フレーム間
   の位置変化量に基づいて、所定の複数フレーム間の二次
   元的な位置の変位量を更に求め、該変化量と所定値とを
   比較することによって前記所定の複数フレームから特定
   の複数の映像フレームを選択し、前記奥行き決定ステッ
   プでは、前記所定の複数フレームのうち、基準となる映
   像フレームに代表点を設定し、他の映像フレームにおけ
   る前記代表点の対応点を求め、これら代表点と対応点と
   の位置関係を求めることによって、前記映像各部位の二
   次元的な位置の変化を認識することを特徴とする二次元
   表示画像生成方法。
7. 【請求項７】 請求項６に記載の二次元表示画像生成方
   法において、前記基準となる映像フレームと前記他の映
   像フレームが異なる時刻に撮影されたものであるとき、
   前記代表点と前記対応点との位置関係から、さらに他の
   映像フレームの対応点の位置を予想し、対応点を探索す
   べき領域を限定することを特徴とする二次元表示画像生
   成方法。
8. 【請求項８】 請求項６、７のいずれかに記載の二次元
   表示画像生成方法において、前記代表点のうち、幾何的
   に特徴のある映像領域に関連するものについては、それ
   ら代表点の対応点の関連する映像領域についても前記幾
   何的な特徴が維持されるよう、前記対応点の位置を調整
   することを特徴とする二次元表示画像生成方法。
9. 【請求項９】 請求項８に記載の二次元表示画像生成方
   法において、前記幾何的に特徴のある映像領域は、直線
   を含む領域であることを特徴とする二次元表示画像生成
   方法。
10. 【請求項１０】 請求項６に記載の二次元表示画像生成
    方法において、前記他の映像フレームにおける特定点近
    傍の映像領域と、前記基準となる映像フレームの代表点
    近傍の映像領域間で映像の類似性を評価し、この評価結
    果が良好な場合に前記特定点をもって前記代表点の対応
    点と決めることを特徴とする二次元表示画像生成方法。
11. 【請求項１１】 請求項６に記載の二次元表示画像生成
    方法において、前記他の映像フレームにおける特定点近
    傍の映像領域と、前記基準となる映像フレームの代表点
    近傍の映像領域間で映像の類似性を評価し、前記特定点
    間の相対位置の妥当性を評価し、これら両評価の結果が
    良好な場合に前記特定点をもって前記代表点の対応点と
    決めることを特徴とする二次元表示画像生成方法。
12. 【請求項１２】 請求項１１に記載の二次元表示画像生
    成方法において、前記各評価の結果を数値化して統合
    し、前記対応点の位置を変化させながら前記数値を再計
    算し、繰り返し計算を通して前記対応点の位置精度を改
    善することを特徴とする二次元表示画像生成方法。
13. 【請求項１３】 請求項１２に記載の二次元表示画像生
    成方法において、一旦全対応点の位置を固定した上で、
    １つの対応点のみを移動させながら前記各評価の結果が
    最良となる点を探索し、探索された最良点の位置を前記
    １つの対応点の新たな位置とし、これらの探索および位
    置の変更を順次全対応点について行うことを特徴とする
    二次元表示画像生成方法。
14. 【請求項１４】 請求項１３に記載の二次元表示画像生
    成方法において、前記探索および位置の変更を全対応点
    について行った後、統合された各評価の数値が極値をと
    る条件を表すオイラー方程式を数値的に解くことによ
    り、前記対応点の位置精度を改善することを特徴とする
    二次元表示画像生成方法。
15. 【請求項１５】 請求項１０〜１４のいずれかに記載の
    二次元表示画像生成方法において、前記類似性の評価が
    ブロックマッチングによって行われることを特徴とする
    二次元表示画像生成方法。
16. 【請求項１６】 請求項１５に記載の二次元表示画像生
    成方法において、前記ブロックマッチングでは、比較す
    べき映像領域の間で色濃度のｎ乗誤差総和（ｎは１また
    は２）が計算されることを特徴とする二次元表示画像生
    成方法。
17. 【請求項１７】 請求項１６に記載の二次元表示画像生
    成方法において、前記色濃度に対して、所定の色偏向定
    数を考慮して前記ブロックマッチングを行うことを特徴
    とする二次元表示画像生成方法。
18. 【請求項１８】 請求項１７に記載の二次元表示画像生
    成方法において、前記色偏向定数は、前記ｎ乗誤差総和
    が最小となるよう決められることを特徴とする二次元表
    示画像生成方法。
19. 【請求項１９】 請求項１８に記載の二次元表示画像生
    成方法において、前記色偏向定数は、前記映像領域間の
    各画素の色濃度差の平均値であり、前記ブロックマッチ
    ングは、前記映像領域間で各画素の色濃度差から前記色
    偏向定数を減算した後に２乗誤差総和を算出することを
    特徴とする二次元表示画像生成方法。
20. 【請求項２０】 請求項１０〜１４のいずれかに記載の
    二次元表示画像生成方法において、映像に含まれる点を
    特徴点と非特徴点に分類し、特徴点である代表点につい
    て優先的に対応点を決めることを特徴とする二次元表示
    画像生成方法。
21. 【請求項２１】 請求項２０に記載の二次元表示画像生
    成方法において、前記特徴点である対応点を補間して前
    記非特徴点である対応点を決めることを特徴とする二次
    元表示画像生成方法。
22. 【請求項２２】 請求項２０に記載の二次元表示画像生
    成方法において、前記基準となる映像フレームと前記他
    の映像フレームの間でブロックマッチングを行い、その
    結果、代表点との対応が良好である対応点を前記特徴点
    とすることを特徴とする二次元表示画像生成方法。
23. 【請求項２３】 請求項２０に記載の二次元表示画像生
    成方法において、前記特徴点は、撮影時刻の異なる複数
    の映像フレームにおいて位置が安定的に変化している点
    であることを特徴とする二次元表示画像生成方法。
24. 【請求項２４】 請求項２０に記載の二次元表示画像生
    成方法において、前記特徴点は、同時に撮影された映像
    フレーム間における位置の変位が、その近傍時刻におい
    て同時に撮影された映像フレーム間においてもほぼ一定
    であるか、または一定変化する点であることを特徴とす
    る二次元表示画像生成方法。
25. 【請求項２５】 請求項１〜２４のいずれかに記載の二
    次元表示画像生成方法において、前記奥行き情報に従
    い、映像の視点を仮想的に変更したときに得られるべき
    視点変更映像を生成することを特徴とする二次元表示画
    像生成方法。
26. 【請求項２６】 請求項２５に記載の二次元表示画像生
    成方法において、想定される視点の変更に伴う映像各部
    位の位置の変位を前記奥行き情報から逆算し、その位置
    の変位に従って映像を再構築することにより、前記視点
    変更映像を生成することを特徴とする二次元表示画像生
    成方法。
27. 【請求項２７】 請求項２５、２６のいずれかに記載の
    二次元表示画像生成方法において、元の映像が２眼カメ
    ラによって撮影されたものであるとき、これら２眼から
    十分に近い位置に仮想カメラを想定し、この仮想カメラ
    から撮影されるべき映像を視点変更映像として生成し、
    この視点変更映像と前記２眼カメラによって撮影された
    現実の映像とによって多視点映像を生成することを特徴
    とする二次元表示画像生成方法。
28. 【請求項２８】 請求項２５〜２７のいずれかに記載の
    二次元表示画像生成方法において、映像の視点を、ある
    映像フレームを撮影した視点から別の映像フレームを撮
    影した視点まで仮想的に移動させながら、移動経路上の
    任意の個所を視点とする視点変更映像を生成することを
    特徴とする二次元表示画像生成方法。
29. 【請求項２９】 処理の対象となる元の映像から該映像
    の奥行き情報を抽出し、この情報に従って二次元表示用
    の画像を生成する二次元表示画像生成方法であって、 複数の映像フレーム間相互における二次元的な位置の変
    位を検出する二次元的位置変化検出ステップと、 前記複数の映像フレーム数以下の所定の複数フレームを
    選択する複数フレーム選択ステップと、 前記選択された所定の複数フレーム間相互における映像
    各部位の二次元的な位置の変位から前記映像各部位が現
    実の三次元空間において占める相対位置関係を導出し、
    その結果に従って前記奥行きを決定する奥行き決定ステ
    ップと、 を有し、 前記複数の映像フレームは異なる時刻に撮影されたもの
    であり、前記複数フレーム選択ステップでは、前記二次
    元的位置変化検出ステップで検出された映像フレーム間
    の位置変化量に基づいて、所定の複数フレーム間の二次
    元的な位置の変位量を更に求め、該変化量と所定値とを
    比較することによって前記所定の複数フレームを選択す
    ることを特徴とする二次元表示画像生成方法。
30. 【請求項３０】 請求項２９に記載の二次元表示画像生
    成方法において、前記元の映像の一部領域として奥行き
    が小さな領域を選定し、該領域を拡大した上で画像を生
    成することを特徴とする二次元表示画像生成方法。
31. 【請求項３１】 請求項２９に記載の二次元表示画像生
    成方法において、前記元の映像の一部領域として奥行き
    が大きな領域を選定し、該領域を縮小した上で画像を生
    成することを特徴とする二次元表示画像生成方法。
32. 【請求項３２】 請求項２５〜３１のいずれかに記載の
    二次元表示画像生成方法において、画像の処理に伴って
    画像枠に現れる段差を修正することを特徴とする二次元
    表示画像生成方法。
33. 【請求項３３】 請求項１〜３２のいずれかに記載の二
    次元表示画像生成方法において、前記奥行き情報に従
    い、所望の映像領域を切り出して画像を生成することを
    特徴とする二次元表示画像生成方法。
34. 【請求項３４】 請求項３３に記載の二次元表示画像生
    成方法において、映像各部位のうち所定範囲の奥行きを
    持つ部位を選定することによって前記切り出しを行うこ
    とを特徴とする二次元表示画像生成方法。
35. 【請求項３５】 請求項３３、３４のいずれかに記載の
    二次元表示画像生成方法において、前記切り出しの後、
    切り出された映像領域を別の映像に重ねることによって
    新たな画像を生成することを特徴とする二次元表示画像
    生成方法。