JPH0273471A - 三次元形状推定方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は、ＣＡ　Ｄ　（ｃｏｎ＋ｐｕｔｅｒ　ａｉｄ
ｅｄ　ｄｅｓｉｇｎ）、ＣＡ　Ｍ　（ｃｏｍｐｕｔｏｒ
　ａｉｄｅｄ　ｎＩＩｎｕｆａｃＬｕｒｅ　）　、コン
ピュータ・グラフィクスなどに必要な任意の物体の三次
元形状を得るための方法に関するものである。特に、構
造や三次元形状が似ている物体の集まり、即ち、典型的
な構造や三次元形状が存在する物体の集合を対象にして
、その巾のある特定の物体の三次元形状を得る方法に関
する。

以下では、前述した物体の集合として人物を例にとり説
明するが、本発明自体は、人物以外の各種物体に広く適
用可能であることはいうまでもない。

「従来の技術」 放送・映画におけるコンピュータグラフィクスを用いた
映像作成（例えば、〔文献１〕小松二「−）−ヤラクタ
・アユメーンシンのだめの顔の曲面モデルｊ、情報処理
学会グラフィクスとＣΔ１〕研究会資才１３１−５　、
１９８８年）や画像通信における分析・認識符５）化（
例えば、（文献２〕相沢他：　「分析合成符号化におけ
るモデル構成と表情合成Ｊ、電子情報通信学会画像工学
研究会技術報告ＩＥ８７−２　、１９８７年）など、人
物の動きや変形を計算機によりシミュレーソシンして各
種の分野に応用する試みが行われている。そのためには
特定人物の三次元形状が必要である。

従来の三次元物体の形状得る方法として、（１）実際の
物体にスリット光やレーザーを当てて物体表面上の各点
の三次元座標を得るか、モアレを利用して表面上の各点
までの奥行きを得て三次元形状を構成する方法や、（２
）多くのＣ′Ｆスライス画像から三次元形状を構成する
方法や、（３）グラフィック・デイスプレィを見ながら
元になる三次元形状データを特定の人物に似るように人
間が少しづつ修正して三次元形状を得る方法が使用され
ていた。

従って、１１訂記（１）または（２）の方法では、特殊
な計測装置が必要であり、測定される人物は特殊な計測
装置の中で計測が終わるまで静止しておかなければなら
ず、計測時間を短くしようとすると精度が低くなるとい
う欠点があった。また、前記（３）の方法は、三次元形
状を得るために、グラフインク・デイスプレィ等の装置
の操作になれた人間が長い時間をかけて作業をしなけれ
ばならないという欠点があった。

人物をＴＶカメラなどで撮影し、各種の画像処理を用い
て自動的に三次元形状を得ようとする試みもあるが、対
象物体の形状の手ががりなしで、人物像のみに基づいて
自動的に三次元形状を得ることは困難であり、未だ実現
されてぃない。

本発明は、これらの欠点を除去し、ＴＶカメラなどで１
８影された何枚かの人物画像のみから人手を介さず機械
により自動的に人物の三次元形状を得ることを目的とす
る。

「課題を解決するための手段」 本発明は、予め部位された典型的人間の三次元モデルを
用意しておき、そのモデルを使うことにより、ＴＶカメ
ラなどで撮影した人物像から特（牧的な部位（例えば頭
部では耳、目、鼻、口など）の位置と形状を自動検出し
て、検出された各部位の位置と形状が前記三次元モデル
の形状と一致するように前記三次元モデルの形状を自動
変形することにより、特定人物の三次元形状を推定する
ものである。以下、図面を用いて詳細に説明する。

「実施例」 第１図は、人物の正面像と側面像から三次元形状を推定
するために構成された本発明の実施例であり、 １ａとｔｂは、それぞれ正面像と側面像を撮影するカメ
ラ、 ２ａと２ｂは、それぞれ正面像と側面像を記憶する画像
メモリ、 ３は、典型的な人間の三次元形状や構造を表している三
次元モデルの格納部、 ４ａと４ｂは、三次元モデル３の形状がそれぞれ正面像
と側面像の撮影時の人物の姿勢および大きさと一致する
ように、三次元モデル３の形状を拡大・縮ノ１い移動・
回転させる形状変換部、 ５ａと５ｂは、それぞれ撮影された正面像と側面像の人
物の姿勢や大きさを検出する姿勢大きさ検出部、 ６ａと６ｂは、それぞれ４ａ、４ｂにより変換された三
次元モデル３を正面像と側面像の退転条件と同し条件で
二次元に投影し、その結果から目じり、鼻の先、口の両
端など物体形状を特徴づける点（以後、特徴点と呼ぶ）
の位置やあごや頭の輪郭の、両画像内での存在範囲を計
Ｉγする範囲計算部、 ７ａと７ｂは、それぞれ、範囲計算部６ａ６ｂで計算さ
れた範囲を用いて、正面像と側面像から頭やあごなどの
輪郭形状を検出する輪郭検出部、 ８、コと８ｂは、それぞれ、範囲計算部６ａ６ｂで３１
算されたｆａ囲を用いて、正面像と側面像から特徴点の
位置を検出する特徴点位置検１１部、 ９は、三次元モデル３の中の輪郭形状と特徴点位置が、
輪郭検出部７ａ、７ｂおよび特徴点位置検出部８ａ、８
ｂから得られた正面と側面での輪郭形状と特徴点の位置
に一致するように、形状変換された三次元モデルの形状
を変形させる形状変形部であるや 次に、第１図の実施例の動作を具体的に説明する。説明
を簡単にするために処理対象を人物頭部に限定して、そ
の三次元形状を推定すると仮定する。

７次元モデルは、第２図に示すような頭部の三次元形状
と、その形状中における目じり、鼻の先、口の両端、耳
穴などの特徴点に対応する頂点のデータと、正面・側面
から見たときのあごと頭の輪郭上にある頂点のデータに
よって構成されているとする。

まず、姿勢大きさ検出部５ａ、５ｂでの処理を容易にす
るためにある人間を所定の位置に置き所定の姿勢をとら
せる。そして、カメラｌａ。

ｌｂで１ｉ影し、正面像と側面像をそれぞれ画像メモリ
２ａ　　２ｂに格納する。

姿勢大きさ検出部５ａ、５ｂでは、しきい値処理などに
より措影された画像から頭部像と背景を分離し、頭部像
の縦横の大きさを？ｌ１ｌｌ定すると共に、頭部の中心
位置を計算する。

形状変換部４ａ、４ｂでは、三次元モデル３の形状が前
記姿勢大きさ検出部で測定された大きさ・位置と一致す
るように、三次元モデルの形状を拡大・縮／］い移動・
回転する。

範囲計算部６ａでは、変換された三次元モデルの形状を
カメラｌａの撮影条件と同じ条件で二次元に投影し二次
元図形をつくる０次に、その二次元図形を正面像に重ね
ることにより、三次元モデル中に設定されている特徴点
および輪郭のデータを用いて正面像上での特（数点およ
び輪郭の存在範囲を決める。範囲計算部６ｂも６ｄと同
様に、側面像Ｅでの特徴点および輪郭の存在範囲を決め
る。

輸シ１（検出部７ａ、７ｂでは、範囲計算部Ｇａ。

６ｂで計算された輪郭の存在範囲を用いて輪゛邦を検出
する。例えば、正面・側面像それぞれに前記二次元図形
を重ね、頭部像の中心から二次元図形の輪郭上の各頂点
へ直線を伸ばし、その直線が実際の頭部像の輪郭と公差
する位置を検出し、輪郭上の頂点の位置を求める。

特徴点位置検出部Ｏａ、８ｂでは、範囲旧算部６ｙ＋、
６ｂから与えられる特徴点の存在範囲に基づいて、画像
メモリ２ａ、２ｂ内の正面・側面画像から各特徴点の実
際の位置を検出する。

例えば、予め特徴点付近の輝度変化のパターンを用意し
ておき、与えられた存在範囲内でそのパターンを少しづ
つずらしながら画像とマツチングをとり、最もよく一致
した位置を特徴点の位置とする。

形状変形部９では、三次元モデル中の特徴点と輪ｆｆ１
ｉ上の頂点の位置が、輪郭検出部７ａ、７ｂおよび特徴
点位置検出部８ａ、８ｂで得られた位置に一致するよう
に、拡大・縮〕１い移動・回転された三次元モデルの形
状全体を変形する。

例えば、輪郭検出部７ａと特徴点位置検出部８ａによっ
て得られた正面像での各特徴点の位置と輪郭上の頂点の
位置を用いて、第２図に示す形状を（ｘ、ｙ）座標につ
いて変形し、同様に、側面像から得られた各特徴点の位
置と輪郭上の頂点の位置から（ｙ、ｚ）座標について変
形し、それをまとめることで頭部三次元形状を得る。

変形の方法は、例えば、三次元モデル形状中の頂点の中
で特徴点に対する頂点と輪郭上の頂点を、測定された位
置まで移動させ、それ以外の頂点は、移動させられる頂
点の移動量を補間することで移動させる。

一般に、計算機などで画像から前述した部位の位置や形
状を自動検出することは、それらが画像内のどの辺りに
、どの様な色または絃度で、どのくらいの大きさで存在
しているかが分からないので困難である。しかし、人物
は、個人間で形状が異なっても基本的な構造が同じで形
状もほとんど同し物体なので、その構造や典型的な形状
を持つ三次元モデルを用いて画像上における各部位の存
在範囲や輪郭を検出処理前に求めるごとにより、自動検
出が回帰となる。即ち、例えばａ淡画像の二値化処理に
よっである部位を分離しようとする場合、その部位の存
在範囲と大まかな形が分かっていれば、存在範囲内で与
えられた形に近い図形を探索し、見つからなければ二値
化のしきい値を変化させて探索を繰り返せばよい。

以上の説明では、人物を正面と側面の２方向から退転し
、２枚の人物画像を用いて三次元形状を推定したが、３
方向以上から盪影して３枚以上の人物画像を用いるよう
に拡張することも容易である。その場合、形状の推定精
度を高めることができる。

「発明の効果」 以上説明したように、本発明によれば、人物をはじめと
する各種の物体を一方向または複数方向から盪影するの
みで、人手を介さず自動的にその人物の三次元形状を推
定することができるので、本発明は特定の物体の三次元
形状が必要な用途、例えは、コンピュータ・グラフィク
スによる人物像の生成、人物の三次元形状に基づく個人
識別、工業製品の三次元画像生成、工業製品や農産物な
どの形状識別、検査、自動選別など多くの用途において
きわめて有効である。

【図面の簡単な説明】

第１図はこの発明の実施例を示すブロック図、第２図は
三角形パッチ表現された顔形状の三次元モデルの例を示
す図である。 特許出願人　　日本電信電話株式会社

Claims (1)

【特許請求の範囲】
1. （１）ある物体を撮影した画像からその物体の三次元形
   状を数値データとして得るための処理方法において、 処理対象とする物体の一般的な構造と三次元形状を表し
   ている三次元モデルを予め用意しておき、 形状を推定したい物体を一方向または複数の方向から撮
   影し、 前記三次元モデルの形状を前記物体の大きさ及び撮影時
   の姿勢に一致するように拡大・縮小・移動・回転し、 拡大・縮小・移動・回転された三次元モデルの形状を前
   記撮影画像の撮影条件と同じ条件で前記画像上に投影す
   ることで、前記画像上での物体の輪郭および特徴的な部
   分の存在範囲を求め、 前記存在範囲を手がかりにして前記画像上での物体の輪
   郭と特徴的な部分の実際の位置を検出し、 三次元モデルの形状が検出された輪郭および各部分の実
   際の位置と一致するように、拡大・縮小・移動・回転さ
   れた三次元モデルの形状を変形することにより物体の三
   次元形状を得ることを特徴とする三次元形状推定方法。