JPH09305798A

JPH09305798A - 画像表示装置

Info

Publication number: JPH09305798A
Application number: JP8140919A
Authority: JP
Inventors: Masahiko Suzaki; 昌彦須崎
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1996-05-10
Filing date: 1996-05-10
Publication date: 1997-11-28

Abstract

(57)【要約】【課題】合成した画像に３次元的な動きを与える。【解決手段】ワイヤフレーム変形部５は、顔特徴点抽
出部３からの特徴点データに基づき、ワイヤフレームデ
ータ１を変形する。頭部輪郭線抽出部４は、２次元画像
２に対する頭部の輪郭線を抽出する。表情・向き設定部
７は、表示される顔画像の回転方向を指定する。画像合
成部６は、変形されたワイヤフレームデータに基づいた
顔画像のポリゴンに対して、指定された顔の回転方向に
対応した回転を行い、かつ、顔画像のポリゴンと、背景
ポリゴンとの間に、頭部の輪郭点に基づいた境界ポリゴ
ンを生成し、この境界ポリゴンを回転方向に対応させて
顔画像の合成を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、コンピュ
ータグラフィックス（以下、ＣＧという）により、人物
の顔の３次元アニメーションを表示する機能を有する来
訪者案内システム等の対話システムにおいて、ＣＧの顔
を違和感なく表示させるための画像表示装置および画像
表示方法に関する。

【０００２】

【従来の技術】従来、この種の画像表示方法としては、
例えば、「筋肉エディタによる表情アニメーションの向
上」内藤剛人，竹内彰一，所真理雄，グラフィックス
とＣＡＤシンポジウム，1993. 9.に示すように、人物の
２次元画像から、顔の特徴点を抽出し、この特徴点デー
タに基づき、ワイヤフレームを変形して、顔画像の合成
を行っていた。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
画像表示方法では、顔画像の頭部モデルは顔の部分のみ
であり、合成された画像では、顔だけが浮き出たような
ものになり、違和感があった。

【０００４】図２は、従来の顔画像を示す図である。こ
のように、頭部モデルが顔の部分のみである理由は、頭
髪の部分の形状が複雑で、個人毎に異なるため、頭髪部
分の標準の３次元モデルを２次元の画像に合わせて変形
することが困難なためである。また、胴体部分に関して
も、２次元の画像中の人物の服装等の違いによって３次
元モデルの変形が困難となる。

【０００５】このような点から、合成した画像に３次元
的な動きを与えることのできる画像表示方法の実現が望
まれていた。

【０００６】

【課題を解決するための手段】本発明は、前述の課題を
解決するため次の構成を採用する。〈請求項１の構成〉２次元画像から顔の特徴点を抽出し
た特徴点データに基づき、ワイヤフレームデータを変形
するワイヤフレーム変形部と、顔の回転方向を指定する
表情・向き設定部と、顔の頭部の輪郭線を抽出する頭部
輪郭線抽出部と、ワイヤフレーム変形部で変形されたワ
イヤフレームデータに基づいた顔画像のポリゴンに対し
て、表情・向き設定部で指定された顔の回転方向に対応
した回転を行うと共に、顔画像のポリゴンと、２次元画
像における背景ポリゴンとの間に、頭部輪郭線抽出部で
抽出した頭部の輪郭点に基づいた境界ポリゴンを生成
し、この境界ポリゴンを回転方向に対応させて顔画像の
合成を行う画像合成部と、画像合成部で生成された画像
を表示する画像表示部とを備えたことを特徴とするもの
である。

【０００７】〈請求項１の説明〉２次元画像とは、コン
ピュータグラフィックスで合成する顔の画像データであ
る。顔の特徴点とは、目、耳、鼻、口の位置等である。
ワイヤフレームデータとは、３次元の頂点座標を並べた
データと、一つのポリゴンを構成するためにどの頂点と
どの頂点とを結ぶかを示すリンクデータとからなるデー
タである。また、ポリゴンとは、コンピュータグラフィ
ックスを描画する時の平面の単位である。そして、頭部
の輪郭線とは、頭髪部分を含んだ顔の輪郭線である。

【０００８】頭部輪郭線抽出部は、２次元画像から頭部
の輪郭線を抽出する。そして、画像合成部は、ワイヤフ
レーム変形部で変形されたワイヤフレームデータに基づ
いた顔画像のポリゴンを生成すると共に、頭部の輪郭線
に基づいた境界ポリゴンを生成する。また、２次元画像
における背景画像から背景ポリゴンを生成する。表情・
向き設定部にユーザから顔の回転指定が行われると、そ
の回転方向データを画像合成部に送る。画像合成部は、
顔画像のポリゴンと境界ポリゴンとを回転方向に対応さ
せて伸縮させ、これにテクスチャを張り付け、顔画像を
合成する。

【０００９】このように、顔画像を回転させた場合、境
界ポリゴンが伸縮するため、入力画像の背景をそのまま
使うことができると共に、髪の毛の先の細かい部分等の
画像がそのまま保存され、違和感のない画像を合成する
ことができる。

【００１０】〈請求項２の構成〉請求項１記載の画像表
示装置において、顔の顎の輪郭線を抽出する顎輪郭線抽
出部と、顔画像のポリゴンと、２次元画像における背景
ポリゴンとの間に、顎輪郭線抽出部で抽出した顎の輪郭
点に基づいた境界ポリゴンを生成し、この境界ポリゴン
を回転方向に対応させて顔画像の合成を行う画像合成部
とを備えたことを特徴とするものである。

【００１１】〈請求項２の説明〉請求項２の発明は、請
求項１の発明に加えて、顎の輪郭線を抽出し、この輪郭
線に基づき、顎部分の境界ポリゴンを生成するようにし
たものである。これにより、左右や上を向いた顔画像を
合成する際に、入力画像では顎の裏側が見えていなくて
も、その部分を違和感なく表示することができる。

【００１２】〈請求項３の構成〉請求項２記載の画像表
示装置において、頭部輪郭線抽出部および顎輪郭線抽出
部のうち、少なくとも一方の輪郭線抽出部は、輪郭線を
構成する複数の輪郭点に対して、隣接する輪郭点を結ぶ
直線に近づくほどエネルギが小さくなるなめらかさと、
隣接する輪郭点との距離が小さくなるほどエネルギが小
さくなる連結性と、入力画像の濃淡値の変化が大きい部
分ほどエネルギが小さくなるエッジ強度との総和が最も
小さい輪郭点を求めるエネルギ最小化を行うことで輪郭
線の抽出を行うよう構成されたことを特徴とするもので
ある。

【００１３】〈請求項３の説明〉請求項３の発明は、頭
部や顎の輪郭線の抽出に画像処理を用いるようにしたも
のである。先ず、２次元画像中の顔の頭部や顎の大まか
な輪郭線を描き、この輪郭線からｎ個の輪郭点を決定す
る。そして、ｎ個の輪郭点に対して、なめらかさと連結
性とエッジ強度とが最も小さくなるよう移動させ、得ら
れたこれらの輪郭点から輪郭線を求める。従って、ユー
ザが入力画像に対して頭部や顎の輪郭を細かく設定する
必要がなくなり、ユーザの負担を軽減することができ
る。

【００１４】〈請求項４の構成〉請求項３記載の画像表
示装置において、頭部輪郭線抽出部および顎輪郭線抽出
部のうち、少なくとも一方の輪郭線抽出部は、輪郭線の
端点を固定の輪郭点としてエネルギ最小化を行うよう構
成されたことを特徴とするものである。

【００１５】〈請求項４の説明〉請求項４の発明は、輪
郭線の抽出処理において、輪郭線の両端点を固定の輪郭
点としたものである。これにより、通常は閉曲線に対し
て適用されるエネルギ最小化処理を開曲線に拡張して適
用することができる。

【００１６】〈請求項５の構成〉請求項３または４に記
載の画像表示装置において、頭部輪郭線抽出部および顎
輪郭線抽出部のうち、少なくとも一方の輪郭線抽出部
は、各輪郭点に対して、各輪郭点を中心とする予め決め
られた大きさのウインドウを設定し、このウインドウ内
のエッジ強度によりエネルギ最小化を行うよう構成され
たことを特徴とするものである。

【００１７】〈請求項５の説明〉請求項５の発明は、各
輪郭点のエッジ強度を、その輪郭点のみで判定するので
はなく、その輪郭点を中心とするｓ×ｔ（例えば、ｓ、
ｔは３〜５程度の小さな正整数）画素の小ウインドウを
定義し、この小ウインドウ内の画素の合計値で判定する
ようにしたものである。これにより、入力画像中の雑音
等による細かい局所的なエッジに影響されることなく、
大局的なエッジに輪郭点を近づけることができる。

【００１８】〈請求項６の構成〉請求項１〜５のいずれ
かに記載の画像表示装置において、表示画像を見る人物
の位置を検出する人物位置検出部と、人物位置検出部か
らの位置情報に基づき、人物位置が静止している場合
は、表示顔画像が正面を向いた状態となり、人物位置が
移動している場合は、移動する方向に顔画像が向いた状
態となる回転角とし、人物位置が移動から静止した場合
は、移動時よりも遅い遷移時間で顔画像が正面となるよ
う顔画像の回転角を画像合成部に出力する知識処理部を
備えたことを特徴とするものである。

【００１９】〈請求項６の説明〉請求項６の発明は、表
示画像を見るユーザが移動した場合は、そのユーザの移
動に伴って表示画像の顔を向けるようにし、ユーザが移
動状態から静止した場合は、ゆっくりと顔画像を正面に
向けるようにしたものである。これにより、ユーザが移
動している場合、ユーザに対して顔画像が自分を追従し
ているような感覚を与えることができる。また、ユーザ
が移動から静止状態となった場合は、顔画像がゆっくり
と正面を向くため、ユーザに顔画像が動いていることを
意識させず、違和感のない動きとすることができる。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて詳細に説明する。《具体例１》図１は本発明の画像表示装置の具体例１を
示す構成図である。図示の画像表示装置はコンピュータ
で構成され、ワイヤフレームデータ１、２次元画像（入
力画像）２、顔特徴点抽出部３、頭部輪郭線抽出部４、
ワイヤフレーム変形部５、画像合成部６、表情・向き設
定部７、画像表示部８からなる。

【００２１】ワイヤフレームデータ１は、３次元の頂点
座標を並べたデータと、一つのポリゴンを構成するため
にどの頂点とどの頂点を結ぶかを示すリンクデータとか
らなるデータであり、メモリに格納されている。また、
ポリゴンとは、ＣＧを描画する時の平面の単位である。
このポリゴンに色をつけ、３次元空間内に配置していく
ことによって３次元的な形を持った物体をコンピュータ
のメモリ内で構成し、任意の視点から見たオブジェクト
をコンピュータのディスプレイ上に表示する。このよう
なリンクデータに従って頂点同士を線で結んだ場合のワ
イヤフレームデータは、以下の通りである。図３に、ワ
イヤフレームデータの例を示す。

【００２２】２次元画像２は、ＣＧで合成する人物の顔
の２次元画像データである。図４に、その２次元画像
（入力画像）２の一例を示す。図示のように、２次元画
像２は、人物の顔の入力画像であり、予めメモリ上に蓄
えられている。

【００２３】顔特徴点抽出部３は、２次元画像２上の顔
の目や耳や口や鼻の位置等の特徴点の抽出を行う機能を
有するもので、より具体的には、２次元画像２に対し
て、マウス等の入力装置でユーザから指定された特徴点
に基づき特徴点データを得たり、画像処理によって、こ
れらの特徴点を抽出するといった機能を備えている。頭
部輪郭線抽出部４は、２次元画像２上の人物の背景と、
頭髪部分との境界線を抽出する機能を有している。

【００２４】ワイヤフレーム変形部５は、顔特徴点抽出
部３からの特徴点データに基づき、ワイヤフレームを２
次元画像２にフィットさせる機能を有している。画像合
成部６は、ワイヤフレーム変形部５で変形されたワイヤ
フレームデータに基づいた顔画像のポリゴンに対して、
表情・向き設定部７で指定された顔の回転方向に対応し
た回転を行うと共に、顔画像のポリゴンと、２次元画像
における背景ポリゴンとの間に、頭部輪郭線抽出部４で
抽出した頭部の輪郭点に基づいた境界ポリゴンを生成
し、この境界ポリゴンを回転方向に対応させて顔画像の
合成を行う機能を有している。

【００２５】表情・向き設定部７は、ユーザからの指示
に従って、回転方向や表情を指定するためのものであ
る。また、画像表示部８は、ディスプレイからなり、画
像合成部６で合成された顔画像を表示するものである。

【００２６】〈動作〉図５は、画像表示装置の具体例１
の動作を示すフローチャートである。先ず、予め、メモ
リ上に格納されている２次元画像２を読み出し（ステッ
プＳ１）、これから顔特徴点を抽出する（ステップＳ
２）。この顔特徴点の抽出処理は、ワイヤフレームの変
形に用いるために、２次元画像２中の顔の大きさや顔の
各部（目、鼻、口の位置等）を抽出する処理である。こ
の顔の各部の特徴点の抽出は、ユーザがディスプレイ上
に表示された入力画像を見ながら、マウス等の入力装置
で指定したり、画像処理等によって行う。

【００２７】次に、ワイヤフレーム変形部５は、ワイヤ
フレームの変形処理（フィッティング）を行う（ステッ
プＳ３）。図６は、ワイヤフレームのフィッティングの
説明図である。図示のように、顔特徴点抽出部３で抽出
された特徴点データを用いてワイヤフレームの大きさを
変更したり、特徴点に対応するワイヤフレームの頂点を
特徴点の位置に移動させる等により、入力画像中の人物
の顔にワイヤフレームをフィットさせる。

【００２８】また、頭部輪郭線抽出部４では、２次元画
像２より、人物の頭部輪郭線を抽出する（ステップＳ
４）。この処理は、入力画像を表示し、ユーザが頭部と
背景との輪郭線上にある点をマウス等の入力装置を用い
て指定することで行われる。

【００２９】図７は、輪郭線抽出処理の説明図である。
図示のように、指定する点の数は、顔ワイヤフレームの
額から耳の位置に相当する頂点の数によって任意に決定
する。これにより、画像合成部６では、顔のポリゴンと
背景ポリゴンとの間に境界ポリゴンが存在するデータが
得られる。

【００３０】一方、表情・向き設定部７では合成する画
像を上下・左右方向のどれだけ回転させるかを決定し、
これを画像合成部６に送出する（ステップＳ５）。画像
合成部６では、この回転方向のデータに基づき、顔画像
の合成を行う（ステップＳ６）。

【００３１】図８は、画像合成部の処理フローチャート
である。先ず、２次元画像２の各画素の座標と色の情報
をテクスチャマッピング用のメモリ上に蓄える（ステッ
プＳ６１）。

【００３２】図９は、テクスチャマッピングの例を示し
た図である。図示のように、テクスチャマッピングは、
先ず、ワイヤフレームをｘｙ平面上に正射影し、正射影
された各ポリゴンの形に沿って画像を切り取る。そし
て、切り取った画像を３次元の顔ワイヤフレームの対応
するポリゴン上に張り付ける。このような張り付けられ
た画像はポリゴンの回転や変形に伴ってコンピュータの
ハードウェアまたはソフトウェア上で伸縮が行われる。

【００３３】次に、画像合成部６では、表情・向き設定
部７で設定された回転角に従って、ワイヤフレームデー
タの各頂点座標Ｐ_i（ｘ，ｙ，ｚ）（ｉは顔ワイヤフレ
ームの頂点番号）を回転移動させた座標Ｐ′_i（ｘ，
ｙ，ｚ）を、以下の計算式により計算する（ステップＳ
６２）。Ｐ′_i（ｘ，ｙ，ｚ）＝Ｒ_xy（θ_z）・Ｒ_yz（θ_x）・
Ｒ_zx（θ_Y）・Ｐ_i（ｘ，ｙ，ｚ）但し、Ｒ_xy（θ_z）・Ｒ_yz（θ_x）・Ｒ_zx（θ_Y）は、
それぞれ、ｚ軸、ｘ軸、ｙ軸を回転の軸とした回転写像
である。

【００３４】背景テクスチャは、入力画像全体のテクス
チャであり、一枚の長方形のポリゴン上にこれを張り付
けたものを表示する（ステップＳ６３）。また、ステッ
プＳ６４で表示する顔テクスチャは、顔ワイヤフレーム
に張り付ける２次元原画像の顔の部分のテクスチャであ
る。そして、ステップＳ６５で表示する顔輪郭線と頭部
輪郭線間のテクスチャは、顔ワイヤフレームの輪郭、即
ち、額から耳にかけての部分を構成する頂点と、上述し
た全体の処理のステップＳ４で抽出した頭部輪郭点をそ
れぞれ結んで形成される境界ポリゴン｛図７（ｃ）参
照｝に張り付けるテクスチャである。

【００３５】境界ポリゴンの顔ワイヤフレーム側の頂点
は、顔ワイヤフレームの回転によって指定された方向に
回転するが、頭部境界点は常に固定である。即ち、顔ワ
イヤフレームの回転が行われた場合、境界ポリゴンが伸
縮することによって、顔ワイヤフレームと背景ポリゴン
との間にすき間を作ることなく、顔の部分が回転した画
像を合成することができる。図１０は、本具体例による
顔画像の合成の説明図である。

【００３６】〈効果〉以上のように具体例１によれば、
２次元画像２から得られるテクスチャを用いて、顔画像
をＣＧで合成する場合に、入力画像での背景をそのまま
使うことができ、また、頭部を任意の方向に回転させた
場合でも、頭部と背景との境界部分が伸縮することによ
って、テクスチャが補間されるため、髪の毛の先の細か
い部分等の画像がそのまま保存され、違和感のない画像
を合成することができる。

【００３７】《具体例２》具体例２では、具体例１の構
成に加えて、入力画像中の人物の顎のラインの形を抽出
し、境界ポリゴンと同様のポリゴンを顎の部分に付加す
るよう構成したものであり、以下、これを詳細に説明す
る。

【００３８】〈構成〉図１１は、具体例２の画像表示装
置の構成図である。図中、ワイヤフレームデータ１〜ワ
イヤフレーム変形部５および表情・向き設定部７、画像
表示部８は、上記具体例１と同様であるため、ここでの
説明は省略する。顎輪郭線抽出部９は、ユーザがマウス
等の入力装置を用いて指示することにより、画像中の人
物の顎の輪郭線を抽出する機能を有するものである。ま
た、画像合成部６ａは、具体例１の機能に加えて、顔画
像のポリゴンと、２次元画像における背景ポリゴンとの
間に、顎輪郭線抽出部９で抽出した顎の輪郭点に基づい
た境界ポリゴンを生成し、この境界ポリゴンを回転方向
に対応させて顔画像の合成を行う機能を有している。

【００３９】〈動作〉図１２は、具体例２の動作を示す
フローチャートである。先ず、ステップＳ１〜Ｓ２は、
具体例１と同様の動作である。そして、ステップＳ３で
は、顎の輪郭線の抽出を行う。輪郭線は、ユーザがマウ
ス等の入力装置によって、その位置を指定する。ここ
で、顎の輪郭線の点の数は、顔ワイヤフレームの顎の輪
郭の部分を構成する頂点の数と同じで、それらを顎輪郭
点と呼ぶことにする。

【００４０】次のステップＳ４では、具体例１における
ステップＳ３と同様に、入力画像中の特徴点を用いてワ
イヤフレームの大きさを変更したり、特徴点に対応する
ワイヤフレームの頂点を特徴点の位置に移動させる等の
処理を行って、入力画像中の人物の顔にワイヤフレーム
をフィットさせる。但し、顎の部分はステップＳ３で抽
出した入力画像の顎の輪郭線の位置に合わせる。その後
は、具体例１と同様に、頭部の輪郭点を抽出し（ステッ
プＳ５）、また、頭部の回転角を設定し（ステップＳ
６）、顔画像の合成を行う（ステップＳ７）。

【００４１】図１３は、具体例２における画像合成部６
ａの動作フローチャートである。ここで、ステップＳ７
１〜Ｓ７５は、それぞれ図８で示したステップＳ６１〜
Ｓ６５の処理と同様の処理である。即ち、ステップＳ７
１で、２次元画像（入力画像）２の各画素の座標と色の
情報をテクスチャマッピング用のメモリに蓄え、ステッ
プＳ７２において、設定された回転角に従って、ワイヤ
フレームデータの各頂点座標Ｐ_i（ｘ，ｙ，ｚ）を計算
する。そして、背景テクスチャの表示（ステップＳ７
３）、顔テクスチャの表示（ステップＳ７４）を行い、
更に、ステップＳ７５において、境界ポリゴンのテクス
チャ表示として、具体例１と同様に、顔輪郭線と頭部輪
郭線間のテクスチャを張り付ける。

【００４２】顎境界ポリゴンは、顔ワイヤフレームの顎
の輪郭の部分を構成する頂点と、対応する顎輪郭点をそ
れぞれ結ぶことによって構成されるポリゴンであり、境
界ポリゴンと同様に、顎境界ポリゴンの顔ワイヤフレー
ム側の頂点は、顔ワイヤフレームの回転によって指定さ
れた方向に回転するが、顎境界点は常に固定である。

【００４３】図１４は、顎境界ポリゴンの例を示す説明
図である。即ち、図１４の（ａ）に示すように顔が正面
を向いた状態から、（ｂ）に示すように顔が斜めを向い
た状態となった場合、即ち、顔ワイヤフレームの回転が
行われた場合でも、顎境界ポリゴンが伸縮することによ
って、顔ワイヤフレームと背景ポリゴンとの間にすき間
を作ることがない。

【００４４】〈効果〉以上のように、具体例２では、２
次元画像２から得られるテクスチャを用いて、頭部を任
意の方向に回転させた顔画像をＣＧで合成する場合に、
顎を構成する部分と背景との境界部分が伸縮することに
よってテクスチャが補間されるため、特に左右や上を向
いた顔画像を合成する際に、入力画像では顎の裏側が見
えていなくても、その部分を違和感なく表示することが
できる。

【００４５】《具体例３》具体例３では、頭部や顎の輪
郭線の抽出に、画像処理を用いるようにしたものであ
る。

【００４６】〈構成〉図１５は、具体例３の構成図であ
る。図において、ワイヤフレームデータ１〜ワイヤフレ
ーム変形部５および表情・向き設定部７、画像表示部８
は、上記具体例１、２と同様であるため、ここでの説明
は省略する。

【００４７】エッジ強調画像生成部１０は、２次元画像
２に対してエッジ強調の処理を行った画像を生成する機
能を有している。頭部初期輪郭入力部１１は、ユーザが
マウス等の入力装置を用いて入力画像中の人物の背景と
頭髪部分との境界線を大まかに入力する部分である。そ
して、頭部輪郭線抽出部４は、頭部初期輪郭入力部１１
で描かれた曲線を初期値として、より正確な頭部輪郭線
を自動的に抽出するよう構成されている。顎初期輪郭入
力部１２は、頭部初期輪郭入力部１１と同様に、入力画
像中の人物の顎のライン付近にユーザがマウス等の入力
装置を用いて曲線を描くための入力部である。顎輪郭線
抽出部９は、顎初期輪郭入力部１２で描かれた曲線を初
期値として、より正確に顎輪郭線を自動的に抽出するよ
う構成されている。

【００４８】〈動作〉図１６は、具体例３の動作を示す
フローチャートである。ここで、ステップＳ１、Ｓ２お
よびステップＳ７、Ｓ８は、図５におけるステップＳ
１、Ｓ２およびステップＳ５、Ｓ６と同様であり、ステ
ップＳ３〜Ｓ６が、本具体例の特徴となる処理である。

【００４９】ステップＳ３では、顎や頭部の輪郭線の抽
出に利用するために、入力画像のエッジ強調画像を生成
する。図１７は、エッジ強調画像の一例を示す図であ
る。このように、エッジ強調画像は、入力画像の濃淡値
の変化が大きい部分が高い値となるように、入力画像に
対してフィルタリングを行った画像である。フィルタリ
ングの手法としては、ラプラシアンやソーベルオペレー
タ等を用い、エッジの勾配が大きいほど画素の値が大き
くなるものとする。

【００５０】図１６に戻って、ステップＳ４では、顎の
輪郭線の抽出を行う。ユーザがマウス等の入力装置によ
って、輪郭線の大まかな位置を指定し、画像処理によっ
てより正確な輪郭線の位置を抽出する。顎の輪郭線の点
の数は、顔ワイヤフレームの顎の輪郭の部分を構成する
頂点の数と同じで、それらを顎輪郭点と呼ぶことにす
る。

【００５１】図１８は、顎輪郭抽出処理のフローチャー
トである。また、図１９は、この顎輪郭抽出および後述
する頭部輪郭抽出処理の説明図である。図１８における
ステップＳ４１では、ユーザがマウス等の入力装置を用
いて２次元画像（入力画像）２中の人物の顎の大まかな
輪郭線を描く。この状態が図１９（ａ）に示す状態であ
る。次に、ステップＳ４２では、顎輪郭線をｎ−１等分
し、ｎ個の顎輪郭点を決定する。図１９（ｂ）は、この
状態を示している。尚、ｎは顔ワイヤフレームの顎輪郭
の部分を構成する頂点の数である。そして、ステップＳ
４３では、エネルギ最小化により正確な顎の輪郭を抽出
する。

【００５２】次に、上記のエネルギ最小化の方法につい
て説明する。先ず、図１９（ａ）のように、ｎ個の輪郭
点にそれぞれベクトルｖ₁〜ベクトルｖ_nまでの番号を
つける。エネルギ最小化は一般に閉曲線に対して用いら
れるが、ここでは開曲線に対して用いるため、以下の処
理において、輪郭点ベクトルｖ₁とベクトルｖ_nは固定
し、移動しないものとする。従って、輪郭点ベクトルｖ
₂からベクトルｖ_n-1までを順番にエネルギ最小となる
ように移動させる。ベクトルｖ₂からベクトルｖ_n-1ま
での全ての点を移動させた後、エネルギの総和Ｅを求め
る。Ｅ＝ _i=2 ^n-1Σ（α・Ｅ_aｉ＋β・Ｅ_bｉ＋γ・Ｅ_c
ｉ）（尚、α、β、γは係数で任意の値、Ｅ_aｉ、Ｅ_b
ｉ、Ｅ_cｉは後述する。また、 _i=2 ^n-1Σは、ｉ＝２
〜（ｎ−１）までの総和を示す）各輪郭点の移動をＥが収束するまで繰り返し行う。

【００５３】図２０は、輪郭線抽出の原理説明図であ
る。図２０に示すように、各点の移動の方向は、隣接す
る輪郭点を結ぶ直線に対して垂直な方向であり、一回の
繰り返しでの移動の大きさは１画素分とする。即ち、ベ
クトルｖ_i−は輪郭点ベクトルｖ_iを顔の内方向に１画
素分移動させた時の位置であり、ベクトルｖ_i＋は輪郭
点ベクトルｖ_iを顔の外方向に１画素移動させた時の位
置とする。また、ベクトルｖ_i０は輪郭点ベクトルｖ_i
を内側にも外側にも移動させない点（ベクトルｖ_i０＝
ベクトルｖ_i）とする。

【００５４】エネルギの項は、次の三つとする。１．なめらかさ：Ｅ_a 隣接する輪郭点を結ぶ直線に近づくほどエネルギが小さ
くなる。２．連結性：Ｅ_b 隣接する輪郭点との距離が小さくなるほどエネルギが小
さくなる。３．エッジ強度：Ｅ_c 図１６のステップＳ３で生成したエッジ強調画像におい
て、ベクトルｖ_i−、ベクトルｖ_i０、ベクトルｖ_i＋
の位置を中心としたｓ×ｔ（ｓ、ｔは３〜５程度の小さ
な正整数）画素のウインドウ内の画素値の合計値に−１
を掛けたものとする。これを示すのが図２０（ｂ）であ
る。尚、ここで、ｓ×ｔ画素のウインドウを定義するの
は、入力画像中の雑音等による細かい局所的なエッジに
影響されることなく、大局的なエッジに輪郭点を近づけ
るためである。

【００５５】また、エネルギ最小化によって自動的に輪
郭線を抽出した後、処理の結果に誤りがあれば、ユーザ
が再びマウス等の入力装置を用いて修正することも可能
である。

【００５６】図１６に戻り、ステップＳ５は、具体例２
で説明した図１２のステップＳ４と同じ処理である。

【００５７】ステップＳ６では、頭部の輪郭線の抽出を
行う。この処理は、ステップＳ４と同様にユーザがマウ
ス等の入力装置によって、輪郭線の大まかな位置を指定
し、画像処理によってより正確な輪郭線の位置を抽出す
る。図２１は、この頭部輪郭線抽出処理のフローチャー
トである。この頭部輪郭線抽出処理は、上述したステッ
プＳ４の顎輪郭線抽出処理と同様の処理を行う。即ち、
ステップＳ６１において、ユーザがマウス等の入力装置
を用いて、２次元画像２中の人物の頭部の大まかな輪郭
線を描く｛図１９（ａ）｝。ステップＳ６２では、頭部
輪郭線をｍ−１等分し、ｍ個の頭部輪郭点を決定する
｛図１９（ｂ）｝。尚、ｍは顔ワイヤフレームの額から
耳の位置に相当する頂点の数である。ステップＳ６３で
は、エネルギ最小化により正確な頭部の輪郭を抽出する
｛図１９（ｃ）｝。

【００５８】〈効果〉以上のように、具体例３では、エ
ネルギ最小化の処理を行うことで、ユーザが入力画像に
対して、頭部や顎の輪郭を細かく設定する必要がなくな
り、簡単な作業で所望する３次元画像を生成することが
できる。

【００５９】また、初期輪郭線の端点を固定することに
より、エネルギ最小化処理を開曲線に拡張して適用する
ことができる。更に、画像のエッジに対するエネルギを
計算する場合に、各点に対して小ウインドウを設定し、
小ウインドウ内のエッジの強度の合計をエネルギの項に
することによって、画像中の雑音による影響を避けるこ
とができ、その結果、期待する輪郭線を抽出できる確率
を高くすることができる。

【００６０】《具体例４》具体例４では、表示画像を見
るユーザが移動した場合は、あたかも表示画像がそのユ
ーザの移動に伴って顔を向けるようにし、ユーザが静止
した場合は、ゆっくりと表示画像が正面を向くようにし
たものである。

【００６１】〈構成〉図２２は、具体例４の構成図であ
る。図の装置は、カメラ１０１、画像表示部１０２、人
物位置検出部１０３、人物位置データメモリ１０４、知
識処理部１０５、画像合成部１０６、顔画像データベー
ス１０７からなる。

【００６２】カメラ１０１は、画像表示部１０２の上部
等の位置に取り付けられ、画像表示部１０２の前に位置
する人物（ユーザ）を撮影するものである。画像表示部
１０２は、上記具体例１〜３における画像表示部８と同
様のディスプレイである。人物位置検出部１０３は、カ
メラ１０１から入力された画像を用いてカメラ１０１に
存在する人物の位置を検出し、その画像のインデックス
と共に、人物位置データメモリ１０４に人物位置データ
を保存する機能を有している。また、知識処理部１０５
は、人物位置検出部１０３で得られた結果と、人物位置
データメモリ１０４のデータを元に、ＣＧ顔画像の向き
や動き等を決定する機能を有している。即ち、この知識
処理部１０５は、人物位置検出部１０３からの位置情報
に基づき、人物が静止している場合は、表示顔画像が正
面を向いた状態となり、人物が移動している場合は、移
動する方向に顔画像が向いた状態となる回転角とし、人
物が移動から静止状態に移った場合は、移動時よりも遅
い遷移時間で顔画像が正面となるよう顔画像の回転角を
画像合成部１０６に出力する機能を有している。

【００６３】また、画像合成部１０６は、上記具体例１
〜３の画像合成部６に相当するもので、知識処理部１０
５からの指示に従い、顔画像データベース１０７のデー
タに基づき、回転した顔画像データを画像表示部１０２
に出力する機能を有している。更に、顔画像データベー
ス１０７は、上記具体例１〜３のワイヤフレームデータ
１と２次元画像２の構成に相当するものである。

【００６４】〈動作〉図２３は、具体例４の動作フロー
チャートである。図中のｎは、入力画像に対するインデ
ックスであり、初期値をｎ＝０とする（ステップＳ
１）。先ず、人物位置検出部１０３は、カメラ１０１か
ら入力画像を取得し（ステップＳ２）、人物の位置を検
出する（ステップＳ３）。ここで、ある時点で入力され
た画像をＩ_n（ｎ＝０，１，…）とし、入力画像を取得
する毎にｎを１ずつ値を増やしていく（ステップＳ
４）。一方、ステップＳ３の検出の結果、人物が検出さ
れなかった場合には、ｎ＝０とする（ステップＳ５→ス
テップＳ６）。従って、人物が検出された最初の画像に
はｎ＝１が割り当てられ、その人物が検出されなくなる
まで、新しい画像を処理する度にｎの値が増え続け、画
像中に人物が存在しない時は常にｎ＝０となる。

【００６５】また、Ｉ_n-1に対して、ステップＳ２〜ス
テップＳ９までの処理に要した時間をＴ_n（Ｔ₀＝０）
とする。更に、ステップＳ７の人物の動き検出処理で
は、次のような構造のデータを用意し、新しい画像を処
理する度にデータの内容を更新する。

【００６６】図２４は、人物の動き検出のデータ説明図
である。図中、（１）が各データを示し、（２）〜
（５）がそれぞれの内容を示している。先ず、Ｐ_n（po
sition）は、Ｉ_nでの人物の位置で、画像に対して後述
する図２５のように座標をとり、（ｘ_n，ｙ_n）で表
す。

【００６７】図２５は、その入力画像の一例を示す図で
ある。図示のように、カメラ１０１でとらえられた画像
によって、人物位置が検出される。

【００６８】Ｐ_n（status）は、その人物が静止してい
る｛Ｐ_n（status）＝ｓｔｏｐ｝か、動いている｛Ｐ_n
（status）＝ｍｏｖｅ｝かの状態を表している。このＰ
_n(status ）の判定は図２４中の（２）で表される。こ
こで、Ｗ_tは、人物が静止していると判断するための閾
値で、画像中の人物の大きさによって決定される定数で
ある。また、画像中の人物は上下の動きに比べて左右の
動きの方が大きいことを考慮して、（３）に示すように
してもよい。但し、ａ，ｂは、ａ＞ｂであるような定数
である。

【００６９】Ｐ_n（time）はＰ_n（status）の継続時間
を表し、図中の（４）で示すように計算される。但し、
Ｐ₀（time）＝０とする。Ｐ_n（angular ）は、ＣＧ顔
画像がＰ_n（position）＝（ｘ_n，ｙ_n）の位置にある
人物の方向を完全に向いている時の回転角（Ａｈ_n，Ａ
ｖ_n）で、図中の（５）に示すように決定される。

【００７０】また、図２６は、顔画像の回転角の説明図
であり、これは、正規の回転角を示している。ここで、
ＡＨ_maxは、図２６（ａ）に示すように、ＣＧ顔画像の
水平方向の最大回転角、ＡＶ_maxは、図２６（ｂ）に示
すように、ＣＧ顔画像の垂直方向の最大回転角である。

【００７１】図２３に戻って、ステップＳ８のＣＧ顔画
像の回転角設定処理では、上記の処理で計算したｎ，Ｐ
_n（）の各値を用いて、ＣＧ顔画像の回転角を計算す
る。

【００７２】図２７、図２８は、その判定処理のフロー
チャートおよび説明図である。また、Ｉ_nを画像中の人
物の方向にＣＧ顔画像が回転を開始する画像とした時、
Θ_S＝（θ_Sｈ，θ_Sｖ）は画像Ｉ_nー1におけるＣＧ顔
が図の回転角Θ_n-1を示すものとする。同様に、Ｉ_nを
正面の方向にＣＧ顔画像が回転を開始する画像とした
時、Θ_M＝（θ_Mｈ，θ_Mｖ）は画像Ｉ_n-1におけるＣ
Ｇ顔画像の回転角Θｎ−１を示すものとする。

【００７３】先ず、フローチャートのステップＳ１にお
いて、図２８（ａ）の条件１として、ｎ＝０であるかを
判定する。ここで、ｎ＝０、即ち、画像中に人物が存在
しない場合はステップＳ２に移行し、Θ_n＝（０，
０）、Θ_S＝（０，０）、Θ_M＝（０，０）とする。

【００７４】また、ステップＳ１において、ｎ＝０では
ない場合は、ステップＳ３に移行する。そして、このス
テップＳ３でＰ_n（status）＝ｍｏｖｅであった場合
が、図２８（ｂ）に示す条件２である。尚、ここで、Ｔ
_transは、ＣＧ顔画像が正面を向いた状態から、人物の
方向を向くまでの遷移時間であり、１〜２秒程度の小さ
い値である。

【００７５】ステップＳ３において、Ｐ_n（status）＝
ｍｏｖｅでなかった場合は、図２８（ｃ）に示す条件３
となる。ここで、Ｔ_convは、ＣＧ顔画像が人物の方向を
向いた状態から、正面を向くまでの遷移時間で、１０秒
程度の大きな値である。図２９は、決定されたＣＧ顔画
像の回転角を示すもので、実際の回転角を示している。

【００７６】図２３に戻り、ステップＳ９では、回転角
Θ_nの方向に顔を向けたＣＧを描画する。ここで、回転
角Θ_nの方向に顔を向けた画像とは、例えば、具体例１
で示した図１０のような顔画像である。即ち、図２９
（ａ）のように、人物が画像表示部１０２に向かって左
方向に移動した場合、顔画像は左方向を向いた状態、つ
まり、顔画像の右側面が見えてくることになる。そし
て、人物が静止した場合は、顔画像はゆっくりと正面を
向くよう表示される。これにより、画像表示部１０２上
に表示されている顔画像が、人物を追いかけているよう
に感じさせることができる。

【００７７】尚、人物が移動状態では顔画像はその移動
方向を向いた状態とし、移動状態から静止状態となった
場合は、顔画像をゆっくりと正面に向けるよう表示する
のは、次の理由からである。

【００７８】即ち、画面上に正面を向いた顔を表示して
いる場合、それを見る人がどこに立っていようとも正面
を向いた画像しか見えない。即ち、自分を見ているよう
に見える。従って、画像表示部１０２上には常に正面を
向いた顔画像を表示しておけば、画像を見ている人物
（ユーザ）にとってはいつも自分の方を見ているように
感じる。しかし、ユーザの動きに合わせて顔に動きを与
える必要がある。そこで、ユーザが動いている場合に
は、顔画像をユーザの方に向けるような動きを与えてユ
ーザの動きを追いかけているように見せ（実際にはユー
ザにとっては自分を見ているようには見えないが）、ユ
ーザが静止して画面上の人物と対話を始めるような状況
になると、少しずつ顔を正面に向けてユーザと視線を合
わせるようにする。

【００７９】ここで、ユーザが画面の正面からずれた位
置で静止していた場合、顔画像を急に正面に向けると、
逆にユーザは顔画像が自分とは逆方向を向いたような錯
覚を起こす可能性がある。従って、これを防ぐために、
（ユーザには気付かないよう）少しずつ顔画像を正面に
向けてユーザと視線を合わせるようにしている。

【００８０】〈効果〉このように、具体例４では、カメ
ラ１０１の前に人物がいない場合と、人物が静止してい
る場合は、ＣＧ顔画像を正面に向けることで、人物に対
してＣＧ顔画像が自分を見ているような感覚を与え、人
物が動いている場合は、ＣＧ顔画像も人物の方向に顔を
向けるので、その人物に対してＣＧ顔画像が自分を追従
しているという感覚を与えることができる。また、人物
が動いている状態から静止した状態に変化した場合は、
ＣＧ顔画像をゆっくりと正面に向けるようにしたので、
人物にＣＧ顔画像が動いていることを意識させない効果
がある。

【図面の簡単な説明】

【図１】本発明の画像表示装置の具体例１を示す構成図
である。

【図２】従来の顔画像を示す図である。

【図３】ワイヤフレームデータの一例を示す図である。

【図４】２次元画像（入力画像）の一例を示す図であ
る。

【図５】本発明の画像表示装置の具体例１の動作を示す
フローチャートである。

【図６】ワイヤフレームのフィッティングの説明図であ
る。

【図７】輪郭線抽出処理の説明図である。

【図８】具体例１の画像合成部の処理フローチャートで
ある。

【図９】テクスチャマッピングの例を示す図である。

【図１０】具体例１による顔画像の合成の説明図であ
る。

【図１１】具体例２の画像表示装置の構成図である。

【図１２】具体例２の動作を示すフローチャートであ
る。

【図１３】具体例２における画像合成部６ａの動作フロ
ーチャートである。

【図１４】顎境界ポリゴンの例を示す説明図である。

【図１５】具体例３の構成図である。

【図１６】具体例３の動作を示すフローチャートであ
る。

【図１７】具体例３のエッジ強調画像の一例を示す図で
ある。

【図１８】具体例３の顎輪郭抽出処理のフローチャート
である。

【図１９】具体例３の顎輪郭抽出および後述する頭部輪
郭抽出処理の説明図である。

【図２０】具体例３の輪郭線抽出の原理説明図である。

【図２１】具体例３の頭部輪郭線抽出処理のフローチャ
ートである。

【図２２】具体例４の構成図である。

【図２３】具体例４の動作フローチャートである。

【図２４】人物の動き検出のデータ説明図である。

【図２５】具体例４における入力画像の一例を示す図で
ある。

【図２６】顔画像の回転角の説明図である。

【図２７】回転角判定処理のフローチャートである。

【図２８】回転角判定処理の説明図である。

【図２９】決定された顔画像の回転角の説明図である。

【符号の説明】

１ワイヤフレームデータ２２次元画像（入力画像）３顔特徴点抽出部４頭部輪郭線抽出部５ワイヤフレーム変形部６、６ａ、６ｂ、１０６画像合成部７表情・向き設定部８画像表示部９顎輪郭線抽出部１０エッジ強調画像生成部１１頭部初期輪郭入力部１２顎初期輪郭入力部１０２画像表示部１０３人物位置検出部１０５知識処理部

Claims

【特許請求の範囲】

【請求項１】２次元画像から顔の特徴点を抽出した特
徴点データに基づき、ワイヤフレームデータを変形する
ワイヤフレーム変形部と、顔の回転方向を指定する表情・向き設定部と、顔の頭部の輪郭線を抽出する頭部輪郭線抽出部と、前記ワイヤフレーム変形部で変形されたワイヤフレーム
データに基づいた顔画像のポリゴンに対して、前記表情
・向き設定部で指定された顔の回転方向に対応した回転
を行うと共に、前記顔画像のポリゴンと、前記２次元画
像における背景ポリゴンとの間に、前記頭部輪郭線抽出
部で抽出した頭部の輪郭点に基づいた境界ポリゴンを生
成し、この境界ポリゴンを前記回転方向に対応させて顔
画像の合成を行う画像合成部と、前記画像合成部で生成された画像を表示する画像表示部
とを備えたことを特徴とする画像表示装置。
【請求項２】請求項１記載の画像表示装置において、顔の顎の輪郭線を抽出する顎輪郭線抽出部と、顔画像のポリゴンと、２次元画像における背景ポリゴン
との間に、前記顎輪郭線抽出部で抽出した顎の輪郭点に
基づいた境界ポリゴンを生成し、この境界ポリゴンを回
転方向に対応させて顔画像の合成を行う画像合成部とを
備えたことを特徴とする画像表示装置。
【請求項３】請求項２記載の画像表示装置において、頭部輪郭線抽出部および顎輪郭線抽出部のうち、少なく
とも一方の輪郭線抽出部は、輪郭線を構成する複数の輪
郭点に対して、隣接する輪郭点を結ぶ直線に近づくほど
エネルギが小さくなるなめらかさと、隣接する輪郭点と
の距離が小さくなるほどエネルギが小さくなる連結性
と、入力画像の濃淡値の変化が大きい部分ほどエネルギ
が小さくなるエッジ強度との総和が最も小さい輪郭点を
求めるエネルギ最小化を行うことで輪郭線の抽出を行う
よう構成されたことを特徴とする画像表示装置。
【請求項４】請求項３記載の画像表示装置において、頭部輪郭線抽出部および顎輪郭線抽出部のうち、少なく
とも一方の輪郭線抽出部は、輪郭線の端点を固定の輪郭
点としてエネルギ最小化を行うよう構成されたことを特
徴とする画像表示装置。
【請求項５】請求項３または４に記載の画像表示装置
において、頭部輪郭線抽出部および顎輪郭線抽出部のうち、少なく
とも一方の輪郭線抽出部は、各輪郭点に対して、各輪郭
点を中心とする予め決められた大きさのウインドウを設
定し、このウインドウ内のエッジ強度によりエネルギ最
小化を行うよう構成されたことを特徴とする画像表示装
置。
【請求項６】請求項１〜５のいずれかに記載の画像表
示装置において、表示画像を見る人物の位置を検出する人物位置検出部
と、前記人物位置検出部からの位置情報に基づき、人物位置
が静止している場合は、表示顔画像が正面を向いた状態
となり、人物位置が移動している場合は、移動する方向
に顔画像が向いた状態となる回転角とし、人物位置が移
動から静止した場合は、前記移動時よりも遅い遷移時間
で顔画像が正面となるよう顔画像の回転角を画像合成部
に出力する知識処理部を備えたことを特徴とする画像表
示装置。