JP2005018305A

JP2005018305A - 画像配信システムおよび画像コミュニケーション機能付情報処理装置

Info

Publication number: JP2005018305A
Application number: JP2003180461A
Authority: JP
Inventors: Hiroyuki Masai; 宏之政井; Takahiro Watanabe; 孝弘渡辺; Seiji Inoue; 清司井上
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2003-06-25
Filing date: 2003-06-25
Publication date: 2005-01-20

Abstract

【課題】話者のプライバシーを保護し、かつよりエンタテイメント性を発揮できる画像配信システムおよび画像コミュニケーション機能付情報端末装置を提供。
【解決手段】画像伝送システム１０は、送信側情報処理装置１２の画像入力部２２で顔画像３２を取り込み、表情特徴抽出部２４で顔画像データ３４から抽出した表情特徴データ３６を符号化部２６に供給し、キャラクタ格納部２８からのモデルデータ３８、ならびに前景格納部３０からの前景データ４０および表示指示データ４２を符号化部２６に供給して４つのデータを圧縮符号化して、送信し、受信側情報処理装置１４の復号部４６で復号したデータをデータ５４，５６とに分けて、データ５４からデータ作成部４８およびレンダリング部５０によりモデル画像６０を作成し、前景合成部５２でデータ５６から対象画像をモデル画像６０の指定位置に合成し、出力する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像配信システムに関するもので、とくに、ＩＰネットワークを介して映像を送りながら、通話する画像伝送システムに適用して好適なものである。また、本発明は、画像コミュニケーション機能付情報処理装置に関するもので、とくに、選択したキャラクタに送信者の表情を反映させた画像を受信側に表示させ、通信におけるコミュニケーションを向上させる、情報端末装置に適用して好適なものである。
【０００２】
【従来の技術】
近年、携帯電話機やコンピュータなどの情報端末装置によるコミュニケーションは、音声だけの通話に加えて、テレビ電話などのように、音声および画像を用いた通話が可能になってきている。しかしながら、情報端末装置によるテレビ電話通信は、一般に場所や時間を選ばず、通話を可能にする。したがって、この通話は、第１の問題として話者、とくに受信者側においてプライバシーが侵される虞がある。このような通話に備えて、ユーザには身嗜みを気にする人が現れることが予想される。また、この通話では、第２の問題としてこれまで以上に通信時の場所が相手側に特定されることや通話中の周囲環境や状況が映像的に相手側に知られることを敬遠するユーザの出現が想定される。
【０００３】
この予想に対する対策として、特開２００３−１６４７５号公報の画像コミュニケーション機能付き情報端末装置および画像配信システムが提案されている。この提案には、入力された顔画像から顔の特徴点におけるデータを抽出し、一方、ユーザが所望するモデルデータを選択し、モデルデータにおける顔の特徴点に対応するデータを抽出したデータ（座標データ）に基づいて変更し、ユーザの表情を反映させたモデルデータを生成し、生成したモデルデータを用いてレンダリング処理によって可視化し、表情を反映させたモデル画像を動画表示させる構成および方法が開示されている。
【０００４】
この開示を適用することにより、ユーザは、テレビ電話などの通話において、選択したモデル画像に表情を反映させて通信し、コミュニケーションを図ることから、第１の問題を気にかけずに通話することができるようになる。さらに、画像配信システムは、この通信においてモデル画像にユーザが所望の背景画像を合成する機能を設けて、通信相手に対して送信することにより、背景の映像情報を秘匿することができる。これらの問題対策により、話者のプライバシーを保護している。
【０００５】
また、特開２００３−１６４７５号公報では、課金システムおよび画像配信サービスの提供方法も提案されている。ユーザにとって利用し易い課金のさせ方等を提案することにより、画像伝送の普及に寄与できることを説明している。
【０００６】
この他にも、上述の提案と異なる方式によるテレビ電話が提案されている。この一例が特開平８−３０７８４１号公報の擬似動画ＴＶ電話装置である。この装置は、受信側にて送信側からの音声信号を受信し、受信した音声信号から送信側の話者に表れている表情として擬似的に動画像を生成し、表示させている。ここでの音声の分析は、受信した音声信号を基に線形予測符号化により音声パラメータに変換している。この装置では、さらに、音声パラメータを口形パラメータに変換し、ワイヤフレームで構成されたモデルに変換した口形パラメータを適用して送信側における話者の画像を擬似的に生成している。
【０００７】
【特許文献１】
特開２００３−１６４７５号公報
【特許文献２】
特開平８−３０７８４１号公報。
【０００８】
【発明が解決しようとする課題】
このようにいくつかの方式によりテレビ電話通信は、話者のプライバシーを保護するように機能させている。しかしながら、これらの提案は、テレビ電話の普及を図るように考慮された提案ではあるが、さらなる普及を促すようなテレビ電話におけるエンタテイメント性の機能は十分と言えず、まだ考慮の余地はある。
【０００９】
本発明はこのような従来技術の欠点を解消し、話者のプライバシーを保護し、かつよりエンタテイメント性を発揮できる画像配信システムおよび画像コミュニケーション機能付情報端末装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上述の課題を解決するために、公衆回線網、ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ネットワークおよびローカルネットワークの少なくとも、いずれか一つの通信回線を介して通信相手とのコミュニケーションに有効な画像に関する情報を含むコミュニケーション情報を通信する画像配信システムにおいて、このシステムは、コミュニケーション情報を生成し、通信回線に送信する送信側情報処理装置、通信回線を介して供給されるコミュニケーション情報を受信し、この受信したコミュニケーション情報が理解し易い形態にして出力する受信側情報処理装置、およびこのコミュニケーション情報の一つとして取り込んだ顔画像を置き換えて、受信側情報処理装置に送るモデルデータを複数管理する第１の管理手段を含み、送信側情報処理装置は、第１の管理手段から供給されるモデルデータを登録して、格納する第１の格納手段と、モデルデータで生成されるモデル画像に重ねる対象画像の基になる対象データおよびこの対象データに対する重ね表示の指示データを組にして登録して、複数格納し、選択された組のデータを出力する第２の格納手段と、送信の対象を画像として取り込む画像入力手段と、この取り込んだ画像が含む対象である顔の表情を特徴付ける表情特徴データを抽出する特徴抽出手段と、この表情特徴データ、モデルデータ、対象データおよび指示データを圧縮符号化する符号化手段とを含み、受信側情報処理装置は、圧縮符号化されたデータを復号し、復号したデータのうち、表情特徴データおよびモデルデータと、対象データおよび指示データとをそれぞれ、分けて出力する復号手段と、表情特徴データおよびモデルデータを基にモデル画像を生成する手段と、対象データおよび指示データに応じて対象画像を生成し、この生成された対象画像を生成されたモデル画像と合成する画像合成手段とを含むことを特徴とする。
【００１１】
本発明の画像配信システムは、送信側情報処理装置の画像入力手段で対象の画像を取り込み、特徴抽出手段で供給される画像から表情特徴データを抽出し、この表情特徴データ、第１の格納手段からのモデルデータ、ならびに第２の格納手段からの対象データおよび指示データを符号化手段で圧縮符号化して、ＩＰネットワークを介して受信側情報処理装置に送り、受信側情報処理装置の復号手段で圧縮符号化された受信データに伸長・復号処理を施し、表情特徴データおよびモデルデータと、対象データおよび指示データとに分けて、表情特徴データおよびモデルデータを基にモデル画像を作成する手段でモデル画像を作成し、画像合成手段で供給されるモデル画像に対象データから生成した対象画像を指示データに応じた位置に合成し、出力することにより、対象画像に送信者の感情や意思を反映させ、とくにエンタテイメント性を高めている。
【００１２】
また、本発明は上述の課題を解決するために、公衆回線網、ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ネットワークおよびローカルネットワークの少なくとも、いずれか一つの通信回線を介して通信相手とのコミュニケーションに有効な画像に関する情報を含むコミュニケーション情報を通信する画像コミュニケーション機能付き情報処理装置において、この装置は、送信の対象を画像として取り込む画像入力手段と、この取り込んだ画像が含む対象である顔の表情を特徴付ける表情特徴データを抽出する特徴抽出手段と、送信の対象に置き換えて通信相手にて表す置換画像のモデルデータを登録して、複数格納する第１の格納手段と、モデルデータで生成されるモデル画像に重ねる対象画像の基になる対象データおよびこの対象データに対する重ね表示の指示データを組にして登録して、複数格納し、選択された組のデータを出力する第２の格納手段と、表情特徴データ、モデルデータ、対象データおよび指示データをコミュニケーション情報として供給し、これらを圧縮符号化する符号化手段とを含むことを特徴とする。
【００１３】
本発明の画像コミュニケーション機能付情報処理装置は、画像入力手段で対象の画像を取り込み、特徴抽出手段で供給される画像から表情特徴データを抽出し、この表情特徴データ、第１の格納手段からのモデルデータ、ならびに第２の格納手段からの対象データおよび指示データを符号化手段で圧縮符号化して、送信することにより、対象データおよび指示データに送信者の感情や意思を反映させた情報送信を行い、とくに第２の格納手段からのデータにエンタテイメント性を持たせることができる。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による画像配信システムの実施例を詳細に説明する。
【００１５】
本実施例は、本発明の画像配信システムを画像伝送システム１０に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１６】
画像伝送システム１０は、図１に示すように、送信側情報端末装置１２、受信側情報端末装置１４、キャラクタ管理センタ１６および前景管理センタ１８を含む。画像伝送システム１０は、送信側情報端末装置１２と受信側情報端末装置１４との間に設けられたＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ネットワーク２０に接続され、ＩＰネットワーク２０を介して通信を行っている。送信側情報端末装置１２および受信側情報端末装置１４は、ともに、図示しないが音声入力用マイクロフォン、音声出力用スピーカ、映像表示用のＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）モニタを有している。
【００１７】
送信側情報端末装置１２は、画像入力部２２、表情特徴抽出部２４、符号化部２６、キャラクタ格納部２８および前景格納部３０を含む。画像入力部２２は、図示しないが光学系、固体撮像素子およびＡ／Ｄ変換器を含む。光学系は、光学系に被写体から入射する入射光３２に調整を施すいくつかの機能を有している。光学系には、ＡＦ調節（ＡｕｔｏｍａｔｉｃＦｏｃｕｓＣｏｎｔｒｏｌ）機構、ズーム調節機構およびＡＥ（ＡｕｔｏｍａｔｉｃＥｘｐｏｓｕｒｅＣｏｎｔｒｏｌ）機構を備えている。ＡＦ調節機構は、被写体からの入射光３２を入射させ、光学レンズにより収束させた焦点位置までの焦点距離を調節し、焦点位置に光学像を収束させる機能を有する。ズーム調節機構は、被写界を操作者が所望の画角に調整する機構である。また、ＡＥ調節機構は、被写界からの入射光３２の強さに応じて露出光量を調節する機能を有している。
【００１８】
固体撮像素子は、光学系の光軸に対して直交する撮像面を形成するように複数の受光素子を２次元アレイ状に配列されている。受光素子は、露出期間中に入射する入射光量に応じて信号電荷Ｑに変換する光電変換機能を有している。固体撮像素子は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＭＯＳ（ＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）タイプがある。固体撮像素子は、露出期間中に蓄積した信号電荷Ｑを読み出して、信号電荷Ｑを電圧信号Ｖに変換する。この変換がＱ／Ｖ変換である。
【００１９】
画像入力部２２は、このようにして得られたアナログ電圧信号Ｖに対してノイズ低減処理や波形整形処理等を施す。さらに、画像入力部２２では、得られたアナログ電圧信号Ｖに対してＡ／Ｄ変換処理を施してディジタル信号が生成される。画像入力部２２は、このようにして得られたディジタル信号３４を表情特徴抽出部２４に供給する。
【００２０】
表情特徴抽出部２４は、あらかじめ定義された顔の特徴点の位置を解析する機能を有している。特徴点は、たとえばＷＧ（ＷｏｒｋｉｎｇＧｒｏｕｐ）１１／ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅｃｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）のコミッティドラフト（１９９８年１月１日に提案）に記載されている６８個のＦＡＰ（ＦａｃｅＡｎｉｍａｔｉｏｎＰａｒａｍｅｔｅｒ）により定義されている。表情特徴抽出部２４は、この解析を精確に行うため、エッジ検出回路、特徴点等を追跡するトラッキング回路等を含む。エッジ検出回路は、供給される画像を走査して、とくに顔の特徴が輪郭として強調されるように画像処理し、目、鼻、口、眉毛領域等の輪郭を抽出する。エッジ検出回路は、抽出した各部の情報をトラッキング回路に供給する。
【００２１】
トラッキング回路は、所定のタイミングで供給される情報を位置、すなわち座標データにし、座標データと特徴点との対応を追跡する探索により、特徴点を座標データとして検出する機能を有する。トラッキング回路は、たとえば口の特徴点を探索する場合、特徴点として、たとえば口の外側の左右端の位置をそれぞれ、各タイミングで追跡する探索により、特徴点と座標データとをそれぞれ、対応付けている。表情特徴抽出部２４は、顔の画像を基に検出した各部の特徴点の座標データ３６を符号化部２６に供給する。
【００２２】
キャラクタ格納部２８は、取り込んだ顔画像の代わりに置換して、通信相手に送るモデルデータをあらかじめ格納するメモリである。キャラクタ格納部２８は、モデルデータを格納するだけでなく、使用時間の情報等も格納して管理する。キャラクタ格納部２８は、記憶容量に応じて複数のモデルデータを登録・格納するようにしてもよい。登録処理は、図示しない制御部の制御に応じて行われる。キャラクタ格納部２８は、操作者または通話者が図示しない操作スイッチを介して選択したキャラクタ画像のモデルデータ３８を所定のタイミングで符号化部２６に供給する。
【００２３】
ここで、モデルデータとは、たとえば顔画像のフレームを形成するようなデータであり、キャラクタや人物像を表している。したがって、モデルデータは、２次元画像や３次元ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）によるワイヤフレームでもよい。この場合、たとえば喜び、怒り、悲しみ等の表情および発話時の口の動きは、人間の顔が筋肉の動きに基づいて変化することを利用して特徴点の変動として検出される。すなわち、ワイヤフレーム上に筋肉を３次元的に配置し、各筋肉の伸長や収縮により、ワイヤフレーム自体を変形させる。本実施例では、この変形をもたらすデータとして特徴点の座標データ３６が用いられる。特徴点の座標データ３６が供給されるタイミングが、前述した所定のタイミングである。
【００２４】
前景格納部３０は、前景データを格納する記憶機能を有し、半導体メモリ、磁気記録媒体や光記録媒体等に記録する記録装置である。前景格納部３０は、装置の小型化に対処する点から半導体メモリを用いることが望ましい。前景格納部３０は、操作者の選択に応じて図示しない制御部の制御により前景データ４０を符号化部２６に出力する。また、前景格納部３０は、この制御部から前景データ４０を表示させる位置および表示のさせ方の指示情報を受け、この指示情報を表示指示データ４２として符号化部２６に出力する。
【００２５】
ここで、前景データとは、キャラクタ画像上に重ねて表示することができる、２次元や３次元のＣＧオブジェクト画像データである。具体的に説明すると、前景データには、眼鏡、髭、文字、オブジェクト背景等がある。また、表示指示データは、たとえば眼鏡オブジェクトをキャラクタの目の位置でキャラクタ画像よりも前側に表示させる指示データを符号化部２６に供給する。２次元文字オブジェクトの場合、表示指示データとは、画面の下側位置にキャラクタ画像よりも前側に表示させる指示データである。
【００２６】
前景格納部３０は、あらかじめ格納する、前景データに特徴付けるキーワードを付けて登録し、前景データに対する基本的な指示として位置および表示法を示すデフォルト表示指示データも併せて登録しておくことが好ましい。前景データ４０および表示指示データ４２は、組として格納するとよい。
【００２７】
符号化部２６は、供給されるデータ、すなわち特徴点の座標データ３６、モデルデータ３８、前景データ４０および表示指示データ４２に対して圧縮符号化処理を施す機能を有している。圧縮符号化には、たとえばＭＰＥＧ４を用いる。送出するデータの内、モデルデータ３８は、座標データ３６の供給に応じてその都度送出してもよいが、通信の最初において少なくとも、一回だけ座標データ３６とともに送信し、以後、単に座標データ３６だけを送信すればよい。受信側情報端末装置１４は、一度供給されたモデルデータに基づいて以後のキャラクタ（モデル）画像を構築するからである。したがって、一度送信した後でのモデルデータ３６の送信は、受信側情報端末装置１４からの要求に応じて行う。符号化部２６は、圧縮符号化されたパケットデータ４４をＩＰネットワーク２０を介して受信側情報端末装置１４に出力する。
【００２８】
受信側情報端末装置１４は、復号部４６、データ作成部４８、レンダリング部５０および前景合成部５２を含む。復号部４６は、ＩＰネットワーク２０を介して供給されるパケットデータ４４に復号処理を施す。復号処理は、ＭＥＰＥＧ４の符号化処理に対する逆処理、伸長処理である。復号部４６は、供給されるデータを分離または分類する機能を有している。供給されるデータは、前述したように、座標データ３６、モデルデータ３８、前景データ４０および表示指示データ４２の内、座標データ３６およびモデルデータ３８、前景データ４０および表示指示データ４２に分けて、それぞれ、前者の復号データ５４をデータ作成部４８に供給し、後者の復号データ５６を前景合成部５２に供給する。
【００２９】
データ作成部４８は、復号されたモデルデータ３８に対して抽出した特徴点の座標データ３６を関連させて、所定のタイミング毎に供給される座標データ３６に対応してモデルデータの特徴点位置を変化させることにより作成されるキャラクタ画像に表情を持たせる機能を有している。データ作成部４８は、モデルデータが、たとえば３次元ポリゴンの供給に応じてポリゴンの形成位置を座標データ３６に合わせて変更する処理を行う。データ作成部４８は、座標データ３６に応じて変更された特徴点を有するモデルデータ４８を作成してレンダリング部５０に出力する。
【００３０】
レンダリング部５０は、供給されるモデルデータ５８を基に最終的な画像生成を行うように可視化する描画表示機能を有している。レンダリング部５０は、複数のメモリを含んでいる。すなわち、モデルデータ４８を格納する複数のメモリ、レンダリングの処理手順（アルゴリズム）のプログラムを格納するメモリ、レンダリング結果の画像を格納し、連続して動画表示させるための複数のメモリを、それぞれ含む。レンダリング部５０は、各メモリに供給される随時供給されるキャラクタのモデルデータ５８にアルゴリズムを適用して処理し、メモリにキャラクタ画像をそれぞれ書き込み、書込み完了のメモリからキャラクタ画像６０として前景合成部５２に読み出す。
【００３１】
前景合成部５２は、レンダリングされたキャラクタ画像６０に前景データ４０を表示指示データ４２の指示に応じて表示合成する機能を有している。この機能を実現させるため、前景合成部５２は、複数のメモリを含んでいる。前景合成部５２は、動画用に供給されるキャラクタ画像６０をそれぞれのメモリに書き込んだ後、同期して供給される復号データ５６の内、表示指示データに基づいて前景データから生成した対象画像をそれぞれ書き込み、合成する。前景合成部５２は、合成完了または書き込み完了のメモリから順に前景合成画像６２として図示しない表示部に読み出す。
【００３２】
ここで、前景合成部５２は、前景データに対するレンダリング機能も有している。これにより、対象画像を生成し、生成した対象画像を供給されるキャラクタ画像６０の指示位置に合成する。
【００３３】
表示部には、送信側の話者の表情に応じて表情を変化させるキャラクタ画像上に（前景に相当する）オブジェクトが表示され、かつ送信がわ情報端末装置１２から送信された音声データをキャラクタ画像に同期させて再生する。
【００３４】
キャラクタ管理センタ１６は、図示していないが、ＩＰネットワーク２０に接続された、たとえばサーバ装置である。キャラクタ管理センタ１６は、図示しないベンダから供給される２次元または３次元のキャラクタ画像をモデルデータとして保存され、保存したキャラクタのモデルデータを使用するユーザ登録を行う機能も有し、さらに、登録したユーザそれぞれと使用するキャラクタ画像の使用状況、すなわち使用時間量とを対応付けた組（たとえばテンプレートデータ）として保存し、データ管理する機能を有している。キャラクタ管理センタ１６は、キャラクタ格納部２８に小型化にともなう容量制限があり、より多くのモデルデータを保有することが難しいことから、大量のモデルデータを保有し、随時ユーザが所望のモデルデータ６４を選んで、キャラクタ格納部２８にダウンロードする。これにより、送信側情報端末装置１２の利便性を向上させることができる。キャラクタ管理センタ１６には、キャラクタ格納部２８にて使用するキャラクタおよび使用開始時刻が記憶され、キャラクタ画像表示の終了または通信終了においても使用完了時刻が記憶され、これらの情報がまとめたテンプレート形式で報知するようにするとよい。また、キャラクタ管理センタ１６は、ユーザの情報端末装置毎に認識を行う同定データを管理し、モデルデータに同定データを組み込んで送出してもよい。
【００３５】
ベンダとは、キャラクタ画像のモデルデータを作成し、供給する業者である。モデルデータは、３次元の場合、ポリゴンデータで構成された人の頭部が供給されている。
【００３６】
また、キャラクタ管理センタ１６は、所望のキャラクタ画像におけるモデルデータの使用時間を制限する方法だけでなく、ダウンロード時に定額料金を支払いさえすれば、これ以後、所定期間中の使用を自由に管理するようにしてもよい。
【００３７】
前景管理センタ１８は、キャラクタ管理センタ１６と同じく、ＩＰネットワーク２０に接続されているサーバ装置である。前景管理センタ１８は、キャラクタ管理センタ１６の機能および構成を有し、管理の対象がキャラクタ画像のモデルデータから前景データになったものである。このような点を考慮すると、前景管理センタ１８は、キャラクタ管理センタ１６の構成を共通にすることができる。前景管理センタ１８は、前景データとデフォルト表示指示データ（位置および表示法）とを組にして管理し、操作者により選択された組データ６６を前景格納部３０に供給する。前景管理センタ１８は、前景格納部３０から供給される使用状況に関する情報を受けて保存し、登録したユーザの情報を管理するようにしてもよい。前景管理センタ１８を設けることにより、容量制限があり、より多くのモデルデータを保有することが難しいことから、大量のモデルデータを保有し、随時ユーザが所望のモデルデータ６４を選んで、キャラクタ格納部２８にダウンロードする。これにより、送信側情報端末装置１２の利便性を向上させることができる。
【００３８】
画像伝送システム１０は、送信側情報端末装置１２から顔画像３２を取り込み、供給されるディジタルデータ（顔画像データ）３４から表情における特徴点の座標データ３６を抽出して符号化部２６に供給し、所望のキャラクタ画像におけるモデルデータ３８、前景データ４０および表示指示データ４２をそれぞれ、符号化部２６に供給して圧縮符号化を施したパケットデータ４４をＩＰネットワーク２０を介して受信側情報端末装置１４に伝送する。
【００３９】
受信側情報端末装置１４は、復号部４６で供給されるパケットデータ４４を復号し、復号データ５４，５６に分けてそれぞれ、データ生成部４８と前景合成部５２に出力する。データ生成部４８は、供給されるキャラクタ画像におけるモデルデータの特徴点に対応する座標データを反映させてキャラクタ画像に表情を持たせ、レンダリング部５０でキャラクタ（モデル）画像を可視化させ、前景合成部５２でレンダリングしたキャラクタ（モデル）画像６０に前景データを表示指示データに応じて合成し、表示部に合成画像を出力して動画表示させる。キャラクタ画像６０に眼鏡、髭、文字等のオブジェクトを重ねて表示できることから、キャラクタ画像６０の表情だけを表示するよりも発信者の感情、意思および意図を受信者に伝えることができ、コミュニケーションを一層向上させることができる。発信者の遊び心が付与できるので、ユーザのエンタテイメント感を向上させることができる。
【００４０】
なお、本実施例の画像伝送システム１０は、送信側情報端末装置１２に符号化部２６、受信側情報端末装置１４において符号化部２６に対応する復号部４６を設けているが、これらを設けず、送信側から受信側にデータを供給するようにしてもよい。この場合、受信側では、データ作成部４８の前に、座標データおよびモデルデータと、前景データおよび指示データとを分けるデータ分離部を設けるとよい。
【００４１】
次に画像伝送システム１０の構成要素に変更を加えた場合の変形例について以下にいくつか説明する。これらの変形例において前述の実施例と共通する部分には、同じ参照符号を付して、同じ説明の繰返しを避けるために説明を省略する。
【００４２】
《変形例１》
変形例１は、図２に示すように、画像伝送システムの送信側情報端末装置１２に前景作成部６８を追加する点に特徴がある。前景作成部６８は、任意の前景データを作成する機能を有している。前景作成部６８は、前景を作成するアート機能が選択されると、基本的なオブジェクト（眼鏡、髭、文字等）が表示され、オブジェクトをユーザが選択する。さらに、前景作成部６８は、選択したオブジェクトに対する形状をパターン化した図を表示し、この図に対する色を選択する。これらの選択によりユーザが所望の前景データを作成し、表示部に表示させて確認する。これらの選択には、図示しないが送信側情報端末装置１２の操作キー部に配設されたポインティングデバイスを用いるとよい。
【００４３】
これらの表示や選択処理は、基本的に制御部により制御されている。また、前景作成部６８は、選択結果を基にどのような制御を前景データ４０に対して行うかを表示指示データ４２として生成する制御機能も有している。とくに、前景作成部６８は、文字の場合、文字に施すアート形状、文字に付ける影、回転させるか否か、および色等の各種選択を行って、独自の文字を作成するとともに、動作の指示も作成することができるようにしてもよい。前景作成部６８は、作成した前景データおよび表示指示データの組を、たとえば新たなアートデータ７０として前景格納部３０に供給する。
【００４４】
送信側情報端末装置１２は、前景格納部３０に供給されるアートデータ７０が新規作成データか否かを判断して、供給されたアートデータ７０に対するアクセス権を
設定し、ユーザ登録処理を行って格納する。このような作成・登録を行っていると、情報端末装置は、作成したアートデータ７０を図１の前景管理センタ１８に提供することもできる。前景管理センタ１８の管理会社は、この提供に応じたサービスを提供者に供与することが望ましい。
【００４５】
前景作成部６８を設けることにより、前景管理センタ１８にアクセスして所望の前景データおよび表示指示データの組をダウンロードして利用する場合に要する費用を削減することができ、ベンダのようなデータ提供を行うことにより、新たなサービスを受けることができる。自分で作成することにより、満足のいく前景データ（アートデータ）を作成して送信画像のバリエーションも増やすことができる。したがって、先の実施例に比べて発信者の感情や意思を低コストにより満足したものを用いてコミュニケーションすることができる。
【００４６】
《変形例２》
変形例２は、図３に示すように、変形例１の構成に感情認識部として表情認識部７２を配設している点に特徴がある。表情認識部７２は、画像入力部２２から出力されるディジタルデータ（顔画像データ）３４を基に表情、たとえば笑い、笑み、怒り、泣き等を数値化する機能を有している。表情認識部７２は、顔面動作（ＡｃｔｉｏｎＵｎｉｔ）を自動認識する上で、たとえば複数のガボールフィルタ群を用いて得られる多次元の特徴ベクトルが有効である。このフィルタの出力値は、パターン上の各点の近傍で検出される特定の空間周波数成分と方向性の強度を表し、パターンの持つ局所的な構造を強く反映した特徴表現を可能にする。この得られた特徴表現を識別用特徴として用い、数値化する。表情認識部７２は、得られた認識結果を制御信号７４として前景格納部３０に出力する。
【００４７】
前景格納部３０には、前景データ４０および表示指示データ４２の組だけでなく、表情を表す数値も対応させて組み合せたデータ構造にしておくことが望ましい。このようなデータ構造を採用することにより、前景格納部３０に制御信号７４が供給されると、あらかじめ格納した数値に一致した前景データ４０および表示指示データ４２を容易に符号化部２６に供給させることができる。
【００４８】
このように表情認識部７２の認識結果に応じて定型的な前景データ４０および表示指示データ４２を出力させることにより、変形例１に比べてユーザの操作性を軽減することができる。
【００４９】
《変形例３》
変形例３は、変形例２の表情と同様に発信者の感情の認識を行う点で同じであるが、認識に感情が反映される音声を基にしている点で異なっている。送信側情報端末装置１２は、図４に示すように、変形例１の構成に対して、さらに、音声入力部７６および音声認識部７８を含む。これまで図１〜図３まで図示してこなかったが送信側情報端末装置１２は、音声入力部７６を有している。音声入力部７６は、図示しないがマイクロフォンおよびＡ／Ｄ変換器を含んでいる。マイクロフォンは、外部に設けて、入力する話者の音声８０を電気信号に変換する機能を有している。マイクロフォンは、変換した音声信号をＡ／Ｄ変換器に供給する。Ａ／Ｄ変換器は、供給される音声信号をディジタル信号に変換して、音声データ８２を音声認識部７８に出力する。音声入力部７６は、図示していないが、音声データ８２を符号化部２６に供給して圧縮符号化処理を施して受信側情報端末装置１４に向けて出力している。
【００５０】
音声認識部７８は、感情認識部として供給される音声データ８２を音声認識を行う上での対象音声として扱う。音声認識部７８は、対象音声を基に、たとえば笑い、笑み、怒り、泣き等の感情を認識し、数値化する機能を有している。音声認識部７８は、本実施例において隠れマルコフモデルの手法を用いる。音声認識部７８は、図示しないが、音素辞書、モデル探索部、音素列辞書および数値化部を含む。音素辞書は、あらかじめ基準となる音声データから隠れマルコフモデルで音素をモデル化し、保存されたデータベースである。
【００５１】
モデル探索部は、対象音声のモデルと音素辞書に格納されているモデルとの尤度を評価し、最も高い尤度のモデルを探索する機能を有する。音素列辞書は、認識対象となる音声の発音系列を格納するデータベースである。すなわち、感情を表現する言葉、たとえば「面白い」、「楽しい」、「嬉しい」、「寂しい」、「悲しい」、「いい加減にしろ」等が格納される。数値化部は、音素列辞書のデータと探索結果との比較、言葉の使い方を評価して認識する機能を有している。数値化部は、認識機能により得られた結果を数値化し、制御信号８４として前景格納部３０に出力する。前景格納部３０は、表情認識部７２に対する数値対応と同様に音声認識の数値に対応する前景データ４０および表示指示データ４２を組み合せて格納していることは言うまでもない。
【００５２】
本実施例は、入力した音声８０をディジタル化し、供給された音声データ８２を対象音声とし、この対象音声を基に音声認識部７８で最も高い尤度のモデルを探索し、この探索モデルと音素列との比較から音声認識し、認識結果に対応する数値の制御信号８４を前景格納部３０に供給し、音声認識に合った前景データ４０および表示指示データ４２を符号化部２６に出力する。このように音声に応じて自動的に認識して前景データ等を付与する送出が可能になることから、音声に合わせて定型的に前景データを付与する変形例１の場合に比べて装置の操作性を軽減することができる。
【００５３】
具体的には、音声認識部７８において「面白い」に対して数値を設定し、前景格納部３０において「面白い」に対する数値と同じ数値を設定しておき、この数値と前景データ４０として「ワッハッハッハ！」を組み合わせておく。実際に、通話中に「面白い」が音声認識部７８で認識されると、前景格納部３０は、制御信号８４に応じて前景データ「ワッハッハッハ！」と表示指示データ４２を符号化部２６に出力する。これにより、受信側情報端末装置１４の表示部には、選択したキャラクタ画像を表示するとともに、表示指示データ４２に応じてキャラクタ画像の前に文字「ワッハッハッハ！」を表示させることができるようになる。
【００５４】
《変形例４》
変形例４の送信側情報端末装置１２は、変形例２および変形例３のそれぞれ、映像信号および音声信号による発信者の感情の認識に限定されるものでなく、イベント情報を基に感情の認識を行う点に特徴がある。変形例４における送信側情報端末装置１２は、図５に示すように、変形例１の構成に対して、感情認識部としてさらに、イベント入力部８６およびイベント認識部８８を含んでいる。イベント入力部８６は、たとえばキーボード等の情報入力キーである。情報入力キーには、それぞれキーアドレスが割り付けられている。イベント入力部８６は、押圧操作９０に応じて設定されているキーアドレスをディジタル化し、キーアドレスデータ９２をイベント認識部８８に出力する。
【００５５】
イベント認識部８８は、所定の期間中にイベントとして供給されるキーアドレス９２の組み合わせに応じて話者またはユーザの意図・感情等を認識し、数値化する機能がある。イベント認識部８８は、認識結果に対応する数値の制御信号９４を前景格納部３０に供給する。前景格納部３０は、制御信号９４に対応する前景データ４０および表示指示データ４２を符号化部２６に出力する。
【００５６】
イベント入力が選択されると、図示しないが、送信側情報端末装置１２の表示部には、感情を表す文字情報とキーの組合せの関連が容易にわかるように表示させるようにすることが好ましい。この表示は、操作に不慣れなユーザへの操作支援になる。操作に習熟しているユーザは、この表示を非表示にするようにしてもよい。このように前景データのキャラクタ画像に対する付与の操作を変形例１に比べて容易に行うことができる。
【００５７】
《変形例５》
変形例５は、図６に示すように、最初に説明した基本的な構成と比較すると、シナリオ格納部９６が配設されている点に特徴がある。シナリオ格納部９６は、前景データのシナリオを格納する機能を有している。ここで、シナリオとは、前景データの組合せデータ、前景データにおける出力順序を示すデータ、表示指示データおよびこれらのデータを出力するタイミングであり、これらを総称してシナリオデータ９８とする。シナリオ格納部９６は、小型化への対処を考慮すると、半導体メモリが好ましい。また、シナリオ格納部９６は、半導体メモリに限定されることなく、磁気記録媒体や光記録媒体等に記録する装置を適用してもよい。シナリオ格納部９６は、あらかじめ格納したシナリオデータしたり、シナリオ管理センタ１００からダウンロードしたシナリオデータ１０２を格納する。シナリオ格納部９６は、シナリオデータをあらかじめ格納しておく場合、シナリオデータを特徴付けるキーワードを付けて登録するとよい。登録したキーワードを表示部に表示させると、どのようなシナリオデータを格納しているか容易に知ることができる。シナリオ格納部９６は、図示しない制御部の制御に応じてシナリオデータ９８を符号化部２６に出力する。
【００５８】
シナリオ管理センタ１００は、前景管理センタ１８と同じ構成および機能を有するサーバ装置で、図示していないがＩＰネットワーク２０に接続されている。シナリオ管理センタ１００は、容量の少ないシナリオ格納部９６に対し、多種多様なシナリオデータを保存して、ユーザの要求に応えるようにしながら、ユーザ個々にダウンロードしたシナリオデータ１０２と使用料とを管理している。このような構成から、キャラクタ管理センタ１６や前景管理センタ１８と共通化することも可能である。
【００５９】
シナリオ格納部９６を設けてシナリオデータ９８を符号化部２６に出力することにより、単に、前景データ４０および表示指示データ４２の供給を受けてキャラクタ画像に前景データが表すオブジェクトを重畳する場合より、組合せ、順序およびタイミングの指示を基に表示することから、表示にストーリー性が加味される。これにより、本実施例は、図１に示した基本的な構成（最初の実施例）でコミュニケーションを図るよりもより一層発信者の感情、意思を伝え易くできる。指示の要素が増えることから、細かな感情や意思の伝達も可能にする。また、発信者は、シナリオ構成に遊び心を発揮する要素が増えることにより、エンタテイメント感も一層向上させることができる。
【００６０】
なお、本実施例は前景のシナリオデータを用いる場合を説明したが、シナリオデータはこれに限定されるものでなく、後景のシナリオデータをシナリオ格納部９６に格納してもよい。また、シナリオ格納部９６は、前景データおよび後景データを組み合せて格納してもよい。また、図示しないが、送信側情報端末装置１２には、シナリオ作成部を配設してもよい。シナリオ作成部は、ユーザの意図をよりよく反映するようにシナリオデータ９８を作成する機能を有している。
【００６１】
《変形例６》
変形例６は、図７に示すように、画像伝送を行う上で受信側情報端末装置１４に配設していた構成要素、すなわちデータ作成部４８、レンダリング部５０、前景合成部５２を送信側情報端末装置１２に配設する点に特徴がある。変形例６の送信側情報端末装置１２は、受信側情報端末装置１４に表情を持たせたキャラクタ画像に前景データを重畳した、完成画像を伝送する。したがって、受信側情報端末装置１４は、受信した完成画像を動画表示対応の処理速度を有する復号部４６だけを有し、復号部４６に複数のメモリを含んでいればよい。
【００６２】
送信側情報端末装置１２は、完成画像を送信するように、データ作成部４８、レンダリング部５０および前景合成部５２をこの順序で表情特徴抽出部２４と符号化部２６との間に配設する。データ作成部４８には、表情特徴抽出部２４から特徴点の座標データ３６、キャラクタ格納部２８から選択したキャラクタ画像のモデルデータ３８が供給される。データ作成部４８は、モデルデータ３８の各特徴点に対応する座標データ３６を反映させて変化した表情を有するモデルデータ５８を作成し、レンダリング部５０に出力する。レンダリング部５０は、変化した表情のモデルデータ５８を基に可視化処理を施し、動画表示用の各メモリに書き込み、書込み完了後、直ちにレンダリングしたキャラクタ画像データ６０が前景合成部５２に供給される。
【００６３】
前景合成部５２には、キャラクタ画像データ６０が供給されるとともに、前景格納部３０から選択された前景データ４０および表示指示データ４２が一組に供給される。前景合成部５２は、キャラクタ画像データ６０に対し、表示指示データ４２に応じて前景データ４０を重畳合成させ、複数有するメモリの一つに格納する。前景合成部５２は、順次重畳合成したキャラクタ画像をメモリに格納させながら、格納した順にキャラクタ画像を読み出す。これにより、前景合成部５２は、前景データが重畳されたキャラクタ画像データ６２を符号化部２６に出力する。符号化部２６は、キャラクタ画像データ６２に圧縮符号化処理を施したパケットデータ４４を図示しない送信部を介して通信相手先に向けて送信する。
【００６４】
受信側情報端末装置１４は、復号部４６で受信したキャラクタ画像データのパケットデータ４４に復号処理を施し、伸長されたキャラクタ画像データをメモリに格納する。メモリに格納されたキャラクタ画像データ１０４を表示部に出力する。これにより、受信側情報端末装置１４は、送信側情報端末装置１２から供給された前景データ付キャラクタ画像を表示部に動画表示させることができる。
【００６５】
送信側にて通信相手先に供給するキャラクタ画像を完成させて送信することにより、受信側の信号処理を大幅に削減することができ、受信側情報端末装置１４を安価に提供できる。また、このように新たな信号処理や新たな機能も送信側が持つことにより、動画表示可能な復号機能を有するだけの受信側情報端末装置１４を所有するユーザも、この新たな機能の画像表示によるコミュニケーションの恩恵を受けることができる。すなわち、送信側情報端末装置１２は、これまでの通信可能な範囲を狭めることなく、サービスを提供できる点で有利である。これは、サービスの普及においても重要な効果である。
【００６６】
なお、送信側情報端末装置１２は、前景格納部３０および前景合成部５２を配設せず、送信側から単に完成したキャラクタ画像を送信するようにしてもよい。また、画像伝送システム１０は、送信側情報端末装置１２の構成に合わせて前景管理センタ１８を設けない構成でもよい。
【００６７】
《変形例７》
変形例７は、図８に示すように、変形例６の構成にＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎｉｎｆｏｒｍａｔｉｏｎ）確認部１０６を配設している点に特徴がある。本実施例では、ＩＤ確認部１０６がキャラクタ格納部２８とデータ作成部４８との間に配設される。また、最初の基本的な実施例、変形例１〜５の場合、ＩＤ確認部１０６は、キャラクタ格納部２８と符号化部２６との間に配設される。
【００６８】
ＩＤ確認部１０６は、送信側情報端末装置１２に固有なＩＤとキャラクタ格納部２８のキャラクタのモデルデータ３８に埋め込まれたＩＤとの確認を行う機能を有している。ＩＤ確認部１０６は、図示しないが送信側情報端末装置１２に固有な情報をＩＤとして格納するメモリと、キャラクタ画像のモデルデータ３８に埋め込まれたＩＤを抽出するＩＤ抽出回路と、ＩＤを比較する比較回路とを含んでいる。
【００６９】
送信側端末装置１０ａは、受信側情報端末装置１４との通信を行う前に、たとえばキャラクタ管理センタ１６に対してダウンロード指示信号を供給する。キャラクタ管理センタ１６は、たとえば、送信側情報端末装置１２に固有な情報の提供要求信号を下り信号として送り、送信側情報端末装置１２から固有な情報を上り信号として取得する。固有な情報がＩＤであり、たとえば（携帯電話機の）電話番号やＩＰアドレス等である。キャラクタ管理センタ１６は、ダウンロード指示を受けたユーザにＩＤを埋め込んだ、所望のキャラクタのモデルデータ６４をキャラクタ格納部２８に送出する。キャラクタ格納部２８は、供給されたＩＤ付きキャラクタのモデルデータ６４を保存する。
【００７０】
なお、本実施例でＩＤは、送信側情報端末装置１２から提供したが、この提供に限定されず、キャラクタ管理センタ１６にて送信側情報端末装置１２のそれぞれを特定するＩＤが生成できるならば、キャラクタ管理センタ１６の生成したＩＤをＩＤ確認に用いるようにしてもよい。ただし、キャラクタ管理センタ１６は、送信側情報端末装置１２からのダウンロード指示信号を受けた際に、送信側情報端末装置１２にキャラクタ管理センタ１６にて生成したＩＤをあらかじめ供給しておく。
【００７１】
音声および画像の通信において、あらかじめ設定したＩＤを用いる場合、ＩＤ確認部１０６ではキャラクタ格納部２８から供給されるユーザの選んだキャラクタのモデルデータ３８のＩＤと送信端末装置１２のＩＤとが比較され、両ＩＤが一致した場合にキャラクタのモデルデータ１０８がデータ作成部４８に送出される。また、ＩＤが不一致の場合、ＩＤ確認部１０６は、キャラクタ格納部２８から供給されるモデルデータ３８の送出を禁止する。このようにＩＤ確認部１０６を配設してキャラクタのモデルデータの認証処理を行って送出の可否が判定され、使用直前の段階で不一致の場合に送出するキャラクタのモデルデータの供給を停止することにより、送信側情報端末装置１２におけるキャラクタのモデルデータ３８の不正な使用を防止することができる。
【００７２】
なお、本実施例は、ＩＤ確認部１０６をキャラクタ格納部２８とデータ作成部４８との間に設ける構成を説明したが、前景格納部３０と前景合成部５２との間に配設して前景データの不正使用を防止するようにしてもよい。
【００７３】
《変形例８》
これまで送信側の構成を述べてきたが、ＩＤ確認部１０６は、送信側情報端末装置１２への配設に限定されるものでなく、図９に示すように、変形例８では受信側情報端末装置１４に配設している。画像伝送システム１０において送信側情報端末装置１２は、図１で説明した実施例とまったく同じ構成要素を用いている。ただし、送信側情報端末装置１２は、キャラクタ管理センタ１６および受信側情報端末装置１４のＩＤ確認部１０６に認証用のＩＤをあらかじめ提供させておく。このようＩＤの提供を行うことにより、キャラクタ格納部２８が送出するキャラクタのモデルデータ３８にはＩＤが埋め込まれている。
【００７４】
受信側情報端末装置１４には、これまでの実施例と同様に復号部４６、データ作成部４８、レンダリング部５０および前景合成部５２が配設されるとともに、ＩＤ確認部１０６およびストレージ部１０８が配設されている。受信側情報端末装置１４には、圧縮符号化されたパケットデータ４４が復号部４６に供給される。復号部４６では、供給されるパケットデータ４４に復号処理を施してデータを伸長させ、データ作成部４８およびストレージ部１０８に出力する。
【００７５】
ストレージ部１０８には、画像伝送を行う前に、送信側情報端末装置１２からＩＤが供給されている。受信側情報端末装置１４は、このようにＩＤを受信し、ストレージ部１０８を介してＩＤ確認部１０６に送信元のＩＤを格納しておく。ストレージ部１０８は、供給されるデータを一時的に格納する記憶部であり、受信側情報端末装置１４の内部に配設する半導体メモリまたは着脱自在な外付けのリムーバブルディスク装置等を用いてもよい。ストレージ部１０８は、供給されるデータ５４を一時的に格納し、この記憶したデータ５４を読出し信号１１０としてＩＤ確認部１０６に出力する。
【００７６】
ＩＤ確認部１０６は、先に供給された取得済みのＩＤとキャラクタのモデルデータに埋め込まれているＩＤとを比較し、一致している場合にデータ作成部４８にデータ作成部４８の動作を制御するイネーブル信号１１２を供給する。不一致の場合、ＩＤ確認部１０６はデータ作成部２２の動作をイネーブル信号１１２をアンイネーブルにして禁止する。このように動作させることにより、ＩＤが不一致の場合、データ作成部４８における表情の特徴点をキャラクタのモデルデータに反映させる機能が停止してしまう。結果的に、データ作成部４８は、この場合画像作成を禁止したと同じ結果が得られる。これにより、受信側情報端末装置１４におけるキャラクタのモデルデータの不正な使用を防止することができる。
【００７７】
また、送信側情報端末装置１２と受信側情報端末装置１４の通信を行う前に、やりとりするキャラクタのモデルデータに関する認証用のＩＤの情報交換を行って、ＩＤ確認部１０６に格納しておき、供給される送信側の保有するキャラクタのモデルデータが受信側のストレージ部１０８に記憶しているキャラクタのモデルデータとしてすでに含まれている場合、受信側情報端末装置１４は、ストレージ部１０８に格納されているキャラクタのモデルデータを利用し、送信側情報端末装置１２は一致するキャラクタのモデルデータの送信時に表情の特徴点を示す座標データだけを送信する。これにより、送受信間における伝送量を抑えることができ、回線資源を節約することができる。ここで、受信側情報端末装置１４における受信操作の指示が送信側情報端末装置１２を介して行われる場合、伝送経路が上述した手順によって見かけ上送信端末装置１２、キャラクタ管理センタ１６、そして受信側情報端末装置１４になったように見せることもできる。
【００７８】
なお、本発明における実施例は、キャラクタ画像に対するオブジェクトを前景として合成する構成を説明してきたが、変形例３および変形例４における前景格納部３０には、背景画像等の後景データが格納されるようにしてもよい。ただし、後景データの合成は、前景合成部５２の配設位置と異なり、データ作成部４８とレンダリング部５０との間に配設する。
【００７９】
以上のように構成することにより、送信側情報処理装置１２の画像入力部２２で顔画像３２を取り込み、表情特徴抽出部２４で顔画像データ３４から抽出した表情特徴データ（座標データ）３６を符号化部２６に供給し、キャラクタ格納部２８からのモデルデータ３８、ならびに前景格納部３０からの前景データ４０および表示指示データ４２を符号化部２６に供給して４つのデータを圧縮符号化して、送信し、ＩＰネットワーク２０を介して受信側情報処理装置１４の復号部４６で伸長・復号処理により得られたデータを、表情特徴データ３６およびモデルデータ３８と、前景データ４０および表示指示データ４２とに分けて、前者のデータ組であるデータ５４からデータ作成部４８およびレンダリング部５０によりキャラクタ画像６０を作成し、前景合成部５２で後者のデータ組であるデータ５６から対象画像を生成し、この対象画像を表示指示データ４２に応じてキャラクタ画像６０の位置に合成し、出力することにより、対象画像に送信者の感情や意思を反映させ、単にキャラクタ画像を出力する場合よりもエンタテイメント性を高めて、コミュニケーション力を向上させることができる。
【００８０】
画像伝送システム１０は、前景管理センタ１８で前景データを登録して、複数備えて、管理することにより、前景格納部３０の容量を制限しても、多種多様な前景データを選択して提供を受けることができる。
【００８１】
また、画像伝送システム１０は、送信側情報端末装置１２の前景作成部６８で前景データを作成することにより、ユーザ自身の要求に近い前景データを使用することができ、ベンダ的な役割も果たすことができる。
【００８２】
画像伝送システム１０は、送信側情報端末装置１２に映像、音声、イベントとしてそれぞれ供給される情報を基に表情認識部７２、音声認識部７８およびイベント認識部８８のそれぞれでユーザの感情を感情認識部として認識し、この認識に応じて表される制御信号７４，８４，９４をそれぞれ前景格納部に供給することにより、通話者の感情を反映させたキャラクタ画像の提供に大いに寄与することができる。
【００８３】
画像伝送システム１０は、送信側情報端末装置１２にシナリオ格納部９６を配設し、前景データの組合せデータ、前景データにおける出力順序を示すデータ、表示指示データおよびこれらのデータを出力するタイミングを一組として複数格納し、読み出して供給することにより、表示する画像にストーリー性を持たせることができ、通信相手に送話者の意思を伝え易くし、コミュニケーション力を高めることができる。
【００８４】
画像伝送システム１０は、シナリオ管理センタ１００を設け、前景データの組合せデータ、前景データにおける出力順序を示すデータ、表示指示データおよびこれらのデータを出力するタイミングを一組に登録して、複数管理し、選択に応じてシナリオ格納部９６に供給することで送信側情報端末装置１２のメモリ容量を節約しながら、多様な画像の送出を可能にする。
【００８５】
画像伝送システム１０は、送信側情報端末装置１２にてデータ５４を基にキャラクタ画像の生成に用いる、データ作成部４８およびレンダリング部５０と、前景格納部３０から供給される前景データ４０および表示指示データ４２であるデータ５６に応じて対象画像を生成し、この生成された対象画像を生成されたキャラクタ画像６０と合成する画像合成手段とが符号化部２６の前段に配設され、キャラクタ画像を完成させて受信側に送信することにより、受信側の信号処理を伸長・復号処理だけで済ますことができる。これにより、新たに追加した処理機能を受信側が持たなくても、新機能のサービスを受けることができ、サービスの普及に貢献することができる。
【００８６】
また、画像伝送システム１０は、ＩＤ認識部１０６を配設し、モデルデータ３８に含まれる情報とこの情報が供給される情報端末装置に固有な情報とを比較し、この比較結果の一致に応じてモデルデータ３８の使用を認証することにより、システムで使用するデータにセキュリティを持たせることができる。情報端末装置は、ＩＤ認識部１０６を送信側および受信側のいずれか一方に配設することが望ましい。
【００８７】
画像コミュニケーション機能付情報処理装置を適用した送信側情報端末装置は、画像入力部２２で対象の画像３２を取り込み、表情特徴抽出部２４で供給される画像データ３４から表情特徴データ（座標データ）３６を抽出し、この表情特徴データ３６、キャラクタ格納部２８からのモデルデータ３８、ならびに前景格納部３０からの前景データ４０および表示指示データ４２を符号化部２６に供給し、これらのデータを圧縮符号化して、送信することにより、前景データ４０および表示指示データ４２に送信者の感情や意思を反映させた情報送信を行い、とくに前景格納部３０からのデータにエンタテイメント性を持たせることができる。これにより、受信側で表示されるキャラクタ画像を基に送信者の意図が受け易く、通信におけるコミュニケーション力をこれまで以上に向上させることができる。
【００８８】
キャラクタ格納部２８は、取り込んだ顔画像を置き換える候補データをモデルデータとして登録し、複数管理する外部のキャラクタ管理センタ１６から選択してモデルデータ６４の提供を受け、前景格納部３０は、前景データおよび表示指示データの組６６を登録して、複数管理する外部の前景管理センタから選択して組単位でのデータ提供を受けて、それぞれ格納することにより、それぞれの格納部における容量が制限されても、受信側に多彩な画像を提供することができ、コミュニケーションの向上に寄与することができる。
【００８９】
送信側情報端末装置１２は、前景作成部６８で前景データを作成することにより、ユーザ自身の要求に近い前景データを使用することができ、ベンダ的な役割も果たすことができる。
【００９０】
送信側情報端末装置１２は、映像、音声、イベントとしてそれぞれ供給される情報を基に表情認識部７２、音声認識部７８およびイベント認識部８８のそれぞれでユーザの感情を感情認識部として認識し、この認識に応じて表される制御信号７４，８４，９４をそれぞれ前景格納部に供給することにより、通話者の感情を反映させたキャラクタ画像の提供に大いに寄与することができる。
【００９１】
送信側情報端末装置１２は、シナリオ格納部９６を配設し、前景データの組合せデータ、前景データにおける出力順序を示すデータ、表示指示データおよびこれらのデータを出力するタイミングを一組として登録して、複数格納し、読み出して供給することにより、表示する画像にストーリー性を持たせることができ、通信相手に送話者の意思を伝え易くし、コミュニケーション力を高めることができる。
【００９２】
送信側情報端末装置１２は、シナリオ格納部９６に、外部に配設され、前景データの組合せデータ、前景データにおける出力順序を示すデータ、表示指示データおよびこれらのデータを出力するタイミングを一組に登録して、複数管理されたシナリオ管理センタ１００から選択に応じて一組データを供給することで送信側情報端末装置１２のメモリ容量を節約しながら、多様な画像の送出を可能にする。
【００９３】
受信側情報端末装置１４は、復号部４６で通信相手先から供給される圧縮符号化されたデータを復号し、復号したデータのうち、データ５４（表情特徴データ３６およびモデルデータ３８）と、データ５６（前景データ４０および表示指示データ４２）とをそれぞれ分けて出力し、データ作成部４８およびレンダリング部５０でデータ５４（表情特徴データ３６およびモデルデータ３８）を基にキャラクタ画像６０を生成し、この生成したキャラクタ画像６０に、前景合成部５２でデータ５６（前景データ４０および表示指示データ４２）に応じて生成される対象画像を合成して、出力することにより、送信側における信号処理を軽減し、コミュニケーション力の高い画像を生成することができる。
【００９４】
送信側情報端末装置１２は、データ５４を供給し、データ５４を基にキャラクタ画像を生成するデータ作成部４８およびレンダリング部５０と、前景格納部３０から供給される前景データ４０および表示指示データ４２のデータ５６に応じて対象画像を生成し、この生成された対象画像を生成されたキャラクタ画像６０と合成する画像合成手段とが符号化部２６の前段に配設され、キャラクタ画像４４を完成させて受信側に送信することにより、受信側の信号処理を伸長・復号処理だけで済ますことができる。これにより、新たに追加した処理機能を受信側が持たなくても、新機能のサービスを受けることができ、サービスの普及に貢献することができる。
【００９５】
また、情報端末装置１２，１４は、ＩＤ認識部１０６を配設し、モデルデータ３８に含まれる情報とこの情報が供給される情報端末装置に固有な情報とを比較し、この比較結果の一致に応じてモデルデータ３８の使用を認証することにより、システムで使用するデータにセキュリティを持たせることができる。情報端末装置１２，１４は、ＩＤ認識部１０６を送信側および受信側のいずれか一方に配設することが望ましい。
【００９６】
【発明の効果】
このように本発明の画像配信システムによれば、送信側情報処理装置から抽出した表情特徴データ、第１の格納手段からのモデルデータ、ならびに第２の格納手段からの対象データおよび指示データを符号化手段で圧縮符号化して、送信し、ＩＰネットワークを介して受信した受信側情報処理装置の復号手段で伸長・復号処理により得られたデータを、表情特徴データおよびモデルデータと、対象データおよび指示データとに分けて、前者のデータ組からモデル画像を作成し、画像合成手段で後者のデータ組から対象画像を指示データに応じてモデル画像の位置に合成し、出力することにより、対象画像に送信者の感情や意思を反映させ、単にモデル画像を出力する場合よりもエンタテイメント性を高めて、コミュニケーション力を向上させることができる。
【００９７】
また、本発明の画像コミュニケーション機能付情報処理装置によれば、画像入力手段で対象の画像を取り込み、特徴抽出手段で供給される画像データから表情特徴データを抽出し、この表情特徴データ、第１の格納手段からのモデルデータ、ならびに第２の格納手段からの対象データおよび指示データを符号化手段で圧縮符号化して、送信することにより、対象データおよび指示データに送信者の感情や意思を反映させた情報送信を行い、とくに第２の格納手段からのデータにエンタテイメント性を持たせることができる。これにより、受信側で表示されるモデル画像を基に送信者の意図が受け易く、通信におけるコミュニケーション力をこれまで以上に向上させることができる。
【図面の簡単な説明】
【図１】本発明の画像配信システムを適用した画像伝送システムの基本的な構成を示すブロック図である。
【図２】図１の画像伝送システムにおける変形例１の構成を示すブロック図である。
【図３】図２の画像伝送システムにおいて通話者が抱く感情の認識を画像で行う変形例２の構成を示すブロック図である。
【図４】図２の画像伝送システムにおいて通話者が抱く感情の認識を音声で行う変形例３の構成を示すブロック図である。
【図５】図２の画像伝送システムにおいて通話者が抱く感情の認識をイベントで行う変形例４の構成を示すブロック図である。
【図６】図１の画像伝送システムにおける変形例５の構成を示すブロック図である。
【図７】図１の画像伝送システムにおいて送信側情報端末装置に受信側情報端末装置の画像生成に用いる構成要素すべてを含む変形例６の構成およびその接続関係を示すブロック図である。
【図８】図７の画像伝送システムにおける送信側にＩＤ確認部を含ませた変形例７の構成を示すブロック図である。
【図９】図１の画像伝送システムにおける受信側にＩＤ確認部を含ませた変形例８の構成を示すブロック図である。
【符号の説明】
１０画像伝送システム
１２送信側情報端末装置
１４受信側情報端末装置
１６キャラクタ管理センタ
１８前景管理センタ
２０ＩＰネットワーク
２２画像入力部
２４表情特徴抽出部
２６符号化部
２８キャラクタ格納部
３０前景格納部
４６復号部
４８データ作成部
５０レンダリング部
５２前景合成部

Claims

公衆回線網、ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ネットワークおよびローカルネットワークの少なくとも、いずれか一つの通信回線を介して通信相手とのコミュニケーションに有効な画像に関する情報を含むコミュニケーション情報を通信する画像配信システムにおいて、該システムは、
前記コミュニケーション情報を生成し、前記通信回線に送信する送信側情報処理装置、前記通信回線を介して供給されるコミュニケーション情報を受信し、該受信したコミュニケーション情報が理解し易い形態にして出力する受信側情報処理装置、および該コミュニケーション情報の一つとして取り込んだ顔画像を置き換えて、前記受信側情報処理装置に送るモデルデータを複数管理する第１の管理手段を含み、
前記送信側情報処理装置は、第１の管理手段から供給されるモデルデータを登録して、格納する第１の格納手段と、
前記モデルデータで生成されるモデル画像に重ねる対象画像の基になる対象データおよび該対象データに対する重ね表示の指示データを組にして登録し、複数格納して、選択された組のデータを出力する第２の格納手段と、
送信の対象を画像として取り込む画像入力手段と、
該取り込んだ画像が含む前記対象である顔の表情を特徴付ける表情特徴データを抽出する特徴抽出手段と、
該表情特徴データ、前記モデルデータ、前記対象データおよび前記指示データを圧縮符号化する符号化手段とを含み、
前記受信側情報処理装置は、圧縮符号化されたデータを復号し、復号したデータのうち、前記表情特徴データおよび前記モデルデータと、前記対象データおよび前記指示データとをそれぞれ、分けて出力する復号手段と、
前記表情特徴データおよび前記モデルデータを基にモデル画像を生成する手段と、
前記対象データおよび前記指示データに応じて対象画像を生成し、該生成された対象画像を前記生成されたモデル画像と合成する画像合成手段とを含むことを特徴とする画像配信システム。
請求項１に記載のシステムにおいて、該システムは、前記対象データを複数備えて、管理する第２の管理手段を含むことを特徴とする画像配信システム。
請求項１に記載のシステムにおいて、前記送信側情報処理装置は、前記対象データを作成する手段を含むことを特徴とする画像配信システム。
請求項１、２または３に記載のシステムにおいて、前記送信側情報処理装置は、供給される情報を基にユーザの感情を認識し、該認識に応じて表される制御情報を第２の格納手段に供給する感情認識手段を含むことを特徴とする画像配信システム。
請求項４に記載のシステムにおいて、前記感情認識手段は、前記供給される情報として画像を用いて、前記ユーザの表情を認識し、該認識に応じて前記制御情報を第２の格納手段に供給する表情認識手段を含むことを特徴とする画像配信システム。
請求項４に記載のシステムにおいて、前記感情認識手段は、前記供給される情報として音声を用いて、前記ユーザの感情を認識し、該認識に応じて表される制御情報を第２の格納手段に供給する音声認識手段を含むことを特徴とする画像配信システム。
請求項４に記載にシステムにおいて、前記感情認識手段は、前記送信側情報処理装置に対する入力操作にともなって出力する値があらかじめ設定されている入力手段を介して出力される値を供給される情報として用いて、該情報の組合せを認識して、前記制御情報を第２の格納手段に供給する情報認識手段を含むことを特徴とする画像配信システム。
請求項１ないし７のいずれか一項に記載のシステムにおいて、第２の格納手段は、前記対象データの組合せデータ、前記対象データにおける出力順序を示すデータ、前記指示データおよびこれらのデータを出力するタイミングを一組として複数格納することを特徴とする画像配信システム。
請求項２ないし８のいずれか一項に記載のシステムにおいて、第２の管理手段は、前記対象データの組合せデータ、前記対象データにおける出力順序を示すデータ、前記指示データおよびこれらのデータを出力するタイミングを一組に複数管理し、選択に応じて第２の格納手段に供給することを特徴とする画像配信システム。
請求項１ないし９のいずれか一項に記載のシステムにおいて、前記送信側情報処理装置は、前記表情特徴データおよび前記モデルデータを基にモデル画像を生成するモデル画像生成手段と、
第２の格納手段から供給される前記対象データおよび前記指示データに応じて対象画像を生成し、該生成された対象画像を前記生成されたモデル画像と合成する画像合成手段とが前記符号化手段の前段に配設され、
前記モデル画像生成手段は、前記表情特徴データを基に前記モデルデータの特徴点の位置を変化させるデータ生成手段と、
該変化させたモデルデータをモデル画像として可視化させる手段とを含むことを特徴とする画像配信システム。
請求項１ないし１０のいずれか一項に記載のシステムにおいて、該システムは、前記モデルデータに含まれる情報と該情報が供給される情報処理装置に固有な情報とを比較し、該比較結果の一致に応じて前記モデルデータの使用を認証する同定手段を前記送信側情報処理装置および前記受信側情報処理装置のいずれか一方に配設することを特徴とする画像配信システム。
公衆回線網、ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ネットワークおよびローカルネットワークの少なくとも、いずれか一つの通信回線を介して通信相手とのコミュニケーションに有効な画像に関する情報を含むコミュニケーション情報を通信する画像コミュニケーション機能付き情報処理装置において、該装置は、送信の対象を画像として取り込む画像入力手段と、
該取り込んだ画像が含む前記対象である顔の表情を特徴付ける表情特徴データを抽出する特徴抽出手段と、
前記送信の対象に置き換えて通信相手にて表す置換画像のモデルデータを登録して、複数格納する第１の格納手段と、
前記表情特徴データおよび前記モデルデータを前記コミュニケーション情報として供給し、これらを圧縮符号化する符号化手段とを含むことを特徴とする画像コミュニケーション機能付情報処理装置。
請求項１２に記載の装置において、該装置は、前記モデルデータで生成されるモデル画像に重ねる対象画像の基になる対象データおよび該対象データに対する重ね表示の指示データを組にして登録して、複数格納し、選択された組のデータを出力する第２の格納手段を含み、
前記符号化手段には、前記表情特徴データ、前記モデルデータ、前記対象データおよび前記指示データが前記コミュニケーション情報として供給され、これらを圧縮符号化することを特徴とする画像コミュニケーション機能付情報処理装置。
請求項１３に記載の装置において、第１の格納手段は、取り込んだ顔画像を置き換える候補データをモデルデータとして登録して、複数管理する外部の第１の管理手段から選択して前記モデルデータの提供を受け、
第２の格納手段は、前記対象データおよび前記指示データの組を登録して、複数管理する外部の第２の管理手段から選択して組単位でのデータ提供を受けることを特徴とする画像コミュニケーション機能付情報処理装置。
請求項１３に記載の装置において、該装置は、前記対象データを作成する手段を含むことを特徴とする画像コミュニケーション機能付情報処理装置。
請求項１２ないし１５のいずれか一項に記載の装置において、該装置は、供給される情報を基にユーザの感情を認識し、該認識に応じて表される制御情報を第２の格納手段に供給する感情認識手段を含むことを特徴とする画像コミュニケーション機能付情報処理装置。
請求項１６に記載の装置において、前記感情認識手段は、前記供給される情報として画像を用いて、前記ユーザの表情を認識し、該認識に応じて前記制御情報を第２の格納手段に供給する表情認識手段を含むことを特徴とする画像コミュニケーション機能付情報処理装置。
請求項１６に記載の装置において、前記感情認識手段は、前記供給される情報として音声を用いて、前記ユーザの感情を認識し、該認識に応じて表される制御情報を第２の格納手段に供給する音声認識手段を含むことを特徴とする画像コミュニケーション機能付情報処理装置。
請求項１６に記載に装置において、前記感情認識手段は、前記送信側情報処理装置に対する入力操作にともなって出力する値があらかじめ設定されている入力手段を介して出力される値を供給される情報として用いて、該情報の組合せを認識して、前記制御情報を第２の格納手段に供給する情報認識手段を含むことを特徴とする画像コミュニケーション機能付情報処理装置。
請求項１２ないし１９のいずれか一項に記載の装置において、第２の格納手段は、前記対象データの組合せデータ、前記対象データにおける出力順序を示すデータ、前記指示データおよびこれらのデータを出力するタイミングを格納することを特徴とする画像コミュニケーション機能付情報処理装置。
請求項１４ないし２０のいずれか一項に記載の装置において、第２の管理手段は、前記対象データの組合せデータ、前記対象データにおける出力順序を示すデータ、前記指示データおよびこれらのデータを出力するタイミングを一組として複数管理し、管理するこれらのデータを要求に応じて第２の格納手段に提供することを特徴とする画像コミュニケーション付情報処理装置。
請求項２１に記載の装置において、該装置は、通信相手先から供給される圧縮符号化されたデータを復号し、復号したデータのうち、前記表情特徴データおよび前記モデルデータと、前記対象データおよび前記指示データとをそれぞれ分けて出力する復号手段と、
前記表情特徴データおよび前記モデルデータを基にモデル画像を生成する手段と、
該生成されたモデル画像に、前記対象データおよび前記指示データに応じて生成される対象画像データを合成する画像合成手段とを含むことを特徴とする画像コミュニケーション機能付情報処理装置。
請求項２１に記載の装置において、該装置は、前記表情特徴データおよび前記モデルデータを基にモデル画像を生成するモデル画像生成手段と、
生成されたモデル画像に、第２の格納手段から供給される前記対象データおよび前記指示データに応じて生成される対象画像データを合成する画像合成手段とが前記符号化手段の前段に配設され、
前記モデル画像生成手段は、前記表情特徴データを基に前記モデルデータの特徴点の位置を変化させるデータ生成手段と、
該変化させたモデルデータをモデル画像として可視化させる手段とを含むことを特徴とする画像コミュニケーション機能付情報処理装置。
請求項２２または２３に記載の装置において、該装置は、前記モデルデータに含まれる情報と該情報が供給される情報処理装置に固有な情報とを比較し、該比較結果の一致に応じて前記モデルデータの使用を認証する同定手段を前記送信側および前記受信側のいずれか一方に配設することを特徴とする画像コミュニケーション機能付情報処理装置。