JP4448983B2 - 画像合成装置 - Google Patents

Description

この発明は合成画像表示装置に関し、特にたとえば、大画面のタッチスクリーンを用いて画像を表示するとともに合成し、その合成後画像をその大画面タッチスクリーン上に表示する、新規な画像合成装置に関する。

本件出願人が先に特許文献１や特許文献２で提案した画像処理装置では、画像合成（モーフィング：ｍｏｒｐｈｉｎｇ）技術を用いて、オリジナル顔画像から所望の年齢の顔画像を合成することができる。
特開２００３−４４８６６号 ［G06T 11/80 1/00 3/00］ 特開２００４−１０２３５９号［G06T 7/20 3/00 7/00］

特許文献１や特許文献２の画像処理装置で合成した画像は、見る人に驚きや感動を与えることがあるので、それらの合成後画像を大勢の人に見せることによって、アミューズメントへの応用が可能である。

しかしながら、特許文献１および特許文献２は、いずれも、通常のパソコンやワークステーションでの画像処理を想定していて、オリジナル画像や合成後画像はいずれも小さいサイズのモニタに表示するだけで、それらの画像を大勢の鑑賞者に見せるアミューズメント用途を意識したものではない。

それゆえに、この発明の主たる目的は、大画面タッチスクリーンを用いて合成後画像等を表示する、新規な画像合成装置を提供することである。

請求項１の発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、赤外カメラからの映像のピクセルデータを処理して残った黒領域の中心座標を位置データとして検出するタッチ位置データ検出手段を含む表示装置を用いる画像合成装置であって、オリジナル画像、基準画像およびオリジナル画像と基準画像とを用いてモーフィングした合成後画像を予め登録しておくメモリ手段、メモリ手段から読み出したオリジナル画像および基準画像を移動させながらスクリーンに表示する移動表示手段、タッチ位置データ検出手段で検出したタッチ位置データに基づいて、移動表示手段によってそれぞれ移動されながらスクリーン上に表示されたオリジナル画像および基準画像がスクリーン上で同時にタッチされたかどうか判断するタッチ判断手段、タッチ判断手段によってオリジナル画像および基準画像がスクリーン上で同時にタッチされたと判断したとき、タッチ位置データ検出手段で検出したタッチ位置データに基づいて、オリジナル画像および基準画像の少なくとも一方がドラッグされてオリジナル画像および基準画像間の距離が所定値以下になったかどうか判断する接近判断手段、および接近判断手段がオリジナル画像および基準画像間の距離が所定値以下になったと判断したとき、メモリ手段から読み出した合成後画像をスクリーンに表示する合成後画像表示手段を備える、画像合成装置である。

請求項１の発明では、オリジナル画像と基準画像とをランダムな態様で移動するように、スクリーン上に、たとえばプロジェクタで表示する。他方、タッチ位置データ検出手段は、スクリーンにオペレータの手がタッチしたかどうか、さらにはそのタッチした位置がどこか検出する。スクリーン上でオリジナル画像および基準画像が移動表示されているとき、オペレータが、２つの画像（の位置のスクリーン）にタッチし、それをドラッグして互いに接近させると、接近判断手段がオリジナル画像と基準画像との接近を判断する。応じて、合成後画像表示手段が、オリジナル画像が基準画像にモーフィングされている合成後画像を表示する。

この請求項１の発明では、大画面スクリーンを用いてオリジナル画像や基準画像そして合成後画像を大勢の観客に一度に観賞させることができるので、画像合成装置をエンターテインメント用途に展開できる。しかも、大画面スクリーン上で移動表示されているオリジナル画像や基準画像をオペレータがタッチしてドラッグすると合成後画像が表示されるので、そのオリジナル画像や基準画像から合成後画像への変化を観客に見せることができるので、観客に驚きと興奮、感動を与えることができる。

請求項２の発明は、一定時間の経過を検出する時間経過検出手段をさらに備え、合成後画像表示手段は、接近判断手段がオリジナル画像および基準画像間の距離が所定値以下になったと判断した後、時間経過検出手段で一定時間の経過を検出したとき、合成後画像をスクリーンに表示する、請求項１記載の画像合成装置である。

請求項３の発明は、合成後画像表示手段は、メモリ手段から読み出したオリジナル画像とともに合成後画像をスクリーンに表示する、請求項１または２記載の画像合成装置である。

請求項３の発明では、合成後画像とオリジナル画像と同時に表示するので、その変化または落差がより際立って表示できる。

請求項４の発明は、メモリ手段は、複数のオリジナル画像および複数の基準画像、ならびに各オリジナル画像を各基準画像にモーフィングした複数の合成後画像を保存しておき、さらに移動表示手段は、メモリ手段から読み出した複数のオリジナル画像および複数の基準画像を移動させながらスクリーンに表示し、タッチ判断手段によってオリジナル画像と同時にタッチしていると判断された基準画像が、メモリ手段に合成後画像が保存されていない基準画像であったとき、合成後画像を作成する作成手段をさらに備え、合成後画像表示手段は作成手段で作成した合成後画像を表示する、請求項１ないし３のいずれかに記載の画像合成装置である。

請求項４の発明では、各画像を予めメモリ手段に登録しておくので、たくさんの数や種類の画像を表示することができるし、オリジナル画像の特徴抽出などのリアルタイムでの作業が省略できるので、合成後画像をスムーズに表示することができる。また、メモリ手段に合成後画像が保存されていない基準画像を選択したときであっても、作成手段が合成後画像を作成するので、合成後画像表示手段は作成手段で作成した合成後画像を表示することができる。
請求項５の発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラを含む表示装置を用い、オリジナル画像、基準画像およびオリジナル画像と基準画像とを用いてモーフィングした合成後画像を予め登録しておくメモリ手段を備える画像合成装置のコンピュータを、赤外カメラからの映像のピクセルデータを処理して残った黒領域の中心座標を位置データとして検出するタッチ位置データ検出手段、メモリ手段から読み出したオリジナル画像および基準画像を移動させながらスクリーンに表示する移動表示手段、タッチ位置データ検出手段で検出したタッチ位置データに基づいて、移動表示手段によってそれぞれ移動されながらスクリーン上に表示されたオリジナル画像および基準画像がスクリーン上で同時にタッチされたかどうか判断するタッチ判断手段、タッチ判断手段によってオリジナル画像および基準画像がスクリーン上で同時にタッチされたと判断したとき、タッチ位置データ検出手段で検出したタッチ位置データに基づいて、オリジナル画像および基準画像の少なくとも一方がドラッグされてオリジナル画像および基準画像間の距離が所定値以下になったかどうか判断する接近判断手段、および接近判断手段がオリジナル画像および基準画像間の距離が所定値以下になったと判断したとき、メモリ手段から読み出した合成後画像をスクリーンに表示する合成後画像表示手段として機能させる、画像合成プログラムである。
請求項６の発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、赤外カメラからの映像のピクセルデータを処理して残った黒領域の中心座標を位置データとして検出するタッチ位置データ検出手段を含む表示装置を用いる画像合成装置であって、オリジナル画像、基準画像およびオリジナル画像と基準画像とを用いてモーフィングした合成後画像を予め登録しておくメモリ手段、メモリ手段から読み出したオリジナル画像および基準画像を移動させながらスクリーンに表示する移動表示手段、タッチ位置データ検出手段で検出したタッチ位置データに基づいて、移動表示手段によってそれぞれ移動されながらスクリーン上に表示されたオリジナル画像および基準画像がスクリーン上で同時にタッチされたかどうか判断するタッチ判断手段、およびタッチ判断手段によってオリジナル画像および基準画像がスクリーン上で同時にタッチされたと判断したとき、メモリ手段から読み出した合成後画像をスクリーンに表示する合成後画像表示手段を備える、画像合成装置である。

この発明によれば、大画面スクリーンを用いて、オペレータが指示したオリジナル画像や基準画像から変化した合成後画像化を観客に見せることができるので、画像合成装置をエンターテインメント用途に利用することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの発明の実施例の画像合成装置１０は、大画面タッチパネルまたはタッチスクリーンを構成する、たとえば２５０×１８０ｃｍ程度のサイズのプラスチックスクリーン１２を含む。ただし、このサイズは単なる一例であり、用途に応じて任意に変更可能である。プラスチックスクリーン１２は、赤外光透過可能材料、たとえばポリカーボネイトなどのプラスチックからなり、全体としてたとえば乳白色である。ただし、このプラスチックスクリーン１２は完全な透明ではない。なぜなら、このプラスチックスクリーン１２は、後述のプロジェクタ３０から映像を映写するための投影スクリーンとして機能する必要があるからである。また、このプラスチックスクリーン１２は、比較的大きい剛性を有する。なぜなら、この大画面タッチパネルシステム１０では、図１に示すように、プラスチックスクリーン１２の前方のオペレータ１４が、自分の手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の位置（点または領域）を指示するからである。つまり、プラスチックスクリーン１２には人間の手が触っても容易には変形しない程度の剛性が必要である。

ただし、実施例ではプラスチックでスクリーン１２を形成した。しかしながら、ガラスや他の赤外光透過材料が用いられてもよい。

このプラスチックスクリーン１２の前方上方には、スクリーン１２の前面１２ａの全面に赤外光を投射するための赤外光源１８が設けられる。この赤外光源１８としては、ハロゲンランプまたはブラックライトなどが利用可能である。この赤外光源１８を設ける位置は基本的にはプラスチックスクリーン１２のサイズに依存して決定されるが、実施例のプラスチックスクリーン１２が上記サイズであれば、たとえば、赤外光源１８は、プラスチックスクリーン１２の前面１２ａから２００−４００ｃｍ離れた高さ２００−３００ｃｍの位置に配置される。これらの数値は単なる例示である。赤外光源１８から投射された赤外光はプラスチックスクリーン１２の前面１２ａから入射し、このスクリーン１２を透過して背面１２ｂに至る。

プラスチックスクリーン１２の後方には、ミラー２０が設けられる。このミラー２０はプラスチックスクリーン１２の背面１２ｂの全面を映出できる大きさにされかつその位置に配置される。実施例ではプラスチックスクリーン１２がたとえば２５０×１８０ｃｍであれば、ミラー２０はたとえば１５０×１１０ｃｍ程度の大きさにされ、プラスチックスクリーン１２の背面１２ｂからたとえば２００ｃｍ後方に配置される。これらの数値も単なる例示である。

プラスチックスクリーン１２の後方には、このミラー２０の表面に合焦されたモノクロカメラ２２が設けられる。このモノクロカメラ２２には赤外フィルタ２４が装着される。したがって、このカメラ２２は全体としては、赤外カメラとして機能する。そのため、モノクロカメラ２２および赤外フィルタ２４は赤外カメラに代えられてもよい。このカメラ２２はミラー２０を通してプラスチックスクリーン１２の背面全面を撮影する。

カメラ２２からの映像信号は、図２からよくわかるように、Ａ／Ｄ変換器２８によって映像信号データに変換されて、コンピュータ２６に入力される。

この図１に示す実施例では、プラスチックスクリーン１２の後方に、プロジェクタ３０が設けられる。このプロジェクタ３０は、前述のようにプラスチックスクリーン１２の背面１２ｂの全面に映像を投射するためのものである。実施例では、プロジェクタ３０は、ミラー２０を通して、背面１２ｂの全面に投影できるようにされる。プロジェクタ３０から投射された映像（光学像）は、ミラー２０で反射されて、プラスチックスクリーン１２の背面１２ｂに投影される。したがって、このプラスチックスクリーン１２の前面１２ａから、その投影された映像を見ることができる。

なお、ミラー２０を用いる理由は、プラスチックスクリーン１２の後方のスペースを可及的小さくするためである。したがって、当然のことではあるが、ミラー２０を省略することができる。この場合には、上述のカメラ２２がプラスチックスクリーン１２の背面１２ｂの全域を直接撮影し、プロジェクタ３０からプロジェクタスクリーン１２の背面１２ｂに映像が直接投射される。

図２に示すように、コンピュータ２６にはたとえば半導体メモリやハードディスクなどの内部メモリ３２が内蔵されるとともに、必要に応じて、メモリインタフェース３４を介して、半導体メモリやその他の記憶媒体からなる外部メモリ３６が接続される。内部メモリ３２は、後述のフロー図に示すようなプログラムを予め記憶するプログラムメモリとして、さらには画像処理のためのワーキングメモリやレジスタなどとして利用される。プロジェクタ３０を用いる場合には、内部メモリ３２はさらに、プロジェクタ３０のためのビデオメモリ（ＶＲＡＭ）としても用いられる。

なお、外部メモリ３６としては、半導体メモリ以外に、磁気記録媒体、光学式記録媒体、光磁気記録媒体などが用いられ得るが、ここでは便宜上すべて「メモリ」の用語を使用する。したがって、「メモリ」というときは、あらゆる形式の記憶媒体または記録媒体を指すものと理解されたい。

なお、コンピュータ２６は、さらに、ランプドライバ３８を制御し、赤外光源１８のオン／オフを制御するとともに、必要な場合には、その赤外光源１８の輝度を調節する。

なお、図２に示すように、この実施例の画像合成装置１０では、後に説明するオリジナル画像（人間の顔画像）を入力するために、一例として、ディジタルカメラ４０が用いられる。このディジタルカメラ４０によって取得したオリジナル画像は、内部メモリ３２の画像記憶領域４２に格納される。

詳しく説明すると、画像記憶領域４２には、図３に示すように、オリジナルが記憶領域４４、基準画像記憶領域４６、および合成後画像記憶領域４８が設定される。ディジタルカメラ４０によって撮影したオリジナル画像は、オリジナル画像記憶領域４４に記憶される。ただし、オリジナル画像は、その都度カメラ４０で撮影して入力するのではなく、後述の基準画像と同様に、予め入力され登録されていてもよい。オリジナル画像記憶領域４４には、１−Ｎ個のオリジナル画像が登録できる。

なお、このオリジナル画像記憶領域４４には、そのオリジナル画像から抽出した特徴部分を示すデータ（後述）が一緒に登録されることに留意されたい。

基準画像記憶領域４６に記憶される「基準画像」とは、オリジナル画像の特徴を基準画像中へモーフングすることによって合成後画像を作成する、そのときの「基準画像」を意味する。この実施例では、人間の顔画像をオリジナル画像とし、基準画像として動物の顔画像を用い、人間の顔の特徴を動物の顔画像（基準画像）中へモーフングする。実施例の基準画像として用いられる動物の顔画像は、コンピュータ２６に入力され、基準画像記憶領域４６に予め登録される。ただし、基準画像はその都度ディジタルカメラ４０によって撮影して登録するようにしてもよい。基準画像記憶領域４６には、１−Ｍ個の基準画像を登録することができる。

後述のモーフィング動作によって合成した画像（合成後画像）は、合成後画像記憶領域４８に記憶される。オリジナル画像がＮ個で、基準画像がＭ個のとき、ＮＭ個の合成後画像を作成できる。

コンピュータ２６の内部メモリ３２には、上述の画像記憶領域４２が形成される他に、モーフィングプログラム５０が予め設定される。したがって、コンピュータ２６は、このモーフィングプログラム５０に従って後述の画像合成（モーフィング）動作を実行する。

図１実施例の大画面タッチパネルシステム１０では、先に概説したように、プラスチックスクリーン１２の前方のオペレータ１４が、手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の座標位置を指示する。そのタッチ位置の検出方法は、具体的には、同時係属中の特願２００３−１１６１２２号に詳細に説明されるので、引用によってその説明を取り入れるが、ここでは簡単にその原理を説明する。

プラスチックスクリーン１２の前にオペレータが立って、その手１６で、図１に示すようにプラスチックスクリーン１２の前面１２ａの任意の場所を押さえ（タッチし）、その状態で、コンピュータ２６は、赤外線カメラ２２からの図４に示すような映像のピクセルデータを取り込む。そして、コンピュータ２６は、このピクセルデータを処理することによって、たとえば図５に示す適正サイズの黒領域のデータのみを残し、残った適正黒領域の中心座標をタッチ点（または領域）のデータとして、検出する。

ただし、スクリーン１２を同時にタッチする手が２つ以上であっても、コンピュータ２６はそれぞれの手のタッチ位置を個別に同定することができる。

この実施例の画像合成装置１０では、大きく分けて、「エントリプロセス」と「表示プロセス」とが実行される。エントリプロセスとは、オリジナル画像である人間の顔画像を入力し、そのオリジナル画像と、予め登録しておいた基準画像である動物の顔画像とを合成し、その合成後画像を合成後画像記憶領域４８（図３）へ登録しておく動作であり、具体的には、図６のフローチャートに従って、実行される。

図６の最初のステップＳ1では、たとえばディジタルカメラ４０（図２）を用いて、人間の顔を撮影し、その顔画像をオリジナル画像としてコンピュータ２６に入力し、内部メモリ３２の画像記憶領域４２のオリジナル画像記憶領域４４中に保存する。

なお、このステップＳ１で、カメラ４０を使わず、予め登録してあるオリジナル画像を入力する場合には、オリジナル画像記憶領域４４に登録してあるオリジナル画像のサムネイルのような縮小画像を一覧表示し、その一覧画像にタッチすることによって選択するようにしてもよい。

ついで、ステップＳ３において、入力したオリジナル画像をスクリーン１２上に表示する。具体的には、コンピュータ２６（またはコンピュータ２６の指示に従って動作する変換回路（図示せず））は、そのオリジナル画像の画像データに基づいて表示データ（たとえばビデオデータ）を作成し、その表示データをＶＲＡＭ（内部メモリ３２）を通してプロジェクタ３０に入力する。したがって、このステップＳ３で、図７に示すようなオリジナル画像がスクリーン１２に表示される。

続くステップＳ５では、コンピュータ２６は、オリジナル画像（人間の顔画像）における特徴を入力する。実施例では、５つの特徴部分が想定されていて、それは、輪郭、眉、目、鼻、および口である。このステップＳ５は、図１に示すようにスクリーン１２の前のオペレータ１４が特徴部分を指定する。

図７のようにオリジナル画像を表示した状態で、オペレータ１４は、その手１６でオリジナル画像の顔の輪郭をなぞる。オペレータ１４の手１６がスクリーン１２にタッチすると、その点の位置情報が上述のようにしてコンピュータ２６に取り込まれるので、その手１６を順次ずらせて顔の輪郭をなぞることによって、特徴の１つである、図７に示す輪郭Ｃが入力できる。この輪郭Ｃの特徴データは、図３に示すオリジナル画像記憶領域４４に、対応するオリジナル画像とともに、格納される。他の特徴データも同様である。

なお、輪郭Ｃの特徴データは、連続する点位置で表す線データとして登録されてもよいが、処理を簡単にするためには、輪郭Ｃを形成する主要な点、たとえば頭頂点、顎の先の点、左右の頬または耳の位置などの不連続な点の点データとして登録されてもよい。

次に、オペレータ１４は、同じくスクリーン１２上をなぞって、左右の眉を示す線ＢＬおよびＢＲを入力する。その方法は、オペレータ１４がスクリーン１２に表示された図７のオリジナル画像の眉の部分をタッチしてなぞる。オペレータ１４の手１６がスクリーン１２にタッチするとその点の位置情報が上述のようにしてコンピュータ２６に取り込まれるので、その手１６を順次ずらせて眉の上をなぞることによって、特徴の１つである、図７に示す眉ＭＲ，ＭＬが入力できる。この特徴データＭＲ，ＭＬもオリジナル画像記憶領域４４に登録される。

この眉データも、連続する点位置で表す線データとして登録されてもよいが、処理を簡単にするためには、たとえば目頭側始点、目尻側終点、およびその中間位置のような不連続な点の点データとして登録されてもよい。

続いて、オペレータ１４は、図７のようにスクリーン上に表示されたオリジナル画像の左右の目の特徴点に手でタッチすることによって、図７に示す特徴点ＥＬ１−ＥＬ５およびＥＲ１−ＥＲ５を設定する。オペレータ１４の手１６がスクリーン１２にタッチするとその点の位置情報が上述のようにしてコンピュータ２６に取り込まれるので、その手１６を順次置き換えて各特徴点の位置データを得る。この特徴データＥＬ１−ＥＬ５およびＥＲ１−ＥＲ５もオリジナル画像記憶領域４４に登録される。

オペレータ１４は、さらに図７のオリジナル画像の鼻の先端の位置でスクリーン１２に手でタッチすることによって、図７に示す鼻の特徴点Ｎを設定する。この鼻の特徴データＮもオリジナル画像記憶領域４４に登録される。

さらに、オペレータ１４は、図７のようにスクリーン上に表示されたオリジナル画像の口の特徴点に手でタッチすることによって、図７に示す特徴点Ｍ１−Ｍ５を設定する。オペレータ１４の手１６を、スクリーン１２上のオリジナル画像の口の所定点位置にタッチするとその点の位置情報が口の特徴点データとして入力される。この特徴データＭ１−Ｍ５もオリジナル画像記憶領域４４に登録される。

このようにして、図６のステップＳ５での「特徴入力」が行なわれる。

続くステップＳ７において、コンピュータ２６は、基準画像を入力し、保存する。この実施例の場合、基準画像は予め登録しているので、このステップＳ７では、具体的には、その中から１つ以上の基準画像を選択することになる。つまり、基準画像記憶領域４６に予め登録してある多数の基準画像のサムネイルのような縮小画像をスクリーン１２上に一覧表示し、その一覧画像（の位置のスクリーン１２）にタッチまたは指定することによって、必要な１つまたは２以上の基準画像を選択する。

続いて、ステップＳ９で、コンピュータ２６は、選択した基準画像の表示データをプロジェクタ３０に与えて、基準画像をスクリーン１２上に表示する。

図８に、スクリーン１２上に１つのオリジナル画像Ｏ１と複数（実施例では３つ）の基準画像Ｒ１、Ｒ２、Ｒ３とを並べて表示した表示例が図解される。この表示例では、オリジナル画像Ｏ１は大人の男性の顔画像で、３つの基準画像Ｒ１、Ｒ２、Ｒ３は、それぞれ、ゴリラ、ハムスター、ライオンの顔画像である。この基準画像の動物の種類は任意に変更できる。

続いて、ステップＳ１１で、合成操作を行なう。オペレータ１４が図８のようにスクリーン１２上に表示されているオリジナル画像Ｏ１とどれか１つの基準画像とに両手で同時にタッチすることによって、すなわち１つのオリジナル画像と１つの基準画像とを同時に指定することによって、このステップＳ１１が開始される。つまり、オリジナル画像の表示位置や基準画像の表示位置は予めコンピュータ２６には判明しているので、両手でオリジナル画像と基準画像に同時にタッチしてそれらを指定したことを検出できる。

画像合成の具体的な動作は、すでによく知られたところであり、ここでは、詳細な説明は省略する。モーフィング方式にはいくつか方式があり、たとえば「クロスディゾルブ方式」と「ワーピング方式」とがある。クロスディゾルブ方式は、オリジナル画像をフェードアウトさせていき、基準画像をフェードインさせていくもので、ワーピング方式はそれぞれの画像のポイントを対応させることで、形全体が対応させた場所へ移っていくようにするものである。実施例のモーフィング方式は、どちらかといえばワーピング方式に近く、先にステップＳ５で抽出したオリジナル画像の特徴部分で基準画像の特徴部分を置き換える方式である。このとき、オリジナル画像と基準画像との混合比を変更することで、オリジナル画像のイメージメを多く残すのか、基準画像のイメージを大きくするかを設定できる。ただし、実施例のデフォルトでは、オリジナル画像を０．８、基準画像を０．２として混合し、特徴部分以外では、基準画像を１００％としている。したがって、特徴部分以外では、全てその基準画像（動物の画像）が表示される。

なお、モーフィングの方法としては、先に引用した、本件出願人の出願に係る、特開２００３−４４８６６号や、特開２００４−１０２３５９号に開示されている技術を利用することも利用できる。これらの技術は「ＦＵＴＯＮ」と呼ばれてよく知られたところである。

ステップＳ１１で画像合成（モーフィング）が終了すると、次のステップＳ１３で、その合成後画像を図３の合成後画像記憶領域４８に保存する。オリジナル画像がオリジナル画像１で基準画像が基準画像１の場合、そのときの合成後画像は、合成後画像１１として保存される。

その後、ステップＳ１５で、コンピュータ２６は、オリジナル画像Ｏ１と合成すべき基準画像がまだ残っているかどうか判断する。図８の例では２つの基準画像が未処理なので、このステップＳ１５で“ＹＥＳ”となり、先のステップＳ７に戻り、基準画像Ｒ２（ハムスター）について、それ以後のステップＳ７−Ｓ１５が繰り返し実行される。

この繰り返しが、基準画像Ｒ３（ライオン）についても実行される。

未処理基準画像がなくなればステップＳ１５で“ＮＯ”が判断されるので、コンピュータ２６は次のステップＳ１７で、未処理オリジナル画像が残っているかどうか判断する。そして、未処理オリジナル画像があれば、先のステップＳ１へ戻って、上述の処理を繰り返し実行する。ステップＳ１７で“ＮＯ”が判断されると、コンピュータ２６は、次のステップＳ１９で、合成後画像を表示する。

図９がその合成後画像の一例を示す。この表示例では、スクリーン１２上に、オリジナル画像Ｏ１と、その下方に、図８の３つの基準画像のそれぞれとオリジナル画像とを合成（モーフィング）した後の合成後画像ＭＤ(MorpheD)１，ＭＤ２，ＭＤ３が表示される。この合成後画像では、いずれも、オリジナル画像の目や鼻、口などの特徴が、動物の顔画像中にモーフィングされている。

なお、ここで説明した実施例では、ステップＳ３およびＳ９で図８に示すように、オリジナル画像と基準画像とを並置して表示させ、その後、ステップＳ１９で、図９に示すように、オリジナル画像と合成後画像とを並置して表示するようにした。この図８の表示と図９の表示との間に一定時間を置くことが、観客の興味を引くという点では、望ましい。

最近のコンピュータのハードウェアの進化とそれに伴う処理の高速化を考えれば、図８から図９へモーフィングするには、実際にはごく僅かな時間で済む。したがって、モーフング後の画像をモーフィングが終了すると同時に表示するとすれば、図８の状態から図９の状態へは瞬時にして転換されてしまう。そうすると、その表示を見ている観客が合成前から合成後への切り替わりを見過ごしてしまうことが考えられる。それでは、観客の驚きは小さく、感動の少ないものとなってしまう。

そこで、ステップＳ１１がごく短時間で終了しても、図８の表示状態を一定時間たとえば５秒継続し、その後、図９の表示状態に切り替えるとすれば、観客が注視しているときに「前」から「後」に変化するので、観客には、一層大きな感動を与えることができる。そのために、一実施例では、図６のステップＳ１７とステップＳ１９との間に、「一定時間経過したか？」という判断をするステップを追加し、その判断ステップで“ＹＥＳ”となったときにステップＳ１９を実行するようにしている。

ここまでで、図６のエントリプロセスが終了する。つづいて、表示プロセスについて、図１０のフローチャートを参照して説明する。

実施例の表示プロセスでは、大画面スクリーン１２上に、１つの以上のオリジナル画像と１つ以上の基準画像とを流れるようにまたは飛翔するように、ランダムな態様で、移動表示させ、オペレータまたはユーザがオリジナル画像と基準画像とに同時にタッチしてそれらをドラッグして一定距離まで近づけたとき、オリジナル画像と合成後画像とを同時に表示させることによって、観客に衝撃や感動を与えるものである。

図１０の最初のステップＳ２１および次のステップＳ２３で、コンピュータ２６は、オリジナル画像および基準画像をたとえば図１１において矢印で示すように移動表示する。ただし、このとき表示するオリジナル画像の数や基準画像の数あるいは種類は適宜設定できるが、オリジナル画像は、少なくとも先にエントリプロセスでオリジナル画像を登録した人間のオリジナル画像を含むこととする。また、基準画像も、たくさんの基準画像のなかで、エントリプロセスで合成に利用した基準画像は少なくとも含ませるようにする。

ついで、ステップＳ２５およびＳ２７で、コンピュータ２６は、タッチスクリーン１２にオペレータが両手で同時にタッチしたかどうか判断する。ステップＳ２５またはＳ２７で“ＮＯ”なら先のステップＳ２１に戻るが、ともに“ＹＥＳ”のとき、次のステップＳ２９で、コンピュータ２６は、同時にタッチした両手が、一方はオリジナル画像にタッチしていて、他方は基準画像にタッチしているかどうか判断する。“ＮＯ”なら、先のステップＳ２１に戻る。ただし、ここで「両手」とは２つの手という意味で、１人の人間の両手である必要はなく、別々の人間の１つずつの手でも「両手」と考える。

ステップＳ２９で、オリジナル画像と基準画像とに同時にタッチされたことを検出すると、コンピュータ２６は、次のステップＳ３１で、２つの画像がドラッグされて接近させられたかどうか判断する。もし、図１２に示すように、２つの画像をドラッグして両者を接近させたとすると、２つの画像間の距離Ｄが所定値以下になったとき、このステップＳ３１で“ＹＥＳ”が判断できる。ただし、２つの画像互いに接近させるためには、図１２のように両方の画像をともにドラッグで移動させる方法だけでなく、一方の画像にはタッチしているだけで移動させず、他方の画像だけをドラッグして一方の画像に接近させる方法がある。いずれにしても、接近判断手段を構成するステップＳ３１で“ＹＥＳ”が判断されたときには、コンピュータ２６は、次のステップＳ３３において、一定時間の経過を待つ。

一定時間が経過すると、次のステップＳ３５において、図１３に示すように、スクリーン１２上の適宜の位置に、オリジナル画像Ｏ１と、合成後画像ＭＤ１とを同時に表示する。したがって、このような表示プロセスによれば、図１１のように移動表示されるオリジナル画像と基準画像とをタッチしてドラッグすると、２つの画像をモーフィングした画像が図１３のように表示されるので、スクリーン１２を見ている観客に驚きと喜びを与えることができる。

なお、ここで、正しい合成後画像ＭＤ１がメモリから読み出されて表示されるのは、オリジナル画像と基準画像とが同時に指定されたとき、そのオリジナル画像のアドレスや識別子および基準画像のアドレスや識別子に基づいて、それらをモーフィングした合成後画像のアドレスや識別子が指定され得るからである。

ただし、合成後画像を表示するためには、実施例では、先のエントリプロセスで予め作成しておいて合成後画像を合成後画像記憶領域４８（図３）から読み出して表示するようにしている。したがって、仮に、この合成後画像記憶領域４８合成後画像を登録していない基準画像をステップＳ２９で選択したときには、コンピュータ２６は、その時点で図６のステップＳ１１を実行してリアルタイムで合成後画像を作成するようにすればよい。

これに対して、エントリプロセスで合成後画像を登録していない基準画像が選択されたときには、たとえドラッグして２つの画像を接近したとしても、合成後画像を表示せいず、選択したオリジナル画像および基準画像を再び移動表示させるように処理することも考えられる。

また、上述の実施例では、エントリプロセスで合成後画像を予め準備したが、このエントリプロセスを省略して、全てリアルタイムで処理することも考えられる。しかしながら、この場合には特徴抽出（ステップＳ５：図６）などに手間がかかると、観客の興味が薄れてしまうことが考えられるので、少なくとも特徴入力まではエントリプロセスで前もって処理しておくことが望ましい。

なお、上述の実施例では、スクリーン１２の位置を指示するためにオペレータの手でスクリーンをタッチするようにした。しかしながら、たとえばスクリーンが高いところに設置されている場合など、手が届きにくい。その場合には、手に代えて、何か別の赤外光を遮ることができる部材（指示棒）を用いることが考えられる。要は、赤外光を遮蔽すればスクリーン１２上の位置が指定できる。

さらに、上述の実施例ではプラスチックスクリーン１２の前方から赤外光源１８によって赤外光をスクリーン上に照射し、他方コンピュータ２６はカメラ２２の映像信号スクリーン１２の後方で赤外光が遮光される領域を検出した。しかしながら、人間の手はそれ自体が赤外光を発するものであるから、スクリーン１２を透過した赤外光を検出するようにしてもよい。この場合には、コンピュータ２６はカメラ２２からの映像信号を分析して赤外光が存在する領域（赤外光領域）を検出するようにすればよい。

さらに、上述の実施例の表示プロセスにおいては、スクリーン１２上で移動表示されているオリジナル画像と基準画像とを同時に指定し、その少なくとも一方をドラッグして両者を接近されたとき、合成後画像を表示するようにした。しかしながら、ここでのドラッグを省略することも可能である。つまり、ステップＳ２９（図１０）で“ＹＥＳ”が判断されるとそのままステップＳ３３に進むことも考えられる。この場合には、オリジナル画像と基準画像とを同時に指定しただけで、合成後画像が表示されることになる。

さらに、上述の実施例では、エントリプロセスと表示プロセスの両方とも大画面スクリーン１２を用いて実行または進行させるようにした。しかしながら、表示プロセスは観客への同時提示の必要からスクリーン１２を用いるが、エントリプロセスは別のパソコンやワークステーションを利用して実行するようにしてもよい。

たとえば会場へ入場の受付の場所にエントリ用のパソコンを設置しておき、希望者の顔写真をディジタルカメラで撮影し、そのエントリ用パソコンを利用してエントリプロセスを進め、オリジナル画像や合成後画像をサーバ（図示せず）に登録し、そのサーバを用いて表示プロセスを行なうことが考えられる。

この場合、エントリ用パソコンの数を増やせば、たくさんの入場者が集中してエントリする場合にも対応可能である。

図１はこの発明の一実施例の画像処理装置を示す図解図である。 図２は図１の実施例のブロック図である。 図３は図１の実施例における画像記憶領域を詳細に示す図解図である。 図４は図１の実施例においてプラスチックスクリーンの前方の人間が手でスクリーンにタッチしたときの実際の映像を示す。 図５はスクリーンにタッチした手によって作られた黒領域の一例を示す図解図である。 図６は図１の実施例におけるエントリプロセスの動作を示すフロー図である。 図７はスクリーンに表示されたオリジナル画像とその特徴部分を示す図解図である。 図８は図１の実施例においてオリジナル画像と基準画像とを並置して表示した表示例を示す図解図である。 図９は図１の実施例においてオリジナル画像と合成後画像とを並置して表示した表示例を示す図解図である。 図１０は図１の実施例における表示プロセスの動作を示すフロー図である。 図１１はその表示プロセスにおいてオリジナル画像と基準画像とをスクリーン上で移動表示している状態を示す図解図である。 図１２は２つの画像を接近させた状態を例示する図解図である。 図１３は表示プロセスにおいてオリジナル画像と合成後画像とを表示した状態を示す図解図である。

符号の説明

１０ …画像処理装置
１２ …クスクリーン
１６ …手
２６ …コンピュータ
３０ …プロジェクタ
３２ …内部メモリ
４０ …ディジタルカメラ
４２ …画像記憶領域
４４ …オリジナル画像記憶領域
４６ …基準画像記憶領域
４８ …合成後画像記憶領域

Claims (6)

1. 赤外光を透過できる材料からなるスクリーン、前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、前記赤外カメラからの映像のピクセルデータを処理して残った黒領域の中心座標を位置データとして検出するタッチ位置データ検出手段を含む表示装置を用いる画像合成装置であって、
   オリジナル画像、基準画像および前記オリジナル画像と前記基準画像とを用いてモーフィングした合成後画像を予め登録しておくメモリ手段、
   前記メモリ手段から読み出したオリジナル画像および基準画像を移動させながら前記スクリーンに表示する移動表示手段、
   前記タッチ位置データ検出手段で検出したタッチ位置データに基づいて、前記移動表示手段によってそれぞれ移動されながら前記スクリーン上に表示されたオリジナル画像および基準画像が前記スクリーン上で同時にタッチされたかどうか判断するタッチ判断手段、
   前記タッチ判断手段によって前記オリジナル画像および前記基準画像が前記スクリーン上で同時にタッチされたと判断したとき、前記タッチ位置データ検出手段で検出したタッチ位置データに基づいて、前記オリジナル画像および前記基準画像の少なくとも一方がドラッグされて前記オリジナル画像および前記基準画像間の距離が所定値以下になったかどうか判断する接近判断手段、および
   前記接近判断手段が前記オリジナル画像および前記基準画像間の距離が所定値以下になったと判断したとき、前記メモリ手段から読み出した前記合成後画像を前記スクリーンに表示する合成後画像表示手段を備える、画像合成装置。
2. 一定時間の経過を検出する時間経過検出手段をさらに備え、
   前記合成後画像表示手段は、前記接近判断手段が前記オリジナル画像および前記基準画像間の距離が所定値以下になったと判断した後、前記時間経過検出手段で一定時間の経過を検出したとき、前記合成後画像を前記スクリーンに表示する、請求項１記載の画像合成装置。
3. 前記合成後画像表示手段は、前記メモリ手段から読み出した前記オリジナル画像とともに前記合成後画像を前記スクリーンに表示する、請求項１または２記載の画像合成装置。
4. 前記メモリ手段は、複数のオリジナル画像および複数の基準画像、ならびに各オリジナル画像を各基準画像にモーフィングした複数の合成後画像を保存しておき、さらに
   前記移動表示手段は、前記メモリ手段から読み出した複数のオリジナル画像および複数の基準画像を移動させながら前記スクリーンに表示し、
   前記タッチ判断手段によってオリジナル画像と同時にタッチしていると判断された基準画像が、前記メモリ手段に合成後画像が保存されていない基準画像であったとき、合成後画像を作成する作成手段をさらに備え、
   前記合成後画像表示手段は前記作成手段で作成した合成後画像を表示する、請求項１ないし３のいずれかに記載の画像合成装置。
5. 赤外光を透過できる材料からなるスクリーン、前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラを含む表示装置を用い、オリジナル画像、基準画像および前記オリジナル画像と前記基準画像とを用いてモーフィングした合成後画像を予め登録しておくメモリ手段を備える画像合成装置のコンピュータを、
   前記赤外カメラからの映像のピクセルデータを処理して残った黒領域の中心座標を位置データとして検出するタッチ位置データ検出手段、
   前記メモリ手段から読み出したオリジナル画像および基準画像を移動させながら前記スクリーンに表示する移動表示手段、
   前記タッチ位置データ検出手段で検出したタッチ位置データに基づいて、前記移動表示手段によってそれぞれ移動されながら前記スクリーン上に表示されたオリジナル画像および基準画像が前記スクリーン上で同時にタッチされたかどうか判断するタッチ判断手段、
   前記タッチ判断手段によって前記オリジナル画像および前記基準画像が前記スクリーン上で同時にタッチされたと判断したとき、前記タッチ位置データ検出手段で検出したタッチ位置データに基づいて、前記オリジナル画像および前記基準画像の少なくとも一方がドラッグされて前記オリジナル画像および前記基準画像間の距離が所定値以下になったかどうか判断する接近判断手段、および
   前記接近判断手段が前記オリジナル画像および前記基準画像間の距離が所定値以下になったと判断したとき、前記メモリ手段から読み出した前記合成後画像を前記スクリーンに表示する合成後画像表示手段
   として機能させる、画像合成プログラム。
6. 赤外光を透過できる材料からなるスクリーン、前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、前記赤外カメラからの映像のピクセルデータを処理して残った黒領域の中心座標を位置データとして検出するタッチ位置データ検出手段を含む表示装置を用いる画像合成装置であって、
   オリジナル画像、基準画像および前記オリジナル画像と前記基準画像とを用いてモーフィングした合成後画像を予め登録しておくメモリ手段、
   前記メモリ手段から読み出したオリジナル画像および基準画像を移動させながら前記スクリーンに表示する移動表示手段、
   前記タッチ位置データ検出手段で検出したタッチ位置データに基づいて、前記移動表示手段によってそれぞれ移動されながら前記スクリーン上に表示されたオリジナル画像および基準画像が前記スクリーン上で同時にタッチされたかどうか判断するタッチ判断手段、および
   前記タッチ判断手段によって前記オリジナル画像および前記基準画像が前記スクリーン上で同時にタッチされたと判断したとき、前記メモリ手段から読み出した前記合成後画像を前記スクリーンに表示する合成後画像表示手段を備える、画像合成装置。