JP4175232B2 - テレビ電話システム及びテレビ電話装置 - Google Patents

Description

本発明はテレビ電話システム及びテレビ電話装置に係り、特に通話相手画像と広告画像とを合成させて同一画面上に表示させることにより、テレビ電話利用の広告配信サービスを可能にするテレビ電話システム及びテレビ電話装置に関する。

従来、通話者画像と共に広告情報を提供するテレビ電話装置は、特許文献１（特許第３０５６１４０号）に記載された電話システムが知られている。これによれば、相手先と接続される通話路の間に、静止画情報若しくは動画情報、又は音声情報等の広告情報を介入させることにより、利用者は通話中に広告情報の提供を受けることができるというものである。また、この手段によれば、利用者の通話に伴う課金費用を広告情報の発信者が負担するような電話システムを提供することが可能である。
特許第３０５６１４０号

しかしながら、特許文献１記載の発明に係る電話システムでは、通話状態と広告提供の状態を所定の時間で切り換える必要があるため、通話者は広告情報の提供を受けている間は通話を待たされて要件を済ませるまでの時間がかかり、又これを改善しようと広告情報の介入時間を短くすると、広告情報の露出時間が少なくなるために広告効果が低下するという問題があった。

これに対し、本発明は係る問題を解決するためになされたものであり、テレビ電話装置の画面表示について、予めテレビ電話装置に記録させた広告画像を背景画像とし、これと通話相手画像とを合成して画面に表示させることにより、通話状態と広告提供の状態の切り換え制御を無くし、それにより通話者を定期的に待たせる問題を解決し、又広告画像を常時提供することで広告効果を飛躍的に向上させるテレビ電話システム及びテレビ電話装置を提供することを目的とする。

また、相手画像と広告画像との合成に関し、広告画像ごとに相手画像の大きさや配置を指定して広告画像が相手画像に常時隠れてしまうことを防ぎ、又相手画像の表示に動きを付けることで広告効果を向上させることが可能なテレビ電話システム及びテレビ電話装置を提供することを目的とする。

本発明は、前記課題を解決するために以下の（１）及び（２）の手段より構成したものである。
（１）複数のテレビ電話装置と広告管理サーバとがネットワークを介してそれぞれ接続されたテレビ電話システムにおいて、
前記広告管理サーバは、
前記複数のテレビ電話装置それぞれが備えるモニタに表示するための複数の広告画像、広告画像ごとに関係づけられた、通話相手の画像である相手画像の配置データ、前記相手画像のスケーリング値、及び前記相手画像の表示を変化させるための動きデータが含まれた広告データを格納した広告データベースを有し、
前記複数のテレビ電話装置のそれぞれは、
前記広告管理サーバの広告データベースからダウンロードした広告データを記憶する記憶手段と、
カメラによる撮像画像から、通話者の本人画像と背景画像とを分離して前記本人画像を抽出する画像抽出手段と、
マイクロフォンから前記通話者の本人音声を入力してその本人音声のレベル値及び周波数値を音声変数として検出する音声処理手段と、
前記画像抽出手段により抽出された本人画像と、前記マイクロフォンから入力された本人音声とをそれぞれ符号化する符号化手段と、
前記符号化手段によりそれぞれ符号化された符号化データを多重化して前記通話相手のテレビ電話装置に送信すると共に、前記通話相手のテレビ電話装置から送信された多重化された符号化データを受信して逆多重化するデータ送受信手段と、
前記データ送受信手段により逆多重化された符号化データを復号する復号手段と、
前記復号手段により復号されて得られた相手画像と、前記記憶手段に記憶された広告データに含まれた広告画像とを、前記音声処理手段で検出された音声変数に対応させて、前記広告データに含まれた配置データ、スケーリング値、及び動きデータに基づき、前記相手画像の配置位置、大きさ、及び角度のうち少なくとも一つを変化させて同一画面上に合成して前記モニタに表示させる画像合成手段とを、
備えたことを特徴とするテレビ電話システム。
（２）複数の広告画像、広告画像ごとに関係づけられた、通話相手の画像である相手画像の配置データ、前記相手画像のスケーリング値、及び前記相手画像の表示を変化させるための動きデータが含まれた広告データが格納された広告管理サーバからネットワークを介してダウンロードした広告データを記憶する記憶手段と、
カメラによる撮像画像から、通話者の本人画像と背景画像とを分離して前記本人画像を抽出する画像抽出手段と、
マイクロフォンから前記通話者の本人音声を入力してその本人音声のレベル値及び周波数値を音声変数として検出する音声処理手段と、
前記画像抽出手段により抽出された本人画像と、前記マイクロフォンから入力された本人音声とをそれぞれ符号化する符号化手段と、
前記符号化手段によりそれぞれ符号化された符号化データを多重化して前記通話相手のテレビ電話装置に送信すると共に、前記通話相手のテレビ電話装置から送信された多重化された符号化データを受信して逆多重化するデータ送受信手段と、
前記データ送受信手段により逆多重化された符号化データを復号する復号手段と、
前記復号手段により復号されて得られた相手画像と、前記記憶手段に記憶された広告データに含まれた広告画像とを、前記音声処理手段で検出された音声変数に対応させて、前記広告データに含まれた配置データ、スケーリング値、及び動きデータに基づき、前記相手画像の配置位置、大きさ、及び角度のうち少なくとも一つを変化させて同一画面上に合成して前記モニタに表示させる画像合成手段とを、
備えたことを特徴とするテレビ電話装置。

以上説明したように、本発明によれば、テレビ電話装置の画面上に相手画像と広告画像とを合成して表示することにより、通常のテレビ電話としての通話を中断することなく広告画像を常時表示することができ、これにより、電話利用者には長い待ち時間を与えることが無く、又広告提供者には広告画像の常時提供を可能とするテレビ電話サービスができるという効果がある。また、相手画像を広告画像に合成する際に、広告画像ごとに予め決められた相手画像の配置位置、又は大きさの情報に基づいて画像合成されるため、広告画像が相手画像によって見にくくなるといった不具合を防止する効果がある。

さらに、本発明によれば、相手画像の配置位置、若しくは大きさ、又は傾きを、本人音声の声のレベル値又は周波数値に応じて変化させることができるため、広告画像が相手画像に隠れてしまうことを防ぐ効果があると共に、利用者の注目を広告画像に引き付けて広告効果を向上することができるという効果がある。

以下、本発明を実施するための最良の形態につき、実施例について図面を参照して説明する。

図１は、本発明の実施例１に係るテレビ電話システム全体の構成を示したブロック図である。これにおいて、１は発信側テレビ電話装置、２は着信側テレビ電話装置であり、１及び２は同一の構成をなすテレビ電話装置である。３は広告情報が管理される広告管理サーバ、３ａは広告管理サーバ３に格納される広告データベース、４は前記テレビ電話装置利用者の広告視聴により発生する費用を管理する課金管理サーバ、５はＰＳＴＮ網（公衆電話交換回線網）、ＩＳＤＮ網、インターネット・プロトコルによって制御されるインターネット網等の通信網により構築されたネットワークである。前記各装置１〜４はネットワーク５に接続され、各装置間でデータの送受信を行うことができる。以上のように、本実施例に係るテレビ電話システム全体は構成されている。なお、上記構成において、テレビ電話装置はもちろんのこと、広告管理サーバ３又は課金管理サーバ４は複数存在してもよいものである。

次に、図１の構成に基づいて各部を詳細に説明する。まず、図２は前記テレビ電話装置の構成を示すブロック図である。図２において、１１は画像抽出手段、１２は画像コーデック手段、１３はデータ送受信手段、１４は画像合成手段、１５は記憶手段、１５ａは記憶手段１５に所定時間格納される広告データ、１６は音声処理手段、１７は音声コーデック手段、１８は広告制御手段であり、前記テレビ電話装置は以上のように構成される。

続いて、前記テレビ電話装置の各部の動作について説明する。まず、画像抽出手段１１は、カメラから入力された撮像画像から通話者本人の本人画像と背景画像とを分離し、前記本人画像のデータのみを画像コーデック手段１２と画像合成手段１４に出力する。但し、本実施例においては、画像合成手段１４への出力は必須ではない。

これにおいて、全体画像から人物画像等の前景画像を分離し抽出する方法としては、例えばクロマキー技法と呼ばれるものが一般的に知られている。これについて簡単に説明すると、クロマキー技法とは、青色等の特定色による背景の前で前景画像を撮影し、この前景画像と背景画像との色情報の違いを基に前景画像を抽出するという方法である。また、上述したクロマキー技法によらない画像抽出方法も知られている。これは、背景画像に対して動いている前景画像部分を特定して抽出する方法であり、例えば特開２００３−１７９８１１号に記載されている。本実施例においては、いずれの方法を用いてもよい。

一方、音声処理手段１６は、マイクロフォンからの通話者本人の本人音声を音声コーデック手段１７に出力すると共に、前記本人音声のレベル値と周波数値を逐次計測し、これらを音声変数として画像合成手段１４にリアルタイムに出力する。また、音声コーデック手段１７にて復号化された通話相手の相手音声をスピーカに出力する。またさらに、広告データ１５ａが有する効果音データを再生処理してスピーカに出力する。なお、スピーカとはイヤフォン、ヘッドフォン等の音声出力装置を含むものである。

画像コーデック手段１２は、画像抽出手段１１にて抽出された前記本人画像を高能率符号化してデータ送受信手段１３に出力すると共に、データ送受信手段１３から入力される符号化データを復号化して相手画像に変換し画像合成手段１４に出力する。

また、音声コーデック手段１７は、音声処理手段１６から入力された前記本人音声を高能率符号化してデータ送受信手段１３に出力すると共に、データ送受信手段１３から入力される符号化データを復号化して前記相手音声に変換し音声処理手段１６に出力する。

ここで、画像データを高能率符号化／復号化する方法としては、例えば、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）にて標準化されたＨ．２６１やＨ．２６３等の諸方式によるもの、又はＭＰＥＧ方式によるもの等、大容量のデータを効率良く圧縮できる標準化された方式を用いるのが望ましい。また、音声データを高能率符号化／復号化する方法は、前記画像データの場合と同様にＧ．７１１やＧ．７２２等の諸方式によるもの、又はＭＰＥＧ方式によるもの等、標準化された方式を用いるのが望ましい。

データ送受信手段１３は、画像コーデック手段１２から入力される前記本人画像の高能率符号化データ、音声コーデック手段１７から入力される前記本人音声の高能率符号化データ、又は広告制御手段１８から入力される広告視聴情報データの内1つ又は複数種類を多重化してネットワーク５に送信すると共に、ネットワーク５から受信したデータを逆多重化して画像コーデック手段１２、音声コーデック手段１７、又は広告制御手段１８にそれぞれ出力する。なお、前記広告視聴情報データについては後述する。

広告制御手段１８は、ネットワーク５に接続されている広告管理サーバ３に対し、広告データベース３ａから広告データをダウンロードする要求を出力すると共に、これによりダウンロードされた前記広告データを記憶手段１５に供給する制御と、記憶手段１５に格納された広告データ１５ａの処理状況に基づき広告視聴情報データを作成してネットワーク５に接続された課金管理サーバ４に出力する制御を行う。

記憶手段１５は、前記ダウンロードされた前記広告データを広告データ１５ａとして所定の有効期間中保存する。この有効期間は下述のように広告データ１５ａ内に指定されている。

ここで、広告データ１５ａについて説明する。図３は、広告データ１５ａのデータ構造を示した図である。図３において、３１は図中矢印にて示したように広告データに格納されている各種データを参照するためのデータ・パス、広告画像の大きさを示すデータ、通話の相手画像のスケーリング値、前記広告画像の有効期間を示すデータ、及び前記広告画像の再生時間のデータからなる１つ以上の広告パラメータ、３２は前記相手画像と合成される１つ以上の広告画像からなる広告画像データ、３３は前記相手画像を前記広告画像に合成する位置を指定するための１つ以上の通話者配置データからなる配置データ、３４は前記相手画像の配置を動かしたり前記相手画像の大きさを変更する等のアクションを発生させるための１つ以上のアクション・データからなる動きデータ、３５は効果音を発生させるための１つ以上の効果音からなる効果音データであり、上記３２〜３５は広告パラメータ３１のデータ・パスにより参照される構成となっている。

なお、広告管理サーバ３の広告データベース３ａには、予め図３の構造による広告データが複数データベース化されている。

画像合成手段１４は、画像コーデック手段１２で復号化された前記相手画像と、広告データ１５ａの広告パラメータ３１から参照される広告画像データ３２中の所定の広告画像とを合成してモニタに出力する。これにおいて、広告パラメータ３１から参照される動きデータ３４中の所定のアクション・データに基づき、音声処理手段１６から入力される前記音声変数に含まれる前記本人音声のレベル値又は周波数値に応じて、前記相手画像の表示位置を所定の方向に移動させ、所定のスケール範囲において大きさを変更させ、又は所定の傾きをもって向きを変化させることができる。

次に、本実施例に係るテレビ電話システムの動作について、シーケンス図を用いて説明する。図４は、図１の構成に係るテレビ電話システムのシーケンス図である。これにおいて、テレビ電話装置の記憶手段１５には有効な広告データが存在していない場合を初期値として説明する。

まず、利用者本人は発信側テレビ電話装置１から相手の着信側テレビ電話装置２に電話をかけて呼び出しを行う（１０１）。次に、発信側テレビ電話装置１は広告データのダウンロード要求を広告管理サーバ３に対して行い（１０２）、それにより少なくとも１つ以上の広告データが発信側テレビ電話装置１にダウンロードされる（１０３）。一方、前記相手の着信側テレビ電話装置２が応答すると（１０４）、着信側テレビ電話装置２も広告管理サーバ３に対して広告データを要求し（１０５）、それにより少なくとも１つ以上の広告データが着信側テレビ電話装置２にダウンロードされる（１０６）。次に、発信側／着真側のテレビ電話装置の表示が開始されると、それぞれのテレビ電話装置から課金管理サーバ４に対して広告開始通知が発行される（１０７），（１０８）。通話／広告表示時間経過の後（１０９）、広告データ１５ａの広告パラメータ３１に設定されている時間以上に前記通話／広告表示時間が長かった場合、前記シーケンス（１０２），（１０３），（１０５），（１０６），（１０７），及び（１０８）が繰り返し実行される。通話を終了すると（１１０），（１１１）、それぞれのテレビ電話装置は課金管理サーバ４に広告視聴情報データを送信することにより広告終了通知を行う（１１２），（１１３）。

これにおいて、前記広告視聴データとは図５に示すデータ構造からなるものである。図５によると、電話装置ＩＤによって使用したテレビ電話装置が特定でき、広告ＩＤリストによって視聴した広告の特定ができ、広告開始時間、広告終了時間及び繰り返し回数により広告の使用時間を算出することができる。このようにして、前述したシーケンスによる処理を経た後、課金管理サーバ４は前記広告視聴情報データにより広告の使用料金を算出する。

次に、テレビ電話装置の処理について図６に示すフローチャートを用いて説明する。図６は利用者本人のテレビ電話装置の処理内容を示したものである。まず、テレビ電話装置の通話が開始されると、広告制御手段１８は記憶手段１５に有効な広告データが存在するか否かの判断を行い（ステップＳ１）、有効な広告データがなければ、広告制御手段１８は広告管理サーバ３の広告データベース３ａから少なくとも１つ以上の広告データを記憶手段１５にダウンロードする（ステップＳ２）。次に、広告制御手段１８は、記憶手段１５に格納されている有効な広告データ１５ａから広告パラメータ３１を読み込む（ステップＳ３）。続いて、広告パラメータ３１を基に相手画像の配置位置、スケーリング値を取得する（ステップＳ４）。これにおいて、前記スケーリング値は、カメラに写る通話者画像の大きさは通常まちまちであるため、広告画像の大きさと相手画像の大きさとの適切な比率を０．１〜１．０間で予め設定されている。前記相手画像の配置位置と前記スケーリング値により表示位置が決定された前記相手画像は、画像合成手段１４によって広告画像と合成されてモニタに出力される（ステップＳ５）。広告パラメータ３１には時間が設定されており、広告制御手段１８はその時間を経過したか否かを判断し、設定された時間を経過しているときは前記ステップＳ１に戻る（ステップＳ６）。続いて、通話の終了を確認し、通話が終了していなければ前記ステップＳ５の処理に戻る（ステップＳ７）。

上述したように、本実施例１に係るテレビ電話システムによれば、記憶手段１５に格納されている広告データ１５ａに基づいて通話の相手画像と広告画像を適切な関係で同一画面上に合成して表示することができ、これにより前記相手画像の表示と通話を中断することなく前記広告画像を常時表示することができ、電話利用者の電話使用と広告業者の広告提供を共存させることができる。この表示例を図７に示す。図７は、テレビ電話装置のモニタに表示された前記相手画像と前記広告画像の合成された表示例である。これが示すように、モニタには相手画像７１が広告画像７２と合成され、前記広告画像と前記相手画像両方を表示することができる。

また、通話中の会話の状態により、本人音声の声の大きさや高低による音声変数に対応して、広告データ１５ａの動きデータ３４に基づき前記相手画像の大きさや配置を変化させることができ、利用者の注意を広告に引き付けることができる。この様子を図８に例示する。図８は、図７の表示例から本人音声の声の大きさ又は高低に対応して、相手画像の大きさを小さくして、且つ画面右下に移動させた例である。

なお、本実施例１に係るテレビ電話装置は、カメラと表示画面が一体となった一体型テレビ電話装置、表示装置とカメラをケーブルで接続するセットトップ型のテレビ電話装置、さらに、カメラ付き携帯電話、いずれの形態にも適用できるものである。特に、前記カメラ付き携帯電話等表示画面が小さいものである場合、広告画像が見えにくくなることがある。そこで、本発明を利用ることにより、相手画像の顔のみを切り出し、大きさを調整し、配置を調整することにより、広告画像をより見やすく表示することができる。この様子を図９及び図１０を用いて例示する。つまり、図９は通常の携帯電話と同様に相手画像が大きく表示されて広告画像が見えにくい状態を示し、図１０では相手画像を縮小化して画面右下に移動させることにより、広告画像を見やすくしている。

以上説明したように、本実施例に係るテレビ電話システムを用いれば、利用者は相手画像を見ながら通話するという通常の視聴通信をしながら広告画像も同時に見ることができるため、テレビ通話を妨げることなく広告画像を提供する広告サービスを可能とするものである。

また、テレビ電話装置から広告の利用状況に関するデータをネットワーク上の課金管理サーバに送信することで、前記課金管理サーバはテレビ電話利用者毎の広告使用料金を算出することができる。この算出された広告使用料金の情報を用いれば、利用者の通話に伴う課金費用と関連付けて、テレビ電話の通話料金を広告提供者が負担するというテレビ電話サービスを提供することができる。

以上詳述したように、本発明に係るテレビ電話システムでは、相手側テレビ電話装置から送信される相手画像と、広告管理サーバからダウンロードした広告データの広告画像とを、前記広告データが有する配置データ等に基づいて本人側テレビ電話装置の同一画面上に合成して表示する画像合成手段を備えることにより、利用者は相手画像を見ながら通話するという通常の視聴通信をしながら広告画像も同時に見ることができる。

そこで、この広告画像を広告情報に限らず、通話相手に関連した画像データとすることで、通話相手と話しをしながらより詳細な相手固有の情報を画像によって得ることができる。これは例えば、会議資料等を画像データにして広告管理サーバに相当するサーバに予め格納しておけば、本発明に係るテレビ電話システムをテレビ電話会議システムとして利用する場合に格別な効果を得ることができる。

本発明の実施例１に係るテレビ電話システム全体の構成を示すブロック図である。 本発明の実施例１に係るテレビ電話装置の構成を示すブロック図である。 本発明の実施例１に係る広告データのデータ構造を示す図である。 本発明の実施例１に係るテレビ電話システムの動作を示すシーケンス図である。 本発明の実施例１に係る広告視聴データのデータ構造を示す図である。 本発明の実施例１に係るテレビ電話装置の処理内容を示すフローチャートである。 本発明の実施例１に係るテレビ電話装置の画面表示例を示す図である。 本発明の実施例１に係るテレビ電話装置の画面表示において、音声変数と動きデータによって相手画像の表示に変化をもたせた表示例を示す図である。 本発明の実施例１に係るテレビ電話装置において、携帯電話での相手画像が大きく表示されて広告画像が見えにくい表示例を示す図である。 本発明の実施例１に係るテレビ電話装置において、携帯電話での相手画像を小さく表示して広告画像を見やすくした表示例を示す図である。

符号の説明

１ 発信側テレビ電話装置
２ 着信側テレビ電話装置
３ 広告管理サーバ
３ａ 広告データベース
４ 課金管理サーバ
５ ネットワーク

Claims (2)

1. 複数のテレビ電話装置と広告管理サーバとがネットワークを介してそれぞれ接続されたテレビ電話システムにおいて、
   前記広告管理サーバは、
   前記複数のテレビ電話装置それぞれが備えるモニタに表示するための複数の広告画像、広告画像ごとに関係づけられた、通話相手の画像である相手画像の配置データ、前記相手画像のスケーリング値、及び前記相手画像の表示を変化させるための動きデータが含まれた広告データを格納した広告データベースを有し、
   前記複数のテレビ電話装置のそれぞれは、
   前記広告管理サーバの広告データベースからダウンロードした広告データを記憶する記憶手段と、
   カメラによる撮像画像から、通話者の本人画像と背景画像とを分離して前記本人画像を抽出する画像抽出手段と、
   マイクロフォンから前記通話者の本人音声を入力してその本人音声のレベル値及び周波数値を音声変数として検出する音声処理手段と、
   前記画像抽出手段により抽出された本人画像と、前記マイクロフォンから入力された本人音声とをそれぞれ符号化する符号化手段と、
   前記符号化手段によりそれぞれ符号化された符号化データを多重化して前記通話相手のテレビ電話装置に送信すると共に、前記通話相手のテレビ電話装置から送信された多重化された符号化データを受信して逆多重化するデータ送受信手段と、
   前記データ送受信手段により逆多重化された符号化データを復号する復号手段と、
   前記復号手段により復号されて得られた相手画像と、前記記憶手段に記憶された広告データに含まれた広告画像とを、前記音声処理手段で検出された音声変数に対応させて、前記広告データに含まれた配置データ、スケーリング値、及び動きデータに基づき、前記相手画像の配置位置、大きさ、及び角度のうち少なくとも一つを変化させて同一画面上に合成して前記モニタに表示させる画像合成手段とを、
   備えたことを特徴とするテレビ電話システム。
2. 複数の広告画像、広告画像ごとに関係づけられた、通話相手の画像である相手画像の配置データ、前記相手画像のスケーリング値、及び前記相手画像の表示を変化させるための動きデータが含まれた広告データが格納された広告管理サーバからネットワークを介してダウンロードした広告データを記憶する記憶手段と、
   カメラによる撮像画像から、通話者の本人画像と背景画像とを分離して前記本人画像を抽出する画像抽出手段と、
   マイクロフォンから前記通話者の本人音声を入力してその本人音声のレベル値及び周波数値を音声変数として検出する音声処理手段と、
   前記画像抽出手段により抽出された本人画像と、前記マイクロフォンから入力された本人音声とをそれぞれ符号化する符号化手段と、
   前記符号化手段によりそれぞれ符号化された符号化データを多重化して前記通話相手のテレビ電話装置に送信すると共に、前記通話相手のテレビ電話装置から送信された多重化された符号化データを受信して逆多重化するデータ送受信手段と、
   前記データ送受信手段により逆多重化された符号化データを復号する復号手段と、
   前記復号手段により復号されて得られた相手画像と、前記記憶手段に記憶された広告データに含まれた広告画像とを、前記音声処理手段で検出された音声変数に対応させて、前記広告データに含まれた配置データ、スケーリング値、及び動きデータに基づき、前記相手画像の配置位置、大きさ、及び角度のうち少なくとも一つを変化させて同一画面上に合成して前記モニタに表示させる画像合成手段とを、
   備えたことを特徴とするテレビ電話装置。

Images