JP2010154387A - 通信端末装置、通信制御方法、通信制御プログラム - Google Patents

Abstract

【課題】相手側端末の聞き手と円滑に会話できる通信端末装置、通信制御方法、通信制御プログラムを提供する。
【解決手段】端末装置３は、ネットワーク２を介して他の端末装置４〜６と相互に接続され、テレビ会議システム１を構成する。このシステムでは、遠隔会議中に、特定の端末装置において聞き手が頷いていることを検出した場合に、話者のいる相手側の端末装置に聞き手の頷きを検出したことを通知する。頷きが通知された相手側の端末装置では、予め記憶しておいた聞き手の頷き画像を表示する。この方式は、ストリーミング方式とは異なり、画像データのエンコード及びデコードが不要であるので、聞き手の頷きを遅延なく表示できる。従って、話すタイミングと聞き手のリアクションとのずれを小さくできるので、円滑な会話を提供できる。
【選択図】図１

Description

本発明は、相手側端末との間で、画像と音声を双方向に送受信できる通信端末装置、当該通信端末装置の通信制御方法、通信制御プログラムに関する。

従来、複数の通信端末装置をネットワークを介して接続し、画像と音声を双方向に送受信することで、遠隔の地にある者同士の会議を実現するテレビ会議システムが知られている。例えば、精神安定、集中力、意欲を向上させるために、所定の匂いや、音響、画像等を端末から出力して、会議の効率化を図った電子会議装置及び電子会議システムが知られている（例えば、特許文献１参照）。このようなシステムでは、画像の送受信を行う際に、「ストリーミング方式」が採用されていることが多い。ストリーミング方式とは、ネットワークを通じて画像や音声などのマルチメディアデータを視聴する際に、データを受信しながら同時に再生を行なう方式である。
特開平７−１０７４５３号公報

しかしながら、上述のストリーミング方式では、相手側端末との間で画像データを送受信する際に、画像データのエンコードとデコードに時間がかかる。つまり、画像を表示する際に遅延時間が発生する。例えば、会議中に話者が話した内容に対して、相手側端末にいる聞き手が同意して頷いたとき、その際の画像データがエンコードされる。そのエンコードされた画像データは、ネットワークを介して他の端末装置に受信される。各端末装置では、受信した画像データがデコードされ、その画像データが端末装置のディスプレイに表示される。このような方式では、頷きのリアクションが実際の時間よりも遅延して表示される。よって、話すタイミングと聞き手のリアクションとが微妙にずれてしまうことがあり、話し難いという問題点があった。

本発明は、上記課題を解決するためになされたものであり、相手側端末の聞き手と円滑に会話できる通信端末装置、通信制御方法、通信制御プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に係る発明の通信端末装置は、ネットワークを介して相手側端末と画像を介した通信を行う通信端末装置であって、前記相手側端末から送信された画像データを表示する表示手段と、ユーザの反応状態を検出する反応状態検出手段と、当該反応状態検出手段によって前記反応状態が検出された場合に、前記相手側端末に、前記ユーザに前記反応状態が検出されたことを示す反応信号を送信する反応信号送信手段と、当該反応信号送信手段によって送信された前記反応信号を受信する反応信号受信手段と、前記相手側端末の相手ユーザが前記反応状態を示すときの反応時画像を記憶する反応時画像記憶手段と、前記反応信号受信手段によって前記反応信号が受信された場合に、前記反応時画像記憶手段に記憶された前記相手ユーザの前記反応時画像を、前記表示手段に表示する反応時画像表示制御手段とを備えている。

また、請求項２に係る発明の通信端末装置は、請求項１に記載の発明の構成に加え、前記表示手段には、前記相手側端末から送信され、前記相手側端末で撮影された前記相手ユーザのストリーミング画像が表示され、前記反応信号受信手段によって前記反応信号が受信された場合に、前記表示手段に表示されている前記ストリーミング画像に割り込んで、前記反応時画像を表示させる割り込み表示手段と、当該割り込み表示手段によって前記反応時画像が割り込まれた時から、前記反応時画像の時間に相当する時間分だけ、前記ストリーミング画像をカットする第１ストリーミング画像カット手段とを備えている。

また、請求項３に係る発明の通信端末装置は、請求項１に記載の発明の構成に加え、前記相手側端末に送信する前記ユーザのストリーミング画像を、前記反応時画像データ送信手段によって送信される前記反応時画像データの時間に相当する時間分だけカットして、前記相手側端末に送信する第２ストリーミング画像カット手段を備えている。

また、請求項４に係る発明の通信端末装置は、請求項１乃至３の何れかに記載の発明の構成に加え、前記反応状態検出手段によって前記ユーザの前記反応状態が検出されたときの反応時画像データを圧縮し、前記相手側端末に送信する反応時画像データ送信手段と、前記相手側端末の前記反応時画像データ送信手段により送信された前記反応時画像データを受信する反応時画像データ受信手段と、当該反応時画像データ受信手段によって受信された前記反応時画像データを解凍して、前記反応時画像記憶手段に記憶する解凍記憶処理手段とを備えている。

また、請求項５に係る発明の通信端末装置は、請求項１乃至４の何れかに記載の発明の構成に加え、前記ネットワークを介して、複数の前記相手側端末と接続している場合に、前記複数の前記相手側端末の中から、所定条件に基づいて、前記相手ユーザの前記反応状態を検出する一の端末を特定する端末特定手段と、当該端末特定手段によって特定された前記一の端末に向けて、前記反応状態を検出する端末として特定されたことを通知する通知信号を送信する通知信号送信手段と、前記相手側端末から送信された前記通知信号を受信する通知信号受信手段とを備え、前記反応状態検出手段は、前記通知信号受信手段によって前記通知信号が受信された場合に、前記ユーザの前記反応状態を検出することを特徴とする。

また、請求項６に係る発明の通信端末装置は、請求項５に記載の発明の構成に加え、前記ネットワークを介した前記相手側端末のＣＰＵの負荷状況を検出するＣＰＵ負荷状況検出手段と、当該ＣＰＵ負荷状況検出手段によって前記相手側端末毎に検出された前記ＣＰＵの負荷状況を記憶するＣＰＵ負荷状況記憶手段とを備え、前記端末特定手段は、前記ＣＰＵ負荷状況記憶手段に記憶された前記ＣＰＵ負荷状況を参照して、最もＣＰＵの負荷が低い前記相手側端末を、前記一の端末として特定する第１所定条件を備えている。

また、請求項７に係る発明の通信端末装置は、請求項５に記載の発明の構成に加え、前記ネットワークを介した前記相手側端末との通信におけるデータの伝送時間を検出する伝送時間検出手段と、当該伝送時間検出手段による検出結果を記憶する伝送時間記憶手段とを備え、前記端末特定手段は、前記伝送時間記憶手段に記憶された前記検出結果を参照して、最も伝送時間の短い前記相手側端末を、前記一の端末として特定する第２所定条件を備えている。

また、請求項８に係る発明の通信端末装置は、請求項５に記載の発明の構成に加え、前記相手側端末毎に、ログインした前記相手ユーザの人数を検出するログイン人数検出手段と、当該ログイン人数検出手段によって検出されたログイン人数を記憶するログイン人数記憶手段とを備え、前記端末特定手段は、前記ログイン人数記憶手段に記憶された前記相手側端末毎のログイン人数において、最も多いログイン人数である前記相手側端末を、前記一の端末として特定する第３所定条件を備えている。

また、請求項９に係る発明の通信端末装置は、請求項５に記載の発明の構成に加え、前記相手ユーザの発話を検出する発話検出手段と、当該発話検出手段によって検出された前記相手ユーザ毎の発話時からの経過時間を計測する経過時間計測手段とを備え、前記端末特定手段は、前記経過時間計測手段によって計測された前記経過時間が最も短い前記相手ユーザの前記相手側端末を、前記一の端末として特定する第４所定条件を備えている。

また、請求項１０に係る発明の通信端末装置は、請求項１乃至９の何れかに記載の発明の構成に加え、前記反応状態検出手段は、前記ユーザの頭部が所定方向に振れて頷く頷き状態を、前記反応状態として検出することを特徴とする。

また、請求項１１に係る発明の通信端末装置は、請求項１乃至９の何れかに記載の発明の構成に加え、前記反応状態検出手段は、前記ユーザの頭部が横方向に振れて拒否する拒否状態を、前記反応状態として検出することを特徴とする。

また、請求項１２に係る発明の通信端末装置は、請求項１乃至９の何れかに記載の発明の構成に加え、前記ユーザが納得している場合に前記ユーザによって操作される操作手段を備え、前記反応状態検出手段は、前記操作手段による操作を検出することで、前記ユーザの納得状態を、前記反応状態として検出することを特徴とする。

また、請求項１３に係る発明の通信端末装置は、請求項１乃至１２の何れかに記載の発明の構成に加え、前記反応状態検出手段によって検出された前記ユーザの前記反応状態が初回か否かを判断する初回反応状態判断手段と、当該初回反応状態判断手段によって前記反応状態が初回と判断された場合に、前記反応時画像記憶手段に前記反応時画像を記憶する反応時画像記憶処理手段とを備え、前記反応時画像データ送信手段は、前記反応時映像記憶手段に記憶された前記反応時映像データを圧縮した状態で前記相手側端末に送信することを特徴とする。

また、請求項１４に係る発明の通信端末装置は、請求項１乃至１３の何れかに記載の発明の構成に加え、前記反応信号受信手段によって前記反応信号が受信された場合に、前記反応時画像記憶手段に、前記相手ユーザの前記反応時画像データが記憶されているか否かを判断する反応時画像記憶判断手段と、当該反応時画像記憶判断手段によって前記反応時画像が記憶されていないと判断された場合に、前記表示手段に、前記相手ユーザが前記反応状態を示していることを、前記反応時画像の代わりに、文字、図形、記号等で表記する代替画像を表示する代替画像表示制御手段とを備えている。

また、請求項１５に係る発明の通信制御方法は、ネットワークを介して相手側端末と画像を介した通信を行う通信端末装置の通信制御方法であって、前記相手側端末から送信される画像データを受信する画像データ受信ステップと、ユーザの反応状態を検出する反応状態検出ステップと、当該反応状態検出ステップにおいて前記反応状態が検出された場合に、前記相手側端末に、前記ユーザに前記反応状態が検出されたことを示す反応信号を送信する反応信号送信ステップと、当該反応信号送信ステップにおいて送信された前記反応信号を受信する反応信号受信ステップと、前記反応信号受信ステップにおいて前記反応信号が受信された場合に、前記相手側端末の相手ユーザが前記反応状態を示すときの反応時画像を記憶する前記反応時画像記憶手段に記憶された前記相手ユーザの前記反応時画像を、前記画像データ受信ステップにおいて受信された前記画像データを表示する前記表示手段に表示する反応時画像表示制御ステップとを備えている。

また、請求項１６に係る発明の通信制御プログラムは、請求項１５に記載の通信制御方法の各種処理ステップとしてコンピュータに実行させる。

請求項１に係る発明の通信端末装置では、相手側端末と画像を介した通信を行うことができる。相手側端末から送信された画像データは表示手段に表示される。ユーザの反応状態は、反応状態検出手段によって検出される。反応状態検出手段によってユーザの反応状態が検出されると、反応信号送信手段によって、相手側端末に向けて反応信号が送信される。一方、相手側端末の相手ユーザが反応状態を示すときの反応時画像が、反応時画像記憶手段に記憶されている。そして、反応信号が反応信号受信手段によって受信されると、反応時画像記憶手段に記憶された相手ユーザの反応時画像が表示手段に表示するように、反応時画像表示制御手段が制御する。つまり、ストリーミング方式とは異なり、相手側の反応時画像を反応時画像記憶手段に記憶しておき、反応があった場合にその反応時画像を表示手段に表示させるので、画像データのエンコード、デコードが不要である。従って、話すタイミングと聞き手のリアクションとのずれが小さくなるので、相手側端末にいる聞き手と円滑に会話ができる。

また、請求項２に係る発明の通信端末装置では、請求項１に記載の発明の効果に加え、表示手段には、相手側端末から送信され、相手側端末で撮影された相手ユーザのストリーミング画像が表示される。そして、反応信号受信手段によって反応信号が受信された場合、割り込み表示手段が、表示手段に表示されているストリーミング画像に反応時画像を割り込ませて表示させる。さらに、割り込み表示手段によって反応時画像が割り込まれた時から、反応時画像の時間に相当する時間分のストリーミング画像が第１ストリーミング画像カット手段によってカットされる。これにより、反応時の画像が重複して表示手段に表示されないので違和感が無くなる。

また、請求項３に係る発明の通信端末装置では、請求項１に記載の発明の効果に加え、第２ストリーミング画像カット手段が、相手側端末に送信するユーザのストリーミング画像を、反応時画像データ送信手段によって送信される反応時画像データの時間に相当する時間分だけカットして、相手側端末に送信する。これにより反応時の画像が重複して表示手段に表示されないので違和感が無くなる。

また、請求項４に係る発明の通信端末装置では、請求項１乃至３の何れかに記載の発明の効果に加え、反応状態検出手段によってユーザの反応状態が検出されたときの反応時画像データは、反応時画像データ送信手段によって圧縮されて相手側端末に送信される。相手側端末から送信された反応時画像データは、反応時画像データ受信手段によって受信される。その受信された反応時画像データは、解凍記憶処理手段によって解凍された状態で、反応時画像記憶手段に記憶される。これにより、相手側端末の反応時画像を会話の最初のうちで記憶しておくことができるので、その後の会話中の反応時画像を表示手段にいち早く表示させることができる。

また、請求項５に係る発明の通信端末装置では、請求項１乃至４の何れかに記載の発明の効果に加え、複数の相手側端末と接続している場合に、端末特定手段がその複数の相手側端末の中から、所定条件に基づいて、相手ユーザの反応状態を検出する一の端末を特定する。端末が特定されると、通知信号送信手段が、その特定された一の端末に向けて、反応状態を検出する端末として特定されたことを通知する通知信号を送信する。相手側端末から送信された通知信号は通知信号受信手段によって受信される。反応状態検出手段は、その通知信号受信手段によって通知信号が受信された場合に、ユーザの反応状態を検出する。即ち、ネットワークを介して複数の相手側端末と接続している場合でも、反応状態を検出する１つの端末を特定するので、ネットワークにおける通信負荷と遅延時間を最小限にすることができる。

また、請求項６に係る発明の通信端末装置では、請求項５に記載の発明の効果に加え、ネットワークを介した相手側端末のＣＰＵの負荷状況が、ＣＰＵ負荷状況検出手段によって検出される。その検出されたＣＰＵの負荷状況は、ＣＰＵ負荷状況記憶手段に相手側端末毎に記憶される。端末特定手段は、ＣＰＵ負荷状況記憶手段に記憶されたＣＰＵ負荷状況を参照して、最もＣＰＵの負荷が低い相手側端末を一の端末として特定する第１所定条件を備えている。これにより、ユーザの反応状態を検出することによる負荷の影響を最小限に留めることができる。

また、請求項７に係る発明の通信端末装置では、請求項５に記載の発明の効果に加え、ネットワークを介した相手側端末との通信におけるデータの伝送時間が、伝送時間検出手段によって検出される。その検出結果は、伝送時間記憶手段に記憶される。端末特定手段は、その伝送時間記憶手段に記憶された検出結果を参照して、最も伝送時間の短い前記相手側端末を、一の端末として特定する第２所定条件を備えている。これにより、画像データを速やかに伝送できるので、反応時の画像をいち早く表示手段に表示させることができる。

また、請求項８に係る発明の通信端末装置では、請求項５に記載の発明の効果に加え、ログインした相手ユーザの人数が、ログイン人数検出手段によって相手側端末毎に検出される。ログイン人数検出手段によって検出されたログイン人数は、ログイン人数記憶手段に記憶される。端末特定手段は、ログイン人数記憶手段に記憶された相手側端末毎のログイン人数において、最も多いログイン人数である相手側端末を、一の端末として特定する第３所定条件を備えている。これにより、１拠点（１端末）において反応状態をより多く検出できるので、会話をより円滑に進めることができる。

また、請求項９に係る発明の通信端末装置では、請求項５に記載の発明の効果に加え、相手ユーザの発話が発話検出手段によって検出される。さらに、経過時間計測手段によって、発話検出手段によって検出された相手ユーザ毎の発話時からの経過時間が計測される。端末特定手段は、経過時間計測手段によって計測された経過時間が最も短い前記相手ユーザの相手側端末を、一の端末として特定する第４所定条件を備えている。これにより、前回話をしていた話者の端末を優先して特定できる。

また、請求項１０に係る発明の通信端末装置では、請求項１乃至９の何れかに記載の発明の効果に加え、反応状態検出手段は、ユーザの頭部が所定方向に振れて頷く頷き状態を、反応状態として検出する。これにより、聞き手の頷きを話者にいち早く認識させることができるので、聞き手の反応の遅延によって話者を不安にさせることがない。よって、話者と聞き手との間において円滑な会話が可能である。

また、請求項１１に係る発明の通信端末装置では、請求項１乃至９の何れかに記載の発明の効果に加え、反応状態検出手段は、ユーザの頭部が横方向に振れて拒否する拒否状態を、反応状態として検出する。これにより、聞き手の拒否反応を話者にいち早く認識させることができるので、聞き手の反応の遅延によって話者を不安にさせることがない。

また、請求項１２に係る発明の通信端末装置では、請求項１乃至９の何れかに記載の発明の効果に加え、ユーザが納得している場合は、ユーザは操作手段を操作する。反応状態検出手段は、その操作手段による操作を検出することで、ユーザの納得状態を反応状態として検出する。これにより、聞き手の納得状態を話者にいち早く認識させることができるので、聞き手の反応の遅延によって話者を不安にさせることがない。

また、請求項１３に係る発明の通信端末装置では、請求項１乃至１２の何れかに記載の発明の効果に加え、初回反応状態判断手段が、反応状態検出手段によって検出されたユーザの反応状態が初回か否かを判断する。初回反応状態判断手段によって反応状態が初回と判断された場合に、反応時記憶手段には反応時画像が記憶されていない可能性が高い。そこで、反応時画像記憶処理手段が、反応時画像記憶手段に反応時画像を記憶するので、会話中に反応時画像を記憶することができる。つまり、反応時画像記憶手段に予め反応時画像を記憶させる手間が不要である。

また、請求項１４に係る発明の通信端末装置では、請求項１乃至１３の何れかに記載の発明の効果に加え、反応信号受信手段によって反応信号が受信された場合、反応時画像記憶判断手段が、反応時画像記憶手段に、相手ユーザの反応時画像が記憶されているか否かを判断する。反応時画像が記憶されていないと判断された場合、代替画像表示制御手段が、相手ユーザが反応状態を示していることを、反応時画像の代わりに、文字、図形、記号等で表記する代替画像を表示手段に表示させる。これにより、反応時画像記憶に反応時画像が記憶されていない場合でも、反応時画像の代わりに代替画像を表示させることができるので、円滑な会話を提供することができる。

また、請求項１５に係る発明の通信制御方法では、まず、画像データ受信ステップにおいて、相手側端末から送信される画像データが受信される。次いで、反応状態検出ステップにおいて、ユーザの反応状態が検出される。反応状態検出ステップにおいて反応状態が検出された場合、反応信号送信ステップにおいて、ユーザに反応状態が検出されたことを示す反応信号が相手側端末に送信される。相手側端末から送信された反応し信号は、反応信号受信ステップにおいて受信される。反応信号受信ステップにおいて反応信号が受信された場合、反応時画像表示制御ステップにおいて、反応時画像記憶手段に記憶された相手ユーザの反応時画像が表示手段に表示される。つまり、ストリーミング方式とは異なり、相手側の反応時画像を反応時画像記憶手段に記憶しておき、反応があった場合にその反応時画像を表示手段に表示させるので、画像データのエンコード、デコードが不要である。従って、話すタイミングと聞き手のリアクションとのずれが小さくなるので、相手側端末にいる聞き手と円滑に会話ができる。

また、請求項１６に係る発明の通信制御プログラムは、請求項１５に記載の通信制御方法の各種処理ステップとしてコンピュータに実行させることによって、請求項１５に記載の発明の効果を得ることができる。

以下、本発明の第１実施形態である端末装置３について、図面を参照して説明する。はじめに、端末装置３を構成要素とするテレビ会議システム１の構成について、図１を参照して説明する。図１は、テレビ会議システム１の構成を示すブロック図である。

テレビ会議システム１は、ネットワーク２と、該ネットワーク２を介して相互に接続され、かつ各拠点毎に設けられた複数の端末装置３、４、５、６とを備えている。このテレビ会議システム１では、端末装置３、４、５、６間において、ネットワーク２を介して、画像、音声が互いに送受信されることで遠隔会議が実施される。

そして、本実施形態では、遠隔会議中に、特定の端末装置において聞き手が頷いていることを検出した場合に、話者のいる相手側の端末装置に聞き手の頷きを検出したことを通知する。頷きが通知された相手側の端末装置では、予め記憶しておいた聞き手の頷き画像を表示する。この方式では、頷き画像のエンコード及びデコードが不要であるので、聞き手の頷きをいち早く表示できる点に特徴がある。

次に、端末装置３の電気的構成について、図２を参照して説明する。図２は、端末装置３の電気的構成を示すブロック図である。なお、端末装置３〜６は全て同じ構成であるので、ここでは端末装置３の構成についてのみ説明し、他の端末装置４〜６については説明を省略する。

端末装置３には、端末装置３の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ３１（以下、ＨＤＤ３１）が接続されている。

Ｉ／Ｏインタフェイス３０には、ネットワーク２と通信するための通信装置２５と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、カードリーダ制御部３２と、ユーザを撮影するためのカメラ３４と、ユーザの音声を取り込むためのマイク３５と、ＣＤ−ＲＯＭドライブ２６とが各々接続されている。ビデオコントローラ２３には、ディスプレイ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。カードリーダ制御部３２には、各ユーザが所有する識別カード（図示外）に記憶されたユーザを識別するためのユーザＩＤを読み込むためのカードリーダ３３が接続されている。

なお、ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、端末装置３のメインプログラムや、本発明の通信制御プログラム等が記憶されている。ＣＤ−ＲＯＭ１１４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１１４からＨＤＤ３１にセットアップされて、後述するプログラム記憶エリア３１５（図３参照）に記憶される。

次に、ＨＤＤ３１の各種記憶エリアについて、図３を参照して説明する。図３は、ＨＤＤ３１の各種記憶エリアを示す概念図である。ＨＤＤ３１には、ネットワーク２にログインしたユーザを管理するログインテーブル３１１１（図４参照）を記憶するログインテーブル記憶エリア３１１と、ネットワーク２に接続している端末装置３〜６の端末ＩＤを管理すると共に、接続している端末装置３〜６の各動作状況を保存する端末状況テーブル３１２１（図５参照）を記憶する端末状況テーブル記憶エリア３１２と、端末装置３〜６で各々撮影された頷き時の画像データ（以下、頷き画像データと呼ぶ。）を保存して管理する頷き画像データテーブル３１３１（図６参照）を記憶する頷き画像データテーブル記憶エリア３１３と、カメラ３４によって撮影されるカメラ画像を記憶するカメラ画像データ記憶エリア３１４と、各種プログラムを記憶するプログラム記憶エリア３１５と、その他の情報記憶エリア３１６と、ユーザの頷き時の波形パターンを予め記憶する波形パターン記憶エリア３１７と、頷かせるためのコンテンツ画像を記憶するコンテンツ画像記憶エリア３１８が少なくとも設けられている。

プログラム記憶エリア３１５には、端末装置３のメインプログラムや、他の端末装置４、５、６との間で遠隔会議を実行するための通信制御プログラム等が記憶されている。その他の情報記憶エリア３１６には、端末装置３で使用されるその他の情報が記憶されている。なお、端末装置３がＨＤＤ３１を備えていない専用機の場合は、ＲＯＭ２１に各種プログラムが記憶される。

次に、ログインテーブル３１１１について、図４を参照して説明する。図４は、ログインテーブル３１１１の概念図である。ログインテーブル３１１１には、ネットワーク２にログインしたユーザのユーザＩＤと、そのユーザＩＤが登録された端末装置３〜６の端末ＩＤとが記憶される。具体的には、ユーザＩＤの欄には、カードリーダ３３で読み取られた識別カード（図示外）に記憶されたユーザＩＤが記憶される。端末ＩＤの欄には、そのユーザＩＤを送信した端末装置３〜６の端末ＩＤが記憶される。なお、端末ＩＤとは、端末装置３のマックアドレス等である。さらに、ユーザＩＤ、端末ＩＤは、ネットワーク２を介して接続する他の端末装置４〜６から送信される端末情報に含まれ、その端末情報に基づいてログインテーブル３１１１に登録される。

例えば、図４に示すように、端末装置４のユーザであるＢさんがログインする場合、Ｂさんは自分の所有する識別カードをカードリーダ３３に読み取らせる。すると、ログイン信号が相手側の端末装置に送信され、ログインしたことが相手側に通知される。この場合、その識別カードに記憶されたユーザＩＤ＝「Ｂ０００１」と、そのユーザＩＤを送信した端末装置４の端末ＩＤ＝「０００２」とが、ログインテーブル３１１１に各々記憶される。その他のユーザについても同様に設定される。

なお、図４に示すログインテーブル３１１１は、端末装置３（端末ＩＤ＝０００１）からは１人（ユーザＩＤ＝Ａ０００１）、端末装置４（端末ＩＤ＝０００２）からは１人（ユーザＩＤ＝Ｂ０００１）、端末装置５（端末ＩＤ＝０００３）からは２人（ユーザＩＤ＝Ｃ０００１、Ｃ０００２）、端末装置６（端末ＩＤ＝０００４）からは３人（ユーザＩＤ＝Ｄ０００１、Ｄ０００２、Ｄ０００３）がそれぞれログインした状態を示している。

次に、端末状況テーブル３１２１について、図５を参照して記憶する。図５は、端末状況テーブル３１２１の概念図である。端末状況テーブル３１２１は、自身の端末の動作状況と、ネットワーク２を介して接続している相手側の端末装置（以下、接続端末と呼ぶ。）の各動作状況とを記録するテーブルである。端末状況テーブル３１２１には、端末ＩＤを記憶する端末ＩＤカラム６１と、各拠点間において話者が聞き手に対して話をする会話の方向を端末毎に記憶する会話方向カラム６２と、ＣＰＵの負荷状況を端末毎に記憶するＣＰＵ負荷カラム６３と、データの伝送の遅延時間を端末毎に記憶する遅延カラム６４と、頷き検出機能の有無を端末毎に記憶する頷き検出機能カラム６５と、ログインテーブル３１１１に登録されたユーザの人数（ログイン人数）を端末毎に記憶するログイン人数カラム６６と、最後に発話してからの経過時間を端末毎に記憶する発話後経過時間カラム６７と、が各々設けられている。

なお、データ伝送時間の遅延とは、データが送信側から宛先に到達するまでにかかる時間をいう。最後の発話経過時間カラム６７には、各端末装置３〜６において、マイク３５で発話を検出してからの経過時間が記憶される。会話方向カラム６２には、マイク３５でユーザの発話を検出した端末装置が話者として登録され、それ以外の端末装置が聞き手として登録される。

さらに、端末状況テーブル３１２１に記憶される各値は、各端末装置からネットワーク２を介して送信される端末情報に基づいて記憶される。端末情報とは、各端末の端末ＩＤ、ＣＰＵ負荷（％）、データの伝送時間の遅延（ｍｓ）、頷き検出機能の有無、発話後経過時間等を含むものである。ログイン人数カラム６６には、ログインテーブル３１１１に記憶されたユーザＩＤの人数が端末毎に各々記憶される。

例えば、図５に示すように、端末装置４の動作状況は、端末状況テーブル３１２１の２行目に記憶されている。即ち、端末ＩＤカラム６１＝「０００２」、会話方向カラム６２＝「聞き手」、ＣＰＵ負荷カラム６３＝「５０％」、遅延カラム６４＝「１０ｍｓ」、頷き検出機能カラム６５＝「有り」、ログイン人数カラム６６＝「１人」、発話後経過時間カラム６７＝「１秒前」、が各々記憶されている。

次に、頷き画像データテーブル３１３１について、図６を参照して説明する。図６は、頷き画像データテーブル３１３１の概念図である。頷き画像データテーブル３１３１には、端末ＩＤと、その端末ＩＤに対応するユーザの頷き画像データと、その録画時間とが端末毎に各々記憶されている。なお、後述するが、各端末装置で撮影された頷き画像は、エンコードして圧縮された状態で送信される。そして、受信した頷き画像データはデコードされた状態で、端末ＩＤ毎に管理されて、頷き画像データテーブル３１３１に記憶される。

例えば、図６に示すように、頷き画像データテーブル３１３１の２行目には、端末装置４の識別ＩＤ＝０００２に対して、頷き画像データ＝ｂｂｂ．ａｖｃと、録画時間＝２．４秒とが対応付けられて各々記憶されている。なお、ｂｂｂ．ａｖｃは、無圧縮化された状態で記憶されている。

次に、端末装置３のディスプレイ２８に表示される画像について、図７を参照して説明する。図７は、ディスプレイ２８における一表示態様を示す図である。会議中において、端末装置３のディスプレイ２８には、他の端末装置４、５、６の各ユーザを映し出すために、３つの分割画面２８１、２８２、２８３がそれぞれ表示される。例えば、分割画面２８１は、ディスプレイ２８の略左半分に配置され、分割画面２８２は、ディスプレイ２８の右半分の上側に配置され、分割画面２８３は、ディスプレイ２８の右半分の下側に配置されて表示される。分割画面２８１には、端末装置４のユーザの画像が映し出される。分割画面２８２には、端末装置５のユーザの画像が映し出される。分割画面２８３には、端末装置６のユーザの画像が映し出される。なお、表示態様についてはこれに限定されず、各分割画面２８１〜２８３の配置、大きさも自由に変更可能である。なお、図７では、端末装置４のユーザが頷いている様子が分割画面２８１に映し出された状態を示している。

次に、ユーザの頷きを検出する方法について、図８乃至図１２を参照して説明する。図８は、うつむき加減を示す特徴量ｄの説明図（頷き前）である。図９は、うつむき加減を示す特徴量ｄの説明図（頷き後）である。図１０は、カメラ画像データ４０の概念図である。図１１は、検出波形パターン（頷き時）を示すグラフである。図１２は、登録された頷き波形パターンを示すグラフである。

ここで、「頷き状態」とは、話者が話している内容に聞き手が納得したときに、聞き手の頭部が上下方向に所定量以上に振れる状態をいう。本実施形態では、周知の画像処理によってユーザの頭部の振れを検出するのであるが、例えば、特開２００７−９７６６８号公報に記載された状態識別装置による識別方法が適用可能である。

ここで、上記識別方法を適用した頷き検出方法の具体例について説明する。まず、カメラ３４から転送されたカメラ画像データが、ＨＤＤ３１のカメラ画像データ記憶エリア３１４（図３参照）に記憶される。そして、カメラ画像データ記憶エリア３１４に記憶されたカメラ画像から人物の画像を検出する。次いで、検出された人物毎に顔の特徴量を算出する。本実施形態では、眉間又は目の検出によって眉間の位置座標を取得し、検出された顔の輪郭から、画像に写っている顔の最下端部の位置座標を取得する。そして、取得した２つの位置座標の差分値を算出する。

例えば、カメラ画像に写っている顔が正面顔の場合、図８に示すように、顎の位置座標が、顔の画像に写っている最下端部の位置座標として取得される。一方、カメラ画像に写っている顔がうつむき顔の場合、図９に示すように、鼻など、より目に近い位置の座標が、顔の画像に写っている最下端部の位置座標として取得される。図８および図９の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離ｄは、正面顔で最も長く、うつむき加減が大きいほど短くなる。従って、２箇所の位置座標の差分値により、顔のうつむき加減を判定できる。なお、特徴量抽出に基づく顔の識別については種々の技術が知られており、本実施形態では、そのいずれの技術をも採用できる。

そして、算出した特徴量ｄに、カメラ画像の管理情報に含まれている撮影時刻の情報と、顔を検出して識別した際に割り当てたユーザＩＤとを付したカメラ画像データ４０（図１０参照）を生成し、カメラ画像データ記憶エリア３１４（図３参照）に記憶する。そして、上記処理を繰り返すことにより、カメラ画像データ記憶エリア３１４には、各時刻における聞き手のうつむき加減を表す複数のカメラ画像データ４０が蓄積される。

さらに、直前に生成した撮影時間１０秒分のカメラ画像データ４０を、カメラ画像データ記憶エリア３１４から読み込み、ユーザＩＤに基づいてユーザ別に分類する。続いて、各聞き手のデータを時刻情報に基づいて時系列に並べる。この時系列に並べられたデータ群から、特徴量（距離ｄ）の経時変化を表す検出波形パターン（図１１参照）を生成する。

そして、生成した検出波形パターンを、ＨＤＤ３１の波形パターン記憶エリア３１７（図３参照）に予め登録されている波形パターン（図１２参照）と照合する。本実施形態では、軽くうつむく動作が行なわれたことを表す波形である１秒程度の短い波形パターン（図１２参照）が記憶されている。この波形パターンを「頷きパターン」と呼ぶ。つまり、検出波形パターンが、頷きパターンに一致する場合は、頷いていると判断できる。なお、頷きパターンの波形は、このパターンに限らず、自由に変更可能である。

次に、上記構成からなる端末装置３のＣＰＵ２０によって実行される通信制御処理について、図１３乃至図１７のフローチャート、及び図１８を参照して説明する。図１３は、通信制御処理のフローチャートである。図１４は、図１３の続きを示すフローチャートである。図１５は、図１４の続きを示すフローチャートである。図１６は、図１５の続きを示すフローチャートである。図１７は、図１６の続きを示すフローチャートである。図１８は、頷き検出時の画像カット処理を説明するためのタイミングチャートである。

なお、この通信制御処理は、端末装置３のみならず、他の端末装置４〜６においても同様に行われるものである。従って、ここでは端末装置３のＣＰＵ２０によって実行される通信制御処理についてのみ説明する。

図１３に示すように、まず、各種データが初期化される（Ｓ１）。そして、ユーザは会議前に頷き画像を録画するために、端末装置３に設けられた録画スイッチ（図示外）を操作する。これに伴い、録画スイッチが操作されたことによる頷き画像の録画の指示があったか否かが判断される（Ｓ２）。録画スイッチが操作されない間は（Ｓ２：ＮＯ）、録画スイッチの操作が引き続き監視される（Ｓ２）。録画スイッチが操作された場合（Ｓ２：ＹＥＳ）、ディスプレイ２８に頷きが得られるコンテンツ画像が再生される（Ｓ３）。コンテンツ画像には、ＨＤＤ３１のコンテンツ画像記憶エリア３１８に記憶され、例えば、ユーザに共感させるような画像や、頷きを促すような画像等を採用できる。

そして、カメラ３４で撮影されているユーザの頷きを検出したか否かが判断される（Ｓ４）。なお、ユーザの頷きは、上記した検出方法によって検出される。ユーザが頷くまでは（Ｓ４：ＮＯ）、Ｓ４に戻って、引き続き、ユーザの頷きが検出されたか否かが判断される。コンテンツ画像を見てユーザが頷いた場合（Ｓ４：ＹＥＳ）、頷き画像の録画が行われる（Ｓ５）。なお、録画された頷き画像の頷き画像データは、その録画時間と共に、ＨＤＤ３１の頷き画像データテーブル記憶エリア３１３に記憶された頷き画像データテーブル３１３１に記憶される。

続いて、他の端末装置４〜６の少なくとも何れかとネットワーク２を介して接続したか否かが判断される（Ｓ６）。他の端末装置４〜６の何れかと接続するまでは（Ｓ６：ＮＯ）、Ｓ６に戻り、処理が繰り返される。他の端末装置と接続した場合（Ｓ６：ＹＥＳ）、接続した端末装置から送信される端末情報に基づき、その端末装置の動作状況が、ＨＤＤ３１の端末状況テーブル記憶エリア３１２に記憶された端末状況テーブル３１２１（図５参照）に記憶される（Ｓ７）。さらに、端末装置３のＣＰＵ２０の負荷が計測され、端末状況テーブル３１２１（図５参照）に記憶される（Ｓ８）。さらに、端末装置３のデータ伝送時間の遅延について計測され、端末状況テーブル３１２１（図５参照）に記憶される（Ｓ９）。

さらに、端末装置３の頷き検出機能の有無について、端末状況テーブル３１２１（図５参照）に記憶される（Ｓ１０）。本実施形態の場合は、端末装置３には頷き検出機能は有るので、端末状況テーブル３１２１の頷き検出機能カラム６５には、「有り」と記憶される。なお、具体的には、頷き検出機能の有無の登録について、「有り」の場合は、頷き機能フラグ「１」が記憶される。「無し」の場合は、頷き機能フラグ「０」が記憶される。

さらに、図示しないが、ネットワーク２に端末装置３からログインしたログイン人数が検出され、その検出されたログイン人数が端末状況テーブル３１２１（図５参照）に記憶される。さらに、ユーザの発話を検出すると共に、その発話からの経過時間が端末状況テーブル３１２１（図５参照）に記憶される。なお、ログイン人数を検出するＣＰＵ２０が本発明の「ログイン人数検出手段」に相当し、検出されたログイン人数を記憶するＣＰＵ２０が本発明の「ログイン人数記憶手段」に相当する。マイク３５によって発話が検出されてからの経過時間を計測するＣＰＵ２０が本発明の「経過時間計測手段」に相当する。

次いで、話者を検出したか否かが判断される（Ｓ１２）。マイク３５からユーザの音声を検出した場合に話者と判断され、音声を検出しない場合は聞き手と判断される。ここで、話者となるか聞き手となるかでその後の処理が変わるので、話者が検出された場合と、話者が検出されずに聞き手となった場合とに分けて、順に以下説明する。

まず、端末装置３で話者を検出した場合について説明する。図１４に示すように、端末装置３の拠点において、話者を検出した場合（Ｓ１２：ＹＥＳ）、聞き手となった他の端末装置の中から頷きを検出する一の端末装置が特定される（Ｓ１３）。ここでは、各端末装置４〜６の動作状況に基づいて決められた条件に基づいて、頷きを検出する一の端末装置が特定される。なお、聞き手となった他の端末装置が１つしかない場合は、頷きを検出する一の端末装置を特定する処理は行われない。

ここで、端末を特定するための条件について説明する。本実施形態では、第１条件、第２条件、第３条件、第４条件の４種類がある。第１条件では、ＣＰＵ負荷が最も少ない端末装置を特定する。ＣＰＵ負荷が少ない端末装置であれば、頷き検出機能を利用した場合でも、速やかに処理できる。第２条件は、データ伝送時間の遅延が最も短い端末装置を特定する。データ伝送時間の遅延が短ければ短いほど、頷き信号の送受信にかかる時間が短くなり、速やかに処理できる。第３条件は、ログイン人数の最も多い端末装置を特定する。ログイン人数が多い拠点であれば、頷きを検出する割合が高くなるので、会話をより円滑に進めることができる。第４条件は、最後に発話してからの経過時間（発話後経過時間）が最も短い端末装置を特定する。つまり、前回話していた話者の端末装置を優先して特定できる。現在の会話に直近で話をしていたユーザの頷きを検出できるので、現在の話者に効果的な印象を与え、より円滑な会話を提供できる。

本実施形態では、端末装置３において、これら第１乃至４条件の中から何れかを選択することができる。ユーザによって選択された条件に基づき、ＣＰＵ２０は、頷きを検出する一の端末装置を特定する。なお、頷きを検出する一の端末装置を特定する際に、頷き検出機能が無いものは除外される。図５に示す端末状況テーブル３１２１では、端末装置６（端末ＩＤ＝０００４）には頷き検出機能はない。従って、頷き検出機能を有し、かつ聞き手となる相手側の端末装置４、５の何れかから一の端末を特定する。そして、上記した条件に基づき、頷きを検出する一の端末装置が特定されたら、その特定した端末装置に向けて、頷きを検出するように指示するための頷き検出指示信号が送信される（Ｓ１４）。

続いて、他の端末装置から頷き検出指示信号を受信したか否かが判断される（Ｓ１５）。上記したように、端末装置３が話者となっている場合は、頷き検出指示信号を送信する側であって受信する側ではないので（Ｓ１５：ＮＯ）、図１６に示すフローに移行し、相手側の端末装置から頷き画像を受信したか否かが判断される（Ｓ１９）。上記したように、頷き画像は、送信元の端末ＩＤと、頷き画像の録画時間と共に送信される。頷き画像を受信した場合（Ｓ１９：ＹＥＳ）、その頷き画像はエンコードされて圧縮された状態であるので、その頷き画像データのデコード処理が行われる（Ｓ２０）。そして、デコードされて無圧縮の状態となった頷き画像データと、端末ＩＤと、録画時間とが、ＨＤＤ３１に記憶された頷き画像データテーブル３１３１に登録される（Ｓ２１）。即ち、頷き画像データを無圧縮の状態で記憶しておくので、頷き信号を受信した場合に速やかにディスプレイ２８に表示させることができる。

ところで、テレビ会議システム１では、端末装置間で画像と音声の送受信が行われることで会議が行われる。画像については、図１８に示すように、画像を録画した端末装置から、その録画された画像の画像データがストリーミング方式で相手側の端末装置に送信され、ディスプレイ２８においてバッファ再生される。ストリーミング方式では、エンコード処理とデコード処理に時間がかかる。従って、再生側の端末装置のディスプレイ２８の表示に遅延が生じる。例えば、ｔ０タイミングで録画した画像データは、遅延時間Ｐを経て、ｔ１タイミングで再生される。さらに、ｔ１タイミングで録画した画像データも同様に、遅延時間Ｐを経て、ｔ２タイミングで再生されることになる。

そして、図１６に示すように、端末装置３では、聞き手であって録画側である端末装置から頷き信号を受信したか否かが判断される（Ｓ２２）。頷き信号は、画像データに比べて情報量が格段に小さい。そのため、頷きを検出する端末として特定された端末装置から送信された頷き信号は、ネットワーク２を介して、話者である端末装置３に速やかに送信される。

ここで、例えば、録画側の端末装置において、ｔ３タイミング（図１８参照）で頷きが検出された場合、遅延時間Ｐよりも短い時間で、話者であって再生側である端末装置３に向けて頷き信号が送信される。そして、再生側である端末装置３において頷き信号がｔ４タイミング（図１８参照）で受信される。次いで、ＨＤＤ３１に記憶された頷き画像データテーブル３１３１に、頷き信号を送信した端末装置に対応する頷き画像データが記憶されているか否かが判断される（Ｓ２３）。

頷き画像が記憶されていると判断された場合（Ｓ２３：ＹＥＳ）、ｔ４タイミング（図１８参照）で、デコードした頷き画像データに基づき、ディスプレイ２８において再生中の画像に割り込んで頷き画像が再生される（Ｓ２５）。このときストリーミング画像を配信する録画側の端末装置において、ストリーミング画像は、頷き画像の再生時間Ｑ分だけカットされる。なお、このカット処理を行うＣＰＵ２０が本発明の「第２ストリーミング画像カット手段」に相当する。

さらに、頷き画像の再生時間Ｑが経過したｔ６タイミングにおいて、頷き画像が割り込まれた際にバッファに残存する画像データのＲ時間分が遅延して再生される（Ｓ２６）。そして、Ｒ時間分の再生が終了するｔ７タイミングから、通常のストリーミング画像のバッファ再生が行われる（Ｓ２７）。

なお、頷き信号を受信しても（Ｓ２２：ＹＥＳ）、ＨＤＤ３１の頷き画像データテーブル３１３１に頷き画像が記憶されていないと判断された場合（Ｓ２３：ＮＯ）、ＨＤＤ３１に予め記憶された代替画像が表示される（Ｓ２４）。代替画像は、例えば、文字、図形等で、聞き手が頷いていることを話者に示すものであればよい。

次に、図１７に示すように、端末装置間において、画像通話中であるか否かが判断される（Ｓ２８）。画像通話中である場合は（Ｓ２８：ＹＥＳ）、自拠点でのカメラ画像の画像データのエンコード処理が行われ（Ｓ２９）、そのエンコード処理された画像データが、相手側の端末装置にストリーミング配信される（Ｓ３０）。続いて、端末装置との接続が全て切断されたか否かが判断される（Ｓ３１）。接続が全て切断された場合は（Ｓ３１：ＹＥＳ）、処理を終了する。接続がまだ残っている場合は（Ｓ３１：ＮＯ）、図１４のＳ６に戻り、どの端末と接続されているかが判断される。そして、接続が維持された端末装置の動作状況が書き換えられると共に、新たに接続された端末装置の動作状況が記憶され、同様に処理が繰り返される。

次に、端末装置３で話者を検出しなかった場合について説明する。図１４に示すように、端末装置３の拠点において、話者を検出しなかった場合（Ｓ１２：ＮＯ）、端末装置３は聞き手となる。そこで、図１５に示すように、話者となった相手側の端末装置から、頷き検出指示信号を受信したか否かが判断される（Ｓ１５）。頷き検出指示信号を受信した場合、頷き検出処理が実行される（Ｓ１６）。この頷き検出処理は、上記した頷き検出方法に従って、カメラ画像から頷いている人が検出され、カメラ画像から頷きが検出される。そして、頷き信号が話者となった相手側の端末装置に向けて送信される。

その後、図１６に示すように、頷き画像を受信したか否かが判断される（Ｓ１９）。頷き画像を受信した場合（Ｓ１９：ＹＥＳ）、その頷き画像はエンコードされて圧縮された状態であるので、その頷き画像データのデコード処理が行われる（Ｓ２０）。そして、デコードされて無圧縮の状態となった頷き画像データと、端末ＩＤと、録画時間とが、ＨＤＤ３１に記憶された頷き画像データテーブル３１３１に登録される（Ｓ２１）。

さらに、頷き信号を受信したか否かが判断される（Ｓ２２）。現在、端末装置３は聞き手であって、頷き信号を送信する側であるので（Ｓ２２：ＮＯ）、続いて、図１７に示すように、端末装置間において、画像通話中であるか否かが判断される（Ｓ２８）。画像通話中である場合は（Ｓ２８：ＹＥＳ）、自拠点でのカメラ画像の画像データのエンコード処理が行われ（Ｓ２９）、そのエンコード処理された画像データが、相手側の端末装置にストリーミング配信される（Ｓ３０）。続いて、端末装置との接続が全て切断されたか否かが判断される（Ｓ３１）。接続が全て切断された場合は（Ｓ３１：ＹＥＳ）、処理を終了する。接続がまだ残っている場合は（Ｓ３１：ＮＯ）、図１４のＳ６に戻り、端末との接続状況が判断され、接続している端末装置の動作状況が最新のものに書き換えられ（Ｓ７〜１０）、上記と同様に処理が繰り返される。

なお、以上説明において、図２，図７に示すディスプレイ２８が本発明の「表示手段」に相当する。図２に示すマイク３５が本発明の「発話検出手段」に相当する。図３に示すＨＤＤ３１の頷き画像データテーブル記憶エリア３１３が本発明の「反応時画像記憶手段」に相当する。図１４に示すＳ８の処理を実行するＣＰＵ２０が本発明の「ＣＰＵ負荷検出手段」および「ＣＰＵ負荷状況記憶手段」に相当する。図１４に示すＳ９の処理を実行するＣＰＵ２０が本発明の「伝送時間検出手段」および「伝送時間記憶手段」に相当する。図１４に示すＳ１１の処理を実行するＣＰＵ２０が本発明の「反応時画像データ送信手段」に相当する。図１４に示すＳ１３の処理を実行するＣＰＵ２０が本発明の「端末特定手段」に相当する。図１４に示すＳ１４の処理を実行するＣＰＵ２０が本発明の「通知信号送信手段」に相当する。図１４に示すＳ１５の処理を実行するＣＰＵ２０が本発明の「通知信号受信手段」に相当する。図１５に示すＳ１６の処理を実行するＣＰＵ２０が本発明の「反応状態検出手段」に相当する。図１５に示すＳ１７の処理を実行するＣＰＵ２０が本発明の「反応信号送信手段」に相当する。図１６に示すＳ１９の処理を実行するＣＰＵ２０が本発明の「反応時画像データ受信手段」に相当する。図１６に示すＳ２０，２１の処理を実行するＣＰＵ２０が本発明の「解凍記憶処理手段」に相当する。図１６に示すＳ２２の処理を実行するＣＰＵ２０が本発明の「反応信号受信手段」に相当する。図１６に示すＳ２３の処理を実行するＣＰＵ２０が本発明の「反応時画像記憶判断手段」に相当する。図１６に示すＳ２４の処理を実行するＣＰＵ２０が本発明の「代替画像表示制御手段」に相当する。図１６に示すＳ２５の処理を実行するＣＰＵ２０が本発明の「反応時画像表示制御手段」に相当する。

以上説明したように、第１実施形態である端末装置３は、ネットワーク２を介して他の端末装置４乃至６と相互に接続される。これら端末装置間で、画像、音声を互いに送受信することで遠隔会議を実施するテレビ会議システム１を構成する。このテレビ会議システム１では、遠隔会議中に、特定の端末装置（端末装置３乃至６の何れか）において聞き手が頷いていることを検出した場合に、話者のいる相手側の端末装置（端末装置３乃至６の何れか）に聞き手の頷きを検出したことを通知する。頷きが通知された相手側の端末装置では、予め記憶しておいた聞き手の頷き画像を表示する。つまり、この方式では、ストリーミング方式とは異なり、画像データのエンコード及びデコードが不要であるので、聞き手の頷きを遅延なく表示できる。従って、話すタイミングと聞き手のリアクションとのずれを小さくできるので、円滑な会話を提供できる。

次に、第２実施形態である端末装置１３０について、図面を参照して説明する。第１実施形態では、ＣＰＵ２０による通信制御処理において、頷き画像を会議前に録画し、頷き画像の時間分だけ録画配信を停止する。これに対し、第２実施形態におけるＣＰＵ１２０の通信制御処理は、頷き画像を会議中に録画する点と、頷き画像の再生時間分だけストリーミング画像をカットする点がそれぞれ異なっている。そこで、これら異なる点を重点的に説明するために、第１実施形態とは異なるＣＰＵ１２０による通信制御処理を中心に説明する。なお、第２実施形態の端末装置１３０も第１実施形態の端末装置３と同様に、図１に示すテレビ会議システム１を構成するものである。

まず、端末装置１３０の構成について、図１９を参照して説明する。図１９は、端末装置１３０の電気的構成を示すブロック図である。端末装置１３０には、端末装置１３０の制御を司るコントローラとしてのＣＰＵ１２０が設けられている。ＣＰＵ１２０には、ＢＩＯＳ等を記憶したＲＯＭ１２１と、各種データを一時的に記憶するＲＡＭ１２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ１３１（以下、ＨＤＤ１３１）が接続されている。なお、ＨＤＤ１３１は、第１実施形態のＨＤＤ３１と同様の各種記憶エリア（図３参照）を備えるものとする。その他の構成は、第１実施形態の端末装置３（図２参照）と同様の構成を備えているので説明を省略する。

次に、ＣＰＵ１２０による通信制御処理について、図２０乃至図２３のフローチャートと、図２４を参照して説明する。図２０は、ＣＰＵ１２０による通信制御処理のフローチャートである。図２１は、図２０の続きを示すフローチャートである。図２２は、図２１の続きを示すフローチャートである。図２３は、図２２の続きを示すフローチャートである。図２４は、頷き検出時の画像カット処理を説明するためのタイミングチャートである。

図２０に示すように、まず、各種データが初期化される（Ｓ４０）。続いて、他の端末装置の少なくとも何れかとネットワーク２を介して接続したか否かが判断される（Ｓ４１）。他の端末装置の何れかと接続するまでは（Ｓ４１：ＮＯ）、Ｓ４１に戻り、処理が繰り返される。他の端末装置と接続した場合（Ｓ４１：ＹＥＳ）、接続した他の端末装置から送信される端末情報から、その端末装置の動作状況が、ＨＤＤ３１の端末状況テーブル記憶エリア３１２に記憶された端末状況テーブル３１２１（図５参照）に記憶される（Ｓ４２）。さらに、端末装置１３０のＣＰＵ１２０の負荷が計測され、端末状況テーブル３１２１（図５参照）に記憶される（Ｓ４３）。さらに、端末装置１３０のデータ伝送時間の遅延について計測され、端末状況テーブル３１２１（図５参照）に記憶される（Ｓ４４）。

さらに、端末装置の頷き検出機能の有無について、端末状況テーブル３１２１（図５参照）に記憶される（Ｓ４５）。端末装置は頷き検出機能が有る場合は、端末状況テーブル３１２１の頷き検出機能カラム６５には、「有り」と記憶される。なお、具体的には、頷き検出機能の有無の登録について、「有り」の場合は、頷き機能フラグ「１」が記憶される。「無し」の場合は、頷き機能フラグ「０」が記憶される。

次いで、話者を検出したか否かが判断される（Ｓ４７）。マイク３５からユーザの音声を検出した場合に話者と判断され、音声を検出しない場合は聞き手と判断される。ここで、話者となるか聞き手となるかでその後の処理が変わるので、話者が検出された場合と、話者が検出されずに聞き手となった場合とに分けて順に以下説明する。

まず、話者を検出した場合について説明する。図１９に示すように、端末装置の拠点において、話者を検出した場合（Ｓ４７：ＹＥＳ）、頷きを検出する端末装置が特定される（Ｓ４８）。ここでは、各端末装置の動作状況に基づいて決められた条件に基づいて、頷きを検出する一の端末装置が特定される。なお、端末を特定するための条件は、第１実施形態と同様に、上記した第１〜第４条件の何れかである。

そして、第２実施形態でも同様に、端末装置１３０において、これら第１〜４条件の中から何れかを選択することができる。ユーザによって選択された条件に基づき、ＣＰＵ１２０は、頷きを検出する一の端末装置を特定する。なお、頷きを検出する一の端末装置を特定する際に、頷き検出機能が無いものは除外される。そして、上記した条件に基づき、頷きを検出する一の端末装置が特定されたら、その特定した端末装置に向けて、頷きを検出するように指示するための頷き検出指示信号が送信される（Ｓ４９）。

続いて、他の端末装置から頷き検出指示信号を受信したか否かが判断される（Ｓ５０）。端末装置１３０が話者となっている場合は、頷き検出信号は送信する側であって受信する側ではないので（Ｓ５０：ＮＯ）、図２２に示すフローに移行し、相手側の端末装置から頷き画像を受信したか否かが判断される（Ｓ５７）。上記したように、頷き画像は、送信元の端末ＩＤと、頷き画像の録画時間と共に送信される。頷き画像を受信した場合（Ｓ５７：ＹＥＳ）、その頷き画像はエンコードされて圧縮された状態であるので、その頷き画像データのデコード処理が行われる（Ｓ５８）。そして、デコードされて無圧縮の状態となった頷き画像データと、端末ＩＤと、録画時間とが、ＨＤＤ３１に記憶された頷き画像データテーブル３１３１に登録される（Ｓ５９）。

ところで、第２実施形態においても、端末装置間で画像と音声の送受信が行われることで会議が行われる。画像については、図２４に示すように、画像を録画した端末装置から、その録画された画像の画像データがストリーミング方式で相手側の端末装置に送信され、ディスプレイ２８にバッファ再生される。ストリーミング方式では、エンコード処理とデコード処理に時間がかかる。従って、再生側の端末装置のディスプレイ２８の表示に遅延が生じる。例えば、ｒ０タイミングで録画した画像データは、遅延時間Ｐを経て、ｒ１タイミングで再生される。さらに、ｒ１タイミングで録画した画像データも同様に、遅延時間Ｐを経て、ｒ２タイミングで再生されることになる。

そして、図２２に示すように、端末装置１３０では、聞き手であって録画側である端末装置から頷き信号を受信したか否かが判断される（Ｓ６０）。頷き信号は、画像データに比べて情報量が格段に小さい。そのため、頷きを検出する端末として特定された端末装置から送信された頷き信号は、ネットワーク２を介して、話者である端末装置１３０に速やかに通知される。

ここで、録画側の端末装置において、ｒ３タイミング（図２４参照）で頷きが検出された場合、遅延時間Ｐよりも短い時間で、話者であって再生側である端末装置に向けて頷き信号が送信される。そして、再生側である端末装置において頷き信号がｒ４タイミング（図２４参照）で受信される。次いで、ＨＤＤ１３１に記憶された頷き画像データテーブル３１３１（図６参照）に、頷き信号を送信した端末装置に対応する頷き画像が記憶されているか否かが判断される（Ｓ６１）。

頷き画像が記憶されていると判断された場合（Ｓ６１：ＹＥＳ）、ｒ４タイミング（図２４参照）で、デコードした頷き画像データに基づき、ディスプレイ２８において再生中の画像に割り込んで再生される（Ｓ６３）。さらに、録画側の端末装置からのストリーミング配信について、再生した頷き画像の再生時間（Ｑ）がカットされる（Ｓ６４）。つまり、ストリーミング配信された画像の時間分Ｔ１と、割り込まれた際にバッファに残存する画像の時間分Ｔ２とがカットされる。さらに、頷き画像の再生時間Ｑが経過したｒ５タイミングにおいて、頷き画像が割り込まれた際にバッファに残存する画像のＴ２時間分が遅延して再生される。そして、Ｔ２時間分の再生が終了するｒ６タイミングから、通常のストリーミング画像のバッファ再生が行われる（Ｓ６５）。

なお、頷き信号を受信しても（Ｓ６０：ＹＥＳ）、ＨＤＤ３１の頷き画像データテーブル３１３１に頷き画像が記憶されていないと判断された場合（Ｓ６１：ＮＯ）、ＨＤＤ３１に予め記憶された代替画像が表示される（Ｓ６２）。代替画像は、例えば、文字、図形等で頷いていることを話者に示すものであればよい。

次に、図２３に示すように、端末装置間において、画像通話中であるか否かが判断される（Ｓ６６）。画像通話中である場合は（Ｓ６６：ＹＥＳ）、自拠点でのカメラ画像の画像データのエンコード処理が行われ（Ｓ６７）、そのエンコード処理された画像データが、相手側の端末装置にストリーミング配信される（Ｓ６８）。続いて、他の端末装置との接続が全て切断されたか否かが判断される（Ｓ６９）。接続が全て切断された場合は（Ｓ６９：ＹＥＳ）、処理を終了する。接続がまだ残っている場合は（Ｓ６９：ＮＯ）、図２０のＳ４１に戻り、接続している端末装置の動作状況が最新のものに書き換えられ、処理が繰り返される。

次に、端末装置１３０で話者を検出しなかった場合について説明する。図２０に示すように、端末装置１３０の拠点において、話者を検出しなかった場合（Ｓ４７：ＮＯ）、端末装置１３０は聞き手となる。そこで、図２１に示すように、話者となった相手側の端末装置から、頷き検出指示信号を受信したか否かが判断される（Ｓ５０）。頷き検出指示信号を受信した場合、頷き検出処理が実行される（Ｓ５１）。この頷き検出処理は、上記した頷き検出方法に従って、カメラ画像から頷いている人が検出され、カメラ画像から頷きが検出される。そして、頷き信号が話者となった相手側の端末装置に向けて送信される。

続いて、頷きが初回の検出であったか否かが判断される（Ｓ５２）。初回の検出の場合（Ｓ５２：ＹＥＳ）、話者側の端末装置には、聞き手である端末装置１３０の頷き画像データは記憶されていない。そこで、頷きを検出したユーザの頷き画像がエンコードされ（Ｓ５３）、ＨＤＤ１３１に記憶される（Ｓ５４）。さらに、そのエンコードされた頷き画像データが、ネットワーク２を介して接続した他の端末装置に向けて送信される（Ｓ５５）。なお、頷きが初回の検出でなかった場合は（Ｓ５２：ＮＯ）、頷き信号が話者である端末装置に向けて送信される。

その後、頷き画像を受信したか否かが判断される（Ｓ５７）。頷き画像を受信した場合（Ｓ５７：ＹＥＳ）、その頷き画像はエンコードされて圧縮された状態であるので、その頷き画像データのデコード処理が行われる（Ｓ５８）。そして、デコードされて無圧縮の状態となった頷き画像データと、端末ＩＤと、録画時間とが、ＨＤＤ１３１に記憶された頷き画像データテーブル３１３１に登録される（Ｓ５９）。

さらに、頷き信号を受信したか否かが判断される（Ｓ６０）。現在、端末装置１３０は聞き手であって、頷き信号を送信する側であるので（Ｓ６０：ＮＯ）、続いて、図２３に示すように、端末装置間において、画像通話中であるか否かが判断される（Ｓ６６）。画像通話中である場合は（Ｓ６６：ＹＥＳ）、自拠点でのカメラ画像の画像データのエンコード処理が行われ（Ｓ６７）、そのエンコード処理された画像データが、相手側の端末装置にストリーミング配信される（Ｓ６８）。続いて、端末装置との接続が全て切断されたか否かが判断される（Ｓ６９）。接続が全て切断された場合は（Ｓ６９：ＹＥＳ）、処理を終了する。接続がまだ残っている場合は（Ｓ６９：ＮＯ）、図１９のＳ４１に戻り、図２０のＳ４１に戻り、端末との接続状況が判断され、接続している端末装置の動作状況が最新のものに書き換えられ（Ｓ４２〜４５）、上記と同様に処理が繰り返される。

以上説明したように、第２実施形態の端末装置１３０では、ＣＰＵ１２０の通信制御処理において、頷き画像を会議中に録画できるので、会議前に録画する準備等の手間が不要である。さらに、頷き画像を再生する際に、頷き画像の再生時間分だけストリーミング画像をカットする。この場合、ストリーミング配信する側の端末装置において、第１実施形態のように、ストリーミングを一時停止するような処理が不要となる。

なお、以上説明において、図２１に示すＳ５２の処理を実行するＣＰＵ２０が本発明の「初回反応状態検出手段」に相当する。図２１に示すＳ５３，５４の処理を実行するＣＰＵ２０が本発明の「反応時画像記憶処理手段」に相当する。図２２に示すＳ６３の処理を実行するＣＰＵ２０が本発明の「割り込み表示手段」に相当する。図２２に示すＳ６４の処理を実行するＣＰＵ２０が本発明の「第１ストリーミング画像カット手段」に相当する。

次に、本発明の第３実施形態である端末装置２３０について、図２５を参照して説明する。図２５は、端末装置２３０の電気的構成を示すブロック図である。第１，第２実施形態では、ユーザの頷きをカメラ画像から画像処理を用いて検出している。第３実施形態では、話者の話に聞き手が納得した場合に、端末装置２３０に設けられた頷きボタン７０を押下するようになっている。

端末装置２３０の構成について説明する。図２５に示すように、端末装置２３０には、端末装置２３０の制御を司るコントローラとしてのＣＰＵ２２０が設けられている。ＣＰＵ２２０には、ＢＩＯＳ等を記憶したＲＯＭ２２１と、各種データを一時的に記憶するＲＡＭ２２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ２３１が接続されている。そして、第１実施形態の端末装置３（図２参照）と同様の構成を備えると共に、Ｉ／Ｏインタフェイス３０には、頷きボタン７０が接続されている。

頷きボタン７０は、聞き手が話者の話に納得した場合に押下されるものである。よって、この頷きボタン７０が押下されると、話者である端末装置に向けて、第１実施形態と同様の頷き信号が送信される。つまり、ＣＰＵ２２０による通信制御処理は、第１実施形態の通信制御処理の中で、頷きを検出する一の端末装置に特定された場合の頷き検出処理（図１５：Ｓ１６）において、頷きボタン７０が押下されたか否かを判断する点が異なる。頷きボタン７０が押下された場合は、頷き信号が送信される（図１５：Ｓ１７）ので、第１実施形態と同様の効果を得ることができる。

以上説明したように、第３実施形態の端末装置２３０では、話者の話に聞き手が納得した場合に、端末装置２３０に設けられた頷きボタン７０を押下するので、第１実施形態のような画像処理に比べて、聞き手が納得した意志を話者に確実に伝えることができる。なお、図２５に示すＳ頷きボタン７０が本発明の「操作手段」に相当する。

なお、本発明は、上記の第１乃至第３実施形態に限定されることなく、種々の変更が可能である。例えば、上記実施形態では、ユーザの頭部が上下方向に振れる頷きを検出したものであるが、首を左右に振って話者に対して否定する反応状態を、上記した画像処理によって検出することも可能である。この場合、頷き画像と同様に、首を横に振る画像を記憶しておけば、聞き手の否定の意志を話者に速やかに伝えることができる。

また、その他にも、人間には自己の感情を相手に伝えるために、頭部を振る動作のみならず、種々のジェスチャーで表現することがある。このような聞き手の反応状態の特徴を検出することで、様々な反応を検出でき、本発明を適用することができる。

テレビ会議システム１の構成を示すブロック図である。 端末装置３の電気的構成を示すブロック図である。 ＨＤＤ３１の各種記憶エリアを示す概念図である。 ログインテーブル３１１１の概念図である。 端末状況テーブル３１２１の概念図である。 頷き画像データテーブル３１３１の概念図である。 ディスプレイ２８における一表示態様を示す図である。 うつむき加減を示す特徴量ｄの説明図（頷き前）である。 うつむき加減を示す特徴量ｄの説明図（頷き後）である。 カメラ画像データ４０の概念図である。 検出波形パターン（頷き時）を示すグラフである。 登録された頷き波形パターンを示すグラフである。 ＣＰＵ２０による通信制御処理のフローチャートである。 図１３の続きを示すフローチャートである。 図１４の続きを示すフローチャートである。 図１５の続きを示すフローチャートである。 図１６の続きを示すフローチャートである。 頷き検出時の画像カット処理を説明するためのタイミングチャートである。 第２実施形態である端末装置１３０の電気的構成を示すブロック図である。 ＣＰＵ１２０による通信制御処理のフローチャートである。 図２０の続きを示すフローチャートである。 図２１の続きを示すフローチャートである。 図２２の続きを示すフローチャートである。 頷き検出時の画像カット処理を説明するためのタイミングチャートである。 第３実施形態である端末装置２３０の電気的構成を示すブロック図である。

符号の説明

１ テレビ会議システム
２ ネットワーク
３ 端末装置
２０ ＣＰＵ
２８ ディスプレイ
３１ ハードディスクドライブ
３４ カメラ
３５ マイク
７０ 頷きボタン
１２０ ＣＰＵ
１３０ 端末装置
２２０ ＣＰＵ
２３０ 端末装置
３１１ ログインテーブル記憶エリア
３１２ 端末状況テーブル記憶エリア
３１３ 頷き画像データテーブル記憶エリア
３１４ カメラ画像データ記憶エリア

Claims (16)

1. ネットワークを介して相手側端末と画像を介した通信を行う通信端末装置であって、
   前記相手側端末から送信された前記画像データを表示する表示手段と、
   ユーザの反応状態を検出する反応状態検出手段と、
   当該反応状態検出手段によって前記反応状態が検出された場合に、前記相手側端末に、前記ユーザに前記反応状態が検出されたことを示す反応信号を送信する反応信号送信手段と、
   当該反応信号送信手段によって送信された前記反応信号を受信する反応信号受信手段と、
   前記相手側端末の相手ユーザが前記反応状態を示すときの反応時画像を記憶する反応時画像記憶手段と、
   前記反応信号受信手段によって前記反応信号が受信された場合に、前記反応時画像記憶手段に記憶された前記相手ユーザの前記反応時画像を、前記表示手段に表示する反応時画像表示制御手段と
   を備えたことを特徴とする通信端末装置。
2. 前記表示手段には、前記相手側端末から送信され、前記相手側端末で撮影された前記相手ユーザのストリーミング画像が表示され、
   前記反応信号受信手段によって前記反応信号が受信された場合に、前記表示手段に表示されている前記ストリーミング画像に割り込んで、前記反応時画像を表示させる割り込み表示手段と、
   当該割り込み表示手段によって前記反応時画像が割り込まれた時から、前記反応時画像の時間に相当する時間分だけ、前記ストリーミング画像をカットする第１ストリーミング画像カット手段と
   を備えたことを特徴とする請求項１に記載の通信端末装置。
3. 前記相手側端末に送信する前記ユーザのストリーミング画像を、前記反応時画像データ送信手段によって送信される前記反応時画像データの時間に相当する時間分だけカットして、前記相手側端末に送信する第２ストリーミング画像カット手段を備えたことを特徴とする請求項１に記載の通信端末装置。
4. 前記反応状態検出手段によって前記ユーザの前記反応状態が検出されたときの反応時画像データを圧縮し、前記相手側端末に送信する反応時画像データ送信手段と、
   前記相手側端末の前記反応時画像データ送信手段により送信された前記反応時画像データを受信する反応時画像データ受信手段と、
   当該反応時画像データ受信手段によって受信された前記反応時画像データを解凍して、前記反応時画像記憶手段に記憶する解凍記憶処理手段と
   を備えたことを特徴とする請求項１乃至３の何れかに記載の通信端末装置。
5. 前記ネットワークを介して、複数の前記相手側端末と接続している場合に、前記複数の前記相手側端末の中から、所定条件に基づいて、前記相手ユーザの前記反応状態を検出する一の端末を特定する端末特定手段と、
   当該端末特定手段によって特定された前記一の端末に向けて、前記反応状態を検出する端末として特定されたことを通知する通知信号を送信する通知信号送信手段と、
   前記相手側端末から送信された前記通知信号を受信する通知信号受信手段と
   を備え、
   前記反応状態検出手段は、前記通知信号受信手段によって前記通知信号が受信された場合に、前記ユーザの前記反応状態を検出することを特徴とする請求項１乃至４の何れかに記載の通信端末装置。
6. 前記ネットワークを介した前記相手側端末のＣＰＵの負荷状況を検出するＣＰＵ負荷状況検出手段と、
   当該ＣＰＵ負荷状況検出手段によって前記相手側端末毎に検出された前記ＣＰＵの負荷状況を記憶するＣＰＵ負荷状況記憶手段と
   を備え、
   前記端末特定手段は、
   前記ＣＰＵ負荷状況記憶手段に記憶された前記ＣＰＵ負荷状況を参照して、最もＣＰＵの負荷が低い前記相手側端末を、前記一の端末として特定する第１所定条件を備えたことを特徴とする請求項５に記載の通信端末装置。
7. 前記ネットワークを介した前記相手側端末との通信におけるデータの伝送時間を検出する伝送時間検出手段と、
   当該伝送時間検出手段による検出結果を記憶する伝送時間記憶手段と
   を備え、
   前記端末特定手段は、
   前記伝送時間記憶手段に記憶された前記検出結果を参照して、最も伝送時間の短い前記相手側端末を、前記一の端末として特定する第２所定条件を備えたことを特徴とする請求項５に記載の通信端末装置。
8. 前記相手側端末毎に、ログインした前記相手ユーザの人数を検出するログイン人数検出手段と、
   当該ログイン人数検出手段によって検出されたログイン人数を記憶するログイン人数記憶手段と
   を備え、
   前記端末特定手段は、
   前記ログイン人数記憶手段に記憶された前記相手側端末毎のログイン人数において、最も多いログイン人数である前記相手側端末を、前記一の端末として特定する第３所定条件を備えたことを特徴とする請求項５に記載の通信端末装置。
9. 前記相手ユーザの発話を検出する発話検出手段と、
   当該発話検出手段によって検出された前記相手ユーザ毎の発話時からの経過時間を計測する経過時間計測手段と
   を備え、
   前記端末特定手段は、
   前記経過時間計測手段によって計測された前記経過時間が最も短い前記相手ユーザの前記相手側端末を、前記一の端末として特定する第４所定条件を備えたことを特徴とする請求項５に記載の通信端末装置。
10. 前記反応状態検出手段は、
    前記ユーザの頭部が所定方向に振れて頷く頷き状態を、前記反応状態として検出することを特徴とする請求項１乃至９の何れかに記載の通信端末装置。
11. 前記反応状態検出手段は、
    前記ユーザの頭部が横方向に振れて拒否する拒否状態を、前記反応状態として検出することを特徴とする請求項１乃至９の何れかに記載の通信端末装置。
12. 前記ユーザが納得している場合に前記ユーザによって操作される操作手段を備え、
    前記反応状態検出手段は、
    前記操作手段による操作を検出することで、前記ユーザの納得状態を、前記反応状態として検出することを特徴とする請求項１乃至９の何れかに記載の通信端末装置。
13. 前記反応状態検出手段によって検出された前記ユーザの前記反応状態が初回か否かを判断する初回反応状態判断手段と、
    当該初回反応状態判断手段によって前記反応状態が初回と判断された場合に、前記反応時画像記憶手段に前記反応時画像を記憶する反応時画像記憶処理手段と
    を備え、
    前記反応時画像データ送信手段は、前記反応時映像記憶手段に記憶された前記反応時映像データを圧縮した状態で前記相手側端末に送信することを特徴とする請求項１乃至１２の何れかに記載の通信端末装置。
14. 前記反応信号受信手段によって前記反応信号が受信された場合に、前記反応時画像記憶手段に、前記相手ユーザの前記反応時画像データが記憶されているか否かを判断する反応時画像記憶判断手段と、
    当該反応時画像記憶判断手段によって前記反応時画像が記憶されていないと判断された場合に、前記表示手段に、前記相手ユーザが前記反応状態を示していることを、前記反応時画像の代わりに、文字、図形、記号等で表記する代替画像を表示する代替画像表示制御手段と
    を備えたことを特徴とする請求項１乃至１３の何れかに記載の通信端末装置。
15. ネットワークを介して相手側端末と画像を介した通信を行う通信端末装置の通信制御方法であって、
    前記相手側端末から送信される画像データを受信する画像データ受信ステップと、
    ユーザの反応状態を検出する反応状態検出ステップと、
    当該反応状態検出ステップにおいて前記反応状態が検出された場合に、前記相手側端末に、前記ユーザに前記反応状態が検出されたことを示す反応信号を送信する反応信号送信ステップと、
    当該反応信号送信ステップにおいて送信された前記反応信号を受信する反応信号受信ステップと、
    前記反応信号受信ステップにおいて前記反応信号が受信された場合に、前記相手側端末の相手ユーザが前記反応状態を示すときの反応時画像を記憶する前記反応時画像記憶手段に記憶された前記相手ユーザの前記反応時画像を、前記画像データ受信ステップにおいて受信された前記画像データを表示する前記表示手段に表示する反応時画像表示制御ステップと
    を備えたことを特徴とする通信制御方法。
16. 請求項１５に記載の通信制御方法の各種処理ステップとしてコンピュータに実行させるための通信制御プログラム。

Images