JP2016208273A - 映像表示システム - Google Patents

Abstract

【課題】利用者がデバイスを意識せずに自然にコミュニケーションできるテレビ電話やテレビ会議システムを行う映像表示システムを提供する。
【解決手段】撮影装置１０−１は、第１のホログラフィック光学素子面１１−１からの反射光を撮影して受話側の投影装置１３−２に送信する。第２のホログラフィック光学素子面１２−１は、第１のホログラフィック光学素子面１１−１と平行に配置され、投影装置１３−１を撮影装置１０−１の撮像素子上で結像した光が反射及び屈折せずに両方のホログラフィック光学素子面を透過して、仮想の撮影装置の撮像素子上で結像するものと仮定した場合の仮想の撮影装置の位置Ｔを頂点とし、第１のホログラフィック光学素子面１１−１の境界をその側面に含む錐体の外側に配置し、受話側の撮影装置１０−２にて撮影された映像を第２のホログラフィック光学素子面１２−１に投影する。
【選択図】図１

Description

本発明は、テレビ電話やテレビ会議システムに利用される映像表示システムに関する。

昨今、テレビ電話システム、テレビ会議システムが普及しつつある（例えば、非特許文献１、非特許文献２）。非特許文献１のテレビ電話システムは、送話側（受話側）の映像、音声をテレビ用カメラ、マイクで収録して、インターネットに接続可能なテレビと専用のアプリケーションとを用いて受話側（送話側）で再生することにより実現される。非特許文献２のテレビ会議システムも同様に、送話側（受話側）の映像、音声を専用のカメラ、マイクで収録して受話側（送話側）のモニタやプロジェクタで再生することでテレビ会議を実現する。

パナソニック株式会社、"デジタル家電の知らないコトいっぱい！ テレビの楽しみ方 大きな画面で家族や友人とテレビ電話を楽しもう！"、[online]、平成26年9月3日、パナソニック株式会社、[平成27年4月7日検索]、インターネット<URL:http://panasonic.jp/blog/viera/2014/09/post-4.html> パナソニック株式会社、"パナソニックのテレビ会議・ビデオ会議システム−ＨＤコム"、[online]、パナソニック株式会社、[平成27年4月7日検索]、インターネット<URL: http://panasonic.biz/com/visual/>

上述のテレビ電話システムや、テレビ会議システムではモニタ、テレビ、スクリーンなどに映る受話者（送話者）の顔の位置と、送話者（受話者）の顔面を撮影するカメラの位置とがずれているために、受話者と送話者の視線が合わず、受話者と送話者の自然なコミュニケーションの妨げとなっていた。そこで本発明では、利用者がデバイスを意識せずに自然にコミュニケーションできるテレビ電話やテレビ会議システムを実現する映像表示システムを提供することを目的とする。

本発明の映像表示システムは、第１のホログラフィック光学素子面と、撮影装置と、第２のホログラフィック光学素子面と、投影装置を含む。

撮影装置は、第１のホログラフィック光学素子面からの反射光を撮影して受話側の投影装置に送信する。第２のホログラフィック光学素子面は、第１のホログラフィック光学素子面と平行に配置される。撮影装置の撮像素子上で結像した光が反射および屈折せずに第１、第２のホログラフィック光学素子面を透過して、仮想の撮影装置の撮像素子上で結像するものと仮定した場合の仮想の撮影装置の位置を表す点を点Ｔと定義し、投影装置は、点Ｔを頂点とし第１のホログラフィック光学素子面の境界をその側面に含む錐体の外側に配置され、受話側の撮影装置にて撮影された映像を第２のホログラフィック光学素子面に投影する。

本発明の映像表示システムによれば、利用者がデバイスを意識せずに自然にコミュニケーションできるテレビ電話やテレビ会議システムを実現することができる。

実施例１の映像表示システムの構成を示す概略斜視図。 実施例１の映像表示システムの構成を示す概略側面図。 実施例１の映像表示システムの動作を示すフローチャート。 実施例１の映像表示システムの第１ＨＯＥ面と第２ＨＯＥ面の波長毎の反射率を異ならせた例を説明する図。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

以下、図１、図２、図３を参照して実施例１の映像表示システムの構成、および動作を説明する。図１は、本実施例の映像表示システム１の構成を示す概略斜視図である。図２は、本実施例の映像表示システム１の構成を示す概略側面図である。図３は、本実施例の映像表示システム１の動作を示すフローチャートである。本実施例の映像表示システム１は受話側と送話側に同じ構成要件を備える。以下、利用者９−１と利用者９−２が本システムを利用して対話する場面を前提に説明を進める。

本実施例の映像表示システム１は、利用者９−１が利用する設備として撮影装置１０−１と、第１のホログラフィック光学素子面１１−１（以下、第１ＨＯＥ面１１−１ともいう）と、第２のホログラフィック光学素子面１２−１（以下、第２ＨＯＥ面１２−１ともいう）と、投影装置１３−１を含む。また本実施例の映像表示システム１は、利用者９−２が利用する設備として上述と同様の撮影装置１０−２と、第１のホログラフィック光学素子面１１−２（以下、第１ＨＯＥ面１１−２ともいう）と、第２のホログラフィック光学素子面１２−２（以下、第２ＨＯＥ面１２−２ともいう）と、投影装置１３−２を含む。なお図示を省略したが、映像表示システム１には撮影装置１０−１（１０−２）と、投影装置１３−１（１３−２）を制御する制御装置（典型的にはコンピュータ）を含んでもよいし、撮影装置１０−１（１０−２）、投影装置１３−１（１３−２）の何れかに本システムを制御する機能が組み込まれていてもよい。なお上述したように利用者９−２側の設備は利用者９−１側の設備と全く同じであるため、利用者９−２側の設備の説明は適宜省略し、主に利用者９−１側の設備について説明する。

図１に示すように、第１ＨＯＥ面１１−１は例えば横長の長方形の面とすることができる。以下の説明では、第１ＨＯＥ面１１−１の四つの頂点を利用者９−１からみて左上の頂点から順に時計回りにＶ１、Ｖ２、Ｖ３、Ｖ４と呼ぶ。第１ＨＯＥ面１１−１はこれ以外の形状、例えば円形、楕円形の面などであっても良い。

第１ＨＯＥ面１１−１は入射光を所定の角度に反射、集光する（Ｓ１）。利用者９−１から発せられる光のうち、所定の角度で第１ＨＯＥ面１１−１に入射した光の所定の波長成分は、選択的に第１ＨＯＥ面１１−１上で反射し、撮影装置１０−１のレンズに集光される。この光の軌跡を破線で表した。なお撮影装置１０−１は、利用者９−１の視界を妨げず、利用者９−２が観察する映像に映り込まないように、利用者９−１の頭上、例えば天井付近などに設置される。

前述したように第１ＨＯＥ面１１−１はホログラフィック光学素子（ホログラム）である。ホログラムには波面再現性、波長選択性があることが知られている。波面再現性とは、ホログラム露光時の光の経路を再現する性質のことである。波長選択性とは、ホログラム露光時の波長光のみを屈折、反射し、それ以外の波長光については透過させる性質のことである。従って、第１ＨＯＥ面１１−１の反射特性は、入射光の向きや波長成分を選択するように設計することができる。第１ＨＯＥ面１１−１の反射特性を適切に設計することにより、撮影装置１０−１の撮像素子上で利用者９−１やその周辺の像を結像させることができる。撮影装置１０−１は、第１ＨＯＥ面１１−１からの反射光を撮影し、受話側の投影装置である投影装置１３−２に送信する（Ｓ２）。第２ＨＯＥ面１２−１は、第１ＨＯＥ面１１−１と平行に配置される。図１に示すように、第２ＨＯＥ面１２−１は第１ＨＯＥ面１１−１よりも、利用者からみて奥側に配置することができる。図１の例に限らず、第２ＨＯＥ面１２−１を利用者からみて手前側に配置してもよい。第２ＨＯＥ面１２−１は第１ＨＯＥ面１１−１と同じように、横長の長方形の面とすることができるし、これ以外の形状、例えば円形、楕円形、あるいはそれ以外の形状の面であっても良い。第２ＨＯＥ面１２−１は、一般的には第１ＨＯＥ面１１−１と同程度のサイズ、形状とされるが、これに限らず、例えば第１ＨＯＥ面１２−１よりも大きなサイズとしても良いし、第１ＨＯＥ面１２−１と異なる形状としても良い。第２ＨＯＥ面１２−１は、第１ＨＯＥ面１１−１と同様に入射光の向きや波長成分を選択して反射するように設計されている。投影装置１３−１は、撮影装置１０−２が撮影した映像を受信する。投影装置１３−１は、第２ＨＯＥ面１２−１に、撮影装置１０−２から受信した映像を投影する（Ｓ３）。利用者９−１は、投影装置１３−１が第２ＨＯＥ面１２−１に投影した像（例えば利用者９−２の像Ｐ−２や利用者９-２の周辺環境）を視認することができる。なお、第２ＨＯＥ面１２−１は、その反射光が利用者９−１から視認でき、撮影装置１０−１に入射しない方向に制御できる光学材料であればよく、ホログラフィック光学素子以外であってもよい。第２ＨＯＥ面１２−１は例えばフレネルレンズに代替することもできる。この場合、フレネルレンズは、入射光をレンズ設計により予め定められた角度に反射する。投影装置１３−１が投影した映像光を、撮影装置１０−１の方向や、投影装置１３−１の方向に反射しないように制御すれば、投影装置１３−１が投影した映像が撮影装置１０−１に写り込まないだけではなく、利用者９−１に拡散反射（壁など）の場合に比べて明るい映像を視認させることが可能となる。

＜投影装置１３−１の配置＞
投影装置１３−１はシステムの利用上、妨げになりにくい位置に配置される。具体的には、投影装置１３−１は、仮想の撮影装置（図中、破線で表示）の位置を表す点である点Ｔを頂点とし、第１ＨＯＥ面１１−１の境界をその側面に含む錐体（図１の例では、辺Ｖ１Ｖ２、Ｖ２Ｖ３、Ｖ３Ｖ４、Ｖ４Ｖ１をその側面に含む四角錐）の外側に配置される（図２参照）。仮想の撮影装置の位置とは、撮影装置１０−１の撮像素子上で結像した光が反射および屈折せずに第１、第２ＨＯＥ面１１−１、１２−１を透過して、仮想の撮影装置の撮像素子上で結像するものと仮定した場合の、仮想の撮影装置の位置のことである。投影装置１３−１を上述の位置に配置することにより、投影装置１３−１から発せられる光が第１ＨＯＥ面１１−１で反射して、撮影装置１０−１に入射することを防止することができ、利用者９−２からみて映像が不自然な印象となることを防止することができる。

＜投影装置１３−１＞
図１に示すように、投影装置１３−１は好ましくは短焦点型のプロジェクタとする。短焦点型のプロジェクタは、超短焦点型のプロジェクタと表記される場合もある。超短焦点型のプロジェクタと呼ばれるものには、スクリーンから１０ｃｍ程度の距離で映像を投影できるものも存在する。投影装置１３−１に短焦点型、超短焦点型のプロジェクタを用いることにより、利用者９−１から発せられて第１ＨＯＥ面１１−１に入射する光と、投影装置１３−１から出力されて第１ＨＯＥ面１１−１に入射する光（図１に光線の軌跡を二点鎖線で表した）の角度を異ならせることができる。投影装置１３−１に短焦点型、超短焦点型のプロジェクタを用いることなどにより、光線の角度を異ならせることができれば、正面方向からの光（例えば入射角１０度以下の所定方向からの光）については、撮影装置１０−１に反射、集光し、それ以外の方向からの光はすべて透過するように、第１ＨＯＥ面１１−１の反射特性を設計することにより、利用者９−１およびその周辺から発せられた光と、投影装置１３−１が出力した光とを良好に分別することができる。これにより、投影装置１３−１の出力光が撮影装置１０−１に入射して、映像の視認性を悪化させる現象を防止できる。また投影装置１３−１を短焦点型、あるいは超短焦点型のプロジェクタとすれば、利用者９−１が投影面に近づいたとしても、利用者９−１が投影装置１３−１と投影面の間に割り込んでしまう可能性が少なくなるため、利用者９−１によって、投影装置１３−１からの出力光が遮られる可能性が少なくなる。

＜第１、第２ＨＯＥ面における波長選択＞
以下、図４を参照して第１、第２ＨＯＥ面における波長選択について説明する。図４は、本実施例の映像表示システム１の第１ＨＯＥ面１１−１と第２ＨＯＥ面１２−１の波長毎の反射率を異ならせた例を説明する図である。図４に実線で示すように、第１ＨＯＥ面１１−１と第２ＨＯＥ面１２−１の何れか一方の面において、波長Ｂ_１、Ｇ_１、Ｒ_１を中心とする狭帯域の波長領域（それぞれ青色、緑色、赤色として視認される狭帯域の波長領域）のみで高い反射率を有するように設計し、他方の面において、波長Ｂ_１、Ｇ_１、Ｒ_１をそれぞれ波長正方向にシフトした波長Ｂ_２、Ｇ_２、Ｒ_２を中心とする狭帯域の波長領域（上述の青色、緑色、赤色よりも長波長側にシフトした青色、緑色、赤色として視認される狭帯域の波長領域）のみで高い反射率を有するように設計することにより、映像の品質をさらに向上させることができる。上述したように、第１ＨＯＥ面１１−１で反射される光と透過される光とは、その光線の向きを異ならせることにより第１ＨＯＥ面１１−１でフィルタリング可能であるため、撮像系と投影系の光は概ね弁別される。ここで図４に示すように、第１ＨＯＥ面１１−１で反射して撮影装置１０−１に入射する光の三原色と第１ＨＯＥ面１１−１を透過して第２ＨＯＥ面１１−２に投影されて利用者９−１に視認される光の三原色とを異ならせることにより撮像系と投影系の光をさらに高精度に弁別することが可能となる。

図４のように反射光の三原色をシフトさせた場合には、表示映像のカラーバランスをソフトウェアで補正する必要がある。

＜変形例＞
撮影装置１０−１は例えばスマートフォンのカメラとしてもよい。また、撮像系と投影系の光をさらに高精度に弁別するため、撮影装置１０−１と投影装置１３−１を同期させ、撮影装置１０−１のレンズにシャッターを設け、撮影装置１０−１の撮影タイミングと、投影装置１３−１の投影タイミングを高速に切替える時分割操作を実行してもよい。すなわち、投影装置１３−１による映像投影と撮影装置１０−１による撮影とを所定のフレームレートで切り替えながら交互に実行してもよい。同期操作、時分割操作は、前述の制御装置が実行してもよいし、撮影装置１０−１と投影装置１３−１の何れかに制御機能を持たせて実行させてもよい。切替のレートを例えば１２０Ｈｚとすれば、撮影と投影にそれぞれ６０Ｈｚを割り振ることができ、撮影、投影ともに十分なフレームレートを確保することができる。

＜効果＞
本実施例の映像表示システム１によれば、ホログラフィック光学素子を利用することにより、利用者から発せられる光をあたかも正面から撮影するかのように撮影でき、かつ相手の利用者からの映像を第１ＨＯＥ面に映り込ませずに、第２ＨＯＥ面上で投影して、利用者の正面に映し出すことができるため、利用者同士の視線が合わないという従来の課題を解決することができ、利用者がデバイスを意識せずに自然にコミュニケーションすることができる。また、映像の表示に投影装置を用いることにより従来のテレビ電話システム、テレビ会議システムで表示される映像よりも大画面の映像をローコストで実現することができる。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

1. 第１のホログラフィック光学素子面と、
   前記第１のホログラフィック光学素子面からの反射光を撮影して受話側の投影装置に送信する撮影装置と、
   前記第１のホログラフィック光学素子面と平行に配置された第２のホログラフィック光学素子面と、
   前記撮影装置の撮像素子上で結像した光が反射および屈折せずに前記第１、第２のホログラフィック光学素子面を透過して、仮想の撮影装置の撮像素子上で結像するものと仮定した場合の前記仮想の撮影装置の位置を表す点を点Ｔと定義し、
   前記点Ｔを頂点とし前記第１のホログラフィック光学素子面の境界をその側面に含む錐体の外側に配置され、前記受話側の撮影装置にて撮影された映像を前記第２のホログラフィック光学素子面に投影する投影装置と、
   を含む映像表示システム。
2. 第１のホログラフィック光学素子面と、
   前記第１のホログラフィック光学素子面からの反射光を撮影して受話側の投影装置に送信する撮影装置と、
   前記第１のホログラフィック光学素子面と平行に配置されたフレネルレンズと、
   前記撮影装置の撮像素子上で結像した光が反射および屈折せずに前記第１のホログラフィック光学素子面、前記フレネルレンズを透過して、仮想の撮影装置の撮像素子上で結像するものと仮定した場合の前記仮想の撮影装置の位置を表す点を点Ｔと定義し、
   前記点Ｔを頂点とし前記第１のホログラフィック光学素子面の境界をその側面に含む錐体の外側に配置され、前記受話側の撮影装置にて撮影された映像を前記フレネルレンズに投影する投影装置と、
   を含む映像表示システム。
3. 請求項１に記載の映像表示システムであって、
   前記第１のホログラフィック光学素子面は所定の波長領域の入射光を反射してそれ以外の波長領域の入射光を透過させ、前記第２のホログラフィック光学素子面は、前記第１のホログラフィック光学素子面が反射する波長領域とは異なる波長領域の入射光を反射してそれ以外の波長領域の入射光を透過させる
   映像表示システム。
4. 請求項２に記載の映像表示システムであって、
   前記第１のホログラフィック光学素子面は所定の波長領域の入射光を反射してそれ以外の波長領域の入射光を透過させ、前記フレネルレンズは、入射光を所定の角度に反射する
   映像表示システム。
5. 請求項１から４の何れかに記載の映像表示システムであって、
   前記投影装置は、短焦点型のプロジェクタである
   映像表示システム。
6. 請求項１から５のいずれかに記載の映像表示システムであって、
   前記投影装置による映像投影と前記撮影装置による撮影を所定のフレームレートで切り替えながら交互に実行する
   映像表示システム。

Images