JP5836768B2 - 撮像装置付き表示装置 - Google Patents

Description

本発明は、テレビ電話などのリアルタイム双方向通信などに好適な撮像装置付き表示装置に関するものである。

近年、通信網の目覚しい発展によりテレビ電話などのリアルタイム双方向通信が可能となった。テレビ電話は被写体像を電気的な画像信号に変換する撮像手段と電気的な画像信号を光信号に変換して表示する表示手段とから構成されている。テレビ電話の使用者は、表示手段の画面に映された相手の顔を見ながら会話をし、同時に使用者の顔は、撮像手段により撮影され、電気信号に変換されたのち、相手側へ送られる。しかしながら、従来のテレビ電話など双方向通信に用いられる機器では、撮像手段は表示手段の隣りまたは別の独立した装置として設けられており、表示手段を見ている受信者を斜め方向から撮影することになる。そのため、表示手段に映った相手の顔は視線が別のところを向いており、相互に話していてもぎこちなく、面と向かって話をするばあいと比較して違和感があるという問題がある。また撮像装置と表示装置とを別々に製造して組み立てたり、別個の装置としたりしなければならず、製造コストが高くなるという問題がある。

そこで本出願人は、複数の表示画素と複数の表示画素の各表示画素間に配置された遮光部材とを備えた表示手段と、表示手段の背部に配置された撮像手段とを具備した撮像装置付き表示装置を特許文献１にて開示している。そして、これは、遮光部材の一部に撮像手段に光を導くための開口部を備え、撮像手段は開口部に対応した位置に結像手段を備えている。

同文献の撮像装置付き表示装置は、表示手段を見ながらの撮像ができ、かつ表示手段に表示される相手と視線を一致させることが可能となる。また、表示手段前面に薄型の撮像手段を設けたことによって装置全体が大型化することもない。

しかしながら、表示手段の画面に映される相手の顔の位置が画面内に配置された撮像手段の位置と一致するとは限らない。また、表示手段の画面内に配置された撮像手段の位置に対してずれた位置に映された相手の顔をみる使用者の位置も、相手の顔の位置にあわせてずれてしまう場合もある。

図６は、テレビ電話等の表示手段を注視する使用者の視線方向と撮像手段の方向とのズレを説明する平面図である。図中２０は表示手段である表示パネル、５は撮像手段であるカメラ、１０は使用者である。また、×印の１１は表示パネル２０に表示された相手の顔の位置を示している。

図７は、従来の撮像装置付き表示装置の説明図で、表示パネル２０に使用者を撮影するカメラ５が組み込まれている。同図では、カメラ５の位置に対して図中−ｘ方向（水平方向）にずれた位置（図中×印の位置）に相手の顔１１が表示され、使用者１０はカメラ５の光軸（ｚ軸）からずれた位置より相手の顔１１を注視している。ここで、カメラ５が使用者１０を撮影する撮影方向と使用者１０の視線方向とは所定の角度θずれており、この角度θが大きいとカメラ５で撮影された使用者の画像をみたテレビ電話の相手側の人は自分の顔を見ながら会話していない、と認識してしまう。

カメラ５で撮影された使用者の画像をみたテレビ電話の相手側の人が、自分を見ているように認識してもらうためには、カメラ５が使用者１０を撮影する撮影方向と使用者１０の視線方向とのなす角度θを小さくする必要がある。

カメラ５が使用者１０を撮影する撮影方向と使用者１０の視線方向とのなす角度θを小さくするために、特許文献１では表示パネル２０に複数のカメラ５を配設している。そうすることによって、複数のカメラのうちの一台のカメラ５が使用者１０を撮影する撮影方向と使用者１０の視線方向とのなす角度θが小さくなり、カメラ５で撮影された使用者の画像をみた相手側の人は、自分を見ているように認識してもらえるようになる。

特開２００５−１７６１５１号公報

しかしながら、表示パネル２０の任意の位置に表示される相手側の人を注視する使用者１０の視線方向と使用者１０を撮影するカメラ５の撮影方向とのなす角度θを小さくするためには、表示パネル２０の背面近傍に多数のカメラ５を配設しなければならない。そのため、製造コストがかかってしまうという欠点があった。

（発明の目的）
本発明の目的は、製造コストの上昇を最低限に抑えることができる撮像装置付き表示装置を提供することである。

上記目的を達成するために、本発明の撮像装置付き表示装置は、画像情報を表示する表示手段と、前記表示手段の背面に配設され、前記表示手段の画像情報を観察する使用者を撮影する複数の撮像手段とを備えた撮像装置付き表示装置であって、前記複数の撮像手段が、前記表示手段の表示面に対して平行な面に２次元的に配置され、前記撮像手段の垂直方向の配列間隔が水平方向の配列間隔より広いことを特徴とするものである。

本発明によれば、製造コストの上昇を最低限に抑えることができる。

本発明による撮像装置付き表示装置の実施例を示す図である。 実施例の側面図である。 実施例における表示パネルの一部を示す水平断面図である。 実施例における表示パネルの詳細を示す水平断面図である。 実施例の回路構成を示すブロック図である。 実施例の動作を示すフローチャートである。 使用者の視線方向と撮像手段の方向とのずれを説明する図である。

本発明を実施するための形態は、以下の実施例に記載される通りである。

図１〜図５は撮像装置として複数のカメラ（撮像手段）を備えた本発明による撮像装置付き表示装置の実施例を示す。図１（ａ）は実施例の側面図、図１（ｂ）は実施例の正面図、図２は実施例の側面図、図３は実施例における表示パネルの一部の水平断面図、図４は表示パネルの詳細を示す水平断面図である。また、図５は実施例の回路構成を示すブロック図、図６は実施例の動作を示すフローチャートである。

図１はテレビ電話やテレビ会議システム等で使用される撮像装置付き表示装置１の説明図である。２０は光を透過可能な表示手段である表示パネルで、画像情報を表示する表示手段に相当するものである。表示パネル２０は表示パネル枠体２に組み込まれている。表示パネル枠体２の背面（図中＋ｚ方向）には脚部３が設けられ、脚部３に固定された台座４によって撮像装置付き表示装置１は直立するようになっている。

表示パネル２０の背面（図中＋ｚ方向）には、表示パネル２０の画像情報（テレビ電話に使用される場合には対話する相手側の顔など）を観察する使用者を撮影するための撮像手段であるカメラ５が複数（図では２１）配設されている。本実施例では、垂直（ｙ）方向に３行、水平（ｘ）方向に７列のカメラ５が、表示パネル２０の表示面と平行な面に２次元的に配設されている。

テレビ電話等で対話する相手側の人に対して、使用者が自分（相手側の人）を見ているように認識してもらうための水平（ｘ）方向のカメラ５の間隔Ｐｘは、表示パネル２０の幅Ｗに依存し、例えば
Ｗ／３０≦Ｐｘ≦Ｗ／１０ （１）
を満足するようになっている。

また本実施例では、カメラ５の垂直方向の配列間隔Ｐｙは水平方向の配列間隔Ｐｘより広くなるように構成している。カメラ５の垂直方向の配列間隔Ｐｙと水平方向の配列間隔Ｐｘが異なるのは、使用者の画像をみた相手側の人は垂直方向の視線のズレは認識しづらいためである。その結果、垂直方向のカメラ５の配列間隔Ｐｙは水平方向の配列間隔Ｐｘに対して粗くなっている。このとき、カメラ５の垂直方向の配列間隔Ｐｙは水平方向の配列間隔Ｐｘに対して、例えば
２Ｐｘ≦Ｐｙ≦３Ｐｘ （２）
を満足するように構成している。つまり、垂直方向の配列間隔Ｐｙは、水平方向の配列間隔Ｐｘの２倍以上で、水平方向の配列間隔Ｐｘの３倍以下である。

このように本実施例では、使用者の視線方向とカメラ５が使用者を撮影する撮影方向とのなす角度は水平方向ではより小さくし、垂直方向は水平方向より大きくなるように構成することにより、撮像装置付き表示装置１に具備されるカメラ５の数を削減し、コストを低減している。

また表示パネル２２の周囲には、使用者の音声を拾うマイク６と相手側の音声を伝えるスピーカー７が配設されている。

さらに、撮像装置付き表示装置１の表示パネル枠体２と脚部３は不図示のヒンジで連結されている。そのため、脚部３に対して表示パネル枠体２は図中ｘ軸方向を軸として回転可能になっている。

図２の撮像装置付き表示装置１の側面図では、使用者が表示される画像情報を正対して見やすくするために表示パネル枠体２の角度を変えた状態を示している。ここで、カメラ５は表示パネル枠体２と一体的に回転するため、使用者が表示画像を見やすくするために表示パネル枠体２の角度を変えても使用者の画像を略正面から撮像することが可能となっている。

図３は表示パネル２０の一部の拡大水平断面図で、表示パネル２０は光を透過可能な有機ＥＬ（有機エレクトロルミネッセンス）で構成されている。図４は有機ＥＬ層の一部の拡大水平断面図である。図中−ｚ方向が表示面方向である。

図３において、２００は有機ＥＬ層であり、有機ＥＬ層２００の背面側（＋ｚ方向側）にある２０９はスイッチング及び駆動用のＴＦＴ（薄膜トランジスタ）である。ＴＦＴ２０９はポリシリコン等で構成され、各表示画素部２００ａないし２００ｎの境界部に配設されている。また、ＴＦＴ２０９の背面側（＋ｚ方向側）にある２１０はアルミニウム等による遮光部材、２１０ａは開口部である。

本実施例の表示パネル２０は、表示面側に有機ＥＬ層２００を有し、背面側にＴＦＴ２０９を有するトップエミッション型の有機ＥＬパネルである。

５はカメラで、撮影レンズ５０と撮像素子５１とから構成され、表示パネル２０の一つの表示画素部２００ｌを通して使用者を撮影するようになっている。即ち、撮像素子５１は、撮影レンズ５０および遮光部材２１０の開口部２１０ａを介して、各表示画素部２００ａないし２００ｎの境界部に配設されたＴＦＴ２０９の間を受光するようになっている。また遮光部材２１０は、表示画素部２００ｌに隣接する表示画素部から撮像素子５１に迷光が入射するのを防止するためのものである。

図４は有機ＥＬ層２００を含む表示パネル２０の一部の拡大水平断面図で、２０１は平坦化層、２０２は陽極で透明なＩＴＯ等で構成されている。２０３は正孔輸送層、２０４は発光層、２０５は電子輸送層、２０６は電子注入層、２０７は陰極でＩＴＯ等で構成されている。２０８は平坦化層である。図中の発光層２０４のうち、２０４Ｒは赤色を発光する発光層、２０４Ｇは緑色を発光する発光層、２０４Ｂは青色を発光する発光層で、図中ｘ方向（表示パネル２０の長辺方向）に３画素周期で配列している。有機ＥＬ層２００の構成の詳細に関しては、本出願人により特開２００９−１８７６９７号公報に開示されている。

次に、撮像装置付き表示装置１をテレビ電話として使用した場合の制御動作を、図５の撮像装置付き表示装置１のブロック図と、図６の撮像装置付き表示装置１の動作フローチャートを用いて説明する。

図６のフローチャートにおいて、テレビ電話の使用者がテレビ電話である撮像装置付き表示装置１の操作スイッチ８を操作し、テレビ電話を起動すると（ｓ１００）、撮像装置付き表示装置１の制御手段であるシステム制御回路９０は、相手先の情報をリモコン等による使用者の操作からリモコン回路９５を介して受信する。さらにシステム制御回路９０は、使用者の操作から得られた相手先の情報に基づいて、送受信回路９６を介してテレビ電話の相手側との通信状態を設定する（ｓ１０１）。引き続きシステム制御回路９０は、撮像装置付き表示装置１に配設された複数のカメラ５のうち、表示パネル２０の中央に位置するカメラ５を、使用者を撮影するカメラとして初期設定する（ｓ１０２）。カメラ５の撮像素子５１で撮影された画像は、画像処理回路９１で処理されて相手側に送信可能な状態になる。同時に、使用者の音声はマイク６で拾われ、音声処理回路９３で処理されて相手側に送信可能な状態になる。カメラ５で使用者を撮影可能となったら、システム制御回路９０は送受信回路９６を介して相手側のテレビ電話との画像及び音声の送受信を開始する（ｓ１０３）。

次に、送受信回路９６を介してテレビ電話の相手側から送信されてきた画像とステレオ音声を受信すると、システム制御回路９０は相手側の画像を、表示処理回路９２を介して表示パネル２０に表示する。同時に、相手側の音声を駆動回路９４を介してスピーカー７から出力する。

さらに認識回路９７は、テレビ電話の相手側から送信されてきた画像から、表示パネル２０に表示される相手側の人物の目の位置（注視対象）を特定する。ここで相手側の画像に複数の人物が含まれる場合は、認識回路９７は送信されてきたステレオ音声を解析して話者を特定し、その話者の目の位置を特定する（ｓ１０４）。

使用者が注視すると思われる表示パネル２０上の相手側の人物の目の位置が特定されると、システム制御回路９０は表示パネル２０に表示される相手側の人物の目の位置に最も近いカメラ５を特定する（ｓ１０５）。

システム制御回路９０は、現在設定されているカメラの位置とテレビ電話の相手側の話者の目の位置から特定されたカメラの位置とを比較する（ｓ１０６）。現在設定されているカメラの位置とテレビ電話の相手側の話者の目の位置から特定されたカメラの位置とが異なっていれば、システム制御回路９０は使用者を撮影するカメラを変更する（ｓ１０７）。

引き続きシステム制御回路９０は操作スイッチ８の状態を確認し（ｓ１０８）、テレビ電話が使用中のままであれば、再度テレビ電話の相手側から送信されてきた画像を解析し、表示パネル２０に表示される相手側の人物の目の位置を特定する（ｓ１０４）。

一方、使用者によって操作スイッチ８がｏｆｆされたことをシステム制御回路９０が確認すると（ｓ１０８）、システム制御回路９０は相手側のテレビ電話との送受信を終了する（ｓ１０９）。さらに、システム制御回路９０はカメラ５による使用者の撮影を終了するとともに、表示パネル２０への相手側から受信した画像の表示を終了する（ｓ１１０）。

本実施例では、認識回路９７は受信画像と音声情報に基づいて表示画像中の話者を特定し、それに基づいてシステム制御回路９０が使用者を撮影するカメラ５を一つ選択する例を示したが、表示画像中の話者と略一致するカメラとその周囲に配置された複数カメラとから画像を合成するように構成しても構わない。

また本実施例では、相手側から送られてきた受信画像と音声情報に基づいて認識回路９７が表示画像中の話者を特定した例を示したが、カメラ５で撮影した使用者の画像とマイク６で拾った音声から使用者の位置情報を認識して、テレビ電話の相手側に使用者の位置情報を送信するようにシステムを構成するのも有効である。

１ 撮像装置付き表示装置
５ カメラ
６ マイク
７ スピーカー
２０ 表示パネル
９０ システム制御回路

Claims (5)

1. 画像情報を表示する表示手段と、前記表示手段の背面に配設され、前記表示手段の画像情報を観察する使用者を撮影する複数の撮像手段とを備えた撮像装置付き表示装置であって、
   前記複数の撮像手段は、前記表示手段の表示面に対して平行な面に２次元的に配置され、前記撮像手段の垂直方向の配列間隔が水平方向の配列間隔より広いことを特徴とする撮像装置付き表示装置。
2. 前記撮像手段の垂直方向の配列間隔は、水平方向の配列間隔の２倍以上で、水平方向の配列間隔の３倍以下であることを特徴とする請求項１に記載の撮像装置付き表示装置。
3. 前記撮像手段の水平方向の配列間隔は、前記表示手段の大きさによって決まることを特徴とする請求項１または２のいずれか１項に記載の撮像装置付き表示装置。
4. 前記表示手段に表示する画像情報に基づいて、使用者を撮影する前記複数の撮像手段のうちの少なくとも一つを選択する制御手段を有することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置付き表示装置。
5. 前記制御手段は、テレビ電話に使用される場合に、相手側が注視する対象に近い前記撮像手段を選択することを特徴とする請求項４に記載の撮像装置付き表示装置。

Images