JP4831415B2

JP4831415B2 - 表示装置、受光方法、および情報処理装置

Info

Publication number: JP4831415B2
Application number: JP2006276042A
Authority: JP
Inventors: 満建内; 剛山中; 勉原田; 武玉山; 雅史松井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-10-10
Filing date: 2006-10-10
Publication date: 2011-12-07
Anticipated expiration: 2026-10-10
Also published as: JP2008097171A

Description

本発明は、表示装置、受光方法、および情報処理装置に関し、特に、簡単な構成で、受光信号のS/N比を向上させることができるようにする表示装置、受光方法、および情報処理装置に関する。

表示回路と受光回路を同一の基板上に配置し、画像を表示するとともに、外部からの光を受光することが可能な表示装置が提案されている（例えば、特許文献１，２参照）。表示装置の受光回路は、LED(Light Emitting Diode）等の外部光源を持つ物体（例えば、ペンなど）から発せられる光や、バックライトからの光が画面に触れている指やペンで反射して戻ってきた光などを検出する。特許文献２では、バックライトからの光が画面に触れている指やペンで反射して戻ってきた光を検出する場合の受光回路の駆動方法が、本出願人により提案されている。

特許文献１および２は、表示回路が液晶を制御するタイプの液晶表示装置についての技術であるが、自発光素子である有機EL(Electro luminescence )素子を用いて画像の表示と受光を行う表示装置もある（例えば、特許文献３，４参照）。

特開２０００−１９４７８号公報特開２００６−１２７２１２号公報特開２００４−１２７２７２号公報特開２００５−２９３３７４号公報

上述したような表示回路と受光回路が同一の基板上に配置された表示装置において、受光回路が出力する受光信号のS/N比を上げようとした場合、受光センサのセンササイズを拡大する必要があるが、受光センサのセンササイズを単純に拡大するのは、開口部の確保など表示性能を維持するための物理的な制限により困難であった。

本発明は、このような状況に鑑みてなされたものであり、簡単な構成で、受光信号のS/N比を向上させることができるようにするものである。

本発明の表示装置は、R,G、またはBの色を発光するサブピクセルと、前記サブピクセルとは別の領域に設けられた、受光センサを少なくとも含む受光領域とから構成される、画像の表示解像度の単位としてのピクセルがマトリクス状に配置された表示パネルを備え、前記ピクセルの前記受光領域には、前記受光センサにより得られる受光信号をリセットするためのリセット素子と前記受光センサとで構成される第１の受光回路か、または、前記受光信号を前記ピクセルの外部へ出力するための出力素子と前記受光センサとで構成される第２の受光回路のいずれかが配置されており、前記表示パネルにおいて、前記受光領域に前記第１の受光回路が配置されている第１のピクセルと、前記受光領域に前記第２の受光回路が配置されている第２のピクセルとが隣接し、前記第１のピクセルと前記第２のピクセルの前記受光センサどうしが同一の基板上で並列に接続され、その接続された複数の前記受光センサから得られる１つの受光信号を、前記第２のピクセルの前記出力素子が出力する。

前記表示パネルには、前記ピクセルの前記受光領域に、前記受光センサを有し、前記リセット素子及び前記出力素子のどちらも有さない第３の受光回路が配置されている第３のピクセルもあり、１個の前記第１のピクセルおよび前記第２のピクセルと、１個以上の前記第３のピクセルの前記受光センサどうしが前記基板上で並列に接続され、その接続された複数の前記受光センサから得られる１つの受光信号を、前記第２のピクセルの前記出力素子が出力させることができる。

１個の前記第１のピクセルおよび前記第２のピクセルと、２個の前記第３のピクセルとからなる４個の前記ピクセルから、前記１つの受光信号が出力され、４個の前記ピクセルは、水平方向及び垂直方向に２個ずつ配列されているようにさせることができる。

前記第１のピクセルの前記第１の受光回路と、前記第２のピクセルの前記第２の受光回路とが水平方向に隣接しているようにさせることができる。

本発明の受光方法は、R,G、またはBの色を発光するサブピクセルと、前記サブピクセルとは別の領域に設けられた、受光センサを少なくとも含む受光領域とから構成される、画像の表示解像度の単位としてのピクセルがマトリクス状に配置された表示パネルを備え、前記ピクセルの前記受光領域には、前記受光センサにより得られる受光信号をリセットするためのリセット素子と前記受光センサとで構成される第１の受光回路か、または、前記受光信号を前記ピクセルの外部へ出力するための出力素子と前記受光センサとで構成される第２の受光回路のいずれかが配置され、前記表示パネルにおいて、前記受光領域に前記第１の受光回路が配置されている第１のピクセルと、前記受光領域に前記第２の受光回路が配置されている第２のピクセルとが隣接し、前記第１のピクセルと前記第２のピクセルの前記受光センサどうしが同一の基板上で並列に接続されている表示装置の受光方法において、前記第２のピクセルの前記出力素子が、前記第１の受光回路および前記第２の受光回路の前記受光センサそれぞれで受光されて得られた受光信号を１つの受光信号として出力する。

本発明の表示装置および受光方法においては、第２のピクセルの出力素子から、第１の受光回路および第２の受光回路の受光センサそれぞれで受光されて得られた受光信号が１つの受光信号として出力される。

本発明の情報処理装置は、R,G、またはBの色を発光するサブピクセルと、前記サブピクセルとは別の領域に設けられた、受光センサを少なくとも含む受光領域とから構成される、画像の表示解像度の単位としてのピクセルがマトリクス状に配置された表示パネルと、前記受光センサが出力する受光信号から生成される受光画像を用いて、ユーザが入力した入力情報を解析する入力情報解析手段と、前記入力情報解析手段から供給されるメッセージに対応して、所定の制御処理を行う制御手段とを備え、前記ピクセルの前記受光領域には、前記受光センサにより得られる受光信号をリセットするためのリセット素子と前記受光センサとで構成される第１の受光回路か、または、前記受光信号を前記ピクセルの外部へ出力するための出力素子と前記受光センサとで構成される第２の受光回路のいずれかが配置されており、前記表示パネルにおいて、前記受光領域に前記第１の受光回路が配置されている第１のピクセルと、前記受光領域に前記第２の受光回路が配置されている第２のピクセルとが隣接し、前記第１のピクセルと前記第２のピクセルの前記受光センサどうしが同一の基板上で並列に接続され、その接続された複数の前記受光センサから得られる１つの受光信号を、前記第２のピクセルの前記出力素子が出力する。

本発明の情報処理装置においては、R,G、またはBの色を発光するサブピクセルと、サブピクセルとは別の領域に設けられた、受光センサを少なくとも含む受光領域とから構成される、画像の表示解像度の単位としてのピクセルがマトリクス状に配置された表示パネルにおいて、受光センサが出力する受光信号から生成される受光画像を用いて、ユーザが入力した入力情報が解析され、解析されて供給されるメッセージに対応して、所定の制御処理が行われる。ピクセルの受光領域には、受光センサにより得られる受光信号をリセットするためのリセット素子と受光センサとで構成される第１の受光回路か、または、受光信号をピクセルの外部へ出力するための出力素子と受光センサとで構成される第２の受光回路のいずれかが配置されており、表示パネルにおいて、受光領域に第１の受光回路が配置されている第１のピクセルと、受光領域に第２の受光回路が配置されている第２のピクセルとが隣接され、第１のピクセルと第２のピクセルの受光センサどうしが同一の基板上で並列に接続され、その接続された複数の受光センサから得られる１つの受光信号が、第２のピクセルの出力素子から出力される。

本発明においては、簡単な構成で、受光信号のS/N比を向上させることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の表示装置は、R,G、またはBの色を発光するサブピクセルと、前記サブピクセルとは別の領域に設けられた、受光センサ（例えば、図８のセンサSSR）を少なくとも含む受光領域（例えば、図１０の受光領域７１）とから構成される、画像の表示解像度の単位としてのピクセル（例えば、図１０のピクセルPix）がマトリクス状に配置された表示パネル（例えば、図１の表示パネル２５）を備え、前記ピクセルの前記受光領域には、前記受光センサにより得られる受光信号をリセットするためのリセット素子（例えば、図８のスイッチング素子SW２）と前記受光センサとで構成される第１の受光回路（例えば、図８の受光回路１０１ａ）か、または、前記受光信号を前記ピクセルの外部へ出力するための出力素子（例えば、図８のスイッチング素子SW３）と前記受光センサとで構成される第２の受光回路（例えば、図８の受光回路１０１ｃ）のいずれかが配置されており、前記表示パネルにおいて、前記受光領域に前記第１の受光回路が配置されている第１のピクセルと、前記受光領域に前記第２の受光回路が配置されている第２のピクセルとが隣接し、前記第１のピクセルと前記第２のピクセルの前記受光センサどうしが同一の基板上で並列に接続され、その接続された複数の前記受光センサから得られる１つの受光信号を、前記第２のピクセルの前記出力素子が出力する。

本発明の情報処理装置（例えば、図１の情報処理装置１）は、R,G、またはBの色を発光するサブピクセルと、前記サブピクセルとは別の領域に設けられた、受光センサを少なくとも含む受光領域とから構成される、画像の表示解像度の単位としてのピクセルがマトリクス状に配置された表示パネル（例えば、図１の表示パネル２５）と、前記受光センサが出力する受光信号から生成される受光画像を用いて、ユーザが入力した入力情報を解析する入力情報解析手段（例えば、図１の入力情報解析部２７）と、前記入力情報解析手段から供給されるメッセージに対応して、所定の制御処理を行う制御手段（例えば、図１の制御部１１）とを備え、前記ピクセルの前記受光領域には、前記受光センサにより得られる受光信号をリセットするためのリセット素子と前記受光センサとで構成される第１の受光回路か、または、前記受光信号を前記ピクセルの外部へ出力するための出力素子と前記受光センサとで構成される第２の受光回路のいずれかが配置されており、前記表示パネルにおいて、前記受光領域に前記第１の受光回路が配置されている第１のピクセルと、前記受光領域に前記第２の受光回路が配置されている第２のピクセルとが隣接し、前記第１のピクセルと前記第２のピクセルの前記受光センサどうしが同一の基板上で並列に接続され、その接続された複数の前記受光センサから得られる１つの受光信号を、前記第２のピクセルの前記出力素子が出力する。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した情報処理装置の一実施の形態の構成例を示している。

図１の情報処理装置１は、所定の情報を画像として表示する表示装置を少なくとも備え、通話処理、撮像処理、データの送受信処理などの所定の情報処理を行う、携帯電話機、デジタルスチルカメラ、または、PDA（Personal Digital Assistant）などである。この情報処理装置１では、表示装置の画面上を指やペンなどで指示することによって所定の情報を入力することが可能である。

情報処理装置１は、制御部１１、ROM１２、通信部１３、および表示処理部１４などにより構成される。表示処理部１４は、上述の表示装置に対応し、画像信号生成部２１、コントローラ２２、ゲートドライバ２３、ソースドライバ２４、表示パネル２５、受光信号処理部２６、入力情報解析部２７、および記憶部２８により構成される。

制御部１１は、ROM(Read Only Memory)１２に記憶されている制御プログラムに基づいて情報処理装置１の全体の動作を制御する。例えば、制御部１１は、図示せぬ他のモジュールからの指令や、通信部１３が受信したデータに基づいて、表示パネル２５に表示させる表示データを画像信号生成部２１に供給する。また、制御部１１は、後述するように、入力情報解析部２７から供給されるメッセージに対応して、画像信号生成部２１に供給する表示データを更新したり、通信部１３や他のモジュールにデータを供給したりもする。

ここで、他のモジュールとは、例えば、情報処理装置１が携帯電話機であれば通話機能を実行するモジュールなどであり、情報処理装置１がデジタルスチルカメラであれば撮像機能を実行するモジュールなどである。通信部１３は、インターネットなどのネットワークを介して、各種の機器と有線または無線により通信し、取得したデータを制御部１１に供給する。なお、情報処理装置１が外部との通信を必要としない場合には、通信部１３を省略することができる。

画像信号生成部２１は、制御部１１から供給される表示データに対応する画像を表示するための画像信号を生成し、生成した画像信号を、表示パネル２５の駆動を制御するコントローラ２２に出力する。

コントローラ２２は、表示パネル２５の各画素に配置されているスイッチング素子のオン（導通）またはオフ（非導通）を制御するゲートドライバ２３の駆動と、ゲートドライバ２３の駆動に連動して、画像信号に対応する電圧信号（以下、表示信号と称する）を各画素に供給するソースドライバ２４の駆動を制御する。

表示パネル２５は、例えば、水平方向にｍ個および垂直方向にｎ個のｍ×ｎ個からなる画素がマトリクス状に配置されたLCD(Liquid Crystal Display)であり、図示せぬバックライトからの光の透過率を液晶層で変化させることにより、所定の情報を画像として表示する。また、表示パネル２５は、受光センサを内蔵し、バックライトからの光が、表示パネル２５の最上部の表面に接触または近接している指やペンなどに反射して戻ってきた戻り光を受光して、その結果得られる受光信号を、受光信号処理部２６に供給する。従って、表示パネル２５には、画像の表示を行うための表示回路と、入力情報としての光を検出する受光回路が設けられている。

なお、表示解像度の単位（画像の表示単位）としての１画素は、R(Red)，G（Green）、およびB（Blue）の３画素から構成されるので、表示パネル２５を構成する画素の全画素数は、厳密には、３ｍ×ｎ個となる。以下では、R，G、およびBの３画素からなる表示解像度の単位としての画素をピクセル、ピクセルを構成するR，G、およびBの各画素をサブピクセルと称する。

受光信号処理部２６は、表示パネル２５から供給される受光信号に対して、所定の増幅処理、フィルタ処理、または画像処理などを行い、処理後の整形された受光信号を入力情報解析部２７に供給する。

入力情報解析部２７は、受光信号から生成される受光画像を用いて、指やペンなどで指示された画面上の位置（接触位置）を解析することにより、ユーザが入力した情報を解析し、解析結果をメッセージとして制御部１１に供給する。例えば、受光信号処理部２６からNフレーム目の受光信号が供給されるとすると、入力情報解析部２７は、Nフレーム目の受光信号から生成した受光画像を、記憶部２８に記憶されている１つ前のフレーム（Ｎ−１フレーム目）の受光画像と比較し、両受光画像の差分を算出する。そして、入力情報解析部２７は、算出された差分に基づいて、前フレームからの接触位置の動きを解析する。接触位置が複数ある場合には、その複数の接触位置それぞれについて解析が行われる。さらに、入力情報解析部２７は、記憶部２８に記憶されている所定フレーム期間前からの接触位置の変化の情報と照合し、制御部１１へ供給する接触位置の検出に関するメッセージを決定する。

次に、表示パネル２５に設けられている表示回路と受光回路の配置について説明するが、その前に、表示回路と受光回路の配置の基本パターンである、受光回路の数がサブピクセルまたはピクセルの数と一致する配置例、即ち、受光回路がサブピクセルまたはピクセルと１対１に配置される例について、図２乃至図７を参照して説明する。但し、図２乃至図７を参照して説明する基本パターンの配置は、表示パネル２５の受光回路の配置ではない。なお、図２乃至図７の説明では、情報処理装置１の各ブロックを適宜引用して説明する。

図２は、受光回路がサブピクセルと１対１に配置される場合の、表示回路と受光回路のピクセル内の配置例を示している。

ピクセルPixは、図２に示すように、R，G、およびBの各サブピクセルSubPixを水平方向に配列して構成される。そして、R，G、またはBの各サブピクセルSubPix内の、図中上側に表示回路４１が配置されるとともに、図中下側に受光回路４２が配置される。この表示回路４１と受光回路４２は、同一の基板（ガラス基板）上に形成されている。

各サブピクセルSubPixの表示回路４１には、表示信号線５１がそれぞれ接続されており、その表示信号線５１を介して、表示信号がソースドライバ２４から供給される。また、R，G、およびBのサブピクセルSubPixの表示回路４１は、水平方向に延びる同一の表示選択線５２とも接続されている。R，G、およびBのサブピクセルSubPixの表示回路４１には、表示選択信号が、表示選択線５２を介してゲートドライバ２３から供給される。表示回路４１は、表示選択信号および表示信号に応じてバックライトからの光を制御する。

一方、各サブピクセルSubPixの受光回路４２には、受光信号線５３がそれぞれ接続されている。受光回路４２は、受光センサSSR（図４）による受光を制御し、受光センサSSRが受光して生成した受光信号を、受光信号線５３を介して受光信号処理部２６に供給する。

図２に示したピクセルPixがマトリクス状に配置された様子を図３に示す。図３では、４×４の計１６個のピクセルPix（４８個のサブピクセルSubPix）について示しており、また、符号の図示が一部省略されている（後述する図７、図１２、図１４、および図１７についても同様）。

図３に示される配列は、垂直方向に同色のサブピクセルSubPixが配置されることにより、Rライン、Gライン、およびBラインを形成し、そのRライン、Gライン、およびBラインが水平方向に繰り返し配置された、いわゆるストライプ配列となっている。

図４は、表示回路４１および受光回路４２の回路例を示している。

表示回路４１は、スイッチング素子SW１、液晶層LC、および保持容量Cなどにより構成されている。スイッチング素子SW１は、例えば、TFT（Thin Film Transistor）で構成される。

表示回路４１において、スイッチング素子SW１は、表示選択線５２を介してゲートドライバ２３から供給される表示選択信号に応じて、接続をオンまたはオフする。スイッチング素子SW１がオンしているとき、ソースドライバ２４からの表示信号が、表示信号線５１を介して液晶層LCおよび保持容量Cに供給され、所定の電圧が液晶層LCおよび保持容量Cに印加される。液晶層LCでは、印加された電圧に応じて、液晶分子の配列が変化し、バックライトからの光が表示パネル２５の前面側に出射される。スイッチング素子SW１がオフしているときは、液晶層LCおよび保持容量Cに印加された電圧が保持される。このスイッチング素子SW１のオンおよびオフを、水平方向に一列に並ぶサブピクセルSubPixを水平ラインとして、１水平ラインずつ垂直方向に順次切替えることにより、即ち、線順次走査することにより、表示パネル２５全体として画像が表示される。

受光回路４２は、スイッチング素子SW２およびSW３、センサSSR、並びにアンプAMPにより構成されている。スイッチング素子SW２およびSW３のそれぞれは、例えば、TFTで構成され、センサSSRは、例えば、フォトダイオードやTFTなどで構成される。

センサSSRは、表示パネル２５の表面から入射される光を受光し、受光量に応じた電流信号をアンプAMPに出力する。アンプAMPは、入力される電流信号を電圧信号に変換するとともに増幅し、受光信号として出力する。スイッチング素子SW３は読み出し制御信号に応じて接続をオンまたはオフし、スイッチング素子SW３がオンしているとき、出力された受光信号が、受光信号線５３を介して受光信号処理部２６に供給される。スイッチング素子SW２は、リセット制御信号に応じて接続をオンまたはオフし、スイッチング素子SW２がオンしているとき、受光信号がリセットされる。

以上のように構成される表示回路４１および受光回路４２が、図２に示したように、サブピクセルSubPix内に配置されている。

なお、表示パネル２５を、LCDではなく、自発光素子である有機または無機のEL素子を用いたELディスプレイによって実現することも可能である。

図５は、表示パネル２５がELディスプレイで構成される場合の、表示回路４１および受光回路４２の回路例を示している。なお、受光回路４２は、図４における場合と同様であるので、その説明は省略する。

表示回路４１は、スイッチング素子SW１およびSW４、回路群６１、およびEL素子６２により構成されている。

回路群６１は、例えば、表示データ書き込み回路、閾値ばらつき補正回路などからなる。表示データ書き込み回路は、スイッチング素子SW１から供給されてきた表示信号（電圧信号）を電流信号に変換するI/V（電流／電圧）変換回路である。閾値ばらつき補正回路は、表示信号のスイッチング素子SW１によるばらつきを補正する回路（TFTの閾値補正回路）である。

スイッチング素子SW１は、表示選択線５２を介してゲートドライバ２３から供給される表示選択信号に応じて、接続をオンまたはオフする。スイッチング素子SW１がオンしているとき、ソースドライバ２４からの表示信号が、表示信号線５１を介して回路群６１に供給される。回路群６１は、入力される表示信号に対して、上述したI/V変換やばらつき補正などの処理を行い、処理後の表示信号をスイッチング素子SW４に出力する。スイッチング素子SW４は、発光制御信号に応じて接続をオンまたはオフし、スイッチング素子SW４がオンしているとき、回路群６１からの表示信号がEL素子６２に供給される。これにより、EL素子６２が発光する。

なお、図４および図５を参照して説明した読み出し制御信号、リセット信号、および発光制御信号のそれぞれは、図示せぬ制御線を介してゲートドライバ２３またはソースドライバ２４から供給される。

図６は、受光回路４２がピクセルPixと１対１に配置される場合の、表示回路４１と受光回路４２のピクセルPix内の配置例を示している。

受光回路４２がピクセルPixと１対１に配置される場合には、図６に示されるように、水平方向に並んで配置されるR，G、およびBのサブピクセルSubPixのうちの、BのサブピクセルSubPixのさらに隣りに受光回路領域７１が設けられ、そこに受光回路４２が配置される。

受光回路４２は、受光センサSSRが受光して生成した受光信号を、受光回路領域７１内を垂直方向に配線された受光信号線５３を介して、受光信号処理部２６に供給する。表示回路４１、表示信号線５１、および表示選択線５２の配置は、図２における場合と同様である。

図６に示したピクセルPixと受光回路領域７１がマトリクス状に配置された様子を図７に示す。

ピクセルPixごとに受光回路４２が配置される場合には、図７に示されるように、Rライン、Gライン、Bラインの次に、受光回路４２を配置した受光回路ラインが配置され、Rライン、Gライン、Bライン、および受光回路ラインが水平方向に繰り返し配置される。

以上、図２乃至図７を参照して、受光回路４２がサブピクセルSubPixまたはピクセルPixごとに配置されている、表示回路４１と受光回路４２の配置の基本パターンについて説明したが、図１の表示パネル２５に設けられている受光回路は、この受光回路４２よりも、S/N比の高い受光信号を出力するように構成されている。

受光信号のS/N比をより向上させるためには、単純には、各サブピクセルSubPixに設けられているセンサSSRのサイズ（受光面積）を拡大させればよいが、サブピクセルSubPix内でのセンササイズの拡大は、開口部の縮小など表示性能に悪影響を与えるため、行わない方がよい。

また、表示回路と受光回路を同一の基板上に設けるのではなく、表示基板と受光基板というように分けて作成し、表示基板と受光基板を貼り合わせる構造にすれば、センサSSRのサイズを拡大させるための物理的な制約はなくなるが、コストが高くなるという問題がある。

そこで、表示パネル２５は、図８に示されるように、各ピクセルPixまたはサブピクセルSubPixに配置されているセンサSSRを基板上で並列に接続することにより、センササイズを実質的に拡大させることで、S/N比を向上させている。

即ち、図８は、情報処理装置１の表示パネル２５で採用されている受光回路１０１の概念図である。

図８の受光回路１０１は、３種類のサブ受光回路１０１ａ乃至１０１ｃと、サブ受光回路１０１ａ乃至１０１ｃのセンサSSRの出力どうしを接続するセンサ接続線１０２により構成される。サブ受光回路１０１ａは、センサSSRとスイッチング素子SW２からなり、サブ受光回路１０１ｂは、センサSSRからなり、サブ受光回路１０１ｃは、センサSSR、アンプAMP、およびスイッチング素子SW３からなる。

なお、サブ受光回路１０１ａとサブ受光回路１０１ｃとの間に挿入されるサブ受光回路１０１ｂの個数は、任意の数とすることができる。サブ受光回路１０１ｂを省略することも可能である。

また、アンプAMPおよびスイッチング素子SW３は、受光信号線５３と接続されるサブ受光回路１０１ｃに設ける必要があるが、スイッチング素子SW２については、センサSSRの出力に接続されていれば、サブ受光回路１０１ａ乃至１０１ｃの何処に配置させてもよい。

なお、サブ受光回路１０１ａ乃至１０１ｃに設けられる各センサSSRのセンササイズは、同一である必要はないが、本実施の形態では、説明を簡単にするため、同一であるものとし、受光回路４２のセンサSSRのサイズとも同一であるものとする。

受光回路１０１では、サブ受光回路１０１ａおよび１０１ｂの各センサSSRから出力された受光信号が、センサ接続線１０２を介してサブ受光回路１０１ｃのアンプAMPに入力される。サブ受光回路１０１ｃのアンプAMPには、自身のセンサSSRが出力した受光信号も入力される。従って、アンプAMPに入力される信号は、サブ受光回路１０１ａ乃至１０１ｃの各センサSSRから出力された受光信号の総和信号である。アンプAMPは、自身に入力される受光信号（電流信号）を、電圧信号に変換し、増幅して出力する。

従って、サブ受光回路１０１ｃは、受光回路１０１を構成するサブ受光回路１０１ａ乃至１０１ｃが有する全センサSSRから出力された受光信号を、受光回路１０１の受光信号として出力する。サブ受光回路１０１ｃから出力された受光信号は、受光信号線５３を介して受光信号処理部２６に供給される。

図９は、受光回路１０１が図８に示したように構成される場合の、センササイズと出力信号のレベルの関係を示す図である。

図９の横軸は、受光回路１０１が有するセンサSSRのセンササイズを表し、受光回路１０１を構成するサブ受光回路１０１ａ乃至１０１ｃの個数が多くなるほど、センササイズも大きくなる。また、図９の縦軸は、受光回路１０１が出力する出力信号のレベル（以下、出力レベルと称する）を表す。

受光回路１０１が出力する出力信号は、シグナル成分としての受光信号と、ノイズ成分としてのセンサ起因のノイズ信号およびアンプAMPによるノイズ信号から構成される。アンプAMPの回路の構成や回路定数が変わらなければ、アンプAMPによるノイズ成分は変わらない。アンプAMPの回路定数は、アンプAMPの後段に接続される回路（システム）に合わせて設計される。表示パネル２５においては、受光回路１０１を構成するサブ受光回路１０１ａ乃至１０１ｃの個数が変化しても、アンプAMP以降の回路は変わらないので、回路定数も変わらない。従って、アンプAMPによるノイズ成分は、センササイズが拡大しても変わらない。

一方、例えばリーク成分などのセンサSSR起因のノイズ成分、および、センサSSRが出力する受光信号は、ともに、センササイズに比例して増大する。しかしながら、センサSSR起因のノイズ成分の増加率は、図８に示されるように、受光信号の増加率と比べると僅かである。

従って、センサSSRを並列に接続して実質的にセンササイズを拡大させることにより、受光信号のS/N比を上げることができる。

なお、以下では、サブ受光回路１０１ａ乃至１０１ｃそれぞれが、ピクセルPixごとに配置されている受光回路１０１について説明するが、サブ受光回路１０１ａ乃至１０１ｃそれぞれが、サブピクセルSubPixごとに配置されている場合であっても同様の効果を奏することができる。

図１０は、受光回路１０１の第１の実施の形態を示している。

即ち、図１０は、受光回路１０１が、サブ受光回路１０１ａとサブ受光回路１０１ｃで構成される場合の、表示回路４１と受光回路１０１の配置例を示している。なお、以下において、表示回路４１の配置は、図２乃至図７を参照して説明した表示回路４１の配置と同様であるので、その説明は省略する。

受光回路１０１が、サブ受光回路１０１ａとサブ受光回路１０１ｃで構成される場合、垂直方向に並んだ２つのピクセルPixを組として、その組の上側のピクセルPixに対して設けられた受光回路領域７１にサブ受光回路１０１ａが配置され、その組の下側のピクセルPixに対して設けられた受光回路領域７１にサブ受光回路１０１ｃが配置される。サブ受光回路１０１ａとサブ受光回路１０１ｃとは、センサ接続線１０２で接続されており、センサ接続線１０２は、表示選択線５２と交差している。なお、サブ受光回路１０１ａとサブ受光回路１０１ｃの配置は、上下逆であってもよい。

図１１は、図１０に示した受光回路１０１の回路を示している。図１２は、図１０に示したピクセルPixがマトリクス状に配置された表示パネル２５の例を示している。

垂直方向に並んだ２つのピクセルPixに対してサブ受光回路１０１ａとサブ受光回路１０１ｃを配置して受光回路１０１を構成すると、図１０に示したように、センサ接続線１０２が表示選択線５２と交差して配置されることになるが、水平方向に並んだ２つのピクセルPixに対してサブ受光回路１０１ａとサブ受光回路１０１ｃを配置して受光回路１０１を構成させるようにすると、センサ接続線１０２が表示選択線５２と交差しないようにすることができる。

具体的には、図１３Aに示すように、Bのサブピクセルの隣りに受光回路領域７１を配置したピクセルPixと、図１３Bに示すように、Rのサブピクセルの隣りに受光回路領域７１を配置したピクセルPixとを水平方向に隣り合わせて配置させる。

そして、一方のピクセルPix (図１３では、図１３Aに示すピクセルPix) の受光回路領域７１には、サブ受光回路１０１ｃを配置し、他方のピクセルPix(図１３では、図１３Bに示すピクセルPix) の受光回路領域７１には、サブ受光回路１０１ａを配置させれば、センサ接続線１０２が表示選択線５２と交差しない。

図１４は、図１３Aおよび図１３Bに示したピクセルPixがマトリクス状に配置された表示パネル２５の例を示している。

図１５は、受光回路１０１の第２の実施の形態を示している。

即ち、図１５は、受光回路１０１が、サブ受光回路１０１ａ、２個のサブ受光回路１０１ｂ、およびサブ受光回路１０１ｃで構成される場合の、表示回路４１と受光回路１０１の配置例を示している。

受光回路１０１が、サブ受光回路１０１ａ、２個のサブ受光回路１０１ｂ、およびサブ受光回路１０１ｃで構成される場合、垂直方向および水平方向それぞれに並んだ２×２の計４個のピクセルPixを組として、その組の左上のピクセルPixに対して設けられた受光回路領域７１にサブ受光回路１０１ａが配置され、その組の左下および右上のピクセルPixに対して設けられた受光回路領域７１にサブ受光回路１０１ｂが配置され、その組の右下のピクセルPixに対して設けられた受光回路領域７１にサブ受光回路１０１ｃが配置される。

このとき、垂直方向に並ぶサブ受光回路１０１ａとサブ受光回路１０１ｂを接続するセンサ接続線１０２、および、サブ受光回路１０１ｂとサブ受光回路１０１ｃを接続するセンサ接続線１０２は、表示選択線５２と交差する。また、水平方向に並ぶサブ受光回路１０１ｂとサブ受光回路１０１ｃを接続するセンサ接続線１０２は、その間のR，G、およびBのサブピクセルSubPix内の３本の表示信号線５１を交差する。

図１６は、図１５に示した受光回路１０１の回路を示している。図１７は、図１５に示した４個のピクセルPixがマトリクス状に配置された表示パネル２５の例を示している。

以上では、垂直方向に並んだ２つのピクセルPixに対してそれぞれ設けられた受光回路領域７１で受光回路１０１を構成した例、および、垂直方向および水平方向それぞれに並んだ２×２の計４個のピクセルPixに対してそれぞれ設けられた受光回路領域７１で受光回路１０１を構成した例について説明したが、受光回路１０１を構成するサブ受光回路１０１ａ乃至１０１ｃを配置させる垂直方向および水平方向の配列数は任意に決定することができる。

次に、複数のセンサSSRを並列に接続することによりS/N比を高くした受光信号を処理した結果について、図１８乃至図２０を参照して説明する。なお、表示パネル２５の表示解像度は２４０×３２０ピクセルであるとする。

図６を参照して説明したように、受光回路４２がピクセルPixと１対１に配置されている場合の受光信号の処理画像は、図１８に示すようになる。

即ち、受光回路４２がピクセルと１対１に配置されている場合、受光解像度は表示解像度と同一であるので、受光信号を処理した処理画像も、表示解像度と同一の２４０×３２０ピクセルとなる。図１８の処理画像において、白色（高輝度）で表されている位置（ピクセル）は、ユーザが指などで指定した位置を表す。

一方、表示パネル２５内の受光回路１０１が、図１０を参照して説明したように、垂直方向に並んだ２つのピクセルPixに対して配置されたサブ受光回路１０１ａとサブ受光回路１０１ｃとで構成される場合、表示パネル２５からの受光信号を処理した処理画像は、図１９に示すようになる。

即ち、図１９に示す処理画像の水平方向の解像度は、表示解像度と同一の２４０（ピクセル）であるが、垂直方向の解像度は、垂直方向に並んだ２つのピクセルPixで１つの受光信号を出力するため、表示解像度の１／２の１６０（ピクセル）となり、処理画像は、図１８の画像を垂直方向に１／２に間引いた画像となる。従って、受光解像度は、表示解像度の１／２である。

同様に、表示パネル２５内の受光回路１０１が、図１５を参照して説明したように、２×２のピクセルPixに対して配置されたサブ受光回路１０１ａ、２個のサブ受光回路１０１ｂ、およびサブ受光回路１０１ｃで構成される場合、表示パネル２５からの受光信号を処理した処理画像は、図２０に示すようになる。

即ち、処理画像は、水平方向および垂直方向ともに表示解像度の１／２の、１２０×１６０（ピクセル）となり、図１８の画像を水平方向と垂直方向の両方で１／２に間引いた画像となる。従って、受光解像度は、表示解像度の１／４である。

図１９および図２０に示すように、複数のピクセルPixで１つの受光信号を出力するということは、処理画像を小さくさせるので、表示パネル２５から出力される受光信号を処理する後段の受光信号処理部２６では、表示解像度と同一の受光解像度の受光信号を処理するよりも処理負荷が軽減する。また、処理に必要なCPUのスペックやメモリの容量を低く設定することができる。

また、図８を参照して説明したように、サブ受光回路１０１ａとサブ受光回路１０１ｃとの間に、いくつのサブ受光回路１０１ｂを接続するかを任意に決定することができるので、設計段階で、表示解像度に依存せず、受光解像度を自由に設定することができる。

さらに、垂直方向の受光解像度の低下には、図２１を参照して説明するその他のメリットもある。

表示処理部１４は、１フレームの画像を表示する時間（以下、１フレーム期間と称する）に、バックライトを点灯させた状態と消灯させた状態の両方で受光することで、表示パネル２５に接触または近接している物体の位置を検出する。また、受光回路１０１が正確な受光信号を出力するためには、その前に、リセット制御信号によってこれまでの蓄積された電荷をリセットする必要があるので、結局、コントローラ２２は、１フレーム期間に、点灯状態でのリセットおよび読み出し、消灯状態でのリセットおよび読み出し、の計４回の線順次走査を表示パネル２５に対して行わせる。換言すれば、コントローラ２２は、フレームレートの１／４の時間で、１回分の受光信号を受光信号処理部２６に出力するように、ゲートドライバ２３およびソースドライバ２４の駆動を制御する。

ここで、表示解像度が図１８に示したのと同様の２４０×３２０ピクセルで、かつ、フレームレートが６０［Hz］であるとすると、図６に示したように、ピクセルPixごとに受光回路４２を配置した場合では、１つの受光回路４２が１回のリセットまたは読み出しの処理にかけられる時間は、１／６０×１／４×１／３２０＝１／７６８００［sec］＝１３［μsec］となる。

図２１の上段の出力波形ｆ_Aは、受光回路４２から出力される受光信号の波形を示しており、この出力波形ｆ_Aの周期Ｔが１３［μsec］である。

一方、図１０に示したように、垂直方向に並んだ２つのピクセルPixを組としてサブ受光回路１０１ａとサブ受光回路１０１ｃで構成される受光回路１０１を配置した場合では、１つの受光回路１０１が１回のリセットまたは読み出しの処理にかけられる時間は、１／６０×１／４×１／１６０＝１／３８４００［sec］＝２６［μsec］となり、図６の受光回路４２における場合の２倍となる。

図２１の下段の出力波形ｆ_Bは、垂直方向に並んだ２つのピクセルPixにサブ受光回路１０１ａとサブ受光回路１０１ｃが配置された受光回路１０１が出力する波形を示している。

図２２のフローチャートを参照して、受光回路１０１による受光処理について説明する。

受光回路１０１のスイッチング素子SW２に対して、接続をオフするリセット制御信号が供給されると、ステップＳ１において、スイッチング素子SW２は、接続をオフして、受光信号をリセットする。

ステップＳ２において、受光回路１０１を構成するサブ受光回路１０１ａ乃至１０１ｃの各センサSSRは、受光量に応じた電流信号をアンプAMPに出力する。

受光回路１０１のスイッチング素子SW３に対して、接続をオンする読み出し制御信号が供給されると、ステップＳ３において、受光回路１０１は、受光信号を出力する。即ち、サブ受光回路１０１ｃのアンプAMPは、そこに入力される電流信号を電圧信号に変換し、増幅したものを受光信号として出力する。

このステップＳ１乃至Ｓ３の処理が、図１０に示した受光回路１０１では、２６［μsec］で実行されることになる。

従って、受光回路１０１のアンプAMPが受光信号を出力するのに使える時間が受光回路４２のときの２倍となり、アンプAMPの処理負荷が軽減するので、アンプAMPの回路を小型化することが可能となる。また、アンプAMPの回路の小型化により、消費電力を低減させることもできる。さらに、アンプAMPの回路の小型化は、図９を参照して説明したアンプAMP起因のノイズ成分も低減することになるので、受光信号のS/N比がより一層向上する。

以上、説明したように、情報処理装置１の表示パネル２５によれば、各ピクセルPixまたはサブピクセルSubPixに配置されているセンサSSRを基板上で並列に接続することにより、センササイズを実質的に拡大させ、受光信号のS/N比をより向上させることができる。即ち、簡単な構成で、受光信号のS/N比を向上させることができる。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した情報処理装置の一実施の形態の構成例を示す図である。従来の表示回路と受光回路の配置例を示す図である。図２に示したピクセルがマトリクス状に配置された様子を示す図である。表示パネルがLCDで構成される場合の表示回路および受光回路の回路例を示す図である。表示パネルがELディスプレイで構成される場合の表示回路および受光回路の回路例を示す図である。従来の表示回路と受光回路のその他の配置例を示す図である。図６に示したピクセルがマトリクス状に配置された様子を示す図である。図１の表示パネルで採用されている受光回路の概念図である。センササイズと出力信号のレベルの関係を示す図である。図１の表示パネルの表示回路と受光回路の配置例を示す図である。図１０の受光回路の回路を示す図である。図１０に示したピクセルがマトリクス状に配置された表示パネルを示す図である。図１の表示パネルの表示回路と受光回路のその他の配置例を示す図である。図１３に示したピクセルがマトリクス状に配置された表示パネルを示す図である。図１の表示パネルの表示回路と受光回路のさらにその他の配置例を示す図である。図１５の受光回路の回路を示す図である図１５に示したピクセルがマトリクス状に配置された表示パネルを示す図である。図６の受光回路が出力した受光信号を処理した処理結果について説明する図である。図１０の受光回路が出力した受光信号を処理した処理結果について説明する図である。図１５の受光回路が出力した受光信号を処理した処理結果について説明する図である。図６と図１０の受光回路が出力する受光信号の周期について説明する図である。受光処理について説明するフローチャートである。

符号の説明

１情報処理装置，１４表示処理部，２５表示パネル，４１表示回路， Pix ピクセル， SubPix サブピクセル， SSR センサ， AMP アンプ，６２ EL素子，１０１受光回路，１０１a乃至１０１ｃサブ受光回路，１０２センサ接続線

Claims

R,G、またはBの色を発光するサブピクセルと、前記サブピクセルとは別の領域に設けられた、受光センサを少なくとも含む受光領域とから構成される、画像の表示解像度の単位としてのピクセルがマトリクス状に配置された表示パネルを備え、
前記ピクセルの前記受光領域には、前記受光センサにより得られる受光信号をリセットするためのリセット素子と前記受光センサとで構成される第１の受光回路か、または、前記受光信号を前記ピクセルの外部へ出力するための出力素子と前記受光センサとで構成される第２の受光回路のいずれかが配置されており、
前記表示パネルにおいて、前記受光領域に前記第１の受光回路が配置されている第１のピクセルと、前記受光領域に前記第２の受光回路が配置されている第２のピクセルとが隣接し、前記第１のピクセルと前記第２のピクセルの前記受光センサどうしが同一の基板上で並列に接続され、その接続された複数の前記受光センサから得られる１つの受光信号を、前記第２のピクセルの前記出力素子が出力する
表示装置。
前記表示パネルには、前記ピクセルの前記受光領域に、前記受光センサを有し、前記リセット素子及び前記出力素子のどちらも有さない第３の受光回路が配置されている第３のピクセルもあり、
１個の前記第１のピクセルおよび前記第２のピクセルと、１個以上の前記第３のピクセルの前記受光センサどうしが前記基板上で並列に接続され、その接続された複数の前記受光センサから得られる１つの受光信号を、前記第２のピクセルの前記出力素子が出力する
請求項１に記載の表示装置。
１個の前記第１のピクセルおよび前記第２のピクセルと、２個の前記第３のピクセルとからなる４個の前記ピクセルから、前記１つの受光信号が出力され、
４個の前記ピクセルは、水平方向及び垂直方向に２個ずつ配列されている
請求項２に記載の表示装置。
前記第１のピクセルの前記第１の受光回路と、前記第２のピクセルの前記第２の受光回路とが水平方向に隣接している
請求項１に記載の表示装置。
R,G、またはBの色を発光するサブピクセルと、前記サブピクセルとは別の領域に設けられた、受光センサを少なくとも含む受光領域とから構成される、画像の表示解像度の単位としてのピクセルがマトリクス状に配置された表示パネルを備え、前記ピクセルの前記受光領域には、前記受光センサにより得られる受光信号をリセットするためのリセット素子と前記受光センサとで構成される第１の受光回路か、または、前記受光信号を前記ピクセルの外部へ出力するための出力素子と前記受光センサとで構成される第２の受光回路のいずれかが配置され、前記表示パネルにおいて、前記受光領域に前記第１の受光回路が配置されている第１のピクセルと、前記受光領域に前記第２の受光回路が配置されている第２のピクセルとが隣接し、前記第１のピクセルと前記第２のピクセルの前記受光センサどうしが同一の基板上で並列に接続されている表示装置の受光方法において、
前記第２のピクセルの前記出力素子が、前記第１の受光回路および前記第２の受光回路の前記受光センサそれぞれで受光されて得られた受光信号を１つの受光信号として出力する
受光方法。
R,G、またはBの色を発光するサブピクセルと、前記サブピクセルとは別の領域に設けられた、受光センサを少なくとも含む受光領域とから構成される、画像の表示解像度の単位としてのピクセルがマトリクス状に配置された表示パネルと、
前記受光センサが出力する受光信号から生成される受光画像を用いて、ユーザが入力した入力情報を解析する入力情報解析手段と、
前記入力情報解析手段から供給されるメッセージに対応して、所定の制御処理を行う制御手段と
を備え、
前記ピクセルの前記受光領域には、前記受光センサにより得られる受光信号をリセットするためのリセット素子と前記受光センサとで構成される第１の受光回路か、または、前記受光信号を前記ピクセルの外部へ出力するための出力素子と前記受光センサとで構成される第２の受光回路のいずれかが配置されており、
前記表示パネルにおいて、前記受光領域に前記第１の受光回路が配置されている第１のピクセルと、前記受光領域に前記第２の受光回路が配置されている第２のピクセルとが隣接し、前記第１のピクセルと前記第２のピクセルの前記受光センサどうしが同一の基板上で並列に接続され、その接続された複数の前記受光センサから得られる１つの受光信号を、前記第２のピクセルの前記出力素子が出力する
情報処理装置。