JP2005284661A - インプットセンサ内蔵ディスプレイ装置及びその駆動方法 - Google Patents

Abstract

【課題】インプットセンサ（例えば光電変換素子）を内蔵した表示装置において、表示データの処理、読出しデータの処理、及び関連データの処理が効率的に得られ、融通性を得られるようにする。
【解決手段】マトリックス状に配置された表示素子群、光センサ群、前記表示素子群に表示用信号、駆動信号を与える表示用駆動回路、光センサを特定しこの光センサの検知信号を読み出す読み出し回路、前記読み出し回路から出力された検知信号をアプリケーションに基づくコマンドに従って処理する読出し信号処理部を有する。前記読出し信号処理部内にはアプリケーションに基づくコマンドが送られてきたときにこのコマンドを前記レジスタに転送するインターフェース部を有する。
【選択図】 図１

Description

本発明は、液晶、発光素子などを用いた平板型のディスプレイ装置に係わり、特にインプットセンサを内蔵したインプットセンサ内蔵ディスプレイ装置に関する。

液晶表示装置は、信号線、走査線及び画素ＴＦＴが列設されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。最近の集積回路技術の進歩発展により、駆動回路の一部をアレイ基板上に形成するプロセス技術が実用化されている。これにより、液晶表示装置全体を軽薄短小化することができ、携帯電話やノート型コンピュータなどの各種の携帯機器の表示装置として幅広く利用されている。

ところで、アレイ基板上に、画像取込みを行う密着型エリアセンサ（光電変換素子）を配置した画像取込み機能を備えた表示装置が提案されている（例えば、特許文献１，２を参照）。

この種の画像取込み機能を備えた従来の表示装置は、光電変換素子に接続されたキャパシタの電荷量を光電変換素子での受光量に応じて変化させるようにし、キャパシタの両端電圧を検出することで、画像取込みを行っている。

最近では、画素ＴＦＴや駆動回路を同一のガラス基板上に多結晶シリコン（ポリシリコン）プロセスで形成する技術が進んでおり、上述した光電変換素子もポリシリコンプロセスで形成することにより、各画素内に容易に形成可能である。
特開2001-292276号公報 特開2001-339640号公報

表示装置の画素内に表示素子と光電変換素子（光センサ）を内蔵すると、表示素子を駆動するための表示データ処理装置、光電変換素子から読み出したデータを処理するための読出しデータ処理装置が必要である。さらに、表示素子で表示された画像が示す内容と、読み出したデータの内容（タイミング、座標位置等）とが関連する場合、相互の関連付けを処理する関連データ処理装置が必要である。しかも読出しデータの内容は、ユーザの操作に基づいて変化するので、関連データ処理装置は、融通性をもつことが重要である。

本発明は上記の点に鑑みてなされたものであり、その目的は、インプットセンサ（例えば光電変換素子）を内蔵した表示装置において、表示データの処理、読出しデータの処理、及び関連データの処理が効率的に得られ、融通性を得られるようにしたインプットセンサ内蔵ディスプレイ装置を提供することにある。

この発明は、上記目的を達成するために、マトリックス状に配置された表示素子群と、マトリックス状に配置された光センサ群と、前記表示素子群の列毎に表示用信号を与え、且つる前記表示素子群の行毎に駆動信号を与える表示用駆動回路と、
前記光センサ群の行及び列を指定することで光センサを特定し、この光センサの検知信号を読み出す読み出し回路と、前記読み出し回路から出力された検知信号を、アプリケーションに基づくコマンドに従って処理する読出し信号処理手段と、前記読出し信号処理手段に対して、前記アプリケーションに基づくコマンドを転送するインターフェース部とを有する。

上記のように前記読み出し回路から出力された検知信号を、アプリケーションに基づくコマンドに従って処理する読出し信号処理手段と、前記読出し信号処理手段に対して、前記アプリケーションに基づくコマンドを転送するインターフェース部とを設けたために、各種の処理が可能となり、極めて融通性が高くなる。

以下図面を参照して本発明の実施の形態を説明する。図１には、本発明の一実施の形態に係るインプットセンサ内蔵ディスプレイ装置の全体的な概略構成を示している。１００は、表示及びセンサ部であり、例えば液晶が用いられた表示及びセンサ部である。この表示及びセンサ部１００は、マトリックス状に２次元配列された表示素子と、マトリックス状に２次元配列されたセンシング素子とを内蔵している。この構造については、さらに後で詳しく説明する。

２００は、インプットセンサ内蔵ディスプレイ装置の各部を制御するためのシステム制御部、または、外部に独立して用意された、システム制御部（コンピュータ装置）であり、本発明に関連する部分を示している。このシステム制御部２００は、メインボード上に構築される。システム制御部２００には、マイクロコンピュータ２０１、このマイクロコンピュータ２０１と、アプリケーションプログラムに基づいて各種の制御動作を実現するための各種制御部２０２がある。基本のプログラムはＲＯＭ２０３に格納されており、また各種のアプリケーションプログラムがＲＡＭ２０４に格納される。タイマー２０５は、この装置の基準時間情報を生成している。２０６は、外部制御インターフェース及びデータインターフェースであり、制御データ（コマンドの入出力）、画像データの入出力を行う。また外部の機器、セットトップボックス、チューナ、モデム、パーソナルコンピュータ等との接続を可能としている。

３００は、表示及び撮像データ処理部であり、システム制御部２００からの指令に応じて、先の表示及びセンサ部１００の表示状態、撮像状態、表示及び撮像のタイミング、領域設定などを実現する。表示及び撮像データ処理部３００は、書込み読出し専用処理部３０１を有し、メモリ（ＳＲＡＭ）３１１に対して撮像した画像データ、表示するための画像データなどを一時的に保存することができる。さらにまた、スイッチ及びＬＥＤ処理部３１３を有し、ここでは外部からのスイッチ入力（例えば感度調整、輝度調整などの操作信号）を処理することもできるし、さらにシステムの状態を外部に知らせるために、発光素子（ＬＥＤ）を駆動することもできる。書込み読出し専用処理部３１２は、読出し信号処理部、書込み信号処理部を含む。読出し信号処理部は、表示及びセンサ部１００からの検知信号をアプリケーションに基づいて種々の状態に変換処理することができる。書込み信号処理部は表示するための信号を表示及びセンサ部１００に送り出すための処理を行う。

書込み読出し専用処理部３１２は、中継ボード４００を介して先の表示及びセンサ部１００に接続されている。中継ボード４００には、電源回路、画像データを表示用に変換するデジタルアナログ変換器等が搭載されている。

表示及びセンサ部１００に与えられる信号の種類を大別すると、表示用制御信号，表示用のＲＧＢ画像データ、撮像用制御信号がある。また表示及びセンサ部１００から読み出される信号として、撮像データがある。

図２には、先の表示及び撮像データ処理部３００内の特に書込み読出し専用処理部３０１の基本的な機能ブロックを示している。３０２はデジタルインターフェースであり、システム制御部２００のインターフェース２０６、スイッチ及びＬＥＤ処理部３１３に接続されている。このインターフェース３０２に取り込まれたデータは、データ分離及びデータ転送部３０３で、データの種類が認識される。外部から送られてきたコマンドは、コマンドレジ３０４に格納される。

撮像条件・撮像形態ルックアップテーブル３０５は、複数の撮像条件（プリチャージ電圧、撮像時間など）の情報を格納しており、これらの情報は、システム制御部２００からインターフェースを介して書込みすることができ、またシステム制御部２００側から読取ることもできる。また、書込み読出しタイミング制御部及びデータ入出力部３０６で発生しているタイミング信号を監視して、書込み読出しタイミング制御部及びデータ入出力部３０６から出力される前記タイミング信号の位相などをコントロールすることも可能である。

書込み読出しタイミング制御部及びデータ入出力部３０６は、前記撮像条件・撮像形態ルックアップテーブル３０５からの制御データに基づいて、撮像用の制御信号、また、表示用制御信号も出力する。さらにコマンドレジスタ３０４からのコマンドに応答して、撮像データをデータ分離及びデータ転送部３０３を介して外部に出力することもできる。また撮像データをＳＲＡＭ３１１に格納するために、ＳＲＡＭ制御部３０７に転送することもできる。さらにまた、表示用の画像データを受け取り、表示及びセンサ部１００に送ることもできる。ＳＲＡＭ３１１に格納されているデータが表示用の画像データとして用いられるときは、この画像データは、ＳＲＡＭ制御部３０７を介して書込み読出しタイミング制御部及びデータ入出力部３０６に送られる。外部からの画像データが表示用の画像データとして用いられるときは、この画像データは、データ分離及びデータ転送部３０３を介して書込み読出しタイミング制御部及びデータ入出力部３０６に送られる。

ＳＲＡＭ制御部３０７は、書込み読出しタイミング制御部３０６を介して取り込んだ撮像データをＳＲＡＭ３１１に格納する制御を行う。またＳＲＡＭ３１１に格納されている画像データを、書込み読出しタイミング制御部３０６を介して表示及びセンサ部１００に送り出すなどの制御を行う。さらにまた、コマンドに従って、ＳＲＡＭ３１１に格納されている画像データの編集処理、画像切替え処理等も行うことができる。また、ＳＲＡＭ３１１からの画像データ、又はデータ分離及びデータ転送部３０３、インターフェース３０２を介して外部に送りだすこともできる。

また、ＳＲＡＭ制御部３０７は、インターフェース３０２、データ分離及びデータ転送部３０３を介して外部から送られて来た画像データ、さらには制御データなどをＳＲＡＭ１１１に格納することができる。また、撮像データを用いてユーザーが表示面上を指示している座標の計算及びタップしたか否かの判定を行うことができる。

コマンドレジスタ３０４は、コマンドを格納している。コマンドに応じて以下のような処理を実行する。リセット処理を行うことができる。モード指定１では、通常表示モードと、入力可能モードと、を切替えることができる。入力可能モードは、表示及びセンサ部１００からの撮像データを読取り、処理する状態にセットすることである。通常表示のみの場合は、表示及びセンサ部１００から撮像データを出力しないことで、消費電力の節約を得る。

モード指定２では、本撮像状態、キャリブレーション撮像状態に切替えることができる。キャリブレーション撮像状態では、表示及びセンサ部１００において、表示素子部を閉じる（オフする）ことで、撮像に専念し、撮像ムラを低減するためのデータを取得することができる。

基準信号に対する映像信号の位相信号を、書込み読出しタイミング制御部及びデータ入出力部３０６に渡し、表示及びセンサ部１００に最適なタイミングで、信号処理を実行させる。また、ＳＲＡＭ１１１に２つの画面分の画像データが保存されているような場合に、いずれを表示するかを瞬時に切替える。転送モード（ハンドシェイク（ＨＳ）／バースト）切替えを行う、つまり撮像条件・撮像形態ルックアップテーブル３０５及びＳＲＡＭ制御部３０７などがデータ分離及びデータ転送部３０３及びインターフェース３０２に所定単位のデータを転送する場合、その転送方法、転送速度などを設定する。サンプリングタイミング指示を行う、つまり表示及びセンサ部１００から出力する撮像データを、表示及びセンサ部１００がサンプリングするタイミングを指示する。システム制御部２００側からの書込み許可命令を行う、つまり撮像条件・撮像形態ルックアップテーブル３０５及びＳＲＡＭ制御部３０７に対してインターフェース３０２を介してデータ書込みを許可する。

インターフェース３０２は、システム制御部２００側からのコマンドを受けて、コマンドレジスタ３０４への書込み処理を行う。また、撮像条件・撮像形態を設定するためのデータをシステム制御部２００側から受け取り、撮像条件・撮像形態ルックアップテーブル３０５に送り込む。また、ＳＲＡＭ３１１に書き込むための画像データを、システム制御部２００側から受け取り、ＳＲＡＭ制御部３０７に送る。またＳＲＡＭ制御部３０７から、座標、タップ情報などの計算結果を受け取り、システム制御部２００側に送り出す。

転送モードとしては、ハンドシェイク（ＨＳ）（〜１．５Ｋｂｐｓ）があり、この速度で、コマンドレジスタ３０４への書込み、撮像条件・撮像形態ルックアップテーブル３０５へのデータ書込みが行われる。また、転送モードとしては、バースト転送（〜１６０Ｍｂｐｓ）があり、撮像条件・撮像形態ルックアップテーブル３０５からのデータ読出し、ＳＲＡＭ３１１へのデータの書込み読出しが行われる。これらの転送モードが選択的に利用される。

上記の表示及び撮像データ処理部３００は、システム制御部２００の各種制御部２０２に格納されている各種アプリケーション、及びこれに基づいて発生するシステム制御部２００からの命令、を受け取る。したがって、アプリケーションに応じて、本発明の装置は、種々の使い方、利用形態をが可能となる。表示及び撮像データ処理部３００、システム制御部２００及び表示及びセンサ部１００は、一体に構成されていてもよい。また、表示及び撮像データ処理部３００と表示及びセンサ部１００とが一体で、システム制御部２００が別途独立したものでもよい。

そのためにこの発明では、表示及び撮像データ処理部３００の特に、デジタルインターフェース３０２は、各種のタイプが用意されていてもよい。つまり、外部との接続のためにＵＳＢが用いられてよいし、無線モデムユニットなども用意されてもよい。さらには、携帯電話のデータ入力出力部に接続可能であってもよい。さらにまた、映像信号用としてＲＧＢ端子、ＹＩＱ端子など設けられてもよい。

図３には、表示及びセンサ部１００の機能をブロック化して示している。１３０は画素及びセンサアレイ部であり、マトリックス状に配置された表示素子群と、マトリックス状に配置された光センサ群とを有する。この画素及びセンサアレイ部１３０の画素回路及びセンサ回路については後述する。

画素及びセンサアレイ部１３０の側部（図面左側）には、表示用ゲート線駆動回路１１２、読み出し用ゲート線駆動回路１２２が形成されている。表示用ゲート線駆動回路１１２は、マトリックス状に配列された表示素子群を行毎に駆動する回路である。また読み出し用ゲート線駆動回路１２２は、マトリックス状に配列された光センサ群を行毎に駆動する回路である。画素及びセンサアレイ部１３０の下側部には、信号線駆動回路及びプリチャージ回路１１４が形成されている。この信号線駆動回路及びプリチャージ回路１１４は、マトリックス状に配列された表示素子群の列方向へ、各表示素子に画像データを書き込む回路である。また信号線駆動回路及びプリチャージ回路１１４は、マトリックス状に配列された光センサ群の列方向へ、各センサに所定電位をプリチャージする回路である。

画素及びセンサアレイ部１３０の上部には、Ａ/Ｄ変換回路１２３、データ出力回路１２４が形成されている。Ａ/Ｄ変換回路１２３は、光センサ群の信号線から読み出された信号をアナログデジタル変換し、データ出力回路１２４に転送する回路である。データ出力回路１２４は、取り込んだデータをシリアルデータに変換したうえで、撮像データ１２５として出力する。

ここで、読出し用ゲート線駆動回路１２２には、撮像用制御信号１２１が、先の表示及び撮像データ処理部３００から中継ボード４００を介して与えられている。また表示用ゲート線駆動回路１２１には、表示用制御信号１１１が、先の表示及び撮像データ処理部３００から中継ボード４００を介して与えられている。さらに、信号線駆動回路及びプリチャージ回路１１４には、Ｒ，Ｇ，Ｂの画像データが先の表示及び撮像データ処理部３００から中継ボード４００を介して与えられている。Ｒ，Ｇ，Ｂの画像データは中継ボード上のデジタル-アナログ変換回路（ＤＡＣ）で液晶セルの階調表示に適したアナログ電圧に変換され、信号線駆動回路を経由して所定の信号線に書き込まれ、さらに表示用ゲート線駆動回路１２１によりしてされる行の画素に書き込まれる。また、プリチャージ電圧制御信号１１５が与えられてもよい。

画素及びセンサ（リードライト画素と称しても良い）部は、表示用の画素回路１３１１と読み取り用のセンサ回路１３１２で構成される。

図４には、上記のリードライト画素の回路構成例を示している。ＣＳは、補助容量Ｃｓｋ及び液晶ＬＣの一方の電極に所定の周期で所定の電位を与える電圧ラインである。Ｇａｔｅ（ｍ）は、画素回路１３１１の薄膜トランジスタ（ＴＦＴ）（以下駆動トランジスタ）１３ａをオンオフ制御するためのゲートラインである。またＣＲＴ（ｍ）は、センサ回路１３１２を構成する薄膜トランジスタｎｔ１をオンオフ制御するためのリセット信号ラインである。トランジスタｎｔ１がオンしたときに、センサ容量ＣＰにプリチャージが行なわれる。ＪＶｓｓは、接地ラインである。またＳＦＢ（ｍ）は、センサ容量ＣＰの電位を読み出すときに薄膜トランジスタｎｔ３をオンするセンサ出力制御ラインである。薄膜トランジスタｎｔ２は増幅素子として機能する。ＰＤはフォトダイオードであり、光に感応し、光量に応じた電流を流す。これにより、センサ容量ＣＰにプリチャージされている電荷を放出することができる。Ｓｉｇ（ｎ）, Ｓｉｇ（ｎ＋１）は、信号線である。

フォトダイオードＰＤに照射される光量が多い場合は、センサ容量ＣＰの放電量が多い、逆にフォトダイオードＰＤの照射される光量が少ない場合は、センサ容量ＣＰの放電量が少ないことになる。フォトダイオードＰＤと図示しないバックライトとの間には、遮光処理が成されている。

信号線Ｓｉｇ（ｎ）,Ｓｉｇ（ｎ＋１）は、図３に示した信号線駆動回路１１４及びＡ／Ｄ変換回路１２３に接続されている。また電圧ラインＣｓ、ゲートラインＧａｔｅ（ｍ）は、表示用ゲート線駆動回路１１２に接続されており、リセット信号ラインＣＲＴ（ｍ）、接地ラインＪＶｓｓ、センサ出力制御ラインＳＦＢ（ｍ）は、読出し用ゲート線駆動回路１２２に接続されている。

図４（Ｂ）には、上記の回路の動作を説明するためのタイミングチャートを示している。本回路において、１垂直期間（１フレーム期間）内の特定の１水平期間を次のように設定している。画素回路１３１１では、１水平期間（１Ｈ）内を、第１のブランク期間、コモン反転タイミング期間、書込み期間、第２のブランキング期間に分けている。またこの４つの期間に対応させて、センサ回路１３１２では、出力期間、コモン反転タイミング期間、ブランク期間、プリチャージ期間に分けている。１垂直期間（１フレーム期間）内の上記特定期間を除く他の期間は、画素回路１３１１は表示期間にあり、センサ回路１３１２は、撮像期間である。いま、画素回路１３１１、センサ回路１３１２の部分の動作を説明する。

画素回路１３１１においては、補助容量Ｃｓｋに対して信号線Ｓｉｇ（ｎ）を介して、そして書込み期間に矢印ａ１に示すような経路で、画像信号が書き込まれる。この容量Ｃｓｋの両端間に生じた電圧値に応じて、液晶ＬＣが駆動され階調表示される。

センサ回路１３２１では、上記書込み期間に続いて、トランジスタｎｔ１がオンされ、容量ＣＰに対してプリチャージが行なわれる。このときも信号線Ｓｉｇ（ｎ）が利用される（矢印ｂ１、ｃ１の経路）。つまり、書込み期間とプリチャージ期間とがずれており、信号線Ｓｉｇ（ｎ）を有効利用している。撮像期間においてフォトダイオードＰＤに電流が流れると、プリチャージ電圧が変化する。そして、次の１フレームサイクルで、出力期間に、トランジスタｎｔ３がオンされる。すると、センサ容量ＣＰの電圧は、トランジスタｎｔ２で増幅されて、信号線Ｓｉｇ（ｎ＋１）を介して取出される（矢印ｄ１、ｅ１の経路）。隣の画素及びセンサ（リードライト画素と称しても良い）部においても次の１水平期間に同様な動作が実行される。センサ容量ＣＰから取出された電圧は、プリチャージ以後、読出しスタートまでの間、フォトダイオードＰＤが遮光されていた時間に応じて変化する。全く遮光されていない場合は、読み出された電圧は十分に低い電圧であり、遮光されていた時間が長い場合は、高い電圧が得られる。これによりインプットが成されたのかどうかを判定することができる。

図５は、上記の動作をフレーム単位（Ｎフレーム目とＮ＋１フレーム目）で示した説明図である。画素及びセンサ部の構成は上記の実施例に限定されるものではない。

図６には、画素及びセンサ部の他の構成例を示している。この構成は、画素回路として青用画素回路１３２Ｂ、緑用画素回路１３２Ｇ、赤用画素回路１３２Ｒを有する。したがって夫々の回路１３２Ｂ、１３２Ｇ、１３２Ｒに対応する信号線Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇ、Ｓｉｇ（ｎ）Ｒが設けられている。電圧ラインＣｓ、ゲートラインＧａｔｅ（ｍ）、リセット信号ラインＣＲＴ（ｍ）、センサ出力制御ラインＳＦＢ（ｍ）は、先の図４の回路と同じである。

センサ回路１３３は、トランジスタｎｔ１，容量ＣＰ，フォトダイオードＰＤ，増幅器としてのトランジスタｎｔ２，出力を取出すためのトランジスタｎｔ３で構成されている。

この回路においても、信号線が有効に活用されている。図４、図５のタイミングチャートも参照して説明する。信号線Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇ、Ｓｉｇ（ｎ）Ｒは、スイッチトランジスタ１３ａがオンしている期間では、それぞれ対応する容量Ｃｓへ映像信号を書き込むために利用される。信号線Ｓｉｇ（ｎ）Ｒは、プリチャージ期間に、容量ＣＰに所定電位をプリチャージするために利用される。信号線Ｓｉｇ（ｎ）Ｇは、撮像期間にフォトダイオードＰＤに流れる電流を放出するために利用される。信号線Ｓｉｇ（ｎ）Ｇの電位を設定することで、この電流放出動作が可能である。そして、信号線Ｓｉｇ（ｎ）Ｂは、撮像信号の出力期間に、容量ＣＰの電圧を増幅して読み出すために利用される。

図７には、図６の回路が基板上に構築された際の素子のレイアウトの例を示している。対応する部分には対応する符号を付している。

上記の如く読み出された撮像データは、図１に示した中継ボード４００を介して，書込み読出し専用処理部３１２に取り込まれる。ここで書込み読出し専用処理部３１２は、撮像データの効率的な取込処理を行っている。

図８には、書込み読出し専用処理部３１２が撮像データを取り込むケースの一例をを示している。例えば図８（Ａ）に示すようなテンキーの表示が成されており、撮像信号は、いずれかのキーへのタッチ状態を検出したいような場合がある。このときに有用な撮像データは、主としてテンキーの表示部に位置する光センサ出力である。

そこで本発明の装置では、書込み読出し専用処理部３１２は、図８（Ｂ）に示すようにテンキーの表示位置に対応する領域（ｒ１〜ｒ１２）のみがサンプリングされるように設定される。このサンプリングタイミングは、撮像条件・撮像形態ＬＵＴ３０５において、選択されているテーブルに基づいて、図８（Ｂ）に示すようなサンプリングパルスＨＧＰ，ＶＧＰを発生し、このサンプリングパルスのタイミングで撮像データを判定すればよい。これにより、必要最小限のサンプリングデータに基づいて、効率的なデータ処理が可能となる。この発明では、撮像データの判定精度を上げるために各種の工夫がされている。

図９には、例えば図８に示したようなテンキーに対するタッチ動作があったかどうかを判定するために、フレーム相関を利用した例を示している。例えば、フレーム毎（例えば４フレーム周期）にセンサ容量ＣＳに与えるプリチャージ電圧を変化させるのである。すると、テンキーに対する操作がなければ、フレーム間で相関処理（フレーム間相関９０）を行った場合、読出し電圧（撮像データ）には、プリチャージ電圧の変化分を示す相関が得られる（判定処理９１、判定結果９２）。しかし、テンキーに対する操作があると、プリチャージ電圧の変化分を示す相関（所定の相関）が得られない（判定結果９３）という現象を捉えることができる。

図１０には、図１及び図２で示した表示及び撮像データ処理部３００の他の実施の形態を示している。この例は、表示領域・タイミング設定データテーブル３５３、表示データ出力部３５４が設けられている。また撮像領域・タイミング設定データテーブル３６１、撮像データ処理部３６２が設けられている。表示領域・タイミング設定データ、及び撮像領域・タイミング設定データは、デジタルＩ／Ｆ３５１、設定データ取り込み部３５２を介して、対応するテーブルに取り込まれる。

表示データ出力部３５４には、例えば先に説明したようなテンキー画像データを格納することができる。またこのテンキー画像データを表示するために、そのタイミング信号を生成するためのデータがテーブル３５３に格納される。撮像領域・タイミング設定データテーブル３６１から出力される撮像領域・タイミング設定データに基づいて、撮像データが取り込まれる。撮像データは、撮像データ処理部３６２において、図８、図９で説明したような処理が行われる。また内容判定処理も行われる。

アプリケーションによっては、撮像データを表示データに変換する必要もある。例えば手書き文字などが入力された場合、これを表示データに変換し、表示することがある。このような場合には、撮像データから表示データへの変換処理部３６３において、変換処理が行われ、表示データが、表示データ出力部３５４へ転送される。

また、撮像データ或はその加工データを外部に送出することもできる。このような場合には、撮像データ・加工データ送出部３６４に一旦蓄積され、デジタルＩ／Ｆを介して外部に出力される。全体的に各ブロックの動作タイミング、出力、入力のゲート制御は、マイクロプロセッシングユニット（ＭＰＵ）３７０による制御で実行されている。さらにまた、ＲＯＭ３７１には、表示及びセンサ部１００のヴァージョン情報が及び本機器の対応可能な方式の情報が格納されている。例えば、水平解像度、垂直解像度、クロック周波数、電源電圧規定情報などである。このバージョン情報をシステム制御部が読み取ることにより、システム制御部は、表示及びセンサ部１００が対応できるアプリケーションを選択することができる。

図１１は、この発明の装置の他の例であり、特に書込み信号を正確に読み取れるように対策を施している。即ち、ペン６００の先が多重円の模様となっている。したがって、ペン先がセンサアレイにタッチすると、センサアレイが捕らえるタッチ部の模様も多重円の模様となる。この模様は特徴があるために、撮像データ処理部３６２おいて解析した場合、容易に判別することが可能である。円はユーザーがペンを握る角度によらないので特に適している。任意の角度だけひねって握っても撮像画像は同一である。

多重円の模様に限らず、多重四角の模様、多重三角の模様を用いても良い。さらにまた多重円を例えばＲ（赤）入力、多重四角を例えば青（Ｂ）入力、多重三角を例えば緑（Ｇ）入力として取り扱うようにしてもよい。模様と線間のピッチの組み合せてにより、色を特定するようにしてもよい。つまり、多重の線の模様を持つペンで線を引くと、線の書き始めでは、模様と多重線の線間ピッチを検知できるからである。したがって、多重となった模様の線間のピッチを識別情報として利用してもよい。例えば、多重丸の模様であり、線間のピッチがＰ１の場合、赤、Ｐ２の場合、緑、Ｐ３の場合、青というふうに判断してもよい。

（撮像方式に係る第２の実施形態）
第２の実施形態では、キャリブレーション撮像の結果に基づいてセンサ容量ＣＰのプリチャージ電圧をセンサ毎に変える点に特徴がある。キャリブレーション撮像では、バックライトからの光が例えば均一照射される。このときガラス基板上に形成される光センサ（フォトダイオード）ＰＤ及びトランジスタｎｔ２は同一チップ内でも無視できないばらつきを持つことがあり、ある部分では指等の指示部材の反射光を白く、かつ入射光のない部分を黒く適切に撮像することができるが、他の部分では黒つぶれしたり白つぶれしたりして指示部を適切に検出できない問題を生じることがある。光センサの電流ばらつきやトランジスタｎｔ２の閾値ばらつきが原因である。このような場合に、センサ回路ごとにセンサ容量のプリチャージ電圧を多めにしたり少な目にしたりと増減して白つぶれや黒つぶれを回避する趣旨である。

具体的には以下のようにする。まず、キャリブレーション撮像のために無地均一な白い紙を表示面に密着させてセンサ容量へのプリチャージ電圧を均一に５Ｖとして撮像を行う。図１４のように本発明の表示装置（表示及びセンサ部１００）が組み込まれるセットのふた１５０の内側を白色に塗装してキャリブレーション撮像に利用すると簡便である。

まず、キャリブレーション撮像を２水準のプリチャージ電圧（５Ｖ，４Ｖ）で行ってみる。このときの撮像画像の例を図１２（ａ）と図１２（ｂ）に示す。

図１２（ｂ）は、撮像画像の右の方の部分は、４Ｖと低めの電圧をプリチャージしたにもかかわらずまだ黒い。ということは光照射時の光センサの電流が少なすぎる等の理由により白を出力しにくい部分といえる。そこで実際の撮像を行う際には、表示画面の右の方の部分のセンサ回路のセンサ容量には３．５Ｖの電圧をプリチャージすることにする。プリチャージ電圧が低めになるため、白を出力しやすくなる。

撮像画面の左の方の部分は、逆に光照射時の光センサの電流が多すぎる等の理由により黒を出力しにくい部分ということができる。そこで実際の撮像を行う際には、表示画面の左の方の部分のセンサ回路のセンサ容量には例えば４．５Ｖの電圧をプリチャージすることにする。プリチャージ電圧が高めになるため白を出力しにくくなる。

撮像画面の中央の部分は光センサの電流がちょうどよい部分ということができる。そこで実際の撮像を行う際には、表示画面の中央の部分のセンサ回路のセンサ容量には４．０Ｖの電圧をプリチャージすることにする。

これらを図１３にまとめて示した。このようにして撮像を行うことにより、指等の指示部材を認識できないとか、誤認するような誤動作を防止することができる。ところで、キャリブレーション撮像の結果に基づいて各センサ回路のセンサ容量のプリチャージ電圧をいくつにするかは、ＳＲＡＭ３１１に保存しておく。必要に応じてデジタルＩ／Ｆ３０２を介してシステム制御部に転送してしかるべきところに保存して、システムの起動とともにＳＲＡＭ３１１に読み込んで用いてもよい。また、センサ容量のプリチャージは中継ボード上のＤＡＣと信号線駆動回路を利用して行うことができる。図４（Ｂ）及び図５に示したように行ごとに映像書込みを行っていない期間に行うようにしている効果である。（全センサ容量のへのプリチャージを同時に行うようにしていると画素ごとにプリチャージ電圧を増減することは不可能である）。センサ容量のプリチャージのために多数の水準のプリチャージ電源やプリチャージのための回路を額縁部に追加する必要がない。

上述の例では、キャリブレーション撮像を２水準のプリチャージ電圧（５Ｖ，４Ｖ）で行ったが水準数及びその値は限定されない。２水準以上であれば有効である。水準数が多いほどきめ細かい調節が可能となる。

上述の例では、実際の撮像を行う際のプリチャージ電圧の水準数を３とした（４．５Ｖ，４．０Ｖ，３．５Ｖ）が、水準数は多いほどきめ細かい調節が可能となる。

実際の撮像を行う際のプリチャージ電圧を増減する画素の数は、１画素ずつでもよいし、ある程度グループ化してもよい。図８のようなテンキー表示を行って指示部材がテンキーに触れたか否かを検出するような場合はテンキーの表示を行う画素のセンサ回路のセンサ容量にのみ上述のプリチャージ電圧の調整を適用すれば十分である。アプリケーションやシステムのリソース等を考慮して決定することができる。

上記した各実施の形態における総合的な特徴点及び各部の特徴点を以下まとめる。本発明では、マトリックス状に配置された表示素子群と、マトリックス状に配置された光センサ群と、前記表示素子群の列毎に表示用信号を与え、且つ前記表示素子群の行毎に駆動信号を与える表示用駆動回路と、前記光センサ群の行及び列を指定することで光センサを特定し、この光センサの検知信号を読み出す読み出し回路とを有する。そして、前記読み出し回路から出力された検知信号は、アプリケーションに基づくコマンドに従って処理する、所謂読出し信号処理部が処理することになる。

ここで、読出し信号処理部内にコマンドレジスタと、アプリケーションに基づくコマンドが送られてきたときに、このコマンドを前記コマンドレジスタに転送するインターフェース部とが設けられている。これにより、各種の処理を実行する融通性のある装置を得ることができる。

上記読出し信号処理部は、前記検知信号に基づく画像データを生成する手段を含むことができる。また読出し信号処理部は、検知信号に対応する光センサの座標データを生成する手段を含むことができる。さらにまた読出し信号処理部は、前記検知信号に対応する画像データを生成し、前記表示用駆動回路に帰還する手段を含むことができる。これにより、インプットされた情報を、表示像とし反映することができる。

また上記の読出し回路に対して動作タイミングを設定する駆動方法であって、前記表示素子群を構成する１つの画素回路に対しては、１水平期間の前半と後半に第１と第２のブランキ期間を設定し、この第１と第２のブランキング期間の間を映像書込み期間に設定し、次の１フレーム周期目までを表示期間に設定し、前記センサ群を構成する１つのセンサ回路に対しては、前記１水平期間の第１のブランキング期間に対応する期間を読出し期間として設定し、第２のブランキング期間に対応する期間をプリチャージ期間として設定し、この読出し期間とプリチャージ期間の間をブランキング期間として設定し、次の１フレーム周期までを撮像期間として設定している。これにより、書込み（撮像）が表示に支障を与えることなく実現できる。

この結果、図４に示したように、表示データ書込みのための信号線Ｓｉｇ（ｎ）, Ｓｉｇ（ｎ＋１）を、撮像のための読出し線として有効利用している。

即ち、表示素子群の列毎に表示用信号を与え、且つ前記表示素子群の行毎に駆動信号を与える表示用駆動回路は、前記駆動信号を出力する表示用ゲート線駆動回路と、前記表示信号を出力するデータ出力回路を含む。そして、前記表示信号が出力される信号線は、画素回路の補助容量にスイッチを介して接続されるとともに、前記光センサにもスイッチを接続して接続されている（図４、図６）。前記信号線は、前記光センサと並列接続された容量にプリチャージするための信号である（図４）。また前記信号線は、前記光センサと並列接続された容量の電圧変化を、増幅器及びスイッチを介して取出すための第２の信号線である（図４）。

上記の画素回路は、Ｒ，Ｇ，Ｂ用の画素回路であり、それぞれに前記信号線を有する。そして、前記光センサを含みこの光センサに並列接続された容量を含むセンサ回路は、第１の信号線をプリチャージ用としており、第２の信号線を撮像時の放電ラインとしており、第３の信号線を前記容量の電圧読み取り用としていることを特徴とする（図６）。勿論、各Ｒ，Ｇ，Ｂ用の画素回路のそれぞれに１対１でセンサ回路が設けられてもよい。

読出し信号処理部は、さらに前記検知信号の特定期間のみをサンプリングするサンプリング手段（図８）を含む。そして前記サンプリング手段は、前記表示素子群及び表示用駆動回路に基づいて形成される表示画像の特定期間（特定個所）に上記のサンプリング用の特定期間を定めていることを特徴とする。また、前記表示画像は、テンキーを表示する画像であり、前記特定期間はキー表示位置に対応する。

前記光センサ群の個々の光センサは、前記光センサと並列接続された容量、及び前記容量にプリチャージを行う入力スイッチ、及び前記容量の電位を信号線に出力する出力スイッチを含むセンサ回路に含まれる。そして、前記容量がスイッチを介して接続される信号線には、プリチャージ回路が接続されている。ここでプリチャージ回路は、プリチャージ電位を可変することができるプリチャージ可変手段を有する（図９、図１２、図１３）。

前記光センサに対するプリチャージ電圧は、前記光センサ群の２次元エリアが複数のエリアに区分されており、それぞれのエリアで異なることを特徴とする（図９、図１２、図１３）。前記プリチャージ電圧のエリア間の差違は、複数の光センサ及び又は複数の出力増幅器の感度及び特性の差を補償するためのものである。

またこの発明の装置では、前記光センサ群及び表示素子群の上面には、透明保護ガラス（または合成樹脂などの透明保護シート）が配置されている。ここで、前記光センサ群に対して、手書き入力を与える場合、先端に特定の模様を有するペンを用いることを特徴とする（図１１）。ここで模様全体の面積は、その模様の判定が可能なように、複数の光センサに跨る程度の面積である。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の一実施の形態を示すブロック構成図。 図１の表示及び撮像データ処理部の構成を詳しく示すブロック図。 本発明に係る表示及びセンサ部１００の全体的なブロック構成図。 図３の画素回路及びセンサ回路の具体例とその動作を説明するために示した説明図。 本発明に係る装置の表示及び撮像タイミングをフレーム単位で説明するために示した説明図。 本発明に係る画素回路及びセンサ回路の他の具体例を示す説明図。 図６の回路の素子パターンを概略的に示す説明図。 本発明の装置の動作例を説明するために、画像とサンプリングタイミングを示す説明図。 本発明の装置の動作例の内、ノイズ対策の一例を説明するために示した説明図。 本発明に係る装置の表示及び撮像データ処理部の機能ブロックの構成を示すブロック図。 本発明の装置の動作例のうちノイズ対策の他の例を説明するために示した説明図。 本発明の装置により撮像に関して、適正プリチャージ電圧の検索を行う方法の例を説明するために示した説明図。 図１２の方法により求めた適正プリチャージ電圧のインプット面上の分布状態の例を示す図。 本発明に係るインプットセンサ内蔵表示装置の外観の例を示す図。

符号の説明

１００…表示及びセンサ部、２００…システム制御部、３００…表示及び撮像データ処理部、４００…中継ボード。

Claims (5)

1. マトリックス状に配置された表示素子群と、
   マトリックス状に配置された光センサ群と、
   前記表示素子群の列毎に表示用信号を与え、且つ前記表示素子群の行毎に駆動信号を与える表示用駆動回路と、
   前記光センサ群の行及び列を指定することで光センサを特定し、この光センサの検知信号を読み出す読み出し回路と、
   前記読み出し回路から出力された検知信号を、アプリケーションに基づくコマンドに従って処理する読出し信号処理部と、
   前記読出し信号処理部内に設けられたコマンドレジスタと、
   前記読出し信号処理部内に設けられ、前記アプリケーションに基づくコマンドが送られてきたときに、このコマンドを前記レジスタに転送するインターフェース部と、
   を有したことを特徴とするインプットセンサ内蔵ディスプレイ装置。
2. 前記読出し信号処理部は、前記検知信号に基づく画像データを生成する手段を含むことを特徴とする請求項１記載のインプットセンサ内蔵ディスプレイ装置。
3. 前記読出し信号処理部は、前記検知信号に対応する光センサの座標データを生成する手段を含むことを特徴とする請求項１記載のインプットセンサ内蔵ディスプレイ装置。
4. 前記読出し信号処理部は、前記検知信号に対応する画像データを生成し、前記表示用駆動回路に帰還する手段を含むことを特徴とする請求項１記載のインプットセンサ内蔵ディスプレイ装置。
5. マトリックス状に配置された表示素子群と、マトリックス状に配置された光センサ群と、前記表示素子群の列毎に表示用信号を与え、且つ前記表示素子群の行毎に駆動信号を与える表示用駆動回路と、前記光センサ群の行及び列を指定することで光センサを特定し、この光センサの検知信号を読み出す読み出し回路と、前記読み出し回路から出力された検知信号を、アプリケーションに基づくコマンドに従って処理する読出し信号処理部とを有し、前記表示用駆動回路、前記読出し回路に対して動作タイミングを設定する駆動方法であって、
   前記表示素子群を構成する１つの画素回路に対しては、１水平期間の前半と後半に第１と第２のブランキ期間を設定し、この第１と第２のブランキング期間の間を映像書込み期間に設定し、次の１フレーム周期目までを表示期間に設定し、
   前記センサ群を構成する１つのセンサ回路に対しては、前記１水平期間の第１のブランキング期間に対応する期間を読出し期間として設定し、第２のブランキング期間に対応する期間をプリチャージ期間として設定し、この読出し期間とプリチャージ期間の間をブランキング期間として設定し、次の１フレーム周期までを撮像期間として設定しているインプットセンサ内蔵ディスプレイ装置の駆動方法。

Images