JP2009199204A - 電気光学装置、及びその制御方法、並びに電子機器 - Google Patents

Abstract

【課題】表示品位を損なうことなく、タッチを精度良く検出する。
【解決手段】電気光学装置１を提供する。電気光学装置１は、複数の画素回路Ｐ１と、フォトダイオード１１を備えた複数の光検出回路Ｏ１と、表示検出制御回路５０とを備える。表示検出制御回路５０は、複数の光検出回路Ｏ１から検出信号を読み出し、読み出した検出信号のレベルと閾値とに基づいて、光検出回路Ｏ１に一対一で対応する複数の単位検出領域のうち、画面との距離が予め定められた距離範囲内にあって画面に接近中の対象物の陰に入るものを接近領域として検出し、検出した近接領域に対応する画素領域に白黒画像が表示されるように、複数の画素回路Ｐ１に与える電気エネルギの制御を行う。
【選択図】図１

Description

本発明は、指やペン等の対象物が画面に接触したことを検出する電気光学装置と、その制御方法と、この電気光学装置を備えた電子機器に関する。

特許文献１には、対象物で指示された画面上の座標位置を検出する液晶表示装置が記載されている。この液晶表示装置は、バックライトを備え、対象物で反射されたバックライトの光を撮像する光センサ（画像読取センサ３３）を、一又は複数の画素に対して一つずつ有し、対象物を画面に近づけたり接触させたりしたときの撮像データの変化に基づいて座標位置を検出する。

また、特許文献１には、周囲の明暗を考慮に入れて座標位置を検出することや、画面の所定の一部または全部の輝度を最高輝度（白ラスタ）と最低輝度（黒ラスタ）との間でフレーム毎に変更したときの撮像データの差分をとったり、白黒の市松模様などの特殊パターンを画面の所定の一部または全部に表示し、撮像データの画像内で特殊パターンを検索したりして、ノイズ光（環境光）の影響を排除することが記載されている。
特開２００４−３１８８１９号公報

ところで、対象物が画面に接触したこと、すなわちタッチを精度良く検出するためには、ノイズ光の影響を十分に排除する必要がある。もちろん、特許文献１に記載のように、画面の所定の一部または全部の色（輝度）を白（最高輝度）と黒（最低輝度）との間でフレーム毎に変更したり、白黒の市松模様などの特殊パターンを画面の所定の一部または全部に表示したりすれば、ノイズ光の影響を十分に排除することができる。しかし、通常、画面には、人に見せるための画像が表示されるから、上記のようにすると、画面上の視認可能な広い領域で画像がチラついたり、当該領域の画像に特殊パターンが重なったりして、見難い画面となってしまう。つまり、表示品位が損なわれてしまう。

本発明は、上述した事情に鑑みてなされたものであり、表示品位を損なうことなく、タッチを精度良く検出することができる電気光学装置と、その制御方法と、この電気光学装置を備えた電子機器を提供することを解決課題とする。

まず、用語について説明する。
「電気光学素子」は、与えられた電気エネルギにより発光特性または光の透過特性が変化する素子であり、液晶素子等のライトバルブ素子や、ＯＬＥＤ（Organic Light Emitting Diode：有機ＥＬ素子）等の発光素子等を含む。「光センサ」は、光エネルギを電気エネルギに変換するセンサであり、受光（入射）した光量に応じた電流を発生させるものや、受光（入射）した光強度に応じて電気抵抗値が変化するもの等を含む。光量に応じた電流を発生させる光センサとしては、フォトダイオードを例示可能である。光強度に応じて電気抵抗値が変化する光センサとしては、フォトレジスタを例示可能である。
「対象物」は、光を反射する物体であり、指やペン等の、画面上の座標位置を指示するものを含む。

次に、上述した課題を解決するために本発明が提供する手段について説明する。
本発明は、複数の画素領域と前記複数の画素領域に一定数対一で対応する複数の検出単位領域とを有する平面状の画面に沿って広がる単位回路領域に配列され、前記複数の画素領域と一対一で対応し、各々が、与えられた電気エネルギにより発光特性または光の透過特性が変化する電気光学素子を備え、前記電気光学素子からの光を対応する前記画素領域から出射させる、複数の画素回路と、前記単位回路領域に配列され、前記複数の検出単位領域と一対一で対応し、各々が、光センサを備え、前記検出単位領域への入射光に応じたレベルの検出信号を生成する、複数の光検出回路と、前記複数の画素回路に与える電気エネルギの制御を行って前記画面に画像を表示させる表示制御処理を繰り返し行うとともに、前記複数の光検出回路から前記検出信号を読み出し、読み出した前記検出信号のレベルと閾値とに基づいて、前記複数の単位検出領域のうち、前記画面との距離が予め定められた距離範囲内にある対象物の陰に入るものを近接領域として検出する検出処理を繰り返し行う表示検出制御回路とを備え、前記表示検出制御回路は、前記表示制御処理では、前記近接領域が検出されていない場合には、与えられた画像データで表される画像が前記画面に表示され、前記近接領域が検出されている場合には、前記複数の画素領域のうち、前記近接領域に対応する前記画素領域に白黒画像が表示され、残りの画素領域に、前記画像データで表される画像から前記近接領域に対応する部分を除いた画像が表示されるように、前記制御を行い、前記検出処理では、前回の前記検出処理で前記近接領域が検出されている場合には、前記複数の光検出回路から読み出された前記検出信号のレベルに基づいて、対象物と前記画面との接触を検出する、ことを特徴とする電気光学装置を提供する。
この電気光学装置によれば、複数の検出単位領域のうち、画面との距離が予め定められた距離範囲内にある対象物の陰に入る領域にのみ、白黒画像が表示されるから、表示品位を損なうことなく、タッチを精度良く検出することができる。

上記の電気光学装置において、前記対象物は、前記距離範囲内にあるもののうち、前記画面に接近中のもののみである、ようにしてもよい。この態様の電気光学装置によれば、対象物が画面から離れていく場合には、白黒画像が表示されない。したがって、白黒画像の無駄な表示を排除することができる。

上記の各電気光学装置において、前記白黒画像は、全域が白の領域と全域が黒の領域とを有する画像である、ようにしてもよいし、前記白黒画像は、全域が白の白画像または全域が黒の黒画像であり、前記表示検出制御回路は、前記近接領域が検出されてから前記近接領域が検出されなくなるまでの間、前記白黒画像を前記白画像と前記黒画像との間で切り換える処理を前記検出処理の繰り返し周期で行う切り換え処理を続行する、ようにしてもよい。前者の態様では、一度の検出で接触を検出することが可能となり、後者の態様では、ノイズ光（環境光）の影響を排除して接触を検出することが可能となる。

上記の各電気光学装置において、前記近接領域は、前記複数の単位検出領域のうち、全域が前記陰に入るものを含み、前記陰に入らない部分を含むものを含まない、ようにしてもよい。この態様によれば、白黒画像が視認される可能性を低減することができる。さらに、上記の各電気光学装置において、前記一定数は複数である、ようにしてもよい。この態様によれば、実施が容易となり、接触検出の精度が向上する。

また、本発明は、上記の各電気光学装置を備えた電子機器を提供する。この電子機器によれば、表示品位を損なうことなく、タッチを精度良く検出することができる。

また、本発明は、複数の画素領域と前記複数の画素領域に一定数対一で対応する複数の検出単位領域とを有する平面状の画面に沿って広がる単位回路領域に配列され、前記複数の画素領域と一対一で対応し、各々が、与えられた電気エネルギにより発光特性または光の透過特性が変化する電気光学素子を備え、前記電気光学素子からの光を対応する前記画素領域から出射させる、複数の画素回路と、前記単位回路領域に配列され、前記複数の検出単位領域と一対一で対応し、各々が、光センサを備え、前記検出単位領域への入射光に応じたレベルの検出信号を生成する、複数の光検出回路と、を備える電気光学装置の制御方法であって、前記複数の画素回路に与える電気エネルギの制御を行って前記画面に画像を表示させる表示制御処理を繰り返し行うとともに、前記複数の光検出回路から前記検出信号を読み出し、読み出した前記検出信号のレベルと閾値とに基づいて、前記複数の単位検出領域のうち、前記画面との距離が予め定められた距離範囲内にある対象物の陰に入るものを近接領域として検出する検出処理を繰り返し行い、前記表示制御処理では、前記近接領域が検出されていない場合には、与えられた画像データで表される画像が前記画面に表示され、前記近接領域が検出されている場合には、前記複数の画素領域のうち、前記近接領域に対応する前記画素領域に白黒画像が表示され、残りの画素領域に、前記画像データで表される画像から前記近接領域に対応する部分を除いた画像が表示されるように、前記制御を行い、前記検出処理では、前回の前記検出処理で前記近接領域が検出されている場合には、前記複数の光検出回路から読み出された前記検出信号のレベルに基づいて、対象物と前記画面との接触を検出する、ことを特徴とする電気光学装置の制御方法を提供する。この制御方法によれば、表示品位を損なうことなく、タッチを精度良く検出することができる。

＜１．第１の実施の形態＞
図１は、本発明の第１の実施の形態に係る電気光学装置１の構成を示すブロック図である。電気光学装置１は、タッチ入力機能を備えた透過型の液晶表示装置であり、液晶パネルＡＡ、制御回路３００、および画像処理回路４００を備える。液晶パネルＡＡは、スイッチング素子として薄膜トランジスタ（Thin Film Transistor）を形成した素子基板と対向基板とを互いに電極形成面を対向させ、かつ一定の間隙を保って貼付したものであり、この間隙に液晶が挟持される。また、液晶パネルＡＡは、その素子基板上に、単位回路領域Ａ、走査線駆動回路１００、データ線駆動回路２００、センサ用走査回路５００、および検出信号読出回路６００を備える。上記の回路１００〜６００は、協働して、表示とタッチ入力のための検出とを制御する表示検出制御回路５０として機能する。

図２は、表示検出制御回路５０の機能構成を示す概念図である。表示検出制御回路５０は、表示を制御する表示制御部５１と、検出を制御する検出制御部５２とに分かれる。表示制御部５１は、走査線駆動回路１００、データ線駆動回路２００、制御回路３００及び画像処理回路４００によって実現され、検出制御部５２は、制御回路３００、センサ用走査回路５００及び検出信号読出回路６００によって実現されている。制御回路３００は、走査線駆動回路１００、データ線駆動回路２００及び画像処理回路４００を用いて表示を制御する一方、センサ用走査回路５００及び検出信号読出回路６００を用いて検出を制御し、検出制御部５２での処理の結果に基づいて、表示制御部５１が行う処理の内容を決定する。

図１の単位回路領域Ａは、画面に重なる領域であり、画面に沿って延在している。単位回路領域Ａには、Ｘ方向に延在するｍ本の走査線と、Ｙ方向に延在するｎ本のデータ線とが形成され、走査線とデータ線との交差に対応して、ｍ（行）×ｎ（列）個の画素回路（表示単位回路）Ｐ１が配置される。画素回路Ｐ１は、与えられた電気エネルギにより光の透過特性が変化する液晶素子を備える。

制御回路３００は、走査線駆動回路１００とデータ線駆動回路２００に対し、クロック信号や各種の制御信号を供給する。また、制御回路３００は、図示しないＣＰＵ（Central Processing Unit）等の上位のユニットから供給された入力画像データＤinを画像処理回路４００へ供給する。画像処理回路４００は、入力画像データＤinに画像処理を施して出力画像データＤoutを生成し、これをデータ線駆動回路２００に出力する。走査線駆動回路１００は、画面に沿ってマトリクス状に配列する画素回路Ｐ１を、走査信号Ｙ１，Ｙ２，…，Ｙｍを用いて行単位で順次、巡回的に選択する。また、データ線駆動回路２００は、走査線駆動回路１００によって順次選択される１行分（ｎ個）の画素回路Ｐ１に対し、データ信号Ｘ１，Ｘ２，Ｘ３，…，Ｘｎを供給する。なお、図示を省略しているが、液晶パネルＡＡの背面にはバックライトが設けられており、このバックライトからの光は単位回路領域Ａを介して平面状の画面から外部へ射出される。

単位回路領域Ａは、画面の法線方向において画面に重なっている。画面は、ｍ（行）×ｎ（列）個の画素領域とｍ（行）×ｎ（列）個の光検出領域とを含む。画素回路Ｐ１は、画素領域と一対一で対応しており、その液晶素子からの光を、対応する画素領域から出射させる。一方、液晶素子の光の透過率（透過特性）は、データ線駆動回路２００から供給されるデータ信号の電圧レベルに応じて画素回路Ｐ１ごとに制御される。これによって、光変調による階調表示、すなわち画面への画像の表示が可能となる。つまり、表示制御部５１は、ｍ×ｎ個の画素回路Ｐ１に与える電気エネルギの制御を行って画面に画像を表示させる表示制御処理を繰り返し行う。

また、単位回路領域Ａには、タッチ入力のために、画素回路Ｐ１ごとに光検出回路Ｏ１が設けられ、全部でｍ（行）×ｎ（列）個の光検出回路Ｏ１がマトリクス状に配列されている。光検出回路Ｏ１は、入射光の光量に応じたレベルの受光信号を出力するフォトダイオード（光センサ）を備え、検出単位領域と一対一で対応しており、電気光学装置１の外部から当該光検出回路Ｏ１に対応する検出単位領域への入射光（当該光検出回路Ｏ１のフォトダイオードの受光光）に応じた信号レベルの検出信号を生成する。なお、光検出回路Ｏ１は、センサ用走査回路５００と検出信号読出回路６００に電気的に接続されている。

また、制御回路３００は、センサ用走査回路５００に対してクロック信号や走査用の制御信号を供給する一方、検出信号読出回路６００に対してクロック信号や検出信号処理用の制御信号を供給する。検出信号処理用の制御信号は、後述のサンプリング信号ＳＨＧを含む。センサ用走査回路５００は、画面に沿ってマトリクス状に配列する光検出回路Ｏ１を、センサ用走査信号Ｗ１，Ｗ２，…，Ｗｍを用いて行単位で順次、巡回的に選択する。また、検出信号読出回路６００は、センサ用走査回路５００によって順次選択される１行分（ｎ個）の光検出回路Ｏ１から、検出信号Ｚ１，Ｚ２，Ｚ３，…，Ｚｎを読み出し、制御回路３００へ供給する。

また、制御回路３００は、図示しないメモリを備え、供給された検出信号を当該メモリに順次蓄積する。また、制御回路３００は、１画面分の検出信号が蓄積されると、新たに１画面分の検出信号が蓄積される度に、ｍ×ｎ個の検出単位領域のうち、画面との距離が近接範囲内にあって画面に接近中の指の陰に入る領域を接近領域として検出する。以降、この検出を「接近領域検出」と呼ぶ。なお、近接範囲は、指が画面に近接または接触しているとみなすことができる場合の画面と指との距離の範囲であり、予め定められている。つまり、表示制御部５２は、複数の光検出回路Ｏ１から検出信号を読み出して接近領域検出を行う検出処理を繰り返し行う。まとめると、表示検出制御回路５０は、前述の表示制御処理を繰り返し行うとともに、上述の検出処理を繰り返し行う。

また、表示検出制御回路５０は、各表示制御処理において、直前の検出処理で接近領域が検出されなかった場合には、入力画像データＤinで表される画像が画面に表示され、直前の検出処理で接近領域が検出された場合には、ｍ×ｎ個の画素領域のうち、これらの接近領域に対応する画素領域に白黒画像が表示され、残りの画素領域に、入力画像データＤinで表される画像から、これらの接近領域に対応する部分を除いた画像が表示されるように、ｍ×ｎ個の画素回路Ｐ１に与える電気エネルギの制御を行う。なお、上記の白黒画像の画像データ（以降、「白黒画像データ」と呼ぶ）は、制御回路３００のメモリに記憶されている。

また、表示検出制御回路５０は、各検出処理において、前回の検出処理で接近領域が検出された場合にのみ、ｐ×ｑ個の光検出回路Ｏ１から読み出されたｐ×ｑ個の検出信号を用いて、画面への指の接触及び接触位置を検出する。以降、この検出を「接触検出」と呼ぶ。次に、検出処理および表示制御処理の具体的な内容について、順を追って説明する。まず、光検出回路Ｏ１の構成及び動作について説明する。

［光検出回路Ｏ１の構成及び動作］
図３は、電気光学装置１内の光検出回路Ｏ１の構成を示す回路図である。なお、この光検出回路Ｏ１はｉ（ｉは１≦ｉ≦ｍの整数）行j（ｊは１≦ｊ≦ｎの整数）列目に配置されるが、他の光検出回路Ｏ１も同様に構成されている。光検出回路Ｏ１は、フォトダイオード１１を備える。フォトダイオード１１は入射光の光量に応じた大きさの電流を出力するものであって、光エネルギを電気エネルギに変換する光センサとして機能する。フォトダイオード１１の陽極（第１の端子）は固定電位に接続されており、その陰極は増幅トランジスタ１２のゲートに接続されている。また、増幅トランジスタ１２のゲートと第１電源電位Ｖｓｓが供給される第１電源線１３との間には容量素子１４が設けられている。この容量素子１４にフォトダイオード１１から出力される電荷が蓄積される。増幅トランジスタ１２のゲートと第２電源電位Ｖｄｄが供給される第２電源線１５との間にはリセットトランジスタ１６が設けられている。Ｖｄｄ＞Ｖｓｓである。このリセットトランジスタ１６はスイッチング素子として機能し、センサ用走査信号Ｗｉがアクティブになると第２電源線１５の電位を増幅トランジスタ１２のゲートに供給する。さらに、増幅トランジスタ１２のドレインは第１電源線１３と電気的に接続される一方、そのソースは検出線１７と電気的に接続される。なお、増幅トランジスタ１２におけるドレインとソースの関係は、電位が高い方をドレイン、電位が低い方をソースと定義するので、バイアスによってはドレインとソースとが逆転することがある。

図４は、センサ用走査信号Ｗ１〜Ｗｍ及びサンプリング信号ＳＨＧの波形を示すタイミングチャートである。図５及び図６は、それぞれ、ある時点の光検出回路Ｏ１の状態を示す図である。図４に示すように、センサ用走査信号Ｗ１〜Ｗｍは、各水平走査期間（１Ｈ）の一部の期間で順次ハイレベルとなる。ｉ番目の水平走査期間は、初期化期間Ｔini、検出期間Ｔdet、および読出期間Ｔreadから構成される。

初期化期間Ｔiniでは、ｎ本の検出線１７に第２電源電位Ｖｄｄが供給される。また、この期間では、センサ用走査信号Ｗｉがハイレベルとなるので、ｎ個の光検出回路Ｏ１において、リセットトランジスタ１６がオン状態となり、図５に示すように、第２電源電位Ｖｄｄが第２電源線１５およびリセットトランジスタ１６を介して増幅トランジスタ１２のゲートに供給される。つまり、ｎ個の光検出回路Ｏ１において、コンデンサ１４には電圧Ｖｓｓ−Ｖｄｄが蓄えられる。

検出期間Ｔdetでは、ｎ本の検出線１７に第２電源電位Ｖｄｄが供給されない。また、この期間では、センサ用走査信号Ｗｉがローレベルとなるので、ｎ個の光検出回路Ｏ１において、リセットトランジスタ１６がオフ状態となる。これらｎ個の光検出回路Ｏ１のうち第ｊ列の光検出回路Ｏ１におけるバイアスは、図６に示す通りである。つまり、増幅トランジスタ１２のゲート電位Ｖｇは、フォトダイオード１１の電圧をＶｐｄとすれば、Ｖｇ＝Ｖｄｄ−Ｖｐｄとなる。電圧Ｖｐｄは、フォトダイオード１１への入射光の光量に応じて定まり、ゲート電位に応じて定まる電流が検出線１７へ出力される。検出線１７の電位をＶsenseとすると、電位Ｖsenseは、増幅トランジスタ１２がオフ状態となるまで、すなわちＶsense＝Ｖｇ−Ｖｔｈとなるまで上昇する。こうして、検出信号Ｚｊが生成される。このような動作がｎ個の光検出回路Ｏ１で行われ、ｎ個の検出信号Ｚ１〜Ｚｎが生成される。

読出期間Ｔreadでは、サンプリング信号ＳＨＧがローレベルとなるので、検出信号読出回路６００により、ｎ本の検出線１７からｎ個の検出信号が読み出される。読み出された検出信号は、制御回路３００へ供給される。このようにして、垂直走査期間（１Ｖ）毎に１画面分の検出信号が制御回路３００へ供給される。次に、接近領域検出及び接触検出の考え方について説明する。この説明では、注目する一つの検出単位領域を「注目領域」と呼ぶ。

［接近領域検出の考え方］
電気光学装置１では、注目領域への入射光の光量（総入射光量）は、注目領域へ入射する環境光の光量（入射環境光量）と、指に反射して注目領域へ入射するバックライトの光の光量（入射反射光量）との和となる。ただし、指が注目領域に近接または接触している場合には、総入射光量≒入射反射光量となる。また、指が画面に接触も近接もしていない場合には、総入射光量≒入射環境光量、または総入射光量＝入射環境光量となる。

一方、指が注目領域に影を落としながら接近すると、入射環境光量が減少する一方、入射反射光量が増加する。前述のように、指が注目領域に接触も近接もしていない場合には、総入射光量≒入射環境光量となるから、環境光が著しく弱くない限り、当該指の接近によって総入射光量が減少する。また、前述のように、指が画面に近接または接触している場合には、総入射光量≒入射反射光量となるから、注目領域からの出射光が著しく弱くない限り、当該指の接近によって総入射光量が増加する。

他方、指が注目領域に影を落としながら当該領域から遠ざかると、入射環境光量が増加する一方、入射反射光量が減少する。つまり、接近の場合とは逆の変化となる。よって、指が注目領域に近接または接触している場合には、注目領域からの出射光が著しく弱くない限り、当該指が画面から遠ざかることによって総入射光量が減少する一方、指が画面に接触も近接もしていない場合には、環境光が著しく弱くない限り、当該指が画面から遠ざかることによって総入射光量が増加する。

また、指が画面に近接または接触している場合には、画面において、指の影が落ちている部分の中央付近が明るくなり、周縁付近が暗くなる。これは、中央付近の入射反射光量が多く、周縁付近の入射反射光量が少ないためである。以上より、総入射光量が十分に多く、総入射光量の増加の割合が十分に大きい検出単位領域の数が予め定められた領域数範囲内にある場合に、これらの検出単位領域を接近領域とみなしてよいことが分かる。

［接触検出の考え方］
ところで、接触していないのに接触が検出されたり、接触した位置と異なる位置が接触位置として検出されたりすると、電気光学装置１の信頼性が著しく損なわれる。したがって、接触検出には、接近領域検出よりも高い精度が要求される。例えば、環境光が著しく弱い場合であっても、画面への指の接触及び接触位置を正確に検出する必要がる。前述したように、画面に、白黒の市松模様などの、全域が白（最高輝度）の領域と全域が黒（最低輝度）とが規則的に並んだ特殊パターンの白黒画像を表示し、画像処理によって接触検出を行うようにすれば、ノイズ光の影響を十分に排除することができる。しかし、白黒画像を表示することによって表示品位が損なわれるのは好ましくない。

一方、接近領域は、画面に近接している位置にあって画面に接近中の指の影が落ちている検出単位領域であるから、接近領域に対応する画素領域に表示された画像は、死角に入る可能性が高い。つまり、接近領域に対応する画素領域に白黒画像を表示したとしても、この画像が視認される可能性は低い。また、指は画面の法線方向に沿って画面に接近してくると考えられる。そこで、本実施の形態では、接近領域に対応する画素領域に白黒画像を表示することによって接触検出の精度を高めるという方針を採用している。次に、これらの考え方に基づいた表示制御処理及び検出処理の流れについて説明する。

［表示制御処理及び検出処理の流れ］
図７は、表示制御処理の流れを示すフローチャートである。表示制御処理では、表示検出制御回路５０は、接近フラグの値が「真」でなければ（Ｓ１１：ＮＯ）、入力画像データＤｉｎに基づいて出力画像データＤｏｕｔを生成し（Ｓ１２）、この出力画像データＤｏｕｔを用いて、この出力画像データＤｏｕｔで表される画像が画面に表示されるように、ｍ×ｎ個の画素回路Ｐ１に与える電気エネルギの制御を行う（Ｓ１３）。

接近フラグは、接近領域が存在するか否かを示すものであり、制御回路３００のメモリに保持されている。接近フラグの値は、接近領域が存在する場合に「真」となり、他の場合に「偽」となる。なお、接近フラグの初期値は「偽」である。したがって、電気光学装置１が動作を開始した直後に画面に表示される画像は、入力画像データＤｉｎで表される画像である。

図８は、検出処理の流れを示すフローチャートである。検出処理では、表示検出制御回路５０は、まず一画面分の光検出回路Ｏ１からｍ×ｎ個の検出信号を読み出して記憶し（Ｓ２１）、次に、接近フラグの値が「真」でなければ（Ｓ２２：ＮＯ）、接近領域検出を行い（Ｓ２３）、この接近領域検出で接近領域が検出されなければ（Ｓ２４：ＮＯ）、接近フラグの値を「偽」とする（Ｓ２５）。

ステップＳ２３の接近領域検出では、表示検出制御回路５０は、まず、今回の検出処理で読み出した各検出信号のレベルと第１閾値とを比較して、総入射光量が十分に多い検出単位領域の特定を試行する。以降、この試行を「第１試行」と呼ぶ。第１閾値は、近接範囲に相当する値であり、予め定められている。第１試行での比較の結果を図９に示す。この図では、総入射光量が十分に多い検出単位領域に対応する光検出回路Ｏ１が「１」、他の光検出回路Ｏ１が「０」で表されている。第１試行で検出単位領域が一つも特定されなければ、接近領域が検出されることはない。

第１試行で検出単位領域が特定された場合には、表示検出制御回路５０は、特定された検出単位領域ごとに、前回の検出処理で第１閾値と比較した検出信号のレベルと今回の検出処理で第１閾値と比較した検出信号のレベルとの差分と予め定められた第２閾値とを比較して、総入射光量が十分に多く、総入射光量の増加の割合が十分に大きい検出単位領域の特定を試行する。以降、この試行を「第２試行」と呼ぶ。この比較の結果を図１０に示す。この図では、総入射光量が十分に多く、総入射光量の増加の割合が十分に大きい検出単位領域に対応する光検出回路Ｏ１が「１」、他の光検出回路Ｏ１が「０」で表されている。第２試行で検出単位領域が一つも特定されなければ、接近領域が検出されることはない。

なお、第１閾値及び第２閾値は、総入射光量が十分に多く、総入射光量の増加の割合が十分に大きい検出単位領域として、画面との距離が近接範囲内にあって画面に接近中の指の陰に全域が入る検出単位領域が特定される一方で、画面との距離が近接範囲内にあって画面に接近中の指の陰に一部が入る検出単位領域が特定されないように定められている。これは、近接領域に表示される白黒画像が視認される可能性を低減するためである。

第２試行で検出単位領域が特定された場合には、表示検出制御回路５０は、特定された検出単位領域の数と予め定められた第３閾値及び第４閾値とを比較して、総入射光量が十分に多く、総入射光量の増加の割合が十分に大きい検出単位領域の数が、予め定められた領域数範囲内にあるか否かを判定する。第３閾値は領域数範囲の下限値であり、第４閾値は領域数範囲の上限値である。この判定結果が否定的であれば、接近領域が検出されることはない。この判定結果が肯定的であれば、これらの検出単位領域が接近領域として検出される。

図８から明らかなように、検出処理では、接近領域が検出されない限り、接近フラグの値が「偽」から「真」に変わることはない。したがって、電気光学装置１が動作を開始した直後から接近領域が検出されるまでの間、画面には、入力画像データＤｉｎで表される画像が表示される。このときの表示の一例を図１１に示す。この表示例では、画面Ｓに、ＯＫボタンの画像Ｂ１と、キャンセルボタンの画像Ｂ２と、両画像を囲む画像Ｂ３とが表示されている。

やがて、指が近接範囲内で画面に接近し、検出処理において、接近領域が検出されると（Ｓ２４：ＹＥＳ）、表示検出制御回路５０は、接近フラグの値を「真」とする（Ｓ２６）。これにより、表示検出制御回路５０は、表示制御処理において、接近フラグの値が「真」であるから（Ｓ１１：ＹＥＳ）、入力画像データＤｉｎと接近領域と白黒画像データとに基づいて出力画像データＤｏｕｔを生成し（Ｓ１４）、この出力画像データＤｏｕｔを用いて画面に画像を表示させる（Ｓ１３）。

このときの表示の一例を図１２に示す。この表示例は、図１１の画像が表示されているときに指Ｆが近接範囲内で画面Ｓに接近したときのものである。ただし、指Ｆに隠れる部分は透視法で描かれている。この図に示すように、画面Ｓには、ｍ×ｎ個の画素領域のうち、接近領域に対応する画素領域に、予め定められた白黒画像（具体的には、白黒の市松模様の画像）が表示され、残りの画素領域には、入力画像データＤinで表される画像（図１１参照）から、これらの接近領域に対応する部分を除いた画像（以降、残差画像と呼ぶ）が表示される。図１２の例では、残差画像は、画像Ｂ１、画像Ｂ２の一部、及び部分画像Ｂ３を含んでいる。

接近領域が検出された検出処理の次の回の検出処理では、接近フラグの値が「真」であるから（Ｓ２２：ＹＥＳ）、表示検出制御回路５０は、ステップＳ２１で読み出した一画面分の検出信号を用いた画像処理によって接触検出を行う（Ｓ２７）。より具体的には、表示検出制御回路５０は、一画面分の検出信号で表される画像から十分に鮮明な市松模様を検索することによって接触検出を行う。

この接触検出で画像処理に用いられる検出信号には、総入射光量≒入射反射光量の接近領域に対応するものが含まれており、接近領域に対応する画素領域の色は白（最高輝度）または黒（最低輝度）であるから、接近領域に対応する複数の検出信号間のレベル差が大きくなる。したがって、この画像処理における市松模様の検出精度は、他の色の市松模様の画像を表示する形態に比較して高くなる。

接触検出で接触が検出されなければ（Ｓ２８：ＮＯ）、接近領域検出が行われる（Ｓ２３）。以降、指が画面に接触することなく接近し続けると、接近領域が検出され続けるから、接近フラグの値が「真」であり続け、画面には、直前に検出された接近領域に対応する画素領域に白黒画像が、残りの画素領域には残差画像が表示される。そして、指が画面に接近しなくなり、接近領域が検出されなくなると（Ｓ２４：ＮＯ）、接近フラグの値が「真」から「偽」に変わり（Ｓ２５）、画面には入力画像データＤｉｎで表される画像が表示される（Ｓ１１：ＮＯ、Ｓ１２、Ｓ１３）。

逆に、指が画面に接触し、この接触が検出されると（Ｓ２８：ＹＥＳ）、表示検出制御回路５０は接触処理を行う。接触処理では、表示検出制御回路５０は、接触位置を示す信号を、より上位の装置（例えばＣＰＵ）へ供給する。以降、接触が検出されなくなるまで、接近領域検出は行われず、接近フラグの値は「真」であり続ける。そして、指が画面から離れると、接触が検出されなくなるから（Ｓ２８：ＮＯ）、接近領域検出が行われる（Ｓ２３）。この接近領域検出では接近領域が検出されないから（Ｓ２４：ＮＯ）、接近フラグの値は「真」から「偽」に変わり（Ｓ２５）、画面には入力画像データＤｉｎで表される画像が表示される（Ｓ１１：ＮＯ、Ｓ１２、Ｓ１３）。

＜２．第２の実施の形態＞
図１は、本発明の第２の実施の形態に係る電気光学装置２の構成を示すブロック図でもある。電気光学装置１では、接近領域に白黒の市松模様の画像が表示されるが、電気光学装置２では、接近領域に全域が白の白画像と全域が黒の黒画像とが交互に表示される。この相違は、制御回路３００に代えて制御回路７００を備えることにより実現されている。図２は、表示検出制御回路６０の機能構成を示す概念図でもある。表示検出制御回路６０が表示検出制御回路５０と異なる点は、制御回路３００により実現される表示制御部５１及び検出制御部５２ではなく、制御回路７００により実現される表示制御部６１及び検出制御部６２に分かれる点である。

表示検出制御回路６０が行う表示制御処理及び検出処理は、表示検出制御回路５０が行う表示制御処理及び検出処理と同様である。ただし、表示検出制御回路６０がステップＳ１４の出力画像データの生成に用いる白黒画像データは、白黒の市松模様の画像を表すデータではなく、白画像を表すデータ（以降、「白画像データ」と呼ぶ）と黒画像を表すデータ（以降、「黒画像データ」と呼ぶ）である。また、この相違に起因して、ステップＳ２７の接触検出の内容も相違している。

白画像データと黒画像データのどちらをステップＳ１４で用いるかは、周期的に切り換えられる。図１３は、表示検出制御回路６０が行う切り換え処理の流れを示すフローチャートである。この図に示すように、表示検出制御回路６０は、検出処理の繰り返し周期毎に、白画像データと黒画像データとの間で、ステップＳ１４で用いる白黒画像データを切り換える（Ｓ３１、Ｓ３２）。なお、本実施の形態を変形し、近接フラグの値が「真」である間に限り、上記の切り換えを行うようにしてもよい。

本実施の形態によれば、近接領域が検出され（Ｓ２４：ＹＥＳ）、近接フラグの値が「真」となると（Ｓ２６）、表示検出制御回路５０は、接近フラグの値が「真」であるから（Ｓ１１：ＹＥＳ）、入力画像データＤｉｎと接近領域と白黒画像データとに基づいて出力画像データＤｏｕｔを生成し（Ｓ１４）、この出力画像データＤｏｕｔを用いて画面に画像を表示させる（Ｓ１３）。このときの表示の一例を図１４に示す。この表示例は、図１１の画像が表示されているときに指Ｆが近接範囲内で画面Ｓに接近したときのものである。この図に示す表示が図１２に示す表示と異なる点は、白黒の市松模様の画像に代えて黒画像が表示されている点のみである。

以降、指が画面に接触することなく接近し続けた仮定する。この場合、接近領域が初めて検出された検出処理の次の回の検出処理では、メモリには、白黒画像が表示されているときの検出信号として、黒画像が表示されているときの一画面分の検出信号しか蓄積されていないから、表示検出制御回路５０は、ステップＳ２７の接触検出をスキップする。したがって、この回の検出処理において接触が検出されることはない。

更に次の回の検出処理では、切り換え処理によって白黒画像データが黒画像データから白画像データへ切り換えられており、表示制御処理によって接近領域に対応する画素領域に白画像が表示されており（図１５参照）、メモリには、白黒画像が表示されているときの検出信号として、前回読み出した１画面分の検出信号（黒画像が表示されているときの検出信号）と、今回読み出した１画面分の検出信号（白画像が表示されているときの検出信号）が蓄積されているから、表示検出制御回路５０は、ステップＳ２７において、ノイズ光（環境光）の影響を排除するために、検出単位領域毎に、前回読み出した検出信号のレベルと今回読み出した検出信号のレベルとの差分を算出してメモリに蓄積する。この回の検出処理でも接触が検出されることはない。

更に次の回の検出処理では、切り換え処理によって白黒画像データが白画像データから黒画像データへ切り換えられており、表示制御処理によって接近領域に対応する画素領域に黒画像が表示されており（図１４参照）、メモリには、白黒画像が表示されているときの検出信号として、前回読み出した１画面分の検出信号（白画像が表示されているときの検出信号）と、今回読み出した１画面分の検出信号（黒画像が表示されているときの検出信号）が蓄積されており、かつ、前回算出した１画面分の差分が蓄積されているから、表示検出制御回路５０は、ステップＳ２７において、ノイズ光（環境光）の影響を排除するために、検出単位領域毎に、前回読み出した検出信号のレベルと今回読み出した検出信号のレベルとの差分を算出してメモリに蓄積し、蓄積した二画面分の差分を用いてステップＳ２３の接近領域検出と同様の処理を行うことによって、接触検出を行う。ただし、この接触検出で用いる閾値は、接近領域検出で用いる閾値よりも厳密に定められている。

＜３．変形例＞
本発明は、その範囲に、上述した各実施の形態を変形または応用して得られる各種の形態をも含み得る。そのような形態を以下に例示する。
各実施の形態を変形し、画面との距離が近接範囲内にある指の陰に入る領域を近接領域として検出し、接近領域ではなく、近接領域に白黒画像を表示する形態としてもよい。この形態では、指が画面から離れていくときにも、その指と画面との距離が近接範囲内にあれば、白黒画像が表示される。

各実施の形態を変形し、第１閾値及び第２閾値を、総入射光量が十分に多く、総入射光量の増加の割合が十分に大きい検出単位領域として、画面との距離が近接範囲内にあって画面に接近中の指の陰に全域が入る検出単位領域のみならず、画面との距離が近接範囲内にあって画面に接近中の指の陰に一部が入る検出単位領域も特定されるように定めてもよい。

各実施の形態では、画素領域（画素回路Ｐ１）と検出単位領域（検出回路Ｏ１）とが一対一で対応しているが、これを変形し、画素領域（画素回路Ｐ１）と検出単位領域（検出回路Ｏ１）とが複数対一で対応する形態としてもよい。例えば、２（行）×２（列）＝４個の画素領域（画素回路Ｐ１）ごとに検出単位領域（光検出回路Ｏ１）を１つ備える構成としてもよい。この形態の表示例を図１６に示す。さらに、この形態を変形し、第１閾値及び第２閾値を、総入射光量が十分に多く、総入射光量の増加の割合が十分に大きい検出単位領域として、画面との距離が近接範囲内にあって画面に接近中の指の陰に全域が入る検出単位領域のみならず、画面との距離が近接範囲内にあって画面に接近中の指の陰に一部が入る検出単位領域も特定されるように定めてもよい。この形態の表示例を図１７に示す。これらの形態には、実施が容易であるとともに、接触検出の精度を更に向上させることができるという利点がある。

第１の実施の形態を変形し、接近領域に、白黒の市松模様とは異なる特殊パターンの白黒画像を表示する形態としてもよい。そのような特殊パターンとしては、白と黒の縞が挙げられる。また、各実施の形態を変形し、任意の公知の方法によって環境光の強度を判定し、その結果に応じて、接近領域検出及び接触検出の内容や閾値を切り換えるようにしてもよい。また、各実施の形態を変形し、画素回路Ｐ１及び光検出回路Ｏ１の配列パターンを、マトリクス状以外の配列パターンとしてもよい。また、各実施の形態を変形し、液晶素子以外のライトバルブ素子や、ＯＬＥＤ等の発光素子等の、任意の電気光学素子を用いた形態としてもよい。また、各実施の形態を変形し、フォトレジスタ等の、フォトダイオード以外の光センサを用いた形態としてもよい。また、各実施の形態を変形し、指以外の任意の対象物（例えばペン）でタッチを入力する装置としてもよい。

各実施の形態を応用して各種の電子機器としてもよい。
図１８に、電気光学装置１又は２を適用したモバイル型のパーソナルコンピュータの構成を示す。パーソナルコンピュータ２０００は、表示ユニットおよびタッチ入力ユニットとしての電気光学装置１と、本体部２０１０とを備える。また、本体部２０１０には、電源スイッチ２００１とキーボード２００２が設けられている。
図１９に、電気光学装置１又は２を適用した携帯電話機の構成を示す。携帯電話機３０００は、表示ユニットおよびタッチ入力ユニットとしての電気光学装置１と、複数の操作ボタン３００１と、スクロールボタン３００２とを備える。スクロールボタン３００２を操作することで、電気光学装置１に表示される画面がスクロールされる。
図２０に、電気光学装置１又は２を適用した携帯情報端末（ＰＤＡ：Personal Digital Assistants）の構成を示す。携帯情報端末４０００は、表示ユニットおよびタッチ入力ユニットとしての電気光学装置１と、複数の操作ボタン４００１と、電源スイッチ４００２とを備える。操作ボタン４００１を操作すると、住所録やスケジュール帳といった各種の情報が電気光学装置１に表示される。
なお、電気光学装置１が適用される電子機器としては、図１８〜図２０に示すものの他、デジタルスチルカメラ、カーナビゲーション装置、電子手帳、ワードプロセッサ、ワークステーション、テレビ電話、ＰＯＳ端末、ＡＴＭ（Automated Teller Machine：現金自動預け払い機）、自動販売機等が挙げられる。そして、これらの各種電子機器の表示ユニットおよびタッチ入力ユニットとして、前述した電気光学装置１又は２が適用可能である。

本発明の第１又は第２の実施の形態に係る電気光学装置１又は２の構成を示すブロック図である。 電気光学装置１又は２の表示検出制御回路５０又は６０の機能構成を示す概念図である。 電気光学装置１又は２の光検出回路Ｏ１の構成を示す回路図である。 電気光学装置１又は２におけるセンサ用走査信号Ｗ１〜Ｗｍ及びサンプリング信号ＳＨＧの波形を示すタイミングチャートである。 光検出回路Ｏ１の状態を示す図である。 光検出回路Ｏ１の状態を示す図である。 表示検出制御回路５０又は６０が行う表示制御処理の流れを示すフローチャートである。 表示検出制御回路５０又は６０が行う検出処理の流れを示すフローチャートである。 検出処理における接近領域検出の内容を説明するための概念図である。 検出処理における接近領域検出の内容を説明するための概念図である。 電気光学装置１の表示の一例を示す図である。 電気光学装置１の表示の他の例を示す図である。 表示検出制御回路６０が行う切り換え処理の流れを示すフローチャートである。 電気光学装置２の表示の一例を示す図である。 電気光学装置２の表示の他の例を示す図である。 本発明の一の変形例に係る表示の一例を示す図である。 本発明の他の変形例に係る表示の一例を示す図である。 本発明に係る電子機器の一例を示す斜視図である。 本発明に係る電子機器の別の例を示す斜視図である。 本発明に係る電子機器の更に別の例を示す斜視図である。

符号の説明

１，２…電気光学装置、１００…走査線駆動回路、２００…データ線駆動回路、３００…制御回路、４００…画像処理回路、５００…センサ用走査回路、６００…検出信号読出回路、５０，６０…表示検出制御回路、１１…フォトダイオード（光センサ）、Ｐ１…画素回路、Ｏ１…光検出回路、２０００…パーソナルコンピュータ、３０００…携帯電話機、４０００…携帯情報端末。

Claims (8)

1. 複数の画素領域と前記複数の画素領域に一定数対一で対応する複数の検出単位領域とを有する平面状の画面に沿って広がる単位回路領域に配列され、前記複数の画素領域と一対一で対応し、各々が、与えられた電気エネルギにより発光特性または光の透過特性が変化する電気光学素子を備え、前記電気光学素子からの光を対応する前記画素領域から出射させる、複数の画素回路と、
   前記単位回路領域に配列され、前記複数の検出単位領域と一対一で対応し、各々が、光センサを備え、前記検出単位領域への入射光に応じたレベルの検出信号を生成する、複数の光検出回路と、
   前記複数の画素回路に与える電気エネルギの制御を行って前記画面に画像を表示させる表示制御処理を繰り返し行うとともに、前記複数の光検出回路から前記検出信号を読み出し、読み出した前記検出信号のレベルと閾値とに基づいて、前記複数の単位検出領域のうち、前記画面との距離が予め定められた距離範囲内にある対象物の陰に入るものを近接領域として検出する検出処理を繰り返し行う表示検出制御回路とを備え、
   前記表示検出制御回路は、
   前記表示制御処理では、前記近接領域が検出されていない場合には、与えられた画像データで表される画像が前記画面に表示され、前記近接領域が検出されている場合には、前記複数の画素領域のうち、前記近接領域に対応する前記画素領域に白黒画像が表示され、残りの画素領域に、前記画像データで表される画像から前記近接領域に対応する部分を除いた画像が表示されるように、前記制御を行い、
   前記検出処理では、前回の前記検出処理で前記近接領域が検出されている場合には、前記複数の光検出回路から読み出された前記検出信号のレベルに基づいて、対象物と前記画面との接触を検出する、
   ことを特徴とする電気光学装置。
2. 前記対象物は、前記距離範囲内にあるもののうち、前記画面に接近中のもののみである、
   ことを特徴とする請求項１に記載の電気光学装置。
3. 前記白黒画像は、全域が白の領域と全域が黒の領域とを有する画像である、
   ことを特徴とする請求項１又は２に記載の電気光学装置。
4. 前記白黒画像は、全域が白の白画像または全域が黒の黒画像であり、
   前記表示検出制御回路は、前記近接領域が検出されてから前記近接領域が検出されなくなるまでの間、前記白黒画像を前記白画像と前記黒画像との間で切り換える処理を前記検出処理の繰り返し周期で行う切り換え処理を続行する、
   ことを特徴とする請求項１又は２に記載の電気光学装置。
5. 前記近接領域は、前記複数の単位検出領域のうち、全域が前記陰に入るものを含み、前記陰に入らない部分を含むものを含まない、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の電気光学装置。
6. 前記一定数は複数である、
   ことを特徴とする請求項１乃至５のいずれか一項に記載の電気光学装置。
7. 請求項１乃至６のいずれか一項に記載の電気光学装置を備えた電子機器。
8. 複数の画素領域と前記複数の画素領域に一定数対一で対応する複数の検出単位領域とを有する平面状の画面に沿って広がる単位回路領域に配列され、前記複数の画素領域と一対一で対応し、各々が、与えられた電気エネルギにより発光特性または光の透過特性が変化する電気光学素子を備え、前記電気光学素子からの光を対応する前記画素領域から出射させる、複数の画素回路と、前記単位回路領域に配列され、前記複数の検出単位領域と一対一で対応し、各々が、光センサを備え、前記検出単位領域への入射光に応じたレベルの検出信号を生成する、複数の光検出回路と、を備える電気光学装置の制御方法であって、
   前記複数の画素回路に与える電気エネルギの制御を行って前記画面に画像を表示させる表示制御処理を繰り返し行うとともに、前記複数の光検出回路から前記検出信号を読み出し、読み出した前記検出信号のレベルと閾値とに基づいて、前記複数の単位検出領域のうち、前記画面との距離が予め定められた距離範囲内にある対象物の陰に入るものを近接領域として検出する検出処理を繰り返し行い、
   前記表示制御処理では、前記近接領域が検出されていない場合には、与えられた画像データで表される画像が前記画面に表示され、前記近接領域が検出されている場合には、前記複数の画素領域のうち、前記近接領域に対応する前記画素領域に白黒画像が表示され、残りの画素領域に、前記画像データで表される画像から前記近接領域に対応する部分を除いた画像が表示されるように、前記制御を行い、
   前記検出処理では、前回の前記検出処理で前記近接領域が検出されている場合には、前記複数の光検出回路から読み出された前記検出信号のレベルに基づいて、対象物と前記画面との接触を検出する、
   ことを特徴とする電気光学装置の制御方法。
   

Images