以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。
[実施例1]
本実施例では、投影装置の一例として、デジタルマイクロミラーデバイス(DMD)のような表示素子を用いた、いわゆるDLP方式プロジェクタを例に説明する。
さらに本実施例では、上述のDMDを3枚用いて画像表示を行ない、グラデーション処理用には、別途1枚のアナログ制御方式の透過型液晶表示素子を用いたプロジェクタを例に説明する。3枚のDMDは、赤色(R)、緑色(G)、青色(B)に分離された光をそれぞれ変調するために用いられる。
本実施例のプロジェクタは、表示するべき画像に応じて、表示素子の光の反射・透過を制御して、表示素子を反射・透過した光源からの光をスクリーンに投影することで、画像をユーザに提示する。
また説明をわかりやすくするため、本実施例では、画像の各画素を0〜15までの16階調で表現する例で説明する。
以下、このようなプロジェクタについて説明する。
[実施例1の概要]
図1は、プロジェクタ100の構成を示す図である。本実施形態のプロジェクタ100は、CPU110、ROM111、RAM112、操作部113、画像入力部130、画像処理部140、パネル制御部150、表示素子(151R、151G、151B)、表示素子152を有する。さらに、プロジェクタ100は、光源161、光源制御部160、色分離部162、色合成部163、光学系制御部170、投影光学系171、記録再生部191、記録媒体192、通信部193、表示制御部195、表示部196を有する。
CPU110は、後述するROM111に記憶されたプログラムを用いてプロジェクタ100の各動作ブロックを制御する。CPU110は、操作部113、又は通信部193から入力された制御信号を受信して、プロジェクタ100の各動作ブロックを制御する。
CPU110は、記録再生部191が記録媒体192から取得した静止画データ又は動画データをRAM112に一時的に記憶し、ROM111に記憶されたプログラムを用いて、それぞれの画像又は映像を再生する。CPU110は、通信部193が受信した静止画データ又は動画データをRAM112に一時的に記憶し、ROM111に記憶されたプログラムを用いて、それぞれの画像又は映像を再生することができる。
ROM111は、CPU110の処理手順を記述した制御プログラムを記憶する。RAM112は、ワークメモリとして一時的に制御プログラムやデータを格納する。
操作部113は、ユーザの指示を受け付け、CPU110に指示信号を通知する。操作部113は、例えば、スイッチ、ダイヤル、表示部195上に設けられたタッチパネル、又はリモコンからの信号を受信する信号受信部を含む。操作部113は、受信した信号に基づいた指示信号をCPU110に通知する。
画像入力部130は、例えば、カードインターフェース、USBインタフェース、S映像端子、D端子、コンポーネント端子、アナログRGB端子、DVI−I端子、DVI−D端子、又はHDMI(登録商標)端子を含む。
画像処理部140は、画像入力部130から受信した画像データに対し、例えばフレーム数、画素数、及び画像形状の変更処理を実行する。具体的には、画像処理部140は、フレーム間引き処理、フレーム補間処理、解像度変換(スケーリング)処理、及び歪み補正処理(キーストン補正処理)を実行する。また、画像処理部140は、CPU110が再生した画像又は映像に対して前述の変更処理を実行する。画像処理部140は、変更処理した画像データをパネル制御部150に通知する。
パネル制御部150は、表示素子151を制御する。例えば、パネル制御部150は、画像処理部140が処理した画像データに基づいて、表示素子151R、151G、151Bの画素に印可する電圧を制御することで、表示素子151R、151G、151Bの反射を制御する。パネル制御部150は、表示素子151R、151G、151Bの反射が、画像処理部140から受信した画像データに対応する光の反射となるように制御する。
パネル制御部150は、表示素子152を制御することにより投影用画像の輝度を調整する。具体的には、パネル制御部150は、情報取得部114が取得した輝度設定値に基づいて、表示素子152における重畳領域に対応する画素の透過率を制御する。重畳領域は、エッジブレンド処理の対象となる領域である。
表示素子151R、151G、及び151Bは、画像データの画素値に基づいて、画素の光学特性を時間変調することにより階調表現をするパネルである。(以後、時間変調パネルと呼ぶ)第一のパネルは、例えばDMDでありDLP方式のプロジェクタに用いられる。このDMDは、マトリクス上に配列された画素単位のマイクロミラーを有し、各マイクロミラーは、オン状態とオフ状態の異なる2つの角度のいずれかの状態を維持する(いわゆる、2値制御)。すなわち、光源からマイクロミラーに向かって照射された光を投影光学系へ向けて反射する角度(オン状態)と、内部の吸収体へ向けて反射して外部に照射させない角度(オフ状態)とのいずれかの状態となる。またDMDを駆動するデジタル信号は、例えばPWM駆動方式により各マイクロミラーのON状態の時間比率を調整し、表示する画素毎における階調表現を行う信号であり、画素値が16階調で表される場合のデジタル信号は、2値の4ビットの信号である。以下、表示素子151R、151G、及び151Bを特に区別する必要のない場合、表示素子151と記載する。
表示素子151Rは、赤色に対応する表示素子であって、光源161から出力された光のうち、色分離部162で赤色(R)、緑色(G)、青色(B)に分離された光のうち、赤色の光の反射率を調整するためのものである。表示素子151Gは、緑色に対応する表示素子であって、光源161から出力された光のうち、色分離部162で赤色(R)、緑色(G)、青色(B)に分離された光のうち、緑色の光の反射を調整するためのものである。表示素子151Bは、青色に対応する表示素子であって、光源161から出力された光のうち、色分離部162で赤色(R)、緑色(G)、青色(B)に分離された光のうち、青色の光の反射を調整するためのものである。
表示素子152は、輝度設定値に基づいて、画素の光学特性を振幅変調することにより階調表現をする第2のパネルである。(以後、振幅変調パネルと呼ぶ)輝度設定値は、例えばエッジブレンドのためのグラデーション処理に関する減光情報である。
ここで減光情報について図15を用いて説明する。図15は、表示素子151と表示素子152上の表示状態とプロジェクタ100が投影する投影画像の関係を模式的に示す図である。図15(a)は、表示素子151が有する表示可能領域841の一部に映像信号を描画している状態を模式的に示す図である。図15(a)において、描画領域842は、表示素子151の表示可能領域841に映像信号が描画された領域である。
図15(b)は、表示素子152における描画対応領域843とグラデーション処理領域844との関係を模式的に示す図である。描画対応領域843は、表示素子152における表示素子151の描画領域842に対応する領域であり、グラデーション処理領域844は、表示素子152においてグラデーション処理が施された領域である。また図15(d)に示すように、グラデーション処理領域844は、右端部の画素値は0、そこから直線的に画素値を増やしていき、グラデーション領域の左端部で画素値15(最大値)となる。さらに描画対応領域843のうちグラデーション処理領域844以外の領域では、すべて画素値15とし、パネル制御部150は、それぞれの画素値に対応した電圧制御を行い、表示素子152は所望の透過率となる。
すなわち減光情報は、表示素子152におけるグラデーション処理領域844を示す領域情報と、画素の輝度又は画素の透過率を示す画素値を含むものである。
表示素子151の解像度と表示素子152の解像度との関係は任意であるが、表示素子151の解像度が表示素子152の解像度より大きくてもよい。グラデーション処理に必要な解像度は、映像を表現するために必要な解像度よりも低いので、表示素子152の解像度を表示素子152の解像度よりも小さくすることで、表示素子152のコストを低減することができる。
光源制御部160は光源161のオン/オフ、及び光源161が発する光の強度を制御する。
光源161は、スクリーンに画像を投影するための光を発する発光部である。光源161は、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプを含む。
色分離部162は、光源161から出力された光を、赤色(R)、緑色(G)、青色(B)に分離する。色分離部162は、例えば、ダイクロイックミラーと、プリズムとを含む。なお、プロジェクタ100は、光源161として、例えば各色に対応するLEDを使用する場合には、色分離部162を含まなくてもよい。
色合成部163は、表示素子151R、151G、151Bを反射した赤色(R)、緑色(G)、青色(B)の光を合成する。色合成部163は、例えば、ダイクロイックミラーとプリズムとを含む。色合成部163は、赤色(R)、緑色(G)、青色(B)の成分を合成した光を、投影光学系171に出力する。
光学系制御部170は、表示素子151及び表示素子152の少なくともいずれかにより輝度が調整された投影用画像を投影光学系171に投影させる投影制御部である。具体的には、光学系制御部170は、投影光学系171のレンズ駆動アクチュエータの動作を制御し、例えばズーム倍率を変更したり、画像の焦点を調整したりする。
投影光学系171は、例えば複数のレンズ、レンズ駆動用のアクチュエータを含み、色合成部163が出力した光をスクリーンに投影する投影部である。投影光学系171は、レンズをアクチュエータにより駆動することで、画像の拡大、縮小、及び焦点の調整を行う。投影光学系171が、色合成部163が合成した光をスクリーンに投影することで、表示対象となる画像に対応する画像をスクリーン上に表示する。
記録再生部191は、後述する記録媒体192から静止画データ又は動画データを取得する。記録再生部191は、通信部193が受信した静止画データ又は動画データを記録媒体192に記録させてもよい。記録再生部191は、例えば、記録媒体192と電気的に接続するインタフェース、記録媒体192と通信するためのマイクロプロセッサを含む。
記録媒体192は、例えば静止画データ、動画データ、プロジェクタ100の制御に必要な制御データを記録する記録媒体である。記録媒体は、例えば、磁気ディスク、光学式ディスク、半導体メモリを含み、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。
通信部193は、外部装置からの制御信号、静止画データ、動画データを受信する通信インタフェースである。通信部193は、例えば、無線LAN(Local Area Network)、有線LAN、USB、Bluetooth(登録商標)を含んでよく、通信方式を特に限定するものではない。また、通信部193は、画像入力部130がHDMI端子を含む場合、HDMI端子を介してCEC通信を行ってもよい。外部装置は、プロジェクタ100と通信を行うことができるものであり、例えば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンを含む。
表示制御部195は、プロジェクタ100に備えられた表示部196を制御して、プロジェクタ100を操作するための、例えば操作画面、スイッチアイコンの画像を表示部196に表示させる。
表示部196は、プロジェクタ100を操作するための操作画面、スイッチアイコンを表示する。表示部196は、例えば、液晶ディスプレイ、CRTディスプレイ、有機ELディスプレイ、LEDディスプレイを含み、画像を表示できるものであればどのようなものであってもよい。
なお、以上の説明において、画像処理部140、パネル制御部150、光源制御部160、光学系制御部170、記録再生部191、及び表示制御部195は、これらの各動作ブロックと同様の処理を行うことのできるマイクロプロセッサを有してもよい。また、CPU110がROM111に記憶されたプログラムを実行することにより、画像処理部140、パネル制御部150、光源制御部160、光学系制御部170、記録再生部191、及び表示制御部195として機能してもよい。
[プロジェクタ100の基本動作]
次に、図2を用いて、本実施形態のプロジェクタ100の基本動作を説明する。図2は、プロジェクタ100の基本動作フローチャートである。図2に示す動作は、CPU110が、ROM111に記憶されたプログラムを実行して各動作ブロックを制御することにより実現される。図2のフローチャートにおいては、操作部113又はリモコンによりユーザがプロジェクタ100の電源オンを指示したものとしている。CPU110は、ユーザからの電源オンの指示を受信すると、電源回路を制御して各動作ブロックに電力を供給させる。
次に、CPU110は、操作部113又はリモコンの操作によりユーザに選択された表示モードを判定する(S210)。本実施形態のプロジェクタ100の表示モードの一つは、画像入力部130が取得した画像又は映像を表示する「入力画像表示モード」である。また、本実施形態のプロジェクタ100の表示モードの一つは、記録再生部191が記録媒体192から取得した静止画データに含まれる画像又は動画データに含まれる映像を表示する「ファイル再生表示モード」である。
また、本実施形態のプロジェクタ100の表示モードの一つは、通信部193が受信した静止画データに含まれる画像又は動画データに含まれる映像を表示する「ファイル受信表示モード」である。なお、本実施形態においては、ユーザにより表示モードが選択される場合について説明するが、CPU110が電源オンの指示を受信した時点での表示モードは、前回終了時の表示モードになっていてもよく、前述のいずれかの表示モードとしてもよい。
CPU110は、「入力画像表示モード」が選択された場合、画像入力部130が画像を取得しているか否かを判定する(S220)。CPU110は、画像入力部130が画像を取得していない場合(S220でNo)、画像入力部130が画像を取得するまで待機する。CPU110は、画像入力部130が画像を取得している場合(S220でYes)、投影処理(S230)を実行する。
以下、投影処理(S230)について詳細に説明する。
まず、CPU110が、画像入力部130が取得した画像を画像処理部140に通知し、画像処理を実行させる。画像処理部140は、画像の画素数、フレームレート、及び形状の変形処理を実行する。画像処理部140は、処理した1画面分の画像をパネル制御部150に入力する。
次に、パネル制御部150は、受信した1画面分の画像の赤色(R)、緑色(G)、青色(B)の各色成分の階調レベルに応じた反射となるように、表示素子151R、151G、151Bの反射を制御する。光源制御部160は、画像データに基づく画像を出力する期間である画像出力期間の長さに基づいて光源161が発する光の強度を制御する。色分離部162は、光源161が出力した光を、赤色(R)、緑色(G)、青色(B)に分離し、それぞれの光を、表示素子151R、151G、151Bに供給する。
表示素子151R、151G、151Bは、供給された各色の光を、各表示素子の画素毎に反射する光量に制限する。そして、色合成部163は、表示素子151R、151G、151Bを反射した赤色(R)、緑色(G)、青色(B)それぞれの光を合成する。そして、投影光学系171は、色合成部163が合成した光をスクリーンに投影する。CPU110は、以上の投影処理を、画像を投影している間、1フレームの画像毎に順次実行する。
CPU110は、操作部113がユーザから画像の表示を変更する操作指示を受け付けると、光学系制御部170に操作指示を通知する。光学系制御部170は、投影光学系171を制御して、例えば画像の焦点、又は光学系の拡大率を変更させる。
CPU110は、上述した投影処理を実行中に、操作部113がユーザからの表示モードを切り替える操作指示を受け付けたか否かを判定する(S240)。CPU110は、操作部113がユーザからの表示モードを切り替える操作指示を受け付けると(S240でYes)、S210に戻り、表示モードの判定を行う。CPU110は、画像処理部140に、表示モードを選択させるためのメニュー画面をOSD(On−Screen Display)画像として通知する。画像処理部140は、投影中の画像に対してOSD画面を重畳する。ユーザは、投影されたOSD画面を見ながら表示モードを選択することができる。
CPU110は、上述した投影処理を実行中に、ユーザにより表示モードを切り替える指示が操作部113から入力されない場合(S240でNo)、操作部113がユーザからの投影終了の操作指示を受け付けたか否かを判定する(S250)。CPU110は、操作部113がユーザからの投影終了の操作指示を受け付けた場合(S250でYes)、プロジェクタ100の各ブロックに対する電力の供給を停止させ、画像投影を終了させる。
CPU110は、操作部113がユーザからの投影終了の操作指示を受け付けない場合(S250でNo)、S220へ戻り、操作部113がユーザからの投影終了の操作指示を受け付けるまでの間S220からS250までの処理を繰り返す。
以上のようにして、本実施形態のプロジェクタ100は、スクリーンに対して画像を表示する。
なお、「ファイル再生表示モード」では、CPU110は、記録再生部191に、記録媒体192から静止画データ又は動画データのファイルリスト、及び各ファイルのサムネイルデータを取得させ、RAM112に一時的に記憶させる。そして、CPU110は、RAM112に一時記憶されたファイルリストに基づく文字画像、又は各ファイルのサムネイルデータに基づく画像を生成し、画像処理部140に通知する。そして、CPU110は、通常の投影処理(S230)と同様に、画像処理部140、パネル制御部150、光源制御部160を制御する。
ユーザは、投影画面上において、記録媒体192に記録された静止画データ又は動画データに、それぞれ対応する文字又は画像を選択する指示を、操作部113を介して入力することができる。CPU110は、操作部113がユーザからの静止画データ又は動画データを選択する操作指示を受信すると、記録再生部191にユーザからの画像を選択する操作指示を通知する。記録再生部191は、ユーザが選択した静止画データ又は動画データを記録媒体192から取得する。CPU110は、記録再生部191が取得した静止画データ又は動画データをRAM112に一時的に記憶させる。CPU110は、ROM111に記憶されたプログラムに基づいて各動作ブロックを制御して、静止画データに含まれる画像又は動画データに含まれる映像を表示させる。
CPU110は、例えば動画データの映像を表示する場合、順次取得した動画データの映像を、画像処理部140に通知し、通常の投影処理(S230)と同様に、画像処理部140と、パネル制御部150と、光源制御部160とを制御する。また、CPU110は、静止画データを表示する場合、取得した画像を画像処理部140に送信し、通常の投影処理(S230)と同様に、画像処理部140と、パネル制御部150と、光源制御部160とを制御する。
CPU110は、「ファイル受信表示モード」においては、通信部193が受信した静止画データ又は動画データをRAM112に一時的に記憶させる。CPU110は、ROM111に記憶されたプログラムに基づいて、取得した静止画データに含まれる画像又は動画データに含まれる映像を再生する。そして、CPU110は、例えば動画データを再生する場合には、動画データの映像を順次、画像処理部140に通知し、通常の投影処理(S230)と同様に、画像処理部140、パネル制御部150、光学系制御部170を制御する。また、CPU110は、静止画データを表示する場合には、表示する画像を画像処理部140に通知し、通常の投影処理(S230)と同様に、画像処理部140、パネル制御部150、光学系制御部170を制御する。
次に本実施例の特徴的な構成について図3を用いて詳しく説明する。
図3は、本実施例のプロジェクタ100の特徴となる構成を示すブロック図である。
表示素子151R・G・Bに対する処理はそれぞれ同じであるため、ここでは、表示素子151として説明する。
CPU110は、画像処理部140とパネル制御部150に対して、それぞれの処理に必要となる設定値(パラメータ)を出力する。一方で、必要に応じて、画像処理部140とパネル制御部150から現在の設定値を取得する。
情報取得部114は、操作部113や不図示のリモコンからの要請によるCPU110の指示に基づき、操作部113や不図示のリモコンからのエッジブレンドのためのグラデーション処理に関する減光情報を取得し、パネル制御部150に出力する。この減光情報には、グラデーション処理を施す画素領域情報を含む。
画像処理部140は、CPU110と連携して、入力映像信号sg301に対して、各種画像処理を施し、生成した画像処理信号sg302をパネル制御部150に対して出力する。各種画像処理とは、IP変換、フレームレート変換、解像度変換、γ変換、色域変換、色補正、エッジ強調などである。なお、入力映像信号sg301は、前述のように、表示モードに応じて画像入力部130、記録再生部191、通信部193などから画像処理部140に入力される。
パネル制御部150は、CPU110と連携して、映像用パネル制御信号sg303と、エッジブレンド用パネル制御信号sg304を生成し、表示素子151と表示素子152にそれぞれ出力する。映像用パネル制御信号sg303は、パネル制御部150に入力される画像処理信号sg302とそれに関連付けられたPWM駆動波形パターンに基づき、表示素子151がPWM駆動により映像を表現するための信号として生成される。エッジブレンド用パネル制御信号sg304は、パネル制御部150に入力されるグラデーション処理の減光情報に基づき、表示素子152を制御するための信号として生成される。
表示素子151は、CPU110と連携して、入力される映像用パネル制御信号sg303に基づいて、各画素の反射率を制御する。
表示素子152は、CPU110と連携して、入力されるエッジブレンド用パネル制御信号sg304に基づいて、各画素の透過率を制御する。
光源161から出力される光源光lm305は、表示素子151を通過することで、各種画像処理が施された画像データの画素値に応じた第一の変調光lm306として反射される。さらにこの光は、表示素子152を通過することで、エッジブレンド設定に応じてグラデーション処理がなされた第二の変調光lm307として透過される。この光が、レンズ等の投影光学系171を通過し投影光lm308としてスクリーン上に表示される。
次に、本実施例の特徴的な動作について図4と図15を用いて説明する。本実施例では、表示素子151において縦3840画素×横2160画素の描画領域に画像データを表示し、右の辺を200画素の幅という設定値でグラデーション処理を施す場合を説明する。
図4は、図1のプロジェクタ100のCPU110が実行するフローチャートである。
図15は、表示素子151と表示素子152上の表示状態とプロジェクタ100が投影する投影画像の関係を模式的に示す図である。図15(a)では、表示素子151が有する表示可能領域841の一部に画像データを描画しており、描画領域842は、表示素子151の表示可能領域841に画像データが描画された領域である。図15(b)は、表示素子152における描画対応領域843とグラデーション処理領域844との関係を模式的に示す図である。描画対応領域843は、表示素子152における表示素子151の描画領域842に対応する領域であり、グラデーション処理領域844は、表示素子152においてグラデーション処理が施された領域である。図15(a)と図15(b)とにおいて、グラデーション処理領域844が、描画対応領域843と一致しているため、図15(c)のように投影画面上の投影画像の領域が適切にグラデーション処理されている。
まず、ステップS401では、CPU110は、プロジェクタ100のエッジブレンド設定が有効になっているか否かを判断し、そうであれば次のステップS402へ遷移する。
次に、ステップS402では、情報取得部114は、CPU110の指示で、エッジブレンドの設定値を取得しパネル制御部150へ出力する。なお設定値とは、映像に対してグラデーション処理を施す領域を示す値であり、映像の辺と幅に基づく領域情報である。グラデーション処理を施す領域は複数であってもよい。本実施例では、設定値として、右の辺から200画素の幅という領域情報になる。
次に、ステップS403では、パネル制御部150は、CPU110の指示で、表示素子152でグラデーション処理するためのパラメータを算出し、表示素子152へ出力する。この際、そのグラデーション処理するためのパラメータは、ステップS402で受信した情報と既知である表示素子151の描画領域842に対する表示素子152の描画対応領域843の相対的な位置関係を基に、算出される。なお、本実施例において算出するパラメータは、描画対応領域843に対するグラデーション処理領域844を示すパラメータであり、描画領域842の右の辺から200画素の幅の領域に対応した領域となっている。
さらに、ステップS404では、表示素子152は、CPU110の指示で、ステップS403で受けた表示素子152上の描画対応領域843に対応した画素を所望の透過率になるよう制御する。つまり本実施例では、図15(d)に示すように、グラデーション処理領域844は、右端部の画素値は0、そこから直線的に画素値を増やしていき、グラデーション領域の左端部で画素値15(最大値)となる。さらに描画対応領域843のうちグラデーション処理領域844以外の領域では、すべて画素値15とし、それぞれ画素値に対応した透過率となる。
次に、本実施例において、光源161から出力された光源光が、変調されて所望の輝度の投影光となることを、図5のタイムチャートを用いて説明する。
図5は、画像の画素値が9(最大15)である画素において、グラデーション処理として75%に減光を施し、6.75(=9*0.75)の投影光を出力する際のタイムチャートである。
まず、画像処理部140から出力される画像処理信号sg302は、同期信号とデータ信号である。同期信号に同期するタイミングで画像のデータ信号が出力されている。
パネル制御部150から出力される映像用パネル制御信号sg303は、上記の同期信号に同期したデータ信号が示す画素値9に応じたPWM信号である。最大画素値15との割合を考慮して、9/15の時間がONのPWM信号となっている。これにより表示素子151は、1画素を表現する時間のうち9/15が光源光lm305を反射した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、上記の同期信号に同期し、減光率情報に応じて、最大値に対して75%の電圧値となるようなアナログ信号である。これにより表示素子152は、1画素を表現する時間中、第一変調光lm306を75%透過した第二変調光lm307を出力するように制御される。
これにより、投影光学系171を介して、投影される投影光lm308は、1画素を表現する時間のうち9/15の時間、75%の光を投影することとなり、所望の出力を可能としている。
(画像補正時の処理)
以下、投影用画像を補正した場合の動作について説明する。具体的には、投影用画像の投影位置を移動させる移動補正、レジストレーション補正、及び形状補正を行った場合の動作の詳細について説明する。
(移動補正)
移動補正は、プロジェクタ100が、投影面(スクリーン)上に表示する投影用画面の投影位置を変更する補正である。情報取得部114が、投影用画像の投影位置を移動する移動指示を取得することにより、プロジェクタ100は移動補正を実行する。情報取得部114は、表示素子151に描画される画像データの位置の変化量を取得する。情報取得部114は、例えば、操作部113に入力された操作、リモコンからの信号、又はカメラが撮像した撮像画像に基づいて、位置の変化量を取得する。
パネル制御部150は、情報取得部114が移動指示を取得すると、表示素子151及び表示素子152における、移動指示に基づいて移動した後の投影用画像の位置に対応する画素の透過率及び反射率の少なくともいずれかを制御する。具体的には、CPU110は、情報取得部114が取得した位置の変化量と、ROM111に記憶された相対位置情報とに基づいて、表示素子151上の画像データの描画位置に対応する、表示素子152の画素領域を特定する。パネル制御部150は、特定した画素領域に基づいて、表示素子152における、移動指示に基づいて移動した後の投影用画像の位置に対応する画素を特定し、特定した画素の透過率を制御することにより投影用画像をグラデーション処理する。
図10は、移動補正時の処理について説明するための図である。図10(a)は、表示素子151が有する表示可能領域801の一部に画像データを描画している状態を模式的に示す図である。図10(a)において、描画領域802は、表示素子151の表示可能領域801に画像データが描画された領域である。
図10(b)は、表示素子152における描画対応領域803とグラデーション処理領域804との関係を模式的に示す図である。描画対応領域803は、表示素子152における表示素子151の描画領域802に対応する領域であり、グラデーション処理領域804は、表示素子152においてグラデーション処理が施された領域である。図10(a)と図10(b)とにおいて、グラデーション処理領域804が、描画対応領域803と一致しているため、図10(c)のように投影画面上の投影画像の領域が適切にグラデーション処理されている。
図10(d)は、表示素子151において移動補正を行った後の描画領域805を模式的に示す図である。図10(e)は、表示素子152における、表示素子151においてのみ移動補正を行った後の描画領域805に対応する描画対応領域806と、グラデーション処理領域807との関係を模式的に示す図である。図10(d)及び図10(e)において、描画対応領域806とグラデーション処理領域807とが一致していないため、図10(f)のように、描画対応領域806においてグラデーション処理を行うべき領域で、グラデーション処理が行われない。そこで、プロジェクタ100は、移動補正に応じて表示素子152のグラデーション処理の対象領域を変更する。
図10(g)は、図10(d)と同様、表示素子151において移動補正を行った後の描画領域805を模式的に示す図である。図10(h)は、パネル制御部150が、表示素子152においてグラデーション処理領域の位置を移動させた状態を示す図である。図10(h)においては、グラデーション処理領域808が描画対応領域806と一致している。その結果、パネル制御部150は、図10(i)に示すように、投影用画像の投影位置を移動させた場合であっても、表示素子152を用いてグラデーション処理を施すことで、画質妨害の発生を抑制することができる。
(レジストレーション補正)
レジストレーション補正は、プロジェクタ100が複数の表示素子(例えば151R、151G、及び151B)により映像表示を行う場合に発生するレジストレーションずれを補正する処理である。プロジェクタ100は、投影用画像の投影位置を移動するレジストレーション補正の指示を取得する。そして、パネル制御部150は、情報取得部114がレジストレーション補正の指示を取得すると、表示素子151及び表示素子152における、レジストレーション補正後の投影用画像の位置に対応する画素の透過率及び反射率の少なくともいずれかを制御する。
図11は、レジストレーション補正について説明するための図である。図11(a)は、表示素子151Rが有する画素領域の一部に画像データを描画している状態を模式的に示す図である。図11(a)において、表示領域811は表示素子151Rの表示可能領域であり、描画領域812は表示素子151Rの表示可能領域に画像データを描画した領域である。
図11(b)は、表示素子151Gが有する画素領域の一部に画像データを描画している状態を模式的に示す図である。図11(b)において、表示領域821は表示素子151Gの表示可能領域であり、描画領域822は表示素子151Gの表示可能領域に画像データを描画した領域である。また、図11(b)において、破線で示す表示領域813は、映像素子15Gの表示領域821の位置に対応する、表示素子151Rの表示可能領域の位置を示している。また、破線で示す描画領域814は、映像素子15Gの描画領域822の位置に対応する、表示素子151Rの表示可能領域に画像データを描画した領域の位置を示している。図11(b)に示すように、描画領域814と、描画領域822とは一致していない。
図11(c)は、描画領域812と描画領域822とが投影画面上においてずれ、レジストレーションずれが発生している状態を模式的に示す図である。図11(c)において、投影画像815は、表示素子151Rの描画領域812が投影画面上に投影された画像である。図11(c)において、投影画像823は、表示素子151Gの描画領域822が投影画面上に投影された画像である。このようなレジストレーションずれは、例えばプロジェクタ100の経年劣化により表示素子の固着ずれが起こった場合に発生する。
図11(d)は、図11(a)と同様、表示素子151Rが有する画素領域の一部に画像データを描画している状態を模式的に示す図である。図11(e)は、レジストレーション補正をすることにより、図11(b)の描画領域822の位置が描画領域824の位置に補正された状態を模式的に示す図である。図11(e)において、描画領域812と、描画領域824とは一致している。このようにすることで、図11(f)に示すように、表示素子151Rの描画領域812と、表示素子151Gの描画領域824とが投影画面上において一致して重畳された投影画像830を投影することができる。
(形状補正)
形状補正は、プロジェクタ100が、投影面(スクリーン)上に表示する投影用画面を変形する補正である。情報取得部114は、投影用画像を変形する変形指示を取得することにより、プロジェクタ100は形状補正を実行する。例えば、情報取得部114は、表示素子151に描画される画像データの形状の変化量を取得する。具体的には、情報取得部114は、操作部113に入力された操作、リモコンからの信号、又はカメラが撮像した撮像画像から形状の変化量を取得してもよい。
パネル制御部150は、情報取得部114が変形指示を取得すると、表示素子151及び表示素子152における、変形指示に基づいて変形した後の投影用画像の形状に対応する画素の透過率及び反射率の少なくともいずれかを制御する。具体的には、CPU110は、形状の変化量と、表示素子151と表示素子152との間の相対位置情報とに基づいて、表示素子151上の画像データの描画位置に対応する、表示素子152の画素領域を特定する。パネル制御部150は、特定した画素領域に基づいて、表示素子152における、変形指示に基づいて変形した後の投影用画像の形状に対応する画素を特定し、特定した画素の透過率を制御することにより投影用画像をグラデーション処理する。
図12は、形状補正の一例である台形補正について説明するための図である。図12(a)は、表示素子151が有する画素領域の一部に画像データを描画している状態を模式的に示す図である。図12(a)において、表示領域831は表示素子151の表示可能領域であり、描画領域832は表示素子151の表示可能領域に画像データを描画した領域である。
図12(b)は、表示素子152における描画対応領域833とグラデーション処理領域834との関係を模式的に示す図である。描画対応領域833は、表示素子152における表示素子151の描画領域832に対応する領域であり、グラデーション処理領域834は、表示素子152においてグラデーション処理が施された領域である。図12(a)と図12(b)とにおいて、グラデーション処理領域834が、描画対応領域833と一致しているため、図12(c)のように投影画面上の投影画像の領域が適切にグラデーション処理されている。
しかしながら、図12(c)においては、プロジェクタ100が投影面に対し正対せず、あおり角がある状態で投影を行ったため、表示素子151上で矩形に描画した画像データが、投影面上では矩形に投影されていない。画像処理部140は、投影面において矩形に投影されるように、入力される画像データを台形形状の画像に変形する。
図12(d)は、表示素子151において台形補正を行った後の描画領域835を模式的に示す図である。図12(e)は、表示素子152における、表示素子151においてのみ台形補正を行った後の描画領域835に対応する描画対応領域836と、グラデーション処理領域837との関係を模式的に示す図である。図12(d)及び図12(e)において、描画対応領域836とグラデーション処理領域837とが一致していないため、図12(f)のように、描画対応領域836においてグラデーション処理を行うべき領域で、グラデーション処理が行われない。そこで、プロジェクタ100は、台形補正に応じて表示素子152のグラデーション処理の対象領域を変更する。
図12(g)は、図12(d)と同様、表示素子151において台形補正を行った後の描画領域835を模式的に示す図である。図12(h)は、パネル制御部150が、表示素子152においてグラデーション処理領域を変形させた状態を示す図である。図12(h)においては、グラデーション処理領域838が描画対応領域836と一致している。その結果、パネル制御部150は、図12(i)に示すように、投影用画像の形状を変形させた場合であっても、表示素子152を用いてグラデーション処理を施すことで、画質妨害の発生を抑制することができる。
(動作フローチャート)
図13は、投影用画像を補正する場合の動作フローチャートである。
ステップS1301は、図4のステップS401と同様なので説明を省略する。パネル制御部150は、情報取得部114が重畳指示を取得しており、プロジェクタ100がエッジブレンド設定中であると判定した場合、ステップS1302に進む。ステップS1302は、図4のステップS402と同様なので説明を省略する。
ステップS1303において、パネル制御部150は、情報取得部114が移動指示又は変形指示を取得しており、補正機能設定中か否かを判定する。パネル制御部150は、情報取得部114が補正指示を取得しておらず、補正機能設定中でないと判定した場合、ステップS1307に進む。なお、ステップS1307は、図4におけるステップS403と同様であり、ステップS1308は、図4におけるステップS404と同様なので説明を省略する。
パネル制御部150は、情報取得部114が移動指示、又は変形指示を取得しており、補正機能設定中であると判定した場合、ステップS1304に進む。ステップS1304において、情報取得部114は、移動指示を取得している場合は位置の変化量を取得する。情報取得部114は、変形指示を取得している場合は形状の変化量を取得する。
ステップS1305において、CPU110は、輝度設定値と、相対位置情報と、位置の変化量又は形状の変化量とに基づいて、表示素子152においてグラデーション処理の対象領域を特定する。ステップS1306において、パネル制御部150は、輝度設定値、及び処理の対象領域に基づいて表示素子152を制御する。
以上説明したように、プロジェクタ100は、表示素子151に描画される画像データの画素領域の変化に応じて、表示素子152のグラデーション処理の対象領域を変更する。このようにすることで、プロジェクタ100は、映像の投影位置とグラデーション処理の対象領域との位置関係を適切に保つことができる。
以上説明したように、本実施例によれば、画像データに応じて画像を表示する表示素子151に対して、別の表示素子152の対応した領域にエッジブレンドのためのグラデーション処理を実施している。つまり、従来表示素子151で映像表示とグラデーション処理を実施していたが、表示素子152でグラデーション処理することで、表示素子151で表示する画像データの画素値によらず、グラデーション処理が可能となり、本処理による黒浮きが発生しない。
なお、本実施例のステップS402で、CPU110がエッジブレンドの設定値の取得を行ったが、本設定値とは、ユーザが操作部113や不図示のリモコンから設定した情報でも良いし、通信部193を介して受け取った情報でもよい。
また、本実施例のステップS403では、パネル制御部150は、表示素子151と表示素子152の光学的な相対位置情報をもとに、パラメータの算出を行ったが、その光学的な相対位置情報をCPU110またはROM111から受け取ってもよい。
さらに、本実施例では、表示素子151と表示素子152の解像度や画素ピッチや表示素子サイズが同等である前提で説明をした。しかし、本発明はこれに限定したものではなく、表示素子151と表示素子152の解像度や画素ピッチや表示素子サイズが異なってもよい。その場合には、解像度や画素ピッチや表示素子サイズを考慮した算出をS403で実施する必要がある。
なお、上記実施形態の表示素子151では、画像表示のためにRGBの各色に対応した3枚のDMDを用いたDLP方式のプロジェクタを例に説明したが、本発明はこれに限定されることはない。
3枚のDMDを用いた、いわゆる3板式ではなく、カラーホイールを用いて3色に時間分割した光を1枚のDMDに照射し、DMD上で各色に対応した画像を時分割で表示する、いわゆる単板式であってもよい。単板式の表示素子151を用いる際、カラーホイールによって時分割で表示される各色の画像表示期間ごとに、表示素子151は各色に対応した画像表示を行い、表示素子152は、所望の透過率・反射率となるような減光処理を施す。
あるいは、LCD(Liquid Crystal Display)方式、LCOS(Liquid crystal on silicon)方式等であってもよい。これは表示素子152においても同様である。つまり本発明は、それぞれの表示素子の数や画像表示用の表示素子151と輝度変調用の表示素子152の順番はこれに限らず適用可能である。
また、上記実施形態では、光源の光を変調処理する順番が、表示素子151の後に表示素子152の順番であったが、本発明はこれに限定されることはない。
表示素子152を色合成部163と投影光学系171の間に配置するのではなく、光源161と色分離部162の間に配置することで、光源161から出力する光を表示素子152で変調した後に表示素子151で変調処理を施すようにしてもよい。
また、本発明において、表示素子152は、減光情報のみではなく画像データに基づいて制御される形態であっても良い。本形態について図16を用いて、説明する。
図16(a)では、表示素子151の描画領域852に描画されている画像データに、暗部と明部が存在することを示している。図16(b)では、表示素子152の描画対応領域853に、グラデーション処理領域854と暗部に対応した領域を示す暗部対応領域855が存在することを示している。
図16(d)は、減光情報に基づいて表示素子152を制御するための画素値を示している。図16(e)は、画像データの暗部・明部に基づいて、暗部はより暗く、それ以外はより明るくなるよう表示素子152を制御するための画素値を示している。
ここで、図16(f)に示すように、図16(d)と図16(e)をもとに、減光情報と画像データとに基づく画素値を算出する。具体的には、図16(d)に示した画素値と図16(e)に示した画素値を、それぞれ、最大画素値である15で割って規格化し、その後、規格化された双方の画素値を掛け合わせ、その結果に再び15を掛けて図16(f)の画素値を得る。この画素値に応じて表示素子152を制御することで、減光情報と画像データの双方を考慮した制御が可能となる。
なお、減光情報と画像データの双方を考慮した制御のための画素値の算出方法は、上述のような単純な掛け算を基本とするものに限定されないことは、言うまでもない。
[実施例2]
本実施例では、実施例1と同様に、プロジェクタについて説明する。
本実施例では、プロジェクタ100の表示素子151が、時間変調パネルである場合の説明を行う。表示素子151は、実施例1の場合と同様に、デジタル信号を用いて、例えばPWMパターンによる時間方向の階調表現を行うものであるが、DMDではなく液晶素子を用いる。
PWM駆動方式で動作する液晶素子の場合、エッジブレンドのためのグラデーションパターンでは、特有の画質妨害が発生する。
本実施例では、上記の画質妨害の発生原理と、本発明により画質妨害が抑制されることを説明する。
なお、上記の前提以外のプロジェクタ100の構成、基本動作については、実施例1と同様であるため説明を割愛する。
まず図6を用いて、PWM駆動方式を用いて液晶素子を制御する場合に発生する画質妨害について説明する。図6(a)においては、PWM駆動方式における画素値が7及び8の場合のPWMパターンを模式的に示している。図6(a)のPWMパターンは、階調を決定するための時間Tを4つの異なるサブフィールド(以下、SFを呼ぶ)に分割し、それぞれのSFの発光・非発光を切替えることで、時間的な積分で階調を表現している。図6(a)に示すように、画素値7の画素と画素値8の画素とは、一方が発光中にもう一方は発光していないという関係にある。隣接した2つの画素の画素値の差が小さい場合でも、上記のような関係にあるとき横電界の影響を受け、ディスクリネーションが発生する。
このように、PWM駆動方式においては、隣接する2つの画素の間で、発光している時間と、発光していない時間とが一致しない時間が長いほどディスクリネーションが発生する。言い換えると、PWM駆動方式においては、隣接する2つの画素を駆動するための2つのPWMパターン間における発光・非発光の位相差が大きいほどディスクリネーションが発生する。
さらに、投影用画像をエッジブレンド処理した場合には、ディスクリネーションが認識されやすくなる。例えば、図6(b)のように、投影画像の上側をグラデーション処理する場合、グラデーション処理の対象となる領域において、投影画像の上辺が一番暗くなるようにグラデーション処理する。このような処理を行った場合、ディスクリネーションは、投影画像の横方向に断続的に発生し、横筋として視認されてしまう確率が高くなる。
筋として視認されてしまう確率が高くなる理由は、主に以下の3つである。
1.ディスクリネーションの発生箇所が、投影画面のエッジブレンド処理の対象となる領域という一部の領域に固定化される。
2.2台の液晶プロジェクタの投影画面を並べてマルチ投影する場合、画面中央のエッジブレンド処理の対象となる領域が、ユーザにとっての注目領域となりやすい。
3.マルチ投影ではない通常の投影ではディスクリネーションが発生しない、例えば白のベタ画像のような投影画像であってもエッジブレンド処理の対象となる領域においてはディスクリネーションが発生する。
ここで、本実施例において、光源161から出力された光源光が、変調されて所望の輝度の投影光となることを、図7のタイムチャートを用いて説明する。
図7は、画素値が9のある画素において、グラデーション処理として75%に減光を施し、6.75(=9*0.75)の投影光を出力する際のタイムチャートである。
まず、画像処理部140から出力される画像処理信号sg302は、同期信号とデータ信号である。同期信号に同期するタイミングで画像のデータ信号が出力されている。
パネル制御部150から出力される映像用パネル制御信号sg303は、上記の同期信号に同期したデータ信号が示す画素値9に応じたPWM信号である。SFのON/OFFを組み合わせ、9/15の時間がONのPWM信号となっている。これにより表示素子151は、1画素を表現する時間のうち9/15が光源光lm305を反射した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、上記の同期信号に同期し、減光率情報に応じて、最大値に対して75%の電圧値となるようなアナログ信号である。これにより表示素子152は、1画素を表現する時間中、第一変調光lm306を75%透過した第二変調光lm307を出力するように制御される。
これにより、投影光学系171を介して、投影される投影光lm308は、1画素を表現する時間のうち9/15の時間、75%の透過率で、光を投影することとなり、所望の出力を可能としている。
以上説明したように、実施例1同様に、画像データに応じて画像を表示する表示素子151に対して、別の表示素子152の対応した領域にエッジブレンドのためのグラデーション処理を実施している。これにより、表示素子151で表示する画像の画素値によらず、グラデーション処理が可能となり、本処理による黒浮きが発生しない。
さらに、表示素子152がグラデーション処理を実施しているため、本処理によるディスクリネーションも発生しない。これは、実施例2特有の効果である。
[実施例3]
本実施例では、実施例1および2と同様に、プロジェクタについて説明する。
本実施例では、プロジェクタ100の表示素子151が、振幅変調方式の液晶パネルで、表示素子152が、時間変調方式のDMDである場合の説明を行う。
なお、上記の前提以外のプロジェクタの構成、基本動作については、実施例1および2と同様であるため説明を割愛する。
本実施例において、光源161から出力された光源光が、変調されて所望の輝度の投影光となることを、図8のタイムチャートを用いて説明する。
図8は、画像の画素値が9(最大15)である画素において、グラデーション処理として75%に減光を施し、6.75(=9*0.75)の投影光を出力する際のタイムチャートである。
まず、画像処理部140から出力される画像処理信号sg302は、同期信号とデータ信号である。同期信号に同期するタイミングで画像のデータ信号が出力されている。
パネル制御部150から出力される映像用パネル制御信号sg303は、上記の同期信号に同期したデータ信号が示す画素値9に応じて、9/15の電圧値となるようなアナログ信号である。これにより表示素子151は、1画素を表現する時間中、9/15の光源光lm305を透過した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、上記の同期信号に同期し、減光率情報に応じて、75%の期間をON期間とするPWM信号である。これにより表示素子152は、1画素を表現する時間のうち、第一変調光lm306を75%の時間だけ、反射した第二変調光lm307を出力するように制御される。
これにより、投影光学系171を介して、投影される投影光lm308は、1画素を表現する時間のうち9/15の透過率で、75%の時間、光を投影することとなり、所望の出力を可能としている。
以上説明したように、実施例1および2と同様に、画像データに応じて画像を表示する表示素子151に対して、別の表示素子152の対応した領域にエッジブレンドのためのグラデーション処理を実施している。これにより、表示素子151で表示する画像データの画素値によらず、グラデーション処理が可能となり、本処理による黒浮きが発生しない。
[実施例4]
本実施例では、実施例1から3と同様に、プロジェクタについて説明する。
本実施例では、プロジェクタ100の表示素子151と表示素子152がともに、振幅変調方式の液晶パネルである場合の説明を行う。
なお、上記の前提以外のプロジェクタの構成、基本動作については、実施例1から3と同様であるため説明を割愛する。
本実施例において、光源161から出力された光源光が、変調されて所望の輝度の投影光となることを、図9のタイムチャートを用いて説明する。
図9は、画像の画素値が9(最大15)である画素において、グラデーション処理として75%に減光を施し、6.75(=9*0.75)の投影光を出力する際のタイムチャートである。
まず、画像処理部140から出力される画像処理信号sg302は、同期信号とデータ信号である。同期信号に同期するタイミングで画像のデータ信号が出力されている。
パネル制御部150から出力される映像用パネル制御信号sg303は、上記の同期信号に同期したデータ信号が示す画素値9に応じて、9/15の電圧値となるようなアナログ信号である。これにより表示素子151は、1画素を表現する時間中、9/15の光源光lm305を透過した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、上記の同期信号に同期し、減光率情報に応じて、最大値に対して75%の電圧値となるようなアナログ信号である。これにより表示素子152は、1画素を表現する時間中、第一変調光lm306を75%透過した第二変調光lm307を出力するように制御される。
これにより、投影光学系171を介して、投影される投影光lm308は、1画素を表現する時間のうち9/15の透過率で、75%の透過率で、光を投影することとなり、所望の出力を可能としている。
以上説明したように、実施例1から3と同様に、画像データに応じて画像を表示する表示素子151に対して、別の表示素子152の対応した領域にエッジブレンドのためのグラデーション処理を実施している。これにより、表示素子151で表示する画像の画素値によらず、グラデーション処理が可能となり、本処理による黒浮きが発生しない。
[実施例5]
実施例1から4に係るプロジェクタ100は、画質妨害の発生の有無に関わらず、パネル制御部150が表示素子152を制御して投影用画像をグラデーション処理した。第2の実施形態に係るプロジェクタ100は、ユーザが投影用画像において画質妨害を認識する度合によって、グラデーション処理する表示素子を変更する。以下、第1の実施形態と異なる点について説明し、同様の点については適宜省略する。
CPU110は、デジタル信号のパターンに基づいて画質妨害量を推定する。画質妨害量は、投影画像における重畳領域と非重畳領域の黒浮きの影響度の大きさに対応し、ユーザが画質妨害を認識する度合に対応する値である。CPU110は、例えば、入力映像信号sg301と、輝度設定値とに基づいて、表示素子151においてグラデーション処理した場合の画質妨害量を特定する。
パネル制御部150は、入力映像信号sg301の重畳領域における画素値に基づいて、表示素子151を制御することにより投影用画像の輝度を調整するか、表示素子152を制御することにより投影用画像の輝度を調整するかを決定する。例えば、パネル制御部150は、入力映像信号sg301の重畳領域における画素値の平均値が所定の値以下である場合に、表示素子152を制御する。所定の値は、プロジェクタ100を製造する事業者が実験などによって適宜定めればよいが、例えば、黒浮きをユーザが視認できるようになる値である。
パネル制御部150は、特定した画質妨害量が所定の値以上か否かを判定する。パネル制御部150は、画質妨害量が所定の値以上である場合、表示素子152を制御する。パネル制御部150は、画質妨害量が所定の値未満である場合、表示素子151を制御する。
パネル制御部150は、表示素子151により投影用画像の輝度を調整する場合、表示素子152が全透過状態(又は全反射状態)になるように制御してもよい。例えば、パネル制御部150は、表示素子151を制御して投影用画像をグラデーション処理すると決定した場合、照射された光を全て透過するように表示素子152を制御するための信号を生成する。
図14は、画質妨害量に基づく処理のフローチャートである。図14を参照しながら、プロジェクタ100が画質妨害量に基づいてグラデーション処理する表示素子を変更する処理の流れについて説明する。
ステップS1401は、図4におけるステップS401と同様、ステップS1402は、ステップS402と同様なので説明を省略する。ステップS1403において、CPU110は、画質妨害量を特定する。ステップS1404において、パネル制御部150は画質妨害量が所定の値以上か否かを判定する。パネル制御部150は、画質妨害量が所定の値以上であると判定した場合はステップS1405に進み、画質妨害量が所定の値未満であると判定した場合はステップS1407に進む。
ステップS1405はステップS403と同様、ステップS1406はステップS404と同様なので説明を省略する。ステップS1407において、画像処理部140は、入力映像信号sg301に対してグラデーション処理する。ステップS1408において、パネル制御部150は、グラデーション処理された映像用液晶制御信号sg303に基づいて表示素子151を制御する。また、パネル制御部150は、全透過状態(又は全反射状態)になるように表示素子152を制御する。
以上説明したように、パネル制御部150は、ユーザが投影用画像において画質妨害を認識する度合によって、グラデーション処理する表示素子を変更する。具体的には、パネル制御部150は、ユーザが画質妨害を認識する可能性が低い状態では、表示素子151を用いてグラデーション処理を行い、画質妨害を認識する可能性が高い状態では表示素子152を用いてグラデーション処理を行う。このようにすることで、例えば表示素子151の解像度が表示素子152の解像度よりも高い場合に、ユーザが画質妨害を認識する可能性が低い状態では、高い解像度でグラデーション処理を行えるので、重畳領域の画質が向上する。
[実施例6]
本実施例では、実施例1から4と同様に、プロジェクタについて説明する。
本実施例では、プロジェクタ100の表示素子151と表示素子152が、いずれも時間変調方式のDMDを1つずつ用いた場合の説明を行う。
本実施例の構成では、実施例1から4にはない特有の課題が発生するため、本実施例の課題とその解決方法について図17と図18を用いて説明する。図17と図18は、いずれも本実施例において、光源161から出力された光源光が、変調されて投影光として出力されるまでを示している。
なお、上記の前提以外のプロジェクタの構成、基本動作については、実施例1から4と同様であるため説明を割愛する。
まず、本実施例において、実施例1から4の方法で行うと、光源161から出力された光源光が、変調されても所望の輝度の投影光とならないことを、図17のタイムチャートを用いて説明する。
図17は、画像の画素値が9(最大15)である画素において、グラデーション処理として75%に減光を施し、6.75(=9*0.75)の投影光を出力する際のタイムチャートである。
まず、画像処理部140から出力される画像処理信号sg302は、同期信号とデータ信号である。同期信号に同期するタイミングで画像のデータ信号が出力されている。
パネル制御部150から出力される映像用パネル制御信号sg303は、上記の同期信号に同期したデータ信号が示す画素値9に応じたPWM信号である。最大画素値15との割合を考慮して、9/15の時間がONのPWM信号となっている。これにより表示素子151は、1画素を表現する時間tのうち9/15tが光源光lm305を反射した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、上記の同期信号に同期し、減光率情報に応じて、75%の期間をON期間とするPWM信号である。これにより表示素子152は、1画素を表現する時間tのうち、第一変調光lm306を0.75t(75%)の時間だけ、反射した第二変調光lm307を出力するように制御される。
そのため、投影光学系171を介して、投影される投影光lm308は、映像用パネル制御信号sg303と減光用パネル制御信号sg304の双方がON期間となる時間t1で光を反射する。映像用パネル制御信号sg303と減光用パネル制御信号sg304のいずれかがOFF期間となる時間t2+t3は光を反射しない。結果として、投影される投影光lm308は、1画素を表現する時間tのうち9/15t、光を投影することとなる。つまり表示素子151で反射した9階調に相当する時間t1(9/15t)の反射光を、表示素子152のPWM信号によりすべて反射しているため、減光処理は施されておらず、9階調に相当した投影光が出力されている。
ここで、本実施例において、光源161から出力された光源光を変調し、所望の輝度の投影光に減光処理する方法を、図18のタイムチャートを用いて説明する。
図18は、図17同様に画素値が9のある画素において、グラデーション処理として75%に減光を施し、6.75(=9*0.75)の投影光を出力する際のタイムチャートである。
まず、画像処理部140から出力される画像処理信号sg302は、同期信号とデータ信号である。同期信号に同期するタイミングで画像のデータ信号が出力されている。
パネル制御部150から出力される映像用パネル制御信号sg303は、上記の同期信号に同期したデータ信号が示す画素値9に応じたPWM信号である。最大画素値15との割合を考慮して、9/15の時間がONのPWM信号となっている。これにより表示素子151は、1画素を表現する時間tのうち9/15tが光源光lm305を反射した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、上記の同期信号に同期し、情報取得部114から取得した減光率情報と上記の映像用パネル制御信号sg303に応じたPWM信号である。つまり映像用パネル制御信号sg303のON期間である9/15tの75%の期間をONのPWM信号である。これにより表示素子152は、1画素を表現する時間tのうち、第一変調光lm306でON期間となる時間9/15tのさらに75%の時間だけ、反射した第二変調光lm307を出力するように制御される。
そのため、投影光学系171を介して、投影される投影光lm308は、映像用パネル制御信号sg303と減光用パネル制御信号sg304の双方がON期間となる時間t1で光を反射する。映像用パネル制御信号sg303と減光用パネル制御信号sg304のいずれかがOFF期間となる時間t2+t3は光を反射しない。結果として、投影される投影光lm308は、1画素を表現する時間tのうち9/15tの75%の時間(6.75/15t)、光を投影することとなり、所望の出力を可能としている。
以上説明したように、本実施例のプロジェクタ100では、画像データに応じて画像を表示する表示素子151に対して、別の表示素子152の対応した領域にエッジブレンドのためのグラデーション処理を実施している。その際、表示素子152は、表示素子151が光反射している期間を基準に、所望の減光率に応じた期間を反射するようにしている。これにより、実施例1から4と同様に、表示素子151で表示する画像データの画素値によらず、グラデーション処理が可能となり、本処理による黒浮きが発生しない。
[実施例7]
本実施例では、実施例6と同様に、プロジェクタ100の表示素子151と表示素子152が、いずれも時間変調方式のDMDを1つずつ用いた場合の説明を行う。
本実施例では、実施例6で説明した課題を、実施例6で説明した解決方法と異なる方法で解決する場合について図19を用いて説明する。図19は、本実施例において、光源161から出力された光源光が、変調されて投影光として出力されるまでを示している。
なお、上記の前提以外のプロジェクタの構成、基本動作については、実施例6と同様であるため説明を割愛する。
本実施例において、光源161から出力された光源光を変調し、所望の輝度の投影光に減光処理する方法を、図19のタイムチャートを用いて説明する。
図19は、画素値が9のある画素において、グラデーション処理として75%に減光を施し、6.75(=9*0.75)の投影光を出力する際のタイムチャートである。
まず、画像処理部140から出力される画像処理信号sg302は、同期信号とデータ信号である。同期信号に同期するタイミングで画像のデータ信号が出力されている。
パネル制御部150から出力される映像用パネル制御信号sg303は、上記の同期信号に同期したデータ信号が示す画素値9に応じたPWM信号である。最大画素値15との割合を考慮して、9/15の時間がONのPWM信号となっている。これにより表示素子151は、1画素を表現する時間tのうち9/15tが光源光lm305を反射した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、上記の同期信号に同期し、1階調に相当する時間1/15tの周期でトグルした第二変調光lm307を出力するように制御される。この際、減光率情報に応じて、トグルする信号のDUTY比を75%がONで、25%がOFFとなるような比率に制御する。これにより、表示素子152は、1画素を表現する時間tのうち、第一変調光lm306でON期間となる時間9/15t(=t1)の75%の時間が反射され、残りの時間t2は反射しない第二変調光lm307を出力するように制御される。
これにより、投影光学系171を介して、投影される投影光lm308は、1画素を表現する時間tのうち9/15tの75%の時間(6.75/15t)、光を投影することとなり、所望の出力を可能としている。
以上説明したように、本実施例のプロジェクタ100では、画像データに応じて画像を表示する表示素子151に対して、別の表示素子152の対応した領域にエッジブレンドのためのグラデーション処理を実施している。その際、表示素子152は、1階調を表現する時間、所望の減光率に応じたDUTY比のトグル信号により光を反射するようにしている。これにより、実施例6と同様に、表示素子151で表示する画像データの画素値によらず、グラデーション処理が可能となり、本処理による黒浮きが発生しない。
[実施例8]
本実施例では、実施例6と同様に、プロジェクタ100の表示素子151と表示素子152が、いずれも時間変調方式のDMDである場合の説明を行う。
本実施例では、表示素子152の1画素に対し、表示素子151の複数の画素が対応する構成における課題とその解決方法について図20と図23を用いて説明する。図20は、本実施例において、光源161から出力された光源光が、変調されて投影光として出力されるまでを示しており、図23は、特徴となるプロジェクタ100の構成を示している。
なお、上記の前提以外のプロジェクタの構成、基本動作については、実施例6と同様であるため説明を割愛する。
まず、本実施例において、表示素子152の1画素に対し、表示素子151の複数の画素が対応する構成として、表示素子151がR/G/Bの3色に対応したDMDで構成される場合(いわゆる3板式)で、課題を説明する。なお、パネル制御部150からは、表示素子151R/G/Bをそれぞれ制御するための映像用パネル制御信号sg303R/G/Bが出力される。さらに表示素子151R/G/Bを反射した3色の第一変調光lm306はともに、表示素子152を反射した後、投影光lm308R/G/Bを出力する。
図20(a)は、画像の画素値がそれぞれR=576、G=320、B=128(最大1023)である画素において、グラデーション処理として75%に減光を施し、それぞれR=432、G=320、B=96の投影光を出力する際のタイムチャートである。
画像処理部140から出力される画像処理信号sg302R/G/Bは、同期信号とデータ信号である。同期信号に同期するタイミングで画像のデータ信号が出力されている。
パネル制御部150から出力される映像用パネル制御信号sg303R/G/Bは、上記の同期信号に同期した3色のデータ信号が示す画素値576(R)、320(G)、128(B)に応じたPWM信号である。最大画素値1023との割合を考慮して、それぞれ576/1023(R)、320/1023(G)、128/1023(B)の時間がONのPWM信号となっている。これにより表示素子151Rは、1画素を表現する時間tのうち576/1023t、表示素子151Gは320/1023t、表示素子151Bは128/1023tが光源光lm305を反射した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、上記の同期信号に同期し、実施例6で説明したように情報取得部114から取得した減光率情報と上記の映像用パネル制御信号sg303のON期間に応じたPWM信号である。この際、各映像用パネル制御信号sg303R/G/BのON期間が異なるため、最大階調のPWM信号のON期間を基準とする。つまり映像用パネル制御信号sg303RのON期間である576/1023tの75%の期間がONのPWM信号である。これにより表示素子152は、1画素を表現する時間tのうち、第一変調光lm306RがON期間となる時間576/1023tのさらに75%の時間だけ、反射した第二変調光lm307を出力するように制御される。
そのため、投影光学系171を介して投影される投影光lm308は、映像用パネル制御信号sg303と減光用パネル制御信号sg304の双方がON期間となる時間で光を反射する。映像用パネル制御信号sg303と減光用パネル制御信号sg304のいずれかがOFF期間となる時間は光を反射しない。結果として、投影される投影光lm308Rは、1画素を表現する時間tのうち576/1023tの75%の時間(432/1023t)、光を投影することとなり、所望の出力を可能としている。一方、投影される投影光lm308G/Bは、1画素を表現する時間tのうち320/1023t、128/1023tをそのまま、光を投影することとなり、減光処理が施されていない。
したがって、最大階調で基準とした色(R)以外において、減光処理の前後で所望の色バランスが崩れてしまう。
ここで、本実施例において、光源161から出力された光源光を変調し、最大階調以外の色の投影光の減光処理のずれを低減する方法を、図20(b)と図23を用いて説明する。
図20(b)は、図20(a)と同様に画像の画素値がそれぞれR=576、G=320、B=128(最大1023)である画素において、グラデーション処理として75%に減光を施し、投影光を出力する際のタイムチャートである。図20(b)では、図20(a)と異なり、それぞれR=432、G=280、B=96の投影光を出力する。図23では、情報取得部114から画像処理部140へ設定情報として、エッジブレンドの減光処理に伴う、減光率情報が通信されている。
まず画像処理部140は、情報取得部114から減光率情報を取得する。この減光情報をもとに、最大階調以外の色の画像値に画像処理を施す。この場合、G=320*0.75=280、B=128*0.75=96と変換する。そして画像処理部140は、同期信号と画像処理後のデータ信号を画像処理信号sg302R/G/Bとして、出力する。
パネル制御部150から出力される映像用パネル制御信号sg303R/G/Bは、画像処理信号sg302に基づき、画素値576(R)、280(G)、96(B)に応じたPWM信号である。最大画素値1023との割合を考慮して、それぞれ576/1023(R)、280/1023(G)、96/1023(B)の時間がONのPWM信号となっている。これにより表示素子151Rは、1画素を表現する時間tのうち576/1023t、表示素子151Gは280/1023t、表示素子151Bは96/1023tが光源光lm305を反射した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、上記課題と同様、第一変調光lm306で最大階調RがON期間となる時間576/1023tのさらに75%の時間だけ、反射した第二変調光lm307を出力するよう制御される。
そのため、投影光学系171を介して、投影される投影光lm308は、映像用パネル制御信号sg303と減光用パネル制御信号sg304の双方がON期間となる時間で光を反射する。映像用パネル制御信号sg303と減光用パネル制御信号sg304のいずれかがOFF期間となる時間は光を反射しない。結果として、投影される投影光lm308Rは、1画素を表現する時間tのうち576/1023tの75%の時間(432/1023t)、光を投影することとなる。さらに投影される投影光lm308G/Bは、1画素を表現する時間tのうち280/1023t、96/1023tの時間、光を投影することとなる。したがって、もともとの画素値に対し、所望の減光処理が施されたことになる。
以上説明したように、本実施例のプロジェクタ100では、画像データに応じて画像を表示する3つの表示素子151R/G/Bに対して、別の表示素子152の対応した領域にエッジブレンドのためのグラデーション処理を実施している。その際、表示素子152は、表示素子151R/G/Bのうち最大階調の色に対して、光反射している期間を基準に、所望の減光率に応じた期間を反射するようにしている。さらに最大階調でない色については、画像処理を用いて減光処理後の所望の明るさになるように制御しているため減光処理の前後における色バランスのずれを低減している。これにより、実施例6と同様に、表示素子151で表示する画像データの画素値によらず、グラデーション処理が可能となり、本処理による黒浮きが発生しない。
なお、本実施例では、表示素子152の1画素に対し、表示素子151の複数の画素が対応する構成として、表示素子151が3板式の場合を説明したがこれに限定されることはない。図21に示すように、表示素子151の複数の画素px1〜4と表示素子152の画素px5が対応関係にあるような場合でも同様である。ここでは、表示素子151の画素px1が576階調、px2が320階調、px3が128階調、px4が512階調であり、表示素子152の対応する画素px5で75%の減光を行う例を示している。図22(a)に示すように、px5の減光処理を、px1〜4のうち最も階調値の大きい画素であるpx1に合わせて行う場合、その画素以外の画素であるpx2〜4は減光処理の前後における色バランスのずれが発生する。図22(b)に示すように、あらかじめpx2〜4は画像処理部140にて減光率に応じた画像処理を施すことで、最大階調以外のpx2〜4における減光処理の前後における色バランスのずれが低減できる。
具体的な画像処理について図22と図23を用いて説明する。図22(b)は、図21と同様に画像の画素値がそれぞれpx1=576、px2=320、px3=128、px4=512(最大1023)である画素において、グラデーション処理として75%に減光を施し、投影光を出力する際のタイムチャートである。図22(b)では、それぞれpx1=432、px2=280、px3=96、px4=384の投影光が出力される。図23では、情報取得部114から画像処理部140へ設定情報として、エッジブレンドの減光処理に伴う、減光率情報が通信されている。
まず画像処理部140は、情報取得部114から減光率情報を取得する。この減光情報をもとに、最大階調以外の画素px2〜4に画像処理を施す。この場合、px2=320*0.75=280、px3=128*0.75=96、px4=512*0.75=384と変換する。そして画像処理部140は、同期信号と画像処理後のデータ信号を画像処理信号sg302として出力する。
パネル制御部150から出力される映像用パネル制御信号sg303は、画像処理信号sg302に基づき、画素値576(px1)、280(px2)、96(px3)、512(px4)に応じたPWM信号である。そして、表示素子151の対応する画素px1〜4にそれぞれ入力される。最大画素値1023との割合を考慮して、それぞれ576/1023(px1)、280/1023(px2)、96/1023(px3)、432/1023(px4)の時間がONのPWM信号となっている。これにより表示素子151の画素px1は、1画素を表現する時間tのうち576/1023tが光源光lm305を反射した第一変調光lm306を出力するように制御される。表示素子151の画素px2は、1画素を表現する時間tのうち280/1023tだけ光源光lm305を反射した第一変調光lm306を出力するように制御される。また、表示素子151の画素px3は、1画素を表現する時間tのうち96/1023tだけ光源光lm305を反射した第一変調光lm306を出力するように制御される。さらに、表示素子151の画素px4は、1画素を表現する時間tのうち512/1023tだけ光源光lm305を反射した第一変調光lm306を出力するように制御される。
またパネル制御部150から出力される減光用パネル制御信号sg304は、第一変調光lm306で最大階調px1がON期間となる時間576/1023tのさらに75%の時間だけ、反射した第二変調光lm307を出力するように制御される。
そのため、投影光学系171を介して、投影される投影光lm308は、映像用パネル制御信号sg303と減光用パネル制御信号sg304の双方がON期間となる時間で光を反射する。映像用パネル制御信号sg303と減光用パネル制御信号sg304のいずれかがOFF期間となる時間は光を反射しない。結果として、投影される投影光lm308のうち、px1に対応する光は、1画素を表現する時間tのうち576/1023tの75%の時間(432/1023t)、光を投影することとなる。さらにpx2〜4に対応する光は、1画素を表現する時間tのうち280/1023t、96/1023t、432/1023tの時間、光を投影することとなる。したがって、もともとの画素値に対し、所望の減光処理を施すことができる。
[その他の実施例]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ(またはCPUやMPU)は、記憶媒体に格納されたプログラムコードを読み出し実行する。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、上述のプログラムコードの指示に基づき、装置上で稼動しているOS(基本システムやオペレーティングシステム)などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行う。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。