JP5426827B2

JP5426827B2 - ディスプレイ上で表示するための一連のフレームを処理する方法、プログラム、システム、装置、およびディスプレイ

Info

Publication number: JP5426827B2
Application number: JP2007511793A
Authority: JP
Inventors: シーツェン、ヘルゲ
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2004-05-03
Filing date: 2004-12-24
Publication date: 2014-02-26
Anticipated expiration: 2024-12-24
Also published as: CA2563517C; US20070285587A1; HK1100015A1; EP1747666B1; EP1747666A4; CN1973530A; EP1747666A1; US20070216819A1; CA2563517A1; ES2391095T3; JP2007536583A; KR101196288B1; KR20070042120A; WO2005107237A1; US7817131B2; CN100488229C; US8035604B2

Description

本発明は、二重変調表示システム上に表示される画像フレームを処理することに関連する。本発明のある実施形態は、変調信号の効率的な計算をするための方法及びシステムに関連する。

この出願は、「ＭＥＴＨＯＤＦＯＲＥＦＦＩＣＩＥＮＴＣＯＭＰＵＴＡＴＩＯＮＯＦＩＭＡＧＥＦＲＡＭＥＳＦＯＲＤＵＡＬ−ＭＯＤＵＬＡＴＩＯＮＤＩＳＰＬＡＹＳＹＳＴＥＭＳＵＳＩＮＧＫＥＹＦＲＡＭＥＳ」と題された、２００４年３月３日に出願された米国特許出願第６０／５６６，９２５号の利益を主張し、参照によって本明細書に組み込まれる。

画像がディスプレイに表示されるためには、ディスプレイがインターフェイスに接続される必要がある。インターフェイスは画像データを受信し、且つ画像データをディスプレイにより利用される信号に変換するように構成される。変調器を備えるディスプレイに対して、インターフェイスはプロセッサに接続される変調器駆動回路を典型的に備える。

プロセッサは画像データを受信し、変調器駆動回路用の変調信号を生成する。変調信号により変調器は複数の画素を生成して画像が再生される。変調信号の計算は、計算負荷が高い。

発明者は、二重変調表示システム上で表示される画像データを処理するための計算負荷を低減する方法及びシステムを発明した。

映像データは、時間変化をして視聴者に動きの錯覚を与える一連のフレームを備える。発明者は、フレーム間の差が、二重変調システムの第二変調器の変動範囲よりも頻繁か、少ないかを判定し、第一変調器を調整せずに一連のフレームを表示可能であることを究明した。本発明の幾つかの態様は、（本明細書で「主要フレーム」と呼ばれる）一フレームからの第一変調信号及び輝度分布が複数の他のフレームで利用されて画像データ処理の全計算負荷を低減する方法を提供することである。

本発明の更なる態様及び本発明の特定の実施形態の特徴は以下に開示される。

図面において、本発明の制限されない実施形態を説明する。
以下の記載を通じて、限定された詳細が本発明のより直接的な理解を提供するために説明される。しかし、本発明はこれらの詳細を利用せずに実施されてもよい。別例において、構成の成分は本発明を不必要に分かりにくくすることを避けるために詳細には示されないか又は記載されない。従って、明細書及び図面は制限というよりもむしろ、説明とみなされる。

二重変調表示システムは、一般的に図１の参照番号１０により示されるが、後置変調器１２及び前置変調器１４を典型的に有する。後置変調器駆動回路１６は後置変調器１２に接続され、前置変調器駆動回路１８は前置変調器１４に接続される。プロセッサ２０は後置変調器駆動回路１６及び前置変調器駆動回路１８に接続される。プロセッサ２０は画像データ２２を受信し、後置変調器用信号及び前置変調器用信号を後置変調器駆動回路１６及び前置変調器駆動回路１８に各々提供する。

後置変調器１２は比較的低解像度を有し、前置変調器は比較的高解像度を有する。後置変調器は発光ダイオード（ＬＥＤ）のアレイ、映像投影機、又はバックライトを備える。前置変調器１４は一般的に液晶ディスプレイ（ＬＣＤ）を備える。

図２は、図１のプロセッサ２０により実行される方法３０を説明する。方法３０はプロセッサ２０が画像デ−タ２２のフレームを処理し始めるときにブロック３２で始まる。プロセッサ２０は、ブロック３４において、フレームの画像データ２２を受信する。ブロック３６において、プロセッサ２０はフレームの後置変調器用信号を計算する。ブロック３８において、プロセッサ２０は、後置変調器１２により生成され、且つそのフレームの後置変調器用信号によって後置変調器１２が駆動されるとき、前置変調器１４上に入射されると予測される光の輝度分布を計算する。ブロック４０において、プロセッサ２０はフレームの画像データ２２を輝度分布により除算し、前置変調器用信号を生成する。ブロック４２において、プロセッサ２０は後置変調器用信号及び前置変調器用信号を後置変調器駆動回路１６及び前置変調器駆動回路１８に各々提供する。方法３０はブロック４４で終了し、プロセッサ２０は画像データ２２の次のフレームを処理するために進み、再びブロック３２において開始する。

フレームの後置変調器用信号及び前置変調器用信号が後置変調器駆動回路１６及び前変調機器駆動回路１８に各々提供されるとき、後置変調器１２は光を後置変調器用信号に従って前置変調器１４に投影して、輝度分布を作成する。前置変調器１４は後置変調器１２からの光を前置変調器用信号に従って光学的に変調し、フレームの画像を前置変調器１４の前の視聴者に表示する。

後置変調器１２がＬＥＤアレイを備え、前置変調器１４がＬＣＤを備える場合、プロセッサ２０は、後置変調器１２の各ＬＥＤに画像データ２２の各フレームに対する適切な強度を決定し、そのフレーム用の後置変調器用信号を生成する。プロセッサ２０は次に、後置変調器１２から前置変調器１４に入射する光の輝度分布を計算し、プロセッサ２０は、そのフレームに対する前置変調器用信号を、画像データ２２を輝度分布で除算することにより生成する。輝度分布の計算は、各ＬＥＤにより、ＬＣＤの各点に影響する光を合計することを含む。ＬＣＤ上の点に到達するＬＥＤからの光量は、ＬＥＤの点広がり関数及びＬＥＤの電力レベルに依存する。両者は原理的に公知である知られているので、ＬＣＤの各画素上の、ＬＥＤからの光の強度を決定することができる。

当業者が気づくであろうように、図２のブロック３８における輝度分布計算は、計算負荷が高い。例えば、前置変調器１４がＸ×Ｙの解像度を有し、且つ後置変調器１２が７００ＬＥＤのアレイを備える場合、ＸＹ個の画素各々に対する輝度分布は、その画素の照射に影響する全７００個のＬＥＤの点拡がり関数に基づいて計算されなくてはならない。

本明細書は第一及び第二変調器を有する二重変調表示システム上で表示するための、一連のフレームから形成される画像データを処理するための方法及びシステムを提供する。本発明に従うシステムは、各変調器への変調信号を提供する。システムによって第二変調信号を用いて第二変調器が駆動され、この第二変調信号は、第一変調器から第二変調器に照射される光の輝度分布を考慮に入れる。第一変調信号及び輝度分布は全てのフレームに対しては計算されない。代わりに、第一変調信号及び輝度分布は、「主要フレーム」と称される、選択されたフレームに対してのみ決定される。同じ第一変調信号及び対応する輝度分布（まとめて「主要フレーム・パラメータ」と呼ぶ）は、一つ以上の他のフレームに対する第二変調信号及び輝度分布を提供するために利用される。

以下の記載は、第一変調器が後置変調器１２を備え、第二変調器が前置変調器１４を備える、図１の例を参照する。しかし、本発明に従うシステムは、第一変調器が第二変調器を照射する任意のタイプの二重変調表示システムに関連して利用されてもよいことは理解されるべきである。

図３は、本発明の一実施形態に従う方法１００を説明する。方法１００は、図１のプロセッサ２０のような、二重変調ディスプレイのプロセッサにより実行される。これとは別に、方法１００は、ビデオカメラのような撮像装置に結合されるプロセッサ、又は独立なプロセッサにより実行されてもよい。方法１００は任意の適切な形式の画像データを処理するために利用され、画像形式はＭＰＥＧ、ＡＶＩ、ＡＳＦ、ＷＭＶ、ＲＭ、ＭＯＶ、等を含む。方法１００は一連のフレームに対する後置変調器用信号及び前置変調器用信号を計算するために利用される。変調信号はバッファ時間と同時に後変調駆動回路１６及び前変調駆動回路１８に直接提供されてもよいし、或いは電子記憶装置へ、後置変調器駆動回路１６及び前置変調器駆動回路１８による将来の利用のために提供されてもよい。

方法１００はブロック１０２で始まり、プロセッサは画像データの一連のフレームの処理を開始する。ブロック１０４において、プロセッサは主要フレーム画像として指定される画像データのフレームを受信する。ブロック１０６において、プロセッサは主要フレームの後置変調器用信号を計算する。ブロック１０８において、プロセッサは主要フレームの輝度分布を計算する。ブロック１１０において、プロセッサは主要フレームの輝度分布で主要フレームの画像を除算し、主要フレーム前置変調器用信号を生成する。ブロック１１２において、プロセッサは主要フレームの後駆動関数及び主要フレームの前駆動関数を、後置変調器駆動回路１６及び前置変調器駆動回路１８、又は電子記憶装置へ提供する。

ブロック１１４において、プロセッサは一連のフレームの次のフレームの画像を受信する。この、次のフレームの画像は現在のフレームの画像として指定される。ブロック１１６において、プロセッサは現在のフレームの画像を主要フレームの輝度分布で除算して、現在のフレームの前置変調器用信号を生成する。ブロック１１８において、プロセッサは主要フレームの後置変調器用信号を選択して、現在のフレームの後置変調器用信号にする。ブロック１２０において、プロセッサは現在のフレームの後駆動関数及び前駆動関数を後置変調器駆動回路１６及び前置変調器駆動回路１８、又は電子記憶装置に提供する。

ブロック１２２において、プロセッサは、主要フレームの後置変調器用信号及び輝度分布が計算されてからＮフレームが処理されたか否かを判定する。否（ブロック１２２の否定出力）の場合、方法１００はブロック１１４に戻り、プロセッサが次のフレームの画像を受信し、上記のようにその画像を現在のフレームとして処理する。Ｎフレームが処理される（ブロック１２２の肯定出力）と、方法１００はブロック１０４に戻り、プロセッサは新しい主要フレームの画像を受信し、上記のように処理する。バッファリングが可能な状況において、以前の主要フレームに属する現在のフレームがまだ処理されている間に、一つ以上の将来の主要フレームに対してプロセッサはブロック１０６及び１０８の計算をバックグラウンドで開始してもよい。

一つの主要フレームを利用して、方法１００で処理されるべきフレームの数Ｎは、一連のフレームにおける予測期待される輝度の変化及び／又は前置変調器１４のダイナミック・レンジに基づいて選択される。例えば、一連のフレームにおいて各第三フレームが主要フレームとして指定されるように、Ｎは２と選択される。このような例において、方法１００は、図２の方法３０に比べて、一連のフレームの処理に関して約三分の一の計算負荷で済むであろう。

方法１００により生成される後置変調器用信号及び前置変調器用信号により、画像が二重変調表示システム１０上で全てのフレームに対して正確に表示されるが、主要フレームと関連する現在のフレームとの輝度差が前置変調器１４により調整できない現在のフレームは、その例外である。例えば、主要フレームの画像のある画素に対するダイナミック・レンジの上端又は下端いづれかの直上又は近傍で前置変調器１４を駆動し、且つ現在のフレームの画像のこれら画素を正確に表現するために、前置変調器１４がダイナミック・レンジのレベル外で駆動される必要がある画素に対して、現在のフレームの画像が主要フレームの画像から異なる場合、現在のフレームは調整され得ない。

幾つかの実施形態において、前置変調器１４は２００：１以上のダイナミック・レンジを有するＬＣＤを備え、フレーム間の広範な輝度変化を調整することができる。このようなダイナミック・レンジ及びパラメータＮの適切な選択を用いて、主要フレームとＬＣＤにより調整できない関連する現在のフレームとの間の輝度変化は稀であり、フレームが典型的な映像アプリケーションで表示される速度でほとんど見ることができない。

図４は本発明の別実施形態に従う方法２００を説明する。方法２００は図３の方法１００と本質的に類似した方法で実行される。方法２００のブロック２０２からブロック２１６の段階は本質的に方法１００のブロック１０２からブロック１１６の段階と同じである。方法２００が方法１００と異なる点は、現在のフレームの前置変調器用信号がブロック１２６で生成された後であり、プロセッサは主要フレームの輝度分布が現在のフレームの画像を再生するために適切であるか否かを、ブロック２１８において判定する。

プロセッサは、ブロック２１６で生成される現在のフレームの前置変調器用信号と前置変調器駆動回路１８の適切な値の範囲との比較に基づいて、主要フレームが更新されるべきか否かをブロック２１８において判定する。このような比較は、現在のフレームの前置変調器用信号が前置変調器駆動回路１８の適切な値の範囲外にある画素（本明細書では、「問題画素」と呼ぶ）の数を、プロセッサが記録することで画素毎に行われる。プロセッサはまた、問題画素の位置を記録してもよい。プロセッサは、問題画素の数が所定の閾値を越えたとき、主要フレームが更新されるべきであることを判定する。別例では、問題画素が適切な値の範囲外であることによる平均値が所定の閾値を越えた場合、問題画素が適切な値の範囲外であることによる累積値が所定の閾値を越えた場合、又は個々の問題画素が、所定の閾値を超える適切な値の範囲外にある場合、プロセッサは主要フレームが更新されるべきことを判定する。

プロセッサが、主要フレームは更新される必要が無いと判断する場合（ブロック２１８の否定出力）、方法２００はブロック２２０に進む。ブロック２２０において、プロセッサは主要フレームの後置変調器用信号を、現在のフレームの後置変調器用信号になるように選択する。ブロック２２２において、プロセッサは現在のフレームの後駆動関数及び前駆動関数を後置変調器駆動回路１６及び前置変調器駆動回路１８、又は電子記憶装置に提供する。方法２００は次に、ブロック２１４に戻り、プロセッサは次のフレームの画像を受信し、その画像を現在のフレームとして上記のように処理する。

プロセッサが、主要フレームは更新される必要があると判定する場合（ブロック２１８の肯定出力）、方法２００はブロック２２４に進む。ブロック２２４において、プロセッサは現在のフレームの画像を新しい主要フレームの画像として利用して主要フレームの後置変調器用信号と主要フレームの輝度分布を更新する。方法２００は次にブロック２１０に進み、プロセッサは主要フレームの前置変調器用信号を生成してブロック２１２に進み、駆動関数が変調器駆動回路１６及び変調器駆動回路１８、又は記憶装置に、上記のように提供される。

プロセッサの計算能力及び一連のフレームが処理されるために必要な速度に依存して、ブロック２２４において、プロセッサは主要フレームのパラメータの更新中に、一連のフレームの処理における望ましくない遅延時間を避けるためにショートカットを行ってもよい。例えば、主要フレームの画像として現在のフレームの画像を利用する完全に新しい主要フレームの後置変調器用信号を計算する代わりに、問題画素に対応する、ブロック２０６及び２０８で各々計算される主要フレームの後置変調器用信号及び主要フレームの輝度分布の一部分のみを、プロセッサは更新してよい。

別例で、ブロック２２４において、プロセッサは、ブロック２０６及びブロック２０８で各々計算される主要フレームの後変調信及び主要フレームの輝度分布を、一部分毎に更新する。例えば、最初にブロック２２４を通過するときに、表示領域の四分の一に対応する主要フレームのパラメータをプロセッサは更新する。この方法は次にブロック２１０に進み、全ての主要フレームのパラメータが更新されるまでプロセッサは、残りの四分の三の領域に対応する主要フレームのパラメータを更新しながら、上記のように続く。主要フレームのパラメータの部分的な更新によちプロセッサが主要フレームは更新される必要が無いとブロック２１８で判定した場合（ブロック２１８の否定出力）、方法２００は全ての主要フレームのパラメータを更新せずにブロック２２０に進んでよい。

ブロック２２４においてプロセッサに必要とされる計算時間を減らす他の方法により、主要フレームの輝度分布を更新する計算のための正確性要求が低減される。例えば、後置変調器１２がＬＥＤアレイを備える場合、各ＬＥＤに対する実際の点広がり関数よりもむしろ、プロセッサは各ＬＥＤの光分布のための近似ガウス分布又は他の適切な関数を利用してよい。このような近似は主要フレームのパラメータを更新するための計算負荷を低減し、且つそれにより導入される任意の不完全性はディスプレイ１０を見ている視聴者にはほとんど見えない。更に、近似は、プロセッサが新しい主要フレームの輝度分布をバックグラウンドで実際の点広がり関数を利用して計算する中間時間のみで利用されるかもしれない。近似は新しい主要フレームの輝度分布が完全に計算されるまでに、実際の計算を利用する一連のフレームで改善されるかもしれない。

図５は本発明の別実施形態に従う方法３００を説明する。方法３００は図３及び図４の各々方法１００及び方法２００と本質的に類似した方法で実行される。方法３００のブロック３０２からブロック３２２の段階は本質的に方法２００のブロック２０２からブロック２２２の段階と同じである。方法３００が方法２００と異なるのは、主要フレームは更新される必要があることを、プロセッサが判定したとき（ブロック３１８の肯定出力）であり、方法３００はブロック３２４に進み、プロセッサは標準主要フレームを選択し、標準主要フレームからパラメータを利用して主要フレームの前置変調器用信号をブロック３１０で生成する。プロセッサはまた、ブロック３２６においてバックグラウンドで現在のフレームの画像を主要フレームの画像として利用して主要フレームのパラメータを更新し、一方で、標準主要フレームのパラメータは、図５の点線により示されるように、中間フレームを処理するために利用される。

ブロック３２４において選択される標準主要フレームは主要フレームのパラメータがすでに計算された主要フレームを備える。標準主要フレームの例は、後置変調器１２が以下の条件において駆動されるフレームを含む。
・全表示領域に亘る全強度の一定の割合（例えば半分）、
・全表示領域に亘る全強度、
・表示領域の選択される部分に亘る全強度の一定の割合（例えば半分）、及び
・表示領域の選択される部分に亘る全強度。
別例で、プロセッサは以前に処理した主要フレームを保存し、主要フレームのパラメータがすでに計算された任意の主要フレームは、標準主要フレームとしてブロック３２４で選択される。

上記方法１００，２００及び３００のある要素は、互いに組み合わされて本発明の様々な実施形態に従う他の方法を創作するかもしれない。例えば、方法１００において、プロセッサは、ブロック１１６及とブロック１１８との間で主要フレームが更新されるべきか否かを、方法２００のブロック２１８のように判定してよい。

各八番目のフレームが主要フレームとして指定され（Ｎ＝７）、現在のフレームの前置変調器用信号が生成された後に主要フレームが更新されるべきか否かを、プロセッサが判定する方法を、例として考える。あるフレームが主要フレームとして指定される任意のこのような方法において、プロセッサは複数のフレームをバッファリングし、一つ以上の将来の主要フレームをバックグラウンドで処理することにより「作業を進行」し、このとき、動作中の主要フレームのパラメータが利用されて、動作中の主要フレームに対する現在のフレームを処理する。主要フレームを更新するために、プロセッサは、図４のブロック２２４に関して上で考察したショートカットを行ってもよく、又は図５のブロック３２４に関して上で考察した標準主要フレームのパラメータを選択してもよい。

更に、又は別例で、プロセッサが、処理される７つの現在のフレームの１つに対して主要フレームが更新される必要があると判定するとき、プロセッサは将来の主要フレームが現在のフレームを処理するのに適切なものとなるか否かを判定する。プロセッサは、将来の主要フレームが、現在のフレームの画像を将来の主要フレームの輝度分布で除算することにより適切であるか否かを判定する。当業者は理解するであろうように、除算は画素毎に一動作の線型処理であり、各画素に対する複数の点広がり関数を計算することと比較して、相対的に早い。従って、計算負荷を抑えることは、複数の将来及び過去の主要フレームが現在のフレームを処理するために適切であるか否かを判定するために照合さえされれば実現されるかもしれない。実際には、現在のフレームの前及び／又は後ろの２〜３個の主要フレームを照合することだけが一般的に望ましく、このような主要フレームは現在のフレームの画像データに最も非常によく合致する可能性が高い。

本発明のある実施形態は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを備える。例えば、二重変調表示システムにおける一つ以上のプロセッサは、本明細書に記載される方法において、プロセッサにアクセス可能なプログラム・メモリから読み出されるソフトウェア命令を実行することによる、データ処理の段階を備えるかもしれない。本発明はまた、プログラム生成物の形で提供されるかもしれない。プログラム生成物は、命令を備えるコンピュータ可読信号群を搬送する任意の媒体を備えてよく、命令がデータ・プロセッサにより実行されるとき、データ・プロセッサに本発明の方法を実行させる。本発明に従うプログラム生成物は、任意の広範な形である。本発明に従うプログラム生成物は、例えば、フロッピー・ディスク、ハード・ディスク・ドライブを含む磁気データ記憶装置、ＣＤＲＯＭ、ＤＶＤを含む光データ保存媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ保存媒体、或いは類似物又は、デジタル又はアナログの通信接続のような送信型の媒体、のような物理媒体を備えてよい。命令は、プログラム製品上で暗号化及び／又は圧縮される形で表現されてよい。

構成要素（例えばソフトウェア・モジュール、プロセッサ、部品、機器、回路等）が以上で参照される場合、他の表示がない限り、（「手段」への参照を含む）その構成要素は、その構成要素の均等物として記載される構成要素の機能を実行する任意の構成要素（すなわち、機能的均等物）を含むと解釈されるべきであり、本発明の実施形態の説明において機能を実行する開示された構造とは、構造的には均等でない構成要素を含むと解釈されるべきである。

前述の開示を踏まえて、当業者には明らかなように、その技術思想又は範囲から乖離することなく数多くの修正及び改良が、本発明の実施において可能である。例えば、プロセッサは、第一及び第二の変調器駆動回路に一体化され得る。同様にして、ＲＧＢ実装のための本発明の実施形態において、輝度分布は色強度分布を備えてよい。従って、本発明の範囲は、以下の請求項により定義される実態に従って構成されるべきである。

二重変調表示システム。画像処理の方法。本発明の一実施形態に従う画像処理の方法。本発明の別実施形態に従う画像処理の方法。本発明の別実施形態に従う画像処理の方法。

Claims

第二変調器を照射するために配置される第一変調器を有するディスプレイ上で表示するための一連のフレームを処理する方法であって、
（ａ）前記一連のフレームのうちの１つのフレームを受信し、主要フレームとして前記１つのフレームを指定すること、
（ｂ）前記第一変調器の複数の制御可能な要素を制御して前記第二変調器に空間的に変更される光パターンを供給するために、前記主要フレームの画像データに基づいて、主要フレームの第一変調信号を計算すること、
（ｃ）前記第一変調器が主要フレームの第一変調信号により駆動されるときに、前記第二変調器の複数の点上への入射光の強度を示す主要フレームの輝度分布を計算すること、
（ｄ）前記一連のフレーム中の複数のフレーム各々に対して、
（ｉ）前記第二変調器の制御可能な要素を制御して前記フレームの前記画像データで特定された画像を再生するために、前記フレームの画像データと前記主要フレームの輝度分布とに基づいて、フレームの第二変調信号を生成すること、
（ｉｉ）前記フレームの前記画像データにより特定された前記画像を表示するために、前記主要フレームの第一変調信号と前記フレームの第二変調信号を選択して、前記第一及び第二変調器にそれぞれ供給すること、
前記段階（ｄ）の後に段階（ａ）に戻ること、
を備える方法。
前記段階（ｄ）（ｉ）は、
前記一連のフレーム中の複数のフレーム各々に対して、
前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを記憶すること、
前記フレームの第二変調信号の複数の画素の値を、前記第二変調器によって調整可能な値の範囲と画素毎に比較すること、
前記フレームの第二変調信号の予め設定された数以上の画素の値が前記第二変調器によって調整可能な値の範囲外である場合、記憶されていた前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新すること、
を備える、請求項１に記載の方法。
前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新することが、
前記フレームの第二変調信号の複数の画素のうちの前記第二変調器によって調整可能な値の範囲外である値を有する画素に対応する前記主要フレームの第一変調信号と前記主要フレームの輝度分布との一部を更新すること、
を備える、請求項２に記載の方法。
前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新することが、
前記フレームの前記画像データに基づいて、更新された主要フレームの第一変調信号を計算すること、
前記第一変調器の制御可能な複数の要素に対する各要素の光分布の近似を示す近似光分布関数を利用する前記更新された主要フレームの第一変調信号に基づいて、更新された主要フレームの輝度分布を計算すること、
を備える、請求項２に記載の方法。
前記段階（ｄ）（ｉ）は、
前記一連のフレーム中の複数のフレーム各々に対して、
前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを記憶すること、
前記フレームの第二変調信号の複数の画素の値を、前記第二変調器によって調整可能な値の範囲と画素毎に比較すること、
前記第二変調器によって調整可能な値の範囲外である前記複数の画素の幾つかについて、前記複数の画素の幾つかが前記第二変調器によって調整可能な値の範囲外であることに起因して前記複数の画素の値の平均値が、所定の閾値を越える場合、記憶されていた前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新すること、
を備える、請求項１に記載の方法。
前記段階（ｄ）（ｉ）は、
前記一連のフレーム中の複数のフレーム各々に対して、
前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを記憶すること、
前記フレームの第二変調信号の複数の画素の値を、前記第二変調器によって調整可能な値の範囲と画素毎に比較すること、
前記第二変調器によって調整可能な値の範囲外である前記複数の画素の幾つかについて、前記複数の画素の幾つかが前記第二変調器によって調整可能な値の範囲外であることに起因して前記複数の画素の値の累積値が、所定の閾値を越える場合、記憶されていた前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新すること、
を備える、請求項１に記載の方法。
前記段階（ｄ）（ｉ）は、
前記一連のフレーム中の複数のフレーム各々に対して、
前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを記憶すること、
前記フレームの第二変調信号の複数の画素の値を、前記第二変調器によって調整可能な値の範囲と画素毎に比較すること、
前記第二変調器によって調整可能な値の範囲外である少なくとも一つの画素の値が所定の閾値を越える場合、記憶されていた前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新すること、
を備える、請求項１に記載の方法。
前記フレームの第二変調信号が複数のフレームの各々に対して生成されている間に、将来の主要フレームとして指定すべき少なくとも一つのフレームの画像データを受信し、将来の主要フレームの第一変調信号と、対応する輝度分布とを計算することを備える、請求項１に記載の方法。
前記段階（ｄ）（ｉ）は、
前記一連のフレーム中の複数のフレーム各々に対して、
前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを記憶すること、
前記フレームの第二変調信号の複数の画素の値を、前記第二変調器によって調整可能な値の範囲と画素毎に比較すること、
前記フレームの第二変調信号の前記画素の値が前記第二変調器によって調整可能な値の範囲外である場合、記憶されていた前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新すること、
を備える、請求項１に記載の方法。
前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新することは、
前記フレームの第二変調信号の複数の画素のうちの前記第二変調器によって調整可能な値の範囲外である値を有する画素に対応する前記主要フレームの第一変調信号と前記主要フレームの輝度分布の一部を更新すること、
を備える、請求項９に記載の方法。
前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新することは、
前記フレームの画像データに基づいて前記主要フレームの第一変調信号を再計算すること、
前記第一変調器の制御可能な複数の要素に対する各要素の光分布の近似を示す近似光分布関数を利用する前記再計算された主要フレームの第一変調信号に基づいて、更新された主要フレームの輝度分布の近似を計算すること、
を備える、請求項９に記載の方法。
前記第二変調器によって調整可能な値の範囲外である前記複数の画素の幾つかについて、前記複数の画素の幾つかが前記第二変調器によって調整可能な値の範囲外であることに起因して前記複数の画素の値の平均値が、所定の閾値を越える場合、前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新すること、
を備える、請求項９に記載の方法。
前記第二変調器によって調整可能な値の範囲外である前記複数の画素の幾つかについて、前記複数の画素の幾つかが前記第二変調器によって調整可能な値の範囲外であることに起因して前記複数の画素の値の累積値が、所定の閾値を越える場合、前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新すること、
を備える、請求項９に記載の方法。
前記フレームの第二変調信号の前記第二変調器によって調整可能な値の範囲外である少なくとも一つの画素の値が所定の閾値を越える場合、前記主要フレームの第一変調信号と前記主要フレームの輝度分布とを更新すること、
を備える、請求項９に記載の方法。
第二変調器を照射するために配置される第一変調器を有するディスプレイ上で表示するためのフレームを処理する方法であって、
フレームに対する画像データを得ること、
前記第一変調器の複数の制御可能な要素を制御して前記第二変調器に空間的に変更される光パターンを供給するために、前記複数のフレームのうちの１つの主要フレームの画像データに基づいて、前記第一変調器に対する主要フレームの第一変調信号を計算すること、
前記第一変調器が主要フレームの第一変調信号により駆動されるときに、前記第二変調器の複数の点上への入射光の強度を示す主要フレームの輝度分布を計算すること、
前記一連のフレーム中の複数のフレーム各々に対して、前記第二変調器の要素を制御して前記フレームの前記画像データで特定された画像を再生するために、前記フレームの前記画像データと前記主要フレームの輝度分布とに基づいて前記第二変調器用の第二変調信号を生成すること、
を備える方法。
第二変調器を照射するために配置される第一変調器を有するディスプレイ上で表示するための一連のフレームを処理するためのコンピュータ・プログラムであって、
前記コンピュータ・プログラムはコンピュータに、
（ａ）前記一連のフレームのうちの１つのフレームを受信し、主要フレームとして前記１つのフレームを指定すること、
（ｂ）前記第一変調器の複数の制御可能な要素を制御して前記第二変調器に空間的に変更される光パターンを供給するために、前記主要フレームの画像データに基づいて、主要フレームの第一変調信号を計算すること、
（ｃ）前記第一変調器が主要フレームの第一変調信号により駆動されるときに、前記第二変調器の複数の点上への入射光の強度を示す主要フレームの輝度分布を計算すること、
（ｄ）前記一連のフレーム中の複数のフレーム各々に対して、
（ｉ）前記第二変調器の制御可能な要素を制御して前記フレームの前記画像データで特定された画像を再生するために、前記フレームの画像データと前記主要フレームの輝度分布とに基づいて、前記フレームの第二変調信号を生成すること、
（ｉｉ）前記フレームの前記画像データにより特定された前記画像を表示するために、前記主要フレームの第一変調信号と前記フレームの第二変調信号を選択して、前記第一及び第二変調器にそれぞれ供給すること、
を実行させる、コンピュータ・プログラム。
第二変調器を照射するために配置される第一変調器を有するディスプレイ上で一連のフレームを表示するためのシステムであって、
（ａ）前記一連のフレームのうちの１つのフレームを受信し、主要フレームとして前記１つのフレームを指定し、
（ｂ）前記第一変調器の複数の制御可能な要素を制御して前記第二変調器に空間的に変更される光パターンを供給するために、前記主要フレームの画像データに基づいて、主要フレームの第一変調信号を計算し、
（ｃ）前記第一変調器が主要フレームの第一変調信号により駆動されるときに、前記第二変調器の複数の点上への入射光の強度を示す主要フレームの輝度分布を計算し、
（ｄ）前記一連のフレーム中の複数のフレーム各々に対して、
（ｉ）前記第二変調器の制御可能な要素を制御して前記フレームの前記画像データで特定された画像を再生するために、前記フレームの画像データと前記主要フレームの輝度分布とに基づいて、前記フレームの第二変調信号を生成し、
（ｉｉ）前記フレームの前記画像データにより特定された前記画像を表示するために、前記主要フレームの第一変調信号と前記フレームの第二変調信号を選択して、前記第一及び第二変調器にそれぞれ供給する
ように構成されるプロセッサを備えるシステム。
前記段階（ｄ）（ｉｉ）は、
前記一連のフレーム中の各フレームに対して、前記フレームの前記画像データにより特定された前記画像を表示するために前記主要フレームの第一変調信号と前記フレームの第二変調信号を供給して前記第一及び第二変調器をそれぞれ制御することにより前記一連のフレームを表示することを備える、請求項１に記載の方法。
ビデオフレームのシーケンスを表示するディスプレイであって、第二変調器を照射するように構成される第一変調器を備える前記ディスプレイを駆動する装置であって、
前記ビデオフレームの各々に対して、前記第一変調器を制御して光を照射するための第一変調器の駆動信号を出力し、前記第二変調器を制御して前記第一変調器により照射された光を変調するための第二変調器の駆動信号を出力し、前記ビデオフレームの画像データにより特定された画像を表示させるように構成されたプロセッサを備え、
前記プロセッサは、
前記ビデオフレームの主要ビデオフレームに対する主要フレームの画像データに応じて、前記主要フレームに対する第一変調器の駆動信号を生成して出力し、
前記主要フレームに対する前記第一変調器の駆動信号に基づいて前記第二変調器の複数の点上への入射光の強度を示す主要フレームの輝度分布を生成し、
前記主要フレームの輝度分布および前記主要フレームのデータの少なくとも１つに基づいて主要フレームに対する第二変調器の駆動信号を生成して出力し、
前記主要フレームの後に１以上のさらなるフレームに対して、前記主要フレームの前記第一変調器の駆動信号を出力し、前記主要フレームの輝度分布と前記１以上のさらなるフレームに対する画像データとの少なくとも１つに基づいて第二変調器の駆動信号を生成して出力するように構成される、装置。
前記主要フレームと、前記主要フレームに続くＮフレームの各々とに対して、前記プロセッサは、前記主要フレームに対する前記第一変調器の駆動信号を出力するように構成され、前記Ｎは整数である、請求項１９に記載の装置。
前記プロセッサは、前記主要フレームとしてビデオフレーム・シーケンスのＮ＋１番目のフレーム毎に指定し、前記Ｎは整数である、請求項１９に記載の装置。
各フレームに対して、前記プロセッサは、前記主要フレームに対する第一変調器の駆動信号を出力し、一つのフレームに対する前記第二変調器の駆動信号が判定基準を満たさないか否かを判定することに基づいて新たな主要フレームを指定するように構成される、請求項１９に記載の装置。
前記フレームに対する前記第二変調器の駆動信号が判定基準を満たさないか否かを判定することは、複数の前記第二変調器の駆動信号が、予め設定された数以上の画素の値が前記第二変調器によって調整可能な値の範囲外であることを示すかどうかを判定する、請求項２２に記載の装置。
ディスプレイであって、
個別の制御可能な光出力を有し、二次元のアレイに配置された複数の要素を備える第一変調器と、
画像を表示するために、前記第一変調器により照射された光を変調するように構成された第二変調器と、
ビデオフレームの各々に対して、前記第一変調器を制御して光を照射するための第一変調器の駆動信号を出力し、前記第二変調器を制御して前記第一変調器により照射された光を変調するための第二変調器の駆動信号を出力し、前記ビデオフレームの画像データにより特定される画像を表示するように構成されたプロセッサであって、
前記ビデオフレームの主要ビデオフレームに対する主要フレームの画像データに応じて、前記主要フレームに対する第一変調器の駆動信号を生成して出力し、
前記主要フレームに対する前記第一変調器の駆動信号に基づいて前記第二変調器の複数の点上への入射光の強度を示す主要フレームの輝度分布を生成し、
前記主要フレームの輝度分布および前記主要フレームのデータの少なくとも１つに基づいて主要フレームに対する第二変調器の駆動信号を生成して出力し、
前記主要フレームに応じた１以上の追加のフレームに対して、前記主要フレームの前記第一変調器の駆動信号を出力し、前記主要フレームの輝度分布および前記１以上の追加フレームに対する画像データの少なくとも１つに基づいて第二変調器の駆動信号を生成して出力するように構成される前記プロセッサと、
前記第二変調器の駆動信号に応じて前記第二変調器を駆動するように接続された第一駆動回路と、
前記第二変調器の駆動信号に応じて前記第一変調器に接続された第二駆動回路と
を備える、ディスプレイ。
前記光を照射する要素は、発光ダイオードを備える、請求項２４に記載のディスプレイ。
前記第一変調器は、プロジェクタを備える、請求項２４に記載のディスプレイ。
前記第二変調器は、液晶ディスプレイ（ＬＣＤ）パネルを備える、請求項２４に記載のディスプレイ。
第二変調器を照射するように構成された第一変調器を備えるディスプレイに表示するためのビデオシーケンスの一連のフレームを処理する方法であって、
前記フレームを処理して対応する第一および第二変調器の駆動信号を供給すること、
前記フレームに対して前記ビデオシーケンスの一連のフレームのうちの少なくとも１つのフレームを主要フレームとして指定し、前記主要フレームに対して第一変調器の駆動信号および前記第一変調器の駆動信号に基づいた、前記第二変調器の複数の点上への入射光の強度を示す輝度分布を生成すること、
前記フレームの第二変調信号の予め設定された数以上の画素の値が前記第二変調器によって調整可能な値の範囲内である場合、前記主要フレームに対する前記第一変調器の駆動信号と同じである前記フレームに対する前記第一変調器の駆動信号を設定し、前記主要フレームに対する輝度分布に基づいて前記フレームに対する第二変調器の駆動信号を生成すること、を備える方法。
前記フレームは、複数のフレームのうちの１つであり、
前記第二変調器の駆動信号を生成することは、
複数のフレームを同時に処理すること、
前記複数のフレームのうちの１以上のフレームの第二変調信号の予め設定された数以上の画素の値が前記第二変調器によって調整可能な値の範囲内であるかどうかを判定すること、を備える請求項２８に記載の方法。
前記第二変調器の駆動信号を生成することは、
前記主要フレームに対する輝度分布により前記複数のフレームのうちの１つのフレームに対するフレーム画像を駆動することを備える、請求項２８に記載の方法。