本発明の第1の態様によれば、表示デバイスの表示パネルによって表示するために画像データを処理する方法であって、画像を表わす画像の画素データを取得し、第1の処理ステップでは、該画素データを処理して、観察者に対してマルチビュー効果を創出し、第2の処理ステップでは、該画素データの複数のサブセットのそれぞれが同数の画素群を備え、かつ、各画素群が少なくとも1つの画素を備えた各サブセットについて、該サブセットの複数の画素群のうちの少なくとも1つの画素群に対して、該サブセットの複数の画素群における画素データのパターンに依存して、少なくとも1つのこのようなパターンをその反転パターンから区別できる様態で新しい画素データを導出する、方法が提供される。
上記第1の処理ステップは、軸上においては、軸上に位置している軸上の観察者に対し空間的平均化によって局所的にバランスをとる傾向を有し、これにより、軸上の観察者にとって知覚不能な輝度のばらつきを導入し、軸上以外においては、軸上に位置していない軸外の観察者に対し空間的平均化によって局所的にバランスをとらず、これにより、軸外の観察者にとって知覚可能な輝度のばらつきを導入できるように、表示パネルの特性を考慮して実施されてもよい。
本発明の第2の態様によれば、表示デバイスの表示パネルによって表示するために画像データを処理する方法であって、画像を表わす画像の画素データを取得し、第1の処理ステップでは、軸上においては、軸上に位置している軸上の観察者に対し空間的平均化によって局所的にバランスをとる傾向を有し、これにより、軸上の観察者にとって知覚不能な輝度のばらつきを導入し、軸上以外においては、軸上に位置していない軸外の観察者に対し空間的平均化によって局所的にバランスをとらず、これにより、軸外の観察者にとって知覚可能な輝度のばらつきを導入できるように、表示パネルの特性を考慮して該画素データを処理し、第2の処理ステップでは、該画素データの複数のサブセットのそれぞれが同数の画素群を備え、かつ、各画素群が少なくとも1つの画素を備えた各サブセットについて、該サブセットの複数の画素群のうちの少なくとも1つの画素群に対して、該サブセットの複数の画素群における画素データのパターンに依存して、新しい画素データを導出する、方法が提供される。
上記第1の処理ステップでは、空間的平均化によって観察者が単一の輝度を有していると知覚する1対の画素群のうちの一方の画素群に対する、軸上において導入される輝度の任意の増加が、この1対の画素群のうちのもう一方の画素群に対する、輝度のほぼ等価な減少にほぼ一致してもよい。
上記方法は、上記1対の画素群のうちの一方の画素群の結果的に得られる輝度が最高輝度の近傍にあるか、または、上記1対の画素群のうちのもう一方の画素群の結果的に得られる輝度が最低輝度の近傍にあるかのいずれかであるように、構成されてもよい。
上記新しい画素データの導出において、画素データのパターンに依存してフィルタを選択し、選択されたフィルタを、上記サブセットの複数の画素群のうちの少なくとも一部の画素群に対して適用して新しい画素データを導出してもよい。
上記方法は、上記画素データのパターンを複数の所定のパターンと比較し、この比較ステップの結果に依存して新しい画素データを導出してもよい。
上記方法は、上記複数の所定のパターンのそれぞれが、対応するフィルタに関連付けられ、上記比較ステップにおいて一致するパターンを決定し、そのパターンに関連付けられたフィルタを、上記新しい画素データを導出する際に使用するために選択してもよい。
上記比較ステップにおいて、新しい画素データを導出中である上記少なくとも1つの各画素群の、すぐ隣の少なくとも1つの画素群に比べた相対的な明るさを示し、比較的高い明るさと比較的低い明るさとを区別する尺度を決定してもよい。
上記方法は、上記サブセット内の各画素群を、その画素データにしたがって、所定のセットをなす複数のレベルのうちの1つに割り当て、上記比較ステップにおいて、割り当てられたレベルのパターンを、上記複数の所定のパターンと比較してもよい。
上記方法は、上記サブセットの複数の画素群のうちの少なくとも一部の画素群の画素データに基づいて尺度を算出し、上記所定の複数のレベルのうちの1つに画素群を割り当てる上記ステップが、算出された尺度に依存して実施されてもよい。
本発明の第3の態様によれば、表示デバイスの表示パネルによって表示するために画像データを処理する方法であって、画像を表わす画像の画素データを取得し、第1の処理ステップでは、該画素データを処理して、観察者に対してマルチビュー効果を創出し、第2の処理ステップでは、該画素データの複数のサブセットのそれぞれが同数の画素群を備え、かつ、各画素群が少なくとも1つの画素を備えた各サブセットについて、このサブセットの複数の画素群のうちの少なくとも一部の画素群の画素データに基づいて尺度を算出し、上記サブセット内の各画素群を、その画素データにしたがって、かつ、算出された尺度に依存して、所定のセットをなす複数のレベルのうちの1つに割り当て、割り当てられたレベルのパターンを、複数の所定のパターンと比較し、この比較ステップの結果に依存して、上記サブセットの複数の画素群のうちの少なくとも1つの画素群について新しい画素データを導出する、方法が提供される。
上記尺度は平均値であってもよい。
上記方法は、画素群を、例えば上記算出された尺度を閾値として用いて、その画素データと上記算出された尺度との比較に基づいて、所定のセットをなす複数のレベルのうちの1つに割り当ててもよい。
上記方法は、上記画素データを、上記導出ステップにおいて使用するために、例えばガンマべき乗関数に基づいて、見かけの輝度値に変換してもよい。
上記方法は、上記サブセットの画素群のパターンに依存して決定された少なくとも1つの変換パラメータを用いてもよい。
上記サブセットの画素群が連続的であり、ほぼ1次元に延びてもよい。
上記サブセットの画素群が、連続的な二次元構成を備えていてもよい。
上記各サブセットが、その他のサブセットから1つの画素群によって隔てられていてもよい。
新しい画素データを導出する上記ステップが、第1の処理ステップにおいて実施された処理によって得られた知見を使用してもよい。
上記新しい画素データが、第1の処理ステップにおいて実施される処理の結果アーティファクトを引き起こしやすい、画像の特徴を表わす画素データのパターンが生成できるように導出されてもよい。
上記導出ステップにおいて、新しい画素データを導出中である上記少なくとも1つの各画素群が、第1の処理ステップにおいて実施される処理の結果アーティファクトを引き起こしやすい、画像の特徴を表わす画素データのパターンの一部を形成するかどうかを決定してもよい。
上記導出ステップにおいて、比較的暗い背景上の明るい特徴を表わす画素データのパターンが、比較的明るい背景上の暗い特徴を表わす画素データのパターンとは別に扱われてもよい。
上記導出ステップにおいて、新しい画素データを導出中である上記少なくとも1つの各画素群が、1つの画素群の幅を有する暗いまたは明るい線、1つの画素群の幅を有する暗いまたは明るい線に隣接する画素群、2つの画素群の幅を有する暗いまたは明るい線の左側の縁、1つまたは2つの画素群のピッチを有する明暗からなる市松模様のパターン、および斜線からなる画像の特徴のうちの少なくとも1つの特徴の一部を形成するかどうかを、上記画素データのパターンから決定してもよい。
上記第2の処理ステップが第1の処理ステップの前に実施されてもよい。
上記第2の処理ステップが第1の処理ステップの後に実施されてもよい。
上記新しい画素データが、上記サブセットの画素群のうちの1つの画素群に対してのみ導出されてもよい。
各画素群が複数の色成分画素からなる合成色の画素群を備え、上記方法が各色成分画素に順に適用されてもよい。
上記合成色画素群が赤色、緑色、および青色の色成分画素を備えていてもよい。
上記第1の処理ステップが、互いに異なる画像をそれぞれ表わす受信された複数の画素データをインターリーブし、これらの互いに異なる画像を、それぞれ互いに異なる視認位置にいる複数の観察者に提示するために実施されてもよい。
本発明の第4の態様によれば、本発明の第1〜第3の態様のうちのいずれか1つに係る方法を実施するように構成された装置が提供される。
本発明の第5の態様によれば、本発明の第4の態様に係る装置を備えた表示デバイスが提供される。
本発明の第6の態様によれば、本発明の第1〜第3の態様のうちのいずれか1つに係る方法を実施するように装置を制御するためのプログラムが提供される。このプログラムは、搬送媒体によって搬送されてもよい。この搬送媒体は、記憶媒体または伝送媒体であってもよい。
上記考慮される表示パネルの特性は、軸上において導入された輝度のばらつきが、空間的平均化によって観察者について局所的にバランスをとる傾向を有し、したがって、軸上の観察者にとって知覚不可能であるように構成された状態における、表示パネルの持つ信号電圧に対する軸上の輝度の応答性であってもよい。この場合、該パネルの軸外の輝度と軸上の輝度との関係が非線形になり、その結果、軸外において導入された輝度のばらつきは、空間的平均化によって観察者について局所的にバランスをとらず、したがって、軸上の観察者にとって知覚可能である。
本発明の一実施形態は、上記マルチビューデータ処理プロセスによって不所望の画像アーティファクトを導入せずに軸上で視認される高い画像品位を維持するために、画像データ処理と複数の画像を複数の観察者にとって視認可能にするLCDパネルの持つ本来の視野角依存性とを利用する種類の、プライバシー表示およびマルチビュー表示を可能にする、これらの表示を実現するために改善された画像処理方法を提供する。
本発明の第1の実施形態では、表示デバイスに入力された複数の画像データセットのうちの少なくとも1つは、マルチビュー画像プロセスが実施される際に、画像アーティファクトの原因となることが知られている特定の画像の特徴を検出するために、フィルタを用いて処理される。そして、これらの特定の画像の特徴は、その種類に合わせて、もとの画像の詳細を最大限保存しつつアーティファクトが導入されることを防止する方法で処理される。
本発明の第2の実施形態では、上記マルチビュー画像プロセスによって生成される出力画像内の局在化した画素群が、複数の入力画像のうちの少なくとも1つ入力画像の同一領域に対応する画素群と比較される。そして、不一致が検出され、例えば、不一致を補正するまたは不一致を画像の広い領域にわたって拡散させて目立たないようにする方法で、マルチビュー出力画像が変更される。
好適な実施形態では、表示デバイスは、変更を加えられた制御用エレクトロニクスを有する標準的なLCD表示デバイスからなる。LCD表示デバイスは、一般に、以下に列挙するものを含めた複数の部品パーツからなる。
1.一様な、広角度の照明光をパネルに供給するための、バックライトユニット。
2.デジタル画像データ受信し、各画素についてアナログ信号電圧を出力し、さらにすべての画素の対向電極についてタイミングパルスおよび共通電圧を出力するための、制御用エレクトロニクス。LCD制御用エレクトロニクスの標準的な配置の概略図を、図1に示す(Ernst Lueder、液晶表示デバイス、Wiley and sons Ltd, 2001)。
3.互いに向かい合った2つのガラス基板からなり、一方のガラス基板上には画素電極アレイと、電子信号を制御用エレクトロニクスから受信して画素電極まで導くアクティブマトリクスアレイとが設置された、空間的な光の変調によって画像を表示するためのLCパネル。もう一方の基板には、通常、一様な共通電極および色フィルタアレイの膜が設置される。ガラス基板とガラス基板との間には、任意の厚さ(通常2μm〜6μm)の液晶層が挟持されており、この液晶層は、配列層がガラス基板の内側の面上に存在することによって配列していてもよい。上記ガラス基板は、一般に、電気的に誘起される配列変化をLC層の各画素領域内で引き起こし、バックライトユニットおよび周囲から来る光の所望の光学的変調を実現し、こうすることによって画像を生成するために、直行する向きに配置された複数の偏光膜およびその他の光学的補償膜の間に配置される。
英国特許出願第0804022.2号明細書において開示される本発明の一実施形態が、パブリック表示モードで動作している様子を、図2に概略的に示す。一般に、LCD制御用エレクトロニクス(ここでは制御用エレクトロニクスとも呼称する)1は、入力画像データに依存する信号電圧を出力するために、表示面の法線方向から観察している(軸上の)主観察者3に対して、表示される画像の知覚される品位、つまり解像度、コントラスト、明るさ、応答時間などを最適化するように、LCパネル2の電気光学的特性に特に合わせて構成されている。ある任意の画素に対する入力画像データ値と観察される輝度との間の、表示デバイスが原因となって生じる関係(ガンマ曲線)は、表示ドライバのデータ値と信号電圧との間のマッピングおよびLCパネルの持つ信号電圧に対する輝度の応答性を組み合わせた効果によって決定される。
LCパネル2は、一般に、表示デバイスのガンマ曲線をすべての視野角について可能な限り軸上における応答性に近い状態に保持するために、1画素当たり複数のLCドメインおよび/または受動的光学補償膜を含んで構成される。こうすることによって、LCパネル2は、広い視認領域5に対してほぼ同じ高品位の画像を提供する。ただし、液晶表示デバイスの電気視覚的応答性が角度に依存するものであって、軸外におけるガンマ曲線が軸上におけるガンマ曲線と異なることは、液晶表示デバイスの本来の特性である。このことは、コントラストの反転、大きな色のシフト、またはコントラストの減少を引き起こさない限り、一般には、軸外の観察者4にとって、観察される画像において目立つ知覚されるような欠陥にはならない。
上記表示デバイスがパブリックモードで作動している場合、単一の画像を構成する1セットの主画像データ6が、各フレーム期間中に、通常シリアルビットストリームの形態で、制御用エレクトロニクス1に入力される。そして、制御用エレクトロニクスは、1セットの信号データ電圧をLCパネル2に出力する。これらの各信号電圧は、LCパネルのアクティブマトリクスアレイによって、対応する画素電極に導かれる。この結果生じる、LC層内の画素の集合的な電気光学的応答性が、画像を生成する。そして、ほぼ同じ画像が、軸上の観察者3と軸外の観察者4とによって知覚される。このとき、表示デバイスは広視野角モードで動作していると言うこともできる。この状況を図2に図示するが、これをLCDの標準的な動作方法であると言うことができる。
英国特許出願第0804022.2号明細書に記載された種類のマルチビュー表示デバイス(図3にも概略的に図示)において、プライベートモードでは、主画像を構成する主画像データ7とサイド画像8を構成するサイド画像データ8との2つの画像データセットが、各フレーム期間中に、制御用エレクトロニクス1に入力される。そして、制御用エレクトロニクスは、先述のように、LCパネル内の各画素について1つのデータ電圧からなる、1セットの信号データ電圧を出力する。ただし、ここでは、制御用エレクトロニクス(表示コントローラ)は、拡張ルックアップテーブル(LUT)を使用し、また、全体として一枚の画像を形成するLCパネル内の各画素について出力される上記信号データ電圧は、主画像7およびサイド画像8の両方において(画像中の空間的な位置に関して)対応する画素のデータ値に依存する。各画素について出力されるデータ電圧は、表示デバイス内の画素の空間的な位置によって決定される第3のパラメータにも依存する。
そして、制御用エレクトロニクス1からの上記出力電圧は、LCパネル2に画素の組み合わせからなる画像を表示させる。この画像が、主観察者3によって観察されると、主画像となる。しかし、軸外の観察者4にとってはガンマ曲線が異なるので(これがLCパネルの1つの特徴である)、軸外の観察は、主画像をぼやけさせるおよび/または劣化させるサイド画像を、もっともはっきりと知覚する。こうすることによって、表示デバイスの法線を中心とする限定された円錐角9の内側に位置している観察者にだけ、主画像情報を提示することができる。この状況を図3に図示する。さらなる詳細については、英国特許出願第0804022.2号明細書に記載されている。
英国特許出願第0804022.2号明細書のマルチビュープロセスに記載された、画像データ圧縮および組み合わせプロセス、ならびにパラメータは、軸上の観察者3にとっては目立つ、わずかな色のアーティファクトを発生させる。このことは、特に、入力主画像内の、1画素の幅を有する斜線からなる領域の場合に当てはまる。これは、下記の事実に起因している。すなわち、このようなプロセスによって、カラーサブ画素が1つおきに黒に設定される出力画像がしばしば生成され、この結果、1画素の幅を有する黒色の斜線がこのパターン上に重ねられ、これにより、該斜線の片側にある画素のラインは、当該ラインに含まれる1つまたは2つのカラーサブ画素が、当該ラインの長さ全体にわたってオンのまま残り得る。この場合、この色の付いた線が眼で認識できるようになる。
この問題を図4および図5に図示する。図4は、マルチビュー画像プロセスが、典型的なRGBのストライプ表示において、一様な主画像およびサイド画像の中の2×2個の画素からなる画素群の輝度値を対象として作用した結果を示している。このことから、マルチビュープロセスが画像データを出力しても、この出力はサブ画素レベルで変更されるが、マルチビュープロセスによって、2×2個の画素からなる画素群について全体的な輝度および色のバランスは維持されることがわかる。そして、出力画素のセットは、画素群の平均化された画素輝度だけが見えるように十分な距離で離れて位置する観察者には、入力主画像と同じに見える。
図5は、入力されるサイド画像は一様であるが、入力される主画像の領域は暗い斜線からなっている状態で、上記と同じマルチビュープロセスが、この一様なサイド画像中の2×2個の画素からなる画素群を対象として作用する様子を示している。マルチビュープロセスの結果、全体的な輝度および色のバランスの両方において大きく異なる出力画像データが生成されることがわかるであろう。この不一致は、軸上の観察者には視認可能であり、この実例では、はっきりとした緑色のアーティファクトが見える。
明るいサブ画素および暗いサブ画素のパターンに対する、斜線の相対的な位置に応じて、画像アーティファクトの見かけは変化する。例えば、図5に示した例とは反対の傾きを有する、入力主画像中の暗い斜線の場合であれば、出力される画素のサブセットでは、全体的にマゼンタ色がかかって見える。英国特許出願第0804022.2号明細書にも記載されているように、サブ画素のレベルでパターン形成するのではなく、マルチビュー画像プロセスによって、複数の合成白色の画素内のすべてのカラーサブ画素について輝度を増加させ、さらに、これに合わせて、隣接する合成白色の画素のすべての色成分の輝度を減少させると、斜線をすべて消滅させることができる。
英国特許出願第0804022.2号明細書には、上記マルチビュー画像を組み合わせるプロセスにおいて、それぞれ入力される主画像データセットおよびサイド画像データセットを対象として作用する事前処理ステップ10、11を加えることが記載されている。この事前処理ステップ10、11は、画像ぼかしフィルタからなり、これらの画像アーティファクトの発生を防止する。表示プロセスに加えるこの変更を、添付の図面の図6に示す(英国特許出願第0804022.2号明細書の図17に対応する)。
本発明の好適な実施形態においては、マルチビュー画像処理方法によって実施される画像データ処理およびこの処理によって生成される画像アーティファクトの知見を使用して、入力画像に加える変更および演算リソースの最も効率的な使用に加える変更は最小限に抑えながら(例えば、より少ないゲート、データをバッファリングするためのより小さいメモリ容量、より緩やかなタイミング、より短い待ち時間、およびより少ない消費電力のうちのいずれか1つ以上を用いて実施される処理)、出力画像内におけるアーティファクトの出現を防止するように、入力画像データセットを変更する、改善された画像事前処理方法が提供される。
好ましい方法では、入力画像の画素データは、追加された画像処理デバイス10または11によって受信されると、複数の画素によってバッファされる。こうすることによって、隣接する画素データ値のサブセットをすべて画像上の「ウィンドウ」または「カーネル」内でサンプリングすることが可能になる。このような各ウィンドウまたはカーネルは、画素データのサブセットがそれぞれ同数の画素群を備え、かつ、各画素群が少なくとも1つの画素を備えた、画素データのサブセットを備えていると考えればよい。例えば、各画素群が単一の画素を備えていてもよく、あるいは赤色、緑色、および青色の画素を備えた合成色画素群であってもよい。記述を簡単にするために、ここでは、画素群を単純に画素と呼称することもある。
そして、以下に説明する3つのステップからなるプロセスが、各サブセットに対して適用される。
第1のステップ(分類ステップ)は、上記サブセット内の画素を、「高」い値を有する画素または「低」い値を有する画素として分類表記するために使用される。この分類ステップは、明るさに基づいて、所定のセットをなす複数のレベル(この場合、レベルは、「高」と「低」との2つ)の1つに、画素を割り当てるステップであると考えてもよい。画素値が単一のモノクロム画素または単一の白黒画素に関連する場合、隣り合う画素の画素値が処理される。ただし、合成色画素群の場合、各合成色画素群が赤色、緑色、および青色の画素を備えているので、プロセスは、隣り合う合成画素群の各色成分画素値に対して順に適用される。
第2のステップ(比較ステップ、またはケース検出ステップ)では、上記の結果得られた高/低からなるパターンが、1セットの既知のパターンと比較される。
一致するパターンが見つかった場合、第3のステップ(演算ステップ)が、上記サブセット内の画素のうちの少なくとも1つに対して実施される。次に、サンプリングウィンドウが画像内で移動して、新しい画素のセットをサンプリングする。一致するパターンが見つからなかった場合、画素値は変更されず、サンプリングウィンドウは次に移動する(一致するパターンが見つからなければ、少なくとも概念としては、単純に既存の画像の画素データを受け取って、それを変化させずに新しい画素データとして使用するフィルタが適用されたと考えてもよい)。ウィンドウがすべての主入力画像を走査し、任意の必要な変更を画像データ値に加え終わると、調節済み画像データが、事前処理回路からマルチビュー回路へ出力される。
一例としての実施態様において、上記サンプリングウィンドウ、つまり「カーネル」は、4×1個の画素からなる水平ブロックである。分類ステップにおいては、すべての画素のデータ値を平均して、この平均値より高いデータ値を有するカーネル内の画素を、高い値を有していると規定し、これを「1」と表記し、また、平均より低いデータ値を有する画素を、低い値を有している、つまり「0」であると規定する。このプロセスを、1行の画素値を一例として用いて、図7に示す。
そして、0値および1値からなる上記4×1パターンが、1セットの既知のパターンと比較され、さらに、現在のパターンに対応する演算が、カーネルの左から二つ目の画素(Px)に対して実施される。そして、4×1のウィンドウが、画像内で右へ画素1つ分移動し、高/低の分類、パターン比較、および二つ目の画素に対する演算が繰り返される。このプロセスは、カーネルが画像内のすべての行にわたって走査を終了するまで継続する。先のステップから得られる変更されたデータ値が、後続のステップで使用されてもかまわない。あるいは、もとのデータ値が使用されてもかまわない。例えば、第1の段階では、4×1ウィンドウの画素2(左から二つ目の画素)が変更されてもよく、この場合、第2の段階では、その画素が4×1のウィンドウ内の画素1になる。第1の実施態様では、画素1の新しい値が、第2の段階での算出において使用される。一方で、第2の実施態様では、画素1のもとの値が使用される。ビデオ表示の場合、このプロセスはリアルタイムで発生し、ビデオ列の各フレームをフレーム時間内にフィルタリングし、補正済み画像を表示デバイスに出力する。
上述のように、各画素群が個々の色成分画素によって形成されている場合、上記プロセスは、各色成分ごとに繰り返される。例えば、図7のイラストは、4×1のウィンドウ内で隣り合う4つの画素の赤色成分だけのそれぞれの値を表わすと考えてもよく、緑色成分だけのそれぞれの値、または青色成分だけのそれぞれの値を表わすと考えてもよい。別の一実施形態では、ウィンドウが複数の色成分からの値を一度に検討し、処理することが可能であり、その結果、より複雑な色パターンが生成できるようになる。
一例としての実施形態において、16個の可能なカーネルパターンのうち10個については、左から二つ目の画素に対して演算を実施しなければマルチビュー画像においてアーティファクトが発生するので、画像の特徴を補正するために、左から二つ目の画素に対して演算を実施する必要があることがわかった。これらのパターンおよび対応する演算を、図8に示す。なお、Px’、つまり、カーネル内の左から二つ目の画素の新しい値を算出するために使用される画素値は、画素Pxおよびその隣の画素Px−1およびPx+1のもとのデータ値であって、本プロセスの第1のステップにおいて高い値/低い値を表記するために使用された0または1の値ではない。また、カーネルが異なる位置にある先のステップから得られる、新しい補正済み画素値でもない。図8の表において、本発明の一実施形態は、各パターンをその反転パターンから区別できることにも留意すべきである。例えば、パターン1は、パターン1の反転パターン(パターン2)から区別される。また、パターン3は、パターン3の反転パターン(パターン4)から区別される。異なるフィルタまたは演算が、各パターンおよびそのパターンに対応するそれぞれの反転パターンに対して適用される。本発明の一実施形態は、画素データから導出される絶対的な差におけるパターンではなく、画素データにおけるパターンを見ることによって、こうした適用を実施可能である(GB−A−2445982において同様に実施されている)。ただし、個々のパターンをすべてその反転パターンから区別することは不要である。同じフィルタまたは演算が、特定のパターンおよびその反転パターンに適用されることもあり、このような状況では、両者を区別することは一切不要である。また、特定のパターンをその反転パターンから(例えば1101を0010から)区別することが必要ではあるが、フィルタは2つのうちの一方(例えば1101)だけに適用し、もう一方のパターン(例えば0010)にはフィルタが適用されなくてもかまわないこともある。この場合には、一方のパターンの存在を検出すればいいのであって、両方のパターンの存在を検出する必要はない。この文脈では、画素データの反転パターンとは、組み合わせられると、ほぼ一様な画像を生成するパターンであると考えてよい。例えば、「明」は「暗」の反転であり、逆もまた同様である。
Px’(BN、WN、BL、WL、BE、WE、WC、およびBC)を算出する際に使用されるパラメータには、任意の値0〜1が割り当てられてもよい。特定の演算が実施される際には、これらのパラメータが、Pxのデータ値が隣接画素のデータ値に向かってシフトされる量を決定する。画像に適用される変更量を最小限に抑えながら、マルチビュー画像において、どんな画像アーティファクトも出現しないようにするためには、これらのパラメータは、表示デバイスの光学的特性(明るさ、コントラスト、ガンマ曲線など)に合わせて精度よく設定される必要がある。フィルタリングプロセスの効率を最適化するためには、分割ステップが単純なビットシフトになるように、パラメータが、nおよびmを正の整数とすると、整数を2nでわった分数(つまりm/16またはm/32)であることが望ましい。
先行技術の画像ぼかしフィルタに対して本実施形態が有する長所の1つは、上記複数ケース検出ステップによって、演算の対象となる画素が、1画素の幅を有する暗いまたは明るい線の一部であるかどうか、1画素の幅を有する暗いまたは明るい線に隣接する画素であるかどうか、2画素の幅を有する暗いまたは明るい線の左側の縁であるかどうか、または2画素のピッチを有する明暗からなる市松模様のパターンの一部であるかどうかを決定することが可能になることである。ここにあげたものが、マルチビュー画像プロセスでアーティファクトを引き起こす主な画像の特徴である。また、補正しなければ出現するアーティファクトを最適に補正するためには、各特徴が、個々の場合において、異なる演算が実施されることを必要とする。特に、白い特徴は、黒い特徴とは別に扱われてもよい。また、幅の狭い特徴に隣り合う画素は、特徴自身を構成している画素とは、変更量が異なっていてもよい。こうすることによって、白線および黒線の両方の見かけを、同じフィルタを用いて改善することができるようになる。つまり、マルチビュープロセスを経た画像の知覚される品位を大幅に高める能力が実現される。パターンに一致するそれぞれの場合について、個別に調整されたパラメータを用いた異なる演算を使用することによって、これが実現可能になる。
なお、上記においては、プロセスは、カーネルを画像全体にわたって左から右に走らせるものとして記載したが、プロセスの持つ全体的な性能は変えずに、カーネルを逆方向、または鉛直方向に走らせることも可能であり、この場合、対応する変更を、各ステップでデータ値を変更されるカーネル内の画素に加えればよい。
上述の分類ステップが効果的な結果を生むことが示されたが、特定のケースのパターンと比較するために、入力画像の画素データ値を0状態/1状態に割り当てる方法は、この他にも同等に効果的な方法や、より効果的である可能性のある方法も多数あることにも留意すべきである。データ値が閾値未満であれば画素を「低」に分類し、データ値が閾値を超えれば画素を「高」に分類する、単純な閾値データ値を適用してもよい。データ値が所定のバンドの中にある画素には、「高」のステータスも「低」のステータスもいずれも割り当てない、バンドを有する閾値を適用してもよい。サブセット内の画素に、その隣接する画素に対する相対的なデータ値に合わせて、「高」または「低」を割り当ててもよい。この方法に対して、隣接する画素との差が所定の量に満たなければ画素を「高」にも「低」にも分類しない、「拡散」を適用してもかまわない。これらの方法、その組み合わせ、および同じ分類機能を果たすその他の方法も、本発明の技術的範囲内である。
さらに、独立した分類ステップを設けずに、例えば、ケース検出ステップが、画像データを直接処理してもかまわない。この場合、ケース検出ステップは、例えば、(事前処理された分類値ではなく)画像データを入力とする所定のケース検出アルゴリズムによって、画像データ自身に基づいて、もし必要であればとのような変更が必要であるのかを決定する。この場合、第1のステップおよび第2のステップが組み合わせられて、分類およびケース検出が1つのステップとして実施されると考えることもできる。本質的には、このステップは、画素データを、それぞれが関連付けられたフィルタを有する複数のカテゴリーのうちの1つに分類する。3つのステップをすべて1つに組み合わせることも可能である。この場合、サブセットの画素の明るさのパターンに基づいて、新しい画素データを何らかの方法で導出するだけでよく、これを、どのような方法またはいくつのステップを用いて実現してもかまわない。もう一つの可能性としては、第1のステップにおいて、ある既知の画像の特徴に関連した1つ以上の対応する尺度をそれぞれ反映する1つ以上の「特徴インジケータ」を、画素のサブセットのデータから算出してもよい。特徴インジケータとしては、例えば、特徴インジケータは、画素の見かけが、どの程度「市松模様」であるのかを反映してもよい。例えば、高い値が、程度の非常に高い市松模様状の見かけを反映し、低い値が、あまり程度の高くない市松模様状の見かけを反映せばよい。この場合、これらの「特徴インジケータ」を使用して、第2のステップにおいて、どんな画像の特徴が実際に存在するのか(またはどんな特徴がもっとも優勢であるのか)、および第3のステップでどんなフィルタを使用することがもっとも適切であるのかを決定してもよい。
上述の実施形態を備えた画像処理方法を、表示デバイスにデータを提供する処理ユニット上で走るソフトウェアの形態で実行してもかまわないことは、当業者であれば自ずから理解できるはずである。また、このプロセスを、既存の表示制御エレクトロニクスに集積された、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはその他の電子回路において、ハードウェアの形態で実行してもかまわない。本実施形態の演算リソースをあまり使わない実施態様の長所の1つは、必要とされる回路を、画素のトランジスタデバイスとともに、表示デバイスのガラス基板上に積層してもかまわないことである。こうすることによって、コストが節約でき、回路を、実装する各表示デバイスに容易に適応させられるようになる。
必要とされるプロセスを実施する回路設計の一例を、図9に示す。図9では、上述のプロセスが、以下のような態様で実施されることがわかる。すなわち、カーネルの現在の位置に対応する画像の画素データ値が、バッファメモリに記憶される。これらの値は高/低検出器、および第1のステップ(分類ステップ)のために平均値算出器、さらに第3のステップ(演算ステップ)のためにパラメータ増数プロセスに入力される。高/低検出器の出力は、レジスタブロックから入力された利用可能なパラメータのうちのどれをバッファからの画素値に適用して、第3のステップ(演算ステップ)において正しい出力値を算出するのかを選択するために、第2のステップ(ケース検出ステップ)において、パターン一致セレクタによって使用される。利用可能なパラメータは、図中では、WN0/1、BN0/1、WL0/1、BL0/1、WE0/1、BE0/1、WC0/1、およびBC0/1として示されている。なお、0/1という添え字部分は、そのパラメータが、Pxに適用するためのパラメータであるのかどうか、現在変更中の画素であるのかどうか、またはそのすぐ隣りの画素なのかどうかによって変化する。
(例えば、図8に与えられた値を使用するためには、WN1は1−WN0に等しい)。
なお、図9は、入力画像データのビット深度が6ビット/色チャンネル(つまり1画素当たり18b)であるとして示しているが、同図は実施態様の一例に過ぎず、同図に示された機能的プロセスは、任意のビット深度の画像に対して適用できる。
記載された実施態様であれば、さらに、第1のステップ(分類ステップ)において、単純な閾値を用いた手法が使用できるようになる。この場合、さらに、BT値およびWT値を入力して、高の状態および低の状態を区別するデータレベルの閾値を決定することも可能である。さらに、これらの値をカーネル平均値とともに用いて、カーネル平均値の上下にバンドを規定し、画素データ値が高または低に分類されるためには、必ずこのバンドの外側になければならないとしてもよい。
上述のプロセスによってマルチビュープロセスを経る画像の知覚される品位が大幅に増加し、かつ、このプロセスが大した演算リソースを要求しない一方で、より多くの演算リソースを使ってでもより優れた性能を達成することのできるプロセスの変形も可能であることにも留意すべきである。先述のように、入力画像中の斜線は、通常、マルチビュー画像中にもっとも目立つ画像アーティファクトを発生させる特徴である。したがって、より大きな全体的な画像の明瞭さを保持するために斜線以外の線は比較的小さな変更を加えるだけにしなから、斜線を水平方向の線および鉛直方向の線から区別できる処理方法を使用して、必要とされる補正を適用することが望ましい。これは、1本の線からなるカーネルでは不可能であるが、カーネルの面積を2行以上をカバーするように増加させ、さらに、どの演算を適用するかを比較して決定するために使用される特定のパターンの個数と、利用可能な演算の個数とを増加させれば、上記プロセスは、基本的には上述のままであっても、斜線を優先的に処理するようにされ得る。こうすることによって、出力マルチビュー画像においてより優れた画像品位が提供される。したがって、使用される画像走査カーネルの形状は、4×2画素、5×2画素、3×3画素、または本発明の技術的範囲から逸脱することなく最適な性能を提供するとわかっている任意の形状であってもよい。
実施形態の一例としての第2の実施態様では、第1のステップ(分類ステップ)において主画像の各画素およびその周囲の画素をサンプリングするために、4×3画素からなるウィンドウが使用される。前記と同様に、非線形データ値を「画素の見かけ」に変換するステップ(例えば「ガンマ」べき乗変換)とともに、第2のステップ(ケース検出ステップ)において、あり得る複数のケースがウィンドウ内の画素構成と比較され、第3のステップ(演算ステップ)において、3×3画素に基づいてぼやけさせるメカニズムが使用される。前記と同様に、合成色画素群のケース、各合成色画素群が赤色、緑色、および青色の画素を備えているので、プロセスは、画像の各色成分画素値に対して順に適用される。画素値が単一のモノクロム画素または単一の白黒画素に関連するケース、8つの隣り合う画素の画素値が処理される。この例では、第3のステップにおいて使用されるように、例えば3×3ウィンドウの替わりに、4×3のウィンドウが第1のステップにおいて使用される。なぜならば、4×3ウィンドウの方が、白字のテキストを黒字のテキストから区別する際に、より高い信頼性を提供するはずであるからである。ただし、任意のサイズのウィンドウを使用してもかまわないことは理解されよう。また、記憶する目的には、いずれのウィンドウも小さければ小さほど、より良好である。
本実施態様の第1のステップ(分類ステップ)は、先述の方法の場合と同じであってもよいが、4×3画素のウィンドウに使用するために拡張されてもよい。つまり、サブセットの平均画素データ値が算出され、この平均値より大きいデータ値を有する画素は「1」画素と表記され、平均値より小さいデータ値を有する画素は「0」画素と表記される。
第2のステップ(ケース検出ステップ)では、3×3画素のカーネルが、水平または鉛直線からなる特徴より、斜線からなる特徴に対してより程度の大きな変更を自動的に適用するための、より大きな機能性を有しているということは、検出して、特有な演算を適用しなければならない個々のケースがより少ないことを意味している。3つの一般的なケースだけが、検出および3×3画素に基づく、それぞれのケースに特有なフィルタリング演算の適用を必要とすることがわかっている。これらのケースは、暗い背景上の明るい幅の狭い特徴、明るい背景上の暗い幅の狭い特徴、およびピッチが画素1つである市松模様のパターンであると説明することもできる。
2つの微細な特徴のケースを決定する比較的単純な方法では、4×3のウィンドウにおいて「1」の種類の画素の個数を合計する。12個の画素ウィンドウが、6つ以上の「1」の種類の画素を含むのであれば、このケースは、明るい背景上の暗い特徴であると規定されてもよい。上記12個の画素ウィンドウが6つ未満の「1」の種類の画素を含むのであれば、このケースは、暗い背景上の明るい特徴であると規定されてもよい。
ピッチが画素1つである市松模様のパターンが存在するケースは、4×3ウィンドウのうち中央の水平なラインにおける4つの画素のうち左側3つの画素では、画素を分類した種類が交互に現れ(例えば101、または010)、かつ、上記左側の3つの画素の上方または下方のいずれかの3つの画素では、反転したパターンが交互に現れる(例えば010または101)ことによって決定されてもよい。
第3のステップ(演算ステップ)では、新しいデータ値が、4×3画素のサブセットの中央の行の左から二つ目の画素に、この画素のもとのデータ値およびこの画素の周囲の上記8つの画素のデータ値(つまり、第2のステップにおいて使用される4×3のサブセット中の12個の画素のうちもっとも左側の9つの画素のデータ値)に基づいて書き込まれてもよい。使用される3×3画素の演算は、英国特許出願第0701325.3号明細書の開示に記載されたものであってもよい。簡潔に説明すると、各画素の見かけの全体的な尺度が、主画像における該画素のデータ値およびそのすぐ隣の8つの画素のデータ値の加重合計値に基づいて算出される。
次に、画素サブセットに対するマルチビュープロセスの効果を近似する際に、第2の全体的な見かけ値が、画素の同じサブセットに対して、ただし、すぐ横に位置する隣接画素を0にセットした状態で算出される。加重合計値は、正規化され、必要であれば、中央の画素データ値、P’(x、y)の新しい値を算出することによって互いに等しい値にセットされる。この等式で現される関係を図10に示す。したがって、中央の画素P’(x、y)の新しいデータ値を求める等式は次式で与えられる、
ここで、ω1、ω2、およびω3は、使用される重み付けパラメータであり、P(x、y)などは、主画像内のそれぞれの座標における画素のデータ値である。先述の例と同様、3×3ウィンドウの中央の画素の新しい値が算出されると、この値が、マルチビュー画像プロセスに入力する準備の整った出力画像に書き込まれ、3つのステップからなるプロセス全体が、入力主画像内の次の画素について、全体の画像がウィンドウによって走査され、処理されるまで繰り返される。
この方法は、画像中の水平および鉛直線からなる特徴より斜線からなる特徴に対してより程度の大きな変更を自動的に適用するように、画素の重み付けパラメータを選択することによって最適化可能である。こうすることによって、第2のステップ(ケース検出ステップ)において考慮が必要な特定の場合の個数が低減される。また、上述のように、暗い背景上の明るい特徴、白い背景上の暗い特徴、およびピッチが画素1つである市松模様のパターンの3つのケースにおいて、わずか3つの異なる3×3画素に基づく演算を適用することによって、画像の見かけを改善することができることがわかっている。
3つのケースにおいて、式(1)のプロセスの重み付けパラメータは、英国特許出願第0701325.3号明細書に記載されているように、3×3サブセット内の画素の見かけの明るさが、その中心からの距離の関数として、二次元ガウス分布にしたがうと仮定し、これに基づいて、中央の画素に対する周囲の画素からの影響を数量化することによって決定されてもよい。例えば、0.5画素幅の標準偏差を有する二次元ガウス分布を仮定すると、重み付けパラメータω1=0.0240、ω2=0.1070、およびω3=0.4759が得られる。
これらの同じ重み付けパラメータが、第3のステップ(演算ステップ)において、暗い背景上の明るい特徴および白い背景上の暗い特徴の両方のケースで使用されてもよい。ただし、変更の程度、および幅の狭い(単一の画素)暗い特徴、幅の狭い明るい特徴、または両方の見え方を強調するプロセスの全体的な傾向は、まず主画像データ値を見かけの輝度値に、例えば、次式で現されるガンマべき乗機能を用いて変換することによって制御されてもよい。
ここで、Lは見かけの輝度、Dはデータ値(0〜255)、ガンマはべき乗係数であり、どれも、得られた値を3×3画素に基づく演算で処理する前の値である。
この変換で使用するガンマ値(変換パラメータ)が、表示デバイス自身における画素のデータ値に対する輝度の応答性を精度よく反映する、データ値と輝度との関係を生成するのであれば、3×3画素に基づく演算が、画像の急峻な特徴に対して十分な平滑化効果を依然発揮し、マルチビュープロセスによる色のアーティファクトの導入を防止しながら、表示デバイス上で観察される、主画像内の暗いおよび明るい特徴の全般的な輝度を維持する。
使用されるガンマ値が、表示デバイス自身が持つ、データ値に対する輝度の応答性を表わすガンマ値より低ければ、式(1)に記載された3×3画素に基づく演算の全体的な傾向は、主画像内の暗い特徴の見え方を強調する。これは、プロセスにかけた後、明るい画素に隣接する暗い画素は暗いままで残るが、暗い画素に隣接する明るい画素は大幅に暗くなることに起因している。
使用されるガンマ値が、表示デバイス自身が持つ、データ値に対する輝度の応答性を表わすガンマ値より高ければ、式(1)に記載された3×3画素に基づく演算の全体的な傾向は、主画像内の明るい特徴の見え方を強調する。これは、プロセスにかけた後、暗い画素に隣接する明るい画素は明るいままで残るが、明るい画素に隣接する暗い画素は大幅にほぼ明るくなることに起因している。
3×3画素に基づくフィルタプロセスによって、明るいおよび暗い幅の狭い特徴が見え方が両方とも強調されるのであれば、マルチビュープロセスが適用された後の主画像の全体的な見かけが、改善しているのかもしれない。この場合、3×3のウィンドウが暗い背景上の明るい特徴を含む画像領域からなることを、第2のステップ(ケース検出ステップ)が示唆しているのであれば、より高いガンマ値をフィルタ演算において使用可能である。一方で、3×3のウィンドウが明るい背景上の幅の狭い暗い特徴を含む画像領域からなることを、第2のステップ(ケース検出ステップ)が示唆しているのであれば、より低いガンマ値をフィルタ演算において使用可能であり、こうすることによって、どちらの場合にも必要な効果が実現される。
3×3画素に基づくフィルタプロセスがガンマ変換済み画素データ値に適用された後、得られた出力値が、式(3)に示す、等式(2)の逆を用いて変換され、等価の新しいデータ値に戻されてもよい。
ここで、D’は新しい等価のデータ値、L’は3×3画素に基づくフィルタによる処理後の新しい見かけの輝度値、およびガンマは式(2)で使用されるのと同じべき乗係数である。
式(1)に記載の、3×3画素に基づくフィルタ演算の、(a)黒い斜線および(b)白い斜線を含む2つの入力主画像領域に対する効果を、図11に示す。なお、図11に示す画素データ値は、それぞれ1および2.4のガンマ値を用いて、式(2)および(3)にしたがって事前および事後変換を行った画素データ値である。ガンマ値の選択が、明るいおよび暗い線の異なる変化の仕方に対してどのように影響するのか、また、画像内の明るいおよび暗い幅の狭い特徴の見え方をどちらも強調するためには、算出において使用されるガンマ値を、先行するケース検出ステップの結果にしたがって選択することがなぜ望ましいのかが、図11から読み取れる。
第2のステップ(ケース検出ステップ)における4×3のウィンドウのサンプリング対象である主画像の領域内に、ピッチが画素1つである市松模様のパターンが存在することを、第2のステップの結果が示唆している場合、第3のステップ(演算ステップ)において、中央の画素およびすぐ隣の4つの画素の合計値に割り当てられた等しい重み付けを次式のように変更し、さらに単純な3×3画素に基づく加重合計値値の演算が実施されてもよい。
ここでも、画素データ値P(x、y)などは、上記演算が適用される前に、非線形法(例えば上述のガンマに依存するプロセス)によって変換されてもよい。
こうすることによって、この第2の例は、入力主画像に加えられる不必要な変更の量が低減されるという点において第1の例より精度よく、マルチビュープロセスが原因となって生じる画像から任意の不所望の色のアーティファクトを除去する手段を提供する。なお、゜この不必要な変更の量の低減は、4×3ブロック(4×1ブロックではない)の画素データ値をバッファするために必要とされるメモリ、および必要な画素データ変更演算を実施する処理電力の両方について、表示デバイスの演算リソースに対する要求が増加することと引き換えに発生する。
第1の実施形態の第3の実施態様の一例では、4×3画素ウィンドウが、ここでも、第1のステップ(分類ステップ)および第2のステップ(ケース検出ステップ)において使用されてもよい。また、3×3画素ウィンドウが、ここでも、第3の演算において用されてもよい。ただし、最終的なマルチビュー画像から色のアーティファクトを除去することについては匹敵する性能を維持し、主画像をぼやけさせる効果を最小限に抑えながら、第3のステップにおいて実施される演算を大幅に簡素化可能にして、表示デバイスの演算リソースに対する要求を低減するために、第2のステップで検出されるケースの個数が、先の例に比べて、3つから6つに増加してもよい。検出されるケースの個数がこのように増加することによって、6つのケースすべてにおいて実施されるぼかし演算を、3×3画素のサブセットの標準的な正規化済み加重合計値に簡素化することが可能になる。なお、この簡素化において、使用される画素の重み付けは、すべて整数を32でわった分数であって、また、任意の点で画素データ値を見かけの輝度値に非線形変換することは不必要である。
第1のステップ(分類ステップ)では、実施態様は、先述の例の場合と同じであってもよい。つまり、サブセットの平均画素データ値が算出され、この平均値より大きいデータ値を有する画素は「1」画素と表記され、平均値より小さいデータ値を有する画素は「0」画素と表記される。
第2のステップ(ケース検出ステップ)では、特定のケースの個数を3つから6つに倍増させるために、先述の例の3つの主要なケース(市松模様のパターン、明るい背景上の暗い幅の狭い特徴、および暗い背景上の明るい幅の狭い特徴)を先述のプロセスと同じプロセス(市松模様のケースについては既知のパターンとの比較、その他のパターンについては「1」の種類の画素の個数の合計)によって検出することに加えて、第3のステップ(演算ステップ)において使用される3×3サブセットの中央の画素の分類をも考慮する。例えば、中央の画素の種類が「0」である市松模様のパターンは別のケースとなり、種類が「1」である中央の画素を有する市松模様のパターンに適用される演算ステップとは異なる特定の演算ステップが適用される。6つの検出されるケースの例を図12に示す(画素分類における「?」は、サブセット内のこの位置の画素の種類が、決定されるケースとは無関係であることを示唆している)。
第3のステップ(演算ステップ)では、正規化済み加重合計値の演算を使用して、第2のステップ(ケース検出ステップ)によって区別された6つの異なる各ケースについて異なる重み付けパラメータを用いて、3×3サブセットの中央の画素の新しい値が算出される。各演算において、重み付けパラメータは整数を32でわった分数にしてもよく、画素データ値の非線形変換は不必要であって、こうすることによって、算出方法が簡素化される。このプロセスを図13に示す。なお、図13に示す重み付けパラメータは、それぞれのケースについて、最終的なマルチビュー画像において良好な結果を生むことがわかっている重み付けパラメータである。図13からわかるように、6つの各演算は、角部の画素に対して負の重み付けパラメータが使用される「白字のテキストである隣接画素」の場合を除けば、単純な正規化済み加重合計値である。こうすることによって、中央の画素が斜線に隣接している場合、色アーティファクトを最終的なマルチビュー画像のこれらの領域から除去するために必要な、程度の大きな変更が、中央の画素に対して加えられる。
必要なプロセスを実行するための回路設計の一例を、図14に示す。この図面では、画素バッファステップおよび演算ステップのプロセスが拡張されて、それぞれ4×3および3×3画素のウィンドウが組み込まれていることを除けば、上述のプロセスが、図9に示した態様と同様の態様で動作することがわかる。図14では、レジスタブロックから入力されるパラメータが、第2のステップにおいて検出される6つの異なるケースについて、AからFで示されている。また、0、1、または2の添え字を付けて、パラメータが、第3のステップ(演算ステップ)において中央の画素に適用可能であるのか、横方向に隣接する画素のうちの1つに適用可能であるのか、または斜め方向に隣接する画素のうちの1つに適用可能であるのかを示している。例えば、図13に詳細に示すケースを考えて、ケース=白字のテキストの隣接する画素を「F」と表記すると、F0=4、F1=9、F2=−2である。
なお、この場合、上述のいずれのプロセスを実行しても、通常の範囲(例えば0〜255)から外れた新しい画素値を生成する画像領域が存在する可能性がある。これらの範囲外の新しい値は、単純に外れた部分を切り捨てて、その範囲の端の値に等しくなるようにしてもよい。
負の重み付けパラメータを含めることが、プロセスの特定の実施態様にとって望ましくなければ、代替となる方法として、特有の場合において特に大きな変更を入力画像データに適用する、他の方法(例えば、フィルタリング演算に加えて演算対象の画素値に一定の大きさのデータを足すまたは引く)を使用してもよく、あるいは、プロセスの第1のステップ(分類ステップ)において算出される4×3カーネルの平均画素データ値を、第3のステップ(演算ステップ)においてパラメータとして使用して、この平均値に合わせて変更の程度を調節できるようにしてもよい。
なお、図14は、入力画像データのビット深度が6ビット/色チャンネル(つまり1画素当たり18b)であるとして示しているが、同図は実施態様の一例に過ぎず、同図に示された機能的プロセスは、任意のビット深度の画像に対して適用できる。
最適な結果を得るためには、暗い背景上の明るい特徴からなる画像領域とその反対の画像領域が、第3のステップ(演算ステップ)において、互いに異なるパラメータが適用されることを必要とすることがわかったのであるから、上記の例から、第2のステップ(ケース検出ステップ)の主要な目的が、これらの異なる領域同士を区別することであることは、明らかであろう。使用されるLCDの種類はこの情報を有しており、これらのケースの主要な例について利用可能である。つまり、画像が白い背景上の黒字のテキストを含むのであれば、この画像がこういうケースであるという情報が、例えば、入力画像データに埋め込まれた「フラグ」の形態で、またはユーザによる表示モードの選択肢の一部として、LCDに入力されてもよい。この場合、第1の分類ステップおよび正しいパラメータの自動的選択を実行しなくてもいいように、この情報をケース検出プロセスに入力してもかまわない。
本発明の第2の実施形態では、マルチビュープロセスが、入力画像になにも変更を加えずに、LCD制御用エレクトロニクス1において主画像7のデータセットおよびサイド画像8のデータセットに対して実施される。そして、出力マルチビュー画像の輝度値を、追加の画像処理デバイス13においてマルチビュープロセス12の第1の段階によって圧縮された後の入力主画像の輝度値と比較することによって、このプロセスから生じる任意の所望しない画像アーティファクトが検出される。次に、追加の画像処理デバイス13は、何らかの補正をマルチビュー画像に対して実施して、アーティファクトが視認されないようにし、さらに補正後のマルチビュー画像データセットを表示デバイスに出力する。この演算のプロセスの流れを、図15に示す。
この第2の実施形態の方法の一例において、マルチビュー画像およびもとの画像7のデータが追加の画像処理デバイス12に入力されると、どちらの画像においても、3×3カーネルが使用されて、各画素およびそのすぐ隣の8つの画素すべてがサンプリングされる。画素値が単一のモノクロム画素または単一の白黒画素に関連する場合、8つの隣り合う画素の画素値が処理される。合成色画素群の場合、各合成色画素群が赤色、緑色、および青色の画素を備えているので、プロセスは、画像の各色成分画素値に対して順に適用される。
そして、各画像のカーネルにおける、画素データ値の正規化済み加重合計値「A」が、画像の位置に応じてカーネル中の各画素に対して重みを適用して、図10に図示されたプロセスと同様のプロセスにおいて、演算される。3つの異なる重み係数ω1、ω2、およびω3を用いる、この種類の構成を図16に示す。各画像の対応する画素群の、これらの正規化後の加重済み「画素の見かけ値」は比較されて、不一致が見つかれば、マルチビュー画像中のカーネルの中央の画素が、各画像のカーネルから得られる加重合計値を等しくするように、必要な量に応じて変更される。Amvが、マルチビュー画像から得られる正規化後の加重済みカーネルの合計値であって、Aicが、圧縮済み入力主画像から得られる正規化後の加重済みカーネルの合計値であれば、マルチビュー画像中のカーネルの中央の画素の新しい値P(x、y)’は、次式によって与えられる。
ここで、ω3は、カーネルの中央の画素のための重み係数である。
新しい中央の画素値がマルチビュー画像に書き込まれると、カーネルは1画素分移動して、新しいカーネルにおいて隣接する画素値を提供する先のステップから得られる、新しい画素値を用いて演算が繰り返される。このようにして、マルチビュー画像の画素値に対する補正が次の演算において考慮され、画像は過度に補正されることがない。プロセスは、カーネルの中央の画素によって、画像のすべての画素が走査されつくすまで、繰り返される。
出力画像内の画像アーティファクトも最小化しながら、このプロセスによって生じる出力マルチビュー画像の変化を最小化するためには、主画像が一様な画像である領域では変更が不必要であることが望ましい。これらの理由によって、加重済みカーネルの合計値が、一様な主画像領域において、マルチビュープロセスによってマルチビュー画像に生じるパターン形成によってステップごとにばらつくことがないことも望ましい。圧縮済み主画像の輝度値の一様な領域の一例、および英国特許出願第0804022.2号明細書に記載されたプロセスによって生じると考えられる、出力マルチビュー画像の等価な領域を、図17に示す。この図から、もとの画像は一様であっても、ステップ(n)における3×3カーネル14が、ステップ(n+1)におけるカーネル15とは異なる加重合計値を有していてもよいことがわかる。したがって、画素に対する重み値を、入力主画像における一様な領域に対応するマルチビュー画像の複数の領域について、等しい加重済みカーネルの合計値を生成するカーネル内で選択することが望ましい。このような重み付けの一例としては、ω1=1、ω2=2、およびω3=4とすればよい。
マルチビュー表示デバイスに表示される画像の知覚される品位を改善する画像処理方法が、このようにして提供される。この品位の改善は、入力画像に生じる変更の程度、特に微細な特徴をぼやけさせることを最小限に抑えながら、他の画像処理方法であればマルチビュープロセスによって生じる色のアーティファクトを除去することによって達成される。知覚される出力マルチビュー画像の全体的な品位と、プロセスの実行に必要とされる演算リソースとのバランスをとるさまざまな選択肢を提供する、各種実施形態が記載される。なお、ここに記載した実施形態は、特定の表示デバイスに対してさまざまなリソースの仕様の場合に良好な結果を生むことがわかっているプロセスの特定の例を含むものであるが、任意の特定の利用可能リソースの仕様の場合に最適なプロセスには、適用事例によってばらつきがある。したがって、実施形態の特定の態様(例えば第1のステップにおいて使用される画素を分類する具体的な方法、第2のステップにおいて検出される特定の画素パターンのケースの個数および種類、または第1の実施形態の第3のステップにおいて画像データを変更するために実施される具体的な算出方法)には、実施態様によってばらつきがあり、このようなばらつきは、特定の適用事例の詳細な仕様がわかれば当業者にとって自明であって、したがって、本発明の技術的範囲内から逸脱するものではないことは当然である。
本発明の一実施形態は、英国特許出願公開第2428152A号明細書および英国特許出願第0804022.2号明細書に記載されたプロセスが原因となって生じる色のアーティファクトを除去するために特に有用な画像処理フィルタを提供する。GB−A−2445982および英国以外の国における対応出願には、色のアーティファクトを処理するために2画像表示デバイスにおいて使用するための、ぼかしフィルタが記載されている。しかし、本発明の一実施形態は、ソフトウェアプライバシープロセスが原因となって生じる色のアーティファクトに対処するために特別に設計された第1のぼかしフィルタを提供し、その結果、主画像に導入されるぼかし量を最小化する。
ただし、本発明が、ソフトウェアプライバシーに限定されることを意図したものではなく、受信された画素データがマルチビュー効果を観察者に対して創出するために処理される、任意の画像処理ステップによって導入されるアーティファクトの補正に適用可能てであることは理解されよう。例えば、GB−A−2445982においては、本発明の一実施形態に係る手法を用いて実施される処理ステップが、互いに異なるそれぞれに対応する画像を表わす受信された画素データの複数のセットがインターリーブされ、互いに異なる画像を互いに異なるそれぞれに対応する視認位置にいる複数の観察者に提示するステップとなり、本発明は、GB−A−2445982に記載された、この文脈において適用可能である。
2つの主な実施形態を上述した。第1の主な実施形態では、主画像を、主画像自身を参照するだけでぼやけさせて、その後に主画像に対してマルチビュープロセスが実施される。また、第2の主な実施形態では、マルチビュー処理された画像が入力主画像と比較され、比較結果に応じて補正される。
第1の実施形態では3つの例を示した。どの例も、入力データの分類、パターン一致、および適切なぼかし演算の適用という3つのステップをともなう。これら3つの変形例は、性能と実施の容易さ/リソース要件との間のバランスがすべて異なる。
本発明を具現化する方法と、GB−A−2445982および英国以外の国における対応出願に記載の方法との間の違いの一部を、次に列挙する。
GB−A−2445982および英国以外の国における対応出願に記載のケース検出フィルタは、単一方向性を有する。つまり、ぼやけさせる過程は、処理中の画素およびその右側の画素の画素値にのみ依存する。本発明の一実施形態に係るフィルタは、右側、左側、または両方の画素を使用して新しい値を決定する。
本発明の一実施形態に係るフィルタは、黒線、白線、縁、および市松模様に対してすべて異なる扱いができる。GB−A−2445982および英国以外の国における対応出願に記載のフィルタは、特定のケースを1つ扱えるだけである。
GB−A−2445982および英国以外の国における対応出願は、分類法を用いて、カーネル内の画素が処理済み画素とは同様の画像であるのか、または大幅に異なる画像であるのかを分類する。隣接する画素が演算を実施する対象である考察中の画素に比べて高い値を有しているのか、または低い値を有しているのかということが大切なのであって、これらの画素値が近いかまたは異なるかということが問われているわけではないので、これでは、本発明の一実施形態としては不十分である。この点について、本発明の一実施形態では、新しい画素データが、画素データの少なくとも1つのパターンと、対応する反転パターンとの区別ができる様態で、画素に対して導出されるが、GB−A−2445982の手法はこの区別ができない。
ここで説明した第2の実施形態と、GB−A−2445982および英国以外の国における対応出願の第2の方法との間の違いの一部を、次に列挙する。
この第2の実施形態は、実際の出力マルチビュー画像を使用して、仮定した視差バリアの構成ではなく、画素の見かけ合計値を比較する。画素はつねに0にセットされているわけではなく、値が2倍にされる画素もあり、高/低画素のパターンは、カーネルの移動にともなって反転する。
この第2の実施形態は、補正を画像に書き込み、カーネルを移動させ、そして、先のステップから得られる補正済み画素値を使用して、新しい加重合計値を算出する。こうすることによって、GB−A−2445982および英国以外の国における対応出願の記載とは異なり、補正が「搬送」される。
先に説明した部材のうちの1つ以上の部材の動作が、表示デバイスまたは装置上で動作するプログラムによって制御可能であることは理解できるであろう。このような動作プログラムは、コンピュータで読み取り可能な媒体に記憶されても、または、例えば、インターネット上のウェブサイトから提供されるダウンロード可能なデータ信号などの信号において具現化されてもかまわない。添付の請求項は、動作プログラム自身をカバーしている、または動作プログラムを記録として、搬送波に載せて、信号として、またはその他の任意の形態でカバーしていると解釈すべきものである。
本発明の特性および効果をより完全に理解するには、添付の図面とともに、下記の詳細な説明を参照すべきである。
本発明は上述のように記述されてはいるが、様々に変更可能であることは明らかである。そのような変更は本発明の意図および範囲から逸脱するものではなく、当業者にとって明らかであるそのような全ての変更は、以下の請求項の範囲に含まれる。