JP6323152B2 - 画像処理装置、画像表示装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

この発明は、ＬＥＤなどの発光素子を平面状に配置して構成される画像表示装置に用いる画像処理装置に関するものである。

球技場などで使用される大型の画像表示装置は、ＬＥＤなどの発光素子を平面状に配置して画面を構成している。近年、民生テレビと同様に大型の画像表示装置でも高解像度化がすすんでいる。また、近年、３ｉｎ１と呼ばれるＲ（赤色）、Ｇ（緑色）及びＢ（青色）を一つのパッケージに入れたＬＥＤ素子が画像表示装置に用いられる。３ｉｎ１のＬＥＤは、Ｒ、Ｇ及びＢからなる３個のＬＥＤ素子を１個のＬＥＤ素子に置き換えることが可能なため、消費電力の点で有利である。ただし、ＬＥＤ素子１個あたりのコストが大きいため、画像表示装置の表示面のすべてに３ｉｎ１のＬＥＤを用いるのではなく、３ｉｎ１のＬＥＤと白色などの単色のＬＥＤを千鳥状に配置する。単色のＬＥＤは安価なため、画質劣化を最小限に抑制しつつコスト削減をしている（特許文献１参照）。なお、「千鳥状に配置」とは、異なる２つのものを順番に列を入れかえて２列に配置することである。「順番に列を入れかえて２列に配置する」ということは、ジグザグに配置することである。

特開２０１２−１７３４６６号公報（段落００１２〜００１３、図１）

特許文献１では３ｉｎ１のＬＥＤと白色のＬＥＤとで信号を表示する方法を記載しているが、入力信号がＲ（赤色）、Ｇ（緑色）及びＢ（青色）からなるＲＧＢデータであれば、白色のＬＥＤが配置された画素に対応する白色のＬＥＤ用のデータを算出する必要がある。例えば、ＲＧＢデータのそれぞれを加重平均することにより算出した輝度データを白色のＬＥＤ用のデータとして用いることが考えられる。しかしながら、このような算出方法から白色のＬＥＤ用のデータを用いた場合、また、白色のＬＥＤが配置されたことにより色再現性が劣化するという問題がある。

ＲＧＢの原色を有する発光素子と白色の発光素子とを格子状の配列中に千鳥状に配置して構成した画像表示部に表示する画像を生成する画像処理装置において、入力画像データから着目した画素位置の周辺の空間周波数を検出して高周波数検出信号を出力する高周波数検出部と、入力画像データに含まれる第一のＲＧＢデータから輝度データを算出する輝度算出部と、第一のＲＧＢデータから第二のＲＧＢデータ及び白色データを生成するＲＧＢＷ変換部と、高周波数検出信号が第一の閾値より小さい場合、白色データを出力し、高周波数検出信号が第二の閾値より大きい場合、輝度データを出力し、高周波数検出信号が第一の閾値と第二の閾値との間にある場合、輝度データと白色データとを加重平均して出力し、輝度データと白色データとの加重平均の合成割合は、高周波数検出信号が高くなるにつれて、着目した画素位置における輝度データの合成割合を着目した画素位置における白色データの合成割合に対して大きくするものである単色用データ生成部と、高周波数検出信号が第一の閾値より小さい場合、第二のＲＧＢデータを出力し、高周波数検出信号が第二の閾値より大きい場合、第一のＲＧＢデータを出力し、高周波数検出信号が第一の閾値と第二の閾値との間にある場合、第一のＲＧＢデータと第二のＲＧＢデータとを加重平均して出力し、第一のＲＧＢデータと第二のＲＧＢデータとの加重平均の合成割合は、高周波数検出信号が低くなるにつれて、ＲＧＢの原色を有する発光素子に表示するデータにおける第二のＲＧＢデータの合成割合を第一のＲＧＢデータの合成割合に対して大きくするものである３ｉｎ１用データ生成部とを備え、第二の閾値は、第一の閾値より大きい値であることを特徴とする。

本発明に係る画像処理装置は、着目した画素位置の周辺の空間周波数が高い場合に、輝度データを適用することで空間周波数の高い映像を表示することができる。また、着目した画素位置の周辺の空間周波数が低い場合に、彩度の高いデータを適用することで色再現性の良い映像を表示することができる。

本発明に係る実施の形態１の画像表示装置５の構成を示す図である。 本発明に係る実施の形態１の画像表示部３を説明するための図である。 本発明に係る実施の形態１の入力画像データＤＩを説明するための図である。 本発明に係る実施の形態１の高周波数検出部１１の構成を示す図である。 本発明に係る実施の形態１の第一の畳み込み演算部１１１の動作を説明するための図である。 本発明に係る実施の形態１の第二の畳み込み演算部１１２の動作を説明するための図である。 本発明に係る実施の形態１の二次元の畳み込みパターンの一例を示す図である。 本発明に係る実施の形態１の二次元の畳み込みパターンの一例を示す図である。 本発明に係る実施の形態１の二次元の畳み込みパターンの一例を示す図である。 本発明に係る実施の形態１のＲＧＢＷ変換部１３の構成を示す図である。 本発明に係る実施の形態１の彩度調整値算出部１３２の構成を示す図である。 本発明に係る実施の形態１のＲＧＢＷ変換部１３の効果を説明するための図である。 本発明に係る実施の形態１の単色用データ生成部１４及び３ｉｎ１用データ生成部１５の動作を説明するための図である。 本発明に係る実施の形態１の画像表示部３の表示画面の一例を示すための図である。 本発明に係る実施の形態２の画像表示装置の機能の一部をコンピュータプログラムで実現する場合の構成を示す図である。 本発明に係る実施の形態２の演算装置４による処理手順の一例を概略的に示すフローチャートである。

実施の形態１．
図１は、本発明に係る実施の形態１の画像表示装置の構成を示す図である。図１に示されているように、本発明に係る実施の形態１の画像処理装置１は、高周波数検出部１１、輝度算出部１２、ＲＧＢＷ変換部１３、単色用データ生成部１４及び３ｉｎ１用データ生成部１５を備える。画像表示装置５は、画像処理装置１の他に画像制御部２及び画像表示部３を備える。画像表示装置５は、入力画像データＤＩが入力される。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。画像処理装置１は、入力画像データＤＩが入力される。画像処理装置１は、画像データＤ１４及び画像データＤ１５を画像制御部２に出力する。画像データＤ１５は、赤色の画像データＲＩ、緑色の画像データＧＩ及び青色の画像データＢＩを有する。画像制御部２は、画像データ２を画像表示部３に出力する。

高周波数検出部１１は、入力画像データＤＩが入力される。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。また、高周波数検出部１１は、高周波数検出信号Ｄ１１を単色用データ生成部１４及び３ｉｎ１用データ生成部１５に出力する。輝度算出部１２は、入力画像データＤＩが入力される。また、輝度算出部１２は、輝度データＷ１２を単色用データ生成部１４に出力する。ＲＧＢＷ変換部１３は、入力画像データＤＩが入力される。また、ＲＧＢＷ変換部１３は、画像データＤ１３を出力する。画像データＤ１３は、赤色の画像データＲ１３、緑色の画像データＧ１３、青色の画像データＢ１３及び白色の画像データＷ１３を有する。単色用データ生成部１４は、高周波数検出信号Ｄ１１、輝度データＷ１２及び白色の画像データＷ１３が入力される。また、単色用データ生成部１４は、画像データＤ１４を出力する。３ｉｎ１用データ生成部１５は、入力画像データＤＩ、高周波数検出信号Ｄ１１、赤色の画像データＲ１３、緑色の画像データＧ１３及び青色の画像データＢ１３が入力される。また、３ｉｎ１用データ生成部１５は、画像データＤ１５を出力する。

図２は、画像表示部３を説明するための図である。画像表示部３は、多数の発光素子を平面状に且つ格子状に配列して構成された表示画面３１を有する。なお、「格子状」とは、複数の縦の線と横の線とが交差している状態を示すものである。表示画面３１は、３ｉｎ１発光素子３２及び単色発光素子３３を有する。発光素子は、Ｘ軸と、またＸ軸に直交するＹ軸とに沿って配列される。Ｘ軸方向は、画像表示部における水平方向である。Ｙ軸方向は、画像表示部における垂直方向である。３ｉｎ１発光素子３２は、赤色、緑色及び青色の発光体が一つのパッケージに収納されている。単色発光素子３３は、白色などの単色の発光体が一つのパッケージに収納されている。表示画面３１には、３ｉｎ１発光素子３２と単色発光素子３３とが格子状の配列中に千鳥状に配置される。

図３は、入力画像データＤＩを説明するための図である。入力画像データＤＩは、画素毎に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のデータを含む。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。入力画像データＤＩは、Ｘ軸と、またＸ軸に直交するＹ軸とに沿って配列される。図３で示したような入力画像データＤＩを図２の表示画面３１に表示するためには、単色発光素子の位置については赤色、緑色及び青色の入力画像データから白色の画像データに変換する必要がある。

高周波数検出部１１は、入力画像データＤＩの画素毎に空間周波数を検出し、その結果を高周波数検出信号Ｄ１１として出力する。高周波数検出信号Ｄ１１は、単色用データ生成部１４及び３ｉｎ１用データ生成部１５に入力される。「空間周波数」とは、空間的な周期をもつ構造の性質であり、ここでいう空間は、表示画面の２次元平面を言う。

図４は、高周波数検出部１１の構成を示す図である。高周波数検出部１１は、第一の畳み込み演算部１１１、第二の畳み込み演算部１１２及び高周波数算出部１１３を備える。高周波数検出部１１は、入力画像データＤＩが入力される。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。また、高周波数検出部１１は、高周波数検出信号Ｄ１１を出力する。第一の畳み込み演算部１１１は、入力画像データＤＩが入力される。また、第一の畳み込み演算部１１１は、第一の畳み込みデータＤ１１１を高周波数算出部１１３に出力する。第一の畳み込みデータＤ１１１は、赤色の第一の畳み込みデータＲ１１１、緑色の第一の畳み込みデータＧ１１１及び青色の第一の畳み込みデータＢ１１１を有する。第二の畳み込み演算部１１２は、入力画像データＤＩが入力される。また、第二の畳み込み演算部１１２は、第二の畳み込みデータＤ１１２を高周波数算出部１１３に出力する。第二の畳み込みデータＤ１１２は、赤色の第二の畳み込みデータＲ１１２、緑色の第二の畳み込みデータＧ１１２及び青色の第二の畳み込みデータＢ１１２を有する。高周波数算出部１１３は、第一の畳み込みデータＤ１１１及び第二の畳み込みデータＤ１１２が入力される。また、高周波数算出部１１３は、高周波数検出信号Ｄ１１を出力する。

図５は、第一の畳み込み演算部１１１の動作を説明するための図である。画素毎に図５に示した水平方向畳み込みパターンデータを入力画像データＤＩに畳み込むことで第一の畳み込みデータＤ１１１を生成する。例えば、水平方向の座標値がｉとし、垂直方向の座標値がｊとして、入力画像データＤＩは水平方向に以下のように並ぶこととする。

ＲＩ（ｉ−１、ｊ）＝２５５、ＧＩ（ｉ−１、ｊ）＝２５５、ＢＩ（ｉ−１、ｊ）＝２５５、
ＲＩ（ｉ、ｊ） ＝０、 ＧＩ（ｉ、ｊ） ＝２５５、ＢＩ（ｉ、ｊ） ＝２５５、
ＲＩ（ｉ＋１、ｊ）＝２５５、ＧＩ（ｉ＋１、ｊ）＝０、 ＢＩ（ｉ＋１、ｊ）＝２５５、
ＲＩ（ｉ＋２、ｊ）＝０、 ＧＩ（ｉ＋２、ｊ）＝０、 ＢＩ（ｉ＋２、ｊ）＝２５５

この場合、着目画素（ｉ、ｊ）に対して水平方向に畳み込みパターンデータを畳み込んだ畳み込みデータＲ１１１，Ｇ１１１，Ｂ１１１は、以下の値となる。

Ｒ１１１（ｉ、ｊ）＝ＲＩ（ｉ−１、ｊ）×１＋ＲＩ（ｉ、ｊ）×（−１）＋ＲＩ（ｉ＋１、ｊ）×１＋ＲＩ（ｉ＋２、ｊ）×（−１）
＝２５５−０＋２５５−０＝５１０ （１）

Ｇ１１１（ｉ、ｊ）＝ＧＩ（ｉ−１、ｊ）×１＋ＧＩ（ｉ、ｊ）×（−１）＋ＧＩ（ｉ＋１、ｊ）×１＋ＧＩ（ｉ＋２、ｊ）×（−１）
＝２５５−２５５＋０−０＝０ （２）

Ｂ１１１（ｉ、ｊ）＝ＢＩ（ｉ−１、ｊ）×１＋ＢＩ（ｉ、ｊ）×（−１）＋ＢＩ（ｉ＋１、ｊ）×１＋ＢＩ（ｉ＋２、ｊ）×（−１）
＝２５５−２５５＋２５５−２５５＝０ （３）

このように、着目画素（ｉ、ｊ）の周辺のＲＩが上述のように画素単位で変化しているデータであれば、ＲＩに対する第一の畳み込みデータＲ１１１は大きい値となる。一方、着目画素（ｉ、ｊ）の周辺のＧＩが上述のように１画素単位で変化することのないデータであれば、ＧＩに対する第一の畳み込みデータＧ１１１は小さい値となる。同じように、着目画素（ｉ、ｊ）の周辺のＢＩが上述のように画素単位で変化のないデータであれば、ＢＩに対する第一の畳み込みデータＢ１１１は小さい値となる。

図６は、第二の畳み込み演算部１１２の動作を説明するための図である。画素毎に図６に示した垂直方向畳み込みパターンデータを入力画像データＤＩに畳み込むことで第二の畳み込みデータＤ１１２を生成する。例えば、水平方向の座標値がｉとし、垂直方向の座標値がｊとして、入力画像データＤＩは垂直方向に以下のように並ぶとする。

ＲＩ（ｉ、ｊ−１）＝２５５、ＧＩ（ｉ、ｊ−１）＝２５５、ＢＩ（ｉ、ｊ−１）＝２５５、
ＲＩ（ｉ、ｊ） ＝０、 ＧＩ（ｉ、ｊ） ＝２５５、ＢＩ（ｉ、ｊ） ＝２５５、
ＲＩ（ｉ、ｊ＋１）＝２５５、ＧＩ（ｉ、ｊ＋１）＝０、 ＢＩ（ｉ、ｊ＋１）＝２５５、
ＲＩ（ｉ、ｊ＋２）＝０、 ＧＩ（ｉ、ｊ＋２）＝０、 ＢＩ（ｉ、ｊ＋２）＝２５５

この場合、着目画素（ｉ、ｊ）に対して垂直方向に畳み込みパターンデータを畳み込んだ畳み込みデータＲ１１２，Ｇ１１２，Ｂ１１２は以下の値となる。

Ｒ１１２（ｉ、ｊ）＝ＲＩ（ｉ、ｊ−１）×１−ＲＩ（ｉ、ｊ）×（−１）＋ＲＩ（ｉ、ｊ＋１）×１−ＲＩ（ｉ、ｊ＋２）×（−１）
＝２５５−０＋２５５−０＝５１０ （４）

Ｇ１１２（ｉ、ｊ）＝ＧＩ（ｉ、ｊ−１）×１−ＧＩ（ｉ、ｊ）×（−１）＋ＧＩ（ｉ、ｊ＋１）×１−ＧＩ（ｉ、ｊ＋２）×（−１）
＝２５５−２５５＋０−０＝０ （５）


Ｂ１１２（ｉ、ｊ）＝ＢＩ（ｉ、ｊ−１）×１−ＢＩ（ｉ、ｊ）×（−１）＋ＢＩ（ｉ、ｊ＋１）×１−ＢＩ（ｉ、ｊ＋２）×（−１）
＝２５５−２５５＋２５５−２５５＝０ （６）


このように、着目画素（ｉ、ｊ）の周辺のＲＩが上述のように画素単位で変化しているデータであれば、ＲＩに対する第二の畳み込みデータＲ１１２は大きい値となる。一方、着目画素（ｉ、ｊ）の周辺のＧＩが上述のように１画素単位で変化することのないデータであれば、ＧＩに対する第二の畳み込みデータＧ１１２は小さい値となる。同じように、着目画素（ｉ、ｊ）の周辺のＢＩが上述のように画素単位で変化のないデータであれば、ＢＩに対する第二の畳み込みデータＢ１１２は小さい値となる。

高周波数算出部１１３は、第一の畳み込みデータＤ１１１と第二の畳み込みデータＤ１１２とを加重平均する。高周波数算出部１１３は、加重平均した信号を高周波数検出信号Ｄ１１として出力する。また、第一の畳み込みデータＤ１１１は、第一の畳み込み赤色データＲ１１１、第一の畳み込み緑色データＧ１１１及び第一の青色データＢ１１１で以下のように構成される。

Ｄ１１１（ｉ，ｊ）＝ｋｒ・Ｒ１１１（ｉ，ｊ）＋ｋｇ・Ｇ１１１（ｉ，ｊ）
＋ｋｂ・Ｂ１１１（ｉ，ｊ） （７）

赤色の係数ｋｒ、緑色の係数ｋｇ及び青色の係数ｋｂの比は、輝度の算出式に基づいて、ｋｒ：ｋｇ：ｋｂ＝０．２９９：０．５８７：０．１４４となる。第二の畳み込みデータＤ１１２は、第一の畳み込み赤色データＲ１１２、第一の畳み込み緑色データＧ１１２及び第一の青色データＢ１１２で以下のように構成される。

Ｄ１１２（ｉ，ｊ）＝ｋｒ・Ｒ１１２（ｉ，ｊ）＋ｋｇ・Ｇ１１２（ｉ，ｊ）
＋ｋｂ・Ｂ１１２（ｉ，ｊ） （８）

赤色の係数ｋｒ、緑色の係数ｋｇ及び青色の係数ｋｂの比は、上記と同様に、ｋｒ：ｋｇ：ｋｂ＝０．２９９：０．５８７：０．１４４となる。ただし、赤色、緑色及び青色の係数の比は、上記に限るものではない。また、畳み込み演算は、入力画像データＤＩから予め輝度を算出して演算を行っても良い。畳み込みパターンデータは、４個として説明したが、回路規模が大きくなることを許容するならば、これより多くしてもよい。

高周波数検出部１１は、水平方向及び垂直方向の高周波数のパターンを畳み込み、その結果を加算することにより着目画素の周辺が高周波数かどうかを検出することができる。高周波数かどうかを検出すること、つまり空間周波数が高いことを検出することにより、輝度データＷ１２と白色データＷ１３との合成割合を変更する。空間周波数が高い場合に輝度データＷ１２の割合を多くすることによって、輝度の解像度に対して敏感で、色の解像度に対しては比較的敏感ではない視覚特性に対応した処理を行うことができる。

図４〜図６では、１次元の畳み込みパターンデータを使って画素毎の高周波数を検出する方法を説明したが、図７〜図９に示すような２次元のパターンを使ってもよい。図４〜図６では第一の畳み込み演算部１１１で水平方向畳み込みパターンデータを使用し、第二の畳み込み演算部１１２で垂直方向畳み込みパターンデータを使用した。これに対し、第一の畳み込み演算部１１１で図７に示した縦縞畳み込みパターンデータを使用し、第二の畳み込み演算部１１２で図８に示した横縞畳み込みパターンデータを使用し、さらに第三の畳み込み演算部を図９で示した千鳥畳み込みパターンデータを使用する。また、図５〜図９では１画素で変化する画像を検出するパターンを説明したが、パターンの幅を広げ２画素以上のパターンを使用してもよい。

輝度算出部１２は、入力画像データＤＩを構成する赤色データＲＩ、緑色データＧＩ及び青色データＢＩを加重加算し輝度データＷ１２を算出する。輝度の算出方法の一例を式（９）に示す。

ＲＧＢＷ変換部１３は、入力画像データＤＩを構成する３色の赤色データＲＩ、緑色データＧＩ及び青色データＢＩを赤色データＲ１３、緑色データＧ１３、青色データＢ１３及び白色データＷ１３の４色で構成される画像データＤ１３に変換する。

図１０は、ＲＧＢＷ変換部１３の構成を示す図である。ＲＧＢＷ変換部１３は、画素値比較部１３１、彩度調整値算出部１３２、三色画素値算出部１３３及び白色画素値算出部１３４を備える。ＲＧＢＷ変換部１３は、入力画像データＤＩが入力される。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。また、ＲＧＢＷ変換部１３は、画像データＤ１３を出力する。画素値比較部１３１は、入力画像データＤＩが入力される。また、画素値比較部１３１は、比較結果Ｙｉｍａｘを彩度調整値算出部１３２及び三色画素値算出部１３３に出力する。さらに、画素値比較部１３１は、比較結果Ｙｉｍｉｎを彩度調整値算出部１３２及び白色画素値算出部１３４に出力する。彩度調整値算出部１３２は、比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎが入力される。また、彩度調整値算出部１３２は、彩度調整値Ｘを出力する。三色画素値算出部１３３は、入力画像データＤＩ、比較結果Ｙｉｍａｘ及び彩度調整値Ｘが入力される。また、三色画素値算出部１３３は、赤色の画像データＲ１３、緑色の画像データＧ１３及び青色の画像データＢ１３を出力する。白色画素値算出部１３４は、比較結果Ｙｉｍｉｎが入力される。また、白色画素値算出部１３４は、白色の画像データＷ１３を出力する。画像データＤ１３は、赤色の画像データＲ１３、緑色の画像データＧ１３、青色の画像データＢ１３及び白色の画像データＷ１３を有する。

画素値比較部１３１は、入力画像データＤＩを入力とする。画素値比較部１３１は、入力画像データＤＩの各画素について入力画像データＤＩを構成する赤色データＲＩ、緑色データＧＩ及び青色データＢＩを比較する。画素値比較部１３１は、比較したデータの最大値（画素毎の最大値）である比較結果Ｙｉｍａｘと比較したデータの最小値（画素毎の最小値）である比較結果Ｙｉｍｉｎとを出力する。

彩度調整値算出部１３２は、画素値比較部１３１が出力する比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎを入力とする。彩度調整値算出部１３２は、最大値である比較結果Ｙｉｍａｘと最小値である比較結果Ｙｉｍｉｎとを変数とする関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）によって画素毎の彩度調整値Ｘを算出する。関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）は、予め定められている。彩度調整値算出部１３２は、彩度調整値Ｘを三色画素値算出部１３３に出力する。

図１１は、彩度調整値算出部１３２の構成を示す図である。彩度調整値算出部１３２は、上限値算出部１３２１、暫定値算出部１３２２及び決定部１３２３を備える。彩度調整値算出部１３２は、比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎが入力される。また、彩度調整値算出部１３２は、彩度調整値Ｘを出力する。上限値算出部１３２１は、比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎが入力される。また、上限値算出部１３２１は、上限値Ｌを決定部１３２３に出力する。暫定値算出部１３２２は、比較結果Ｙｉｍｉｎが入力される。また、暫定値算出部１３２２は、暫定値Ｘｔを決定部１３２３に出力する。決定部１３２３は、上限値Ｌ及び暫定値Ｘｔが入力される。また、決定部１３２３は、彩度調整値Ｘを出力する。

上限値算出部１３２１は、画素値比較部１３１が出力する比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎを入力とし、式（１０）の演算を行って上限値Ｌを求める。

暫定値算出部１３２２は、比較結果Ｙｉｍｉｎを変数とする予め定められた関数ｇｔ（Ｙｉｍｉｎ）により、式（１１）のように暫定値Ｘｔを求める。

決定部１３２３は、上限値Ｌと暫定値Ｘｔとを比較し、小さい方の値を彩度調整値Ｘとして出力する。即ち、彩度調整値Ｘは、上限値Ｌ以下に制限される。なお、比較結果Ｙｉｍａｘと比較結果Ｙｉｍｉｎとが等しい場合、数１の分母が０となるため、計算機上で上限値Ｌを求めることができない。そこでこの場合には、上限値Ｌは無限大と考え、無条件に暫定値Ｘｔを彩度調整値Ｘとして出力する。

以上をまとめると、彩度調整値算出部１３２において彩度調整値Ｘを求める処理は、比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎを変数とする関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）を用いて式（１２）のように表す。

三色画素値算出部１３３は、入力画像データＤＩ、比較結果Ｙｉｍａｘ及び彩度調整値Ｘとを入力とする。比較結果Ｙｉｍａｘは、画素値比較部１３１に出力される。彩度調整値Ｘは、彩度調整値算出部１３２に出力される。また、三色画素値算出部１３３は、式（１３）〜（１５）で与えられる演算を行う。さらに三色画素値算出部１３３は、演算により画像データＤ１３を求め、出力する。

白色画素値算出部１３４は、画素値比較部１３１が出力する比較結果Ｙｉｍｉｎを入力とする。また、白色画素値算出部１３４は、比較結果Ｙｉｍｉｎを変数とする、予め定められた関数ｆ（Ｙｉｍｉｎ）により、白色画素データＷ１３を求める。さらに、白色画素値算出部１３４は、白色画素データＷ１３を出力する。なお、白色画素データＷ１３は８ビットのデジタルデータであるため、関数ｆ（Ｙｉｍｉｎ）は０から２５５の値をとる必要がある。

ここで、説明を分かりやすくするために、暫定値Ｘｔを求める関数ｇｔ（Ｙｉｍｉｎ）を、式（１６）で表すように、係数が１．２で定数項を持たない一次関数と仮定して以降の説明を行う。

式（１６）に式（１２）を適用すると式（１７）が得られる。

入力画像データＤＩの彩度ＳＩは、下記の式（１８）のように表される。

従って、彩度ＳＩを使って式（１７）を書き換えると式（１９）のようになる。

次に、白色データＷ１３を求める関数ｆ（Ｙｉｍｉｎ）を式（２０）で示すように係数が１．１で定数項を持たない一次関数（ただし、上限値２５５にする）であると仮定する。

式（１９）の右辺、及び式（２０）の右辺は、いずれもＹｉｍｉｎに対し係数を乗算する式となっていることから、関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）と関数ｆ（Ｙｉｍｉｎ）との大小関係はこの係数部分の大小によって定まる。

図１２において、関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）の係数を示したグラフが実線ＣＧ１である。関数ｆ（Ｙｉｍｉｎ）の係数を示したグラフが実線ＣＦ１である。実線ＣＧ１は、彩度の逆数（１／ＳＩ）が１．０から１．２までの区間で破線ＣＧ０により示した係数値＝１／ＳＩのグラフと一致する。また、実線ＣＧ１は、彩度の逆数（１／ＳＩ）が１．２以上の区間で係数値が１．２に固定される。実線ＣＦ１は、横軸である彩度の逆数（１／ＳＩ）の値によらず１．１に固定される。なお、関数ｆ（Ｙｉｍｉｎ）の上限値２５５にクリップされる区間では、関数ｆ（Ｙｉｍｉｎ）の係数は実質１．１よりも小さい値をとる。この区間はＹｉｍｉｎが２５５／１．１＝２３１．８１８より大きい値をとる場合であり、このときの彩度ＳＩの最大値は、Ｙｉｍａｘ＝２５５、Ｙｉｍｉｎ＝２３２の時にＳＩ＝２３／２５５となることから１／ＳＩは２５５／２３≒１１．０８より大きい値となる。

ＲＧＢＷ変換部１３の出力データＤ１３の彩度Ｓ１３は、下記の式（２１）により求められる。Ｙ１３ｍａｘは、赤色データＲ１３、緑色データＧ１３及び青色データＢ１３の最大値である。Ｙ１３ｍｉｎは、赤色データＲ１３、緑色データＧ１３及び青色データＢ１３の最小値である。

Ｙ１３ｍａｘは、下記に示す式（２２）によって求められる。Ｙ１３ｍｉｎは、下記に示す式（２３）によって求める。

式（２２）及び式（２３）により式（２１）で表わされる彩度Ｓ１３は、式（２４）のように変換することができる。

図１２のグラフを用いて、信号変換後の彩度Ｓ１３について説明する。図３の横軸である彩度の逆数（１／ＳＩ）が１．０〜１．１の区間Ｓａにおいて、関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）の係数は、関数ｆ（Ｙｉｍｉｎ）の係数よりも小さい値となっている。このことから、区間Ｓａでは彩度調整値Ｘは、白色データＷ１３よりも小さい値となる。その結果、式（２４）の関係からＲＧＢＷ変換部１３の出力である画像データＤ１３における彩度Ｓ１３は、入力画像データＤＩの彩度ＳＩに比べて小さい。

一方、図１２の横軸である彩度の逆数（１／ＳＩ）が１．１を越える区間Ｓｂでの関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）の係数は、関数ｆ（Ｙｉｍｉｎ）の係数よりも大きい値となる。このことから、区間Ｓｂでの彩度調整値Ｘは、白色の画像データＷ１３よりも大きい値となる。その結果、ＲＧＢＷ変換部１３の出力である画像データＤ１３の彩度ＳＯは、入力画像データＤＩの彩度ＳＩに比べて大きい。

入力画像データＤＩの色相ＨＩは、式（２５）で求める。

ＲＧＢＷ変換部１３の出力データＤ１３の色相Ｈ１３は、式（２６）で求める。色相Ｈ１３は、入力画像データＤＩの色相と変わらない。

入力画像データＤＩの明度ＶＩは、式（２７）で求める。

ＲＧＢＷ変換部１３の出力データＤ１３の明度Ｖ１３は、式（２８）で求められる。明度Ｖ１３は、入力画像データＤＩの明度に対して（Ｗ１３／２５５）分上昇する。

このようにＲＧＢＷ変換部１３の出力データＤ１３の色相は、入力画像データＤＩと変わらず、明度が上昇し、彩度は彩度調整値Ｘを白色データＷ１３より大きくすることで入力画像データより彩度を高くすることができる。

単色用データ生成部１４は、高周波数検出信号Ｄ１１が大きい場合に輝度データＷ１２を出力する。また、単色用データ生成部１４は、高周波数検出信号Ｄ１１が小さい場合に白色データＷ１３を出力する。

３ｉｎ１用データ生成部１５は、単色用データ生成部１４と同様に高周波数検出信号Ｄ１１が大きい場合に入力画像データＤＩを出力する。また、３ｉｎ１用データ生成部１５は、高周波数検出信号Ｄ１１が小さい場合にＲＧＢＷ変換部１３が生成する赤色の画像データＲ１３、緑色の画像データＧ１３及び青色の画像データＢ１３を出力する。

図１３は、単色用データ生成部１４及び３ｉｎ１用データ生成部１５の動作を説明するための図である。図１３において、横軸は高周波数検出信号Ｄ１１である。図１３において、縦軸は輝度データＷ１２と白色データＷ１３との合成割合である。単色用データ生成部１４は、高周波数検出信号Ｄ１１が閾値Ｔａより小さい場合、白色データＷ１３を出力する。単色用データ生成部１４は、高周波数検出信号Ｄ１１が閾値Ｔｂより大きい場合、輝度データＷ１２を出力する。単色用データ生成部１４は、高周波数検出信号Ｄ１１が閾値ＴａとＴｂとの間にある場合、輝度データＷ１２と白色データＷ１３とを加重平均して出力する。３ｉｎ１用データ生成部１５も単色用データ生成部１４と同様である。３ｉｎ１用データ生成部１５は、高周波数検出信号Ｄ１１が閾値Ｔａより小さい場合、赤色の画像データＲ１３、緑色の画像データＧ１３及び青色の画像データＢ１３を出力する。また、３ｉｎ１用データ生成部１５は、高周波数検出信号Ｄ１１が閾値Ｔｂより大きい場合、入力画像データＤＩを出力する。また、３ｉｎ１用データ生成部１５は、高周波数検出信号Ｄ１１が閾値ＴａとＴｂの間にある場合、入力画像データＤＩと赤色データＲ１３、緑色データＧ１３又は青色データＢ１３を色毎に加重平均して出力する。なお、合成割合をｋとすると、画像データＤ１４は、式（２９）で求められる。

Ｄ１４＝Ｗ１２×ｋ ＋ Ｗ１３×（１−ｋ） （２９）

閾値Ｔａ及びＴｂについては、３ｉｎ１発光素子３１の色再現範囲や単色発光素子の発光強度または発光素子間の距離等により表示部３１の画質が決まるため、表示部３１の特性に応じて決めることが望ましい。しかしながら、表示部３１の特性だけでなく表示部３１の周辺の照度によっても閾値Ｔａ及びＴｂを変えてもよい。すなわち、周辺照度が高い場合、表示部３１の反射光が大きくなり表示部３１が白っぽくなってしまう。その場合、閾値Ｔａ及びＴｂを高く設定することで周辺照度が高くても色の濃い表示を行うことができる。

画像制御部２は、図２で示した表示画面に配置されている発光素子の種類に応じてデータを選択する。つまり、画像制御部２は、３ｉｎ１発光素子３２の位置で３ｉｎ１用データ生成部１５が出力する画像データＤ１５を選択する。そして、画像制御部２は、単色発光素子３３の位置で単色用データ生成部１４が出力する画像データＤ１４を出力する。

また、図２では、３ｉｎ１発光素子３２と単色発光素子３３とが千鳥状に配置されている表示画面を示したが、図２の画面より更に多くの３ｉｎ１発光素子３２を単色発光素子３３に置き換えた図１４のような表示画面でもよい。図１４は、ｘ方向の奇数番目の列にある全ての３ｉｎ１発光素子３２を単色発光素子３３に置き換えた例である。

本発明に係る画像処理装置は、空間周波数の高い領域を検出し、空間周波数の高い領域には輝度データを適用することで空間周波数の高い映像を表示することができる。また、空間周波数の低い領域には彩度の高いデータを適用することで色再現性の良い映像を表示することができる。

実施の形態２．
次に、本発明に係る実施の形態２について説明する。上記画像表示装置の機能の一部は、ハードウェア構成で実現されても良いし、あるいは、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含むマイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。当該機能の一部がコンピュータプログラムで実現される場合には、マイクロプロセッサは、コンピュータから読み取り可能な記憶媒体から当該コンピュータプログラムをロードし実行することによって当該機能の一部を実現することができる。

図１５は、上記画像表示装置の機能の一部をコンピュータプログラムで実現する場合の構成を示す図である。図１５に示すように、この画像表示装置５は、画像表示部３及び演算装置４を有する。演算装置４は、ＣＰＵを含むプロセッサ４１、画像制御部２、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）４２、不揮発性メモリ４３、大容量記憶媒体４４及びバス４５を備えている。プロセッサ４１、画像制御部２、ＲＡＭ４２、不揮発性メモリ４３及び大容量記憶媒体４４は、バス４５に接続している。画像制御部２は、画像データＤ２を画像表示部３に出力する。不揮発性メモリ４３としては、たとえば、フラッシュメモリを使用することができる。また、大容量記憶媒体４４としては、たとえば、ハードディスク（磁気ディスク）や光ディスクを使用することが可能である。

画像制御部２は、図１の画像制御部３と同じ機能を有し、プロセッサ４１からバス４５を介して転送された画像データＤ１４及びＤ１５に基づいて画像データＤ２を生成し、この画像データＤ２を表示信号として画像表示部３に供給する。

プロセッサ４１は、不揮発性メモリ４３または大容量記憶媒体４４からコンピュータプログラムをロードし実行することによって上記画像処理装置１の機能を実現する。図１６は、実施の形態２の演算装置４による処理手順の一例を概略的に示すフローチャートである。

図１６に示されるように、プロセッサ４１は、まず、高周波数検出処理を実行する（ステップＳ１１）。その後、プロセッサ４１は、輝度算出処理を実行する（Ｓ１２）。その後、プロセッサ４１は、ＲＧＢＷ変換処理を実行する（Ｓ１３）。その後、プロセッサ４１は、単色用データ生成処理を実行する（Ｓ１４）。その後、プロセッサ４１は、３ｉｎ１用データ生成処理を実行する（Ｓ１５）。最後に、画像制御部２は、プロセッサ５１から転送された画像データＤ２に基づいて、画像表示部４の画素配列に合わせた表示画像信号Ｄ２を生成する（ステップＳ２）。

なお、上述の各実施の形態においては、３ｉｎ１発光素子を用いて説明したが、赤色、緑色及び青色の発光体を有していれば、一つのパッケージの中に必ずしも収納されている必要はない。また、上述の各実施の形態においては、「水平」又は「垂直」などの部品間の位置関係もしくは部品の形状を示す用語を用いている場合がある。これらは、製造上の公差や組立て上のばらつきなどを考慮した範囲を含むことを表している。このため、請求の範囲に部品間の位置関係もしくは部品の形状を示す記載をした場合には、製造上の公差又は組立て上のばらつき等を考慮した範囲を含むことを示している。

また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

１ 画像処理装置
２ 画像制御部
３ 画像表示部
４ 演算装置
５ 画像表示装置
１１ 高周波数検出部
１２ 輝度算出部
１３ ＲＧＢＷ変換部
１４ 単色用データ生成部
１５ ３ｉｎ１用データ生成部
３１ 表示画面
３２ ３ｉｎ１発光素子
３３ 単色発光素子
１１１ 第一の畳み込み演算部
１１２ 第二の畳み込み演算部
１１３ 高周波数算出部
１３１ 画素値比較部
１３２ 彩度調整値算出部
１３３ 三色画素値算出部
１３４ 白色画素値算出部
１３２１ 上限値算出部
１３２２ 暫定値算出部
１３２３ 決定部
４ 演算装置
４１ プロセッサ
４２ ＲＡＭ
４３ 不揮発性メモリ
４４ 大容量記憶媒体
４５ バス
ＤＩ 入力画像データ
ＲＩ 赤色の入力画像データ
ＧＩ 緑色の入力画像データ
ＢＩ 青色の入力画像データ
Ｄ１１ 高周波数検出信号
Ｗ１２ 輝度データ
Ｒ１３ 赤色の画像データ
Ｇ１３ 緑色の画像データ
Ｂ１３ 青色の画像データ
Ｗ１３ 白色の画像データ
Ｄ１３ 画像データ
Ｄ１４ 画像データ
Ｄ１５ 画像データ
Ｄ２ 画像データ
Ｄ１１１ 畳み込みデータ
Ｒ１１１ 畳み込みデータ
Ｇ１１１ 畳み込みデータ
Ｂ１１１ 畳み込みデータ
Ｄ１１２ 畳み込みデータ
Ｒ１１２ 畳み込みデータ
Ｇ１１２ 畳み込みデータ
Ｂ１１２ 畳み込みデータ
Ｙｉｍａｘ 比較結果
Ｙｉｍｉｎ 比較結果
Ｘ 彩度調整値
Ｌ 上限値
Ｘｔ 暫定値
ｇｔ 関数
ＳＩ，ＳＯ 彩度
Ｓ１３ 彩度
Ｈ１３ 色相
Ｔａ，Ｔｂ 閾値

Claims (8)

1. ＲＧＢの原色を有する発光素子と白色の発光素子とを格子状の配列中に千鳥状に配置して構成した画像表示部に表示する画像を生成する画像処理装置において、
   入力画像データから着目した画素位置の周辺の空間周波数を検出して高周波数検出信号を出力する高周波数検出部と、
   前記入力画像データに含まれる第一のＲＧＢデータから輝度データを算出する輝度算出部と、
   前記第一のＲＧＢデータから第二のＲＧＢデータ及び白色データを生成するＲＧＢＷ変換部と、
   前記高周波数検出信号が第一の閾値より小さい場合、前記白色データを出力し、前記高周波数検出信号が第二の閾値より大きい場合、前記輝度データを出力し、前記高周波数検出信号が前記第一の閾値と前記第二の閾値との間にある場合、前記輝度データと前記白色データとを加重平均して出力し、前記輝度データと前記白色データとの加重平均の合成割合は、前記高周波数検出信号が高くなるにつれて、前記着目した画素位置における前記輝度データの合成割合を前記着目した画素位置における前記白色データの合成割合に対して大きくするものである単色用データ生成部と、
   前記高周波数検出信号が前記第一の閾値より小さい場合、前記第二のＲＧＢデータを出力し、前記高周波数検出信号が前記第二の閾値より大きい場合、前記第一のＲＧＢデータを出力し、前記高周波数検出信号が前記第一の閾値と前記第二の閾値との間にある場合、前記第一のＲＧＢデータと前記第二のＲＧＢデータとを加重平均して出力し、前記第一のＲＧＢデータと前記第二のＲＧＢデータとの加重平均の合成割合は、前記高周波数検出信号が低くなるにつれて、前記ＲＧＢの原色を有する発光素子に表示するデータにおける前記第二のＲＧＢデータの合成割合を前記第一のＲＧＢデータの合成割合に対して大きくするものである３ｉｎ１用データ生成部とを備え、
   前記第二の閾値は、前記第一の閾値より大きい値である
   ことを特徴とする画像処理装置。
2. 前記高周波数検出部は、
   予め定められた複数のパターンを前記入力画像データにそれぞれ畳み込んで畳み込みデータを生成する複数の畳み込み演算部と、
   前記複数の畳み込みデータを加重平均して前記高周波数検出信号を生成する高周波数算出部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記ＲＧＢＷ変換部は、
   前記入力画像データに基づいて各画素の前記第一のＲＧＢデータの最大値及び最小値を生成する画素値比較部と、
   前記第一のＲＧＢデータの最大値及び最小値に基づいて彩度調整値を生成する彩度調整値算出部と、
   前記入力画像データ、前記第一のＲＧＢデータの最大値、及び前記彩度調整値に基づいて彩度を調整した前記第二のＲＧＢデータを生成する三色画素値算出部と、
   前記第一のＲＧＢデータの最小値に基づいて前記白色データを生成する白色画素値算出部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記第一の閾値及び前記第二の閾値は、周辺照度が高い場合に高い値で設定されることを特徴とする請求項１に記載の画像処理装置。
5. 前記彩度調整値算出部は、
   前記第一のＲＧＢデータの最大値及び最小値に基づいて上限値を生成する上限値算出部と、
   前記第一のＲＧＢデータの最小値に基づいて暫定値を生成する暫定値算出部と、
   前記上限値と前記暫定値とのうち小さい方の値を前記彩度調整値として生成する決定部と
   を備えることを特徴とする請求項３に記載の画像処理装置。
6. 請求項１に記載の画像処理装置を備え、
   前記Ｒ、Ｇ及びＢを一つのパッケージに入れた発光素子に対応するデータと前記白色の発光素子とに対応するデータを選択する画像制御部と、
   前記Ｒ、Ｇ及びＢを一つのパッケージに入れた発光素子と前記白色の発光素子とを格子状の配列中に千鳥状に配置して構成した画像表示部と
   をさらに備えることを特徴とする画像表示装置。
7. Ｒ、Ｇ及びＢを一つのパッケージに入れた発光素子と白色の発光素子とを格子状の配列中に千鳥状に配置して構成した画像表示部に表示する画像を生成する画像処理方法において、
   入力画像データから着目した画素位置の周辺の空間周波数を検出して高周波数検出信号を出力する高周波数検出ステップと、
   前記入力画像データに含まれる第一のＲＧＢデータから輝度データを算出する輝度算出ステップと、
   前記第一のＲＧＢデータから第二のＲＧＢデータ及び白色データを生成するＲＧＢＷ変換処理ステップと、
   前記高周波数検出信号が第一の閾値より小さい場合、前記白色データを出力し、前記高周波数検出信号が第二の閾値より大きい場合、前記輝度データを出力し、前記高周波数検出信号が前記第一の閾値と前記第二の閾値との間にある場合、前記輝度データと前記白色データとを加重平均して出力し、前記輝度データと前記白色データとの加重平均の合成割合は、前記高周波数検出信号が高くなるにつれて、前記着目した画素位置における前記輝度データの合成割合を前記着目した画素位置における前記白色データの合成割合に対して大きくするものである単色用データ生成ステップと、
   前記高周波数検出信号が前記第一の閾値より小さい場合、前記第二のＲＧＢデータを出力し、前記高周波数検出信号が前記第二の閾値より大きい場合、前記第一のＲＧＢデータを出力し、前記高周波数検出信号が前記第一の閾値と前記第二の閾値との間にある場合、前記第一のＲＧＢデータと前記第二のＲＧＢデータとを加重平均して出力し、第一のＲＧＢデータと前記第二のＲＧＢデータとの加重平均の合成割合は、前記高周波数検出信号が低くなるにつれて、前記ＲＧＢの原色を有する発光素子に表示するデータにおける前記第二のＲＧＢデータの合成割合を前記第一のＲＧＢデータの合成割合に対して大きくするものである３ｉｎ１用データ生成ステップとを備え、
   前記第二の閾値は、前記第一の閾値より大きい値である
   ことを特徴とする画像処理方法。
8. Ｒ、Ｇ及びＢを一つのパッケージに入れた発光素子と白色の発光素子とを格子状の配列中に千鳥状に配置して構成した画像表示部に表示する画像を生成する画像処理をプロセッサに実行させるコンピュータプログラムにおいて、
   前記コンピュータプログラムは前記プロセッサによりコンピュータ読み取り可能な記憶媒体から読み出されて実行されるものであり、
   前記画像処理は、
   入力画像データから周波数の高い領域を検出して高周波数検出信号を出力する高周波数検出処理と、
   前記入力画像データに含まれる第一のＲＧＢデータから輝度データを算出する輝度算出処理と、
   前記第一のＲＧＢデータから第二のＲＧＢデータ及び白色データを生成するＲＧＢＷ変換処理と、
   前記高周波数検出信号が第一の閾値より小さい場合、前記白色データを出力し、前記高周波数検出信号が第二の閾値より大きい場合、前記輝度データを出力し、前記高周波数検出信号が前記第一の閾値と前記第二の閾値との間にある場合、前記輝度データと前記白色データとを加重平均して出力し、前記輝度データと前記白色データとの加重平均の合成割合は、前記高周波数検出信号が高くなるにつれて、前記着目した画素位置における前記輝度データの合成割合を前記着目した画素位置における前記白色データの合成割合に対して大きくするものである単色用データ生成処理と、
   前記高周波数検出信号が前記第一の閾値より小さい場合、前記第二のＲＧＢデータを出力し、前記高周波数検出信号が前記第二の閾値より大きい場合、前記第一のＲＧＢデータを出力し、前記高周波数検出信号が前記第一の閾値と前記第二の閾値との間にある場合、前記第一のＲＧＢデータと前記第二のＲＧＢデータとを加重平均して出力し、前記第一のＲＧＢデータと前記第二のＲＧＢデータとの加重平均の合成割合は、前記高周波数検出信号が低くなるにつれて、前記ＲＧＢの原色を有する発光素子に表示するデータにおける前記第二のＲＧＢデータの合成割合を前記第一のＲＧＢデータの合成割合に対して大きくするものである３ｉｎ１用データ生成処理とを含み、
   前記第二の閾値は、前記第一の閾値より大きい値である
   ことを特徴とするコンピュータプログラム。

Images