JP6727917B2 - 投影装置、電子機器及び画像処理方法 - Google Patents

Description

本発明は、画像を表示するための投影装置、電子機器及び画像処理方法に関するものである。

従来、画像を投影するプロジェクタにおいて、環境光の影響を除去する補正をする技術が知られている。特許文献１には、スクリーンに照射される環境光の強度を測定した結果に基づいて入力画像の画素値を補正することにより、環境光による影響を軽減する技術が開示されている。

特開２００７−２８１８９３号公報

環境光が、庇、柱及び窓枠等の障害物によって遮られて、画像の表示面の一部の領域のみに環境光が当たってしまう場合、環境光が当たっている領域と環境光が当たっていない領域との間に、環境光の強度が急峻に変化することによる境界線が視認されてしまう。このような境界線が視認されると、ユーザが、表示される画像を見づらいという問題が生じる。従来の技術を用いて、環境光の影響を受けている領域の画素値のみを補正した場合、環境光が当たっている領域と環境光が当たっていない領域との間で色度が変化してしまい、境界線が目立ってしまうという問題があった。

そこで、本発明は上述した点に鑑みてなされたものであり、環境光の影響で表示面に生じる境界線を目立ちにくくすることができる投影装置、電子機器及び画像処理方法を提供することを目的とする。

上記の課題を解決するために、本発明の投影装置は、入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得する画像取得手段と、前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定し、特定した前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成する補正画像生成手段と、前記補正画像生成手段が生成した前記投影用画像を前記投影面に投影する投影手段と、を有することを特徴とする。

本発明の電子機器は、入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得する画像取得手段と、前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定し、特定した前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成する補正画像生成手段と、前記補正画像生成手段が生成した前記投影用画像を出力する出力手段と、を有することを特徴とする。

本発明の画像処理方法は、コンピュータが実行する、入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得するステップと、前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定するステップと、前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成するステップと、生成した前記投影用画像を出力するステップと、を有することを特徴とする。

本発明によれば、環境光の影響で表示面に生じる境界線を目立ちにくくすることができるという効果を奏する。

本実施形態の概要を説明するための図である。 プロジェクタ１００の動作の概要を説明するための図である。 プロジェクタ１００の構成を示す図である。 画像処理部４４０の構成を示す図である。 プロジェクタ１００における環境光段差補正処理の動作フローチャートである。 補正後環境光強度分布の算出方法について説明するための図である。 曲線状に環境光段差を補正する方法について説明するための図である。 明部階調側において用いる補正値を減衰させた場合の補正値算出方法について説明するための図である。 エッジの連続性の検出方法について説明するための図である。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

また、本実施の形態において説明される各機能ブロックは必ずしも個別のハードウェアでなくてもよい。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されてもよい。また、いくつかのハードウェアの連携動作により１つの機能ブロックの機能又は複数の機能ブロックの機能が実行されてもよい。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されてもよい。

［本実施形態の概要］
図１は、本実施形態の概要を説明するための図である。図１は、投影装置であるプロジェクタ１００から投影面１０１（例えばスクリーン）に画像を投影している様子を示している。窓１０３からは、環境光として太陽光が入射しており、投影面１０１の右側の領域に太陽光が当たることにより、投影領域１０２の右側の領域の画像が左側の領域の画像よりも明るく表示されている。その結果、投影領域１０２の中には、明るい領域と暗い領域との間に境界線が視認できる状態になっている。このような状態において、プロジェクタ１００は、投影面１０１を撮影して得られた撮像画像に基づいて境界線の位置を特定し、特定した境界線の周辺の画像を補正することにより、境界線を目立ちにくくすることができる。

図２は、本実施形態に係るプロジェクタ１００の動作の概要を説明するための図である。図２（ａ）は、プロジェクタ１００が画像を補正しない状態で画像を表示している状態を示す図である。図２（ａ）においては、環境光は右側の領域に当たっている状態を示しており、投影領域１０２においては、左側の領域の画像が暗く視認され、右側の領域の画像が明るく視認され、左側の領域と右側の領域との間に境界線がはっきりと視認される。

図２（ｂ）は、プロジェクタ１００が画像を補正した状態で画像を表示している状態を示す図である。プロジェクタ１００は、左側の領域における境界線付近の領域の画素の輝度が高くなるように画素値を補正した補正画像を生成し、補正画像を表示させる。その結果、図２（ａ）に比べて、左側の領域と右側の領域との間の境界線がはっきりと視認されず、視認される画像の画質が向上していることがわかる。
以下、プロジェクタ１００の構成及び動作について詳細に説明する。

［プロジェクタ１００の構成］
図３は、プロジェクタ１００の構成を示す図である。
制御部４１０は、例えばＣＰＵであり、ＲＯＭ４１２に記憶されたプログラムを実行することにより、プロジェクタ１００の各部を制御する。

ＲＡＭ４１１は、ワークメモリとして一時的に制御プログラムやデータを格納する揮発メモリである。ＲＯＭ４１２は、制御部４１０により使用されるプログラム、ガンマ補正部（不図示）で用いるルックアップテーブル、各動作ブロックの設定パラメータ及び工場調整値等のデータを記憶している不揮発性メモリである。

操作部４１３は、操作ボタンを含んでおり、ユーザによるプロジェクタ１００の操作内容を示す操作信号を生成する。操作部４１３は、生成した操作信号を制御部４１０に通知する。

画像入力部４２０は、プロジェクタ１００に入力される画像を取得する。画像入力部４２０は、例えば記録媒体４２１に記憶された画像データを読み込む。画像入力部４２０は、画像データとともに解像度及びフレームレート等の画像情報も取得する。

記録媒体４２１は、静止画データ及び動画データ等の画像データ、並びにプロジェクタ１００が画像データを投影するために必要な制御データを記録することができる媒体である。記録媒体４２１は、例えば、磁気ディスク、光学式ディスク又は半導体メモリであり、データを記録することができる任意の方式の記録媒体であってもよい。記録媒体４２１は、プロジェクタ１００から着脱可能な記録媒体であってもよく、プロジェクタ１００に内蔵された記録媒体であってもよい。

記録再生部４２２は、画像入力部４２０が取得した静止画データ及び動画データを再生する。また、記録再生部４２２は、制御部４１０から入力された静止画データ又は動画データを記録媒体４２１に記録する。

光源制御部４３０は、制御部４１０の制御に基づいて、光源４６０が出力する光量を制御する。
画像処理部４４０は、画像入力部４２０が取得した画像データに対して各種の画像処理を施すことにより投影画像を生成する。詳細については後述するが、画像処理部４４０は、例えば、環境光の影響によって生じている境界線が視認されにくくなるように、境界線付近の画素の画素値を補正する。

光変調素子制御部４５０は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各光変調素子４７０に電圧を印加することにより、光変調素子４７０が出力する光の強度を制御する。具体的には、光変調素子制御部４５０は、各光変調素子４７０の変調強度を変化させることにより、光変調素子４７０が出力する光の強度を制御する。

光源４６０は、光変調素子４７０に光を供給する。
光変調素子４７０は、光源４６０から照射された光を変調することにより、出力する光の強度を変化させることができる。赤色（Ｒ）の光変調素子４７０Ｒは、赤色（Ｒ）の光を変調し、緑色（Ｇ）の光変調素子４７０Ｇは、緑色（Ｇ）の光を変調し、青色（Ｂ）の光変調素子４７０Ｂは、青色（Ｂ）の光を変調する。

色合成部４８０は、光変調素子４７０Ｒ、４７０Ｇ、４７０Ｂから出力される赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成する。色合成部４８０は、例えば、ダイクロイックミラー又はプリズムを有する。

表示光学系４８１は、光源４６０から供給される光が赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に対応する光変調素子４７０によって変調されたことで得られる光学像を投影面に表示する。表示光学系４８１は、レンズの位置を変化させるアクチュエータを有しており、アクチュエータを制御することにより、レンズシフト及びズームを行うことができる。

撮像部４９１は、表示光学系４８１の投影方向と同じ方向を撮影することができる位置及び向きに設けられており、表示光学系４８１の投影領域を含む領域を撮影し、撮影した領域の撮像画像を生成する。撮像部４９１は、入力画像に基づいて生成された投影用画像が投影された投影面の撮像画像を取得する。撮像部４９１は、制御部４１０の指示に基づいて、シャッタースピード及び絞り等の光学パラメータを変更することができる。

撮像画像処理部４９２は、撮像部４９１が生成した撮像画像に含まれる投影領域の画像を切り出すことにより、投影領域画像データを生成する。撮像画像処理部４９２は、生成した投影領域画像データを画像処理部４４０に対して出力する。
以下、画像処理部４４０の構成及び動作の詳細について説明する。

［画像処理部４４０の構成］
図４は、画像処理部４４０の構成を示す図である。
強度分布特定部４４１は、撮像画像処理部４９２が生成した投影領域画像データに基づいて、投影領域内の環境光による輝度の分布を示す環境光強度分布を特定する。強度分布特定部４４１は、例えば、投影領域画像データの各画素の輝度値から、表示光学系４８１が投影した投影画像の各画素の輝度値に対応する値を減算することにより、環境光によって変化した輝度の大きさを算出して、環境光強度分布を特定する。強度分布特定部４４１は、投影画像が投影されていない状態で撮像部４９１が生成した撮像画像の輝度の分布を、環境光の強度分布として特定してもよい。

段差処理部４４２は、撮像画像に基づいて強度分布特定部４４１が特定した環境光強度分布に基づいて、投影面における環境光による輝度の変化率が所定の閾値よりも大きく、段差が生じている領域である段差領域を特定する。輝度の変化率は、投影面における単位幅当たりの輝度の変化量である。

段差処理部４４２は、強度分布特定部４４１が取得した環境光強度分布における環境光による輝度の段差が視認されにくくなるように段差周辺の領域を補正した場合の強度分布である、補正後環境光強度分布を特定する。具体的には、段差処理部４４２は、環境光強度分布における環境光の強度が、所定の第１長さの範囲内で所定の大きさ以上に変化する段差の位置において、第１長さの範囲よりも大きな第２長さの範囲内で同じ量だけ環境光の強度が変化するように補正した場合の補正後環境光強度分布を特定する。言い換えると、段差処理部４４２は、投影領域の位置の変化に対する環境光の強度の変化の傾斜が緩やかになる補正後環境光強度分布を特定する。

補正値強度分布算出部４４３は、強度分布特定部４４１が取得した補正前環境光強度分布を、段差処理部４４２が特定した補正後環境光強度分布に補正するために付加する必要がある光の強度分布である補正値強度分布を算出する。具体的には、補正値強度分布算出部４４３は、補正前環境光強度分布と補正後環境光強度分布との差分の投影領域における分布を補正値強度分布として算出する。

補正値生成部４４４は、環境光の段差を補正するために入力画像に付与する補正値を生成する。補正値は、入力画像に含まれる画素の画素値に乗算するゲイン値及び画素値に加算するオフセット値の少なくともいずれかを含む値である。

補正部４４５は、算出した補正値を入力画像に乗算する乗算器及び加算する加算器を有する。補正部４４５は、段差領域に含まれる画素に対応する補正値を入力画像における対応する画素の画素値に加算することにより、段差領域における環境光による輝度の変化率が小さくなるように入力画像を補正し、表示光学系４８１から投影面に投影する対象となる投影用画像を生成する。

補正部４４５は、例えば、段差領域から所定の範囲の入力画像を補正することにより投影用画像を生成する。段差領域から所定の範囲は、段差領域の幅よりも大きく、かつ投影領域の幅よりも小さい範囲であり、例えば段差領域の幅と等しい幅の範囲である。また、所定の範囲が、段差領域の幅よりも大きい場合、補正部４４５は、段差領域から離れるにつれて補正の強度が弱くなるように入力画像を補正することにより投影用画像を生成してもよい。このようにすることで、補正部４４５は、輝度の段差を目立たなくするとともに、段差領域以外の領域の画質が補正前の画質からできるだけ変化しないようにすることができる。

テストパターン付加部４４６は、ユーザに提示するメッセージ、及び投影面を測色するためのパターン以外の補正用テストパターン等のＯＳＤ（On Screen Display）画像を投影用画像に重畳する。

［プロジェクタ１００の動作フローチャート］
図５は、プロジェクタ１００における環境光段差補正処理の動作フローチャートである。
環境光段差補正処理は、ユーザが、リモコン等のユーザインターフェースを介して、環境光による段差を補正することを操作部４１３に指示した際に、制御部４１０の指示に基づいて実行される。

（環境光段差の補正方法）
まず、制御部４１０は、画像処理部４４０に対して、投影領域検出用のテストパターン画像を生成させ、撮像部４９１に対して、テストパターンが投影されている領域を撮像するように指示する（Ｓ１０１）。画像処理部４４０は、投影領域検出用のテストパターン画像として、例えば白ベタ画像及び黒ベタ画像を用いる。撮像部４９１は、白ベタ画像を投影中に白ベタ投影時撮像画像を生成し、黒ベタ画像を投影中に黒ベタ投影時撮像画像を生成する。

続いて、画像処理部４４０は、白ベタ投影時撮像画像と黒ベタ投影時撮像画像との差分画像を生成する。この差分画像においては、環境光成分が除去されている。画像処理部４４０は、差分画像を二値化することにより、撮像画像から投影領域を切り出すために用いるマスク画像を生成する。画像処理部４４０は、マスク画像内のエッジを検出することにより、撮像画像から投影領域を切り出す（Ｓ１０２）。

具体的には、画像処理部４４０は、マスク画像内のエッジを検出することで撮像画像内の投影領域の四隅座標を検出する。画像処理部４４０は、この四隅の座標から射影変換行列を算出することによって、撮像画像から投影領域を検出することができる。画像処理部４４０は、射影変換行列を用いて、白ベタ投影時撮像画像及び黒ベタ投影時撮像画像のそれぞれから投影領域を切り出した画像を生成する。

続いて、画像処理部４４０は、強度分布特定部４４１において、投影領域の切り出し画像に基づいて環境光の強度分布を算出する（Ｓ１０３）。強度分布特定部４４１は、白ベタ投影時投影領域切り出し画像及び黒ベタ投影時投影領域切り出し画像のそれぞれに対して、プロジェクタ１００の出力輝度に対する環境光強度の割合をエリア毎に算出することにより環境光強度分布を取得する。

次に、段差処理部４４２は、環境光強度分布における段差幅を算出する（Ｓ１０４）。具体的には、段差処理部４４２は、環境光分布における水平方向及び垂直方向の所定の画素数における画素値の変化量を解析し、変化量が一定量以上の領域を環境光段差として検出する。段差処理部４４２は、環境光段差が検出された領域の水平方向及び垂直方向の長さを算出する。続いて、段差処理部４４２は、環境光段差が検出された領域の長さに基づいて、環境光段差が目立たないようにするためのぼかし処理によって得られる補正後環境光強度分布を算出する（Ｓ１０５）。

図６は、補正後環境光強度分布の算出方法について説明するための図である。図６の横軸は、光変調素子４７０の水平画素位置を示し、縦軸は環境光強度を示す。図６においては、水平方向の環境光強度分布を補正する例を示しているが、段差処理部４４２は、垂直方向に関しても同様に補正後環境光強度分布を算出する。

図６（ａ）は、環境光段差の補正前の環境光強度分布を示している。図６（ｂ）は、環境光の段差の幅に対応する段差領域に対してぼかし処理を施した結果である補正後環境光強度分布の一例である。段差処理部４４２は、段差領域を環境光が当たっていない側の向きに線形に伸ばすことによって環境光強度の傾きを緩和させ、境界が視認されにくくしている。段差処理部４４２は、予め定められた閾値以上の量だけ段差領域を伸ばす。段差処理部４４２は、補正前の環境光段差の幅に所定の安全率を乗算することにより、段差を伸ばす量を決定してもよい。

次に、補正値強度分布算出部４４３は、環境光強度分布と補正後環境光強度分布から、入力画像に加算する補正値強度分布を算出する（Ｓ１０６）。具体的には、補正値強度分布算出部４４３は、補正後環境光強度から図６（ａ）に示した補正前の環境光強度を減算することにより、補正値強度分布を算出する。

図６（ｃ）は、補正値強度分布を示している。図６（ｃ）に示すように、図６（ａ）に示した補正前の環境光強度分布における段差の立ち上がり位置の周辺で、補正値の強度が大きくなっている。

次に、補正値生成部４４４は、補正値強度分布と入力画像とに基づいて、入力画像を補正するための補正値を算出する（Ｓ１０７）。図６（ｃ）に示した補正値強度はプロジェクタ１００の輝度に対する補正値輝度の割合なので、補正値生成部４４４は、入力画像を補正するために、補正値強度を、入力画像に付与する輝度値に変換する。具体的には、補正値生成部４４４は、入力画像に付与する輝度値を算出するために、入力画像の輝度をリニアに変換した輝度値と、補正値強度分布から算出した輝度値とを加算する。以下、ＩＴＵ−Ｒ ＢＴ．７０９のＨＤＴＶの係数を例に説明する。

まず、(ＲＧＢ)input値から、(ＹＵＶ)input値への変換式を式（１）に示す。
Ｙinput = 0.299Ｒinput + 0.587Ｇinput + 0.114Ｂinput
Ｕinput = -0.169Ｒinput - 0.331Ｇinput + 0.500Ｂinput
Ｖinput = 0.500Ｒinput - 0.419Ｇinput - 0.081Ｂinput 式（１）
ここでＲ、Ｇ、Ｂは画像の各画素の階調値である。

また、補正後投影面上の輝度の算出式を式（２）に示す。補正後投影面上の輝度は、入力画像輝度値Ｙinputと補正値強度分布から算出した輝度値との輝度リニア空間における和の輝度Ｙgoalとして算出することができる。
Ｙgoal = Ｙinput^γ + (Ｙoffset / 100 * 255) / (1 - Ｙoffset / 100) 式(２)
ここで、γは表示装置のγ値を表しており、入力画像の輝度値をγ乗することによって輝度リニア空間に変換される。Ｙoffsetは補正値強度分布の値である。

補正値生成部４４４は、算出した補正後投影面上の輝度Ｙgoalをデガンマ（1/γ乗）し、デガンマした後の輝度から入力画像の輝度Ｙinputを減算することで、環境光段差補正における入力画像に加算する補正値Ｙcorを算出する。

続いて、補正部４４５は、入力画像の輝度Ｙinputに、補正値生成部４４４が算出した補正値Ｙcorを加算することにより、補正後の輝度Ｙoutputを算出する(Ｓ１０８)。
(ＹＵＶ)outputを(ＲＧＢ)outputに変換する式は、以下の式（３）により示される。
Ｕoutput = Ｕinput
Ｖoutput = Ｖinput
Ｒoutput = 1.000Ｙoutput ＋ 0.114Ｖoutput
Ｇoutput = 1.000Ｙoutput - 0.344Ｕoutput - 0.714Ｖoutput
Ｂoutput = 1.000Ｙoutput + 1.772Ｕ 式（３）
補正部４４５は、ＩＴＵ−Ｒ ＢＴ．７０９以外のカラリメトリーの信号に対しても、係数を変えることで同様の演算を施すことができる。

（環境光段差の補正方法の変形例）
以上の手順によって、プロジェクタ１００は、環境光の段差が目立たないように入力画像を補正することができる。以下、さらに補正の効果を向上させるための処理について説明する。

（１）環境光の強度差の利用
段差処理部４４２は、図５のステップＳ１０５において、環境光の段差幅が所定の閾値以上になるように補正をしていた。しかしながら、実際は、環境光の段差幅だけでなく、強度差も重要な要素であり、段差における環境光の強度差が大きく且つ段差幅が狭く急峻な場合において、環境光段差がユーザに視認されやすくなってしまう。そこで、段差処理部４４２は、環境光強度の最大値と最小値との差分にさらに基づいて、補正後の段差幅を決めてもよい。そして、補正部４４５は、環境光段差の強度の最大値と最小値との差分に基づいて決定された段差幅に基づく補正値を用いて入力画像を補正することにより、投影用画像を生成する。

例えば、段差処理部４４２は、環境光強度の差に基づいて定められる段差幅になるように、補正後の段差幅を決める。具体的には、段差処理部４４２は、環境光強度の差に基づいて定められる係数ｎ（ｎは正の実数）を算出し、補正前の段差幅に係数ｎを乗算した幅に補正後の段差幅を決定する。また、段差処理部４４２は、環境光段差の傾きが所定の閾値以下になるように補正してもよい。

このようにすることで、補正部４４５は、環境光強度の最大値と最小値との差分が大きければ大きいほど、段差領域の単位幅あたりの輝度の変化量が小さくなるように入力画像を補正することにより、段差が目立ちにくい投影用画像を生成することができる。また、補正部４４５は、段差領域の幅に対する輝度の変化量の割合が閾値以下になるように入力画像を補正することにより投影用画像を生成することもできる。段差処理部４４２が、輝度の段差の傾きを、ユーザに視認されない程度の緩やかさに設定することで、プロジェクタ１００は、段差が目立たない画像を投影することができる。

（２）段差を曲線状に補正
また、段差処理部４４２は、図５のステップＳ１０５において、環境光段差の変化を水平方向に線形に延ばすことにより、段差が目立たないようにしていたが、段差処理部４４２は、環境光段差が曲線状に変化するように補正してもよい。
図７は、曲線状に環境光段差を補正する方法について説明するための図である。図７においては、図６と同様に、横軸が光変調素子４７０の水平画素位置を示しており、縦軸は環境光強度を示している。

図７（ａ）は、補正前の環境光強度分布の一例であり、図６（ａ）と同様のものである。
図７（ｂ）は、段差処理部４４２が図７（ａ）に示す環境光強度に対して膨張処理を施すことにより、膨張光強度を算出した結果を示している。膨張処理とは、補正後の環境光強度分布を想定して、必要に応じて輝度段差の重心と幅を変える処理のことである。

図７（ｃ）は、段差処理部４４２が、図７（ｂ）に示した膨張光強度の空間平均を乗算することでＳ字の補正後環境光強度分布を算出した結果を示している。このように、段差処理部４４２が、補正後の投影面上の環境光強度分布における段差領域がＳ字状になるように補正後環境光強度分布を算出すると、段差領域の始点と終点の傾きが緩やかになる。図６（ｂ）に示した線形な補正方法では、補正後の環境光強度分布における段差領域の始点と終点の変化量が大きいため、マッハ効果と呼ばれる視覚特性による輝度段差が見える可能性があったが、図７（ｃ）に示すように補正後の環境光強度分布における段差領域をＳ字状にすると、マッハ効果に起因する画質妨害を防ぐことができる。図７（ｄ）は、図６（ｃ）に対応する補正値強度分布であり、補正後環境光強度から補正前の環境光強度を減算することにより得られる。

（３）統計量の利用
以上の説明において、補正値生成部４４４は、補正値強度分布と入力画像とに基づいて、入力画像を補正するための補正値を算出した。補正値生成部４４４は、入力画像の画素ごとの輝度Ｙinputを用いる代わりに、面内輝度平均値等の入力画像の画素値の統計量に基づいて補正値を算出してもよい。具体的には、補正値生成部４４４は、入力画像の画面内輝度平均値を算出し、式（２）のＹinputの代わりに使用する。補正値生成部４４４は、このように統計量を用いて補正値を算出することにより、例えば、事前に入ってくる動画全体の輝度平均値を算出し、これに基づいて補正値を生成することによって、入力画像に補正値として加算する輝度オフセット値をフレームごとに算出する処理を削減することができる。

（４）階調性の低下の防止
以上の説明においては、補正部４４５が、入力画像に補正値をそのまま加算する例について説明した。しかし、補正部４４５が、補正値を入力画像にそのまま加算してしまうと明部階調側の輝度が上限に張り付いてしまい、階調性が低下する場合がある。そこで、補正部４４５は、入力画像の画素の輝度値が高くなればなるほど、補正値を小さくしてもよい。補正部４４５は、例えば、暗部側にのみ補正値を適用し、入力画像の明部側では補正データが０になるように補正する。

図８は、明部階調側において用いる補正値を減衰させた場合の補正値算出方法について説明するための図である。図８のグラフの横軸は、入力画像の補正前の輝度であり、縦軸は、補正後の輝度である。図８に示すとおり、補正部４４５は、補正前輝度の閾値輝度Ａ〜２５５の領域では階調性を維持するために補正値を適用しない。また、補正部４４５は、補正前輝度０〜Ａの領域では、０においては補正値Ｙcor分だけ入力画像を補正し、輝度が大きくなるにつれて補正量を減少させて閾値Ａにおける補正値が０になるように補正する。このようにすることで、輝度段差補正によって明部の階調性が損なわれることを防ぐことができる。

（５）環境光の色度の変化に基づいて補正
以上の説明において、画像処理部４４０は、投影面上の環境光強度の輝度変化がなだらかになるように補正をしていた。しかし、環境光の中には電球のように色温度が低いものも存在する。そこで、画像処理部４４０は、輝度の変化のみならず、環境光の色度の変化もなだらかになるように補正してもよい。この場合、画像処理部４４０は、図６に示した輝度に基づく環境光強度の代わりに、例えば撮像部４９１が取得したＲＧＢ値のそれぞれの強度を用いる。

例えば、段差処理部４４２は、撮像画像における色度の変化量にさらに基づいて段差領域を特定し、補正部４４５は、段差領域における色度の変化量が小さくなるように入力画像を補正することで、投影用画像を生成する。具体的には、補正部４４５は、プロジェクタ１００のＲＧＢ値からＹＵＶ値に変換した代わりに、プロジェクタ１００のＲＧＢ値から撮像部４９１のＲＧＢcamera値に変換することにより、撮像部４９１が取得したＲＧＢ値のそれぞれの強度を用いて補正をすることができる。変換方法としては、上述の式（１）及び式（３）に示したようなカラ―マトリックスを用いてもよいし、１Ｄ−ＬＵＴ（一次元ルックアップテーブル）を用いてもよい。ただし、撮像部４９１とプロジェクタ１００のＲＧＢ値とが対応付けできるようにキャリブレーションする必要がある。
以上の方法によって、環境光による輝度の変化のみならず、色の変化も補正することができる。

（６）段差補正のタイミング
以上の説明においては、補正値強度分布算出部４４３が補正値強度分布を算出するタイミングを考慮していなかったが、補正部４４５は、段差処理部４４２が投影面上の環境光の分布に段差領域が存在することを特定したことに応じて、入力画像を補正してもよい。この場合、補正値強度分布算出部４４３は、段差処理部４４２が投影面上の環境光の分布に変化があったことを条件として、撮像画像に基づいて補正値強度分布を算出する。

また、制御部４１０はタイマーを用いて、前回撮像部４９１が投影領域を撮像してから所定の時間が経過するたびに、テストパターン付加部４４６に環境光測定用テストパターンを表示させ、補正部４４５は、所定の時間ごとに入力画像の補正値を変化させるようにしてもよい。また、制御部４１０は、プロジェクタ１００の動きを検出する動き検出手段としての加速度センサを用いてプロジェクタ１００が移動したことを検出し、移動したことを検出した場合に、再度、テストパターン付加部４４６に環境光測定用テストパターンを表示させるようにしてもよい。そして、補正部４４５は、プロジェクタ１００が移動したことに応じて更新された補正値を用いて入力画像を補正する。

（７）誤補正の抑制方法
以上の説明においては、撮像画像にランダムノイズが重畳されることが考慮されていなかったが、撮像画像にランダムノイズが重畳された場合、プロジェクタ１００は、ノイズを環境光のエッジとして検出してしまい、誤補正をしてしまうことが想定される。そこで、段差処理部４４２は、環境光段差補正における誤補正を抑制するために、撮像画像において、ランダムノイズと環境光段差とを見分ける処理を実行してもよい。段差処理部４４２は、ランダムノイズと環境光段差とを見分けるために、段差領域のエッジ（環境光強度の変化の大きい箇所）の連続性を用いることができる。

図９は、エッジの連続性の検出方法について説明するための図である。
段差処理部４４２は、図５のステップＳ１０４において環境光段差を検出する際に、環境光強度の変化量を用いた。段差処理部４４２は、環境光強度分布の水平方向及び垂直方向における環境光強度の変化量を検出し、変化量が閾値を超えた箇所をエッジと判断する。この際、段差処理部４４２は、連続した画素において変化量が閾値を超えた箇所を環境光段差により生じたエッジと判断することで、ランダムノイズと環境光段差とを見分ける。

図９における格子点は、光変調素子４７０の画素を示しており、灰色の画素は、段差処理部４４２がエッジであると判断した箇所を示している。段差処理部４４２は、隣接する画素に対する環境光の強度の変化量が所定の閾値よりも大きい画素が所定の数以上連続していることを条件に段差領域を特定する。段差処理部４４２は、エッジの連続性を検出するために、探索領域を用いる。探索領域とは、注目しているエッジ画素の周辺に他のエッジ画素が無いか調べる際の領域範囲のことである。図９では、一例として探索領域が、注目画素の周辺１画素である例を示している。探索領域９０１では、中央の注目画素がエッジであり、且つ周りの他の画素にエッジが含まれているので、段差処理部４４２は、探索領域９０１に含まれるエッジが環境光段差であるとみなす。

一方、探索領域９０２の場合、中央の注目画素はエッジであるが、他の周辺画素はエッジではなく、中央の注目画素が単独でエッジとして存在する。そこで、段差処理部４４２は、探索領域９０２に含まれるエッジはノイズであり、環境光段差補正の実施対象から除去する。このようにすることで、段差処理部４４２は、ノイズの影響により段差の存在を誤検知することを防止できる。

なお、段差処理部４４２は、撮像画像に基づいて特定される環境光の強度分布における高周波成分を除去した後の強度分布に基づいて、段差領域を特定してもよい。例えば、段差処理部４４２は、環境光強度分布にローパスフィルタ等のノイズ除去フィルタを通してから、環境光段差検出をしてもよい。

また、段差処理部４４２は、撮像画像における環境光の強度が所定の閾値以下である暗階調領域を特定し、ノイズによって一部が暗くなっている領域に誤って環境光段差補正を施さないようにしてもよい。例えば、段差処理部４４２は、閾値輝度で二値化した環境光強度分布に基づいて暗階調領域の面積を算出し、暗階調領域の面積が所定の閾値以上であることを条件として、環境光段差を補正すると判断してもよい。補正部４４５は、暗階調領域の面積が所定の値以上であることを条件として入力画像を補正することにより投影用画像を生成する。

（８）撮像画像の取得タイミング
以上の説明においては、プロジェクタ１００が投影用画像を投影している状態で、撮像部４９１が投影面を撮像する例について説明したが、撮像画像を取得するタイミングは、これに限らない。撮像部４９１が、プロジェクタ１００が投影用画像を投影していない状態の投影面を撮像し、強度分布特定部４４１が、プロジェクタ１００が投影用画像を投影していない状態の投影面の撮像画像に基づいて環境光強度分布を特定してもよい。

（９）プロジェクタ１００以外の電子機器への応用
以上の説明においては、プロジェクタ１００において段差を補正する処理について説明したが、本発明は、その他の電子機器においても適用することができる。
例えば、直視型の表示装置においても、同様の手法で輝度段差補正をすることができる。この場合、撮像部４９１は直視型表示装置の表示領域を撮像するように設置される。

また、コンピュータが、記憶媒体に記憶されたプログラムを実行することにより、輝度の段差を補正した画像を生成してもよい。具体的には、プロジェクタ１００に投影用画像を入力するコンピュータが、投影面の撮像画像を取得し、取得した撮像画像に基づいて、段差が目立たなくなるように投影用画像を補正してもよい。コンピュータが補正後の投影用画像をプロジェクタ１００に入力することにより、プロジェクタ１００は、環境光による段差が目立たない画像を投影することが可能になる。

［本実施形態による効果］
以上説明したように、本実施形態によれば、環境光の影響で生じた輝度や色の段差をぼかすことにより、段差が目立たないようにすることができる。その結果、図２（ｂ）に示すように、段差が目立たないように画像を表示することが可能になる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、上記の説明においては、プロジェクタ１００が内蔵する撮像部４９１において生成された撮像画像に基づいて画像を補正する例を示したが、撮像画像は他の撮像デバイスで生成されたものを用いてもよい。

１００ プロジェクタ
４４２ 段差処理部
４４５ 補正部
４８１ 表示光学系
４９１ 撮像部

Claims (19)

1. 入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得する画像取得手段と、
   前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定し、特定した前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成する補正画像生成手段と、
   前記補正画像生成手段が生成した前記投影用画像を前記投影面に投影する投影手段と、を有することを特徴とする投影装置。
2. 前記補正画像生成手段は、前記環境光の強度の最大値と最小値との差分の大きさに基づいて前記入力画像を補正することを特徴とする、
   請求項１に記載の投影装置。
3. 前記補正画像生成手段は、前記差分が大きければ大きいほど、前記段差領域における輝度の変化量が小さくなるように、前記入力画像を補正することを特徴とする、
   請求項２に記載の投影装置。
4. 前記補正画像生成手段は、前記段差領域の幅に対する輝度の変化量の割合が閾値以下になるように前記入力画像を補正することを特徴とする、
   請求項１から３のいずれか一項に記載の投影装置。
5. 前記補正画像生成手段は、前記段差領域に含まれる画素に対応する補正値を前記入力画像における対応する画素の画素値に加算することにより、前記入力画像を補正することを特徴とする、
   請求項１から４のいずれか一項に記載の投影装置。
6. 前記補正画像生成手段は、前記入力画像の画素値の統計量に基づいて前記補正値を決定することを特徴とする、
   請求項５に記載の投影装置。
7. 前記補正画像生成手段は、前記入力画像の画素の輝度値が高くなればなるほど、前記補正値を小さくすることを特徴とする、
   請求項５又は６に記載の投影装置。
8. 前記補正画像生成手段は、特定手段が前記段差領域を特定したことに応じて前記補正値を決定することを特徴とする、
   請求項５から７のいずれか一項に記載の投影装置。
9. 前記補正画像生成手段は、所定の時間ごとに生成された前記撮像画像に基づいて前記補正値を決定することを特徴とする、
   請求項５から８のいずれか一項に記載の投影装置。
10. 前記投影装置の動きを検出する動き検出手段をさらに有し、
    前記補正画像生成手段は、前記投影装置が動いたことを前記動き検出手段が検出したことに応じて前記補正値を決定することを特徴とする、
    請求項５から９のいずれか一項に記載の投影装置。
11. 前記特定手段は、前記撮像画像における色度の変化量にさらに基づいて前記段差領域を特定し、
    前記補正画像生成手段は、前記段差領域における前記色度の変化量が小さくなるように前記入力画像を補正することを特徴とする、
    請求項１から１０のいずれか一項に記載の投影装置。
12. 前記特定手段は、隣接する画素に対する環境光の強度の変化量が所定の閾値よりも大きい画素が所定の数以上連続していることを条件に前記段差領域を特定することを特徴とする、
    請求項１から１１のいずれか一項に記載の投影装置。
13. 前記特定手段は、前記撮像画像に基づいて特定される前記環境光の強度分布における高周波成分を除去した後の強度分布に基づいて、前記段差領域を特定することを特徴とする、
    請求項１から１１のいずれか一項に記載の投影装置。
14. 前記特定手段は、前記撮像画像における前記環境光の強度が所定の閾値以下である暗階調領域を特定し、
    前記補正画像生成手段は、前記暗階調領域の面積が所定の値以上であることを条件として前記入力画像を補正することを特徴とする、
    請求項１から１３のいずれか一項に記載の投影装置。
15. 前記補正画像生成手段は、前記段差領域から所定の範囲の前記入力画像を補正することにより前記投影用画像を生成することを特徴とする、
    請求項１から１４のいずれか一項に記載の投影装置。
16. 前記補正画像生成手段は、前記段差領域から離れるにつれて補正の強度が弱くなるように前記入力画像を補正することにより前記投影用画像を生成することを特徴とする、
    請求項１から１５のいずれか一項に記載の投影装置。
17. 入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得する画像取得手段と、
    前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定し、特定した前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成する補正画像生成手段と、
    前記補正画像生成手段が生成した前記投影用画像を出力する出力手段と、
    を有することを特徴とする電子機器。
18. コンピュータが実行する、
    入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得するステップと、
    前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定するステップと、
    前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成するステップと、
    生成した前記投影用画像を出力するステップと、
    を有することを特徴とする画像処理方法。
19. コンピュータに、
    入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得するステップと、
    前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定するステップと、
    前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成するステップと、
    生成した前記投影用画像を出力するステップと、
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。