JP5397190B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。

２次元ディスプレイに２次元画像を表示させ、鑑賞者に３次元画像として知覚させる方法として、両眼視差（左眼と右眼の視差）が設けられている左眼用２次元画像と右眼用２次元画像を、それぞれ、鑑賞者の左眼と右眼に呈示する方法がある。

人間が物体の立体感や奥行きを知覚するための情報としては、両眼による両眼立体情報と、単眼による単眼立体情報とがある。人間は、単眼立体情報と両眼立体情報とを併せて、物体や空間の立体感や奥行き感を知覚している。両眼立体情報には、例えば、両眼視差、水平輻輳などがあり、単眼立体情報には、例えば、陰影、コントラスト、色、空間周波数、遮蔽関係などがある。

２次元ディスプレイに２次元画像を表示させ、鑑賞者に３次元画像として知覚させる場合において、立体感や奥行き感を強調したいとき、例えば、両眼立体情報のうちの一つである両眼視差を大きくする方法が考えられる。

しかし、両眼視差を大きくすることは、人間の眼球構造や視覚特性の観点からすると、次のような問題がある。すなわち、人間の眼球は、通常、平行からやや内向きの輻輳状態になっているため、両眼視差が瞳孔間距離よりも大きくなると、両眼が外側に向く開散状態となる。瞳孔間距離は年齢や性別などによって異なるため、特に、瞳孔間距離が通常よりも狭い人は、開散状態になりやすい。

また、現実世界においては、注視点に両眼の視線が向けられ、かつ眼の焦点も合わせられているため、眼球の輻輳と調節の距離が一致している。しかし、左眼用２次元画像と右眼用２次元画像により３次元画像を知覚させる場合には、輻輳は３次元画像として知覚する位置に合わせられるが、調節は画像表示面に合わせられているため、眼球の輻輳による距離と調節による距離が一致しないこととなる。従って、両眼視差を大きくすることで立体感や奥行き感を強調することは、この眼球の輻輳による距離と調節による距離をさらに一致しない方向に変化させることになるため、鑑賞者に不自然さを知覚させたり、不快感や視覚疲労を覚えさせたりすることになりやすい。

そこで、鑑賞者の不快感や視覚疲労を軽減するため、両眼視差を調整する方法が提案されている。例えば、特許文献１で提案されている方法は、両眼視差を異なる値に設定した複数のサンプル画像を呈示し、呈示された画像に対し、許容できるか否かを応答させることで、両眼視差を調整するものである。

しかし、特許文献１の方法で鑑賞者の不快感や視覚疲労を軽減しようとすると、基本的には両眼視差が立体感や奥行き感を減らす方向に調整されることになるため、臨場感やリアリティが損なわれてしまう。また、両眼立体情報から知覚される立体感や奥行き感が、単眼立体情報から知覚される立体感や奥行き感と異なると、不自然さを覚えることにもなる。

従って、両眼視差を大きくすることで３次元画像の立体感や奥行き感を強調するのは適切ではない。

一方、単眼立体情報を用いて、立体感や奥行き感を強調する方法も提案されている。例えば、特許文献２では、画像内のオブジェクトの奥行き位置に応じて、オブジェクトが有する陰影、遮蔽関係、ボケ具合の特徴を変化させることで、奥行き感を強調させることが提案されている。

特許第３７４９２２７号公報 特開２００１−２３８２３１号公報

しかしながら、特許文献２では、どのパラメータをどのような計算式に基づいてどのような値に設定すればよいかが具体的に開示されていない。試行錯誤的に値を設定した場合であっても、得られる左眼用２次元画像と右眼用２次元画像が人間にとって自然で快適である保証はなく、むしろ不自然さや不快感を覚えたり、視覚疲労を引き起こしたりする可能性もある。

本発明は、このような状況に鑑みてなされたものであり、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにするものである。

本発明の一側面の画像処理装置は、入力された３次元画像から、奥行き情報を抽出する奥行き情報抽出手段と、前記３次元画像の輝度成分を抽出する輝度抽出手段と、前記輝度抽出手段により抽出された前記３次元画像の輝度成分に基づいて、前記３次元画像のコントラスト成分を抽出するコントラスト抽出手段と、入力された前記３次元画像の空間周波数成分を抽出する空間周波数抽出手段と、人間の視覚特性に基づいて決定された、３次元画像のコントラスト成分と主観的に知覚される奥行き量との関係を表す評価関数を所定の空間周波数成分ごとに記憶する記憶手段と、前記奥行き情報抽出手段で抽出された前記奥行き情報から判断される、入力された前記３次元画像の手前側の領域または奥側の領域の少なくとも一方に対し、前記コントラスト抽出手段により抽出された前記３次元画像の前記コントラスト成分から、入力された前記３次元画像の現在の前記奥行き量を前記評価関数に基づいて算出し、算出された前記現在の奥行き量と、設定された奥行き調整量とに基づいて、入力された前記３次元画像のコントラスト成分を調整するコントラスト調整手段とを備え、前記コントラスト調整手段は、抽出された前記３次元画像の空間周波数成分に対応する前記評価関数を適用して、算出された前記現在の奥行き量を、前記設定された奥行き調整量とするためのコントラスト成分を算出し、入力された前記３次元画像のコントラスト成分を、算出されたコントラスト成分となるように調整する。

本発明の一側面の画像処理方法は、人間の視覚特性に基づいて決定された、３次元画像のコントラスト成分と主観的に知覚される奥行き量との関係を表す評価関数を所定の空間周波数成分ごとに記憶し、入力された３次元画像の奥行き感を調整する処理を行う画像処理装置が、前記３次元画像から、奥行き情報を抽出し、前記３次元画像の輝度成分を抽出し、抽出された前記３次元画像の輝度成分に基づいて、前記３次元画像のコントラスト成分を抽出し、前記３次元画像の空間周波数成分を抽出し、抽出された前記奥行き情報から判断される、入力された前記３次元画像の手前側の領域または奥側の領域の少なくとも一方に対し、抽出された前記３次元画像の前記コントラスト成分から、入力された前記３次元画像の現在の前記奥行き量を前記評価関数に基づいて算出し、算出された前記現在の奥行き量と、設定された奥行き調整量とに基づいて、入力された前記３次元画像のコントラスト成分を調整するステップを含み、前記３次元画像のコントラスト成分の調整では、抽出された前記３次元画像の空間周波数成分に対応する前記評価関数を適用して、算出された前記現在の奥行き量を、前記設定された奥行き調整量とするためのコントラスト成分を算出し、入力された前記３次元画像のコントラスト成分を、算出されたコントラスト成分となるように調整する。

本発明の一側面のプログラムは、人間の視覚特性に基づいて決定された、３次元画像のコントラスト成分と主観的に知覚される奥行き量との関係を表す評価関数を所定の空間周波数成分ごとに記憶している記憶手段を用いて、入力された３次元画像の奥行き感を調整する処理を行うコンピュータに、入力された３次元画像から、奥行き情報を抽出し、前記３次元画像の輝度成分を抽出し、抽出された前記３次元画像の輝度成分に基づいて、前記３次元画像のコントラスト成分を抽出し、前記３次元画像の空間周波数成分を抽出し、抽出された前記奥行き情報から判断される、入力された前記３次元画像の手前側の領域または奥側の領域の少なくとも一方に対し、抽出された前記３次元画像の前記コントラスト成分から、入力された前記３次元画像の現在の主観的に知覚される奥行き量を前記評価関数に基づいて算出し、算出された前記現在の奥行き量と、設定された奥行き調整量とに基づいて、入力された前記３次元画像のコントラスト成分を調整するステップを含み、前記３次元画像のコントラスト成分の調整では、抽出された前記３次元画像の空間周波数成分に対応する前記評価関数を適用して、算出された前記現在の奥行き量を、前記設定された奥行き調整量とするためのコントラスト成分を算出し、入力された前記３次元画像のコントラスト成分を、算出されたコントラスト成分となるように調整する処理を実行させるためのものである。

本発明の一側面においては、入力された３次元画像から、奥行き情報が抽出され、３次元画像の輝度成分が抽出され、抽出された３次元画像の輝度成分に基づいて、３次元画像のコントラスト成分が抽出され、３次元画像の空間周波数成分が抽出され、抽出された奥行き情報から判断される、入力された３次元画像の手前側の領域または奥側の領域の少なくとも一方に対し、抽出された３次元画像のコントラスト成分から、入力された３次元画像の現在の主観的に知覚される奥行き量が、人間の視覚特性に基づいて決定された、３次元画像のコントラスト成分と主観的に知覚される奥行き量との関係を表す評価関数に基づいて算出され、算出された現在の奥行き量と、設定された奥行き調整量とに基づいて、入力された３次元画像のコントラスト成分が調整される。３次元画像のコントラスト成分の調整では、人間の視覚特性に基づいて決定された、３次元画像のコントラスト成分と主観的に知覚される奥行き量との関係を表す評価関数を所定の空間周波数成分ごとに記憶している記憶手段を用いて、抽出された３次元画像の空間周波数成分に対応する評価関数が適用されて、算出された現在の奥行き量を、設定された奥行き調整量とするためのコントラスト成分が算出されて、入力された３次元画像のコントラスト成分が、算出されたコントラスト成分となるように調整される。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本発明の一側面によれば、３次元画像の奥行き感を強調させることができる。

また、本発明の一側面によれば、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。

本発明を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。 視覚実験によって得られたマイケルソンコントラストCとコントラストによって主観的に知覚される奥行き量Dの関係を定量化した評価関数を示す図である。 図１の画像処理装置が行うコントラスト調整処理を説明するフローチャートである。 第１のデータ形式で供給された場合の３次元画像の例を示す図である。 ３次元画像から抽出された奥行き情報を可視化した奥行き画像の例を示す図である。 輝度成分を抽出することにより生成された輝度画像の例を示す図である。 各空間周波数成分を抽出した抽出結果を可視化した空間周波数成分画像の例を示す図である。 本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。 図８の画像処理装置が行うコントラスト調整処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第1の実施の形態（コントラストを調整することで奥行き感を変更する実施の形態）
２．第２の実施の形態（ユーザの嗜好を反映したコントラストの調整を可能とした実施の形態）

＜１．第1の実施の形態＞
［画像処理装置の構成ブロック図］
図１は、本発明を適用した画像処理装置の第１の実施の形態の構成例を示している。

図１の画像処理装置１は、画像入力部１１、奥行き情報抽出部１２、輝度抽出部１３、空間周波数抽出部１４、コントラスト抽出部１５、メモリ部１６、コントラスト調整部１７、画像処理部１８、および画像出力部１９により構成されている。

画像処理装置１は、入力された３次元画像に対して、３次元画像の奥行き感を強調させるため、３次元画像のコントラストを変更（調整）する処理を行う。ここで、３次元画像とは、鑑賞者に３次元画像を知覚させるための２次元画像をいう。

画像入力部１１は、外部からの３次元画像の入力を受け付け、入力された３次元画像を奥行き情報抽出部１２および輝度抽出部１３に供給する。外部から入力される３次元画像のデータ形式には様々な形式があるが、その形式は問わない。３次元画像のデータ形式には、例えば、左眼用画像と右眼用画像から構成されるステレオ画像の形式として供給される第１のデータ形式、３以上の複数の視点画像から構成される多視点画像の形式として供給される第２のデータ形式、２次元画像とその奥行き情報という形で供給される第３のデータ形式などがある。以下において、処理対象として画像または輝度画像という場合には、第１のデータ形式では、左眼用画像と右眼用画像それぞれを、第２のデータ形式では、複数の視点画像それぞれを、第３のデータ形式では、奥行き情報とともに供給される２次元画像を意味するものとする。

奥行き情報抽出部１２は、画像入力部１１から供給された３次元画像から奥行き情報を抽出する。具体的には、３次元画像が第１のデータ形式で入力された場合には、奥行き情報抽出部１２は、ステレオ画像における対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。両眼視差は、ブロックマッチング法やＤＰマッチング法などの手法を用いることで算出することができる。

また、３次元画像が第２のデータ形式で入力された場合には、奥行き情報抽出部１２は、３以上の視点画像のうちの対応する２枚の視点画像に対して両眼視差を算出し、算出された両眼視差から、奥行き情報を近似的に算出する。

さらに、３次元画像が第３のデータ形式で入力された場合には、奥行き情報抽出部１２は、奥行き情報そのものが供給されるので、供給された奥行き情報を抽出する。

奥行き情報抽出部１２は、３次元画像から抽出された奥行き情報をコントラスト調整部１７に供給する。奥行き情報は、コントラスト調整部１７において、コントラストを調整する処理領域を特定するための情報として利用される。

なお、本実施の形態では、上述したように、画像入力部１１から奥行き情報抽出部１２に、奥行き情報を抽出する処理対象としての３次元画像を供給するようにしたが、輝度抽出部１３の処理結果の３次元画像を奥行き情報抽出部１２に供給するようにしてもよい。

輝度抽出部１３は、画像入力部１１から供給される３次元画像の輝度成分を抽出する。例えば、供給される画像がRGB表色系における線形のRGB値で表されている場合、輝度抽出部１３は、ITU-R BT709で規定される次式（１）により、輝度値Yに変換することで、３次元画像の輝度成分を抽出する。
Y=０．２１２６R＋０．７１５２G＋０．０７２２B・・・・・（１）

式（１）により、各画素の輝度値Yで構成される画像を輝度画像という。なお、画像は、必ずしもRGB値からなる形式（RGB信号）で表されている必要はなく、CIE XYZ表色系におけるXYZ値で表されている場合には、輝度値Yで構成される画像が輝度画像とされる。また、輝度値の算出（抽出）も、式（１）以外の方法で算出してもよい。

空間周波数抽出部１４は、３次元画像の所定の空間周波数成分を抽出する。空間周波数成分の抽出には、例えば、ガボールフィルタ（Gabor filter）を用いる手法を採用することができる。ガボールフィルタは、視覚系における信号応答特性を近似していると言われ、その関数ｇ（x，y，λ，θ，ψ，σ，γ）は、式（２）で表される。

式（２）において、x，yは輝度画像の座標値を、λは空間周波数に対応する波長を、θは方位（方向）を、ψは位相を、σはガウス分布の分散を、γはアスペクト比を、それぞれ表す。また、ここでの空間周波数とは、人間の目の１°（degree）の視角内に入る、白色と黒色の濃淡変化（コントラスト）で定義され、その単位はcpd（cycle per degree）である。

例えば、空間周波数抽出部１４は、λを１cpdの波長とした式（２）のガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と、輝度抽出部１３で抽出された輝度画像の輝度値Yを畳み込み積分することで、輝度画像の１cpdの空間周波数成分を有する領域を抽出することができる。輝度画像の２cpdや４cpdの空間周波数成分を抽出する場合も同様に、２cpdまたは４cpdの波長としたガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と、輝度画像の輝度値Yを畳み込み積分することで、求めることができる。

すなわち、λを所定の空間周波数の波長とした式（２）のガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と、輝度抽出部１３で抽出された輝度画像の輝度値Yを畳み込み積分することで、輝度画像のどの領域にどの空間周波数の成分が含まれるかが分かる。

なお、輝度画像の所定の空間周波数成分を有する領域を抽出する手法としては、上記の手法以外のものでもよく、最終的に、輝度画像内のどの領域にどの空間周波数の成分が含まれるかが分かるものであればよい。例えば、フーリエ変換等を用いて空間周波数成分を抽出してもよい。ただし、フーリエ変換では、変換の対象となる輝度画像（の領域）全体の空間周波数成分が得られるため、例えば、輝度画像を所定の領域に分割してフーリエ変換を行わなければ、各領域での空間周波数成分を検出することができない。一方、ガボールフィルタによれば、輝度画像全体を処理対象として、どの領域にどの空間周波数の成分が含まれるかが１度に分かる。

また、詳細については後述するが、空間周波数抽出部１４の空間周波数抽出処理は、コントラスト調整部１７において適用する評価関数を、所定の空間周波数ごとに変更する場合に必要な処理である。従って、コントラスト調整部１７において輝度画像全体に対して同一の評価関数を適用する場合には、空間周波数抽出部１４は省略することができる。

コントラスト抽出部１５は、輝度抽出部１３で抽出された３次元画像の輝度成分を用いて、３次元画像のコントラスト成分を抽出する。

具体的には、コントラスト抽出部１５は、コントラスト成分を抽出する処理の単位である処理単位領域として、横×縦にｎ×ｍ画素（ｎ，ｍ≧２）の領域を決定する。そして、コントラスト抽出部１５は、処理単位領域を、例えば、輝度画像の左上端の位置からラスタスキャン方向に所定の画素ずつ移動させることで、輝度画像全体に亘って、複数の処理単位領域のマイケルソンコントラストCを算出する。

マイケルソンコントラストCは、式（３）で定義される。

式（３）において、L_maxは、処理単位領域内の輝度値Yの最大値、L_minは、処理単位領域内の輝度値Yの最小値を表す。

なお、処理単位領域の大きさは、特に限定されないが、視角と画素数の関係から、最適な大きさを決定することができる。

また、処理単位領域を、移動させるときの移動量（画素数）についても特に限定されず、任意に決定することができる。各処理単位領域は、一部が重複するように設定してもよいし、重複しないようにタイル状に設定してもよい。精度を重視する場合、即ち、より滑らかな画像としてコントラストの調整を行う場合には、１画素単位でずらすようにすればよい。

コントラスト抽出部１５は、３次元画像のコントラスト成分として算出された、各処理単位領域のマイケルソンコントラストCを、輝度画像とともにコントラスト調整部１７に供給する。

メモリ部１６は、視覚実験によって得られた、マイケルソンコントラストCとコントラストによって主観的に知覚される奥行き量D（以下、主観的奥行き量Dとも称する。）の関係を定量化した評価関数を記憶する。

［マイケルソンコントラストCと主観的奥行き量Dの関係］
図２は、横軸をマイケルソンコントラストCの対数軸、縦軸を主観的奥行き量Dとして、視覚実験によって得られたマイケルソンコントラストCと、そのときの主観的奥行き量Dをプロットし、その関係を定量化した評価関数を示している。マイケルソンコントラストCの単位は［％］であり、主観的奥行き量Dの単位は［arcmin：角度分］である。

図２において、四角（□）は、空間周波数が０．５cpd、１cpd、および２cpdの輝度画像におけるマイケルソンコントラストCと主観的奥行き量Dの関係を示している。また、菱形（◆）は、空間周波数が４cpdおよび８cpdの輝度画像におけるマイケルソンコントラストCと主観的奥行き量Dの関係を示している。

主観的奥行き量Dは、ディスプレイに表示された物体を鑑賞者がディスプレイ上にあると感じる値が０［arcmin］である。そして、主観的奥行き量Dが正の値の場合には、その値だけ鑑賞者がディスプレイよりも前に物体があると感じることを、主観的奥行き量Dが負の値の場合には、その値だけ鑑賞者がディスプレイよりも後ろに物体があると感じることを表している。

例えば、四角（□）のプロットが、マイケルソンコントラストCが５［％］で、主観的奥行き量Dが約０［arcmin］の位置にある。また、四角（□）のプロットは、マイケルソンコントラストCが約２５［％］で、主観的奥行き量Dが約３０［arcmin］の位置にもある。この値の例では、マイケルソンコントラストCが５［％］である物体を、マイケルソンコントラストCが約２５［％］の物体に変更した場合、鑑賞者の主観的奥行き量Dは、約０［arcmin］から約３０［arcmin］となることを示している。すなわち、物体のマイケルソンコントラストCを５［％］から約２５［％］とすることにより、鑑賞者は、画像内の物体を、変更前と比べて、約３０［arcmin］手前に知覚することを示している。

マイケルソンコントラストCと主観的奥行き量Dとの間には、図２に示されるように、マイケルソンコントラストCの増加に応じて、主観的奥行き量Dも増加するという、単調増加の関係がある。換言すれば、主観的奥行き量Dは、マイケルソンコントラストCの対数にほぼ比例する関係がある。

そこで、マイケルソンコントラストCと主観的奥行き量Dの関係を、対数を用いたD=A×log（C）＋B，（A，Bは定数）の評価関数で近似して表すことができる。具体的には、０．５cpd、１cpd、２cpd、４cpdおよび８cpdの全ての空間周波数成分のデータに対して、残差が最小となるようなD=A×log（C）＋BのパラメータAおよびBを求めると、式（４）で表すことができる。

すなわち、式（４）では、A=１８．０４，B=−２９．０７である。図２において式（４）は、log関数と記載された点線で示されている。

また、マイケルソンコントラストCと主観的奥行き量Dの関係を、視覚系の応答について利用されるNaka-Rushtonの式（評価関数）に当てはめて表すことも可能である。Naka-Rushtonの式は、次式（５）で表される。

式（５）において、D_amp、D_min、C₅₀、およびｎは、所定の定数であり、D_ampは奥行き量の最大最小幅を、D_minは奥行き量の最小値を、およびC₅₀は奥行き量がその最大値と最小値の中央値となるときのコントラスト値を表す。

視覚実験によって得られた０．５cpd、１cpd、２cpd、４cpdおよび８cpdの全ての空間周波数のデータに対して、残差が最小となるように、Naka-Rushtonの式のパラメータD_amp、D_min、C₅₀、およびｎを求めると、式（６）となる。

すなわち、式（６）では、D_amp＝７７．９、D_min＝−３０．５、C₅₀＝７．７４、およびｎ＝１．０９である。図２では、式（６）が１点鎖線で示されている。

例えば、ある輝度画像のマイケルソンコントラストCが１０［％］である場合、式（６）にC=１０を代入すると、主観的奥行き量Dは、１３．９［arcmin］となる。そして、主観的奥行き量Dを２倍、即ち、２７．８［arcmin］とするためには、式（６）を逆算的に計算して、輝度画像のマイケルソンコントラストCを２０．９［％］とすれば良いことになる。

評価関数は、所定の空間周波数ごとに区別して適用してもよい。例えば、図２において、評価関数としてNaka-Rushtonの式を採用するが、２cpd以下の空間周波数の輝度画像と、２cpdより大の空間周波数の輝度画像とで適用する評価関数を区別する場合、２cpd以下の空間周波数成分のデータに対して、D_amp＝７８．５、D_min＝−３０．５、C₅₀＝９．９３、およびｎ＝１．２３が得られる。また、２cpdより大の空間周波数成分のデータに対しては、D_amp＝５８．５、D_min＝−３０．５、C₅₀＝３．４５、およびｎ＝２．０５が得られる。

すなわち、２cpd以下の空間周波数の輝度画像については式（７）の評価関数を、２cpdより大の空間周波数の輝度画像については式（８）の評価関数を適用することができる。

図１に戻り、メモリ部１６は、上述したような、視覚実験によって得られた評価関数としての式（４）、式（６）、若しくは式（７）と式（８）の組の一部または全部を記憶する。即ち、メモリ部１６には、上述した式（４）、式（６）、若しくは式（７）と式（８）の組の全部を記憶させて、必要に応じて使い分けてもよいし、予め採用することを決定した評価関数のみを記憶してもよい。なお、コンピュータで計算する場合には、対数関数である式（４）を用いた方が計算が簡単である。また、メモリ部１６は、評価関数の式そのものを記憶する他、評価関数をLUT（Look Up Table）形式で記憶するようにしてもよい。

コントラスト調整部１７には、奥行き情報抽出部１２から３次元画像の奥行き情報が、コントラスト抽出部１５から３次元画像のコントラスト成分が、空間周波数抽出部１４から３次元画像の空間周波数成分が、それぞれ供給される。

コントラスト調整部１７は、３次元画像の奥行き感を変更（調整）するため、輝度画像のマイケルソンコントラストCを変更（調整）する。図２を参照して説明したように、マイケルソンコントラストCと主観的奥行き量Dとの間には、単調増加の関係があるため、３次元画像の奥行き感を強調する場合には、マイケルソンコントラストCが大きくなるように、輝度画像のコントラスト成分を調整すればよい。

コントラスト調整部１７が、空間周波数に関わらず、輝度画像全体に対して１つの評価関数、例えば、式（６）の評価関数を用いて、輝度画像のマイケルソンコントラストCを変更（調整）する場合について説明する。

例えば、輝度画像のある１つの処理単位領域のマイケルソンコントラストCが１０［％］である場合、式（６）にC=１０を代入すると、主観的奥行き量Dは、１３．９［arcmin］となる。そして、主観的奥行き量Dを２倍、即ち、２７．８［arcmin］とするためには、コントラスト調整部１７が、その処理単位領域のマイケルソンコントラストCを、２０．９［％］、即ち、２．０９倍に変更（調整）すればよい。

主観的奥行き量Dを何倍とするかを決定する奥行き調整量は、コントラスト調整部１７内に予め設定されている。主観的奥行き量Dを２倍にするためには、輝度画像内の手前側にある領域は、より手前となるように変更するか、輝度画像内の奥側にある領域は、より奥となるように変更するか、少なくともいずれか一方の処理が必要である。即ち、手前側の領域と奥側の領域とで、コントラストの変更する方向が異なる。奥行き情報抽出部１２から供給された奥行き情報は、輝度画像を奥側の領域と手前側の領域に分離するために利用される。

コントラスト調整部１７は、奥行き情報抽出部１２から供給された奥行き情報に基づいて、３次元輝度画像の奥側の領域と手前側の領域を判別する。ここで、奥側の領域と手前側の領域に分離される領域の最小単位は、コントラスト抽出部１５がマイケルソンコントラストCを計算した時の処理単位領域と実質的に等しくなる。

次に、コントラスト調整部１７は、メモリ部１６に記憶されている式（６）の評価関数を読み出す。そして、コントラスト調整部１７は、奥側の領域と手前側の領域に含まれる全ての処理単位領域について、そのマイケルソンコントラストCから、現在の主観的奥行き量Dを求める。求めた現在の主観的奥行き量Dと予め設定されている奥行き調整量から、コントラスト調整後の処理領域に対する主観的奥行き量Dが決まるため、式（６）の評価関数から設定すべきマイケルソンコントラストCが算出できる。即ち、コントラスト調整部１７は、全ての処理単位領域について、現在の主観的奥行き量Dと画像の奥行き情報とに基づいて、現在のマイケルソンコントラストCを何倍にすればよいかを算出する。ここで算出されたマイケルソンコントラストCの調整量をＭ倍（Ｍ＞０）とすると、調整後の画像から主観的に知覚される奥行き量を現在の画像より大きくしたい場合、奥側の領域ではＭ＜１となり、手前側の領域ではＭ＞１となる。また、調整後の画像から主観的に知覚される奥行き量を現在の画像より小さくしたい場合、奥側の領域ではＭ＞１となり、手前側の領域ではＭ＜１となる。

上述した例で言うと、手前画像領域内の所定の処理単位領域において、現在の主観的奥行き量Dが１３．９［arcmin］と求められ、主観的奥行き量Dを２倍、即ち、２７．８［arcmin］とするために、マイケルソンコントラストCを約２倍（Ｍ＝２．０９）にすればよいことが算出される。

次に、コントラスト調整部１７は、奥側の領域と手前側の領域に含まれる全ての処理単位領域について、マイケルソンコントラストCを、算出されたＭ倍にするように、３次元画像のコントラスト成分を調整する。

具体的には、コントラスト調整部１７は、輝度画像を各処理単位領域でフーリエ変換し、各処理単位領域が持つ周波数成分とスペクトル強度を算出する。そして、コントラスト調整部１７は、調整後の各処理単位領域のマイケルソンコントラストCがＭ倍となるように、各処理単位領域の各周波数成分のスペクトル強度を調整する。各処理単位領域の調整後の各周波数成分のスペクトル強度が、画像処理部１８に供給される。

画像処理部１８は、コントラスト調整部１７の調整結果に基づいて、コントラスト調整後の輝度画像を生成する。具体的には、画像処理部１８は、各処理単位領域の調整後の各周波数成分のスペクトル強度に逆フーリエ変換を施すことで、各処理単位領域の調整後の輝度画像を算出する。さらに、画像処理部１８は、各処理単位領域の調整後の輝度画像から、コントラスト調整後の輝度画像を生成する。すなわち、各処理単位領域が、その一部が重複するように設定されている場合には、輝度画像の各画素に対し、調整後の輝度値が複数算出されることがある。そこで、画像処理部１８は、例えば、複数の調整後の輝度値の平均値を、その画素の調整後の輝度値とするなどして、コントラスト調整後の輝度画像を生成する。

画像出力部１９は、画像処理部１８で生成された輝度画像を、画像入力部１１に入力された時と同一の３次元画像に変換し、後段の装置（表示装置など）に出力する。CIE XYZ表色系におけるXYZ値で表されている輝度画像を、RGB表色系におけるRGB値で表される３次元画像に変更する場合、次式（９）乃至（１１）により変換することができる。
Ｒ＝ ３．２４１０Ｘ−１．５３７４Ｙ−０．４９８６Ｚ・・・・・（９）
Ｇ＝−０．９６９２Ｘ＋１．８７６０Ｙ＋０．０４１６Ｚ・・・・・（１０）
Ｂ＝ ０．０５５６Ｘ−０．２０４０Ｙ＋１．０５７０Ｚ・・・・・（１１）

また、３次元画像を出力する際のデータ形式が指定されている場合等には、画像出力部１９は、３次元画像のデータ形式を指定された形式に変換してから出力することもできる。

図１の画像処理装置１は、以上のように構成されている。

なお、上述した例では、３次元輝度画像の手前側の領域のマイケルソンコントラストCを大きくし、かつ、奥側の領域のマイケルソンコントラストCを小さくすることで、奥行き感を強調させるようにした。しかしながら、この他、奥側の領域のマイケルソンコントラストCを変更せずに、手前側の領域のマイケルソンコントラストCのみを大きくすることで、奥行き感を強調させることも可能である。反対に、手前側の領域のマイケルソンコントラストCを変更せずに、奥側の領域のマイケルソンコントラストCのみを小さくすることで、奥行き感を強調させることも可能である。

上述した例は、コントラスト調整部１７が、輝度画像全体に対して式（６）の１つの評価関数を用いて輝度画像のマイケルソンコントラストCを調整する場合について説明したが、式（４）の評価関数を用いて調整する場合も同様である。

［所定の空間周波数成分ごとに複数の評価関数を適用する場合の説明］
次に、コントラスト調整部１７が式（７）および式（８）の２つの評価関数を適用して、輝度画像のマイケルソンコントラストCを調整する場合について、上述した１つの評価関数を適用した場合との相違部分についてのみ説明する。

コントラスト調整部１７は、空間周波数抽出部１４で抽出された３次元画像の空間周波数成分に基づいて、各処理単位領域が、どの空間周波数成分を多く含むかを判定する。

処理単位領域が２cpd以下の空間周波数成分を多く含む場合、その処理単位領域に対しては、コントラスト調整部１７は、メモリ部１６から式（７）の評価関数を読み出し、上述した式（６）の評価関数を適用した場合と同様のマイケルソンコントラストCの調整を行う。

一方、処理単位領域が２cpdより大の空間周波数成分を多く含む場合、その処理単位領域に対しては、コントラスト調整部１７は、メモリ部１６から式（８）の評価関数を読み出し、上述した式（６）の評価関数を適用した場合と同様のマイケルソンコントラストCの調整を行う。

以上のように、複数の評価関数を適用してマイケルソンコントラストCの調整を行う場合、輝度画像の各処理単位領域が有する空間周波数成分に応じて、適用する評価関数が選択される。

なお、上述した例は、奥行き感を強調し、より奥行きが深い画像に変換する例であるが、奥行き感を弱めるように３次元輝度画像を変換することも勿論可能である。

［コントラスト調整処理のフローチャート］
次に、図３のフローチャートを参照して、画像処理装置１が行うコントラスト調整処理について説明する。なお、図３の各ステップの説明に際し、必要に応じて図４乃至図８も併せて参照して説明する。

初めに、ステップＳ１１において、画像入力部１１は、外部からの３次元画像の入力を受け付け、奥行き情報抽出部１２および輝度抽出部１３に供給する。画像入力部１１には、例えば、上述したような第１乃至第３のデータ形式により、３次元画像が外部から入力される。

図４は、第１のデータ形式で供給された場合の３次元画像の例を示している。即ち、第１のデータ形式においては、左眼用画像３１Ｌと右眼用画像３１Ｒで構成される３次元画像３１が画像入力部１１に入力される。左眼用画像３１Ｌと右眼用画像３１Ｒには、両眼視差が設けられている。なお、３次元画像３１は、人工滝を背景にして、女性が大きな石に腰掛けている様子を映した３次元画像である。

ステップＳ１２において、奥行き情報抽出部１２は、画像入力部１１から供給された３次元画像から奥行き情報を抽出する。なお、上述したように、輝度抽出部１３で輝度成分が抽出された３次元輝度画像から奥行き情報を抽出してもよい。

３次元画像のデータが第１または第２のデータ形式で供給された場合、奥行き情報抽出部１２は、ブロックマッチング法やＤＰマッチング法などの手法を用いることで、ステレオ画像または視点画像における対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいて、奥行き情報を近似的に算出する。

一方、３次元画像が第３のデータ形式で供給された場合、奥行き情報抽出部１２は、奥行き情報そのものが供給されるので、供給された奥行き情報を抽出する。奥行き情報抽出部１２は、抽出された奥行き情報をコントラスト調整部１７に供給する。

図５は、図４に示した左眼用画像３１Ｌと右眼用画像３１Ｒからなる３次元画像３１に対して抽出された奥行き情報を可視化した奥行き画像３２を示している。

図５の奥行き画像３２では、奥行き情報を８ビットの値で表し、３次元画像３１のうち、奥にあるオブジェクトは小さい画素値で、手前にあるオブジェクトは大きい画素値で表している。なお、図５に示す奥行き画像３２は、ステップＳ１２の奥行き情報の抽出処理を説明するためのものであり、奥行き画像３２そのものが図３のコントラスト調整処理で使用されることはない。

図５の奥行き画像３２を参照すると、女性およびその女性が腰掛けている石の画素は、背景の人工滝の画素よりも明るい（画素値が大きい）。従って、人工滝が背景であり、女性と大きな石が前景であることが奥行き情報によって的確に表現されている。

ステップＳ１３において、輝度抽出部１３は、画像入力部１１から供給される３次元画像の輝度成分を抽出する。例えば、供給される３次元画像がRGB表色系における線形のRGB値で表されている場合、輝度抽出部１３は、上述した式（１）により、３次元画像のRGB値を輝度値Yに変換することで、３次元画像の輝度成分を抽出する。

図６は、図４に示した左眼用画像３１Ｌと右眼用画像３１Ｒそれぞれから、輝度成分を抽出することにより生成された左眼用輝度画像３３Ｌと右眼用輝度画像３３Ｒで構成される輝度画像３３を示している。なお、図面では、その制約上、３次元画像３１と輝度画像３３の違いが現れていないが、３次元画像３１はカラー画像であり、輝度画像３３はグレイ画像となっている。

ステップＳ１４において、空間周波数抽出部１４は、３次元画像の所定の空間周波数成分を抽出する。換言すれば、空間周波数抽出部１４は、３次元画像のどの領域にどの空間周波数の成分が含まれるかを検出する。

図７は、図６に示した左眼用輝度画像３３Ｌから、１cpd、２cpd、４cpd、および８cpdの各空間周波数成分を抽出したときの抽出結果を可視化した空間周波数成分画像である。

空間周波数は、上述したように、人間の目の１°（degree）の視角内に入る、白色と黒色の濃淡変化（コントラスト）で定義されるため、３次元画像を鑑賞しているユーザからディスプレイまでの距離と、ディスプレイ（に映る３次元画像）の大きさに依存する。この例では、サイズが４０インチで、解像度が１９２０×１０８０のディスプレイを、ディスプレイから３Ｈ（Ｈはディスプレイ表示高）の距離で鑑賞する場合で空間周波数を計算した。

図７の空間周波数成分画像４１は、左眼用輝度画像３３Ｌに対し、１cpdの空間周波数成分を抽出したときの抽出結果を可視化した空間周波数成分画像である。

図７の空間周波数成分画像４２は、左眼用輝度画像３３Ｌに対し、２cpdの空間周波数成分を抽出したときの抽出結果を可視化した空間周波数成分画像である。

図７の空間周波数成分画像４３は、左眼用輝度画像３３Ｌに対し、４cpdの空間周波数成分を抽出したときの抽出結果を可視化した空間周波数成分画像である。

図７の空間周波数成分画像４４は、左眼用輝度画像３３Ｌに対し、８cpdの空間周波数成分を抽出したときの抽出結果を可視化した空間周波数成分画像である。

空間周波数成分画像４１乃至４４では、各空間周波数成分の強度が大きいほど、画素が明るく（画素値が大きく）なっている。

なお、ステップＳ１４の処理は、上述したように、輝度画像全体に対して１つの評価関数を用いて輝度画像のマイケルソンコントラストCを調整する場合には、省略することができる。

ステップＳ１５において、コントラスト抽出部１５は、輝度抽出部１３で抽出された３次元画像の輝度成分を用いて、３次元画像のコントラスト成分を抽出する。具体的には、コントラスト抽出部１５は、輝度画像に対して処理単位領域を所定量移動させながら、各処理単位領域のマイケルソンコントラストCを算出することにより、輝度画像全体に亘ってマイケルソンコントラストCを算出する。

ステップＳ１６において、コントラスト調整部１７は、奥行き情報抽出部１２から供給された奥行き情報に基づいて、３次元輝度画像の奥側の領域と手前側の領域を判別する。

ステップＳ１７において、コントラスト調整部１７は、評価関数をメモリ部１６から読み出す。輝度画像全体に対して１つの評価関数を適用してコントラスト成分を調整する場合には、式（４）または式（６）の評価関数が読み出される。また、輝度画像全体に対して２つの評価関数を適用してコントラスト成分を調整する場合には、式（７）および式（８）の評価関数が読み出される。

ステップＳ１８において、コントラスト調整部１７は、全ての処理単位領域について、そのマイケルソンコントラストCから現在の主観的奥行き量Dを求める。求められた現在の主観的奥行き量Dにより、コントラスト調整後の処理領域に対する主観的奥行き量Dが決まるため、メモリ部１６から読み出した評価関数に基づいて、設定すべきマイケルソンコントラストCが算出できる。即ち、コントラスト調整部１７は、全ての処理単位領域について、現在の主観的奥行き量Dと画像の奥行き情報とに基づいて、現在のマイケルソンコントラストCを何倍にすればよいかを算出する。算出されたマイケルソンコントラストCの調整量がＭ倍であるとする。

ここで、所定の空間周波数成分ごとに複数の評価関数を適用する場合には、コントラスト調整部１７は、ステップＳ１４で抽出された３次元画像の空間周波数成分に基づいて、処理単位領域の輝度画像が、どの空間周波数成分を多く含むかを判定する。そして、コントラスト調整部１７は、ステップＳ１７でメモリ部１６から読み出した評価関数のうち、多く含むと判定された空間周波数成分に対応する評価関数を用いて、処理単位領域ごとの、設定すべきマイケルソンコントラストCを算出する。

一方、輝度画像全体に対して式（４）または式（６）等の１つの評価関数を適用する場合には、コントラスト調整部１７は、ステップＳ１７でメモリ部１６から読み出した１つの評価関数を用いて、処理単位領域ごとの、設定すべきマイケルソンコントラストCを算出する。

ステップＳ１９において、コントラスト調整部１７は、奥側の領域と手前側の領域に含まれる全ての処理単位領域について、マイケルソンコントラストCを算出されたＭ倍にするように、コントラスト成分を調整する。具体的には、コントラスト調整部１７は、輝度画像を各処理単位領域でフーリエ変換し、各処理単位領域が持つ周波数成分とスペクトル強度を算出する。そして、コントラスト調整部１７は、調整後の各処理単位領域のマイケルソンコントラストCがＭ倍となるように、各処理単位領域の各周波数成分のスペクトル強度を調整する。各処理単位領域の調整後の各周波数成分のスペクトル強度が、画像処理部１８に供給される。

ステップＳ２０において、画像処理部１８は、コントラスト調整部１７の調整結果に基づいて、コントラスト調整後の輝度画像を生成する。具体的には、画像処理部１８は、各処理単位領域の調整後の各周波数成分のスペクトル強度に逆フーリエ変換を施すことで、各処理単位領域の調整後の輝度画像を算出する。そして、画像処理部１８は、各処理単位領域の調整後の輝度画像から、コントラスト調整後の輝度画像を生成する。

ステップＳ２１において、画像出力部１９は、コントラスト調整後の３次元画像を、表示装置などの後段の装置に出力する。即ち、画像出力部１９は、画像処理部１８で生成された輝度画像を、画像入力部１１に入力された時と同一の３次元画像に変換し、後段の装置に出力する。画像出力部１９は、画像処理部１８で生成された３次元画像のデータ形式を、必要に応じて他の形式に変換して出力することもできる。

以上のステップＳ１１乃至Ｓ２１の処理が、画像入力部１１に３次元画像が入力される度に、繰り返し実行される。

ステップＳ１１乃至Ｓ２１の各処理の実行順序は、上述の例に限定されず、必要に応じて変更することができる。例えば、上述したステップＳ１１乃至Ｓ２１の処理のうち、ステップＳ１２とステップＳ１３は並行して実行することができる。また、ステップＳ１４とステップＳ１５も並行して実行することができる。

＜２．第２の実施の形態＞
［画像処理装置の構成ブロック図］
図８は、本発明を適用した画像処理装置の第２の実施の形態の構成例を示している。

図８において、第１の実施の形態と対応する部分については同一の符号を付してあり、その説明は省略する。

図８の画像処理装置１では、ユーザ入力部２０が新たに設けられている点を除いて、図１と同様に構成されている。

第２の実施の形態では、最初は、第１の実施の形態と同様に自動で（ユーザの入力なしに）調整されたマイケルソンコントラストCによる画像処理結果が出力される。そして、自動調整による画像処理結果を確認した後、ユーザ自身が必要に応じてマイケルソンコントラストCを変更することができる。

ユーザ入力部２０は、ユーザが設定する奥行き調整量としてのマイケルソンコントラストCの入力を受け付け、コントラスト調整部１７に供給する。

コントラスト調整部１７は、予め決定された奥行き調整量に基づくコントラスト調整処理がなされた３次元画像が画像出力部１９から出力された後、マイケルソンコントラストCを変更するか否かを確認する画像を画像出力部１９から出力させる。これにより、後段の表示装置等では、マイケルソンコントラストCを変更するか否かを確認する確認画面が表示される。なお、この確認画面は、自動調整に基づくコントラスト調整処理がなされた３次元画像にOSD表示するものでもよい。

ユーザは、自動調整に基づくコントラスト調整処理後の３次元画像を確認し、マイケルソンコントラストCを変更すると判断した場合、ユーザ入力部２０でマイケルソンコントラストCの変更値を入力する。ユーザ入力部２０は、ユーザによって入力されたマイケルソンコントラストCの変更値をコントラスト調整部１７に供給する。

コントラスト調整部１７は、マイケルソンコントラストCの変更値がユーザ入力部２０から供給された場合、自動調整したマイケルソンコントラストCよりも、供給されたマイケルソンコントラストCの変更値を優先的に適用する。即ち、コントラスト調整部１７は、マイケルソンコントラストCの変更値が供給された場合、予め決定された奥行き調整量に基づくマイケルソンコントラストCの調整量ではなく、供給されたマイケルソンコントラストCの変更値に基づいて３次元輝度画像のコントラスト成分を調整する。

［コントラスト調整処理のフローチャート］
図９のフローチャートを参照して、画像処理装置１の第２の実施の形態におけるコントラスト調整処理を説明する。

図９のステップＳ４１乃至Ｓ５１の処理は、上述した図３のステップＳ１１乃至Ｓ２１の処理と同様であるので、その説明は省略する。即ち、最初は、コントラスト調整部１７で決定されたマイケルソンコントラストCにより輝度値が変更された３次元画像が後段の表示装置等に表示される。

そして、ステップＳ５２において、コントラスト調整部１７は、マイケルソンコントラストCを変更するか否かを確認する画像を画像出力部１９から出力させ、マイケルソンコントラストCを変更するか否かを確認する確認画面を後段の表示装置等に表示させる。

ステップＳ５３において、コントラスト調整部１７は、ユーザ入力部２０においてマイケルソンコントラストCの変更が選択されたかを判定する。マイケルソンコントラストCの変更の有無についてのユーザの選択情報は、ユーザ入力部２０からコントラスト調整部１７に供給される。

また、マイケルソンコントラストCの変更が選択された場合には、マイケルソンコントラストCの変更値もユーザ入力部２０からコントラスト調整部１７に供給される。

ステップＳ５３で、マイケルソンコントラストCの変更が選択されなかった場合、処理は終了する。

一方、ステップＳ５３で、マイケルソンコントラストCの変更が選択された場合、処理はステップＳ５４に進む。ステップＳ５４において、ユーザ入力部２０は、ユーザによって入力されたマイケルソンコントラストCの変更値を、コントラスト調整部１７に供給する。

ステップＳ５４の後、処理はステップＳ４９に戻る。ステップＳ４９では、コントラスト調整部１７は、奥側の領域と手前側の領域に含まれる全ての処理単位領域について、マイケルソンコントラストCが、ユーザ入力部２０から供給された変更値となるように、コントラスト成分を調整する。ステップＳ５０以降の処理は同様である。

以上のようなコントラスト調整処理によれば、自動調整されたマイケルソンコントラストCによる画像処理結果を確認した後、ユーザ自身が必要に応じてマイケルソンコントラストCをさらに変更することができる。

従って、ユーザの嗜好を反映した、３次元画像の奥行き感を強調させるためのコントラスト成分の調整が可能である。

なお、ユーザには、「奥行き感をより強く」、「奥行き感をより弱く」などの項目を選択させ、その項目に応じて予め設定された量（例えば、自動調整によって決定された値の１．５倍など）を、マイケルソンコントラストCの変更値とするようにしてもよい。

以上、本発明を適用した画像処理装置１によれば、人間の視覚特性を視覚実験によって定量化した評価関数を用いて３次元画像の奥行き感を強調させることができる。具体的には、マイケルソンコントラストCとコントラストによって主観的に知覚される奥行き量Dの関係を定量化した評価関数を用いて３次元画像の奥行き感を強調させることができる。コントラストは、物体の立体感や奥行きを人間が知覚するための両眼立体情報と単眼立体情報のうち、単眼立体情報に属する。従って、画像処理装置１によれば、人間の視覚特性に基づいて単眼立体情報の１つであるコントラストのパラメータを調整することで、３次元画像の奥行き感を強調させることができる。

また、画像処理装置１によれば、コントラストを変更することにより３次元画像の奥行き感を強調させることができるので、その分、両眼立体情報の１つである両眼視差を小さくすることも可能である。その場合、コントラストを変更せずに両眼視差のみで同一の奥行き感を知覚させる３次元画像と比較すると、両眼視差が小さいので、［背景技術］の欄で説明した「眼球の輻輳位置と調節位置」が近づく方向となる。従って、鑑賞者が不自然さを知覚したり、不快感や視覚疲労を覚えたりすることが軽減される。即ち、コントラストのパラメータを調整し、３次元画像の奥行き感を強調させることで、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。換言すれば、単眼立体情報と両眼立体情報とを組み合わせて、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 画像処理装置， １１ 画像入力部， １２ 奥行き情報抽出部， １３ 輝度抽出部， １４ 空間周波数抽出部， １５ コントラスト抽出部， １６ メモリ部， １７ コントラスト調整部， １８ 画像処理部， １９ 画像出力部， ２０ ユーザ入力部， ５１ コントラスト調整制御部， １０１ CPU， １０２ ROM， １０３ RAM， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部

Claims (7)

1. 入力された３次元画像から、奥行き情報を抽出する奥行き情報抽出手段と、
   前記３次元画像の輝度成分を抽出する輝度抽出手段と、
   前記輝度抽出手段により抽出された前記３次元画像の輝度成分に基づいて、前記３次元画像のコントラスト成分を抽出するコントラスト抽出手段と、
   入力された前記３次元画像の空間周波数成分を抽出する空間周波数抽出手段と、
   人間の視覚特性に基づいて決定された、３次元画像のコントラスト成分と主観的に知覚される奥行き量との関係を表す評価関数を所定の空間周波数成分ごとに記憶する記憶手段と、
   前記奥行き情報抽出手段で抽出された前記奥行き情報から判断される、入力された前記３次元画像の手前側の領域または奥側の領域の少なくとも一方に対し、前記コントラスト抽出手段により抽出された前記３次元画像の前記コントラスト成分から、入力された前記３次元画像の現在の前記奥行き量を前記評価関数に基づいて算出し、算出された前記現在の奥行き量と、設定された奥行き調整量とに基づいて、入力された前記３次元画像のコントラスト成分を調整するコントラスト調整手段と
   を備え、
   前記コントラスト調整手段は、抽出された前記３次元画像の空間周波数成分に対応する前記評価関数を適用して、算出された前記現在の奥行き量を、前記設定された奥行き調整量とするためのコントラスト成分を算出し、入力された前記３次元画像のコントラスト成分を、算出されたコントラスト成分となるように調整する
   画像処理装置。
2. 前記奥行き調整量の入力を受け付ける奥行き調整量入力手段をさらに備える
   請求項１に記載の画像処理装置。
3. 前記コントラスト抽出手段は、前記３次元画像のコントラスト成分として、前記３次元画像のマイケルソンコントラストを算出する
   請求項１または２に記載の画像処理装置。
4. 前記評価関数は、前記マイケルソンコントラストをC、前記奥行き量をDとして、
   D=A×log（C）＋B（A,Bは所定の定数）で表される
   請求項３に記載の画像処理装置。
5. 前記評価関数は、前記マイケルソンコントラストをC、前記奥行き量をDとして、
   

   

   （D_amp、D_min、C₅₀、およびｎは、所定の定数）で表される
   請求項３に記載の画像処理装置。
6. 人間の視覚特性に基づいて決定された、３次元画像のコントラスト成分と主観的に知覚される奥行き量との関係を表す評価関数を所定の空間周波数成分ごとに記憶し、入力された３次元画像の奥行き感を調整する処理を行う画像処理装置が、
   前記３次元画像から、奥行き情報を抽出し、
   前記３次元画像の輝度成分を抽出し、
   抽出された前記３次元画像の輝度成分に基づいて、前記３次元画像のコントラスト成分を抽出し、
   前記３次元画像の空間周波数成分を抽出し、
   抽出された前記奥行き情報から判断される、入力された前記３次元画像の手前側の領域または奥側の領域の少なくとも一方に対し、抽出された前記３次元画像の前記コントラスト成分から、入力された前記３次元画像の現在の前記奥行き量を前記評価関数に基づいて算出し、
   算出された前記現在の奥行き量と、設定された奥行き調整量とに基づいて、入力された前記３次元画像のコントラスト成分を調整する
   ステップを含み、
   前記３次元画像のコントラスト成分の調整では、抽出された前記３次元画像の空間周波数成分に対応する前記評価関数を適用して、算出された前記現在の奥行き量を、前記設定された奥行き調整量とするためのコントラスト成分を算出し、入力された前記３次元画像のコントラスト成分を、算出されたコントラスト成分となるように調整する
   画像処理方法。
7. 人間の視覚特性に基づいて決定された、３次元画像のコントラスト成分と主観的に知覚される奥行き量との関係を表す評価関数を所定の空間周波数成分ごとに記憶している記憶手段を用いて、入力された３次元画像の奥行き感を調整する処理を行うコンピュータに、
   入力された３次元画像から、奥行き情報を抽出し、
   前記３次元画像の輝度成分を抽出し、
   抽出された前記３次元画像の輝度成分に基づいて、前記３次元画像のコントラスト成分を抽出し、
   前記３次元画像の空間周波数成分を抽出し、
   抽出された前記奥行き情報から判断される、入力された前記３次元画像の手前側の領域または奥側の領域の少なくとも一方に対し、抽出された前記３次元画像の前記コントラスト成分から、入力された前記３次元画像の現在の主観的に知覚される奥行き量を前記評価関数に基づいて算出し、
   算出された前記現在の奥行き量と、設定された奥行き調整量とに基づいて、入力された前記３次元画像のコントラスト成分を調整する
   ステップを含み、
   前記３次元画像のコントラスト成分の調整では、抽出された前記３次元画像の空間周波数成分に対応する前記評価関数を適用して、算出された前記現在の奥行き量を、前記設定された奥行き調整量とするためのコントラスト成分を算出し、入力された前記３次元画像のコントラスト成分を、算出されたコントラスト成分となるように調整する
   処理を実行させるためのプログラム。

Images