JP7332325B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

近年、ディスプレイの表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現できる画像を取得するＨＤＲ（ハイダイナミックレンジ）カメラシステムが提案されている。ＨＤＲカメラシステムで画像を出力する際に使用されるＯＥＴＦカーブは、ＨＤＲ規格であるＳＴ２０８４等に記載されたＥＯＴＦ特性に対して逆特性のカーブである。ＯＥＴＦカーブを使用してカメラで撮影された画像を変換する処理を行うことで、ＨＤＲモニタで高輝度側の階調を表示することができる。

しかしながら、ＨＤＲモニタとＳＤＲモニタとが混在する環境の中では、ＨＤＲカメラシステムで撮影したＨＤＲ画像をＳＤＲ画像に変換する技術が必要となる。具体的なケースとしては、カメラの背面液晶がＳＤＲモニタの場合や、ＳＤＲモニタへの外部出力を実施する場合等が挙げられる。ＨＤＲ画像をＳＤＲ画像に変換する場合、ＳＤＲ画像の見た目をＨＤＲ画像の見た目を近づけるためには、ＨＤＲ画像で表現できている階調性を保持して、被写体の色相が変化するような色曲りの少ないＳＤＲ画像を生成する必要がある。

特許文献１は、暗部から中間輝度にかけてはＲＧＢでトーンマッピング処理を実施し、中間輝度から高輝度にかけてはＹＵＶでトーンマッピング処理を実施することで、ＨＤＲ画像をＳＤＲ画像に変換する技術を開示している。

特開２０１６－２２５９６５号公報

しかしながら、特許文献１に開示された技術を用いた場合、輝度信号の値が徐々に変化するような高彩度のグラデーションシーン等において、トーンマッピング処理の切り替わりが視認可能になり、画質の劣化につながる場合があった。

本発明はこのような状況に鑑みてなされたものであり、なるべく画質の劣化を抑制しながら、ＨＤＲ画像をＳＤＲ画像に変換する技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１のダイナミックレンジを持ち所定のトーンカーブが適用された画像データを取得する取得手段であって、前記所定のトーンカーブは前記第１のダイナミックレンジと出力される絶対輝度との関係により視覚特性を表現するトーンカーブである、取得手段と、前記所定のトーンカーブが適用された前記画像データに対して１未満の正の値を乗じることにより、前記所定のトーンカーブを維持しながら、前記画像データを前記第１のダイナミックレンジから前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジへと圧縮する第１の圧縮手段と、を備えることを特徴とする画像処理装置を提供する。

本発明によれば、なるべく画質の劣化を抑制しながら、ＨＤＲ画像をＳＤＲ画像に変換することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

画像処理装置を含む撮像装置１００の構成を示すブロック図。 画像処理部１０４内のＨＤＲ－ＳＤＲ変換処理に関する構成を示すブロック図。 第１の階調変換部２０２の詳細な構成を示すブロック図。 第２の階調変換部２０３の詳細な構成を示すブロック図。 画像処理部１０４におけるＨＤＲ－ＳＤＲ変換処理のフローチャート。 第１の階調変換処理のフローチャート。 第２の階調変換処理のフローチャート。 ＰＱガンマの概念図。 ＰＱスケーリング処理の概念図。 ＰＱスケーリング処理の効果をリニア空間で表現した図。 ＰＱスケーリング処理とリニアスケーリング処理との切り替えの概念図。 ＨＤＲ画像の輝度分布に基づいて決定される、ＰＱスケーリング処理とリニアスケーリング処理との比率の概念図。 ローカルトーンマッピング処理の概念図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、画像処理装置を含む撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮影した画像を画像処理部１０４により現像することによりＨＤＲ画像を生成する。そして、撮像装置１００は、撮影した画像を表示部１０８等に表示する目的で、画像処理部１０４によりＨＤＲ画像をＳＤＲ画像に変換する処理を行う。

なお、ＨＤＲ画像とは、ＨＤＲ規格であるＳＴ２０８４等に記載されたＯＥＴＦ特性を適用した画像を指し、ＳＤＲ画像とは、ＨＤＲ画像よりも出力レンジが狭い画像を指す。以下の説明では、ＨＤＲ画像のガンマはＳＴ２０８４のＯＥＴＦ特性（以下、「ＰＱガンマ」とも呼ぶ）であり、ＨＤＲ画像の色域はＲｅｃ．２０２０であるものとする。また、ＳＤＲ画像のガンマはｓＲＧＢガンマであり、ＳＤＲ画像の色域はｓＲＧＢであるものとする。

図１において、光学系１０１は、ズームレンズやフォーカスレンズなどから構成されるレンズ群、絞り調整装置、及びシャッター装置を備えている。光学系１０１は、撮像部１０２に到達する被写体像の倍率、ピント位置、及び光量を調整する。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換により電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。Ａ／Ｄ変換部１０３は、入力されたアナログ信号をデジタル画像に変換する。

画像処理部１０４は、通常の信号処理の他に、露光量算出処理や、ＨＤＲ画像をＳＤＲ画像に変換する処理（ＨＤＲ－ＳＤＲ変換処理）などを行う。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像のみでなく、記録部１０９から読み出した画像に対しても同様の画像処理を行うことができる。画像処理部１０４内のＨＤＲ－ＳＤＲ変換処理に関する構成については、図２を参照して後述する。

露光量制御部１０５は、画像処理部１０４によって算出された露光量を実現するために、光学系１０１及び撮像部１０２を制御して、絞り、シャッタースピード、センサーのアナログゲインを制御する。

システム制御部１０６は、撮像装置１００全体の動作を制御、統括する制御機能部である。また、システム制御部１０６は、画像処理部１０４で処理された画像から得られる輝度値や操作部１０７から送信された指示に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。

表示部１０８は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成され、画像処理部１０４で生成された画像や、記録部１０９から読み出した画像を表示する。記録部１０９は、画像を記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや、光磁気ディスク等の回転記録媒体を収容したパッケージなどを用いた、情報記録媒体を含んでもよい。この情報記録媒体は、撮像装置１００に対して着脱可能であってもよい。

バス１１０は、画像処理部１０４、システム制御部１０６、表示部１０８、及び記録部１０９の間で画像や情報をやり取りするために用いられる。

図２は、画像処理部１０４内のＨＤＲ－ＳＤＲ変換処理に関する構成を示すブロック図である。画像処理部１０４は、階調変換判断部２０１、第１の階調変換部２０２、第２の階調変換部２０３、及び色域変換部２０４を含む。階調変換判断部２０１に対する入力画像は、既に画像処理部１０４により現像されたＨＤＲ画像であり、Ｒ，Ｇ，Ｂの３成分で構成される。また、色域変換部２０４からの出力画像は、Ｒ，Ｇ，Ｂの３成分で構成されたＳＤＲ画像である。

画像処理部１０４は、様々な条件（例えば、撮像装置１００の動作モード、要求される画質、要求される処理速度など）に応じて、ＳＤＲ画像を生成するための階調変換処理として、第１の階調変換処理又は第２の階調変換処理を選択する。

図５を参照して、画像処理部１０４におけるＨＤＲ－ＳＤＲ変換処理の詳細について説明する。変換対象の画像データ（ＨＤＲ画像）が階調変換判断部２０１に入力されると、図５のフローチャートの処理が開始する。

Ｓ５０１で、階調変換判断部２０１は、撮像装置１００の動作モードが撮影モードであるか否かを判定する。撮影モードの場合、処理はＳ５０２へ進み、そうでない場合（例えば再生モードの場合）、処理はＳ５０３へ進む。なお、撮影モードの場合、変換対象のＨＤＲ画像は、撮影中のＨＤＲ画像である。一方、再生モードの場合、変換対象のＨＤＲ画像は、記録部１０９から読み出されたＨＤＲ画像である。

Ｓ５０２で、第１の階調変換部２０２は、ＨＤＲ画像に対して第１の階調変換処理を行うことにより、ＨＤＲ画像のガンマからＳＤＲ画像のガンマへの変換を行う。第１の階調変換処理は、自然な階調性を持たせた画作りを優先する処理である。また、第１の階調変換処理は、局所的な処理を含まない簡易的な処理で構成される。第１の階調変換処理の詳細については後述する。

Ｓ５０３で、第２の階調変換部２０３は、ＨＤＲ画像に対して第２の階調変換処理を行うことにより、ＨＤＲ画像のガンマからＳＤＲ画像のガンマへの変換を行う。第２の階調変換処理は、明るさとコントラストを重視した画作りのための処理である。また、第２の階調変換処理は、局所的な処理で構成される。第２の階調変換処理の詳細については後述する。

Ｓ５０４で、色域変換部２０４は、第１の階調変換部２０２又は第２の階調変換部２０３により階調変換された画像の色域を、ＳＤＲ画像の色域に変換する処理を行う。この処理については、単純なマトリクス変換による処理であってもよいし、ＬＵＴを用いた色域マッピング処理であってもよい。

なお、図５の例では、撮像装置１００の動作モードに応じて第１の階調変換処理又は第２の階調変換処理が選択的に実行されているが、選択基準はこの例に限定されない。例えば、撮像装置１００の動作モードが再生モードの場合であっても、再生対象のＨＤＲ画像の撮影条件に応じて第１の階調変換処理又は第２の階調変換処理を選択するように撮像装置１００を構成してもよい。或いは、操作部１０７を介したユーザからの指示に従って第１の階調変換処理又は第２の階調変換処理を選択するように撮像装置１００を構成してもよい。

次に、図３及び図６を参照して、第１の階調変換処理の詳細について説明する。図３は、第１の階調変換部２０２の詳細な構成を示すブロック図である。第１の階調変換部２０２は、ＰＱスケーリング処理部３０１及びガンマ変換部３０２を含む。

前述した通り、第１の階調変換処理は、自然な階調性を持たせた画作りを優先する処理であり、局所的に処理内容を変えるようなことはせずに、画面一律に共通の階調変換を実施する処理である。

図６は、第１の階調変換処理のフローチャートである。Ｓ６０１で、ＰＱスケーリング処理部３０１は、入力されたＨＤＲ画像に対して、ＰＱガンマによるスケーリング処理（ＰＱスケーリング処理）を実施する。

ここで、図８を参照してＰＱガンマについて説明する。ＰＱガンマとは、ＳＴ２０８４に規定されるＥＯＴＦ特性の逆特性（ＯＥＴＦ特性）に従うトーンカーブ（ガンマカーブ）であり、視覚特性に基づいて規定されている。図８の横軸は、リニア領域の入力信号を表し、ＰＱ＿ＩＮ＿ＭＡＸは入力された画像のダイナミックレンジにおける最大輝度である。また、図８の縦軸は、ＰＱガンマが適用された、絶対輝度に対応付けられた出力信号を表す。従って、ＰＱガンマは、画像データのダイナミックレンジ（第１のダイナミックレンジ）と出力される絶対輝度との関係により視覚特性を表現するトーンカーブであると言える。

なお、本実施形態では、変換対象の画像データの例としてＰＱガンマが適用されているＨＤＲ画像を用いて説明を行う。しかしながら、変換対象の画像データに適用されているトーンカーブは、ＰＱガンマに限定されない。変換対象の画像データに適用されているトーンカーブ（所定のトーンカーブ）は、画像データのダイナミックレンジ（第１のダイナミックレンジ）と出力される絶対輝度との関係により視覚特性を表現する任意のトーンカーブであってよい。また、変換対象の画像データに他の種類のトーンカーブ（例えば、ハイブリットログガンマ）が適用されている場合でも、画像データに対してデガンマとＰＱガンマへの変換とを行えば、同様のＨＤＲ－ＳＤＲ処理を適用可能である。

図８から理解できるように、ＰＱガンマでは、暗部の信号域８０１に多くの階調が割り当てられている。ＰＱガンマは、下記の式１により表される。式１において、ｐ＿ｉｎは、リニア領域におけるＲ，Ｇ，Ｂの入力信号を０．０～１．０に正規化した値であり、０．０が０ｃｄ／ｍ^２の輝度値に対応し、１．０が１００００ｃｄ／ｍ^２の輝度値に対応する。ｐ＿ｏｕｔは、ガンマが適用されたＲ，Ｇ，Ｂの出力信号を０．０～１．０に正規化した値であり、１．０が出力ビット数に応じた上限値に対応し、０．０が下限値に対応する。例えば、出力ビット数が１０ｂｉｔである場合は、上限値は１０２３、下限値は０である。

次に、図９を参照して、式１により示されるＰＱスケーリング処理について説明する。前述した通り、入力されたＨＤＲ画像には、図９の点線９０１に示す様なＰＱガンマが適用されている。ＨＤＲ画像の入力信号の最大値（ダイナミックレンジにおける最大輝度）をＰＱ＿ＩＮ＿ＭＡＸとすると、ＰＱガンマの出力値は、式１により、最大値がＰＱ＿ＯＵＴ＿ＭＡＸで表現されるようなＰＱガンマになる。

そこで、ＳＤＲ画像の出力レンジの最大値をＰＱガンマの出力値で表した値をＳＤＲ＿ＭＡＸとすると、ＰＱガンマをスケーリングする処理は、下記の式２で表される。式２において、ｐ＿Ｒ，ｐ＿Ｇ，ｐ＿Ｂは、ＨＤＲ画像のＲ，Ｇ，Ｂの信号値を指し、式１によるＰＱガンマの出力値に相当する。ｐ＿ｓ＿Ｒ，ｐ＿ｓ＿Ｇ，ｐ＿ｓ＿Ｂは、ＰＱスケーリング処理後の信号値を指す。

例えば、ＰＱ＿ＩＮ＿ＭＡＸが４００ｃｄ／ｍ^２であり、ＳＤＲ画像の出力レンジの最大値が１００ｃｄ／ｍ^２である場合を考える。この場合、式１においてｐ＿ｉｎ＝０．０４（＝４００／１００００）としてｐ＿ｏｕｔを算出することにより、ＰＱ＿ＯＵＴ＿ＭＡＸ（ＨＤＲ画像のダイナミックレンジの最大値を入力とした場合におけるＰＱガンマの出力値）を算出することができる。同様に、式１においてｐ＿ｉｎ＝０．０１（＝１００／１００００）としてｐ＿ｏｕｔを算出することにより、ＳＤＲ＿ＭＡＸ（ＳＤＲ画像のダイナミックレンジの最大値を入力とした場合におけるＰＱガンマの出力値）を算出することができる。

式２を図９で示したものが、実線９０２である。ＰＱスケーリング処理によれば、式２で示した固定ゲインｋにより点線９０１の特性が一律の割合で圧縮される。このようにダイナミックレンジの圧縮を行う場合、ＰＱガンマの特性により、暗部の信号域９０３の階調が多く残る。また、Ｒ，Ｇ，Ｂの信号に共通のゲインが掛かる為、階調変換により被写体の色相が変化する様な、いわゆる色曲りが起きにくい。このように、ＰＱスケーリング処理は、ＰＱガンマ（所定のトーンカーブ）を維持しながら、画像データのダイナミックレンジを圧縮する処理である。図９の場合、画像データに対してＳＤＲ＿ＭＡＸ／ＰＱ＿ＯＵＴ＿ＭＡＸ（「第２の値／第１の値」）を乗じることにより、画像データをＨＤＲ画像のダイナミックレンジからＳＤＲ画像のダイナミックレンジへと圧縮する処理が行われている。

図１０は、ＰＱスケーリング処理の効果をリニア空間で表現した図である。図１０において、横軸はリニア領域の入力信号を表し、縦軸はリニア領域の出力信号を表す。ＨＤＲ画像の入力信号の最大値をＩＮ＿ＲＡＮＧＥ、ＳＤＲ画像の出力信号の最大値をＯＵＴ＿ＲＡＮＧＥとすると、ＨＤＲ画像の階調特性を示した点線１００１に対し、ＰＱスケーリング処理の特性は実線１００２となる。一点鎖線１００３は、０～ＩＮ＿ＲＡＮＧＥのレンジを０～ＯＵＴ＿ＲＡＮＧＥのレンジに線形に圧縮するスケーリング処理（リニア領域において輝度を一定の比率で圧縮することにより、画像データのダイナミックレンジを圧縮する処理）の特性を示す。このようなスケーリング処理を、以下ではリニアスケーリング処理と呼ぶ。リニアスケーリング処理の特性を示す一点鎖線１００３に対し、ＰＱスケーリング処理の特性を示す実線１００２では、暗部側が明るく表現され、高輝度側になるにつれ、徐々に階調の傾きが小さくなるのが分かる。

なお、上の説明では、第１の階調変換処理が、画像データをＨＤＲ画像のダイナミックレンジからＳＤＲ画像のダイナミックレンジへと圧縮するＰＱスケーリング処理を含むものとした。しかしながら、高輝度側のコントラストを重視したい場合には、必要な圧縮の一部又は全部をＰＱスケーリング処理の代わりにリニアスケーリング処理により行ってもよい。いずれの方法を用いるかはユーザ操作に基づき選択されてもよいし、以下のような方法で選択されてもよい。

例えば、第１の階調変換部２０２は、ＨＤＲ画像のヒストグラムを解析することにより、ＰＱスケーリング処理とリニアスケーリング処理のいずれによりＨＤＲ画像のダイナミックレンジからＳＤＲ画像のダイナミックレンジへの圧縮を行うかを選択する。例えば、図１１（ａ）に示すように暗部被写体が多いシーンでは、第１の階調変換部２０２は、図１１（ｂ）の実線１１０１に示すようにＰＱスケーリング処理を使用する。一方、図１１（ｃ）に示すように高輝度被写体が多いシーンでは、第１の階調変換部２０２は、図１１（ｄ）の実線１１０２に示すようにリニアスケーリング処理を使用する。なお、ＰＱスケーリング処理は図６のＳ６０１においてＰＱスケーリング処理部３０１により行われるが、リニアスケーリング処理は後述する図６のＳ６０２においてガンマ変換部３０２により行われる。

また、図１２に示すように、第１の階調変換部２０２は、高輝度被写体の割合（ＨＤＲ画像の輝度分布）に基づいて、ＰＱスケーリング処理とリニアスケーリング処理との比率を決定してもよい。具体的には、第１の階調変換部２０２は、図１２（ａ）に示すようにＨＤＲ画像のヒストグラムを解析し、予め決められた閾値ＴＨ以上の輝度を持つ高輝度領域の割合１２０１を算出する。次に、第１の階調変換部２０２は、図１２（ｂ）に示すグラフに従って、リニアスケーリング処理の係数（リニアスケーリング係数ｊ）を決定する。図１２（ｂ）において、横軸は高輝度領域の割合を表し、縦軸はリニアスケーリング係数ｊを表す。

リニアスケーリング係数ｊは、リニアスケーリング処理における、入力信号に対する出力信号の比率に対応する。従って、ｊ＝１．０の場合、リニアスケーリング処理は行われずＰＱスケーリング処理のみが行われる。一方、ｊ＝ＯＵＴ＿ＲＡＮＧＥ／ＩＮ＿ＲＡＮＧＥの場合、リニアスケーリング処理のみが行われＰＱスケーリング処理は行われない。図１２（ｂ）から理解できるように、高輝度領域の割合が大きいほど、リニアスケーリング係数ｊが小さくなり、リニアスケーリング処理の比率が大きくなる。

例えば、ｊ＝０．５、ＩＮ＿ＲＡＮＧＥ＝４００ｃｄ／ｍ^２、ＯＵＴ＿ＲＡＮＧＥ＝１００ｃｄ／ｍ^２の場合を考える。この場合、１００ｃｄ／ｍ^２×（１／ｊ）＝２００ｃｄ／ｍ^２である。そのため、ＰＱスケーリング処理部３０１は、図９及び式２に示すＰＱスケーリング処理において、ＳＤＲ＿ＭＡＸの代わりに、２００ｃｄ／ｍ^２をＰＱガンマの出力値で表した値を用いる。より具体的には、ＰＱスケーリング処理部３０１は、式１においてｐ＿ｉｎ＝０．０２（＝２００／１００００）としてｐ＿ｏｕｔを算出する。こうして算出されるｐ＿ｏｕｔをｐ＿ｏｕｔ＿２００と表記する。ＰＱスケーリング処理部３０１は、式２のＰＱスケーリング係数ｋとして、ＳＤＲ＿ＭＡＸ／ＰＱ＿ＯＵＴ＿ＭＡＸの代わりに、ｐ＿ｏｕｔ＿２００／ＰＱ＿ＯＵＴ＿ＭＡＸを用いる。このようなＰＱスケーリング処理により、入力画像の最大輝度が４００ｃｄ／ｍ^２から２００ｃｄ／ｍ^２へと圧縮される。従って、その後のｊ＝０．５のリニアスケーリング処理により、最大輝度が最終的に１００ｃｄ／ｍ^２へと圧縮される。

このように、第１の階調変換部２０２は、ＨＤＲ画像の輝度分布に基づいて中間のダイナミックレンジを決定してもよい。この場合、第１の階調変換部２０２は、ＰＱスケーリング処理によりＨＤＲ画像のダイナミックレンジから中間のダイナミックレンジへの圧縮を行い、リニアスケーリング処理により中間のダイナミックレンジからＳＤＲ画像のダイナミックレンジへの圧縮を行う。

図６に戻り、Ｓ６０２で、ガンマ変換部３０２は、Ｓ６０１においてＰＱスケーリング処理が行われた画像に対し、ＳＤＲ画像のガンマへの変換処理を行う。ガンマ変換処理については、入力画像をデガンマしてリニア信号に変換した後、目的のガンマ（ここではＳＤＲ画像のガンマ）を適用するなどの、一般的な手法を用いることができる。また、前述のようにリニアスケーリング処理を併用する（又はＰＱスケーリング処理をリニアスケーリング処理に置き換える）場合には、ガンマ変換部３０２は、リニアスケーリング係数ｊに従ってリニアスケーリング処理を行う。

次に、図４及び図７を参照して、第２の階調変換処理の詳細について説明する。図４は、第２の階調変換部２０３の詳細な構成を示すブロック図である。第２の階調変換部２０３は、ガンマ変換部４０１及びローカルトーンマッピング処理部４０２を含む。

前述した通り、第２の階調変換処理は、明るさとコントラストを重視しており、局所的に階調特性を変化させるようなローカルトーンマッピング処理を実施する。また、システム面においては、ローカルトーンマッピング処理を実施するために、入力画像から低周波画像や被写体判別結果を生成したりするため、第１の階調変換処理に比べ、メモリ帯域や処理時間を多く必要とする。

図７は、第２の階調変換処理のフローチャートである。Ｓ７０１で、ガンマ変換部４０１は、入力されたＨＤＲ画像に対し、ＳＤＲ画像のガンマへの変換処理を行う。ガンマ変換処理については、前述のＳ６０２の処理と同様なので、説明は省略する。但し、Ｓ７０１では、ガンマ変換処理に伴い、ＨＤＲ画像のダイナミックレンジからＳＤＲ画像のダイナミックレンジへのリニアスケーリング処理も行われる。

Ｓ７０２で、ローカルトーンマッピング処理部４０２は、Ｓ７０１においてガンマ変換が行われた画像に対し、ローカルトーンマッピング処理を行う。ローカルトーンマッピング処理では、暗部や明部の明るさを変化させつつ、階調圧縮等が起きる輝度域に対してコントラストを高める処理を実施する。ローカルトーンマッピング処理では、異なる周波数帯域の画像や領域の判別結果を用いて、局所的に階調特性が変化する様なゲインＭＡＰを生成し、ゲインＭＡＰを参照しながら階調処理を実施するような一般的な手法を用いることができる。

図１３を参照して、Ｓ７０２のローカルトーンマッピング処理の一例について説明する。ローカルトーンマッピング処理については、例えば特開２０１４－１５４１０８号公報に開示されているような方法を用いることができる。

図１３は、ローカルトーンマッピングで使用する階調特性の一例である。入力信号は、Ｓ７０１でＳＤＲガンマに変換された信号であり、出力信号は、ローカルトーンマッピング処理の目標となる出力信号である。ＳＤＲガンマに変換された信号は、図１０の一点鎖線１００３に示すように、広いダイナミックレンジの信号をＳＤＲのレンジに収めているため、ＨＤＲ画像で表現されていた明るさに比べて一律に暗くなる。そのため、ローカルトーンマッピング処理部４０２は、図１３の階調特性１３０２に示すように、元の階調特性１３０１に対し、低輝度から中輝度を明るく補正する特性を作成する。

入力信号をｘ、出力信号をｙとして、階調特性１３０２を式で表すと、下記の式３のようになる。式３において、ｔｍ（）は階調特性１３０２を表している。
ｙ＝ｔｍ（ｘ） …(3)

ガンマ変換後の画像信号をｐとし、ガンマ変換後の画像信号に対しＬＰＦ処理などで生成した低周波画像をｐ＿ｌｐｆとすると、ローカルトーンマッピングによる出力信号ｐ＿ｏｕｔは、下記の式４で表される。

以上説明したように、第１の実施形態によれば、撮像装置１００は、ＰＱガンマ（所定のトーンカーブ）を維持しながら、取得した画像データをＨＤＲ画像のダイナミックレンジからＳＤＲ画像のダイナミックレンジへと圧縮する階調変換を行う。これにより、なるべく画質の劣化を抑制しながら、ＨＤＲ画像をＳＤＲ画像に変換することが可能となる。

また、第１の実施形態では、撮像装置１００の動作モードが撮影モードか再生モードかに応じて第１の階調変換処理と第２の階調変換処理を使い分けることとしたが、それは以下の理由による。

第１に、ＰＱガンマをスケーリングする第１の階調変換処理は、周波数の異なる画像を用いて局所的に階調を変化させる第２の階調変換処理よりも演算などによる処理負荷が少ない。従って、階調変換処理以外にも負荷の高い処理が比較的多い撮影モードにおいては第１の階調変換処理を行い、処理負荷が比較的低い再生モードにおいては第２の階調変換処理を行うこととした。

第２に、両者を比較した場合、第１の階調変換処理はＨＤＲ画像の階調を極力維持した階調変換であるのに対し、第２の階調変換処理は画像に応じた画作りを行った階調変換といえる。従って、撮影モードにおける表示、つまりライブビュー表示を行う場合は第１の階調変換処理を行い、変換前の階調を極力維持することでユーザが画面を見ながら露出調整などを正しく行えるようにしている。これに対し再生モードの場合は、最終的な画作りが行われた画像がどのようになるかを確認できるよう、第２の階調変換処理を行うこととした。

なお、第１の実施形態では撮影モードの処理負荷の大きさに鑑みて、撮影モードである場合は第１の階調変換処理を行う構成とした。従って、撮影直後に確認のために自動的に画像を表示する場合（いわゆるレックレビュー表示）も、第１の階調変換処理を行うこととする。しかし、既に撮影され現像された画像を確認するという意味で、撮影モードであってもレックレビュー表示の場合は第２の階調変換処理を行うようにしてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…光学系、１０２…撮像部、１０３…Ａ／Ｄ変換部、１０４…画像処理部、１０５…露光量制御部、１０６…システム制御部、１０７…操作部、１０８…表示部、１０９…記録部、１１０…バス

Claims (12)

1. 第１のダイナミックレンジを持ち所定のトーンカーブが適用された画像データを取得する取得手段であって、前記所定のトーンカーブは前記第１のダイナミックレンジと出力される絶対輝度との関係により視覚特性を表現するトーンカーブである、取得手段と、
   前記所定のトーンカーブが適用された前記画像データに対して１未満の正の値を乗じることにより、前記所定のトーンカーブを維持しながら、前記画像データを前記第１のダイナミックレンジから前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジへと圧縮する第１の圧縮手段と、
   を備えることを特徴とする画像処理装置。
2. 前記所定のトーンカーブは、ＰＱのＯＥＴＦ特性に従うトーンカーブである
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の圧縮手段は、前記画像データに対して「第２の値／第１の値」を乗じることにより前記画像データを前記第１のダイナミックレンジから前記第２のダイナミックレンジへと圧縮し、
   前記第１の値は、前記第１のダイナミックレンジの最大値を入力とした場合における前記所定のトーンカーブの出力値であり、
   前記第２の値は、前記第２のダイナミックレンジの最大値を入力とした場合における前記所定のトーンカーブの出力値である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. リニア領域において輝度を一定の比率で圧縮することにより、前記画像データを前記第１のダイナミックレンジから前記第２のダイナミックレンジへと圧縮する第２の圧縮手段と、
   前記第２の圧縮手段により前記第２のダイナミックレンジへと圧縮された前記画像データの階調特性をローカルトーンマッピング処理により変換する変換手段と、
   前記第１の圧縮手段及び前記第２の圧縮手段のいずれにより前記画像データを前記第１のダイナミックレンジから前記第２のダイナミックレンジへと圧縮するかを選択する選択手段と、
   を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１のダイナミックレンジは、ＨＤＲ画像のダイナミックレンジであり、
   前記第２のダイナミックレンジは、ＳＤＲ画像のダイナミックレンジである
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の圧縮手段は、前記画像データの輝度分布に基づいて前記第２のダイナミックレンジを決定し、
   前記画像処理装置は、リニア領域において輝度を一定の比率で圧縮することにより、前記第２のダイナミックレンジへと圧縮された前記画像データを前記第２のダイナミックレンジよりも狭い第３のダイナミックレンジへと圧縮する第３の圧縮手段を更に備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記第１の圧縮手段は、前記画像データの輝度分布が高輝度に偏っているほど前記第２のダイナミックレンジが広くなるように、前記第２のダイナミックレンジを決定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記第１のダイナミックレンジは、ＨＤＲ画像のダイナミックレンジであり、
   前記第３のダイナミックレンジは、ＳＤＲ画像のダイナミックレンジである
   ことを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記第１の圧縮手段は、前記所定のトーンカーブが適用された前記画像データに対してデガンマ処理を行わずに、前記所定のトーンカーブの特性を維持しながら前記画像データを前記第１のダイナミックレンジから前記第２のダイナミックレンジへと圧縮する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 請求項１乃至９のいずれか１項に記載の画像処理装置と、
    撮像手段と、
    前記撮像手段により生成された電気信号に基づいて前記画像データを生成する生成手段と、
    を備えることを特徴とする撮像装置。
11. 画像処理装置が実行する画像処理方法であって、
    第１のダイナミックレンジを持ち所定のトーンカーブが適用された画像データを取得する取得工程であって、前記所定のトーンカーブは前記第１のダイナミックレンジと出力される絶対輝度との関係により視覚特性を表現するトーンカーブである、取得工程と、
    前記所定のトーンカーブが適用された前記画像データに対して１未満の正の値を乗じることにより、前記所定のトーンカーブを維持しながら、前記画像データを前記第１のダイナミックレンジから前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジへと圧縮する第１の圧縮工程と、
    を備えることを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images