Nothing Special   »   [go: up one dir, main page]

JP6074254B2 - 画像処理装置およびその制御方法 - Google Patents

画像処理装置およびその制御方法 Download PDF

Info

Publication number
JP6074254B2
JP6074254B2 JP2012276123A JP2012276123A JP6074254B2 JP 6074254 B2 JP6074254 B2 JP 6074254B2 JP 2012276123 A JP2012276123 A JP 2012276123A JP 2012276123 A JP2012276123 A JP 2012276123A JP 6074254 B2 JP6074254 B2 JP 6074254B2
Authority
JP
Japan
Prior art keywords
gamma
image
brightness
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012276123A
Other languages
English (en)
Other versions
JP2014121019A5 (ja
JP2014121019A (ja
Inventor
尊志 小林
尊志 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012276123A priority Critical patent/JP6074254B2/ja
Priority to US14/107,338 priority patent/US9253374B2/en
Publication of JP2014121019A publication Critical patent/JP2014121019A/ja
Publication of JP2014121019A5 publication Critical patent/JP2014121019A5/ja
Application granted granted Critical
Publication of JP6074254B2 publication Critical patent/JP6074254B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は画像処理装置およびその制御方法に関し、特に画像に非線形変換を適用して画質を向上させる画像処理装置およびその制御方法に関する。
従来のデジタルスチルカメラまたはデジタルビデオカメラ等において、撮影画像の階調性を調整するためにガンマ補正を行うことが知られている。ガンマ補正は、撮影画像の輝度に対して非線形な変換を行うことであり、非線形変換特性はガンマ特性もしくはガンマカーブなどとも呼ばれる。
ガンマ特性を画像の特徴に応じて補正することで、画像の白とびや黒つぶれを抑制することができる。特許文献1では、画像の濃度(輝度)ヒストグラムを4等分した各領域における度数の比率に基づいて基準のガンマ特性を適用した場合に生じる白とびの発生を予測し、白とびを抑制するように基準のガンマ特性を補正することが記載されている。
また、特許文献1には、補正した基準のガンマ特性を適用した場合に顔領域の画質に好ましくない影響が現れることが顔領域の平均濃度に基づいて予測される場合、好ましくない影響を回避するためにガンマ特性をさらに補正することが開示されている。
特開2007−201655号公報
顔は平らな領域ではないため、顔に対して光が斜方向からあたる一般的な撮影条件においては顔領域内には明暗差が存在し、また明暗差は顔と光源との位置関係や光源の強度などに応じて多様である。しかしながら、特許文献1では、顔領域内の明暗差を考慮したガンマ特性の補正もしくは設定については何ら検討されておらず、補正後のガンマ特性が顔領域の画質にとって適切とは限らなかった。
従って、本発明の目的は、被写体領域の明暗差を考慮したガンマ特性(輝度の非線形変換特性)を得ることが可能な画像処理装置およびその制御方法を提供することである。
上述の目的は、画像から所定の被写体領域を検出する検出手段と、被写体領域における高輝度領域と低輝度領域の明暗差を表す値を取得する取得手段と、それぞれが非線形変換特性を有し、輝度レンジによって互いに傾きが異なる複数のガンマカーブを、明暗差を表す値を用いて補間することにより、非線形変換特性を有する新たなガンマカーブを生成する生成手段と、新たなガンマカーブを用いて画像の輝度レベルを変換する変換手段と、を有することを特徴とする画像処理装置によって達成される。
このような構成により、本発明の画像処理装置およびその制御方法によれば、被写体領域の明暗差を考慮したガンマ特性を得ることが可能である。
本発明の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの機能構成例を示すブロック図 本発明の実施形態に係るデジタルビデオカメラにおけるダイナミックレンジ制御を説明するための、模式的な画像を示す図 (a)は本発明の実施形態における、白とび画素数とDレンジの広さの関係例を示す図、(b)は露出変更量と制御量との関係例を示す図、(c)はDレンジの変化に伴うガンマ特性変更の例を示す図 本発明の実施形態におけるガンマ制御部の機能構成例と入出力を示すブロック図 本発明の実施形態におけるガンマ制御動作を説明するためのフローチャート 本発明の実施形態における基本ガンマ特性の選択方法を模式的に示す図 (a)は本発明の実施形態における入力値範囲のエリア分割の例を示す図、(b)は本発明の実施形態におけるガンマ特性Aとガンマ特性Bのエリア毎の傾きの大小関係を示す図、(c)は本発明の実施形態における画素頻度分布とエリア分割の例を示す図
以下、図面を参照しながら、本発明の例示的な実施形態について詳細に説明する。
なお、以下では本発明に係る画像処理装置を適用した装置の一例としてデジタルビデオカメラを挙げて説明するが、本発明は画像を取り扱う任意の装置に適用可能である。非限定的な具体例には、携帯電話機、パーソナルコンピュータ、ゲーム機、メディアプレーヤ、ナビゲーションシステム、自動車、家電製品等が含まれる。
図1は、本発明の実施形態に係る画像処理装置の一例としてデジタルビデオカメラの機能構成例を示すブロック図である。図における矢印は機能ブロック間における信号の流れを表す。光学系101は、絞り(NDフィルタ含む)機能、オートフォーカス機能、ズーム機能などを有し、被写体の光学像を撮像素子102の撮像面に形成する。撮像素子102はCCDイメージセンサやCMOSイメージセンサなどの光電変換素子である。撮像素子102は、撮影面に結像された被写体像を画素単位で電気信号に変換してアナログ画像信号を出力する。
A/D変換部103は、決められたゲイン制御値に応じてアナログ画像信号をデジタル値を有するデジタル画像信号に変換する。信号処理部104は、デジタル画像信号に対してホワイトバランス調整や色補間(デモザイク)処理などを適用する。顔検出部105は、信号処理部104が生成する画像データに対して公知の顔検出方法を適用し、撮影画像中に含まれる、人物の顔の特徴を有する領域(顔領域)を検出する。
画像特徴取得部106は信号処理部104の出力する画像データから、画像内の任意の領域の特徴を抽出する。ガンマ回路107は、信号処理部104の出力する画像データに所定の入出力特性を有するガンマカーブ(ガンマ特性)を適用し、画像データの輝度レベルを変換する。システム制御部100は、上述の機能ブロックを制御して、後述する動作を実現させる。また、必要に応じて他の機能ブロックを制御し、デジタルビデオカメラ全体の動作を実現する。
システム制御部100はさらに複数の制御ブロックを有している。露出制御部108は、光学系101、撮像素子102、およびA/D変換部103を制御する。ダイナミックレンジ制御部(Dレンジ制御部)109は、画像全体の白とび度のような画像特徴や、顔検出部105が検出した顔領域の白とび度などに応じて目標Dレンジを決定する。Dレンジ制御部109は、決定した目標Dレンジに基づいて露出制御部108を制御して露出量を変更する。ガンマ制御部110は、Dレンジ制御部109が決定した目標Dレンジに基づいてガンマ回路107にガンマ特性を設定する。メモリ111は、ガンマ特性を特定する設定値を例えばテーブルの形式で保存する。
システム制御部100は例えばCPUやMPUなどのプログラマブルプロセッサと、制御プログラムが記憶されたROM、制御プログラムを展開したりワークエリア等として用いたりするためのRAMの組み合わせによって実現することができる。従って、システム制御部100が有する機能ブロックの1つ以上は、ソフトウェア的に実現することができる。もちろん、機能ブロックの1つ以上が専用のハードウェアによって実現されてもよい。
撮影時の動作について簡単に説明する。絞りによって明るさが制御された被写体の光学像が、光学系101により撮像素子102の撮像面に結像される。この光学像によって撮像素子102を露出制御部108が決定した時間露光し、アナログ画像信号を取得する。露光時間の調整はメカニカルシャッターもしくは電子シャッターを用いて行う。
A/D変換部103では、アナログ画像信号をデジタル画像信号へと変換する。この際、露出制御部108によって定められたゲイン値により信号の増幅も行われる。例えば暗い被写体の場合、露出制御部108からA/D変換部103へ出力信号のレベルを上げて信号処理部104に出力するよう、制御信号が出力される。信号処理部104ではデジタル画像信号に対し、黒レベルの補正、ホワイトバランスの調整、エッジ補正等の画像処理が行われる。信号処理部104は、画像処理の途中または画像処理後のデジタル画像データを顔検出部105や画像特徴取得部106に出力するとともに、記録や表示用の画像信号として画像処理後の画像データをガンマ回路107に出力する。
顔検出部105は、画像中から人物の顔の特徴を有する領域(顔領域)を検出し、顔領域の位置や大きさ、輝度情報などを、画像特徴取得部106へと出力する。画像特徴取得部106は、信号処理部104より出力された画像データと、顔検出部105からの顔検出結果とから、顔領域及び画像全体の輝度の平均値、輝度レベルや、色成分レベルの頻度分布などの画像特徴情報を取得する。
顔検出部105における顔検出は、公知の技術を用いて実施することができる。顔検出に適した画像特徴としては、固有空間上に投影した特徴ベクトルや、グラディエントベース特徴、HAAR−LIKE特徴、ソーベルフィルタや平均色特徴により抽出したSALIENCY MAPなどが挙げられる。また、CHLAC特徴による人物の動きと顔画像の位置推定による顔検出方法を用いてもよい。なお、ADA−BOOSTによるブースティングアルゴリズムやSVMによる識別、カスケード型弱識別器の連結や固有空間への投影による次元数の削減など、公知の高速化手法を適用してもよい。なお、本実施形態では便宜上、画像特徴を利用して検出する被写体が人物の顔である場合を説明するが、人物以外の顔はもちろん、画像から受ける印象に明暗差が大きな影響を与える任意の被写体を検出することができる。
画像中に人物の顔領域が含まれる場合、露出制御部108、Dレンジ制御部109、ガンマ制御部110、およびメモリ111を用いて、画像のDレンジ制御を行う。ここで、Dレンジ制御の具体例を、図2(a)に示すような画像が入力された場合について説明する。
まず、画像特徴取得部106が、例えば図2(b)に示すように画像全体を複数の矩形領域に分割し、各矩形領域に含まれる画素について、輝度の代表値を取得する。どのような値を代表値にするかに特に制限は無いが、例えば平均輝度レベルや最大輝度レベルなどであってよい。Dレンジ制御部109は、輝度の代表値が閾値Th以上の矩形領域(白とび領域)の数から、例えば、白とび画素数や白とび領域の割合といった、画像における飽和(白とび)の程度を表す値(白とび度)を算出する。例えば、輝度の代表値が閾値Th以上の矩形領域に含まれる画素は全て白とび画素として白とび画素数を算出することができる。図2(b)の例では、画像の上部に白とび領域が存在している。
Dレンジ制御部109は、算出された白とび度に応じて、白とび度を所定値以内に抑えるようにあらかじめ設計された白とび度とDレンジの広さとの対応関係に基づいて、目標DレンジDnextを決定する。図3(a)に、白とび度として白とび画素数を用いた場合の、白とび度とDレンジの広さとの対応関係の例を示す。白とび画素数が大きくなるほどDレンジは広くなるが、白とび画素数が多い領域では、白とび画素数の増加に対するDレンジの増加率が低くなっている。
Dレンジ制御部109は、決定した目標DレンジDnextの値に応じた露出変更量Eを露出制御部108およびガンマ制御部110に出力する。露出制御部108では、例えば図3(b)に示すような露出制御線図に基づき、現在の露出制御量Enowと露出変更量Eから、変更後の露出制御量Enextとそれを実現する露出制御要素とを決定する。ここでは、露出制御量の範囲に応じてシャッター速度、NDフィルタ、絞り値が露出制御要素として対応付けられている。露出制御部108は、変更後の露出制御量Enextおよび対応付けられた露出制御要素とから光学系101と撮像素子102を制御し、変更後の露出制御量Enextを実現する。
露出制御量を変更することで、撮影画像全体の明るさが変化する(この場合は暗くなる)。そのため、最終的な画像の明るさが露出制御量を変更する前と変化しないよう、露出制御部108はA/D変換部103に露出制御量Eに相当するゲイン(−E)を適用するように設定する。これにより、A/D変換部103から出力される時点において画像の明るさが露出制御量の変更前後で変化しないようにする。このように、露出制御量を変更することにより撮像素子102の画素の飽和を抑制するとともに、露出制御量を補償するようなゲインを適用することで、画像全体の明るさが変化しないようなDレンジ制御が実現できる。
また、ガンマ制御部110では、例えば図3(c)に示すように露出変更量Eに応じてガンマ特性をGnowからGnextに変更するための設定値をメモリ111から取得し、ガンマ回路107に設定する。これにより、現在の最大入力画素レベルDnowよりも高い最大入力画素レベルDnextまでに対応した輝度変換特性を実現する。つまり、現在よりも広い入力Dレンジに対応した輝度変換特性を実現する。
また、上述のDレンジ制御は画像のDレンジを拡大するものであったが、画像のDレンジを圧縮するDレンジ圧縮処理においては、必ずしも露出条件の変更を必要とせず、輝度変換特性のみにより変更してもよい。Dレンジ圧縮処理においてはDnow>Dnextであるため、図3(c)のDnextに示す特性からDnowに示す特性への変更のようになる。さらには、露出条件の異なる複数の画像を合成して広ダイナミックレンジ画像を生成する公知のHDR合成技術により、画像のDレンジを拡大してもよい。
人物の顔領域など、わずかな見た目の差により感情表現や印象が大きく変化する被写体の場合、明るさや陰影の強さによっては見た目の印象が大きく損なわれる場合がある。そこでガンマ制御部110では、人物の被写体領域の明るさと陰影の強さに応じて動的にガンマ特性を変更することにより、人物の顔領域として適切な画質を実現する。
以下、ガンマ制御部110の機能構成例および入出力を示す図4と、図5に示すフローチャートを用いて、本実施形態に係るガンマ特性(非線形変換特性)の制御に係る動作を具体的に説明する。ここでは、入力画像に基づいてDレンジ制御部109が目標Dレンジを決定済みであるものとする。
S502:
入力画像内に人物の顔領域が含まれる場合、顔検出部105により図2(c)に示すように顔領域が検出され、顔領域情報(例えば、顔領域の大きさ、座標、尤度など)が画像特徴取得部106に送られる。そして、画像特徴取得部106では顔領域情報に基づき、顔領域内の画素について、平均輝度Avefaceと、輝度成分および色成分のレベル頻度分布(ヒストグラム)を取得する。
S503:
基本ガンマ決定部112は、Dレンジ制御部109により決定された目標DレンジDnextに対する数種類の基本ガンマ特性候補をメモリ111から取得する。メモリ111には、ガンマ特性(非線形変換特性)を特定可能な情報が保存されている。この情報は、ガンマ特性を表す関数や離散的な複数の入力値と対応する出力値の関係を表すテーブルなど、ガンマ特性を特定可能な任意の種類および形式であってよい。
基本ガンマ決定部112はさらに、画像特徴取得部106より取得した顔領域の平均輝度Avefaceを、目標の明るさTfaceに最も近い出力値に変換する2種類のガンマ特性を基本ガンマ特性として選択する。目標の明るさTfaceは、例えば、顔領域の露出が適切になるような明るさとして動的に定めてもよいし、予め実験的に決定しておいてもよい。図6(a)は、4種類の基本ガンマ特性候補のうち、実線で示される2つが基本ガンマ特性として選択される場合を模式的に示している。
S504:
エリア分類部113は、基本ガンマ特性の傾きの差に基づいて、入力値の範囲を3つのエリアに分割する。ガンマ特性の傾きが大きい部分は、変換後の階調表現が豊かな部分であり、逆に傾きが小さい部分は、変換前より変換後の階調性が低下する。エリア分類部113は、選択された2種類の基本ガンマ特性の傾きを比較し、傾きの差が大きい入力値範囲を検出することで、2種類の基本ガンマ特性の適用後の階調性が大きく異なる領域を検出する。
2種類の基本ガンマ特性をガンマAとガンマBとし、一方を基準にして他方のガンマ特性との傾きの差が特定の値(ここでは一例としてガンマBの傾きの10%)となる入力値(Yth1〜Yth4)で入力値の範囲を分割した場合の例を図7(a)に示す。Yth1とYth2の間をエリア1、Yth2とYth3の間をエリア2、Yth3とYth4の間をエリア3とした場合の、各エリアにおけるガンマ特性の傾きの大小関係について、図7(b)に示す。エリア1はガンマAの方がガンマBより大きな傾きを有するため、ガンマAを用いた方が変換後の階調性が豊かな入力値範囲である。逆にエリア3は、ガンマBの方がガンマAより大きな傾きを有するため、ガンマBを用いた方が変換後の階調性が豊かな入力値範囲である。エリア2は、ガンマAとガンマBの傾きに有意差がなく、変換後の階調性にも有意差がない入力値範囲である。
本実施形態では、入力画像中の被写体領域(ここでは顔領域)に含まれる画素値の頻度分布(ヒストグラム)を生成し、各エリアに含まれる画素数に応じてガンマAとガンマBを線形補間することで、補正後の顔領域の階調性が良好になるガンマ特性を生成する。
例えば、メモリ111に保存されている複数のガンマ特性候補から2つを選択する場合の各組み合わせについて、上述のように傾きの差が特定の値となる入力値をエリアの境界値として予め登録しておく。そして、エリア分類部113は、基本ガンマ決定部112が決定した2つの基本ガンマ特性の組み合わせに対応するエリア境界値をメモリ111から取得し、画素情報取得部114に供給する。
画素情報取得部114は、顔領域に含まれる画素の輝度レベルの頻度分布を画像特徴取得部106から取得し、エリア分類部113から取得した境界値を用いて頻度分布(ヒストグラム)を分割する。
S505:
図7(c)に、輝度レベルの頻度分布を図7(a)で用いた境界値Yth1〜Yth4によって3エリアに分割した状態を模式的に示す。画素情報取得部114はガンマAとガンマBとで傾きに有意差が存在するエリア1とエリア3について、頻度(画素数)を合計してガンマ決定部115に通知する。一般的には、エリア1の輝度値は顔領域における暗部の画素に対応し、エリア3の輝度値は顔領域における高輝度部の画素に対応する。そして、画素情報取得部114は、エリア1に含まれる画素数Aと、エリア3に含まれる画素数Aの比A/Aを算出する。
比A/Aの値は、高輝度の画素と低輝度の画素の画素数の偏りを表し、1から離れるほど偏りが大きいことを示す。従って、顔領域内の明暗差を表す評価値とみなすことができる。なお、高輝度の画素と低輝度の画素の画素数の偏りを表す値であれば比A/A以外の評価値を用いてもよい。
例えば、logA/logAや、sin(Aπ/(2(A+A)))や、設計による定数b,cを用いて表現されるbA−cAやA^b/A^cなどの様々な評価値を用いることができる。
S506:
ガンマ決定部115では、画素情報取得部114が算出した比評価値A1/A3を用いて2つの基本ガンマ特性を補間することにより、ガンマ回路107に設定するガンマ特性を生成する。例えば、基本ガンマ決定部112から取得した基本ガンマ特性Aに対応するのガンマ回路107への設定値をPA、基本ガンマ特性Bに対応するのガンマ回路107への設定値をPBとする。なお、ここでは、1つのガンマ特性に対応を特定する設定値は、予め定めた離散的な複数n個のパラメータの組の入力値のそれぞれに対応する出力値、すなわち複数の値から構成されるものとする。
例えば、
A=[PA1, PA2, ..., PAn
である。この場合、ガンマ決定部115は、対応するパラメータPAi,PBiから、以下の式(1.1)によって補間後のガンマ特性CのパラメータPCiを算出する(i=1,...,n)。なお、以下の式(1.1)はガンマ特性Bを基準のガンマ特性とした場合を示している。
Figure 0006074254
ここで、WRは重み係数である。重み係数WRは、顔領域を含んだ複数の画像を分析することによって事前に算出された値である。ガンマ特性Cを実現するパラメータPCiをすべて求めることにより、補間後のガンマ特性Cに対応する設定値PCが得られる。図6(b)に、基本ガンマ特性A,Bと補間により得られるガンマ特性Cの例を示す。
ただし、式(1.1)において、エリア1の画素数A1とエリア3の画素数A3に大きく偏りがある場合、補間により得られるガンマCは図6(b)のようにガンマAとガンマBの間に存在するとは限らず、ガンマAまたはガンマBの外側に存在する場合もある。ガンマ決定部115は、このようにして算出したガンマCの設定値PCをガンマ回路107に設定する。これにより、ガンマ回路107では、検出された顔領域の明暗差を考慮して動的に調整されたガンマ特性を画像に適用することができる。
本実施形態によれば、目標ダイナミックレンジに対応した複数のガンマ特性の中から特定の被写体領域(例えば顔領域)の明るさに基づいて選択した複数の基本ガンマ特性を、被写体領域内の明暗差を表す値を用いて補間したガンマ特性を用いる。そのため、被写体の明暗の強さに応じた適切なガンマ特性を用いることができる。
なお、本実施形態では、信号処理部104の出力する画像データに所定のガンマ特性を適用し、画像データの輝度レベルを変換したが、所定のガンマ特性を適用し、画像データの画素ごとの信号レベルを変換してもよい。その場合、上記の実施形態で輝度レベルを用いて行った処理を、画素ごとの信号レベルに置き換えて行えばよく、高レベルの画素と低レベルの画素の画素数の偏りを表す評価値に基づいて、2つの基本ガンマ特性を補間すればよい。
なお、上述の目標ダイナミックレンジの設定と、被写体領域の明暗差に応じたガンマ特性の生成処理は、周期的に行ってもよいし、シーン変化が検出されるなどのトリガイベントに応じて行ってもよい。従って、動画のように連続的に撮影が行われる場合にも適切なダイナミック制御を実現することができる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (8)

  1. 画像から所定の被写体領域を検出する検出手段と、
    前記被写体領域における高輝度領域と低輝度領域の明暗差を表す値を取得する取得手段と、
    それぞれが非線形変換特性を有し、輝度レンジによって互いに傾きが異なる複数のガンマカーブを、前記明暗差を表す値を用いて補間することにより、非線形変換特性を有する新たなガンマカーブを生成する生成手段と、
    前記新たなガンマカーブを用いて前記画像の輝度レベルを変換する変換手段と、
    を有することを特徴とする画像処理装置。
  2. 前記生成手段が、前記複数のガンマカーブの1つに対し、該1つのガンマカーブの出力値と前記複数のガンマカーブの他のガンマカーブの出力値との差に前記明暗差を表す値に応じた係数を乗じた値を加えることにより前記新たなガンマカーブを生成することを特徴とする請求項1記載の画像処理装置。
  3. 前記明暗差を表す値が、前記複数のガンマカーブの傾きの差が所定値以上である輝度レンジのうち、相対的に輝度レベルが高い高輝度レンジに含まれる前記被写体領域の画素数と、相対的に輝度レベルが低い低輝度レンジに含まれる前記被写体領域の画素数との偏りを表す値であることを特徴とする請求項1または請求項2に記載の画像処理装置。
  4. ガンマカーブの複数の候補のうち、前記被写体領域の明るさを入力値とした際に出力値が予め定められた目標の明るさに最も近い所定の複数のガンマカーブを前記複数のガンマカーブとして選択する選択手段をさらに有することを特徴とする請求項1から請求項のいずれか1項に記載の画像処理装置。
  5. 画像全体の白とび度に基づいて、白とび度を所定値以内に抑制するための目標ダイナミックレンジを決定する決定手段をさらに有し、
    前記ガンマカーブの複数の候補が、前記目標ダイナミックレンジに対応したガンマカーブであることを特徴とする請求項に記載の画像処理装置。
  6. 前記被写体領域が人物の顔の領域であることを特徴とする請求項1から請求項のいずれか1項に記載の画像処理装置。
  7. 画像処理装置の制御方法であって、
    検出手段が、画像から所定の被写体領域を検出する検出工程と、
    取得手段が、前記被写体領域における高輝度領域と低輝度領域の明暗差を表す値を取得する取得工程と、
    生成手段が、それぞれが非線形変換特性を有し、輝度レンジによって互いに傾きが異なる複数のガンマカーブを、前記明暗差を表す値を用いて補間することにより、非線形変換特性を有する新たなガンマカーブを生成する生成工程と、
    変換手段が、前記生成工程で生成された前記新たなガンマカーブを用いて前記画像の輝度レベルを変換する変換工程と、
    を有することを特徴とする画像処理装置の制御方法。
  8. コンピュータを、請求項1から請求項のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2012276123A 2012-12-18 2012-12-18 画像処理装置およびその制御方法 Expired - Fee Related JP6074254B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012276123A JP6074254B2 (ja) 2012-12-18 2012-12-18 画像処理装置およびその制御方法
US14/107,338 US9253374B2 (en) 2012-12-18 2013-12-16 Image processing apparatus and method for controlling the same for obtaining and applying gamma characteristics to reduce a difference between light and dark areas of an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012276123A JP6074254B2 (ja) 2012-12-18 2012-12-18 画像処理装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2014121019A JP2014121019A (ja) 2014-06-30
JP2014121019A5 JP2014121019A5 (ja) 2016-02-12
JP6074254B2 true JP6074254B2 (ja) 2017-02-01

Family

ID=50930441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012276123A Expired - Fee Related JP6074254B2 (ja) 2012-12-18 2012-12-18 画像処理装置およびその制御方法

Country Status (2)

Country Link
US (1) US9253374B2 (ja)
JP (1) JP6074254B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6315239B2 (ja) * 2014-01-14 2018-04-25 株式会社リコー 撮像装置、撮像方法、画像処理装置、撮像プログラム
JP6365355B2 (ja) * 2015-03-09 2018-08-01 オムロン株式会社 画像生成装置および画像生成方法
JP6576115B2 (ja) * 2015-06-17 2019-09-18 キヤノン株式会社 撮像装置及びその制御方法
KR102594201B1 (ko) * 2016-09-22 2023-10-27 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 표시 장치
JP2018081595A (ja) 2016-11-17 2018-05-24 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP6399122B2 (ja) * 2017-03-01 2018-10-03 オムロン株式会社 顔検出装置およびその制御方法
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
JP7257768B2 (ja) * 2018-09-28 2023-04-14 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
US10819885B2 (en) * 2018-11-09 2020-10-27 Chongqing Advance Display Technology Research Gamma value tuning method and device of display panel
JP7296745B2 (ja) * 2019-03-05 2023-06-23 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN117152031A (zh) * 2022-09-22 2023-12-01 深圳Tcl新技术有限公司 图像融合方法、装置、电子设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069352A (ja) * 1999-08-27 2001-03-16 Canon Inc 画像処理装置およびその方法
US7298402B2 (en) * 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
JP4847041B2 (ja) * 2005-05-09 2011-12-28 株式会社日立メディコ X線撮影装置
JP2006325015A (ja) * 2005-05-19 2006-11-30 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP2007201655A (ja) 2006-01-25 2007-08-09 Noritsu Koki Co Ltd 画像処理装置
JP4635920B2 (ja) * 2006-03-15 2011-02-23 セイコーエプソン株式会社 画像データの色の補正
JP4198720B2 (ja) * 2006-05-17 2008-12-17 Necエレクトロニクス株式会社 表示装置、表示パネルドライバ、及び表示パネルの駆動方法
JPWO2008044437A1 (ja) * 2006-10-05 2010-02-04 コニカミノルタエムジー株式会社 画像処理方法及び画像処理装置
KR101303665B1 (ko) * 2007-06-13 2013-09-09 삼성전자주식회사 콘트라스트 향상 방법 및 장치
JP4600448B2 (ja) * 2007-08-31 2010-12-15 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
JP5100565B2 (ja) * 2008-08-05 2012-12-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP5509750B2 (ja) * 2009-01-15 2014-06-04 カシオ計算機株式会社 画像処理装置、及びプログラム

Also Published As

Publication number Publication date
US9253374B2 (en) 2016-02-02
US20140168465A1 (en) 2014-06-19
JP2014121019A (ja) 2014-06-30

Similar Documents

Publication Publication Date Title
JP6074254B2 (ja) 画像処理装置およびその制御方法
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
JP6020199B2 (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
US9077905B2 (en) Image capturing apparatus and control method thereof
JP6193721B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6720881B2 (ja) 画像処理装置及び画像処理方法
US10298853B2 (en) Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus
US8059187B2 (en) Image capturing apparatus
US10091422B2 (en) Image processing device and recording medium
US10237488B2 (en) Image capturing apparatus and image capturing method
US11818466B2 (en) Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium
JP2008005081A (ja) 認証装置
US11159740B2 (en) Image capturing device and control method thereof and medium
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP5882702B2 (ja) 撮像装置
US11887286B2 (en) Image processing device and image processing method to generate image for object recognition
JP6423668B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP2010183460A (ja) 撮像装置およびその制御方法
JP5932392B2 (ja) 画像処理装置および画像処理方法
JP2015080157A (ja) 画像処理装置、画像処理方法及びプログラム
US20200294198A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2010183461A (ja) 撮像装置およびその制御方法
JP6554009B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体
JP6514577B2 (ja) 画像処理装置および画像処理方法ならびに撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170106

R151 Written notification of patent or utility model registration

Ref document number: 6074254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees