Nothing Special   »   [go: up one dir, main page]

JP6375806B2 - 画像処理装置、方法、及び撮像装置 - Google Patents

画像処理装置、方法、及び撮像装置 Download PDF

Info

Publication number
JP6375806B2
JP6375806B2 JP2014185030A JP2014185030A JP6375806B2 JP 6375806 B2 JP6375806 B2 JP 6375806B2 JP 2014185030 A JP2014185030 A JP 2014185030A JP 2014185030 A JP2014185030 A JP 2014185030A JP 6375806 B2 JP6375806 B2 JP 6375806B2
Authority
JP
Japan
Prior art keywords
signal
ratio
unit
luminance signal
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014185030A
Other languages
English (en)
Other versions
JP2016058941A (ja
Inventor
謙太郎 遠藤
謙太郎 遠藤
順三 櫻井
順三 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to JP2014185030A priority Critical patent/JP6375806B2/ja
Priority to US14/822,679 priority patent/US9704273B2/en
Publication of JP2016058941A publication Critical patent/JP2016058941A/ja
Application granted granted Critical
Publication of JP6375806B2 publication Critical patent/JP6375806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)

Description

開示の技術は、画像処理装置、画像処理方法、及び撮像装置に関する。
従来、色補正前のRGB信号から生成した輝度信号であるYb信号と、色補正後のRGB信号から生成した輝度信号であるYa信号とを所定の割合で合成し、画像の輝度信号Yを生成する画像処理装置が提案されている。
特開2010−219797号公報
従来技術の画像処理装置では、RGB信号で入力される画像データにエッジ強調処理を行って出力するために、Ya信号とYb信号とを合成する際のYb信号の比率を大きくしている。これにより、ノイズ低減効果を得ている。
しかし、Yb信号は色補正を行っていない輝度信号であるため、画像の輝度信号におけるYb信号の比率が大きくなると、画像の色再現性が低下する、という問題がある。
開示の技術は、一つの側面として、画像の色再現性の低下を抑制しつつ、ノイズを低減することを目的とする。
開示の技術は、一つの態様では、RGB信号が入力され、前記RGB信号に色補正を行う色補正部と、前記色補正されたRGB信号を第1輝度信号及び色差信号に変換するYC変換部とを備える。また、前記RGB信号が入力され、前記RGB信号から第2輝度信号を生成するY変換部と、前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出する比率算出部とを備える。また、前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する合成部を備える。
開示の技術は、一つの側面として、画像の色再現性の低下を抑制しつつ、ノイズを低減することができる、という効果を有する。
第1〜第8実施形態に係る撮像装置の概略構成を示すブロック図である。 第1実施形態の画像処理部の概略構成を示すブロック図である。 照度とノイズ量との関係を示す概略図である。 第1実施形態におけるYbブレンド比率テーブルの一例を示すグラフである。 ガンマ特性を示す概略図である。 第1実施形態におけるYbブレンド比率テーブルの他の例を示すグラフである。 第1実施形態における画像処理の一例を示すフローチャートである。 第2実施形態の画像処理部の概略構成を示すブロック図である。 第2実施形態における画像処理の一例を示すフローチャートである。 第3実施形態の画像処理部の概略構成を示すブロック図である。 マクベスチャートの模式図である。 色毎の色補正後のRc信号、Gc信号、Bc信号の標準偏差の一例を示す図表である。 色差平面を分割した領域を説明するための図である。 第3実施形態におけるYbブレンド比率テーブルの一例を示す図表である。 第3実施形態における画像処理の一例を示すフローチャートである。 第4実施形態におけるYbブレンド比率テーブルの一例を示す図表である。 Ybブレンド比率を0%と100%との場合における色毎の色差の一例を示す図表である。 第5実施形態におけるYbブレンド比率テーブルの一例を示す図表である。 第6実施形態の画像処理部の概略構成を示すブロック図である。 第6実施形態における画像処理の一例を示すフローチャートである。 第7実施形態の画像処理部の概略構成を示すブロック図である。 第7実施形態における画像処理の一例を示すフローチャートである。 第8実施形態の画像処理部の概略構成を示すブロック図である。 第8実施形態における画像処理の一例を示すフローチャートである。 各実施形態における画像処理をプログラムで実行する場合の構成例を示すブロック図である。
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。
<第1実施形態>
図1に、第1実施形態に係る撮像装置40を示す。撮像装置40は、レンズ部41と、センサ42と、コントロール部43と、メモリ44と、DRAM(Dynamic Random Access Memory)45とを含む。また、撮像装置40は、画像取込部46と、制御部20と、画像変換部30と、AF/AE/AWB部47と、圧縮処理部48と、記録制御部49と、画像表示部50と、表示装置52と、入力装置53とを含む。
レンズ部41は、複数の光学レンズを含むレンズ群、絞り調整機構、ズーム機構等を含み、撮像範囲の物体で反射した光をセンサ42に結像させる。センサ42は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子である。センサ42は、レンズ部41から入射された光を電気信号に変換して出力する。
コントロール部43は、制御部20からの指示を受け、レンズ部41の各機構を駆動する。また、コントロール部43は、制御部20から指示された所定のタイミングでセンサ42を駆動し、センサ42から撮像画像を示す電気信号を出力させる。
制御部20は、CPU(Central Processing Unit)等で実現することができる。制御部20は、撮像装置40の各部を制御すると共に、各部へのデータの入出力を制御する。メモリ44は、各部の処理に必要な各種データやプログラム等を記憶する。DRAM45は、後述する画像取込部46から出力された画像データを一時的に記憶するバッファメモリである。また、DRAM45は、各部における処理の際の作業領域としても利用される。
画像取込部46は、センサ42から出力された電気信号(アナログ信号)を取り込み、デジタル信号の画像データに変換して出力する。画像変換部30は、画像取込部46から出力された画像データに対して、デモザイク処理、階調補正、色補正等の画像処理を行って出力する。AF/AE/AWB部47は、画像変換部30から出力された画像データに基づいて、オートフォーカス(Auto Focus、AF)、自動露出制御(Auto Exposure、AE)、及びオートホワイトバランス調整(Auto White Balance、AWB)の各処理を行う。圧縮処理部48は、画像変換部30から出力された画像データを、例えばJPEG(Joint Photographic Experts Group)等の所定の方式で圧縮して出力する。
記録制御部49は、圧縮処理部48で圧縮された画像データを、メモリカード51等の記録媒体へ書き込む処理、及び記録媒体から画像データを読み出す処理を制御する。画像表示部50は、画像変換部30で画像処理された画像データや、メモリカード51から読み込まれた画像データを、表示装置52に表示するように制御する。表示装置52は、例えば、液晶ディスプレイ等である。また、画像表示部50は、各種設定を行うためのメニュー画面等を、表示装置52に表示するように制御する。入力装置53は、シャッタスイッチ、ズームキー、各種設定を行うための操作キー、表示装置52と共に設けられたタッチパネル等、撮像装置40へ情報を入力するための装置である。入力された情報は、制御部20で受け付けられ処理される。
また、制御部20の一部の機能及び画像変換部30の一部の構成により、開示の技術に係る画像処理装置の一例である画像処理部10が実現される。
図2に示すように、画像処理部10を実現する制御部20の機能には、係数設定部21と、Ybブレンド比率算出部22とが含まれる。また、画像処理部10を実現する画像変換部30の構成には、色補正部31と、Y/C変換部32と、Y変換部33と、ブレンド部34と、ガンマ補正部35とが含まれる。なお、Ybブレンド比率算出部22は開示の技術の比率算出部の一例であり、ブレンド部34は開示の技術の合成部の一例である。
係数設定部21は、色補正部31で用いられる色補正係数を色補正部31に設定する。また、係数設定部21は、Y/C変換部32で用いられるY/C変換係数をY/C変換部32に設定する。また、係数設定部21は、Y変換部33で用いられるY変換係数をY変換部33に設定する。色補正係数、Y/C変換係数、及びY変換係数は、設定情報28として、予めメモリ44に記憶しておく。
色補正部31には、画像取込部46により取り込まれ、画像変換部30におけるデモザイク処理により、RGB成分で表されるRi信号、Gi信号、及びBi信号に変換された画像データが画素毎に入力される。色補正部31は、係数設定部21により設定された色補正係数を用いて、Ri信号、Gi信号、及びBi信号の各々を色補正し、色補正後のRc信号、Gc信号、及びBc信号の各々を出力する。
Y/C変換部32には、色補正部31から出力されたRc信号、Gc信号、及びBc信号が入力される。Y/C変換部32は、係数設定部21により設定されたY/C変換係数を用いて、Rc信号、Gc信号、及びBc信号から、輝度信号であるYa信号と、色差信号であるCb信号及びCr信号とを生成して出力する。
Y変換部33には、色補正前のRi信号、Gi信号、及びBi信号が入力される。Y変換部33は、係数設定部21により設定されたY変換係数を用いて、Ri信号、Gi信号、及びBi信号から、輝度信号であるYb信号を生成して出力する。
ブレンド部34には、Y/C変換部32から出力されたYa信号と、Y変換部33から出力されたYb信号とが入力される。ブレンド部34は、Ya信号とYb信号とを、Ybブレンド比率算出部22により算出されて設定されたYbブレンド比率でブレンドした輝度信号であるY信号を生成して出力する。
ガンマ補正部35は、ブレンド部34から出力されたY信号と、Y/C変換部32から出力されたCb信号及びCr信号から再生成されるRGB信号に対して、表示装置52の特性に応じたガンマ補正を行って出力する。なお、ガンマ補正部35は、Y変換部33から出力されたYb信号と、色補正部31から出力されたRc信号、Gc信号、及びBc信号とに対して、ガンマ補正を行うようにしてもよい。この場合、ガンマ補正部35から出力されるガンマ補正後のYb信号をブレンド部34へ入力し、ガンマ補正部35から出力されるガンマ補正後のRc信号、Gc信号、及びBc信号をY/C変換部32に入力する。以下、前者の場合(図2において実線で示したガンマ補正部35)を、ガンマ補正部35が後段に設けられている場合といい、後者の場合(図2において破線で示したガンマ補正部35)を、ガンマ補正部35が前段に設けられている場合という。
ブレンド部34に設定されるYbブレンド比率とは、Ya信号とYb信号とをブレンドする際の、Ya信号に対するYb信号の比率である。例えば、Ybブレンド比率は、0〜100%までの値で設定することができる。
ここで、Ya信号は、色補正後の輝度信号であるため、輝度信号YにおけるYa信号の比率が大きい場合には、色再現性はよいが、色補正によりノイズが増加するという特徴がある。一方、Yb信号は、色補正前の輝度信号であるため、輝度信号YにおけるYa信号の比率が大きい場合には、色再現性は低下するが、ノイズの増加は抑制されるという特徴がある。
また、図3に示すように、撮像装置40による撮像時の照度が大きくなるほど、撮像された画像データに含まれるノイズ量は増加する。また、撮影時の照度が大きくなるほど、Y/C変換部32から出力されるYa信号のレベルも大きくなる。従って、Ya信号のレベルが大きいほど、Ybブレンド比率を大きくすることで、ノイズ量が大きい場合には、ノイズの低減効果を高める。一方、Ya信号のレベルが小さいほど、Ybブレンド比率を小さくすることで、色再現性が必要以上に抑制されることを防止する。
具体的には、ガンマ補正部35が後段に設けられている場合には、例えば図4に示すように、Ya信号のレベルが大きくなるほど、Ybブレンド比率が大きくなるように定めたYbブレンド比率テーブル29を、メモリ44に記憶しておく。例えば、図4のYbブレンド比率テーブル29の例は、図3に示すような照度とノイズ量との関係に対応した特性を表している。ノイズ量が大きいことが推定されるYa信号のレベルに対しては、例えばYbブレンド比率を100%に近い値とすることができる。
また、ガンマ補正部35が前段に設けられている場合には、例えば図5に示すようなガンマ特性を考慮する必要がある。ガンマ補正では、画像内の暗部は明るく補正されるため、ガンマ補正の補正量が大きい場合には、ノイズも増加する。そこで、図3に示すような照度とノイズ量との関係と、図5に示すようなガンマ特性との関係の両者を考慮して、例えば図6に示すような特性のYbブレンド比率テーブル29を定めて、メモリ44に記憶しておく。
Ybブレンド比率算出部22は、Y/C変換部32から出力されたYa信号を取得し、Ybブレンド比率テーブル29を参照して、取得したYa信号のレベルに対応したYbブレンド比率を算出する。Ybブレンド比率算出部22は、算出したYbブレンド比率を、ブレンド部34に設定する。
次に、第1実施形態に係る撮像装置40の画像処理部10の作用について説明する。画像処理部10では、図7に示す画像処理が実行される。図7に示す画像処理は、画像データの各画素に対して実行される。
図7に示す画像処理のステップS11で、制御部20が、色補正部31及びY変換部33に、デモザイク処理により生成されたRi信号、Gi信号、及びBi信号を1画素分入力する。
次に、ステップS12で、係数設定部21が、色補正部31で用いられる色補正係数を色補正部31に設定する。また、係数設定部21が、Y/C変換部32で用いられるY/C変換係数をY/C変換部32に設定する。また、係数設定部21が、Y変換部33で用いられるY変換係数をY変換部33に設定する。
これにより、色補正部31で、Ri信号、Gi信号、及びBi信号の各々が色補正され、色補正後のRc信号、Gc信号、及びBc信号の各々が出力される。そして、色補正部31から出力されたRc信号、Gc信号、及びBc信号がY/C変換部32に入力される。そして、Y/C変換部32で、Rc信号、Gc信号、及びBc信号から、Ya信号、Cb信号、及びCr信号が生成されて出力される。また、Y変換部33で、色補正前のRi信号、Gi信号、及びBi信号からYb信号が生成されて出力される。
なお、ガンマ補正部35が前段に設けられている場合には、Y変換部33から出力されたYb信号と、色補正部31から出力されたRc信号、Gc信号、及びBc信号とがガンマ補正部35に入力される。そして、ガンマ補正部35でガンマ補正が行われ、ガンマ補正部35からガンマ補正後のYb信、Rc信号、Gc信号、及びBc信号が出力される。そして、ガンマ補正部35から出力されたRc信号、Gc信号、及びBc信号がY/C変換部32へ入力され、Y/C変換部32から、Ya信号、Cb信号、及びCr信号が出力される。
次に、ステップS13で、Ybブレンド比率算出部22は、Y/C変換部32から出力されたYa信号を取得する。次に、ステップS14で、Ybブレンド比率算出部22が、取得したYa信号がガンマ補正前の信号か否かを判定する。ガンマ補正部35が後段に設けられている場合には、ガンマ補正前であると判定し、処理はステップS15へ移行する。一方、ガンマ補正部35が前段に設けられている場合には、ガンマ補正後であると判定し、処理はステップS16へ移行する。なお、ガンマ補正部35が前段に設けられているか後段に設けられているかは、設定情報28としてメモリ44に記憶しておくことができる。
ステップS15では、Ybブレンド比率算出部22が、例えば図4に示すようなガンマ特性を考慮していないガンマ補正前用のブレンド比率テーブル29を参照して、ステップS13で取得したYa信号のレベルに対応したYbブレンド比率を算出する。一方、ステップS16では、Ybブレンド比率算出部22が、例えば図6に示すようなガンマ特性を考慮したガンマ補正後用のブレンド比率テーブル29を参照して、ステップS13で取得したYa信号のレベルに対応したYbブレンド比率を算出する。
次に、ステップS17で、Ybブレンド比率算出部22が、Y/C変換部32から出力されたYa信号と、Y変換部33から出力されたYb信号とをブレンド部34に入力すると共に、算出したYbブレンド比率を、ブレンド部34に設定する。なお、ガンマ補正部35が前段に設けられている場合には、ブレンド部34に入力されるYb信号は、ガンマ補正部35から出力されたYb信号である。
これにより、ブレンド部34で、Ya信号とYb信号とを、設定されたYbブレンド比率でブレンドしたY信号が生成されて出力される。なお、ガンマ補正部35が後段に設けられている場合には、ブレンド部34から出力されたY信号と、Y/C変換部32から出力されたCb信号及びCr信号とがガンマ補正部35に入力される。そして、Cb信号及びCr信号から再生成されるRGB信号に対してガンマ補正が行われて出力される。
次に、ステップS18で、ガンマ補正部35が前段に設けられている場合には、制御部20が、ブレンド部34から出力されたY信号と、Y/C変換部32から出力されたCb信号及びCr信号とをまとめて出力する。ガンマ補正部35が後段に設けられている場合には、制御部20が、ガンマ補正部から出力されたY信号、Cb信号、及びCr信号をまとめて出力する。
なお、画素毎に色補正係数、Y/C変換係数、及びY変換係数を変更する必要がない場合には、上記ステップS12の処理は、画像データの最初の画素のRi信号、Gi信号、及びGi信号に対する処理を行う際に1回のみ行えばよい。
以上説明したように、第1実施形態に係る撮像装置40における画像処理部10によれば、画像の明るさが大きくなるほどノイズ量が増加することを考慮して、色補正後の輝度信号Yaのレベルが大きいほどYbブレンド比率を大きくする。これにより、画像の明るさに応じて適応的にYbブレンド比率を設定することができ、ノイズ量が小さい場合には必要以上にYbブレンド比率が上げないことで、画像の色再現性の低下を抑制しつつ、ノイズを低減することができる。
<第2実施形態>
次に、第2実施形態について説明する。第2実施形態に係る撮像装置40は画像処理部10Aの構成が第1実施形態に係る画像処理部10の構成と異なる。そこで、第2実施形態では、画像処理部10Aについてのみ説明し、その他の部分については、第1実施形態に係る画像処理部10と同一符号を付して、詳細な説明を省略する。
図8に示すように、画像処理部10Aを実現する制御部20Aの機能には、係数設定部21と、Ybブレンド比率算出部22Aと、階調補正量取得部23とが含まれる。また、画像処理部10Aを実現する画像変換部30Aの構成は、色補正部31と、Y/C変換部32と、Y変換部33と、ブレンド部34とを含む。
階調補正量取得部23は、画像データに対して行われる階調補正の補正量を取得する。階調補正は、例えば、WDR(Wide Dynamic Range)、逆光補正、霞補正などの画像のトーンを変更する処理、またはHDR(High Dynamic Range)合成で露光量が異なる画像の重ね合わせ時などに行われるゲイン調整である。階調補正量取得部23は、図示を省略する階調補正部により算出され、設定情報28としてメモリ44に記憶された階調補正の補正量を取得する。
上記のような階調補正が行われた画像は、視認性は向上するが、一方でノイズ量も増加する場合がある。例えば、WDR処理により夜間に撮影された暗い画像の視認性を向上させた場合、暗部の視認性の向上と共に、その部分の画素値の標準偏差が大きくなる、すなわちノイズ量が増加する場合がある。
また、上記のような階調補正が行われた画像は、例えば、画像の暗部の視認性を向上させるために輝度値を上げることにより、元々輝度値の高い部分が色とびするなど、色再現性が低下する場合がある。すなわち、上記のような階調補正は、色再現性よりも、視認性の向上を優先する処理であるといえる。
そこで、Ybブレンド比率算出部22Aは、階調補正量取得部23により取得された補正量が大きいほど、色再現性よりもノイズ低減を優先するために、Ybブレンド比率が大きくなるように算出する。例えば、大、中、小などのように段階的に分類した補正量に対して、例えば、100%、50%、0%のようにYbブレンド比率を定めたYbブレンド比率テーブル29Aを、メモリ44に記憶しておく。また、階調補正の補正量が大きくなるほどYbブレンド比率も大きくなるような算出式を定めておいてもよい。
Ybブレンド比率算出部22Aは、Ybブレンド比率テーブル29Aを参照して、階調補正量取得部23により取得された補正量に対応したYbブレンド比率を算出する。Ybブレンド比率算出部22Aは、算出したYbブレンド比率を、ブレンド部34に設定する。
次に、第2実施形態に係る撮像装置40の画像処理部10Aの作用について説明する。画像処理部10Aでは、図9に示す画像処理が実行される。なお、第2実施形態における画像処理について、第1実施形態における画像処理(図7)と同一の処理については、同一符号を付して、詳細な説明を省略する。
図9に示す画像処理のステップS11及びS12を経て、次のステップS21で、階調補正量取得部23が、階調補正の補正量を取得する。次に、ステップS22で、Ybブレンド比率算出部22Aが、Ybブレンド比率テーブル29Aを参照して、階調補正量取得部23により取得された補正量に対応したYbブレンド比率を算出する。以下、第1実施形態と同様に、ステップS17及びS18が実行される。
以上説明したように、第2実施形態に係る撮像装置40における画像処理部10Aによれば、階調補正の補正量が大きいほどYbブレンド比率を大きくする。これにより、階調補正の補正量に応じて適応的にYbブレンド比率を設定することができる。すなわち、色再現性よりも視認性を優先する場合には、色再現性の低下を許容し、ノイズ低減効果を高めることができる。一方で、視認性を優先する階調補正が行われていない場合には、色再現性の低下を抑制しつつ、ノイズが低減される。
<第3実施形態>
次に、第3実施形態について説明する。第3実施形態に係る撮像装置40は画像処理部10Bの構成が第2実施形態に係る画像処理部10Aの構成と異なる。そこで、第3実施形態では、画像処理部10Bについてのみ説明し、その他の部分については、第2実施形態に係る画像処理部10Aと同一符号を付して、詳細な説明を省略する。
図10に示すように、画像処理部10Bを実現する制御部20Bの機能には、係数設定部21と、Ybブレンド比率算出部22Bとが含まれる。
ここで、図11に示すようなNo.0〜23の色毎の色補正後のRc信号、Gc信号、Bc信号の各々の標準偏差を、図12に示す。なお、図11は、一般的なマクベスチャートであり、色の違いをハッチングの種類により区別している。また、図12の標準偏差の例は、色補正の強度が強い場合の値である。図12に示すように、色によって標準偏差が大きい場合と小さい場合、すなわちノイズが多い場合と少ない場合とがある。例えば、No.2、3、16の色はノイズが多く、No.5、13、17の色はノイズが少ない。
そこで、Ybブレンド比率算出部22Bは、ノイズが多い色に対しては、例えば100%に近い値にするなど、大きなYbブレンド比率を算出し、ノイズが少ない色に対しては、例えば0%に近い値にするなど、小さいYbブレンド比率を算出する。
具体的には、例えば図13に示すように、Cr信号のレベル及びCb信号のレベルを2軸にとった色差平面を複数の領域に分割する。図13の例では、色差平面の第1〜第4象限の各々をさらに5分割し、計20個の領域を設定している。この領域毎に、領域に含まれる色のノイズ量に応じたYbブレンド比率を定めたYbブレンド比率テーブル29Bを、メモリ44に記憶しておく。図14に、Ybブレンド比率テーブル29Bの一例を示す。図14の例では、領域1D、3B、4Cに含まれる色はノイズが多いため、大きなYbブレンド比率(図14の例では「80」)が定められていることを表している。また、領域3C、4Bに含まれる色はノイズが少ないため、小さなYbブレンド比率(図14の例では「20」)が定められていることを表している。また、その他の領域に対しては、標準的なYbブレンド比率(図14の例では「50」)が定められていることを表している。
なお、色毎のノイズ量は、色補正の強度に応じて異なるため、色補正の強度毎に、上記のようなYbブレンド比率テーブル29Bを定めて、メモリ44に記憶しておく。
Ybブレンド比率算出部22Bは、Y/C変換部32から出力されたCb信号及びCr信号を取得し、Cb信号及びCr信号が示す色が、例えば図13のように色差平面に定めた領域のいずれに含まれるかを判定する。Ybブレンド比率算出部22Bは、Ybブレンド比率テーブル29Bを参照して、判定した領域に対応したYbブレンド比率を算出する。Ybブレンド比率算出部22Bは、算出したYbブレンド比率を、ブレンド部34に設定する。
次に、第3実施形態に係る撮像装置40の画像処理部10Bの作用について説明する。画像処理部10Bでは、図15に示す画像処理が実行される。なお、第3実施形態における画像処理について、第1実施形態における画像処理(図7)と同一の処理については、同一符号を付して、詳細な説明を省略する。
図15に示す画像処理のステップS11及びS12を経て、次のステップS31で、Ybブレンド比率算出部22Bが、Y/C変換部32から出力されたCb信号及びCr信号を取得する。次に、ステップS32で、Ybブレンド比率算出部22Bが、取得したCb信号及びCr信号が示す色が含まれるか領域を判定する。
次に、ステップS33で、Ybブレンド比率算出部22Bが、メモリ44の設定情報28を参照して、色補正部31に設定された色補正係数を取得し、色補正の強度を判定する。そして、判定した色補正強度に応じたYbブレンド比率テーブル29Bを参照して、上記ステップS32で判定した領域に対応したYbブレンド比率を算出する。以下、第1実施形態と同様に、ステップS17及びS18が実行される。
以上説明したように、第3実施形態に係る撮像装置40における画像処理部10Bによれば、ノイズが多い色に対しては大きなYbブレンド比率を算出し、ノイズが少ない色に対しては小さいYbブレンド比率を算出する。このように、色毎のノイズ量に応じて適応的にYbブレンド比率を算出することができるため、画像の色再現性の低下を抑制しつつ、ノイズを低減することができる。
<第4実施形態>
次に、第4実施形態について説明する。第4実施形態に係る撮像装置40は画像処理部10Bで用いるYbブレンド比率テーブル29Cが、第3実施形態に係るYbブレンド比率テーブル29Bと異なる。そこで、第4実施形態では、Ybブレンド比率テーブル29Cについてのみ説明し、その他の部分については、第3実施形態に係る画像処理部10Bと同一符号を付して、詳細な説明を省略する。
図16に示すように、第4実施形態におけるYbブレンド比率テーブル29Cでは、色再現性を重視したい色を含む色差平面の領域に対するYbブレンド比率が、標準的な値(図16の例では「50」)より0に近い値に設定されている。図16の例では、肌色及び青空の色が再現性を重視した色として設定されている。
第4実施形態に係る撮像装置40の画像処理部10Bの作用は、第3実施形態における画像処理(図15)のステップS33で参照するYbブレンド比率テーブル29Cが異なるだけであるため、説明を省略する。
以上説明したように、第4実施形態に係る撮像装置40における画像処理部10Bによれば、色再現性を重視したい色に対しては小さいYbブレンド比率を算出することで、適応的にYbブレンド比率を設定することができる。これにより、画像の色再現性の低下を抑制しつつ、ノイズを低減することができる。
<第5実施形態>
次に、第5実施形態について説明する。第5実施形態に係る撮像装置40は画像処理部10Bで用いるYbブレンド比率テーブル29Dが、第3実施形態に係るYbブレンド比率テーブル29Bと異なる。そこで、第5実施形態では、Ybブレンド比率テーブル29Dについてのみ説明し、その他の部分については、第3実施形態に係る画像処理部10Bと同一符号を付して、詳細な説明を省略する。
図17に、図11に示したマクベスチャートのNo.0〜17の各色について、Ybブレンド比率を0%とした場合と100%とした場合における、L表色系における色差ΔEabを示す。例えばNo.0、1、6の色は、Ybブレンド比率が0%の場合と100%の場合とで色差がなく、Ybブレンド比率の影響を受けない色であることが分かる。これを利用して、Ybブレンド比率による色再現性への影響が少ない色に対しては、大きなYbブレンド比率を算出する。
例えば、図18に示すように、第5実施形態におけるYbブレンド比率テーブル29Dでは、上記のNo.0、1、6の色が含まれる領域2B及び2Cに対するYbブレンド比率が、標準的な値(図18の例では「50」)より大きな値(図18の例では「100」)0に設定されている。
第5実施形態に係る撮像装置40の画像処理部10Bの作用は、第3実施形態における画像処理(図15)のステップS33で参照するYbブレンド比率テーブル29Dが異なるだけであるため、説明を省略する。
以上説明したように、第5実施形態に係る撮像装置40における画像処理部10Bによれば、Ybブレンド比率による影響が小さい色に対しては大きなYbブレンド比率を算出することで、適応的にYbブレンド比率を設定することができる。これにより、画像の色再現性の低下を抑制しつつ、ノイズを低減することができる。
<第6実施形態>
次に、第6実施形態について説明する。第6実施形態に係る撮像装置40は画像処理部10Eの構成が第2実施形態に係る画像処理部10Aの構成と異なる。そこで、第6実施形態では、画像処理部10Eについてのみ説明し、その他の部分については、第2実施形態に係る画像処理部10Aと同一符号を付して、詳細な説明を省略する。
図19に示すように、画像処理部10Eを実現する制御部20Eの機能には、係数設定部21と、Y変換係数算出部24とが含まれる。
ここで、一般的なデジタルカメラなどの撮像装置40において、色補正部31に設定される色補正係数Aの一例を下記(1)式に、Y/C変換部32に設定されるY/C変換係数Bの一例を下記(2)式に示す。
Y/C変換部32から出力されるYa信号は、入力されたRi信号、Gi信号、及びBi信号と、上記の色補正係数A及びY/C変換係数Bとを用いて、簡易的には下記(3)式で表される。
Ya=0.546Ri+0.486Gi−0.185Bi (3)
一方、Y変換部33では、Y/C変換部32で用いられるY/C変換係数の輝度信号に関する係数が用いられるのが一般的であるので、Y変換部33から出力されるYb信号は、下記(4)式で表される。なお、(2)式のY/C変換係数Bでは、1行目の各要素の値が輝度信号に関する係数である。
Yb=0.30Ri+0.59Gi+0.11Bi (4)
ブレンド部34でYa信号とYb信号とをブレンドした際、(3)式と(4)式との差が画像の輝度に変化を与える要因となり、輝度の変化により、色再現性が低下する。
そこで、第6実施形態におけるY変換係数算出部24は、下記(5)式に示すY変換係数α、β、及びγを、(5)式に示すYbが(3)式に示すYaに近づくように算出する。
Yb=α×Ri+β×Gi+γ×Bi (5)
α、β、及びγは、色再現性が最もよいYa信号が100%の場合と、ノイズ低減効果が最大のYb信号が100%の場合の両者の利点が反映させつつ、YbがYaに近づくような値で設定されることが望ましい。例えば、(3)式のRi、Gi、及びBiに対する係数の各々と、(4)式のRi、Gi、及びBiに対する係数の各々との平均を、α、β、及びγとして、下記に示すようにY変換係数α、β、及びγを算出することができる。なお、マイナス値は0とする。
α=(0.546+0.30)/2=0.423
β=(0.486+0.59)/2=0.538
γ=(−0.185+0.11)/2=−0.0375→0
Y変換係数算出部24は、算出したY変換係数を係数設定部21に通知する。または、設定情報28としてメモリ44に記憶する。これにより、係数設定部21により、Y変換係数算出部24で算出されたY変換係数がY変換部33に設定される。
ブレンド部34は、予め設定されたYbブレンド比率(例えば、100%)に応じて、Ya信号とYb信号とをブレンドする。
なお、上記の(1)式〜(4)式の各係数の値は一例であり、Y変換係数算出部24は、実際に設定される各係数を設定情報28から取得してY変換係数を算出すればよい。
次に、第6実施形態に係る撮像装置40の画像処理部10Eの作用について説明する。画像処理部10Eでは、図20に示す画像処理が実行される。なお、第6実施形態における画像処理について、第1実施形態における画像処理(図7)と同一の処理については、同一符号を付して、詳細な説明を省略する。
図20に示す画像処理のステップS11を経て、次のステップS61で、Y変換係数算出部24が、Y変換係数を算出し、算出したY変換係数を係数設定部21に通知するか、または、設定情報28としてメモリ44に記憶する。以下、第1実施形態と同様に、ステップS12、S17、及びS18が実行される。
なお、画素毎に色補正係数、Y/C変換係数、及びY変換係数を変更する必要がない場合には、上記ステップS61の処理は、画像データの最初の画素のRi信号、Gi信号、及びGi信号に対する処理を行う際に1回のみ行えばよい。
以上説明したように、第6実施形態に係る撮像装置40における画像処理部10Eによれば、色補正係数に応じて、Yb信号がYa信号に近づくように、Yb信号を生成するためのY変換係数を算出する。これにより、Yb信号によるノイズ低減効果を保ちつつ、色再現性の低下を抑制することができる。
<第7実施形態>
次に、第7実施形態について説明する。第7実施形態に係る撮像装置40は画像処理部10Fの構成が第1実施形態に係る画像処理部10の構成と異なる。そこで、第7実施形態では、画像処理部10Fについてのみ説明し、その他の部分については、第1実施形態に係る画像処理部10と同一符号を付して、詳細な説明を省略する。
図21に示すように、画像処理部10Fを実現する制御部20Fの機能には、係数設定部21と、輝度調整係数算出部25とが含まれる。また、画像処理部10Fを実現する画像変換部30Fの構成には、色補正部31と、Y/C変換部32と、Y変換部33と、ブレンド部34と、輝度調整部36とが含まれる。
輝度調整部36には、ブレンド部34から出力されたY信号が入力される。輝度調整部36は、設定された輝度調整係数を用いて、Y信号の輝度を調整し、輝度調整後のY’信号を出力する。
第6実施形態でも述べたように、Ya信号とYb信号との差が画像の輝度に変化を与える要因となり、輝度の変化により、色再現性が低下する。特に原色系の色は、色補正が強くかかり輝度が上がるなど、色補正により輝度が上がる色、または下がる色が存在する。
そこで、輝度調整係数算出部25は、第3実施形態と同様に、色差平面を分割した領域毎に、その領域に含まれる色に対する色補正により輝度が上がる場合には、輝度を下げるための輝度調整係数を算出する。また、その領域に含まれる色に対する色補正により輝度が下がる場合には、輝度を上げるための輝度調整係数を算出する。色補正により上がるまたは下がる輝度の度合いは、色補正の強度に応じて異なるため、輝度調整係数は、色補正の強度に応じた度合いで輝度を下げるまたは上げるような係数とする。輝度調整係数算出部25は、算出した輝度調整係数を輝度調整部36に設定する。
次に、第7実施形態に係る撮像装置40の画像処理部10Fの作用について説明する。画像処理部10Fでは、図22に示す画像処理が実行される。なお、第7実施形態における画像処理について、第1実施形態における画像処理(図7)及び第3実施形態における画像処理(図15)と同一の処理については、同一符号を付して、詳細な説明を省略する。
図22に示す画像処理のステップS11、S12を経て、次のステップS31及びS32で、輝度調整係数算出部25が、Y/C変換部32から出力されたCb信号及びCr信号を取得し、次のステップS32で、色差平面における領域を判定する。次に、ステップS71で、輝度調整係数算出部25が、上記ステップS32で判定した領域に応じた輝度調整係数を算出する。次に、ステップS17を経て、次のステップS72で、輝度調整係数算出部25が、算出した輝度調整係数を輝度調整部36に設定する。これにより、輝度調整部36で、設定された輝度調整係数を用いて、Y信号の輝度が調整され、輝度調整後のY’信号が出力される。以下、第1実施形態と同様に、ステップS18が実行される。
以上説明したように、第7実施形態に係る撮像装置40における画像処理部10Fによれば、Ya信号とYb信号とのブレンドにより変化した輝度を、ノイズに影響する係数を変更することなく、直接調整する。これにより、Yb信号によるノイズ低減効果を保ちつつ、色再現性の低下を抑制することができる。
<第8実施形態>
次に、第8実施形態について説明する。第8実施形態は、第1実施形態と第5実施形態と第7実施形態における画像処理部を組み合わせた画像処理部10Gを有する実施形態である。なお、第8実施形態において、第1実施形態、第5実施形態、及び第7実施形態と同一の部分については、同一符号を付して詳細な説明を省略する。
図23に示すように、画像処理部10Gを実現する制御部20Gの機能には、係数設定部21と、Ybブレンド比率算出部22Gと、輝度調整係数算出部25とが含まれる。また、画像処理部10Gを実現する画像変換部30Gの構成には、色補正部31と、Y/C変換部32と、Y変換部33と、ブレンド部34と、ガンマ補正部35と、輝度調整部36とが含まれる。
ガンマ補正部35は、第1実施形態と同様に、前段に設けられる場合と後段に設けられる場合とがある。後段に設けられる場合は、ガンマ補正部35には、輝度調整部36から出力されたY’信号と、Y/C変換部32から出力されたCb信号及びCr信号とが入力される。前段に設けられる場合は第1実施形態と同様である。
Ybブレンド比率算出部22Gは、第1実施形態に係るYbブレンド比率算出部22と同様に、例えば図4または図6に示すようなYbブレンド比率テーブル29を参照して、Y/C変換部32から出力されたYa信号に応じたYbブレンド比率1を算出する。また、Ybブレンド比率算出部22Gは、第5実施形態に係るYbブレンド比率算出部22Bと同様に、Y/C変換部32から出力されたCb信号及びCr信号を取得して、色差平面における領域を判定する。そして、Ybブレンド比率算出部22Gは、例えば図18に示すようなYbブレンド比率テーブル29Dを参照して、判定した領域に応じたYbブレンド比率2を算出する。
さらに、Ybブレンド比率算出部22Gは、算出したYbブレンド比率1とYbブレンド比率2とを統合して、最終的なYbブレンド比率を算出する。例えば、Ybブレンド比率1が40%(=0.4)、Ybブレンド比率2が70%(=0.7)の場合、最終的なYbブレンド比率を、0.4×0.7=0.28(28%)のように算出することができる。なお、最終的なYbブレンド比率の算出方法はこの例に限定されず、例えば、2つのYbブレンド比率の平均や重み付平均などにより算出してもよい。
次に、第8実施形態に係る撮像装置40の画像処理部10Gの作用について説明する。画像処理部10Gでは、図24に示す画像処理が実行される。なお、第8実施形態における画像処理について、第1実施形態における画像処理(図7)、第3実施形態における画像処理(図15)、及び第7実施形態における画像処理(図22)と同一の処理については、同一符号を付して、詳細な説明を省略する。
図24に示す画像処理のステップS11及びS12を経て、次のステップS81で、Ybブレンド比率算出部22Gが、Y/C変換部32から出力されたYa信号、Cb信号、及びCr信号を取得する。
次に、ステップS14〜S16で、Ybブレンド比率算出部22Gが、取得したYa信号がガンマ補正前の信号か補正後の信号かに応じてYbブレンド比率テーブル29を選択し、Ya信号のレベルに応じたYbブレンド比率1を算出する。
次に、ステップS32及びS33で、Ybブレンド比率算出部22Gが、取得したCb信号及びCr信号から色差平面における領域を判定し、Ybブレンド比率テーブル29Dを参照して、領域に応じたYbブレンド比率2を算出する。
次に、ステップS71で、輝度調整係数算出部25が、上記ステップS32でYbブレンド比率算出部22Gにより判定された領域に応じた輝度調整係数を算出する。次に、ステップS82で、Ybブレンド比率算出部22Gが、上記ステップS15またはS16で算出したYbブレンド比率1と、上記ステップS33で算出したYbブレンド比率2とを統合して、最終的なYbブレンド比率を算出する。以下、第7実施形態と同様に、ステップS17、S72、及びS18が実行される。
以上説明したように、第8実施形態に係る撮像装置40における画像処理部10Gによれば、第1実施形態、第5実施形態、及び第7実施形態と同様の効果が得られる。
なお、第8実施形態では、第1実施形態と第5実施形態と第7実施形態とを組み合わせた実施形態について説明したが、第1〜第7の各実施形態の少なくとも2つを、適宜組み合わせた実施形態が可能である。例えば、第1実施形態と第2実施形態とを組み合わせることもできる。この場合、Ybブレンド比率を変える軸が2つとなり、細かな制御が可能となる。
また、第1及び第2実施形態の少なくとも1つと、第3、第4、及び第5実施形態の少なくとも1つとを組み合わせてもよい。画像の色に適応的な処理を行う場合に、3つの要素(明度、彩度、色相)で色を区別する場合には、ハードウェアによる演算が複雑になり、必要なメモリ容量も多くなってしまう。しかし、この組み合わせの実施形態により、輝度と彩度及び色相とを分けた処理が可能となるため、個々のハードウェア演算が軽くなり、必要なメモリ容量も抑えられる。
また、第1〜第5実施形態の少なくとも1つと第6実施形態とを組み合わせてもよい。第6実施形態は他の実施形態とは、作用する箇所が異なるため、各実施形態におけるノイズ低減及び色再現性の効果が相乗的に得られる。
また、第1〜第6実施形態の少なくとも1つと第7実施形態とを組み合わせてもよい。第7実施形態のように、輝度調整部を直列により後段に配置することにより、前段処理で抑制しきれなかった、もしくは、あえて抑制しなかった輝度変化を調整することができる。
また、第1〜第8実施形態の各々における画像処理は、プログラムにより実行することもできる。例えば、図25に示すように、メモリ44に記憶された画像処理プログラム70を、CPU61がメモリ44から読み出してDRAM45に展開し、CPU61が、画像処理プログラム70が有するプロセスを順次実行する。
画像処理プログラム70は、係数設定プロセス71と、Ybブレンド比率算出プロセス72とを有する。また、画像処理プログラム70は、階調補正量取得プロセス73、Y変換係数算出プロセス74、輝度調整係数算出プロセス75を含んでもよい。CPU61は、各プロセスを実行することにより、制御部20の各機能部として動作する。
なお、画像処理プログラム70はメモリ44に予め記憶(インストール)されている態様に限定されず、CD−ROMやDVD−ROM等の記録媒体に記録されている形態で提供することも可能である。
以上の各実施形態に関し、更に以下の付記を開示する。
(付記1)
RGB信号が入力され、前記RGB信号に色補正を行う色補正部と、
前記色補正されたRGB信号を第1輝度信号及び色差信号に変換するYC変換部と、
前記RGB信号が入力され、前記RGB信号から第2輝度信号を生成するY変換部と、
前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出する比率算出部と、
前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する合成部と、
を含む画像処理装置。
(付記2)
前記比率算出部は、前記合成部で合成する前記第1輝度信号及び前記第2輝度信号が、ガンマ補正前の信号である場合には、前記第1輝度信号が大きくなるほど前記比率が大きくなる関係を有する第1比率テーブルに基づいて前記比率を算出し、前記合成部で合成する前記第1輝度信号及び前記第2輝度信号が、ガンマ補正後の信号である場合には、前記第1比率テーブルと異なる第2比率テーブルに基づいて、前記比率を算出する付記1記載の画像処理装置。
(付記3)
前記第2比率テーブルは、前記第1輝度信号が大きくなるほど大きくなる特性と、前記ガンマ補正におけるガンマ特性とを足し合わせた、前記第1輝度信号に対する前記比率を定めたテーブル情報である付記2記載の画像処理装置。
(付記4)
前記比率算出部は、前記RGB信号に対して行われる階調補正の大きさに基づいて、前記比率を算出する付記1〜付記3のいずれか1項記載の画像処理装置。
(付記5)
前記比率算出部は、前記色補正されたRGB信号の標準偏差に基づいて、前記比率を算出する付記1〜付記4のいずれか1項記載の画像処理装置。
(付記6)
前記比率算出部は、色差平面を複数に分割した領域毎に、該領域に含まれる色を示すRGB信号の色補正後の標準偏差が大きいほど大きくなる前記比率を定めたテーブル情報と、前記YC変換部で変換された色差信号とに基づいて、前記比率を算出する付記5記載の画像処理装置。
(付記7)
前記比率算出部は、前記色補正されたRGB信号と色再現性の重視度合いとに基づいて前記比率を算出する付記1〜付記6のいずれか1項記載の画像処理装置。
(付記8)
前記比率算出部は、色差平面を複数に分割した領域毎に前記比率を定めたテーブル情報であって、色再現性を重視する色を含む予め定めた領域に対する前記比率を、他の領域に対する前記比率より大きな値で定めたテーブル情報と、前記YC変換部で変換された色差信号とに基づいて、前記比率を算出する付記7記載の画像処理装置。
(付記9)
前記比率算出部は、合成前後の色差と前記比率との関係に基づいて、前記比率を算出する付記1〜付記8のいずれか1項記載の画像処理装置。
(付記10)
前記比率算出部は、色差平面を複数に分割した領域毎に前記比率を定めたテーブル情報であって、前記領域に含まれる色の前記比率に応じた合成前後での色差が小さいほど大きくなる前記比率を定めたテーブル情報と、前記YC変換部で変換された色差信号とに基づいて、前記比率を算出する付記9記載の画像処理装置。
(付記11)
前記比率算出部は、前記RGB信号に基づいて複数の前記比率を算出した場合には、複数の前記比率を統合して、最終的な前記比率を算出する付記1〜付記10のいずれか1項記載の画像処理装置。
(付記12)
設定された色補正係数を用いて、入力されたRGB信号に色補正を行う色補正部と、
設定されたYC変換係数を用いて、色補正されたRGB信号を第1輝度信号及び色差信号に変換するYC変換部と、
設定されたY変換係数を用いて、前記入力されたRGB信号から第2輝度信号を生成するY変換部と、
前記第1輝度信号と前記第2輝度信号との差が小さくなるように、前記Y変換係数を算出するY変換係数算出部と、
前記第1輝度信号と前記第2輝度信号とを合成する合成部と、
を含む画像処理装置。
(付記13)
前記Y変換係数算出部は、前記YC変換係数に含まれる輝度信号に対応する係数より、前記色補正係数と前記YC変換係数とで表される前記入力されたRGB信号と前記第1輝度信号との関係を表す係数に近い値となるように、前記Y変換係数を算出する付記12記載の画像処理装置。
(付記14)
色補正により輝度の上昇または低下が生じる色を予め定めておき、前記YC変換部で変換された色差信号に基づいて、色補正により上昇または低下した輝度を調整する輝度調整係数を算出する輝度調整係数算出部と、
前記輝度調整係数算出部で算出された輝度調整係数を用いて、前記合成部で合成された輝度信号を調整する輝度調整部と、
を含む付記1〜付記13のいずれか1項記載の画像処理装置。
(付記15)
RGB信号が入力される色補正部が、前記RGB信号に色補正を行い、
YC変換部が、前記色補正されたRGB信号を第1輝度信号及び色差信号に変換し、
前記RGB信号が入力されるY変換部が、前記RGB信号から第2輝度信号を生成し、
比率算出部が、前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出し、
合成部が、前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する
画像処理方法。
(付記16)
前記比率算出部は、前記合成部で合成する前記第1輝度信号及び前記第2輝度信号が、ガンマ補正前の信号である場合には、前記第1輝度信号が大きくなるほど前記比率が大きくなる関係を有する第1比率テーブルに基づいて前記比率を算出し、前記合成部で合成する前記第1輝度信号及び前記第2輝度信号が、ガンマ補正後の信号である場合には、前記第1比率テーブルと異なる第2比率テーブルに基づいて、前記比率を算出する付記15記載の画像処理方法。
(付記17)
前記比率算出部は、前記RGB信号に対して行われる階調補正の大きさに基づいて、前記比率を算出する付記15または付記16記載の画像処理方法。
(付記18)
前記比率算出部は、前記色補正されたRGB信号の標準偏差に基づいて、前記比率を算出する付記15〜付記17のいずれか1項記載の画像処理方法。
(付記19)
前記比率算出部は、前記色補正されたRGB信号と色再現性の重視度合いとに基づいて前記比率を算出する付記15〜付記18のいずれか1項記載の画像処理方法。
(付記20)
前記比率算出部は、合成前後の色差と前記比率との関係に基づいて、前記比率を算出する付記15〜付記19のいずれか1項記載の画像処理方法。
(付記21)
前記比率算出部は、前記RGB信号に基づいて複数の前記比率を算出した場合には、複数の前記比率を統合して、最終的な前記比率を算出する付記15〜付記20のいずれか1項記載の画像処理方法。
(付記22)
色補正部が、設定された色補正係数を用いて、入力されたRGB信号に色補正を行い、
YC変換部が、設定されたYC変換係数を用いて、色補正されたRGB信号を第1輝度信号及び色差信号に変換し、
Y変換部が、設定されたY変換係数を用いて、前記入力されたRGB信号から第2輝度信号を生成し、
Y変換係数算出部が、前記第1輝度信号と前記第2輝度信号との差が小さくなるように、前記Y変換係数を算出し、
合成部が、前記第1輝度信号と前記第2輝度信号とを合成する
画像処理方法。
(付記23)
前記Y変換係数算出部は、前記YC変換係数に含まれる輝度信号に対応する係数より、前記色補正係数と前記YC変換係数とで表される前記入力されたRGB信号と前記第1輝度信号との関係を表す係数に近い値となるように、前記Y変換係数を算出する付記22記載の画像処理方法。
(付記24)
輝度調整係数算出部が、色補正により輝度の上昇または低下が生じる色を予め定めておき、前記YC変換部で変換された色差信号に基づいて、色補正により上昇または低下した輝度を調整する輝度調整係数を算出し、
輝度調整部が、前記輝度調整係数算出部で算出された輝度調整係数を用いて、前記合成部で合成された輝度信号を調整する
付記15〜付記23のいずれか1項記載の画像処理方法。
(付記25)
撮像部と、
付記1〜付記14のいずれか1項記載の画像処理装置と、
を含む撮像装置。
(付記26)
コンピュータに、
色補正部により色補正されたRGB信号から、YC変換部により変換された第1輝度信号と、前記RGB信号からY変換部により生成された第2輝度信号とを合成部で合成する際の比率を、前記RGB信号に基づいて算出する
ことを含む処理を実行させるための画像処理プログラム。
(付記27)
コンピュータに、
色補正部により色補正されたRGB信号から、YC変換部によりY変換係数を用いて変換された第1輝度信号と、前記RGB信号からY変換部により生成された第2輝度信号とを合成部で合成する際に、前記第1輝度信号と前記第2輝度信号との差が小さくなるように、前記Y変換係数を算出する
ことを含む処理を実行させるための画像処理プログラム。
10、10A、10B、10E、10F、10G 画像処理部
20、20B、20G 制御部
21 係数設定部
22、22A、22B、22G Ybブレンド比率算出部
23 階調補正量取得部
24 変換係数算出部
25 輝度調整係数算出部
28 設定情報
29、29A、29B、29、C29D ブレンド比率テーブル
30、30A、30F、30G 画像変換部
31 色補正部
32 Y/C変換部
33 Y変換部
34 ブレンド部
35 ガンマ補正部
36 輝度調整部
40 撮像装置
41 レンズ部
42 センサ
44 メモリ
70 画像処理プログラム

Claims (11)

  1. RGB信号が入力され、前記RGB信号に色補正を行う色補正部と、
    前記色補正されたRGB信号を第1輝度信号及び色差信号に変換するYC変換部と、
    前記RGB信号が入力され、前記RGB信号から第2輝度信号を生成するY変換部と、
    前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出する比率算出部と、
    前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する合成部と、を含み、
    前記比率算出部は、前記合成部で合成する前記第1輝度信号及び前記第2輝度信号が、ガンマ補正前の信号である場合には、前記第1輝度信号が大きくなるほど前記比率が大きくなる関係を有する第1比率テーブルに基づいて前記比率を算出し、前記合成部で合成する前記第1輝度信号及び前記第2輝度信号が、ガンマ補正後の信号である場合には、前記第1比率テーブルと異なる第2比率テーブルに基づいて、前記比率を算出する
    像処理装置。
  2. RGB信号が入力され、前記RGB信号に色補正を行う色補正部と、
    前記色補正されたRGB信号を第1輝度信号及び色差信号に変換するYC変換部と、
    前記RGB信号が入力され、前記RGB信号から第2輝度信号を生成するY変換部と、
    前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出する比率算出部と、
    前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する合成部と、を含み、
    前記比率算出部は、前記色補正されたRGB信号の標準偏差に基づいて、前記比率を算出する
    像処理装置。
  3. RGB信号が入力され、前記RGB信号に色補正を行う色補正部と、
    前記色補正されたRGB信号を第1輝度信号及び色差信号に変換するYC変換部と、
    前記RGB信号が入力され、前記RGB信号から第2輝度信号を生成するY変換部と、
    前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出する比率算出部と、
    前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する合成部と、を含み、
    前記比率算出部は、合成前後の色差と前記比率との関係に基づいて、前記比率を算出する
    像処理装置。
  4. RGB信号が入力され、前記RGB信号に色補正を行う色補正部と、
    前記色補正されたRGB信号を第1輝度信号及び色差信号に変換するYC変換部と、
    前記RGB信号が入力され、前記RGB信号から第2輝度信号を生成するY変換部と、
    前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出する比率算出部と、
    前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する合成部と、を含み、
    前記比率算出部は、前記RGB信号に基づいて複数の前記比率を算出した場合には、複数の前記比率を統合して、最終的な前記比率を算出する
    像処理装置。
  5. 前記比率算出部は、前記RGB信号に対して行われる階調補正の大きさに基づいて、前記比率を算出する請求項1請求項4のいずれか1項記載の画像処理装置。
  6. 前記比率算出部は、前記色補正されたRGB信号と色再現性の重視度合いとに基づいて、前記比率を算出する請求項1〜請求項のいずれか1項記載の画像処理装置。
  7. RGB信号が入力される色補正部が、前記RGB信号に色補正を行い、
    YC変換部が、前記色補正されたRGB信号を第1輝度信号及び色差信号に変換し、
    前記RGB信号が入力されるY変換部が、前記RGB信号から第2輝度信号を生成し、
    比率算出部が、前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出し、
    合成部が、前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する画像処理方法であって、
    前記比率算出部は、前記合成部で合成する前記第1輝度信号及び前記第2輝度信号が、ガンマ補正前の信号である場合には、前記第1輝度信号が大きくなるほど前記比率が大きくなる関係を有する第1比率テーブルに基づいて前記比率を算出し、前記合成部で合成する前記第1輝度信号及び前記第2輝度信号が、ガンマ補正後の信号である場合には、前記第1比率テーブルと異なる第2比率テーブルに基づいて、前記比率を算出する
    画像処理方法。
  8. RGB信号が入力される色補正部が、前記RGB信号に色補正を行い、
    YC変換部が、前記色補正されたRGB信号を第1輝度信号及び色差信号に変換し、
    前記RGB信号が入力されるY変換部が、前記RGB信号から第2輝度信号を生成し、
    比率算出部が、前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出し、
    合成部が、前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する画像処理方法であって、
    前記比率算出部は、前記色補正されたRGB信号の標準偏差に基づいて、前記比率を算出する
    画像処理方法。
  9. RGB信号が入力される色補正部が、前記RGB信号に色補正を行い、
    YC変換部が、前記色補正されたRGB信号を第1輝度信号及び色差信号に変換し、
    前記RGB信号が入力されるY変換部が、前記RGB信号から第2輝度信号を生成し、
    比率算出部が、前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出し、
    合成部が、前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する画像処理方法であって、
    前記比率算出部は、合成前後の色差と前記比率との関係に基づいて、前記比率を算出する
    画像処理方法。
  10. RGB信号が入力される色補正部が、前記RGB信号に色補正を行い、
    YC変換部が、前記色補正されたRGB信号を第1輝度信号及び色差信号に変換し、
    前記RGB信号が入力されるY変換部が、前記RGB信号から第2輝度信号を生成し、
    比率算出部が、前記第1輝度信号と前記第2輝度信号とを合成する比率を、前記RGB信号に基づいて算出し、
    合成部が、前記第1輝度信号と前記第2輝度信号とを、前記比率算出部で算出された比率で合成する画像処理方法であって、
    前記比率算出部は、前記RGB信号に基づいて複数の前記比率を算出した場合には、複数の前記比率を統合して、最終的な前記比率を算出する
    画像処理方法。
  11. 撮像部と、
    請求項1〜請求項のいずれか1項記載の画像処理装置と、
    を含む撮像装置。
JP2014185030A 2014-09-11 2014-09-11 画像処理装置、方法、及び撮像装置 Active JP6375806B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014185030A JP6375806B2 (ja) 2014-09-11 2014-09-11 画像処理装置、方法、及び撮像装置
US14/822,679 US9704273B2 (en) 2014-09-11 2015-08-10 Image processing device, method, and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014185030A JP6375806B2 (ja) 2014-09-11 2014-09-11 画像処理装置、方法、及び撮像装置

Publications (2)

Publication Number Publication Date
JP2016058941A JP2016058941A (ja) 2016-04-21
JP6375806B2 true JP6375806B2 (ja) 2018-08-22

Family

ID=55455219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014185030A Active JP6375806B2 (ja) 2014-09-11 2014-09-11 画像処理装置、方法、及び撮像装置

Country Status (2)

Country Link
US (1) US9704273B2 (ja)
JP (1) JP6375806B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217438B2 (en) * 2014-05-30 2019-02-26 Apple Inc. User interface and method for directly setting display white point
WO2018110051A1 (ja) * 2016-12-14 2018-06-21 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US10692196B2 (en) * 2017-10-18 2020-06-23 Gopro, Inc. Color correction integrations for global tone mapping
CN107730471A (zh) * 2017-10-26 2018-02-23 北京农业智能装备技术研究中心 一种针对秧苗长势监测的叶片图像色彩矫正方法和装置
JP7263053B2 (ja) * 2019-02-28 2023-04-24 キヤノン株式会社 撮像装置、画像処理装置、それらの制御方法、プログラム
WO2021131859A1 (ja) * 2019-12-27 2021-07-01 株式会社ソシオネクスト 画像処理装置および画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1303570C (zh) 2002-02-12 2007-03-07 松下电器产业株式会社 图象处理装置和图象处理方法
JP4021261B2 (ja) 2002-07-08 2007-12-12 松下電器産業株式会社 画像処理装置
JP4217494B2 (ja) 2003-01-29 2009-02-04 オリンパス株式会社 電子的撮像装置
JP2005141477A (ja) 2003-11-06 2005-06-02 Noritsu Koki Co Ltd 画像鮮鋭化処理方法とこの方法を実施する画像処理装置
JP5223742B2 (ja) * 2009-03-16 2013-06-26 富士通セミコンダクター株式会社 エッジ強調画像処理装置
JP5970871B2 (ja) * 2012-03-07 2016-08-17 株式会社ニコン 電子カメラ

Also Published As

Publication number Publication date
US20160078638A1 (en) 2016-03-17
US9704273B2 (en) 2017-07-11
JP2016058941A (ja) 2016-04-21

Similar Documents

Publication Publication Date Title
US9445067B2 (en) Imaging device and image signal processor with color noise correction
CN101661615B (zh) 对对象图像实施灰度修正的图像处理装置
JP6375806B2 (ja) 画像処理装置、方法、及び撮像装置
JP6282156B2 (ja) 画像装置、画像処理方法、制御プログラム及び記憶媒体
US9058640B2 (en) Image processing apparatus, image processing method and recording medium
US8797427B2 (en) Image processing apparatus
JP2008085388A (ja) 撮像装置
JP2006081037A (ja) 撮像装置
US11336834B2 (en) Device, control method, and storage medium, with setting exposure condition for each area based on exposure value map
JP5932068B1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5315125B2 (ja) 画像処理装置、撮像装置、および合成画像の生成方法
US8102446B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
US9288461B2 (en) Apparatus and method for processing image, and computer-readable storage medium
US10375304B2 (en) Image processing apparatus and image processing method
JP5535443B2 (ja) 画像処理装置
US11641525B2 (en) Image capturing apparatus capable of displaying live view image high in visibility, method of controlling image capturing apparatus, and storage medium
JP6857102B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018186363A (ja) 撮像装置
JP2019068334A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2006332732A (ja) 色むらノイズ抑制装置
JP5848580B2 (ja) 撮像装置及びその制御方法
US8106977B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
JP2007043381A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2006211030A (ja) 撮像装置
JP2015204517A (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180709

R150 Certificate of patent or registration of utility model

Ref document number: 6375806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150