Nothing Special   »   [go: up one dir, main page]

JP4702635B2 - オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 - Google Patents

オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 Download PDF

Info

Publication number
JP4702635B2
JP4702635B2 JP2007185873A JP2007185873A JP4702635B2 JP 4702635 B2 JP4702635 B2 JP 4702635B2 JP 2007185873 A JP2007185873 A JP 2007185873A JP 2007185873 A JP2007185873 A JP 2007185873A JP 4702635 B2 JP4702635 B2 JP 4702635B2
Authority
JP
Japan
Prior art keywords
correction value
awb
face
image data
white balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007185873A
Other languages
English (en)
Other versions
JP2009027259A5 (ja
JP2009027259A (ja
Inventor
慎也 藤原
友和 中村
健吉 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007185873A priority Critical patent/JP4702635B2/ja
Priority to US12/174,541 priority patent/US8045014B2/en
Priority to CN2008101323870A priority patent/CN101350883B/zh
Publication of JP2009027259A publication Critical patent/JP2009027259A/ja
Publication of JP2009027259A5 publication Critical patent/JP2009027259A5/ja
Priority to US13/157,177 priority patent/US8520091B2/en
Application granted granted Critical
Publication of JP4702635B2 publication Critical patent/JP4702635B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、顔検出機能を用いた画像のホワイトバランス調節に関する。
特許文献1では、画像内の肌色領域を特定し、肌領域の色味に応じて光源を特定し、ホワイトバランス(WB)補正値を求める。
特許文献2では、画像内の顔領域を特定し、顔領域内から代表肌色を抽出し、代表肌色に応じて光源を特定し、WB補正値を求める。
特開平11−283025号公報 特表2005−531189号公報
特許文献1および2では、彫像や石像など人以外の顔が検出された場合や、フェイスペイントして肌色でない人の顔が検出された場合、正しい光源を特定することができず、適切なホワイトバランス補正値を求めることができない。例えば、白い石像の顔の色分布から、青い光が顔の肌色に当たって白くなっていると推定したとする。この青い光が光源色であるとの前提でホワイトバランス調整を行うと、画像が黄色くなってしまう(いわゆるカラーフェリア現象)。
本発明は、顔検出機能を用いたオートホワイトバランス補正における誤補正を防ぐことを目的とする。
本発明に係るオートホワイトバランス補正値算出方法は、画像データを入力するステップと、入力された画像データに基づいて第1のオートホワイトバランス(AWB)補正値である通常AWB補正値を算出するステップと、画像データから顔領域を特定するステップと、画像データの顔領域に基づいて第2のAWB補正値である顔AWB補正値を算出するステップと、画像データから第1の特徴データを抽出するとともに、顔領域中の画像データから第2の特徴データを抽出するステップと、第1の特徴データと第2の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、顔AWB補正値または通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択するステップと、を含む。
第1の特徴データは画像データに基づいて特定された光源色であり、第2の特徴データは顔領域に基づいて特定された光源色である。
この方法は、画像データの光源色と顔領域の光源色との差分量を算出するステップと、差分量に基づき、最終的なAWB補正値を算出するステップと、をさらに含んでもよい。
この方法は、第1の特徴データと第2の特徴データとの比較結果に基づき、顔AWB補正値または通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択するステップをさらに含んでもよい。
第1の特徴データと第2の特徴データとの比較結果に基づき、顔AWB補正値および通常AWB補正値を0%以上100%以下の所定の重みαにより加重平均することで最終的なAWB補正値を算出するステップをさらに含んでもよい。
第1の特徴データと第2の特徴データとの比較結果に基づき、画像データの光源色および顔領域の光源色の各々を0%以上100%以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、最終的な光源色に応じて最終的なAWB補正値を算出するステップと、をさらに含んでもよい。
顔領域からは、特徴データとして光源色が抽出され、各エリアからは、特徴データとして各エリアの代表色が抽出される。
この方法は、各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出するステップと、差分量に基づき、最終的なAWB補正値を算出するステップと、をさらに含んでもよい。
各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出するステップと、差分量のうち顔領域の近傍にある所定数のエリアについての差分量を、差分量に対応する0%以上100%以下の所定の重みβで加重平均して得られた値に基づき、最終的なAWB補正値を算出するステップと、をさらに含んでもよい。
各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔AWB補正値または通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択するステップをさらに含んでもよい。
各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔AWB補正値および通常AWB補正値を0%以上100%以下の所定の重みαにより加重平均することで最終的なAWB補正値を算出するステップをさらに含んでもよい。
画像データの光源色および顔領域の光源色の各々を0%以上100%以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、最終的な光源色に応じて最終的なAWB補正値を算出するステップと、をさらに含んでもよい。
最終的なAWB補正値を表示するステップをさらに含んでもよい。
顔領域の特徴データと比較された特徴データの抽出されたエリアを表示するステップをさらに含んでもよい。
顔優先度の選択を受け付けるステップと、顔優先度に応じて最終的なAWB補正値の重みを変化させるステップと、をさらに含んでもよい。
上記のオートホワイトバランス補正値算出方法をコンピュータに実行させるオートホワイトバランス補正値算出プログラムも本発明に含まれる。
本発明に係るオートホワイトバランス補正値算出装置は、画像データを入力する画像データ入力部と、画像データ入力部に入力された画像データに基づいて第1のオートホワイトバランス(AWB)補正値である通常AWB補正値を算出する通常AWB補正値算出部と、画像データから顔領域を特定する顔領域特定部と、画像データの顔領域に基づいて第2のAWB補正値である顔AWB補正値を算出する顔AWB補正値算出部と、画像データから第1の特徴データを抽出するとともに、顔領域中の画像データから第2の特徴データを抽出する特徴データ抽出部と、第1の特徴データと第2の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、顔AWB補正値または通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択する最終AWB補正値算出部と、を備える。
第1の特徴データは画像データに基づいて特定された光源色であり、第2の特徴データは顔領域に基づいて特定された光源色である。
この装置は、画像データの光源色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終AWB補正値算出部は、差分量に基づき、最終的なAWB補正値を算出してもよい。
最終AWB補正値算出部は、第1の特徴データと第2の特徴データとの比較結果に基づき、顔AWB補正値または通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択してもよい。
最終AWB補正値算出部は、第1の特徴データと第2の特徴データとの比較結果に基づき、顔AWB補正値および通常AWB補正値を0%以上100%以下の所定の重みαにより加重平均することで最終的なAWB補正値を算出してもよい。
第1の特徴データと第2の特徴データとの比較結果に基づき、画像データの光源色および顔領域の光源色の各々を0%以上100%以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、最終AWB補正値算出部は、最終的な光源色に応じて最終的なAWB補正値を算出してもよい。
顔領域からは、特徴データとして光源色が抽出され、各エリアからは、特徴データとして各エリアの代表色が抽出される。
この装置は、各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終AWB補正値算出部は、差分量に基づき、最終的なAWB補正値を算出してもよい。
各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終AWB補正値算出部は、差分量のうち顔領域の近傍にある所定数のエリアについての差分量を、差分量に対応する0%以上100%以下の所定の重みβで加重平均して得られた値に基づき、最終的なAWB補正値を算出してもよい。
最終AWB補正値算出部は、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔AWB補正値または通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択してもよい。
最終AWB補正値算出部は、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔AWB補正値および通常AWB補正値を0%以上100%以下の所定の重みαにより加重平均することで最終的なAWB補正値を算出してもよい。
画像データの光源色および顔領域の光源色の各々を0%以上100%以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、最終AWB補正値算出部は、最終的な光源色に応じて最終的なAWB補正値を算出してもよい。
最終的なAWB補正値を表示する表示部をさらに備えてもよい。
顔領域の特徴データと比較された特徴データの抽出されたエリアを表示する表示部をさらに備えてもよい。
顔優先度の選択を受け付ける顔優先度選択部をさらに備え、最終AWB補正値算出部は、顔優先度に応じて最終的なAWB補正値の重みを変化させてもよい。
本発明に係る撮像装置は、上記のオートホワイトバランス補正値算出装置と、撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を出力する撮像素子と、アナログ画像信号をデジタル画像データに変換して画像データ入力部に出力する画像データ出力部と、オートホワイトバランス補正値算出装置の算出した最終的なAWB補正値に基づいて画像データのホワイトバランスを補正する補正部と、を備える。
この発明によると、顔領域を基準としたホワイトバランス補正を行う際、通常の肌色を有さない顔が特定された場合でも、その顔に基づいて誤ったホワイトバランス調整がされるのを可及的に避けることができる。
<第1実施形態>
図1はデジタルカメラ2の電気的構成を示す。撮像レンズ10には、レンズモータ30が接続されている。また、絞り31には、アイリスモータ32が接続されている。これらのモータ30、32はステッピングモータからなり、CPU33に接続されたモータドライバ34、35から送信される駆動パルスにより動作制御され、レリーズボタン12の半押しに伴う撮影準備処理を行う。
レンズモータ30は、ズーム操作ボタン24の操作に連動して、撮像レンズ10のズームレンズをワイド側、あるいはテレ側に移動させる。また、ズームレンズの変倍などに応じて撮像レンズ10のフォーカスレンズ(図示せず)を移動させ、撮影条件が最適となるように焦点調整を行う。アイリスモータ32は、絞り31を動作させ、露出調整を行う。
撮像レンズ10の背後には、撮像レンズ10を透過した被写体像が撮像されるCCD36が配置されている。CCD36には、CPU33によって制御されるタイミングジェネレータ(TG)37が接続され、このTG37から入力されるタイミング信号(クロックパルス)により、電子シャッタのシャッタ速度が決定される。
CCD36から出力された撮像信号は、相関二重サンプリング回路(CDS)38に入力され、CCD36の各セルの蓄積電荷量に正確に対応したR、G、Bの画像データとして出力される。CDS38から出力された画像データは、増幅器(AMP)39で増幅され、A/D変換器(A/D)40でデジタルの画像データに変換される。
画像入力コントローラ41は、バス42を介してCPU33に接続され、CPU33の制御命令に応じて、CCD36、CDS38、AMP39、およびA/D40を制御する。A/D40から出力された画像データは、SDRAM43に一時記録される。
画像信号処理回路44は、SDRAM43から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施し、この画像データを再度SDRAM43に記録する。YC変換処理回路45は、画像信号処理回路44で各種処理を施された画像データをSDRAM43から読み出し、輝度信号Yと色差信号Cr、Cbとに変換する。
VRAM46は、LCD22にスルー画像を出力するためのメモリであり、画像信号処理回路44、YC変換処理回路45を経た画像データが格納される。VRAM46には、画像データの書き込みと読み出しを並行して行えるように、2フレーム分のメモリ46a、46bが確保されている。VRAM46に格納された画像データは、LCDドライバ47でアナログのコンポジット信号に変換され、LCD22にスルー画像として表示される。
圧縮伸長処理回路48は、YC変換処理回路45でYC変換された画像データに対して、所定の圧縮形式(例えばJPEG形式)で画像圧縮を施す。圧縮された画像データは、メディアコントローラ49を経由してメモリカード50に記憶される。
CPU33には、前述のレリーズボタン12、受信部20、操作部23の他に、EEPROM51が接続されている。EEPROM51には、各種制御用のプログラムや設定情報などが記録されている。CPU33は、これらの情報をEEPROM51から作業用メモリであるSDRAM43に読み出して、各種処理を実行する。
バス42には、露出量、すなわち電子シャッタのシャッタ速度、および絞り31の絞り値が撮影に適切か否かを検出するとともに、ホワイトバランスが撮影に適切か否かを検出するAE/AWB検出回路52と、撮像レンズ10の焦点調整が撮影に適切か否かを検出するAF検出回路53と、ストロボ装置54の動作を制御するストロボ制御回路55とが接続されている。
AE/AWB検出回路52は、YC変換処理回路45でYC変換された画像データの輝度信号Yと色差信号Cr、Cbとの積算値を元に、露出量、およびホワイトバランスの適否を検出し、この検出結果をCPU33に送信する。CPU33は、AE/AWB検出回路52から送信された検出結果に基づいて、撮像レンズ10、絞り31、およびCCD36の動作を制御する。
AF検出回路53は、A/D40でデジタル化された画像データから画像の鮮鋭度を表すフォーカス評価値を算出し、この算出結果をCPU33に送信する。フォーカス評価値は、画像の特定のエリア、例えば、撮影画角の中央部分の画像データに対して、バンドパスフィルタなどで輪郭抽出処理を施し、これにより抽出した輪郭信号、および中央部分の画像データの輝度値を積算することで得られる。ここで、フォーカス評価値が大きいほどその部分の高周波成分が多く、その部分が合焦状態にあることを表している。
CPU33は、レリーズボタン12の半押しに伴う撮影準備処理時に、そのときのズームレンズの位置からフォーカスレンズの合焦位置の探索範囲を決定し、モータドライバ34を介してレンズモータ30の動作を制御して、決定した探索範囲内で、フォーカスレンズを例えば近点側から遠点側に移動させ、そのときAF検出回路53から順次送信されるフォーカス評価値の大小を比較することで、フォーカス評価値が最大となる位置、つまり合焦位置でフォーカスレンズを停止させる。
セルフ撮影モード下において、リモートコントローラ16から受信部20を介してレリーズ信号を受信し、且つAE/AWB検出回路52による輝度の積算値の算出結果が、予め設定された閾値よりも小さい場合、画像信号処理回路44は、SDRAM43から読み出した画像データから、レリーズ信号の送信時にリモートコントローラ16の光源19から発せられた光を表す画像データを抽出する。
光源19から発せられた光を表す画像データの抽出は、具体的には、前フレームと現フレームの画像データの差分をとっておき、光源19から発せられた光が撮像されているフレームと、されていないフレームの画像データの差分から、光が撮像されている部分を特定し、その部分、あるいはその部分を含む周囲を表す画像データを抽出する。なお、AE/AWB検出回路52による輝度の積算値の算出結果が、予め設定された閾値よりも小さい場合とは、焦点調整が困難な状況(暗所など)であることを意味する。
AF検出回路53は、画像信号処理回路44で抽出した光を表す画像データに対してフォーカス評価値の算出を行う。CPU33は、フォーカス評価値の波形が谷間となる点を合焦位置とし、モータドライバ34を介してレンズモータの動作を制御して、この位置でフォーカスレンズを停止させる。
図2は第1実施形態に係る画像信号処理回路44の要部ブロック構成を示す。この図に開示された各ブロックの詳細な機能は後述する。
顔領域特定部52aは、SDRAM43のデジタル画像データ(記録用の静止画像、スルー画像あるいは動画フレーム)から人物の顔部分を含む領域である顔領域を特定する。顔領域の検出方法としては、例えば本出願人による特許公開2007−124112号公報において開示された技術を適用することができる。
すなわち、顔領域特定部52aは、撮影された画像の画像データP0′を読み込み、画像P0′中の顔部分P0f′を検出する。具体的には、特開2005−108195号公報に記載されているように、画像P0′の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第1の特徴量を、複数の第1の識別器に入力することによって画像P0′中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第2の特徴量を、第2の識別器に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分P0f′として検出することが考えられる。ここで、第1/第2の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第1/第2の特徴量を入力する、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。
なお、顔部分P1fの検出方法としては、特表2004−527863号公報に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を用いることができる。ただし、人物の顔の色に依存しないような顔検出を可能とするため(例えば銅像の顔やフェイスペイントした顔も検出できるようにするため)、本願明細書の各実施形態では、人物の顔の色に依存した顔検出方法、例えば肌色検出を用いる方法は採用しないものとする。
顔AWB補正値算出部52bは、顔領域特定部52aが特定した顔領域の画像データに基づき、画像全体に施すホワイトバランスの補正値を決定する。
顔AWB特徴データ抽出部52cは、顔領域特定部52aが特定した顔領域内の画像データに基づいて特徴データを抽出する。特徴データとは、例えば、顔領域内の画像データから推定される光源の種類(太陽光、タングステン、蛍光など)、あるいは光源の色温度(例えば2500K〜9400Kの間で色温度を推定)である。あるいは顔領域の代表色でもよい。
通常AWB補正値算出部52dは、通常ホワイトバランス補正値決定用の特定領域である通常AWB領域(例えば画像データの全体、あるいは、画像データ全体から所定の周縁領域を除いた残りの部分。ただし、特定領域は顔領域と同一ではない)に基づいて画像全体に施すホワイトバランスの補正値を決定する。
通常AWB特徴データ抽出部52eは、通常AWB領域に基づいて特徴データを抽出する。特徴データとは、通常AWB領域の画像データから推定される光源種、色温度、代表色などである。
WB補正部52hは、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。
特徴データ比較部52fは、顔AWB特徴データ抽出部52cの得た特徴データと、通常AWB特徴データ抽出部52eの得た特徴データとを比較する。これは後述するが、例えば、各種の色空間における光源色L1と光源色L2との距離を求めることである。
最終WB補正値算出部52gは、通常AWB特徴データ抽出部52eおよび顔AWB特徴データ抽出部52cからの2つの特徴データの比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法を選択する。これは後述するが、例えば、光源色L1とL2との距離が所定の閾値以上であるか未満であるかに基づいて、通常AWB補正値算出部52dの用いる補正値算出式および顔AWB補正値算出部52bの用いる補正値算出式のうちいずれか一方の補正値算出式を選択することである。
WB補正部52hは、最終WB補正値算出部52gの選択した算出方法で算出されたホワイトバランス補正値によって画像全体のホワイトバランスを補正する。
図3は第1実施形態に係る画像信号処理回路44で実行されるホワイトバランス補正処理のフローチャートである。
S1では、通常AWB補正値算出部52dが、補正値を算出する。
S2では、顔領域特定部52aが、顔領域の特定を試みる。
S3では、顔領域特定部52aが、顔領域の特定に成功したか否かを判断する。顔領域の特定に成功した場合はS4、失敗した場合はS10に進む。
S4では、顔AWB補正値算出部52bが、顔AWB補正値を算出する。
S5では、顔AWB特徴データ抽出部52c、通常AWB特徴データ抽出部52eが、それぞれ色空間における特徴データを抽出する。
S6では、特徴データ比較部52fが、S5で抽出された2つの特徴データを比較する。例えば、通常AWB領域、顔領域における2つの代表色を求め、所定の色空間または色度図上における両代表色の各色差(距離)を比較する。
S7では、最終WB補正値算出部52gが、2つの特徴データの比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法として適切なものを1つ、例えば、顔AWB補正値算出部52bによる算出方法および通常AWB補正値算出部52dによる算出方法のうちいずれか一方を選択する。顔AWB補正値算出部52bによる算出方法を選択した場合はS8、通常AWB補正値算出部52dによる算出方法を選択した場合はS9に進む。2つの特徴データの比較結果に基づいた算出方法の選択は、例えば、両代表色の各色差(距離)が所定の閾値未満であれば顔AWBの算出方法、所定の閾値であれば通常AWBの算出方法を選択する。
S8では、WB補正部52hは、最終WB補正値算出部52gの選択したホワイトバランス補正値算出方法で得られた最終WB補正値=顔AWB補正値によって画像全体のホワイトバランスを補正する。
S9では、WB補正部52hは、最終WB補正値算出部52gの選択したホワイトバランス補正値算出方法で得られた最終WB補正値=通常AWB補正値によって画像全体のホワイトバランスを補正する。
S10では、WB補正部52hは、通常AWB補正値によって画像全体のホワイトバランスを補正する。
すなわち、本実施形態では、通常AWB領域の特徴データと、顔領域の特徴データとの比較結果に応じて補正値算出方法を選択する。
<第2実施形態>
図4は第2実施形態に係る画像信号処理回路44の詳細ブロック構成を示す。ここでは図2における顔AWB特徴データ抽出部52cの一例として顔AWB光源色抽出部52c−1が、通常AWB特徴データ抽出部52eの一例として通常AWB光源色抽出部52e−1が、特徴データ比較部52fの一例として光源色比較部52f−1が示されている。
顔AWB光源色抽出部52c−1は、顔領域特定部52aが特定した顔領域内の画像データに基づいて光源色を抽出する。これは、例えば、ホワイトバランス調整のために画像データの一部から光源色を推定する各種の方法(例えば、特許公開2000−209598号公報や、特許公開2006−222928号公報に開示されたもの)を用いて光源色(R1、G1、B1)を推定し、この推定した光源色を、R/GおよびB/Gの比からなる色空間の座標L1=(R1/G1,B1/G1)へ変換する(図5)。なお、光源色をプロットする色空間はYCrCbなど各種のものであってもよい。
通常AWB光源色抽出部52e−1は、通常AWB領域の画像データに基づいて光源色を抽出する。これは例えば、ホワイトバランス調整のために画像データの全部から光源色を推定する各種の方法を用いて光源色(R2、G2、B2)を推定し、この推定した光源色を、R/GおよびB/Gの比からなる色空間の色空間の座標L2=(R2/G2,B2/G2)へ変換する(図5)。
光源色比較部52f−1は、顔AWB光源色抽出部52c−1の得た光源色L1と、通常AWB光源色抽出部52e−1の得た光源色L2とを比較する。これは後述するが、例えば、光源色L1と光源色L2との色差(色空間における距離)を求めることである。
通常AWB補正値算出部52dは、画像全体に施すホワイトバランスの補正値を、通常AWB領域の画像データに基づいて決定する。
WB補正部52hは、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。
最終WB補正値算出部52gは、色空間における光源色L1とL2との比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法を選択する。これは後述するが、例えば、光源色L1とL2との距離が所定の閾値以上であるか未満であるかに基づいて、通常AWB補正値算出部52dの算出した補正値および顔AWB補正値算出部52bの算出した補正値のうちいずれか一方の補正値を選択することである。
WB補正部52hは、最終WB補正値算出部52gの選択した算出方法で算出されたホワイトバランス補正値によって画像全体のホワイトバランスを補正する。
図6は画像信号処理回路44で実行されるホワイトバランス補正処理の流れを示す。
S1では、通常AWB補正値算出部52dが、補正値を算出する。
S2では、顔領域特定部52aが、顔領域の特定を試みる。
S3では、顔領域特定部52aが、顔領域の特定に成功したか否かを判断する。顔領域の特定に成功した場合はS4、失敗した場合はS10に進む。
S4では、顔AWB補正値算出部52bが、顔AWB補正値を算出する。
S5−1では、顔AWB光源色抽出部52c−1、通常AWB光源色抽出部52e−1が、それぞれ顔領域、通常AWB領域における光源色L1、L2を抽出する。
S6−1では、光源色比較部52f−1が、光源色L1とL2とを比較する。
S7−1では、最終WB補正値算出部52gが、光源色比較部52f−1による光源色L1とL2との比較結果に基づき、画像全体に対するホワイトバランス補正値算出方法として適切なものを1つ、例えば、顔AWB補正値算出部52bによる算出方法および通常AWB補正値算出部52dによる算出方法のうちいずれか一方を選択する。顔AWB補正値算出部52bによる算出方法を選択した場合はS8、通常AWB補正値算出部52dによる算出方法を選択した場合はS9に進む。
S8では、WB補正部52hは、最終WB補正値算出部52gの選択したホワイトバランス補正値算出方法で得た最終WB補正値=顔AWB補正値によって画像全体のホワイトバランスを補正する。
S9では、WB補正部52hは、最終WB補正値算出部52gの選択したホワイトバランス補正値算出方法で得た最終WB補正値=通常AWB補正値によって画像全体のホワイトバランスを補正する。
S10では、WB補正部52hは、通常AWB補正値によって画像全体のホワイトバランスを補正する。
すなわち、本実施形態では、通常AWB領域の光源色と、顔領域の光源色との比較結果に応じて補正値算出方法を選択する。
<第3実施形態>
図7は第3実施形態に係る画像信号処理回路44のブロック構成を示す。ここでは図2における光源色比較部52f−1の一例として、光源色の差分算出部52f−2が示されている。
光源色の差分算出部52f−2は、顔AWB光源色抽出部52c−1の得た光源色L1と、通常AWB光源色抽出部52e−1の得た光源色L2との差分を算出する。これは後述するが、例えば、図8に示すように、色空間における光源色L1と光源色L2との距離Lを求めることである。
図9は画像信号処理回路44で実行されるホワイトバランス補正処理の流れを示す。
S11〜S15はそれぞれ図3のS1〜S5と同様である。
S16では、光源色の差分算出部52f−2が、光源色L1とL2との差分Lを算出する。差分Lとは、具体的には図8(a)に示すように、色空間における光源色L1とL2との距離(色差)を指す。その値は、図8(b)に示すような数式で求めることができる。
S17では、最終WB補正値算出部52gが、光源色の差分算出部52f−2の算出した、光源色L1とL2との差分Lに基づき、最適な補正値算出方法(例えば第1・2実施形態と同様のもの)を選択する。顔AWB補正値の算出方法を選択した場合はS18、通常AWB補正値の算出方法を選択した場合はS19に進む。
S18〜S20は、S8〜S10と同様である。
<第4実施形態>
図10は第4実施形態に係る画像信号処理回路44のブロック構成を示す。ここでは図2および図5における最終WB補正値算出部52gの一例として、最終WB選択部52g−1が示されている。この機能は後述する。
図11は画像信号処理回路44で実行されるホワイトバランス補正処理の流れを示す。
S21〜S26はそれぞれS11〜S16と同様である。
S27では、最終WB補正値算出部52gが、光源色L1とL2との差分Lが、所定の閾値T1以下であるか否かを判断する。L≦T1の場合はS28、L>T1の場合はS29に進む。図12は、L>T1の場合を例示している。T1は、顔AWB補正値と通常AWB補正値のいずれを使用することが適切なホワイトバランス補正となるかを区別する値であるから、撮影条件に応じて経験的に定めるとよい。
S28では、最終WB補正値算出部52gは、顔AWB補正値を最終WB補正値に決定する。WB補正部52hは、最終WB補正値算出部52gの決定した最終WB補正値=顔AWB補正値によって画像全体のホワイトバランスを補正する。
S29では、最終WB補正値算出部52gは、通常AWB補正値を最終WB補正値に決定する。WB補正部52hは、最終WB補正値算出部52gの決定した最終WB補正値=通常AWB補正値によって画像全体のホワイトバランスを補正する。
S30は、S10と同様である。
図13は、このホワイトバランス補正による具体的効果を例示する。
例えば、図13(a)に示すように、太陽光が照射している白色系の石像を被写体とした画像データが取得されたものとする。
図13(b)に示すように、通常AWB光源色抽出部52e−1は、画像データ全体の色分布などから光源色を推定する。図13(c)に示すように、ここでは太陽光と推定したとする。
図13(d)に示すように、顔AWB光源色抽出部52c−1は、画像データ中の顔領域特定部52aが特定した顔領域の色分布などから光源色を推定する。図13(e)に示すように、ここでは、白い石像の顔の色分布から、青い光が顔の肌色に当たって白くなっていると推定したとする。この青い光が光源色であるとの前提でホワイトバランス調整を行うと、画像が黄色くなってしまう。
この場合、図13(f)に示すように、顔AWB光源色抽出部52c−1の光源色L1と通常AWB光源色抽出部52e−1の光源色L2との距離Lは、離れる傾向にある。この距離Lが所定の閾値T1を超えていれば、両者の食い違いが大きく、顔AWB光源色抽出部52c−1の光源色L1の推定は信頼性が低く、通常AWB光源色抽出部52e−1の光源色L2に基づいてWB補正値を決める方がより適切といえる。そこでL>T1の場合、通常AWB補正値によって画像全体のホワイトバランスを補正する。
一方、L≦T1の場合は、光源色L1の推定は信頼性が一定程度確保されているから、この場合、顔AWB補正値によって画像全体のホワイトバランスを補正する。
こうすることで、顔領域を基準としたホワイトバランス補正を行う際、通常の肌色を有さない顔が特定された場合でも、その顔に基づいて誤ったホワイトバランス調整がされるのを可及的に避けることができる。
<第5実施形態>
図14は第5実施形態に係る画像信号処理回路44のブロック構成を示す。ここでは重みα算出部52iが追加されている。
例えば図15(a)のような差分Lと重みαとの関係を規定した関数(重みα決定関数)が、予め重みα算出部52iに記憶されており、重みα算出部52iは、差分Lの値に対応する重みαを該関数から特定することで、関数の重みαを算出する。
最終WB補正値算出部52gは、例えば図15(b)のような、重みαで通常AWB補正値と顔AWB補正値とを加重平均する数式により、最終WB補正値を算出する。
図16は第5実施形態に係るホワイトバランス補正処理を示すフローチャートである。
S31〜S36はS11〜S16と同様である。
S37では、差分Lが所定の閾値T2以下であるか否かを判断する。L≦T2の場合はS38、L>T2の場合はS41に進む。
S38では、重みα=100(%)とする。
S40では、最終WB補正値を顔AWB補正値とする。なおこの値は図15(b)の数式でα=100とした値である。
S41では、差分Lが所定の閾値T3以上であるか否かを判断する。L≧T3の場合はS42、L<T3の場合はS45に進む。
S42では、重みα=0(%)とする。
S44では、最終WB補正値を通常AWB補正値とする。なおこの値は図15(b)の数式でα=0とした値である。
S45では、差分Lに対応した重みα=1〜99(%)の値とする。例えば図15(a)のような差分Lと重みαとの関係を規定した関数(重みα決定関数)を予め記憶しておき、差分Lの値に対応する重みαを該関数から特定する。
S47では、例えば図15(b)のような、重みαで通常AWB補正値と顔AWB補正値とを加重平均する数式により、最終WB補正値を算出する。
S48は、S10と同様である。
<第6実施形態>
図17は第6実施形態に係る画像信号処理回路44のブロック構成を示す。ここでは最終光源色算出部52jが追加されている。
例えば図18(a)のような差分Lと重みαとの関係を規定した関数(重みα決定関数)を予め重みα算出部52iに記憶しておき、重みα算出部52iは、差分Lの値に対応する重みαを該関数から特定することで、光源色の重みαを算出する。
最終光源色算出部52jは、例えば図18(b)のような重みαで通常AWB光源色と顔AWB光源色とを加重平均する数式により、最終光源色を算出する。
図19は第6実施形態に係るホワイトバランス補正処理を示すフローチャートである。
S51〜S56はS31〜S36と同様である。
S57では、差分Lが所定の閾値T4以下であるか否かを判断する。L≦T4の場合はS58、L>T4の場合はS61に進む。
S58では、重みα=100(%)とする。
S59では、最終光源色を顔AWB光源色抽出部52c−1の抽出した光源色とする。
S60では、最終光源色である顔AWB光源色抽出部52c−1の抽出した光源色を補正値の算出基準とし、最終WB補正値を顔AWB補正値とする。
S61では、差分Lが所定の閾値T5以上であるか否かを判断する。L≧T5の場合はS62、L<T5の場合はS65に進む。
S62では、重みα=0(%)とする。
S63では、最終光源色を通常AWB光源色抽出部52e−1の抽出した光源色とする。
S64では、最終光源色である通常AWB光源色抽出部52e−1の抽出した光源色を補正値の算出基準とし、最終WB補正値を通常AWB補正値とする。
S65では、差分Lに対応した重みα=1〜99(%)の値とする。例えば図18(a)のような差分Lと重みαとの関係を規定した関数(重みα決定関数)を予め記憶しておき、差分Lの値に対応する重みαを該関数から特定する。
S66では、例えば図18(b)のような、2つの光源色を重みαで加重平均する数式により、最終光源色を算出する。
S67では、最終光源色を補正値の算出基準とし、最終WB補正値を算出する。
S68は、S10と同様である。
<第7実施形態>
図20は第7実施形態に係る画像信号処理回路44のブロック構成を示す。上記実施形態と同一のブロックには同一の符号を付しており、説明は省略する。ここではエリア分割部52k、エリア特徴データ抽出部52lが追加されている。
エリア分割部52kは、画像データ全体を所定の1または複数のエリアに分割する。
図21は複数のエリアに分割した場合の一例である。複数のエリアへの区分の仕方は図示したものに限らず、これよりも多数あるいは少数の小領域に区分してもよい。また、分割面積は等面積、等間隔である必然性はなく、領域の特徴(例えば顔領域に包含される領域であるか否か)や重要度に応じてより精緻な領域分割を行ってもよい。あるいは、異なる色相ごとに画像を分割してもよい。なお、1つのエリアに分割するとは画像データ全体そのものを得ることと同じである。
図22は第7実施形態に係るホワイトバランス補正処理のフローチャートである。
S71〜S75はS1〜S5と同様である。
S76では、エリア分割部52kが画像データ全体を1または複数のエリアに分割する。
S77では、エリア特徴データ抽出部52lが各エリアの特徴データを抽出する。特徴データとは例えば各エリアの代表色である。エリアの代表色の求め方としては、例えば本出願人による特許公開2007−36462号公報、段落0038に記載されるように、エリアの各画像データを用いて、各画素の色をR/G−B/G空間の座標にそれぞれ変換し、それら各座標の重心の座標を求め、これを代表色の座標とする。
S78では、特徴データ比較部52fが、各エリアの特徴データを顔領域からの特徴データと比較する。
S79では、各エリアの特徴データを顔領域からの特徴データと比較した結果に応じて、適切な補正値算出式を選択する。例えば上述と同様、通常AWB補正値算出部52dの算出した補正値(通常AWB補正値)および顔AWB補正値算出部52bの算出した補正値(顔AWB補正値)のうちいずれか一方の最適な補正値を選択する。
S80〜S82は、S8〜S10と同様である。
図23は、このホワイトバランス補正による具体的効果を例示する。
例えば、図23(a)に示すように、1つの画像データ中に、人には赤い光源が照らされており、背景には青い水槽が存在していたとする。
この場合、図23(b)に示すように、1画面を複数のエリアに分割し、かつ、図23(c)に示すように、各エリアの特徴データとして各エリアの代表色を算出する。この場合、水槽側のエリアでは青、光源側のエリアでは赤が代表色となる。
また、図23(d)に示すように、検出された顔領域から、光源色を推定する。この場合、図23(e)に示すように、顔色から赤い光源と推定される。
つまり、各エリアの特徴データと顔領域の特徴データの間では、食い違いが生じ、それぞれの特徴データに従ってホワイトバランス補正を行った場合、得られる画像データも異なってくる。従って、いずれか一方の特徴データを基準としたより適切なホワイトバランス補正を行う必要がある。
図23(f)に示すように、顔領域の特徴データ(代表色)および各エリアの特徴データ(代表色)を、R/G−B/G色空間にプロットすると、顔領域の特徴データの周辺には、赤い光源が支配的な光源近傍のエリアの特徴データが集中し、また、水槽近傍のエリアは青が支配的な位置に集中する。
この、顔領域を中心とした所定の閾値Tの近傍内に、一定程度の分割エリアの特徴データが存在していれば、これが正しい光源色を表していると判断でき、近傍外にある青の特徴データは、背景を支配する色であるということが識別でき、顔AWBによるホワイトバランス補正がよりよい補正方法であると識別できる。
この方式は図24のように、本来の光源とは関係のない色で画像の大部分が支配されることで、通常AWBにおける光源推定が顔AWBにおける光源推定とかけ離れてしまうときに特に有効である。
<第8実施形態>
図25は第8実施形態に係る画像信号処理回路44のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
図26は第8実施形態に係るホワイトバランス補正処理のフローチャートである。
S91〜S94はS71〜S74と同様である。
S95では、顔AWB特徴データ抽出部52cが、顔領域から光源色を抽出する。そして、抽出した光源色を色空間にプロットする(例えば図27を参照)。
S96は、S76と同様である。
S97では、エリア特徴データ抽出部52lが各エリアの代表色(例えばエリアごとの画素の平均色)を抽出する。そして、抽出した各エリアの代表色を色空間にプロットする(例えば図27を参照)。
S98では、特徴データ比較部52fが、各エリアの代表色を顔領域からの光源色と比較する。
S99は、S98の比較結果に応じ、S100またはS101に分岐する。
S100〜S102は、S80〜S82と同様である。
<第9実施形態>
図28は第9実施形態に係る画像信号処理回路44のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
光源色と特定のエリアの代表色との差分算出部52f−3は、図29に例示するような数式により、色空間における各エリアの代表色と顔AWB光源色抽出部52の得た光源色との差分(距離)Lを算出する。
図30は第9実施形態に係るホワイトバランス補正処理のフローチャートである。
S111〜S117は、S91〜S97と同様である。
S118では、例えば図29に例示する数式により、色空間における各エリアRi(iはエリアに付与された添え字)の代表色と顔AWB光源色抽出部52の得た光源色との差分(距離)Liを算出する。そして、各エリアごとに求められた差分Liのうち最小値Lminを確定する(図31参照)。
S119では、最終WB補正値算出部52gが、差分Lminに基づき、適切な補正値算出方法を選択する。これは例えば上述と同様、差分Lminとある所定の閾値との大小関係に応じて、通常AWB補正値算出部52dの算出した補正値(通常AWB補正値)および顔AWB補正値算出部52bの算出した補正値(顔AWB補正値)のうちいずれか一方の最適な補正値を選択する。顔AWB補正値を選択した場合はS120、通常AWB補正値を選択した場合はS121に進む。
S120〜S122は、S100〜S102と同様である。
<第10実施形態>
図32は第10実施形態に係る画像信号処理回路44のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
光源色とn個のエリアの代表色との差分算出部52f−4は、各エリアの代表色と顔AWB光源色抽出部52c−1からの光源色との差分を算出する。
例えば図33に示すように、光源色の近傍に位置する所定個数(例えば総エリア個数の5〜20%程度の個数)の代表色と光源色との距離を、代表色ごとにそれぞれ求める。
重みづけ平均部52pは、各エリアと光源色との差分(距離)Liに対応する重みβiを乗じることで、差分の加重平均を算出する(図35)。各差分Liに対応する重みβiは例えば図34に示すような、差分量と重みの関係を規定する重みβi決定関数から特定する。
図36は第10実施形態に係るホワイトバランス補正処理のフローチャートである。
S131〜137は、S111〜S117と同様である。
S138では、各エリアの代表色と光源色との差分(距離)Liを算出する。
S139〜S145は、各エリアの各差分Liに対応するに対応する重みβiが全て(n個)算出するまで繰り返される処理単位である。
S140では、差分Liが所定の閾値T6以下であるか否かを判断する。判断が“Y”ならばS142、“N”ならばS141に進む。
S141では、差分Liが所定の閾値T7以上であるか否かを判断する。判断が“Y”ならばS143、“N”ならばS144に進む。
S142では、図34の重み決定関数に従い、重みβi=100%とする。
S143では、図34の重み決定関数に従い、重みβi=0%とする。
S144では、図34の重み決定関数に従い、重みβi=1〜99%とする。
S145では、n個の重みが算出されたか否かを判断し、算出されればS146に進む。算出されていなければS140に戻る。
S146では、各差分Liに対応する重みβiで各差分Liを重みづけして平均した差分の加重平均L’を算出する(図35参照)。
S147では、最終WB補正値算出部52gが、差分加重平均L’に基づき、適切な補正値算出方法を選択する。これの具体例は上述と同様である。第1の算出方法(例えば顔AWB補正値)を選択した場合はS148、第2の算出方法(例えば通常AWB補正値)を選択した場合はS149に進む。
S148〜S150は、S120〜S122と同様である。
<第11実施形態>
図37は第11実施形態に係る画像信号処理回路44のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
光源色と代表色との差分算出部52f−5は、各エリアの代表色と顔AWB光源色抽出部52c−1からの光源色との差分を算出する。
図38は第11実施形態に係るホワイトバランス補正処理のフローチャートである。
S161〜S167は、S131〜S137と同様である。
S168では、顔AWBの光源色と各エリアの代表色との差分Lを算出する。どのような差分を用いるかは任意であり、例えば上述した差分最小値Lminや重みづけ差分平均L’などである。
S169では、差分Lが所定の閾値T5以下であるか否かを判断する。L≦T5ならばS170,L>T5ならばS171に進む。
S170〜S172はS28〜S30と同様である。
<第12実施形態>
図39は第12実施形態に係る画像信号処理回路44のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
重みα算出部52iは、例えば図40のような差分Lと重みαとの関係を規定した関数を予め記憶しておき、差分Lの値に対応する重みαを該関数から特定することで、重みαを算出する。
図41は第12実施形態に係るホワイトバランス補正処理のフローチャートである。
S181〜188は、S161〜S168と同様である。
S189〜S200は、S37〜S48(図16)と同様である。ただし、S189、S193で用いられる閾値は、それぞれT6、T7である。
<第13実施形態>
図42は第13実施形態に係る画像信号処理回路44のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
最終光源色算出部52jは、例えば図43のような差分Lと重みαとの関係を規定した重み決定関数を予め記憶しておき、差分Lの値に対応する重みαを該関数から特定することで、重みαを算出する。
図44は第13実施形態に係るホワイトバランス補正処理のフローチャートである。
S211〜S218は、S181〜S188と同様である。
S219〜S230は、S57〜S68(図19)と同様である。ただし、S219、S223で用いられる閾値は、それぞれT8、T9である。
<第14実施形態>
図45は第14実施形態に係る画像信号処理回路44のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
図46に例示するように、表示アイコン作成部52qは、重みα()を示すアイコンICの映像信号を生成し、これを撮像された画像データに重畳して、LCD22に出力して画像とともに表示させる。
図47は第14実施形態に係るホワイトバランス補正処理のフローチャートである。
S241〜S257は、S181〜S200(図41)と同様である。
S258では、重みαを示すアイコンICの映像信号を生成し、これを撮像された画像データに重畳して、LCD22に出力して画像とともにポストビュー(撮像後の画像ビュー)として表示させる。これにより、ユーザはどのような重みが加えられているかを知ることができ、目視でそれが不適切と判断すれば、撮影のやり直しをすることができる。
<第15実施形態>
図48は第15実施形態に係る画像信号処理回路44のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
図49に例示するように、表示枠作成部52qは、顔AWBの光源色に最も近い代表色を有するエリアを示す枠Fの映像信号を生成し、これを撮像された画像データに重畳して、LCD22に出力して画像とともに表示させる。
図50は第15実施形態に係るホワイトバランス補正処理のフローチャートである。
S261〜S267は、S181〜S200と同様である。
S278では、顔AWBの光源色に最も近い代表色を有するエリアを示す枠Fの映像信号を生成し、これを撮像された画像データに重畳して、LCD22に出力して画像とともにポストビューとして表示させる。これにより、ユーザはどのエリアの特徴データがホワイトバランスの基準となっているかを知ることができ、目視でそれが不適切と判断すれば、撮影のやり直しをすることができる。
<第16実施形態>
図51は第16実施形態に係る画像信号処理回路44のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
重みα’算出部52sは、CPU33の指令に従って操作部23から読み込まれた顔AWBの優先度に基づき、重みα’を算出する。
ここで、顔AWBの優先度とは、例えば、高(設定優先度が標準の優先度よりも高く、画像信号処理回路44で算出した重みαよりも重みα’を大きくする)、中(設定優先度と標準の優先度が同じであり、画像信号処理回路44で算出した重みαと重みα’を同じにする)、低(設定優先度が標準の優先度よりも低く、画像信号処理回路44で算出した重みαよりも重みα’を小さくする)の3段階のレベルからなり、その中から、ユーザが所望のレベルを1つ選択できる。無論、高および低の段階は、さらに重みα’を所望の幅で増減可能にするため、さらに細分された段階を有していてもよい。
図52は第16実施形態に係るホワイトバランス補正処理のフローチャートである。
S281〜S295は、S261〜S275(図50)と同様である。
S296では、操作部23から、顔AWBの優先度の設定(重みα’)を読み込む。そして、設定された顔AWBの優先度(重みα’)と基準の顔AWBの優先度(重みα)が一致しているかを判断する。両者が一致する場合はS297、一致しない場合にはS298に進む。
S297では、S47と同様、重みαに基づいて最終WB補正値を算出する。
S298では、設定された顔AWBの優先度(重みα’)が基準の顔AWBの優先度(重みα)よりも大きいかを判断する。“Y”の場合はS299、“N”の場合場合にはS301に進む。
S299では、重みα’に基づいて最終WB補正値を算出する。この場合、結果的に顔AWBの重みが上がるから、顔AWB補正値に近い最終補正値が得られる(S300)。
S301では、重みα’に基づいて最終WB補正値を算出する。この場合、結果的に顔AWBの重みが下がるから、通常AWB補正値に近い最終補正値が得られる(S302)。
S303は、S277と同様である。
このように、ユーザの好みに応じて顔AWB、通常AWBの重みを変えることで、ユーザの意図通りの画像データを得ることができる。
デジタルカメラの電気的構成を示す図 第1実施形態に係る画像信号処理回路のブロック図 第1実施形態に係るホワイトバランス補正処理のフローチャート 第2実施形態に係る画像信号処理回路のブロック図 色空間(R/G,B/G)における光源色L1およびL2を例示した図 第2実施形態に係るホワイトバランス補正処理のフローチャート 第3実施形態に係る画像信号処理回路のブロック図 光源色L1およびL2の差分量(距離)の算出式の一例を示す図 第3実施形態に係るホワイトバランス補正処理のフローチャート 第4実施形態に係る画像信号処理回路のブロック図 第4実施形態に係るホワイトバランス補正処理のフローチャート 光源色L1とL2と閾値の関係を例示した図 本実施形態のホワイトバランス補正による具体的効果を例示した図 第5実施形態に係る画像信号処理回路のブロック図 重みα特定関数および通常AWB補正値と顔AWB補正値とを加重平均する数式を例示した図 第5実施形態に係るホワイトバランス補正処理のフローチャート 第6実施形態に係る画像信号処理回路のブロック図 重みα特定関数および通常AWB光源色と顔AWB光源色とを加重平均する数式を例示した図 第6実施形態に係るホワイトバランス補正処理のフローチャート 第7実施形態に係る画像信号処理回路のブロック図 画像データ全体を所定の1または複数のエリアに分割した様子を例示した図 第7実施形態に係るホワイトバランス補正処理のフローチャート 本実施形態のホワイトバランス補正による具体的効果を例示した図 通常AWBにおける光源推定が、顔AWBにおける光源推定とかけ離れている画像データを例示した図 第8実施形態に係る画像信号処理回路のブロック図 第8実施形態に係るホワイトバランス補正処理のフローチャート 顔領域の光源色および各エリアの代表色が色空間にプロットされた様子を例示した図 第9実施形態に係る画像信号処理回路のブロック図 色空間における各エリアの代表色と顔AWB光源色抽出部52c−1の得た光源色との差分(距離)Lを算出する数式を例示した図 第9実施形態に係るホワイトバランス補正処理のフローチャート 各エリアの代表色ごとに求められた顔領域の光源色との差分Liのうち最小値Lminを例示した図 第10実施形態に係る画像信号処理回路のブロック図 光源色の近傍に位置する所定個数の代表色と光源色の色空間における位置を例示した図 重みβiを特定するための差分量と重みの関係を規定する関数を例示した図 距離Liの加重平均Lを例示した図 第10実施形態に係るホワイトバランス補正処理のフローチャート 第11実施形態に係る画像信号処理回路のブロック図 第11実施形態に係るホワイトバランス補正処理のフローチャート 第12実施形態に係る画像信号処理回路のブロック図 差分Lの値に対応する重みαを特定するための差分量と重みの関係を規定する関数を例示した図 第12実施形態に係るホワイトバランス補正処理のフローチャート 第13実施形態に係る画像信号処理回路のブロック図 重みα決定関数を例示した図 第13実施形態に係るホワイトバランス補正処理のフローチャート 第14実施形態に係る画像信号処理回路のブロック図 重みαを画像データに重畳してポストビュー表示した一例を示す図 第14実施形態に係るホワイトバランス補正処理のフローチャート 第15実施形態に係る画像信号処理回路のブロック図 顔AWBの光源色と代表色が比較された分割エリアを示す枠を画像データに重畳してポストビュー表示した一例を示す図 第15実施形態に係るホワイトバランス補正処理のフローチャート 第16実施形態に係る画像信号処理回路のブロック図 第16実施形態に係るホワイトバランス補正処理のフローチャート
符号の説明
44:画像信号処理回路、52a:顔領域特定部、52b:顔AWB補正値算出部、52c:顔AWB特徴データ抽出部、52d:通常AWB補正値算出部、52e:通常AWB特徴データ抽出部、52f:特徴データ比較部、52g:最終AWB補正値算出部、52h:WB補正部

Claims (14)

  1. 画像データを入力するステップと、
    入力された画像データに基づいて第1のオートホワイトバランス(AWB)補正値である通常AWB補正値を算出するステップと、
    前記画像データから顔領域を特定するステップと、
    前記画像データの顔領域に基づいて第2のAWB補正値である顔AWB補正値を算出するステップと、
    前記画像データから第1の特徴データを抽出するとともに、前記顔領域中の画像データから第2の特徴データを抽出するステップと、
    前記第1の特徴データと前記第2の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、前記顔AWB補正値または前記通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択するステップと、
    を含むオートホワイトバランス補正値算出方法。
  2. 前記第1の特徴データは前記画像データに基づいて特定された光源色であり、前記第2の特徴データは前記顔領域に基づいて特定された光源色である請求項1に記載のオートホワイトバランス補正値算出方法。
  3. 前記画像データの光源色と前記顔領域の光源色との差分量を算出するステップと、
    前記差分量が前記所定の閾値以上であるか未満であるかに応じて、前記顔AWB補正値または前記通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択するステップと、
    をさらに含む請求項2に記載のオートホワイトバランス補正値算出方法。
  4. 画像データを入力するステップと、
    入力された画像データに基づいて第1のオートホワイトバランス(AWB)補正値である通常AWB補正値を算出するステップと、
    前記画像データから顔領域を特定するステップと、
    前記画像データの顔領域に基づいて第2のAWB補正値である顔AWB補正値を算出するステップと、
    前記画像データから第1の特徴データを抽出するとともに、前記顔領域中の画像データから第2の特徴データを抽出するステップと、
    前記第1の特徴データと前記第2の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、前記顔AWB補正値および前記通常AWB補正値を0%以上100%以下の所定の重みαにより加重平均することで最終的なAWB補正値を算出するステップと、
    を含むオートホワイトバランス補正値算出方法。
  5. 前記最終的なAWB補正値を表示するステップをさらに含む請求項1〜のいずれかに記載のオートホワイトバランス補正値算出方法。
  6. 顔優先度の選択を受け付けるステップと、
    前記顔優先度に応じて前記重みを変化させるステップと、
    をさらに含む請求項に記載のオートホワイトバランス補正値算出方法。
  7. 請求項1〜のいずれかに記載のオートホワイトバランス補正値算出方法をコンピュータに実行させるオートホワイトバランス補正値算出プログラム。
  8. 画像データを入力する画像データ入力部と、
    前記画像データ入力部に入力された画像データに基づいて第1のオートホワイトバランス(AWB)補正値である通常AWB補正値を算出する通常AWB補正値算出部と、
    前記画像データから顔領域を特定する顔領域特定部と、
    前記画像データの顔領域に基づいて第2のAWB補正値である顔AWB補正値を算出する顔AWB補正値算出部と、
    前記画像データから第1の特徴データを抽出するとともに、前記顔領域中の画像データから第2の特徴データを抽出する特徴データ抽出部と、
    前記第1の特徴データと前記第2の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、前記顔AWB補正値または前記通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択する最終AWB補正値算出部と、
    を備えるオートホワイトバランス補正値算出装置。
  9. 前記第1の特徴データは前記画像データに基づいて特定された光源色であり、前記第2の特徴データは前記顔領域に基づいて特定された光源色である請求項に記載のオートホワイトバランス補正値算出装置。
  10. 前記画像データの光源色と前記顔領域の光源色との差分量を算出する差分量算出部をさらに備え、
    前記最終AWB補正値算出部は、前記差分量が前記所定の閾値以上であるか未満であるかに応じて、前記顔AWB補正値または前記通常AWB補正値のうちいずれか一方を最終的なAWB補正値として選択する請求項に記載のオートホワイトバランス補正値算出装置。
  11. 画像データを入力する画像データ入力部と、
    前記画像データ入力部に入力された画像データに基づいて第1のオートホワイトバランス(AWB)補正値である通常AWB補正値を算出する通常AWB補正値算出部と、
    前記画像データから顔領域を特定する顔領域特定部と、
    前記画像データの顔領域に基づいて第2のAWB補正値である顔AWB補正値を算出する顔AWB補正値算出部と、
    前記画像データから第1の特徴データを抽出するとともに、前記顔領域中の画像データから第2の特徴データを抽出する特徴データ抽出部と、
    前記第1の特徴データと前記第2の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、前記顔AWB補正値および前記通常AWB補正値を0%以上100%以下の所定の重みαにより加重平均することで最終的なAWB補正値を算出する最終AWB補正値算出部と、
    を備えるオートホワイトバランス補正値算出装置。
  12. 前記最終的なAWB補正値を表示する表示部をさらに備える請求項11のいずれかに記載のオートホワイトバランス補正値算出装置。
  13. 顔優先度の選択を受け付ける顔優先度選択部をさらに備え、
    前記最終AWB補正値算出部は、前記顔優先度に応じて前記重みを変化させる請求項11に記載のオートホワイトバランス補正値算出装置。
  14. 請求項13のいずれかに記載のオートホワイトバランス補正値算出装置と、
    撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を出力する撮像素子と、
    前記アナログ画像信号をデジタル画像データに変換して前記画像データ入力部に出力する画像データ出力部と、
    前記オートホワイトバランス補正値算出装置の算出した最終的なAWB補正値に基づいて前記画像データのホワイトバランスを補正する補正部と、
    を備える撮像装置。
JP2007185873A 2007-07-17 2007-07-17 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 Expired - Fee Related JP4702635B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007185873A JP4702635B2 (ja) 2007-07-17 2007-07-17 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
US12/174,541 US8045014B2 (en) 2007-07-17 2008-07-16 Auto white balance correction value calculation device, method, program, and image pickup device
CN2008101323870A CN101350883B (zh) 2007-07-17 2008-07-16 自动白平衡校正值计算装置、方法以及摄像装置
US13/157,177 US8520091B2 (en) 2007-07-17 2011-06-09 Auto white balance correction value calculation device, method, program, and image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007185873A JP4702635B2 (ja) 2007-07-17 2007-07-17 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011014426A Division JP5214749B2 (ja) 2011-01-26 2011-01-26 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置

Publications (3)

Publication Number Publication Date
JP2009027259A JP2009027259A (ja) 2009-02-05
JP2009027259A5 JP2009027259A5 (ja) 2010-10-28
JP4702635B2 true JP4702635B2 (ja) 2011-06-15

Family

ID=40264513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007185873A Expired - Fee Related JP4702635B2 (ja) 2007-07-17 2007-07-17 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置

Country Status (3)

Country Link
US (2) US8045014B2 (ja)
JP (1) JP4702635B2 (ja)
CN (1) CN101350883B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010814A (ja) * 2007-06-29 2009-01-15 Fujifilm Corp 画像処理装置および方法並びにプログラム、撮像装置および方法並びにプログラム

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5064947B2 (ja) * 2007-09-11 2012-10-31 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP5113514B2 (ja) * 2007-12-27 2013-01-09 キヤノン株式会社 ホワイトバランス制御装置およびホワイトバランス制御方法
JP5489411B2 (ja) * 2008-03-17 2014-05-14 キヤノン株式会社 ホワイトバランス制御装置及びホワイトバランス制御方法
KR100978659B1 (ko) * 2008-07-17 2010-08-30 삼성전기주식회사 색신호 이득 제어 장치 및 방법
JP5187139B2 (ja) * 2008-10-30 2013-04-24 セイコーエプソン株式会社 画像処理装置およびプログラム
JP5187241B2 (ja) * 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
KR101595254B1 (ko) * 2009-02-20 2016-02-18 삼성전자주식회사 화이트 밸런스 조정 방법, 상기 방법을 기록한 기록 매체, 화이트 밸런스 조정 장치
JP5406703B2 (ja) * 2009-12-25 2014-02-05 キヤノン株式会社 画像処理装置及び画像処理方法及び画像形成装置
JP2011188186A (ja) * 2010-03-08 2011-09-22 Aof Imaging Technology Ltd ホワイトバランスゲイン算出装置
JP5761946B2 (ja) 2010-09-02 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
JP4760999B1 (ja) * 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP5545191B2 (ja) * 2010-11-30 2014-07-09 ブラザー工業株式会社 画像処理装置、および画像処理プログラム
JP5273208B2 (ja) * 2011-06-07 2013-08-28 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP5681589B2 (ja) * 2011-08-18 2015-03-11 富士フイルム株式会社 撮像装置及び画像処理方法
JP5911241B2 (ja) * 2011-09-07 2016-04-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
KR101896386B1 (ko) * 2011-11-22 2018-09-11 삼성전자주식회사 화이트 밸런스 조절장치 및 방법
TWI532385B (zh) * 2012-03-19 2016-05-01 華晶科技股份有限公司 白平衡處理方法及其處理裝置
JP6083974B2 (ja) * 2012-04-24 2017-02-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN104320641B (zh) * 2013-03-13 2017-04-12 豪威科技股份有限公司 电子照相机的自动白平衡的自动化自我训练的装置及方法
JP6056702B2 (ja) * 2013-08-08 2017-01-11 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2015067015A1 (zh) * 2013-11-08 2015-05-14 深圳市中兴移动通信有限公司 白平衡调整方法和装置
JP6234191B2 (ja) * 2013-11-28 2017-11-22 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
KR102135155B1 (ko) * 2013-12-12 2020-07-17 삼성전자주식회사 디스플레이 장치 및 그 제어방법
KR102170686B1 (ko) * 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
JP6274931B2 (ja) * 2014-03-19 2018-02-07 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
KR102211862B1 (ko) * 2014-04-09 2021-02-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 센서 시스템
CN104994362A (zh) * 2015-07-02 2015-10-21 广东欧珀移动通信有限公司 白平衡处理的方法及装置
EP3135189A1 (en) * 2015-08-25 2017-03-01 Capso Vision, Inc. Methods to compensate manufacturing variations and design imperfections in a display device
CN105100765B (zh) * 2015-09-07 2017-05-10 歌尔股份有限公司 检测镜头的白平衡自动调节性能的方法和系统
CN105894458A (zh) * 2015-12-08 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种具有人脸的图像处理方法和装置
CN105681775B (zh) * 2016-03-08 2017-12-19 福州瑞芯微电子股份有限公司 一种白平衡方法和装置
WO2017159003A1 (ja) * 2016-03-17 2017-09-21 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
WO2017186071A1 (en) 2016-04-25 2017-11-02 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and media for image white balance adjustment
CN105827977B (zh) * 2016-04-27 2019-01-04 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端
CN106097261B (zh) * 2016-06-01 2019-10-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及终端设备
US10375317B2 (en) * 2016-07-07 2019-08-06 Qualcomm Incorporated Low complexity auto-exposure control for computer vision and imaging systems
CN106250825A (zh) * 2016-07-22 2016-12-21 厚普(北京)生物信息技术有限公司 一种在医保应用中场景自适应的人脸识别系统
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
CN106357988B (zh) * 2016-11-09 2020-03-06 Oppo广东移动通信有限公司 白平衡调整方法、装置和终端设备
CN106375610B (zh) * 2016-11-30 2020-05-01 瑞安市任想科技有限责任公司 一种照片处理方法和终端
CN106851238B (zh) * 2017-03-09 2018-07-06 广东欧珀移动通信有限公司 白平衡控制方法、白平衡控制装置及电子装置
KR102359276B1 (ko) * 2017-03-24 2022-02-07 삼성전자주식회사 전자 장치의 화이트 밸런스 기능 제어 방법 및 장치
CN107343188A (zh) * 2017-06-16 2017-11-10 广东欧珀移动通信有限公司 图像处理方法、装置及终端
CN107295324A (zh) * 2017-06-16 2017-10-24 广东欧珀移动通信有限公司 白平衡处理方法、装置和终端设备
JP6677222B2 (ja) * 2017-06-21 2020-04-08 カシオ計算機株式会社 検出装置、画像処理装置、検出方法、及び画像処理方法
CN107454345B (zh) * 2017-07-12 2019-10-22 Oppo广东移动通信有限公司 图像的白平衡处理方法、装置和终端设备
CN107690065A (zh) * 2017-07-31 2018-02-13 努比亚技术有限公司 一种白平衡校正方法、装置及计算机可读存储介质
WO2019041493A1 (zh) * 2017-08-31 2019-03-07 广东欧珀移动通信有限公司 白平衡调整方法和装置
CN107580205B (zh) * 2017-08-31 2019-06-07 Oppo广东移动通信有限公司 白平衡调整方法和装置
KR102397396B1 (ko) 2017-09-13 2022-05-12 삼성전자주식회사 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치
CN107801012B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN108040240B (zh) * 2017-11-08 2020-06-30 维沃移动通信有限公司 一种白平衡调整的方法、装置以及移动终端
CN110392245B (zh) * 2018-04-20 2021-07-16 瑞昱半导体股份有限公司 基于肤色信息的白平衡校正方法及其图像处理装置
CN110570476A (zh) * 2018-06-06 2019-12-13 英属开曼群岛商玩美股份有限公司 执行于计算设备的系统、方法及存储媒体
US10791310B2 (en) * 2018-10-02 2020-09-29 Intel Corporation Method and system of deep learning-based automatic white balancing
TWI703509B (zh) * 2018-12-13 2020-09-01 致茂電子股份有限公司 光學檢測裝置以及校正方法
CN110381261B (zh) * 2019-08-29 2020-11-03 重庆紫光华山智安科技有限公司 聚焦方法、装置、计算机可读存储介质及电子设备
CN111294576B (zh) * 2020-02-13 2021-11-09 展讯通信(上海)有限公司 一种自动白平衡处理方法、装置及电子设备
JP2021136661A (ja) * 2020-02-28 2021-09-13 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
JPWO2021193147A1 (ja) * 2020-03-27 2021-09-30
JP2021182672A (ja) 2020-05-18 2021-11-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7455656B2 (ja) * 2020-05-18 2024-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN113873211A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 拍照方法及装置、电子设备及存储介质
US20220070425A1 (en) * 2020-08-28 2022-03-03 Viavi Solutions Inc. Multi-sensor system
WO2022198436A1 (zh) * 2021-03-23 2022-09-29 华为技术有限公司 图像传感器、图像数据获取方法、成像设备
US12052516B2 (en) * 2021-07-07 2024-07-30 Qualcomm Incorporated Flexible region of interest color processing for cameras
CN114945087B (zh) * 2022-06-06 2023-10-03 安谋科技(中国)有限公司 基于人脸特征的图像处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189325A (ja) * 2001-12-19 2003-07-04 Ricoh Co Ltd 画像処理装置及びカラー画像撮像装置
JP2005531189A (ja) * 2002-06-25 2005-10-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像のホワイトバランスを顔の色を基準信号として用いて行う方法及びシステム
JP2006033519A (ja) * 2004-07-16 2006-02-02 Fuji Photo Film Co Ltd 撮像装置
JP2006352795A (ja) * 2005-06-20 2006-12-28 Canon Inc 撮像装置及び画像処理方法
JP2007068146A (ja) * 2005-08-04 2007-03-15 Canon Inc 画像処理装置、ホワイトバランスの評価値を演算する方法、ホワイトバランスの評価値を演算する方法を実現するためのプログラムコードを有するプログラム、および、このプログラムを記憶した記憶媒体
JP2007180629A (ja) * 2005-12-27 2007-07-12 Samsung Techwin Co Ltd カメラ
JP2008236101A (ja) * 2007-03-19 2008-10-02 Ricoh Co Ltd 撮像装置および撮像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2923894B1 (ja) 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
US7146041B2 (en) * 2001-11-08 2006-12-05 Fuji Photo Film Co., Ltd. Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded
JP3848274B2 (ja) 2002-03-06 2006-11-22 キヤノン株式会社 ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体
US7148921B2 (en) * 2002-03-06 2006-12-12 Canon Kabushiki Kaisha White balance adjustment method, image sensing apparatus, program, and storage medium
JP2004328098A (ja) 2003-04-22 2004-11-18 Mitsubishi Electric Corp デジタルカメラおよびその画像補正方法
JP4154400B2 (ja) * 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP4527500B2 (ja) * 2004-11-10 2010-08-18 富士フイルム株式会社 画像処理方法および装置並びにプログラム
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP5066398B2 (ja) * 2007-06-29 2012-11-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189325A (ja) * 2001-12-19 2003-07-04 Ricoh Co Ltd 画像処理装置及びカラー画像撮像装置
JP2005531189A (ja) * 2002-06-25 2005-10-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像のホワイトバランスを顔の色を基準信号として用いて行う方法及びシステム
JP2006033519A (ja) * 2004-07-16 2006-02-02 Fuji Photo Film Co Ltd 撮像装置
JP2006352795A (ja) * 2005-06-20 2006-12-28 Canon Inc 撮像装置及び画像処理方法
JP2007068146A (ja) * 2005-08-04 2007-03-15 Canon Inc 画像処理装置、ホワイトバランスの評価値を演算する方法、ホワイトバランスの評価値を演算する方法を実現するためのプログラムコードを有するプログラム、および、このプログラムを記憶した記憶媒体
JP2007180629A (ja) * 2005-12-27 2007-07-12 Samsung Techwin Co Ltd カメラ
JP2008236101A (ja) * 2007-03-19 2008-10-02 Ricoh Co Ltd 撮像装置および撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010814A (ja) * 2007-06-29 2009-01-15 Fujifilm Corp 画像処理装置および方法並びにプログラム、撮像装置および方法並びにプログラム

Also Published As

Publication number Publication date
CN101350883B (zh) 2013-09-04
US20110234845A1 (en) 2011-09-29
CN101350883A (zh) 2009-01-21
US20090021602A1 (en) 2009-01-22
US8045014B2 (en) 2011-10-25
US8520091B2 (en) 2013-08-27
JP2009027259A (ja) 2009-02-05

Similar Documents

Publication Publication Date Title
JP4702635B2 (ja) オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
US8983148B2 (en) Color segmentation
EP3477931A1 (en) Image processing method and device, readable storage medium and electronic device
US8384792B2 (en) Imaging apparatus, method for controlling the same, and program
KR100942766B1 (ko) 촬영 장치와 방법, 및 프로그램 기록 매체
JP2019012426A (ja) 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム
JP2003036438A (ja) 画像中の赤目を特定するプログラム、記録媒体、画像処理装置及び赤目特定方法
JP2005310124A (ja) 赤目検出装置、プログラムおよびプログラムを記録した記録媒体
CN102111556B (zh) 摄像装置以及图像处理方法
KR20130091679A (ko) 피사체 판정 장치, 피사체 판정 방법, 및 기록 매체
JP2005318063A (ja) 映像信号処理装置と映像信号処理プログラムおよび映像信号記録媒体
KR101375988B1 (ko) 피사체 검출 장치, 피사체 검출 방법 및 기록 매체
JP2016126750A (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
EP1971128A2 (en) Image processing apparatus, imaging apparatus and image processing program
JP5509621B2 (ja) 画像処理装置、カメラおよびプログラム
JP5214749B2 (ja) オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
JP5414216B2 (ja) 撮像装置、その制御方法及びプログラム
JP5453796B2 (ja) 画像処理装置、電子カメラ及び画像処理プログラム
US20120087578A1 (en) Image processing apparatus and storage medium storing image processing program
US8055071B2 (en) Image processing apparatus, imaging apparatus and recording medium storing image processing program
JP5463688B2 (ja) 合焦評価装置、カメラおよびプログラム
KR20090102259A (ko) 카메라 동작 제어 장치 및 방법
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP2007201679A (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP2009206583A (ja) 撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100914

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100914

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20101001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110223

R150 Certificate of patent or registration of utility model

Ref document number: 4702635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees