JP4745672B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は色のユーザカスタマイズを可能とする撮像装置及びその制御方法に関する。

近年、デジタルカメラが普及し、多くのユーザがデジタルカメラを使用する機会が増えている。このため、デジタルカメラに対するユーザのニーズもより多様化してきている。そのようなニーズの一つとして色再現性がある。メーカが目標とする色再現特性は多くのユーザが好ましいと感じる平均的な色再現を目指している。しかしながら、ユーザ毎に好みは異なるため、すべてのユーザが満足するような色再現性を実現することはできなかった。

このような課題を解決するために、色相、彩度、明度等のパラメータをカスタマイズすることを可能とし、撮影時においてユーザが所望する色再現性を実現可能とするデジタルカメラが存在する。しかしながら、これらパラメータの変化と色の変化の関係をユーザに示すことは困難なため、最適な設定をするにはユーザの熟練を必要としていた。

ユーザにわかりやすく色を調整させるための方法に関する提案として特許文献１が挙げられる。特許文献１では、撮像装置で変更したい元色として肌色を取り込み、その取り込んだ肌色とＲＯＭに記憶された肌色再現目標値とに基づいて色補正係数を算出する構成が記載されている。
特開２００３−２９９１１５号公報

しかしながら、特許文献１では、撮像装置を用いてユーザが変更したい元色を取り込むための撮像時や、色補正を伴う本撮影時におけるフラッシュ光の影響については何等考慮されていない。元色の取り込み時においてフラッシュが作動すると、画像の色が定常光とフラッシュ光両者の影響を受けてしまい、所望の色を取り込むのが困難となる。また、色取り込み時でフラッシュは動作しなかったものの、本撮影時にフラッシュが動作してしまうというような場合においても、フラッシュの動作時と非動作時では同じ色の色値が異なってしまい、所望の色変換動作を行わせることができなくなるという課題が生じる。

本発明は上記の課題に鑑みてなされたものであり、所望の色を別の色へ変換する色変換処理を伴う撮影においてフラッシュの発光を回避し、より正確な色変換処理を実現可能とすることを目的とする。

上記の目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
被写体像を撮像し、画像データを出力する撮像手段と、
第１の色値及び第２の色値を決定する決定手段と、
前記撮像手段で得られた第１の画像データから、前記決定手段が前記第１または前記第２の色値の決定に用いるための色情報を取り込む取込手段と、
前記決定手段で決定された前記第１及び第２の色値を用いて、前記撮像手段で得られた第１の画像データと異なる第２の画像データの、前記第１の色値を前記第２の色値に色変換する色変換手段と、
前記色変換が実行される動作モードにおいて、前記撮像手段が撮像時にフラッシュを非発光とする被写体輝度の限界を、前記色変換が実行されない通常撮像の動作モードよりも低輝度側に変更する調整手段と、を備える。

本発明によれば、所望の色を別の色へ変換する色変換処理を伴う撮影においてフラッシュの発光が回避され、より正確な色変換処理を実現できる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

＜第１実施形態＞
図１は実施形態による撮像装置１００の構成を示すブロック図である。撮像装置１００において、光学系１０１は、ズームレンズ、フォーカスレンズを具備し、被写体像（光学像）を撮像素子１０３上に結像する。シャッター１０２は、撮像素子１０３の駆動を制御する電子シャッターや、撮像素子１０３へ到達する光量を制御する絞り機能を備える。撮像素子１０３は光学像を電気信号に変換する。Ａ／Ｄ変換器１０４は撮像素子１０３から得られるアナログ出力信号をデジタル信号に変換し、ＣＣＤデジタル信号を生成する。

タイミング発生回路１０５はシャッター１０２、撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１１０にクロック信号や制御信号を供給する回路である。タイミング発生回路１０５は、メモリ制御回路１０９およびシステム制御部１０７により制御される。画像処理回路１０６は、Ａ／Ｄ変換器１０４からのデータ（ＣＣＤデジタル信号）或いはメモリ制御回路１０９から提供される画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路１０６は撮像した画像データを用いて所定の演算処理を行い、システム制御回路１０７は得られた演算結果に基づいてＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器１０４のデータが画像処理回路１０６とメモリ制御回路１０９を介して、或いは直接メモリ制御回路１０９を介して、画像メモリ１０８或いは画像表示メモリ１１１に書き込まれる。画像メモリ１０８は撮影した静止画像や動画像を格納するための画像メモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みを画像メモリ１０８に対して行うことが可能となる。また、画像メモリ１０８はシステム制御回路１０７の作業領域としても使用することが可能となっている。

画像表示メモリ１１１は、表示部１１２に表示するための画像データを記憶する。画像表示メモリ１１１に書き込まれた表示用の画像データはＤ／Ａ変換器１１０によりビデオ信号に変換され、表示部１１２により表示される。なお、表示部１１２はシステム制御部１０７によってＯＮ／ＯＦＦ制御される。これにより、例えば、操作部１３０によるユーザの操作入力により、任意に表示部１１２の表示をＯＮ／ＯＦＦさせることが可能である。なお、表示部１１２の表示をＯＦＦにした場合には画像処理装置１００の電力消費が大幅に低減される。なお、表示部１１２は後述の電子ビューファインダ（ＥＶＦ）としても用いられる。

図２は、撮像装置１００（デジタルカメラ）の斜視図である。電源スイッチ２０１は電源をＯＮ／ＯＦＦするためのボタンである。参照番号２０２、２０３、２０５〜２０９は上述した操作部１３０の一部を構成している。モード切り替えレバー２０２は、撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り替え設定する。シャッターボタン２０３は上述のシャッター１０２の動作を指示する。ＬＣＤ２０４は上述した表示部１１２の一部を構成し、ＥＶＦとして機能するほか、静止画像及び／または動画像を再生して得られる画面を表示することもできる。メニューボタン２０５は、撮影パラメタやカメラの設定を変更するためのメニュー画面のＬＣＤ２０４上への表示をＯＮ、ＯＦＦさせるスイッチである。セットボタン２０６は、メニューボタン２０５の操作により表示されたメニュー画面でのメニューの選択・決定等に使用される。削除ボタン２０７は画像の削除を指示する。ディスプレイボタン２０８は表示部１１２による画像表示のＯＮ／ＯＦを切り替えるためのボタンである。十字ボタン２０９は、上下左右ボタンを使ってメニュー画面での項目の移動などを行ったり、再生モードでは左右ボタンを押して画像送りを行ったりするのに使用され得る。

図３は本実施形態によるディジタルカメラ１００内の画像処理回路１０６の機能構成及び処理を説明するブロック図である。なお、以下で説明する各処理に用いられるパラメータ値（マトリクス演算のためのパラメータや３次元ルックアップテーブルのパラメータ）はシステム制御部１０７内のメモリ（不図示）に格納されており、画像処理回路１０６により適宜読み出されるものとする。或いは、そのようなパラメータは画像処理回路１０６内のレジスタ（不図示）に記憶されてもよい。Ａ／Ｄ変換器１０４によりＡ／Ｄ変換されたＣＣＤデジタル信号に対して、まずホワイトバランス処理部３０１にてホワイトバランス処理が行われる。ホワイトバランス処理についてはここでは詳述しないが、例えば特開２００３−２４４７２３号公報に記載されている方法を用いて行うことができる。ホワイトバランス処理が行われたＣＣＤデジタル信号は補間処理部３０２に供給される。本実施形態の撮像素子１０３は図５に示すようなベイヤー配列のカラーフィルタを有するものとする。従って、補間処理部３０２では、図５に示されたＣＣＤのベイヤー配列データを図６に示されるようなＲ、Ｇ１、Ｇ２、Ｂの補間データに変換する処理が行なわれる。補間されたＣＣＤデジタル信号はマトリクス演算処理部３０３に入力され、式（１）に示される４×３のマトリクス演算が行われ、Ｒｍ、Ｇｍ、Ｂｍが求められる。

マトリクス演算処理されたＣＣＤデジタル信号は色差ゲイン演算処理部３０４において色差信号にゲインがかけられる。即ち、Ｒｍ、Ｇｍ、Ｂｍ信号は式（２）に従ってＹ、Ｃｒ、Ｃｂ信号へと変換される。そして、得られたＣｒ、Ｃｂ信号に式（３）に従ってゲインがかけられる。その後、式（４）（式（２）の逆行列演算）により、Ｒｇ、Ｇｇ、Ｂｇ信号へと変換される。

色差ゲイン演算処理されたＣＣＤデジタル信号はガンマ処理部３０５へ送られる。ガンマ処理部３０５では以下の式（５）〜（７）を用いてＣＣＤデジタル信号のガンマ変換を行なう。ここで、GammaTableは１次元ルックアップテーブルである。

Ｒｔ＝GammaTable[Ｒｇ] …式（５）
Ｇｔ＝GammaTable[Ｇｇ] …式（６）
Ｂｔ＝GammaTable[Ｂｇ] …式（７）

上記ガンマ処理が施されたＣＣＤデジタル信号は色相補正演算処理部３０６へ送られる。色相補正演算処理部３０６は、以下の式（８）によりＲｔ、Ｇｔ、Ｂｔ信号をＹ、Ｃｒ、Ｃｂ信号へ変換し、さらに式（９）によりＣｒ、Ｃｂ、信号を補正し、その後、式（１０）（式（９）の逆行列演算）により、Ｒｈ、Ｇｈ、Ｂｈ信号へ変換する。

色相補正演算処理部３０６で処理されたＣＣＤデジタル信号は色差信号変換処理部３０７へと送られる。色差信号変換処理部３０７は、式（１１）を用いてＲｈ、Ｇｈ、Ｂｈ信号よりＵＶ信号を作成する。

一方、ホワイトバランス処理部３０１でホワイトバランス処理が施されたＣＣＤデジタル信号は、輝度信号作成部３０８にも供給される。輝度信号作成処理部３０８は、ＣＣＤデジタル信号を輝度信号へと変換する。例えば、図５に示すような原色フィルタの場合の輝度信号は、Ｒ、Ｂの信号をすべて０にして、図７に示す係数を持つ２次元フィルタ処理を施したものを輝度信号とする。なお、補色フィルタの場合の輝度信号はそのまま図７に示す係数を持つ２次元フィルタ処理を施したものを輝度信号とする。補色輝度信号処理部３０８で作成された輝度信号は高域強調処理部３０９にてエッジ強調処理され、さらにガンマ処理部３１０にてガンマ変換処理されてＹ信号が作成される。

ガンマ処理部３１０から出力されるＹ信号および、色差信号変換処理部３０７から出力されるＵ，Ｖ信号は色変換処理部３１１にて、Ｙ’、Ｕ’、Ｖ’信号へと変換される。色変換処理部３１１では、３次元ルックアップテーブルを用いた色変換処理がなされるが、詳細は後述する。

本実施形態のデジタルカメラ（撮像装置１００）は、ユーザが指定した任意の色を、ユーザが指定した別の任意の色へ変換することが可能な撮影モード（以下、色変換モードという）を有する。この色変換モードでは、ＬＣＤ２０４上に図８に示す電子ビューファインダ（ＥＶＦ）画面８０１を表示し、リアルタイムに表示される撮像画像中の色取り込み枠８０２内に所望の色が入るようにして所定の操作を行なうことにより、色取り込み枠８０２内の画像の色を変換元色或いは変換目標色として決定する。変換元色と変換目標色が決定されると、決定された変換元色が変換目標色に変換されるように色変換処理部３１１のルックアップテーブルが設定される。この結果、その後のＥＶＦ画面８０１における表示画像、及びシャッターボタン２０３の操作により記録される撮影画像は、上記変換元色が上記変換目標色になるように変換されたものとなる。以下、本実施形態の色変換モードについて詳細に説明する。

まず、色変換モードにおける変換元色から変換目標色への色変換処理について説明する。色変換処理部３１１では、３次元ルックアップテーブルによりＹＵＶをＹ’Ｕ’Ｖ’へ変換する。本実施形態においては、３次元ルックアップテーブルの容量を減らすため、Ｙ信号、Ｕ信号、及びＶ信号の最小値から最大値までを８分割した、９×９×９＝７２９個の３次元代表格子点におけるＹＵＶ値のリスト（ルックアップテーブル）を用意し、代表格子点以外のＹＵＶ信号は補間により求めるものとする。図９は本実施形態の３次元ルックアップテーブルを概念的に示す図である。各格子点には変換後のＹＵＶ値が入ることになる。例えば、格子点１１０１は、（32,255,32）の点であり、変換前と変換後に変化がなければ格子点１１０１には（32,255,32）が割り当てられることになる。また、格子点１１０１が変換後では（32,230,28）のようになるのであれば、その値が当該格子点１１０１に入ることになる。

例えば、図９の立方格子１１０２内における点１１０３のＹＵＶ値は、立方格子１１０２の頂点に対応する各格子点（ａ〜ｈ）のＹＵＶ値からの補間演算により求める。補間演算は以下の式（１２）〜式（１４）により行われる。ただし、式（１２）〜式（１４）において、入力ＹＵＶ信号をY、U、V、そのときの出力ＹＵＶ信号をYout(Y,U,V)、Uout(Y,U,V)、Vout(Y,U,V)とする。また、入力ＹＵＶ信号のY、U、Vそれぞれの信号値より小さく、かつ一番近い値の代表格子点（図１１ではａ）の信号をYi、Ui、Viとする。さらに、代表格子点出力信号をYout(Yi,Ui,Vi)、Uout(Yi,Ui,Vi)、Vout(Yi,Ui,Vi)とし、代表格子点のステップ幅をStep（本実施形態においては３２）とする。従って、例えば格子点ｂの信号はYi+step、Ui、Vi、格子点ｃの信号はYi、Ui+step、Viのようになる。

Y=Yi+Yf
U=Ui+Uf
V=Vi+Vf
Yout(Y,U,V)＝Yout(Yi+Yf,Ui+Uf,Vi+Vf)＝
(Yout(Yi,Ui,Vi)×(Step-Yf)×(Step-Uf)×(Step-Vf)
+Yout(Yi+Step,Ui,Vi)×(Yf)×(Step-Uf)×(Step-Vf)
+Yout(Yi,Ui+Step,Vi)×(Step-Yf)×(Uf)×(Step-Vf)
+Yout(Yi,Ui,Vi+Step)×(Step-Yf)×(Step-Uf)×(Vf)
+Yout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step-Vf)
+Yout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step-Uf)×(Vf)
+Yout(Yi,Ui+Step,Vi+Step)×(Step-Yf)×(Uf)×(Vf)
+Yout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式（１２）
Uout(Y,U,V)＝Uout(Yi+Yf,Ui+Uf,Vi+Vf)＝
(Uout (Yi,Ui,Vi)×(Step-Yf)×(Step-Uf)×(Step-Vf)
+Uout (Yi+Step,Ui,Vi)×(Yf)×(Step-Uf)×(Step-Vf)
+Uout(Yi,Ui+Step,Vi)×(Step-Yf)×(Uf)×(Step-Vf)
+Uout(Yi,Ui,Vi+Step)×(Step-Yf)×(Step-Uf)×(Vf)
+Uout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step-Vf)
+Uout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step-Uf)×(Vf)
+Uout(Yi,Ui+Step,Vi+Step)×(Step-Yf)×(Uf)×(Vf)
+Uout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式（１３）
Vout(Y,U,V)＝Vout(Yi+Yf,Ui+Uf,Vi+Vf)＝
(Vout(Yi,Ui,Vi)×(Step-Yf)×(Step-Uf)×(Step-Vf)
+Vout(Yi+Step,Ui,Vi)×(Yf)×(Step-Uf)×(Step-Vf)
+Vout(Yi,Ui+Step,Vi)×(Step-Yf)×(Uf)×(Step-Vf)
+Vout(Yi,Ui,Vi+Step)×(Step-Yf)×(Step-Uf)×(Vf)
+Vout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step-Vf)
+Vout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step-Uf)×(Vf)
+Vout(Yi,Ui+Step,Vi+Step)×(Step-Yf)×(Uf)×(Vf)
+Vout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式（１４）

以下、上記式（１２）、式（１３）、及び式（１４）のルックアップテーブル変換及び補間演算式を簡易的に以下のような式（１５）で表すことにする。ただし、式（１５）において、Ｙ、Ｕ、Ｖは入力信号値を示し、ＬＵＴは図９に示すような９×９×９のルックアップテーブルを示し、Yout、Uout、Voutはルックアップテーブル変換及び補間演算した結果（図３のＹ’，Ｕ’，Ｖ’）を示す。即ち、色変換処理部３１１は以下の式（１５）に示される変換処理を実行する。

(Yout,Uout,Vout)＝LUT[(Y,U,V)] …式（１５）

上述したように、色変換モードで変換元色と変換目標色が決定されると、変換元色を内包する立方格子が決定され、変換元色の座標位置で変換目標色となるようにその立方格子を形成する各格子点の値を変更する。例えば、図９において決定された変換元色が点１１０３のＹＵＶ値であった場合、上記式（１５）による補間処理を実行した際に点１１０３におけるＹＵＶ値が設定された変換目標色のＹＵＶ値となるように、立方格子１１０２の格子点ａ〜ｈの値を変更する。詳細な説明は省略するが、変更後の代表格子点の値は数学的に求まる。そして、色変換処理部３１１では変更後の３次元ルックアップテーブルを用いて色変換処理を実行する。なお、以下の説明では、このような格子点の値の変更をパラメータの設定と称する。

以上のように、指定された変換元色と変換目標色により３次元ルックアップテーブルの格子点データを決定して色変換を行なうので、ユーザの好みの色設定を、再生する画像に対して容易に与えることができる。また、上記の色変換処理では、３次元ルックアップテーブルにおいて、変更したい色の近傍の代表格子点のみが変更される。このため、画像中の色全体ではなく、一部の色のみをユーザの好みの色へと変換することを容易且つ高速に実現することができる。即ち、マトリクス演算部３０３、色差ゲイン演算処理部３０４、ガンマ処理部３０５、色相補正演算処理部３０６等で利用されるパラメータを変更するものではないので、所望の色（色領域）だけを変更することができる。

図４は、色変換モード撮影時における本実施形態のデジタルカメラの処理を説明するフローチャートである。なお、色変換モード以外の通常の撮影モードは一般的なデジタルカメラにおける動作と違いがない為、ここでは色変換モードについての説明に限定する。

ユーザがデジタルカメラの撮影モードを色変換モードに設定すると、まず、ステップＳ４０１においてプログラム線図を例えば通常の撮影モードのもの（図１０）から色変換モード専用のもの（図１１）に切り替える。プログラム線図の詳細については後述するが、本実施形態では１／６４秒以上のシャッタースピードが設定されるＥＶ９以下において撮像素子１０３（ＣＣＤ）のゲインを上げる。このゲインアップにより、例えばシャッタースピードが１／６４より遅い場合にフラッシュが発光するように制御するフラッシュの動作モードにおいて、フラッシュを非発光とする限界を低輝度側に移動させる（図１１のプログラム線図ではＥＶ値２つ分）ことができる。なお、本実施形態における上記ゲインアップ（ゲイン調整）は、撮像素子１０３から得られるアナログ信号の増幅率を変更することで実現されてもよいし、Ａ／Ｄ変換器１０４によってＡ／Ｄ変換されたデジタルデータを変倍することで実現されてもよい。以下では撮像素子のゲイン（感度）を上げる（調整する）という表現を用いることにする。

次に、ステップＳ４０２において前回の色変換モードにて設定された前回の設定パラメータが色変換処理部３１１のパラメータとして設定される。なお、ステップＳ４０２において前回の設定パラメータを設定するのは、ユーザによっては、色変換モードを常にＡ色をＢ色に変換するために使用する（例えばある空の色を異なる空の色）ことが考えられるためである。この場合、前回の変換元色と変換目標色をそれぞれ変換元色表示枠８０３及び変換目標色表示枠８０４に表示するのが好ましい。ステップＳ４０３においてシステム制御部１０９は露出制御開始タイミングか否かが判定され、露出制御開始タイミングであれば露出処理が行なわれる。この露出処理はＥＶＦに表示するための露出設定である。この露出処理を頻繁に実行すると画面のちらつきの原因となるため、その実行間隔は時定数により設定されている。例えば、２秒に１回の割合で露出処理が行われるように設定されている。

次に、ステップＳ４０４においてシステム制御部１０９はホワイトバランス制御の開始タイミングか否かが判定され、ホワイトバランス制御の開始タイミングであればホワイトバランス制御処理が行われる。ホワイトバランス制御処理も露出処理と同様に頻繁に実行すると画面のちらつきとなるため、例えば５秒に１回の割合で実行するように時定数が設定されている。ホワイトバランス制御処理では、ホワイトバランス処理をするためのホワイトバランス係数を求め、画像処理回路１０６が用いるホワイトバランス係数を更新する。

ステップＳ４０５では、ステップＳ４０３の露出制御で設定された絞りで撮像が実行される。また、撮像素子からのリアルタイム出力であるスルー画像に対して画像処理回路１０６はステップＳ４０４で設定されたホワイトバランス係数を用いて画像処理を行なう。そして、ステップＳ４０６において、ステップＳ４０６で画像処理された画像データをＥＶＦとして機能するＬＣＤ２０４（表示部１１２）上に表示する。

上述したように、ＬＣＤ２０４上には図８に示すＥＶＦ画面８０１が表示される。図８に示すように、色変換モードにおいては、ＬＣＤ２０４上には、ＥＶＦ画面８０１、ＥＶＦ画面８０１内の色取り込み枠８０２、変換元色表示枠８０３、変換目標色表示枠８０４が表示されている。操作部１３０の所定操作により変換元色および変換目標色の設定（ステップＳ４０７〜Ｓ４１２）および、シャッターボタン２０３の操作による画像の撮影（ステップＳ４１５、Ｓ４１６）を行うことが可能である。

まず、変換元色および変換目標色の設定の仕方について説明する。ユーザは変換元色を指定するために、カメラの方向および光学ズームを動作させ、色取り込み枠８０２一杯に所望の色が入るように画角を設定する。十字ボタン２０９の左ボタンが押されると、変換元色の取り込み指示が入力されたとしてステップＳ４０７からステップＳ４０８へ進む。ステップＳ４０８では、その時点における色取り込み枠８０２内の画像の画素データが取得される。そして、ステップＳ４０９ではその平均値が算出され変換元色（Src色）として決定される。変換元色が決定されると変換元色を表すパッチが変換元色表示枠８０３に表示される。

同様に、ユーザは、変換目標色を決定するために、色取り込み枠８０２一杯に所望の色が入るようにして、十字ボタン２０９の右ボタンを押す。十字ボタン２０９の右ボタンが押されると変換目標色の取り込み指示が入力されたとしてステップＳ４１０からステップＳ４１１へ進む。ステップＳ４１１では、その時点における色取り込み枠８０２内の画像の画素データが取得される。そして、ステップＳ４１２においてその平均値が算出され、変換目標色（Dst色）に決定される。変換目標色が決定されると変換目標色を表すパッチが変換目標色表示枠８０４に表示される。

なお、上記ステップＳ４０９、Ｓ４１２において色取り込み枠８０２内の画素値の平均が算出されるが、その際に用いる画素データは電子ビューファインダーの表示用に間引かれた画像データ（画像表示メモリ１１１に格納されている画像データ）であってもよいし、画像メモリ１０８に格納されている画像データであってもよい。なお、図４に示す処理では、変換元色（Src色）と変換目標色（Dst色）の夫々を電子ビューファインダーに表示された画像より取得しているが、変換元色と変換目標色のいずれか一方を電子ビューファインダーに表示された画像から取得し、他方は予め設定され、メモリに格納された色値を用いるようにしてもよい。例えば、背景技術の欄で上述した、特許文献１に記載されているように、変換元色のみを撮影画像から取り出すような構成にも本発明を適用できることは明らかである。

ステップＳ４０９或いはステップＳ４１２にて変換元色或いは変換目標色が決定されると、処理はステップＳ４１３に進む。ステップＳ４１３では、変換元色から変換目標色に変換するための変換パラメータが決定される（但し、変換元色と変換目標色が決定されている場合に動作するものとする）。本実施形態では、図９等により上述したように、３次元ルックアップテーブルの変換元色を内包する立方格子を形成する格子点の変更値が決定される。そして、ステップＳ４１４において、色変換処理部３１１の３次元ルックアップテーブルを更新する。以降のＥＶＦのための画像表示（ステップＳ４０５，Ｓ４０６）や撮影実行時（ステップＳ４１５，Ｓ４１６）における画像処理回路１０６の画像処理では、色変換処理部３１１において更新された３次元ルックアップテーブルが用いられることになる。なお、撮影実行時においては、シャッターボタン２０３の半押し状態で撮影のためのＡＦ（オートフォーカス）処理、ＡＥ（自動露出制御）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等が実行され、シャッターボタン２０３の全押し状態で撮影処理が実行される。この撮影処理で得られた画像データは、画像処理回路１０６の色変換処理部３１１によってステップＳ４１４で設定されたパラメータを用いた色変換処理が行なわれ、所望の色を所望の色に変換した画像が得られることになる。

さて、変換元色と変換目標色は電子ビューファインダーに表示されている画像から取得しており、ステップＳ４０７〜Ｓ４１２に示される色取り込み処理では、フラッシュは発光していない。また、色取り込み時にストロボが光ってしまうと、ストロボの色温度の影響により、ライブビュー画像に写っている色とは異なる色が取り込まれてしまうため、フラッシュは光らせないことが好ましい。しかしながら、撮影動作において通常の自動露出が行われると、被写体輝度が低かったり、シャッタスピードが１／６４よりも遅い等の条件によりストロボが光ってしまう。色取り込み時にはフラッシュが光らないようになっているため画像撮影時においても出来る限り光らせないようにするのが好ましい。よって、本実施形態では、プログラム線図を変えて、撮像素子のゲイン（感度）を例えば２段上げることによって、フラッシュが発光しない輝度の限界のＥＶ値を通常撮影モード時よりも２段階下げ、フラッシュを光りにくくしている。

次に、図１１に示したプログラム線図への切り替えによるフラッシュ動作の変化について説明する。上述したように、色変換撮影モードに切り替えると、通常撮影モードが有するプログラム線図とは異なるプログラム線図に切り替わる（ステップ４０１）。本実施形態における通常撮影モードで用いられるプログラム線図は例えば図１０に示すものであり、色変換撮影モードで用いられるプログラム線図は図１１に示すものとする。なお、図１０、図１１において、ＴＶはシャッタースピード、ＥＶは内蔵露出計（不図示）により計測された被写体輝度（被写体の明るさ）、ＡＶはシャッター１０２における絞り値を表す。

図１０のプログラム線図によれば、ＥＶ９よりも低輝度側でシャッタースピードは１／６４秒を超える。ここでフラッシュの動作がシャッタースピード＞１／６４秒において発光するように設計されていると、ＥＶ９よりも低輝度になった時点でフラッシュが発光することになる。なお、フラッシュを発光した場合は、シャッタースピードは例えば１／６４秒で固定される。一方、色変換モードで用いられる、図１１に示されプログラム線図においても、シャッタースピードが１／６４秒以下の領域は、通常撮影モードで用いられるプログラム線図と同じである。しかしながら、シャッタースピードが１／６４秒よりも大きい（遅い）領域では、撮像素子のゲインを上げることによりシャッタースピードを１／６４秒に維持する。なお、図１１において破線で示しているのは、撮像素子のゲイン調整によりシャッタースピードを維持し、絞り値は変更していないことを表すためである。図１１に示すプログラム線図を用いることにより、フラッシュの発光を開始する被写体輝度をＥＶ７以下とすることができる。

なお、図１１のプログラム線図では、ＥＶ９〜ＥＶ７の間の被写体輝度に対してはシャッタースピードが１／６４に固定されるが、適正露出をより厳密に維持するために、被写体輝度に応じて撮像素子のゲインを変化させるようにしてもよい。例えば被写体輝度ＥＶ９、ＥＶ８，ＥＶ７の各段階でゲイン値を切り替えるようにしてもよい。或いは所定のゲインアップを行ってシャッタースピードを変化させて適正露出を厳密に保つようにしてもよい。この場合、図１１では、ＴＶ＝１／６４において真下に延びている破線がＥＶ値の斜線に沿って斜め右下方へ延びることになる。また、ゲインアップは、本実施形態ではシャッタースピード＞１／６４で行われるとしたが、フラッシュ発光前のどの位置で行ってもよい。また、このプログラム線図において例えば、シャッタースピードＴｖ＞１／４５で発光するフラッシュを用いた場合には、Ｔｖ＞１／４５の域では撮像素子のゲインを上げないとフラッシュが発光してしまうため、図１１のように２目盛りゲインをアップし、１／６４＜Ｔｖ＜１／４５の域では、プログラム線図上のＴｖ＝１／６４のときの値に従って動作するようにしてもよい。

以上のように第１実施形態によれば、通常撮影モードと同じ露出制御ではフラッシュが発光していた状態でも、非発光とすることができる。すなわち、通常撮影モードではフラッシュが発光するシャッタースピードの域においても、撮像素子のゲインをあげることによりフラッシュの発光を回避している。このように、通常撮影モードよりもフラッシュを発光させにくくすることができる（フラッシュを非発光とする被写体輝度の限界をより低輝度側に変更することができる）ため、上述した色変換撮影モードにおけるフラッシュ光の影響が効果的に排除され、所望の色変換をより正確に実行することができるようになる。
また、上記実施形態によれば、色変換モードにおいてフラッシュを光りにくくする構成が、プログラム線図を切り替えるのみで実現される。従って、フラッシュ動作を変更するために色変換モード専用の特別な露出制御を行う必要がなく、実施が容易である。

＜第２実施形態＞
次に、第２実施形態について説明する。上記第１実施形態ではプログラム線図を図１１に示すように変更してフラッシュの発光を回避する構成を採用した。第２実施形態では、プログラム線図の切り替えを行わない。図１０に示すプログラム線図を用いて適正露出を得るためのシャッタースピードを決定した際に、シャッタースピードが１／６４秒より大きければ撮像素子のゲイン値を上げ、フラッシュの発光を回避する。

図１２を用いて第２実施形態による色変換撮影モードの動作を説明する。図１２のステップＳ５０１からステップＳ５０５は図４のステップＳ４１６に相当する動作である。又、第２実施形態ではステップＳ４０１は実行しない（すなわちプログラム線図の切り替えは行わない）。第１実施形態では、ステップＳ４０１で設定された図１１のプログラム線図により適正露出を得るシャッタースピード、絞り値、ゲイン値を決定して撮影動作を行った。第２実施形態では図１０のプログラム線図のＥＶ値を被写体輝度と撮像素子１０３の感度との和とし、当該プログラム線図を用いて決定されるシャッタースピードが１／６４秒より大きくなった場合に、撮像素子のゲインを上げてフラッシュの発光を回避する。

例えば、ＥＶ８において撮像素子のゲインを上げ、感度を２段階上げるとＥＶ１０となる。また、第１実施形態と同様に、シャッタースピードが１／６４秒より大きくなるとフラッシュ発光が行われるように設定されているものとする。

シャッターボタン２０３の操作により、図４のステップＳ４１６の処理が開始されると、まず、図１２のステップＳ５０１において、図１０のプログラム線図に従って決定される。そして、ステップＳ５０２において、ステップＳ５０１で決定されたシャッタースピードが１／６４を超えるかを判断する。１／６４以下であればフラッシュは発光しないのでそのままステップＳ５０５へ進み、撮像素子１０３による撮影処理が実行される。

一方、ステップＳ５０２においてシャッタースピードが１／６４秒より大きい（遅い）と判定された場合、処理はステップＳ５０３に進み、撮像素子のゲイン（感度）を上げる。例えば、感度が２段階上がるように設定する。そして、ステップＳ５０４において、感度の変更に伴って変化したＥＶ値と、絞り値ＡＶとから、図１０のプログラム線図に従ってシャッタースピードが再設定される。そしてステップＳ５０５において、設定された感度、再設定されたシャッタースピードで撮影が行われる。

例えば、ＥＶ８であった場合、図１０のプログラム線図では１／３２秒となり通常撮影モードではフラッシュが発光する。これに対して、色変換撮影モードでは感度が２段階上がってＥＶ１０となり、シャッタースピードが１／１２８秒に設定されるのでフラッシュが発光することはない。

以上のように、シャッタースピードが１／６４よりも大きくなる場合には、フラッシュ光により定常光下での色を正確に取り込むのが困難だった。しかしながら、上記の方法によれば、そのような場合でもフラッシュの発光が回避されるので、ユーザがより正確に取り込みたい色を取込み易くなる。また、第２実施形態によれば、被写体輝度と撮像素子のゲインによって決定されるＥＶ値を用い、プログラム線図を切り替えることを不要とした。このため、色変換モード専用のプログラム線図を保持する必要がなく、通常の撮影モードのプログラム線図をそのまま利用できる。

本発明を適用したデジタルカメラのユーザは、従来技術の方法でユーザ自身の好みの色を取り込むよりも、ストロボ発光の影響を回避してより正確に理想の色を取り込むことができ、デジタルカメラから出力される画像をよりユーザの理想のものにすることが可能である。

なお、上記第２実施形態において、ステップＳ５０２におけるゲインアップの量を被写体の輝度に応じて変更させるようにしてもよい。例えば、被写体輝度と感度との和であるＥＶ値がシャッタースピード＝１／６４秒となるようにゲイン値を決定するようにしてもよい。又、この場合、被写体の輝度に応じて撮像素子のゲインを無制限に上げるように構成すれば、被写体の輝度がどんなに低くともゲイン調整によりフラッシュを回避するように構成することもできる。

又、上記第２実施形態では、ＥＶ値およびＡＶ値に基づいて決定されるシャッタースピードにより撮像素子のゲイン調整を行うか否かを決定した。しかしながら、ＥＶ値に基づいて決定してもよい。例えば、ステップＳ５０２において、内蔵露出計によって計測された被写体輝度が所定値よりも低いか否かを判定し、低い場合にはステップＳ５０３以降に進むようにしてもよい。
又、上記第２実施形態において、シャッタースピード＞１／６４の場合や、被写体輝度が所定値以下の場合に、ステップＳ５０４でフラッシュ発光を禁止するようにしてもよい。
更に、第１実施形態と同様に、変換元色（Src色）と変換目標色（Dst色）の夫々を電子ビューファインダーに表示された画像より取得する構成としてもよいし、変換元色と変換目標色のいずれか一方を電子ビューファインダーに表示された画像から取得し、他方は予め設定され、メモリに格納された色値を用いる構成としてもよい。

なお、上記実施形態においては、変換元色および変換目標色を各１色しか設定しない例について説明したが、これに限られるものではなく、変換元色および変換目標色の複数の組み合わせを設定可能にしてもよい。このような複数設定を行った場合は、例えば、各変換元色毎にそれを内包する立方格子の代表格子点を変更するようにすればよい。また、一つの立法格子に複数の変換元色が入った場合には、例えば、それぞれのベクトルを計算して、その平均を用いるようにすればよい。

また、本実施形態において、変換元色および変換目標色の取り込みを行うにあたり十字ボタン２０９の左右ボタンを用いたが、これに限られるものではない。他の操作ボタンに割り当ててもよいし、もしくは専用のボタンを設けてもよいことは明らかである。

また、本実施形態において変換元色／変換目標色取り込み時のＥＶＦ画面中の色取り込み枠は中央付近に固定されているが、ユーザの指定により色取り込み枠をＥＶＦ画面中の任意の場所に移動することが可能なようにすることも可能である。また同様に色取り込み枠の大きさもユーザの指定により変化可能なようにすることも可能である。

また、本実施形態にける色変換処理部３１１の演算処理に３次元ルックアップテーブル処理と補間演算処理を用いているが、これに限られるものではない。変換元色が変換目標色に変換可能な処理、例えば色空間ごとにマトリクス演算の係数を変化させるマトリクス演算処理を用いて行うことも可能である。

ここで、簡単にマトリクス演算処理を用いた処理について説明する。上記実施形態において、図９の各格子点上に変換後のＹＵＶ信号の値が設定されているが、マトリクス演算処理を用いた処理においては各格子点上に下に示す式（１６）のＭ１１〜Ｍ３３の係数が格納されており、Yin、Uin、Vinに応じて、Ｍ１１〜Ｍ３３の係数が決定され、さらに式（１５）の演算が行われYout、Uout、Voutが求められるようにしてもよい。ただし、Ｍ１１〜Ｍ３３の決定はYin、Uin、Vinに一番近い格子点に格納されている係数、または、上記実施形態のように、各格子点からの補間演算により求められるようにしてもよい。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施形態において上述したフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

実施形態による撮像装置の構成を示すブロック図である。 実施形態による撮像装置の外観を示す図である。 実施形態による画像処理を説明する図である。 第１実施形態による色変換モード動作時の処理を説明するフローチャートである。 実施形態の撮像装置におけるＣＣＤの色配列を説明する概念図である。 実施形態の撮像装置におけるＣＣＤ信号の補間後のデータを説明する概念図である。 実施形態の輝度信号作成処理に用いられるフィルタを説明する図である。 実施形態による変換元色／変換目標色取り込みモード時のＥＶＦ画面例を示す図である。 ３次元ルックアップテーブルによる色変換処理を説明する図である。 通常撮影モードに用いられるプログラム線図の例を示す図である。 色変換撮影モードに用いられるプログラム線図の例を示す図である。 第２実施形態による色変換モード動作時の処理を説明するフローチャートである。

Claims (7)

1. 被写体像を撮像し、画像データを出力する撮像手段と、
   第１の色値及び第２の色値を決定する決定手段と、
   前記撮像手段で得られた第１の画像データから、前記決定手段が前記第１または前記第２の色値の決定に用いるための色情報を取り込む取込手段と、
   前記決定手段で決定された前記第１及び第２の色値を用いて、前記撮像手段で得られた第１の画像データと異なる第２の画像データの、前記第１の色値を前記第２の色値に色変換する色変換手段と、
   前記色変換が実行される動作モードにおいて、前記撮像手段が撮像時にフラッシュを非発光とする被写体輝度の限界を、前記色変換が実行されない通常撮像の動作モードよりも低輝度側に変更する調整手段と、を備えることを特徴とする撮像装置。
2. 前記撮像手段で得られた画像データに基づいてリアルタイムに前記画像データの画像を表示する表示手段を備え、
   前記取込手段は、前記表示手段に表示中の画像の所定領域に含まれる色情報を前記第１または第２の色値を決定するための色情報として取り込むことを特徴とする請求項１に記載の撮像装置。
3. 被写体輝度を検出する輝度検出手段を備え、
   前記調整手段は、検出された被写体輝度に基づいて決定されるシャッタースピードが所定値以上となった場合に、前記撮像手段の感度を上げることを特徴とする請求項１又は２に記載の撮像装置。
4. 被写体輝度を検出する輝度検出手段を備え、
   前記調整手段は、検出された被写体輝度が所定値以下であった場合に、前記撮像手段の感度を上げることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記調整手段は、前記色変換が実行される動作モードと通常撮像の動作モードとでプログラム線図を切り替えることにより、フラッシュを非発光とする被写体輝度の限界をより低輝度側に変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記調整手段による前記撮像手段の感度調整において、第１の被写体輝度に対応する前記撮像手段の第１の感度より、前記第１の被写体輝度より小さい第２の被写体輝度に対応する前記撮像手段の第２の感度の方が高い、という関係を有することを特徴とする請求項３または４に記載の撮像装置。
7. 撮像手段と、前記撮像手段で得られた画像データに色変換を施す色変換手段を備える撮像装置の制御方法であって、
   前記色変換に用いる第１の色値を第２の色値を決定する決定工程と、
   前記撮像手段で得られた第１の画像データから、前記決定工程での前記第１または前記第２の色値の決定に用いるための色情報を取り込む取込工程と、
   前記色変換手段によって、前記撮像手段で得られた第１の画像データと異なる第２の画像データの、前記第１の色値を前記第２の色値に変換する色変換工程と、
   前記色変換が実行される動作モードにおいて、前記撮像手段が撮像時にフラッシュを非発光とする被写体輝度の限界を、前記色変換が実行されない通常撮像の動作モードよりも低輝度側に変更する調整工程と、を備えることを特徴とする撮像装置の制御方法。

Images