JP5338248B2

JP5338248B2 - 画像処理装置、電子カメラおよび画像処理プログラム

Info

Publication number: JP5338248B2
Application number: JP2008269542A
Authority: JP
Inventors: 宏美冨井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-10-20
Filing date: 2008-10-20
Publication date: 2013-11-13
Anticipated expiration: 2028-10-20
Also published as: JP2010097534A

Description

本発明は、画像データ内の対象画像に画像処理を行う画像処理装置、電子カメラおよび画像処理プログラムに関する。

従来、画像データ内の対象画像に魚眼処理等の変形処理を行う技術が知られている。
特許第４０６３３０６号公報特開２００５−２５７０３号公報

しかしながら、従来の技術では、画像データの中心を基準として魚眼処理等の変形処理を行っているため、対象画像が画像データの中心に存在しない場合には、不自然に変形した画像になるという問題があった。そこで、変形処理の基準点を指定し、基準点を中心に変形処理を行う技術があるが、この場合には、画像データ毎に基準点を指定する必要があり操作が煩わしいという問題があった。

本発明は、かかる従来の問題を解決するためになされたもので、画像処理の基準点を指定することなく対象画像を確実に画像処理することができる画像処理装置、電子カメラおよび画像処理プログラムを提供することを目的とする。

第１の発明の画像処理装置は、画像に含まれる対象物の大きさおよび位置を検出する検出手段と、前記検出手段で検出された前記対象物の大きさに対応して、該対象物に魚眼処理を施す画像処理の強度を変更可能に設定する設定手段と、前記検出手段で検出された前記対象物の中心を基準点として前記画像処理を行う処理手段と、を備える。前記検出手段は、前記対象物を囲む検出枠を設定し、前記設定手段は、前記強度として、前記検出枠の大きさに従って前記強度が増大するように設定されたパラメータを用い、前記処理手段は、前記処理手段は、前記設定手段で設定された前記強度に基づいて前記画像処理を行うことを特徴とする。

第２の発明の画像処理装置は、第１の発明の画像処理装置において、前記画像処理が施された前記対象物を含む画像を表示する表示手段と、前記表示手段により表示された前記画像に基づいて、前記強度の変更の有無を受け付ける操作手段と、前記操作手段に応じて前記強度を変更するか否かを判定する判定手段と、を備える。前記処理手段は、前記判定手段が前記強度を変更しないと判定するまで、前記操作手段に応じて前記設定手段で設定された前記強度に基づいて、前記画像処理を繰り返して行うことを特徴とする。

第３の発明の画像処理装置は、第２の発明の画像処理装置において、魚眼レンズで撮影された対象物の場合、前記設定手段は、前記操作手段に応じて前記強度を最小値にすることで前記魚眼処理を行わない強度に設定し、前記処理手段は、前記魚眼処理を施す画像処理から、前記魚眼レンズで撮影された対象物を縮ませて元の状態に戻す画像処理を行うことを特徴とする。

第４の発明の画像処理プログラムは、画像に含まれる対象物に魚眼処理を施す画像処理をコンピュータで実現するための画像処理プログラムにおいて、前記対象物の大きさおよび位置を検出する検出ステップと、前記検出ステップで検出された前記対象物の大きさに対応して、該対象物に前記魚眼処理を施す前記画像処理の強度を変更可能に設定する設定ステップと、前記検出ステップで検出された前記対象物の中心を基準点として前記画像処理を行う処理ステップと、を含み、前記検出ステップは、前記対象物を囲む検出枠を設定し、前記設定ステップは、前記強度として、前記検出枠の大きさに従って前記強度が増大するように設定されたパラメータを用い、前記処理ステップは、前記設定ステップで設定された前記強度に基づいて前記画像処理を行うことを特徴とする。

第５の発明の電子カメラは、第１ないし第３のいずれか１の発明の画像処理装置を有することを特徴とする。

本発明では、画像処理の基準点を指定することなく対象画像を確実に画像処理することができる。

以下、本発明の実施形態を図面を用いて詳細に説明する。

図１は、本発明の電子カメラの一実施形態の構成を示すブロック図である。

電子カメラは、撮影光学系１１、レンズ駆動部１３、ＡＦセンサ１５、ＡＥセンサ１７、撮像素子１９、アナログ信号処理部２１、タイミングジェネレータ(ＴＧ)２３、デジタル信号処理部２５、画像処理部２７、バッファメモリ２９、記録Ｉ／Ｆ３１、ＣＰＵ３３、フラッシュメモリ３５、モニタ駆動部３７、モニタ３９、操作部４１、バス４３を有している。デジタル信号処理部２５、画像処理部２７、バッファメモリ２９、記録Ｉ／Ｆ３１、ＣＰＵ３３、フラッシュメモリ３５、モニタ駆動部３７はバス４３を介してそれぞれ接続されている。また、ＡＦセンサ１５、ＡＥセンサ１７、ＴＧ２３、操作部４１は、それぞれＣＰＵ３３と接続されている。

撮影光学系１１は、ズームレンズ１１ａと、合焦位置調節用のフォーカシングレンズ１１ｂとを含む複数のレンズ群で構成されている。撮影光学系１１を構成する各レンズは、レンズ駆動部１３によって光軸方向に駆動調整される。

ＡＦセンサ１５は、撮影光学系１１の焦点検出状態を検出しＣＰＵ３３に出力する。ＡＥセンサ１７は、被写体の輝度を測定しＣＰＵ３３に出力する。

撮像素子１９は、撮影光学系１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。撮像素子１９はレリーズ時に本画像を撮影する。撮像素子１９は、非レリーズ時（撮影待機時）にも所定間隔毎に被写体を露光し、間引き読み出しによるアナログ画像信号（スルー画像信号）を出力する。スルー画像のデータは、モニタ３９での画像表示などに使用される。

アナログ信号処理部２１は、撮像素子１９の出力に対してアナログ信号処理を施すアナログフロントエンド回路(ＡＦＥ)である。アナログ信号処理部２１は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。アナログ信号処理部２１の出力はデジタル信号処理部２５に接続されている。

ＴＧ２３は、ＣＰＵ３３の指示に基づいて、撮像素子１９およびアナログ信号処理部２１に対してタイミングパルスを供給する。撮像素子１９およびアナログ信号処理部２１の駆動タイミングは、ＴＧ２３のタイミングパルスによって制御される。

デジタル信号処理部２５は、アナログ信号処理部２１から順次入力されるデジタル画像信号に対して、欠陥画素補正や黒レベルのオフセット補正などの信号処理を施すデジタルフロントエンド回路(ＤＦＥ)である。なお、多チャンネル出力を行う撮像素子１９を用いる電子カメラでは、各チャンネルから出力された画像信号の並べ替えがデジタル信号処理部２５で行われる。

画像処理部２７は、１フレーム分のデジタル画像信号に対して、各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など)を施す。また、画像処理部２７は、ＣＰＵ３３の指示によりスルー画像のデータからモニタ３９の表示用画像(ビュー画像)を生成する。さらに、画像処理部２７は、本画像のデータをＪＰＥＧ形式で圧縮する処理や、圧縮された撮影画像データを伸長復元する処理も実行する。

バッファメモリ２９は、各種画像処理の前工程や後工程で本画像のデータなどを一時的に記録する。

記録Ｉ／Ｆ３１には、記録媒体４５を接続するためのコネクタが形成されている。記録Ｉ／Ｆ３１は、コネクタに接続された記録媒体４５に対してデータの書き込み／読み込みを実行する。記録媒体４５は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。図１では記録媒体４５の一例としてメモリカードを図示する。

ＣＰＵ３３は、電子カメラの統括的な制御を行うプロセッサである。ＣＰＵ３３は所定のシーケンスプログラムに従って電子カメラの各部動作を制御するとともに、撮影時に必要となる各種演算(ＡＦ時のデフォーカス量の演算、ＡＥ演算など)を実行する。また、ＣＰＵ３３は顔検出部として機能する。顔検出部は、スルー画像データまたは撮影画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

フラッシュメモリ３５は、画像処理部２７による画像処理後の画像データを記憶する。フラッシュメモリ３５には、顔を検出するための周知のプログラム、魚眼処理を行うための周知のプログラム等が記憶されている。また、後述する強度パラメータが記憶されている。

モニタ駆動部３７は、ＣＰＵ３３の指示に基づいて駆動信号を出力することでモニタ３９の表示を制御する。モニタ３９は、例えば液晶モニタで構成されている。モニタ３９には、スルー画像に基づくビュー画像が表示可能とされる。モニタ３９には、ＧＵＩ(Graphical User Interface)形式で各種の設定項目の入力が可能なメニュー画面が表示可能とされる。

モニタ３９のメニュー画面では、ユーザーが再生モードを選択できる。再生モードの選択によりフラッシュメモリ３５に記憶される複数の画像データが縮小状態でモニタ３９に表示される。ユーザが１つの画像データを選択するとその画像データのみがモニタ３９に表示される。この選択した状態で後処理メニューを選択することができる。後処理メニューには、「リサイズ」、「トリミング」、「階調補正」、「特殊効果処理」等の項目が設定されている。「特殊効果処理」には、「魚眼」、「渦巻き」、「モザイク画像」等のフィルタ処理の項目が設定されている。

操作部４１は、レリーズ釦４７、操作釦４９を有している。レリーズ釦４７は、半押し操作によるＡＦなどの指示入力と、全押し操作によるレリーズ指示(露光開始の指示)の入力とをユーザーから受け付ける。操作釦４９は、例えばコマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。操作釦４９は、電子カメラのモード切替操作や、メニュー画面上での入力操作などをユーザーから受け付ける。

図２は、上述した電子カメラの後処理メニューで特殊効果処理の魚眼が選択された時の動作を説明するフローチャートである。

ステップＳ１：ＣＰＵ３３は、図３に示すようにモニタ３９に表示される画像Ｇから対象物Ｏを検出する。この実施形態では、対象物Ｏには、人間の顔が設定されている。ＣＰＵ３３は、フラッシュメモリ３５に記憶された、顔を検出するための周知のプログラムに従って顔を検出する。

ステップＳ２：ＣＰＵ３３は対象物Ｏが存在するか否かを判定する。図３に示すように、画像Ｇ内に顔が存在する時には、存在すると判定する。一方、画像Ｇ内に顔を検出できない時には、存在しないと判定する。なお、対象物Ｏである顔が複数存在する場合には、最も大きい顔を対象物Ｏと判断する。対象物Ｏが存在する時にはステップＳ３に進み、存在しない時にはステップＳ５に進む。

ステップＳ３：対象物Ｏが存在すると判定した場合には、ＣＰＵ３３は、図４に示すように顔の近傍の外形を囲んで四角形状の検出枠Ｋを設定する。検出枠Ｋは、その対角線の交点Ｐが顔の中心となるように設定される。

ステップＳ４：ＣＰＵ３３は、変形処理の基準座標となる中心座標(Ｐ点の座標)を算出する。図４に示すように画像Ｇの左上端の位置を、Ｘ，Ｙ座標の原点(０，０)とすると、検出枠Ｋの中心のＸ座標は、(ｘ１＋ｘ２)／２となる。また、Ｙ座標は、(ｙ１＋ｙ２)／２となる。

ステップＳ５：ステップＳ２において、対象物Ｏが存在しないと判定した場合には、ＣＰＵ３３は、「検出枠なし」を設定する。

ステップＳ６：ＣＰＵ３３は、強度パラメータの読み込みを行う。強度パラメータを求めるための強度パラメータテーブルは、フラッシュメモリ３５に記憶されている。図５に示すように強度パラメータテーブルは、デフォルト値とユーザ設定値とを有している。ユーザ設定値は、ユーザが変更可能であり、デフォルト値が一度変更された後はユーザ設定値が使用される。図５に示す表では、強度パラメータは１０段階まで設定されている。検出枠Ｋの大きさは、画像Ｇの全体のサイズに対する比率である。例えば、画像Ｇの全体のサイズが、１０００×１０００で、検出された検出枠Ｋの大きさが１００×１００の場合には、
(１００×１００)／(１０００×１０００)＝０．０１
となる。従って、検出枠Ｋの大きさは画像Ｇの全体に対して１％になり、強度パラメータの値は、５％未満の１となる。ステップＳ５において、「検出枠なし」が設定された場合には、強度パラメータの値は０となる。強度パラメータの値が０の場合には、特殊効果処理は行われない。

ステップＳ７：ＣＰＵ３３は、特殊効果処理で選択されている魚眼処理を行う。図６は、図４に示した対象物Ｏである顔を魚眼処理した後の画像Ｇ’を示している。魚眼処理は、図４に示した検出枠Ｋの中心(Ｐ)を処理の基準座標として行われる。そして、基準座標を中心にして、予め記憶された周知のプログラムに基づいて顔が含まれる画像Ｇを変形処理することにより行われる。変形処理は、画像処理部２７のＡＳＩＣに連動して行われる。顔を含む画像Ｇの変形処理の大きさは、ステップＳ６で求めた強度パラメータの値に基づいて設定される。図５に示した強度パラメータのデフォルト値は、検出枠Ｋの大きさに従って強度が増大するように階段状に設定されている。このように設定することにより画質の劣化を防止することができる。すなわち、検出枠Ｋが小さい時(顔が小さい時)に、必要以上の変形処理をすると画質が劣化して見にくくなるが、検出枠Ｋの大きさに従って強度が増大するように設定することで、画質の劣化を防止することができる。

ステップＳ８：ＣＰＵ３３は、魚眼処理された画像Ｇ’をモニタ３９に表示する。また、同時に、魚眼処理された画像Ｇ’の処理強度を変更するか否かを質問表示する。ユーザは、操作釦４９を操作することにより画像Ｇの強度を変更するか否かを選択可能とされている。

ステップＳ９：ＣＰＵ３３は、魚眼処理された画像Ｇ’の処理強度を変更するか否かを判定する。ステップＳ８の表示に対して、ユーザから強度を変更するとの入力があった場合には、画像Ｇ’の処理強度を変更すると判定する。一方、変更しないとの入力あるいは所定時間内に入力がない場合には、変更しないと判定する。

ステップＳ１０：ＣＰＵ３３は、画像Ｇ’の処理強度を変更すると判定した場合には、現在の強度パラメータの値をモニタ３９に表示する。また、同時に、要求する強度パラメータの値を入力するように依頼表示する。ユーザは、操作釦４９を操作することにより要求する強度パラメータの値を入力可能とされている。

ステップＳ１１：ＣＰＵ３３は、強度パラメータの値を変更する。この変更は、ユーザから要求する強度パラメータが入力された時に行われ、強度パラメータが要求される値に設定される。そして、ステップＳ９において強度を変更しないと判定するまで、ステップＳ７からステップＳ１１の処理が繰り返して行われる。

ステップＳ１２：ステップＳ９において強度を変更しないと判定した場合には、ステップＳ１１で強度パラメータが変更されているか否かを判定する。

ステップＳ１３：強度パラメータが変更されている場合には、ＣＰＵ３３は、強度パラメータテーブルの値を、ステップＳ１１で最後に設定された値に変更するか否かをモニタ３９に表示する。

ステップＳ１４：ＣＰＵ３３は、強度パラメータテーブルの強度パラメータの値を変更するか否かを判定する。ステップＳ１３の表示に対して、ユーザから変更するとの入力があった場合には、強度パラメータの値を変更すると判定する。一方、変更しないとの入力あるいは所定時間内に入力がない場合には、変更しないと判定する。

ステップＳ１５：ＣＰＵ３３は、強度パラメータの値を変更すると判定した場合には、強度パラメータテーブルの強度パラメータの値を更新する。この更新は、図５に示すように、ユーザ設定値を変更することにより行われる。例えば、検出枠Ｋの大きさが１３％の場合には、強度パラメータのデフォルト値は３であるが、強度パラメータの値を５に変更する場合には、ユーザ設定値の「１０％以上、かつ１５％未満」に対応する値が５と上書きされる。そして、次回の魚眼処理からは、上書きされた強度パラメータの値が使用される。これによりユーザの好みに応じて魚眼処理を行うことができる。この実施形態では、検出枠Ｋなしの時以外にも強度パラメータの値に０を設定することが可能であり、ユーザが０を設定することにより、検出枠Ｋの大きさによって魚眼処理をかけるか否かを設定することができる。

上述した電子カメラでは、画像Ｇから対象物Ｏを検出し、検出された対象物Ｏの中心Ｐを基準点として画像処理を行うようにしたので、画像処理の基準点を指定することなく対象画像を確実に画像処理することができる。従って、魚眼処理等の変形処理の操作を容易，確実に行うことができる。また、検出された対象物Ｏの中心を基準点としたので、比較的認識し易い、違和感の少ない画像を得ることができる。
(実施形態の補足事項)
以上、本発明を上述した実施形態によって説明してきたが、本発明の技術的範囲は上述した実施形態に限定されるものではなく、例えば、以下のような形態でも良い。

(１)上述した実施形態では、本発明を電子カメラに適用した例について説明したが、例えば、パソコン(ＰＣ)等を用いた画像処理装置、パソコン用の画像処理プログラム等に広く適用することができる。

(２)上述した実施形態では、画像Ｇ内に対象物Ｏが検出されない時には、強度パラメータの強度を０に設定し魚眼処理を実行しない例について説明したが、例えば、画像Ｇの中心を基準座標にして魚眼処理を行うようにしても良い。そして、この場合には、強度パラメータを例えば５に設定するようにしても良い。

(３)上述した実施形態では、特殊効果処理として魚眼処理を行った例について説明したが、例えば、渦巻き、モザイク画像等のフィルタ処理に広く適用することができる。

(４)上述した実施形態では、既に撮影処理された静止画像に本発明を適用した例について説明したが、例えば、スルー画像、動画等にも適用することができる。

(５)上述した実施形態では、対象物Ｏである顔が複数存在する場合には、最も大きい顔を対象物Ｏと判定した例について説明したが、例えば、認証技術を利用して登録してある特定の顔を対象物として判定するようにしても良い。

(６)上述した実施形態では、対象物Ｏを顔にした例について説明したが、例えば、人物、動物、植物等であっても良い。また、例えば、顔の一部である鼻、目、耳等であっても良い。

(７)上述した実施形態では、対象物Ｏを基準座標を中心にして魚眼処理し中心を移動しない例について説明したが、例えば、対象物の中心を画像の中心に移動するトリミングを行っても良い。

(８)上述した実施形態では、対象物Ｏを魚眼処理した例について説明したが、例えば、魚眼レンズで撮影された対象物を縮ませて元の顔に戻すようにしても良い。

本発明の電子カメラの一実施形態を示す説明図である。図１の電子カメラの動作を示す説明図である。顔が存在する画像を示す説明図である。検出枠を示す説明図である。強度パラメータテーブルを示す説明図である。図３の顔を魚眼処理した画像を示す説明図である。

符号の説明

１１…撮影光学系、１９…撮像素子、３３…ＣＰＵ、Ｇ、Ｇ’…画像、Ｏ…対象物、Ｐ…中心。

Claims

画像に含まれる対象物の大きさおよび位置を検出する検出手段と、
前記検出手段で検出された前記対象物の大きさに対応して、該対象物に魚眼処理を施す画像処理の強度を変更可能に設定する設定手段と、
前記検出手段で検出された前記対象物の中心を基準点として前記画像処理を行う処理手段と、を備え、
前記検出手段は、前記対象物を囲む検出枠を設定し、
前記設定手段は、前記強度として、前記検出枠の大きさに従って前記強度が増大するように設定されたパラメータを用い、
前記処理手段は、前記設定手段で設定された前記強度に基づいて前記画像処理を行うことを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
前記画像処理が施された前記対象物を含む画像を表示する表示手段と、
前記表示手段により表示された前記画像に基づいて、前記強度の変更の有無を受け付ける操作手段と、
前記操作手段に応じて前記強度を変更するか否かを判定する判定手段と、を備え、
前記処理手段は、前記判定手段が前記強度を変更しないと判定するまで、前記操作手段に応じて前記設定手段で設定された前記強度に基づいて、前記画像処理を繰り返して行うことを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
魚眼レンズで撮影された対象物の場合、前記設定手段は、前記操作手段に応じて前記強度を最小値にすることで前記魚眼処理を行わない強度に設定し、
前記処理手段は、前記魚眼処理を施す画像処理から、前記魚眼レンズで撮影された対象物を縮ませて元の状態に戻す画像処理を行うことを特徴とする画像処理装置。
画像に含まれる対象物に魚眼処理を施す画像処理をコンピュータで実現するための画像処理プログラムにおいて、
前記対象物の大きさおよび位置を検出する検出ステップと、
前記検出ステップで検出された前記対象物の大きさに対応して、該対象物に前記魚眼処理を施す前記画像処理の強度を変更可能に設定する設定ステップと、
前記検出ステップで検出された前記対象物の中心を基準点として前記画像処理を行う処理ステップと、を含み、
前記検出ステップは、前記対象物を囲む検出枠を設定し、
前記設定ステップは、前記強度として、前記検出枠の大きさに従って前記強度が増大するように設定されたパラメータを用い、
前記処理ステップは、前記設定ステップで設定された前記強度に基づいて前記画像処理を行うことを特徴とする画像処理プログラム。
請求項１ないし請求項３のいずれか１項記載の画像処理装置を有することを特徴とする
電子カメラ。