Nothing Special   »   [go: up one dir, main page]

JP2010009420A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2010009420A
JP2010009420A JP2008169484A JP2008169484A JP2010009420A JP 2010009420 A JP2010009420 A JP 2010009420A JP 2008169484 A JP2008169484 A JP 2008169484A JP 2008169484 A JP2008169484 A JP 2008169484A JP 2010009420 A JP2010009420 A JP 2010009420A
Authority
JP
Japan
Prior art keywords
image
image processing
feature information
processing condition
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008169484A
Other languages
English (en)
Other versions
JP5164692B2 (ja
Inventor
Yasuo Fukuda
康男 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008169484A priority Critical patent/JP5164692B2/ja
Priority to US12/491,031 priority patent/US20090322775A1/en
Publication of JP2010009420A publication Critical patent/JP2010009420A/ja
Application granted granted Critical
Publication of JP5164692B2 publication Critical patent/JP5164692B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】より一層ユーザの意図を反映させた結果を取得することができる画像処理装置及び画像処理方法等を提供する。
【解決手段】画像を解析して画像特徴情報を作成する(ステップS201)。画像特徴情報に対する順位付けを行う(ステップS202)。順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する(ステップS203)。画像処理条件を用いて画像に対して画像処理を行う(ステップS204)。画像処理後の画像を表示する画像表示(ステップS205)。外部からの指示を受け取る(ステップS211)。外部からの指示が画像処理条件の変更に関するものであった場合に、画像処理条件を変更し(ステップS217、S222)、変更後の画像処理条件を用いて画像に対して画像処理を行い(ステップS218、S223)、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示する(ステップS219、S224)。
【選択図】図2

Description

本発明は、デジタルカメラ等により取得された画像の補正に好適な画像処理装置及び画像処理方法等に関する。
従来、デジタル画像データに対して、彩度、色調、コントラスト及び階調の調整等の様々な画像処理が行われている。以前は、これらの画像処理は、一般的に、画像処理に関して専門的な知識を持ったオペレータが専門的なソフトウェアを用いて、経験的な知識を駆使し、コンピュータのモニタ上で確認する等して試行錯誤を繰り返しながら行われていた。
ところが、近年では、インターネットの普及に牽引されるようにデジタルカメラの普及が進んでいる。この理由の一つとして、デジタルカメラの撮影結果の形式が、多くのコンピュータが読み取ることができるデータファイルの形式となっていることが挙げられる。このような形式の採用により、例えばデジタルカメラによって撮影した画像のデータをWWW(World Wide Web)のサーバ上に保存して他者に対して公開することが可能になっており、その需要が増しているのである。
そして、このようなデジタルカメラの普及に伴って、アナログカメラを自在に使いこなすようなユーザの他に、初めてカメラに触れるユーザがデジタルカメラを使用する機会も増加してきている。このようなユーザは、カメラに関する知識を十分に備えていないことがある。従って、露出時間及び焦点合わせ等の撮影の条件が適切なものとなっていないこともある。このような場合、そのような条件下での撮影により得られた画像に対して適切な画像処理を行うことが好ましい。しかし、撮影者が、カメラに関する知識だけでなく、画像データの構造及び取り扱いに関する知識も十分に備えていないこともある。
このような状況に対し、特許文献1には、顔検出処理を応用して人物写真を自動的に補正する方法が記載されている。
特開2004−236110号公報 特開2005−346474号公報 特開2004−199673号公報 特開2004−362443号公報 特開2001−043371号公報 特開2005−295490号公報 特開平11−317873号公報
しかしながら、特許文献1に記載の方法は所期の目的を達成することができるものの、常にユーザにとって好ましい補正が行われるとは限らない。例えば、顔検出処理等の検出処理に誤りが生じたり、検出漏れが生じたりする可能性がある。また、顔等の検出物が複数存在する場合に、補正の基準とした検出物が、ユーザが意図する検出物と異なることもある。更に、補正の内容が統計的に好まれるように設計されているため、個々のユーザの嗜好(明るめが好み、暗めが好み等)に合致しないこともある。また、その画像の撮影時の意図に合致しないこともある。
本発明は、より一層ユーザの意図を反映させた結果を取得することができる画像処理装置及び画像処理方法等を提供することを目的とする。
本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。
本発明に係る画像処理装置は、画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出手段と、前記画像特徴情報に対する順位付けを行う順位付け手段と、前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定手段と、前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理手段と、前記画像処理手段による画像処理後の画像を表示する画像表示手段と、外部から前記画像処理条件の変更に関する指示を受け取る入力手段と、前記画像処理条件の変更に関する指示に基づいて前記画像処理条件を変更する画像処理条件変更手段と、を有し、前記画像処理条件が変更された場合、前記画像処理手段は、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、前記画像表示手段は、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示することを特徴とする。
本発明に係る画像処理方法は、画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出ステップと、前記画像特徴情報に対する順位付けを行う順位付けステップと、前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定ステップと、前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理ステップと、前記画像処理ステップにおける画像処理後の画像を表示する画像表示ステップと、外部から前記画像処理条件の変更に関する指示を受け取る入力ステップと、前記画像処理条件の変更に関する指示に基づいて前記画像処理条件を変更する画像処理条件変更ステップと、前記画像処理条件を変更した場合に、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示する補正ステップと、を有することを特徴とする。
本発明によれば、自動的に画像処理が行われた後での外部からの指示に応じた画像処理条件の変更が可能である。従って、ユーザによる煩雑な操作を回避しながら、より一層ユーザの意図を反映させた結果を取得することができる。
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
(第1の実施形態)
先ず、第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る画像処理装置の構成を示す図である。
この画像処理装置には、入力部101、データ保存部102、表示部103、CPU104、ROM105、RAM106及び通信部107が設けられており、これらがバスを介して互いに接続されている。
入力部101としては、キーボード及び/又はポインティング装置等が用いられ、ユーザがこの入力部101から指示及びデータを入力する。ポインティング装置としては、マウス、トラックボール、トラックパッド、及びタブレット等が挙げられる。また、この画像処理装置がデジタルカメラ装置又は印刷装置等に組み込まれている場合には、ポインティング装置が、ボタン又はモードダイヤル等から構成されていてもよい。また、キーボードがソフトウェアで構成(ソフトウェアキーボード)されていてもよい。この場合、ポインティング装置の操作に応じて文字が入力される。
データ保存部102としては、ハードディスク、フレキシブルディスク、CD−ROM、CD−R、DVD−ROM、DVD−R、及び/又はメモリーカード等が用いられ、データ保存部102は、画像データを保存する。データ保存部102に、画像データ以外のデータ及びプログラムが保存されることもある。メモリーカードとしては、CFカード、スマートメディア、SDカード、メモリスティック、xDピクチャーカード、USBメモリ等が挙げられる。なお、データ保存部102がRAM106の一部から構成されていてもよく、また、通信部107を介して接続された外部機器に設けられたデータ保存部が、この画像処理装置のデータ保存部102として用いられてもよい。
表示部103としては、CRT又は液晶ディスプレイ等が用いられ、表示部103は、例えば、画像処理前の画像及び画像処理後の画像を表示する。また、表示部103は、画像処理に必要な入力をユーザに促すGUI等の画像を表示することもある。なお、通信部107を介して接続された外部機器に設けられた表示部が、この画像処理装置の表示部103として用いられてもよい。
CPU104は、ROM105等に格納されたプログラムに基づき、入力部101、データ保存部102、表示部103、ROM105、RAM106及び通信部107の制御を行う。また、ROM105及びRAM106は、CPU104が行う処理に必要なプログラム、データ、及び作業領域等をCPU104に提供する。このプログラムには、入力画像に対して画像特徴情報として人物の顔を検出し、それに応じて画像の明るさを補正する画像処理に関するプログラムが含まれている。プログラムがROM105又はデータ保存部102に格納されている場合、CPU104は、プログラムを一旦RAM106に読み込んでから実行する。プログラムが通信部107を介して接続された外部機器に格納されている場合、CPU104は、プログラムを一旦データ保存部102に記録した後にRAM106に読み込むか、通信部107からRAM106に直接読み込んでから実行する。但し、プログラムがどのように保存され、読み出されるかということは特に問わない。
通信部107は、通信インタフェースとして、外部機器との間で通信を行う。通信の形態は、有線であっても無線であってもよい。有線通信の場合、LANコネクタ、USBコネクタ、IEEE1284コネクタ、IEEE1394コネクタ、及び/又は電話回線コネクタ等を用いて接続される。また、無線通信の場合、赤外線(IrDA)、IEEE802.11a、IEEE802.11b、IEEE802.11g、Bluetooth、及び/又はUWB(Ultra Wide Band)等の規格に基づく通信が行われる。
次に、上述のように構成された画像処理装置における画像処理の内容について説明する。この画像処理では、上述のように、入力画像に対して画像特徴情報として人物の顔を検出し、それに応じて画像の明るさを補正する。つまり、画像処理として明るさの調整を行う。また、この画像処理は、主としてプログラムに基づくCPU104の動作により実行される。図2は、第1の実施形態における画像処理の内容を示すフローチャートである。また、図3A、図3B及び図3Cは、第1の実施形態における画像処理の途中で表示されるGUIの一例を示す図である。
CPU104は、先ず、入力部101の操作に応じて、画像処理の対象となる画像データを読み込む。画像データは、例えばデータ保存部102等に所定のファイルフォーマットに従って格納されている。例えば、CPU104は、図4に示すように、表示部103に画像データの一覧を表示させておき、この状態で、入力部101から1又は2以上の画像の選択を示す指示が入力されると、それをトリガとして選択された画像の画像データを読み込む。図4は、画像データの一覧表示の例を示す図である。図4では、表示ウィンドウ400に10個のサムネイル401〜410が表示されている。サムネイル401〜410は、例えばデータ保存部102の所定の領域に格納されている画像データのファイルに相当する。そして、例えばユーザにより、入力部101から画像を選択する指示が入力されると、CPU104は、選択された画像に相当する画像データを読み込む。上述のように、画像データは、例えばデータ保存部102に所定のファイルフォーマットで格納されているので、この処理において、CPU104は、当該フォーマットに従って画像データをRAM106に読み込む。この際に、画像データが例えばJPEG等の形式に基づいて圧縮処理されているものである場合には、その圧縮形式に対応した伸張処理を行ってRAM106に伸張後のデータを格納する。また、画像データがRAWデータ、即ちCCD等の撮像素子の信号値を格納したデータであるものである場合には、それに対応した前処理(所謂、現像処理)を行ってRAM106に格納する。
次いで、CPU104は、ステップS201において、画像特徴情報検出手段として、読み込んだ画像データの解析を行い、この画像データから画像の特徴を検出し、画像特徴情報を作成する。本実施形態では、特に、画像データに含まれている1又は2以上の人物の顔の検出を行い、その結果を示す画像特徴情報(人物被写体に関する情報)をRAM106等に格納する。この際に、CPU104は、検出した顔の概略の位置を表す四角形の顔領域の情報として、四角形の4つの頂点を特定する座標情報を、検出した顔毎に作成し、これらの座標情報も検出結果としてRAM106等に格納する。なお、顔の検出方法は特に問わず、種々の方法を採用することができる。例えば、特許文献2又は特許文献3に記載されている方法を採用してもよい。例えば、肌領域を検出してもよい。なお、画像データ中に顔がない場合、及び顔を検出できなかった場合には、そのことを顔検出の結果を示す情報としてRAM106等に格納する。この処理は、例えば座標情報による検出結果の他に、検出した顔の個数も格納することにしておき、その個数を0とすることで実現される。また、検出結果をリスト形式で格納することにしておき、空のリストを格納することでも実現される。
ステップS201の後、CPU104は、ステップS202において、順位付け手段として、検出された顔領域に対して、予め定められている規則に従って順位付けを行う。なお、規則及び順位付けの方法は特に問わず、種々のものを採用することができる。例えば、顔検出の方法として、特許文献3に記載されている方法が採用されている場合には、検出の際に、検出物が顔である確率も得られるので、当該確率に従って順位付けを行えばよい。また、例えば顔領域の大きさ、及び/又は画像データ中での位置に応じて順位付けを行ってもよい。例えば、複数の顔領域に対して、顔領域が大きいほど、また、画像の中央に位置するものほど高い順位を付けるようにしてもよい。この順位付けの方法は、例えば特許文献4に記載されている。なお、顔領域の大きさ及び画像データ中での位置は、顔検出結果情報に含まれる座標情報から特定することが可能である。順位付けについては、顔である確率と、顔領域の大きさ及び位置に基づく重要度とを組み合わせてもよい。例えば、顔である確率と重要度を示す数値とを掛け合わせて、順位を決定してもよい。
なお、ステップS202において、CPU104は、順位付けのみならず、顔検出結果の情報を順位付けに基づいて並び替えることが好ましい。
ステップS202の後、CPU104は、ステップS203において、画像処理条件決定手段として、順位が最も高い顔領域を特定し、当該顔領域についての検出情報を用いて画像処理条件を決定する。本実施形態では、CPU104は、当該顔領域の明るさの調整に適したγ処理の処理パラメータを画像処理条件として決定する。即ち、CPU104は、画像全体の明るさを調整するために、特定した顔領域の明るさの分布から代表輝度を算出し、その代表輝度が予め定めておいた好ましい明るさに近づくようにγ処理の処理パラメータを画像処理条件として決定する。このとき、必要に応じて処理対象である原画像の該当領域の画素値を参照してもよい。なお、顔検出の結果に応じて画像の明るさを補正する方法、及び処理パラメータを決定する方法は、例えば特許文献1及び特許文献4に記載されている。
次いで、CPU104は、ステップS204において、画像処理手段として、ステップS203で決定した画像処理条件(処理パラメータ)に従って、読み込んだ画像データに対する画像処理を行い、その結果を取得する。本実施形態では、上述のようにγ処理によって明るさの調整を行うので、処理対象の画像データの各画素のRGB値を次の式(数1)によりYCbCr値に変換する。
Figure 2010009420
更に、CPU104は、得られたYCbCr値のYの値に対し、次の式(数2)の変換を行う。ここで、γ0はγ処理を制御する処理パラメータであり、この値がステップS203において決定されている。
Figure 2010009420
CPU104は、更に、次の式(数3)の変換を行うことにより、YCbCr値をRGB値に逆変換して、補正後のRGB値を得る。
Figure 2010009420
なお、これらの式は、RGB値及びYCbCr値を8bit整数で表現すること、即ちRGB及びYについては0〜255、CbCrについては−128〜127で表現することを前提としているが、各信号値を16bit整数で表現してもよい。また、0〜1.0の正規化された実数で表現してもよい。これらの場合、式(数2)の右辺の分母の255の部分を、Yの最大値に置き換える。即ち、16bit整数表現の場合は65535に、0〜1.0の正規化された実数で表現する場合は1.0に置き換える。
ステップS204の後、CPU104は、ステップS205において、画像表示手段として、ステップS204における処理の結果を表示部103に表示する。例えば、図3Aに示すように、表示領域331内に、ステップS204の処理後の画像を表示する。
なお、ステップS201において検出した画像特徴情報の数が0の場合、CPU104は、ステップS202〜S204の処理を省略し、ステップS205において、ステップS201の前に読み込んだ画像データの画像を表示部203に表示する。また、公知のヒストグラム均等化等の画像特徴情報に依らない補正処理を行って、その処理結果をステップS205において表示部203に表示してもよい。
ステップS205の後、CPU104は、ステップS213において、画像特徴情報表示手段として、ステップS201で検出した画像特徴情報として、図3Bに示すように、顔領域を示す枠線を表示部103に表示する。つまり、どこを顔領域として検出したかを、表示領域331内の画像と重畳するように四角形の枠線301及び302によって表現することより、ユーザに対して明らかにする。このとき、CPU104は、表示領域331の表示結果でよい旨の意思表示を受け付けるOKボタン323、及び処理をキャンセルする旨の意思表示を受け付けるキャンセルボタン324も表示する。更に、画像処理条件表示手段として、γ処理の処理パラメータの調整内容を受け付けるスライダ322も表示する。なお、スライダ322は、表示領域331に表示されている画像に対して行われた画像処理の画像処理条件(処理パラメータ)を変更可能に表示する。
また、CPU104は、枠線301及び302の内部又はその近傍の所定の範囲が指定されると、枠線301、302が示す顔領域が選択されたと判断する。また、表示領域331内の一部の領域が指定されると、図3Cに示すように、その領域を示す四角形の枠線311を表示領域331に内に追加し、後述のように当該枠線311が示す領域が選択されたと判断する。CPU104は、追加された枠線311については、枠線301及び302と同様に取り扱う。例えば、枠線311を追加した後であれば、枠線311を選択することも可能である。枠線の選択に伴う処理については後述する。
仮に、ステップS202において、枠線301が示す顔領域の順位が第一位となり、枠線302が示す顔領域の順位が第二位となっていたとする。この場合には、CPU104は、ステップS203において、枠線301の顔領域の検出情報に基づいてγ処理の処理パラメータを決定し、ステップS204において、当該処理パラメータを用いた画像処理を行っていることとなる。
なお、画像特徴情報の表示の方法は特に限定されず、四角形の枠線を表示せずに、リストボックス等を用いて顔領域を表す座標値を文字情報で表示してもよい。また、枠線の形状も四角形に限定されず、円又は楕円等であってもよい。また、画像内に描かれている物体と枠線とを区別しやすいように、枠線の太さ及び色等を画像内のものと異ならせることが好ましい。
また、CPU104は、ステップS213において、ステップS201で検出した顔領域の必ずしも全部を表示しなくともよく、その一部のみを表示してもよい。但し、少なくとも、直近の画像処理に用いられた画像処理条件の決定に用いられた顔領域は含ませることが好ましい。例えば、画像データによっては10個以上の顔が含まれる場合もあり、これらの全てについて枠線等を表示したのでは、ユーザにとって有益な情報が他の情報と混ざってしまい識別しにくくなりやすい。このような場合には、例えばステップS202の順位付けに従って、上位のn個(nは予め定められた自然数)を表示してもよい。また、順位づけの際に用いる値(例えば顔であることの確率、顔領域の位置及び大きさに基づく重要度)に対して閾値を予め設けておき、閾値を越えた顔のみを表示してもよい。
ステップS213の処理の結果、図3Bに示すような表示がなされると、ユーザは、自身の意思を画像処理装置に入力することが可能となる(ステップS211)。即ち、図3Bに示す結果が好ましいものとなっているか、修正が必要なものとなっているか、画像処理がなかったものとして終了するかという意思を入力することが可能となる。この意思表示に際して、ユーザは、好ましいものとなっていればOKボタン323を押せばよく、画像指定の誤り等によって画像処理をキャンセルするのであれば、キャンセルボタン324を押せばよい。また、修正が必要である場合には、枠線の選択、新たな枠線の追加、スライダ322の操作等、修正に必要な操作を行えばよい。この操作については後述する。
そして、CPU104は、ステップS212において、OKボタン323(正常終了)又はキャンセルボタン324(キャンセル終了)が押されたか判断する。つまり、終了の意思表示があったか否かの判断を行う。どのような意思表示があったかは、マウス等で指定された座標情報から判断することができる。
終了の意思表示がなく、修正に必要な操作が行われると、CPU104は、ステップS215において、当該操作が、画像特徴情報の選択及び/又は編集(つまり、画像特徴情報の変更)に関するものであるか判断する。本実施形態において、画像特徴情報の選択及び/又は編集に関する操作は、顔領域を示す枠線の選択及び追加である。つまり、CPU104は、表示領域331内のいずれかの枠線の選択又は追加の操作があったか否かの判断を行う。この時、直近の画像処理で基準とされていた顔領域の選択は無視してもよい。
当該操作が画像特徴情報の選択及び/又は編集に関する操作であった場合、CPU104は、ステップS216において、選択された枠線に相当する顔領域の画像特徴情報をRAM106から取得する。但し、枠線の追加の場合には、その時点では画像特徴情報は取得されていないので、図3Cに示すように、枠線311が追加された後に、ステップS201と同様の処理により画像特徴情報を抽出し、取得する。
次いで、CPU104は、ステップS217において、ステップS216で取得した画像特徴情報から、ステップS203と同様の処理により、画像処理条件を決定する。つまり、CPU104は、画像処理条件変更手段として、ステップS216で取得した画像特徴情報に基づいて、画像処理条件であるγ処理の処理パラメータを変更する。
その後、CPU104は、ステップS218において、ステップS217で決定した変更後の画像処理条件(処理パラメータ)に従って、ステップS204と同様の処理により、読み込んだ画像データに対する画像処理を行い、その結果を取得する。つまり、CPU104はγ処理を実行する。
続いて、CPU104は、ステップS219において、ステップS205と同様の処理により、ステップS218における処理の結果を表示部103に表示する。そして、ステップS211に戻って、再度、ユーザからの指示の入力を待つ。
次に、CPU104が、当該操作が画像特徴情報の選択及び/又は編集に関するものであるか判断した結果(ステップS215)、当該画像特徴情報の選択及び/又は編集に関する操作ではなかった場合の処理について説明する。本実施形態において、ステップS215での画像特徴情報の選択及び/又は編集に関しない操作は、スライダ322の操作である。そこで、当該画像特徴情報の選択及び/又は編集に関する操作ではなかった場合、CPU104は、ステップS221において、当該操作が画像処理条件(処理パラメータ)の入力のためのスライダ322の操作であるか判断する。
そして、当該操作がスライダ322の操作であった場合、CPU104は、ステップS222において、スライダ322の状態に基づいて、スライダ322が示す画像処理条件を処理パラメータとして取得する。
次いで、CPU104は、ステップS223において、ステップS222で取得した変更後の画像処理条件(処理パラメータ)に従って、ステップS204等と同様の処理により、読み込んだ画像データに対する画像処理を行い、その結果を取得する。つまり、CPU104はγ処理を実行する。
続いて、CPU104は、ステップS224において、ステップS205等と同様の処理により、ステップS223における処理の結果を表示部103に表示する。そして、ステップS211に戻って、再度、ユーザからの指示の入力を待つ。
なお、CPU104は、ステップS221において、他の操作が行われていると判定した場合、ステップS211に戻って、再度、ユーザからの指示の入力を待つ。なお、他の操作が認めずに、ステップS221の判定を省略してもよい。
また、ステップS212において、OKボタン323(正常終了)又はキャンセルボタン324(キャンセル終了)が押されていた場合、CPU104は、画像処理を終了する。そして、OKボタン323が押されていた場合、CPU104は、その直近に行った画像処理の結果を、データ保存部102に所定のフォーマットで格納(画像データ保存処理)するか、又は通信部107を介して外部機器(例えばプリンタ等)に送信する。また、CPU104がGUIを変更して表示部103に表示し、その後のユーザの指示に応じてデータ保存部102に格納したり、通信部107を介した画像送信等を行ってもよい。一方、キャンセルボタン324が押されていた場合、CPU104は、それまでの画像処理の結果を破棄する。
このようにして一連の処理が行われる。
ここで、ステップS211におけるユーザの意思表示と画像処理の具体的な内容との関係について説明する。先ず、その前提として、上述のように、ステップS202において、枠線301が示す顔領域の順位が第一位となり、枠線302が示す顔領域の順位が第二位となっていたとする。従って、ステップS203において、枠線301が示す顔領域の検出情報に基づいてγ処理の処理パラメータが決定され、ステップS204において、当該処理パラメータを用いた画像処理が行われているとする。更に、読み込まれた時点での画像データでは、図3A乃至図3C中の左側の人物の顔(枠線301内)は明るく適正に撮影され、中央の人物の顔(枠線311内)は暗く写っていて、右側の人物の顔(枠線302内)は更に暗く写っていたとする。
このような条件下でステップS201〜S204の処理が行われても、左側の人物の顔が初めから適正な明るさで撮影されているため、画像全体の明るさは初期状態と比較してほとんど明るくはならない。従って、中央及び右側の人物の顔は暗いままの結果がステップS205及びS213で表示される。
ユーザが左側の人物をこの画像の主たる被写体として考えている場合は、このままOKボタン323を押せばよいが、中央及び右側の人物を主たる被写体として撮影したものであり、左側の人物は偶然に撮影したときに通りかかっただけのこともある。このような場合、中央又は右側の人物を基準にした画像処理を行うことが好ましいといえる。つまり、ユーザが中央及び右側の人物の明るさを明るくしたいと考えることが想定される。
この場合、ユーザは、例えば右側の人物の顔を示す枠線302の内部又はその近傍の所定の範囲を指定すればよい。この結果、CPU104は、ステップS212及びステップS215の判断を経て、右側の人物の顔の明るさを基準にしてステップS216〜S219の処理を行う。従って、右側の人物の顔に露出を合わせたように明るく補正された画像が表示領域331に表示される。
また、ユーザは、例えば、中央の人物の顔を示す枠線311を追加してもよい。この結果、CPU104は、ステップS212及びステップS215の判断を経て、中央の人物の顔の明るさを基準にしてステップS216〜S219の処理を行う。従って、中央の人物の顔に露出を合わせたように明るく補正された画像が表示領域331に表示される。
また、右側の人物の顔を示す枠線302の指定と、中央の人物の顔を示す枠線311の追加とを組み合わせてもよい。つまり、どちらか一方を先に行い、その結果が十分でない場合に、他方を行ってもよい。例えば、右側の人物の顔を示す枠線302の指定に伴う画像処理を先に行い、その結果、中央の人物の顔がやや明るすぎるように感じた場合には、その後に中央の人物の顔を示す枠線311の追加を行ってもよい。
また、ユーザは、基準とする顔領域を特定せずに、γ処理の処理パラメータを自身で指定してもよい。この場合、ユーザは、入力部101を介してスライダ322を操作すればよい。この結果、CPU104は、ステップS212及びステップS215の判断を経て、ステップ222において、ユーザが指定した処理パラメータを取得し、これに基づいてステップS223〜S224の処理を行う。従って、指定された処理パラメータに基づく画像処理後の画像が表示領域331に表示される。このため、ユーザは、表示領域331に表示されている画像を見ながら、画像処理条件(γ処理のパラメータ)に対する調整作業を行うことにより、好ましい結果を得ることができる。
なお、枠線の追加に代えて、枠線301又は302を移動可能にして、新たな領域を指定することができるようにしてもよい。また、枠線の大きさを変更可能にしてもよい。つまり、種々の方法で枠線が示す領域を変更可能にしてもよい。
このように、第1の実施形態では、入力画像データから顔検出を行い、その検出結果に対して順位付けを行い、最上位の検出結果を用いて自動的に明るさを調整する処理を行う。また、ユーザからの顔検出結果に対する指示(外部からの指示)を受け取ってそれに応じて処理を行い、更に、明るさを調整するパラメータ指定を受け取ってそれに応じて処理を行う。このとき、これらの処理をシームレスに組み合わせている。従って、ユーザが目的とする明るさ調整結果を得るための作業量を削減することができる。即ち、最初の自動処理で満足する場合はほぼ作業量なしで済むし、そうでない場合には次に簡単な選択程度の処理で半自動的な補正処理を行うとともにユーザに提示して確認をすることで少ない作業量で補正結果を得ることができる。一方、自動、半自動による補正処理でも満足できなかった場合でも、処理パラメータの変更を受け付けるので、適切な補正結果を得ることができる。
なお、第1の実施形態では、ステップS205の後に、無条件に枠線を表示しているが、図3Dに示すように、表示部103に顔領域ボタン321をインタフェースとして表示し、この操作に応じて画像特徴情報の表示/非表示を切り替えてもよい。このような構成を採用する場合の処理を示すフローチャートを図5に示す。
図5に示すように、この処理では、ステップS213の処理を省略している。また、画像処理条件の入力ではないと判定した場合(ステップS221)、CPU104は、操作が顔領域ボタン321の操作であるとして、ステップS501において、その操作に応じて枠線等の画像特徴情報の表示/非表示の切り替えを行う。つまり、枠線等の画像特徴情報が表示されていなければ、画像特徴情報を表示し、既に表示されていれば、画像特徴情報を非表示にする。他の処理は図2に示すものと同様である。
(第2の実施形態)
次に、第2の実施形態について説明する。第1の実施形態では、画像特徴情報として顔の検出を行い、顔領域の明るさに基づいてγ処理を行っているのに対し、第2の実施形態では、画像特徴情報として白い領域の検出を行い、その代表色に基づいてホワイトバランス処理を行う。つまり、本来白色であると推測される1以上の画素を含む画像領域の検出を行い、ホワイトバランス調整等のカラーバランス調整を行う。画像処理として色味の調整を行う。他の構成は第1の実施形態と同様である。図6は、第2の実施形態における画像処理の途中で表示されるGUIの一例を示す図である。
本実施形態では、CPU104は、ステップS201において、読み込んだ画像データ(入力画像データ)を複数の領域に分割する。この分割の方法は特に問わないが、例えば画像中の色が近い画素を集めて分割するという方法を採用する。この方法は、例えば特許文献5に記載されている。
ステップS202において、CPU104は、分割された各領域の評価を行い、その上で各領域に対する順位付けを行う。本実施形態では、領域の白さに基づく順位付けを行う。領域の白さの評価に当たり、CPU104は、先ず領域の代表色を決定する。代表色の決定では、例えば、当該領域に属する各画素の画素値の平均値、最頻度又は中央値を取得する。通常、色は複数のチャネルで規定され、例えば画像データを表す色空間がRGBの場合は、R、G、Bの3つのチャネルで規定される。このような場合、チャネル毎に中央値を求めて、各チャネルの中央値からなるものを色の中央値とすればよい。代表色を決定した後、CPU104は、代表色の白との近さを評価する。この評価では、この代表色を明るさ・色相・彩度を表す色空間に変換し、明るさ軸と代表色との間の距離を求め、距離が近いほど白に近いと評価すればよい。
明るさ・色相・彩度を表す色空間としては、CIE L*a*b*空間、YCbCr色空間、HSV色空間、HLS色空間等が挙げられる。本実施形態では、式(数1)によってRGBの代表色をYCbCrに変換し、白との近さを測る距離を彩度と定義し、次の式(数4)により彩度Dを求める。
Figure 2010009420
そして、この彩度Dの値が小さい順に各領域の順位付けを行う。
ステップS203において、CPU104は、順位が最も高い領域を特定し、当該領域についての検出情報(代表色)を用いて画像処理条件を決定する。本実施形態では、CPU104は、当該領域のホワイトバランス処理のホワイトバランスパラメータを画像処理条件として決定する。ホワイトバランス処理のパラメータの決定に際して、CPU104は、参照する領域の代表色のRGB値を入力とした場合に、出力として変換後のRGB値がR=G=Bとなるようなパラメータを求める。本実施形態では、後述するが、代表色で、R、BチャネルデータのGチャネルデータに対する比率を求め、その逆数をR、Bチャネルデータに対するゲイン値とし、入力画像の画素全体に対してこのゲイン値を適用することでホワイトバランス処理を行う。従って、ステップS203において、CPU104は、Rチャネルデータに対するゲイン値Rgain、Bチャネルデータに対するゲイン値Bgainを、次の式(数5)により求める。
Figure 2010009420
但し、式(数5)において、R、G、Bは、夫々領域代表色のRチャネル値、Gチャネル値、Bチャネル値である。本実施形態では、このゲイン値Rgain及びBgainを画像処理条件(ホワイトバランスパラメータ)として以降の処理で用いる。
ステップS204において、CPU104は、ステップS203で決定した画像処理条件(ホワイトバランスパラメータ)に従って、読み込んだ画像データに対する画像処理を行い、その結果を取得する。本実施形態では、上述のように、入力画像の各画素のRデータ及びBデータに対してゲイン値Rgain及びBgainを乗じることにより、ホワイトバランス処理を行う。また、CPU104は、ステップS218及びS223の画像処理も同様にして行う。
そして、ステップS213の後には、例えば、図6に示すような表示が行われる。本実施形態では、図6に示すように、表示領域331内に、顔領域を示す枠線の代わりに、検出された領域を示す枠線901及び902が表示される。なお、本実施形態では、2本のスライダからなるスライダ群922が表示される。これは、ホワイトバランス処理に、2種類のパラメータ(ゲイン値Rgain及びBgain)が用いられるからである。また、第1の実施形態と同様に、ホワイトバランス処理の基準とすべき領域の追加のために、ユーザは枠線911を追加することも可能である。
このような第2の実施形態によっても、第1の実施形態と同様の効果を得ることができる。
なお、ステップS201の領域の分割に際して、図7に示すように、入力画像データを単純に矩形状に分割してもよい。例えば、予め定められた大きさの矩形状の複数の領域に分割してもよく、また、予め定められた数の領域に概略均等に分割してもよい。
また、図5に示すフローチャートの処理を第2の実施形態に適用してもよい。
(第3の実施形態)
次に、第3の実施形態について説明する。画像処理として、第1の実施形態ではγ処理を行い、第2の実施形態ではホワイトバランス処理を行っているのに対し、第3の実施形態では、画像特徴情報として直線成分(線分)の検出を行い、その向きに基づいて画像を回転させる処理を行う。他の構成は第1の実施形態と同様である。図10A及び図10Bは、第3の実施形態における画像処理の途中で表示されるGUIの一例を示す図である。
本実施形態では、CPU104は、ステップS201において、読み込んだ画像データ(入力画像データ)から直線成分を検出する。この直線成分の検出の方法は特に問わないが、例えば、入力画像データの各画素値の輝度値を計算して輝度画像を得て、輝度画像からエッジ成分を抽出したエッジ画像を生成し、エッジ画像に対してHough変換を行い、直線成分を検出するという方法を採用する。
ここで、Hough変換について説明する。図8は、Hough変換の概要を示す図である。図8はx−y座標系を表している。図8において、直線y=ax+bが点Pで直線OPと垂直に交るとし、直線OPとx軸との角度をω、直線OPの長さをρとすると、ω及びρの値が定まれば、直線y=ax+bは一意に定まる。このような関係に基づき、点(ρ,ω)が直線y=ax+bのHough変換とよばれる。
また、x−y座標系の点(x0,y0)を通る傾きの異なる直線の集まりは、次の式(数6)で表される。
Figure 2010009420
このとき、例えば図8の点P、P1及びP2の3点を通る直線群の軌跡をρ−ω平面にプロットすると、図9に示す結果が得られる。
図9において、曲線1301は図8中の点Pを通る直線群のρ−ω平面での軌跡であり、曲線1302は図8中の点P1を通る直線群のρ−ω平面での軌跡であり、曲線1303は図8中の点P2を通る直線群のρ−ω平面での軌跡である。そして、図9からも明らかなように、x−y平面上で同一直線上にある点を通る直線群の軌跡は、ρ−ω平面上で一点で交わる(図9中の点Q)。従って、このρ−ω平面上の交点Qを逆変換すれば、もとの直線が求められる。そこで、先に求めておいたエッジ画像のエッジ画素について、式(数6)でωを変化させながらρ−ω平面上での軌跡を求め、点が集中する交点を求める。実際には、画像中の2点があれば直線が決定するので、ρ−ω平面において、少なくとも3つ以上の軌跡が交差する点を抽出することが望ましい。このようにして直線成分が検出される。
ステップS202において、CPU104は、検出された各直線成分の評価を行い、その上で各直線成分に対する順位付けを行う。この順位付けに当たり、本実施形態では、決定した直線成分上のエッジ画素を調べて直線成分(線分)の長さを調べ、その長い順に順位付けする。なお、ρ−ω平面上の点で、交わった軌跡の数が多い順に順位付けしてもよく、また、角度が0度又は90度に近い順に順位付けしてもよい。
ステップS203において、CPU104は、順位が最も高い直線成分を特定し、当該直線成分についての検出情報(直線成分の傾き)を用いて画像処理条件を決定する。本実施形態では、CPU104は、当該回転処理の角度を画像処理条件として決定する。
ステップS204において、CPU104は、ステップS203で決定した画像処理条件(回転角度)に従って、読み込んだ画像データに対する画像処理を行い、その結果を取得する。つまり、画像処理の対象の基準として選択した直線部分が水平又は垂直になるように、入力画像データの回転処理を行う。ここで、水平にするか、垂直にするかの判断については、予め定めておいてもよいが、直線成分の傾きから水平又は垂直のどちらに近いかを判定し、その近い方に合わせるように回転させることが好ましい。また、画像が縦長か横長かに応じて、水平又は垂直を選択してもよい。また、CPU104は、ステップS218及びS223の画像処理も同様にして行う。
そして、ステップS205、S219又はS224の後には、例えば、図10Aに示すような表示が行われ、ステップS213の後には、図10Bに示すような表示が行われる。本実施形態では、図10Bに示すように、表示領域331内に、顔領域を示す枠線等の代わりに、検出された直線成分を示す強調表示直線1101及び1102が表示される。なお、本実施形態では、直線成分の回転角度を調整可能とするスライダ322が表示される。また、第1の実施形態と同様に、回転処理の基準とすべき直線成分の追加のために、ユーザは直線成分1111を追加することも可能である。直線成分の追加は、例えば表示領域331中の二点を入力部101を用いて指定することにより行われる。
このような第3の実施形態によっても、第1の実施形態と同様の効果を得ることができる。
なお、図5に示すフローチャートの処理を第3の実施形態に適用してもよい。
(第4の実施形態)
次に、第4の実施形態について説明する。第4の実施形態では、撮影シーンの種別に応じた画像処理を行う。
本実施形態では、CPU104は、ステップS201において、読み込んだ画像データ(入力画像データ)から主要被写体を判別し、撮影シーンの候補を検出する。この判別及び検出の方法は特に問わないが、例えば、入力画像データを矩形状のブロックに分割し、各ブロックの色及び位置に基づき、主要被写体として人物及び空等を判定し、撮影シーンの候補を検出する。従って、空が多く写っている場合は屋外の青空のシーンが候補として検出され、暗い場合は夜景のシーンが候補として検出され、肌色がある場合は人物が写っているシーンが候補として検出される。このような検出の方法は、例えば特許文献6に記載されている。
ステップS202において、CPU104は、検出された各撮影シーンの評価を行い、その上で各撮影シーンに対する順位付けを行う。順位付けに際しては、例えば、被写体判別のためのブロックの色及び位置に関する規則に適合する領域の数又は面積(画素数)に基づき、領域数及び面積が大きい順に順位付けする。
ステップS203において、CPU104は、順位が最も高い撮影シーンを特定し、当該撮影シーンに対して予め定められている条件を画像処理条件として決定する。撮影シーンに対して予め定められている条件としては、例えば、風景のシーンについてのコントラストを高めにする条件、人物を含むシーンについての補正量を小さくした条件等が挙げられる。このように、ExifPrintのように検出するシーンに基づいて補正処理を調整できるように条件を設定しておく。
ステップS204において、CPU104は、ステップS203で決定した画像処理条件に従って、読み込んだ画像データに対する画像処理を行い、その結果を取得する。また、CPU104は、ステップS218及びS223の画像処理も同様にして行う。
また、表示部103には、枠線等に代えて、GUIとして撮影シーンを選択可能にするボタン等を表示する。このようなGUIを表示しておけば、順位付けの結果がユーザにとって好ましいものとなっていない場合でも、ユーザが自身の望む撮影シーンを選択することができるようになる。また、第1〜第3の実施形態におけるスライダを表示して、ユーザにこのスライダの操作に基づく調整を行わせるようにしてもよい。
このような第4の実施形態によっても、第1の実施形態と同様の効果を得ることができる。
なお、撮影シーンの検出に際しては、検出した被写体毎にシーンを設定してもよく、また、検出した被写体の組み合わせ(人物と空との組み合わせ、空と海との組み合わせ等)に対してシーンを設定して画像特徴情報として用いてもよい。
また、図5に示すフローチャートの処理を第4の実施形態に適用してもよい。
また、これらの実施形態では、入力部101からの画像の選択を示す指示の入力をトリガとして、図2又は図5に示すフローチャートに沿った処理を実行することとしているが、他の条件をトリガとしてもよい。例えば、入力部101からの処理開始の指示の入力をトリガとして、データ保存部102の所定の領域に格納されている画像に対して、順次、図2又は図5に示すフローチャートに沿った処理を実行するようにしてもよい。つまり、図4に示す一覧に表示されている全ての画像に対して、処理開始の指示の入力をトリガとして、順次、画像処理を実行するようにしてもよい。また、通信部107を介して外部機器から画像データを受信(取得)した場合に、当該取得をトリガとして図2又は図5に示すフローチャートに沿った処理を実行するようにしてもよい。
(第5の実施形態)
次に、第5の実施形態について説明する。第5の実施形態では、データ保存部102の所定の領域に格納されている画像の全てに対して、ステップS201〜S204の処理を行い、その後に、選択的にユーザの意思表示を反映させた画像処理を行う。図11は、第5の実施形態における画像処理の内容を示すフローチャートである。
本実施形態では、ステップS601において、CPU104は、処理対象とする画像のリストを生成する。画像のリストには、各画像の識別子(例えば画像データファイルのファイル名)を含ませる。処理対象とする画像は、データ保存部102の所定の領域に格納されている画像であり、この所定の領域はデータ保存部102の全領域であってもよく、また、一部の領域であってもよい。例えば、データ保存部102にある画像データがディレクトリ分等によって複数のグループに分類されている場合には、特定のディレクトリ又はグループにある画像のみを処理対象として、その画像リストを作成してもよい。また、予めユーザに処理対象となる画像を選択させておき、入力部101からの実行指示をトリガとして、選択されている画像のリストを作成してもよい。
次いで、ステップS602において、CPU104は、画像リストに処理対象の画像が残っているか判断する。そして、画像リストが空になっていれば、後述のステップS604の処理を行う。一方、画像リストに画像が残っていれば、ステップS603において、CPU104は、画像リストから1つの画像を取り出すと共に、当該画像の識別子を画像リストから削除する。
その後、取り出した画像に対して、第1の実施形態と同様にして、ステップS201〜S204の処理を行う。そして、ステップS204の処理後に、再度、画像リストに処理対象の画像が残っているか判断する(ステップS602)。
画像リストが空になっている場合、CPU104は、ステップS604において、ステップS204における画像処理後の画像そのものか、又はその変倍画像(サムネイル等)を、例えば、図4に示すような配列で一覧表示する。
次いで、CPU104は、ステップS605において、一覧表示されている画像の選択又は終了の指示を受け付け、ステップS606において、入力部101からの指示が終了指示であるか判断する。
一覧表示されている画像の選択が指示されていた場合、CPU104は、第1の実施形態と同様にして、ステップS205〜S224の処理を行う。但し、ステップS212において、OKボタン323又はキャンセルボタン324が操作されていた場合は、そのまま処理を終了するのではなく、ステップS607の処理を行う。
ステップS607において、CPU104は、画像出力をするか判断する。この判断では、ステップS211の指示がOKボタン323によるものなのか、キャンセルボタン324によるものなのかに応じて、前者であれば、画像出力すると判断し、後者であれば、画像出力しないと判断する。
画像出力する場合には、ステップS608において、CPU104は、その直近に行った画像処理の結果を、データ保存部102に所定のフォーマットで格納(画像データ保存処理)するか、又は通信部107を介して外部機器(例えばプリンタ等)に送信する。また、CPU104がGUIを変更して表示部103に表示し、その後のユーザの指示に応じてデータ保存部102に格納したり、通信部107を介した画像送信等を行ってもよい。そして、ステップS604に戻り、他の画像の選択等の指示を待つ。このとき、ステップS604において、画像処理の結果を用いて一覧表示を行うことが好ましい。一方、画像出力しない場合には、CPU104は、当該画像についてのそれまでの画像処理の結果を破棄する。そして、ステップS604に戻り、他の画像の選択等の指示を待つ。
また、ステップS606において、終了の指示が入力されていた場合、その時点で画像処理を終了する。
このようにして一連の処理が行われる。
このような第5の実施形態によっても、第1の実施形態と同様の効果を得ることができる。また、例えば一括処理の実行中にユーザは他の作業を行うことができ、一括処理の終了後に必要に応じてユーザが補正を行えば、操作性をより向上させることができる。
なお、図5に示すフローチャートの処理を第5の実施形態に適用してもよい。また、第2〜第4の実施形態における画像処理を行ってもよい。
なお、図1では入力部101、データ保存部102及び表示部103が画像処理装置内に含まれているが、全ての実施形態に関し、画像処理装置に内蔵されている必要はなく、種々の方式で、画像処理装置の外部に接続されていてもよい。
また、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したCD−ROM等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
第1の実施形態に係る画像処理装置の構成を示す図である。 第1の実施形態における画像処理の内容を示すフローチャートである。 第1の実施形態における画像処理の途中で表示されるGUIの一例を示す図である。 第1の実施形態における画像処理の途中で表示されるGUIの他の一例を示す図である。 第1の実施形態における画像処理の途中で表示されるGUIの更に他の一例を示す図である。 第1の実施形態の変形例における画像処理の途中で表示されるGUIの一例を示す図である。 画像データの一覧表示の例を示す図である。 第1の実施形態の変形例における画像処理の内容を示すフローチャートである。 第2の実施形態における画像処理の途中で表示されるGUIの一例を示す図である。 第2の実施形態の変形例における画像処理の途中で表示されるGUIの一例を示す図である。 Hough変換の概要を示す図である。 図8の点P、P1及びP2の3点を通る直線群の軌跡をρ−ω平面にプロットした結果を示す図である。 第3の実施形態における画像処理の途中で表示されるGUIの一例を示す図である。 第3の実施形態における画像処理の途中で表示されるGUIの他の一例を示す図である。 第5の実施形態における画像処理の内容を示すフローチャートである。
符号の説明
101:入力部
102:データ保持部
103:表示部
104:CPU
105:ROM
106:RAM
107:通信部

Claims (21)

  1. 画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出手段と、
    前記画像特徴情報に対する順位付けを行う順位付け手段と、
    前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定手段と、
    前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理手段と、
    前記画像処理手段による画像処理後の画像を表示する画像表示手段と、
    外部から前記画像処理条件の変更に関する指示を受け取る入力手段と、
    前記画像処理条件の変更に関する指示に基づいて、前記画像処理条件を変更する画像処理条件変更手段と、
    を有し、
    前記画像処理条件が変更された場合、
    前記画像処理手段は、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、
    前記画像表示手段は、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示することを特徴とする画像処理装置。
  2. 前記画像特徴情報の、前記画像表示手段が表示している画像に対して行われた画像処理に用いられたものを少なくとも含む全部又は一部を表示する画像特徴情報表示手段を有することを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像特徴情報表示手段は、前記画像表示手段が表示している画像に重畳させて前記画像特徴情報を表示することを特徴とする請求項2に記載の画像処理装置。
  4. 前記外部からの前記画像処理条件の変更に関する指示には、前記画像特徴情報の変更に関する指示が含まれることを特徴とする請求項2又は3に記載の画像処理装置。
  5. 前記画像特徴情報の変更に関する指示には、前記画像特徴情報表示手段により表示された画像特徴情報の選択が含まれることを特徴とする請求項4に記載の画像処理装置。
  6. 前記画像特徴情報の変更に関する指示には、前記画像特徴情報表示手段により表示された画像特徴情報に対する追加が含まれることを特徴とする請求項4又は5に記載の画像処理装置。
  7. 前記画像特徴情報検出手段は、前記画像中に所定の特徴が存在しない場合、その旨を示す画像特徴情報を作成することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記画像特徴情報検出手段は、前記画像特徴情報として、前記画像中の人物被写体に関する情報を作成することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 前記画像特徴情報検出手段は、前記所定の特徴として、前記画像中の人物の顔を検出することを特徴とする請求項8に記載の画像処理装置。
  10. 前記画像特徴情報検出手段は、前記所定の特徴として、前記画像中の肌領域を検出することを特徴とする請求項8に記載の画像処理装置。
  11. 前記画像処理手段は、前記画像処理として、前記画像の明るさに関する調整を行うことを特徴とする請求項8乃至10のいずれか1項に記載の画像処理装置。
  12. 前記画像特徴情報検出手段は、前記画像特徴情報として、前記画像中の直線成分に関する情報を作成することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  13. 前記画像処理手段は、前記画像処理として、前記画像の回転を行うことを特徴とする請求項12に記載の画像処理装置。
  14. 前記画像特徴情報検出手段は、前記画像特徴情報として、前記画像中の本来白色であったと推測される1以上の画素を含む画像領域に関する情報を作成することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  15. 前記画像処理手段は、前記画像処理として、前記画像のカラーバランス調整を行うことを特徴とする請求項14に記載の画像処理装置。
  16. 前記画像特徴情報検出手段は、前記画像特徴情報として、前記画像の撮影シーンの種別に関する情報を作成することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  17. 前記入力手段は、前記画像特徴情報検出手段、順位付け手段、画像処理条件決定手段、前記画像処理手段及び画像表示手段が複数の画像に対する処理を行った後に、前記外部からの指示を受け付けることを特徴とする請求項1乃至16のいずれか1項に記載の画像処理装置。
  18. 前記入力手段は、前記外部からの指示として、前記画像処理条件を変更する画像の指定を受け付けることを特徴とする請求項17に記載の画像処理装置。
  19. 前記画像表示手段が表示している画像に対して行われた画像処理に用いられた画像処理条件を表示する画像処理条件表示手段を有することを特徴とする請求項1乃至18のいずれか1項に記載の画像処理装置。
  20. 画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出ステップと、
    前記画像特徴情報に対する順位付けを行う順位付けステップと、
    前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定ステップと、
    前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理ステップと、
    前記画像処理ステップにおける画像処理後の画像を表示する画像表示ステップと、
    外部から前記画像処理条件の変更に関する指示を受け取る入力ステップと、
    前記画像処理条件の変更に関する指示に基づいて前記画像処理条件を変更する画像処理条件変更ステップと、
    前記画像処理条件を変更した場合に、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示する補正ステップと、
    を有することを特徴とする画像処理方法。
  21. コンピュータに、
    画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出ステップと、
    前記画像特徴情報に対する順位付けを行う順位付けステップと、
    前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定ステップと、
    前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理ステップと、
    前記画像処理ステップにおける画像処理後の画像を表示する画像表示ステップと、
    外部から前記画像処理条件の変更に関する指示を受け取る入力ステップと、
    前記画像処理条件の変更に関する指示に基づいて前記画像処理条件を変更する画像処理条件変更ステップと、
    前記画像処理条件を変更した場合に、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示する補正ステップと、
    を実行させることを特徴とするプログラム。
JP2008169484A 2008-06-27 2008-06-27 画像処理装置、画像処理方法、及び、プログラム Expired - Fee Related JP5164692B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008169484A JP5164692B2 (ja) 2008-06-27 2008-06-27 画像処理装置、画像処理方法、及び、プログラム
US12/491,031 US20090322775A1 (en) 2008-06-27 2009-06-24 Image processing apparatus for correcting photographed image and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008169484A JP5164692B2 (ja) 2008-06-27 2008-06-27 画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2010009420A true JP2010009420A (ja) 2010-01-14
JP5164692B2 JP5164692B2 (ja) 2013-03-21

Family

ID=41446832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008169484A Expired - Fee Related JP5164692B2 (ja) 2008-06-27 2008-06-27 画像処理装置、画像処理方法、及び、プログラム

Country Status (2)

Country Link
US (1) US20090322775A1 (ja)
JP (1) JP5164692B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010048A (ja) * 2010-06-24 2012-01-12 Hitachi Ltd 画像信号処理装置
JP2013098625A (ja) * 2011-10-28 2013-05-20 Canon Inc 画像処理装置、画像処理方法及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110113361A1 (en) * 2009-11-06 2011-05-12 Apple Inc. Adjustment presets for digital images
JP4852652B2 (ja) * 2010-03-09 2012-01-11 パナソニック株式会社 電子ズーム装置、電子ズーム方法、及びプログラム
JP5833822B2 (ja) * 2010-11-25 2015-12-16 パナソニックIpマネジメント株式会社 電子機器
US20120257072A1 (en) 2011-04-06 2012-10-11 Apple Inc. Systems, methods, and computer-readable media for manipulating images using metadata
KR101743520B1 (ko) * 2011-04-09 2017-06-08 에스프린팅솔루션 주식회사 색상 변환 장치 및 그 방법
KR102079816B1 (ko) * 2013-05-14 2020-02-20 삼성전자주식회사 전자장치에서 콘텐츠 큐레이션 서비스를 제공하기 위한 방법 및 장치
CN103795931B (zh) * 2014-02-20 2017-12-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN106506945A (zh) * 2016-11-02 2017-03-15 努比亚技术有限公司 一种控制方法及终端
US10957080B2 (en) * 2019-04-02 2021-03-23 Adobe Inc. Automatic illustrator guides

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333185A (ja) * 2004-05-18 2005-12-02 Seiko Epson Corp 撮像システム、撮像方法及び撮像プログラム
WO2006036027A1 (ja) * 2004-09-30 2006-04-06 Fujifilm Corporation 画像処理装置および方法、ならびに画像処理プログラム
JP2006174085A (ja) * 2004-12-15 2006-06-29 Oki Electric Ind Co Ltd 画像処理装置,画像処理方法
JP2007235204A (ja) * 2006-02-27 2007-09-13 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007295210A (ja) * 2006-04-25 2007-11-08 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム、およびこれを記録した記録媒体
JP2007299325A (ja) * 2006-05-02 2007-11-15 Seiko Epson Corp ユーザインターフェイス制御方法、ユーザインターフェイス制御装置及びプログラム
JP2008027401A (ja) * 2006-07-25 2008-02-07 Fujifilm Corp 画像トリミング装置
WO2008054422A2 (en) * 2006-10-30 2008-05-08 Fotonation Vision Limited Digital image processing using face detection and skin tone information

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415137B2 (en) * 2002-12-13 2008-08-19 Canon Kabushiki Kaisha Image processing method, apparatus and storage medium
JP2004236110A (ja) * 2003-01-31 2004-08-19 Canon Inc 画像処理装置、画像処理方法、記憶媒体及びプログラム
JP2004362443A (ja) * 2003-06-06 2004-12-24 Canon Inc パラメータ決定方式
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US7469072B2 (en) * 2003-07-18 2008-12-23 Canon Kabushiki Kaisha Image processing apparatus and method
JP4307301B2 (ja) * 2003-07-31 2009-08-05 キヤノン株式会社 画像処理装置およびその方法
JP4572583B2 (ja) * 2004-05-31 2010-11-04 パナソニック電工株式会社 撮像装置
JP4217698B2 (ja) * 2005-06-20 2009-02-04 キヤノン株式会社 撮像装置及び画像処理方法
US20070058858A1 (en) * 2005-09-09 2007-03-15 Michael Harville Method and system for recommending a product based upon skin color estimated from an image
US7522768B2 (en) * 2005-09-09 2009-04-21 Hewlett-Packard Development Company, L.P. Capture and systematic use of expert color analysis
JP4718952B2 (ja) * 2005-09-27 2011-07-06 富士フイルム株式会社 画像補正方法および画像補正システム
JP4626493B2 (ja) * 2005-11-14 2011-02-09 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4228320B2 (ja) * 2006-09-11 2009-02-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8031914B2 (en) * 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
JP4240108B2 (ja) * 2006-10-31 2009-03-18 ソニー株式会社 画像記憶装置、撮像装置、画像記憶方法およびプログラム
JP4264663B2 (ja) * 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4902562B2 (ja) * 2007-02-07 2012-03-21 パナソニック株式会社 撮像装置、画像処理装置、制御方法およびプログラム
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
US8285006B2 (en) * 2007-04-13 2012-10-09 Mira Electronics Co., Ltd. Human face recognition and user interface system for digital camera and video camera
US8204280B2 (en) * 2007-05-09 2012-06-19 Redux, Inc. Method and system for determining attraction in online communities
JP4453721B2 (ja) * 2007-06-13 2010-04-21 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP5173453B2 (ja) * 2008-01-22 2013-04-03 キヤノン株式会社 撮像装置及び該撮像装置の表示制御方法
US8379134B2 (en) * 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333185A (ja) * 2004-05-18 2005-12-02 Seiko Epson Corp 撮像システム、撮像方法及び撮像プログラム
WO2006036027A1 (ja) * 2004-09-30 2006-04-06 Fujifilm Corporation 画像処理装置および方法、ならびに画像処理プログラム
JP2006174085A (ja) * 2004-12-15 2006-06-29 Oki Electric Ind Co Ltd 画像処理装置,画像処理方法
JP2007235204A (ja) * 2006-02-27 2007-09-13 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007295210A (ja) * 2006-04-25 2007-11-08 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム、およびこれを記録した記録媒体
JP2007299325A (ja) * 2006-05-02 2007-11-15 Seiko Epson Corp ユーザインターフェイス制御方法、ユーザインターフェイス制御装置及びプログラム
JP2008027401A (ja) * 2006-07-25 2008-02-07 Fujifilm Corp 画像トリミング装置
WO2008054422A2 (en) * 2006-10-30 2008-05-08 Fotonation Vision Limited Digital image processing using face detection and skin tone information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010048A (ja) * 2010-06-24 2012-01-12 Hitachi Ltd 画像信号処理装置
US8681242B2 (en) 2010-06-24 2014-03-25 Hitachi, Ltd. Image signal processing system
JP2013098625A (ja) * 2011-10-28 2013-05-20 Canon Inc 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20090322775A1 (en) 2009-12-31
JP5164692B2 (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
JP5164692B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4072071B2 (ja) 顔画像補正方法および装置、並びに顔画像補正プログラム
US10127436B2 (en) Apparatus, image processing method and storage medium storing program
JP4895878B2 (ja) 代表色抽出方法、および代表色抽出装置
JP5288961B2 (ja) 画像処理装置および画像処理方法
US20070071316A1 (en) Image correcting method and image correcting system
US9299177B2 (en) Apparatus, method and non-transitory computer-readable medium using layout similarity
US20070140578A1 (en) Image adjustment apparatus, image adjustment method and computer readable medium
JP2006319870A (ja) 撮影装置および方法並びにプログラム
JPH09322192A (ja) 赤目検出補正装置
JP2005176230A (ja) 画像処理装置およびプリントシステム
JP2010239440A (ja) 画像合成装置及びプログラム
JP2008243059A (ja) 画像処理装置及び画像処理方法
JP4115177B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2017123015A (ja) 情報処理装置、画像処理方法およびプログラム
US20080152226A1 (en) Apparatus, Method and Program for Information Processing
JP2005346474A (ja) 画像処理方法及び装置及びプログラム及び記憶媒体
JP6497030B2 (ja) 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体
JP2008061209A (ja) 画像処理方法
JP2008228017A (ja) 色変換処理プログラム、色変換処理装置及び画像形成システム
US7609425B2 (en) Image data processing apparatus, method, storage medium and program
JP2007087123A (ja) 画像補正方法および装置並びにプログラム
JP2011188237A (ja) 画像処理方法、及び画像処理装置
JP2022003445A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014165876A (ja) 画像処理装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees