JP2010072934A - アルバム作成装置及びアルバム作成方法 - Google Patents

Abstract

【課題】選択された画像の中に、アルバムにレイアウトしたい特徴の画像が存在しなくても、モノクロ／ぼかし等の特徴をもつ画像を配置したアルバムや主被写体が目立つ画像の配置のアルバムを自動で作成するアルバム作成装置を提供する。
【解決手段】各レイアウト枠の位置・大きさと、各レイアウト枠に配置する画像データの特徴と、各レイアウト枠に配置する画像データに施す補正加工処理方法とが記述されているテンプレートを指定し、指定された画像データの特徴を解析し、上記解析した画像データの特徴と、指定されたテンプレート情報に記述されている各レイアウト枠に配置する画像データの特徴量とを比較し、各レイアウト枠に配置する候補である候補画像を決定し、記述されている補正加工処理を適用することによって、画像データの画素値を変更し、補正加工処理した画像をレイアウトに配置し、アルバムを作成する。
【選択図】図２

Description

本発明は、デジタルカメラ等で撮影された複数の画像を、テンプレートに記述されたレイアウト情報を用いてレイアウトし、フォトアルバムを作成するアルバム作成装置及びその方法に関する。

デジタルカメラ等で撮影された複数の画像をレイアウトし、フォトアルバムを作成するアルバム作成装置が知られている。

ユーザが選択した画像を配置する場合、画像をレイアウトする位置・大きさをレイアウト情報として予め決め、順番に画像を自動的に配置し、または、ユーザが手動で、画像を配置することが知られている。異なるレイアウト情報を持つ複数のテンプレートを用意しておき、テンプレートを切り替えることによって、複数のバリエーションの配置のアルバムを作成することができる。

また、ユーザが選択した画像を配置する場合、次の方法が知られている。画像をレイアウトする位置・大きさに加えて、そこにレイアウトする画像の特徴も、レイアウト情報によって、予め決める。

選択された画像を解析し、画像の特徴を求め、レイアウト情報（画像をレイアウトする位置・大きさ、レイアウトする画像の特徴を示す情報）に基づいて、記述された画像の特徴と、解析した画像の特徴とが一致した画像を、自動で配置する。この手法が知られている（たとえば、特許文献１参照）。

主被写体が目立っていて、一目で分かり、回りの画像に対して異なる傾向の画像（モノクロ・ぼかしｅｔｃ．）が配置され、アクセントが感じられるページレイアウトも、既に存在している。レイアウトの大きい領域に、主被写体を配置し、レイアウトの小さい領域には、サブ被写体を配置し、さらに、ヒストグラムが異なる被写体を配置することによって、主被写体が目立つようなレイアウトを実現している（たとえば、特許文献１参照）。

また、結婚式の写真集等は、モノクロ写真を効果的に使用しているアルバムに、アクセントを加えている。
特開２００８−５２３２６号公報

特許文献１記載の発明では、画像の特徴を記述し、この記述された特徴と一致する画像を選び、レイアウトし、フォトアルバムを作成しているが、画像の特徴を満たす画像がない場合、新規にレイアウトを作成することだけが記載されている。また、特徴を満たす画像がなければ、特徴を満たさない画像で代用することも考えられるが、このようにすると、本来、そのレイアウトが実現したかった効果が充分でないことが考えられる。

人物の画像を配置したい場合、レイアウト情報として、画像の特徴に人物と記述しておく。これと同様に、モノクロ画像を配置したい場合は、レイアウト情報として、画像の特徴にモノクロと記述しておく。選択した画像中にモノクロ画像が含まれていれば、レイアウト情報に記述の画像の特徴と、解析した画像の特徴とが一致し、アルバムにモノクロ画像を配置することができる。しかし、モノクロ写真は、カメラの撮影機能を変更して撮影しなければ得られないので、通常の撮影では、ユーザはモノクロの写真を撮影することはほとんどなく、カラー写真がほとんどである。このために、モノクロ写真は、選択した画像の中に含まれない可能性が高い。

モノクロだけでなく、セピア／イラスト調／ぼかし／シャープ等の特徴の画像も、上記と同様であり、従来技術では、選択した画像の中に含まれていない可能性が高く、上記特徴をもつ画像を含むレイアウトは、自動では作成できない場合が多い。

ヒストグラムが異なる画像を配置しようと考えた場合、隣接するレイアウト枠に対して、高彩度と低彩度とのように、ヒストグラムが異なる特徴を、上記テンプレートに記述することも考えられる。しかし、ある人が、同じカメラで同じシーンを撮影した画像は、同じような色・雰囲気の画像であることが多く、主被写体と、その他の画像とのヒストグラムが互いに近い場合が多い。この場合、隣接する画像のヒストグラムの差が小さく、主被写体が目立つ程度が低い場合がある。

選択された画像の中に、アルバムにレイアウトしたい特徴の画像が存在しなければ、モノクロ／ぼかし等の特徴をもつ画像を配置したアルバムや、主被写体が目立つ画像の配置のアルバムを、自動で作成することができない。

本発明は、選択された画像の中に、アルバムにレイアウトしたい特徴の画像が存在しなくても、モノクロ／ぼかし等の特徴をもつ画像を配置したアルバムや主被写体が目立つ画像の配置のアルバムを自動で作成できるアルバム作成装置を提供することを目的とする。

本発明は、アルバム作成に使用する複数の画像データを指定する画像データ指定手段と、各レイアウト枠の位置・大きさと、各レイアウト枠に配置する画像データの特徴と、各レイアウト枠に配置する画像データに施す補正加工処理方法とが記述されているテンプレートを指定するテンプレート指定手段と、指定された画像データの特徴を解析する画像データ解析手段と、上記画像データ解析手段が解析した画像データの特徴と、指定されたテンプレート情報に記述されている各レイアウト枠に配置する画像データの特徴量とを比較し、各レイアウト枠に配置する候補である候補画像を決定する候補画像決定手段と、レイアウト枠について決定した候補画像が複数あれば、上記テンプレートに記述されている補正加工処理に対する評価値を求め、この求められた評価値に基づいて、複数の候補画像から、１つの画像を決定する画像決定手段と、各レイアウト枠について決定された画像に、記述されている補正加工処理を適用することによって、画像データの画素値を変更する補正加工手段と、補正加工処理した画像をレイアウトに配置し、アルバムを作成するアルバム作成手段とを有することを特徴とするアルバム作成装置である。

本発明によれば、選択された画像の中に、アルバムにレイアウトすることを望む特徴の画像がなくても、モノクロ／ぼかし等の特徴をもつ画像を配置したアルバムや、主被写体が目立つ画像の配置のアルバムを、自動的に作成できるという効果を奏する。

発明を実施するための最良の形態は、次の実施例である。

図１は、本発明の実施例１であるアルバム作成装置ＡＭ１の概略構成を示すブロック図である。

アルバム作成装置ＡＭ１は、ホストコンピュータ１００と、入力機器のスキャナ１０３と、デジタルカメラ１０４と、出力機器のプリンタ１０５と、モニタ１０６とを有する。

ホストコンピュータ１００は、スキャナ、デジタルカメラ、モニタ、プリンタが接続され、必ずしも全ての機器が接続されている必要はなく、一部の機器のみが接続されていてもよい。

ホストコンピュータ１００は、ＯＳ（オペレーティングシステム）１０１を有し、また、このＯＳ１０１による管理下において、アルバムを作成するアプリケーション１０２を有する。

また、ホストコンピュータ１００は、上記ソフトウェア等によって動作可能な各種ハードウエアとして、ＣＰＵ１０７と、ＲＡＭ１０８とを有する。ＣＰＵ１０７は、中央演算処理装置であり、ＲＡＭ１０８は、ランダムアクセスメモリである。

さらに、ハードディスクＨＤやＣＤ等、記憶装置と記憶メディア読み込み装置１０９等とを有する。ＣＰＵ１０７は、上記ソフトウェア等に従った処理にかかる信号処理を実行する。ハードディスクＨＤやＣＤやＤＶＤ等の記憶装置と記憶メディア読み込み装置１０９とには、それらの各種ソフトウェアが予め格納され、必要に応じて、読み出され、用いられる。また、ＲＡＭ１０８は、ＣＰＵ１０７による信号処理実行のワークエリア等として用いられる。

さらに、ホストコンピュータ１００は、ネットワーク１１０を介して、他のコンピュータに接続され、他のコンピュータ上に記憶されているデータを取得することもできる。

画像データは、スキャナやデジタルカメラ等の入力機器から、必要に応じて、ホストコンピュータ１００に取り込まれる。また、画像データは、予め入力機器から取り込まれ、記憶装置と記憶メディア読み込み装置１０９とに保存することもできる。さらに、画像データは、ネットワーク１１０を介して、ホストコンピュータ１００に接続した別のホストコンピュータ（サーバも含む）の記憶媒体に保存した画像データでもよい。

入力機器からホストコンピュータへの画像データの受け渡しは、カードリーダやケーブル接続または赤外線通信手段、無線通信手段によって、可能である。入力機器とホストコンピュータとを接続し、カードリーダやケーブル接続または赤外線通信手段、無線通信手段によって接続し、入力機器が保持するメモリカードや内蔵のメモリから、画像データを直接読み込むようにしてもよい。

出力機器であるモニタまたはプリンタが、作成したフォトアルバムを出力する。

図４は、アルバム作成装置ＡＭ１で作成されるアルバムの一例を示す図である。

図４に示す例では、１ページに４枚の画像がレイアウトされている。各画像が配置されている部分を、レイアウト枠と呼ぶ。第１レイアウト枠４０１と、第２レイアウト枠４０２と、第３レイアウト枠４０３と、第４レイアウト枠４０４とが設けられている。

第１レイアウト枠４０１に配置されている画像は、風景の画像であり、高彩度の画像である。第２レイアウト枠４０２に配置されている画像は、風景の画像である。第３レイアウト枠４０３に配置されている画像は、人物の画像であり、正面を向いている画像である。第４レイアウト枠４０４に配置されている画像は、人物の画像であり、人物が小さく写っている画像である。

図２は、アルバム作成装置ＡＭ１を示す機能ブロックである。

アルバム作成装置ＡＭ１は、画像データ記憶手段２０２と、画像データ指定手段２０３と、テンプレート記憶手段２０５と、テンプレート指定手段２０６とを有する。

アルバム作成装置ＡＭ１は、アルバム作成に必要な画像データとテンプレートを指定することができる。アルバム作成装置ＡＭ１は、画像データ解析手段２０７と、特徴保持手段２０８と、候補画像決定手段２０９と、評価値算出手段２１０と、画像決定手段２１１と、補正加工手段２１２とを有する。また、アルバム作成装置ＡＭ１は、アルバム作成手段２１３と、アルバム出力手段２１４とを有し、アルバムを作成し、出力する。

画像データ記憶手段２０２は、複数の画像データ２０１を記憶する。画像データ指定手段２０３は、画像データ記憶手段２０２に記憶されている画像データから、アルバム作成に用いる複数の画像データを、ユーザが指定することができる。

テンプレート記憶手段２０５には、複数種類のテンプレート２０４が記憶されている。テンプレートは、アルバムを作成するために必要な情報（レイアウト情報）が記述されている様式である。上記「レイアウト情報」は、画像を配置するレイアウト枠の位置と大きさ、そのレイアウト枠に配置する画像の特徴、そしてその画像に適用する補正加工方法を示す情報である。

レイアウト情報として記述されている画像の特徴は、人物／風景／夜景等の撮影シーンを示す特徴、被写体の大きさや向きや数を表す特徴、画像全体の色、撮影時間「朝／昼／夕／夜」、人物の場合は、被写体の名前等である。

レイアウト情報として記述されている補正加工方法は、モノクロ処理、セピア処理、イラスト処理、ぼかし処理、シャープネス処理、彩度強調、笑顔補正、美肌補正等である。

さらに、テンプレート指定手段２０６は、テンプレート記憶手段２０５に記憶されているテンプレートから、アルバム作成に用いるテンプレートを、ユーザが指定することができる。テンプレート指定手段２０６は、画像データ指定手段２０３で指定された画像データの数に応じて、指定された画像データの数と同じ数かまたは少ない枚数を配置するテンプレートのみをユーザに提示し、指定させるようにしてもよい。また、アルバムのページ毎に、テンプレートを指定するようにしてもよい。アルバム全体のレイアウトを定義するテンプレートを指定させるようにしてもよい。

画像データ指定手段２０３は、アルバム作成に使用する複数の画像データを指定する画像データ指定手段の例である。

テンプレート指定手段２０６は、各レイアウト枠の位置・大きさと、各レイアウト枠に配置する画像データの特徴と、各レイアウト枠に配置する画像データに施す補正加工処理方法とが記述されているテンプレートを指定するテンプレート指定手段の例である。

画像データ解析手段２０７は、指定された画像データの特徴を解析する画像データ解析手段の例である。

候補画像決定手段２０９は、上記画像データ解析手段が解析した画像データの特徴と、指定されたテンプレート情報に記述されている各レイアウト枠に配置する画像データの特徴量とを比較し、各レイアウト枠に配置する候補である候補画像を決定する。

画像決定手段２１１は、レイアウト枠について決定した候補画像が複数あれば、上記テンプレートに記述されている補正加工処理に対する評価値を求め、この求められた評価値に基づいて、複数の候補画像から、１つの画像を決定する候補画像決定手段の例である。

補正加工手段２１２は、各レイアウト枠について決定された画像に、記述されている補正加工処理を適用することによって、画像データの画素値を変更する補正加工手段の例である。画素値を変更することによって、補正加工前後の画像のＲＧＢ値が変化する。補正加工処理の具体例として、モノクロ処理、セピア処理、ぼかし処理、シャープネス処理、彩度強調処理、笑顔補正処理、美肌補正処理などがある。

また、図示しない記憶手段が設けられ、この記憶手段は、レイアウト枠に記述されている上記補正加工処理を、上記指定手段が指定した画像データに適用した結果を保存する適用結果保存手段の例である。

アルバム作成手段２１３は、補正加工処理した画像をレイアウトに配置し、アルバムを作成するアルバム作成手段の例である。

上記補正加工手段は、レイアウト枠の位置・大きさに応じて、補正加工強度を変更する手段である。また、上記補正加工手段は、レイアウト枠の大きさが大きいレイアウト枠に配置する画像ほど、補正加工強度を強める手段である。さらに、上記補正加工手段は、レイアウト枠の位置が中心に近いレイアウト枠に配置する画像ほど、補正加工強度を強める手段である。しかも、上記補正加工手段は、決定した画像の評価値に応じて、補正加工強度を変更する手段である。そして、上記補正加工手段は、決定した画像の被写体または撮影モードに応じて補正加工強度を変更する手段である。

また、決定した画像の被写体が、主被写体であるか、サブ被写体であるかの違いに応じて、補正加工強度を変更する。さらに、決定した画像の被写体または撮影モードが、人物であるかそれ以外であるかに応じて、補正加工強度を変更する。しかも、上記補正加工手段は、その周囲のレイアウト枠に対して決定した画像に関しては、反対の効果の補正加工処理を適用する手段である。そして、上記補正加工手段において、レイアウト枠の位置・大きさに応じて、補正加工強度を変更し同一ページ内の同一加工補正処理の画像に対してバリエーションを持たせる。

また、上記候補画像決定手段は、評価値を画像データまたは画像データのサムネイル画像データに記述された補正加工処理を適用し、補正加工後の画像データに基づいて、評価値を求める手段である。さらに、上記候補画像決定手段は、画像データを解析することによって評価値を求める手段である。

また、画像データ解析手段２０７は、適用結果保存手段に保存されている画像データを解析し、画像データの特徴を解析する画像データ解析手段の例である。

次に、図４に示すレイアウトを実現するテンプレートに関して、説明する。

図５は、アルバム作成装置ＡＭ１で使用するテンプレートの例を示す図である。

レイアウト枠の名前欄５０１は、レイアウト枠の名前または番号を記述する欄である。画像データの配置位置欄５０２は、レイアウト枠に対応して、画像データを配置する位置を記述する欄である。全体の左上の座標を、（０，０）とし、画像を配置するレイアウト枠の左上の座標を記述する。

画像データの大きさ欄５０３は、レイアウト枠に対応して画像データを配置する大きさを記述する欄である。レイアウト枠の幅と高さとを記述する欄である。画像データの特徴欄５０４は、レイアウト枠に対応する画像の特徴を記述する欄である。

第１レイアウト枠４０１と、第２レイアウト枠４０２とは、撮影シーンが風景であることを特徴としている。第３レイアウト枠４０３と、第４レイアウト枠４０４とは、撮影シーンが人物であることを特徴としている。第３レイアウト枠４０３は、人物の向きが正面であることを特徴としている。第４レイアウト枠４０４は、人物の大きさが小さいことを特徴としている。

さらに、第１レイアウト枠４０１は、彩度が高い画像を配置するために、画像データの補正加工欄５０５に、補正加工方法として彩度強調が記述されている。

画像データ解析手段２０７は、指定された画像データを解析し、画像データの特徴を求める。

画像の特徴は、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等の画像に付加されている情報から取得できる特徴もあり、画像データを動的に解析し、画像の特徴を算出するようにしてもよい。算出する画像の特徴は、レイアウト情報として記載できる画像の特徴である。

人物／風景／夜景等の撮影シーンを表す特徴は、カメラで撮影するときの撮影モードとして、Ｅｘｉｆに記載されている情報から取得してもよい。または、画像データに対して顔検出し、顔が検出された画像データは、撮影シーン「人物」であるとする。検出されなった検出データは、ヒストグラムを調べ、暗いデータが多い画像データは、撮影シーン「夜景」であるとし、それ以外の画像データは、撮影シーン「風景」であるとしてもよい。

上記のように、画像を解析し、撮影シーンを推定することができる。また、撮影シーンを解析した際のシーンの推定率も特徴として併記するようにしてもよい。上記推定率は、推定したシーンの確度を表す量である。たとえば人物について考える場合、顔の一部が手や髪などで隠れていれば、顔全体が撮影されている場合と比べて、上記推定率を低くする。また夜景について考えた場合、暗い画像のほうが、より夜景らしいと考えることができるので、ヒストグラムを調べて、より暗い画像の推定率を高くする。

被写体が人物である場合、被写体の大きさや向きや数を表す特徴を、次のようにして求めることができる。顔検出し、この検出された顔の大きさと、画像データの大きさとを比較し、その比率を被写体の大きさとすることができる。また、顔検出の際に、顔の向きを検出できれば、その向きを、被写体の向きであるとすることができる。特徴量として、顔の向きを考えた場合、横向き・正面・斜めだけでなく、顔の向きとして、０から３６０度の値を使用することも考えられる。

さらに、検出できた顔の数を数えることによって、被写体の数を得ることができる。画像全体の色を求める場合、ヒストグラムを求め、一番多い色と同じ色が、画像全体の色であると判断してもよい。撮影時間「朝／昼／夕／夜」は、Ｅｘｉｆ等に記載されている撮影時刻に応じて、５時〜１０時は、撮影時刻「朝」であり、１０〜１６時は、撮影時刻「昼」であり、１６〜１９時は、撮影時刻「夕」であり、１９〜５時は、撮影時刻「夜」であると判断してもよい。また、顔認識技術を用いることによって、被写体が誰かを特定できるので、被写体が誰であるかを示す情報を、画像の特徴として用いることができる。

特徴保持手段２０８は、画像データ解析手段２０７が解析した画像データの特徴を、画像ごとに保持する。

候補画像決定手段２０９は、解析して得られた画像データの特徴と、レイアウト情報としてテンプレートに記載されている画像データの特徴量とを比較し、一致する画像を、レイアウト枠に対応する候補画像として決定する。

評価値算出手段２１０は、画像データに対して補正加工処理をした場合における評価値を算出することができる。同じ補正加工処理でも、画像によって結果が異なるので、その補正処理に適している画像と適していない画像とがある。補正処理に適している画像の評価値がより高くなるように、評価値を算出する。画像データに補正加工処理を適用し、適用後の画像を解析することによって、評価値を算出することができる。

次に、評価値の例を、補正加工処理に応じて説明する。

モノクロ処理やセピア処理では、画像が単色化されるので、明度や輝度成分で、画像が表現される。このために、コントラストの高い画像が見栄えが良い。モノクロ処理やセピア処理における評価値は、実際にモノクロ処理やセピア処理をし、この処理後の画像のコントラストを計算し、コントラストが高い画像ほど、評価値が高くなるように、評価値を求めることができる。

また、画像が単色化されるので、処理前と処理後とで、画像の階調性が異なる。処理前と処理後とで、階調性を解析し、処理前と処理後との階調性が同じ画像ほど、評価値が高くなるように、評価値を求めることができる。イラスト処理の場合、たとえば、エッジが強調される処理では、エッジが多い画像ほど、イラスト処理の評価値が高いと判断することができる。

ぼかし処理の場合、たとえば、人物の顔は、ぼかさず背景のみをぼかす処理が考えられる。この場合、人物の顔のシャープネス度（周波数解析等によって算出する）と、処理後のぼかした背景のシャープネス度とを比較し、差が大きい程、ぼかした効果がより得られるので、評価値が高いと判断することができる。

シャープネス処理後の画像のシャープネス度（周波数解析等によって算出する）を求め、シャープネス度が高いほど、評価値が高いと判断することができる。彩度強調処理をする場合、彩度強調処理後の画像の平均彩度を計算し、この平均彩度の高い画像ほど、評価値が高いと判断することができる。笑顔補正する場合、眼や口や皺の具合等で、笑顔度を算出することができる。補正した笑顔の顔画像の笑顔度を算出し、笑顔度に応じて、評価値を求めることができる。美肌補正した場合、補正した肌の色や滑らかさを計算し、色が予め決められた美肌の色に近いものや、滑らかな肌の画像について評価値が高くなるようにすることができる。

上記のように、一旦記述された補正加工処理を画像データに適用し、処理後の画像を解析することによって、評価値を求める。

上記実施例では、画像データに補正加工処理を行うが、処理速度を考慮し、オリジナルの画像データではなく、画像サイズを小さくしたサムネイル画像を作成し、サムネイル画像に補正加工処理を行い、評価値を求めるようにしてもよい。上記実施例では、補正加工処理を行い、処理後の画像を解析して、評価値を求めるが、処理前のオリジナル画像データに基づいて、評価値を算出することができる。

モノクロ処理やセピア処理の場合、明度や輝度は、処理によって大きく変わらないので、処理前の画像のコントラストを計算し、コントラストが高い画像ほど、評価値が高くなるように、評価値を求めるようにしてもよい。処理後の画像に基づいて評価値を求めた場合とほぼ同等の結果を得ることができる。

イラスト処理をした場合、処理前の画像のエッジを求め、エッジが多い画像ほど、イラスト処理の評価値が高いと判断してもよい。彩度強調処理した場合も、彩度強調処理後の彩度が高い画像は、処理前の画像でも彩度が高いので、彩度強調処理前の画像の平均彩度を計算し、平均彩度の高い画像ほど、評価値が高いと判断してもよい。

笑顔補正した場合、処理前の画像を解析し、元から笑顔の画像は、評価値が高く、泣いている画像は、評価値が低いとすることができる。また、周囲の人の笑顔が多いほど、評価値が高いと判断するようにしてもよい。記述された補正加工処理を実際に行い、この処理後の画像を解析し、評価値を算出することが望ましいが、処理速度を考慮し、処理前の画像を解析し、評価値を算出するようにしてもよい。

画像決定手段２１１は、評価値に応じて、レイアウト枠に配置する候補となる複数の画像の中から、そのレイアウト枠に配置する画像を、１枚決定する。評価値が最も高い画像を、レイアウト枠に配置する画像として選ぶことが考えられる。

補正加工手段２１２は、画像決定手段２１１が各レイアウト枠について決定した画像データに関して、レイアウト枠に記載されている補正加工処理を適用する。また、評価値算出手段２１０が評価値を求めるために、候補画像データまたはサムネイル画像について、補正加工処理をする必要がある場合、補正加工手段２１２が使用される。

レイアウト枠に記載されている補正加工処理を適用する際に、一定の補正加工強度で補正加工処理を適用してもよいが、レイアウト枠の位置・大きさに応じて、補正加工強度を変更することも考えられる。たとえば、彩度強調する場合、補正加工強度が強いほど、処理後の画像の彩度は大きくなる。たとえば、レイアウト枠の大きさが大きい画像の補正加工強度を強くする。レイアウト枠の大きいものほど、目立つようにレイアウトしたいので、強度を強くするほど、目立つようになる。

これと同様に、レイアウト枠が中心に近いほうが注目されるので、レイアウト枠の位置が中心に近いほど、補正加工強度を強くする。中心に近いほど、目立つ。画像の被写体が、主被写体である場合、目立つようにレイアウトしたい。このために、主被写体の場合、補正強度を強くすることによって、より目立ったレイアウトを実現することができる。

また、サブ被写体では、補正加工強度を強くすると、サブ被写体までメイン被写体と同じくらいに目立つので、補正加工強度を少し弱めることが望ましい。つまり、画像データの被写体が、主被写体であるのか、サブ被写体であるのかに応じて、補正加工強度を変更することによって、よりよいレイアウトを実現することができる。

また、評価値算出手段２１０が算出した評価値に応じて、補正加工強度を変更することも考えられる。評価値が小さい画像ほど、同じ補正加工強度でも、処理後の画像の補正効果が小さい。このために、評価値の小さい画像については、補正加工強度を強くする。これによって、評価値が小さい画像についても、処理後の画像に十分な補正効果を得ることができる。

また、被写体または撮影モードによって、補正強度を変更することも考えられる。被写体または撮影モードが人物である場合、人物以外の場合と比較し、ある一定以上補正加工強度を強くすると、好ましい画像ではなくなることがある。このために、人物とそれ以外とについて、補正加工強度を変更することによって、よりよい補正効果を得ることができる。

上記のように、レイアウト枠の位置や大きさ、さらに画像の被写体や撮影モード、評価値等に応じて、補正加工強度を変更することによって、より良いレイアウトを実現することができる。

アルバム作成手段２１３は、指定したテンプレートに記述されているレイアウト枠の位置と大きさとに応じて、画像の特徴に基づいて決定された画像データまたは補正加工手段２１２が補正加工処理した画像データを配置し、アルバムを作成する。

アルバム出力手段２１４は、モニタまたはプリンタを介して、作成したアルバムを出力する。

次に、アルバム作成装置ＡＭ１の処理について説明する。

図３は、アルバム作成装置ＡＭ１の処理を示すフローチャートである。

まず、Ｓ３０１で、画像データ記憶手段２０２に記憶されている画像データから、アルバム作成に用いる複数の画像データを、ユーザが指定する。Ｓ３０２で、テンプレート記憶手段２０５に格納されている複数のテンプレートから、アルバム作成に用いるテンプレートを、ユーザが指定する。Ｓ３０３で、指定された画像データを解析し、画像の特徴を求める。複数の画像が指定されているので、指定されている全ての画像の特徴を算出し、特徴保持手段２０８に記憶する。Ｓ３０４で、テンプレートに記述されている各レイアウト枠の画像の特徴量と、解析した画像の特徴とを比較し、一致する画像を、各レイアウト枠に配置する候補の画像として選択する。

Ｓ３０５で、候補画像が複数あるかどうかを調べる。レイアウト枠に配置する候補の画像が１枚しかなければ、その１枚が、配置する画像であるとし、Ｓ３０８へ進む。

一致する候補画像が複数あれば、Ｓ３０６で、そのレイアウト枠に補正加工処理情報が記述されているかどうかを調べる。レイアウト枠に補正加工処理情報が記述されていなければ、候補となる画像として１枚を選択しＳ３０８へ進む。

また、解析した画像の特徴量と、レイアウト枠の画像の特徴量とを比較し、この比較結果に基づいて、１枚を決定することも考えられる。たとえば、解析した特徴量として撮影シーンの推定率が得られている場合、推定率が高い画像を選択する。また被写体の向きが角度として得られている場合、角度がレイアウト枠の画像の特徴によって近い画像を検索する。このように、解析した画像の特徴量と、レイアウト枠の画像の特徴量とを比較し、比較結果に基づいて、１枚を決定することによって、配置するのにより好ましい画像を選択できる。レイアウト枠に補正加工処理情報が記述されていれば、Ｓ３０７で、候補となる画像について、評価値算出手段２１０が記述した補正加工処理の評価値を求める。評価値に応じて、候補となる複数の画像の中から、そのレイアウト枠に配置する画像を１枚決定する。

Ｓ３０８で、全てのレイアウト枠について画像を割り当てたかどうかを調べる。割り当てていなければ、Ｓ３０４の処理を、次のレイアウト枠について実行する。全てのレイアウト枠に配置する画像を決定した後に、そのレイアウト枠に対応する補正加工処理が、テンプレートに記述されていれば、Ｓ３０９で、その画像に対して、補正加工処理を行う。レイアウト枠に対応する補正加工処理が記述されていれば、レイアウト枠に配置する画像の位置・大きさに基づいて、補正加工処理画像を配置する。全てのレイアウト枠について、画像を配置し、アルバムが作成される。指定した画像の数が、指定したテンプレートのレイアウト枠の数よりも多い場合、特徴の一致度が低く、補正加工処理の評価値も低い画像が、アルバムにレイアウトされない。

次に、レイアウトのアルバムを作成する処理について説明する。

図６は、実施例１であるアルバム作成装置ＡＭ１で使用するユーザが指定した画像データの例を示す図である。

Ｓ３０１で、ユーザは、図６に示す４枚の画像を指定する。Ｓ３０２で、ユーザは、図５に示すテンプレートを指定する。Ｓ３０３で、４枚の画像を解析する。人物の画像データ６０１と、人物と風景との画像データ６０２とは、顔検出の結果、顔が検出できたので、撮影モードは、人物であると解析される。風景の画像データ６０３と６０４とは、顔が検出できないので、撮影モードは、風景であると解析される。さらに、人物の画像データ６０１は、顔検出の結果、顔が正面を向いていると判定され、人物と風景との画像データ６０２は、顔が小さいことが判定された。

それ以外の特徴も解析されるが、ここでは省略する。Ｓ３０４で、第１レイアウト枠４０１について、テンプレートに記載されている特徴と、画像の特徴とを比較する。第１レイアウト枠４０１の画像の特徴は風景であり、画像データ６０３と６０４とが一致する。Ｓ３０５で、複数であるので、Ｓ３０６に進む。第１レイアウト枠４０１には、補正加工処理の情報が記載されている。彩度強調であるので、画像データ６０３と６０４とのサムネイル画像を作成し、実際に彩度強調処理を行う。処理後の画像の平均彩度を比較する。画像データ６０３のほうが、平均彩度が高いので、評価値も高い。評価値が高い画像データ６０３を、第１レイアウト枠４０１の画像であるとする。

Ｓ３０８で、まだレイアウト枠が残っているので、Ｓ３０４に戻る。第２レイアウト枠４０２の画像の特徴は、風景である。画像データ６０３と６０４とが、第２レイアウト枠４０２の画像に該当するが、画像データ６０３は、第１レイアウト枠４０１で既に使用しているので、画像データ６０４を、第２レイアウト枠４０２の画像とする。これと同様にして、第３レイアウト枠４０３を、画像データ６０１として決定し、第４レイアウト枠４０４を、画像データ６０２として決定する。全てのレイアウト枠に画像を決定すると、Ｓ３０９に進む。第１レイアウト枠４０１の画像は、補正加工処理として彩度強調を行い、処理後の画像を配置する。第２レイアウト枠４０２、第３レイアウト枠４０３、第４レイアウト枠４０４の画像を、レイアウト情報に従ってそのまま配置し、アルバムが完成する。

上記実施例によって、まず、テンプレートのレイアウト情報として、アルバムにレイアウトしたい特徴と同等の補正加工処理を指定する。その他、特徴を満たす画像を選び、複数画像が候補画像である場合、評価値を求め、評価値の最も高い画像を選び、補正加工処理をし、補正加工処理を行った画像を、テンプレートのレイアウト情報に従って配置し、アルバムを作成する。アルバムにレイアウトしたい特徴の画像がもともと存在するかしないかに係らず、補正加工処理によって画像を作成するので、モノクロ／ぼかし等の特徴をもつ画像を配置したアルバムや主被写体が目立つ画像の配置のアルバムを、自動的に作成することができる。

従来例では、配置したい画像はレイアウト情報に特徴として記述するしかなく、特徴を満たす画像が存在しなければ、意図した通りのアルバムを作成することができない。しかし、実施例１では、アルバムにレイアウトしたい特徴の画像がもともと存在するかしないかにかかわらず、テンプレートが意図したとおりのアルバムを作成することができる。

実施例１は、テンプレートにレイアウト情報として補正加工処理が記載されている第１レイアウト枠４０１だけに彩度強調を実行した。

実施例２は、より目立ったアルバムを作成するために、次の処理を行う。Ｓ３０９で補正加工処理を行い配置する際に、レイアウト情報に基づいて、補正加工処理が記述されているレイアウト枠の周囲の画像について、記述された加工処理と反対の効果が得られる補正加工処理を施す。彩度強調の場合、モノクロ化処理を施す。ぼかし処理の場合、シャープネス処理を施す。

周囲の画像について、反対の効果の補正加工処理を施すことによって、記述されている補正加工処理を行った画像を、より強調することができる。

実施例１は、テンプレートにレイアウト情報として補正加工処理が記載されている第１レイアウト枠４０１だけに、彩度強調を実行する。

図７は、実施例３におけるアルバム作成装置ＡＭ３で作成されるアルバムの一例を示す図である。

図８は、テンプレートの例を示す図である。

図７に示すアルバムは、図８に示すテンプレートを用いて作成される。同じページ内の３つの画像について、補正加工処置としてモノクロ処理が記述されている。

実施例１で記載したように、記述されている補正加工処理を適用してもよい。さらに補正加工の効果を強調するために、レイアウト枠の位置に応じて、補正加工強度を変更し、ページ全体の表示を変更することができる。たとえば、モノクロ処理の補正加工強度は、強度＝０の場合、純黒調で出力し、強度＝−５０の場合、冷黒調で出力し、強度＝＋５０の場合、温黒調で出力する。このようにすると、ページ内の３つの画像が、同じモノクロ処理でも、異なる色合いになるので、ページ全体の雰囲気に変化が出て、ユーザにとって面白いレイアウトになる。このように、レイアウト枠の位置に応じて、補正加工強度を変更し、補正加工処理することによって、効果的なアルバムを作成することができる。

実施例１、実施例２、実施例３は、ユーザがアルバム作成に使用したい画像とテンプレートを指定すると、その後は、指定した画像とテンプレートに応じて、アルバムが自動的に作成される。自動的に作成されたアルバムを、モニタに出力し、モニタに提示し、変更したい部分があれば、ユーザに手動で変更させることによって、より良いアルバムを作成することができる。

指定したテンプレートによるアルバムが気に入らなければ、テンプレート指定手段２０６を介して、テンプレートを変更することができる。テンプレートを変更する場合、ページ単位で変更してもよく、アルバム全体で変更するようにしてもよい。

テンプレートを変更した後に、実施例１における手順に従い処理することによって、新たなアルバムを作成することができる。また、指定する画像が変わらない場合、特徴保持手段２０８が保持している前回解析した画像の特徴を、そのまま使用すれば、画像データ解析手段２０７による処理を実行する必要がなく、前回と比較して、処理速度が速く、アルバムを作成することができる。同様に、一旦、解析した画像の特徴は、アルバム作成後にも保持し、その画像が指定された場合に再度使用するようにしてもよい。

また、テンプレートを変更する際に、テンプレートを変更するのではなく、補正加工強度を変更するようにしてもよい。ユーザが補正加工強度を変更できるようにし、より目立つアルバムや、アクセントが効いたアルバムを、ユーザが作成することを望む場合、補正加工強度を強く設定する。

また、逆に、補正加工処理をした画像の印象が強すぎる場合、補正加工強度を弱く設定し、アルバムを再作成する。

このようにすることによって、ユーザが指定した画像とテンプレートに従って自動でアルバムを作成した後に、さらに手動で調整することによって、より良いアルバムを作成することができる。

実施例１、実施例２、実施例３、実施例４は、指定された画像データの中から、画像データを解析し、テンプレートに記述されている各レイアウト枠の画像の特徴量と解析した画像の特徴とを比較し、一致する画像を選択する。その後に、レイアウト枠の画像に、補正加工情報が記述されていれば、画像の中からさらに、補正加工処理の評価値を求め、画像を決定する。

実施例５は、レイアウト枠の画像に記述されている補正加工処理の有無を解析し、補正加工処理の記述があれば、指定された全画像データに適用し、実施例１〜実施例４と同様に、補正加工処理の評価値を予め求める。次に、指定された画像データの中から画像データを解析し、特徴量１を求める。その後に、補正加工処理の評価値が高い画像から、特徴量１の値がレイアウト枠の画像の特徴量に最も近い画像を、レイアウトに配置する画像として決定する。

次に、実施例５であるアルバム作成装置ＡＭ５の処理について説明する。

図９は、実施例５であるアルバム作成装置ＡＭ５の処理を示すフローチャートである。

なお、アルバム作成装置ＡＭ５のブロック構成は、アルバム作成装置ＡＭ１の構成と同様であるので、アルバム作成装置ＡＭ１における構成要素を使用して説明する。

アルバム作成装置ＡＭ５において、Ｓ９０１で、画像データ記憶手段２０２に記憶されている画像データから、アルバム作成に用いる複数の画像データを、ユーザが指定する。Ｓ９０２で、テンプレート記憶手段２０５に記憶されているテンプレートの中から、アルバム作成に用いるテンプレートを、ユーザが指定する。Ｓ９０３で、指定された画像データを解析し、元画像の特徴量１を求める。複数の画像が指定されているので、指定された全ての画像の特徴を算出し、特徴保持手段２０８に記憶する。Ｓ９０４で、レイアウト枠に補正加工処理が記述されているかどうかを調べる。

補正加工が記述されていなければ、レイアウト枠に記載の特徴と画像解析による元画像の特徴量１が一致する画像を選択する。

補正加工処理が記述されていれば、Ｓ９０５で、テンプレートに記述されている補正加工処理を、全ての画像データに施す。Ｓ９０６では、Ｓ９０５で作成された全ての補正加工データを解析し、補正加工画像の特徴量２を求める。複数の画像が指定されているので、指定された全ての画像の特徴を算出し、特徴保持手段２０８に記憶する。実施例１で記載されているように、Ｓ９０７で、評価値算出手段２１０が、補正加工処理した場合における評価値を算出する。Ｓ９０８では、Ｓ９０７で算出した評価値が高い画像の中から、レイアウト枠に記述の特徴量に最も近い特徴量２の画像を選択する。

Ｓ９０９で、レイアウト枠に配置する画像の位置・大きさに基づいて、選択した画像を配置する。Ｓ９１０で、全てのレイアウト枠について、画像が選択されたかどうかを判断し、選択が終了していなければ、Ｓ９０４に戻り、画像選択処理を行う。全てのレイアウト枠の画像選択がされていれば、終了し、アルバムが作成される。

実施例５では、アルバムに実際に使用される補正加工画像に基づいて求めた画像の特徴量２を使用してから、レイアウトの特徴に近い画像を選択するので、補正加工処理を行った結果を反映し最適な画像を選択することができる。

上記実施例における各手段を工程に置き換えると、上記実施例を方法の発明として把握することができる。

また、上記実施例の機能を実現するソフトウェアのプログラムコードが格納されている記憶媒体（または記録媒体）を、システムまたは装置に供給するようにしてもよい。そして、そのシステムまたは装置のコンピュータが、記憶媒体に格納されているプログラムコードを読み出し実行すれば、本発明の目的を達成することができる。

この場合、記憶媒体から読み出されたプログラムコード自体が上記実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成する。

コンピュータが読み出したプログラムコードを実行することによって、上記実施例の機能が実現されるだけでない。つまり、そのプログラムコードの指示に基づいて、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を実行し、その処理によって上記実施例の機能が実現される場合も含まれる。

また、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに設けられているメモリに書き込む。その後に、そのプログラムコードの指示に基づいて、その機能拡張カードや機能拡張ユニットに設けられているＣＰＵなどが実際の処理の一部または全部を行い、その処理によって、上記実施例の機能が実現される場合も本発明に含まれる。

本発明の実施例１であるアルバム作成装置ＡＭ１の概略構成を示すブロック図である。 アルバム作成装置ＡＭ１を示す機能ブロックである。 アルバム作成装置ＡＭ１の処理を示すフローチャートである。 アルバム作成装置ＡＭ１で作成されるアルバムの一例を示す図である。 アルバム作成装置ＡＭ１で使用するテンプレートの例を示す図である。 アルバム作成装置ＡＭ１で使用するユーザが指定した画像データの例を示す図である。 実施例３であるアルバム作成装置ＡＭ３で作成されるアルバムの一例を示す図である。 実施例３で使用するテンプレートの例を示す図である。 実施例５におけるアルバム作成装置ＡＭ５の処理を示すフローチャートである。

符号の説明

１００…ホストコンピュータ、
１０３…スキャナ、
１０４…デジタルカメラ、
１０５…プリンタ、
１０７…ＣＰＵ、
１０８…ＲＡＭ、
１０９…ＨＤ／ＣＤ、
２０１…画像データ、
２０２…画像データ記憶手段、
２０３…画像データ指定手段、
２０４…テンプレート、
２０５…テンプレート記憶手段、
２０６…テンプレート指定手段、
２０７…画像データ解析手段、
２０８…特徴保持手段、
２０９…候補画像決定手段、
２１０…評価値算出手段、
２１１…画像決定手段、
２１２…補正加工手段、
２１３…アルバム作成手段、
２１４…アルバム出力手段、
４０１…第１レイアウト枠、
４０２…第２レイアウト枠、
４０３…第３レイアウト枠、
４０４…第４レイアウト枠、
５０１…レイアウト枠の名前欄、
５０２…画像データの配置位置欄、
５０３…画像データの大きさ欄、
５０４…画像データの特徴欄、
５０５…画像データの補正加工欄、
６０１…人物の画像データ、
６０２…人物と風景との画像データ、
６０３…風景の画像データ、
６０４…風景の画像データ。

Claims (14)

1. アルバム作成に使用する複数の画像データを指定する画像データ指定手段と；
   各レイアウト枠の位置・大きさと、各レイアウト枠に配置する画像データの特徴と、各レイアウト枠に配置する画像データに施す補正加工処理方法とが記述されているテンプレートを指定するテンプレート指定手段と；
   指定された画像データの特徴を解析する画像データ解析手段と；
   上記画像データ解析手段が解析した画像データの特徴と、指定されたテンプレート情報に記述されている各レイアウト枠に配置する画像データの特徴量とを比較し、各レイアウト枠に配置する候補である候補画像を決定する候補画像決定手段と；
   レイアウト枠について決定した候補画像が複数あれば、上記テンプレートに記述されている補正加工処理に対して適している画像ほど値が高くなる評価値を求め、この求められた評価値に基づいて、複数の候補画像から、１つの画像を決定する画像決定手段と；
   各レイアウト枠について決定された画像に、記述されている補正加工処理を適用する補正加工手段と；
   補正加工処理した画像をレイアウトに配置し、アルバムを作成するアルバム作成手段と；
   を有することを特徴とするアルバム作成装置。
2. 請求項１において、
   上記補正加工手段は、レイアウト枠の位置・大きさに応じて、補正加工強度を変更する手段であることを特徴とするアルバム作成装置。
3. 請求項２において、
   上記補正加工手段は、レイアウト枠の大きさが大きいレイアウト枠に配置する画像ほど、補正加工強度を強める手段であることを特徴とするアルバム作成装置。
4. 請求項２において、
   上記補正加工手段は、レイアウト枠の位置が中心に近いレイアウト枠に配置する画像ほど、補正加工強度を強める手段であることを特徴とするアルバム作成装置。
5. 請求項１において、
   上記補正加工手段は、決定した画像の評価値に応じて、補正加工強度を変更する手段であることを特徴とするアルバム作成装置。
6. 請求項１において、
   上記補正加工手段は、決定した画像の被写体または撮影モードに応じて補正加工強度を変更する手段であることを特徴とするアルバム作成装置。
7. 請求項６において、
   決定した画像の被写体が、主被写体であるか、サブ被写体であるかの違いに応じて、補正加工強度を変更することを特徴とするアルバム作成装置。
8. 請求項６において、
   決定した画像の被写体または撮影モードが、人物であるかそれ以外であるかに応じて、補正加工強度を変更することを特徴とするアルバム作成装置。
9. 請求項１において、
   上記補正加工手段は、その周囲のレイアウト枠に対して決定した画像に関しては、反対の効果の補正加工処理を適用する手段であることを特徴とするアルバム装置。
10. 請求項１または請求項２において、
    上記補正加工手段において、レイアウト枠の位置・大きさに応じて、補正加工強度を変更し同一ページ内の同一加工補正処理の画像に対してバリエーションを持たせる手段であることを特徴とするアルバム作成装置。
11. 請求項１乃至請求項１０のいずれか１項において、
    上記画像決定手段は、画像データまたは画像データのサムネイル画像データに記述された補正加工処理を適用し、補正加工後の画像データに基づいて、評価値を求める手段であることを特徴とするアルバム作成装置。
12. 請求項１乃至請求項１０のいずれか１項において、
    上記候補画像決定手段は、画像データを解析することによって評価値を求める手段であることを特徴とするアルバム作成装置。
13. アルバム作成に使用する複数の画像データを指定する画像データ指定手段と；
    各レイアウト枠の位置・大きさと、各レイアウト枠に配置する画像データの特徴と、各レイアウト枠に配置する画像データに施す補正加工処理方法とが記述されているテンプレートを指定するテンプレート指定手段と；
    レイアウト枠に記述されている上記補正加工処理を、上記指定手段が指定した画像データに適用した結果を保存する適用結果保存手段と；
    上記適用結果保存手段に保存されている画像データを解析し、画像データの特徴を解析する画像データ解析手段と；
    指定された画像データを解析し、得られた画像データの特徴と、指定されたテンプレート情報に記述されている各レイアウト枠に配置する画像データの特徴量とを比較し、各レイアウト枠に配置する候補となる画像を決定する候補画像決定手段と；
    レイアウト枠に対して、決定した候補画像が複数あれば、記述されている補正加工処理に対する評価値を求め、この求めた評価値に基づいて、複数の候補画像データから、１つの画像データを決定する画像決定手段と；
    各レイアウト枠に対して決定した画像を、記述の補正加工処理を適用することによって、画像データの画素値を変更する補正加工手段と；
    補正加工処理した画像をレイアウトに配置し、アルバムを作成するアルバム作成手段と；
    を有することを特徴とするアルバム作成装置。
14. アルバム作成に使用する複数の画像データを指定する画像データ指定工程と；
    各レイアウト枠の位置・大きさと、各レイアウト枠に配置する画像データの特徴と、各レイアウト枠に配置する画像データに施す補正加工処理方法とが記述されているテンプレートを指定するテンプレート指定工程と；
    指定された画像データの特徴を解析する画像データ解析工程と；
    上記画像データ解析工程で解析された画像データの特徴と、指定されたテンプレート情報に記述されている各レイアウト枠に配置する画像データの特徴量とを比較し、各レイアウト枠に配置する候補である候補画像を決定する候補画像決定工程と；
    レイアウト枠について決定した候補画像が複数あれば、上記テンプレートに記述されている補正加工処理に対する評価値を求め、この求められた評価値に基づいて、複数の候補画像から、１つの画像を決定する候補画像決定工程と；
    各レイアウト枠について決定された画像に、記述されている補正加工処理を適用することによって、画像データの画素値を変更する補正加工工程と；
    補正加工処理した画像をレイアウトに配置し、アルバムを作成するアルバム作成工程と；
    を有することを特徴とするアルバム作成方法。

Images