JP2022003445A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の画像グループを、それぞれの代表画像により一覧表示する際に統一感を持たせることを可能にする画像処理装置を提供する。【解決手段】画像処理装置は、１以上の既存の画像グループに対し新規画像グループの登録を受け付ける受付手段と、前記新規画像グループに含まれる画像のうち、前記既存の画像グループのそれぞれに設定された代表画像と統一感がある画像を特定し、前記特定した画像から前記新規画像グループの代表画像を生成する生成手段とを有することを特徴とする。【選択図】図１２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、大量の撮影画像の中から複数画像を抽出してアルバム等の画像のまとまりを作成する際に、抽出した画像群の代表画像をどのように決定するかに関する技術が開示されてきた。例えば、特許文献１は、アルバム内の画像データに対して時間別の撮影頻度及び解像度を判別することで、代表画像を選択する方法を開示する。

特開２００３−０５８８６７号公報

昨今、スマートフォン等の動画投稿アプリでは、複数画像をアルバム（画像グループ）として１つの投稿とすることが可能であり、投稿されたアルバムは、アルバム内の画像から選択された代表画像のサムネイルによって表示される。複数のアルバムが投稿された場合、各アルバムの代表画像のサムネイルを一覧表示したウォールは、統一感を持つことが好ましいとされている。また、写真管理アプリで複数のアルバムを自動生成する場合にも、複数のアルバムの代表画像を一覧表示したウォールは、統一感を持つことが好ましい。しかしながら、代表画像を、同じアルバム内の画像データの撮影頻度及び解像度のみに基づいて選択した場合、選択された代表画像は既存の他のアルバムの代表画像との関連性を持たないため、ウォールは、統一感を持たない場合がある。

上記のような例に鑑みて、本発明は、複数の画像グループを、それぞれの代表画像により一覧表示する際に統一感を持たせることを可能にする技術を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、
１以上の既存の画像グループに対し新規画像グループの登録を受け付ける受付手段と、
前記新規画像グループに含まれる画像のうち、前記既存の画像グループのそれぞれに設定された代表画像と統一感がある画像を特定し、前記特定した画像から前記新規画像グループの代表画像を生成する生成手段と
を有することを特徴とする。

本発明によれば、複数の画像グループを、それぞれの代表画像により一覧表示する際に統一感を持たせることを可能にすることができる。

画像処理装置の構成例を示すブロック図。 新規アルバムの登録処理を例示するフローチャート。 ウォールの統一感の有無を例示する図。 実施形態１に係る統一感情報取得処理を例示するフローチャート。 ウォールの統一感情報を説明する図。 代表画像生成処理を例示するフローチャート。 属性種別に対する重みの設定を例示する図。 属性種別に対する重みを指定するインターフェースを例示する図。 属性情報の類似度の算出例を示す図。 画像調整処理の一例を示す図。 画像調整処理を例示するフローチャート。 代表画像を特定する例を説明する図。 実施形態２に係る統一感情報取得処理を例示するフローチャート。 例外処理１を例示するフローチャート。 例外処理２を例示するフローチャート。 統一感を出す処理の実施を指示するインターフェースを例示する図。 統一感を出す方法を指示するインターフェースを例示する図。

以下に、本発明の好ましい実施形態を、図面を参照して説明する。本発明は、以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。

＜実施形態１＞
実施形態１は、ウォールの統一感に基づいて、新規に投稿される画像グループ（画像群）の代表画像を生成する例である。画像グループは、以下アルバムとも称される。ウォールは、既存のアルバムの代表画像のサムネイルを一覧表示したものである。アルバムに含まれる画像は、静止画であってもよく、複数フレームからなる動画であってもよい。

（装置構成）
図１を参照して、画像処理装置１００の構成例について説明する。図１は、画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、例えば、エッジコンピューティングで使用されるエッジ端末であり、パーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォン等の汎用的なコンピュータであってもよい。画像処理装置１００は、制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、画像処理部１０４、記録部１０５、表示部１０６、入力部１０７を備える。

制御部１０１は、例えばＣＰＵ又はＤＳＰ等のプロセッサである。制御部１０１は、画像処理装置１００が備える各ブロックに対する制御プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、画像処理装置１００が備える各ブロックの動作を制御することができる。

ＲＯＭ１０２は、電気的に消去及び記録可能な不揮発性メモリである。ＲＯＭ１０２は、画像処理装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に使用されるパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、画像処理装置１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

画像処理部１０４は、ＲＡＭ１０３に記憶されている画像データに対して、彩度強調等に代表される各種フィルタ処理など、様々な画像処理を適用する。記録部１０５は、着脱可能なメモリカード等であり、画像データ等を記録する。表示部１０６は、ＬＣＤ等の表示デバイスである。表示部１０６は、ＲＡＭ１０３に記憶されている記録部１０５に記録されている画像、及びユーザーからの指示（操作）を受け付けるためのユーザーインターフェイス等を表示する。入力部１０７は、タッチパネル又はマウス等であり、ユーザー操作による指示の入力を受け付ける。

（新規アルバム登録処理）
図２は、新規アルバムの登録処理を例示するフローチャートである。新規アルバム登録処理は、１以上の画像をグルーピングすることにより生成された新規アルバム（新規画像グループ）の登録を受け付け、ウォールから取得した統一感情報に基づいて、新規アルバムの代表画像を生成する処理である。登録された新規アルバムの代表画像は、既存アルバムの代表画像とともにウォールに表示される。

新規アルバム登録処理は、新規アルバムの登録を受け付けるステップＳ２０１、ウォールの統一感情報を取得するステップＳ２０２、新規アルバムの代表画像を生成するステップＳ２０３を含む。統一感情報は、既存アルバムの代表画像の属性情報の種別（以下、属性種別とも称する）ごとに、ウォールがどのような属性情報で統一されているか、又は統一感がないかを示す情報である。画像の属性情報とは、当該画像の属性を表す情報であり、例えば、１つ又は複数の観点（属性種別）について当該画像がどのような属性を有するかを評価した情報である。属性種別の例として、例えば、被写体のカテゴリ、構図、色味、階調、フィルタなどがある。

（Ｓ２０１：新規アルバム登録受付）
ステップＳ２０１では、制御部１０１は、新規アルバムの登録を受け付ける。新規アルバムは、例えば、ユーザーが既存の撮影画像の中から任意に選択した１以上の画像を含む画像グループである。画像グループは、例えばアルバムとして画像投稿アプリにアップロードされたり、画像管理アプリに保存されたりする。また、アルバムは、ユーザーが任意に選択した画像グループに限られず、例えば、写真管理アプリが自動で選択した画像グループから生成されユーザーに推薦されるものであってもよい。以下の説明では、新規アルバムは、画像処理装置１００としてのスマートフォンで生成されるものと想定する。

（Ｓ２０２：統一感情報取得処理）
ステップＳ２０２では、制御部１０１は、ウォールの統一感情報を取得する。統一感情報は、既存アルバムの代表画像の属性種別ごとに、ウォールがどのような属性情報で統一されているか、又は統一感がないかを示す情報である。属性情報は、ウォールに表示される代表画像間の統一感を判定するために用いられる情報である。ここで、図３から図５を用いて、ステップＳ２０２の統一感情報取得処理について説明する。

図３は、ウォールの統一感の有無を説明する図である。ウォールは、画像処理装置１００に格納されるアルバムの代表画像を一覧表示したものである。図３（Ａ）は、統一感のあるウォールの一例である。図３（Ａ）では、ウォールに表示される各アルバムの代表画像は、被写体のカテゴリ（種類）がｆｏｏｄで統一されている。また、各代表画像は、被写体のサイズもおおよそ統一されている。このように、図３（Ａ）に示すウォールは、一目見て統一感があり一般的に好ましいとされるウォールである。

図３（Ｂ）は、統一感のないウォールの一例である。図３（Ｂ）では、ウォールに表示される各アルバムの代表画像は、被写体のカテゴリがｆｏｏｄ、ｐｅｒｓｏｎ、ｓｉｇｈｔ等の画像を含み、ウォールの主題が不明瞭で統一感がない。また、図３（Ｂ）のウォールは、被写体のカテゴリがｆｏｏｄである２つの画像を含むが、それぞれの被写体のサイズが異なるため、統一感がない。このように、図３（Ｂ）に示すウォールは、統一感がなく一般的に好ましくないとされるウォールである。

画像処理装置１００は、自動で図３（Ａ）のような統一感のあるウォールを得るために、ウォールに表示される既存アルバムの代表画像から属性情報を取得し、取得した属性情報に基づいて、新規アルバムからウォールと統一感のある画像を特定する。統一感を判定
するための属性情報は、被写体のカテゴリ及びサイズに限られず、他の要素（属性）に関する情報であってもよい。例えば、属性情報は、画像全体の色味又は階調、被写体のアングル又は位置などの情報であってもよい。

画像処理装置１００は、特定した画像を新規アルバムの代表画像とし、既存アルバムの代表画像とともに、ウォールに表示する。新規アルバムの代表画像は、統一感があるとして特定された画像そのものであってもよいし、特定された画像を加工したものであってもよい。画像の加工は、例えば、切り抜きやフィルタ処理以外に、サムネイル画像の生成も含まれる。

図４は、実施形態１に係る統一感情報取得処理Ｓ２０２を例示するフローチャートである。ステップＳ４０１では、ウォールの統一感情報が既に存在するか否かを判定する。ウォールは、既存のアルバムの代表画像の集合である。統一感情報は、ウォールに含まれる既存アルバムの代表画像の要素（属性種別）ごとの統一性を示す情報である。具体的には後述するが、統一感情報は、ウォールに含まれるアルバムの代表画像の属性情報から取得することができる。ウォール内にアルバムが複数存在する場合、ウォールの統一感情報は、各アルバムから抽出した属性情報の平均値としてもよい。また、ウォールの統一感情報は、ウォール内のアルバムのうち最も多くのアルバムがとる値としてもよい。

各既存アルバムから抽出した属性情報及びこれらの属性情報から取得したウォールの統一感情報は、例えばサーバ又は画像処理装置１００等の記録媒体に記録され保持される。この場合、制御部１０１は、ウォールの統一感情報が既に存在すると判定する。一方、これまで手動でアルバムの代表画像を選択又は生成することでアルバム生成処理を行ってきたウォールに対しては、統一感情報は存在しない。

ウォールの統一感情報が既に存在すると判定した場合（ステップＳ４０１：Ｙｅｓ）、処理はステップＳ４０７に進む。ウォールの統一感情報が存在しないと判定した場合（ステップＳ４０１：Ｎｏ）、処理はステップＳ４０２に進む。

ステップＳ４０２では、制御部１０１は、ウォールに含まれる既存アルバムの代表画像から属性情報を取得する。属性情報は、被写体のカテゴリ、構図、色味、階調、フィルタ情報などの情報を含む。制御部１０１は、取得した属性情報から、ステップＳ４０３及びステップＳ４０４で、属性種別ごとにウォールに含まれる各アルバムの属性情報を抽出する。制御部１０１は、ステップＳ４０５で、各属性種別について、アルバム間での統一感があるか否かを判定する。

ステップＳ４０３では、制御部１０１は、ウォールの統一感情報を取得する属性種別を設定する。属性種別は、被写体のカテゴリ、構図、色味、階調、フィルタ情報など、ウォールの統一感を判定するための様々な属性を含む。被写体のカテゴリは、例えば、食べ物、人物、風景、動物などである。構図は、被写体の位置及びサイズなど構図に関する情報である。色味は、画像全体が有する特定の主要色などの情報である。階調は、トーンカーブ、ＨＤＲ又はＳＤＲなどの階調に関する情報である。フィルタ情報は、彩度強調などの画像に施したフィルタに関する情報である。

ステップＳ４０４では、制御部１０１は、ウォール内の各既存アルバムの代表画像から、ステップＳ４０３で設定した属性種別の属性情報を抽出する。例えばステップＳ４０３で属性種別を被写体カテゴリに設定した場合、制御部１０１は、各代表画像から、公知の被写体検出処理によって主被写体を検出する。制御部１０１は、検出した主被写体がどのカテゴリに属するのかを、属性情報として抽出する。

ステップＳ４０５では、制御部１０１は、ステップＳ４０３で設定した属性種別について、ウォールの統一感情報を取得する。具体的には、制御部１０１は、ステップＳ４０４で抽出した各代表画像の属性情報に基づいて、ウォール内の既存アルバム間で統一感があるか否かを判定する。制御部１０１は、当該属性種別について統一感がある場合には、各代表画像からより多く抽出された属性情報をウォールの統一感情報として設定し、記録部１０５に記録する。制御部１０１は、当該属性種別について統一感がない場合には、統一感情報に統一感なしと設定し、記録部１０５に記録する。

例えば、被写体のカテゴリについて、ウォール内の各代表画像のうち所定割合以上の画像で、被写体カテゴリが食べ物であると判定された場合、制御部１０１は、統一感があると判定し、ウォールの被写体カテゴリの統一感情報としてｆｏｏｄを設定する。一方、ウォール内の各代表画像のうち所定割合以上の画像で被写体のカテゴリが同じでなかった場合、当該ウォールは、被写体のカテゴリについて統一感がないと判定し、記録部１０５に統一感なしと記録する。

ステップＳ４０６では、制御部１０１は、予め設定された属性種別について、ステップＳ４０３からステップＳ４０５までの処理を実施したか否かを判定する。各属性（属性種別）についてステップＳ４０３からステップＳ４０５までの処理が完了していない場合（ステップＳ４０６：Ｎｏ）、処理はステップＳ４０３に戻る。各属性についてステップＳ４０３からステップＳ４０５までの処理が完了した場合（ステップＳ４０６：Ｙｅｓ）、図４に示す統一感情報取得処理を終了する。

ステップＳ４０７では、ウォールの統一感情報が既に存在するため、制御部１０１は、記録部１０５から既存の統一感情報を取得し統一感情報取得処理を終了する。

ここで、図５を参照してウォールの統一感情報について説明する。図５（Ａ）は既存ウォールの一例である。図５（Ｂ）は、図４に示す統一感情報取得処理によって、図５（Ａ）のウォールから取得した統一感情報の一例である。ウォールの統一感情報は、ウォールに含まれる既存アルバムの代表画像の属性情報に基づいて設定される。即ち、ウォールの統一感情報には、各代表画像から統一感があるものとして抽出された属性情報が設定される。

図５（Ｂ）に示す例では、ウォールの被写体カテゴリは、ｆｏｏｄで統一されている。即ち、ウォールに含まれる各代表画像のうち、所定割合以上の画像は、被写体カテゴリがｆｏｏｄであると判定されている。

また、ウォールの構図は、被写体が中央に存在し、被写体のサイズがＮ×Ｍピクセルで統一されていると判定されている。即ち、ウォールに含まれる各代表画像のうち、所定割合以上の画像は、被写体が中央に存在し、被写体のサイズがＮ×Ｍピクセルである。なお、被写体が中央に存在するとは、例えば、被写体を囲む矩形の中心座標が代表画像の中心から所定の閾値以下の範囲にある場合とすることができる。被写体のサイズがＮ×Ｍピクセルであるとは、被写体を囲む矩形のサイズについてＮ×Ｍピクセルとの差分が所定の閾値以下である場合を含めてもよい。所定の閾値は、例えば、縦横それぞれ５％とすることができる。

ウォールの色味及び階調は、統一感なしと判定されている。ウォールに施されたフィルタは、彩度強調フィルタで統一されていると判定されている。即ち、ウォールに含まれる各代表画像のうち、所定割合以上の画像は、彩度強調フィルタにより画像処理されている。

（Ｓ２０３：代表画像生成処理）
図２のステップＳ２０３では、制御部１０１は、新たに登録する新規アルバムに対する代表画像を生成する。制御部１０１は、まず、新規アルバムに含まれる複数の画像のうち、ウォールに表示される既存のアルバムの代表画像と統一感のある画像を特定する。制御部１０１は、特定した画像から、新規アルバムの代表画像を生成する。制御部１０１は、特定した画像そのものを新規アルバムの代表画像としてもよく、特定した画像を加工することにより新規アルバムの代表画像を生成してもよい。ここで、図６から図１１を用いて、ステップＳ２０３の代表画像生成処理について説明する。

図６は、代表画像生成処理を例示するフローチャートである。ステップＳ６０１では、制御部１０１は、各属性種別に対する重みを設定する。重みは、ウォールの統一感を判定する際にどの属性種別を重視するかに応じて設定される。

図７は、属性種別に対する重みの設定を例示する図である。図７の例では、被写体カテゴリからフィルタまでの属性種別に対する重みは、それぞれＷ［ｋ］（ｋ＝１〜５）である。属性種別に対する重みの情報は、サーバ又はエッジ端末としての画像処理装置１００等に保持される。各属性種別に対して設定される重みＷ［ｋ］は、予め設定された値でもよく、画像処理装置１００の入力部１０７を介してユーザーが設定した値であってもよい。

図８は、属性種別に対する重みを指定するインターフェースを例示する図である。図８の例では、ユーザーは、画面に表示された属性種別のうちいずれかを選択する。制御部１０１は、ユーザーが選択した属性種別の重みを、他の属性種別の重みよりも大きくなるように設定する。ユーザーが属性種別に対する重みを指定するインターフェースは、図８の例に限られず、各属性種別の優先順位をユーザーに指定させるものであってもよい。この場合、制御部１０１は、各属性種別に対して、指定された優先順位に応じた重みを設定する。

なお、属性種別に対する重みは、ユーザーが図８に示すようなインターフェースを介して指定する場合に限られず、他の方法により設定されてもよい。例えば、制御部１０１は、ユーザーの撮影履歴から学習した結果に基づいて属性種別に対する重みを設定してもよい。具体的には、制御部１０１は、ユーザーの撮影画像を解析し、各属性種別についての統一感を数値化することで、統一感の値に応じた重みを設定することができる。

ステップＳ６０２では、制御部１０１は、新規アルバムに含まれる各画像について、ウォールに対する統一感を示すスコア（以下、統一感スコアと称する）を算出する。新規アルバムの中のｉ番目の画像に対する統一感スコアＳ［ｉ］は、例えば、以下の式（１）で算出することができる。

式（１）において、Ｗ［ｋ］はステップＳ６０１で設定された属性種別ｋの重みである。Ｘ［ｉ，ｋ］は、新規アルバムの中のｉ番目の画像の属性情報と、ウォールの統一感情報との属性種別ｋについての類似度を示す。また、総和記号（シグマ記号）は、予め設定された属性種別ｋに対しての和をとることを示している。

ここで、図９を用いて類似度Ｘ［ｉ，ｋ］の算出方法について説明する。図９は、属性情報の類似度の算出例を示す図である。類似度は０から１の範囲で規格化され、１に近づくほど類似度が高いことを意味する。類似度は、属性種別ごとに、新規アルバムの中のｉ番目の画像の属性情報を、図４の統一感情報取得処理で取得したウォールの統一感情報と
比較することにより算出される。なお、ウォールで統一感なしと設定された属性種別についての類似度は、新規アルバムが挿入される位置の周囲に表示される既存アルバムの代表画像の属性情報と比較して算出してもよい。また、各属性種別についての類似度は、ウォールの統一感情報は用いずに、新規アルバムが挿入される位置の周囲に表示される既存アルバムの代表画像の属性情報と比較して算出してもよい。

図９に示すように、被写体カテゴリの類似度は、ｉ番目の画像の被写体カテゴリがウォールの被写体カテゴリと一致するか不一致かに対応して、１又は０が設定される。構図の類似度は、ｉ番目の画像での主被写体のサイズ及び位置が、ウォールの主被写体のサイズ及び位置に対し、どれだけの差分を持つかにより０から１の間で算出される。構図の類似度は、主被写体のサイズ及び位置について、ウォールとの差分が小さいほど１に近くなる。

同様に、色味の類似度は、ｉ番目の画像の主となる色（主色）とウォールの主色との差分により０から１の間で算出される。色味の類似度は、主色についてウォールとの差分が小さいほど１に近くなる。階調の類似度は、ＨＤＲ画像であるかＳＤＲ画像であるかの一致不一致から、１又は０が設定される。フィルタの類似度は、画像処理に使用したプレフィルタ情報の一致不一致から、１又は０が設定される。

なお、上述の類似度の算出に用いる指標は一例であり、属性種別に応じた他の指標を使用してもよい。統一感スコアＳ［ｉ］は、算出された類似度Ｘ［ｉ，ｋ］及び設定された重みＷ［ｋ］を用いて、式（１）により算出される。

また、統一感スコアＳ［ｉ］は、新規アルバムの中のｉ番目の画像の属性情報と、ウォールの統一感情報とを比較した際の類似度に基づいて算出する場合に限られない。統一感スコアＳ［ｉ］は、新規アルバムの中のｉ番目の画像の属性情報と、既存アルバムの代表画像の属性情報とを比較した際の類似度に基づいて算出されてもよい。例えば、属性種別ごとの類似度は、当該属性種別について、新規アルバムの中のｉ番目の画像と各既存アルバムの代表画像との類似度を評価し、類似度が閾値以上である代表画像の数とすることができる。新規アルバムの中のｉ番目の画像の統一感スコアＳ［ｉ］は、各属性種別の類似度の平均として算出することができる。さらに、属性種別ごとの類似度は、類似度が閾値以上である代表画像の数に基づいて算出される場合に限られず、ｉ番目の画像の属性情報と各既存アルバムの代表画像の属性情報との一致度から算出してもよい。

ステップＳ６０３では、制御部１０１は、新規アルバムの各画像の中で、統一感スコアＳ［ｉ］が所定の閾値以上となる画像が存在するか否かを判定する。所定の閾値は、例えば、統一感スコアＳ［ｉ］が取り得る最大値の８０％とすることができる。

統一感スコアＳ［ｉ］が所定の閾値以上となる画像が存在する場合（ステップＳ６０３：Ｙｅｓ）、処理はステップＳ６０４に進む。統一感スコアＳ［ｉ］が所定の閾値以上となる画像が存在しない場合（ステップＳ６０３：Ｎｏ）、処理はステップＳ６０５に進む。

ステップＳ６０４では、制御部１０１は、新規アルバムの各画像の中から統一感スコアＳ［ｉ］が最も高い画像を、ウォールに対してより統一感がある画像として特定する。

ステップＳ６０５では、制御部１０１は、現在登録を受け付けている新規アルバム内の画像では、ウォールに追加した場合に十分に統一感があるウォールの生成が困難であるという警告をユーザーに報知する。

ステップＳ６０６では、制御部１０１は、新規アルバム内の画像のうちユーザーが指定した画像を代表画像の生成に用いる画像として特定する。制御部１０１は、例えば、画像処理装置１００に新規アルバム内の画像を一覧表示し、ユーザーからタッチ操作による画像の指定を受け付けることにより、代表画像の生成に用いる画像を特定することができる。

ステップＳ６０７では、制御部１０１は、特定した代表画像に対して画像調整処理を実施するか否かを判定する。画像調整処理を実施するか否かは、予め設定されていてもよく、新規アルバムを追加する際にユーザーからその都度指示を受け付けるようにしてもよい。画像調整処理を実施する場合（ステップＳ６０７：Ｙｅｓ）、ステップＳ６０８に進み、画像調整処理を実施しない場合（ステップＳ６０８：Ｎｏ）、図６に示す代表画像生成処理は終了する。ここで、画像調整処理は、代表画像に対し、さらにウォールに対して統一感を持たせるように施される画像処理のことである。

図１０は、代表画像の画像調整処理の一例を示す図である。図１０（Ａ）は、図５（Ａ）にも示した既存アルバムからなるウォールを例示する。図１０（Ｂ）は、ステップＳ６０４又はステップＳ６０６で特定された代表画像の画像調整処理の処理前及び処理後の画像を示す。処理前の代表画像は、被写体カテゴリはｆｏｏｄであるためウォールの被写体カテゴリと同じであるが、被写体の位置が中央になくサイズがウォールにある被写体よりも小さい。このため、処理前の代表画像を含めたウォールを生成した場合、十分に統一感があるウォールを得られない可能性がある。

そこで、制御部１０１は、図１０（Ｂ）に処理後の画像として示すように、処理前の代表画像から、被写体が中央になるように矩形で囲んだ部分を切り取って拡大する。即ち、主被写体部分が他の既存アルバムの代表画像と同様に中央になるように切り取って拡大することにより代表画像を生成する。このように、構図について統一感を出すためには、被写体の位置又はサイズを統一すればよい。また、他の属性種別について統一感を出すためには、属性種別ごとに特有の値、例えば、階調であればＨＤＲかＳＤＲか、色味であればＲＧＢの値、フィルタであれば使用したフィルタ、を統一するような処理を実施すればよい。属性種別ごとにどのような処理を施すかは、予め設定しておいてもよい。

構図を調整するために画像の一部を切り取って拡大する処理は、画像調整処理の一例である。制御部１０１は、新規アルバムの画像のうち、既存アルバムの代表画像と統一感があるとして特定された画像に対し、画像調整処理を施すことによって、ウォールとの統一感がより高い代表画像を生成することができる。

画像調整処理は、構図の調整処理に限られず、図５（Ｂ）に例示した属性種別に対応して、色味調整、階調調整、フィルタ処理などを、新規アルバムの代表画像を生成するために特定された画像に施す処理であってもよい。色味についての画像調整処理は、例えば、代表画像の主色とウォールの主色との類似度が所定の閾値以上となるように補正する処理である。階調についての画像調整処理は、例えば、代表画像とウォールとでＨＤＲかＳＤＲかを一致させたり、トーンカーブを合わせたりする処理である。フィルタについての画像調整処理は、例えば、ウォールに含まれる既存アルバムの代表画像に対して施されたフィルタ処理を実施する処理である。

ステップＳ６０８では、ステップＳ６０４又はステップＳ６０６で特定された画像に対し画像調整処理を実施する。ここで、図１１を参照して画像調整処理について説明する。図１１は、画像調整処理を例示するフローチャートである。

ステップＳ１１０１では、制御部１０１は、調整の対象となる属性種別を設定する。制
御部１０１は、例えば、図５（Ｂ）に示す属性種別を順次設定し、ステップＳ１１０２及びステップＳ１１０３で、設定された属性種別に対応する画像調整処理を実施するものとする。なお、制御部１０１は、被写体カテゴリのように画像調整処理が困難な属性種別については除外してもよい。

ステップＳ１１０２では、制御部１０１は、ステップＳ１１０１で設定した属性種別について、ステップＳ６０４又はステップＳ６０６で特定された画像の属性情報とウォールの統一感情報との類似度Ｘ［ｉ，ｋ］が、所定の閾値以下であるか否かを判定する。所定の閾値は、例えば７０％とすることができる。所定の閾値は、ステップＳ６０１で設定された属性種別に対する重みに対応して設定されてもよい。即ち、重みが大きいほど所定の閾値を高く設定することで、当該属性種別に対する画像調整処理の優先度は高くなる。

ステップＳ１１０１で設定した属性種別について、特定された画像の属性情報とウォールの統一感情報との類似度Ｘ［ｉ，ｋ］が所定の閾値以下である場合（ステップＳ１１０２：Ｙｅｓ）、処理はステップＳ１１０３に進む。類似度Ｘ［ｉ，ｋ］が所定の閾値より大きい場合（ステップＳ１１０２：Ｎｏ）、処理はステップＳ１１０４に進む。

ステップＳ１１０３では、制御部１０１は、ステップＳ１１０１で設定した属性種別について画像調整処理を実施する。例えば、構図についての画像調整処理は、図１０（Ｂ）で説明したように、代表画像の一部を被写体が中心になるように切り抜いて拡大する処理である。色味、階調、フィルタの属性種別についても、制御部１０１は、それぞれに対応する画像調整処理を実施する。

ステップＳ１１０４では、制御部１０１は、各属性種別について画像調整処理を実施したか否かを判定する。各属性種別について画像調整処理が完了した場合（ステップＳ１１０４：Ｙｅｓ）、図１１に示す画像調整処理は終了する。各属性種別について画像調整処理が完了していない場合（ステップＳ１１０４：Ｎｏ）、処理はステップＳ１１０１に戻り、画像調整処理が実施されていない属性種別に対する処理が実施される。

図１１に示す画像調整処理が終了することにより、図６の代表画像生成処理が終了し、図２の新規アルバム登録処理は終了する。なお、画像調整処理は、代表画像に用いられる画像として特定された画像以外の画像に対して実施されてもよい。新規アルバム内の各画像に画像調整処理を実施することにより、ユーザーは、新規アルバムを開いた場合にも、ウォールとの統一感を出すことができるようになる。

（代表画像生成の具体例）
図１２を用いて代表画像を生成する具体例について説明する。図１２は、ｆｏｏｄを主題としたウォールＡ、及びｓｉｇｈｔを主題としたウォールＢに対し、新規アルバムＣを追加する例について説明する。追加する新規アルバムＣは、ｐｅｒｓｏｎ、ｆｏｏｄ、ｓｉｇｈｔ、ｂｕｉｌｄｉｎｇを主題とする４つの画像を含む。ウォールＡに新規アルバムＣを追加する場合、制御部１０１は、ｆｏｏｄの画像が既存アルバムの代表画像と統一感がある画像として特定される。図１２の例では、ｆｏｏｄの画像はそのまま代表画像として使用される。これに対し、ウォールＢに新規アルバムＣを追加する場合、制御部１０１は、既存アルバムの代表画像と統一感がある画像としてｓｉｇｈｔの画像が特定され、代表画像として使用される。

上述の実施形態１によれば、図１２に例示するように、ウォールの統一感情報又は既存アルバムの属性情報に基づいて新規アルバムの代表画像を生成するため、ユーザーは、統一感のあるウォールを容易に得ることができる。

なお、追加する新規アルバムに含まれる各画像は、静止画であるものとして説明をしたが、新規アルバムに含まれる画像は静止画に限られない。新規アルバムは、少なくとも一部が動画であってもよい。この場合、制御部１０１は、動画中の各フレーム、及びアルバム内の静止画のうち最も統一感スコアが高いフレーム又は静止画を特定し代表画像を生成することができる。

また、既存のアルバムの代表画像からなるウォールは、ユーザー自身のスマートフォン（画像処理装置１００）上のものに限られない。例えば、本実施形態は、ユーザーがアルバムを他者に提供するために外部サーバ（外部端末）等にアップロード（出力）する場合にも適用可能である。この場合、画像処理装置１００は、外部サーバに格納されたアルバムの代表画像から各アルバムの属性情報又はウォールの統一感情報を取得して代表画像を生成する。画像処理装置１００は、新規アルバムとともに、生成した代表画像の情報を外部サーバにアップロードすることができる。

また、上述の実施形態１では、制御部１０１は、新規アルバム代表画像に対して画像調整処理を実施したが、フィルタ処理又は色味調整などの処理は、新規アルバム全体の画像に実施するようにしてもよい。

＜実施形態２＞
実施形態１は、ウォールに含まれる既存アルバムの各代表画像から、少なくとも１つの属性に対し統一感があると判定された属性種別の統一感情報が取得できた場合の実施形態である。これに対し、実施形態２は、ウォールに含まれる既存アルバムの各代表画像から統一感のあると判定された属性種別がなかった場合の実施形態である。ウォール内の既存アルバムから統一感のあると判定された属性種別の統一感情報が取得されなかった場合、画像処理装置１００は、ユーザーに対して警告を報知する。

実施形態２に係る新規アルバム登録処理のうち、新規アルバム登録受付（ステップＳ２０１）及び代表画像生成処理（ステップＳ２０３）は、実施形態１と同様であるため説明を省略する。実施形態２に係る新規アルバム登録処理のうち、統一感情報取得処理の内容は、実施形態１に係るステップＳ２０２の処理と異なる。ここで、図１３を用いて、実施形態２に係る統一感情報取得処理について説明する。

（実施形態２の統一感情報取得処理）
図１３は、実施形態２に係る統一感情報取得処理を例示するフローチャートである。実施形態２の統一感情報取得処理は、図４に示す実施形態１の統一感情報取得処理と同じ処理に加えて、ステップＳ１３０３、Ｓ１３０４の例外処理１、及びステップＳ１３０９、Ｓ１３１０の例外処理２を含む。以下、追加された例外処理１及び例外処理２について説明する。

ステップＳ１３０１及びステップＳ１３１１は、それぞれ図４のステップＳ４０１及びステップＳ４０７と同様の処理である。ステップ１３０２で図４のステップＳ４０２と同様にウォール内の代表画像の属性情報を取得した後、ステップＳ１３０３で、制御部１０１は、ウォール内の画像数が所定数より少ないか否かを判定する。ウォール内の画像数は、ウォールに含まれる既存アルバム（の代表画像）の数である。所定数は、例えば２とすることができる。

ウォール内の画像数が所定数より少ない場合（ステップＳ１３０３：Ｙｅｓ）、処理はステップＳ１３０４に進む。ウォール内の画像数が所定数以上ある場合（ステップＳ１３０３：Ｎｏ）、処理はステップＳ１３０５に進む。制御部１０１は、ステップＳ１３０５からステップＳ１３０８では、図４のステップＳ４０３からステップＳ４０６までの処理
と同様の処理を実行する。

ステップＳ１３０４では、ウォールの統一感情報を得るために十分な数の画像がウォールに存在しないことから、制御部１０１は、ユーザーに警告を報知し、例外処理1を実施
する。

ここで、図１４を用いて、ステップＳ１３０４の例外処理１の内容について説明する。例外処理１は、ユーザーの入力に基づいて、ウォールの統一感情報を設定する処理である。図１４は、例外処理１を例示するフローチャートである。ステップＳ１４０１では、制御部１０１は、ウォール内の画像数が少なく、統一感のある属性情報を取得するための画像が不足している旨の警告をユーザーに報知する。

ステップＳ１４０２では、制御部１０１は、ユーザーからウォールの統一感情報に関する入力を受け付ける。入力を受け付ける内容は、ユーザーがウォールをどのような属性種別で統一したいかに関する情報であり、例えば、統一感を判定する際の各属性種別の優先順位が挙げられる。制御部１０１は、例えば、図８に示すインターフェースにより、ユーザーが重視したい属性の指定を受け付けることができる。

ステップＳ１４０３では、制御部１０１は、ステップＳ１４０２でのユーザーからの入力及びウォール内の画像に基づいて、図７に例示するように属性種別ごとに、ウォールの統一感情報を設定する。ウォール内の画像は、ウォール内の既存アルバムの代表画像である。

例えば、制御部１０１は、ユーザーが図８の画面で被写体カテゴリを優先してウォールを統一することを入力した場合、ウォール内の画像の被写体カテゴリｆｏｏｄを、ウォールの統一感情報として設定する。制御部１０１は、他の属性情報について、被写体カテゴリよりも重みを低く設定したうえで、ウォール内の画像に基づいて、ウォールの統一感情報を設定してもよい。また、他の属性情報について、統一感なしと設定してもよい。制御部１０１がウォールの統一感情報を設定すると、図１４の例外処理１は終了する。

なお、ステップＳ１４０２で、ユーザーから入力を受け付ける内容は、統一感を判定する際の各属性種別の優先順位に限られない。制御部１０１は、各属性種別に対し、ウォールの統一感情報を、直接ユーザーに入力させるようにしてもよい。

ステップＳ１３０８で各属性についてステップＳ１３０５からステップＳ１３０７までの処理が完了したと判定された場合、処理はステップＳ１３０９に進む。ステップＳ１３０９では、制御部１０１は、いずれの属性についても統一感なし、と判定されたか否かを判定する。いずれの属性についても統一感なしと判定された場合（ステップＳ１３０９：Ｙｅｓ）、処理はステップＳ１３１０に進む。いずれかの属性で統一感があると判定された場合（ステップＳ１３０９：Ｎｏ）、図１３に示す統一感情報取得処理は終了する。

ここで、図１５を用いて、ステップＳ１３１０の例外処理２の内容について説明する。ステップＳ１３１０は、ウォールに十分な数の画像があるものの統一感が薄く、いずれの属性についても統一感なしと判定された場合の処理である。

図１５は、例外処理２を例示するフローチャートである。ステップＳ１５０１では、制御部１０１は、統一感を持たせる処理を実施するか否かを判定する。ウォールの統一感が薄い場合、ユーザーは、ウォールの統一感を出すことにこだわっていない可能性がある。このため、統一感を持たせる処理を実施するか否かは、ユーザーからの指示により判定するようにしてもよい。また、統一感を持たせる処理を実施するか否かは、予め設定してお
いてもよい。

ここで、図１６を参照して、ユーザーがウォールに統一感を持たせる処理を実施するか否かを指示するインターフェースの例を説明する。図１６は、統一感を出す処理の実施を指示するインターフェースを例示する図である。具体的には、ユーザーは、「ウォールに統一感が出るような処理を実施しますか？」との質問に対し「はい」又は「いいえ」のボタン操作により、統一感を持たせる処理を実施するか否かを指示することができる。

ユーザーが「はい」を選択した場合、制御部１０１は、ウォールに統一感を持たせる処理を実施すると判定し（ステップＳ１５０１：Ｙｅｓ）、処理はステップＳ１５０２に進む。ユーザーが「いいえ」を選択した場合、制御部１０１は、ウォールに統一感を持たせる処理を実施しないと判定し（ステップＳ１５０１：Ｎｏ）、代表画像に対し統一感を持たせる処理を実施せずに、図１５に示す例外処理２を終了する。

ステップＳ１５０２では、制御部１０１は、ユーザーからの入力を受け付ける。入力を受け付ける内容は、統一感が薄いウォールに対して統一感を持たせるために、どのような処理を実施するかについての情報である。統一感を持たせるための処理は、例えば、ウォール内の特定のアルバムの代表画像の属性情報に合わせてその他のアルバムの代表画像を処理すること、又はウォール内の全画像に所定のフィルタ処理を実施することなどが挙げられる。

図１７は、統一感を出す方法を指示するインターフェースを例示する。図１７に示す例では、ユーザーは、「ウォールに統一感を持たせる処理を選択してください」とのメッセージに対し「特定の画像に合わせる」又は「フィルタをかける」のボタン操作により、統一感を出す方法を指示することができる。制御部１０１は、ユーザーのボタン操作によって選択された方法により、ウォールの統一感を出す処理を実施する。統一感を出す方法は、図１７に示す方法に限られず、「被写体を中央に表示する」「被写体のサイズを揃える」「色味を統一する」など各種方法を含むことができる。また、ユーザーは、複数の方法を指示することができるようにしてもよい。

ステップＳ１５０３では、ステップＳ１５０２のユーザー入力に基づいて、ウォール内の画像、即ちウォールに含まれる既存アルバムのそれぞれの代表画像を処理する。なお、処理の対象となる画像は、ウォールに含まれる既存アルバムのそれぞれの代表画像に限られず、既存アルバム内の代表画像以外の画像を含んでもよい。

図１７の例では、「特定の画像に合わせる」が選択され、ユーザーが特定の画像を選択すると、制御部１０１は、特定の画像の色味、階調、フィルタに合わせた処理を、ウォール内の特定の画像以外の画像に対して実施する。また、「フィルタをかける」が選択され、ユーザーが処理に使用するフィルタを選択すると、制御部１０１は、ウォール内の画像に対し、ユーザーが選択したフィルタによるフィルタリング処理を実施する。制御部１０１は、ステップＳ１５０３の処理によって、統一感のあるウォールを得ることができる。

ステップＳ１５０４では、制御部１０１は、ステップＳ１５０２のユーザー入力に基づいて、ウォールの統一感情報を設定する。制御部１０１は、図４に示す統一感情報取得処理と同様に、ステップＳ１５０３で生成された統一感のあるウォールから、属性情報を取得することができる。制御部１０１は、統一感のあると判定されたウォールの統一感情報に基づいて、統一感のある画像を新規アルバムの中から特定することができる。

上述の実施形態２に係る画像処理装置１００によれば、ウォール内の画像数が少ない場合又は統一感が薄い場合であっても、ユーザーは、統一感があるウォールを得ることが可
能となる。

＜その他の実施形態＞
本発明は、一定のアルゴリズムを用いて統一感を評価したが、学習を行ったニューラルネットワークなどを用いて統一感を評価することも可能である。この場合は、例えばウォール画像と、そのウォールに適するか／適さないかのフラグを付与した代表画像のセット（例えば図１２の「ウォールＡ」と、図１２右側の「代表画像」のセット）を教師データとして複数用意する。そしてこれらのセットをニューラルネットワークにより学習させることにより、ウォールに対する画像の統一感を評価することが可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０１ 制御部

Claims (18)

1. １以上の既存の画像グループに対し新規画像グループの登録を受け付ける受付手段と、
   前記新規画像グループに含まれる画像のうち、前記既存の画像グループのそれぞれに設定された代表画像と統一感がある画像を特定し、前記特定した画像から前記新規画像グループの代表画像を生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記新規画像グループは、ユーザーが選択した複数の画像又は自動で選択した複数の画像から生成される
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記既存の画像グループの代表画像の属性種別ごとの統一感情報を取得し、前記取得した統一感情報と前記新規画像グループに含まれる各画像の属性情報との比較に基づいて、前記新規画像グループに含まれる画像のうち前記既存の画像グループの代表画像と統一感がある画像を特定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、前記新規画像グループに含まれる各画像の属性情報と、前記既存の画像グループの代表画像の統一感情報との、属性種別ごとの類似度から算出した統一感を示すスコアに基づいて、前記新規画像グループに含まれる画像のうち前記既存の画像グループの代表画像と統一感がある画像を特定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記既存の画像グループの代表画像から属性情報を抽出し、前記抽出した属性情報と前記新規画像グループに含まれる各画像の属性情報との比較に基づいて、前記新規画像グループに含まれる画像のうち前記既存の画像グループの代表画像と統一感がある画像を特定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記生成手段は、前記新規画像グループに含まれる各画像の属性情報と、前記既存の画像グループの代表画像から抽出した属性情報との、属性種別ごとの類似度から算出した統一感を示すスコアに基づいて、前記新規画像グループに含まれる画像のうち前記既存の画像グループの代表画像と統一感がある画像を特定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、統一感を判定するための属性種別ごとに前記類似度の重みづけをして前記統一感を示すスコアを算出する
   ことを特徴とする請求項４又は６に記載の画像処理装置。
8. 統一感を判定するための属性情報は、被写体の種類、構図、色味、階調、フィルタの少なくともいずれか１つの情報を含む
   こと特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記構図についての属性情報は被写体のサイズ及び位置に関する情報であり、前記色味についての属性情報は画像が有する特定の主要色の情報であり、前記階調についての属性情報は画像がＳＤＲ画像であるかＨＤＲ画像であるかに関する情報であり、前記フィルタについての属性情報は画像処理に使用したフィルタに関する情報である
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記生成手段は、前記既存の画像グループの代表画像に対してより統一感を持たせるために、前記特定した画像を、前記既存の画像グループの代表画像の属性情報に基づいて調整することにより、前記新規画像グループの代表画像を生成する
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記生成手段は、前記特定した画像以外の画像に対し、前記既存の画像グループの代表画像に対する統一感を持たせるために、前記既存の画像グループの代表画像の属性情報に基づいて、前記特定した画像以外の画像を調整する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記生成手段は、前記既存の画像グループが所定数よりも少ない場合、属性の選択をユーザーから受け付け、選択された属性の属性情報及び前記既存の画像グループの代表画像に基づいて、前記新規画像グループに含まれる画像から、前記既存の画像グループの代表画像と統一感がある画像を特定する
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記既存の画像グループの代表画像がいずれの属性についても統一感がない場合、ユーザーの指示に基づいて、前記既存の画像グループの代表画像に統一感を持たせるための処理をする処理手段をさらに有し、
    前記生成手段は、前記統一感を持たせるための処理をした前記既存の画像グループの代表画像の属性情報に基づいて、前記新規画像グループに含まれる画像から、前記既存の画像グループの代表画像と統一感がある画像を特定する
    こと特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記既存の画像グループが所定数よりも少ない場合、又は、前記既存の画像グループの代表画像がいずれの属性についても統一感がない場合に、ユーザーに警告を報知する警告手段をさらに有する
    ことを特徴とする請求項１２又は１３に記載の画像処理装置。
15. 前記生成手段は、前記新規画像グループが動画を含む場合、前記動画中の各フレーム及び前記新規画像グループに含まれる静止画から、前記既存の画像グループの代表画像に対して統一感を持つ画像を特定する
    ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記生成手段は、前記新規画像グループを、外部端末に出力する場合、前記新規画像グループに含まれる画像のうち、前記外部端末に格納された既存の画像グループの代表画像に対して統一感がある画像を特定し、前記特定した画像から生成した前記新規画像グループの代表画像を前記新規画像グループとともに前記外部端末に出力する
    ことを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. １以上の既存の画像グループに対し新規画像グループの登録を受け付ける受付ステップと、
    前記新規画像グループに含まれる画像のうち、前記既存の画像グループのそれぞれに設定された代表画像と統一感がある画像を特定し、前記特定した画像から前記新規画像グループの代表画像を生成する生成ステップと
    を有すること特徴とする画像処理方法。
18. コンピュータを、請求項１から１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images