JP2019169985A - 画像処理装置 - Google Patents

Abstract

【課題】撮像された画像に基づくコメントおよび画像を同時に表示させたときのマッチング感を向上させる。【解決手段】テキスト情報の記述内容に基づいて画像を加工する画像加工部と、前記テキスト情報と前記加工された画像とを関連付ける処理部と、を有する画像処理装置。【選択図】図２

Description

本発明は、画像処理装置、撮像装置およびプログラムに関する。

従来、撮像された画像に文字情報を付与する技術が開発されている。たとえば、特許文献１には、撮像画像に対して撮像画像に関連づけたコメントを付与する技術が開示されている。

特開２０１０−２０６２３９

本発明は、撮像された画像に基づくコメントおよび画像を同時に表示させたときのマッチング感を向上させることができる画像処理装置、撮影装置およびプログラムを提供することを目的とする。

上記の目的を達成するために、本発明に係る画像処理装置は、テキスト情報の記述内容に基づいて画像を加工する画像加工部と、前記テキスト情報と前記加工された画像とを関連付ける処理部と、を有することを特徴とする。

なお、本発明をわかりやすく説明するために、実施形態を示す図面の符号に対応付けて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

図１は、本発明の一実施形態に係るカメラの概略ブロック図である。 図２は、図１に示す画像処理部の概略ブロック図である。 図３は、図１および図２に示す画像処理部による処理の一例を示すフローチャートである。 図４は、図１および図２に示す画像処理部による画像処理の一例を示す。 図５は、図１および図２に示す画像処理部による画像処理の他の一例を示す。 図６は、図１および図２に示す画像処理部による画像処理の他の一例を示す。 図７は、図１および図２に示す画像処理部による画像処理の他の一例を示す。 図８は、図１および図２に示す画像処理部による画像処理の他の一例を示す。 図９は、図１および図２に示す画像処理部による画像処理の他の一例を示す。 図１０は、図１および図２に示す画像処理部による画像処理の他の一例を示す。 図１１は、図１および図２に示す画像処理部による画像処理の他の一例を示す。

第１実施形態
図１に示すカメラ５０は、いわゆるコンパクトデジタルカメラである。以下の実施形態では、コンパクトデジタルカメラを例に説明するが、本発明はこれに限定されない。たとえば、レンズ鏡筒とカメラボディとが別々に構成される一眼レフカメラであっても良い。また、コンパクトデジタルカメラや一眼レフデジタルカメラに限らず、携帯電話などのモバイル機器、ＰＣ、フォトフレームなどにも適用できる。

図１に示すように、カメラ５０は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、バッファメモリ４、ＣＰＵ５、記憶部６、カードインタフェース（カードＩ／Ｆ）７、タイミングジェネレータ（ＴＧ）９、レンズ駆動部１０、入力インターフェース（入力Ｉ／Ｆ）１１、温度測定部１２、画像処理部１３、ＧＰＳ受信部１４、ＧＰＳアンテナ１５、表示部１６およびタッチパネルボタン１７を備える。

ＴＧ９及びレンズ駆動部１０はＣＰＵ５に、撮像素子２及びＡ／Ｄ変換部３はＴＧ９に、撮像レンズ１はレンズ駆動部１０にそれぞれ接続されている。バッファメモリ４、ＣＰＵ５、記憶部６、カードＩ／Ｆ７、入力Ｉ／Ｆ１１、温度測定部１２、画像処理部１３、ＧＰＳ受信部１４および表示部１６は、バス１８を介して情報伝達可能に接続されている。

撮像レンズ１は、複数の光学レンズにより構成され、ＣＰＵ５からの指示に基づいてレンズ駆動部１０によって駆動され、被写体からの光束を撮像素子２の受光面に結像する。

撮像素子２は、ＣＰＵ５の指令を受けてＴＧ９が発するタイミングパルスに基づいて動作し、撮像素子２の前方に設けられた撮像レンズ１によって結像される被写体の画像を取得する。撮像素子２には、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。

撮像素子２から出力される画像信号は、Ａ／Ｄ変換部３にてデジタル信号に変換される。このＡ／Ｄ変換部３は、撮像素子２とともに、ＣＰＵ５の指令によりＴＧ９が発するタイミングパルスに基づいて動作する。画像信号は、一時的にフレームメモリ（不図示）に記憶された後、バッファメモリ４に記憶される。なお、バッファメモリ４には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。

ＣＰＵ５は、ユーザにより電源ボタン（不図示）が押されて、カメラ５０の電源が入れられると、記憶部６に記憶されているカメラ５０の制御プログラムを読み込み、カメラ５０を初期化する。そして、ＣＰＵ５は、入力Ｉ／Ｆ１１を介してユーザからの指示を受け付けると、制御プログラムに基づいて、撮像素子２に対して被写体の撮像、画像処理部１３に対して撮像した画像の画像処理、その処理された画像の記憶部６やカードメモリ８への記録や表示部１６への表示等の制御を行う。

記憶部６は、カメラ５０が撮像した画像、ＣＰＵ５が用いるカメラ５０を制御する制御プログラム等の各種プログラム、及び撮像した画像に付与するためのコメント作成の基となるコメントリストを記憶する。記憶部６は、一般的なハードディスク装置、光磁気ディスク装置又はフラッシュＲＡＭ等の記憶装置を適宜選択して用いることができる。

カードＩ／Ｆ７には、カードメモリ８が脱着可能に装着される。バッファメモリ４に記憶されている画像は、ＣＰＵ５の指示に基づいて画像処理部１３で画像処理され、焦点距離、シャッター速度、絞り値及びＩＳＯ値等や、画像撮像時のＧＰＳ受信部１４によって求められた撮影位置や高度等からなる撮像情報がヘッダ情報として付加されたＥｘｉｆ形式等の画像ファイルとして、カードメモリ８に記憶される。

レンズ駆動部１０は、撮像素子２による被写体の撮影を行う前に、被写体の輝度を測光することによって求める合焦状態と、ＣＰＵ５が算出するシャッター速度、絞り値及びＩＳＯ値等に基づいて、撮像レンズ１を駆動させ、被写体からの光束を撮像素子２の受光面に結像させる。

入力Ｉ／Ｆ１１は、ユーザによる操作の内容に応じた操作信号をＣＰＵ５に出力する。入力Ｉ／Ｆ１１には、たとえば、不図示の電源ボタン、撮影モード等のモード設定ボタン及びレリーズボタン等の操作部材が接続されている。また、入力Ｉ／Ｆ１１には、表示部１６の前面に設けられるタッチパネルボタン１７が接続されている。

温度測定部１２は、撮像時におけるカメラ５０の周りの温度を測定する。温度測定部１２には、一般的な温度センサを適宜選択して用いることができる。

ＧＰＳ受信部１４には、ＧＰＳアンテナ１５が接続され、ＧＰＳ衛星からの信号を受信する。ＧＰＳ受信部１４は、受信した信号に基づいて、緯度、経度及び高度や日時等の情報を取得する。

表示部１６は、スルー画や撮影した画像又はモード設定画面等を表示する。表示部１６には、液晶モニタ等を適宜選択して用いることができる。また、表示部１６の前面には、入力Ｉ／Ｆ１１に接続されるタッチパネルボタン１７が備えられる。

画像処理部１３は、補間処理、輪郭強調処理やホワイトバランス補正等の画像処理を行うとともに、撮影条件や撮像情報等をヘッダ情報として付加したＥｘｉｆ形式等の画像ファイル生成を行うデジタル回路である。また、画像処理部１３は、図２に示すように、画像入力部１０２、画像解析部１０４、コメント作成部１１０、画像加工部１１２、画像出力部１１４を備え、入力される画像に対して後述の画像処理を行う。

画像入力部１０２は、静止画やスルー画等の画像を入力する。画像入力部１０２は、たとえば、図１に示すＡ／Ｄ変換部３から出力される画像や、バッファメモリ部４に記憶された画像や、カードメモリ８に記憶された画像を入力する。なお、他の例として、画像入力部が、ネットワーク（図示せず）を介して画像を入力しても良い。画像入力部１０２は、入力した入力画像を画像解析部１０４および画像加工部１１２に出力する。

画像解析部１０４は、画像入力部１０２から入力される入力画像の解析を行う。たとえば、画像解析部１０４は、入力画像に対して、画像特徴量（たとえば、色分布、輝度分布及びコントラスト）の算出や顔認識等を行い、画像解析結果をコメント作成部１１０に出力する。なお、本実施形態では、公知である任意の手法を用いて顔認識を行う。また、画像解析部１０４は、入力画像に付与されるヘッダ情報に基づき、撮像日時、撮像場所および温度等を取得する。画像解析部１０４は、画像解析結果をコメント作成部１１０に出力する。

また、画像解析部１０４は、人物判定部１０６および風景判定部１０８を有し、画像解析結果に基づいて入力画像のシーン判定を行う。人物判定部１０６は、画像解析結果に基づいて入力画像が人物画像であるか否かを判定したシーン判定結果を画像加工部１１２に出力する。風景判定部１０８は、画像解析結果に基づいて入力画像が風景画像か否かを判定したシーン判定結果を画像加工部１１２に出力する。

コメント作成部１１０は、画像解析部１０４から入力される画像解析結果に基づき、入力画像に対するコメントを作成する。コメント作成部１１０は、画像解析部１０４からの画像解析結果と記憶部６に記憶してあるテキストデータとの対応関係によりコメントを作成する。また、他の例として、コメント作成部１１０は、複数のコメント候補を表示部に表示し、ユーザがタッチパネルボタン１７を操作することにより複数のコメント候補の中からコメントを設定しても良い。コメント作成部１１０は、コメントを画像加工部１１２および画像出力部１１４に出力する。

画像加工部１１２は、人物判定部１０６または風景判定部１０８からのシーン判定結果に基づき、画像入力部１０２から入力される入力画像から表示画像を作成する。なお、作成される表示画像は、一枚の画像であってもよく、複数の画像であっても良い。また、画像加工部１１２は、シーン判定結果とともに、コメント作成部１１０からのコメントおよび／または画像解析部１０４からの画像解析結果を利用して表示画像を作成しても良い。

画像出力部１１４は、コメント作成部１１０からのコメントと画像加工部１１２からの表示画像との組み合わせから成る出力画像を、図１に示す表示部１６に出力する。すなわち、画像出力部１１４は、コメントと表示画像とを入力し、表示画像にテキスト合成領域を設定し、テキスト合成領域にコメントを合成する。表示画像に対して、テキスト合成領域を設定する手法としては、任意の手法が用いられる。たとえば、表示画像の中で、相対的に重要な被写体が写っている重要領域以外の非重要領域にテキスト合成領域を決定することができる。具体的には、人物の顔が写っている領域を重要領域に分類し、重要領域を含まない非重要領域をテキスト合成領域に設定し、テキスト合成領域にコメントを重畳させる。また、ユーザがタッチパネルボタン１７を操作することにより、テキスト合成領域を設定しても良い。

次に、本実施形態における画像処理の例を、図３および図４を用いて説明する。まず、ユーザは、図１に示すタッチパネルボタン１７を操作して、本実施形態における画像処理を行う画像処理モードに切り替える。

図３に示すステップＳ０２において、ユーザは、図１に示すタッチパネルボタン１７を操作して、表示部１３に表示される画像の候補から、画像処理を行う画像を選択決定する。本実施形態では、図４（ａ）に示す画像を選択する。

ステップＳ０４において、ステップＳ０２で選択された画像が、図２に示すバス１８を介して、カードメモリ８から画像入力部１０２に転送される。画像入力部１０２は、入力された入力画像を画像解析部１０４および画像加工部１１２に出力する。

ステップＳ０６において、図２に示す画像解析部１０４は、図４（ａ）に示す入力画像の画像解析を行う。画像解析部１０４は、図４（ａ）に示す入力画像について、たとえば、顔認識等を行い、入力画像に撮像されている人物の人数を求めるとともに、各人物の性別及び口角の上がり具合等に基づいた笑顔判定を行う。本実施形態では、公知である任意の手法を用いて、各人物の性別判定及び笑顔判定を行う。画像解析部１０４は、たとえば、図４（ａ）に示す入力画像について、「１人、女性、笑顔」の画像解析結果を図２に示すコメント作成部１１０に出力する。

ステップＳ０８において、図２に示す画像解析部１０４の人物判定部１０６は、ステップＳ０６における「１人、女性、笑顔」の画像解析結果から、図４（ａ）に示す入力画像は人物画像であると判定する。人物判定部１０６は、「人物画像」のシーン判定結果を画像加工部１１２に出力する。本実施形態では、人物画像なので、ステップＳ１２（Ｙｅｓ側）に移行する。

ステップＳ１２において、図２に示すコメント作成部１１０は、画像解析部１０４からの「１人、女性、笑顔」の画像解析結果から、「わっ！微笑んでる（＾_＾）」のコメントを作成する。コメント作成部１１０は、当該コメントを画像出力部１１４に出力する。

ステップＳ１４において、図２に示す画像加工部１１２は、人物判定部１０６からの「人物画像」のシーン判定結果に基づき、図４（ｂ）に示す表示画像（ただし、この段階では、コメントは付与されていない）を作成する。すなわち、画像加工部１１２は、「人物画像」の入力に基づき、図４（ａ）において破線で囲まれる人物の顔を中心にした領域をクローズアップするように入力画像を加工する。画像加工部１１２は、人物の顔をクローズアップした表示画像を画像出力部１１４に出力する。

ステップＳ１６において、画像出力部１１４は、上記のステップＳ１２で作成したコメントおよびステップＳ１４で作成した表示画像を合成して、図４（ｂ）に示す出力画像を図１に示す表示部１６に出力する。

ステップＳ１８において、図１に示す表示部１６に表示される出力画像をユーザが確認する。ユーザは、図４（ｂ）に示す出力画像に満足した場合は、タッチパネルボタン１７を操作することにより、出力画像を記憶部６に記憶させて、画像処理を終了する。出力画像を保存する際には、撮像情報および上記の画像処理におけるパラメータをヘッダ情報として付加したＥｘｉｆ形式等の画像ファイルとして、記憶部６に記憶する。

一方、ユーザが図４（ｂ）に示す出力画像に満足しなかった場合は、タッチパネルボタン１７を操作することにより、ステップＳ２０（Ｎｏ側）に進む。このとき、コメント作成部１１０は、ステップＳ０６における画像解析結果に基づき、複数のコメントの候補を表示部１６に表示する。ユーザは、タッチパネルボタン１７を操作することにより、表示部１６に表示されるコメントの候補から、画像に適したコメントを選択する。コメント作成部１１２は、ユーザにより選択されたコメントを画像出力部１１４に出力する。

次に、ステップＳ２０において、図２に示す画像加工部１１２は、人物判定部１０６からのシーン判定結果およびステップＳ２０においてユーザが選択したコメントに基づき、表示画像を作成する。なお、画像加工部１１２は、シーン判定結果およびユーザが選択したコメントに基づいて、複数の表示画像の候補を、表示部１６に表示しても良い。ユーザは、タッチパネルボタン１７を操作することにより、複数の候補の中から表示画像を選択して、表示画像を決定する。画像加工部１１２は、表示画像を画像出力部１１４に出力して、ステップＳ１６に移行する。

なお、上述の実施形態では、図４（ｂ）に示すように、１枚の出力画像であったが、図４（ｃ）に示すように、複数の出力画像であっても良い。

この場合、ステップＳ１４において、図２に示す画像加工部１１２は、人物判定部１０６からのシーン判定結果に基づき、図４（ｃ）に示す複数の表示画像（ただし、この段階では、コメントは付与されていない）を作成する。すなわち、画像加工部１１２は、図４（ｃ）に示す初期画像（１）（図４（ａ）に対応）、中間画像（２）（初期画像（１）を、人物を中心にズームアップした画像）、最終画像（３）（中間画像（２）を、人物を中心にさらにズームアップした画像）を作成する。画像加工部１１２は、当該複数の画像から成る表示画像を画像出力部１１４に出力する。

ステップＳ１６において、画像出力部１１４は、ステップＳ１２で作成したコメントおよびステップＳ１４で作成した表示画像を合成して、図４（ｃ）に示す出力画像を図１に示す表示部１６に出力する。すなわち、画像出力部１１４は、コメントとともに、図４（ｃ）の（１）〜（３）に示す一連の画像を順次表示するスライドショーを出力する。

なお、本実施形態では、図４（ｃ）の（１）〜（３）に示す全ての画像にコメントを付与したが、初期画像（１）および中間画像（２）にはコメントを付与しないで、最終画像（３）のみにコメントを付与しても良い。

また、本実施形態では、初期画像（１）、中間画像（２）および最終画像（３）の３枚の画像を出力したが、初期画像（１）および最終画像（３）の２枚の画像を出力しても良い。また、中間画像を２枚以上で構成し、より滑らかにズームアップさせても良い。

このように本実施形態では、表情について記述したコメントと、表情がクローズアップされる表示画像とを合成して出力画像を出力している。このため、本実施形態では、コメントと表示画像とがマッチングした出力画像を得ることができる。

第２実施形態
第２実施形態では、図５（ｂ）に示すように、出力画像に付与するコメントが異なる点で、第１実施形態と異なる以外は、第１実施形態と同様である。以下の説明において、上記の実施形態と重複する部分の説明を省略する。

図３に示すステップＳ０６において、図２に示す画像解析部１０４は、図５（ａ）に示す入力画像の画像解析を行う。画像解析部１０４は、図４（ａ）に示す入力画像について、上記の第１実施形態と同様に、「１人、女性、笑顔」の画像解析結果を図２に示すコメント作成部１１０に出力する。また、画像解析部１０４は、入力画像のヘッダ情報から、「２００８年４月１４日」の情報を取得してコメント作成部１１０に出力する。

ステップＳ０８において、図２に示す画像解析部１０４の人物判定部１０６は、ステップＳ０６における「１人、女性、笑顔」の画像解析結果から、図４（ａ）に示す入力画像は人物画像であると判定する。人物判定部１０６は、「人物画像」のシーン判定結果を画像加工部１１２に出力する。本実施形態では、人物画像なので、ステップＳ１２（Ｙｅｓ側）に移行する。

ステップＳ１２において、図２に示すコメント作成部１１０は、画像解析部１０４からの「２００８年４月１４日」および「１人、女性、笑顔」の画像解析結果から、「２００８年 春の一枚」および「わっ！微笑んでる（＾_＾）」のコメントを作成する。コメント作成部１１０は、当該コメントを画像出力部１１４に出力する。

ステップＳ１４において、図２に示す画像加工部１１２は、人物判定部１０６からの「人物画像」のシーン判定結果に基づき、図５（ｂ）に示す複数の表示画像（ただし、この段階では、コメントは付与されていない）を作成する。すなわち、画像加工部１１２は、図５（ｂ）に示す初期画像（１）（図５（ａ）に対応）、ズームアップ画像（２）（初期画像（１）を、人物を中心にズームアップした画像）を作成する。画像加工部１１２は、当該複数の画像から成る表示画像を画像出力部１１４に出力する。

ステップＳ１６において、画像出力部１１４は、ステップＳ１２で作成したコメントおよびステップＳ１４で作成した表示画像を合成して、図５（ｂ）に示す出力画像を図１に示す表示部１６に出力する。本実施形態では、複数の画像のそれぞれにマッチングしたコメントを付与しており、具体的には、画像のズームアップの度合いに応じて、それらの画像に付与するコメントを変更している。すなわち、画像出力部１１４は、図５（ｂ）（１）に示すように、初期画像に「２００８年 春の一枚」のコメントを組み合わせた出力画像、および、図５（ｂ）（２）に示すように、ズームアップ画像に「わっ！微笑んでる（＾_＾）」のコメントを組み合わせた出力画像を順次表示することによるスライドショーを出力する。

このように、本実施形態では、ズームアップ前の初期画像に、日時に関するコメントを付与した画像と、ズームアップ後のズームアップ画像に、当該ズームアップ画像にマッチングしたコメントを付与した画像と、を用いてスライドショーを出力している。その結果、本実施形態では、初期画像に付与された日時に関するコメントにより、撮影時の記憶を連想して思い出しながら、ズームアップ画像に付与された当該ズームアップ画像にマッチングしたコメントにより、撮影時の記憶をより膨らませて思い出すことができる。

第３実施形態
第３実施形態では、図６（ａ）に示すように、入力画像に複数の人物が含まれる点で、第１実施形態と異なる以外は、第１実施形態と同様である。以下の説明において、上記の実施形態と重複する部分の説明を省略する。

図３に示すステップＳ０６において、図２に示す画像解析部１０４は、図６（ａ）に示す入力画像の画像解析を行う。本実施形態では、画像解析部１０４は、たとえば、図６（ａ）に示す入力画像について、「２人、男性１人女性１人、笑顔」の画像解析結果を、図２に示すコメント作成部１１０に出力する。

ステップＳ０８において、図２に示す画像解析部１０４の人物判定部１０６は、ステップＳ０６における「２人、男性１人女性１人、笑顔」の画像解析結果から、図６（ａ）に示す入力画像は人物画像であると判定する。人物判定部１０６は、「人物画像」のシーン判定結果を画像加工部１１２に出力する。本実施形態では、人物画像なので、ステップＳ１２（Ｙｅｓ側）に移行する。

ステップＳ１２において、図２に示すコメント作成部１１０は、画像解析部１０４からの「２人、男性１人女性１人、笑顔」の画像解析結果から、「みんな いい表情！」のコメントを作成する。コメント作成部１１０は、当該コメントを、画像加工部１１２および画像出力部１１４に出力する。

ステップＳ１４において、図２に示す画像加工部１１２は、人物判定部１０６からの「人物画像」のシーン判定結果とコメント作成部１１０からの「みんな いい表情！」のコメントとに基づき、図６（ｂ）に示す表示画像（ただし、この段階では、コメントは付与されていない）を作成する。すなわち、画像加工部１１２は、「人物画像」および「みんな いい表情！」の入力に基づき、図６（ａ）において破線で囲まれる２人の顔を中心にした領域をクローズアップするように画像加工を行う。画像加工部１１２は、表示画像を画像出力部１１４に出力する。

ステップＳ１６において、画像出力部１１４は、上記のステップＳ１２で作成したコメントおよびステップＳ１４で作成した表示画像を合成して、図６（ｂ）に示す出力画像を図１に示す表示部１６に出力する。

第４実施形態
第４実施形態では、図７（ｂ）に示すように、出力画像が複数である点および出力画像に付与するコメントが異なる点で、第３実施形態と異なる以外は、第３実施形態と同様である。以下の説明において、上記の実施形態と重複する部分の説明を省略する。

図３に示すステップＳ０６において、図２に示す画像解析部１０４は、図７（ａ）に示す入力画像の画像解析を行う。画像解析部１０４は、図７（ａ）に示す入力画像について、上記の第３実施形態と同様に、「２人、男性１人女性１人、笑顔」の画像解析結果を図２に示すコメント作成部１１０に出力する。また、画像解析部１０４は、入力画像のヘッダ情報から、「ｘｘ市ｘｘ町ｘｘ（位置情報）」の情報を取得してコメント作成部１１０に出力する。

ステップＳ０８において、図２に示す画像解析部１０４の人物判定部１０６は、ステップＳ０６における「２人、男性１人女性１人、笑顔」の画像解析結果から、図７（ａ）に示す入力画像は人物画像であると判定する。人物判定部１０６は、「人物画像」のシーン判定結果を画像加工部１１２に出力する。本実施形態では、人物画像なので、ステップＳ１２（Ｙｅｓ側）に移行する。

ステップＳ１２において、図２に示すコメント作成部１１０は、画像解析部１０４からの「ｘｘ市ｘｘ町ｘｘ（位置情報）」および「２人、男性１人女性１人、笑顔」の画像解析結果から、「自宅」および「みんな いい表情！」のコメントを作成する。コメント作成部１１０は、当該コメントを画像出力部１１４に出力する。

ステップＳ１４において、図２に示す画像加工部１１２は、人物判定部１０６からの「人物画像」のシーン判定結果に基づき、図７（ｂ）に示す複数の表示画像（ただし、この段階では、コメントは付与されていない）を作成する。すなわち、画像加工部１１２は、図７（ｂ）に示す初期画像（１）（図７（ａ）に対応）、ズームアップ画像（２）（図７（ａ）において破線で囲まれる２人の顔を中心にした領域をクローズアップした画像）を作成する。画像加工部１１２は、当該複数の画像から成る表示画像を画像出力部１１４に出力する。

ステップＳ１６において、画像出力部１１４は、ステップＳ１２で作成したコメントおよびステップＳ１４で作成した表示画像を合成して、図７（ｂ）に示す出力画像を図１に示す表示部１６に出力する。本実施形態では、複数の画像のそれぞれにマッチングしたコメントを付与しており、具体的には、画像のズームアップの度合いに応じて、それらの画像に付与するコメントを変更している。すなわち、画像出力部１１４は、図７（ｂ）（１）に示すように、初期画像に「自宅」のコメントを組み合わせた出力画像、および、図７（ｂ）（２）に示すように、ズームアップ画像に「みんな いい表情！」のコメントを組み合わせた出力画像を順次表示することによるスライドショーを出力する。

このように、本実施形態では、ズームアップ前の初期画像に、位置情報に関するコメントを付与した画像と、ズームアップ後のズームアップ画像に、当該ズームアップ画像にマッチングしたコメントを付与した画像と、を用いてスライドショーを出力している。その結果、本実施形態では、初期画像に付与された位置情報に関するコメントにより、撮影時の記憶を連想して思い出しながら、ズームアップ画像に付与された当該ズームアップ画像にマッチングしたコメントにより、撮影時の記憶をより膨らませて思い出すことができる。

第５実施形態
本発明の第５実施形態では、図８（ａ）に示すように、入力される画像が海岸を含む風景画像である点で、第１実施形態と異なる以外は、第１実施形態と同様である。以下の説明においては、上記の実施形態と重複する部分の説明を省略する。

図３に示すステップＳ０６にて、図２に示す画像解析部１０４は、図８（ａ）に示す入力画像の画像解析を行う。画像解析部１０４は、図８（ａ）に示す画像について、青の色分布の割合および輝度が大きく、しかも焦点距離が長いことから、たとえば、「晴れ、海」の画像解析結果を、図２に示す画像加工部１１２に出力する。

ステップＳ０８において、図２に示す人物判定部１０６は、画像解析部１０４による「晴れ、海」の画像解析結果から、図８（ａ）に示す画像は、人物画像ではないと判定する。

ステップＳ１０において、図２に示す風景判定部１０８は、「晴れ、海」の画像解析結果から、図８（ａ）に示す入力画像は風景画像であると判定し、「風景画像」のシーン判定結果を図２に示す画像加工部１１２に出力する。

ステップＳ１２において、図２に示すコメント作成部１１０は、画像解析部１０４からの「晴れ、海」の画像解析結果から、「穏やかな瞬間の一枚」のコメントを作成する。コメント作成部１１０は、当該コメントを、画像加工部１１２および画像出力部１１４に出力する。

ステップＳ１４において、画像加工部１１２は、風景判定部１０８からの「風景画像」のシーン判定結果およびコメント作成部１１０からの「穏やかな瞬間の一枚」のコメントに基づき、図８（ｂ）に示す表示画像を作成する。すなわち、本実施形態では、明度を徐々に変化させる表示画像を作成する。具体的には、図８（ａ）に示す入力画像に比べて明るさを若干暗く表示した図８（ｂ）に示す初期画像（１）から、最終画像（２）（図８（ａ）に対応）まで、明るさを徐々に明るく変化する表示画像（ただし、この段階では、コメントは付与されていない）を作成する。

ステップＳ１６にて、画像出力部１１４は、ステップＳ１２で作成したコメントとステップＳ１４で作成した表示画像とを組み合わせて、図８（ｂ）に示す出力画像を図１に示す表示部１６に出力する。このとき、画像出力部１１４は、図８（ｂ）に示す初期画像（１）から最終画像（２）まで明るさを徐々に変化させる段階ではコメントを付与せず、最終画像（２）に到達したときにコメントを付与する。なお、初期画像（１）から最終画像（２）まで明るさを徐々に変化させる段階において、コメントを付与しても良い。

上記のように、本実施形態では、明度を徐々に変化させることで、最終的に表示される画像全体の色や雰囲気を際立たせて、最終的に表示される画像とテキストとのマッチング感をより向上させることができる。

第６実施形態
本発明の第４実施形態では、図９（ａ）に示すように、入力される画像が山を含む風景画像である点で、第５実施形態と異なる以外は、第３実施形態と同様である。以下の説明においては、上記の実施形態と重複する部分の説明を省略する。

図３に示すステップＳ０６にて、図２に示す画像解析部１０４は、図９（ａ）に示す入力画像の画像解析を行う。画像解析部１０４は、図９（ａ）に示す入力画像について、青および緑の色分布の割合ならびに輝度が大きく、しかも焦点距離が長いことから、たとえば、「晴れ、山」と解析する。また、画像解析部１０４は、入力画像のヘッダ情報から、「２００８年１月２４日」に取得された画像である旨の情報を取得する。画像解析部１０４は、画像解析結果を図２に示す画像加工部１１２に出力する。なお、画像解析部１０４は、入力画像のヘッダ情報から撮影場所を取得して、撮影場所と「晴れ、山」の画像解析結果とから、山の名称を解析することも可能である。

ステップＳ０８において、図２に示す人物判定部１０６は、画像解析部１０４による「晴れ、山」の画像解析結果から、図９（ａ）に示す入力画像は、人物画像ではないと判定する。

ステップＳ１０において、図２に示す風景判定部１０８は、「晴れ、山」の画像解析結果から、図９（ａ）に示す入力画像は風景画像であると判定し、「風景画像」のシーン判定結果を図２に示す画像加工部１１２に出力する。

ステップＳ１２において、図２に示すコメント作成部１１０は、画像解析部１０４からの「晴れ、山」および「２００８年１月２４日」の画像解析結果から、「すがすがしい。。。」および「２００８／１／２４」のコメントを作成する。コメント作成部１１０は、当該コメントを、画像加工部１１２および画像出力部１１４に出力する。

ステップＳ１４において、画像加工部１１２は、風景判定部１０８からの「風景画像」のシーン判定結果およびコメント作成部１１０からの「晴れ、山」のコメントに基づき、図９（ｂ）に示す表示画像を作成する。すなわち、本実施形態では、ピントを徐々に変化させる表示画像を作成する。具体的には、図９（ａ）に示す入力画像をぼかした図９（ｂ）の初期画像（１）から、最終画像（２）（図９（ａ）に対応）まで、ピントを徐々に合わせる表示画像（ただし、この段階では、コメントは付与されていない）を作成する。

ステップＳ１６において、画像出力部１１４は、ステップＳ１２で作成したコメントおよびステップＳ１４で作成した表示画像を組み合わせて、図９（ｂ）に示すように、ピントを徐々に合わせながら表示する出力画像を図１に示す表示部１６に出力する。

上記のように、本実施形態では、ピントを徐々に調整することで、最終的に表示される画像全体の色や雰囲気を際立たせて、最終的に表示される画像とテキストとのマッチング感を向上させることができる。

第７実施形態
本発明の第７実施形態では、図１０（ａ）に示すように、人、建物、看板、道路、空等の様々な被写体を含む画像である点で、第１実施形態と異なる以外は、第１実施形態と同様である。以下の説明においては、上記の実施形態と重複する部分の説明を省略する。

図３に示すステップＳ０６にて、図２に示す画像解析部１０４は、図１０（ａ）に示す入力画像の画像解析を行う。画像解析部１０４は、たとえば、図１０（ａ）に示す入力画像について、様々な色が含まれていることから、「その他の画像」であると解析する。また、画像解析部１０４は、入力画像のヘッダ情報から、「２０１２年７月３０日、大阪」の情報を取得する。画像解析部１０４は、画像解析結果を図２に示す画像加工部１１２に出力する。

ステップＳ０８において、図２に示す人物判定部１０６は、画像解析部１０４による「その他の画像」の画像解析結果から、図１０（ａ）に示す入力画像は、人物画像ではないと判定する。

ステップＳ１０において、図２に示す風景判定部１０８は、「その他の画像」の画像解析結果から、図１０（ａ）に示す入力画像は風景画像ではないと判定する。ステップＳ２４（Ｎｏ側）に移行する。

ステップＳ２４において、図２に示すコメント作成部１１０は、画像解析部１０４からの「その他の画像」および「２０１２年７月３０日、大阪」の画像解析結果から、「大阪 ２０１２．７．３０」のコメントを作成する。コメント作成部１１０は、当該コメントを、画像加工部１１２および画像出力部１１４に出力する。

ステップＳ２６において、画像入力部１０２は、風景判定部１０８からの「その他の画像」のシーン判定結果およびコメント作成部１１０からの「大阪 ２０１２．７．３０」のコメントに基づき、図１０（ｂ）に示すカードメモリ８内の関連画像を入力する。すなわち、画像入力部１０２は、「大阪 ２０１２．７．３０」の情報に基づき、大阪で２０１２年７月３０日に撮像された図１０（ｂ）に示す関連画像を入力する。なお、画像入力部１０２は、日時や場所や気温等の情報に基づいて、これらの情報に関連性を有する関連画像を入力しても良い。

ステップＳ１４において、画像加工部１１２は、風景判定部１０８からの「その他の画像」のシーン判定結果およびコメント作成部１１０からの「大阪 ２０１２．７．３０」のコメントに基づき、図１０（ｃ）に示す表示画像を作成する。すなわち、本実施形態では、画像加工部１０２は、図１０（ａ）に示す入力画像および図１０（ｂ）に示す２枚の関連画像を組み合わせる。本実施形態では、図１０（ａ）に示す入力画像が目立つように、図１０（ａ）に示す入力画像を真ん中に配置する。画像加工部１１２は、表示画像を画像出力部１１４に出力する。

ステップＳ１６にて、画像出力部１１４は、ステップＳ１２で作成したコメントおよびステップＳ１４で作成した表示画像を組み合わせて、図１０（ｃ）に示す出力画像を図１に示す表示部１６に出力する。

上記のように、本実施形態では、日時および場所について記述したコメントと、日時および場所が近い画像をグループ化した表示画像とを組み合わせて出力画像を出力している。このため、本実施形態では、コメントと表示画像とがマッチングしており、コメントとグループ化された表示画像とから、撮影時の記憶を連想して思い出すことができる。

第８実施形態
本発明の第８実施形態では、図１１（ｂ）に示す関連画像に人物画像が含まれる点で、第７実施形態と異なる以外は、第５実施形態と同様である。以下の説明において、上記の実施形態と重複する部分の説明を省略する。

図３に示すステップＳ２６において、画像入力部１０２は、風景判定部１０８からの「その他の画像」のシーン判定結果およびコメント作成部１１０からの「大阪 ２０１２．７」のコメントに基づき、図１１（ｂ）に示すカードメモリ８内の関連画像を入力する。本実施形態では、図１１（ｂ）の左側に示すように、関連画像に人物画像が含まれる。関連画像に人物画像が含まれる場合は、上述の実施形態と同様に、図１１（ｃ）の右上に示すように、人物画像はズームアップされ、ズームアップされた画像に対して人物画像の表情に関連づけたコメントが付与される。

ステップＳ１４において、画像加工部１１２は、風景判定部１０８からの「その他の画像」のシーン判定結果およびコメント作成部１１０からの「大阪 ２０１２．７」のコメントに基づき、図１１（ｃ）に示す表示画像を作成する。すなわち、本実施形態では、画像加工部１０２は、図１１（ａ）に示す入力画像および図１１（ｂ）に示す２枚の関連画像を組み合わせる。本実施形態では、図１１（ａ）に示す入力画像および図１１（ｂ）の左側に示す人物画像が目立つように、これらの画像は他の画像と比較して大きく表示する。画像加工部１１２は、表示画像を画像出力部１１４に出力する。

ステップＳ１６にて、画像出力部１１４は、ステップＳ１２で作成したコメントおよびステップＳ１４で作成した表示画像を組み合わせて、図１１（ｃ）に示す出力画像を図１に示す表示部１６に出力する。

なお、本発明は、上記の実施形態に限定されない。

上記の実施形態では、図２に示す画像解析部１０４は、人物判定部１０６および風景判定部１０８を含んだが、たとえば、動物判定部や友達判定部などの他の判定部をさらに含んでも良い。たとえば、動物画像のシーン判定結果の場合は、動物をズームアップする画像処理を行うことが考えられ、友達画像のシーン判定結果の場合は、友達の画像をグループ化した表示画像を作成することが考えられる。

上記の実施形態では、カメラ５０の編集モードにおいて、画像処理を行ったが、カメラ５０による撮像時に、画像処理を行って出力画像を表示部１６に表示しても良い。たとえば、ユーザがレリーズボタンを半押したときに、出力画像を作成して表示部１６に表示することができる。

上記の実施形態では、出力画像を記憶部６に記録したが、たとえば、出力画像そのものを記憶部に記録せずに、撮像画像を画像処理のパラメータとともに、Ｅｘｉｆ形式等の画像ファイルとして記録しても良い。

なお、本発明に係る画像処理装置における各工程を実現するためのプログラムを備え、画像処理装置としてコンピュータを機能させることに対しても適用可能である。

本発明は、その精神又はその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

６…記憶部
１３…画像処理部
１６…表示部
１７…タッチパネルボタン
５０…カメラ
１０２…画像入力部
１０４…画像解析部
１０６…人物判定部
１０８…風景判定部
１１０…コメント作成部
１１２…画像加工部
１１４…画像出力部

Claims (1)

1. テキスト情報の記述内容に基づいて画像を加工する画像加工部と、
   前記テキスト情報と前記加工された画像とを関連付ける処理部と、
   を有する画像処理装置。

Images