JP6038256B2 - 画像検索システムおよび画像検索方法 - Google Patents

Description

本発明は、画像再生装置および画像再生方法に関し、詳しくは、デジタルカメラ等の撮像装置によって撮影した画像を、楽しく鑑賞するための画像検索システムおよび画像検索方法に関する。

近年、デジタルカメラ等の撮像装置が普及してきている。撮像装置において撮影した画像を楽しむにあたっては、プリントするのみならず、パーソナルコンピュータ（ＰＣ）、携帯電話、テレビ等の画面で鑑賞することを簡単に行うことができる。これらの機器において、撮影画像を鑑賞する方法として、プリントされた写真を順次見るのと同様に、画面に画像を順次再生するスライドショーの技法が行われている。しかし、スライドショーは、単に画像が順次切り替わるだけで、全て見終わるのに時間がかかり、単調であることから、現状それほど普及しているとは言い難い状況である。

このようにスライドショーの技法に付加価値を高めるために、特許文献１では、スライドショーを構成する各顔画像の集合写真を合成し、スライドショーに挿入するようにしたスライドショー再生方法が開示されている。すなわち、この再生方法においては、顔画像の数の多いグループの代表画像から序列をつけ、また画像のサイズを決定して集合シーンを生成し、この集合シーンをスライドショーのラストシーンに挿入している。

特開２００７−２４９３７１号公報

前述の特許文献１に記載のスライドショー再生方法では、顔画像以外の画像には適用することができない。また、代表画像を新たに生成する必要があり、代表画像の生成に手間と時間がかかってしまう。さらに、代表画像は「顔画像の集合写真」という予測範囲に限定されたものであり、ユーザーにワクワクした期待感や楽しみを与えるものではない。

本発明は、このような事情を鑑みてなされたものであり、適用可能な画像の範囲が広く、短時間で生成することができ、ユーザーに期待感や楽しみを与えることの可能な画像検索システムおよび画像検索方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る画像検索システムは、撮影画像と類似した類似画像を、文字を含む画像のデータベースから検索する画像検索システムにおいて、画像の顔の位置と数と大きさを検出する顔検出部を有し、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第１の画像検索を行い、上記第１の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第２の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索部と、検索された画像を、上記撮影画像と組み合わせて順次表示するための補助画像として再生表示する再生部と、を具備する。

第２の発明に係る画像検索システムは、撮影画像と類似した類似画像を、文字を含む画像のデータベースから検索する画像検索システムにおいて、画像の顔の位置と数と大きさを検出する顔検出部を有し、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第１の画像検索を行い、上記第１の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第２の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索部と、を具備し、上記データベースに含まれる画像は、画像や音楽を含むコンテンツのパッケージ画像である。

第３の発明に係る画像検索システムは、上記第２の発明において、上記画像検索システムは、検索された画像を補助画像とし、上記撮影画像とて順次表示するスライドショー再生部を具備し、上記スライドショー再生部は、上記順次表示をしながら上記コンテンツのパッケージに含まれる音楽データを再生する。

第４の発明に係る画像検索方法は、顔検出部と、文字を含む画像のデータベースと、撮影画像と類似した類似画像を上記データベースから検索する検索部と、再生部を有する画像検索システムの画像検索方法において、上記顔検出部が、画像の顔の位置と数と大きさを検出する顔検出ステップと、上記検索部が、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第１の画像検索を行い、上記第１の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第２の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索ステップと、上記再生部が、検索された画像を、上記撮影画像と組み合わせて順次表示するための補助画像として再生表示する再生ステップと、を具備する。

第５の発明に係る画像検索方法は、顔検出部と、文字を含む画像のデータベースと、撮影画像と類似した類似画像を上記データベースから検索する検索部を有する画像検索システムの画像検索方法において、上記顔検出部が、画像の顔の位置と数と大きさを検出する顔検出ステップと、上記検索部が、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第１の画像検索を行い、上記第１の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第２の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索ステップと、を具備し、上記データベースに含まれる画像は、画像や音楽を含むコンテンツのパッケージ画像である。

本発明によれば、適用可能な画像の範囲が広く、短時間で生成することができ、ユーザーに期待感や楽しみを与えることの可能な画像検索システム及び画像検索方法を提供することができる。

本発明の第１実施形態に係わるカメラ、パーソナルコンピュータからなる画像再生システムの構成を示すブロック図である。 本発明の第１実施形態に係わる画像再生システムにおいて、ユーザーによる画像再生システムの使用状態を示す図であり、（ａ）は撮影をしている様子、（ｂ）はカメラの撮影画像をパーソナルコンピュータに格納している様子、（ｃ）はテレビでスライドショーを楽しんでいる様子、（ｄ）はスライドショーにあたって補助画像を再生表示している様子を示す図である。 本発明の第１実施形態に係わる画像再生システムおいて、代表画像と類似する補助画像を検索するために文字を除去する例を示す図であって、（ａ）は音楽ＣＤ等のジャケットの画像を示し、（ｂ）は（ａ）の画像から文字を除去した図であり、（ｃ）は代表画像を示す。 本発明の第１実施形態に係わるカメラにおけるカメラ制御の動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラにおける画像一致度判定の動作を示すフローチャートである。 本発明の第２実施形態に係わるカメラ、サーバーからなる画像再生システムの構成を示すブロック図である。 本発明の第２実施形態に係わる画像再生システムにおいて、画像等の流れと、再生表示の関係を示す図である。 本発明の第２実施形態に係わるカメラにおけるカメラ制御の動作を示すフローチャートである。 本発明の第２実施形態に係わるサーバーにおけるサーバー制御の動作を示すフローチャートである。 本発明の第３実施形態に係わるカメラ、サーバーからなる画像再生システムの構成を示すブロック図である。 本発明の第３実施形態に係わる画像再生システムにおいて、画像等の流れと、再生表示の関係を示す図である。 本発明の第３実施形態の第１の変形例に係わる画像再生システムにおいて、画像等の流れと、再生表示の関係を示す図である。 本発明の第３実施形態の第２の変形例に係わる画像再生システムにおいて、補助コンテンツ決定の動作を示すフローチャートである。

以下、図面に従って本発明を適用した画像再生システムを用いて好ましい実施形態について説明する。図１は本発明の第１実施形態に係わるカメラ１０、パーソナルコンピュータ２０、テレビ３０とからなる画像再生システムの構成を示すブロック図である。

カメラ１０は被写体を撮影し、画像を取得するデジタルカメラである。パーソナルコンピュータ２０は、カメラ１０と接続可能であり、後述するように音楽ＣＤ等のジャケットの画像データ等を記憶している。テレビ３０はカメラ１０に接続可能であり、カメラ１０内で生成されたスライドショーの画像データに基づいてスライドショーを再生表示する。なお、カメラ１０とパーソナルコンピュータ２０との接続は、ケーブル等による有線接続や、電波や赤外線等の無線接続の他、ＵＳＢメモリ等の記憶媒体を介してのやり取りも含む。

カメラ１０は、撮影部１、画像記録部２、画像選択部３、通信及び制御部４、表示部５、スライドショー部６、順番制御部７、類似画像検索部８、顔検出文字検出及び加工部８ａ、補助コンテンツ記録部９を有している。通信及び制御部４は、カメラ１０の全体制御を行い、また、パーソナルコンピュータ２０およびテレビ３０と接続した際に、通信を行う。

撮影部１は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される信号を処理する画像処理部等を含み、画像データを出力する。画像記録部２は、撮影部１から出力される画像データを記録する。表示部５は、画像記録部２に記録されている画像の再生表示等の表示を行う。画像選択部３は、撮影者による操作部材からの指示に応じて、代表画像を選択する。

類似画像検索部８は、画像選択部３で指示した代表画像に類似する補助画像を、パーソナルコンピュータ２０等に記録されている画像等の中から検索する。本実施形態においては、音楽ＣＤ等のコンテンツのジャケットの画像等と、撮影画像を比較し、撮影画像に類似する画像を検索する。

顔検出文字検出及び加工部８ａは、画像の中から顔の検出や、文字の除去処理を行う。コンテンツジャケットには、往々にして、画像のみならずタイトルや著者やアーティスト名の他、レーベル、出版社名などの文字が含まれている。そこで、顔検出文字検出および加工部８ａ中の文字検出部によって、画像から文字等を除去し、類似画像検索部８は文字除去された音楽ＣＤ等のジャケットの画像と撮影画像を比較し、撮影画像に類似する画像（すなわち補助画像）を検索する。

補助コンテンツ記録部９は、類似画像検索部８によって検索された補助画像を記録する。また、補助画像に関連する情報、例えば、音楽ＣＤ等のコンテンツに記録された音楽（音声データ）、またこの音楽の歌詞のテキストデータ等も記録する。

スライドショー部６は、画像記録部２に記録されている代表画像や撮影画像と、補助コンテンツ記録部９に記録されている補助画像等を組み合わせて、表示部５にスライドショーを行わせる。順番制御部７は、スライドショーを行う際の画像の再生表示の順番を制御する。

パーソナルコンピュータ２０は、通信及び制御部２４とコンテンツジャケット記録部２１を有している。通信及び制御部２４はパーソナルコンピュータ２０の全体制御を行うと共に、カメラ１０の通信及び制御部４に接続された際には、通信の制御を行う。コンテンツジャケット記録部２１は、ＬＰレコード、音楽ＣＤ、ＤＶＤ等のコンテンツのジャケットの画像や、本の表紙画像や、音楽や歌詞等のコンテンツに関連する情報を記憶している。すなわち、コンテンツとしては、既存の漫画、アニメ、テレビ番組、映画、音楽等、種々のものを含み、コンテンツジャケット記録部２１には、これらのコンテンツに関連する画像、および関連する情報が蓄積されている。

本実施形態において、カメラ１０は、これらの情報を通信及び制御部４、およびパーソナルコンピュータ２０の通信及び制御部２４を介して、コンテンツジャケット記録部２１より取得する。しかし、この方法以外にも、パーソナルコンピュータ２０からインターネット等のネットワークを介して外部サーバー等から取得しても良く、また、カメラ１０がインターネット等のネットワークを介して、直接外部サーバー等にアクセスし、これらの情報を取得するようにしても良い。また、この方法以外にも、メモリカード等、これらの情報が記録された記録媒体を利用するようにしても良い。

次に、図２を用いて、本実施形態における動作について説明する。まず、図２（ａ）に示すように、カメラ１０を用いて撮影を行う。続いて、図２（ｂ）に示すように、カメラ１０をパーソナルコンピュータ２０に接続する。このとき、ユーザーは表示部８に再生された撮影画像を見ながら代表画像を選択する。カメラ１０の類似画像検索部８等は、代表画像と類似する補助画像の検索を行い、検索された補助画像を補助コンテンツ記録部９に記録する。

カメラ１０で撮影した画像は、カメラ１０の表示部５で通常の１駒単位での再生表示やスライドショーで楽しむこともできるが、図２（ｃ）に示すようにテレビ３０に接続し、友人等、多数の人と一緒に見て楽しむことができる。また、テレビ３０で再生表示して楽しむにあたって、図２（ｄ）に示すように、導入用画像として、みんなの知っているコンテンツ（補助画像）を再生表示し、始まる際の心の準備をしてもらうことができる。

図２（ｄ）に示すスライドショーは、撮影画像の１駒だけを再生するのではなく、撮影画像の中から複数選びスライドショーで鑑賞する際に、補助コンテンツ（補助画像）として検索した音楽ＣＤ等のジャケットを組み合わせて表示する。すなわち、図２（ｃ）に示すような撮影画像１００を再生表示する先だって、図２（ｄ）に示すように、撮影画像１００に類似したジャケット画像１１０を表示する。このような補助コンテンツ（この場合は、ジャケット画像１１０）を表示することにより、単に撮影画像１００を表示するだけより、鑑賞者の興味をひきつけることができる。

なお、この音楽ＣＤに記録されている音楽をＢＧＭとして利用すれば、さらに雰囲気を盛り上げるのに役立てることができる。すなわち、補助画像の元となっている音楽ＣＤの音楽は、撮影画像の持つ雰囲気と同じジャケットの音楽であることから、自然で調和した感じの場合が多く、わざわざ選曲する手間を省くことができる。

また、図３（ａ）に示すような音楽ＣＤのジャケットのジャケット画像１１０を検索対象として類似画像の検索を行う場合、図３（ｂ）に示すように文字の部分を除去し、純粋に画像部分１１１のみを抽出する。そして、図３（ｃ）に示すような撮影画像１００と、図３（ｂ）に示すような画像部分１１１の比較を行って、撮影画像１００と類似する画像の検索を行う。

なお、類似画像の検索時には、画面内の顔の位置や大きさの情報を利用するようにしても良い。近年、カメラの分野では、ピントや露出を合わせるために、画面内から顔の位置を特定する技術の研究が行われており、このような技術を応用すれば良い。

次に、本実施形態におけるカメラ１０の動作を、図４に示すフローチャートを用いて説明する。カメラ制御のフローに入ると、まず、再生モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、再生モードと撮影モードの２つのモードが使用可能である。判定の結果、再生モードが設定されていない場合には、撮影モードと判定され、次に、レリーズ釦の操作状態を検出し、撮影を行うか否かの判定を行う（Ｓ２）。

判定の結果、撮影ではなかった場合には、ステップＳ１に戻り、一方、撮影であった場合には、撮影動作を実行する（Ｓ３）。撮影動作は、撮影部１において、被写体像の画像データを取得し、この画像データを画像記録部２に記録する。撮影動作が終わると、リターンし、ステップＳ１に戻る。

ステップＳ１における判定の結果、再生モードであった場合には、再生釦等の操作状態を検出し、再生を行うか否かの判定を行う（Ｓ１１）。判定の結果、再生を行う場合には、ステップＳ１２以下に進み、再生モードを実行する。本実施形態における再生モードでは、通常の再生表示や通常のスライドショーに加えて、補助コンテンツと組み合わせたスライドショーによる再生表示が可能である。

次に、データベース（ＤＢ）通信を行うか否かの判定を行う（Ｓ１３）。カメラ１０のユーザーが、補助コンテンツとしての補助画像を得る場合には、ユーザーはその旨の操作を行うので、このステップでは、操作が行われたか否かの判定を行う。判定の結果、ＤＢ通信を行う場合には、続いて、類似画像の検索を行うか否かの判定を行う（Ｓ２１）。ここでの判定は、ユーザーによる検索開始の操作がなされたか否かである。

ステップＳ２１における判定の結果、検索開始ではなかった場合には、ステップＳ１に戻る。一方、検索開始の場合には、代表画像の指定を行う（Ｓ２２）。このステップでは、画像記録部２に記録されている撮影画像を表示部５に順次再生表示させ、この再生表示された撮影画像の中から、ユーザーが好みに応じて代表画像を指定する。

代表画像の指定が終わると、次に、選択された代表画像と類似する画像の検索を行う（Ｓ２３）。この類似画像を検索する画像一致度判定のサブルーチンについては、図５を用いて後述する。続いて、ステップＳ２２で指定された代表画像について、全ての対象画像と画像一致度判定がなされ、終了したかを判定する（Ｓ２５）。判定の結果、終了ではなかった場合には、対象画像を変更し（Ｓ２７）、ステップＳ２３に戻り、ステップＳ２７で変更された対象画像に対して画像一致度の判定を行う。

ステップＳ２５において、全ての対象画像との画像一致度の判定が終了したと判定されると、次に、一致度最大の画像を取得する（Ｓ２６）。ステップＳ２３の画像一致度判定のサブルーチンの中で、対象画像ごとに一致度が数値化されるので、一致度を判定した対象画像の中で一致度の数値が最も高い対象画像を、このステップで取得し、これを補助画像とする。一致度最大画像を取得すると、リターンし、ステップＳ１から実行する。なお、スライドショーで補助画像と共に再生表示する代表画像は通常１駒とするが、複数ある場合には、代表画像の選択を複数回、繰り返す。

ステップＳ１３における判定の結果、ＤＢ通信でなかった場合には、次にスライドショーか否かの判定を行う（Ｓ１４）。判定の結果、スライドショーでなかった場合には、通常の再生表示、例えば、サムネイル再生からの選択画像の再生表示を行う（Ｓ１５）。一方、スライドショーの場合には、ステップＳ３１以下のステップを実行することにより、補助画像（ステップＳ２６において取得した画像）をあたかもスライドショーのオープニング画面のように再生した後に、代表画像を再生表示し、その後、順次、撮影した時系列に従って撮影画像をスライドショーの形式で再生表示する。

スライドショーは、まず、画像受信済みか否かの判定を行う（Ｓ３１）。すなわち、ステップＳ１３において、ＤＢ通信を行い、ステップＳ２６において補助画像を取得したか否かの判定を行う。

判定の結果、画像受信済みの場合には、外部出力を行うか否かの判定を行う（Ｓ３２）。カメラ１０にテレビ３０が接続され、図２（ｃ）（ｄ）に示したように多人数で鑑賞する場合には、このステップで、スライドショーの画像データをテレビ３０等の外部機器に外部出力を行う。判定の結果、外部出力の場合には、通信及び制御部４からテレビ３０等の外部機器に補助画像、代表画像、撮影画像等の画像データ等を出力する。画像外部出力が終わると、リターンし、ステップ１から実行する。

ステップＳ３２における判定の結果、外部出力でなかった場合には、補助画像の再生を行い（Ｓ３３）、続いて、代表画像の再生を行う（Ｓ３４）。代表画像の再生が終わると、撮影日時順に順次撮影画像をスライドショーする（Ｓ３５）。

このように通常のスライドショーに先立って、代表画像と類似している補助画像を再生表示し、その後、代表画像を再生表示している。つまり、図２（ｄ）に示すように、補助画像を最初に再生して、スライドショーの始まる感じを高め、そのあと、図２（ｃ）に示すように、撮影画像の再生を開始する。補助画像に続いて出される画像は、類似画像の検索の元となった代表画像である。代表画像が表示されることによって、何故、その補助画像が表示されたかが鑑賞者に理解される。図１における順番制御部７は、こうした並べ替えを行う。

ステップＳ３１における判定の結果、画像受信済みでなかった場合には、補助画像が検索されていないことから、ステップＳ３３、Ｓ３４をスキップし、ステップＳ３５の時系列スライドショーを実行する。時系列スライドショーが終わると、リターンし、ステップＳ１から実行する。

次に、ステップＳ２３における画像一致度判定のサブルーチンについて、図５に示すフローチャートを用いて説明する。画像一致度の判定するにあたって、コンテンツジャケット記録部２１等のデータベース（ＤＢ）に格納されているＤＢ画像は、撮影画像とアスペクト比が異なっている点に注意を要する。

例えば、ＬＰレコードや音楽ＣＤのジャケットのように正方形の画像と、通常のデジタルカメラの４：３の画像では、そのまま一致度を比較することが困難である。そこで、本実施形態においては、ＤＢ画像のアスペクト比に合わせて、撮影画像の中央部を切り出してから比較している。また、そのように切り出した範囲で、画像の類似度を比較すると共に、顔の位置を検出し、文字を除去した画像を用いて比較を行っている。

画像一致度判定のサブルーチンに入ると、まず、ステップＳ２２において指定された代表画像の顔の数と位置判定を行う（Ｓ１０１）。続いて、ステップＳ１０１における判定結果に基づいて、代表画像に顔が有ったか否かについて判定する（Ｓ１０２）。判定の結果、顔が有った場合には、データベース（ＤＢ）としてのコンテンツジャケット記録部２１に記録されている画像の中から顔の存在する画像を選択する（Ｓ１０３）。このステップでは、多数ある画像の中から対象画像として１つを選択する。前述した、ステップＳ２７の処理によって次の対象画像が選択され、また、ステップＳ２５において、全ての対象画像について処理が終了したかが判定される。

続いて、コンテンツジャケット記録部２１に記録されている画像のアスペクト比に合わせた範囲で、代表画像と比較を行う（Ｓ１０４）。そして、コンテンツジャケット記録部２１に記録されている画像と、アスペクト比を考慮した範囲内で、顔の位置や、顔の数が同じ画像を選択する（Ｓ１０５）。

ステップＳ１０２における判定の結果、代表画像に顔が存在していなかった場合には、コンテンツジャケット記録部２１に記録されて画像の中から顔が存在しない画像を選択する（Ｓ１１１）。そして、コンテンツジャケット記録部２１に記録されている画像のアスペクト比に合わせた範囲で、代表画像と比較を行う（Ｓ１１２）。

ステップＳ１０５またはＳ１１２における処理が終わると、次に、選択された画像の中に文字が存在しているか否かの判定を行う（Ｓ１０６）。前述したように、画像の中に文字等が混在していると、類似度の判定の精度が低下するため、事前に文字等を除いた部分で一致度を判定している。

ステップＳ１０６における判定の結果、文字が存在していた場合には、文字部以外で一致度を判定し（Ｓ１０７）、ステップＳ１０６において文字が存在していなかった場合には、ステップＳ１０７をスキップし、ステップＳ１０８に進む。

続いて、コンテンツジャケット記録部２１に記録されているＤＢ画像のアスペクト比に合わせた範囲の全体で、代表画像と類似の一致度を判定する（Ｓ１０８）。一致度の判定が終わると、元のルーチンに戻る。

以上説明したように、本発明の第１実施形態においては、スライドショーで撮影画像を再生表示する前に、代表画像と、この代表画像に類似した補助画像を再生表示する。補助画像は、ＤＢ画像が記録されているコンテンツジャケット記録部２１の中から検索しており、補助画像と代表画像を再生表示することにより、鑑賞者の興味を引き付けることができ、ユーザーに期待感や楽しみを与えることの可能である。

また、本実施形態においては、代表画像に顔画像が存在している必要がないことから、適用可能な画像の範囲が広く、また、代表画像は単に撮影画像から指定するだけであり、代表画像作成のための画像処理がなく、短時間で生成することができる。

さらに、本実施形態においては、ＤＢ画像のアスペクト比に応じた範囲で一致度の判定を行っており、また文字部分は無視して一致度を判定するようにしているので、短時間で精度の高い一致度の判定を行うことができる。

なお、本実施形態においては、ＤＢ画像としては、音楽ＣＤ等のジャケットや本等の表紙の画像であったが、これに限らず、例えば、カメラ１０の撮影者が既に撮影した画像や、また外部サーバーに記録されている第三者が撮影した画像や、イラスト・絵画等、その他種々の画像であっても良い。

また、本実施形態においては、時系列スライドショーに先立って冒頭部分のみに、代表画像および補助画像の再生表示を行っていたが、これに限らず、中間部分の区切りの良いタイミング等において第２の代表画像とその補助画像の再生表示を行うようにしても良い。さらに、本実施形態においては、カメラ１０とパーソナルコンピュータ２０を連携したシステムとしていたが、カメラ１０の画像選択部３、類似画像検索部８、顔検出文字検出及び加工部８ａ、スライドショー部６、順番制御部７、補助コンテンツ記録部９等の機能を、パーソナルコンピュータ２０とこれにインストールされたプログラムによって実行するようにしても良い。

次に、本発明の第２実施形態について、図６ないし図９を用いて説明する。第１実施形態においては類似画像の検索をカメラ１０内で行っていたが、第２実施形態においては、インターネット等のネットワークを経由してサーバー等の外部機器で類似画像検索を行うようにしている。

図６は第２実施形態に係わるカメラ１０、サーバー４０とからなる画像再生システムの構成を示すブロック図である。カメラ１０は、撮影部１、画像記録部２、画像選択部３、通信及び制御部４、表示部５、スライドショー部６、順番制御部７、補助コンテンツ記録部９を有している。これらの各部の機能は、図１に示した第１実施形態と同様であるので詳細な説明は省略する。

データベースとしての機能を果たすサーバー４０は、コンテンツジャケット記録部２１、類似画像検索部２２、顔検出文字検出及び加工部２３、通信及び制御部２４、代表画像仮記憶部２５を有する。通信及び制御部２４は、サーバー４０の全体制御を行うと共に、インターネット網等を通じてカメラ１０等の外部機器との通信を行う。

類似画像検索部２２および顔検出文字検出及び加工部２３は、図１に示した第１実施形態と同様であるので、詳細な説明は省略するが、顔検出文字検出及び加工部２３は顔の位置、数を検出し、また文字部分を抽出して画像から除去する機能を果たす。また、類似画像検索部２２は、コンテンツジャケット記録部２１に記録されている画像の中から代表画像と類似する画像を検索する。

代表画像仮記憶部２５は、カメラ１０の画像選択部３で指定された代表画像を、仮記憶するための記憶部である。前述した類似画像検索部２２は、代表画像仮記憶部２５に記憶されている代表画像を用いて検索を行う。

このように、カメラ１０側には、補助コンテンツ記録部９と、スライドショーの順番制御部７と、スライドショーのために画像記録部２や補助コンテンツ記録部９から逐次データを読み出して再生するスライドショー部６等を配置し、サーバー４０側には、カメラ１０から送られてきた代表画像を仮記憶する機能と、類似画像を検索する機能を持たせている。類似画像の検索にあたっては、第１実施形態と同様、人物画像か否かや、顔の位置、数などを考慮して検索を行うようにし、また、補助コンテンツの文字部は無視して処理する。

次に、図７を用いて、本実施形態における動作について説明する。図７に示すように、カメラ１０は、被写体１１を撮影し、このとき撮影した撮影画像１２の中から代表画像１２ａを指定し（図中Ｎｏ．４の画像）、この代表画像１２ａをネットワーク１９を介してサーバー４０に送信する。サーバー４０は、データベースとしてのコンテンツジャケット記録部２１から、代表画像と類似する類似画像を検索し、一致度の最も高い画像を補助画像２２とする。

補助画像２２が検索されると、サーバー４０はカメラ１０に補助画像２２を送信する。カメラ１０はスライドショーを開始すると、まず、検索された補助画像２２が再生表示され、続いて代表画像１２ａが再生され、この後、撮影順にＮｏ．１〜Ｎｏ．４の撮影画像１２が再生される。

また、補助画像２２は、出版されたコンテンツであるため、そのコンテンツに対してメーカーが付した付随情報や、ユーザーの感想や意見等、付随情報（図中Ａ〜Ｄ）が付いている。音楽ＣＤの場合には、付随情報として楽曲データも含まれている。そこで、補助画像２２の再生表示と共に、音楽ＣＤに収録されている楽曲を再生しながら、スライドショーを行うことが可能となる。また、曲名、作曲家、アーティストなど、その他の情報から、その音楽ＣＤには収録されていなくとも、同様の雰囲気を持つ楽曲を、検索して再生するようにしても良い。

次に、本実施形態におけるカメラ１０の動作を、図８に示すフローチャートを用いて説明する。図４に示した第１実施形態におけるカメラ制御と同じ処理ステップについては、同一のステップ番号を付与し、詳細な説明は省略する。第１実施形態においては、補助画像の検索はカメラ１０内において行っていたが、第２実施形態においては、サーバー４０において検索を行っており、この相違点を中心に説明する。

カメラ制御のフローに入り実行するステップＳ１〜ステップＳ１５は、第１実施形態と同様である。ステップＳ１３におけるＤＢ通信か否かの判定の結果、ＤＢ通信であった場合には、補助画像やその関連情報の取得を開始するか判定する（Ｓ２１Ａ）。この判定は、不図示の取得開始用の操作部材がユーザーによって操作されたか否かを検出する。

ステップＳ２１Ａにおける判定の結果、補助画像等の取得を行わない場合には、別の情報を取得すべく取得情報の変更を行ってから（Ｓ２９）、ステップＳ１に戻る。ステップＳ２９は、後述するステップＳ２６Ａにおいて取得した補助画像やその関連情報では満足できない場合に、さらに情報の取得を行うために、情報取得のための条件等を設定・変更する。一方、ステップＳ２１Ａにおける判定の結果、補助画像等の取得を開始する場合には、代表画像を指定し（Ｓ２２）、この指定された代表画像をサーバー４０に送信する（Ｓ２３Ａ）。代表画像は表示部５に再生表示されている撮影画像の中からユーザーが指定したものである。

代表画像の送信が終わると（Ｓ２５→Ｙｅｓ）、サーバー４０から一致度が最大となった画像（補助画像）と、この補助画像に関連する情報を取得する（Ｓ２６Ａ）。すなわち、補助画像等の検索はサーバー４０が行うので、カメラ１０はサーバー４０における検索が終了し、検索結果を送信されてくるのを待ち、送信されてくると、送信されてきた補助画像とその関連情報を取得する。関連情報としては、補助画像が音楽ＣＤのジャケットの画像であれば、音楽ＣＤに収録されている音楽等である。

ステップＳ１４における判定の結果、スライドショーでなかった場合には、画像受信済みか否かの判定を行う（Ｓ３１）。第２実施形態においては、補助画像の検索は、外部のサーバー４０において実施しており、このステップでは、サーバー４０から補助画像をステップＳ２６Ａにおいて受信したか否かの判定を行う。

ステップＳ３１における判定の結果、画像を受信していれば、図７を用いて説明したように、補助画像を再生表示し、また関連情報を用いて、例えば、音楽ＣＤの再生を行い（Ｓ３３Ａ）、代表画像を再生表示する（Ｓ３５Ａ）。補助画像と代表画像の再生表示を終えると、続いて、撮影画像を撮影日時順に順次、再生する通常のスライドショーを実行する（Ｓ３５Ａ）。

ステップＳ３１における判定の結果、画像を受信していない場合には、補助画像がないことから、ステップＳ３５Ａにおいて、通常のスライドショーを実行し、通常のスライドショーが終わると、リターンし、ステップＳ１から実行する。

このように、第２実施形態におけるカメラ１０は、画像検索は行わず、代表画像をサーバー４０に送信（Ｓ２４）し、サーバー４０から検索された補助画像等を取得し（Ｓ２６）、この補助画像を用いてスライドショーを実行している（Ｓ３３〜Ｓ３５）。また、ネット通信状態では、ネットを介して、外部に画像を送信し（Ｓ２３Ａ）、また得られた取得情報から、さらなる別の情報を取得している（Ｓ２９）。検索された補助画像等が気に入らない時や、楽曲が気に入らない時には、ステップＳ２９において、さらなる情報取得する旨を発信することができる。

なお、第２実施形態においても、第１実施形態と同様に、カメラ１０にテレビ３０を撮像可能とし、補助画像を再生表示するスライドショーを行うようにしても良い。この場合には、ステップＳ３１の次に、外部出力を行うかの判定し、判定結果に応じて、画像を外部に出力するようにする。

次に、本実施形態におけるサーバー４０の動作を、図９に示すフローチャートを用いて説明する。このフローに入ると、まず、代表画像を取得したか否かについて判定する（Ｓ５１）。前述したように、カメラ１０はステップＳ２３Ａにおいて、代表画像を送信してくるので、このステップにおいて代表画像を受信したか否かの判定を行う。

ステップＳ５１における判定の結果、代表画像を取得した場合には、取得した代表画像を代表画像仮記憶部２５に仮記憶する（Ｓ５２）。続いて、顔検出文字検出及び加工部２３によって対象画像から文字を除去する（Ｓ５３）。すなわち、コンテンツジャケット記録部２１に記録されている音楽ＣＤ等のジャケットの画像には、文字等が記載されており、この文字等を除去することにより、画像の一致度の判定の精度を向上させている。

続いて、顔検出文字検出及び加工部２３によって対象画像の顔の位置を検出し、この顔位置も考慮して、代表画像と対象画像の一致度を判定する（Ｓ５４）。ここでは、一致度に応じた数値を求めておく。一致度の判定が終わると、コンテンツジャケット記録部２１中の対象画像の全部について一致度の判定が終了したか否かの判定を行う（Ｓ５５）。判定の結果、終了していなかった場合には、次の対象画像に変更し（Ｓ５７）、ステップＳ５３に戻り、前述と同様に判定を繰り返す。

ステップＳ５５における判定の結果、全ての対象画像について判定が終わった場合には、一致度の最大の画像（補助画像）と、この補助画像の関連情報（例えば、収録されている音楽等）を、カメラ１０に送信する（Ｓ５６）。

続いて、カメラ１０から画像ＮＧを受けたか否かの判定を行う（Ｓ７１）。すなわち、カメラ１０のユーザーがサーバー４０から送信されてきた補助画像では満足できない場合には、ステップＳ２９において取得情報変更でその旨を送信してくる。判定の結果、画像ＮＧを受信した場合には、次に一致度の高い画像とその関連情報をカメラ１０に送信し（Ｓ７２）、ステップＳ７１に戻る。

ステップＳ７１における判定の結果、画像ＮＧでなかった場合には、次に、関連情報がＯＫか否かの判定を行う（Ｓ７３）。カメラ１０のユーザーが、サーバー４０から送信された関連情報では満足できない場合には、ステップＳ２９においてその旨を送信してくる。判定の結果、ＯＫではなかった場合には、補助画像に関連する別の関連情報を送信し（Ｓ７４）、ステップＳ７３に戻る。ステップＳ７３における判定の結果、関連情報がＯＫの場合には、リターンする。

ステップＳ５１の判定の結果、代表画像を取得していなかった場合には、通常の画像の記録と閲覧のサーバーとして働く。まず、記録用の画像を取得したか否かの判定を行う（Ｓ６１）。判定の結果、記録用の画像を取得した場合には、その画像をサーバー４０内の記録用の画像記録部に記録し（Ｓ６２）、リターンする。

ステップＳ６１における判定の結果、記録用の画像を取得していなかった場合には、サーバー４０内に記録された画像の鑑賞か否かの判定を行う（Ｓ６３）。判定の結果、画像鑑賞でもなかった場合には、そのままリターンし、一方、画像鑑賞の場合には、アクセスに従って、画像の表示を行い（Ｓ６４）、リターンする。

このように、本発明の第２実施形態においては、サーバー４０が代表画像を取得すると、この代表画像を仮記憶し、類似のジャケットを有する音楽ＣＤ等の検索を行い（Ｓ５１→Ｓ５４）、検索された補助画像をカメラ１０に送信し（Ｓ５６）、この時、関連情報も一緒に送信する。ユーザーが送信した補助画像を気に入らない旨の操作を行った場合には、ステップＳ７１、Ｓ７３においてその旨を判定すると、別の補助画像や関連情報を送信する（Ｓ７１、Ｓ７４）。また、単なる撮影画像を記録する画像バンク機能を有しており、送信されてきた画像を保管し（Ｓ６２）、アクセスに応じて再生（Ｓ６３→Ｓ６４）している。サーバー４０としては画像バンク機能を省略してもよく、また他の機能を有するようにしても良い。

次に、本発明の第３実施形態について、図１０および図１１を用いて説明する。第１および第２実施形態において、補助画像はスライドショーの冒頭部分に再生表示し、また補助画像としては静止画像を単独に表示再生していた。第３実施形態においては、補助画像は最後に再生表示し、また補助画像の再生後、引き続き補助画像に関連する動画を再生表示するようにしている。

図１０は第３実施形態に係わるカメラ１０、テレビ３０、サーバー４０とからなる画像再生システムの構成を示すブロック図である。カメラ１０は、撮影部１、画像記録部２、画像選択部３、通信及び制御部４、表示部５、補助データ部６Ａを有している。補助データ部６Ａを除いて、各部の機能は、図１に示した第１実施形態と同様であるので同一の部については、詳細な説明は省略する。

補助データ部６Ａは、代表画像が有する撮影日時や撮影場所を画像に関連して記憶する記憶部である。撮影日時等の情報は、代表画像をサーバー４０に送信する際に、一緒に送信され、サーバー４０が補助画像の検索を行う際に、撮影日時等の情報も考慮して行う。

データベースとしての機能を果たすサーバー４０は、コンテンツジャケット記録部２１、類似画像検索部２２、通信及び制御部２４、代表画像及びデータ仮記憶部２５Ａ、画像記録部２６、関連情報検索部２７、順次再生部２８、ネット配信部２９を有する。コンテンツジャケット記録部２１等は第２実施形態と同様であるので、相違する部を中心に説明する。

コンテンツジャケット記録部２１は、第１実施形態と同様に、音楽ＣＤ等に加え、ＤＶＤ等の動画のジャケットの画像およびその関連映像等も記憶している。ＤＶＤ等の動画の場合には、ジャケット画像以外にも、動画の画像の先頭画像も検索用に記憶している。同様に、漫画やアニメ等の画像のあるコンテンツの場合には、表紙の画像以外に、最初の画像も検索用に記憶している。類似画像及びデータ検索部２２は、代表画像と類似する画像をコンテンツジャケット記録部２１の中から検索し補助画像として出力する。代表画像及びデータ仮記憶部２５Ａは、カメラ１０から送信されてきた代表画像と、補助データ部６に記憶され、代表画像に関連付けて送信された撮影日時等の情報を記憶する。

画像記録部２６は、カメラ１０の画像記録部２に記憶され、スライドショーで再生表示する撮影画像等を記録する。関連情報検索部２７は、補助画像（音楽ＣＤや映像ＤＶＤ等のジャケット等）に関連する情報、例えば、音楽ＣＤに関連する作曲家名、アーティスト名等を検索する。

順次再生部２８は、画像記録部２６に記録されている撮影画像、類似画像及びデータ検索部２２で検索された補助画像、関連情報検索部２７において検索された関連情報を基に、これらの画像や情報の再生表示の順番を制御する。ネット配信部２９は、インターネット等のネットワークを介して、テレビ３０に接続されており、順次再生部２８によって順次出力される撮影画像や補助画像等を、テレビ３０に送信する。テレビ３０は、大画面テレビであり、ネット配信部２９から配信された画像や情報を再生表示する。

次に、図１１を用いて、本実施形態における動作について説明する。カメラ１０で撮影した撮影画像１２の中から代表画像１２ａ（図中Ｎｏ．４の画像でもある）を指定して、ネットワーク１９を介して、サーバー４０に送信する。なお、代表画像１２ａ以外にも、スライドショーに使用する撮影画像の全て（図中、Ｎｏ．１〜Ｎｏ３）も併せて送信する。サーバー４０は、データベースとしてのコンテンツジャケット記録部２１から、類似画像を検索し、一致度の最も高い画像を補助画像２２とする。

サーバー４０は、類似画像及びデータ検索部２２において類似画像を検索し、また関連情報を検索する。そして、順次再生制御部２８は、撮影画像を撮影日時順に順次、ネット配信部２９、ネットワーク１９を介して、テレビ３０に送信し、テレビ３０は再生表示する。そして、スライドショーの最後に、代表画像１２ａを送信し、続いてこの代表画像１２ａに類似する補助画像２２を再生表示する。

この実施形態においては、代表画像１２ａに類似したＤＶＤのジャケットの画像による補助画像２２を送信しており、この補助画像２２を再生表示した後に、このＤＶＤに収録されている動画１２０を再生する。この例では、ウィーンに旅の思い出となる写真をスライドショーした後に、ウィーンを題材としたＤＶＤによる動画１２０を再生するようにしている。

第１及び第２実施形態においては、代表画像１２ａに応じた補助画像２２を先頭にして表示する例を説明したが、本実施形態においては、補助画像２２を最後に再生し鑑賞者に強い印象を残すスライドショーにしている。勿論、最後に再生する以外にも、スライドショーの途中で盛り上げを狙った場所で、代表画像１２ａを再生してもよい。この再生のタイミングは、ユーザーが任意に設定できるようにしても良い。また、代表画像１２ａの再生順番に応じて、補助画像２２の再生順番を決定するようにしてもよい。さらに、テレビ３０に再生表示するのではなく、第１および第２実施形態と同様に、カメラ１０で再生表示するようにしても良い。

さらに、撮影画像１２に基づくスライドショーの最後の画像の表示の後、これに連続して、検索されたＤＶＤの映像、例えば、旅行の写真を見終わった後、同じ場所を舞台にした映画やドキュメンタリーを鑑賞できるようにすることにより、さらに旅情がかきたてられ、思い出にふけることが可能となる。

次に、本発明の第３実施形態の変形例を図１２及び図１３を用いて説明する。第１ないし第３実施形態においては、表示部において一つの画像を順次、表示していたが、この第１の変形例においては、複数表示するようにしている。すなわち、図１２に示すように、テレビ３０の画面が大画面の場合には、一つの画面上に複数の画像を表示することが可能になるので、時分割表示にこだわる必要はない。テレビ３０の大画面に撮影画像を複数並べ、これらを切り換えながら、同時にＤＶＤを再生するような応用も可能となる。なお、この第３実施形態の変形例の構成は、図１０に示した第３実施形態の構成と同様であるので、詳細な説明は省略する。

また、第１ないし第３実施形態においては、代表画像をユーザーが指定し、補助画像を取得するようにしていたが、図１３に示す補助コンテンツ決定のフローチャートを実行することにより、撮影画像の中から自動的に補助画像を選択するようにしても良い。

補助コンテンツ決定のフローに入ると、最初の撮影画像をまず選択する（Ｓ２０１）。次に、選択されている撮影画像と類似する画像を、コンテンツジャケット記録部２１の中から検索する（Ｓ２０３）。類似度が所定値以上のコンテンツ（画像）を仮に記録する（Ｓ２０３）。続いて、撮影画像の中から次の画像を選択する（Ｓ２０４）。

別の画像を選択すると、次に、撮影画像がないか否かを判定する（Ｓ２０５）。判定の結果、次の撮影画像が有る場合には、ステップＳ２０２に戻り、前述のステップを繰り返し、類似度が所定値以上のコンテンツを記録する。ステップＳ２０５における判定の結果、撮影画像がない場合、すなわち、全ての撮影画像について、検索が終わると、所定回数以上、検索され、ステップＳ２０３において仮記録されたコンテンツを補助コンテンツ（補助画像）として、送信する（Ｓ２０６）。送信としては、第１および第２実施形態のようにカメラ１０で再生表示する場合にはカメラ１０に、第３実施形態のようにテレビ３０にネットワークを介して配信する場合には、テレビ３０に送信する。

このように、何度も検索されるようなコンテンツであれば、撮影画像と関連性の高い補助コンテンツといえる。例えばウィーン旅行なら、撮影画像の中に、ウィーンの風物が多く含まれていることから、確実にその土地と関係ある映画や音楽を選択することができ、画像再生を自然に盛り上げることが可能となる。

以上説明したように、本発明の各実施形態においては、代表画像とコンテンツに関する画像とを比較し、類似する画像を補助画像として検索し、スライドショーを行うにあたって、補助画像を再生表示してから代表画像を再生表示している。このため、顔以外の画像であっても補助画像の検索が可能であることから、適用可能な画像の範囲が広いという効果を奏する。また、代表画像を生成する必要がないことから、短時間で処理することができる。さらに、補助画像はコンテンツに関する画像であることから、ユーザーに期待感や楽しみを与えることが可能である。

なお、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮影部、２・・・画像記録部、３・・・画像選択部、４・・・通信及び制御部、５・・・表示部、６・・・スライドショー部、６Ａ・・・補助データ部、７・・・順番制御部、８・・・類似画像検索部、８ａ・・・顔検出文字検出及び加工部、９・・・補助コンテンツ記録部、１０・・・カメラ、１２・・・撮影画像、１２ａ・・・代表画像、２０・・・パーソナルコンピュータ、２１・・・コンテンツジャケット記録部、２２・・・補助画像、２３・・・顔検出文字検出及び加工部、２４・・・通信及び制御部、２５・・・代表画像仮記憶部、２５Ａ・・・代表画像及びデータ仮記憶部、２６・・・画像記録部、２７・・・関連情報検索部、２８・・・順次再生部、２９・・・ネット配信部、３０・・・テレビ、４０・・・サーバー、１００・・・撮影画像、１１０・・・ジャケット画像、１１１・・・画像部分、１２０・・・動画

Claims (5)

1. 撮影画像と類似した類似画像を、文字を含む画像のデータベースから検索する画像検索システムにおいて、
   画像の顔の位置と数と大きさを検出する顔検出部を有し、
   上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第１の画像検索を行い、上記第１の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第２の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索部と、
   検索された画像を、上記撮影画像と組み合わせて順次表示するための補助画像として再生表示する再生部と、
   を具備することを特徴とする画像検索システム。
2. 撮影画像と類似した類似画像を、文字を含む画像のデータベースから検索する画像検索システムにおいて、
   画像の顔の位置と数と大きさを検出する顔検出部を有し、
   上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第１の画像検索を行い、上記第１の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第２の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索部と、
   を具備し、
   上記データベースに含まれる画像は、画像や音楽を含むコンテンツのパッケージ画像であることを特徴とする画像検索システム。
3. 上記画像検索システムは、検索された画像を補助画像とし、上記撮影画像と組み合わせて順次表示するスライドショー再生部を具備し、
   上記スライドショー再生部は、上記順次表示をしながら上記コンテンツのパッケージに含まれる音楽データを再生することを特徴とする請求項２に記載の画像検索システム。
4. 顔検出部と、文字を含む画像のデータベースと、撮影画像と類似した類似画像を上記データベースから検索する検索部と、再生部を有する画像検索システムの画像検索方法において、
   上記顔検出部が、画像の顔の位置と数と大きさを検出する顔検出ステップと、
   上記検索部が、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第１の画像検索を行い、上記第１の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第２の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索ステップと、
   上記再生部が、検索された画像を、上記撮影画像と組み合わせて順次表示するための補助画像として再生表示する再生ステップと、
   を具備することを特徴とする画像検索方法。
5. 顔検出部と、文字を含む画像のデータベースと、撮影画像と類似した類似画像を上記データベースから検索する検索部を有する画像検索システムの画像検索方法において、
   上記顔検出部が、画像の顔の位置と数と大きさを検出する顔検出ステップと、
   上記検索部が、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第１の画像検索を行い、上記第１の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第２の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索ステップと、
   を具備し、
   上記データベースに含まれる画像は、画像や音楽を含むコンテンツのパッケージ画像であることを特徴とする画像検索方法。