JP5582453B2 - 画像管理装置、画像管理方法およびプログラム - Google Patents

Description

本発明は、画像管理装置、画像管理方法およびプログラムに関し、詳細には、デジタルカメラ等で撮影された画像をユーザ間で共有することができる画像管理装置、画像管理方法およびプログラムに関する。

被写体画像（以下、写真ともいう）を電子データ（画像ファイル）として記録保存できるデジタルカメラ等の撮像装置は、大量の写真を撮影できる、撮影済みの写真をその場で再生して確認できるなどの利点を有するほか、とりわけ、電子データであるが故のメリット、たとえば、画像ファイルをメールに添付して所望の相手に送信できるという利点を有している。

しかし、このようなメール送信は、送信者の意図的行為（“この写真をＡさんに見せたい”などという意図）に基づくものであるので、相手（この場合“Ａさん”）にしてみれば、いつその写真が届くのか不明である。

そこで、画像共有サービス、つまり、デジタルカメラ等で撮影した写真をネットワーク上のサーバにアップロードして蓄積するとともに、各ユーザ端末からの要求に応じてその写真を閲覧できるようにしたサービスが行われている。

たとえば、下記の特許文献１には、そのような画像共有サービスの一例が示されているが、この文献には、画像の検索について特段の記載がないため、たとえば、サーバに蓄積された大量の写真の中から所望の写真を見つけ出せないという欠点がある。

この点において、たとえば、下記の特許文献２には、写真と一緒に、それらの写真の「撮影位置」や「撮影日時」および「撮影方向」といった撮影情報をサーバに蓄積し、その撮影情報のいずれかをキーワードにして写真の検索を行うようにした技術が示されている。

特開２００９−１１６５００号公報 特開平１１−２５９５０２号公報

しかしながら、特許文献２に記載の技術にあっては、いちいちキーワードを入力しなければならず、手間が掛かって使い勝手が悪いという問題点がある。

そこで、本発明の目的は、キーワード入力を必要とせずに画像の検索を行うことができる画像管理装置、画像管理方法およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点に係る画像管理装置は、複数のユーザの複数の画像を蓄積する画像蓄積手段と、前記蓄積された各画像に対応付けて、少なくとも当該画像の撮影場所情報と当該画像のユーザを示すユーザ情報を記憶する撮影情報記憶手段と、複数の撮影場所情報を取得する取得手段と、前記取得手段により取得した複数の前記撮影場所情報の変化を示す第１の変化線を生成する変化線生成手段と、前記複数のユーザのうちの一人が蓄積した複数の画像を指定する指定手段と、前記画像蓄積手段に蓄積されている複数の画像のうち、前記指定手段により指定された複数の画像の中から、前記変化線生成手段により生成された前記第１の変化線と前記撮影情報記憶手段に記憶されている前記撮影場所情報とに基づく画像をサーチするサーチ手段とを備える。
本発明の第２の観点に係る画像管理方法は、複数のユーザの複数の画像を蓄積する画像蓄積工程と、蓄積された各画像に対応付けて、少なくとも当該画像の撮影場所情報と当該画像のユーザを示すユーザ情報を記憶する撮影情報記憶工程と、複数の撮影場所情報を取得する取得工程と、前記取得工程により取得した複数の前記撮影場所情報の変化を示す変化線を生成する変化線生成工程と、前記複数のユーザのうちの一人が蓄積した複数の画像を指定する指定工程と、蓄積されている複数の画像のうち、前記指定工程により指定された複数の画像の中から、前記変化線生成工程により生成された前記変化線と記憶されている前記撮影場所情報とに基づく画像をサーチするサーチ工程とを含む。
本発明の第３の観点に係るプログラムは、ネットワーク上のサーバのコンピュータに、複数のユーザの複数の画像を蓄積する画像蓄積手段、前記蓄積された各画像に対応付けて、少なくとも当該画像の撮影場所情報と当該画像のユーザを示すユーザ情報を記憶する撮影情報記憶手段、複数の撮影場所情報を取得する取得手段、前記取得手段により取得した複数の前記撮影場所情報の変化を示す変化線を生成する変化線生成手段、前記複数のユーザのうちの一人が蓄積した複数の画像を指定する指定手段、前記画像蓄積手段に蓄積されている複数の画像のうち、前記指定手段により指定された複数の画像の中から、前記変化線生成手段により生成された前記変化線と前記撮影情報記憶手段に記憶されている前記撮影場所情報とに基づく画像をサーチするサーチ手段としての機能を実現させる。

本発明によれば、キーワード入力を必要とせずに画像の検索を行うことができる画像管理装置、画像管理方法およびプログラムを提供することができる。

実施形態の全体的な構成図である。 サーバ２と端末３〜５の構成図である。 グルーピング情報の概念図である。 箱３０の内部を上面から俯瞰した図である。 画像のファイル構造図である。 付加情報テーブルの構造図である。 撮像装置６〜８の構成図である。 端末３〜５の動作フロー図である。 グルーピング用基準画像の指定画面を示す図である。 サーバ２の動作フロー図である。 画像受信処理の動作フローを示す図である。 キーワード検索処理の動作フローを示す図である。 グルーピング検索処理の動作フローを示す図である。 グルーピング検索の説明図である。

以下、本発明の実施形態を、図面を参照しながら説明する。
まず、構成を説明する。
図１は、実施形態の全体的な構成図である。この図において、インターネット等のネットワーク１にはサーバ２と各ユーザ９〜１１の端末３〜５が接続されている。なお、ここでは、３台の端末３〜５しか示していないが、これは説明の便宜である。実際には多数台であり、少なくとも２台以上であればよい。

サーバ２は、各端末３〜５から任意にアップロードされた画像ファイル（以下、単に画像ということもある）を蓄積し、また、各端末３〜５からの要求に応答して蓄積されている画像の閲覧を許容するいわゆる画像蓄積サーバである。なお、“閲覧”とは、一般的に端末３〜５の画面上に画像を表示してその画像を鑑賞する行為のことをいうが、実施形態では、このような狭義の解釈に限定しない。要求元の端末３〜５にダウンロードして“利用”する行為すべてを指すものとする。すなわち、閲覧は“利用”の一形態に過ぎず、たとえば、印刷したり、他に転送したりする行為も含むものとする。

各端末３〜５には、デジタルカメラ等の撮像装置６〜８を適宜に接続できるようになっている。たとえば、ユーザ９が端末３と撮像装置６を所有し、ユーザ１０が端末４と撮像装置７を所有し、ユーザ１１が端末５と撮像装置８を所有している場合、ユーザ９は、必要に応じて端末３と撮像装置６を接続してその撮像装置６に保存されている画像を端末３に取り込むことができる。同様に、ユーザ１０は、必要に応じて端末４と撮像装置７を接続してその撮像装置７に保存されている画像を端末４に取り込むことができ、ユーザ１１は、必要に応じて端末５と撮像装置８を接続してその撮像装置８に保存されている画像を端末５に取り込むことができる。

なお、端末３〜５と撮像装置６〜８との間の“接続”は、ケーブル接続またはワイヤレス接続のいずれであってもよい。要は、撮像装置８に保存されている画像を端末５に取り込むことができればよい。あるいは、たとえば、撮像装置６〜８の記憶媒体（フラッシュメモリ等の記憶媒体）が着脱式の場合は、撮像装置６〜８から記憶媒体を取り外し、その記憶媒体を端末３〜５（のメディアスロット等）にセットするような行為も上記の“接続”の解釈に含めてもよい。

ユーザ９〜１１は、必要に応じて、端末３〜５に取り込んだ画像をサーバ２にアップロードすることができる。これにより、サーバ２を外部の画像保管場所として利用することができ、端末３〜５のトラブル（取り込んだ画像の消失）に備えることができるうえ、さらに、ネットワーク１上の他のユーザに画像を公開することもできる。
なお、端末３〜５は必ずしもユーザ９〜１１自身の所有物である必要はない。他のユーザの所有物であってもよく、あるいは、コンビニエンスストアやネットカフェなどに備えられているネットワーク端末などであってもよい。
または、撮像装置６〜８に通信機能を付加できる場合、たとえば、通信カードなどを装着し、その通信カードを介してネットワークにアクセスできる場合は、ユーザ９〜１１は、端末３〜５を介さずに、撮像装置６〜８から直接サーバ２に画像を送信することも可能である。
いずれの場合も、要は、サーバ２で画像を受信した際に、どのユーザから送信された画像かを特定できるようになっていればよい。
それには、たとえば、各画像にユーザを識別する情報を付加して送信するようにしてもよいし、サーバ２と端末３〜５または撮像装置６〜８との間で複数画像の送信を開始する前後で１回だけユーザを識別する情報を送信するようにしてもよい。
また、ユーザを識別する情報は、画像送信元のネットワークアドレスや、機器の識別情報であってもよい。
また、１人のユーザが複数のカメラ（撮像装置６〜８）を所有している場合には、たとえば、各々のカメラ（撮像装置６〜８）で撮影された画像を同一ユーザが撮影した画像であるとして判断させてもよいし、別ユーザが撮影した画像であるとして判断させてもよい。

前記のように、利便性の高いサーバ２であるが、利用者（ユーザ）の増加に伴って画像の蓄積量が膨大なものになるため、画像の検索に工夫が必要になる。一般的な「画像蓄積サーバ」では、冒頭の特許文献２にも記載されているように、キーワード検索を行うことができる。このキーワード検索は、画像の付加情報を検索の対象とするものであり、たとえば、冒頭の特許文献２では、画像の「撮影位置」や「撮影日時」または「撮影方向」といた撮影情報をキーワードにしている。また、通常は画像の登録者情報も付加情報として記録するため、この登録者情報もキーワードにすることができる。

したがって、膨大な蓄積情報の中から所望の画像を探し出す際は、上記のキーワード（登録者情報や撮影情報）を適宜に使用して検索をかけることにより、たとえば、特定の登録者の画像で、且つ、特定期間に撮影された画像であって、しかも、特定地域で撮影された画像、といった条件検索を行うことができる。この検索条件は、［ユーザＩＤ］ＡＮＤ［２０１０／２／１〜２０１０／２／３１］ＡＮＤ［関東］という文字列式で書き表すことができる。ここで、［ユーザＩＤ］は登録者を指定するためのユニークな情報を示し、［２０１０／２／１〜２０１０／２／３１］は特定期間を示し、［関東］は特定地域を示している。また、“ＡＮＤ”は“および”に相当する条件論理記号である。

このような検索条件式は、データベースの分野で多用されているものであり、当該分野の知識を有する者にとっては理解しやすいものであるが、そうでない者にとっては馴染みがなく、簡単とはいえない。また、いずれの者にとっても、そのような検索条件式をいちいちキーボードで手入力するのは煩わしく、しかも文字数が多い場合は誤入力も否めない。

そこで、この実施形態では、キーワード検索の欠点（難解で操作が煩わしい上、誤入力も否めない）に鑑み、このような欠点がない簡単で使い勝手のよい検索技術を提案する。

図２は、サーバ２と端末３〜５の構成図である。まず、（ａ）に示すように、サーバ２は、ネットワーク１を介して端末３〜５との間でデータをやりとりする通信部２０と、コンピュータで構成された制御部２１と、その制御部２１の動作をソフトウェア的に記述したプログラムを記憶するプログラム記憶部２２と、キーボードやマウス等の操作部２３と、液晶ディスプレイ等の表示部２４と、端末３〜５からアップロードされた画像を蓄積する画像記憶部２５と、蓄積された画像の付加情報（詳細は後述）を記憶する付加情報記憶部２６と、所定のグルーピング情報を記憶するグルーピング情報記憶部２７とを有する。なお、この図では、画像記憶部２５、付加情報記憶部２６およびグルーピング情報記憶部２７を各々独立した記憶要素として描いているが、これに限らない。たとえば、ハードディスク等の記憶部に領域を作って各領域を画像記憶部２５、付加情報記憶部２６およびグルーピング情報記憶部２７として使用してもよい。

また、（ｂ）に示すように、端末３〜５は、ネットワーク１を介してサーバ２との間でデータをやりとりする通信部６０と、コンピュータで構成された制御部６１と、その制御部６１の動作をソフトウェア的に記述したプログラムを記憶するプログラム記憶部６２と、キーボードやマウス等の操作部６３と、液晶ディスプレイ等の表示部６４と、外部機器（撮像装置６〜８など）との間でデータの送受を行う外部インターフェース部６６と、外部機器（撮像装置６〜８など）から任意に取り込んだ画像や通信部６０を介してサーバ２から任意にダウンロードした画像などの様々なデータを記憶するデータ記憶部６５とを有する。

ここで、グルーピング情報とは、画像記憶部２５に蓄積されている画像を登録者（ユーザ９〜１１）ごとに分類するとともに、それぞれの画像の撮影日時や撮影場所の情報に従って所定の三次元マップ上にプロットしてゆき、それらのプロット点を結んで時間と場所の変化を示す変化線を描き、登録者ごとの変化線のうち所定の類似性を示す変化線の組を一つにとりまとめた（グルーピングした）情報のことをいう。

このグルーピング情報は、端的に言えば、行動をともにする複数のユーザによって撮影された画像をとりまとめる（グルーピングする）ための情報である。これは、たとえば、ユーザ９とユーザ１０がそれぞれ自分の撮像装置６、７を持って同じ行程で旅行に出かけたことを想定するとわかりやすい。ユーザ９とユーザ１０は旅の間、いろいろな場所で写真を撮るが、いずれの写真も同一時期と同一経路に沿ったものであるからである。

ちなみに、旅をともにしなかった他のユーザ１１の写真がアップロードされていたとしても、その写真は上記の条件（同一時期と同一経路）に当てはまらないはずであるので、グルーピングからは除外される。ただし、旅をともにしないユーザの写真が紛れ込む可能性は否定できない。偶然に「同一時期と同一経路」の行動をする恐れがあるからである。これを回避するには、グルーピングのサンプル数（プロット点）を増やせばよい。すなわち、グルーピングの際に、複数の写真の撮影日時の幅（撮影日時の範囲の広さ）または撮影場所の広がりの幅（撮影場所の範囲の広さ）が所定以上のものを判定の対象とすればよい。

図３は、グルーピング情報の概念図である。この図において、図中の箱３０は、縦軸を時間軸（図面の上が過去方向、下が現在方向である。）とし、箱３０の各スライス面（スライス方向は時間軸と直交する方向）を位置座標面としたものであり、且つ、位置座標面の短辺をＹ軸（地図上の経度に相当）、長辺をＸ軸（地図上の経度に相当）としたものである。したがって、この箱３０は、上記の「所定の三次元マップ」を模式化して表したものである。

箱３０の内部には一例として数本の線３１〜３５が描かれている。これらの線３１〜３５は、それぞれ上記の「変化線」に相当する。すなわち、線３１〜３５は、画像記憶部２５に蓄積されている画像を登録者（ユーザ９〜１１）ごとに分類するとともに、それぞれの画像の撮影日時と撮影場所の情報に従って三次元マップ上にプロットしてそれらのプロット点を結んだものである。

図４は、箱３０の内部を上面から俯瞰した図である。この図において、線３１〜３５は、それぞれ独自の変化（位置と時間の変化）を示しているが、それらの変化を観察すると特定の線の間に類似性が認められる。上記のとおり、線３１〜３５のそれぞれは「画像記憶部２５に蓄積されている画像を登録者（ユーザ９〜１１）ごとに分類」したものであるので、説明の便宜上、線３１をユーザＡ、線３２をユーザＢ、線３３をユーザＣ、線３４をユーザＤ、線３５をユーザＥの分類であるとし、且つ、それらのユーザによって撮影された写真の撮影場所と時間を同記号（Ａ〜Ｅ）を用いて図中にプロットすることにすると、特に、破線丸図形３６〜４１で囲ったプロット点において線が接近または交差するという類似性が認められる。

すなわち、この例では、ユーザＢの線３２とユーザＣの線３３が４つのプロット点（破線丸図形３６〜３９）で接近または交差しているとともに、ユーザＥの線３５と、ユーザＤ、ユーザＢおよびユーザＣの各線３２〜３４とが３つのプロット点（破線丸図形３８、４０、４１）で接近または交差している。

したがって、これらのことから、ユーザＢとユーザＣは、少なくとも上記の４つのプロット点において同時刻に同位置に存在したという事実（第一の事実）を認定でき、さらに、ユーザＥは、少なくとも上記の３つのプロット点において、ユーザＤ、Ｂ、Ｃと同時刻に同位置に存在したという事実（第二の事実）を認定できる。

そして、これらの事実認定より、ユーザＢとユーザＣは相当の可能性で行動をともにしていたということができ（第一の評価）、また、ユーザＥはその行動中にユーザＤ、Ｂ、Ｃと遭遇したということができる（第二の評価）。

もちろん、これらの評価のうち第一の評価は確実なものでない。４つ程度の遭遇は日常生活でしばしば発生するからである。より確実な評価を行うためには、上記の遭遇判定ポイント（線が接近または交差している箇所）の数を増やせばよい。

前記の「グルーピング情報」は、かかる評価結果を指すものであって、詳細には、行動をともにしていた複数のユーザにより、その行動中に適宜に撮影された写真をとりまとめる（グルーピングする）ための情報のことをいう。たとえば、図４の例に従えば、上記の第一の評価より、ユーザＢとユーザＣが相当の可能性で行動をともにしていたということができるから、それらのユーザＢ、Ｃによって行動中に撮影された写真（図４のＢ、Ｂ、Ｂ‥‥‥の写真とＣ、Ｃ、Ｃ‥‥‥の写真）をグルーピングするための情報になる。

したがって、たとえば、ユーザＢを図１のユーザ９とするとともに、ユーザＣを同じくユーザ１０とすると、サーバ２のグルーピング情報記憶部２７には、それらのユーザ９、１０によって同一の行動中に撮影されたすべての写真をグルーピングするための情報が記憶されることになる。

このようなグルーピングのための処理を「複数の撮影画像に基づく行動軌跡の一致判定処理」ということができる。この処理は、たとえば、以下の流れで行うことができる。
（１）まず、同じ撮像装置で撮影された複数の画像について、撮影日時に対する撮影位置の変化を示すグラフとしてプロットする。
（２）次に、この離散的にプロットされた複数の点（図４の符号Ａ〜Ｅ参照）を通る連続した近似曲線（図４の線３１〜３５参照）を求める。
（３）この近似曲線は、たとえば、スプライン関数などによる近似により求めることができる。
（４）次に、各撮像装置毎に、上記（１）〜（３）と同様に近似曲線を求める。
（５）次に、各近似曲線間の類似度を求める。
（６）この類似度判定は、たとえば、以下のようにして行う。
（６−１）所定時間毎（たとえば、１時間毎）に、２つの近似曲線間の差分値を求め、求められた複数の差分値の二乗平均を算出し、この二乗平均の値を２つの近似曲線間の類似度とする。
（６−２）２つの近似曲線の全ての組み合わせについて、上記の処理（６−１）により類似度を算出する。
（６−３）類似度が所定以上である２つの近似曲線を特定し、各近似曲線に対応する撮像装置の所有者（ユーザ）は行動を共にしたと判断する。
なお、上記の処理は、撮影位置を経度と緯度のベクトルとして考えて計算してもよいが、撮影位置を経度だけに着目した場合と、緯度だけに着目した場合とで別々に近似曲線および類似度を算出し、経度に基づく類似度と緯度に基づく類似度の両方が所定以上の類似度である場合に、各近似曲線に対応するカメラの所有者は行動を共にしたと判断するようにしてもよい。

図５は、画像のファイル構造図である。この図において、画像４２は、端末３〜５のいずれかからサーバ２にアップロードされ、そのサーバ２の画像記憶部２５に蓄積保存されたものであり、そのファイルは、撮影情報部４３と画像データ部４４の二つの構造部からなっている。画像データ部４４は画像の内容をデジタルデータ化して格納する部分であり、撮影情報部４３は、その画像の名前（ファイル名等）や撮影情報などを格納する部分である。ここで、撮影情報には、その画像を撮影した撮像装置の機器名（または機種コード、製造会社コード等）、その画像の撮影日時、および、その画像の撮影場所などの情報が含まれる。なお、それ以外にも画像サイズや符号化方式等の情報を含んでいてもよい。

図６は、付加情報テーブルの構造図である。この図において、付加情報テーブル４５は、行列構造のデータベーステーブルであり、各行を複数のフィールド、この例では、画像ＩＤフィールド４６、登録ユーザＩＤフィールド４７、登録日フィールド４８、撮影情報フィールド４９、画像格納場所フィールド４９、グルーピング情報フィールド５０‥‥‥などで構成するとともに、さらに、撮影情報フィールド４９を、ファイル名フィールド５２、撮影機器名フィールド５３、撮影日時フィールド５４、撮影場所フィールド５５‥‥‥などのサブフィールドで構成している。

ここで、画像ＩＤフィールド４６には画像記憶部２５に蓄積されている画像を一意に識別するためのユニークな情報（以下、画像ＩＤ）が格納され、登録ユーザＩＤフィールド４７には、その画像を登録したユーザを一意に識別するためのユニークな情報（以下、登録ユーザＩＤ）が格納される。
また、登録日フィールド４８には、その画像の登録日時（その画像のアップロード日時）が格納され、撮影情報フィールド４９（撮影機器名フィールド５３、撮影日時フィールド５４、撮影場所フィールド５５）には、その画像の撮影情報（図４の撮影情報部４３の各情報）が格納される。
また、画像格納場所フィールド４９には、その画像の格納場所（記憶部２５内の位置）を示すリンク情報が格納され、グルーピング情報フィールド５０には、その画像に関するグルーピング情報（グルーピング情報記憶部２７に格納されている情報）へのリンク情報が格納される。

図７は、撮像装置６〜８の構成図である。この図に示すように、撮像装置６〜８は、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の半導体イメージセンサからなる撮像部７０と、ＧＰＳ（Global Positioning System：全地球測位システム）衛星等からの情報に基づいて撮影位置を検出する位置検出部７１と、シャッタボタンや各種機能キー等からなる操作部７２と、コンピュータで構成された制御部７３と、その制御部７３の動作をソフトウェア的に記述したプログラムを記憶するプログラム記憶部７４と、液晶ディスプレイ等の表示部７５と、撮影済み画像などを記憶保存する画像記憶部７６と、外部機器（端末３〜５など）との間でデータの送受を行う外部インターフェース部７７と、バッテリを含む電源部７８とを有する。
撮像装置６〜８は、たとえば、デジタルカメラであるが、これに限定されない。少なくとも、これらの各部を備えたものであればよく、たとえば、カメラ付携帯電話機などであってもよい。

次に、作用を説明する。
図８は、端末３〜５の動作フロー図である。この動作フローは、端末３〜５のプログラム記憶部６２に記憶されているプログラムの要部を示すものであり、この動作フローは、たとえば、端末３〜５のキーボード上の所定キー操作または表示部６４上の所定アイコンの選択操作などが行われたときに開始される。

動作フローを開始すると、まず、表示部６４に所定のメニューを表示する（ステップＳ１１）。このメニューには「１．ユーザ登録」、「２．画像アップロード」、「３．画像検索」および「４．終了」という４つのメニュー項目が設けられており、キーボードの“１”〜“４”の数字キーを選択的に操作することにより、その数字キーに対応したメニュー項目が選択されるようになっている。「４．終了」が選択された場合は、動作フローを終了する。

一方、「１．ユーザ登録」が選択された場合は、ユーザ登録処理、すなわち、サーバ２に対してその端末の使用者を登録する処理を実行した後（ステップＳ１２）、再び、メニュー選択画面に戻る。このユーザ登録処理は、たとえば、不図示のユーザ登録画面を表示して所要のユーザ情報（ユーザ名や連絡先等の情報および必要であればパスワード等のセキュリティ情報）の入力を促し、必要な情報の入力完了後に、それらの情報をサーバ２に送信するようにしてもよい。この場合、サーバ２は、その情報に従って新規ユーザの登録処理を行えばよい。

なお、ユーザ登録処理が完了するまでは、「１．ユーザ登録」と「４．終了」以外の他のメニュー項目（「２．画像アップロード」と「３．画像検索」）を使用不可（選択できない状態）にしておくことが望ましい。

次に、「２．画像アップロード」が選択された場合は、画像の取り込み（ステップＳ１３）と画像のアップロード（ステップＳ１４）とを実行した後、再び、メニュー選択画面に戻る。なお、画像の取り込みとは、典型的には撮像装置６〜８に保存されている画像を端末３〜５に取り込むことをいうが、これに限定されない。“取り込み”の対象となる画像は、あくまでもサーバ２にアップロードするためのものであるので、たとえば、すでにデータ記憶部６５に記憶済みの画像であってもかまわない。また、その取り込み先も撮像装置６〜８やデータ記憶部６５以外のもの（たとえば、カメラ付携帯電話機等その他の撮像装置あるいはネットワーク１上の任意のサーバなど）であってもよい。

次に、「３．画像検索」が選択された場合は、表示部６４に検索モード選択メニューを表示する（ステップＳ１５）。このメニューには「１．キーワード検索」、「２．グルーピング検索」および「３．戻る」という３つのメニュー項目が設けられており、キーボードの“１”〜“３”の数字キーを選択的に操作することにより、その数字キーに対応したメニュー項目が選択されるようになっている。「３．戻る」が選択された場合は、再び、ステップＳ１１のメニュー選択画面に戻るが、「１．キーワード検索」や「２．グルーピング検索」が選択された場合は、それらに応じた処理を実行する。

＜キーワード検索＞
この検索では、まず、ユーザに対してキーワードの入力を促し（ステップＳ１６）、入力されたキーワードをサーバ２に送信する（ステップＳ１７）。そして、サーバ２からの応答（キーワード検索ヒットの有無）を待ち（ステップＳ１８）、ヒットありでなれば、その旨を示す警告メッセージ（たとえば、“該当する画像が見つかりませんでした”等）を表示し（ステップＳ１９）、再び、ステップＳ１５の検索モード選択メニュー画面に戻る。

一方、ヒットありの場合は、該当する画像（キーワード検索された画像）をサーバ２からダウンロードし（ステップＳ２０）、表示部６４に表示（ステップＳ２１）した後、再び、ステップＳ１５の検索モード選択メニュー画面に戻る。

キーワードには、画像の付加情報（登録者、撮影日時、撮影場所などの情報）を使用することができる。たとえば、登録者をキーワードにすると、その登録者の全画像をダウンロードすることができる。または、撮影日時や撮影場所などの情報をキーワードにすると、それらの撮影日時や撮影場所などに該当した撮影情報を持つ画像のみをダウンロードすることができる。あるいは、冒頭の従来技術のように撮影方向をキーワードにしてもよい。また、以上のキーワードを組み合わせて使用してもよい。たとえば、複数のキーワードをＡＮＤ結合で組み合わせると、それらのキーワードをすべて満たす画像をダウンロードすることができ、または、ＯＲ結合で組み合わせると、それらのキーワードのいずれかを満たす画像をダウンロードすることができる。

＜グルーピング検索＞
この検索では、まず、グルーピング用基準画像の指定を行う（ステップＳ２２）。“グルーピング用基準画像”とは、画像のグルーピングを行うための基準となる複数の画像のことをいう。サーバ２は、この基準画像に基づいて、大量に蓄積されている画像の中から所要の画像をグルーピングし、検索を行った端末に送信する。

図９は、グルーピング用基準画像の指定画面を示す図である。この図において、グルーピング用基準画像の指定画面８０には、適当な画面説明（図では“グルーピングの基準となる写真を指定して下さい。”）が表示されているとともに、その画面説明の下に、二つのコマンドボタン（以下、第１のコマンドボタン８１、第２のコマンドボタン８２という）が設けられている。

第１のコマンドボタン８１のタイトルは“基準となる写真をアップロードする”というものであり、第２のコマンドボタン８２のタイトルは“アップロード済みの写真を指定する”というものである。

“基準となる写真をアップロードする”とは、撮像装置６〜８に保存済みの画像またはデータ記憶部６５に取り込み済みの画像をグルーピング用基準画像としてサーバ２にアップロードすることをいい、一方、“アップロード済みの写真を指定する”とは、すでにサーバ２にアップロード済みの画像をグルーピング用基準画像として指定することをいう。

このため、第１のコマンドボタン８１が選択されたときには、画像の取り込み（ステップＳ２５）と画像のアップロード（ステップＳ２６）とを実行し、また、第２のコマンドボタン８２が選択されたときには、サーバ２に対してアップロードの日付を送信する（ステップＳ２７）ようになっている。

なお、ステップＳ２７における「アップロードの日付」はユーザによって入力される任意の日付であるが、この日付の入力は省略可能である。日付の入力が省略されたときは、当該ユーザによってもっとも最近に画像をアップロードした日付を上記の「アップロードの日付」としてみなす。

このように、グルーピング検索においては、グルーピング用基準画像として、「基準となる写真をアップロードする」のか、または「アップロード済みの写真を指定する」のかをボタン操作（第１のコマンドボタン８１、第２のコマンドボタン８２）によって任意に選択できるようになっており、たとえば、まだアップロードしていない画像を基準にしてグルーピング検索を行いたければ、第１のコマンドボタン８１を押せばよく、または、すでにサーバ２に登録済みの画像を基準にしてグルーピング検索を行いたければ、第２のコマンドボタン８２を押せばよい。
このため、撮影完了後に速やかにグルーピング検索を行うことができ、また、過去のアップロード画像に基づくグルーピング検索も好きなときに行うことができる。

サーバ２は、グルーピング用基準画像に基づいて画像記憶部２５に蓄積されている画像の中から所定の条件を満たす画像をグルーピングして取り出し、それらの画像を検索端末（端末３〜５のいずれか）に送信する。検索端末は、サーバ２からの応答（グルーピング検索ヒットの有無）を待ち（ステップＳ２３）、ヒットありでなれば、その旨を示す警告メッセージ（たとえば、“該当する画像が見つかりませんでした”等）を表示し（ステップＳ２４）、再び、ステップＳ１５の検索モード選択メニュー画面に戻る。

一方、ヒットありの場合は、該当する画像（クールーピング検索された画像）をサーバ２からダウンロードし（ステップＳ２０）、表示部６４に表示（ステップＳ２１）した後、再び、ステップＳ１５の検索モード選択メニュー画面に戻る。

図１０は、サーバ２の動作フロー図である。この動作フローは、サーバ２のプログラム記憶部２２に記憶されているプログラムの要部を示すものであり、この動作フローは、サーバ２の電源がオンになっている間、端末３〜５からのユーザ登録ありか否か（ステップＳ３１）、端末３〜５からの画像アップロードありか否か（ステップＳ３３）、端末３〜５からのキーワード検索要求ありか否か（ステップＳ３５）、端末３〜５からのグルービング検索要求ありか否か（ステップＳ３７）という４つの判定を繰り返し継続して実行し、いずれかの判定結果がＹＥＳになったときに、その判定に対応した処理を実行する。

すなわち、ユーザ登録ありを判定した場合（ステップＳ３１のＹＥＳ）は、ユーザ登録処理を実行し（ステップＳ３２）、画像受信ありを判定した場合（ステップＳ３３のＹＥＳ）は、画像受信処理を実行し（ステップＳ３４）、キーワード検索ありを判定した場合（ステップＳ３５のＹＥＳ）は、キーワード検索処理を実行し（ステップＳ３６）、グルーピング検索ありを判定した場合（ステップＳ３７のＹＥＳ）は、グルーピング検索処理を実行する（ステップＳ３８）。

ステップＳ３２のユーザ登録処理は、不図示のユーザデータベースにそのユーザに関する必要事項（ユーザ名や連絡先等の情報および必要であればパスワード等のセキュリティ情報）を登録する処理である。

図１１は、画像受信処理の動作フローを示す図である。この図に示すように、まず、端末３〜５からアップロードされた画像を受信し（ステップＳ４１）、全画像を受信したか否かを判定する（ステップＳ４２）。そして、全画像の受信を完了していなければ、再びステップＳ４１に戻り、全画像の受信を完了した場合は、受信画像を画像記憶部２５に格納（ステップＳ４３）するとともに、付加情報記憶部２６の情報を更新（ステップＳ４４）した後、図１０の動作フローに戻る。

ここで、付加情報記憶部２６の情報更新とは、図６の付加情報テーブル４５に受信画像の数に対応した新たなレコードを追加し、それらの各レコードに所要の情報を格納することをいう。具体的には、画像ＩＤフィールド４６に画像ＩＤを格納し、登録ユーザＩＤフィールド４７に登録ユーザＩＤを格納し、登録日時フィールド４８に画像のアップロード日時を格納し、撮影情報フィールド４９に撮影機器名や撮影日時および撮影場所などの撮影情報を格納するとともに、画像格納場所フィールド４９に各画像の登録先（画像記憶部２５の位置）を格納し、さらに、グルーピング情報フィールド５０にそれらの受信画像のグルーピング情報へのリンク情報を格納することをいう。

図１２は、キーワード検索処理の動作フローを示す図である。この図に示すように、まず、端末３〜５からのキーワードを受信し（ステップＳ５１）、次いで、そのキーワードに基づいて付加情報記憶部２６の付加情報テーブル４５を検索する（ステップＳ５２）。そして、そのキーワードに対応した情報がヒットしたか否かを判定し（ステップＳ５３）、ヒットしなかった場合は、その旨を端末に通知（ステップＳ５４）する一方、ヒットした場合は、該当する画像を画像記憶部２５から読み出して端末に送信（ステップＳ５５）した後、図１０の動作フローに戻る。

たとえば、特定のユーザの登録画像を検索する場合は、そのユーザを示す情報（ユーザ名等）をキーワードにして検索をかければよい。サーバ２は、そのユーザを示す情報（ユーザ名等）を受信すると、その情報からユーザＩＤを割り出し、そのユーザＩＤを用いて付加情報記憶部２６の付加情報テーブル４５を検索する。これにより、付加情報テーブル４５の登録ユーザＩＤフィールド４７に該当するユーザＩＤが格納されているレコードが抽出され、そのレコードの画像ＩＤフィールド４６と画像格納場所フィールド４９とを手掛かりにして、画像記憶部２５から該当する画像の読み出しが行われ、その画像が端末に送信される。このようなキーワード検索は、当然ながらユーザを示す情報（ユーザ名等）以外でも可能であり、たとえば、撮影機器名や撮影日時または撮影場所などの情報でも行うことができ、あるいは、それらの情報を適宜に組み合わせて行うこともできる。

図１３は、グルーピング検索処理の動作フローを示す図である。この図に示すように、まず、端末３〜５からのグルーピングの基準画像を示す情報を受信し（ステップＳ６１）、次いで、その情報に基づいてグルーピング記憶部２７の情報を検索する（ステップＳ６２）。そして、その該当する情報がヒットしたか否かを判定し（ステップＳ６３）、ヒットしなかった場合は、その旨を端末に通知（ステップＳ６４）する一方、ヒットした場合は、グルーピングされた画像を画像記憶部２５から読み出して端末に送信（ステップＳ６５）した後、図１０の動作フローに戻る。

ここで、ステップＳ６１における“グルーピングの基準画像を示す情報”とは、前出の図９において指定された「基準となる写真をアップロードする」に対応した画像であるのか、または、「アップロード済みの写真を指定する」に対応した画像であるのかを示す情報のことをいう。前者の場合（「基準となる写真をアップロードする」を選択した場合）は、直前に基準画像がサーバ２にアブロード（図９のステップＳ２６参照）され、その画像がサーバ２の画像記憶部２５に登録されているから、その画像（直前にアップロードされた画像）をグルーピングの基準画像とする。また、後者の場合（「アップロード済みの写真を指定する」を選択した場合）は、サーバ２の画像記憶部２５に登録済みの画像のうち、ユーザによって指定された登録日（図９のステップＳ２７参照）の画像をグルーピングの基準画像とする。

図１４は、グルーピング検索の説明図である。この図において、縦横等間隔に配列された６×５個の横長矩形状の図形は、それぞれ登録済みの写真（画像記憶部２５に蓄積済みの画像）を表しており、各図形の下に記載された文字列は「撮影日時」と「撮影場所」を例示している。また、それぞれの図形内に記載したアルファベット１文字と数字１文字からなる２桁の文字列は、それらの写真を登録したユーザと登録順を示しており、たとえば、“Ａ１”はユーザＡによって１番目に登録されたもの、“Ａ２”はユーザＡによって２番目に登録されたもの‥‥‥、“Ｂ１”はユーザＢによって１番目に登録されたもの、“Ｂ２”はユーザＢによって２番目に登録されたもの‥‥‥、“Ｅ１”はユーザＥによって１番目に登録されたもの、“Ｅ２”はユーザＥによって２番目に登録されたもの‥‥‥、を示している。

いま、グルーピング用基準画像として写真Ｂ１〜Ｂ６が指定されたものとする。すなわち、ユーザＢがグルーピング検索を行っているものとし、そのユーザＢがアップロードした写真Ｂ１〜Ｂ６を「グルーピング用基準画像」として指定されたものとする。この図では、説明の便宜上、それらの写真Ｂ１〜Ｂ６を黒く塗りつぶしている。

さて、写真Ｂ１〜Ｂ６の撮影情報によると、これらの写真Ｂ１〜Ｂ６は“２０１０／３／１”から“２０１０／３／６”にかけて順次に撮影されたこと、および、それぞれの撮影場所が“東京”、“小田原”、“静岡”、“浜松”、“名古屋”、“京都”というように東海道を西に辿りながら移動したことがわかる。

一方、ユーザＡの写真Ａ１〜Ａ６は北海道を“稚内”→“名寄”→“旭川”→“富良野”→“岩見沢”→“札幌”と巡りながらほぼ同時期に撮影されたもの、また、ユーザＤの写真Ｄ１〜Ｄ６は“福島”→“新潟”→“富山”→“金沢”→“福井”→“舞鶴”の経路でほぼ同時期に撮影されたもの、さらに、ユーザＥの写真Ｅ１〜Ｅ６は“秋田”→“酒田”→“新潟”→“長野”→“名古屋”→“伊勢”の経路でほぼ同時期に撮影されたもの、さらに、ユーザＣの写真Ｃ１〜Ｃ６は“東京”→“小田原”→“静岡”→“浜松”→“名古屋”→“京都”の経路でほぼ同時期に撮影されたものであることがわかる。

なお、ここでは、撮影場所として具体的な地名（“東京”〜）を示しているが、これは説明の便宜である。実際の撮影場所は、撮像装置３〜５の位置検出部７１によって検出された、たとえば、緯度経度などである。

さて、基準画像（ユーザＢの写真Ｂ１〜Ｂ６）と各ユーザの写真とを対比したとき、ユーザＣの写真Ｃ１〜Ｃ６は移動経路と撮影日時の点でほとんど基準画像と一致しているのに対し、他のユーザ（ユーザＡ、ユーザＤおよびユーザＥ）の各写真Ａ１〜Ａ６、Ｄ１〜Ｄ６、Ｅ１〜Ｅ６と基準画像との間には大きな一致はみられない。

具体的には、ユーザＢの写真Ｂ１とユーザＣの写真Ｃ１の撮影情報はともに“２０１０／３／１ １５：００ 東京”で一致し、同写真Ｂ２と写真Ｃ２の撮影情報は“２０１０／３／２ １５：００ 小田原”で一致し、同写真Ｂ３と写真Ｃ３の撮影情報は“２０１０／３／３ １５：００ 静岡”で一致し、同写真Ｂ４と写真Ｃ４の撮影情報は“２０１０／３／４ １５：００ 浜松”で一致し、同写真Ｂ５と写真Ｃ５の撮影情報は“２０１０／３／５ １５：００ 名古屋”で一致し、同写真Ｂ６と写真Ｃ６の撮影情報は“２０１０／３／６ １５：００ 京都”で一致している。

一方、ユーザＡの写真Ａ１〜Ａ６は、いずれも基準画像の撮影情報と一致せず、また、ユーザＤの写真Ｄ１〜Ｄ６も基準画像の撮影情報と一致していない。さらに、ユーザＥの写真Ｅ１〜Ｅ６は、そのうち一枚の写真Ｅ６だけが基準画像の一部の撮影情報と一致している。

以上のことから、基準画像（写真Ｂ１〜Ｂ６）を撮影したユーザＢと写真Ｃ１〜Ｃ６を撮影したユーザＣとは、相当の可能性で行動をともにしていたということができる。
また、ユーザＡとユーザＤは、ユーザＢと異なる場所にいたことが明白であるから、これらのユーザＡ、Ｄは、ユーザＢと行動をともにしていないということができる。

さらに、ユーザＢとユーザＥは、写真Ｂ５、Ｅ５の撮影情報から、特定の日時（“２０１０／３／５ １５：００”）に特定の場所（“名古屋”）に存在していたが、他の写真Ｂ１とＥ１、Ｂ２とＥ２、Ｂ３とＥ３、Ｂ４とＥ４、Ｂ６とＥ６の撮影情報が一致していないことから、上記の“存在”は、単なる偶然の遭遇であったということができる。

したがって、図１４の例の場合、基準画像（ユーザＢの写真Ｂ１〜Ｂ６）に対して相当の類似性があるものとしてグルーピングされる写真は、ユーザＢの写真Ｂ１〜Ｂ６とユーザＣの写真Ｃ１〜Ｃ６とになるから、結局、グルーピング検索を行ったユーザＢの端末に、ユーザＢの写真Ｂ１〜Ｂ６とユーザＣの写真Ｃ１〜Ｃ６が送信されることになる。

このように、実施形態のグルーピング検索にあっては、自分が撮影した写真をグルーピング用基準画像として指定するだけで、その基準画像に対して相当の類似性がある他のユーザの画像とその基準画像とを検索要求端末にまとめてダウンロードすることができる。その際、面倒なキーワード入力を行う必要がないので、操作が簡単であり、誰でも容易に使いこなすことができる。

また、サーバ２への画像登録（画像アップロード）に引き続いて上記のグルーピング検索を行ったり、または、すでに登録済みの画像をグルーピング用基準画像に指定して上記のグルーピング検索を行ったり、あるいは、通常のキーワード検索を行ったりすることができるので、その場の状況に応じた適切な検索スタイルを選択することができる。

なお、実施形態では、端末３〜５と撮像装置６〜８とを別構成としているが、これに限定されない。一体のもの（端末兼用撮像装置）とみなしてもよい。このような一体型の端末兼用撮像装置としては、たとえば、カメラ付携帯電話機やカメラ付情報処理端末（ＰＤＡやパソコンまたはゲーム端末など）がある。

また、実施形態では、あるユーザ（例：ユーザＢ）からのグルーピング検索要求に応答して、そのグルーピング検索によって得られた写真の閲覧をそのユーザＢに対して許容しているが、これに限定されない。他の特定のユーザに対しても許容してもよい。たとえば、ユーザＢからの要求に応じてグルーピング検索を行った結果、ユーザＣの写真がグルーピングされた場合を考えると、この場合、ユーザＢだけでなくユーザＣにも閲覧を許容してもよい。ユーザＢとユーザＣは行動をともにしながら写真を撮影したからであり、該当者全員に閲覧を許容するのが自然だからである。該当者全員に閲覧を許容するための仕組みとしては、たとえば、グルーピング検索の結果を、図６の付加情報テーブル４５に書き込むことが考えられる。すなわち、この付加情報テーブル４５に新たに閲覧許可フィールドを作っておき、その閲覧許可フィールドに、閲覧を許可するユーザＩＤを書き込んでおいてもよい。
前記のとおり、付加情報テーブル４５は、撮影情報フィールド４９を有しており、その撮影情報フィールド４９に「ファイル名」や「撮影機器名」および「撮影日時」並びに「撮影場所」の各情報を格納しているが、これに限定されない。少なくとも各画像の「撮影日時」や「撮影場所」および「撮影元」を含む撮影情報を格納していればよい。ここで、「撮影元」とは、その画像の出自やグルーピング検索の要求元を明らかにするための情報であって、たとえば、「画像の撮影者」、「画像の所有者」、「画像を撮影した撮像装置」、「検索を要求した利用者」、「検索を要求した端末」を示す情報のいずれかのことをいう。

１ ネットワーク
２ サーバ（画像管理装置）
３ 端末
４ 端末
５ 端末
９ ユーザ
１０ ユーザ
１１ ユーザ
２０ 通信部（画像送信手段）
２１ 制御部（撮影情報検索手段、画像読み出し手段）
２５ 画像記憶部（画像蓄積手段）
２６ 付加情報記憶部（撮影情報記憶手段）

Claims (9)

1. 複数のユーザの複数の画像を蓄積する画像蓄積手段と、
   前記蓄積された各画像に対応付けて、少なくとも当該画像の撮影場所情報と当該画像のユーザを示すユーザ情報を記憶する撮影情報記憶手段と、
   複数の撮影場所情報を取得する取得手段と、
   前記取得手段により取得した複数の前記撮影場所情報の変化を示す第１の変化線を生成する変化線生成手段と、
   前記複数のユーザのうちの一人が蓄積した複数の画像を指定する指定手段と、
   前記画像蓄積手段に蓄積されている複数の画像のうち、前記指定手段により指定された複数の画像の中から、前記変化線生成手段により生成された前記第１の変化線と前記撮影情報記憶手段に記憶されている前記撮影場所情報とに基づく画像をサーチするサーチ手段と、
   を備えたことを特徴とする画像管理装置。
2. 前記変化線生成手段は、前記画像蓄積手段に蓄積されている複数の画像を、前記撮影情報記憶手段に記憶されている前記ユーザ情報ごとに、当該ユーザ情報に対応付けられた複数の前記撮影場所情報の変化を示す第２の変化線を生成することを特徴とする請求項１に記載の画像管理装置。
3. 前記サーチ手段は、前記変化線生成手段により生成された前記第１の変化線と類似する前記第２の変化線を検索する検索手段を含み、前記画像蓄積手段に蓄積されている複数の画像の中から、前記検索手段により検索された変化線に属する複数の画像をサーチすることを特徴とする請求項２に記載の画像管理装置。
4. 前記サーチ手段によりサーチされた画像をグルーピングするグルーピング手段を更に備えたことを特徴とする請求項１乃至３の何れか一項に記載の画像管理装置。
5. 前記サーチ手段によりサーチされた画像を前記画像蓄積手段から読み出す読み出し手段を更に備えたことを特徴とする請求項１乃至４の何れか一項に記載の画像管理装置。
6. 前記撮影情報記憶手段は、更に画像の撮影日時を含み、
   前記変化線生成手段は、複数の前記撮影場所情報と前記撮影日時の変化を示す変化線を描くことを特徴とする請求項１乃至５の何れか一項に記載の画像管理装置。
7. 前記画像蓄積手段、前記撮影情報記憶手段、前記取得手段、前記変化線生成手段、および、前記サーチ手段を備えたサーバと、このサーバとネットワークを介して接続された端末とを有することを特徴とする請求項１乃至６の何れか一項に記載の画像管理装置。
8. 複数のユーザの複数の画像を蓄積する画像蓄積工程と、
   蓄積された各画像に対応付けて、少なくとも当該画像の撮影場所情報と当該画像のユーザを示すユーザ情報を記憶する撮影情報記憶工程と、
   複数の撮影場所情報を取得する取得工程と、
   前記取得工程により取得した複数の前記撮影場所情報の変化を示す変化線を生成する変化線生成工程と、
   前記複数のユーザのうちの一人が蓄積した複数の画像を指定する指定工程と、
   蓄積されている複数の画像のうち、前記指定工程により指定された複数の画像の中から、前記変化線生成工程により生成された前記変化線と記憶されている前記撮影場所情報とに基づく画像をサーチするサーチ工程と、
   を含むことを特徴とする画像管理方法。
9. ネットワーク上のサーバのコンピュータに、
   複数のユーザの複数の画像を蓄積する画像蓄積手段、
   前記蓄積された各画像に対応付けて、少なくとも当該画像の撮影場所情報と当該画像のユーザを示すユーザ情報を記憶する撮影情報記憶手段、
   複数の撮影場所情報を取得する取得手段、
   前記取得手段により取得した複数の前記撮影場所情報の変化を示す変化線を生成する変化線生成手段、
   前記複数のユーザのうちの一人が蓄積した複数の画像を指定する指定手段、
   前記画像蓄積手段に蓄積されている複数の画像のうち、前記指定手段により指定された複数の画像の中から、前記変化線生成手段により生成された前記変化線と前記撮影情報記憶手段に記憶されている前記撮影場所情報とに基づく画像をサーチするサーチ手段、
   としての機能を実現させるためのプログラム。

Images