JP2010506297A - 画像レコードアクセス用異分類クラスタランキング - Google Patents

Abstract

データレコードのコレクションに対し、ユーザインタフェース越しにアクセスする手段を提供する方法及びシステムを提供する。まずそのコレクションに対し複数通りのパーティションを設定する。各パーティションは別々のパラメタに基づくものとする。パーティション毎にまたそのパーティションに対応するパラメタの値の違いに応じ複数個のクラスタを生成する。他パーティションに属するクラスタも含めた他の全てのクラスタと対比できるよう各クラスタに荷重を割り当てる。荷重に基づき各クラスタにランク付けして共通のランキングを生成する。ユーザインタフェース上に入力部を設けることによって、ランキング上位に属する個々のクラスタに対しユーザが任意且つ直接にアクセスできるようにする。

Description

本発明はディジタル画像レコードの管理及び整頓、とりわけ画像レコードへのアクセスのため異分類クラスタ(differential cluster)にランク付けする方法及びシステムに関する。

ディジタルイメージングの普及に伴い、膨れあがる画像レコードのコレクション例えば静止画像データや動画シーケンスのコレクションを管理する上で、支障を感じるユーザが多くなっている。そのため、画像レコード等のデータレコードについて、その整頓及びアクセス方法が様々に提案されている。

まず、特許文献１４（発行日：２００５年１２月２９日）には、データレコードに付随するメタデータやデータレコードに基づき生成したメタデータに対し、ユーザがサーチエンジン経由でアクセスできるようにする方法が、記載されている。

次に、特許文献１０（発行日：２００４年４月２４日）には、ユーザの嗜好に応じ画像コレクションをフィルタリングする技術が記載されている。

そして、特許文献８（発行日：２００３年３月１３日）には、画像の重要度及び訴求力に応じ画像を自動的にグループ分け及びランク分けする技術が記載されている。

米国特許第６９０７１４１号明細書 米国特許第６２８２３１７号明細書（Ｂ１） 米国特許第６３５１５５６号明細書（Ｂ１） 米国特許第６６０６４１１号明細書（Ｂ１） 米国特許第６６７１４０５号明細書（Ｂ１） 米国特許第６９１５０１１号明細書（Ｂ２） 米国特許第６９９３１８０号明細書（Ｂ２） 米国特許出願公開第２００３／００４８９５０号明細書（Ａ１） 米国特許出願公開第２００３／０１２８３８９号明細書（Ａ１） 米国特許出願公開第２００４／００７５７４３号明細書（Ａ１） 米国特許出願公開第２００４／０１７９７１９号明細書（Ａ１） 米国特許出願公開第２００５／０１０５７７５号明細書（Ａ１） 米国特許出願公開第２００５／０１４７２９８号明細書（Ａ１） 米国特許出願公開第２００５／０２８９１１１号明細書（Ａ１） 米国特許出願公開第２００６／０１０４５２０号明細書（Ａ１） 米国特許出願公開第２００６／０１２６９４４号明細書（Ａ１） 米国特許出願公開第２００６／０２０４５２０号明細書（Ａ１）

Kerry Rodden; "How Do People Organise Their Photographs?" PROCEEDINGS OF THE BCS IRSG ANNUAL COLLOQUIUM ON INFORMATION RETRIEVAL RESEARCH, XX, XX, April 1999 (1999-04-19), pages 1-11

こうした手法の多くに共通する全般的な問題は、ユーザによる入力作業が必要なことである。特に、画像レコードを追加するたびに入力作業を行うことは、ユーザにとって重荷になる。そのため、そのコレクションからデータを取り出す必要が生じるまで入力作業を先送りにし、必要になったらまとめて入力する、というユーザが多くなる。その挙げ句に入力作業を放棄するユーザもあろう。また、予めその基準を設定して自動的に即ち人間の介在無しに整頓することで、ユーザ入力にまつわる問題を回避する手法もある。ただ、そうした手法では、その手法で標準とされている整頓方式を用いねばならないことが多く、ユーザ間の個性の違いに対応するのが難しい。

そのため、収集済画像レコードをユーザ入力無しで整頓できる方法及びシステム、特にユーザ間の個性の違いに対応できるより優れた方法及びシステムが望まれている。

本発明の技術的範囲は別紙特許請求の範囲に記載の通りである。本発明の一実施形態は、データレコードのコレクションに対し、ユーザインタフェース越しにアクセスする手段を提供する方法であって、対応するパラメタの値の違いに応じ上記データレコードを漏れなく複数個のクラスタ（小集団）に分類するパーティション（分類枠）を、互いに異なる複数種類のパラメタに基づき複数通り設定するステップと、他パーティションに属するクラスタも含めた他の全てのクラスタと対比しうるよう各クラスタに荷重を割り当てるステップと、荷重に基づき各クラスタにランク付けして共通のランキングを生成するステップと、ランキング上位に属する個々のクラスタに対しユーザが任意且つ直接にアクセスできるようユーザインタフェース上に入力部を設けるステップと、を有する。

従って、本発明によれば、ユーザがほとんど又は全く入力を行わなくても収集済画像レコードを整頓でき、しかもユーザ間の個性の違いに対応できる優れた方法及びシステムが得られる。

本発明の一実施形態に係る方法を示す図である。 本発明の他の実施形態に係る方法を示す図である。 本発明の一実施形態に係るシステムを一部模式化して示した図である。 本発明の他の実施形態に係るシステムを一部模式化して示した図である。 図３又は図４に示したシステムにおける画面、特にランキング上位クラスタ表示画面の一例を一部模式化して示した図である。 図３又は図４に示したシステムにおける画面、特にランキング上位クラスタ表示画面の別例を一部模式化して示した図である。 本発明の他の実施形態に係るシステムで提供可能な二種類のドリルダウンメニューを一部模式化して示した図である。

以下、別紙図面を参照しつつ本発明の実施形態に関し説明する。下記説明を参照することにより、本発明の構成を理解すると共に、その特徴、目的及び実施形態を、上記以外のものも含めてより明瞭に理解することができよう。

本発明に係る方法及びシステムでは、概略、その分類上の切り口を変えて複数通りのパーティションを設定することで、画像レコードのコレクションから複数組のクラスタを生成する。それらのクラスタを寄せ集めると、別々のパーティションによる複数組のクラスタ、即ち異分類クラスタの集まりとなる。次いで、それらのクラスタに対し荷重を割り当て、その荷重に従いそれらのクラスタにランク付けすることにより、どのパーティションにも共通のランキングを生成する。そして、ユーザインタフェース上に入力部を設けることによって、少なくともランキング上位に属する個々のクラスタに対し、ユーザが任意且つ直接にアクセスできるようにする。

こうした発明は、本願記載の通り様々な形態で実施することができる。「本実施形態」等の表現は、本発明の実施形態のうち少なくとも１個に係るものであることを表している。「実施形態」「諸実施形態」等といった表現が何個所かに繰り返し現れるが、同じ表現だからといって同じ実施形態乃至部材をさしているとは限らない。その旨明示されている場合や本件技術分野で習熟を積まれた方々（いわゆる当業者）にとり自明な場合を除けば、それらの実施形態乃至部材は両立させることができる。「方法」「諸方法」のように単複両形の表現を使用するが、それによって本発明の要旨が限定されるわけではない。

本願にて「画像レコード」とは、静止画像データ、動画シーケンス、マルチメディアデータ等のように１枚又は複数枚の画像を表す画像データに加え、場合によっては音声、注釈テキスト等のメタデータをも含むレコードのことである。画像レコードは、単一データファイルで保存することも、複数個の関連するデータファイルに分けて保存することもできる。メタデータは画像と同じファイルに入れてもよいし、それとは別のファイルにしてもよい。画像レコードの例としては、多色分光画像、スキャナレスレンジ画像、ディジタルアルバム画像、マルチメディアプレゼンテーション用動画シーケンス等がある。動画シーケンスの場合、そのシーケンス全体を１個の画像レコードとして扱ってもよいし、そのシーケンス内の個々の画像を画像レコードとして扱ってもよいし、その双方の扱いを併用してもよい。以下の説明ではディジタルカメラで撮影された画像レコードを主たる題材にするが、他種撮影装置で撮影されたものや、写真フィルム等に撮影してディジタイズしたものも、画像レコードとして扱うことができる。以下の説明では、画像レコードを関連する情報と共にディジタル保存するものとする。

本願における「被写体」は写真撮影対象のことである。即ち、カメラの視野内に存する人物又は物体のうち、遠近法上その視野内の他の部分（背景）と区別できる単数又は複数の人物又は物体のことである。遠近法では、線状透視（消失点への収束）、オーバラップ、被写界深度、照明及び色キューといった因子や、場合によっては運動透視や運動視差等の因子に基づき物体間の遠近を決める。

そして、本願中に「ソフトウェア」又は「プログラム」として記載されている部材は、いわゆる当業者なら、その記載に基づきそれと等価なハードウェアに置換することができる。画像処理アルゴリズム／システムは周知であるので、本発明に係る方法と直に関連し又は当該方法の一部をなすアルゴリズム／部材に的を絞って説明する。本願記載の各種コンピュータ利用機器も概ね周知の構成であるので、本発明に係る方法に直に関連する部分に的を絞って説明する。これらのアルゴリズム／装置の別例や、それらで使用する画像信号生成／処理ハードウェア／ソフトウェアのうち、本願中に具体的な図示や説明がないものは、当業者にとり既知のシステム、アルゴリズム、部材乃至要素で賄うことができる。当業者であれば、本願中の説明を参照し、更なるソフトウェア／ハードウェア部材を追加することができよう。

図４に本発明の一実施形態に係るシステム１０を示す。本システム１０は、ハウジング１２、画像レコードコレクション格納用のメモリ１４、制御ユニット１６、諸入力ユニット１８（例えばユーザ入力部２４）、並びに諸出力ユニット（例えばディスプレイ）２０を備える構成であり、制御ユニット１６によって統御されている。そのユーザインタフェース２２はユニット１８，２０（のうち一部）とユーザ入力部２４によって形成されている。部材間接続用の信号路２６は、この図ではハウジング１２内に描かれているが、何個かの部材をハウジング１２外に設けた場合はその全部又は一部がハウジング１２外に出ることとなろう。例えば、本発明に係る方法をコンピュータ及びその関連機器にて実行する場合である。図３に、ＰＣ（パーソナルコンピュータ）とディジタルカメラ等の撮影装置の併用による実施形態を示す。図ではＰＣや撮影装置が１台であるが複数台でもよい。この図のコンピュータシステム１１０は汎用コンピュータ及び種々の周辺機器によって構成されているが、本発明に係る方法の実施環境はこの種の構成に限られるわけではない。種々の電子情報処理システム、例えばディジタルカメラ、カメラ付携帯電話等のモバイルデバイスや、家庭用コンピュータや、スタンド（キオスク）、ショップ又は工場にある写真現像用設備等のディジタル画像処理システムは、本発明に係る方法の実施に役に立つ。そうしたシステムの構成部材には、他の構成部材から完全に独立して機能させるべきものもあろうし、他の構成部材と１個又は複数個のハードウェア／ソフトウェア要素を共用できるものもあろう。

制御ユニットは、保持しているソフトウェア及びデータを利用し、また入力ユニットから得られる信号に基づき、他のシステム構成部材を動作させる。制御ユニットとしては、例えばプログラマブルなディジタルコンピュータ、プログラマブルなマイクロプロセッサ、プログラマブルな論理プロセッサ、電子回路群、集積回路化された電子回路群、ディスクリート部品群等を使用できる。

システム稼働上必要な諸機能を担う以外に、制御ユニットは、自動的な又はユーザからの指示に基づく画像レコード操作を、メモリ上のプログラムに従い実行する。例えば、内蔵するディジタル信号処理器（ＤＳＰ）によって静止画像データを処理し、その画像にデータ内挿（補間）やエッジ強調を施すことができる。同様に、出力ユニット間の仕様差、例えばグレースケール、色域、画面のホワイトポイント等の差が吸収されるよう、画像レコードに変換処理を施すこともできる。表示に際し画像の一部を断ち切ること、表示に際し画像の解像度やコントラスト比を落とすこと、保存済画像データ中の一部情報をカットすること等もできる。ＪＰＥＧ圧縮、ファイルフォーマット変換等、ファイル転送に関連する画像操作も行える。メタデータ（画像レコード中の非画像情報）の付記乃至修正も画像レコード操作の一種であろう。

「メモリ」とは、半導体メモリ、磁気メモリ等の物理メモリ上で実現される所定サイズの記憶空間又はその集まりのことである。システムを構成するメモリには、まず、コンピュータソフトウェアが格納されたメモリ、即ちそのソフトウェアを構成するプログラムが格納されたコンピュータ可読媒体がある。そのメモリとしては既存のメモリデバイス、例えばシステム内蔵型、リムーバブル型等の固体式、磁気式乃至光学式データ保存媒体を使用できる。システム内蔵メモリの例としては、ＳＤＲＡＭ、Ｆｌａｓｈ（登録商標）メモリ型ＥＰＲＯＭ等があり、リムーバブルメモリの例としては、対応するソケットに差し込みメモリインタフェース経由で制御ユニットにつなぐＳＤ(Secure Digital)カード等があり、その他のデータ保存媒体としては、ＰＣカード、内蔵型ハードディスクドライブ、リムーバブルハードディスクドライブ等がある。図３に例示したコンピュータシステム１１０には、ハードディスクドライブや、光ディスク、磁気ディスク（図示せず）等のディスク状メモリにアクセスするためのリムーバブルディスクドライブや、差し込まれた（カード状）リムーバブルメモリを保持するメモリ（カード）スロット及びそのメモリにアクセスするためのメモリインタフェース等が、搭載されている。データとしては制御用ソフトウェア、画像データ、画像レコード等を保存できる。メタデータは、リモートメモリシステム上、例えば他ＰＣ、コンピュータネットワークその他の情報処理システム上に、保存させることもできる。

入力ユニットとしては、ユーザから情報を受領すること及びその情報を制御ユニットで利用可能な形態に変換することが可能な装置（トランスデューサ等）であれば、どのような装置でも使用することができる。同様に、出力ユニットとしては、人間が知覚できる形態、或いはコンピュータに信号又はプログラム構成要素として読み取らせることができる形態で出力をもたらすものであれば、どのような装置でも使用することができる。入力ユニットや出力ユニットはローカルなユニットでもリモートなユニットでもよい。また、有線又は無線の通信システムを導入乃至接続し、入力ユニットや出力ユニットの一部ハードウェア／ソフトウェアでそのシステムに接続してもよい。

ユーザインタフェース形成に使用できる入力ユニットは多岐に亘る。例えばタッチスクリーン、タッチパッド、４ウェイスイッチ、６ウェイスイッチ、８ウェイスイッチ、スタイラス、トラックボール、ジョイスティック、音声認識、ジェスチャ認識、キーボード、リモートコントローラ等の入力システムを使用できる。ユーザインタフェースの一部をリモート入力にすること、例えばリモートキーボードやリモートマウスで提供することもできる。

入力ユニットのうち何個かはセンサ、例えば光センサ、バイオメトリックセンサ等、本件技術分野で既知のセンサにすることができる。即ち、システム稼働環境の状態をセンサで検知し、それにより得られた信号を情報形態に変換して制御ユニットで利用することができる。光センサとしては、一般向けのカメラ、マルチスペクトラムセンサ等を用いる。音響を捉えるオーディオセンサも使用できる。バイオメトリックセンサ等、生理的／心理的な不随意反応を計測するセンサも使用できる。その類例としては、音声抑揚センサ、体動センサ、眼球運動センサ、瞳孔開度センサ、体温センサ、Ｐ４０００（商品名）波センサ等がある。

出力ユニットも多様である。本システムでは、例えばディスプレイ、プリンタ、メモリライタ等を出力ユニットとして使用する。プリンタで採りうる画像記録方式も数多い。例えば、在来の四色カラーオフセット印刷等の接触印刷法、シルクスクリーン印刷法、米国ニューヨーク州ロチェスター所在のＥａｓｔｍａｎ Ｋｏｄａｋ Ｃｏｍｐａｎｙが販売しているプリンタＮｅｘＰｒｅｓｓ（登録商標）２５００等で採用している乾式電子写真法、サーマル印刷法、ドロップオンデマンド式又は連続式のインクジェット印刷法等の既知方式によるものである。便宜上、以下の説明では、紙媒体上にカラー画像を発現させるタイプのプリンタを想定するが、別にその種のプリンタでなくても本発明は実施可能である。即ち、白黒画像、グレースケール画像、セピアトーン画像等の単色画像を印刷するタイプのプリンタや、紙以外の媒体に画像を印刷するタイプのプリンタを用いる形態でも、別紙特許請求の範囲に記載の方法及びシステムを実行／構成可能である。

通信システムとしては、例えば光信号、無線周波数（ＲＦ）その他のトランスデューサ回路／装置のように、画像データ等のデータを相応の形態へと変換し、光信号、ＲＦ信号等の形態でリモートメモリシステム、リモートディスプレイ装置等のリモート装置に転送することができる回路／システムを使用するとよい。また、図示しないホストコンピュータ、サーバコンピュータ乃至ネットワークや、リモートメモリシステム、リモート入力等から画像データ等のデータを受信し、そのデータ又はそのデータから取り出した命令を制御ユニットに供給するのにも、通信システムを使用できる。通信システムをリモートメモリシステムに接続する際には、そのための通信網として、既存の遠距離通信／データ転送網、例えばインターネット、モバイル通信網（携帯電話網やピアツーピア接続等）、ローカル通信網（有線又は無線ローカルエリアネットワーク（ＬＡＮ）等）、既存の有線又は無線データ転送網等を利用するとよい。

画像レコード源も本発明の実施形態に係るシステムの一部たり得る。画像レコード源としては、制御ユニットに適切なディジタルデータを供給できる（電子）回路／システムなら、どのような形態のものでも使用することができる。その例としては、画像レコードのコンテンツを撮像で獲得するカメラ乃至撮影装置や、他装置由来の又は他装置で調製された画像レコードを獲得する装置がある。例えば、種々のドッキングステーション、使用時に接続される外付け型ディジタル撮影／表示装置、有線通信システム接続装置、携帯電話、広帯域無線送受信機等の無線通信網接続装置等である。また、ケーブル通信網接続装置を使用してケーブル通信網に接続し、更にＤＩＳＨ（商標）受信機を使用して衛星通信システムに接続してもよい。インターネット経由でリモートサーバ内のリモートメモリに接続してもよい。光ディスクに記録されているコンテンツにディスク再生／記録装置でアクセスしてもよい。

図３に示すコンピュータシステム１１０では、ソフトウェアの読込及び保存を含め種々の処理機能を担う制御ユニット１１２にディスプレイ１１４が導通接続されている。制御ユニット１１２は、例えばグラフィカルユーザインタフェース（ＧＵＩ）を利用し、そのソフトウェアに係る情報のうちユーザに関係のある情報をディスプレイ１１４の画面上に表示させる。制御ユニット１１２には更にキーボード１１６が接続されているので、ユーザはキーボード１１６の操作で処理ソフトウェアに情報を与えることができる。キーボード１１６の代わりにマウス１１８を操作してもよい。本件技術分野で周知の通り、マウス１１８を操作すると画面上のマウスカーソル１２０が移動するので、ディスプレイ１１４の画面上で所望項目にカーソル１２０を重ねることで、その項目を選択することができる。

リムーバブルメモリとしては、例えば図示のＣＤ−ＲＯＭ(Compact Disk-Read Only Memory)１２４を利用する。ソフトウェアが格納されているＣＤ−ＲＯＭ１２４をマイクロプロセッサベースの制御ユニット１１２に差し込むことで、ソフトウェア等の情報をそのユニット１１２に読み込ませることができる。また、複数種類のリムーバブルメモリを利用すること、例えば図示の通りフロッピー（商標）ディスク１２６も利用できるようにすることが可能である。情報書込の際の書込先選択を可能にすることもできよう。更に、例えばインターネット等の広域網やＬＡＮを経由し或いは直接に、ユニット外のメモリに有線又は無線接続してアクセスすることもできる。加えて、本件技術分野で周知の通り、その内部にソフトウェアを保存又はコピーするよう制御ユニット１１２にプログラミングすることも可能である。そして、制御ユニット１１２にプリンタ等の出力装置１２８を接続すれば、コンピュータシステム１１０からハードコピー印刷出力を得ることができる。電話線、無線回線等のネットワーク接続手段１２７を制御ユニット１１２に設けておけば、ＬＡＮやインターネットといった外部のネットワークに接続することができる。

画像は、ディジタルカメラ、スキャナ等、数多くの画像源から取得することができる。例えばカメラドッキングポート１３６、接続ケーブル１３８、無線接続１４０等を介しディジタルカメラ１３４を制御ユニット１１２に直結することで、或いはそのカメラ１３４から制御ユニット１１２へとメモリを持ち込むことで、カメラ１３４から制御ユニット１１２へと画像を入力することができる。

画像は、その変換処理後に出力装置１２８から最終出力させることができる。例えば、プリンタ等の出力装置から紙等の媒体上に画像をハードコピー出力させてもよいし、ディスプレイ、プロジェクタ等の出力装置から画面その他の空間上に画像をソフトコピー出力させてもよいし、或いはデータファイル化して格納してもよい。それらの併用、例えば画像印刷とファイル格納の併用も可能である。ＣＤ、ＤＶＤ等といったメモリに格納されたファイルは、種々の家庭用又は携帯用表示装置、例えばパーソナルメディアプレイヤやフラットスクリーンテレビジョン装置で再生することができる。

画像に対しては、出力先の装置又は格納先の媒体に相応しい形式乃至見た目になるよう制御ユニット１１２にてデータ処理を施すことができる。制御ユニット１１２で画像データに対し施せる処理としては、出力装置から得られる画像がより見た目のよい画像になるよう、その画像データに係る総輝度、階調、画像構造等を調整する処理がある。いわゆる当業者なら理解できるように、本発明は、これ以外の画像処理機能を提供する形態で実施することもできる。

また、図３の実施形態はカメラ付のシステムであり、図４の実施形態は例えばカメラそのものである。そのカメラは、例えばその構造的支持・保護材となる躯体の内側に、図示しない電子撮像ユニット等のカメラ構成部材を組み込んだ構成とする。電子撮像ユニットは、例えば、撮影用のレンズ及びそのレンズに対し整列配置された電子的なイメージセンサアレイを有するユニットである。このユニットは、イメージセンサアレイから出力される画像信号を増幅し、アナログディジタル（Ａ／Ｄ）変換し、更にその結果を処理して１個又は複数個の画像レコードを生成する。

このカメラのユーザインタフェース、即ちユーザ（撮影者）に対し情報を出力しそのユーザから情報を受け取るためのインタフェースでは、何個かのユーザ入力部（図４中のユーザ入力部に相当）及び画像表示部を提供する。ユーザ入力部とは、シャッタ開閉、ズームイン／アウト等についてユーザからの指示を受け付ける手段のことである。ユーザは、ズームイン／アウト操作を行うことで、上掲の撮影用レンズのズーミングを制御することができる。ユーザ入力部は、例えばボタン、ロッカースイッチ、ジョイスティック、回転ダイアル、タッチスクリーン、マイクロホン、プロセッサ等を併用する形態で提供される。例えばユーザが発した音声をマイクロホンで捉え、音声認識機能のあるプロセッサでそれをコマンドとして解釈すること等が可能である。更に、イメージセンサ、伝導反応センサ(galvanic response sensor)、上掲のマイクロホン等といったユーザ反応追跡(user reaction tracking)手段を、ユーザインタフェースに組み込むこともできる。そうした手段で得られる情報は、ひとまず蓄積しておき後刻解析することができる。或いは、ユーザの反応を解析し相応のメタデータを生成するモジュールを、ユーザインタフェースに組み込んでもよい。特許文献９（発明者：Matraszek et al.）には、ユーザ反応追跡によるメタデータ生成について記述がある。

このカメラのユーザインタフェースでは、更に１個又は複数個の情報表示部を提供する。情報表示部には、露光レベル、残りコマ数、バッテリ状態、フラッシュ状態等のカメラ情報が、ユーザ向けに表示される。この情報表示部に代え又はそれと共に、画像表示部を用いてカメラ設定等の非画像情報を表示させることもできる。例えば、種々のオプションに加え撮影画像チェック用閲覧モードが列挙されたメニューを、画像表示部のＧＵＩ上に表示させればよい。このように、画像表示部でも図示しないディジタルビューファインダディスプレイ（情報表示部）でも同様の機能を提供できるので、その一方を省略することもできる。図示しないスピーカやマイクロホンを備えるカメラであれば、ユーザに対し音声で通知することや、ユーザからの指示を音声で受け付けることもできる。

また、このカメラでは、イメージセンサ等のセンサでカメラ周囲の状況例えば外光強度を検知し、その結果に基づきシャッタ速度、絞り等の場面別撮影パラメタを設定した上で、その画像表示部上に光像を表示させる。ユーザは、その像即ち閲覧画像を閲覧できる。

制御ユニットは、その際、カメラ構成部材例えば露光調整素子の動作を制御又は調整し、画像その他の信号の転送を取り仕切り、画像に関する処理を実行する。制御ユニットは、システムコントローラ、タイミング発生器、アナログ信号プロセッサ、Ａ／Ｄコンバータ、ＤＳＰ、専用メモリ等を主要構成部材とするユニットであり、前述の如く実体的に単体の装置でも複数体の装置でも実現することができる。例えば、データ操作及び汎用ソフトウェア実行用のＲＡＭを備える内蔵型マイクロプロセッサ等、相応の構成を有するマイクロコンピュータを使用するとよい。タイミング発生器は、各種電子回路／部材に対し所要タイミングで制御信号を供給する。ユーザインタフェースを提供する部材の動作は、その接続先の制御ユニットで実行されるソフトウェアによって制御される。制御ユニットは、更に、ドライバ、メモリ等といった構成部材も稼働させる。

カメラ構成部材としては、上記の他、撮影済画像に対する付記情報を取得するための部材を設けることができる。その例としては、姿勢センサ、リアルタイムクロック、全地球測位システム（ＧＰＳ）受信機等の他、ユーザが見出し等の情報を入力できるようにするキーパッド等の入力装置がある。

本発明の実施形態に係る方法及びシステムには、データ検知／分類を実行可能なハードウェア／ソフトウェアを使用することができる。採用可能なデータ検知／分類技術は数多くある。その例としては、まず顔面検知、肌色検知、群衆検知等の被写体検知(object detection)がある。被写体検知を実行することによって、個々の画像に映っている事象を識別すること、例えばバースデイ写真中のバースデイケーキを認識することや、その画像の特徴を抽出すること、例えば特定の身体部分が写っている医用画像を調べることができる。

これら、本願中に図示又は説明のある回路は、いわゆる当業者にとり周知の様々な手法で変形することができる。また、本願中で実体ある回路として記述されている種々の部材は、ファームウェア、ソフトウェア又はその組合せに置換できる。同様に、本願中で別々の部材として示されている部材同士を組み合わせ又は共有化することもできる。複数個の部材を様々な場所に散在させることもできる。

画像レコードの分類は、自動パターン分類法(automated pattern classification)によって行うこともできる。特記がある場合を除き、パターン分類手法の仔細で本発明の技術的範囲が限定されるものではない。使用できるパターン分類手段としては、例えばルールベースシステム、意味論的知識ネットワーク、フレームベース知識システム、ニューラルネットワーク、ファジィ論理ベースシステム、遺伝的システム機構、発見ベースシステム等がある。これらは単独利用も併用も可能である。

また、画像データを構成する１個又は複数個の画像データチャネル即ちその色成分を表すチャネルは、それぞれ、現実空間内でその画素に対応する位置からその撮像装置が捉えた光の量を表す画素を、多数二次元配列したものである。カラー画像なら、各画像データを構成する画像データチャネルの個数は赤、緑及び青の３個であり、動画の画像データはいわばその画像データのシーケンスである。いわゆる当業者には理解できる通り、本発明は、これらのうちどの用途に係る画像データチャネルにも適用可能である。また、上の例では複数通りの画素値を二次元配列即ち行列配置した構造の画像データチャネルを使用しているが、当業者ならば理解できるように、本発明は、非直線的なアレイに対してもその効用を損なうことなく適用することができる。

更に、本発明はソフトウェアやハードウェアの組み合わせによって実施することができる。互いに物理的に連結されている装置群や、いずれも同じ場所に実体配置されている装置群での実施に限定されるものではない。例えば図３中の部材のうち何個かをリモート配置することやそれらをネットワーク経由で接続してもよい。部材間の接続にはＲＦリンク等の無線接続も利用できる。その接続は直接接続でもネットワーク経由の接続でもよい。

従って、本発明は、様々なユーザ状況、様々なユーザ環境にて実施することができる。その例としては、写真現像用設備（スタンド、ショップ又は工場）、家庭用又は業務用デスクトップコンピュータ、モバイルデバイス等の他、インターネットや携帯電話網を介して注文を受けサービスを提供する仕組みのネットワークサービス等がある。

例えば、ＤＶＤプレイヤ、ＰＤＡ（携帯情報端末）、カメラ、携帯電話等の携帯表示装置に備わる部材／機能を利用し、本発明を実施するのに必要な部材／機能を実現するとよい。携帯表示装置の他の部材／機能はいわゆる当業者にとり周知のものでよい。以下の説明では、スチルカメラとビデオカメラとを総称してカメラと呼び、静止画専用カメラと静止画動画両用カメラの静止画用機能とを総称してスチルカメラと呼び、動画専用カメラと静止画動画両用カメラの動画用機能とを総称してビデオカメラと呼んでいる。また、本願では詳示しないが、そのカメラには、レンズの着脱可能化、撮像ユニットの複数搭載等、様々な工夫を凝らすことができる。カメラは可搬型でも固定設置型でもよく、また撮影との関連の有無を問わず更なる機能を持たせることができる。例えば、カメラ付携帯電話のカメラ機能を使用する等、何らかの通信機能を有するカメラを使用するとよい。この他、ノート型コンピュータ等の形態や、編集スタジオ、写真撮影スタンド等の非可搬装置形態でも、本発明の実施形態に係るシステムを構築できる。

また、その状況を問わず、本発明はスタンドアロン的にもより大規模なシステムの一部としても実施することができる。更に、画像のスキャン／入力等の対人インタフェース、データ処理、ユーザ向けの表示、ユーザからの要求／処理指令の入力（必要な場合）、出力等を担う装置や、それらを提供する場所を、互いに別の装置又は場所とすることもできる。装置間或いは場所間のやりとりは、公衆網、専用網等を経由した通信でも、或いは媒体の受け渡しによるやりとりでも行える。本発明の要旨に反しない限りは、本発明に係る方法を、全自動で実行することも、ユーザ入力に応じ半自動又は手動で実行することも、ユーザに対し結果認否判断のための閲覧を求める形態で実行することも、或いはメタデータを補助的に用いて実行することも可能である。そのメタデータとしては、ユーザから与えられるものや、カメラ等の計測装置で得られるものや、アルゴリズムに従い生成されるものを使用するとよい。そのアルゴリズムとしては、作業用ユーザインタフェース機構に接続可能なものを、一種類又は複数種類採用するとよい。

図１、図２、図５及び図７に、本発明の一実施形態に係る方法を示す。本方法では、データレコードのコレクションに対しユーザインタフェース越しにアクセスする手段が提供される。どのような種類のデータレコードも対象になりうるが、本方法がひときわ役立つのは画像レコードを対象とする場合である。そこで、便宜上、画像レコードへの適用例を以て本発明を一通り説明することとするが、他種データレコードへの適用例についても同様の議論が成り立つので了解されたい。その実行に当たり幾つかの段階でユーザの介在を受けうるものの、本方法の最たる利点は、人間の介在無しでも実行できる点である。

本方法を実行する際には、まず何らかの形で画像レコードを収集しコレクションを作成しておく。そのコレクションのサイズは肝要ではないが、コレクションの規模が大きくなるほどその処理に時間がかかり或いはその処理のためにより多大なリソースが費やされることとなる。また、そのコレクションは、実体的な集まりであってもよいしそのシステムのメモリ上での仮想的な集まりであってもよい。例えば、同一データベース上に集めた画像レコード及び他種データレコードの集合を以てコレクションとしてもよい。或いは、他種データレコードを無視し画像レコードだけに着眼した仮想的なコレクションのみを、本方法の適用対象にしてもよい。

本方法では、画像レコードコレクションに対し複数通りのパーティションを設定する（２００）。各パーティションは互いに異なるパラメタに基づく分類枠である。個々のパーティションでは、そのパーティションに対応するパラメタの値の違いに応じ、そのコレクション全体が複数個のクラスタに分割される。各クラスタの値域は、例えば他のクラスタの値域と重ならないように設定する。更に、それらのクラスタそれぞれに対して荷重を割り当てる（２０２）。その荷重は、他パーティションに属するクラスタも含めた他の全てのクラスタと対比して決める。更に、それらの荷重に基づき各クラスタにランク付けする（２０４）ことによって、諸クラスタに共通のランキングを生成する。そして、ユーザインタフェース上に入力部を設ける（２０６）。ユーザは、ランキング上位に属する個々のクラスタに対し、その入力部を利用し任意且つ直接にアクセスすることができる。

パーティション設定は演算処理で実行する。それを実行するには、使用される個々のパラメタを引数とする関数が必要である。個々のパーティションでは、そのパーティションに対応するパラメタの値の違いに応じ、画像レコードのコレクションを複数個のクラスタに分割する。従って、個々のパーティション内ではどのクラスタもユニークな画像レコード集合になるが、個々の画像レコードの所属先クラスタがユニーク即ち１個だけになるとは限らない。例えば、画像レコードをクラスタ「０人」「１人」「２人」「３人以上」に仕分けるパーティションでは、どのクラスタもユニークな画像レコード集合となり、且つどの画像レコードの所属先クラスタも１個だけとなるが、画像レコードをクラスタ「０人」「１人以上」「２人以上」「３人以上」に仕分けるパーティションでは、クラスタ「２人以上」及び「３人以上」に属する画像レコードがクラスタ「１人以上」にも属し、クラスタ「３人以上」に属する画像レコードがクラスタ「２人以上」にも属する、というように、同じ画像レコードが複数個のクラスタに属することがありうる。

システム構成部材としては、相応にプログラミングされたコンピュータハードウェアを使用するとよい。例えば、画像レコードのコレクションを保持するメモリと、１個又は複数個のユーザ入力部及び１個又は複数個の出力ユニットを有するユーザインタフェースとを、本発明の実施形態に係る方法に従い稼働する個別機能を提供する制御ユニットに、互いに連携可能に接続したものを使用する。そうしたシステムのより詳細な構成は、本方法についての説明から察知されたい。

設定したパーティションのうち、画像レコードコレクションを複数個のクラスタに分割することとならず、単一のクラスタ例えば一様分布のクラスタしか生じなかったパーティションは、本発明の実施形態に係る方法との関連ではほとんど無用であるので、それを無視して他のパーティションに絞ればよい。ランキング上では、そうした単一クラスタパーティションを削除しても残してもよい。

個々のパーティションにおけるクラスタ生成はそのパーティションに対応するパラメタに基づき行われるので、その手順が単純な手順になることも複雑な手順になることもある。単純になる例は、注釈込みのメタデータが随伴している画像レコードとそうでない画像レコードを別クラスタに入れるパーティションである。より複雑になる例は、後述するイベント別クラスタ生成アルゴリズムのうちいずれかに従いクラスタを生成するパーティションである。

個々のパラメタとしては何らかの値域を有するものを使用する。好ましくは、どの画像レコードもそのパラメタに関して何らかの値を有することとなるよう、一般的な特徴に関するパラメタを用いるようにする。二値指標だけをパラメタとして使用するようにしてもよい。例えば、その画像レコードにある特定の性質乃至性質群が備わっているか否かを示すパラメタや、その画像レコードの解像度が所定のしきい値以上か否かを示すパラメタである。逆に、非二値のパラメタを使用することもできる。例えば、その画像レコードからの顔検知個数に応じてその画像レコードに付けた点数である。また、パラメタとしては、専ら個々の画像レコードの性状を示す絶対的なものも、画像レコードのコレクション又はその部分集合に属する画像レコード間の関係を表す相対的なものも使用できる。絶対的な例は個々の画像レコードにおける顔検知個数、相対的な例はそのコレクションの画像レコードにおける顔検知個数の頻度順位である。

それらのパラメタが依拠する特性としては、画像レコードの顕著性特徴(saliency feature)や、その画像レコードに係るメタデータがある。顕著性特徴は画像レコードを構成する個々の画像から確認され（２０８）、メタデータは画像レコードに組み込まれ又は画像レコードと共に読み込まれる。顕著性特徴の性質及び用途については、特許文献５（発明者：Savakis, et al.，名称：ユーザ画像の重要度及び訴求力を自動評価する方法(Method for Automatic Assessment of Emphasis and Appeal in Consumer Images)；この参照を以てその内容を本願に繰り入れる）の記載を参照されたい。顕著性特徴には構造的顕著性特徴と意味的顕著性特徴とがある。また、これら顕著性特徴及びメタデータには、画像全体に関わるもの、画像の集合に関わるもの、画像の一部分に関わるもの、一群の画像の相対応する部分に関わるもの等がある。例えば顕著性特徴の一種たる主被写体解像度は、前景に位置する被写体とその画像の背景との間の被写界深度によって変化する。抽出した顕著性特徴はメタデータと同様にして保存すればよい。なお、便宜上、データとして保存された顕著性特徴についても「顕著性特徴」及びそれに類する名称で呼ぶこととし、また「メタデータ」にはデータとして保存された顕著性特徴を含めないこととする。

構造的(structural)顕著性特徴とはその画像レコードに属する諸画像の物理的特性のことであり、これには低次初期視覚特徴と幾何特徴とがある。低次初期視覚特徴の例としては色、輝度、テキスチャ等があり、幾何特徴の例としては位置（例えば中心位置）、空間的関係（例えば境界、隣接、包囲及び遮蔽の関係）、サイズ、形状、対称性等がある。これらの他、画像鮮明度、画像ノイズ、コントラスト比、暗景の有無、シーンバランス、肌色調、彩度、クリッピング、エイリアシング、圧縮状態等も構造的顕著性特徴である。構造的顕著性特徴に基づくパラメタの例としては、解像度を表す数値指標や、その画像における極低コントラスト部分の存否を示す二値指標がある。また、構造的顕著性特徴は、画像レコードを構成する画像データの解析によって導出されるので、原風景の撮影条件や撮影情報の事後変更は反映するが、画像コンテンツによって左右されることはない。

意味的(semantic)顕著性特徴とはその画像の主要コンテンツに関わる高次特徴のことであり、その例としては人間の存否、人数、性別、年齢、赤目現象、瞬き、笑顔、頭部サイズ、ブレ問題、被写体配置（セントラリティ）、撮影場所、風景の種類、風景のユニークさ等がある。例えば夕日の発生有無は、画像全体の色を解析して夕日を判別する、という特許文献１３（発明者：A. Gallagher et al.）に記載の手法や、顔検知ソフトウェアを用いポートレートを判別する、という特許文献１１（発明者：S. Chen）等に記載の手法で求めることができる。なお、本願では、解析対象たる「画像コンテンツ」なる語を、画像の構図を含む意味で用いている。「ブレ問題」とは、例えばその人の顔又は体の写り方がまずくその場面に主被写体がしっかり写っていないことをいう。

意味的顕著性特徴は、その相対位置に基づき、画像の前景に属するものと背景に属するものとに分けることができる。前景に係る意味論的顕著性特徴の例は人間、背景に係るそれの例は肌、顔、空、芝、その他の緑色植生である。意味的顕著性特徴の具体例としては人間の存否、人数、性別、年齢、スポーツ機器の有無、建物の有無、動物の存否、赤目現象、瞬き、感情表現、頭部サイズ、ブレ問題、被写体配置及び風景の種類があり、構造的顕著性特徴の具体例としては画像鮮明度、画像ノイズ、コントラスト比、暗景の存否、シーンバランス、肌色調、彩度、クリッピング、エイリアシング及び圧縮状態がある。

メタデータとは、画像レコードに関連付けられているデータであって画像又は画像群の発現に必要なデータに属さないもののことである。メタデータは、対応する画像レコード（群）の一部とすることも、その画像レコード（群）とは別にすることも可能である。メタデータとしては非常に多くの種類が知られているが、その中でとりわけ有用なものとしては、画像撮影時の状況に関する撮影状況データ、撮影された画像（群）の用途に関する画像用途データ、並びにユーザ嗜好データ(user preference)がある。画像と同様、メタデータは編集が可能であるので、新たなメタデータを作成してメタデータの欠落を補うことや、古くなったメタデータを新たなメタデータで置き換え又は捕捉することもできる。

撮影状況データ(capture metadata)とは、撮影時に取得されるデータ、特に露光レベル、場所、日時、カメラ機能状態等のように撮影状況を表すデータのことである。撮影状況データの例としては、時空情報、カメラ設定、画像サイズ、撮影者識別情報、撮影時に付けたテキスト又は音声での注釈、被写体距離検知結果、フラッシュ発光状態等がある。時空情報とはＧＰＳデータ等の地理情報やタイムスタンプのことであり、カメラ設定とは焦点長、焦点距離、フラッシュ使用、シャッタ速度、レンズ開口、露光時間、ディジタル／光学ズーム状態、カメラモード等のことである。カメラモードとは、例えば、ポートレートモードを使用していうのかそれともスポーツ／アクションモードを使用しているのか、という情報のことである。

撮影状況データの種類としては、設定に関わるものや画像レコードの撮影に関わるものの他、オンカメラ閲覧に関わるものがある。まず、ユーザがカメラ等の撮影装置に対し何らかの入力を行うと、そのユーザ入力に応じ制御ユニットに対し信号が供給され、その信号に応じそのカメラの動作状態が設定される。例えば、そのカメラのオンオフスイッチをユーザが操作すると、そのカメラはデフォルト状態になり、予め定められている優先モード、フラッシュ状態、ズーム位置等が適用される。次に、ユーザがシャッタボタンを半押しすると、自動露光及び自動合焦が作動し、一組のビューファインダ画像の撮影が始まり、そして自動フラッシュ設定が有効になる。更に、制御ユニットを介し撮像ユニットと機能的に連携する複数個のユーザ入力部のうち、ビューファインダ閲覧を指示するための入力部をユーザが操作すると、ビューファインダの表示ユニットが作動し、撮影済画像（群）がオンカメラ閲覧用に表示される。こうしたユーザ入力の例としては、シャッタボタン半押し操作、シャッタボタン全押し操作、焦点距離設定操作、カメラディスプレイ起動操作、編集パラメタ設定操作、ユーザ流画像レコード分類操作、カメラディスプレイ停止操作等がある。また、ビューファインダ閲覧指示用入力部のうち何個かを、ユーザによるマニュアルでの画像分類に使用すること、例えば「共有」ボタンや「お気に入り」ボタンとして使用することもできる。更に、メタデータ導出の元になるユーザ入力は、構図決定時、撮影時、（場合によっては）画像レコード閲覧時等に得られた入力である。全く又はほとんど同じ場所を捉えた複数枚の画像がある場合（例えば被写体追尾型自動焦点システムの出力や各画像についての日時記録からそう認められる場合）、それらの画像に関連する情報のうちそれらの画像全てに関わりのある情報を、それらの画像の撮影状況データを導出するに当たり利用することができる。

撮影状況データの種類としては、更に、カメラに対する複数回の入力の間に存する時間的関係から導出される時間値がある。時間的関係とは、例えば、ある特定の期間に発生した入力乃至イベント間の時間差、といったもののことである。ユーザ入力から導出しうる時間的関係としては、構図決定所要時間、Ｓ１−Ｓ２ストローク時間、オンカメラ編集所要時間、オンカメラ閲覧所要時間、電源オン状態のまま場所を変えずにカメラを放置した時間（カメラ内ＧＰＳ受信機等による計測・判別値）等がある。従って、時間的関係をうまく選べば、個々の画像又は一群の画像を撮影するのにユーザがどのような工夫をしたかを漏れなく知ることができる。また、時間的関係と同じく入力間の地理的関係も、撮影状況データの導出に役立てることができる。特定期間且つ特定地理範囲内の入力、というように、別種の関係を組み合わせることもできる。

撮影状況データの種類としては、また、その画像レコードに付随するテキスト又は音声の注釈から導出される情報や、場所情報、撮影者識別情報、現在日時等の情報もある。それらの情報はユーザ入力又は自動入力により得られる。まず、注釈は、ユーザが個別作成することもできるし、画像コンテンツ乃至事前設定済情報から自動生成させることもできる。次に、例えばユーザによる入力で「家庭」といった字幕を作成することもできるが、所定の地理的位置に該当するときに同様の字幕を自動生成することもできる。そうした場所情報をもたらすハードウェア／ソフトウェア、例えばＧＰＳ受信機は、いわゆる当業者にとり周知である。更に、撮影者識別情報は、例えばＲＦＩＤ（無線周波数識別）デバイス等の識別用トランスポンダを使用する、ユーザに識別情報を入力させる、音声認識で調べる、或いはユーザ顔認識や指紋照合等のバイオメトリック識別で調べる、といった手段で獲得することができる。そして、例えば現在日時を所定の休日識別子、誕生日識別子等と照合し画像を表示させる等、撮影状況データと他パラメタとの組合せに従い画像を表示させることができる。

画像用途データ(usage metadata)とは撮影済画像レコードの用途に関するデータのことであり、用途そのものについてのデータの他、利用に先立つ諸段階、例えば画像を編集して改訂版を保存又は印刷するまでの時間（編集所要時間）を反映する。その例としては、編集所要時間、閲覧所要時間、閲覧回数、ハードコピー作成枚数、ソフトコピー提示枚数、電子メール回数（特にその画像レコードのコピー又はその画像レコードへのリンクを含めた回数）、受信者数、アルバム掲載の有無、ウェブサイト掲載の有無、スクリーンセイバ化の有無、改名の有無、注釈、圧縮状態、その他の履行済用途等がある。その元となる用途の例としては、複写、保存、整頓、ラベル付け、他情報との統合、画像処理、非画像処理的な計算、ハードコピー出力、ソフトコピー表示、非画像出力等がある。画像レコードの利用はいわゆる当業者に周知の装置乃至手法で好適に行うことができる。例えば、ＰＣ内データベース等からの出力は例えばディスプレイ又はプリンタを介して行うことができる。画像用途データには、直にその用途を直接に表す情報に加え、前述した時間値と直接に比較しうるデータを含めてもよい。個々の画像レコードについての閲覧や編集所要時間はそれに該当しうる。

メタデータの種類としては、価値指標(value index)なる形態を採るものもある。これについては、米国特許出願第１１／４０３６８６号（発明者：Elena A. Fedorovskaya et al.，名称：不完全なデータに基づく価値指標(Value Index from Incomplete Data)，出願日：２００６年４月１３日）や米国特許出願第１１／４０３５８３号（発明者：Joseph A. Manico et al.，名称：カメラユーザ入力利用型画像価値指標(Camera User Input Based Image Value Index)，出願日：２００６年４月１３日）による開示を参照されたい。メタデータの種類としては、また、これらの米国特許出願に記載の価値指標を生成する際に使用される種々の情報、その任意の組合せ又はそれから派生する情報から、導出されるものもある。

更に、メタデータの種類としてはユーザ反応データ(user reaction tracking information)、即ちユーザの反応を追跡し或いは更にそれを解析することで得られるデータもある。ユーザの反応を追跡してメタデータを生成する手法、例えば前掲の特許文献９に記載の手法は、ユーザが画像に対して示す反応を検知する手法であるので、個々の画像レコードに対しユーザがどのような反応を示すかを観測してユーザ反応データを生成するのに利用できる。なお、本願では、その狙いに沿い、画像の利用そのものや前述したカメラ操作のための入力は、「ユーザ反応」に含めないこととしている。また、ユーザ反応の例としては、閲覧中の発声、閲覧中の表情、生理学的反応、視線、神経生理学的反応等がある。ユーザ反応はＧＳＲ（皮膚伝導反応）モニタ、心拍数モニタ等のバイオメトリックデバイスによって自動モニタすることも可能である。そうした機器は既に低価格になっており、入手も容易であるので、特許文献９に記載の通り撮像／表示装置に実装することができる。バイオメトリックデバイスがユーザから取得した情報は、パラメタの事前設定に利用できる。

そして、メタデータのうちユーザ入力によるものは、システム側からの要求に対するユーザの回答を収集することでも、或いはユーザが自発的に提供する情報を収集することでも、収集することができる。好ましくは、画像レコードデータベース構築時等、本方法の諸ステップに先立ち収集するのが望ましい。

上述した顕著性特徴及びメタデータは、それ単独で或いは互いに組み合わせて利用することができる。例えば、それらに基づき導出した二次的な特徴情報即ち派生特徴をパラメタとして利用することや、その派生特徴を更に他のものと組み合わせパラメタとして利用することができる。派生特徴は、顕著性特徴と同様、まずはメタデータとして保存することができる。また、他の画像データから情報を派生させて種々の画像データに組み込むこともできる。そうした派生情報の例としては、事前設定済のユーザプロファイルに対する画像データの適合性、その価値指標が高め又は低めになるよう作成されている１個又は複数個の基準画像に対する画像コンテンツの異質性／類似性等の情報がある。

何個かの画像レコードの顕著性特徴、メタデータ又はその組合せに基づき派生特徴を導出する処理は、個別の要請及び時間的制約次第で単純な解析にも複雑な解析にもなる。例えば、その画像レコードの日時情報が所定条件（休日や誕生日）に該当するか否かを調べることによって、その画像レコードが所定条件を満たすか否かという派生特徴を得ることができる。同様に、人間／物体検知結果からその人間／物体を識別することで、特定の人間／物体の存否を示す派生的なメタデータを得ることができる。また、画像を解析してその画質や構図を求めることもできる。例えば、主被写体マッピングを実行し或いは所定の構図ルールに照らすことによって、その被写体のサイズや構図の良さを判別することができる。特許文献２（発明者：Luo et al.）に記載の主被写体検知器はその種の解析に利用できる。同様に、メタデータ中のレンジファインダデータを利用して、そのカメラの主被写体を直接判別することもできる。その解析即ち画像の評価はベイジアンネットワーク等の推論エンジンで行える。例えば、より低次の解析結果（群）を、相応の顕著性特徴及びメタデータと共に、そのベイジアンネットワークに入力すればよい。

そして、パラメタとしては、画像レコードコレクションから導出されるイベント及びサブイベントに基づくものも使用できる。例えば、日時情報、場所情報、画像コンテンツ又はその任意の組合せに基づき、諸画像レコードにイベント別クラスタ生成を適用すればよい。使用できるクラスタ生成法の例としては特許文献７又は１２に記載の手法がある。また、イベント及びサブイベントに基づく分類には、多々ある既知のイベント別クラスタ生成法を利用することができる。例えば、特許文献４（発明者：A. Loui and E. Pavie，名称：イベント別画像自動分類方法(A Method for Automatically Classifying Images into Events)，発行日：２００３年８月１２日）及び特許文献３（発明者：A. Loui and E. Pavie，名称：イベント別画像分類用コンテンツ自動比較方法(A Method for Automatically Comparing Content of Images for Classification into Events)，発行日：２００２年２月２６日）には、イベント及びサブイベントに基づく画像コンテンツ別クラスタ生成アルゴリズムが記載されている。特許文献１５（発明者：B. Kraus and A. Loui，名称：多段型イベント別画像クラスタ生成(Multi-tiered Image Clustering by Event)，発行日：２００６年５月１８日）及び特許文献１６（発明者：A. Loui and B. Kraus，名称：偏差利用型イベント別クラスタ生成(Variance-based Event Clustering)，発行日：２００６年６月１５日）には、イベントに基づき画像を自動的にグループ分けする手法が記載されている。特許文献６（発明者：A. Loui, M. Jeanson and Z. Sun，名称：前景後景セグメント化によるイベント別画像クラスタ生成(Event Clustering of Images Using Foreground and Background Segmentation)，発行日：２００５年７月５日）には、イベント別に画像を自動整頓する手法が記載されている。米国特許出願第１１／１９７２４３号（発明者：Bryan D. Kraus et al.，名称：多段型イベント別画像クラスタ生成(Multi-tiered Image Clustering by Event)，出願日：２００５年８月４日）に記載の手法も利用できる。こうした時空分類法からいずれかを選定する際には、それらの手法にどのような利点があるか、経験的に見て画像コレクションに適用しやすいか等を考察すればよい。イベント別クラスタ生成の結果は撮影状況データとして用いることができる。

パラメタとしては、人数、建物の有無、フラッシュ使用の有無、所定の休日に該当する日付メタデータの有無、所定の誕生日に該当する日付メタデータの有無、その焦点が無限遠にある空の有無、並びにスポーツ／アクションモード指定の有無を用いるとよい。

パーティション設定が全て済んだら、その所属先パーティションを問わず全てのクラスタに対し荷重割当及びランク付けを行う。荷重割当は関心指標(interest metric)に基づき行う。関心指標としては、その所属先パーティションを問わずクラスタ別に適用可能で、しかもそのクラスタに対するユーザの興味、関心の度合いに比例した値をとる（であろう）ものを使用する必要がある。例えば、そのクラスタに属する画像レコードの個数乃至用途や、それを引数とする関数の値を使用するとよい。先にパーティション設定用パラメタとしての使用との関連で幾つかの特性を例示したが、そうした特性やその任意の組合せ乃至それからの派生特性も、その所属先パーティションを問わずクラスタ別に適用可能である限り、またユーザの興味、関心を映し出す見込みがある限り、関心指標の物差しとして使用することができる。また、ランク付けは論理操作的な処理であり、荷重の割当方次第でその情報処理集約性を抑えることができるので、コレクションへの画像レコード追加に伴う再ランク付けも難なく行うことができる。

こうしたランク付けを行うのは、その所属先パーティションの間に何ら関わり合いのないクラスタ同士、即ち異分類クラスタ同士を比較可能にするためである。この比較はリンゴとミカンを比較するようなものではあるが、それによって最高位のランクが付けられたクラスタは、ユーザの興味、関心に最もマッチしそうなクラスタと見なすことができる。また、あるパーティション内のあるクラスタに関心のあるユーザは、そのパーティション内の他のクラスタにはあまり関心を持たないものである。例えば二値パーティション(bibary partition)、即ちそのパーティションに属するクラスタが２個しかないパーティションではその傾向が強い。従って、荷重割当は、興味、関心をあまり呼びそうにない所定のクラスタ群が上位部分に入らないように行う。例えば、そのパーティションからランキング上位に入れるクラスタの個数が、二値パーティションについては１個に制限されるよう、荷重割当を行うのが望ましい。その実現は容易である。例えば、その二値パーティションに属するクラスタのうち１個に対し、他パーティションに属するクラスタも含む全クラスタ中で相対的に小さな値になるよう、任意値の荷重を予め設定するだけでよい。他のクラスタには関心指標に基づき荷重を割り当てる。動物画像に係る二値パーティションなら、そのパーティションに属するクラスタのうち、注目すべき動物が写っている画像に係るクラスタに対し、関心指標（画像個数等）に基づき荷重の値を決めて割り当て、写っていない画像に係るクラスタには０値の荷重を割り当てる、といった具合である。０値を割り当てるとそのクラスタ、即ちユーザがあまり関心を持ちそうにない「動物無し」クラスタがランキングの最下位に落ちる。ユーザにとってほとんど価値がありそうにない種類のクラスタ、例えば露出不足画像や露出過剰画像に係るクラスタに対しても、同様の小さな荷重を予め割り当てておくとよい。ユーザの興味、関心をうまく予測できそうにない場合は、そのパーティションに属する全クラスタに対し、関心指標に基づき荷重を割り当てればよい。

このランク付けでもたらされるランキングは、概ね、関心指標値順のクラスタランキングとなる。ユーザに提示されるリスト（アクティブリスト）はランキング上位の部分だけである。そのリストはユーザインタフェース上で入力部として体現されるので、ユーザは、その入力部を用いランキング上位のクラスタに任意且つ直接にアクセスすることができる。また、上位部分に限らずランキングの全体を、ユーザインタフェース上でユーザ向けに提示することもできる。例えば上位部分、より下位の部分、というように段階的に提示してもよいし、ランキング全体を一気に提示してもよい。但し、ユーザにとって（ほとんど）無価値のクラスタが多数であろうから、このやり方は最善のものではない。

このシステムでは、次いで、そのアクティブリストに基づきユーザインタフェース上にユーザ入力部を設ける。この入力部はユーザからのアクセス要求を受け付けるので、ユーザは、任意に且つ直接に、アクティブリスト上の個々のクラスタに対しアクセスすることができる。そのリスト及び随伴するユーザ入力部が採りうる形態は数多い。図７に、その一例としてユーザインタフェース上に表示させたドロップダウン形式等のメニューを示す。このメニューはクラスタ名をランク順にリストアップすることでクラスタのランキングを表示させたメニューである。その起動手段としてはマウスその他のポインティング乃至指定デバイスを使用できる。ハードウェア的に実現された入力部、例えば実体あるボタンに対しメニュー起動機能を再割当してもよい。また、図中の３００は初期表示されるドロップダウンメニュー、３０２ａ及び３０２ｂはそのメニュー３００からのドリルダウンメニューである。メニュー３０２ａ及び３０２ｂのいずれを用いるかは、ユーザ嗜好データに基づき決めればよい。

図６に、その荷重比に応じクラスタを表示するメニューの例を示す。このメニューでは、クラスタ間の荷重比に比例するサイズとなるよう、複数個のソフトメニューボタンが表示されている。また、図５に、クラスタ間の類似性に応じてグループ分け表示するメニューの例を示す。表示させるクラスタ名は、文字列でも或いはその他のマークでもよいが、詮索対象になりうる諸パーティションで使用されそうなものを、予め設定しておくとよい。ユーザは、それらのクラスタを任意に選択することで、そのクラスタに属する画像のリスト、サムネイル画像、フルスケール画像等々をディスプレイの画面上に表示させ、それを一覧することができる。また、アドレス帳に登録されている人々に宛てて画像レコードのコピーを送信する等、選択したクラスタに属する画像レコードに対し任意の関数を適用することができる。そうした情報を種々のユーザインタフェース上に表示させるソフトウェアとしては、いわゆる当業者にとり周知のものを利用できる。

ユーザインタフェースをソフトウェア的に提供する場合は、例えばアプレット、表示用小画像及びナビゲーションファイルからなるソフトウェアを使用する。アプレットはそれぞれ特定の機能を担うソフトウェアであり、アプリケーションソフトウェアではＪａｖａ、Ｃ＋＋等によるアプレットが多数使用される。表示用小画像は多数の可視セグメントであり、ユーザインタフェースを構成する表示画面にはそれらが多数表示される。ナビゲーションファイルは、ユーザインタフェースが形成されるよう、またユーザに対し一連の操作手順を案内することができるよう、それらアプレット及び表示用小画像を互いにリンクさせるファイルである。

このシステムのとりわけ好適な点としては、ユーザの手を煩わすことなくアクティブリストを表示させうる点がある。即ち、ユーザの介在は不要である。コレクションへのパーティション設定及びクラスタの生成に先立つユーザ嗜好データ入力も任意である。ユーザの介在が不要になるのは、諸画像レコードの関係をユーザ側の作業無しに指標化して使用しているためである。このシステムでは、そのコレクションを管理しているシステムのユーザインタフェースをユーザが稼働させると、そのインタフェース上にアクティブリストが表示され、使用しうる状態になる。

図２に、ランキングに応じユーザインタフェースを改変する処理を事後的に行う例を示す。この手順では、直ちにインタフェースを改変する代わりに、ランキング又はそのうちの上位部分（アクティブリスト）を、後刻の使用に備え、またコレクションと共に又はコレクション抜きで、メモリ上に保存するようにしている（２１０）。保存したランキングは、信号伝送によって、或いはそのランキングがデータとして格納されているリムーバブル媒体を運んで装荷する（２１２）ことによって、保存元の装置乃至システムから他の装置乃至システムへと転送することができる。転送先の装置乃至システムでは、そのアクティブリストに係る入力部をそのユーザインタフェース上に設ける（２０６）。それによって、そのランキングの少なくとも上位部分に属する個々のクラスタに、ユーザが任意且つ直接にアクセス可能になる。また、アクティブリストの転送は、ユーザインタフェースを適宜改変できるのであればどのような形態でも行える。例えば、ユーザ嗜好データ又はその集まりを含むユーザプロファイルデータをアクティブリストの一部として転送してもよいし、アクティブリストの稼働に必要なソフトウェアをそのアクティブリストと共に転送してもよい。

ディジタル信号やデータ格納用のリムーバブル媒体を用いたアクティブリストの転送は、コレクションを伴う形態でも伴わない形態でも実行することができる。その信号を受信し又はその媒体が装荷された側の装置では、その装置のユーザインタフェース上に、そのアクティブリストに係るユーザ入力部が設備される。ユーザは、ランキング上位に属する個々のクラスタに対し、その入力部を用い任意且つ直接にアクセスすることができる。アクティブリストの転送をコレクションの転送とは別に行えるので、直接アクセスできる画像レコードは、そのアクティブリスト上に列挙されているクラスタ内の画像レコードだけである。また、旧来のアクティブリストを新規コレクションへと転送した場合は、そのコレクション内の画像レコードに係る顕著性特徴及びメタデータがそのアクティブリストとマッチすることを確認した上で、それらの画像レコードに対しアクティブリスト経由でのアクセスを認めるようにする。

Claims (26)

1. データレコードのコレクションに対し、ユーザインタフェース越しにアクセスする手段を提供する方法であって、
   対応するパラメタの値の違いに応じ上記データレコードを漏れなく複数個のクラスタに分類するパーティションを、互いに異なる複数種類のパラメタに基づき複数通り設定するステップと、
   他パーティションに属するクラスタも含めた他の全てのクラスタと対比しうるよう各クラスタに荷重を割り当てるステップと、
   荷重に基づき各クラスタにランク付けして共通のランキングを生成するステップと、
   ランキング上位に属する個々のクラスタに対しユーザが任意且つ直接にアクセスできるようユーザインタフェース上に入力部を設けるステップと、
   を有する方法。
2. 請求項１記載の方法であって、所属クラスタ数が２個のパーティションからランキング上位に入りうるクラスタの個数を、上記荷重割当で１個に制限する方法。
3. 請求項１記載の方法であって、上記パラメタが、
   データレコードたる画像レコードの構造的顕著性特徴、意味論的顕著性特徴若しくはその組合せ、
   そのレコードに付随するメタデータである撮影状況データ、画像用途データ、ユーザプロファイルデータ若しくはその任意の組合せ、又は
   それら顕著性特徴とメタデータとの組合せ、
   に基づくパラメタである方法。
4. 請求項３記載の方法であって、
   構造的顕著性特徴である画像鮮明度、画像ノイズ、コントラスト比、暗景の存否、シーンバランス、肌色調、彩度、クリッピング、エイリアシング並びに圧縮状態のうち１個又は複数個を使用し、且つ
   意味的顕著性特徴である人間の存否、人数、性別、年齢、スポーツ機器の有無、建物の有無、動物の存否、赤目現象、瞬き、感情表現、頭部サイズ、ブレ問題、被写体配置、並びに風景の種類のうち１個又は複数個を使用する方法。
5. 請求項３記載の方法であって、
   撮影状況データである撮影日時、撮影者識別情報、撮影場所、焦点距離、フラッシュ使用の有無、所定条件を満たす日付メタデータの有無、並びにスポーツ／アクションモードの指定有無のうち１個又は複数個を使用し、且つ
   画像用途データである印刷回数、印刷した画像のサイズ、閲覧回数、並びに電子メール回数のうち１個又は複数個を使用する方法。
6. 請求項１記載の方法であって、人数、建物の有無、フラッシュ使用の有無、所定の休日に該当する日付メタデータの有無、所定の誕生日に該当する日付メタデータの有無、その焦点が無限遠にある空の有無、並びにスポーツ／アクションモード指定の有無のうち少なくともいずれかを、上記パラメタとして使用する方法。
7. 請求項１記載の方法であって、上記入力部を設けるに当たり、上記ランキングの順序で上記クラスタをリストアップするメニューを人間の介在無しに生成する方法。
8. 請求項１記載の方法であって、上記荷重割当に当たり、他のクラスタに対するそれより低い所定の荷重を、上記クラスタのうち１個又は複数個に割り当てる方法。
9. 請求項１記載の方法であって、ランキング上位に属するクラスタに対し、そのクラスタに属する画像レコードの個数に応じ荷重を割り当てる方法。
10. 請求項９記載の方法であって、ランキング上位に属するクラスタに対し、そのクラスタに属する画像レコードの用途に応じ荷重を割り当てる方法。
11. 請求項１記載の方法であって、対応するクラスタのランク及び荷重を示す形態で上記入力部を設ける方法。
12. 請求項１記載の方法であって、更に、上記ランキングを示す情報及び上記コレクションをデータ格納用のリムーバブル媒体に格納するステップを有する方法。
13. それぞれ画像１枚又は複数枚分の画像データを含む画像レコードを集めたコレクションに対し、ユーザインタフェース越しにアクセスする手段を提供する方法であって、
    それら画像データの顕著性特徴のうち一種類又は複数種類を調べるステップと、
    対応するパラメタの値の違いに応じ上記画像レコードを漏れなく複数個のクラスタに分類するパーティションを、上記顕著性特徴を含め複数種類あり互いに異なるパラメタに基づき、複数通り設定するステップと、
    他パーティションに属するクラスタも含めた他の全てのクラスタと対比しうるよう各クラスタに荷重を割り当てるステップと、
    荷重に基づき各クラスタにランク付けして共通のランキングを生成するステップと、
    ランキング上位に属する個々のクラスタに対しユーザが任意且つ直接にアクセスできるようユーザインタフェース上に入力部を設けるステップと、
    を有する方法。
14. 請求項１３記載の方法であって、上記顕著性特徴として、一種類又は複数種類の構造的顕著性特徴並びに一種類又は複数種類の意味的顕著性特徴を使用する方法。
15. 請求項１３記載の方法であって、上記パーティション設定に当たり、諸画像レコードのメタデータを読み込み、上記パラメタの値をそのメタデータに基づき且つ諸画像レコードについて１個又は複数個導出する方法。
16. 請求項１３記載の方法であって、更に、
    上記コレクションに属する個々の画像レコードの用途を調べるステップと、
    その用途を示すメタデータである画像用途データを生成するステップと、
    その画像用途データを含むパラメタの値に基づき上記パーティションのうち１個又は複数個を設定するステップと、
    を有する方法。
17. 請求項１３記載の方法であって、全クラスタに共通する特性が個々のクラスタについて採る値に基づき上記荷重の値を決める方法。
18. 請求項１７記載の方法であって、個々のクラスタに属する画像レコードの個数、そのクラスタに属する画像レコードの用途、又はその双方に基づき、ランキング上位に属するクラスタに割り当てる荷重の値を決める方法。
19. 請求項１３記載の方法であって、対応するクラスタのランクを示す形態で上記入力部を設ける方法。
20. 請求項１３記載の方法であって、更に、ユーザに対し情報入力を求めその情報に基づき上記パラメタを事前設定するステップを有する方法。
21. 請求項１３記載の方法であって、更に、ユーザインタフェースを提供するシステムから上記画像レコードのコレクションとは別に転送可能なユーザプロファイルデータに、上記ランキングを保存するステップを有する方法。
22. 請求項１３記載の方法であって、更に、上記ランキングを示す情報及び上記コレクションを、データ格納用のリムーバブル媒体に格納するステップを有する方法。
23. 請求項２２記載の方法であって、上記画像レコードのコレクションとは別に転送可能なユーザプロファイルデータに、上記ランキングを示す情報を含める方法。
24. 画像レコードのコレクションから異分類クラスタを生成するシステムであって、
    画像レコードを保持するメモリと、
    １個又は複数個のユーザ入力部及び１個又は複数個の出力ユニットを有するユーザインタフェースと、
    それらメモリ及びユーザインタフェースに機能的に連携する制御ユニットと、
    を備え、上記制御ユニットが、
    対応するパラメタの値の違いに応じそのコレクションを複数個のクラスタに分割するパーティションを、互いに異なる複数種類のパラメタに基づき複数通り設定する部材と、
    他パーティションに属するクラスタも含めた他の全てのクラスタと対比しうるよう各クラスタに荷重を割り当てる部材と、
    荷重に基づき各クラスタにランク付けして共通のランキングを生成する部材と、
    ユーザインタフェース上に１個又は複数個のユーザ入力部を設けることで、ランキング上位に属する個々のクラスタに対しユーザが任意且つ直接にアクセスできるようにする部材と、
    を有し、上記荷重割当部材が、所定条件を満たすクラスタがランキング上位に入らないよう、また他のパーティションに所属するものを含めた残りののクラスタについては関心指標に基づくものになるよう、荷重を割り当てるシステム。
25. それぞれ被写体及び背景を含む１枚又は複数枚の画像に係る画像データからなる画像レコードを複数個集めたコレクションに対し、ユーザインタフェース越しにアクセスする手段を、提供する方法であって、
    それら画像データの顕著性特徴を一種類又は複数種類調べるステップと、
    対応するパラメタの値の違いに応じそのコレクションを複数個のクラスタに分割するパーティションを、上記顕著性特徴を含め複数種類あり互いに異なるパラメタに基づき複数通り設定するステップと、
    各クラスタに荷重を割り当てるステップと、
    荷重に基づき各クラスタにランク付けして共通のランキングを生成するステップと、
    そのランキングを示す情報及び上記コレクションをデータ格納用のリムーバブル媒体に格納するステップと、
    を有する方法。
26. 請求項２５記載の方法であって、更に、
    ユーザインタフェースを提供する装置に上記リムーバブル媒体を装着するステップと、
    そのユーザインタフェース上にユーザ入力部を設けることにより、ランキング上位に属する個々のクラスタに対しユーザが任意且つ直接にアクセスできるようにするステップと、
    を有する方法。

Images