JP6075884B2 - 画像を捕捉する方法及び装置 - Google Patents

Description

本発明は一般に画像捕捉の技術分野に関連し、特に、オペレータの直接的な介在なしに一群の環境信号（environmental cue）に応答するカメラ装置に関連する。

今日のディジタルカメラを簡便かつ比較的支障のないものにしている技術革新にもかかわらず、撮影行為の楽しみを減らしてしまう欠点が未だある。オートフォーカス自動露出（point-and-shoot）の最も簡単なディジタルカメラでさえ、撮影者は、イベントを参加者や出席者として楽しむのではなく、画像を撮影する作業にかなり没頭することがしばしばある。これは、かなり受け入れられているノルマとなっており、写真撮影者はそれを行う仕事を持っており、それゆえに他の参加者よりも活動にいくらか熱中しづらい。この形態の別の欠点はイベント参加者の反応に関することであり、参加者は彼らの画像が撮影されつつあることを知っており、写真撮影中、自然でない反応をするかもしれない。

写真撮影者を自由にするよう提案された多数の方法が存在し、その方法は、写真撮影者がカメラの背後から出てくることを可能にし、その場面の一部になることを可能にする。周知の方法は、遅延タイマ法（設定や調整の全てがなされた後、撮影者がカメラ背後から急いで出てくることを可能にする方法）から、シャッタその他の装置を遠隔的に制御する方法に及ぶ。このような方法は写真撮影者をある程度自由にするが、イベントにおける画像を捕捉するには、かなりの量の注意や設定が依然として必要である。

遠隔カメラ起動は、監視、偵察及び建物のセキュリティ等の業界のアプリケーションに使用されている。音や運動で起動する画像捕捉システムは、様々なタイプのイベントを記録できるようにし、例えば、人の出入り、人や動物等の動き、等々を記録可能にする。遠隔監視用のウェブカム（webcam）装置は、ノイズ、光、音又は動きを、例えば赤外線（IR）モーションディテクタ等により検出した場合、画像を捕捉する。そのようなシステムのカメラは、一般的には固定された場所に設けられ、既知のフォーマットで画像コンテンツを取得する。イベント検出カメラ装置については、例えば、ノリス（Norris）等による「Smart Camera System」と題する米国特許出願公開第2004/0080618号（特許文献１）に記載されている。

遠隔カメラ起動によりイベント画像を撮影する際、セキュリティや監視について発展してきた方法を使用することもできるが、しかし、消費者が家族や友人の動きを撮影及び捕捉する撮影環境と、離れた場所でイベントを監視する平凡な業務との間には多数の大きな相違がある。確かに、画像品質、対象選択及びタイミングは、消費者のイベント撮影にとっては重要関心事であるが、遠隔監視の場合それらは比較的重要でない。動きや音を検出する程度でしかないカメラは、遠隔的な画像処理の分野にとっては充分であるが、例えば、誕生日や休日の友人の集まりのような家族的なイベントにおいて、満足な画像をもたらしそうにない。

より自然な撮影体験をもたらす試みは、ピリュ（Pilu）による「Autonomous Camera Having Exchangeable Behaviors」と題する米国特許出願公開第2005/0012830号（特許文献２）により説明されている。‘830ピリュの出願は行動メモリを有する着用可能なカメラを開示しており、そのカメラは、対象の視界からのデータを分析することで、関心のあるイベントや状況を検出することができる。同様に、ヒューレットパッカード社のグループは、連続的に記録を行う「常時起動カメラ（always-on-camera）」を提案しており、これは、取得した大量の画像を分類するアルゴリズムを装備し、保存に値するかもしれない少数の良いものを選択することを支援する。例えば、ある形態は眼鏡ガラスの脇に取り付けられ、少なくとも人々の一部として使用可能にする。人の頭の脇から出ているカメラを持つことは自然に感じるかもしれないが、しかし、連続的に撮影されている対象視界中の被写体から、自然なのびのびとした行動を引き出しそうであるか否かは疑わしい。さらに、着用する方法は、撮影者を画像の中に引き込むものではなく、ユーザがカメラを向ける方法を単に変えているにすぎない。実際、多様な消費者撮像状況に対して、撮影得者にカメラを取り付ける方法は、撮影者を「自由」にする目的に合致しそうにないようである。

このように、より自然でのびのびとした方法で画像を自動的に取得する意義や価値は認められるものの、一方において撮影者を画像捕捉機能から解放し、他方において「被写体の像が撮られている」という心理的制約から被写体を解放する要請に対して、既存の方法は及ばない。連続的な「大量の」画像を取得した後に分類プロセスを行う既存の方法は、刺激的な画像（要素）、のびのびとした画像及び社交的画像（人々が捕捉及び保存を希望する重要な瞬間を特徴付ける画像）を見逃してしまう。

重要な瞬間を捕捉する場合、既存の方法は、静止画又は動画を捕捉する。静止画だけでなく動きの前後の動画（ビデオ）を捕捉する機能は、その瞬間の状況を大幅に増やすだけでなく撮影者の経験も増やす。さらに、動画及び静止画を組み合わせて取得することは、「Automatic Traffic Violation Monitoring and Reporting System with Combined Video and Still-Image Data」と題する国際出願公開WO2004/111971A2（特許文献３）において説明されている。これは、交通ルール違反の証拠として使用する状況に限定されており、しかも、複数の動画及び静止画装置並びに複数の捕捉画像を利用しなければならない。撮影者を画像捕捉機能から解放するには、消費者にとって使用可能であり、重要な瞬間全体を捕捉することが可能な単独の装置が必要である。

既存の方法で対処されていない又は解決されていない問題は、動きを含む改善された画像処理をもたらすことである。例えば、ゴールキーパがサッカーボールをキャッチ又はキャッチし損ねるほんの少し前の瞬間にサッカーボールの画像を消費者撮影者が捕捉することは容易でない。動きの速い動作の場合、カメラ操作者による遅延及び画像捕捉タイミング固有の遅延の双方に起因して、消費者の画像は送れたものになりがちであり、しばしば何分の１秒の相違により、関心のある画像を見逃すことになってしまう。ビデオストリームを事後的に編集することは、この問題に対処する従来の解決方法の１つである。しかしながら、高速イベント画像処理を可能にし、撮影者の自由度を増やし、画像取得を容易にする方法をもたらすことが有用である。

米国特許出願公開第2004/0080618号明細書 米国特許出願公開第2005/0012830号明細書 国際出願公開第2004/111971号パンフレット

したがって、さらに満足のゆく撮影体験をもたらす革新的な方法が必要とされていることが分かる。その方法は、撮影のタスクを撮影者に強いることなく、撮影者を画像の外に出すことなく、良い画像を取得できそうなものである。状況によっては、有用な自律的カメラは、グループイベント時の専属の撮影者の代わりに有用な代替物をもたらすことさえ可能である。撮影する消費者の要請に相応しい、自動的な又は「自律的（autonomous）」なカメラ処理を行う装置及び方法を提供することが望ましい。

概して、本願は自律的なセルフラーニング処理を含むディジタル画像処理装置の汎用性を改善することに関連する。このため、本発明の一形態は画像捕捉方法を提供し、本方法は、画像捕捉装置を学習モードに設定し、該画像捕捉装置周囲において少なくとも１つの変数を検出し、該少なくとも１つの変数の通常状態を規定するステップと、前記少なくとも１つの変数が、前記通常状態から新たな状態へ所定の閾値レベルを超える遷移を行ったことを検出した場合、画像の捕捉を開始するステップと、前記新たな状態を前記通常状態に再定義するステップとを有する画像捕捉方法である。

本発明の他の形態は画像を捕捉する装置を提供する。本装置は、設定可能な学習モードを有し、当該装置周囲において少なくとも１つの変数を検出し、該少なくとも１つの変数の通常状態を規定する画像捕捉装置と、前記少なくとも１つの変数が、前記通常状態から新たな状態へ所定の閾値レベルを超える遷移を行ったことを検出するすくなくとも１つのセンサと、前記少なくとも１つの変数の遷移を検出した際に画像の捕捉を開始し、前記新たな状態を前記通常状態に再定義するプロセッサとを有する装置である。

本発明の一実施例によるディジタル画像捕捉装置の概略ブロック図。 あるイベントで使用される本発明によるディジタル画像捕捉装置を示すブロック図。 本発明により取得される捕捉画像群のタイミング図。 本発明の一実施例による画像処理システムを設定するインターフェース画面の一例を示す図。 画像トリガ設定に使用されるユーザインターフェース画面の平面図。 画像を捕捉するのに自動的にトリガを用意するステップを示す論理フローチャート。 本発明の一実施例により自動応答モードがどのように機能するかを示すフローチャート。 画像捕捉トリガとして様々な画像対象を使用してカメラをトレーニングする際にオペレータが従う手順を示す図。

本発明に関するこれら及び他の目的、特徴及び効果は、図面に関連する以下の詳細な説明を読むことで当業者には明らかになるであろう。以下においては本発明の例示的な実施例が図示及び説明されている。

本願の特許請求の範囲は本発明の対象事項を特定しかつ個々に権利を請求しているが、添付図面に関連する以下の詳細な説明により、本発明はさらに理解しやすくなるであろう。

以下、本発明による様々な実施例が図面を参照しながら詳細に説明され、幾つかの図面を通じて同様な参照番号は同様な部分や集まりを表す。様々な実施例に関する説明は、本発明の範囲を限定するものではなく、本発明の範囲は添付の特許請求の範囲によってのみ規定される。さらに、本明細書で言及されているどの具体例も限定を意図しているわけではなく、特許請求の範囲の発明に対する多くの可能な実施例の内のあるものを単に示しているに過ぎない。

本発明はカメラのような自動画像捕捉装置をもたらし、家族、友人及びグループのイベントの画像を撮る消費者のニーズに相応しいソリューションを提供する。自動画像捕捉装置は、プロンプト又は環境イベントに応答して自動的にディジタル画像を捕捉し、そのプロンプトは、ユーザが入力した命令やユーザが行ったトレーニングにしたがって装置により検出され、環境イベントは適切な画像トリガ条件として装置により検出されたものである。装置はフレキシブルであり、画像の取得は、さらに、ユーザが押す画像捕捉ボタンによりトリガが与えられてもよいし、プログラム可能な如何なる多数のイベントによりトリガが与えられてもよい。本発明の実施例に関し、画像捕捉装置を使って捕捉される画像は、動画、静止画又は動画と静止画の何らかの組み合わせでもよい。

以下で説明される実施例の画像捕捉装置は、ディジタル静止画カメラ、ビデオカメラ、又は静止画も動画も取得可能なカメラとすることができる。画像捕捉装置により捕捉画像群が取得され、捕捉画像群は、装置の性能に基づいて、及びオペレータにより又は装置制御ロジックにより指定された設定パラメータに基づいて、装置により捕捉された静止画及び動画の双方又は一方の１つ以上を含む。一実施例では、捕捉画像群は、静止画と、画像トリガ条件の検出に先行する所定の秒数の動画の組み合わせで構成される。静止画とその所定の秒数の動画との組み合わせの後に、画像トリガ条件の検出が続き、及び/又はその組み合わせが続く。

図１は、本発明の一実施例によるディジタル画像捕捉装置10の概略ブロック図を示す。レンズ13及び画像センサ15を少なくとも含む画像捕捉モジュール12は中央処理装置14に接続され、中央処理装置は、自動的に画像を取得する論理プログラムを実行する。少なくとも１つのセンサ18は、中央処理装置14と通信を行い、画像捕捉装置12を起動することによって検出した条件に応答して、中央処理装置14が画像を取得できるようにする。補属された画像である画像データは、光ストレージ16にローカルに保存されてもよいし、或いはイーサーネットワークや他のタイプのネットワークのようなネットワークを介して遠隔ストレージに送信されてもよい。ユーザインターフェース20は、中央処理装置14により、オペレータの命令を入力及び活性化できるようにし、画像捕捉装置10の柔軟な操作及び応答を可能にする。

画像捕捉の技術分野における当業者に明らかであるように、図１の基本形態は多くの様々な形態を許容する。例えば、ディジタル画像捕捉装置10は、中央処理装置14、ユーザインターフェース20又はストレージ16のどれとでも一体的に統合されたセンサ18を備えてもよい。１つ以上の環境センサ18が用意されてもよく、環境センサは、音、光（可視光、紫外線又は赤外線）、振動、熱、電場、磁場、輻射その他の環境変数（後述されるように、合図やプロンプトとして機能し得るもの）等を検出するセンサを含む。中央処理装置14は、代替的に、オンボードマイクロプロセッサ又は個々のパーソナルコンピュータ（例えば、ラップトップコンピュータ又はワークステーション等）でもよい。ユーザインターフェース20は、装置10に内蔵されてもよいし、装置10とは別個に設けられてもよい。中央処理装置14及びストレージ16の要素は、ネットワーク22とともに何らかの他の場所に遠隔的に設けられてもよい。要素間の接続は、必要な柔軟性に依存して、無線でも有線でもよい。したがって、以下の説明に関し、図１の形態は如何なる変形例にも委ねられる実用モデルとして与えられる。

図２は、あるイベントで使用される本発明によるディジタル画像捕捉装置10を示すブロック図である。ディジタル画像捕捉装置10は、例えば屋内の棚や高いテーブル上のような、画像捕捉に好都合な場所に設けられている。或いは、画像捕捉装置10は携帯され、人体に又は他の方法で装着されてもよく、その場合において、ディジタル画像捕捉装置10は、画像の捕捉が望まれる方向を曖昧に指している。１つ以上のセンサ18がディジタル画像捕捉装置10に組み込まれてもよく、或いはそれらの間を相互接続する通信チャネルにより許可される適切な距離を、ディジタル画像捕捉装置10から隔てて設けられてもよい。層と接続通信チャネルは、有線でも無線でもよい。１つ以上のセンサ18が、場面内のオブジェクトとして又はその中に隠される又は偽装されてもよいし、或いはその場面又はディジタル画像捕捉装置10の近くにいる誰かが、１つ以上のセンサ18を装着してもよい。

センサのタイプ及び配置
センサ18は、様々な如何なるタイプのセンサ装置でもよく、様々な如何なる状態を検出してもよい（特に、中央処理装置14の処理能力を用いて検出を行ってもよい）。複数のセンサ18が使用されてもよい。センサ18は例えばオーディオセンサでもよい。一実施例では、所定の閾値を上回るノイズが、画像の捕捉に相応しい時であることを示す。しかしながら、画像捕捉に相応しいさらに巧妙な合図がある。ある種の音が、画像の捕捉に有利な時を示すようにしてもよい。これは１人以上の参加者からの合図（cue）を含み、例えば、キーワード、（人の耳に聞こえるか否かによらない）ある種のプロンプト装置から得られた音、笑い声、突然の音量変化（大から小へ、又は小から大へ）、拍手、静寂への遷移等を含む。１人以上の参加者の音声プロファイルを取得することもでき、中央処理装置14は、特定の誰かの声に反応するように、又は１人以上の者からの音の抑揚（イントネーション）に応答するようにプログラムされてもよい。また、動物や事物（例えば、ベル）からの音が、画像捕捉のトリガや契機となってもよい。

或いは、センサ18は、熱センサや赤外線センサのタイプのような何らかのタイプの環境センサでもよい。イベント参加者から検出した熱が、画像捕捉を始めるために使用されてもよい。画像の現場について検出した熱プロファイルの変化（例えば、動きを示す変化）が使用されてもよい。センサ18は光の変化（輝度又はスペクトルの変化を含む）を検出してもよい。スペクトル変化は、可視スペクトルを超えて、紫外線領域や赤外線領域でもセンサ18により検出可能である。この種の変化を使用して、例えば、画像捕捉を開始するのに適切な動きを示してもよい。代替的に、振動又はエアフローがセンサ18により又は複数のセンサ18により検出されてもよい。電界、磁界又は輻射がセンサ18により検出され、画像捕捉を開始するための変化点を画像の現場の中で検出する。これらの要因は、例えば、１人以上の参加者が近くにいることを示す。

他の実施例では、センサ18の役割が、画像処理ソフトウエアにより実行され、そのソフトウエアは画像捕捉モジュール12により連続的に取得された画像データを処理する。画像捕捉モジュール12により取得されるビデオ信号を連続的に監視することで、このソフトウエアは、突然の動き、動作開始、動作停止、輝度変化及び他の状態（画像捕捉を指示するために画像トリガ状態として機能する状態）のイベントを検出することができる。

コンテンツ取得
ディジタル画像捕捉装置10の別の動作モードでは、捕捉画像群（image capture set）が取得される。捕捉画像群は、静止画と、画像トリガ条件の検出に先行する所定秒数の動画の組み合わせで構成される。静止画とその所定秒数の動画との組み合わせの後に、画像トリガ条件の検出が続き、及び/又はその組み合わせが続く。本実施例の場合、画像捕捉モジュール12は、静止画と動画内の一連の画像との双方を取得可能であり、或いはその動画は、ディスプレイに提供されるプレビューストリームから取得されてもよい。

前述した問題の１つは、カメラ操作者の反応時間（応答時間）に関連する。この動作モードの場合、一時バッファ17がテンポラリバッファとして使用され、画像捕捉モジュール12により連続的に取得されているビデオ画像の最近の部分を保存する。ビデオ（動画）の解像度は静止画の解像度より低く、高速フレームレート動画を可能にし、ビデオストリームのデータレートを減らし、一時バッファ17の所要サイズを減らす。これは、静止画捕捉に至るイベントを示すために画像トリガ条件の検出に先行する数秒の中からビデオ画像を取得する方法を提供する。さらに、動画のこの数秒は、捕捉画像群内にある場合、静止画捕捉のコンテキスト（脈絡）をもたらす。

図３は、本発明により捕捉画像群がどのように取得されかを示す簡略化されたタイミング図である。図３において、ウインドウ32は時間枠（時間ウインドウ）32を示す。時間ウインドウ32において、時点t1は、ビデオデータが一時バッファ17に保存可能なt2よりも先行する所定の時間である。例えば時点t1は時点t2より10秒先行していてもよい。時点t3は、ビデオデータが一時バッファ17に保存可能なt2より後の所定の時間である。例えば、時点t3はt2より5秒後でもよい。トリガイベントは、図3のダイアグラムに示されているようなt2の時点で生じる。時点t3はt2より後の時間なので、t2からt3への期間のビデオデータは、ストレージ16に直接的に保存可能である。捕捉画像群は、時点t1からt2までの動画、t2で捕捉された静止画、及びt2からt3までの動画の如何なる組み合わせによって構成されてもよい（これについては、後にさらに説明される。）。捕捉画像群を取得した後、捕捉画像群はストレージ16に移される。

一実施例では、静止画捕捉に先行する所定期間の間に撮影されたビデオが、捕捉画像群に含められてもよい。この期間は、図３のウインドウ32において、t1及びt2間の時間として示されている。この期間の間に、ビデオは一時バッファ17（図１）に連続的に保存されて行く。さらに、図３において時点t2ないし時点t3により示されているように、静止画像取得後の所定期間中のビデオが、捕捉画像群に含められてもよい。t1及びt2間の時間や、t2及びt3間の時間は、ユーザの好み、一時バッファ17のサイズ、デフォルト設定値又はそれらの組み合わせ等により設定される。装置による捕捉の準備が整った場合、ビデオは連続的に一時バッファ17に保存され、準備が整った場合とは、例えば、捕捉画像群がイネーブルにされる動作モードに、ディジタル画像捕捉装置10が設定された場合、ディジタル画像捕捉装置10がユーザにより持ち上げられた場合、或いはユーザが画像捕捉ボタンに触れた場合等である。

ユーザインターフェース例
図４は、本発明の一実施例による画像処理システムを設定するインターフェース画面30の一例を示す。一実施例では、画像捕捉システムは、イベント環境における様々な合図（subtle cue）に応答するようにプログラムされる。例えば、笑い声は特殊なオーティオ信号を含み、その信号は定量化可能でありかつ画像の捕捉を始めるのに使用可能である。或る程度のトレーニング又は訓練を行うことも可能であり、そのトレーニングにより、中央処理装置14は、ある種の音と別の音との間で（より一般的には、検出したある種の状態と別の状態との間で）上達した識別力をもたらすようにプログラムされる。

図４では、インターフェース画面30がカメラのディスプレイに登場しており、タッチスクリーンメニューの選択肢を使用している。展開可能なメニュー選択肢34が設けられ、自動画像捕捉に関する基本的な合図やプロンプトを選択可能にしている。図５に示される例の場合、画像捕捉を開始させるプロンプトとして、音量変化状態が選択されている。カメラの操作者は、画像又は捕捉画像群の取得を引き起こす音量変化閾値36を設定する。設定レベルを合わせるために、カメラの制御ノブ（つまみ）が再設定されてもよい。或いは、タッチスクリーンや他のタイプのオペレータ入力手段を用いて、好ましい設定レベルに合わせてもよい。

画像捕捉のトリガとして、遷移や推移（transition）を使用することも効果的であり、静的な状態（をトリガとする）よりも有用かもしれない。例えば、ある閾値を超えるノイズが検出された場合に、ディジタル画像捕捉装置10が画像を取得するように設定されてもよい。しかしながら、比較的騒々しい環境の場合、これはディジタル画像捕捉装置10をアクティブにさせ、取得される画像が意図しているよりも頻繁に得られることになる。むしろこの場合、例えば、所与の期間内で或るdB数のノイズレベル間の遷移の方が、イベントの際に、カメラユーザにとって関心のある画像を捕捉しやすいかもしれない。

図５の簡易な例に示されるものよりも複雑な他のプロンプト選択がなされてもよい。例えば、プロンプト選択肢は、あるタイプの音声（例えば、大人や子供の声）を指定してもよいし、或いは特定の人の声を指定してもよい。中央処理装置14上で動作する音声認識ソフトウエア（図１）を利用して、１人以上の個人的な声を合図として検出してもよい。この点については、より詳細な具体例により後述される。

画像捕捉トリガとして使用可能なさらに他の選択可能なイベントは、色、輝度その他の画像特性における変化等を含むが、これらに限定されない。動き（モーション）は様々な属性により検出可能であり、例えば、突然の動き、動きが止まったこと、指定された速度閾値より速い又は遅い動き、或いはプログラム可能に選択できる他の属性を有すること等を含む。コンテンツも画像捕捉トリガとして使用可能であり、様々な画像の対象が検出され画像捕捉トリガとして機能する。例えば、画像視野内の多数の顔のような変数が、画像捕捉トリガとして機能し得る。例えば 努力や赤面を表すような外観や色の変化が、ディジタル画像捕捉装置10により検出され、画像捕捉の画像トリガ条件として使用されてもよい。

さらに別様に決定されるコンテンツ条件は、人、動物、顔その他の識別可能な事物を検出することを含む。ディジタル画像捕捉装置10は、画像を周期的に分析する論理ツールを備えていてもよく、その論理ツールは、画像が、ある人物、ペットその他の動物又は関心のある事物のものであるか否かを判別する。ディジタル画像捕捉装置10は、後述するように、特定の人々や事物を「学習」する能力を備えていてもよい。

様々な選択的なセンサを使用して、光や音に通常関連付けられているもの以外の状態を検出してもよい。視野の中で測定された体温や熱プロファイルの他の変化が、適切な画像捕捉トリガになっている場合、人、ペット又は状況を特定するために赤外線検出器が使用されてもよい。体温、EKG、振動その他の検出可能なパラメータのセンサが使用されてもよい。

上述したように、静止画像及び動画像の双方が、捕捉画像群の一部として取得可能である。ディジタル画像捕捉装置10のオペレータインターフェースは、画像トリガ条件を設定するための選択肢をオペレータに提供し、特に何れかのタイプの画像捕捉に関する条件や、複数タイプの組み合わせの条件等を設定可能にする。

指定された音声その他のオーディオ信号を使用する具体例
図６は、声及び/又は音の検出論理を示す本発明によるフローチャートである。声又は他の音の検出に関し、図６の論理フロー又は同様な論理が使用可能である。以下の具体例及びステップは、声の例を与えている。如何なるタイプの音（例えば、特定のペット、楽器、ドアの開閉、電話、ベルその他の音）でも、自動画像捕捉モードにおけるディジタル画像捕捉装置10に、画像捕捉の同様な刺激を与えることに留意を要する。

選択ステップ100において、オペレータは、インターフェース画面30のコマンドを用いて、１人以上の声（その他の音）について声や音を指定する。サンプル捕捉ステップ110において、オペレータは、指定した人や人々にマイクロフォンを通じて喋らせる。マイクロフォンは、カメラ自体に付いていてもよいし、カメラや中央処理装置14に取り付けられていてもよい。必要な高精度さに依存するが、音声サンプリングは比較的簡易なものでもよく、基本の音プロファイルを生成するのに十分長い数秒間の間喋ることを、単に話者に要求してもよい。より複雑な設定の場合、指定された人に対して、その特定の人のトーンや会話パターンを特徴付けるのに役立つ特殊なフレーズを口にすることを要求し、それを他者のものから区別できるようにする。

いったんカメラが自動動作用に起動されると、モニタステップ120が実行される。モニタステップ120の間、ディジタル画像捕捉装置10の中央処理装置14は、マイクロフォンの入力信号から検出したオーディオストリームを継続的に監視する。指定された人の声が検出されているか否かを制御ロジックが判別することで、イベント検出ループステップ130が周期的に行われる。検出されると、画像捕捉ステップ140が実行される。そして、次のオペレータのコマンドが受信されるまで、画像処理は止まってもよい。或いは、検出された音（オーディオ）の「イベント」それぞれと共に、継続的な画像捕捉が開始されてもよく、そのイベントは指定された人（人々）又は出席者が喋ったことを示すイベントである。

環境変数に対する自動応答
図７は、本発明の一実施例により自動応答モードがどのように機能するかを示す。ディジタル画像捕捉装置10は自動応答モードで動作してもよく、その場合、「期待されている」又は「通常の」設定における変化に応答する。このモードの場合、ディジタル画像捕捉装置10は、視野内の変化に適応可能であり、その環境の中で十分な量の変化を検出した場合、画像を捕捉する。したがって、例えば、ディジタル画像捕捉装置10は、最初は誰もいない部屋の中に置き去りにされてもよい。人が入って来ると、検出された動作は、画像捕捉用のディジタル画像捕捉装置10を起動するのに十分なエネルギをもたらす。

図７において、ディジタル画像捕捉装置10を特定の視野に適合させるモードにしている間、モード初期化ステップ200が先ず実行される。ディジタル画像捕捉装置10が画像捕捉を実行するための「エネルギレベル」の感度閾値の設定を支援するため、１つ以上のプリセット閾値群が用意されてもよい。そして、ディジタル画像捕捉装置10をトレーニングし、画像トリガ条件閾値を改善する自己学習ステップ（セルフラーニングステップ）が続く。ステップ210の間、ディジタル画像捕捉装置10はその環境から１つ以上の変数を検出する。これらの変数は、例えば、視野の中の活動（アクティビティ）、環境のノイズレベル、相対的な輝度、色その他の検出可能な合図を含む。このモードの場合、ディジタル画像捕捉装置10はこの検出したアクティビティを時間に関して積分し、その「世界(world)」がどのようであるかを示す特性「プロファイル（profile）」を取得してもよい。ディジタル画像捕捉装置10が、その場面における相対的なアクティビティ又はエネルギレベルを時間経過とともに検出すると、ディジタル画像捕捉装置10はその場面における遷移に応答できるようになる。ある学習期間の後、ディジタル画像捕捉装置10の自動動作ステップ220の準備が整う。これは例えばあるプリセット期間の後であってもよい。或いは、オペレータからの何らかの命令を用いて、学習ステップ210を終了して自動処理ステップ220を開始してもよい。

自動処理ステップ220の一部として、監視ステップ230が実行される。監視ステップ230の間、ディジタル画像捕捉装置10は、自身の視野及び選択された環境変数群を監視する。測定された何らかの変数が所与の閾値を超えた場合、イベント検出ステップ240が行われる。例えば、ディジタル画像捕捉装置10が「学習」した閾値未満を除いて、車が通過する外の音を検出することが可能である。これは、ディジタル画像捕捉装置10を比較的騒々しい環境に設けることを可能にし、予測される環境ノイズにおける真のトリガでないトリガが、画像捕捉の契機に使用されないようにする。あるタイプの刺激又は要因が検出された場合、判定ステップ250が実行される。検出された信号が所与の閾値を超えた場合、又はプリセット設定202に依存しかつセルフラーニングステップ210で取得した学習属性に依存する他の必要条件に合致した場合、画像捕捉ステップ260を開始することができる。そして、自動処理を終了させてもよいし、或いは図示されているように制御ロジックを監視ステップ230に単にループバックさせてもよい。

自動処理ステップ220のさらに別の部分として、ディジタル画像捕捉装置10は、動作中に検出したものに基づいて、自身の環境を継続的に学習し直すこともできる。例えば、セルフラーニングステップ210の間、会議室は始め空であってもよい。出席者が部屋に入り始めるにつれて、ディジタル画像捕捉装置10は、説明したばかりの画像捕捉ステップ260に先行して、画像を取得し始めてもよい。例えば、部屋に入ってくる新しい人各々について又は周期的に、画像が取得される。しかしながら、部屋が一杯になった場合又は誰も入って来なくなった場合、それに応じてカメラの応答は変わるべきである。他の例の場合、検出したデータを積分し続けることで、ディジタル画像捕捉装置10は更新される履歴（ヒストリ）を取得することができ、会議が始まると感度閾値が変わるようにする。再定義、再計算又は更新（rolling）される或るタイプの通常状態を使用して、ディジタル画像捕捉装置10は、変化する環境や新たな状態に応じて、検出した状態の最近の「ヒストリ」を用いて自身の閾値感度を調整できる。図７に示される論理に関し、セルフラーニングステップ210は、判定ステップ250で使用される閾値設定を調整するために周期的に起動されてもよい。このヒストリを得ることで、ボリューム又は動きの劇的な変化のみを、以後の画像捕捉のトリガにすることができる。誤ったトリガは効果的に防止され、関心のない画像や繰り返しの画像の取得を最小限にする。

ディジタル画像捕捉装置10は自動応答モードに自動的に入ることが可能なことにも留意すべきであり、その場合、電源投入時に又はタイマにしたがって速やかにモード初期化ステップ200を実行する。さらに、監視ステップ230では、時間とともに変わる様々な感度レベルがあってもよい。この機能は、ディジタル画像捕捉装置10が「パワーセーブ」モードに入ることを可能にし、所定の期間内にイベントが一切検出されなかった場合、バッテリ又は他の電力消費を節約する。例えば、ユーザがディジタル画像捕捉装置10をオフにし忘れた場合であって、週末に装置が会議室内に設置されていた場合、より低いレベルの監視感度が、電力節約機能に最も相応しい。

概して、自動応答モードで使用するディジタル画像捕捉装置10のオペレータにとって、様々なコンフィギュレーション（設定）が利用可能である。一実施例では、カメラの設定は一切必要ない。オペレータにより指図されない限り、電源が投入されるとカメラは速やかに自動的に自動応答モードに入る。或いは、様々な検出状態から選択を行うために又は初期閾値を与えるために、設定ツールが用意されてもよい。

上述したように、自動応答モードで取得された捕捉画像群は、静止画、動画、又は双方のタイプの何らかの組み合わせでもよい。あるタイプのイベントや、様々な閾値設定のような或る条件の下で、短いビデオシーケンスが画像捕捉ステップ260において取得可能である。

対象又はイベントに対する応答学習
図８は、様々な識別可能な画像部分（画像捕捉トリガとして機能する関心のある対象）を使用して、ディジタル画像捕捉装置10に学習させる手順を示す。一実施例では、ディジタル画像捕捉装置10は視野を継続的に分析し、関心のある対象が検出された場合、画像の捕捉が始まる。したがって、関心のある対象（subject of interest）は検出されるべき変数を表現し、視野の中にその関心のある対象が存在していることは、画像トリガ条件の閾値レベルを超えていることを示す。或いは、閾値を超える関心のある対象物が存在している状況の下で、その関心のある対象が視界から立ち去った場合の変化が、画像トリガ条件となってもよい。

ディジタル画像捕捉装置10は、関心のある特定の対象や特定のタイプのイベントを学習したり訓練させられ、その対象やイベントは、検出可能であり視野の中で生じるものである。一実施例では、図８の例に示されるように、オペレータはカメラを教育又はトレーニングする手順にしたがって、関心のある様々な対象を画像捕捉トリガとして使用する。より具体的には、設定ステップ300において、オペレータはディジタル画像捕捉装置10が学習モードに入るように指示する。この指示は、カメラ42の制御部を用いて入力されてもよいし、或いは、プルダウンメニューや特殊な制御シーケンスのような、その目的のために用意された何らかの他のコマンド入力装置により入力されてもよい。

表示ステップ310では、関心のある対象やイベントを含む画像がカメラのディスプレイ30に現れる。これは、新たに捕捉された画像でもよいし、或いはカメラがアクセス可能な過去に保存済みの画像でもよい。表示された画像とともに、識別ステップ320が次に実行される。識別ステップ320において、画像捕捉トリガとして使用されるべき関心のある対象を、オペレータは明示的に指示する。図８の例の場合、ディジタル画像捕捉装置10の視野の中にサッカーボールがある場合に取得された画像を、オペレータは好むであろう。オペレータは、関心のある対象を伴う適切な画像を表示し、そしてタッチスクリーン等のような何らかの方法でその関心のある対象を強調する。しかしながら本発明はこのような強調に限定されず、対象を選択する適切な如何なる方法も使用可能であり、例えばマニコ等（Manico et al.）による「Custom Cut Image Products」（米国特許第7,164,490号）に開示されている技法が使用されてもよい。表示される画像は、ディジタル画像捕捉装置10において過去に捕捉及び保存されている画像でもよいし、或いはネットワーク22等を介してディジタル画像捕捉装置10がアクセス可能な画像でもよい。或いは、表示される画像は単なるライブ画像表示でもよく、ライブ画像表示は、ディジタル画像捕捉装置10の動作中に連続的に取得されるものである。

図８の場合、カメラディスプレイ30に示されているサッカーボールの周りに輪郭44が描かれている。輪郭44は、タッチスクリーン上でスケッチされてもよいし、何らかの別の方法で生成されてもよい。或いは、タッチスクリーンを指で押すことで、関心のある対象を特定してもよい。中央処理装置14（図１）の画像分析ソフトウエアは、指で於下近辺の対象物の境界を特定することができる。

図８に示されるディジタル画像捕捉装置10の学習用の設定ステップは、関心のある対象の「ライブラリ」を生成するのに必要な回数反復可能である。この同じシーケンスが、例えば、人々を関心のある対象として、ディジタル画像捕捉装置10に設定するために使用されてもよい。これは、ディジタル画像捕捉装置10が、「関心のある」その人々を特定可能にし、その一群の人々の画像を取得することに従事できるようにする。したがって、関心のある対象のライブラリは、図８の例のサッカーボールのような対象物と如何なる人数の人々との双方を含んでよい。

同様なシーケンスを利用して、特定の色や音を判別し、それらを学習した応答対象/イベントのライブラリに同様に保存してもよい。このようにして、例えば、サッカーチームのユニフォームやチームの歓声（喝采、応援、声援等）が、画像トリガ条件として保存されてもよい。

学習シーケンスの一部は、好ましい選択肢ではない同様な人々や事物の画像を取得してしまうカメラエラーのフィードバックや訂正を必要としてもよい。例えば、母親が、チームや学芸会において自分の子供と他の子供を区別するように、ディジタル画像捕捉装置10を事実上教育するかもしれない。

関心のある対象物を複数個組み合わせることで、関心のある対象物各々が画像の中で全て一緒にそろった場合にディジタル画像捕捉装置10が画像を捕捉するように、ユーザは教育することができる。複数の関心のある対象を利用する一例は、特定のジャージ（ユニフォーム）の番号のサッカー選手が、サッカーボール及びサッカーゴールとともに視野の中に入った場合に、ディジタル画像捕捉装置10が画像の捕捉を開始するように教育することである。この場合、ジャージの番号、サッカーボール及びサッカーゴールの各々が関心のある対象として特定され、画像トリガ条件の閾値（閾条件）は、関心のある３つの対象全てが視野の中に同時に存在していることである。

他の実施例の場合、ディジタル画像捕捉装置10は画像のライブラリを使用するように構築可能であり、ライブラリのコンテンツに基づいて、特定のユーザが関心を持っていそうな好ましい対象を判別する。この画像ライブラリは、ディジタル画像捕捉装置10上に設けられていてもよいし、或いはネットワーク22を介してアクセスされるリモートサイトに設けられていてもよい。例えば、ある子供、あるペット又は他の対象の画像が繰り返し存在していた場合、その特定の対象はそのユーザにとって重要な価値があるであろう。画像分析ソフトウエアを使用して、様々な対象物から得た多数の画像を追跡し、そのデータを学習プロセスの入力として使用し、関心のある好ましい対象を特定することができる。同様に、ディジタル画像捕捉装置10は、ユーザの知覚値（perceived value）にしたがって、画像ライブラリ中の画像各々に画像値を割り当てることができる。これは、画像値インデックス（IVI：Image Value Index）と言及される。例えば、ある画像及び画像コンテンツをユーザがどの程度長く眺めていたかに基づいて、データが取得されてもよい。画像の中の重要な領域は様々な方法で検出可能であり、これについては例えば、ミラー等（Miller et al.）による「Method and Computer Program Product for Determining an Area of Importance in an Image using Eye Monitoring Information」と題する米国特許第7,046,924号に説明されている。様々な画像コンテンツの有効値に関する他の有用なインジケータ（指標）は、装置が捕捉した画像の識別可能なコンテンツ及び画像を利用する電子メール処理回数を含んでもよい。ディジタル画像捕捉装置10が転送及び検出した画像のメタデータもスキャン可能であり、ユーザが特に関心を持っている対象の登場を示すのに使用可能である。

関心のある１つ以上の対象がいったん保存されると、ディジタル画像捕捉装置10が自動応答モードに置かれたときはいつでも、関心のあるそれらの対象を画像捕捉トリガとして使用することができる。関心のある１つ又は複数の対象が視野の中に存在し、関連する閾値条件が満たされた場合、これらの画像捕捉トリガは、ディジタル画像捕捉装置10が画像を捕捉するための「命令又は指示」として検出可能である。関心のある対象のライブラリ及び学習した他の画像捕捉トリガを管理すること、ユーザにとってもはや価値のない画像捕捉トリガを削除すること、画像捕捉トリガの優先順位を決めること、或いは複数の画像捕捉トリガを組み合わせて使用すること等の追加的なユーザプロシジャが使用されてもよい。

画像処理
従来の撮影方法は、画像品質をできるだけ良く最適化するため、しばしば、カメラ装置及びサポートしている照明要素の正確な設定に対してかなりの配慮及び注意を必要としていた。これに対して、本発明は、ディジタル画像捕捉装置10を使用する際、満足の行く画像を取得するのに必要な画像処理を自動化するディジタル画像処理の様々な恩恵を享受できる。

一実施例では、元のディジタル画像（オリジナルディジタル画像）を取得するのに広角カメラが使用される。そして、その元の画像は、ある既知の方法の何れかを使用して集約され及び切り取られ、その既知の方法は、画像の中から重要な画像コンテンツを特定し、条件の整ったディジタル画像を形成するために、関心のないコンテンツを削除するように切り取りを行うものである。進歩しつつある将来予測される画像処理における進展は、切り取られた画像が、申し分のない様相及び非常に良い画像品質を呈することを可能にし得ることに留意を要する。

キーフレーム抽出法を使用して、ユーザにとって最も意義がありそうな画像キーフレームを検出及び識別することができる。キーフレーム抽出法については、例えば、ルオ等（Luo et al.）による「Extracting Key Frame Candidates from Video Clip」と題する西暦2006年2月3日付けで出願された米国特許出願第11/346,708号、ルオ等による「Analyzing Camera Captured Video for Key Frames」と題する西暦2006年2月3日付けで出願された米国特許出願第11/347,679号等において説明されている。他のキーフレーム抽出法については、例えば、ザン（Zhang）による「Intelligent Key Frame Extraction From a Video」と題する米国特許第2005/0228849号に説明されている。

広範な画像フィールド内の特に関心のある部分を選択する際、自動的なズーム及び切り取りも価値がある。自動的なズーム及び切り取りを説明する特許出願の例は、ルオによる「Automatically Producing an Image of a Portion of a Photographic Image」と題する米国特許第6,654,507号、及びルオ等による「Method for Automatically Creating Cropped and Zoomed Versions of Photographic Images」と題する米国特許第6,654,506号等を含む。捕捉画像群中のビデオは、捕捉画像中の静止画のコンテンツに適用しながら、自動的なズーム及び切り取りプロセスをさらに改善するために使用可能である。また、自動的なズーム及び切り取りプロセスに対する入力を用意することで、自動的にズームして切り取る画像の画像コンテンツをさらに改善するように、画像捕捉トリガ情報を使用することができる。

以上、本発明はある好適実施例を特に参照しながら詳細に説明されてきたが、上述したように及び添付の特許請求の範囲で規定されている本発明の範囲内で、本発明の範囲から逸脱せずに、様々な変形及び修正が当業者により認められるであろう。例えば、素子同士の間を適切に接続し、かつ標準的なワークステーションやラップトップコンピュータプラットフォーム上で動作する制御プログラムロジックを利用することで、本発明は様々なタイプのディジタルカメラとともに使用可能である。或いは、本発明による装置は、センサ、制御論理装置、インターフェース及びその他の装置に統合される機能を備えた製品としてパッケージされてもよい。アプリケーションに依存して、様々なタイプの画像処理が使用されてもよい。異なる場所で同じ検出条件に基づいて複数のカメラが使用され、画像を取得してもよい。検出される様々な条件の組み合わせに基づいてプログラムされる様々な動作に関して、様々なセンサの配置を利用することができる。

かくて、直接的なオペレータの介在なしに、捕捉画像群を取得するための一群の環境的な合図に応答するカメラを利用する装置及び方法が提供された。

10 ディジタル画像捕捉装置
12 画像捕捉モジュール
13 レンズ
14 処理ユニット
15 画像センサ
16 ストレージ
17 テンポラリバッファ
18 センサ
20 ユーザインターフェース
22 ネットワーク
30 スクリーン
32 ウインドウ
34 メニュー選択肢
36 設定
42 制御部
44 輪郭
100 選択ステップ
110 サンプル捕捉ステップ
120 監視ステップ
130 イベント検出ループステップ
140 画像捕捉ステップ
200 モード初期化ステップ
202 閾値設定
210 セルフラーニングステップ
220 自動処理ステップ
230 監視ステップ
240 イベント検出ステップ
250 判定ステップ
260 画像捕捉ステップ
300 セットアップステップ
310 表示ステップ
320 同定ステップ

Claims (11)

1. 監視されるべきトリガーイベントのタイプを示す情報を受信する処理と、
   前記トリガーイベントを受信する前に第１のビデオシーケンスを捕捉する処理と、
   １以上のセンサからセンサ情報を取得する処理と、
   取得した前記センサ情報に応じた前記トリガーイベントの感度閾値の調整を、前記トリガーイベントの受信前又は周期的に行う処理と、
   前記調整後のトリガーイベントの感度閾値に基づいてトリガーイベントが発生したかを取得した前記センサ情報から判断する処理と、
   前記トリガーイベントに応答して１以上の静止画像を捕捉する処理と、
   前記第１のビデオシーケンス及び１以上の前記静止画を、第１の捕捉画像群としてメモリに記憶する処理と、
   を実行する画像捕捉方法。
2. 前記第１のビデオシーケンスは、第１の所定期間をもつビデオシーケンスを含む、請求項１に記載の画像捕捉方法。
3. 前記第１のビデオシーケンスは、前記トリガーイベントの直前に捕捉されたビデオシーケンスを含む、請求項１に記載の画像捕捉方法。
4. 前記トリガーイベントが発生したかを判断する処理は、前記１以上の静止画像が捕捉された直後に、第２の所定期間をもつ第２のビデオシーケンスの捕捉を更に含む、請求項１に記載の画像捕捉方法。
5. 前記第１のビデオシーケンス及び少なくとも１つの前記静止画を記憶する処理は、前記第２のビデオシーケンスを前記メモリに記憶することを更に含む、請求項４に記載の画像捕捉方法。
6. 第１のビデオシーケンスを捕捉する前記処理は、さらに、
   前記第１のビデオシーケンス内のフレームを分析する処理と、
   前記第１のビデオシーケンスの少なくとも１つのフレーム内のオブジェクトを前記分析に基づき検出する処理と、
   を含む、請求項１に記載の画像捕捉方法。
7. 前記トリガーイベントが発生したかを判断する処理は、前記第１のビデオシーケンスの少なくとも１つのフレーム内のオブジェクトを検出することを含む、請求項６に記載の画像捕捉方法。
8. 前記第１の所定期間はユーザ入力に基づいて設定される、請求項２に記載の画像捕捉方法。
9. 前記第２の所定期間はユーザ入力に基づいて設定される、請求項４に記載の画像捕捉方法。
10. センサ情報を取得する前記処理は、少なくとも２つの異なるタイプのセンサからのセンサ情報を取得することを含む、請求項１に記載の画像捕捉方法。
11. オブジェクトを検出する前記処理は、特定のオブジェクトが検出されてから検出されなくなるまでの遷移を検出することを含む、請求項６に記載の画像捕捉方法。

Images