JP2010252313A - 複数の短時間露光に応答する、シミュレートされた長時間露光画像の生成 - Google Patents

Abstract

【課題】より少ない機器及びより少ない困難で、長時間露光画像を自動的に生成するシステム及び方法を提供すること。
【解決手段】わずかに異なる時間にキャプチャされた短時間露光画像のシーケンスから長時間露光画像をシミュレートする。画像のシーケンスは、時間積分プロセスで結合され、三脚によって固定されたスチールカメラからの出力をシミュレートする長時間露光画像を生成し、この感光材料は、シーケンスの最初の入力画像の開始時から入力シーケンスの最後の画像まで、同じシーンに露光される。この方法は、手持ち式ビデオ及び画像記録装置の限界を克服し、ユーザが、通常は専門家の制御下にある高級なデジタルスチールカメラと関連する効果を容易に生み出すことを可能にする。
【選択図】図２

Description

本発明は、一般に、デジタル写真に関し、より具体的には、長時間露光のスチール写真（ｓｔｉｌｌ ｐｉｃｔｕｒｅ）をシミュレートするように構成されたカメラに関する。
（関連出願に対する相互参照）
該当なし
（連邦政府支援による研究又は開発に関する陳述）
該当なし
（コンパクトディスクで提出される題材の引用による組み入れ）
該当なし
（著作権保護の対象となる題材の注記）
本特許文書の中の題材の一部は、合衆国及び他の国々の著作権法の下の著作権保護を受ける。著作権者は、本特許文献又は本特許開示が米国特許商標庁の公的に入手可能なファイル又は記録において公開されたときに、本特許書類又は本特許開示の何人による複写による複製に対しても異議を申し立てないが、それ以外はいかなるものであれ一切の著作権を留保する。著作権者は、本特許文書を秘密裡に保持するために、制限なく米国特許法施行規則（３７Ｃ．Ｆ．Ｒ．）§１．１４に従う権利を含む、権利のいずれもここに放棄するものではない。

長時間露光静止画像（長時間露光画像）は、長い間、動きを表現する、動きを滑らかにする、及び静止被写体を隔離するといった、芸術的効果を生み出すために用いられている。かなりの期間、絞りを開いたままにする必要があるため、場合によっては、消費者が三脚の助けなしに長時間露光のスチール写真を撮るのは困難であるか又は不可能ですらある。さらに、有用な長時間露光画像を生成するのに必要なカメラ制御は、多くの場合、高級一眼レフ（ＳＬＲ）カメラでしか使用できない。時折写真を撮る平均的な消費者は、通常、三脚を携帯するという重荷を負うことを望まない、又は、長時間露光画像を生成する際に含まれるニュアンスを理解しようとせず、従って、それらの創造的可能性を活かすことができない。

図１は、長時間露光画像を取得するための従来のプロセス１０を示す。カメラ装置１２は、安定した台１４（例えば、三脚、及び典型的には遠隔シャッター制御（図示せず）を有しているもの）上に保持される。カメラの絞りは、所与の小さい絞りサイズ及び長時間露光間隔１６に設定される。従来のスチールカメラを用いて長時間露光写真を生成するために、感光素子は、ほんの一瞬から数分、さらには数時間に渡ることがある露光時間の間、シーンからの光に曝されることに留意されたい。

従来の長時間露光画像を撮るときに、静止したシーン・コンテンツの意図しないぶれを防止するために、露光中、カメラを全く静止した状態に維持しなければならない。例えば、約１／６０秒程の相対的に短い露光においては、固定された支持具（例えば、三脚）の恩恵を受けずに、人が、十分に静止した状態を維持し、カメラの揺れにより生じるぶれを防止することができる。ＳｏｎｙのＳｕｐｅｒ ＳｔｅａｄｙＳｈｏｔ（登録商標）等の種々のカメラ安定化技術によって、わずかに長い露光が可能である。しかしながら、より長い露光については、シーンの静止領域のぶれを防止するために三脚が必要になる。カメラがどれだけ安定して保持されているかに関わらず、素早く動く対象が、さらにカメラの揺れに起因する動きぶれ（ｍｏｔｉｏｎ ｂｌｕｒ）を示すことがある。

写真撮影に用いられる「露光」という用語は、シャッターが開いている間に画像センサ（又は写真媒体）上に当たることが可能な光の総量を記述することを理解すべきである。露光は、典型的には、ルクス秒で測定され、特定の領域に渡る露光値（ＥＶ）及びシーン輝度から算出することができる。

「長時間露光」という用語は、多くの場合、所望の写真効果を与えるために所与の光条件に必要であるよりはるかに遅いシャッター速度を選択する技術を指す写真技術の用語である。例えば、画像は、第１の絞り設定において１／１００秒の露光でキャプチャできるが、撮影者は、１／２秒から１０秒の露光時間、及び、はるかに小さい第２の絞り設定を選択する。「長時間露光」という用語は、一般に、本明細書においては、三脚及び／又は他の機器の必要なしでは容易に実現できない露光持続時間を意味するのに用いられ、一般に、三脚又は他の安定した支持具の必要なしで取得できる「短い」又は「通常の」露光時間と対比される。

長時間露光画像は、多数の目的のうちのいずれかのために撮影される。長時間露光画像についてのこうした目的の１つは、シーンの静止部分は完璧な細部を保持するが、シーンの移動している部分には動きぶれが生じる、芸術的ぶれである。写真家は、この技術を用いて、（１）滝又は泉等の動く水に対して、霧がかかったような、曇った、又はクリーム状の効果を生み出すこと、（２）動きぶれにより、動く対象が強調されないようにすることによって、動的環境において静止した対象を「引き立てる」こと、（３）シーンの静止部分と動く部分との間を区別すること、（４）動く対象の見かけの速度を誇張すること、（５）自動車のヘッドライト又はテールライトのストリーキング等の特別な照明の効果をもたらし、他の動的効果を与えること、を含む劇的な結果を生み出してきた。これらの効果の幾つかの例は、後の節に示される。

長時間露光の別の目的は、信号対雑音比を増大させ、従って画質を改良することである。露光時間の延長は、雑音に対する信号強度を増大させ、「よりきれいな」高品質の画像をもたらし、非常に低光量の状況で撮られた写真に特によく適している。この効果は、使用可能な信号強度が低い、低光量条件で用いられるときに最も劇的に見られる。

現実問題として、多くの消費者又は他のアマチュア写真家は、それに伴う苦労を予想して、長時間露光写真を撮る面倒な思いをしようとはしない。長時間露光写真の生成に対する消費者に対する障壁として、以下のものが挙げられる。すなわち、（１）三脚及び／又はシャッターリリースケーブル又は遠隔制御装置等の関連したアクセサリを携行する負担。（２）通行量の多い歩道で、移動する車両からなどのような多くの状況及び環境では、三脚の使用に適していない。（３）ユーザは、どのように効果的に長時間露光をもたらすかについて学んだことがないか、又は覚えていない。（４）アマチュアが有用な結果を得るためには、かなりの量の実験（多数の試み）を必要とすることが多い。

従って、より少ない機器及びより少ない困難で、長時間露光画像を自動的に生成するシステム及び方法に対する必要性がある。これらの及び他の必要性は、本発明において満たされ、これまでに開発されたカメラ・システム及び方法の欠点を克服する。

三脚又はカメラの揺れを防止するための他の手段を必要とすることなくキャプチャすることができる、複数のより短時間の露光画像を結合する積分形態に応じて長時間露光画像を生成するための装置及び方法が教示される。本発明は、デジタルカメラ（スチール及び／又はビデオ）を含む種々の機器、並びに、画像処理装置及びプログラムにおいて具体化することができる。

本発明は、異なる瞬間にキャプチャされた複数の画像を、第１の画像が収集されるときから最後の画像が収集されるときまで、その感光素子（材料）が同じ光景に露光される、三脚により固定されたスチールカメラからの出力をシミュレートする単一の画像に結合する特化された形態を実行する。この方法は、手持ち式ビデオ及び画像記録装置の限界を克服し、ユーザが、通常は、専門家の管理下にある高級デジタルスチールカメラがもつ安定した長時間露光効果を容易に生み出すことを可能にする。

「画像」という用語は、一般に、本明細書においては、キャプチャされたスチール写真（ピクチャ）又はビデオ・シーケンスの１つのフレームの電子的表現を意味するのに用いられる。本明細書における説明の目的において、用語「画像（ｉｍａｇｅ）」「写真（ｐｈｏｔｏｇｒａｐｈ）」及び「ピクチャ（ｐｉｃｔｕｒｅ）」は、実質的に同義語である。

本発明の方法／装置は、シャッターが、実際には長い露光時間、開位置に保持されるわけではないので、「シミュレートされた」長時間露光（長い露光時間の画像）を生成するものと呼ばれることを理解されたい。その代わりに、長時間露光出力を生成するために、好ましくは１／６０秒又はそれより短い、短時間から通常の露光の複数の画像が特化された方法で処理され、「結合」される。本明細書で用いられる「短時間露光（ｓｈｏｒｔ ｅｘｐｏｓｕｒｅ）」という用語は、「長時間露光（ｌｏｎｇ ｅｘｐｏｓｕｒｅ）」という用語との対比のために示されるが、いわゆる「短時間露光」は、通常の露光設定と呼ぶことができるものでキャプチャできることが留意されるであろう。

短い露光時間は、入力画像のシーケンスを撮影する際にカメラ装置が用いられる所定の条件に関して十分に短いものである。例えば、約１／６０秒までの典型的な手持ち式カメラの露光は、最少の揺れで行うことができる。揺れ防止ハードウェアを含むカメラは、場合によっては、わずかに長い露光時間を用いることが可能である。周囲照明の問題を別にして、短時間露光画像入力シーケンスについての露光時間（持続時間）及び絞りの選択は、結果の所望の品質、画像解像度、画像安定ハードウェアの存在、カメラがどのように保持されているか（その安定性）、撮影する人の熟達度、環境（例えば、風、雨等）を含む多数の問題によって決まる。しかしながら、一般には、所定の対象及び条件に十分な照明を与える最短時間の露光を用いることが好ましい。

「結合される（ｃｏｍｂｉｎｅ）」という用語は、複数の短時間露光を用いて長時間露光画像を生成するプロセスを指すのに用いられるが、このプロセスは、本発明の詳細な考察で明らかにされるように、単に一連の画像を重ね合わせるより複雑なものであることを理解すべきである。自然に見える長時間露光画像をレンダリングするために、連続する画像間の空間を「埋める」手段として考えることができる時間積分を含む、長時間露光を適切にシミュレートするのに必要な多数のプロセスステップがある。

本発明は、以下の記述に限定されるものではないが、多くの方法での具体化に適している。
本発明の１つの実施形態は、ビデオ・フレームの１つのセグメント又は短時間露光時間画像のシーケンスの処理に応答して、（シミュレートされた）長時間露光画像を生成するための装置である。

本発明の１つの実施形態は、（ａ）ビデオを選択し、（ｂ）シミュレートされた長時間露光のスチール写真が生成される間隔を定める一組の連続するフレームをビデオ内で選択し、（ｃ）連続するフレームの組を時間積分により結合して、長時間露光スチール写真を生成することを含む、ビデオから長時間露光スチール写真を生成するための方法である。

本発明の１つの実施形態は、（ａ）一組の連続するスチール写真を選択し、（ｂ）連続するスチール写真の組を時間積分により結合して、長時間露光スチール写真を生成することを含む、複数の短時間露光スチール写真の処理に応答して長時間露光スチール写真を生成するための方法である。

本発明の１つの実施形態は、（ａ）デジタル画像のシーケンスをキャプチャするための手段と、（ｂ）メモリが結合されたコンピュータと、（ｃ）（ｉ）キャプチャするための手段から、その画像キャプチャ持続時間が所望の長時間露光より短い通常の露光時間設定で通常の露光画像のシーケンスを受信し、（ｃ）（ｉｉ）画像のシーケンス内から、所望の長時間露光画像の持続時間に及ぶ一組の連続する画像を選択し、（ｃ）（ｉｉｉ）連続する画像の組を時間積分により結合して、少なくとも１つの長時間露光画像を生成するための、コンピュータ上で実行されるように適合されたプログラムとを含む、長時間露光画像のキャプチャをシミュレートするための装置である。

本発明の１つの実施形態は、（ａ）デジタル画像のシーケンスをキャプチャするように適合された電子画像形成要素と、（ｂ）電子画像形成要素を制御するように構成された、コンピュータに結合された関連したメモリを有するコンピュータと、（ｃ）（ｉ）画像のシーケンスをキャプチャし、（ｃ）（ｉｉ）画像のシーケンス内で所望の時間露光時間に及ぶ一組の連続する画像を選択し、（ｃ）（ｉｉｉ）連続する画像の組を時間積分により結合して、少なくとも１つの長時間露光画像を生成するための、メモリ内に格納され、かつ、コンピュータ上で実行されるように適合されたプログラムとを含む、長時間露光時間をシミュレートするための装置である。本装置は、異なるサブセットの画像を選択して処理すること、及び、処理の特性を変更することなどに関して、ユーザが、一組の入力画像から、いずれの所望の数の結果を生成するのを可能にすることに留意すべきである。

結果として得られる出力される長時間露光画像は、装置によりシミュレートされる、どのような所望の露光時間にもわたることができることを理解すべきである。本発明の主な利点の１つは、高品質の長時間露光画像を、三脚又は他のカメラ支持具又は遠隔シャッターリリースを必要とせずに生成することができ、かつ、三脚を使用できない種々の条件下でも撮影できることである。さらに、本装置により、ユーザが露光持続時間を制御できるようになり、さらに、画像のシーケンスの撮り直しを必要とせずに、ユーザが望ましい結果を実現するために、異なる露光時間及び他の処理特性を試みることも可能になるため、ユーザは、所望の長時間露光結果をより容易に実現することができる。装置により収集された短時間露光画像のシーケンスは、ビデオ・シーケンスのフレーム、又は静止画像のシーケンスを含むことができる。

本発明の１つの実施形態において、カメラの動きは、結合処理内で時間積分を行う前に、キャプチャされた画像のシーケンスに対して補償される。例えば、動き補償は、グローバル動き予測（Ｇｌｏｂａｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ：ＧＭＥ）及びグローバル動き補償（Ｇｌｏｂａｌ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ：ＧＭＣ）を実行することを含むことができる。当業者であれば、種々の形態のＧＭＥ及びＧＭＣが周知であり、これらの技術は本明細書では説明されないことを認識するであろう。適切に積分するために、結合時の時間積分前に、連続する画像の組のピクセル値を線形明度値に変換することも好ましい。積分後、装置は、所望のコントラスト及びカラーバランスに修正することが好ましい。

本発明の１つの実施形態は、（ａ）デジタル画像のシーケンスをキャプチャするように適合されたカメラ内の電子画像形成要素と、（ｂ）装置（例えば、カメラ）の電子画像形成要素を制御するように構成された、コンピューに結合されたメモリを有するコンピュータと、（ｃ）（ｉ）メモリ内で、所望の時間に及ぶ画像のシーケンスをキャプチャし、（ｃ）（ｉｉ）画像のシーケンス内で、所望の露光時間に及ぶ一組の連続した画像を選択し、（ｃ）（ｉｉｉ）キャプチャされた画像のシーケンスにおけるカメラの動きを補償し、（ｃ）（ｉｖ）連続する画像の組のピクセル値を線形明度値に変換し、（ｃ）（ｖ）連続する画像の組を時間積分により結合して、１つ又はそれ以上の（シミュレートされた）長時間露光画像を生成するための、コンピュータ上で実行されるように適合されたプログラムとを含む、所望の期間（例えば、ユーザ選択）に及ぶシミュレートされた露光時間を有する静止画像を自動的に生成するための装置である。

本発明の１つの実施形態は、（ａ）長時間露光のスチール写真についての所望の時間フレームに及ぶ、画像のシーケンスをキャプチャし（画像キャプチャ装置により）、（ｂ）キャプチャされた画像のシーケンスにおいて、デジタル画像キャプチャ装置の動きを補償し（例えば、結果として得られる画像シーケンスの「フレーム」を補正し）、（ｃ）時間積分により連続する画像の組を結合して、シミュレートされた長時間露光スチール写真を生成することを含む、キャプチャされた短時間露光画像のシーケンスから長時間露光スチール写真を生成する方法である。

本発明は、本教示から逸脱することなく、単独で又はいずれの所望の組み合わせでも実施することができる多数の有利な態様を提供する。

本発明の１つの態様は、少なくとも所望の長時間露光間隔に及ぶ、画像のシーケンスに対する特化された結合処理を行うことに応答して、シミュレートされた長時間露光画像を生成するための方法及び装置である。

本発明の別の態様は、シミュレートされた露光の所望の長さに及ぶ、十分な画像（画像フレーム）の収集を条件として、長時間露光画像が、カメラ装置により自動的に生成されることを可能にすることである。

本発明の別の態様は、被写体に向けてボタンを押すだけの平均的な撮影者が、所望の長時間露光効果を生成するのを可能にすることである。
本発明の別の態様は、撮影者が、三脚並びに遠隔シャッター起動装置等の安定したプラットフォーム及び機器を必要とせずに、長時間露光画像の結果を生成するのを可能にすることである。
本発明の別の態様は、高精密度のカメラ機器及び制御機構を必要とせずに、長時間露光画像を生成する能力である。
本発明の別の態様は、撮影者が、収集された画像のシーケンス内で、任意に開始時間及び終了時間を選択できる長時間露光画像の生成を可能にすることである。
本発明の別の態様は、長時間露光画像を作成するためのソース画像が収集された後でも、撮影者が、生成された長時間露光画像の態様を制御することを可能にすることである。

本発明の別の態様は、早送り及び／又は巻き戻しを行って滑らかではない再生を除去するビデオ再生装置内に組み込むことができる方法である。
本発明の別の態様は、デジタルスチール及び／又はビデオカメラ装置内に組み込むことができる方法である。
本発明の別の態様は、長時間露光画像形成の新しい形態を容易に生成する能力である。
本発明のさらに別の態様は、画像収集及び処理装置の多数の形態に適用できることである。

本発明の更に別の態様は、明細書の以下の部分に明らかにされ、詳細な記述は、制限を課すことなく、本発明の好ましい実施形態を完全に開示するためのものである。
本発明は、例示目的にすぎない以下の図面を参照することによって、より十分に理解されるであろう。

従来のカメラを使用して撮られる写真のブロック図である。 本発明の実施形態による、画像のシーケンスからスチールカメラ又はビデオカメラによって生成されるシミュレートされた長時間露光写真（画像）のブロック図である。 本発明の態様による、長時間露光画像を生成する、入力される多数の短時間露光画像又は通常露光画像を示すシミュレートされた長時間露光生成方法のフローチャートである。 本発明の態様による、シミュレートされた長時間露光画像処理に関連する長時間露光要素を示すブロックのグループである。 本発明の態様による、オリジナルの画像シーケンス及びサブサンプルされたシーケンスのブロック図である。 本発明の態様による、シミュレートされた長時間露光画像を生成するように構成されたカメラ装置のブロック図である。 他のアクティブなシーンの中で、通常の露光画像（図７Ａ）に見られる静止した対象（格子柄スカートの女性）を強調表示するための長時間露光画像形成（図７Ｂ）の芸術的な使用を示す画像である。 他のアクティブなシーンの中で、通常の露光画像（図７Ａ）に見られる静止した対象（格子柄スカートの女性）を強調表示するための長時間露光画像形成（図７Ｂ）の芸術的な使用を示す画像である。 図８Ａに示される水の流れを図８Ｂの長時間露光画像に移動して滑らかにするための長時間露光画像形成の芸術的な使用を示す画像である。 図８Ａに示される水の流れを図８Ｂの長時間露光画像に移動して滑らかにするための長時間露光画像形成の芸術的な使用を示す画像である。 図９Ａでは静止状態に見える車両が、図９Ｂの長時間露光画像に移動するときに動作のぶれになるようなシーンを通して動きを追跡するための長時間露光画像形成の芸術的な使用を示す画像である。 図９Ａでは静止状態に見える車両が、図９Ｂの長時間露光画像に移動すると動作のぶれになるようなシーンを通して動きを追跡するための長時間露光画像形成の芸術的な使用を示す画像である。

図面をより詳細に参照すると、説明目的のために、本発明は、図２乃至図９Ｂに全体的に示される装置において具体化される。この装置は、本明細書に開示される基本的な概念から逸脱することなく、構成に関し及び部品の細部に関して異なる場合があり、本方法は、特定のステップ及びシーケンスに関して異なる場合があることが認識されるであろう。

１．シミュレートされた長時間露光画像の適用
本発明は、スチールカメラ及びビデオカメラの両方によるシミュレートされた長時間露光画像の生成を可能にする。本発明による画像のキャプチャ及び処理をこれらのカメラに組み入れて、自動長時間露光シミュレーションを提供することができる。毎秒６０フレーム（ｆｐｓ）といったフレームレートをサポートする必要があり、このことは、こうしたカメラの露光時間を最大でも１／６０秒に制限することから、従来、ビデオのキャプチャは、長時間露光スチール写真の生成とは両立しないことを理解すべきである。技術の進歩に伴い、消費者用表示装置は、毎秒１２０又は２４０枚のピクチャといった、より高い更新速度を採用することが予測され、このことは、結局、消費者用ビデオカメラに対して増大したキャプチャ速度を導入することに拍車をかけ、さらに、ビデオ・ピクチャに対して露光がより短くなることを意味する。さらに、本明細書における方法は、より短時間の露光画像のシーケンスの受信に応答して少なくとも１つの長時間露光画像を生成するための、本発明により構成することができる画像処理機器及びプログラムに用いるのに適用可能であることも理解すべきである。

２．問題の公式化
所望の露光が時間間隔［０，ｔ_e］にわたって行われると仮定する。静止したスチールカメラの場合、出力値は
としてモデル化することができ、ここで、ｕ［ｘ，ｙ，ｔ］は、時間ｔにおけるセンサ位置（ｘ，ｙ）の光強度であり、ｆ_s（）は、光の時間積分の結果を形作る関数である。説明を明確にするために、以下の：
１．（ｘ，ｙ）ピクセルの区域上の光の空間積分の影響。
２．波長の関数としてのセンサのスペクトル応答。
３．各ピクセルに対して三色（赤色、緑色、青色）を実現するために、脱モザイク化（ｄｅ−ｍｏｓａｉｃｋｉｎｇ）を必要とする単一センサのカラーカメラの制約。
を含む画像センサの多数の特性はモデル化されていない。

静止したスチールカメラから長時間露光画像ｓ［ｘ，ｙ］を生成することが望ましい。しかしながら、本発明は、以下の：
ようにモデル化された画像のシーケンスの集合を入力として実施する。
関数ｍ_x,i（）及びｍ_y,i（）は、ピクチャｉについてのカメラの任意の動きを説明し、関数ｆ_v（）は、光の時間積分の結果を形作る関数であり、［ｔ_i,0，ｔ_i,1］はピクチャｉ，ｉ＝０，．．．，Ｎ−１についての露光間隔である。

図２は、比較のために図１の従来の長時間露光画像のキャプチャと並んで示される、本プロセスの例を示す。図１においては、従来の長時間露光画像の生成１０が示される。長時間の間隔１６にわたって「シャッターの開放」を維持し、画像の照明を収集することに応答する、長時間露光画像の従来のキャプチャのために構成された、スチールカメラ１２が、三脚１４内に示される。

図２は、図１に示すものとは著しく異なる方法で、シミュレートされた長時間画像を生成するための実施形態３０を示す。従来の長時間露光方法とは対照的に、本発明は、所望の長時間露光間隔３６の間に、シーンの一連の短時間露光画像３８を収集するためにカメラ（ビデオ３２、又はスチール３４、又はこれらの組み合わせ）を使用する。これらのビデオ露光の各々は、所望の総積分時間のサブセットにわたって画像情報をキャプチャするだけであることが理解されるであろう。カメラ３２、３４は、三脚を必要とせずに使用されることを認識すべきである。カメラは手持ち式としてもよいので、なんらかのカメラの動きが、互いに対する、同じく所望の長時間露光ｓ［ｘ，ｙ］に対する、フレームｖ［ｘ，ｙ，ｉ］の位置合わせ不良を生じさせることも考えられる。

従って、本方法の目的は、以下の：
前提：露光時間［ｔ_i,0，ｔ_i,1］の個々のスチール写真ｖ［ｘ，ｙ，ｉ］ｉ，ｉ＝０，．．．，Ｎ−１。
推定：露光時間［０，ｔ_e］にわたって静止したスチールカメラにより生成されるような長時間露光ｓ［ｘ，ｙ］。
ように表明することができる。

３．問題の解決
図３は、前の節で公式化された問題に対する解決法の例示的な実施形態５０を示し、下記にステップ１−７としても列挙される、幾つかの一般的なコンポーネント５２−６４を有するように示される。
１．複数の入力ピクチャがキャプチャされる（５２）。
２．入力ピクチャの中でカメラの動きを補償するためのグローバル動き推定（ＧＭＥ）及びグローバル動き補償（ＧＭＣ）（５４）。
３．独立して動く対象の補償（５６）。
４．逆関数ｆ_v（）の適用（５８）。
５．時間平均化（６０）。
６．関数ｆ_s（）の適用（６２）。
７．推定される長時間露光画像ｓ［ｘ，ｙ］の出力（６４）。
これらのステップは、述べられた順番で完了させる必要はなく、さらに、次善の近似の解決法は、これらのステップの１つ又はそれ以上を完全に省略し、計算上の複雑さを低減させることができる。コンポーネントの各々は、以下でさらに詳細に説明される。

３．１グローバル動き推定及びグローバル動き補償
キャプチャされた画像フレームのシーケンス間でカメラの動きが生じる状況においては、適切な長時間露光シミュレーションを生成するように、画像の結合に先だって後処理によりカメラの動きを排除することが好ましい。カメラの動きの補償は、よく研究されている問題である。幾つかの一般的な技術が本明細書で説明されるが、当技術分野において認識されるこれら技術の実施の技術的な詳細を論じる必要はない。本方法は、２つの広いカテゴリー、すなわち、ローカル及びグローバルに分けることができる。ローカル技術は、例えば、ブロックマッチング、位相相関、オプティカルフロー、又は特徴追跡（ｆｅａｔｕｒｅ ｔｒａｃｋｉｎｇ）のようなローカル動き分析を用い、これに続いて、結果としてもたらされるローカルの動きをグローバルモデルに確実に当てはめる。グローバル技術は、例えば、位相相関のグローバルな適用又はオプティカルフロー式のグローバルに制約される適用など、ピクチャ全体を分析し、明示的に又は暗黙的に確実な解決法を与えるように設計される。

グローバル動き予測及びグローバル動き補償のどちらの方法が選択されるにせよ、結果として、グローバルモデルに従って歪みが生じたビデオ・ピクチャがもたらされるので、これは、基準ピクチャと適切に位置合わせされる。複数のこうしたピクチャを順番に見ると、カメラの移動に起因する、いずれの明らかな動きも除去され、三脚又はケーブルシャッタリリース又は遠隔制御などの関連したアクセサリの助けにより、連続するもののような安定した背景がもたらされる。

３．２逆関数ｆ_v（）の適用
この段階で、全ての入力ピクチャは、互いに十分に位置合わせされていると考えられる。しかしながら、データ点は、「時間平均化」ステップにおいて必要な線形明度値（ｌｉｎｅａｒ ｌｉｇｈｔ ｖａｌｕｅ）では表わされない。観察されたデータからカメラ応答関数ｆ_v（）を推定するための方法が文献に多数あることを理解すべきである。当業者であれば、画像形成装置の光応答を効果的にマッピングするいずれの所望の方法も用い得ることが理解されるであろう。特定のカメラに対してこの方法を適用する際、製造業者はｆ_v（）を知っていると仮定することができる。代替的に、多くの異なるカメラに共通する特性を含むｆ_v（）についての一般的な近似を用いることができる。近似モデルは、生成された結果に応じてなど、本発明に従って所望の通りに微調整することができる。

ｆ_v（）を補償するために採用される技術に関係なく、結果として得られるピクセル値は、ここでは線形明度値であり、これは「時間平均化」ステップを理論的に意味あるものにし、実際には、より正確な長時間露光画像形成のシミュレーションを提供する。

３．３独立して動く対象の補償
図２に示すように、画像シーケンスは、必然的に、所望の時間間隔［０，ｔ_e］に関する、画像（フレーム）３８間の時間ギャップを含む。図２は、限定としてではなく、一例として、これらのギャップを表わし、これらのギャップにより表わされる期間は、所与の露光時間より短いか、これと等しいか、又はこれより長い場合があることを理解すべきである。シーンにおける対象の動きが比較的遅い場合、長時間露光のスチールをシミュレートするときに、これらのギャップは顕著な影響をほとんど与えず、対象の動きを補償せずに時間平均化を行なうことが可能である。しかしながら、多くの場合、対象の動きを十分に考慮する必要がある。

図４は、動いている対象（ｍｏｖｉｎｇ ｏｂｊｅｃｔ）の補償に関する問題を示す。ブロック７０には、暗いボールが、露光中に白色の視野を通って移動するときの真の長時間露光画像の動きの広がり（ｍｏｔｉｏｎ ｓｐｒｅａｄ）が示される。ブロック７２ａ−７２ｃは、ボールが白色の背景上で右に移動する連続したフレームを示す。これらの３つのビデオ・ピクチャ（７２ａ−７２ｃ）を単に平均化することにより、長時間露光がシミュレートされる場合、結果は、ブロック７４に示されるように見えることが理解されるであろう。この単純平均化ビューにおいて、３つのボールは明瞭に見ることができ、ボールの重なり部分は重なっていない部分より暗い色に見える。こうした結果は、明らかに、真の長時間露光であるブロック７０に示す画像をシミュレートしていない。従って、画像の単純な結合が、所望の結果をもたらすわけではない。真の長時間露光スチール写真において、ボールの動きは、滑らかな動きぶれを有するブロック７０に示されるように見えるはずである。

図４に示す問題を回避するために、対象の動きを十分に考慮しなければならない。背景とは無関係に動く領域を識別し、人為的な動きぶれをさせる必要がある。動いている対象に従ってピクチャを適切に前処理することによって、図４に示される種類のアーチファクトを導入することなく、次の小節で説明されるような時間平均化を成功裏に適用することができる。

３．４時間平均化の実施
時間平均化すなわち積分は、ある時間の間隔にわたる、データ、この場合にはピクセルデータを積分するプロセスを指す。従って、カメラの動きの補償、ｆ_v（）の補償、及び独立して動いている対象の補償を行った後、Ｎ個の入力ピクチャｖ［ｘ，ｙ，ｉ］の個々の加算を行うことにより、各ピクセルにおいて長時間露光の静止画像を推定することができる。個々の加算結果は、連続積分
の近似である。

３．５ｆ_s（）の適用
ｆ_s（）の適用により、最終的な画像値に所望のコントラスト及びカラーバランスが与えられる。関数の特性は所望の画像特性によって決まるため、本発明は、用いるべき特定の関数を指定しない。異なるカメラ製造業者は、カメラの出力コントラスト及びカラーバランスに対する応答関数を形成するために異なる方法を用いることが理解されるであろう。

４．シミュレートされた長時間露光についての入力の変形
長時間露光スチールの生成の際に、多数の変形を提供することができ、ここでは、（１）超解像度、（２）ビデオ・シーケンスの時間サブサンプリング、及び（３）高解像度スチール写真を、より低い解像度のビデオと結合すること、のような３つの発展形態を説明する。

４．１超解像技術
ビデオ処理の技術分野において、「超解像度」（ＳＲ）という用語は、通常、画像（ピクチャ）を付加的なピクチャと結合することによって、画像（ピクチャ）の解像度を増大させる手順を指し、付加的なピクチャは、典型的には、非常に近い時間的及び／空間的近接度でキャプチャされる。これらの画像は、いずれのオリジナル画像より高い解像度を有するフレームを生成するために結合して用いられる。ＳＲ技術の最近の傾向は、多数のピクチャを用いて、色の脱モザイク化（多くの場合、「ｄｅｍｏｓａｉｃｉｎｇ」とも綴られる）を改善することによって、より高い色解像度を実現することである。ＳＲ及びＳＲ脱モザイク化の多数の例が技術文献に存在するが、これらを本明細書で説明する必要はない。

これらのＳＲ技術を含むことは、本発明による、シミュレートされた長時間露光画像の生成と共に用いるのに特に適していることを理解すべきである。これらのＳＲ技術を用いることにより、シミュレートされた長時間露光画像の解像度を、入力画像のシーケンスの各々をキャプチャするのに使用可能である解像度に制限する必要がなくなる。例えば、典型的には、良好な品質の静止画像の解像度より低い解像度でキャプチャされたビデオ・フレームを本発明により結合して、キャプチャされたビデオ・フレームより高い解像度を有するシミュレートされた長時間露光静止画像を生成することができる。

４．２長いビデオ・シーケンスの時間サブサンプリング
処理される入力画像の数は、本装置及び方法に従ってシミュレートされる所望の長時間露光の長さによって決まることが理解されるであろう。処理のオーバーヘッドを減らすために、本発明の少なくとも１つの形態は、１つ又はそれ以上のサブサンプリング処理を行ってオーバーヘッドを減らし、処理を簡単化するように構成される。

限定ではなく一例として、長いシーケンスを要約する１つの単純な機構は、時間内にこれをサブサンプリングすることである。消費者に周知の「サブサンプリング」の例は、フレーム出力を減少させて再生を加速するビデオの「早送り（ｆａｓｔ ｆｏｒｗａｒｄ）」である。本発明の態様によると、Ｋ個の入力ピクチャ毎から１つだけを保持し、残りを廃棄することによって、シーケンスをＫ倍だけ圧縮することができ、これを時間で見ると、Ｋ倍だけ早送りしたものに相当する。さらに、説明した単純なサブサンプリングを用いる代わりに、本発明の装置は、複数のフレームから情報を抽出し、好ましくはシミュレートされた長時間露光を用いるなど、サブサンプリングされたレートで代表的なフレームを生成できることも理解すべきである。サブサンプリングされたフレームは次いで、より低速のフレームレートのビデオとして用いることもできるし、又は、別のサンプリングレベルで、長時間露光フレーム又はフレームの組を生成するための入力として用いることもできる。当業者であれば、本明細書の教示から逸脱することなく、多数の実施を提案できることを理解するであろう。

カメラ及び画像キャプチャ及び処理装置と共に用いるだけでなく、本発明による長時間露光画像のシミュレーションはまた、説明された早送りの例などの、サブサンプリングに依存するアプリケーションに向けることもできる。早送りのために用いられるような単純なサブサンプリングの好ましくない副作用は、結果としてもたらされるビデオが不自然に見え、動いている対象が、途切れ途切れのぎくしゃくして見え、手持ち式カメラの小さいカメラの動きが、うるさいほどの揺れになり得ることであることが留意されるであろう。動いている対象は、シミュレートされた長い露光時間に起因して本質的にぼやけているので、本明細書で教示されるシミュレートされた長時間露光方法をこれらの例に用いて、サブサンプルされたビデオ・シーケンスのぎくしゃくした見た目を克服することができる。ビデオからの周期的な長時間露光を採取することにより、各々のビデオ・フレームがより長時間露光された状態で獲得された場合に観察されるビデオ・シーケンスがシミュレートされる。手持ち式カメラの動きによる揺れを防止するために、カメラ安定化技術を用い得ることも好ましい。

図５は、本発明によるシミュレートされた長時間露光を用いて生成されたサブサンプルされたシーケンス８２の例を示す。ビデオ・ピクチャ８０のオリジナルのシーケンスがグループで処理され、オリジナルのビデオのより短い圧縮時間表現を与えるために、より長い露光時間のサブサンプルされた画像８２を生成する。

本発明の教示から逸脱することなく、上述のサブサンプリングの多数の変形を実行することができる。例えば、前の議論は、一定のサブサンプリング係数を仮定した。シーケンスを時間で分析し、相対的にアクティブでない時間セグメントにおいては、よりまばらにサブサンプリングし、相対的にアクティブな時間セグメントにおいては、より密にサブサンプリングするように、より高度なバージョンを構成することができる。長時間露光サブサンプリングは、このように、シーンにおける活動に応じて、異なる露光時間を利用する。

４．３高解像度のスチールとより低い解像度のビデオの結合
多数のデジタルビデオカメラは、ビデオの録画中に、高解像度のスチール写真の独立したキャプチャを可能にする。こうした機能をビデオからの長時間露光スチールと組み合わせることにより、両方の方法の最良の部分を含む長時間露光の生成が可能になる。以下の例は、限定としてではなく一例として与えられるものである。すなわち、（１）画像キャプチャ装置からのスチール写真の高解像度は、シーンの静止部分の鋭利な細部をもたらすことができる。（２）シーンの動いている部分は、本文書に説明されるように長時間露光スチールによってもたらされ得る。長時間露光における動いている領域は、設計された動きぶれにより、高解像度のスチール写真と比較したときの解像度のわずかな損失が、最終結果に悪影響を与えることはない。上記並びにその変形及びそれらの組み合わせは、ビデオから高解像度の長時間露光を生成するための機能の組み合わせを提供する。

本発明の１つの形態によると、カメラは、例えば、シャッターボタンを部分的に押し下げてフォーカス・モードに入ったときにビデオのキャプチャを開始し、しばらくしてからシャッターボタンが完全に解除されるまでフレームのキャプチャを続けるなど、静止画像のキャプチャに関わるビデオ・フレームを自動的キャプチャするように構成することができる。代替的に又は付加的に、ビデオ・フレームをいつキャプチャするかの制御は、カメラ位置、動き、ユーザの握り、及び撮影者が準備又は保持しているショットを示す他の感知されたカメラ条件に応じて選択可能である。
５．ハードウェアの考察
図６は、本発明によるシミュレートされた長時間露光画像を生成するように構成された装置の例示的な実施形態９０を示す。図面においては、本発明によるシミュレートされた長時間露光を実行するように構成された画像キャプチャ装置（カメラ）９０が示される。コンピュータ（ＣＰＵ）９６により制御されるような画像形成光学系９２に結合された焦点／ズーム制御部９４が示される。コンピュータ９６は、カメラを制御し、メモリ９８及び／又は補助メモリ１００から実行される命令に応答して、シミュレートされた長時間露光生成方法を実行する。キャプチャされた画像は、メモリ９８、補助メモリ１００、又は例えばメディアカード、ディスクなどの他の形態の関連したメモリに格納することができる。カメラ装置（例えば、ビデオ又はスチール）についての一例として、随意的な画像ディスプレイ１０２、随意的なタッチスクリーン１０４、及び随意的な非タッチスクリーン１０６が示される。

上述の図は、限定ではなく例として示されるものである。本発明による方法は、画像のシーケンスをキャプチャ／受信し、シミュレートされた長時間露光画像を出力するように構成された種々の画像キャプチャ及び処理装置において実施できることを理解すべきである。本方法は、画像形成装置自体において、又は、自動後処理機能として画像形成装置とは別個に実施することができる。本発明は、対象システムに応じて、ハードウェアでもソフトウェアでも実施することができる。例えば、パーソナルコンピュータ上など画像形成装置以外で実施された場合、画像ｖ［ｘ，ｙ，ｉ］のシーケンスが、画像形成装置からパーソナルコンピュータに入力される。例えば、本発明の方法を実行するためのプログラムを含むソフトウェアプログラムをパーソナルコンピュータ上で実行して、長時間露光スチール写真を生成することができる。本方法を採用することができる外部装置は、パーソナルコンピュータに限定されない。例えば、本発明によるプログラムを用いて構成された写真プリンタは、入力ピクチャをインポートし、長時間露光スチール写真を生成し、結果を印刷することができる。

本発明による画像形成装置上で実施された場合、画像形成装置は、以下の（１）これがユーザが長時間露光のスチールを記録することを可能にする「長時間露光」モードで動作することができること、又は（２）これが付加的なフレームを収集してユーザが通常の画像キャプチャの出力若しくは制限された長時間露光の出力から選択することを可能にする増強モードで動作することができること、又は（３）これがシミュレーションに応答して、ユーザが、長時間露光のスチールが生成される既存の入力ピクチャ（スチール又はビデオ）を選択することを可能にする後処理モードで動作することができることを含む少なくとも３つの方法で構成することができる。

本発明の方法が、画像形成装置上又はその外部において後処理モードで実施される場合、柔軟な機能は、増分した長時間露光のスチールである。例えば、単一のビデオ・フレームで開始すると、ユーザは、所望の見え方になるまで、付加的なフレームを徐々に加え、結果として得られる長時間露光スチール写真が各フレームによりどのように変化するかを確かめ、露光を停止することができる。装置の１つのモードにおいては、露光時間の変更は、いわば暗室で画像の現像を見ているかのように、ユーザに対して徐々に表示されるが、この場合、プロセスとして現れる長時間露光特性の表示が、異なる時間に徐々に示される。こうした機能は、ユーザに長時間露光の見え方に対する正確な制御を与え、露光時間の選択の際の当て推量をなくすことができる。

６．ビデオからのシミュレートされた長時間露光の例
図７Ａ乃至図９Ｂは、本発明による、キャプチャされた画像（例えば、ビデオ）のシーケンスから生成された長時間露光スチール写真の幾つかの例を提供する。オリジナルの画像シーケンスは、三脚等のいずれの物理的安定化機構も用いることなく、手持ち式ビデオカメラを用いて取得された。

第１の例は、「芸術的な動きぶれ」の例を示す。図７Ａにおいては、多数の歩行者が同等に見え、撮影者が何を示そうとしているのかが不明確である。画像フレームのシーケンスから１／３秒の露光をシミュレートすることにより、図７Ｂにおいては、動いている人々がぼやけて、格子柄のスカートをはいた、背景に見える女性が、真の関心のある対象であることが明らかになる。

従来の方法でこの長時間露光を取得するために、撮影者は、（１）機会を認識し、（２）三脚を組み立て、（３）所望の長時間露光間隔を選択し、（４）写真を撮ることが必要であることを理解すべきである。これは、にぎやかな場所では、むしろ不都合となろう。また、シャッターがまだ開いている間に、対象が動いてしまったらどうなるであろうか。

この例は、むしろ制限された「長時間露光」間隔の例であるが、より長い持続時間の露光においては、問題がより明白になる。従来の長時間露光画像をキャプチャする場合、撮影者は、ショットが中断され、従って台無しになるかどうかを知らずに、設定された時間の間画像の収集を開始する。本発明によると、ユーザは、画像のシーケンス内の開始点及び終了点を簡単に制御できるため、中断によりショットが台無しになること、又は、少なくとも何らかの長時間露光表現がショットに導入されることを防止する。

実際には、本発明の少なくとも１つの態様は、非常に長時間の露光などにおいて、ユーザが、終了点を選択するだけでなく、シーケンス内から排除されるフレーム（例えば、アーチファクトを含む）の排除も可能にするように構成することができる。このことは、例えば、鳥がカメラ・レンズの前を通り過ぎる際、又は、ジェット機がショット内を飛行する際の長時間露光の風景写真において有用であり得る。このように、時間露光中に偽イベントを含ませずに長時間露光を生成し、あたかもこれらのイベントが行われなかったかのように見える結果を生み出すことができる。本発明の１つの態様においては、装置自体が、ユーザが排除することを望み得る候補フレーム（又は、フレームシーケンス部分）を識別することができる。限定ではなく例として、画像のシーケンスの残りの部分の間、他の運動は生じていないフレームの部分における十分な動きの検出に応じて、どのフレームが除外候補であるかの判断を、装置によって実行することができる。長時間露光の処理から除外するための候補フレームを識別するために、他の機構を用い得ることを理解すべきである。

本発明の１つの態様において、本装置は、ユーザが、シミュレートされた長時間露光出力を生成するための入力として用いられる画像のシーケンス内の開始点及び終了点を選択することを可能にするように構成される。この機能は、全ての装置又はアプリケーションにおいてサポートする必要はないが、長時間露光の生成の付加的なユーザ制御を提供する。このことは、全ての使用可能なフレームに基づいて長時間露光を生成するといったデフォルトを使用し、次いでユーザが、全体の、又はシーケンスの開始又は終了のいずれかに関してシーケンス長を変更するのを可能にすることによって、実施できることを理解すべきである。

図８Ａ−図８Ｂの第２の例は、動いている水、この場合には、噴水から流れ出る水により、長時間露光において生成された結果を示す。通常の露光（例えば、１／６０秒）を用いる、単一の静止画像が、図８Ａに示される。図８Ｂにおいては、本発明に従って、図８Ａに示されたもののような画像のシーケンスから、２／３秒のシミュレートされた露光が生成される。図８Ａに示されるものと比較して、長時間露光が、どのように見た目を和らげる滑らかな霧がかかったような効果をもたらすかに留意すべきである。

図９Ａ−図９Ｂの最後の例は、動いている車両から長時間露光で生成された結果を示す。通常の露光を用いる、単純なスチール写真が、図９Ａに示される。通常の露光（所望の長時間露光より短い時間の）画像のシーケンスが本発明に従って結合され、図９Ｂにより表わされるような、２／３秒に及ぶシミュレートされた長時間露光画像を生成する。長時間露光の使用により、車両の動きが強調され、見る人にとって、長時間露光スチールによりキャプチャされたシーンの動的特性がより明らかになることに気付くであろう。

一般に、通常のスチール写真及び長時間露光スチール写真の両方とも、それぞれの長所を有する。しかしながら、撮影者に応じて、多くの状況において、自分の創造的意図を表現するために、長時間露光スチールは、より良い選択であり得る。

７．本方法の変形及び付加的な使用
シミュレートされた長時間露光画像の生成に対する付加的なユーザ制御を提供するために、多数の変形が上記で説明された。以下は、既に説明されたもの以外の付加的な使用及び変形を説明する。シミュレートされた長時間露光スチールの生成は、多数の重要な利点をもたらすが、本明細書で教示された技術を、適用可能性及び機能の両方において発展させることが可能である。

これまでに説明された本発明の教示は、主として、遠隔シャッターリリースを有する、固定式プラットフォーム（例えば、三脚）上のスチールカメラを用いて生成されるものと実質的に同等の、シミュレートされた長時間露光画像を生成する、使いやすい手段を提供することに向けられる。しかしながら、長時間露光画像の変形、及び／又は選択された適用例において望ましい他の形態の特別のカメラの効果を生成するために、これらの長時間露光画像を生成するためのプロセスの態様を変更できることを理解すべきである。以下は、限定ではなく例として与えられる幾つかの例である。以下の各々は、単独で又は種々の組み合わせで用い得ることを認識すべきである。

７．１画像形成設定の変更
簡単な実施においては、画像のシーケンスをキャプチャするためのカメラ設定をカメラにより自動的に選択して、長時間露光のシミュレートを簡単化することができる。他の実施においては、長時間露光画像を生成するために入力として用いられている画像シーケンス又はビデオは、多数の異なる方法で、又は、画像キャプチャ装置の多数の異なる設定に応じて入力することができる。本発明による１つのインターフェースは、ユーザが、これらの画像をキャプチャする際に、設定を選択すること、又は、自動設定を優先することを可能にする。例えば、本発明の１つの態様によると、装置は、ユーザが、シミュレートされた長時間露光画像を生成するために使用される画像に対して、絞り及び露出を設定すること（又は、これらの制限された制御を有すること）、及び他の設定を可能にするように構成される。本発明の少なくとも１つの態様により、それらが異なるカメラ設定で収集されるにも関わらず、入力シーケンスを用いるためのあらゆる必要な調整が行なわれる。

７．２動的な画像形成の設定
画像のシーケンス全体を収集するときの使用について、上述の画像制御の静的な選択が説明された。しかしながら、ユーザが、長時間露光画像を生成するために用いられる画像のシーケンスを収集する間に、動的に変化する画像形成特性を選択することを可能にする、本発明のより複雑な態様を実施することができる。例１：露光時間又は絞り設定を変更し、画像収集中の総ルクスを変化させて、シーンの特定の部分（例えば、最初、最後、中間など）の影響を増減させる。例２：長時間露光に用いるための画像の収集中に、被写界深度を変更するために、露光時間を絞りと組み合わせて変化させる。このように、本発明の態様を採用して、ユーザが、収集される画像のシーケンスの態様を制御する際にこれら動的変数を選択するのを可能にする。

７．３選択的な長時間露光のシミュレーション
従来の長時間露光画像のキャプチャにおいては、長時間露光は、必ず画像全体に適用される。しかしながら、本発明により提供される選択的な処理に鑑みると、長時間露光のシミュレーションを適用する際、画像フィールドの部分若しくは内部の特定の対象を、選択すること、又は、考慮から外すことができる。このように、シーンの要素又は部分は、異なるレベルの長時間露光のシミュレーションに従って出力することができる。この選択プロセスの１つの形態は、相対的な動きの有無に基づいた対象の選択を可能にする。これの一例は、シーンの静的部分又は半静的部分には長時間露光処理を行なうことなく、シーンの動いている要素、又は素早く動いている要素、或いは最も素早く動いている要素に長時間露光を適用することである。同様に、逆のことを行って、所望のようにより静的な要素を選択することができる。このように、長時間露光は、領域又は対象に対して選択的に適用される。一例として、画像のある領域又は画像ビュー内の選択された対象を長時間露光のために選択し、画像の残りの部分を修正しないままに残すことができる。

７．４自動出力の変形
シミュレートされた長時間露光出力の生成の説明において、単一の入力シーケンスに対して生成された長時間露光スチールの数は論じられていない。本発明の態様は、本方法及び装置が、長時間露光出力の変形を生成することを可能にする。これらの変形は、ユーザ入力に応答して、又は代替的に、自動的に若しくは半自動的に生成することができる。１つのこうした変形は、長時間露光が撮影されるタイムスパンの変更を含むことができる。別の変形は、長時間露光がシミュレートされる方法の変更を含むことができる。

限定ではなく例として、本装置は、幾つかの変形態様を生成することができ、ユーザが、保存したいと望むこれらの変形のどれかを選択することを可能にする。本装置は、ユーザが、長時間露光の最大時間（例えば、６０秒）を指定することを可能にするように構成することができる。結果として得られる長時間露光画像の生成後、本装置は、ユーザが、処理の態様を変更すことを可能にし、ここで特定の結果を選択することができる。例えば、６０秒から２０秒又は３０秒に下げるなど、長時間露光の持続時間を減少させて、ユーザが求めている結果をもたらすことができる。これらの多数の結果は、所望のように廃棄又は保存することができる。本装置の１つの実施形態は、時間積分及び他の処理の態様を変更して異なる出力を提供することを可能にする。こうした変形は、従来長時間露光画像をキャプチャする際には不可能であることが留意されるであろう。

７．５従来的ではない長時間露光出力
上記の教示は、一般に、十分に安定したプラットフォームを有する場合に、従来は長時間露光を用いてキャプチャされたものを厳密にシミュレートする長時間露光画像を生成することについて論じている。しかしながら、本発明の態様は、従来的ではない長時間露光画像の生成を提供することができる。この一例は、画像を積分しない、部分的に積分する、又は完全に積分するなど、積分の範囲の選択を与えるものである。積分しない場合、フレーム中の動いている対象は、結局、複数回、複数の位置に見られ、場合によっては重なっている。制限された積分が用いられる場合、入力画像の周期的な性質の残りの部分が幾らか残る。これらの技術は、本発明の一部に応答して容易に提供することができる。従って、本発明の方法は、従来の長時間露光技術を用いては可能でない種類の長時間露光画像を自動的に生成することができる。

７．６ラックフォーカスの長時間露光のシミュレーション
長時間露光画像と何らかの類似性を有する技術は、ラックフォーカスの画像形成技術である。従来、「ラックフォーカス（ｒａｃｋ ｆｏｃｕｓ）」の使用は、視野内の２つのオブジェクト間で動いている際に焦点が「ラックされる」（迅速に変化する）ビデオ技術である。本発明は、従来の技術を用いては生成することができない、ラックフォーカスの静止画像のシミュレーションを可能にすることができる。本発明の実施は、第１の焦点設定と第２の焦点設定との間の変化に応答して、長時間露光画像を生成することを可能にするように構成することができる。この変形においては、少なくとも２つの異なる焦点距離についての画像のシーケンスにおいて、少なくとも２つの画像がキャプチャされる。例えば、本装置は、長時間露光方法で結合される焦点設定のある範囲にわたって画像のシーケンスをキャプチャすることができる。この処理は、残りの部分に対する焦点の変化を示すように移行しながら、焦点が合っている画像の一部を与えることができる。このように、対象上に適切な遠中央焦点を有し、かつ、対象の跡が焦点の合っていない前景の対象とともにそこから延びる画像を生成することができる。ラック・ズーム・シミュレーション並びにこれの変形様及び組み合わせを含む、多数の変形が可能であることを理解すべきである。

７．７ビデオの長時間露光
逆説的であるように思われるが、ビデオは本質的に一連の短時間露光画像であるため、本発明の態様は、ビデオのためのシミュレートされた長時間露光の生成を提供することができる。本発明のこの態様は、ビデオ又はビデオ・セグメント内に長時間露光のストリーキング及びぼやけを自動的に生成できるようにする。基本的には、ビデオの対象フレームは、多数の先行するフレームを用いて長時間露光技術により修正されるが、この処理は、単一の静止画像出力を出力する代わりに、次の対象フレームなどを継続する。対象フレームの前のシーケンスの深度は、平滑化及び長時間露光のストリーキングが生じる範囲を決定する。これは、単独で使用してもよいし、又は本明細書に説明される他の技術と組み合わせて使用してもよいことを理解すべきである。

８．結論
本発明は、短時間露光画像のシーケンスの入力に応答して、シミュレートされた長時間露光画像を生成するための方法及び装置を提供する。本発明の教示は、カメラ、（スチール及び／又はビデオ）、ビデオ処理機器及びソフトウェア、ビデオ再生装置などを含む様々な装置及び用途において適用することができる。

従って、本発明は、特に、以下の本発明の実施形態を含む。すなわち、
１．長時間露光画像をシミュレートするための装置であって、
（ａ）デジタル画像のシーケンスをキャプチャするための手段と、
（ｂ）メモリが結合されたコンピュータと、
（ｃ）（ｉ）キャプチャするための手段から、その画像キャプチャ持続時間が所望の長時間露光より短い通常の露光時間設定で通常の露光画像のシーケンスを受信し、
（ｉｉ）画像のシーケンス内から、所望の長時間露光間隔に及ぶ一組の連続する画像を選択し、
（ｉｉｉ）連続する画像の組を時間積分により結合して、少なくとも１つの長時間露光画像を生成するための、コンピュータ上で実行されるように適合されたプログラムと、
を含む装置。
２．長時間露光画像は、いずれの所望のシミュレートされた露光時間にも及ぶことができる、実施形態１に記載の装置。
３．安定した長時間露光画像は、三脚又は他のカメラ支持具の使用を必要とせずに、装置によって生成される、実施形態１に記載の装置。
４．画像のシーケンスはビデオ・シーケンスのフレームを含む、実施形態１に記載の装置。
５.長時間露光画像はデジタルスチール写真を含む、施形態１に記載の装置。
６．連続する画像の組を結合する前に、キャプチャされた画像のシーケンスにおける装置の動きを補償することをさらに含む、実施形態１に記載の装置。
７．連続する画像の組を結合する前に、キャプチャされた画像のシーケンスにおける装置の動きを補償することをさらに含み、
補償することは、グローバル動き予測（ＧＭＥ）及びグローバル動き補償（ＧＭＣ）を実行することを含む、実施形態１に記載の装置。
８．結合するときの時間積分の前に、連続する画像の組内のピクセル値を線形明度値に変換することをさらに含む、実施形態１に記載の装置。
９．画像のシーケンスを結合した後、所望のコントラスト及びカラーバランスに修正することをさらに含む、実施形態１に記載の装置。
１０．所望の時間に及ぶシミュレートされた露光時間を有する静止画像を自動的に生成するように構成されたカメラであって、
（ａ）デジタル画像のシーケンスをキャプチャするように適合された、カメラ内の電子画像形成要素と、
（ｂ）カメラの電子画像形成要素を制御するように構成された、メモリが結合されたコンピュータと、
（ｃ）（ｉ）メモリ内で、所望の期間に及ぶ画像のシーケンスをキャプチャし、
（ｉｉ）画像のシーケンス内で、所望の長時間露光間隔に時間的に及ぶ一組の連続する画像を選択し、
（ｉｉｉ）キャプチャされた画像のシーケンスにおけるカメラの動きを補償し、
（ｉｖ）連続する画像の組のピクセル値を線形明度値に変換し、
（ｖ）連続する画像の組を時間積分により結合して、１つ又はそれ以上のシミュレートされた長時間露光画像を生成する、
ための、コンピュータで実行するように適合されたプログラムと、
を含むカメラ。
１１．安定した長時間露光画像は、三脚又は他のカメラ支持具の使用を必要とせずに、カメラにより生成される、実施形態１０に記載の装置。
１２．画像のシーケンスはビデオ・シーケンスのフレームを含む、実施形態１０に記載の装置。
１３．長時間露光画像は長時間露光デジタルスチール写真を含む、実施形態１０に記載の装置。
１４．カメラの動きを補償することは、グローバル動き予測（ＧＭＥ）及びグローバル動き補償（ＧＭＣ）を実行することを含む、実施形態１０に記載の装置。
１５．画像のシーケンスを結合した後、所望のコントラスト及びカラーバランスに修正することをさらに含む、実施形態１０に記載の装置。
１６．キャプチャされた短時間露光画像のシーケンスから長時間露光スチール写真を生成する方法であって、
デジタル画像キャプチャ装置により、長時間露光スチール写真について所望の時間フレームに及ぶ、一組の連続する画像をキャプチャし、
連続する画像の組におけるデジタル画像キャプチャ装置の動きを補償し、
時間積分により連続する画像の組を結合して、所望の時間フレームを有する少なくとも１つの長時間露光スチール写真を生成する、
ことを含む方法。
１７．時間積分を実行する前に、連続する画像の組のピクセル値を線形明度値に変換することをさらに含む、実施形態１６に記載の方法。
１８．安定した長時間露光画像は、画像キャプチャ装置を三脚又は他の固定支持具上に取り付けることを必要とせずに、方法により生成される、実施形態１６に記載の方法。
１９．画像キャプチャ装置の動きを補償することは、グローバル動き予測（ＧＭＥ）及びグローバル動き補償（ＧＭＣ）を実行することを含む、実施形態１６に記載の方法。
２０．画像のシーケンスを結合した後、所望のコントラスト及びカラーバランスに修正することをさらに含む、実施形態１６に記載の方法。

上記の記述は多数の詳細を含むが、これらは本発明の範囲を限定するものではなく、単に、本発明の現在のところ好ましい実施形態の幾つかの例示を与えるものとして解釈されるべきである。従って、本発明の範囲は、当業者には明らかになり得る他の実施形態を完全に含むこと、従って、本発明の範囲は、添付の特許請求の範囲以外の何ものにも制限されず、そこで、単数形の要素の参照は、明示的にそのように述べられない限り「１つ、及び１つのみ」を意味することを意図するものではなく、寧ろ「１つ又はそれ以上」を意味するものであることが認識されるであろう。当業者には周知である上述の好ましい実施形態の要素の構造的及び機能的に同等物の全ては、引用により本明細書に明確に組み入れられ、かつ、本特許請求の範囲に包含されることが意図される。さらに、本特許請求の範囲により包含されるように、方法又は装置は、本発明により解決することが求められるありとあらゆる問題に対処する必要はない。さらに、本開示におけるいかなる要素、構成部品又は方法ステップが特許請求の範囲において明示的に記載されているかに関わらず、公衆に向けられることを意図するものではない。本明細書の特許請求の範囲のいずれの要素も、この要素が「のための手段」という語句を用いて明示的に引用されない限り、合衆国法典第３５巻第１１２条第６項の条項に基づいて解釈されるべきではない。

１０：プロセス
１２：カメラ装置
１４：安定した台
１６：長時間露光間隔
３０、５０、９０：実施形態
３２：ビデオ
３４：スチール
３６：所望の長時間露光間隔
３８：一連の短時間露光画像
７０：真の長時間露光
７２ａ、７２ｂ、７２ｃ：ビデオ・ピクチャ

Claims (20)

1. 長時間露光画像をシミュレートするための装置であって、
   デジタル画像のシーケンスをキャプチャするための手段と、
   メモリが結合されたコンピュータと、
   前記キャプチャするための手段から、その画像キャプチャ持続時間がシミュレートされた長時間露光画像が取得される所望の長時間露光間隔より短い通常の露光時間設定で通常の露光画像のシーケンスを受信し、
   前記画像のシーケンス内から、前記所望の長時間露光間隔に及ぶ一組の連続する画像を選択し、
   前記連続する画像の組を時間積分により結合して、少なくとも１つの長時間露光画像を生成するための、前記コンピュータ上で実行されるように適合されたプログラムと、
   を含むことを特徴とする装置。
2. 前記長時間露光画像は、いずれの所望のシミュレートされた露光時間にも及ぶことができることを特徴とする、請求項１に記載の装置。
3. 安定した長時間露光画像は、三脚又は他のカメラ支持具の使用を必要とせずに、前記装置によって生成されることを特徴とする、請求項１に記載の装置。
4. 前記画像のシーケンスはビデオ・シーケンスのフレームを含むことを特徴とする、請求項１に記載の装置。
5. 前記長時間露光画像はデジタルスチール写真を含むことを特徴とする、請求項１に記載の装置。
6. 前記連続する画像の組を結合する前に、前記キャプチャされた画像のシーケンスにおける装置の動きを補償することをさらに含むことを特徴とする、請求項１に記載の装置。
7. 前記連続する画像の組を結合する前に、前記キャプチャされた画像のシーケンスにおける装置の運動を補償することをさらに含み、
   前記補償することは、グローバル動き予測（ＧＭＥ）及びグローバル動き補償（ＧＭＣ）を実行することを含むことを特徴とする、請求項１に記載の装置。
8. 結合するときの時間積分の前に、前記連続する画像の組内のピクセル値を線形明度値に変換することをさらに含むことを特徴とする、請求項１に記載の装置。
9. 前記画像のシーケンスを結合した後、所望のコントラスト及びカラーバランスに修正することをさらに含むことを特徴とする、請求項１に記載の装置。
10. 所望の時間に及ぶシミュレートされた露光時間を有する静止画像を自動的に生成するように構成されたカメラであって、
    デジタル画像のシーケンスをキャプチャするように適合された、カメラ内の電子画像形成要素と、
    前記カメラの前記電子画像形成要素を制御するように構成された、メモリが結合されたコンピュータと、
    前記メモリ内で、所望の時間に及ぶ画像のシーケンスをキャプチャし、
    前記画像のシーケンス内で、所望の長時間露光間隔に時間的に及ぶ一組の連続する画像を選択し、
    前記キャプチャされた画像のシーケンスにおけるカメラの動きを補償し、
    前記連続する画像の組のピクセル値を線形明度値に変換し、
    前記連続する画像の組を時間積分により結合して、１つ又はそれ以上のシミュレートされた長時間露光画像を生成する
    ための、コンピュータで実行するように適合されたプログラムと、
    を含むことを特徴とするカメラ。
11. 安定した長時間露光画像は、三脚又は他のカメラ支持具の使用を必要とせずに、前記カメラにより生成されることを特徴とする、請求項１０に記載の装置。
12. 前記画像のシーケンスはビデオ・シーケンスのフレームを含むことを特徴とする、請求項１０に記載の装置。
13. 前記長時間露光画像は長時間露光デジタルスチール写真を含むことを特徴とする、請求項１０に記載の装置。
14. 前記カメラの動きを補償することは、グローバル動き予測（ＧＭＥ）及びグローバル動き補償（ＧＭＣ）を実行することを含むことを特徴とする、請求項１０に記載の装置。
15. 前記画像のシーケンスを結合した後、所望のコントラスト及びカラーバランスに修正することをさらに含むことを特徴とする、請求項１０に記載の装置。
16. キャプチャされた短時間露光画像のシーケンスから長時間露光時間スチール写真を生成する方法であって、
    デジタル画像キャプチャ装置により、長時間露光スチール写真について所望の時間フレームに及ぶ、一組の連続する画像をキャプチャし、
    前記連続する画像の組における前記デジタル画像キャプチャ装置の動きを補償し、
    時間積分により前記連続する画像の組を結合して、前記所望の時間フレームを有する少なくとも１つの長時間露光スチール写真を生成する、
    ことを含むことを特徴とする方法。
17. 時間積分を実行する前に、前記連続する画像の組のピクセル値を線形明度値に変換することをさらに含むことを特徴とする、請求項１６に記載の方法。
18. 安定した長時間露光画像は、前記画像キャプチャ装置を三脚又は他の固定支持具上に取り付けることを必要とせずに、前記方法により生成されることを特徴とする、請求項１６に記載の方法。
19. 前記画像キャプチャ装置の動きを補償することは、グローバル動き予測（ＧＭＥ）及びグローバル動き補償（ＧＭＣ）を実行することを含むことを特徴とする、請求項１６に記載の方法。
20. 前記画像のシーケンスを結合した後、所望のコントラスト及びカラーバランスに修正することをさらに含むことを特徴とする、請求項１６に記載の方法。