Nothing Special   »   [go: up one dir, main page]

JP2005094615A - 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2005094615A
JP2005094615A JP2003328014A JP2003328014A JP2005094615A JP 2005094615 A JP2005094615 A JP 2005094615A JP 2003328014 A JP2003328014 A JP 2003328014A JP 2003328014 A JP2003328014 A JP 2003328014A JP 2005094615 A JP2005094615 A JP 2005094615A
Authority
JP
Japan
Prior art keywords
frame
correction
camera shake
range
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003328014A
Other languages
English (en)
Other versions
JP4128123B2 (ja
Inventor
Naoki Chiba
直樹 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2003328014A priority Critical patent/JP4128123B2/ja
Priority to CNB2004100951342A priority patent/CN100394764C/zh
Priority to US10/943,230 priority patent/US7522189B2/en
Publication of JP2005094615A publication Critical patent/JP2005094615A/ja
Application granted granted Critical
Publication of JP4128123B2 publication Critical patent/JP4128123B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】 この発明は、手ぶれ補正が失敗するフレームを避けて、補正を行うフレームをユーザが指定でき、なおかつ、拡大を伴う手ぶれ補正を行ったフレームとそれ以外のフレームとの間での不自然さを無くすことができる、手ぶれ補正装置を提供することを目的とする。
【解決手段】 カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正装置において、手ぶれ補正を行うフレームの範囲(以下、補正フレーム範囲という)を指定させるための手段、補正フレーム範囲内で共通に存在する共通領域を算出する手段、補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正手段、および補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理手段を備えている。
【選択図】 図6

Description

この発明は、カメラにより動画を撮影し、その撮影された画像から手ぶれを補正する方法に関するものである。
従来から、カメラで動画像を撮影し、撮影された画像から手ぶれを補正する装置が提案されている。例えば、特開昭63−166370号に記載されているものは、1つ前のフレームの画素データを記録し、現在のフレームとの相関により動きベクトルを算出し、手ぶれを補正するものである。
しかしながら、このような方法では、画像によっては手ぶれ補正に失敗することがある。例えば、模様の少ない画像や急にカメラの前を横切るような通過物体がある場合である。
そこで、本出願人は、ファイルなどに保存された画像データのうちから、ユーザに、手ぶれ補正に失敗する可能性の高いフレームを避けて、手ぶれ補正を行おうとするフレーム範囲を指定させ、指定されたフレーム範囲のみに対して手ぶれ補正を行うようにした手ぶれ補正方法を開発した。
以下、本出願人が開発した手ぶれ補正方法について説明する。なお、この手ぶれ補正方法は未だ公知となっていない。
図1は、本出願人が開発した手ぶれ補正方法の全体的に処理手順を示している。
ステップS101では、画像のフレームから手ぶれ補正を行うフレームの範囲(補正フレーム範囲)をユーザに指定させるための処理を行う。ステップS102では、補正フレーム範囲内の各フレーム毎に、手ぶれ補正を行うための手ぶれ補正係数を算出する。ステップS103では、ステップS102で算出された補正フレーム範囲内の各フレーム毎の手ぶれ補正係数から、補正フレーム範囲内の全フレームにおいて共通して存在する画像領域(共通領域)を抽出する。
ステップS104では、動画ファイルからフレームを1つずつメモリに読み込む。ステップS105では、メモリに読み込まれたフレーム(注目フレーム)が手ぶれ補正を行うフレームかどうかを判定する。
メモリに読み込まれた注目フレームが手ぶれ補正を行うフレームである場合には、そのフレームに対してステップS106の手ぶれ補正処理を行った後に、ステップS107に移行し、手ぶれ補正後の画像を出力ファイルに出力する。
一方、メモリに読み込まれた注目フレームが手ぶれ補正を行うフレームでない場合には、そのフレームに対して手ぶれ補正処理を行うことなく、ステップS107に移行し、そのフレームをそのまま出力ファイルに出力する。
なお、上記ステップS106では、ステップS103で抽出された共通領域と元画像のサイズから算出される拡大率と、ステップS102で算出された注目フレームに対応する手ぶれ補正係数とに基づいて、注目フレームを拡大しながら手ぶれ補正を行う。
ステップS108では、注目フレームが入力ファイルの最終フレームかどうかを判定する。注目フレームが最終フレームの場合は終了し、そうでない場合はステップS109に移行する。ステップS109では、注目フレームのフレーム番号を1だけ更新する。この後、ステップS104に戻り、次のフレームが読み込まれ、ステップS105以降の処理が再度実行される。
図2は、図1のステップS102の処理(手ぶれ補正の補正係数を算出する処理)の詳細な手順を示している。
ステップS201では、補正フレーム範囲内における最初のフレームを処理するためにフレーム番号iを1に初期化して、補正フレーム範囲内における最初のフレームをメモリに読み込む。ステップS202では、フレーム番号iを1増加させて、次のフレームをメモリに読み込む。
ステップS203では、ステップS202で読み込まれたフレーム(注目フレーム)と、それより1つ前のフレームとの間で幾何変換係数を算出する。幾何変換係数については後述する。ステップS204では、補正フレーム範囲内の最初のフレームから注目フレームまでの隣接フレーム間の幾何変換係数を積算して、補正フレーム範囲内の最初のフレームと注目フレームとの間の幾何変換係数を算出する。ステップS204で得られた幾何変換係数が注目フレームに対して手ぶれ補正を行うための手ぶれ補正係数となる。
ステップS205では、注目フレームが補正フレーム範囲内における最終のフレームであるか否かを判定する。注目フレームが補正フレーム範囲内における最終のフレームである場合は、処理を終了する。そうでない場合はステップS202に戻る。
図3は、幾何変換により手ぶれを補正する原理を説明するための図である。
図3(a)に示す2つの時間的に連続するフレームは、同じシーンを撮影したが、手ぶれにより位置がずれた場合を示している。手ぶれを補正して被写体が動かないようにするには、フレーム番号i−1とフレームiとの間の幾何変換を行うことで実現できる。最も単純な場合の幾何変換は2次元平行移動であり、図の矢印で示すような2次元の平行移動で表される。より複雑な幾何変換では、アフィン変換や平面射影変換などが用いられる。
これらの幾何変換は画像間の動きベクトルの抽出により算出できる。隣接フレーム間で算出された幾何変換係数は、補正フレーム範囲内の最初のフレームを基準となるように座標軸を選択すると、補正フレーム範囲内の最初のフレームから順次、幾何変換係数の掛け算の累積により、補正フレーム範囲内の各フレームと補正フレーム範囲内の最初のフレームとの間の幾何変換係数が計算できる。
図4は、図1のステップS103の処理、すなわち、補正フレーム範囲内の各フレーム毎の手ぶれ補正係数から、補正フレーム範囲内の全フレームにおいて共通して存在する画像領域(共通領域)を抽出する処理を説明するための図である。
図4では、3フレームの場合を示している。手ぶれを幾何変換により補正し、画像の周辺部分に無効領域が無いように表示するためには、図4のハッチング部分で示される、補正フレーム範囲内の全フレームで共通して存在する画像領域を抽出する必要がある。また、この領域は入力フレームのサイズより小さくなるために画像を拡大処理することで、入力フレームと同じサイズとする。
しかしながら、手ぶれ補正を行うフレームに対しては共通領域を拡大処理するにもかかわらず、手ぶれを補正しないフレームでは拡大処理を行わないため、補正フレーム範囲として指定されたフレームと補正フレーム範囲として指定されなかったフレームとの間で拡大率が異なり、全体の画像系列として見たときに手ぶれ補正を行ったフレームとそれ以外のフレームとの間で不自然なつなぎ目が発生する。
特開昭63−166370号公報 特開2001−222707号公報
この発明は、手ぶれ補正が失敗するフレームを避けて、補正を行うフレームをユーザが指定でき、なおかつ、拡大を伴う手ぶれ補正を行ったフレームとそれ以外のフレームとの間での不自然さを無くすことができる、手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
請求項1に記載の発明は、カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正装置において、手ぶれ補正を行うフレームの範囲(以下、補正フレーム範囲という)を指定させるための手段、補正フレーム範囲内で共通に存在する共通領域を算出する手段、補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正手段、および補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理手段を備えていることを特徴とする。
請求項2に記載の発明は、請求項1に記載の発明において、拡大処理手段は、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする。
請求項3に記載の発明は、カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正方法において、手ぶれ補正を行うフレームの範囲(以下、補正フレーム範囲という)を指定させるためのステップ、補正フレーム範囲内で共通に存在する共通領域を算出するステップ、補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正ステップ、および補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理ステップを備えていることを特徴とする。
請求項4に記載の発明は、請求項3に記載の発明において、拡大処理ステップは、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする。
請求項5に記載の発明は、カメラで撮影した動画に対して手ぶれ補正を行うための手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体において、手ぶれ補正を行うフレームの範囲(以下、補正フレーム範囲という)を指定させるためのステップ、補正フレーム範囲内で共通に存在する共通領域を算出するステップ、補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正ステップ、および補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理ステップをコンピュータに実行させるための手ぶれ補正プログラムを記録していることを特徴とする。
請求項6に記載の発明は、請求項5に記載の発明において、拡大処理ステップは、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする。
この発明によれば、手ぶれ補正が失敗するフレームを避けて、補正を行うフレームをユーザが指定でき、なおかつ、拡大を伴う手ぶれ補正を行ったフレームとそれ以外のフレームとの間での不自然さを無くすことができるようになる。
以下、図5〜図10を参照して、この発明の実施例について説明する。
〔1〕手ぶれ補正装置の説明
図1は、手ぶれ補正装置の構成を示している。
手ぶれ補正装置は、パーソナルコンピュータ10によって実現される。パーソナルコンピュータ10には、ディスプレイ21、マウス22およびキーボード23が接続されている。パーソナルコンピュータ10は、CPU11、メモリ12、ハードディスク13、CD−ROMのようなリムーバブルディスク20のドライブ14を備えている。
ハードディスク13には、OS(オペレーションシステム)等の他、手ぶれ補正処理プログラムが格納されている。手ぶれ補正処理プログラムは、それが格納されたCD−ROM等のリムーバブルディスク20を用いて、ハードディスク13にインストールされる。また、ハードディスク13にはビデオカメラなどによって撮像された動画像ファイルが予め格納されているものとする。
〔2〕手ぶれ補正プログラムが起動せしめられた場合にCPUによって行われる手ぶれ補正処理の説明
図6は、CPUによって行われる手ぶれ補正の全体的な処理手順を示している。
ステップS601では、画像のフレームから手ぶれ補正を行うフレームの範囲(補正フレーム範囲)をユーザに指定させるための処理を行う。
ステップS602では、補正フレーム範囲内の各フレーム毎に、手ぶれ補正を行うための手ぶれ補正係数を算出する。この処理は、図2に記載されている手順に従って、行われる。
ステップS603では、ステップS602で算出された補正フレーム範囲内の各フレーム毎の手ぶれ補正係数から、補正フレーム範囲内の全フレームにおいて共通して存在する画像領域(共通領域)を抽出する。
ステップS604では、ステップS603で抽出された共通領域と元画像のサイズから算出される拡大係数と、ステップS602で算出された補正フレーム範囲内の各フレーム毎の手ぶれ補正係数とから、各フレームを拡大しながら手ぶれ補正を行うための幾何変換係数を算出する。
より具体的に説明すると、上記拡大係数は、共通領域と元画像のサイズから算出される拡大率および切り抜き座標(フレーム内の共通領域の座標)を係数とする幾何変換行列で表される。そして、上記各フレーム毎の手ぶれ補正係数は、2次元剛体運動やアフィン変換などの幾何変換行列で表される。フレームを拡大しながら手ぶれ補正を行うための幾何変換係数は、当該フレームに対応する上記拡大係数を表す幾何変換行列と、当該フレームに対応する手ぶれ補正係数を表す幾何変換行列との積によって表される。
ステップS605では、補正フレーム範囲の近傍フレームを拡大するための幾何変換係数を算出する。この実施例では、後述するように、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させる。ステップS605では、このように近傍フレームを拡大するための幾何変換係数を、各近傍フレーム毎に算出する。
ステップS606では、出力フレームを作成して保存する。補正フレーム範囲内の各フレームに対しては、上記ステップS604で算出された幾何変換係数を用いて、拡大を考慮した手ぶれ補正を行うことにより出力フレームを作成する。補正フレーム範囲の近傍フレームに対しては、上記ステップS605で算出された幾何変換係数を用いて、拡大処理を行うことにより出力フレームを作成する。その他のフレームに対しては、何ら処理を行うことなく、そのまま出力フレームとする。
図7は、手ぶれ補正を行う補正フレーム範囲をユーザに指定させるためのユーザーインターフェイスを示している。
図7において、701は指定されたフレームの画像を表示する画面であり、702は指定するフレームの大まかな位置を示すバーである。703はより詳細なフレームの位置を示すウインドウである。
704は画面701に表示するフレームの位置を指定するポインタであり、マウスのドラッグ操作により移動できる。705は手ぶれ補正の開始フレーム(補正フレーム範囲の開始フレーム)を指定するポインタであり、マウスのドラッグ操作により移動できる。706は手ぶれ補正の終了フレーム(補正フレーム範囲の終了フレーム)を指定するポインタであり、マウスのドラッグ操作により移動できる。
707は、より詳細にフレームを指定するために各フレームを縮小して表示するサムネイル画像である。708は手ぶれ補正の開始フレーム(補正フレーム範囲の開始フレーム)を指定するポインタであり、マウスのドラッグ操作により移動できる。709は手ぶれ補正の終了フレーム(補正フレーム範囲の終了フレーム)を指定するポインタであり、マウスのドラッグ操作により移動できる。
なお、ポインタ705とポインタ708は連動しており、どちらかを指定すると、もう一方が適当な位置へ自動的に移動する。同様に、ポインタ706とポインタ709も連動しており、どちらかを指定すると、もう一方が適当な位置へ自動的に移動する。ユーザはウインドウ701に表示されるフレームで確認を行いながら、ポインタ(705,706,708,709)の移動により、補正フレーム範囲を指定する。
図8を参照して、補正フレーム範囲の近傍フレームを拡大する処理について説明する。
上述したように、補正フレーム範囲内のフレーム(補正フレーム)に関しては、補正フレーム範囲内の全フレームにおいて共通して存在する画像領域(共通領域)が抽出される。共通領域は元の画像よりもサイズが小さいために、補正フレーム範囲内のフレームについては、手ぶれ補正時に拡大する必要がある。この部分だけ拡大を行うと補正フレーム範囲の前後にある補正無しのフレームとの間で急激に拡大率が異なるため、不自然な映像となる。そこで、図8に示す補正をしないフレーム(補正なし)のうち、補正フレーム範囲の近傍のフレーム(例えば10フレーム)を調整フレームとする。
補正フレーム範囲の開始フレームより時間的に前にある調整フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある調整フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させる。
図9を参照して、補正フレーム範囲の開始フレームより時間的に前にある調整フレームを徐々に拡大する処理について説明する。
図9のフレームiが補正フレーム範囲の開始フレームであるとする。フレームiの内部の四角形は、補正フレーム範囲の共通領域を示しているものとする。手ぶれ補正時には、この共通領域が元のフレームのサイズと同じになるように拡大される。
図9のフレームi−4〜フレームi−1は、補正フレーム範囲の開始フレームiより時間的に前にある調整フレーム(近傍フレーム)を示している。これらの調整フレームi−1−4からi−1では、内部の四角形で示すように徐々に拡大する領域を狭くする、つまり、徐々に拡大率を大きくする。これにより、手ぶれ補正を行ったフレームとそれ以外のフレームとの間で拡大縮小率の不自然さを無くすことができるようになる。
以下、図10を参照して、調整フレームを拡大するための幾何変換係数の算出方法について説明する。調整フレームを拡大するための幾何変換係数は、特開2001−222707号に開示されている2画像間の中間画像を合成する手法を適用することによって算出できる。
図10において、第6フレームおよび第7フレームを手ぶれ補正を行うフレームとする。第3フレーム〜第5フレームを補正フレーム範囲の開始フレームより時間的に前にある調整フレームとする。第2フレームを調整フレームより前の補正なしフレームとする。
第6フレームは補正フレーム範囲の開始フレームであり、手ぶれ補正の基準となる画像であるため、この画像の座標軸が補正フレーム範囲内の他のフレームの手ぶれ補正の幾何変換の座標軸となる。このため、共通領域の拡大処理が無いものとすると、第6フレームを手ぶれ補正するための幾何変換係数は、単位行列となる。しかしながら、第6フレームおよび第7フレームで共通する領域を元の画像サイズになるように拡大するので、第6フレームを拡大を考慮して手ぶれ補正するための幾何変換係数は、単位行列以外の幾何変換行列となる。
一方、第2フレームは手ぶれ補正も拡大もしないので、その幾何変換行列は単位行列で表される。ここで、第2フレームと第6フレームの2つの画像を考えると、それらの2画像間の中間的な画像は、特開2001−222707号の方法を用いて、線形補間的に作成できる。例えば、第4フレームは5:5の比で、第2フレームと第6フレーム(補正フレーム範囲の開始フレーム)との2つのフレームを分配した中間画像と考えて、これらの2つの画像間の幾何変換行列から、各画像を中間画像に変換するための幾何変換行列を算出できる。
特開2001−222707号では、得られた幾何変換行列を用いて2つの画像を中間的な画像へ変換して、色合わせを行っているが、本実施例では、各画像を中間画像に変換するための幾何変換行列のうちのいずれか一方(いずれでもよい)を用いて、第4フレームを変換する。
なお、第3フレームの場合は、3:1の比で、第2フレームと第6フレームとの2つのフレームを分配した中間画像と考えて、これらの2つの画像間の幾何変換行列から、各画像を中間画像に変換するための幾何変換行列(または一方の画像を中間画像に変換するための幾何変換行列)を算出する。そして、得られた変換行列を用いて、第3フレームを変換する。第5フレームの場合は、1:3の比で、第2フレームと第6フレームとの2つのフレームを分配した中間画像と考えて、これらの2つの画像間の幾何変換行列から、各画像を中間画像に変換するための幾何変換行列(または一方の画像を中間画像に変換するための幾何変換行列)を算出する。そして、得られた変換行列を用いて、第3フレームを変換する。
なお、補正フレーム範囲の開始フレームより時間的に後にある調整フレームについては、調整フレームより時間的に後の未調整フレームと補正フレーム範囲の終了フレームとの2つのフレームを分配した中間画像と考えればよい。
本出願人が開発した手ぶれ補正処理手順であって、ファイルに保存された画像データから手ぶれ補正を行うフレームを指定し、手ぶれ補正を行う処理の手順を示すフローチャートである。 図1のステップS102の処理、すなわち、手ぶれ補正係数を算出する処理の手順を示すフローチャートである。 幾何変換に基づいて手ぶれ補正を行う処理を説明するための図である。 幾何変換に基づいて手ぶれ補正を行う際に抽出が必要となる共通領域を説明するための図である。 手ぶれ補正装置の構成を示すブロック図である。 本発明を実現するための、手ぶれ補正処理手順を示すフローチャートである。 手ぶれ補正を行うフレーム範囲をユーザに指定させるためのユーザーインターフェイスを表す模式図である。 手ぶれ補正を行うフレーム範囲とその近傍のフレームを調整フレームとして処理することを説明するための模式図である。 手ぶれ補正を行うフレーム範囲の近傍の調整フレームの拡大方法を説明するための模式図である。 調整フレームを拡大するための幾何変換係数の算出方法を説明するための模式図である。
符号の説明
10 パーソナルコンピュータ
11 CPU
12 メモリ
13 ハードディスク
14 ディスクドライブ
20 リムーバブルディスク

Claims (6)

  1. カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正装置において、
    手ぶれ補正を行うフレームの範囲(以下、補正フレーム範囲という)を指定させるための手段、
    補正フレーム範囲内で共通に存在する共通領域を算出する手段、
    補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正手段、および
    補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理手段、
    を備えていることを特徴とする手ぶれ補正装置。
  2. 拡大処理手段は、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする請求項1に記載の手ぶれ補正装置。
  3. カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正方法において、
    手ぶれ補正を行うフレームの範囲(以下、補正フレーム範囲という)を指定させるためのステップ、
    補正フレーム範囲内で共通に存在する共通領域を算出するステップ、
    補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正ステップ、および
    補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理ステップ、
    を備えていることを特徴とする手ぶれ補正方法。
  4. 拡大処理ステップは、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする請求項1に記載の手ぶれ補正方法。
  5. カメラで撮影した動画に対して手ぶれ補正を行うための手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体において、
    手ぶれ補正を行うフレームの範囲(以下、補正フレーム範囲という)を指定させるためのステップ、
    補正フレーム範囲内で共通に存在する共通領域を算出するステップ、
    補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正ステップ、および
    補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理ステップ、
    をコンピュータに実行させるための手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体。
  6. 拡大処理ステップは、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする請求項5に記載の手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2003328014A 2003-09-19 2003-09-19 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP4128123B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003328014A JP4128123B2 (ja) 2003-09-19 2003-09-19 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体
CNB2004100951342A CN100394764C (zh) 2003-09-19 2004-09-16 手部晃动修正装置和方法
US10/943,230 US7522189B2 (en) 2003-09-19 2004-09-17 Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003328014A JP4128123B2 (ja) 2003-09-19 2003-09-19 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2005094615A true JP2005094615A (ja) 2005-04-07
JP4128123B2 JP4128123B2 (ja) 2008-07-30

Family

ID=34457724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003328014A Expired - Fee Related JP4128123B2 (ja) 2003-09-19 2003-09-19 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US7522189B2 (ja)
JP (1) JP4128123B2 (ja)
CN (1) CN100394764C (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199520A (ja) * 2007-02-15 2008-08-28 Casio Comput Co Ltd 動画再生装置、動画再生方法及びプログラム
JP2010028734A (ja) * 2008-07-24 2010-02-04 Canon Inc 画像処理装置
JP2010124065A (ja) * 2008-11-17 2010-06-03 Victor Co Of Japan Ltd 画像振れ補正装置
JP2016072663A (ja) * 2014-09-26 2016-05-09 キヤノン株式会社 画像再生装置、画像再生方法およびプログラム、並びに撮像装置
WO2016121049A1 (ja) * 2015-01-29 2016-08-04 日立マクセル株式会社 情報表示端末および情報表示方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005022125D1 (de) * 2005-11-15 2010-08-12 Nds Ltd Digitales video-zoom-system
US7800652B2 (en) * 2007-12-12 2010-09-21 Cyberlink Corp. Reducing video shaking
US8994838B2 (en) * 2013-04-16 2015-03-31 Nokia Corporation Motion adaptive cropping for video stabilization
US9734798B2 (en) * 2015-03-17 2017-08-15 Dreamworks Animation Llc Timing-based scheduling for computer-generated animation
CN106303235A (zh) * 2016-08-11 2017-01-04 广东小天才科技有限公司 拍照处理方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082090B2 (ja) 1986-12-27 1996-01-10 株式会社東芝 画像動き補正装置
US6014169A (en) * 1990-06-19 2000-01-11 Canon Kabushiki Kaisha Pickup device apparatus including vibration correction means
JPH05130484A (ja) * 1991-11-05 1993-05-25 Sanyo Electric Co Ltd 手ブレ補正機能付きビデオカメラの画角補正回路
US6172707B1 (en) * 1992-06-22 2001-01-09 Canon Kabushiki Kaisha Image pickup device
JPH07203279A (ja) 1993-12-28 1995-08-04 Hitachi Ltd 撮像装置
US6078751A (en) * 1994-04-27 2000-06-20 Canon Kabushiki Kaisha Image-shake correcting device
JPH11187303A (ja) 1997-12-22 1999-07-09 Canon Inc 画像処理装置および方法並びに記憶媒体
US6400852B1 (en) * 1998-12-23 2002-06-04 Luxsonor Semiconductors, Inc. Arbitrary zoom “on -the -fly”
JP2000284336A (ja) * 1999-03-30 2000-10-13 Ricoh Co Ltd 手振れ補正機能付きカメラ
JP2000350101A (ja) * 1999-03-31 2000-12-15 Toshiba Corp 固体撮像装置及び画像情報取得装置
JP3548071B2 (ja) 2000-02-08 2004-07-28 三洋電機株式会社 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体
US6934423B1 (en) * 2000-03-20 2005-08-23 Intel Corporation Incorporating camera effects into existing video sequences
JP2001358999A (ja) * 2000-06-12 2001-12-26 Sharp Corp 画像入力装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199520A (ja) * 2007-02-15 2008-08-28 Casio Comput Co Ltd 動画再生装置、動画再生方法及びプログラム
JP2010028734A (ja) * 2008-07-24 2010-02-04 Canon Inc 画像処理装置
JP2010124065A (ja) * 2008-11-17 2010-06-03 Victor Co Of Japan Ltd 画像振れ補正装置
JP2016072663A (ja) * 2014-09-26 2016-05-09 キヤノン株式会社 画像再生装置、画像再生方法およびプログラム、並びに撮像装置
WO2016121049A1 (ja) * 2015-01-29 2016-08-04 日立マクセル株式会社 情報表示端末および情報表示方法

Also Published As

Publication number Publication date
CN1604618A (zh) 2005-04-06
US20050088531A1 (en) 2005-04-28
CN100394764C (zh) 2008-06-11
US7522189B2 (en) 2009-04-21
JP4128123B2 (ja) 2008-07-30

Similar Documents

Publication Publication Date Title
JP4620607B2 (ja) 画像処理装置
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
US20090225174A1 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
JP3799861B2 (ja) 画像合成装置、画像合成方法を実行させるプログラムが記録された記録媒体
KR102141290B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
WO2005024723A1 (ja) 画像合成システム、画像合成方法及びプログラム
JP2010268441A (ja) 画像処理装置、撮像装置及び画像再生装置
JP2007072573A (ja) 画像処理装置及び画像処理方法
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
JP7093015B2 (ja) パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP4128123B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4714038B2 (ja) 画像の高解像度化方法及び装置
WO2010032649A1 (ja) 画像表示装置及び撮像装置
WO2008102898A1 (ja) 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム
JP4017578B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
JP2010232710A (ja) 画像処理装置および画像処理方法
JP2008003683A (ja) 画像生成装置及びその方法並びに記録媒体
JP4930304B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2007049545A (ja) 画像合成装置、画像合成方法及びプログラム
JP2000354244A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
CN110692235B (zh) 图像处理装置、图像处理程序及图像处理方法
JP4286301B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
JP5176857B2 (ja) 動画編集装置
JP2003143473A (ja) 背景画像生成装置およびそのプログラム
JP2006203716A (ja) 複数の低解像度画像を用いた高解像度画像の生成

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080513

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees