JP4993012B2 - 撮像装置及び画像処理装置 - Google Patents

Description

本発明は、動画像を記録可能な撮像装置及び動画像を生成可能な画像処理装置に関するものである。

デジタルカメラにより撮影された動画像に基づく動画データ、及び動画像の撮影後にデジタルカメラにより撮影された静止画像に基づいて、該静止画像を所定期間再生するフリーズ動画データを作成し、動画データの最終フレームに続けてフリーズ動画データを連結編集した動画ファイルを生成するデジタルカメラが提案されている（例えば、特許文献１参照）。

特開２００６−１６５７６９号公報

しかしながら、上述の従来技術では、動画像の記録時間や静止画像に基づくフリーズ動画像の再生時間の長さを、例えば被写体の動き等に応じて自由に設定することができなかった。

ところで、動画像を撮影する場合において、動きのある被写体の静止画像と動画像とを組み合わせた動画像等の、印象的な映像効果を有する動画像を、画像処理装置等において合成処理を行うことなしに取得可能な技術が所望されている。しかしながら、上述のような印象的な映像効果を有する動画像を、使用者がビデオカメラ等を手動操作して撮影しようとした場合には高度な操作技術を要していた。

本発明の目的は、印象的な映像効果を有する動画像を含む動画像データを容易に作成することができる撮像装置及び画像処理装置を提供することである。

本発明は以下のような解決手段により上記課題を解決する。なお、理解を容易にするために、本発明の実施の形態に対応する符号を付して説明するが、本発明はこれに限定されるものではない。

本発明の撮像装置は、被写体からの光を撮像する撮像素子（６）と、前記撮像素子（６）による静止画像の撮像を指示する第１指示部（４）と、前記第１指示部（４）による撮像指示により撮像される静止画像の撮像時から第１所定時間前までの間に前記撮像素子（６）から出力される撮像信号に基づき生成される、記録時間が前記第１所定時間の第１動画像と、前記静止画像の撮像時から第２所定時間後までの間に前記静止画像を用いて生成される、記録時間が前記第２所定時間の第２動画像とを一つの動画像ファイルとして、または前記第２動画像と、前記静止画像の撮像時から第３所定時間後までの間に前記撮像素子（６）から出力される撮像信号に基づき生成される、記録時間が前記第３所定時間の第３動画像とを一つの動画像ファイルとして、記録媒体（１８）に記録する記録制御部（４）と、前記被写体の動き情報を検出する検出部（２６）とを備え、前記記録制御部（４）は、前記検出部（２６）により検出される前記動き情報に基づいて、前記第１所定時間、前記第２所定時間及び前記第３所定時間の少なくとも１つの前記記録時間の長さを設定することを特徴とする。

また、本発明の画像処理装置は、記録媒体（１８）に記録されている所定動画像ファイルを形成する複数のフレーム画像の中から所定フレーム画像を選択する第１選択部（２４）と、前記第１選択部（２４）により選択された前記所定フレーム画像の記録時間より前の第１所定時間の長さの間に記録された複数の前記フレーム画像により生成される第１動画像と、前記所定フレーム画像を用いて生成される第２所定時間の長さの第２動画像とにより形成される動画像の表示部（２０）への表示、または、前記第２動画像と、前記所定フレーム画像の記録時間より後の第３所定時間の長さの間に記録された複数の前記フレーム画像により生成される第３動画像とにより形成される動画像の前記表示部（２０）への表示を制御する表示制御部（４）と、前記複数のフレーム画像内の被写体の動き情報を検出する検出部（２６）とを備え、前記表示制御部（４）は、前記検出部（２６）により検出される前記動き情報に基づいて、前記第１所定時間、前記第２所定時間及び前記第３所定時間の少なくとも一つの時間の長さを設定することを特徴とする。

本発明の撮像装置及び画像処理装置によれば、印象的な映像効果を有する動画像を含む動画像データを容易に作成することができる。

実施の形態に係る電子カメラのシステム構成を示すブロック図である。 実施の形態に係る電子カメラにおいて動画像を撮影する際の処理について説明するためのフローチャートである。 実施の形態に係る表示部の表示例を示す図である。 実施の形態に係る表示部の表示例を示す図である。 実施の形態に係る表示部の表示例を示す図である。 実施の形態に係る電子カメラにおいて動画像を撮影するための設定を行う際の処理について説明するためのフローチャートである。 被写体の移動速度を検出するために用いられるフレーム画像の例を示す図である。 画像記録、音記録、及び画像表示の状態を示すタイムチャートである。 画像記録、音記録、及び画像表示の状態を示すタイムチャートである。 第１の実施の形態に係る電子カメラにおいて「動から静の動画像」を撮影する際の処理について説明するためのフローチャートである。 撮影する動画像の例を示す図である。 第１の実施の形態に係る電子カメラにおいて「静から動の動画像」を撮影する際の処理について説明するためのフローチャートである。 第２の実施の形態に係る電子カメラにおいて「動から静の動画像」を撮影する際の処理について説明するためのフローチャートである。 第２の実施の形態に係る電子カメラにおいて「静から動の動画像」を撮影する際の処理について説明するためのフローチャートである。 第３の実施の形態に係る電子カメラにおいてシナリオ動画を再生する際の処理について説明するためのフローチャートである。 「動から静のシナリオ動画」を再生する際の処理について説明するためのタイムチャートである。 「静から動のシナリオ動画」を再生する際の処理について説明するためのタイムチャートである。 他の「静から動のシナリオ動画」を再生する際の処理について説明するためのタイムチャートである。

以下、図面を参照して、本発明の第１の実施の形態に係る撮像装置としての電子カメラについて説明する。図１は、第１の実施の形態に係る電子カメラ２のシステム構成を示すブロック図である。図１に示すように、電子カメラ２は、マイクロプロセッサ等により構成され、電子カメラ２の各部を統括的に制御する制御部４を備えている。制御部４には、撮像素子６、アンプ・Ａ／Ｄ変換部８、動画用バッファメモリ１２、静止画用バッファメモリ１４、音声用バッファメモリ１６、記録媒体１８、表示部２０、スピーカ２２、操作部２４、及び動き検出部２６が接続されている。

撮像素子６は、ＣＣＤまたはＣＭＯＳ等により構成され、図示しない撮影レンズを介した被写体光を撮像して撮像信号を制御部４に対して出力する。アンプ・Ａ／Ｄ変換部８は、マイク１０により集音された電子カメラ２周辺の音声のアナログ信号をデジタル信号に変換し、変換された音声のデジタル信号を制御部４に対して出力する。

動画用バッファメモリ１２は、撮像素子６からの撮像信号に基づき作成され、制御部４内の図示しない縮小回路を介することにより動画像用の解像度にリサイズ（解像度大から小へ）された動画像データを一時的に記憶する。静止画用バッファメモリ１４は、撮像素子６からの撮像信号に基づき作成された静止画像データを一時的に記憶する。音声用バッファメモリ１６は、アンプ・Ａ／Ｄ変換部８から出力された音声のデジタル信号に基づき作成された音声データを一時的に記憶する。

記録媒体１８は、電子カメラ２に設けられたカードスロット（図示せず）に着脱可能に装着される可搬性を有する記録媒体であり、例えば、ＣＦカード、ＳＤカード、スマートメディア等が用いられる。記録媒体１８には、制御部４において作成された動画像データに制御部４内の図示しない動画用信号処理回路により動画像用の画像処理が施され、制御部４内の図示しない動画用圧縮回路により動画像用の圧縮処理が施された動画像データが記録される。同様に、記録媒体１８には、制御部４において作成された静止画像データに制御部４内の図示しない静止画用信号処理回路により静止画像用の圧縮処理が施された静止画像データ、及び制御部４において作成され、対応する動画像データに付加された音声データ等が記録されている。

表示部２０は、電子カメラ２の背面部に配置されるＬＣＤ等により構成されるモニタまたはＥＶＦ等により構成され、撮像素子６からの撮像信号に基づくスルー画像、記録媒体１８に記録されている画像データに基づく静止画像や動画像、後述するシナリオ動画撮影モード毎にサンプル動画データとしてカメラ内の不図示のメモリに記憶されているサンプル動画、及び撮影に関する情報等を表示する。スピーカ２２は、記録媒体１８に記録されている音声データや、前述のカメラ内の不図示のメモリに記憶されているサンプル動画データに付随して不図示のメモリに記録されている音声データに基づく音声を出力する。

操作部２４は、電子カメラ２の電源をオン／オフする電源スイッチ、静止画像や動画像及び音声の記録を開始する際に操作される録画開始ボタン（例えば、ＲＥＣボタンやシャッタボタン等）、動画像及び音声の記録を終了する際に操作される録画終了ボタン（例えば、ＲＥＣボタンやシャッタボタン等）、表示部２０にメニュー等を表示させるためのメニューボタン、メニュー項目等の選択や様々な設定時に操作される十字キー、メニュー項目等の選択や様々な設定に対する確定操作を行うためのＯＫボタン等を含んで構成されている。

動き情報検出部２６は、電子カメラ２において動画像を撮影する際に、動きのある被写体の動き情報を検出する。具体的には、撮像素子６からの撮像信号に基づき作成され、制御部４内の図示しない縮小回路を介することにより被写体の動き情報検出用の解像度にリサイズ（解像度大から小へ）された少なくとも２つのフレーム画像に基づいて、周知の動きベクトル算出処理により動きベクトルを算出し、算出された動きベクトルに基づいて動きのある被写体の動き情報（この実施の形態では、被写体の移動速度）を検出する。

この実施の形態に係る電子カメラ２では、動きのある被写体の動画像と静止画像とを組み合わせて生成される動画像を自動的に撮影することができる。以下、図２に示すフローチャートを参照して、第１の実施の形態に係る電子カメラ２において上述の動画像を撮影する際の処理について説明する。

まず、制御部４は、ユーザーにより動画撮影メニューの表示指示（例えば、メニューボタンの押下）がなされると、表示部２０に、例えば図３に示すような動画撮影メニュー画面２７を表示する（ステップＳ１０）。動画撮影メニュー画面２７には、様々な動画撮影モードを選択可能な項目（図３では、シナリオ動画撮影モードＡ，Ｂ，Ｃ，Ｄ，Ｅ）が表示される。ユーザーにより十字キー等を用いて１つの動画撮影モード（図３では、シナリオ動画撮影モードＢ）が選択され、ＯＫボタンが押下されると、制御部４は、表示部２０に、例えば図４に示すような画面２８を表示する。画面２８には、「サンプル動画を表示しますか？」等のメッセージ、及びメッセージに対する回答を選択するための項目（図４では、「Ｙｅｓ」及び「Ｎｏ」）が表示される。

なお、この実施の形態では、シナリオ動画撮影モードＢが静止している画像が動き出したり、或いは動いている被写体が静止するように表示する動画像を撮影するモードであるものとする。また、サンプル動画は、各シナリオ動画撮影モードについての特徴的な映像効果を的確にユーザーに示すためにシナリオ動画撮影モード毎に予め作成されて電子カメラ２内の不図示のメモリ内に記憶されている動画像であり、ユーザーは、サンプル動画を視認することにより、選択したシナリオ動画撮影モードで撮影できる動画像がどういった形態（態様）のものかを容易に理解することができる。

ユーザーにより十字キー等を用いて「Ｙｅｓ」が選択され、ＯＫボタンが押下されると（ステップＳ１１、Ｙｅｓ）、制御部１０は、表示部２０に、例えば図５に示すようなサンプル動画の表示を行うための画面２９を表示する（図４から図５に表示が切り替わる）。画面２９には、サンプル動画を表示するためのサンプル動画表示エリア２９ａ、選択されたシナリオ動画撮影モードＢについて説明するための簡単な説明文（図５では、「静止している画像が動き出したり、或いは動いている被写体が静止するように表示する動画を撮影します。」）を表示するメッセージ表示エリア２９ｂ、サンプル動画の再表示または動画撮影への移行を選択するためのアイコン（図５では、「再表示」及び「撮影へ」）がそれぞれ表示される。そして、制御部４は、サンプル動画表示エリア２９ａに、シナリオ動画撮影モードＢのサンプル動画を表示する（ステップＳ１２）。

なお、シナリオ動画撮影モードには、図５中の説明文にあるような動画を撮影するモード以外にも、例えば、撮影画面内で撮影距離の異なる被写体に対して順次フォーカスを切り換えながら動画を撮影するモードや、フォーカス状態とズーム状態を同時に変更しながら動画を撮影するモード等、モード毎に互いに異なるシナリオの下で再生表示されて様々な映像効果が得られる動画撮影モード（他のシナリオ動画撮影モードＡ，Ｃ〜Ｅ）が設けられている。

ユーザーにより十字キー等を用いて「再表示」が選択され、ＯＫボタンが押下されると（ステップＳ１３、Ｙｅｓ）、制御部４は、図５に示す画面２９において、サンプル動画表示エリア２９ａにシナリオ動画撮影モードＢに対応するサンプル動画を再表示する（ステップＳ１２）。一方、図４に示す画面２８においてユーザーにより「Ｎｏ」が選択された場合（ステップＳ１１、Ｎｏ）、または図５に示す画面２９においてユーザーにより「撮影へ」が選択された場合（ステップＳ１３、Ｎｏ）には、制御部４は、シナリオ動画撮影モードＢ、即ち静止している画像が動き出したり、或いは動いている被写体を静止させて表示する動画像を撮影するための設定へと移行する（ステップＳ１４）。

図６は、シナリオ動画撮影モードＢの動画像を撮影するための設定を行う際の処理について説明するためのフローチャートである。なお、シナリオ動画撮影モードＢの動画像には、動いている被写体の動画像（第１動画像）を撮影した後、動いている被写体の静止画像を撮影し、撮影した静止画像を用いて動画像（第２動画像）を生成し、第１動画像と第２動画像とを連結させて作成された動画像（以下、「動から静の動画像」という）と、動いている被写体の静止画像を撮影した後、動いている被写体の動画像（第３動画像）を撮影し、撮影した静止画像を用いて生成された動画像と第３動画像とを連結させて作成された動画像（以下、「静から動の動画像」という）とが存在する。

したがって、まず、制御部４は、「動から静の動画像」を撮影するか、または「静から動の動画像」を撮影するかをユーザーに選択させるための選択画面を表示部２０にメニュー表示（不図示）する（ステップＳ２０）。ユーザーにより「動から静の動画像」または「静から動の動画像」が選択され、ＯＫボタンが押下されると（ステップＳ２１、Ｙｅｓ）、制御部４は、表示部２０の表示面上にスルー画像を表示する（ステップＳ２２）。

ユーザーが例えばシャッタボタンを半押しした状態でスルー画像を視認しながらピントを合わせている間に、制御部４は、撮像素子６からの撮像信号に基づき作成され、被写体の動き情報検出用の解像度にリサイズ（解像度大から小へ）された少なくとも２つのフレーム画像、例えば図７に示すようなフレーム画像３０，３２を動き情報検出部２６へ出力する。動き情報検出部２６は、フレーム画像３０，３２に基づいて周知の動きベクトル算出処理により動きベクトルを算出し、算出された動きベクトルに基づいて動いている被写体（図７では、電車）の移動速度を検出し、検出結果を制御部４に対して出力する。そして、制御部４は、動き情報検出部２６からの検出結果から動いている被写体（図７では、電車）の移動速度を取得する（ステップＳ２３）。

次に、制御部４は、ステップＳ２３において取得した被写体（電車）の移動速度に基づいて、動画像の記録時間の長さを設定する（ステップＳ２４）。即ち、ステップＳ２１において「動から静の動画像」の撮影が選択されている場合には、図８に示すように、録画・録音を開始する時間ｔ１から録画終了及び静止画撮影を行う時間ｔ２まで撮影される動画像の記録時間Ｔ１、及び時間ｔ２に撮影された静止画像を用いて作成される動画像の記録時間Ｔ２の長さを設定する。

また、ステップＳ２１において「静から動の動画像」の撮影が選択されている場合には、図９に示すように、時間ｔ４に撮影される静止画像を用いて作成される動画像の記録時間Ｔ３、及び録画・録音を開始する時間ｔ４から録画・録音を終了する時間ｔ５まで撮影される動画像の記録時間Ｔ４の長さを設定する。なお、撮影された静止画像を用いて作成される動画像とは、撮影された静止画像が時間Ｔ２（図８参照、図９ではＴ３）の間、再生継続される動画像のことであり、具体的には、静止画像を動画像用の解像度にリサイズし、リサイズされた静止画像をフレーム画像として形成される動画像のことである。

制御部４は、ステップＳ２３において取得した電車の移動速度が予め設定されている基準値より大きい場合には、記録時間Ｔ１，Ｔ４を短く、または記録時間Ｔ２，Ｔ３を長くする。また、電車の移動速度の増大に応じて記録時間Ｔ１，Ｔ４を更に短く、または記録時間Ｔ２，Ｔ３を更に長くする。即ち、高速で移動する被写体については、撮影画面内に収まる時間が短いため、動画像の記録時間を短くし、静止画像の記録時間を長くすることにより、高速で移動する被写体が長く再生され続ける動画像を作成することができる。

同様に、電車の移動速度が基準値より小さい場合には、記録時間Ｔ１，Ｔ４を長く、または記録時間Ｔ２，Ｔ３を短くする。また、電車の移動速度の減少に応じて記録時間Ｔ１，Ｔ４を更に長く、または記録時間Ｔ２，Ｔ３を更に短くする。即ち、低速で移動する被写体については、撮影画面内に収まる時間が長いため、動画像の記録時間を長くし、静止画像の記録時間を短くすることにより、被写体が動いている様子を長く再生する動画像を作成することができる。

また、例えば、被写体の移動速度に対応させた記録時間Ｔ１〜Ｔ４の長さのテーブルを図示しないメモリ等に記憶させておき、テーブルに基づいて記録時間Ｔ１〜Ｔ４を設定することもできる。また、「動から静の動画像」の記録時間Ｔ１＋Ｔ２、「静から動の動画像」の記録時間Ｔ３＋Ｔ４の長さを予め設定し、電車の移動速度に基づいて、記録時間Ｔ１とＴ２との比率、または記録時間Ｔ３とＴ４との比率を設定することもできる。

なお、ステップＳ２４において、制御部４は、記録時間Ｔ１及びＴ２の両方、または記録時間Ｔ３及びＴ４の両方を設定しているが、記録時間Ｔ１もしくはＴ２の何れか一方、または記録時間Ｔ３もしくはＴ４の何れか一方を設定する構成にすることもできる。

動画像撮影のための設定を終えた後、制御部４は、動画像の撮影へと移行する（図２のステップＳ１５）。図１０は、シナリオ動画撮影モードＢの「動から静の動画像」を撮影するための処理について説明するためのフローチャートである。

まず、制御部４は、ユーザーにより録画開始ボタン（この実施の形態ではＲＥＣボタン）が押下されたか否かを判別する（ステップＳ３０）。ステップＳ３０において録画開始ボタンが押下されたと判別された場合には（ステップＳ３０、Ｙｅｓ）、制御部４は、動画像及び音声の記録を開始する（ステップＳ３１、図８では時間ｔ１）。なお、ステップＳ３０において録画開始ボタンが押下されたとき（図８では時間ｔ１）のスルー画像を、図１１に示す画像３４とし、時間ｔ１から（Ｔ１／２）時間経過したときのスルー画像を、図１１に示す画像３６とする。即ち、この実施の形態では、時間ｔ１から時間ｔ２（図８参照）までの間、図１１に示すように、電子カメラ２に対して電車が遠くから近付いてくる動画像が記録される。

次に、制御部４は、図６のステップＳ２４において設定された記録時間Ｔ１が経過したか否かを判別する（ステップＳ３２）。ステップＳ３２において記録時間Ｔ１が経過したと判別された場合には（ステップＳ３２、Ｙｅｓ）、制御部４は、動画像の記録を終了し（ステップＳ３３、図８では時間ｔ２）、同時に静止画像を少なくとも１フレーム撮像する（ステップＳ３４、図８では時間ｔ２）。なお、ステップＳ３３において動画像の記録を終了し、ステップＳ３４において静止画像が撮像されたとき（図８では時間ｔ２）のスルー画像を、図１１に示す画像３８とする。また、図８に示すように、記録時間Ｔ１が経過した後も、音声の記録は継続される。

次に、制御部４は、図６のステップＳ２４において設定された記録時間Ｔ２が経過したか否かを判別する（ステップＳ３５）。ステップＳ３５において記録時間Ｔ２が経過したと判別された場合には（ステップＳ３５、Ｙｅｓ）、制御部４は、音声の記録を終了する（ステップＳ３６、図８では時間ｔ３）。

次に、制御部４は、時間ｔ１から時間ｔ２まで（記録時間Ｔ１）に撮像素子６からの撮像信号に基づき生成される動画像データ、時間ｔ２から時間ｔ３まで（記録時間Ｔ２）の動画像として時間ｔ２に撮影された静止画像（図１１に示す画像３８）を用いて生成される動画像データ（時間ｔ２に撮影された１フレームの静止画像を記録時間Ｔ２の期間再生し続けることにより生成される動画像データ）、及び時間ｔ１から時間ｔ３までにマイク１０からの音声信号に基づき生成される音声データを１つの動画像ファイル４０（図８参照）として記録媒体１８に記録する（ステップＳ３７）。このとき、時間ｔ２から時間ｔ３までの音声データは、静止画像を用いて生成される動画像データに対応する音声データとして記録される。

なお、制御部４は、図６のステップＳ２２〜Ｓ２４、図１０のステップＳ３０〜Ｓ３４の処理の間、即ち表示部２０の表示面上にスルー画像が表示されてから静止画像が撮像されるまでの間、図８に示すように、表示部２０の表示面上に、撮像素子６からの撮像信号に基づくスルー画像を表示する。そして、図１０のステップＳ３５〜Ｓ３６の処理の間、即ち静止画像が撮像されてから記録時間Ｔ２が経過するまでの間、図８に示すように、表示部２０の表示面上に、撮像された静止画像（図１１に示す画像３８）を表示する。そして、記録時間Ｔ２が経過した後、即ち時間ｔ３以降、図８に示すように、再びスルー画像を表示する。

また、図１０のステップＳ３７において記録された動画像ファイル４０の動画像の再生においては、記録時間Ｔ１の間、電車が画像３４内の位置から画像３６内の位置を経て画像３８内の位置まで近づいてくる動画像が再生され、記録時間Ｔ２の間、画像３８が再生され続ける。このように、動きのある被写体の動いている状態、及び動いている被写体が静止した状態を組み合わせた印象的な動画像を作成及び再生することができる。

なお、上記「動から静の動画像」において、「静」の期間に相当する動画像データ（時間ｔ２に撮影された１フレームの静止画像に基づいて、記録時間Ｔ２の期間の動画像として生成される動画像データ）として、上記実施形態のように同じカットを同じ表示状態で表示し続けるものばかりでなく、様々な変形形態（静止画像ゆえに処理可能な画像表現）が考えられる。例えば時間ｔ２に撮影された静止画像を徐々にズームインしていく（部分拡大していく）ようなデジタルズーム処理された画像を動画像データとして生成するようにしても良い。あるいは静止画像を使って、その静止画像が表示画面から徐々に移動（例えば回転したり、表示画面外にフレームアウト移動したり）するような動画像データを生成するようにしても良い。

次に、図１２に示すフローチャートを参照して、シナリオ動画撮影モードＢの「静から動の動画像」を撮影するための処理について説明する。

まず、制御部４は、ユーザーにより録画開始ボタン（この実施の形態ではＲＥＣボタン）が押下されたか否かを判別する（ステップＳ４０）。ステップＳ４０において録画開始ボタンが押下されたと判別された場合には（ステップＳ４０、Ｙｅｓ）、制御部４は、静止画像を撮像し（ステップＳ４１、図９では時間ｔ４）、同時に動画像及び音声の記録を開始する（ステップＳ４２、図９では時間ｔ４）。なお、ステップＳ４１において静止画像を撮像し、かつ動画像及び音声の記録を開始したとき（図９では時間ｔ４）のスルー画像を、図１１に示す画像３４とし、時間ｔ４から（Ｔ４／２）時間経過したときのスルー画像を、図１１に示す画像３６とする。即ち、この実施の形態では、時間ｔ４において静止画像として画像３４が撮像され、時間ｔ４から時間ｔ５（図９参照）までの間、図１１に示すように、電子カメラ２に対して電車が遠くから近付いてくる動画像が記録される。

次に、制御部４は、図６のステップＳ２４において設定された記録時間Ｔ４が経過したか否かを判別する（ステップＳ４３）。ステップＳ４３において記録時間Ｔ４が経過したと判別された場合には（ステップＳ４３、Ｙｅｓ）、制御部４は、動画像及び音声の記録を終了する（ステップＳ４４、図９では時間ｔ５）。なお、ステップＳ４４において動画像及び音声の記録を終了したとき（図９では時間ｔ５）のスルー画像を、図１１に示す画像３８とする。

次に、制御部４は、図９に示すように、時間ｔ４から時間ｔ６まで（記録時間Ｔ３）の動画像として、時間ｔ４に撮像された静止画像（図１１に示す画像３４）を用いて生成される動画像データ（時間ｔ４に撮影された１フレームの静止画像を記録時間Ｔ３の期間再生し続けることにより生成される動画像データ）、時間ｔ４から時間ｔ５まで（記録時間Ｔ４）に記録された動画像に基づく動画像データ、及び時間ｔ４から時間ｔ５までに記録された音声に基づく音声データを１つの動画像ファイル４２（図９参照）として記録媒体１８に記録する（ステップＳ４５）。

なお、制御部４は、図６のステップＳ２２〜Ｓ２４、図１２のステップＳ４０〜Ｓ４２の処理の間、即ち表示部２０の表示面上にスルー画像が表示されてから動画像及び音声の記録が開始されるまでの間、図９に示すように、表示部２０の表示面上に、撮像素子６からの撮像信号に基づくスルー画像を表示する。そして、図９に示すように、動画像及び音声の記録が開始されてから記録時間Ｔ３が経過するまでの間（時間ｔ４から時間ｔ６までの間）、表示部２０の表示面上に、撮像された静止画像（図１１に示す画像３４）を表示する。次に、記録時間Ｔ３が経過した後から記録時間Ｔ４が経過するまでの間（時間ｔ６から時間ｔ７までの間）、表示部２０の表示面上に、時間ｔ４から時間ｔ５まで記録した動画像（図１１に示す画像３４から画像３８へ電車が近づいてくる動画像）を表示する。そして、記録時間Ｔ４が経過した後、即ち時間ｔ７以降、再びスルー画像を表示する。

また、図１２のステップＳ４５において記録された動画像ファイル４２の動画像の再生においては、記録時間Ｔ３の間、画像３４が再生され続け、記録時間Ｔ４の間、電車が画像３４内の位置から画像３６内の位置を経て画像３８内の位置まで近づいてくる動画像が再生される。このように、被写体が一定時間静止した状態から動き出す印象的な動画像を作成及び再生することができる。このとき、記録時間Ｔ３の間、即ち画像３４が静止した動画像として再生されている間、対応する音声が存在しないため、音声は再生されず、記録時間Ｔ４の間、動画像に対応する音声が再生される。

なお、図１０のステップＳ３７及び図１２のステップＳ４５の処理の前に、「記録してもよいですか？」等の記録媒体１８への記録を確認するメッセージ、及び「はい・いいえ」等の記録媒体１８への記録の有無を選択する選択肢を表示してもよい。

なお、上記「静から動の動画像」において、「静」の期間に相当する動画像データ（時間ｔ４に撮影された１フレームの静止画像に基づいて、記録時間Ｔ３の期間の動画像として生成される動画像データ）として、上記実施形態のように同じカットを同じ表示状態で表示し続けるものばかりでなく、様々な変形形態（静止画像ゆえに処理可能な画像表現）が考えられる。例えば時間ｔ４に撮影された静止画像を徐々に電子的にズームインした状態からズームアウトした状態にデジタルズーム処理していく（縮小していく）ような画像を動画像データとして生成するようにしても良い。あるいは静止画像を使って、その静止画像が表示画面から徐々に移動（例えば回転したり、表示画面内にフレームイン移動したり）するような動画像データを生成するようにしても良い。

第１の実施の形態に係る電子カメラ２によれば、動きのある被写体の動画像及び静止画像を組み合わせた動画像、即ち印象的な映像効果を有する動画像を容易に作成することができる。即ち、動いている被写体の動いている状態の動画像と静止している状態の動画像とを連結させた１つの動画像ファイルを作成することができる。

また、このような動画像を記録している間、表示部２０においては、スルー画像でなく、作成される動画像が再生される場合と同様の動画像が表示される。即ち、動画像の記録時において、作成される動画像のプレビュー表示を行うことができる。したがって、ユーザーに対してどのような映像効果を有する動画像が作成されるのかを動画像の記録時に示すことができる。また、被写体の移動速度に応じて最適な記録時間Ｔ１〜Ｔ４が設定されるため、より印象的な映像効果を有する動画像を作成することができる。

次に、図面を参照して、本発明の第２の実施の形態に係る電子カメラについて説明する。なお、第２の実施の形態に係る電子カメラの構成については、第１の実施の形態に係る電子カメラ２の構成から動き情報検出部２６（図１参照）を取り除いたものであるため、その説明を省略する。また、第２の実施の形態に係る電子カメラの機能や動作については、図１に示す電子カメラ２の構成と同一の構成には同一の符号を用いてその説明を行う。

第２の実施の形態に係る電子カメラにおいても、第１の実施の形態に係る電子カメラ２と同様に、動きのある被写体の動画像と静止画像とを組み合わせて生成される動画像を自動的に撮影することができるが、図８に示す記録時間Ｔ１及び図９に示す記録時間Ｔ４の長さについてはユーザーによる操作部２４を介した指示により決定され、図８に示す記録時間Ｔ２及び図９に示す記録時間Ｔ３については予め設定されている。

したがって、第２の実施の形態においては、図２に示すステップＳ１０〜Ｓ１３の処理を終えた後、ステップＳ１４の処理として図６に示すステップＳ２０〜Ｓ２２の処理を行う。そして、図６に示すステップＳ２３及びＳ２４の処理を行うことなく、図２に示すステップＳ１５の処理に移行する。図１３は、第２の実施の形態に係る電子カメラにおいて、シナリオ動画撮影モードＢの「動から静の動画像」を撮影するための処理について説明するためのフローチャートである。なお、ステップＳ５０及びＳ５１の処理は、図１０に示すステップＳ３０及びＳ３１の処理と同一のため、その説明を省略する。

次に、制御部４は、録画可能時間が経過したか否かを判別する（ステップＳ５２）。録画可能時間は、図８に示す記録時間Ｔ１（時間ｔ１からｔ２まで）について設定されている最長時間であって、記録媒体１８の容量等に基づいて予め設定されており、図示しないメモリ等に記憶されている。この実施の形態では、録画可能時間は１０秒間に設定されている。ステップＳ５２において録画可能時間、即ち時間ｔ１から１０秒間経過していないと判別された場合には（ステップＳ５２、Ｎｏ）、制御部４は、ユーザーにより撮影開始ボタン（この実施の形態ではＲＥＣボタンまたはシャッタボタン）が押下されたか否かを判別する（ステップＳ５３）。ステップＳ５３において撮影開始ボタンが押下されていないと判別された場合には（ステップＳ５３、Ｎｏ）、制御部４は、ステップＳ５２の処理に戻り、ステップＳ５２及びＳ５３の処理を繰り返す。

一方、ステップＳ５２において録画可能時間が経過したと判別された場合（ステップＳ５２、Ｙｅｓ）、またはステップＳ５３において撮影開始ボタンが押下されたと判別された場合（ステップＳ５３、Ｙｅｓ）には、制御部４は、動画像の記録を終了し（ステップＳ５４、図８では時間ｔ２）、同時に静止画像を撮像する（ステップＳ５５、図８では時間ｔ２）。

次に、制御部４は、録音時間が経過したか否かを判別する（ステップＳ５６）。録音時間は、図８に示す記録時間Ｔ２であり、記録時間Ｔ２は、ステップＳ５５において撮像された静止画像を用いて作成される動画像の記録時間のことである。記録時間Ｔ２は、記録媒体１８の容量等に基づいて予め設定されており、図示しないメモリ等に記憶されている。この実施の形態では、記録時間Ｔ２は５秒間に設定されている。ステップＳ５６において録音時間、即ち記録時間Ｔ２が経過したと判別された場合には（ステップＳ５６、Ｙｅｓ）、制御部４は、音声の記録を終了し（ステップＳ５７、図８では時間ｔ３）、ステップＳ５８の処理を行う。なお、ステップＳ５８の処理は、図１０に示すステップＳ３７の処理と同一のため、その説明を省略する。

次に、図１４に示すフローチャートを参照して、第２の実施の形態に係る電子カメラにおいて、シナリオ動画撮影モードＢの「静から動の動画像」を撮影するための処理について説明する。なお、ステップＳ７０〜Ｓ７２の処理は、図１２に示すステップＳ４０〜Ｓ４２の処理と同一のため、その説明を省略する。

次に、制御部４は、録画可能時間が経過したか否かを判別する（ステップＳ７３）。録画可能時間は、図９に示す記録時間Ｔ４（時間ｔ４からｔ５まで）について設定されている最長時間であって、記録媒体１８の容量等に基づいて予め設定されており、図示しないメモリ等に記憶されている。この実施の形態では、録画可能時間は１０秒間に設定されている。ステップＳ７３において録画可能時間、即ち時間ｔ４から１０秒間経過していないと判別された場合には（ステップＳ７３、Ｎｏ）、制御部４は、ユーザーにより録画終了ボタン（この実施の形態ではＲＥＣボタン）が押下されたか否かを判別する（ステップＳ７４）。ステップＳ７４において録画終了ボタンが押下されていないと判別された場合には（ステップＳ７４、Ｎｏ）、制御部４は、ステップＳ７３の処理に戻り、ステップＳ７３及びＳ７４の処理を繰り返す。

一方、ステップＳ７３において録画可能時間が経過したと判別された場合（ステップＳ７３、Ｙｅｓ）、またはステップＳ７４において録画終了ボタンが押下されたと判別された場合（ステップＳ７４、Ｙｅｓ）には、制御部４は、動画像及び音声の記録を終了し（ステップＳ７５、図９では時間ｔ５）、ステップＳ７６の処理を行う。なお、ステップＳ７６の処理は、図１２に示すステップＳ４５の処理と同一のため、その説明を省略する。また、図９に示す記録時間Ｔ３は、記録媒体１８の容量等に基づいて予め設定されており、図示しないメモリ等に記憶されている。この実施の形態では、記録時間Ｔ３は５秒間に設定されている。

第２の実施の形態に係る電子カメラによれば、記録時間Ｔ１，Ｔ４を撮影中に録画可能時間を超えない範囲で自由に設定することができ、記録時間Ｔ２，Ｔ３は予め設定されているため、動き情報検出部を備えていなくとも、印象的な映像効果を有する動画像を手軽に作成することができる。

なお、第２の実施の形態においては、記録時間Ｔ２，Ｔ３が予め設定されているが、予め設定された記録時間Ｔ２，Ｔ３をデフォルトとし、記録時間Ｔ２，Ｔ３を変更可能に構成することもできる。この場合には、メニューの中のメニュー項目に記録時間Ｔ２，Ｔ３設定の項目を加え、動画像を撮影する前に、メニュー画面を表示部２０に表示し、十字キー等を用いて操作することにより記録時間Ｔ２，Ｔ３の設定を行う。また、記録時間Ｔ１，Ｔ４については、撮影中に録画可能時間を超えない範囲で自由に設定しているが、記録時間Ｔ２，Ｔ３と同様に、撮影前に予め設定することもできる。

また、第２の実施の形態においては、録画可能時間が予め設定されており、録画可能時間より長い時間の録画を禁止しているが、ユーザーにより録画終了ボタンが押下されるまで録画及び録音を継続する構成にすることもできる。また、予め設定された録画可能時間をデフォルトとし、録画可能時間を変更可能に構成することもできる。

また、第２の実施形態における「静から動の動画像」あるいは「動から静の動画像」を撮影する場合においても、「静」の期間に相当する動画像データについて、第１の実施形態で既述したような様々な変形形態が適用可能である。

なお、上記各実施の形態では、「静」の期間に相当する動画像データを作成する際に基となる静止画像を１フレーム分として説明したが、本発明はこれに限られるものではなく連続撮影した複数フレーム分の静止画像に基づいて「静」の期間の動画像データを作成するようにしても良い。例えば、露出条件を異ならせて連続撮影した複数の静止画像を合成することにより、ダイナミックレンジを拡張した静止画像（いわゆるハイダイナミックレンジ（ＨＤＲ）処理された静止画像）を得て、そのＨＤＲ画像に基づいて動画像データを作成するようにしても良い。

なお、上述の各実施の形態においては、「静から動の動画像」の動画像ファイル４２を記録する際、静止画像を用いて作成される動画像に対応する音声を記録していないが、静止画像の撮像時から記録時間Ｔ３（図９参照）の長さ前までの音声を記録し、この音声を静止画像を用いて作成される動画像に対応する音声として動画像ファイル４２に付加して記録してもよい。この場合には、例えば静止画像の撮像時から所定時間（≧記録時間Ｔ３の長さ）前の時点において、ユーザーによる音声記録開始指示ボタン（例えば、ＲＥＣボタンやＯＫボタン）の押下により、音声の記録を開始し、動画像ファイル４２作成時に静止画像の撮像時から記録時間Ｔ３の長さ前までの音声を、動画像ファイル４２に付加して記録する。

また、上述の各実施の形態においては、「動から静の動画像」または「静から動の動画像」を作成しているが、「動から静の動画像」及び「静から動の動画像」を組み合わせた「動・静・動の動画像」を作成することもできる。即ち、動いている被写体の動画像（第１動画像）を撮影した後、動いている被写体の静止画像を撮影し、静止画像を撮影した後更に、動いている被写体の動画像（第３動画像）を撮影し、撮影した静止画像を用いて動画像（第２動画像）を生成し、第１動画像、第２動画像及び第３動画像を連結させた動画像を作成することもできる。

次に、図面を参照して、本発明の第３の実施の形態に係る画像処理装置としての電子カメラについて説明する。なお、第３の実施の形態に係る電子カメラは、第１の実施の形態に係る電子カメラ２の構成と同一の構成を有しているため、その説明を省略する。また、第３の実施の形態に係る電子カメラの機能や動作については、図１に示す電子カメラ２の構成と同一の構成には同一の符号を用いてその説明を行う。

第３の実施の形態では、制御部４は、記録媒体１８に記録されている動画像ファイル内の動画像データを動画用バッファメモリ１２に一時的に記憶させる。同様に、記録媒体１８に記録されている動画像ファイル内の動画像データを形成する複数のフレーム画像の中の少なくとも１つのフレーム画像を静止画像データとして静止画用バッファメモリ１４に、記録媒体１８に記録されている動画像ファイル内の音声データを音声用バッファメモリ１６に、一時的に記憶させる。また、動き情報検出部２６は、電子カメラ２において記録媒体１８に記録されている動画像ファイルに基づいてシナリオ動画（後述する）を作成する際に、動画像ファイルに基づく動画像中の動きのある被写体の動き情報を検出し、検出結果を制御部４に対して出力する。具体的には、まず、動画像ファイル内の動画像データを形成する複数のフレーム画像の中の少なくとも２つのフレーム画像を、制御部４内の図示しない縮小回路を介することにより被写体の動き情報検出用の解像度（解像度大から小へ）にリサイズする。そして、リサイズされた少なくとも２つのフレーム画像から、周知の動きベクトル算出処理により動きベクトルを算出し、算出された動きベクトルに基づいて動きのある被写体の動き情報（この実施の形態では、被写体の移動速度）を検出する。

この実施の形態に係る電子カメラ２では、電子カメラ２により撮影され、記録媒体１８に記録されている動画像及び音声を含む動画像ファイルに基づいて、動きのある被写体の動画像と静止画像とを組み合わせて生成されるシナリオ動画を自動的に作成し、作成されたシナリオ動画を再生することができる。以下、図１５に示すフローチャートを参照して、第３の実施の形態に係る電子カメラ２において上述のシナリオ動画を再生する際の処理について説明する。

まず、制御部４は、ユーザーにより動画再生メニューの表示指示（例えば、メニューボタンの押下）がなされると、表示部２０に動画再生メニュー画面を表示する（ステップＳ８０）。動画再生メニュー画面には、様々な動画再生モードを選択可能な項目（例えば、シナリオ動画再生モードＡ，Ｂ，Ｃ，Ｄ，Ｅ）が表示される。ユーザーにより十字キー等を用いて１つの動画再生モード（この実施の形態ではシナリオ動画再生モードＡとする）が選択され、ＯＫボタンが押下されると、制御部４は、シナリオ動画再生モードＡへと移行する。なお、この実施の形態では、シナリオ動画再生モードＡが静止している画像が動きだしたり、或いは動いている被写体が静止するように表示されるシナリオ動画（以下、単にシナリオ動画という）を作成し、再生するモードであるものとする。また、動画再生モードには、上述のシナリオ動画を作成し、再生するモード以外にも、例えば、動いている被写体が不連続に移動したような動画像を作成し、再生するモード等、モード毎に互いに異なるシナリオの下で再生表示されて様々な映像効果が得られる動画再生モード（他のシナリオ動画再生モードＢ〜Ｅ）が設けられている。

次に、制御部４は、シナリオ動画再生モードＡへ移行すると、シナリオ動画を作成する際の元となる動画像ファイル、即ち記録媒体１８に記録されている動画像ファイルの中の一つをユーザーに選択させるための動画選択画面を表示部２０に表示する（ステップＳ８１）。具体的には、記録媒体１８に記録されている動画像ファイルの一覧、例えばファイル名の一覧や代表フレーム画像のサムネイル画像の一覧等を表示部２０に表示し、十字キー等を用いて１つの動画像ファイルをユーザーに選択させる。

ユーザーにより十字キー等を用いて１つの動画像ファイルが選択され、ＯＫボタンが押下されると、制御部４は、「動から静のシナリオ動画」を作成するか、または「静から動のシナリオ動画」を作成するかをユーザーに選択させるためのシナリオ動画選択画面を表示部２０にメニュー表示（不図示）する（ステップＳ８２）。そして、制御部４は、ユーザーにより「動から静のシナリオ動画」が選択されたか否かを判別する（ステップＳ８３）。ステップＳ８３においてユーザーにより「動から静のシナリオ動画」が選択されたと判別された場合には（ステップＳ８３、Ｙｅｓ）、制御部４は、動から静のシナリオ動画を作成するに当たり、該シナリオ動画の再生時間の長さを設定する（ステップＳ８４）。即ち、ステップＳ８１において選択された動画像ファイル内の動画像データ（以下、元の動画像データという）を形成する複数のフレーム画像の中の所定フレーム画像が記録された記録時間より前の第１所定時間の間に記録されたフレーム画像により生成される第１動画像と、第２所定時間の長さで所定フレーム画像により生成される第２動画像とから形成されるシナリオ動画の再生時間の長さを設定する。

具体的には、制御部４は、元の動画像データを形成する複数のフレーム画像の中の少なくとも２つのフレーム画像を、動き情報検出用に解像度をリサイズし、動き情報検出部２６に対して出力する。動き情報検出部２６は、リサイズされた少なくとも２つのフレーム画像（例えば図７に示すようなフレーム画像３０，３２）から、周知の動きベクトル算出処理を用いて被写体（図７では電車）の動き情報を検出し、検出結果を制御部４に対して出力する。制御部４は、動き情報検出部２６により検出された被写体の動き情報に基づいて被写体の移動速度を算出し、算出された被写体の移動速度に基づいて第１所定時間及び第２所定時間の長さを設定する。

例えば、被写体の移動速度が予め設定されている基準値より大きい場合には、第１所定時間を短く、または第２所定時間を長くする。また、被写体の移動速度の増大に応じて第１所定時間を更に短く、または第２所定時間を更に長くする。即ち、高速で移動する被写体については、再生画面内に収まる時間が短いため、動画像の再生時間を短くし、静止画像の再生時間を長くすることにより、高速で移動する被写体が長く再生され続ける動画像を作成することができる。

同様に、被写体の移動速度が基準値より小さい場合には、第１所定時間を長く、または第２所定時間を短くする。また、被写体の移動速度の減少に応じて第１所定時間を更に長く、または第２所定時間を更に短くする。即ち、低速で移動する被写体については、再生画面内に収まる時間が長いため、動画像の記録時間を長くし、静止画像の記録時間を短くすることにより、被写体が動いている様子を長く再生する動画像を作成することができる。

次に、制御部４は、図１６に示すように、元の動画像データに基づく動画像を再生し（時間ｔ６からｔ８まで）、再生された元の動画像データを動画用バッファメモリ１２に、ステップＳ８１において選択された動画像ファイル内の音声データ（以下、元の音声データという）を音声用バッファメモリ１６に格納する（ステップＳ８５）。即ち、元の動画像データを形成する複数のフレーム画像を表示部２０に順次表示し、表示部２０に表示されたフレーム画像を動画用バッファメモリ１２に順次記憶させ、かつ動画用バッファメモリ１２に記憶されたフレーム画像に対応する音声データを音声用バッファメモリ１６に順次記憶させる。このとき、動画用バッファメモリ１２に格納される動画像データの再生時間が、ステップＳ８４において設定された第１所定時間を超える場合には、動画用バッファメモリ１２に格納されている最古のフレーム画像を削除し、表示部２０に表示された最新のフレーム画像を動画用バッファメモリ１２に格納する。音声用バッファメモリ１６に格納される音声データの再生時間が、ステップＳ８４において設定された第１所定時間を超える場合にも同様とする。なお、ステップＳ８５において、元の動画像データに基づく動画像の再生と共に、動画像に対応する音声（元の音声データに基づく音声）を時間ｔ６からｔ８まで再生することもできる。

次に、制御部４は、ユーザーによりシャッタボタンが押下されたか否かを判別する（ステップＳ８６）。ステップＳ８６においてシャッタボタンが押下されたと判別された場合には（ステップＳ８６、Ｙｅｓ）、制御部４は、元の動画像データの動画用バッファメモリ１２への格納を終了し、同時にシャッタボタンが押下されたとき（図１６では時間ｔ７）に表示部２０に表示されたフレーム画像の画像データを、静止画像データとして静止画用バッファメモリ１４に格納する（ステップＳ８７）。即ち、図１６に示すように、動画像の再生開始の時間ｔ６からシャッタボタンが押下された時間ｔ７までの間、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）形式で動画用バッファメモリ１２への格納が行われたため、時間ｔ７において、動画用バッファメモリ１２には時間ｔ７から第１所定時間Ｔ５前までの間に表示部２０に表示された動画像の動画像データが格納されている。同様に、音声用バッファメモリ１６には時間ｔ７から第１所定時間Ｔ５前までの間にスピーカ２２に出力された音声の音声データが、静止画用バッファメモリ１４には時間ｔ７に表示部２０に表示されたフレーム画像の画像データが格納されている。

そして、ステップＳ８７の処理の後、時間ｔ７から第２所定時間Ｔ６が経過するまでの間、制御部４は、音声データの音声用バッファメモリ１６への格納を継続する（ステップＳ８８）。

一方、ステップＳ８３においてユーザーにより「動から静のシナリオ動画」が選択されていない、即ち「静から動のシナリオ動画」が選択されたと判別された場合には（ステップＳ８３、Ｎｏ）、制御部４は、静から動のシナリオ動画を作成するに当たり、該シナリオ動画の再生時間の長さを設定する（ステップＳ８９）。即ち、元の動画像データを形成する複数のフレーム画像の中の所定フレーム画像により第２所定時間の長さで生成される第２動画像と、所定フレーム画像が記録された記録時間より後の第３所定時間の間に記録されたフレーム画像により生成される第３動画像とから形成されるシナリオ動画の再生時間の長さを設定する。具体的な設定方法については、ステップＳ８４における設定方法と同様のため、詳細な説明は省略する。

例えば、被写体の移動速度が予め設定されている基準値より大きい場合には、第３所定時間を短く、または第２所定時間を長くする。また、被写体の移動速度の増大に応じて第３所定時間を更に短く、または第２所定時間を更に長くする。また、被写体の移動速度が基準値より小さい場合には、第３所定時間を長く、または第２所定時間を短くする。また、被写体の移動速度の減少に応じて第３所定時間を更に長く、または第２所定時間を更に短くする。

次に、制御部４は、図１７に示すように、元の動画像データに基づく動画像を再生し（時間ｔ９からｔ１１まで）、元の音声データを音声用バッファメモリ１６に格納する（ステップＳ９０）。即ち、表示部２０に表示されたフレーム画像に対応する音声データを音声用バッファメモリ１６に順次記憶させる。このとき、音声用バッファメモリ１６に格納される音声データの再生時間が、ステップＳ８９において設定された第２所定時間を超える場合には、音声用バッファメモリ１６に格納されている最古の音声データを削除し、表示部２０に表示された最新のフレーム画像に対応する音声データを音声用バッファメモリ１６に格納する。なお、元の動画像データに基づく動画像の再生と共に、動画像に対応する音声（元の音声データに基づく音声）を時間ｔ９からｔ１１まで再生することもできる。

次に、制御部４は、ユーザーによりシャッタボタンが押下されたか否かを判別する（ステップＳ９１）。ステップＳ９１においてシャッタボタンが押下されたと判別された場合には（ステップＳ９１、Ｙｅｓ）、制御部４は、シャッタボタンが押下されたとき（図１７では時間ｔ１０）に表示部２０に表示されたフレーム画像の画像データを、静止画像データとして静止画用バッファメモリ１４に格納する（ステップＳ９２）。即ち、図１７に示すように、動画像の再生開始の時間ｔ９からシャッタボタンが押下された時間ｔ１０までの間、ＦＩＦＯ形式で音声用バッファメモリ１６への格納が行われたため、時間ｔ１０において、音声用バッファメモリ１６には時間ｔ１０から第２所定時間Ｔ７前までの間にスピーカ２２に出力された音声の音声データが格納されている。

そして、ステップＳ９２の処理の後、時間ｔ１０から第３所定時間Ｔ８が経過するまでの間、制御部４は、表示部２０に表示される動画像の動画像データを動画用バッファメモリ１２に格納し、かつ音声データの音声用バッファメモリ１６への格納を継続する（ステップＳ９３）。

次に、制御部４は、動画用バッファメモリ１２、静止画用バッファメモリ１４、音声用バッファメモリ１６のそれぞれに記憶されている動画像データ、静止画像データ、音声データを順次読み出すことにより、シナリオ動画を再生する（ステップＳ９４）。「動から静のシナリオ動画」の画像再生においては、図１６に示すように、まず、第１所定時間Ｔ５の間、動画用バッファメモリ１２に記憶されているフレーム画像を表示部２０に順次表示し、第１所定時間Ｔ５が経過した後、第２所定時間Ｔ６の間、静止画用バッファメモリ１４に記憶されている静止画像（所定フレーム画像）を表示部２０に継続表示する。そして、「動から静のシナリオ動画」の音声再生においては、図１６に示すように、第１所定時間Ｔ５及び第２所定時間Ｔ６の間、音声用バッファメモリ１６に記憶されている音声データに基づく音声をスピーカ２２に順次出力する。

一方、「静から動のシナリオ動画」の画像再生においては、図１７に示すように、まず、第２所定時間Ｔ７の間、静止画用バッファメモリ１４に記憶されている静止画像（所定フレーム画像）を表示部２０に継続表示し、第２所定時間Ｔ７が経過した後、第３所定時間Ｔ８の間、動画用バッファメモリ１２に記憶されているフレーム画像を表示部２０に順次表示する。そして、「静から動のシナリオ動画」の音声再生においては、図１７に示すように、第２所定時間Ｔ７及び第３所定時間Ｔ８の間、音声用バッファメモリ１６に記憶されている音声データに基づく音声をスピーカ２２に順次出力する。

なお、ステップＳ９４において再生されるシナリオ動画、即ち動画用バッファメモリ１２、静止画用バッファメモリ１４、音声用バッファメモリ１６のそれぞれに記憶されている動画像データ、静止画像データ、音声データを一つのシナリオ動画の動画像ファイルとして記録媒体１８に記録することもできる。この場合には、制御部４は、例えばシナリオ動画の再生後、再生したシナリオ動画を記録媒体１８に記録するか否かを選択するための選択画面を表示部２０に表示し、ユーザーにより記録するよう指示がなされた場合に記録する。

第３の実施の形態に係る電子カメラ２によれば、動きのある被写体の動画像及び静止画像を組み合わせたシナリオ動画、即ち印象的な映像効果を有する動画像を、記録媒体１８に記録されている動画像ファイルを用いて容易に作成し、再生することができる。

なお、第３の実施の形態においては、シャッタボタンの押下直前から第１所定時間Ｔ５前までの動画像、またはシャッタボタン押下直後から第３所定時間Ｔ８後までの動画像の動画像データを動画用バッファメモリ１２に格納しているが、図１８に示すように、シャッタボタンを押下直後（時間ｔ１３）でなく、時間ｔ１４（時間ｔ１３から一定時間Ｔ１０後）から第３所定時間Ｔ１１までの間の動画像の動画像データを動画用バッファメモリ１２に格納する構成にしてもよい。即ち、シャッタボタン押下時（時間ｔ１３）のフレーム画像または直後のフレーム画像でなく、時間ｔ１４時のフレーム画像を最初のフレーム画像とする動画像の動画像データを動画用バッファメモリ１２に格納する。

この場合には、ユーザーによりシャッタボタンが押下されたとき（時間ｔ１３）から第２所定時間Ｔ９前までの間の音声データを音声用バッファメモリ１６に格納し、ユーザーによりシャッタボタンが押下されたとき（時間ｔ１３）のフレーム画像の画像データを静止画像データとして静止画用バッファメモリ１４に格納し、ユーザーにより再度シャッタボタンが押下されたとき（時間ｔ１４）から第３所定時間Ｔ１１後までの間の動画像データ及び音声データのそれぞれを動画用バッファメモリ１２及び音声用バッファメモリ１６のそれぞれに格納する。

そして、画像再生時には、図１８に示すように、まず、第２所定時間Ｔ９の間、静止画用バッファメモリ１４に記憶されている静止画像（時間ｔ１３時のフレーム画像）を表示部２０に継続表示し、第２所定時間Ｔ９が経過した後、第３所定時間Ｔ１１の間、動画用バッファメモリ１２に記憶されているフレーム画像を表示部２０に順次表示する。そして、音声再生については、図１８に示すように、第２所定時間Ｔ９の間、音声用バッファメモリ１６に記憶されている時間ｔ１２からｔ１３までの音声を、第３所定時間Ｔ１１の間、音声用バッファメモリ１６に記憶されている時間ｔ１４からｔ１５までの音声をスピーカ２２に順次出力する。

なお、図１８では、「静から動のシナリオ動画」について説明したが、「動から静のシナリオ動画」については、シャッタボタン押下時から第１所定時間までの間の動画像の動画像データを動画用バッファメモリ１２に格納し、第１所定時間経過後から所定時間経過後（再度シャッタボタン押下されたとき）のフレーム画像の画像データを静止画像データとして静止画用バッファメモリ１４に格納し、シャッタボタン押下時から第１所定時間までの間及び再度シャッタボタンが押下された時から第２所定時間経過後までの間の音声の音声データを音声用バッファメモリ１６に格納する。即ち、再度シャッタボタンが押下された時のフレーム画像または直前のフレーム画像でなく、最初シャッタボタンが押下された時から第１所定時間経過時のフレーム画像を最後のフレーム画像とする動画像の動画像データを動画用バッファメモリ１２に格納する。

そして、画像再生時には、まず、第１所定時間の間、動画用バッファメモリ１２に記憶されているフレーム画像を表示部２０に順次表示し、第１所定時間が経過した後、第２所定時間の間、静止画用バッファメモリ１４に記憶されている静止画像を表示部２０に継続表示する。そして、音声再生については、第１所定時間の間、及び第２所定時間の間、音声用バッファメモリ１６に記憶されている各所定時間に対応する音声をスピーカ２２に順次出力する。

また、第３の実施の形態においては、被写体の移動速度に基づいて第１所定時間、第２所定時間及び第３所定時間を設定しているが、例えば被写体の移動速度に対応させた第１所定時間等の長さのテーブルを図示しないメモリ等に記憶させておき、テーブルに基づいて第１所定時間等を設定してもよい。また、「動から静のシナリオ動画」の再生時間（第１所定時間Ｔ５＋第２所定時間Ｔ６）、「静から動のシナリオ動画」の再生時間（第２所定時間Ｔ７＋第３所定時間Ｔ８）の長さを予め設定し、被写体の移動速度に基づいて、第１所定時間Ｔ５と第２所定時間Ｔ６との比率、または第２所定時間Ｔ７と第３所定時間Ｔ８との比率を設定してもよい。

また、メニューの中に、第１所定時間等を設定するためのメニュー項目を加え、メニュー画面を表示部２０に表示し、十時キー等を用いて操作することにより第１所定時間等を予め設定する構成にしてもよい。また、第１所定時間Ｔ５若しくは第２所定時間Ｔ６の何れか一方、または第２所定時間Ｔ７若しくは第３所定時間Ｔ８の何れか一方を被写体の移動速度に基づいて設定し、他方を予め任意に設定する構成にしてもよい。

また、第３の実施の形態では、１フレーム分の画像データを静止画像データとして静止画バッファメモリ１４に格納しているが、連続撮影した複数フレーム分の画像データを静止画像データとして静止画バッファメモリ１４に格納する構成にしてもよい。

また、第３の実施の形態においては、「動から静のシナリオ動画」または「静から動のシナリオ動画」を作成し、再生しているが、「動から静のシナリオ動画」及び「静から動のシナリオ動画」を組み合わせた「動・静・動のシナリオ動画」や「静・動・静のシナリオ動画」等を作成し、再生することもできる。

また、第３の実施の形態においては、画像処理装置として電子カメラ２を例に挙げて説明したが、電子カメラに限らず、撮像装置等により撮影された動画像に対して画像処理可能なパソコン等の他の画像処理装置においても本発明を適用することができる。また、第３の実施の形態においては、電子カメラ２により撮影され、記録媒体１８に記録された動画像を用いてシナリオ動画を作成し、再生しているが、他の撮像装置等により撮影され、記録媒体に記録された動画像を用いて、電子カメラ２によりシナリオ動画を作成し、再生することもできる。

２…電子カメラ、４…制御部、６…撮像素子、８…アンプ・Ａ／Ｄ変換部、１０…マイク、１２…動画用バッファメモリ、１４…静止画用バッファメモリ、１６…音声用バッファメモリ、１８…記録媒体、２０…表示部、２２…スピーカ、２４…操作部、２６…動き情報検出部。

Claims (15)

1. 被写体からの光を撮像する撮像素子と、
   前記撮像素子による静止画像の撮像を指示する第１指示部と、
   前記第１指示部による撮像指示により撮像される静止画像の撮像時から第１所定時間前までの間に前記撮像素子から出力される撮像信号に基づき生成される、記録時間が前記第１所定時間の第１動画像と、前記静止画像の撮像時から第２所定時間後までの間に前記静止画像を用いて生成される、記録時間が前記第２所定時間の第２動画像とを一つの動画像ファイルとして、または、
   前記第２動画像と、前記静止画像の撮像時から第３所定時間後までの間に前記撮像素子から出力される撮像信号に基づき生成される、記録時間が前記第３所定時間の第３動画像とを一つの動画像ファイルとして、記録部に記録する記録制御部と、
   前記被写体の動き情報を検出する検出部と、を備え、
   前記記録制御部は、前記検出部により検出される前記動き情報に基づいて、前記第１所定時間、前記第２所定時間及び前記第３所定時間の少なくとも１つの前記記録時間の長さを設定することを特徴とする撮像装置。
2. 前記撮像素子から出力される撮像信号に基づくスルー画像または前記記録部に記録されている画像の表示部への表示を制御する表示制御部を備え、
   前記表示制御部は、前記第１動画像及び前記第２動画像を含む動画像ファイルの記録時において、前記静止画像の撮像時までの間は前記スルー画像を、前記静止画像の撮像時から前記第２所定時間後までの間は前記静止画像を、前記第２所定時間経過後は前記スルー画像を前記表示部に表示することを特徴とする請求項１記載の撮像装置。
3. 前記撮像素子から出力される撮像信号に基づくスルー画像または前記記録部に記録されている画像の表示部への表示を制御する表示制御部を備え、
   前記表示制御部は、前記第２動画像及び前記第３動画像を含む動画像ファイルの記録時において、前記静止画像の撮像時までの間は前記スルー画像を、前記静止画像の撮像時から前記第２所定時間後までの間は前記静止画像を、前記第２所定時間経過後から前記第３所定時間後までの間は前記第３動画像を、前記第３所定時間経過後は前記スルー画像を前記表示部に表示することを特徴とする請求項１記載の撮像装置。
4. 前記記録制御部は、前記第１動画像、前記第２動画像及び前記第３動画像を一つの動画像ファイルとして更に記録することを特徴とする請求項１〜請求項３の何れか一項に記載の撮像装置。
5. 前記記録制御部は、前記動画像ファイルの記録前に、前記第１所定時間、前記第２所定時間及び前記第３所定時間の少なくとも１つの長さを任意の長さに設定することを特徴とする請求項１〜請求項４の何れか一項に記載の撮像装置。
6. 前記記録制御部は、前記第１動画像及び前記第２動画像を含む動画像ファイルの記録時において、前記第２動画像に対応する音声として前記静止画像の撮像時から前記第２所定時間後までの間の音声を前記動画像ファイルに付加して記録することを特徴とする請求項１〜請求項５の何れか一項に記載の撮像装置。
7. 前記静止画像の撮像時から第４所定時間前の時点を指示する第２指示部を備え、
   前記記録制御部は、前記第２動画像及び前記第３動画像を含む動画像ファイルの記録時において、前記第２動画像に対応する音声として前記静止画像の撮像時から前記第４所定時間前までの間の音声を前記動画像ファイルに付加して記録することを特徴とする請求項１〜請求項５の何れか一項に記載の撮像装置。
8. 記録媒体に記録されている所定動画像ファイルを形成する複数のフレーム画像の中から所定フレーム画像を選択する選択部と、
   前記選択部により選択された前記所定フレーム画像の記録時間より前の第５所定時間の長さの間に記録された複数の前記フレーム画像により生成される第５動画像と、前記所定フレーム画像を用いて生成される第６所定時間の長さの第６動画像とにより形成される動画像の表示部への表示、または、
   前記第６動画像と、前記所定フレーム画像の記録時間より後の第７所定時間の長さの間に記録された複数の前記フレーム画像により生成される第７動画像とにより形成される動画像の前記表示部への表示を制御する表示制御部と、を備え、
   前記検出部は、前記複数のフレーム画像内の被写体の動き情報を検出し、
   前記表示制御部は、前記検出部により検出される前記動き情報に基づいて、前記第５所定時間、前記第６所定時間及び前記第７所定時間の少なくとも一つの時間の長さを設定することを特徴とする撮像装置。
9. 記録媒体に記録されている所定動画像ファイルを形成する複数のフレーム画像の中から所定フレーム画像を選択する第１選択部と、
   前記第１選択部により選択された前記所定フレーム画像の記録時間より前の第１所定時間の長さの間に記録された複数の前記フレーム画像により生成される第１動画像と、前記所定フレーム画像を用いて生成される第２所定時間の長さの第２動画像とにより形成される動画像の表示部への表示、または、
   前記第２動画像と、前記所定フレーム画像の記録時間より後の第３所定時間の長さの間に記録された複数の前記フレーム画像により生成される第３動画像とにより形成される動画像の前記表示部への表示を制御する表示制御部と、
   前記複数のフレーム画像内の被写体の動き情報を検出する検出部と、を備え、
   前記表示制御部は、前記検出部により検出される前記動き情報に基づいて、前記第１所定時間、前記第２所定時間及び前記第３所定時間の少なくとも一つの時間の長さを設定することを特徴とする画像処理装置。
10. 前記表示制御部は、前記第１動画像、前記第２動画像及び前記第３動画像を一つの動画像として前記表示部に表示することを特徴とする請求項９記載の画像処理装置。
11. 前記表示制御部は、前記動画像の前記表示部への表示前に、前記第１所定時間、前記第２所定時間及び前記第３所定時間の少なくとも１つの長さを任意の長さに設定することを特徴とする請求項９または請求項１０記載の画像処理装置。
12. 前記第１動画像は、前記所定フレーム画像の記録時間直前から前記第１所定時間前までの間に記録された前記フレーム画像により生成され、
    前記第３動画像は、前記所定フレーム画像の記録時間直後から前記第３所定時間後までの間に記録された前記フレーム画像により生成されることを特徴とする請求項９〜請求項１１の何れか一項に記載の画像処理装置。
13. 前記所定動画像ファイルを形成する前記複数のフレーム画像の中から、前記所定フレーム画像と異なる第２所定フレーム画像を選択する第２選択部を備え、
    前記表示制御部は、前記第２選択部により選択された前記第２所定フレーム画像の記録時間が前記所定フレーム画像の記録時間より前である場合には、前記第２所定フレーム画像を前記第１動画像を形成する最初のフレーム画像とし、
    前記第２所定フレーム画像の記録時間が前記所定フレーム画像の記録時間より後である場合には、前記第２所定フレーム画像を前記第３動画像を形成する最初のフレーム画像とすることを特徴とする請求項９〜請求項１１の何れか一項に記載の画像処理装置。
14. 前記所定動画像ファイルに付加されている音声の再生部への再生を制御する再生制御部を備え、
    前記再生制御部は、前記表示制御部が前記第１動画像及び前記第２動画像を含む動画像を前記表示部に表示するとき、前記第１動画像に対応する前記音声と、前記第２動画像に対応する音声として前記所定フレーム画像の記録時間から前記第２所定時間後までの間の前記音声とを前記再生部において再生することを特徴とする請求項９〜請求項１３の何れか一項に記載の画像処理装置。
15. 前記所定動画像ファイルに付加されている音声の再生部への再生を制御する再生制御部を備え、
    前記再生制御部は、前記表示制御部が前記第２動画像及び前記第３動画像を含む動画像を前記表示部に表示するとき、前記第２動画像に対応する音声として前記所定フレーム画像の記録時間から前記第２所定時間前までの間の前記音声と、前記第３動画像に対応する前記音声とを前記再生部において再生することを特徴とする請求項９〜請求項１３の何れか一項に記載の画像処理装置。
    

Images