JP2004336382A - 動画像処理装置及びその制御方法、プログラム - Google Patents
動画像処理装置及びその制御方法、プログラム Download PDFInfo
- Publication number
- JP2004336382A JP2004336382A JP2003129456A JP2003129456A JP2004336382A JP 2004336382 A JP2004336382 A JP 2004336382A JP 2003129456 A JP2003129456 A JP 2003129456A JP 2003129456 A JP2003129456 A JP 2003129456A JP 2004336382 A JP2004336382 A JP 2004336382A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- moving image
- state
- index
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
【課題】動画を効率的に再利用することが可能な動画像処理装置及びその制御方法、プログラムを提供する。
【解決手段】動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する。分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶する。記憶されているインデックスに基づくインデックス画面を表示する。インデックス画面で表示されているインデックスに対応するシーンの操作を指示する。そして、指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う。
【選択図】 図７
【解決手段】動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する。分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶する。記憶されているインデックスに基づくインデックス画面を表示する。インデックス画面で表示されているインデックスに対応するシーンの操作を指示する。そして、指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う。
【選択図】 図７
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を再利用することを目的として、動画像の記録・表示・再生等の画像処理を行う動画像処理装置及びその制御方法、プログラムに関するものである。
【０００２】
【従来の技術】
近年、ＶＴＲやビデオムービの普及により動画像が身近なメディアの１つになっている。また、コンピュータ技術の発達により、動画をハードディスクやＤＶＤ等のようなランダムアクセス可能な記憶メディアに記憶して蓄積及び管理し、ビデオテープの交換やテープの巻き戻し等のような面倒な操作をすることなく、任意の動画を任意の箇所から動画再生して楽しむことが可能になった。
【０００３】
ユーザが、記憶メディアに記憶されている動画像から所望の部分を検索する検索法として、動画像を複数のシーンに分割し、各シーンの代表画像の縮小画像を属性情報として各代表画像と対応付けて記憶しておき、その属性情報から目的のシーンを探すものがある。
【０００４】
代表画像は、その動画の内容の内、最も印象的な画像やシーンが変わった瞬間の画像等、その内容が一目でわかるような画像を表示するのが一般的である。このように、その動画像中の代表する代表画像を見ることにより動画像全体の内容を大まかに推測し、大量の動画像の中からある程度候補を絞りこむことができる。
【０００５】
しかしながら、動画像は実際に見たり聞いてみないと目的の映像であるかどうかがわからないため、再生して内容を確認する必要がある。また、内容を確認する場合に、通常、必要のない部分は再生させずに、重要な部分だけを再生させることにより再生時間を短縮させることができる。このように、再生によって内容を確認した後、人手により必要な部分と不必要な部分との判定を行っていた。
【０００６】
例えば、特許文献１では、動画像を解析することによって、動画像中の変化点を検出し、その変化点に対応する画像をインデックス画像として一括表示する。また、複数のインデックス画像を等間隔で連続再生することにより、動画像の早送り再生を実行して、内容確認を容易にする構成が開示されている。
【０００７】
また、特許文献２では、記憶媒体上に収録された複数の動画像に対応するサムネイルを画面上に一覧表示し、一覧表示の中からユーザが選択した複数のサムネイル各々に対応する動画像をその選択順に従って連続して再生することによって、連結編集の作業を行わずに複数の動画像を連続再生する構成が開示されている。
【０００８】
更に、特許文献３では、映像を複数のシーンに分割し、各シーンから代表画像を一枚ずつ抽出してアイコンとして一覧表示するとともに、ユーザが注目するアイコンの指す映像を注目アイコンに動画表示していく。このように、ユーザが注目するアイコンのみを動画表示することから、一画面に多くのシーンを表示しつつ、動画アイコンによる映像の確認を可能にする構成が開示されている。
【０００９】
【特許文献１】
特開２００１−１１９６６１号公報
【特許文献２】
特開平１０−１０８１２２号公報
【特許文献３】
特開２００１−３２６８８１号公報
【発明が解決しようとする課題】
しかしながら、上記従来例では次のような課題があった。
【００１０】
動画像中の各シーンの代表画像を属性情報として一覧表示し、動画編集や情報付与等のために目的のシーンを検索する場合、シーンが細かく区切れていると代表画像数が膨大となる。そのため、特に、家庭用テレビや携帯端末の表示装置等のパーソナルコンピュータのディスプレイに比べて低解像度の表示装置では、一画面では表示できず複数画面に分けて表示しなければならない。
【００１１】
また、一度に多数の画像を表示するために表示される各画像のサイズを小さくするなどの理由から、内容確認後に一覧表示画面で目的のシーンを選択しようとしても再生した場面が一覧中のどれなのか分からないという課題があった。
【００１２】
特に、自動的に動画像の不連続点を検出して動画像を複数のシーンに分割する場合、不連続点の検出方法によって表示される代表画像数が多くなり、また、表示される一覧表示画面中には、類似画像が多数表示されて内容が判別しにくい。
【００１３】
また、再生による内容確認終了後に、一覧表示されている画像のタイトルや代表画像の中から一つ一つ目的のシーンを見つけて選択する操作は煩わしい。
【００１４】
本発明は、上記問題を解決するためになされたものであり、動画を効率的に再利用することが可能な動画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記の目的を達成するための本発明による動画像処理装置は以下の構成を備える。即ち、
動画像を処理する動画像処理装置であって、
前記動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する分割手段と、
前記分割手段で分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶する記憶手段と、
前記記憶手段に記憶されているインデックスに基づくインデックス画面を表示する表示手段と、
前記インデックス画面で表示されているインデックスに対応するシーンの操作を指示する指示手段と、
前記指示手段で指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う設定手段と
を備える。
【００１６】
また、好ましくは、前記設定手段は、前記指示手段で指示されたシーンの操作が前記複数のシーンの各シーンの連続再生である場合、これらのシーンの内、全フレームが通常再生されたシーンは選択状態に設定し、全フレームが通常再生されなかったシーンは非選択状態に設定する。
【００１７】
また、好ましくは、前記設定手段によって設定された各シーンの選択／非選択状態を前記インデックス画面の対応するインデックス毎に表示制御する表示制御手段と、
前記インデックス画面のインデックス毎に表示されている選択／非選択状態を変更する変更手段と
を更に備える。
【００１８】
また、好ましくは、前記代表画像は、対応するシーンに基づいて作成された静止画である。
【００１９】
また、好ましくは、前記表示制御手段は、前記インデクス画面に各シーンのインデックスとして前記各シーンの代表画像を一覧表示し、シーンに対する操作が終了したシーンに対して前記選択／非選択状態を表示し、前記選択／非選択状態が表示されているシーンに対して前記変更手段による変更を許容する。
【００２０】
また、好ましくは、前記操作の操作内容の種類毎に、前記選択／非選択状態を予め対応づけて記憶する状態記憶手段を更に備える。
【００２１】
また、好ましくは、前記操作の操作内容の種類毎に、前記選択／非選択状態をデフォルトとして設定するデフォルト状態設定手段を更に備える。
【００２２】
また、好ましくは、前記設定手段は、通常再生中のシーンに対し、前記指示手段によって通常再生以外の他の操作によって前記シーンの全フレームが通常再生されなかった場合、前記他の操作の操作内容に対応する状態を前記状態記憶手段を参照して取得し、その取得した状態を、前記シーンの前記選択／非選択状態に設定する。
【００２３】
また、好ましくは、前記設定手段は、通常再生中のシーンに対し、前記指示手段によって通常再生以外の他の操作によって前記シーンの全フレームが通常再生されなかった場合、前記他の操作の操作内容に対応する状態を前記状態記憶手段を参照して取得する取得手段と、
前記取得手段で取得した状態の設定変更指示を受け付ける設定受付画面を表示する設定受付画面表示手段とを備え、
前記設定受付画面で設定変更指示された状態を、前記シーンの前記選択／非選択状態に設定する。
【００２４】
また、好ましくは、通常再生中のシーンに対し、前記指示手段によって通常再生以外の他の操作によって前記シーンの全フレームが通常再生されなかった場合、他の操作の操作入力点に基づいて、前記シーンを更に分割して再構成する再構成手段を更に備え、
前記設定手段は、前記他の操作の操作内容に基づいて、前記再構成手段で再構成されたシーン群それぞれについて、画像処理対象として選択するか否かを示す状態設定を行う。
【００２５】
また、好ましくは、前記再構成手段は、前記他の操作の操作入力点に基づいて、前記シーンを再生シーンと未再生シーンに更に分割して再構成し、
前記設定手段は、前記再生シーンを選択状態に設定し、前記未再生シーンを非選択状態に設定する。
【００２６】
また、好ましくは、前記再構成手段は、前記他の操作の操作入力点に基づいて、前記シーンを通常再生シーンと非通常再生シーンに更に分割して再構成し、
前記設定手段は、前記通常再生シーンを選択状態に設定し、前記非通常再生シーンを非選択状態に設定する。
【００２７】
上記の目的を達成するための本発明による動画像処理装置の制御方法は以下の構成を備える。即ち、
動画像を処理する動画像処理装置の制御方法であって、
前記動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する分割工程と、
前記分割手段で分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶媒体に記憶する記憶工程と、
前記記憶媒体に記憶されているインデックスに基づくインデックス画面を表示する表示工程と、
前記インデックス画面で表示されているインデックスに対応するシーンの操作を指示する指示工程と、
前記指示工程で指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う設定工程と
を備える。
【００２８】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
動画像を処理する動画像処理装置の制御を実現するプログラムであって、
前記動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する分割工程のプログラムコードと、
前記分割手段で分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶媒体に記憶する記憶工程のプログラムコードと、
前記記憶媒体に記憶されているインデックスに基づくインデックス画面を表示する表示工程のプログラムコードと、
前記インデックス画面で表示されているインデックスに対応するシーンの操作を指示する指示工程のプログラムコードと、
前記指示工程で指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う設定工程のプログラムコードと
を備える。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００３０】
［実施形態１］
尚、本発明の各実施形態の動画記録及び表示／再生を行う動画像処理装置は、ハードディスクや光磁気ディスク等のランダムアクセス可能な記憶メディアに対応してデータを記録再生する構成を採用するものとする。
【００３１】
図１は本発明の実施形態１の動画像処理装置の構成を示すブロック図である。
【００３２】
図１の動画像処理装置１０において、１０１はＣＰＵであり、動画像処理装置１０の各種構成要素を制御する。１０２はＲＯＭであり、後述する各実施形態のフローチャート群を実現するプログラムを含む各種プログラム、各種設定データ等のデータを記憶する。１０３はＲＡＭであり、データの作業領域、一時待避領域として機能する。
【００３３】
１０４はハードディスクドライブ（ＨＤＤ）であり、動画像データ、静止画像データの各種データを記憶する。１０５はメモリカードの読出／書込用のメモリカードインタフェース（Ｉ／Ｆ）である。また、メモリカードには、例えば、ＳＤカード、ＭＭカード、スマートメディア、コンパクトフラッシュ（登録商標）等がある。１０６は外部記憶装置であり、例えば、ＤＶＤ−ＲＡＭ／Ｒ／ＲＷ、ＣＤ−Ｒ／ＲＷドライブ（ＣＤ／ＤＶＤドライブ）で構成される。
【００３４】
１０７はディスプレイ装置であり、例えば、ＬＣＤ、ＣＲＴ等で構成される。１０８はプリンタインタフェース（Ｉ／Ｆ）である。１０９はプリンタであり、例えば、インクエジェットプリンタ、レーザビームプリンタ、熱転写プリンタ等で構成される。１１０はネットワークインタフェース（Ｉ／Ｆ）であり。このネットワークＩ／Ｆ１１０によってネットワークと接続し、ネットワークを介して外部機器とのデータの送受信が可能となる。１１１は赤外線受光部である。１１２は赤外線リモコンであり、動画像処理装置１０の各種動作の遠隔操作を実現する。
【００３５】
１１３はシリアルインタフェース（Ｉ／Ｆ）であり、例えば、ＵＳＢインタフェースで構成される。１１４はオペレーションパネルであり、動画像処理装置１０の各種操作を実現するためのユーザインタフェース（例えば、タッチパネル、各種ボタン、スイッチ等）を提供する。
【００３６】
また、１１５はビデオインタフェース（Ｉ／Ｆ）であり、コンポジット映像端子、Ｓ−ＶＨＳ映像端子、ＩＥＥＥ１３９４、音声ライン入出力、音声デジタル入出力を通じて周辺装置と接続される。また周辺装置から入力されるデジタル信号、あるいはアナログ信号の場合にはそれを符号化し、ＣＰＵ１０１で処理可能なデジタルデータに変換する。１１６はビデオカメラであり、周辺装置の１つである。１１７はバスであり、動画像処理装置１０の各種構成要素を相互に接続し、バス１１７を介してデータが各種構成要素に相互に入出力される。
【００３７】
次に、動画像処理装置１０とその周辺装置からなるシステムの構成例について、図２を用いて説明する。
【００３８】
図２は本発明の実施形態１の動画像処理装置と周辺装置からなるシステムを示す図である。
【００３９】
動画像処理装置（本体）１０には、各種の周辺装置が接続される。この周辺装置には、ビデオカメラ１１６以外に、例えば、デジタルカメラ、スキャナ等がある。ディスプレイ装置１０７は、テレビ受像機、携帯端末の表示器、ビデオカメラのモニタ、パソコン用のモニタ等に代表される。テレビ受像機の場合、従来の放送用の画面における縦横比は４：３であるが、所謂ワイド画面における縦横比は１６：９である。また、パソコン用ＴＦＴ液晶ディスプレイにおける縦横比は１６：１０である。
【００４０】
また、プリンタ１０９は、プリンタＩ／Ｆ１０８を通して動画像処理装置１０に接続されており、例えば、静止画像を印刷する。動画像処理装置１０は、ネットワークＩ／Ｆ１１０を通じて、インターネット等のネットワーク２０５に接続される。外部記憶装置１０６は、ＤＶＤ−ＲＡＭ／ＲＯＭ／Ｒ／ＲＷ、ＣＤ−Ｒ／ＲＷ等のメディアに対してデータの読出／書込を行う。
【００４１】
メモリカードスロット２０７は、メモリカードＩ／Ｆ１０５を介して動画像処理装置１０に接続される。動画像処理装置１０の前面には、電源スイッチ２０９、ビデオ端子２１０等が設けられている。実施形態１では、動画再生装置としてビデオカメラ１１６が用いられるが、ビデオカメラの代わりにビデオデッキ、テレビチューナであってもよい。
【００４２】
次に、リモコン１１２の詳細構成について、図３を用いて説明する。
【００４３】
図３は本発明の実施形態１の赤外線リモコンの詳細構成を示す図である。
【００４４】
図３において、３０１は赤外線発光部である。操作面には、各種ボタンが割り当てられている。
【００４５】
具体的には、３０２はモード（ＭＯＤＥ）設定ボタンであり、動画像処理装置１０の各種操作モード（例えば、記録、再生、表示、印刷等）の設定を行うためのボタンである。３０３はヘルプ（ＨＥＬＰ）ボタンであり、動画像処理装置１０の各種操作のヘルプ画面の表示を指示するためのボタンである。
【００４６】
３０４はメニュー（ＭＥＮＵ）ボタンであり、動画像処理装置１０の各種操作を実行するためのメニュー画面を表示するためのボタンである。３０５は上矢印（↑）ボタンである。３０６は左矢印（←）ボタンである。３０７は右矢印（→）ボタンである。３０８は下矢印（↓）ボタンである。これらの各矢印ボタン３０５〜３０８を操作することによって、メニュー画面上のカーソルを移動したり、画面の切換等の各種操作を実行することが可能である。
【００４７】
３０９はＯＫボタンであり、操作対象の処理の実行を指示したり、確定したりするためのボタンである。３１０はキャンセル（ＣＡＮＣＥＬ）ボタンであり、操作対象の処理の実行を取り消したり、選択対象の選択を解除するためのボタンである。
【００４８】
次に、動画像処理装置１０の動画入力（動画記録）時の動作について、図４を用いて説明する。
【００４９】
図４は本発明の実施形態１の動画像処理装置における動画記録処理を示すフローチャートである。
【００５０】
尚、この処理を実現するプログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。
【００５１】
まず、電源ボタン２０９により電源が投入されると、各種インターフェースの初期化等のシステムの初期化処理を行う（ステップＳ４０１）。次に、リモコン１１２やオペレーションパネル１１４からのコマンドの入力を待つ（ステップＳ４０２）。尚、コマンドは、ビデオＩ／Ｆ１１５に接続されたビデオカメラ１１６が再生を開始したことを検出した時にも発生する。
【００５２】
コマンドが入力されると、その内容を評価し、動画入力コマンドであるか否かを判定する（ステップＳ４０３）。動画入力コマンドでない場合（ステップＳ４０３でＮＯ）、入力されたコマンドの内容に対応するその他のコマンド処理を行い（ステップＳ４０７）、ステップＳ４０２の処理に戻る。
【００５３】
一方、ステップＳ４０３において、動画入力コマンドである場合（ステップＳ４０３でＹＥＳ）、ビデオＩ／Ｆ１１５を介して入力される動画像データをハードディスクドライブ１０４に蓄積する（ステップＳ４０４）。そして、その動画像データに対するインデックスの作成を行う（ステップＳ４０５）。また、作成されたインデックスは、ハードディスク１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体に保存されることとなる。尚、インデックスの作成処理の詳細については後述する。
【００５４】
ここで、インデックスは、動画を分割した各シーンから得られた静止画、各シーンの開始点、長さその他の属性情報と、動画再生を行うためにシーンと動画像データとを関連付けたデータとから構成される。また、シーンとは、動画像データ中の区間であり、例えば、動画像クリップにおいて採用された区間の開始点や終了点のフレームＩＤ、長さのフレーム数等で表わすことができる。
【００５５】
そして、インデックスの作成を終了すると、インデックスを表示し（ステップＳ４０６）、処理を終了する。
【００５６】
次に、ステップＳ４０５のインデックス作成処理の詳細について、図５を用いて説明する。
【００５７】
図５は本発明の実施形態１のステップＳ４０５のインデックス作成処理の詳細を示すフローチャートである。
【００５８】
まず、動画像データ中のシーンの区切れであるシーンチェンジを検出する（ステップＳ５０１）。尚、シーンチェンジの検出方法には、さまざまな方法が知られているが、実施形態１では、フレーム画像の変化による検出方法を用いる。
【００５９】
フレーム画像の変化によるシーンチェンジの検出方法では、動画像データから１フレームづつフレーム画像を取り出す処理を行い、過去のフレーム群とのフレーム間類似性距離の計算を行う。ここで、過去のフレーム群とは、単数のフレームの場合も複数のフレームの場合もあり、特に、そのアルゴリズムは限定されない。
【００６０】
最も簡単な例を挙げると、前のフレームと現在のフレームに対し、各々のフレーム画像を縦横に格子状に複数のブロック分割を行い、それぞれのブロックに関してＲＧＢの平均値を算出しておく。次に、前のフレームと現在のフレームの対応するブロック同士のＲＧＢ各チャンネルの差の二乗和を求め、これをシーンチェンジの激しさの度合いを表すフレーム間類似性距離とする。そして、類似性距離がが所定値より小さいほど類似しており、所定値より大きいほど類似していない、即ち、シーンチェンジである可能性が大きいとする。
【００６１】
このフレーム間類似性距離の計算式は、以下式に示す通りである。
【００６２】
ここで、各変数の内容は以下の通りである。
【００６３】
ｉ ：処理中のブロック
Ｋ ：分割ブロック数
Ｐ１ｉＲ：直前のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ１ｉＧ：直前のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ１ｉＢ：直前のフレームのｉ番目のブロックのＢチャンネルの平均値
Ｐ２ｉＲ：現在のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ２ｉＧ：現在のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ２ｉＢ：現在のフレームのｉ番目のブロックのＢチャンネルの平均値
以上のような方法で、シーンチェンジの有無を判定し、シーンチェンジを判定した場合、シーンチェンジの起こったフレーム番号をシーン開始フレームとしてＲＡＭ１０３に記憶し、そのシーンチェンジの激しさの度合いを表す類似度（または距離）、及びそのシーンがブランクシーンであるか否かを示す情報を記憶する。こられの情報をシーン情報と呼ぶこととし、インデックスの一部とする。
【００６４】
また、各シーンの長さは、次のシーンの開始フレーム番号と現在のシーンの開始フレーム番号との差から算出することができる。尚、最後のシーンの長さは、動画全体のフレーム数と最終シーンの開始フレーム番号との差から算出することができる。
【００６５】
このようにして、シーンチェンジ（分割点）を検出すると、シーンチェンジによって分割されたシーン数が予め設定された第１の閾値を越えているか否かを判定する（ステップＳ５０２）。シーン数が第１の閾値以下である場合（ステップＳ５０２でＮＯ）、ステップＳ５０３に進み、各々のシーンの長さが予め設定された第２の閾値を越えているか否かを判定する。ここでは、たとえ決められたシーン数に達していなくてもあまりに短いシーンがある場合、結合してインデックスの数を減らすようにする。
【００６６】
一方、ステップＳ５０２において、シーン数が第１の閾値を越えている場合（ステップＳ５０２でＹＥＳ）、あるいはステップＳ５０３において、シーンの長さが第２の閾値以下である場合（ステップＳ５０３でＮＯ）、ステップＳ５０４に進み、シーン結合処理を行う。
【００６７】
シーン結合処理では、シーン数を減らし、各シーンのシーン長が第２の閾値を越え、かつ各シーンのシーン長の標準偏差（偏り）がなるべく最小になるようにシーンを結合する。尚、シーンが１つしかなかったり、動画全体の長さが第２の閾値に満たないような例外的な場合は、この処理を行わない。
【００６８】
シーン結合処理の簡単な例として、２つの方法を示す。
【００６９】
第１の方法では、各シーンについて、そのシーンの長さと１つ前のシーンの長さの和を求め、この和が最小となるシーンについて１つ前のシーンと結合し、シーン数が第２の閾値を越えるまで繰り返す。また、第２の方法では、動画全体を第１の閾値の数で時間等分し、各々の等分した個所に最も近いシーン開始点であるシーンを採用する方法で、採用されなかったシーンは、それぞれその前方にある採用シーンと結合する。第２の方法は、特に動画のシーン数が第１の閾値で定められたシーン数より十分多い場合に有効である。
【００７０】
ステップＳ５０４で、シーン結合処理を行った後、各シーンの代表画像となる静止画を作成する（ステップＳ５０５）。この最も簡単な例としては、各シーンの先頭フレーム画像をそのシーンの静止画として関連付ける。尚、シーン中の複数のフレーム画像から静止画を合成してもよい。この後、シーン情報及び静止画をシーンに対応付け、インデックスとしてハードディスクドライブ１０４に記憶し（ステップＳ５０６）、処理を終了する。
【００７１】
この処理が完了すると、実施形態１では、処理対象の動画のインデックスとして、各シーンを代表する静止画（代表画像）がディスプレイ装置１０７に表示されることになる。
【００７２】
ここで、ディスプレイ装置１０７に表示されるインデックス一覧表示画面の一例について、図６を用いて説明する。
【００７３】
図６は本発明の実施形態１のディスプレイ装置に表示されるインデックス一覧表示画面の一例を示す図である。
【００７４】
図中、６０１〜６０４は、動画が先頭から４つのシーンに分割された場合の各シーンの代表画像を表す静止画である。６０５は選択中のシーンを示すカーソルである。ここで、リモコン１１２の各矢印ボタン３０５〜３０８を押下することにより、切り出された全てのシーンの中から１つのシーンを選択することができる。
【００７５】
また、ＭＥＮＵボタン３０４を押下することにより、実施形態１における動画像処理装置に実装されている各種機能がメニュー表示され、ここで各矢印ボタン３０５〜３０８を操作することによって、ユーザが操作したい機能を選択することができる。
【００７６】
ＯＫボタン３０９を押下すると、ユーザが選択した操作を開始する。実施形態１では、作成したインデックスの連続再生機能が実装されており、矢印ボタン３０５〜３０８によって本機能を選択してＯＫボタン３０９を押下することにより、一覧表示されているシーンの先頭から順に動画再生を開始する。
【００７７】
６０６は動画バーであり、バー全体で１つの動画像データの再生時間を表す。６０７は現在のシーンを示すマーカであり、現在選択中のシーンが動画全体に占める位置と長さが分かるように表示される。６０８はシーンマーカであり、全てのシーンの先頭と長さが一目でわかるように表示される。
【００７８】
次に、動画像処理装置１０の動画連続再生時及び再生終了時の動作について、図７を用いて説明する。
【００７９】
図７は本発明の実施形態１の動画像処理装置における動画連続再生処理及び再生終了後のシーンの選択状態変更処理を示すフローチャートである。
【００８０】
尚、この処理を実現するプログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。また、この処理は、図６のインデックス一覧表示画面が表示された状態で、ＭＥＮＵボタン３０４等を押下することによって、各シーンの連続再生機能を選択することができる。
【００８１】
連続再生機能が選択されると、まず、全てのシーンの「選択状態」を一時的に「非選択」に設定する（ステップＳ７０１）。この選択状態は、各々のシーンを示す識別情報と関連付けて、ハードディスク１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体に保存されることとなる。
【００８２】
次に、処理対象のシーンを再生するために必要なデータ、即ち、シーンの開始点、長さまたは終了点、その他の属性情報、そのシーンの動画再生を行うためのデータを取得する（ステップＳ７０２）。
【００８３】
次に、再生対象のシーンを他のシーンと区別がつくような識別表示を行う（ステップＳ７０３）。例えば、図６に示すインデックス一覧表示画面において、一覧のそれぞれの位置で各シーンを再生する場合は、カーソル６０５を次に再生するシーンを示す代表画像に移動する。また、シーンの再生にディスプレイ装置１０７の画面全体を再生画面として使う場合には、シーン再生直前にインデックス一覧表示画面を数秒間表示してこれから再生するシーンをカーソルで囲み、その後、再生画面へ移行する。このように、次に再生されるシーンが分かるような表示を行うことによって、ユーザが、今、どのシーンが再生されているのかを容易に視認することができる。
【００８４】
次に、ステップＳ７０２で取得したデータを用いて、再生対象のシーンの再生を開始する（ステップＳ７０４）。その後、シーン再生中には、早送りや巻き戻し、停止等の各種操作を受け付けることができるため、ユーザ操作の入力待ちの状態となっている。ユーザは、リモコン１１２やオペレーションパネル１１４等の操作手段を使用して、各種ユーザ操作を実行することができる。
【００８５】
そして、この状態で、ユーザ操作の有無を判定する（ステップＳ７０５）。ユーザ操作がない場合（ステップＳ７０５でＮＯ）、ステップＳ７０７に進む。一方、ユーザ操作がある場合（ステップＳ７０５でＹＥＳ）、ステップＳ７０６に進み、ユーザ操作内容に基づくユーザ操作処理を実行する。尚、この処理の詳細については後述する。
【００８６】
次に、再生を開始したシーンが、その最終フレームまで正常に再生されたか否かを判定する（ステップＳ７０７）。再生が終了した場合（ステップＳ７０７でＹＥＳ）、ステップＳ７０８に進む。一方、再生が終了していない場合（ステップＳ７０７でＮＯ）、即ち、まだ、再生中の場合には、再びユーザ操作の入力待ち状態となり、ステップＳ７０５に戻る。尚、シーンの再生が終了した場合に、動画像処理装置１０から再生正常終了を示すイベントを受信するように実装することもでき、その場合は、イベント受信をトリガとして以下の処理へ進むこととなる。
【００８７】
ステップＳ７０７において、シーンの再生が終了した場合、その再生が通常再生であったか否かを判定する（ステップＳ７０８）。通常再生である場合（ステップＳ７０８でＹＥＳ）、ステップＳ７０９に進む。一方、通常再生でない場合（ステップＳ７０８でＮＯ）、早送りまたは巻き戻しである場合、ステップＳ７１０に進む。尚、早送りや巻き戻し再生はユーザによって指示され、その指示内容に従って、ステップＳ７０６のユーザ操作処理を実行する。
【００８８】
通常再生が終了した場合に、ステップＳ７０１で一時的に「非選択」にしておいたシーンの「選択状態」を「選択」に設定する（ステップＳ７０９）。但し、早送りや巻き戻し再生の場合には、変更されずそのまま「非選択」になる。
【００８９】
次に、再生対象の次のシーンの有無を判定する（ステップＳ７１０）。次のシーンがある場合（ステップＳ７１０でＹＥＳ）、ステップＳ７０２に戻り、次のシーンの再生に必要なデータを取得し、再生を行う。一方、次のシーンがない場合（ステップＳ７１０でＮＯ）、ステップＳ７１１に進む。
【００９０】
次に、ＲＡＭ１０３等の記憶媒体から、ステップＳ７０１及びステップＳ７０９で設定された各シーンの選択／非選択状態を取得する（ステップＳ７１１）。
【００９１】
次に、インデックス一覧表示画面において、各シーンの選択／非選択状態を識別できるような状態識別表示を行う（ステップＳ７１２）。この識別表示は、例えば、各代表画像の枠を選択／非選択によって色分けをして示したり、非選択状態となっているシーンの代表画像を網掛けで表示する等の表示形態を制御することによって、ユーザは各シーンの選択／非選択状態を判別することができる。
【００９２】
その後、インデックス一覧表示画面において、リモコン１１２の各矢印ボタン３０５〜３０８を押下することによってカーソルを移動したり、ＭＥＮＵボタン３０４とＯＫボタン３０９を押下することによって、各種機能を選択することができるため、ユーザ操作の入力待ちの状態となる。
【００９３】
そこで、ユーザ操作の有無を判定する（ステップＳ７１３）。ユーザ操作がある場合（ステップＳ７１３でＹＥＳ）、ステップＳ７１４に進み、ユーザ操作処理を実行する。一方、ユーザ操作がない場合（ステップＳ７１３でＮＯ）、処理を終了する。
【００９４】
次に、ステップＳ７０６のユーザ操作処理の詳細について、図８を用いて詳述する。
【００９５】
図８は本発明の実施形態１のステップＳ７０６のユーザ操作処理の詳細を示すフローチャートである。
【００９６】
尚、このユーザ操作処理は、処理対象のシーンの再生中に、ユーザ操作によって適宜実行可能な処理である。
【００９７】
まず、入力されたユーザ操作がスキップ要求であるか否かを判定する（ステップＳ８０１）。スキップ要求である場合（ステップＳ８０１でＹＥＳ）、ステップＳ８０２に進み、現在再生中のシーンの再生中止を行い（ステップＳ８０２）、図７のステップＳ７１０へ進む。一方、スキップ要求でない場合（ステップＳ８０１でＮＯ）、ステップＳ８０３に進む。
【００９８】
次に、入力されたユーザ操作が早送り要求であるか否かを判定する（ステップＳ８０３）。早送り要求である場合（ステップＳ８０３でＹＥＳ）、ステップＳ８０４に進み、ステップＳ８０５で早送りの終了要求が判定されるまで、現在再生中のシーンの早送り再生処理を続ける。一方、早送り要求でない場合（ステップＳ８０３でＮＯ）、ステップＳ８０７に進む。
【００９９】
次に、入力されたユーザ操作が早送り終了要求であるか否かを判定する（ステップＳ８０５）。早送り終了要求である場合（ステップＳ８０５でＹＥＳ）、ステップＳ８０６に進み、早送り再生処理を終了することによって、通常再生を行う。一方、早送り終了要求でない場合（ステップＳ８０５でＮＯ）、ステップＳ８０７に進む。
【０１００】
次に、入力されたユーザ操作が巻き戻し要求であるか否かを判定する（ステップＳ８０７）。巻き戻し要求である場合（ステップＳ８０７でＹＥＳ）、ステップＳ８０８に進み、巻き戻しの終了要求が判定されるまで、現在再生中のシーンの巻き戻し再生処理を続ける。一方、巻き戻し要求でない場合（ステップ８０７でＮＯ）、ステップＳ８１１に進む。
【０１０１】
次に、入力されたユーザ操作が巻き戻し終了要求であるか否かを判定する（ステップＳ８０９）。巻き戻し終了要求である場合（ステップＳ８０９でＹＥＳ）、ステップＳ８１０に進み、巻き戻し再生処理を終了することによって、通常再生を行う。一方、巻き戻し終了要求でない場合（ステップＳ８０９でＮＯ）、ステップＳ８１１に進む。
【０１０２】
次に、入力されたユーザ操作が停止要求であるか否かを判定する（ステップＳ８１１）。停止要求である場合（ステップＳ８１１でＹＥＳ）、ステップＳ８１２に進み、動画像処理装置１０に対して現在再生中のシーンの再生中止を指示して、図７のステップＳ７１１へ進む。一方、停止要求でない場合（ステップＳ８１１でＮＯ）、ステップＳ８１３に進む。
【０１０３】
次に、入力されたユーザ操作が選択状態の変更要求であるか否かを判定する（ステップＳ８１３）。尚、この選択状態の変更要求は、例えば、インデックスの一覧表示画面で各代表画像に対するシーンを各々の画像表示位置で連続再生中に、ＭＥＮＵボタン３０４を押下してメニューを表示し、矢印ボタン３０５〜３０８とＯＫボタン３０９を押下して選択状態の変更機能を選択することによって行う。
【０１０４】
そして、ステップＳ８１３において、選択状態の変更要求である場合（ステップＳ８１３でＹＥＳ）、ステップＳ８１４に進み、シーンを選択するためのシーン選択操作処理を実行する。
【０１０５】
このシーン選択操作処理では、ユーザは、リモコン１１２の各矢印ボタン３０５〜３０８を押下することにより、カーソルを移動して、切り出された全てのシーンの中から１つのシーンを選択することができる。但し、選択することができるシーンは、既に再生が終了したシーンである。ここで、ＯＫボタン３０９を押下することによって、ステップＳ８１５に進み、選択／非選択状態を変更するための変更処理を実行する。
【０１０６】
この変更処理では、選択／非選択状態を変更するための変更画面を表示し、ユーザからの変更操作の入力を受け付ける。ユーザが変更画面上で、選択／非選択を選択し、ＯＫボタン３０９を押下することによって、ＲＡＭ１０３等に記憶されたシーンの選択／非選択状態が変更される。各シーンの選択／非選択状態が変更されたら、インデックス一覧表示画面における各シーンの選択／非選択の状態識別表示も変更する。
【０１０７】
一方、選択状態の変更要求でない場合（ステップＳ８１３でＮＯ）、ステップＳ８１６に進み、上記で説明したユーザ操作以外の操作が入力された場合に、それぞれの操作処理を行う。
【０１０８】
次に、ステップＳ７１４のユーザ操作処理の詳細について、図９を用いて説明する。
【０１０９】
図９は本発明の実施形態１のステップＳ７１４のユーザ操作処理を示すフローチャートである。
【０１１０】
まず、入力されたユーザ操作が編集要求であるか否かを判定する（ステップＳ９０１）。尚、編集要求は、ＭＥＮＵボタン３０４を押下してメニューを表示し、矢印ボタン３０５〜３０８とＯＫボタン３０９を押下して編集機能を選択することによって指示する。
【０１１１】
尚、この編集機能には、シーン同士の結合処理、シーンの順番を入れ替える処理、シーンのファイル形式を、例えば、ＭＰＥＧ形式からＡＶＩ形式に変換する変換処理等の各種画像処理が含まれる。
【０１１２】
ステップＳ９０１において、編集要求である場合（ステップＳ９０１でＹＥＳ）、ステップＳ９０２に進み、編集のための編集画面を表示し、その編集画面を介する編集処理を実行する。この編集処理での編集対象となるシーンは、現在選択状態になっているシーンである。一方、編集要求でない場合（ステップＳ９０１でＮＯ）、ステップＳ９０３に進む。
【０１１３】
次に、入力されたユーザ操作が選択／非選択状態の変更要求であるか否かを判定する（ステップＳ９０３）。尚、選択／非選択状態の変更要求は、ＭＥＮＵボタン３０４を押下してメニューを表示し、矢印ボタン３０５〜３０８とＯＫボタン３０９を押下して選択／非選択状態の変更画面を選択することによって指示する。
【０１１４】
ステップＳ９０３において、選択／非選択状態の変更要求である場合（ステップＳ９０３でＹＥＳ）、ステップＳ９０４に進み、シーンを選択するためのシーン選択操作処理を実行する。ユーザは、リモコン１１２の各矢印ボタン３０５〜３０８を押下することにより、カーソルを移動して、切り出された全てのシーンの中から１つのシーンを選択することができる。ここで、ＯＫボタン３０９を押下することによって、ステップＳ９０５へ進み、シーンの選択／非選択状態を変更するための変更処理を実行する。
【０１１５】
この変更処理では、選択／非選択状態を変更するための変更画面を表示し、ユーザからの変更操作の入力を受け付ける。ユーザが変更画面上で、選択／非選択を選択し、ＯＫボタン３０９を押下することによって、ＲＡＭ１０３等に記憶されたシーンの選択／非選択状態が変更される。各シーンの選択／非選択状態が変更されたら、インデックス一覧表示画面における各シーンの選択／非選択の状態識別表示も変更する。
【０１１６】
一方、ステップＳ９０３において、選択／非選択状態の変更要求でない場合（ステップＳ９０３でＮＯ）、ステップＳ９０６に進み、上記で説明したユーザ操作以外の操作が入力された場合に、それぞれの操作処理を行う。
【０１１７】
尚、図９では、メニューから変更機能を選択することにより変更画面を表示して、処理対象のシーンの選択状態を変更する場合の例について説明したが、実装上、他の操作方法によって変更機能を実現することもできる。例えば、インデックス一覧表示画面において、選択状態を変更したいシーンにカーソルを移動させた状態で、ＭＯＤＥボタン３０２を押下することによって、選択／非選択をトグルさせて、選択／非選択状態を変更するような構成としても良い。
【０１１８】
以上説明したように、実施形態１によれば、動画編集や情報付与等のために目的のシーンを検索する場合に、シーンに対する再生操作内容の種類（通常再生、早送り再生、巻き戻し再生、再生中止）に基づいて、画像処理対象とするか否かを示すシーンの選択／非選択状態を設定する。
【０１１９】
そのため、再生後に、インデックス一覧表示画面上に多数のシーンの代表画像が表示されても、内容確認済のシーンを間違えて選択したり、目的のシーンが判別できず再確認するといったことがなくなり、操作効率を上げることができる。また、再生後の選択／非選択状態の設定操作が不要なので、更に操作効率が向上する。
【０１２０】
具体的には、例えば、複数のシーンの中から、所望のシーン群を選択して、１つの動画に結合操作を実行する場合には、候補となるシーンの再生確認を通常再生した場合には、その通常再生が完了した時点で、そのシーンが結合対象のシーンとして確定される。これにより、複数のシーンそれぞれに対し、通常再生による確認を行ったシーンは、確認が完了した時点で、シーンが結合対象として確定されているので、その後の結合操作を行う場合には、結合対象とするシーンの選択操作を行わずに、直ちに結合操作を行うことが可能となる。
【０１２１】
［実施形態２］
実施形態１では、シーンの選択／非選択状態の設定を、処理対象のシーンの再生操作内容として、その種類が通常再生である場合にのみ、そのシーンを選択状態に設定する構成としたが、用途や目的に応じては、これに限定されない。例えば、再生操作内容の種類ごとに、デフォルトの選択／非選択状態を設定しておき、実際の再生操作内容と、デフォルトの選択／／非選択情報に基づいて、シーンの選択／非選択状態を設定するようにしても良い。
【０１２２】
以下、実施形態２に係る動画像処理装置１０の動画連続再生時及び再生終了時の動作について、図１０を用いて説明する。
【０１２３】
図１０は本発明の実施形態２の動画像処理装置における動画連続再生処理及び再生終了後のシーンの選択状態変更処理を示すフローチャートである。
【０１２４】
尚、この処理は、実施形態１の図７の処理の応用例であり、図７と同一の処理ステップは同一のステップ番号を付加し、その詳細については省略する。但し、実施形態２の場合のステップＳ７０６のユーザ操作処理を、実施形態１の図８で実現する場合に、ステップＳ８０２の処理では、その処理後は、ステップＳ７１０ではなく、ステップＳ７１８に戻る。
【０１２５】
ステップＳ７０１〜ステップＳ７０７の処理を経て、ステップＳ７０７において、シーンの再生が終了した場合、そのシーンの選択／非選択状態を設定する状態設定処理を実行する（ステップＳ７１８）。尚、この状態設定処理の詳細については後述する。
【０１２６】
次に、シーンの再生が中断されたか否かを判定する（ステップＳ７１９）。再生が中断されない場合（ステップＳ７１９でＮＯ）、つまり、中断されず、正常に通常再生が終了した場合、ステップＳ７１０に進む。一方、再生が中断された場合（ステップＳ７１９でＹＥＳ）、ステップＳ７１１に進む。
【０１２７】
尚、再生の中断は、実施形態１の図８で説明したユーザ操作処理によって実現されるものである。
【０１２８】
次に、ステップＳ７１８の状態設定処理の詳細について、図１１を用いて説明する。
【０１２９】
図１１は本発明の実施形態２の状態設定処理の詳細を示すフローチャートである。
【０１３０】
まず、通常再生によってシーンの再生が終了したか否かを判別する（ステップＳ１００１）。通常再生が終了した場合（ステップＳ１００１でＹＥＳ）、ステップＳ１００９へ進み、そのシーンを非選択状態から選択状態に設定する。一方、通常再生が終了してなかった場合（ステップＳ１００１でＮＯ）、ステップＳ１００２に進む。
【０１３１】
次に、ユーザからのスキップ操作が行われたか否かを判定する（ステップＳ１００２）。スキップ操作が行われた場合（ステップＳ１００２でＹＥＳ）、ステップＳ１００６に進む。一方、スキップ操作が行われていない場合（ステップＳ１００２でＮＯ）、ステップＳ１００３に進む。
【０１３２】
次に、早送り再生操作によってシーンの再生が終了したか否かを判定する（ステップＳ１００３）。早送り再生操作が行われた場合（ステップＳ１００３でＹＥＳ）、ステップＳ１００６に進む。一方、早送り再生操作が行われなかった場合（ステップＳ１００３でＮＯ）、ステップＳ１００４に進む。
【０１３３】
次に、巻き戻し再生操作によってシーンの再生が終了したか否かを判定する（ステップＳ１００４）。巻き戻し再生操作が行われた場合（ステップＳ１００４でＹＥＳ）、ステップＳ１００６に進む。一方、巻き戻し再生操作が行われなかった場合（ステップＳ１００４でＮＯ）、ステップＳ１００５に進む。
【０１３４】
次に、ユーザからの停止操作が行われたか否かを判定する（ステップＳ１００５）。停止操作が行われなかった場合（ステップＳ１００５でＮＯ）、処理を終了する。一方、停止操作が行われた場合（ステップＳ１００５でＹＥＳ）、ステップＳ１００６に進む。
【０１３５】
次に、ステップＳ１００２〜ステップＳ１００５の各種判定で、スキップ操作や早送り操作等の操作が行われた場合は、それぞれの操作内容に対してデフォルトで設定されている選択／非選択状態を、ＲＡＭ１０３等の記憶媒体から取得する（ステップＳ１００６）。
【０１３６】
尚、この各操作内容に対するデフォルトの選択／非選択状態は、ＨＤＤ１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体にユーザによって予め設定され保存されている。このデフォルトの選択／非選択状態の設定処理の詳細については後述する。
【０１３７】
次に、ステップＳ１００６で取得したデフォルトの選択／非選択状態を示し、その状態に対し、実際に所望する選択／非選択状態に設定変更する設定変更指示を受け付ける設定受付画面を表示する（ステップＳ１００７）。ユーザは、この設定受付画面上で、処理対象のシーンの選択／非選択を選択し、ＯＫボタン３０９を押下することによって、シーンの選択／非選択状態を設定することができる。尚、この処理をスキップして、デフォルトの選択／非選択状態を維持するようにしても良い。
【０１３８】
次に、シーンの状態の設定が選択に設定されているか否かを判定する（ステップＳ１００８）。選択に設定されていない場合（ステップＳ１００８でＮＯ）、処理を終了する。一方、選択に設定されている場合（ステップＳ１００８でＹＥＳ）、ステップＳ１００９に進み、そのシーンを選択状態に設定する。
【０１３９】
次に、ステップＳ１００６における、ユーザ操作の操作内容に基づくシーンのデフォルトの選択／非選択状態の設定処理の詳細について、図１２を用いて説明する。
【０１４０】
図１２は本発明の実施形態２のデフォルトの選択／非選択状態の設定処理の詳細を示すフローチャートである。
【０１４１】
尚、この処理を実現するプログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。また、この処理は、図６のインデックス一覧表示画面において、ＭＥＮＵボタン３０４を押下することによって、各操作内容に対する選択／非選択状態を設定するための選択／非選択状態設定画面を表示し、その選択／非選択状態設定画面を介して実行する。
【０１４２】
まず、選択／非選択状態設定画面を表示する（ステップＳ１１０１）。次に、各操作内容に対するデフォルトの選択／非選択状態を設定するための入力を受け付ける処理を行う（ステップＳ１１０２）。これは、選択／非選択状態設定画面上で、スキップ、早送り、巻き戻し等の操作内容に対して、各々の操作を実行した場合に設定する選択／非選択状態を入力することができる。そして、ＯＫボタン３０９を押下することで、次のステップＳ１１０３に進む。
【０１４３】
次に、ステップＳ１１０２で入力された各々操作内容に対するデフォルトの選択／非選択状態を設定する。この状態は、各々の操作内容を示す識別情報と関連付けて、ＨＤＤ１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体に保存されることとなる。
【０１４４】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、シーンに対する再生操作内容の種類それぞれに対し、選択／非選択状態を予め設定しておくことができるので、よりユーザの意図や目的、用途に即した操作環境を提供することができる。
【０１４５】
［実施形態３］
実施形態１や２では、図６の処理によって得られたシーン群それぞれに対する選択／非選択状態を設定する場合を例に挙げて説明した。しかしながら、図６の処理によって得られたシーン群が、必ずしもユーザが意図するシーン群で構成されているとは限らない。そこで、実施形態３では、シーンの内容を確認するための再生操作内容に基づいて、実施形態１の図６の処理によって得られたシーン群の再構成を可能にする処理について説明する。
【０１４６】
実施形態３では、シーン群を再構成するタイミングとして、実施形態１の図８のステップＳ７０６のユーザ操作処理時に実行する。
【０１４７】
具体的には、図１３のフローチャートに示すように、処理対象のシーンの再生操作の操作内容に基づいて、ステップＳ８１７のシーン再構成処理を実行する。
【０１４８】
尚、この図１３のフローチャートは、実施形態１の図８の処理の応用例であり、図７と同一の処理ステップは同一のステップ番号を付加している。
【０１４９】
次に、ステップＳ８１７のシーン再構成処理の詳細について、図１４を用いて説明する。
【０１５０】
図１４は本発明の実施形態３のシーン再構成処理の詳細を示すフローチャートである。
【０１５１】
まず、ユーザからのスキップ操作が行われたか否かを判別する（ステップＳ１４０１）。スキップ操作が行われた場合（ステップＳ１４０１でＹＥＳ）、ステップＳ１４０５に進む。一方、スキップ操作が行われていない場合（ステップＳ１４０１でＮＯ）、ステップＳ１４０２に進む。
【０１５２】
次に、早送り再生操作が行われたか否かを判定する（ステップＳ１４０２）。早送り再生操作が行われた場合（ステップＳ１４０２でＮＯ）、ステップＳ１４０５に進む。一方、早送り再生操作が行われなかった場合（ステップＳ１４０２でＹＥＳ）、ステップＳ１４０３に進む。
【０１５３】
次に、巻き戻し再生操作が行われたか否かを判定する（ステップＳ１４０３）。巻き戻し再生操作が行われた場合（ステップＳ１４０３でＹＥＳ）、ステップＳ１４０５に進む。一方、巻き戻し再生操作が行われなかった場合（ステップＳ１４０３でＮＯ）、ステップＳ１４０４に進む。
【０１５４】
次に、停止操作が行われたか否かを判定する（ステップＳ１４０４）。停止操作が行われた場合（ステップＳ１４０４でＹＥＳ）、ステップＳ１４０５に進む。一方、停止操作が行われなかった場合（ステップＳ１４０４でＮＯ）、処理を終了する。
【０１５５】
次に、ステップＳ１４０１〜ステップＳ１４０４の各種判定で、スキップ操作や早送り操作等の操作が行われた場合は、各操作が行われた時点（操作入力点）のフレーム情報を取得する（ステップＳ１４０５）。
【０１５６】
例えば、操作内容がスキップ操作及び停止操作である場合にはその操作指示された時点のフレーム番号を操作入力点として取得する。また、早送り操作や巻き戻し操作である場合にはその操作の開始及び終了が指示された時点のフレーム番号を操作入力点として取得する。
【０１５７】
次に、取得したフレーム番号に基づいて、シーン分割処理を行う。このシーン分割処理では、取得したフレーム番号をシーンチェンジとして、その前後のシーンに分割する。
【０１５８】
例えば、スキップ操作や停止操作の場合は、各操作指示が行われた時点を境に前後２つのシーン（再生シーン及び未再生シーン）に分割する。また、早送り操作や巻き戻し操作の場合は、操作の開始指示が行われた点と終了指示が行われた点を境に３つのシーン（早送り・巻き戻し操作中のシーン（非通常再生シーン）とその前後のシーン（通常再生シーン））に分割する。ここで、ステップＳ１４０５で取得したフレーム番号は、後のシーンのシーン開始フレームとしてＲＡＭ１０３に記憶される。
【０１５９】
次に、シーン分割処理によって再構成された各シーンの代表画像となる静止画を作成する（ステップＳ１４０７）。この最も簡単な例としては、各シーンの先頭フレーム画像をそのシーンの代表画像として関連付ける。尚、複数のフレーム画像から代表画像を合成してもよい。
【０１６０】
次に、シーン情報及び静止画をシーンに対応付け、インデックスとしてハードディスクドライブ１０４に記憶する（ステップＳ１４０８）。
【０１６１】
次に、シーン変更処理によって再構成されたシーンとそのインデックスと、再構成前のシーンとそのインデックスをマージして、ハードディスクドライブ１０４上のシーンとインデックスを変更する（ステップＳ１４０９）。
【０１６２】
次に、分割した各シーンの選択／非選択状態を設定する（ステップＳ１４１０）。ここでは、通常再生されたシーンは選択状態に、通常再生されなかったシーンは非選択状態に設定する。
【０１６３】
例えば、スキップ操作や停止操作の場合は分割点前のシーンを選択状態に設定し、分割点後のシーンを非選択状態に設定する。また、早送り操作や巻き戻し操作の場合は、早送り・巻き戻し操作中のシーンは非選択状態に、その前後のシーンは選択状態に設定する。この選択／非選択状態は、新しく分割したシーンを示す識別情報と関連付けて、ハードディスク１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体に追加保存されることになる。
【０１６４】
以上説明したように、実施形態３によれば、実施形態１で説明した効果に加えて、ユーザのシーンに対する操作の操作内容に基づいて、当初に分割されたシーン群を再構成し、その再構成された各シーンに対する選択／非選択状態を設定することで、よりユーザの意図や目的、用途に応じたシーンの分割及び選択／非選択状態を設定することができる。
【０１６５】
特に、この再構成及び選択／非選択状態は、シーンに対する操作に係る経験則に基づいて実行するので、より好適なシーンの分割及び選択／非選択状態を設定することができる。
【０１６６】
この経験則は、例えば、あるシーンの再生中に、スキップ操作や停止操作が実行された場合には、その操作前まではユーザが必要とするシーンと判断するものである。また、早送り・巻き戻し再生操作が実行された場合には、その操作中はユーザが不要とするシーンと判断するものである。
【０１６７】
尚、上記実施形態１〜３では、動画像データ中のシーンチェンジをフレーム間類似性距離に基づいて検出したが、これに限定されるものではない。例えば、動画像データ中のタイムコードの不連続点に基づいて、シーンチェンジを検出してもよい。この方法は、特に、デジタルビデオカメラのように、撮影時刻がタイムコードとして動画像データと共に記録されている場合に利用可能であり、例えば、タイムコードの不連続個所をシーンチェンジとすることは容易に実現することが可能である。
【０１６８】
また、動画像データに付加されている属性情報に基づいて、シーンチェンジを検出しても良い。この検出方法は、タイムコードの他に、ビデオカメラやフレーム画像の解析によって自動的に出力されるズーム、パン、チルトの開始、終了等のメタ情報、人手により付加された論理構造や動画の被写体に関するメタ情報等の属性情報に基づいて、シーンチェンジを検出する。この場合、シーン情報として、シーン開始フレームの他、シーンチェンジの検出に利用した属性情報の種類をシーン情報とする。
【０１６９】
更に、上述のフレーム間類似性距離による検出方法、タイムコードの不連続点による検出方法及び属性情報による検出方法を、適宜選択自在に、あるいは組み合わせて、シーンチェンジを検出するようにしても良い。
【０１７０】
上記実施形態１〜３では、動画像データはビデオＩ／Ｆ１１５を介して入力する構成としたが、これ以外の外部ソース、例えば、通信デバイスを介してネットワークから、メモリカード等から入力する構成であってもよい。また、図４のフローチャートでは、ステップＳ４０４で動画像データの記録を完了してから、ステップＳ４０５でそのインデックスを作成する構成としたが、マルチタスクシステムを導入して、動画像データの記録を行いながら、そのインデックスを作成する構成としても良い。
【０１７１】
また、各シーンの代表画像となる静止画を作成し、シーン情報及び静止画を動画像データに対応付けたインデックスを作成したが、特定のフレーム画像を静止画とする場合、静止画データの代わりに、フレーム番号だけを記録しても良い。この場合、実際の静止画を出力（表示や印刷）する場合には、そのフレーム番号と動画像データからオンデマンドで静止画データを作成することになる。
【０１７２】
更に、図５のステップＳ５０２でシーン数が第１の閾値を越えているか否かを判定した後に、ステップＳ５０３で各シーンの長さが第２の閾値を越えているか否かを判定し、その後、ステップＳ５０４のシーン結合処理を実行する構成としたが、この２つのステップの処理順序及びその処理内容を変更することも可能である。
【０１７３】
例えば、まず、各シーンの長さが第２の閾値を越えていないか否かを判定し、越えていない場合に、シーン結合処理を行い、その後、シーン結合処理後のシーン数が第１の閾値を越えているか否かを判定し、越えている場合に、再度、シーン結合処理を行うようにしてもよい。これにより、必要以上にシーン数を減らさないようにすることができる。
【０１７４】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１７５】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１７６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１７７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１７８】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１７９】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１８０】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１８１】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１８２】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０１８３】
【発明の効果】
以上説明したように、本発明によれば、動画を効率的に再利用することが可能な動画像処理装置及びその制御方法、プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態１の動画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態１の動画像処理装置と周辺装置からなるシステムを示す図である。
【図３】本発明の実施形態１の赤外線リモコンの詳細構成を示す図である。
【図４】本発明の実施形態１の動画像処理装置における動画記録処理を示すフローチャートである。
【図５】本発明の実施形態１のステップＳ４０５のインデックス作成処理の詳細を示すフローチャートである。
【図６】本発明の実施形態１のディスプレイ装置に表示されるインデックス一覧表示画面の一例を示す図である。
【図７】本発明の実施形態１の動画像処理装置における動画連続再生処理及び再生終了後のシーンの選択状態変更処理を示すフローチャートである。
【図８】本発明の実施形態１のステップＳ７０６のユーザ操作処理の詳細を示すフローチャートである。
【図９】本発明の実施形態１のステップＳ７１４のユーザ操作処理を示すフローチャートである。
【図１０】本発明の実施形態２の動画像処理装置における動画連続再生処理及び再生終了後のシーンの選択状態変更処理を示すフローチャートである。
【図１１】本発明の実施形態２の状態設定処理の詳細を示すフローチャートである。
【図１２】本発明の実施形態２のデフォルトの選択／非選択状態の設定処理の詳細を示すフローチャートである。
【図１３】本発明の実施形態３のステップＳ７０６のユーザ操作処理の詳細を示すフローチャートである。
【図１４】本発明の実施形態３のシーン再構成処理の詳細を示すフローチャートである。
【符号の説明】
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
１０５ メモリカードＩ／Ｆ
１０６ 外部記憶装置
１０７ ディスプレイ
１０８ プリンタＩ／Ｆ
１０９ プリンタ
１１０ ネットワークＩ／Ｆ
１１１ 赤外線受光部
１１２ リモコン
１１３ シリアルＩ／Ｆ
１１４ オペレーションパネル
１１５ ビデオＩ／Ｆ
１１６ ビデオカメラ
【発明の属する技術分野】
本発明は、動画像を再利用することを目的として、動画像の記録・表示・再生等の画像処理を行う動画像処理装置及びその制御方法、プログラムに関するものである。
【０００２】
【従来の技術】
近年、ＶＴＲやビデオムービの普及により動画像が身近なメディアの１つになっている。また、コンピュータ技術の発達により、動画をハードディスクやＤＶＤ等のようなランダムアクセス可能な記憶メディアに記憶して蓄積及び管理し、ビデオテープの交換やテープの巻き戻し等のような面倒な操作をすることなく、任意の動画を任意の箇所から動画再生して楽しむことが可能になった。
【０００３】
ユーザが、記憶メディアに記憶されている動画像から所望の部分を検索する検索法として、動画像を複数のシーンに分割し、各シーンの代表画像の縮小画像を属性情報として各代表画像と対応付けて記憶しておき、その属性情報から目的のシーンを探すものがある。
【０００４】
代表画像は、その動画の内容の内、最も印象的な画像やシーンが変わった瞬間の画像等、その内容が一目でわかるような画像を表示するのが一般的である。このように、その動画像中の代表する代表画像を見ることにより動画像全体の内容を大まかに推測し、大量の動画像の中からある程度候補を絞りこむことができる。
【０００５】
しかしながら、動画像は実際に見たり聞いてみないと目的の映像であるかどうかがわからないため、再生して内容を確認する必要がある。また、内容を確認する場合に、通常、必要のない部分は再生させずに、重要な部分だけを再生させることにより再生時間を短縮させることができる。このように、再生によって内容を確認した後、人手により必要な部分と不必要な部分との判定を行っていた。
【０００６】
例えば、特許文献１では、動画像を解析することによって、動画像中の変化点を検出し、その変化点に対応する画像をインデックス画像として一括表示する。また、複数のインデックス画像を等間隔で連続再生することにより、動画像の早送り再生を実行して、内容確認を容易にする構成が開示されている。
【０００７】
また、特許文献２では、記憶媒体上に収録された複数の動画像に対応するサムネイルを画面上に一覧表示し、一覧表示の中からユーザが選択した複数のサムネイル各々に対応する動画像をその選択順に従って連続して再生することによって、連結編集の作業を行わずに複数の動画像を連続再生する構成が開示されている。
【０００８】
更に、特許文献３では、映像を複数のシーンに分割し、各シーンから代表画像を一枚ずつ抽出してアイコンとして一覧表示するとともに、ユーザが注目するアイコンの指す映像を注目アイコンに動画表示していく。このように、ユーザが注目するアイコンのみを動画表示することから、一画面に多くのシーンを表示しつつ、動画アイコンによる映像の確認を可能にする構成が開示されている。
【０００９】
【特許文献１】
特開２００１−１１９６６１号公報
【特許文献２】
特開平１０−１０８１２２号公報
【特許文献３】
特開２００１−３２６８８１号公報
【発明が解決しようとする課題】
しかしながら、上記従来例では次のような課題があった。
【００１０】
動画像中の各シーンの代表画像を属性情報として一覧表示し、動画編集や情報付与等のために目的のシーンを検索する場合、シーンが細かく区切れていると代表画像数が膨大となる。そのため、特に、家庭用テレビや携帯端末の表示装置等のパーソナルコンピュータのディスプレイに比べて低解像度の表示装置では、一画面では表示できず複数画面に分けて表示しなければならない。
【００１１】
また、一度に多数の画像を表示するために表示される各画像のサイズを小さくするなどの理由から、内容確認後に一覧表示画面で目的のシーンを選択しようとしても再生した場面が一覧中のどれなのか分からないという課題があった。
【００１２】
特に、自動的に動画像の不連続点を検出して動画像を複数のシーンに分割する場合、不連続点の検出方法によって表示される代表画像数が多くなり、また、表示される一覧表示画面中には、類似画像が多数表示されて内容が判別しにくい。
【００１３】
また、再生による内容確認終了後に、一覧表示されている画像のタイトルや代表画像の中から一つ一つ目的のシーンを見つけて選択する操作は煩わしい。
【００１４】
本発明は、上記問題を解決するためになされたものであり、動画を効率的に再利用することが可能な動画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記の目的を達成するための本発明による動画像処理装置は以下の構成を備える。即ち、
動画像を処理する動画像処理装置であって、
前記動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する分割手段と、
前記分割手段で分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶する記憶手段と、
前記記憶手段に記憶されているインデックスに基づくインデックス画面を表示する表示手段と、
前記インデックス画面で表示されているインデックスに対応するシーンの操作を指示する指示手段と、
前記指示手段で指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う設定手段と
を備える。
【００１６】
また、好ましくは、前記設定手段は、前記指示手段で指示されたシーンの操作が前記複数のシーンの各シーンの連続再生である場合、これらのシーンの内、全フレームが通常再生されたシーンは選択状態に設定し、全フレームが通常再生されなかったシーンは非選択状態に設定する。
【００１７】
また、好ましくは、前記設定手段によって設定された各シーンの選択／非選択状態を前記インデックス画面の対応するインデックス毎に表示制御する表示制御手段と、
前記インデックス画面のインデックス毎に表示されている選択／非選択状態を変更する変更手段と
を更に備える。
【００１８】
また、好ましくは、前記代表画像は、対応するシーンに基づいて作成された静止画である。
【００１９】
また、好ましくは、前記表示制御手段は、前記インデクス画面に各シーンのインデックスとして前記各シーンの代表画像を一覧表示し、シーンに対する操作が終了したシーンに対して前記選択／非選択状態を表示し、前記選択／非選択状態が表示されているシーンに対して前記変更手段による変更を許容する。
【００２０】
また、好ましくは、前記操作の操作内容の種類毎に、前記選択／非選択状態を予め対応づけて記憶する状態記憶手段を更に備える。
【００２１】
また、好ましくは、前記操作の操作内容の種類毎に、前記選択／非選択状態をデフォルトとして設定するデフォルト状態設定手段を更に備える。
【００２２】
また、好ましくは、前記設定手段は、通常再生中のシーンに対し、前記指示手段によって通常再生以外の他の操作によって前記シーンの全フレームが通常再生されなかった場合、前記他の操作の操作内容に対応する状態を前記状態記憶手段を参照して取得し、その取得した状態を、前記シーンの前記選択／非選択状態に設定する。
【００２３】
また、好ましくは、前記設定手段は、通常再生中のシーンに対し、前記指示手段によって通常再生以外の他の操作によって前記シーンの全フレームが通常再生されなかった場合、前記他の操作の操作内容に対応する状態を前記状態記憶手段を参照して取得する取得手段と、
前記取得手段で取得した状態の設定変更指示を受け付ける設定受付画面を表示する設定受付画面表示手段とを備え、
前記設定受付画面で設定変更指示された状態を、前記シーンの前記選択／非選択状態に設定する。
【００２４】
また、好ましくは、通常再生中のシーンに対し、前記指示手段によって通常再生以外の他の操作によって前記シーンの全フレームが通常再生されなかった場合、他の操作の操作入力点に基づいて、前記シーンを更に分割して再構成する再構成手段を更に備え、
前記設定手段は、前記他の操作の操作内容に基づいて、前記再構成手段で再構成されたシーン群それぞれについて、画像処理対象として選択するか否かを示す状態設定を行う。
【００２５】
また、好ましくは、前記再構成手段は、前記他の操作の操作入力点に基づいて、前記シーンを再生シーンと未再生シーンに更に分割して再構成し、
前記設定手段は、前記再生シーンを選択状態に設定し、前記未再生シーンを非選択状態に設定する。
【００２６】
また、好ましくは、前記再構成手段は、前記他の操作の操作入力点に基づいて、前記シーンを通常再生シーンと非通常再生シーンに更に分割して再構成し、
前記設定手段は、前記通常再生シーンを選択状態に設定し、前記非通常再生シーンを非選択状態に設定する。
【００２７】
上記の目的を達成するための本発明による動画像処理装置の制御方法は以下の構成を備える。即ち、
動画像を処理する動画像処理装置の制御方法であって、
前記動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する分割工程と、
前記分割手段で分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶媒体に記憶する記憶工程と、
前記記憶媒体に記憶されているインデックスに基づくインデックス画面を表示する表示工程と、
前記インデックス画面で表示されているインデックスに対応するシーンの操作を指示する指示工程と、
前記指示工程で指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う設定工程と
を備える。
【００２８】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
動画像を処理する動画像処理装置の制御を実現するプログラムであって、
前記動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する分割工程のプログラムコードと、
前記分割手段で分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶媒体に記憶する記憶工程のプログラムコードと、
前記記憶媒体に記憶されているインデックスに基づくインデックス画面を表示する表示工程のプログラムコードと、
前記インデックス画面で表示されているインデックスに対応するシーンの操作を指示する指示工程のプログラムコードと、
前記指示工程で指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う設定工程のプログラムコードと
を備える。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００３０】
［実施形態１］
尚、本発明の各実施形態の動画記録及び表示／再生を行う動画像処理装置は、ハードディスクや光磁気ディスク等のランダムアクセス可能な記憶メディアに対応してデータを記録再生する構成を採用するものとする。
【００３１】
図１は本発明の実施形態１の動画像処理装置の構成を示すブロック図である。
【００３２】
図１の動画像処理装置１０において、１０１はＣＰＵであり、動画像処理装置１０の各種構成要素を制御する。１０２はＲＯＭであり、後述する各実施形態のフローチャート群を実現するプログラムを含む各種プログラム、各種設定データ等のデータを記憶する。１０３はＲＡＭであり、データの作業領域、一時待避領域として機能する。
【００３３】
１０４はハードディスクドライブ（ＨＤＤ）であり、動画像データ、静止画像データの各種データを記憶する。１０５はメモリカードの読出／書込用のメモリカードインタフェース（Ｉ／Ｆ）である。また、メモリカードには、例えば、ＳＤカード、ＭＭカード、スマートメディア、コンパクトフラッシュ（登録商標）等がある。１０６は外部記憶装置であり、例えば、ＤＶＤ−ＲＡＭ／Ｒ／ＲＷ、ＣＤ−Ｒ／ＲＷドライブ（ＣＤ／ＤＶＤドライブ）で構成される。
【００３４】
１０７はディスプレイ装置であり、例えば、ＬＣＤ、ＣＲＴ等で構成される。１０８はプリンタインタフェース（Ｉ／Ｆ）である。１０９はプリンタであり、例えば、インクエジェットプリンタ、レーザビームプリンタ、熱転写プリンタ等で構成される。１１０はネットワークインタフェース（Ｉ／Ｆ）であり。このネットワークＩ／Ｆ１１０によってネットワークと接続し、ネットワークを介して外部機器とのデータの送受信が可能となる。１１１は赤外線受光部である。１１２は赤外線リモコンであり、動画像処理装置１０の各種動作の遠隔操作を実現する。
【００３５】
１１３はシリアルインタフェース（Ｉ／Ｆ）であり、例えば、ＵＳＢインタフェースで構成される。１１４はオペレーションパネルであり、動画像処理装置１０の各種操作を実現するためのユーザインタフェース（例えば、タッチパネル、各種ボタン、スイッチ等）を提供する。
【００３６】
また、１１５はビデオインタフェース（Ｉ／Ｆ）であり、コンポジット映像端子、Ｓ−ＶＨＳ映像端子、ＩＥＥＥ１３９４、音声ライン入出力、音声デジタル入出力を通じて周辺装置と接続される。また周辺装置から入力されるデジタル信号、あるいはアナログ信号の場合にはそれを符号化し、ＣＰＵ１０１で処理可能なデジタルデータに変換する。１１６はビデオカメラであり、周辺装置の１つである。１１７はバスであり、動画像処理装置１０の各種構成要素を相互に接続し、バス１１７を介してデータが各種構成要素に相互に入出力される。
【００３７】
次に、動画像処理装置１０とその周辺装置からなるシステムの構成例について、図２を用いて説明する。
【００３８】
図２は本発明の実施形態１の動画像処理装置と周辺装置からなるシステムを示す図である。
【００３９】
動画像処理装置（本体）１０には、各種の周辺装置が接続される。この周辺装置には、ビデオカメラ１１６以外に、例えば、デジタルカメラ、スキャナ等がある。ディスプレイ装置１０７は、テレビ受像機、携帯端末の表示器、ビデオカメラのモニタ、パソコン用のモニタ等に代表される。テレビ受像機の場合、従来の放送用の画面における縦横比は４：３であるが、所謂ワイド画面における縦横比は１６：９である。また、パソコン用ＴＦＴ液晶ディスプレイにおける縦横比は１６：１０である。
【００４０】
また、プリンタ１０９は、プリンタＩ／Ｆ１０８を通して動画像処理装置１０に接続されており、例えば、静止画像を印刷する。動画像処理装置１０は、ネットワークＩ／Ｆ１１０を通じて、インターネット等のネットワーク２０５に接続される。外部記憶装置１０６は、ＤＶＤ−ＲＡＭ／ＲＯＭ／Ｒ／ＲＷ、ＣＤ−Ｒ／ＲＷ等のメディアに対してデータの読出／書込を行う。
【００４１】
メモリカードスロット２０７は、メモリカードＩ／Ｆ１０５を介して動画像処理装置１０に接続される。動画像処理装置１０の前面には、電源スイッチ２０９、ビデオ端子２１０等が設けられている。実施形態１では、動画再生装置としてビデオカメラ１１６が用いられるが、ビデオカメラの代わりにビデオデッキ、テレビチューナであってもよい。
【００４２】
次に、リモコン１１２の詳細構成について、図３を用いて説明する。
【００４３】
図３は本発明の実施形態１の赤外線リモコンの詳細構成を示す図である。
【００４４】
図３において、３０１は赤外線発光部である。操作面には、各種ボタンが割り当てられている。
【００４５】
具体的には、３０２はモード（ＭＯＤＥ）設定ボタンであり、動画像処理装置１０の各種操作モード（例えば、記録、再生、表示、印刷等）の設定を行うためのボタンである。３０３はヘルプ（ＨＥＬＰ）ボタンであり、動画像処理装置１０の各種操作のヘルプ画面の表示を指示するためのボタンである。
【００４６】
３０４はメニュー（ＭＥＮＵ）ボタンであり、動画像処理装置１０の各種操作を実行するためのメニュー画面を表示するためのボタンである。３０５は上矢印（↑）ボタンである。３０６は左矢印（←）ボタンである。３０７は右矢印（→）ボタンである。３０８は下矢印（↓）ボタンである。これらの各矢印ボタン３０５〜３０８を操作することによって、メニュー画面上のカーソルを移動したり、画面の切換等の各種操作を実行することが可能である。
【００４７】
３０９はＯＫボタンであり、操作対象の処理の実行を指示したり、確定したりするためのボタンである。３１０はキャンセル（ＣＡＮＣＥＬ）ボタンであり、操作対象の処理の実行を取り消したり、選択対象の選択を解除するためのボタンである。
【００４８】
次に、動画像処理装置１０の動画入力（動画記録）時の動作について、図４を用いて説明する。
【００４９】
図４は本発明の実施形態１の動画像処理装置における動画記録処理を示すフローチャートである。
【００５０】
尚、この処理を実現するプログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。
【００５１】
まず、電源ボタン２０９により電源が投入されると、各種インターフェースの初期化等のシステムの初期化処理を行う（ステップＳ４０１）。次に、リモコン１１２やオペレーションパネル１１４からのコマンドの入力を待つ（ステップＳ４０２）。尚、コマンドは、ビデオＩ／Ｆ１１５に接続されたビデオカメラ１１６が再生を開始したことを検出した時にも発生する。
【００５２】
コマンドが入力されると、その内容を評価し、動画入力コマンドであるか否かを判定する（ステップＳ４０３）。動画入力コマンドでない場合（ステップＳ４０３でＮＯ）、入力されたコマンドの内容に対応するその他のコマンド処理を行い（ステップＳ４０７）、ステップＳ４０２の処理に戻る。
【００５３】
一方、ステップＳ４０３において、動画入力コマンドである場合（ステップＳ４０３でＹＥＳ）、ビデオＩ／Ｆ１１５を介して入力される動画像データをハードディスクドライブ１０４に蓄積する（ステップＳ４０４）。そして、その動画像データに対するインデックスの作成を行う（ステップＳ４０５）。また、作成されたインデックスは、ハードディスク１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体に保存されることとなる。尚、インデックスの作成処理の詳細については後述する。
【００５４】
ここで、インデックスは、動画を分割した各シーンから得られた静止画、各シーンの開始点、長さその他の属性情報と、動画再生を行うためにシーンと動画像データとを関連付けたデータとから構成される。また、シーンとは、動画像データ中の区間であり、例えば、動画像クリップにおいて採用された区間の開始点や終了点のフレームＩＤ、長さのフレーム数等で表わすことができる。
【００５５】
そして、インデックスの作成を終了すると、インデックスを表示し（ステップＳ４０６）、処理を終了する。
【００５６】
次に、ステップＳ４０５のインデックス作成処理の詳細について、図５を用いて説明する。
【００５７】
図５は本発明の実施形態１のステップＳ４０５のインデックス作成処理の詳細を示すフローチャートである。
【００５８】
まず、動画像データ中のシーンの区切れであるシーンチェンジを検出する（ステップＳ５０１）。尚、シーンチェンジの検出方法には、さまざまな方法が知られているが、実施形態１では、フレーム画像の変化による検出方法を用いる。
【００５９】
フレーム画像の変化によるシーンチェンジの検出方法では、動画像データから１フレームづつフレーム画像を取り出す処理を行い、過去のフレーム群とのフレーム間類似性距離の計算を行う。ここで、過去のフレーム群とは、単数のフレームの場合も複数のフレームの場合もあり、特に、そのアルゴリズムは限定されない。
【００６０】
最も簡単な例を挙げると、前のフレームと現在のフレームに対し、各々のフレーム画像を縦横に格子状に複数のブロック分割を行い、それぞれのブロックに関してＲＧＢの平均値を算出しておく。次に、前のフレームと現在のフレームの対応するブロック同士のＲＧＢ各チャンネルの差の二乗和を求め、これをシーンチェンジの激しさの度合いを表すフレーム間類似性距離とする。そして、類似性距離がが所定値より小さいほど類似しており、所定値より大きいほど類似していない、即ち、シーンチェンジである可能性が大きいとする。
【００６１】
このフレーム間類似性距離の計算式は、以下式に示す通りである。
【００６２】
ここで、各変数の内容は以下の通りである。
【００６３】
Ｋ ：分割ブロック数
Ｐ１ｉＲ：直前のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ１ｉＧ：直前のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ１ｉＢ：直前のフレームのｉ番目のブロックのＢチャンネルの平均値
Ｐ２ｉＲ：現在のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ２ｉＧ：現在のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ２ｉＢ：現在のフレームのｉ番目のブロックのＢチャンネルの平均値
以上のような方法で、シーンチェンジの有無を判定し、シーンチェンジを判定した場合、シーンチェンジの起こったフレーム番号をシーン開始フレームとしてＲＡＭ１０３に記憶し、そのシーンチェンジの激しさの度合いを表す類似度（または距離）、及びそのシーンがブランクシーンであるか否かを示す情報を記憶する。こられの情報をシーン情報と呼ぶこととし、インデックスの一部とする。
【００６４】
また、各シーンの長さは、次のシーンの開始フレーム番号と現在のシーンの開始フレーム番号との差から算出することができる。尚、最後のシーンの長さは、動画全体のフレーム数と最終シーンの開始フレーム番号との差から算出することができる。
【００６５】
このようにして、シーンチェンジ（分割点）を検出すると、シーンチェンジによって分割されたシーン数が予め設定された第１の閾値を越えているか否かを判定する（ステップＳ５０２）。シーン数が第１の閾値以下である場合（ステップＳ５０２でＮＯ）、ステップＳ５０３に進み、各々のシーンの長さが予め設定された第２の閾値を越えているか否かを判定する。ここでは、たとえ決められたシーン数に達していなくてもあまりに短いシーンがある場合、結合してインデックスの数を減らすようにする。
【００６６】
一方、ステップＳ５０２において、シーン数が第１の閾値を越えている場合（ステップＳ５０２でＹＥＳ）、あるいはステップＳ５０３において、シーンの長さが第２の閾値以下である場合（ステップＳ５０３でＮＯ）、ステップＳ５０４に進み、シーン結合処理を行う。
【００６７】
シーン結合処理では、シーン数を減らし、各シーンのシーン長が第２の閾値を越え、かつ各シーンのシーン長の標準偏差（偏り）がなるべく最小になるようにシーンを結合する。尚、シーンが１つしかなかったり、動画全体の長さが第２の閾値に満たないような例外的な場合は、この処理を行わない。
【００６８】
シーン結合処理の簡単な例として、２つの方法を示す。
【００６９】
第１の方法では、各シーンについて、そのシーンの長さと１つ前のシーンの長さの和を求め、この和が最小となるシーンについて１つ前のシーンと結合し、シーン数が第２の閾値を越えるまで繰り返す。また、第２の方法では、動画全体を第１の閾値の数で時間等分し、各々の等分した個所に最も近いシーン開始点であるシーンを採用する方法で、採用されなかったシーンは、それぞれその前方にある採用シーンと結合する。第２の方法は、特に動画のシーン数が第１の閾値で定められたシーン数より十分多い場合に有効である。
【００７０】
ステップＳ５０４で、シーン結合処理を行った後、各シーンの代表画像となる静止画を作成する（ステップＳ５０５）。この最も簡単な例としては、各シーンの先頭フレーム画像をそのシーンの静止画として関連付ける。尚、シーン中の複数のフレーム画像から静止画を合成してもよい。この後、シーン情報及び静止画をシーンに対応付け、インデックスとしてハードディスクドライブ１０４に記憶し（ステップＳ５０６）、処理を終了する。
【００７１】
この処理が完了すると、実施形態１では、処理対象の動画のインデックスとして、各シーンを代表する静止画（代表画像）がディスプレイ装置１０７に表示されることになる。
【００７２】
ここで、ディスプレイ装置１０７に表示されるインデックス一覧表示画面の一例について、図６を用いて説明する。
【００７３】
図６は本発明の実施形態１のディスプレイ装置に表示されるインデックス一覧表示画面の一例を示す図である。
【００７４】
図中、６０１〜６０４は、動画が先頭から４つのシーンに分割された場合の各シーンの代表画像を表す静止画である。６０５は選択中のシーンを示すカーソルである。ここで、リモコン１１２の各矢印ボタン３０５〜３０８を押下することにより、切り出された全てのシーンの中から１つのシーンを選択することができる。
【００７５】
また、ＭＥＮＵボタン３０４を押下することにより、実施形態１における動画像処理装置に実装されている各種機能がメニュー表示され、ここで各矢印ボタン３０５〜３０８を操作することによって、ユーザが操作したい機能を選択することができる。
【００７６】
ＯＫボタン３０９を押下すると、ユーザが選択した操作を開始する。実施形態１では、作成したインデックスの連続再生機能が実装されており、矢印ボタン３０５〜３０８によって本機能を選択してＯＫボタン３０９を押下することにより、一覧表示されているシーンの先頭から順に動画再生を開始する。
【００７７】
６０６は動画バーであり、バー全体で１つの動画像データの再生時間を表す。６０７は現在のシーンを示すマーカであり、現在選択中のシーンが動画全体に占める位置と長さが分かるように表示される。６０８はシーンマーカであり、全てのシーンの先頭と長さが一目でわかるように表示される。
【００７８】
次に、動画像処理装置１０の動画連続再生時及び再生終了時の動作について、図７を用いて説明する。
【００７９】
図７は本発明の実施形態１の動画像処理装置における動画連続再生処理及び再生終了後のシーンの選択状態変更処理を示すフローチャートである。
【００８０】
尚、この処理を実現するプログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。また、この処理は、図６のインデックス一覧表示画面が表示された状態で、ＭＥＮＵボタン３０４等を押下することによって、各シーンの連続再生機能を選択することができる。
【００８１】
連続再生機能が選択されると、まず、全てのシーンの「選択状態」を一時的に「非選択」に設定する（ステップＳ７０１）。この選択状態は、各々のシーンを示す識別情報と関連付けて、ハードディスク１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体に保存されることとなる。
【００８２】
次に、処理対象のシーンを再生するために必要なデータ、即ち、シーンの開始点、長さまたは終了点、その他の属性情報、そのシーンの動画再生を行うためのデータを取得する（ステップＳ７０２）。
【００８３】
次に、再生対象のシーンを他のシーンと区別がつくような識別表示を行う（ステップＳ７０３）。例えば、図６に示すインデックス一覧表示画面において、一覧のそれぞれの位置で各シーンを再生する場合は、カーソル６０５を次に再生するシーンを示す代表画像に移動する。また、シーンの再生にディスプレイ装置１０７の画面全体を再生画面として使う場合には、シーン再生直前にインデックス一覧表示画面を数秒間表示してこれから再生するシーンをカーソルで囲み、その後、再生画面へ移行する。このように、次に再生されるシーンが分かるような表示を行うことによって、ユーザが、今、どのシーンが再生されているのかを容易に視認することができる。
【００８４】
次に、ステップＳ７０２で取得したデータを用いて、再生対象のシーンの再生を開始する（ステップＳ７０４）。その後、シーン再生中には、早送りや巻き戻し、停止等の各種操作を受け付けることができるため、ユーザ操作の入力待ちの状態となっている。ユーザは、リモコン１１２やオペレーションパネル１１４等の操作手段を使用して、各種ユーザ操作を実行することができる。
【００８５】
そして、この状態で、ユーザ操作の有無を判定する（ステップＳ７０５）。ユーザ操作がない場合（ステップＳ７０５でＮＯ）、ステップＳ７０７に進む。一方、ユーザ操作がある場合（ステップＳ７０５でＹＥＳ）、ステップＳ７０６に進み、ユーザ操作内容に基づくユーザ操作処理を実行する。尚、この処理の詳細については後述する。
【００８６】
次に、再生を開始したシーンが、その最終フレームまで正常に再生されたか否かを判定する（ステップＳ７０７）。再生が終了した場合（ステップＳ７０７でＹＥＳ）、ステップＳ７０８に進む。一方、再生が終了していない場合（ステップＳ７０７でＮＯ）、即ち、まだ、再生中の場合には、再びユーザ操作の入力待ち状態となり、ステップＳ７０５に戻る。尚、シーンの再生が終了した場合に、動画像処理装置１０から再生正常終了を示すイベントを受信するように実装することもでき、その場合は、イベント受信をトリガとして以下の処理へ進むこととなる。
【００８７】
ステップＳ７０７において、シーンの再生が終了した場合、その再生が通常再生であったか否かを判定する（ステップＳ７０８）。通常再生である場合（ステップＳ７０８でＹＥＳ）、ステップＳ７０９に進む。一方、通常再生でない場合（ステップＳ７０８でＮＯ）、早送りまたは巻き戻しである場合、ステップＳ７１０に進む。尚、早送りや巻き戻し再生はユーザによって指示され、その指示内容に従って、ステップＳ７０６のユーザ操作処理を実行する。
【００８８】
通常再生が終了した場合に、ステップＳ７０１で一時的に「非選択」にしておいたシーンの「選択状態」を「選択」に設定する（ステップＳ７０９）。但し、早送りや巻き戻し再生の場合には、変更されずそのまま「非選択」になる。
【００８９】
次に、再生対象の次のシーンの有無を判定する（ステップＳ７１０）。次のシーンがある場合（ステップＳ７１０でＹＥＳ）、ステップＳ７０２に戻り、次のシーンの再生に必要なデータを取得し、再生を行う。一方、次のシーンがない場合（ステップＳ７１０でＮＯ）、ステップＳ７１１に進む。
【００９０】
次に、ＲＡＭ１０３等の記憶媒体から、ステップＳ７０１及びステップＳ７０９で設定された各シーンの選択／非選択状態を取得する（ステップＳ７１１）。
【００９１】
次に、インデックス一覧表示画面において、各シーンの選択／非選択状態を識別できるような状態識別表示を行う（ステップＳ７１２）。この識別表示は、例えば、各代表画像の枠を選択／非選択によって色分けをして示したり、非選択状態となっているシーンの代表画像を網掛けで表示する等の表示形態を制御することによって、ユーザは各シーンの選択／非選択状態を判別することができる。
【００９２】
その後、インデックス一覧表示画面において、リモコン１１２の各矢印ボタン３０５〜３０８を押下することによってカーソルを移動したり、ＭＥＮＵボタン３０４とＯＫボタン３０９を押下することによって、各種機能を選択することができるため、ユーザ操作の入力待ちの状態となる。
【００９３】
そこで、ユーザ操作の有無を判定する（ステップＳ７１３）。ユーザ操作がある場合（ステップＳ７１３でＹＥＳ）、ステップＳ７１４に進み、ユーザ操作処理を実行する。一方、ユーザ操作がない場合（ステップＳ７１３でＮＯ）、処理を終了する。
【００９４】
次に、ステップＳ７０６のユーザ操作処理の詳細について、図８を用いて詳述する。
【００９５】
図８は本発明の実施形態１のステップＳ７０６のユーザ操作処理の詳細を示すフローチャートである。
【００９６】
尚、このユーザ操作処理は、処理対象のシーンの再生中に、ユーザ操作によって適宜実行可能な処理である。
【００９７】
まず、入力されたユーザ操作がスキップ要求であるか否かを判定する（ステップＳ８０１）。スキップ要求である場合（ステップＳ８０１でＹＥＳ）、ステップＳ８０２に進み、現在再生中のシーンの再生中止を行い（ステップＳ８０２）、図７のステップＳ７１０へ進む。一方、スキップ要求でない場合（ステップＳ８０１でＮＯ）、ステップＳ８０３に進む。
【００９８】
次に、入力されたユーザ操作が早送り要求であるか否かを判定する（ステップＳ８０３）。早送り要求である場合（ステップＳ８０３でＹＥＳ）、ステップＳ８０４に進み、ステップＳ８０５で早送りの終了要求が判定されるまで、現在再生中のシーンの早送り再生処理を続ける。一方、早送り要求でない場合（ステップＳ８０３でＮＯ）、ステップＳ８０７に進む。
【００９９】
次に、入力されたユーザ操作が早送り終了要求であるか否かを判定する（ステップＳ８０５）。早送り終了要求である場合（ステップＳ８０５でＹＥＳ）、ステップＳ８０６に進み、早送り再生処理を終了することによって、通常再生を行う。一方、早送り終了要求でない場合（ステップＳ８０５でＮＯ）、ステップＳ８０７に進む。
【０１００】
次に、入力されたユーザ操作が巻き戻し要求であるか否かを判定する（ステップＳ８０７）。巻き戻し要求である場合（ステップＳ８０７でＹＥＳ）、ステップＳ８０８に進み、巻き戻しの終了要求が判定されるまで、現在再生中のシーンの巻き戻し再生処理を続ける。一方、巻き戻し要求でない場合（ステップ８０７でＮＯ）、ステップＳ８１１に進む。
【０１０１】
次に、入力されたユーザ操作が巻き戻し終了要求であるか否かを判定する（ステップＳ８０９）。巻き戻し終了要求である場合（ステップＳ８０９でＹＥＳ）、ステップＳ８１０に進み、巻き戻し再生処理を終了することによって、通常再生を行う。一方、巻き戻し終了要求でない場合（ステップＳ８０９でＮＯ）、ステップＳ８１１に進む。
【０１０２】
次に、入力されたユーザ操作が停止要求であるか否かを判定する（ステップＳ８１１）。停止要求である場合（ステップＳ８１１でＹＥＳ）、ステップＳ８１２に進み、動画像処理装置１０に対して現在再生中のシーンの再生中止を指示して、図７のステップＳ７１１へ進む。一方、停止要求でない場合（ステップＳ８１１でＮＯ）、ステップＳ８１３に進む。
【０１０３】
次に、入力されたユーザ操作が選択状態の変更要求であるか否かを判定する（ステップＳ８１３）。尚、この選択状態の変更要求は、例えば、インデックスの一覧表示画面で各代表画像に対するシーンを各々の画像表示位置で連続再生中に、ＭＥＮＵボタン３０４を押下してメニューを表示し、矢印ボタン３０５〜３０８とＯＫボタン３０９を押下して選択状態の変更機能を選択することによって行う。
【０１０４】
そして、ステップＳ８１３において、選択状態の変更要求である場合（ステップＳ８１３でＹＥＳ）、ステップＳ８１４に進み、シーンを選択するためのシーン選択操作処理を実行する。
【０１０５】
このシーン選択操作処理では、ユーザは、リモコン１１２の各矢印ボタン３０５〜３０８を押下することにより、カーソルを移動して、切り出された全てのシーンの中から１つのシーンを選択することができる。但し、選択することができるシーンは、既に再生が終了したシーンである。ここで、ＯＫボタン３０９を押下することによって、ステップＳ８１５に進み、選択／非選択状態を変更するための変更処理を実行する。
【０１０６】
この変更処理では、選択／非選択状態を変更するための変更画面を表示し、ユーザからの変更操作の入力を受け付ける。ユーザが変更画面上で、選択／非選択を選択し、ＯＫボタン３０９を押下することによって、ＲＡＭ１０３等に記憶されたシーンの選択／非選択状態が変更される。各シーンの選択／非選択状態が変更されたら、インデックス一覧表示画面における各シーンの選択／非選択の状態識別表示も変更する。
【０１０７】
一方、選択状態の変更要求でない場合（ステップＳ８１３でＮＯ）、ステップＳ８１６に進み、上記で説明したユーザ操作以外の操作が入力された場合に、それぞれの操作処理を行う。
【０１０８】
次に、ステップＳ７１４のユーザ操作処理の詳細について、図９を用いて説明する。
【０１０９】
図９は本発明の実施形態１のステップＳ７１４のユーザ操作処理を示すフローチャートである。
【０１１０】
まず、入力されたユーザ操作が編集要求であるか否かを判定する（ステップＳ９０１）。尚、編集要求は、ＭＥＮＵボタン３０４を押下してメニューを表示し、矢印ボタン３０５〜３０８とＯＫボタン３０９を押下して編集機能を選択することによって指示する。
【０１１１】
尚、この編集機能には、シーン同士の結合処理、シーンの順番を入れ替える処理、シーンのファイル形式を、例えば、ＭＰＥＧ形式からＡＶＩ形式に変換する変換処理等の各種画像処理が含まれる。
【０１１２】
ステップＳ９０１において、編集要求である場合（ステップＳ９０１でＹＥＳ）、ステップＳ９０２に進み、編集のための編集画面を表示し、その編集画面を介する編集処理を実行する。この編集処理での編集対象となるシーンは、現在選択状態になっているシーンである。一方、編集要求でない場合（ステップＳ９０１でＮＯ）、ステップＳ９０３に進む。
【０１１３】
次に、入力されたユーザ操作が選択／非選択状態の変更要求であるか否かを判定する（ステップＳ９０３）。尚、選択／非選択状態の変更要求は、ＭＥＮＵボタン３０４を押下してメニューを表示し、矢印ボタン３０５〜３０８とＯＫボタン３０９を押下して選択／非選択状態の変更画面を選択することによって指示する。
【０１１４】
ステップＳ９０３において、選択／非選択状態の変更要求である場合（ステップＳ９０３でＹＥＳ）、ステップＳ９０４に進み、シーンを選択するためのシーン選択操作処理を実行する。ユーザは、リモコン１１２の各矢印ボタン３０５〜３０８を押下することにより、カーソルを移動して、切り出された全てのシーンの中から１つのシーンを選択することができる。ここで、ＯＫボタン３０９を押下することによって、ステップＳ９０５へ進み、シーンの選択／非選択状態を変更するための変更処理を実行する。
【０１１５】
この変更処理では、選択／非選択状態を変更するための変更画面を表示し、ユーザからの変更操作の入力を受け付ける。ユーザが変更画面上で、選択／非選択を選択し、ＯＫボタン３０９を押下することによって、ＲＡＭ１０３等に記憶されたシーンの選択／非選択状態が変更される。各シーンの選択／非選択状態が変更されたら、インデックス一覧表示画面における各シーンの選択／非選択の状態識別表示も変更する。
【０１１６】
一方、ステップＳ９０３において、選択／非選択状態の変更要求でない場合（ステップＳ９０３でＮＯ）、ステップＳ９０６に進み、上記で説明したユーザ操作以外の操作が入力された場合に、それぞれの操作処理を行う。
【０１１７】
尚、図９では、メニューから変更機能を選択することにより変更画面を表示して、処理対象のシーンの選択状態を変更する場合の例について説明したが、実装上、他の操作方法によって変更機能を実現することもできる。例えば、インデックス一覧表示画面において、選択状態を変更したいシーンにカーソルを移動させた状態で、ＭＯＤＥボタン３０２を押下することによって、選択／非選択をトグルさせて、選択／非選択状態を変更するような構成としても良い。
【０１１８】
以上説明したように、実施形態１によれば、動画編集や情報付与等のために目的のシーンを検索する場合に、シーンに対する再生操作内容の種類（通常再生、早送り再生、巻き戻し再生、再生中止）に基づいて、画像処理対象とするか否かを示すシーンの選択／非選択状態を設定する。
【０１１９】
そのため、再生後に、インデックス一覧表示画面上に多数のシーンの代表画像が表示されても、内容確認済のシーンを間違えて選択したり、目的のシーンが判別できず再確認するといったことがなくなり、操作効率を上げることができる。また、再生後の選択／非選択状態の設定操作が不要なので、更に操作効率が向上する。
【０１２０】
具体的には、例えば、複数のシーンの中から、所望のシーン群を選択して、１つの動画に結合操作を実行する場合には、候補となるシーンの再生確認を通常再生した場合には、その通常再生が完了した時点で、そのシーンが結合対象のシーンとして確定される。これにより、複数のシーンそれぞれに対し、通常再生による確認を行ったシーンは、確認が完了した時点で、シーンが結合対象として確定されているので、その後の結合操作を行う場合には、結合対象とするシーンの選択操作を行わずに、直ちに結合操作を行うことが可能となる。
【０１２１】
［実施形態２］
実施形態１では、シーンの選択／非選択状態の設定を、処理対象のシーンの再生操作内容として、その種類が通常再生である場合にのみ、そのシーンを選択状態に設定する構成としたが、用途や目的に応じては、これに限定されない。例えば、再生操作内容の種類ごとに、デフォルトの選択／非選択状態を設定しておき、実際の再生操作内容と、デフォルトの選択／／非選択情報に基づいて、シーンの選択／非選択状態を設定するようにしても良い。
【０１２２】
以下、実施形態２に係る動画像処理装置１０の動画連続再生時及び再生終了時の動作について、図１０を用いて説明する。
【０１２３】
図１０は本発明の実施形態２の動画像処理装置における動画連続再生処理及び再生終了後のシーンの選択状態変更処理を示すフローチャートである。
【０１２４】
尚、この処理は、実施形態１の図７の処理の応用例であり、図７と同一の処理ステップは同一のステップ番号を付加し、その詳細については省略する。但し、実施形態２の場合のステップＳ７０６のユーザ操作処理を、実施形態１の図８で実現する場合に、ステップＳ８０２の処理では、その処理後は、ステップＳ７１０ではなく、ステップＳ７１８に戻る。
【０１２５】
ステップＳ７０１〜ステップＳ７０７の処理を経て、ステップＳ７０７において、シーンの再生が終了した場合、そのシーンの選択／非選択状態を設定する状態設定処理を実行する（ステップＳ７１８）。尚、この状態設定処理の詳細については後述する。
【０１２６】
次に、シーンの再生が中断されたか否かを判定する（ステップＳ７１９）。再生が中断されない場合（ステップＳ７１９でＮＯ）、つまり、中断されず、正常に通常再生が終了した場合、ステップＳ７１０に進む。一方、再生が中断された場合（ステップＳ７１９でＹＥＳ）、ステップＳ７１１に進む。
【０１２７】
尚、再生の中断は、実施形態１の図８で説明したユーザ操作処理によって実現されるものである。
【０１２８】
次に、ステップＳ７１８の状態設定処理の詳細について、図１１を用いて説明する。
【０１２９】
図１１は本発明の実施形態２の状態設定処理の詳細を示すフローチャートである。
【０１３０】
まず、通常再生によってシーンの再生が終了したか否かを判別する（ステップＳ１００１）。通常再生が終了した場合（ステップＳ１００１でＹＥＳ）、ステップＳ１００９へ進み、そのシーンを非選択状態から選択状態に設定する。一方、通常再生が終了してなかった場合（ステップＳ１００１でＮＯ）、ステップＳ１００２に進む。
【０１３１】
次に、ユーザからのスキップ操作が行われたか否かを判定する（ステップＳ１００２）。スキップ操作が行われた場合（ステップＳ１００２でＹＥＳ）、ステップＳ１００６に進む。一方、スキップ操作が行われていない場合（ステップＳ１００２でＮＯ）、ステップＳ１００３に進む。
【０１３２】
次に、早送り再生操作によってシーンの再生が終了したか否かを判定する（ステップＳ１００３）。早送り再生操作が行われた場合（ステップＳ１００３でＹＥＳ）、ステップＳ１００６に進む。一方、早送り再生操作が行われなかった場合（ステップＳ１００３でＮＯ）、ステップＳ１００４に進む。
【０１３３】
次に、巻き戻し再生操作によってシーンの再生が終了したか否かを判定する（ステップＳ１００４）。巻き戻し再生操作が行われた場合（ステップＳ１００４でＹＥＳ）、ステップＳ１００６に進む。一方、巻き戻し再生操作が行われなかった場合（ステップＳ１００４でＮＯ）、ステップＳ１００５に進む。
【０１３４】
次に、ユーザからの停止操作が行われたか否かを判定する（ステップＳ１００５）。停止操作が行われなかった場合（ステップＳ１００５でＮＯ）、処理を終了する。一方、停止操作が行われた場合（ステップＳ１００５でＹＥＳ）、ステップＳ１００６に進む。
【０１３５】
次に、ステップＳ１００２〜ステップＳ１００５の各種判定で、スキップ操作や早送り操作等の操作が行われた場合は、それぞれの操作内容に対してデフォルトで設定されている選択／非選択状態を、ＲＡＭ１０３等の記憶媒体から取得する（ステップＳ１００６）。
【０１３６】
尚、この各操作内容に対するデフォルトの選択／非選択状態は、ＨＤＤ１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体にユーザによって予め設定され保存されている。このデフォルトの選択／非選択状態の設定処理の詳細については後述する。
【０１３７】
次に、ステップＳ１００６で取得したデフォルトの選択／非選択状態を示し、その状態に対し、実際に所望する選択／非選択状態に設定変更する設定変更指示を受け付ける設定受付画面を表示する（ステップＳ１００７）。ユーザは、この設定受付画面上で、処理対象のシーンの選択／非選択を選択し、ＯＫボタン３０９を押下することによって、シーンの選択／非選択状態を設定することができる。尚、この処理をスキップして、デフォルトの選択／非選択状態を維持するようにしても良い。
【０１３８】
次に、シーンの状態の設定が選択に設定されているか否かを判定する（ステップＳ１００８）。選択に設定されていない場合（ステップＳ１００８でＮＯ）、処理を終了する。一方、選択に設定されている場合（ステップＳ１００８でＹＥＳ）、ステップＳ１００９に進み、そのシーンを選択状態に設定する。
【０１３９】
次に、ステップＳ１００６における、ユーザ操作の操作内容に基づくシーンのデフォルトの選択／非選択状態の設定処理の詳細について、図１２を用いて説明する。
【０１４０】
図１２は本発明の実施形態２のデフォルトの選択／非選択状態の設定処理の詳細を示すフローチャートである。
【０１４１】
尚、この処理を実現するプログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ１０１によって実行される。また、この処理は、図６のインデックス一覧表示画面において、ＭＥＮＵボタン３０４を押下することによって、各操作内容に対する選択／非選択状態を設定するための選択／非選択状態設定画面を表示し、その選択／非選択状態設定画面を介して実行する。
【０１４２】
まず、選択／非選択状態設定画面を表示する（ステップＳ１１０１）。次に、各操作内容に対するデフォルトの選択／非選択状態を設定するための入力を受け付ける処理を行う（ステップＳ１１０２）。これは、選択／非選択状態設定画面上で、スキップ、早送り、巻き戻し等の操作内容に対して、各々の操作を実行した場合に設定する選択／非選択状態を入力することができる。そして、ＯＫボタン３０９を押下することで、次のステップＳ１１０３に進む。
【０１４３】
次に、ステップＳ１１０２で入力された各々操作内容に対するデフォルトの選択／非選択状態を設定する。この状態は、各々の操作内容を示す識別情報と関連付けて、ＨＤＤ１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体に保存されることとなる。
【０１４４】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、シーンに対する再生操作内容の種類それぞれに対し、選択／非選択状態を予め設定しておくことができるので、よりユーザの意図や目的、用途に即した操作環境を提供することができる。
【０１４５】
［実施形態３］
実施形態１や２では、図６の処理によって得られたシーン群それぞれに対する選択／非選択状態を設定する場合を例に挙げて説明した。しかしながら、図６の処理によって得られたシーン群が、必ずしもユーザが意図するシーン群で構成されているとは限らない。そこで、実施形態３では、シーンの内容を確認するための再生操作内容に基づいて、実施形態１の図６の処理によって得られたシーン群の再構成を可能にする処理について説明する。
【０１４６】
実施形態３では、シーン群を再構成するタイミングとして、実施形態１の図８のステップＳ７０６のユーザ操作処理時に実行する。
【０１４７】
具体的には、図１３のフローチャートに示すように、処理対象のシーンの再生操作の操作内容に基づいて、ステップＳ８１７のシーン再構成処理を実行する。
【０１４８】
尚、この図１３のフローチャートは、実施形態１の図８の処理の応用例であり、図７と同一の処理ステップは同一のステップ番号を付加している。
【０１４９】
次に、ステップＳ８１７のシーン再構成処理の詳細について、図１４を用いて説明する。
【０１５０】
図１４は本発明の実施形態３のシーン再構成処理の詳細を示すフローチャートである。
【０１５１】
まず、ユーザからのスキップ操作が行われたか否かを判別する（ステップＳ１４０１）。スキップ操作が行われた場合（ステップＳ１４０１でＹＥＳ）、ステップＳ１４０５に進む。一方、スキップ操作が行われていない場合（ステップＳ１４０１でＮＯ）、ステップＳ１４０２に進む。
【０１５２】
次に、早送り再生操作が行われたか否かを判定する（ステップＳ１４０２）。早送り再生操作が行われた場合（ステップＳ１４０２でＮＯ）、ステップＳ１４０５に進む。一方、早送り再生操作が行われなかった場合（ステップＳ１４０２でＹＥＳ）、ステップＳ１４０３に進む。
【０１５３】
次に、巻き戻し再生操作が行われたか否かを判定する（ステップＳ１４０３）。巻き戻し再生操作が行われた場合（ステップＳ１４０３でＹＥＳ）、ステップＳ１４０５に進む。一方、巻き戻し再生操作が行われなかった場合（ステップＳ１４０３でＮＯ）、ステップＳ１４０４に進む。
【０１５４】
次に、停止操作が行われたか否かを判定する（ステップＳ１４０４）。停止操作が行われた場合（ステップＳ１４０４でＹＥＳ）、ステップＳ１４０５に進む。一方、停止操作が行われなかった場合（ステップＳ１４０４でＮＯ）、処理を終了する。
【０１５５】
次に、ステップＳ１４０１〜ステップＳ１４０４の各種判定で、スキップ操作や早送り操作等の操作が行われた場合は、各操作が行われた時点（操作入力点）のフレーム情報を取得する（ステップＳ１４０５）。
【０１５６】
例えば、操作内容がスキップ操作及び停止操作である場合にはその操作指示された時点のフレーム番号を操作入力点として取得する。また、早送り操作や巻き戻し操作である場合にはその操作の開始及び終了が指示された時点のフレーム番号を操作入力点として取得する。
【０１５７】
次に、取得したフレーム番号に基づいて、シーン分割処理を行う。このシーン分割処理では、取得したフレーム番号をシーンチェンジとして、その前後のシーンに分割する。
【０１５８】
例えば、スキップ操作や停止操作の場合は、各操作指示が行われた時点を境に前後２つのシーン（再生シーン及び未再生シーン）に分割する。また、早送り操作や巻き戻し操作の場合は、操作の開始指示が行われた点と終了指示が行われた点を境に３つのシーン（早送り・巻き戻し操作中のシーン（非通常再生シーン）とその前後のシーン（通常再生シーン））に分割する。ここで、ステップＳ１４０５で取得したフレーム番号は、後のシーンのシーン開始フレームとしてＲＡＭ１０３に記憶される。
【０１５９】
次に、シーン分割処理によって再構成された各シーンの代表画像となる静止画を作成する（ステップＳ１４０７）。この最も簡単な例としては、各シーンの先頭フレーム画像をそのシーンの代表画像として関連付ける。尚、複数のフレーム画像から代表画像を合成してもよい。
【０１６０】
次に、シーン情報及び静止画をシーンに対応付け、インデックスとしてハードディスクドライブ１０４に記憶する（ステップＳ１４０８）。
【０１６１】
次に、シーン変更処理によって再構成されたシーンとそのインデックスと、再構成前のシーンとそのインデックスをマージして、ハードディスクドライブ１０４上のシーンとインデックスを変更する（ステップＳ１４０９）。
【０１６２】
次に、分割した各シーンの選択／非選択状態を設定する（ステップＳ１４１０）。ここでは、通常再生されたシーンは選択状態に、通常再生されなかったシーンは非選択状態に設定する。
【０１６３】
例えば、スキップ操作や停止操作の場合は分割点前のシーンを選択状態に設定し、分割点後のシーンを非選択状態に設定する。また、早送り操作や巻き戻し操作の場合は、早送り・巻き戻し操作中のシーンは非選択状態に、その前後のシーンは選択状態に設定する。この選択／非選択状態は、新しく分割したシーンを示す識別情報と関連付けて、ハードディスク１０４、ＲＡＭ１０３、メモリカード１０５等の記憶媒体に追加保存されることになる。
【０１６４】
以上説明したように、実施形態３によれば、実施形態１で説明した効果に加えて、ユーザのシーンに対する操作の操作内容に基づいて、当初に分割されたシーン群を再構成し、その再構成された各シーンに対する選択／非選択状態を設定することで、よりユーザの意図や目的、用途に応じたシーンの分割及び選択／非選択状態を設定することができる。
【０１６５】
特に、この再構成及び選択／非選択状態は、シーンに対する操作に係る経験則に基づいて実行するので、より好適なシーンの分割及び選択／非選択状態を設定することができる。
【０１６６】
この経験則は、例えば、あるシーンの再生中に、スキップ操作や停止操作が実行された場合には、その操作前まではユーザが必要とするシーンと判断するものである。また、早送り・巻き戻し再生操作が実行された場合には、その操作中はユーザが不要とするシーンと判断するものである。
【０１６７】
尚、上記実施形態１〜３では、動画像データ中のシーンチェンジをフレーム間類似性距離に基づいて検出したが、これに限定されるものではない。例えば、動画像データ中のタイムコードの不連続点に基づいて、シーンチェンジを検出してもよい。この方法は、特に、デジタルビデオカメラのように、撮影時刻がタイムコードとして動画像データと共に記録されている場合に利用可能であり、例えば、タイムコードの不連続個所をシーンチェンジとすることは容易に実現することが可能である。
【０１６８】
また、動画像データに付加されている属性情報に基づいて、シーンチェンジを検出しても良い。この検出方法は、タイムコードの他に、ビデオカメラやフレーム画像の解析によって自動的に出力されるズーム、パン、チルトの開始、終了等のメタ情報、人手により付加された論理構造や動画の被写体に関するメタ情報等の属性情報に基づいて、シーンチェンジを検出する。この場合、シーン情報として、シーン開始フレームの他、シーンチェンジの検出に利用した属性情報の種類をシーン情報とする。
【０１６９】
更に、上述のフレーム間類似性距離による検出方法、タイムコードの不連続点による検出方法及び属性情報による検出方法を、適宜選択自在に、あるいは組み合わせて、シーンチェンジを検出するようにしても良い。
【０１７０】
上記実施形態１〜３では、動画像データはビデオＩ／Ｆ１１５を介して入力する構成としたが、これ以外の外部ソース、例えば、通信デバイスを介してネットワークから、メモリカード等から入力する構成であってもよい。また、図４のフローチャートでは、ステップＳ４０４で動画像データの記録を完了してから、ステップＳ４０５でそのインデックスを作成する構成としたが、マルチタスクシステムを導入して、動画像データの記録を行いながら、そのインデックスを作成する構成としても良い。
【０１７１】
また、各シーンの代表画像となる静止画を作成し、シーン情報及び静止画を動画像データに対応付けたインデックスを作成したが、特定のフレーム画像を静止画とする場合、静止画データの代わりに、フレーム番号だけを記録しても良い。この場合、実際の静止画を出力（表示や印刷）する場合には、そのフレーム番号と動画像データからオンデマンドで静止画データを作成することになる。
【０１７２】
更に、図５のステップＳ５０２でシーン数が第１の閾値を越えているか否かを判定した後に、ステップＳ５０３で各シーンの長さが第２の閾値を越えているか否かを判定し、その後、ステップＳ５０４のシーン結合処理を実行する構成としたが、この２つのステップの処理順序及びその処理内容を変更することも可能である。
【０１７３】
例えば、まず、各シーンの長さが第２の閾値を越えていないか否かを判定し、越えていない場合に、シーン結合処理を行い、その後、シーン結合処理後のシーン数が第１の閾値を越えているか否かを判定し、越えている場合に、再度、シーン結合処理を行うようにしてもよい。これにより、必要以上にシーン数を減らさないようにすることができる。
【０１７４】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１７５】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１７６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１７７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１７８】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１７９】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１８０】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１８１】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１８２】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０１８３】
【発明の効果】
以上説明したように、本発明によれば、動画を効率的に再利用することが可能な動画像処理装置及びその制御方法、プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態１の動画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態１の動画像処理装置と周辺装置からなるシステムを示す図である。
【図３】本発明の実施形態１の赤外線リモコンの詳細構成を示す図である。
【図４】本発明の実施形態１の動画像処理装置における動画記録処理を示すフローチャートである。
【図５】本発明の実施形態１のステップＳ４０５のインデックス作成処理の詳細を示すフローチャートである。
【図６】本発明の実施形態１のディスプレイ装置に表示されるインデックス一覧表示画面の一例を示す図である。
【図７】本発明の実施形態１の動画像処理装置における動画連続再生処理及び再生終了後のシーンの選択状態変更処理を示すフローチャートである。
【図８】本発明の実施形態１のステップＳ７０６のユーザ操作処理の詳細を示すフローチャートである。
【図９】本発明の実施形態１のステップＳ７１４のユーザ操作処理を示すフローチャートである。
【図１０】本発明の実施形態２の動画像処理装置における動画連続再生処理及び再生終了後のシーンの選択状態変更処理を示すフローチャートである。
【図１１】本発明の実施形態２の状態設定処理の詳細を示すフローチャートである。
【図１２】本発明の実施形態２のデフォルトの選択／非選択状態の設定処理の詳細を示すフローチャートである。
【図１３】本発明の実施形態３のステップＳ７０６のユーザ操作処理の詳細を示すフローチャートである。
【図１４】本発明の実施形態３のシーン再構成処理の詳細を示すフローチャートである。
【符号の説明】
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
１０５ メモリカードＩ／Ｆ
１０６ 外部記憶装置
１０７ ディスプレイ
１０８ プリンタＩ／Ｆ
１０９ プリンタ
１１０ ネットワークＩ／Ｆ
１１１ 赤外線受光部
１１２ リモコン
１１３ シリアルＩ／Ｆ
１１４ オペレーションパネル
１１５ ビデオＩ／Ｆ
１１６ ビデオカメラ
Claims (14)
- 動画像を処理する動画像処理装置であって、
前記動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する分割手段と、
前記分割手段で分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶する記憶手段と、
前記記憶手段に記憶されているインデックスに基づくインデックス画面を表示する表示手段と、
前記インデックス画面で表示されているインデックスに対応するシーンの操作を指示する指示手段と、
前記指示手段で指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う設定手段と
を備えることを特徴する動画像処理装置。 - 前記設定手段は、前記指示手段で指示されたシーンの操作が前記複数のシーンの各シーンの連続再生である場合、これらのシーンの内、全フレームが通常再生されたシーンは選択状態に設定し、全フレームが通常再生されなかったシーンは非選択状態に設定する
ことを特徴とする請求項１に記載の動画像処理装置。 - 前記設定手段によって設定された各シーンの選択／非選択状態を前記インデックス画面の対応するインデックス毎に表示制御する表示制御手段と、
前記インデックス画面のインデックス毎に表示されている選択／非選択状態を変更する変更手段と
を更に備えることを特徴とする請求項１に記載の動画像処理装置。 - 前記代表画像は、対応するシーンに基づいて作成された静止画である
ことを特徴とする請求項１に記載の動画像処理装置。 - 前記表示制御手段は、前記インデクス画面に各シーンのインデックスとして前記各シーンの代表画像を一覧表示し、シーンに対する操作が終了したシーンに対して前記選択／非選択状態を表示し、前記選択／非選択状態が表示されているシーンに対して前記変更手段による変更を許容する
ことを特徴とする請求項３に記載の動画像処理装置。 - 前記操作の操作内容の種類毎に、前記選択／非選択状態を予め対応づけて記憶する状態記憶手段を更に備える
ことを特徴とする請求項１に記載の動画像処理装置。 - 前記操作の操作内容の種類毎に、前記選択／非選択状態をデフォルトとして設定するデフォルト状態設定手段を更に備える
ことを特徴とする請求項６に記載の動画像処理装置。 - 前記設定手段は、通常再生中のシーンに対し、前記指示手段によって通常再生以外の他の操作によって前記シーンの全フレームが通常再生されなかった場合、前記他の操作の操作内容に対応する状態を前記状態記憶手段を参照して取得し、その取得した状態を、前記シーンの前記選択／非選択状態に設定する
ことを特徴とする請求項６に記載の動画像処理装置。 - 前記設定手段は、通常再生中のシーンに対し、前記指示手段によって通常再生以外の他の操作によって前記シーンの全フレームが通常再生されなかった場合、前記他の操作の操作内容に対応する状態を前記状態記憶手段を参照して取得する取得手段と、
前記取得手段で取得した状態の設定変更指示を受け付ける設定受付画面を表示する設定受付画面表示手段とを備え、
前記設定受付画面で設定変更指示された状態を、前記シーンの前記選択／非選択状態に設定する
ことを特徴とする請求項６に記載の動画像処理装置。 - 通常再生中のシーンに対し、前記指示手段によって通常再生以外の他の操作によって前記シーンの全フレームが通常再生されなかった場合、他の操作の操作入力点に基づいて、前記シーンを更に分割して再構成する再構成手段を更に備え、
前記設定手段は、前記他の操作の操作内容に基づいて、前記再構成手段で再構成されたシーン群それぞれについて、画像処理対象として選択するか否かを示す状態設定を行う
ことを特徴とする請求項１に記載の動画像処理装置。 - 前記再構成手段は、前記他の操作の操作入力点に基づいて、前記シーンを再生シーンと未再生シーンに更に分割して再構成し、
前記設定手段は、前記再生シーンを選択状態に設定し、前記未再生シーンを非選択状態に設定する
ことを特徴とする請求項１０に記載の動画像処理装置。 - 前記再構成手段は、前記他の操作の操作入力点に基づいて、前記シーンを通常再生シーンと非通常再生シーンに更に分割して再構成し、
前記設定手段は、前記通常再生シーンを選択状態に設定し、前記非通常再生シーンを非選択状態に設定する
ことを特徴とする請求項１０に記載の動画像処理装置。 - 動画像を処理する動画像処理装置の制御方法であって、
前記動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する分割工程と、
前記分割手段で分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶媒体に記憶する記憶工程と、
前記記憶媒体に記憶されているインデックスに基づくインデックス画面を表示する表示工程と、
前記インデックス画面で表示されているインデックスに対応するシーンの操作を指示する指示工程と、
前記指示工程で指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う設定工程と
を備えることを特徴する動画像処理装置の制御方法。 - 動画像を処理する動画像処理装置の制御を実現するプログラムであって、
前記動画像中のシーンチェンジに基づいて、該動画像を複数のシーンに分割する分割工程のプログラムコードと、
前記分割手段で分割された各シーンに対応する代表画像を含むシーンの属性情報をインデックスとして、シーン毎に記憶媒体に記憶する記憶工程のプログラムコードと、
前記記憶媒体に記憶されているインデックスに基づくインデックス画面を表示する表示工程のプログラムコードと、
前記インデックス画面で表示されているインデックスに対応するシーンの操作を指示する指示工程のプログラムコードと、
前記指示工程で指示されるシーンの操作の操作内容に基づいて、該シーンを、画像処理対象として選択するか否かを示す状態設定を行う設定工程のプログラムコードと
を備えることを特徴するプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003129456A JP2004336382A (ja) | 2003-05-07 | 2003-05-07 | 動画像処理装置及びその制御方法、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003129456A JP2004336382A (ja) | 2003-05-07 | 2003-05-07 | 動画像処理装置及びその制御方法、プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004336382A true JP2004336382A (ja) | 2004-11-25 |
Family
ID=33505288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003129456A Withdrawn JP2004336382A (ja) | 2003-05-07 | 2003-05-07 | 動画像処理装置及びその制御方法、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004336382A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006163605A (ja) * | 2004-12-03 | 2006-06-22 | Hitachi Kokusai Electric Inc | 画像検索表示装置とそのプログラム |
| US7925105B2 (en) | 2006-03-14 | 2011-04-12 | Seiko Epson Corporation | Image transfer and motion picture clipping process using outline of image |
-
2003
- 2003-05-07 JP JP2003129456A patent/JP2004336382A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006163605A (ja) * | 2004-12-03 | 2006-06-22 | Hitachi Kokusai Electric Inc | 画像検索表示装置とそのプログラム |
| US7925105B2 (en) | 2006-03-14 | 2011-04-12 | Seiko Epson Corporation | Image transfer and motion picture clipping process using outline of image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101070562B1 (ko) | 동화상 데이터의 편집 장치 및 동화상 데이터의 편집 방법 | |
| JP4354806B2 (ja) | 動画像管理装置及び方法 | |
| EP1806920A1 (en) | Moving picture data edition device and moving picture data edition method | |
| US20070172206A1 (en) | Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media | |
| US20180084030A1 (en) | Transfer device, client apparatus, server apparatus, reproduction apparatus and transfer method | |
| JP2003009069A (ja) | 動画記録装置、動画記録方法、動画再生装置、動画再生方法、プログラムおよび記憶媒体 | |
| JP5272835B2 (ja) | 画像供給装置、画像供給方法、及び画像供給用プログラム | |
| JP2004336382A (ja) | 動画像処理装置及びその制御方法、プログラム | |
| JP2009253769A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
| JP2008005344A (ja) | ファイル管理システム、撮像装置、外部機器、並びにファイル管理方法、プログラム、コンピュータ可読記憶媒体 | |
| JP2006174402A (ja) | コンテンツ編集装置、コンテンツ記録装置、プログラム、及び記録媒体 | |
| JP2005182931A (ja) | 情報記録再生装置及び情報記録再生方法 | |
| JP2003319312A (ja) | ハードディスクレコーダ、情報記録再生装置 | |
| JP2008294938A (ja) | コンテンツ記録再生装置及びサムネイル作成方法 | |
| JP5522972B2 (ja) | 再生装置及びその制御方法 | |
| US20080279526A1 (en) | Record/playback apparatus and control method therefor | |
| JP2009171345A (ja) | 情報処理装置及び情報処理方法 | |
| JP5060394B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP5697463B2 (ja) | 動画編集装置及び動画編集装置の制御方法 | |
| JP4422543B2 (ja) | 画像表示装置及び画像表示方法 | |
| JP2008017366A (ja) | 情報処理装置及び情報処理方法 | |
| JP2005196840A (ja) | データ記録再生装置 | |
| EP2036084A1 (en) | Method and apparatus for controlling reproduction of a title including av data and information recording medium | |
| JP2006338779A (ja) | コンテンツ分割装置、コンテンツ復元装置、及びコンテンツ分割方法、コンテンツ復元方法、並びにプログラム | |
| JP2005276429A (ja) | 動画像編集方法および動画像編集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060801 |