JP4759503B2 - 画像処理装置、画像処理装置の制御方法、プログラム - Google Patents

Description

本発明は、動画データに含まれるフレームを静止画データとして切り出して処理を実行する画像処理装置、画像処理方法、プログラム、記憶媒体に関するものである。

近年、デジタルカメラやデジタルカムコーダを用いて簡単に動画を撮影することが可能となっている。撮影された動画データは、ＤＶＤなどの記録メディアに記録して保存したり、ＰＣにダウンロードしたりすることができる。

ところで、このような動画データは連続する複数のフレームから成り立っている。即ち、撮影時に動画像を複数のフレームとして連続して順次記録していくことにより動画データが生成される。そして、このように動画データを構成するフレームの一部を静止画データとして切り出して使用することも可能である。

例えば、旅先でデジタルカメラを用いて撮影した動画データの中から任意のシーンを静止画データとして切り出して写真に現像することにより、旅行のアルバムを作成するといった使い方ができる。また、ユーザが自分で撮影した動画データ以外にも、テレビの情報番組などの動画データから必要な情報が表示された場面を切り出して印刷するといった使い方も考えられる。

しかしながら、このような場合に膨大な数のフレームからなる動画データの中から、ユーザが所望のシーンに対応するフレームを探し出すためには面倒な作業が必要となる。特に長時間にわたる動画データの場合は、切り出すフレームを探すために無駄な時間がかかってしまう。

このような問題を解決するために、動画データに含まれるフレームのうち、特定のフレームに予め印刷用のフラグを付加しておくことが考えられている（例えば、特許文献１）。

即ち、デジタルカメラで動画像を撮影する際にフレーム毎の画像の内容が大きく変化したことを検知した場合や、所定時間が経過したことを条件としてフレームに印刷用のフラグを付加しておく。これにより、後でユーザが印刷するフレームを選択する場合に、容易に所望のフレームを見つけ出すことができる。
特開２００５−２２９２３７号公報

しかしながら、上述したような先行技術を用いて印刷用のフラグを付加しただけでは以下のような問題が考えられる。即ち、上述した先行技術では動画データの撮影中に自動的にフラグを付加していくので必ずしもユーザが印刷を行う可能性が高いフレームにフラグが付加されるとは限らない。

また、上述した先行技術では撮影時の条件や動画データの内容に基づいてフラグを付加するだけなので、その後実際にユーザが印刷を行った結果は反映されない。即ち、ユーザが動画データ中の所定のフレームから静止画データを切り出して印刷した後、再度同じ静止画データを切り出して印刷しようとしても改めて所望のフレームを探すといった面倒な作業を行わなければならない。

本発明は、上記の問題点に鑑みなされたものであり、動画データ中のフレームから切り出された静止画データに対して処理を実行した場合に、当該処理を実行したことを示す情報をフレームに対応付けて管理する画像処理装置、画像処理方法、プログラム、記憶媒体を提供することを目的とする。

上記の目的を達成するために本発明の画像処理装置は、複数のフレームからなる動画データを複数記憶する記憶手段と、前記記憶手段に記憶されている複数の動画データから、いずれか１つの動画データを選択する動画データ選択手段と、前記動画データ選択手段により選択された動画データに含まれる複数のフレームから、いずれか１つのフレームを選択するフレーム選択手段と、前記フレーム選択手段により選択されたフレームを静止画データとして切り出す切出手段と、複数種別の処理を実行可能であって、前記切出手段により切り出された静止画データに対して前記複数種別の処理のいずれかを実行する処理手段と、前記処理手段により実行された処理の種別を示す履歴情報を、前記動画データ選択手段により選択された動画データ及び前記フレーム選択手段により選択されたフレームに対応付けて管理する管理手段と、検索条件として、処理の種別の指定を受け付ける受付手段と、前記管理手段が管理する履歴情報に基づいて、前記受付手段が受け付けた検索条件で指定された種別の処理が過去に実行された複数のフレームを抽出し、当該抽出した複数のフレームを、前記切出手段により静止画データとして再び切り出して前記処理手段により前記複数種別の処理のいずれかを実行するフレームの候補としてユーザに提示する提示手段と、前記提示手段が提示した候補のうちユーザによって選択されたフレームを静止画データとして再び切り出し、当該切り出した静止画データに対して前記複数種別の処理のいずれかを実行するよう前記切出手段及び前記処理手段を制御する制御手段と、を備えることを特徴とする。

動画データ中のフレームから切り出された静止画データに対して処理を実行した場合に、当該実行した処理の種別を示す情報をフレームに対応付けて管理することにより、過去に静止画データとして切り出して特定種別の処理を実行したフレームを静止画データとして再び切り出したい場合に、処理の種別を検索条件として当該フレームを容易に特定することができ、使い勝手が良くなる。

以下に、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明における画像処理装置として用いられるＭＦＰ（マルチファンクションペリフェラル）１００のシステムブロック図を示す。

制御部１１０は、画像入力デバイスであるスキャナ１３０や画像出力デバイスであるプリンタ１４０と接続されており、画像情報の入出力を制御する。また一方で、制御部１１０はＬＡＮ１９０やＰＳＴＮ（公衆回線）に接続されており、動画データまたは静止画データを含む画像情報や、デバイス情報などの入出力を制御する。

ＣＰＵ１１１は、ＭＦＰ１００の動作を制御するものであり、ＲＡＭ１１２に格納されたプログラムに基づいて動作する。ＲＡＭ１１２はまた、画像データを一時的に記憶するための画像メモリでもある。ＲＯＭ１１３はブートＲＯＭであり、システムのブートプログラムが格納されている。ＨＤＤ（ハードディスクドライブ）１１４は、システムソフトウェア、画像データ、ＭＦＰ１００の動作を制御するためのプログラム等を格納している。ＨＤＤ１１４に格納されたプログラムがＲＡＭ１１２にロードされ、ＣＰＵ１１１はこれに基づいてＭＦＰ１００の動作を制御する。

操作部Ｉ／Ｆ１１５は、操作部１５０と制御部１１０を接続するインターフェースであって、操作部１５０に表示するための画像データを操作部１５０に出力する。また、操作部１５０からユーザが入力した情報をＣＰＵ１１１に伝達する。ネットワークＩ／Ｆ１１６はＬＡＮ１９０に接続されて、各種情報の入出力を司る。Ｍｏｄｅｍ１１７は、ＰＳＴＮに接続されて、画像情報などの入出力を司る。

音声出力ユニットは、ＨＤＤ１１４に格納された動画データや音声データを再生する場合に、音声情報をスピーカー１６０に出力する。無線ＬＡＮＩ／Ｆ１１９は、赤外線通信などの無線通信を行って、携帯電話やノートパソコン、デジタルカメラなどの携帯端末１８０と動画データや静止画データの送受信を行う。無線ＬＡＮＩ／Ｆ１１９を介して受信した動画データや静止画データは、ＨＤＤ１１４内の後述するユーザボックスに保存される。メモリ１２０は、ＨＤＤ１１４と同様に動画データや静止画データを記憶するとともに、後述する履歴情報管理テーブルなどのＭＦＰ１００が備える機能を実行するために必要な各種情報を記憶する。なおこのメモリ１２０は、着脱可能な外部記憶装置であってもよい。

ＩｍａｇｅＢｕｓＩ／Ｆ１２１は、ＩｍａｇｅＢｕｓを介して画像データの高速な入出力を制御するためのインターフェースである。ＲＩＰ（ラスターイメージプロセッサ）部１２３は、ホストＰＣ１７０からＬＡＮ１９０及びネットワークＩ／Ｆ１１６を介して受信したＰＤＬコードをビットマップイメージに展開する。

スキャナ画像処理部１２５は、スキャナ１３０において原稿から読み取られた画像データに対して画像補正を行う。プリンタ画像処理部１２６は、プリンタ１４０へ出力される画像データに対して画像補正を行う。

画像変換部１２４は、ＲＡＭ１１２に記憶された画像データに対して画像変換を行う。具体的には、画像に対して回転処理、解像度変換処理などの処理を行う。またさらに画像変換部１２４は、２値画像を多値画像に変換したり、逆に多値画像を２値画像に変換したりする処理も行う。

図２は、ＭＦＰ１００の操作部１５０の外観図を示す。液晶操作パネル部２００はタッチパネルシートを備えた液晶表示装置であって、各種設定を行うための操作画面及び入力された設定情報の表示を行う。また、液晶操作パネル部２００はＨＤＤ１１４に格納された動画データを再生して表示したり、静止画データのプレビューを表示したりすることもできる。タッチパネルを用いてユーザが指示を入力した場合は、ユーザが触れた場所の位置情報を検知して、対応する指示内容が操作部Ｉ／Ｆ１１５を介してＣＰＵ１１１に伝えられる。

スタートキー２１０は、スキャナ１３０による読取動作やプリンタ１４０による印刷動作の開始を指示するためのハードキーである。スタートキー２０１の内部には緑色および赤色のＬＥＤが組み込まれており、動作開始可能な状態の場合には緑色のＬＥＤが、エラーなどにより動作開始不可能な状態の場合には赤色のＬＥＤが点灯する。ストップキー２０２は、動作の停止を指示するためのハードキーである。

ハードキー群２０３には、コピー部数などの数値を入力するためのテンキーや、ユーザがユーザＩＤやパスワードを入力してログインするためのログインキー、及びユーザモードに移行させて各種装置設定を行うためのユーザモードキーなどが含まれている。

図３は、液晶操作パネル部２００に表示される操作画面であって、ＭＦＰ１００の電源を入れた場合にデフォルト画面として表示されるＣＯＰＹ基本画面を示している。ＭＦＰ１００は、ＣＯＰＹモード、ＳＥＮＤモード、ＢＯＸモード、ＳＣＡＮモードの４つのモードを備えている。

ＣＯＰＹモードは、スキャナ１３０で原稿上の画像を読み取って入力し、プリンタ１４０で印刷出力する複写動作を行うためのモードである。ＳＥＮＤモードは、スキャナ１３０から入力された画像データまたはＨＤＤ１１４に予め格納された画像データを、ＬＡＮ１９０またはインターネットを介して、電子メールなどにより宛先に送信するためのモードである。ＢＯＸモードは、ボックスに格納された各種データを処理（編集・印刷・送信など）するためのモードである。なお、ボックスとはＨＤＤ１１４上の記憶領域が各ユーザにそれぞれ割り当てられたユーザボックスのことである。ＳＣＡＮモードは、スキャナ１３０を用いて原稿上の画像を読み取って入力し、ボックスに格納したりＬＡＮ１９０を介してホストＰＣ１７０に送信したりするためのモードである。

上述した各モードは、モードボタン３０１〜３０４を選択することにより切り替えられる。図３に示す例では、ＣＯＰＹモードが選択された状態の画面が表示されており、ボタン３０５〜３１０を用いて、それぞれ拡大／縮小、排紙方法選択、両面／片面指定、用紙サイズ選択、文字／写真指定、濃度指定の設定をユーザが行う。

図３に示すＢＯＸモードボタン３０３が選択された場合には、各ユーザに割り当てられたユーザボックスの属性情報がリスト表示されるユーザボックス一覧画面（図示しない）が表示される。そして、ユーザボックス一覧画面に表示されたユーザボックスリストの中から、いずれかのユーザボックスが選択された場合には、図４に示すファイル一覧画面が表示される。

図４は、ユーザボックス一覧画面で選択されたユーザボックスに格納されているファイルの属性情報をリスト表示するファイル一覧画面を示す。ファイル名表示欄４０１には、各ファイルの名称が表示される。ファイルタイプ表示欄４０２には、各ファイルのタイプを示す情報が表示される。ＨＤＤ１１４には、静止画データ（ｉｍａｇｅ）だけでなく、動画データ（ｍｏｖｉｅ）や音声データ（ｓｏｕｎｄ）を格納することができる。格納日時表示欄４０３には、各ファイルがボックスに格納された日時を示す情報が表示される。

ユーザボックスに格納されている各ファイルに対して各種処理を実行する場合には、表示されているファイルのいずれかを選択した状態で、ボタン４１１〜４１４のいずれかを押下する。なお、少なくとも１つのファイルが選択されていない限り、ボタン４１１〜４１４を選択することはできない。ファイルを選択する場合には、所望のファイルのファイル名が表示された領域にユーザが触れることにより選択することができる。ファイルが選択されると、選択されたファイルの属性情報が表示された領域の背景色が変化し、選択されたことが分かる。

図４に示す例では、「Ｂｉｒｔｈｄａｙ Ｐａｒｔｙ」という名称の動画データが選択されていることが分かる。なお、ここで選択できるファイルは１つに限らず、複数のファイルを同時に選択することもできる。複数のファイルが選択された場合には、それぞれのファイルの属性情報が表示された領域の背景色が変化する。

いずれかのファイルが選択された状態で表示ボタン４１１が選択されると、選択されたファイルの内容を確認することができる。具体的には、選択されたファイルが静止画データの場合には、画像のプレビューが表示される。また、選択されたファイルが音声データの場合には、音声がスピーカー１６０から出力される。選択されたファイルが動画データの場合には、動画が再生表示されるとともに、スピーカー１６０から音声が出力される。なお、複数のファイルが選択されている場合には、最初に選択されたファイルから順番に表示または再生される。

いずれかのファイルが選択された状態で印刷ボタン４１２が押下されると、選択されたファイルをプリンタ１４０から印刷する処理を行う。但し、この印刷処理を実行できるファイルは静止画データのみであって、動画データ及び音声データが選択されていた場合には、警告メッセージが表示される。

いずれかのファイルが選択された状態で送信ボタン４１３が選択されると、選択されたファイルを電子メールに添付して指定された宛先に送信する処理を行う。なお、この送信処理は静止画像データに限らず、動画データや音声データに対して処理を行うことも可能である。また、複数のファイルが選択されている場合には、１つの電子メールに選択された複数のファイルが添付されることになる。

＜静止画データの切り出し及び印刷動作＞
いずれかのファイルが選択された状態でキャプチャボタン４１４が押下されると、選択された動画データに含まれる一部のフレームを静止画データとして切り出して印刷する処理を行う。なお、この処理を実行することが可能なファイルは動画データのみであって、静止画データ及び音声データが選択されていた場合には、警告メッセージが表示される。また、この処理は複数のファイルに対して一度に実行することはできないので、複数のファイルが選択されている場合にも、警告メッセージが表示される。第１の実施形態においては、図４に示す「Ｂｉｒｔｈｄａｙ Ｐａｒｔｙ」という名称の動画データから静止画データを切り出して印刷する場合を例に説明する。

図５は、複数のフレームからなる動画データの構成を模式的に示した図である。「Ｂｉｒｔｈｄａｙ Ｐａｒｔｙ．ａｖｉ」という名称の動画データ（．ａｖｉはファイル拡張子）は、１秒間に３０フレームが切り替わる（つまり、フレームレート３０）ので、図５に示すように１秒間のデータとして３０枚のフレームが含まれている。

動画データを構成する各フレームには、動画データを再生した場合にそれぞれのフレームが再生される時刻に基づいて、タイムコード情報が付加されている。図６は、タイムコード情報を詳細に説明するための図である。

図６に示すようにタイムコード情報は４つの部分に分かれており、左から順に時間（ｈｏｕｒ）（６０１）、分（ｍｉｎｕｔｅ）（６０２）、秒（ｓｅｃｏｎｄ）（６０３）、フレーム数（６０４）を示している。フレーム数６０４は、各秒に含まれるフレームのうち前から何番目かを示す情報であって、フレームレート３０の動画データであれば１〜３０のうちいずれかの値が入ることになる。例えば、１２０分ちょうどの動画データであれば、最初のフレームには（００：００：０１：０１）というタイムコード情報が、また最後のフレームには（０２：００：００：３０）というタイムコード情報が付加されていることになる。

図５に示すように、「Ｂｉｒｔｈｄａｙ Ｐａｒｔｙ．ａｖｉ」には（０１：３５：２７：１７）というタイムコード情報５０１を有するフレーム５０２が含まれていることが分かる。第１の実施形態では、このフレーム５０２を静止画データとして切り出して印刷する場合を例にして説明する。

図４に戻り、「Ｂｉｒｔｈｄａｙ Ｐａｒｔｙ」が選択された状態で、キャプチャボタン４１４が選択されると、図７に示すキャプチャ指示画面が表示される。図７において、動画データ表示領域７００には、動画データに含まれている各フレームの画像が表示される。タイムコード情報表示領域７１１には、動画データ表示領域７００に表示されているフレームに対応するタイムコード情報が表示される。シークバー７１２は、動画データ表示領域７００に表示されているフレームに関して、動画データ全体からみた相対的な位置を示している。履歴ボタン７５０については後述する。

ユーザは、ボタン群７１３のそれぞれのボタンを選択することにより、再生・停止・早送り・巻戻し・コマ送りなどを指示して、印刷したいフレームの画像を探すことができる。静止画データとして切り出して印刷したいフレームを選択するには、所望のフレームを動画データ表示領域７００に表示した状態で動画データの再生を一時停止しておいて、印刷実行ボタン７１４を押下する。

印刷実行ボタン７１４が押下されると、表示されているフレームが静止画データとして切り出され、必要に応じて印刷用の画像データに展開されプリンタ１４０により印刷される。そして、このようにして印刷処理が実行された場合に、この印刷処理が実行されたことを示す履歴情報を切り出されたフレームに対応付けて管理しておく。

図８は、動画データ中の各フレームに対応付けて、静止画データとして切り出されて印刷する処理が実行されたことを示す履歴情報テーブルを示す。この履歴情報テーブルはメモリ１２０内に格納されており、ＨＤＤ１１４内に格納されている動画データ毎に区別して管理されている。なお、ここではＨＤＤ１１４内に格納された動画データと、メモリ１２０内に格納された履歴情報テーブルはそれぞれ別々に管理されているが、履歴情報テーブルを各動画データ中に埋め込んで管理してもよい。この場合は、動画データを他の機器に移動させた場合にも履歴情報を引き継いで管理できるので、さらに使い勝手がよくなる。

履歴情報テーブルの欄８０１には、各フレームに対応するタイムコード情報が入力されている。上述したように、動画データ中の各フレームにはそれぞれのフレームを一意に識別することができるタイムコード情報が付与されている。ここでは、このタイムコード情報を用いてフレームを識別し、印刷処理の実行履歴を管理するようにしている。なお、動画データ中のフレームを一意に識別することが可能な情報であればタイムコード情報でなくてもよく、例えば各フレームに付与された通し番号を用いる方法など、他の方法を採用してもよい。

履歴情報テーブル中の欄８０２には、各フレームについて静止画データとして切り出されて印刷処理が実行された回数を示す情報が入力されている。欄８０３には、印刷処理が実行されたことがあるフレームについて、最後に印刷処理が実行された日時を示す情報が入力されている。これらの欄８０２及び欄８０３で管理されている情報は、後述するようにユーザが処理すべきフレームを選択する際に、特定のフレームを選択候補として表示する際に用いられる。

図９は、動画データに含まれるフレームを静止画データとして切り出して印刷する一連の処理を明確に記述したフローチャートである。なお、このフローチャートにおける一連の動作の制御は、制御部１１０のＣＰＵ１１１がＨＤＤ１１４に格納されたプログラムに基づいて実行するものとする。

まず、ステップＳ９０１において、ユーザからキャプチャ処理が指示されたか否かを判定する。具体的には、図４に示すキャプチャボタン４１４が選択された場合には、ステップＳ９０２に進み、その他のボタンが選択された場合にはそれぞれボタンに対応する処理を実行する。

ステップＳ９０２では、図４に示す画面上で複数のファイルが選択されているかどうかを判定する。ここでファイルが１つだけ選択されていると判定した場合には、続くステップＳ９０３に進み、選択されたファイルが動画データであるかどうかを判定する。選択されたファイルが動画データである場合には、ステップＳ９０５に進む。

ステップＳ９０２で複数のファイルが選択されていると判定した場合、またはステップＳ９０３で動画データ以外のファイルが選択されていると判定した場合には、ステップＳ９０４に進み、警告メッセージを表示した後、ステップＳ９０１に戻る。

ステップＳ９０５では、ボタン群７１３を用いたユーザの指示に基づいて、選択された動画データを再生・停止・一時停止・早送り・巻戻し・コマ送りして表示する。続くステップＳ９０６では、ユーザによりキャプチャ処理の終了が指示されたかどうかを判定する。具体的には、図７に示す完了ボタン７１５が押下されたことを検知した場合には、キャプチャ処理の終了が指示されたと判定し、キャプチャ処理を終了する。一方、ユーザによりキャプチャ処理の終了が指示されていない場合には、ステップＳ９０７に進む。

ステップＳ９０７では、ユーザにより動画データの再生の一時停止が指示されたか否かを判定する。一時停止とは、特定のフレームが表示された状態のまま再生せずに静止している状態のことを示す。なお、一時停止が指示されたまま、後述するキャプチャ処理の実行が指示されることなく所定時間が経過した場合は、自動的に一時停止が解除される。

ステップＳ９０７において、ユーザにより一時停止が指示されたと判定した場合には、ステップＳ９０８に進み、ユーザにより印刷処理の実行が指示されたかどうかを判定する。具体的には、図７に示す画面において、印刷実行ボタン７１４が押下された場合には、ユーザから印刷処理の実行が指示されたと判定し、ステップＳ９０９に進む。印刷処理の実行が指示されていない場合は、ステップＳ９０７に戻り、印刷実行ボタン７１４が押下されるまで待機する。

ステップＳ９０８で、印刷処理の実行が指示されたと判定した場合には、ステップＳ９０９に進み、表示されているフレームの画像を静止画データとして切り出して、プリンタ１４０による印刷処理を実行する。さらに続くステップＳ９１０では、図８に示す履歴情報テーブルにおいて、印刷処理を実行したフレームの印刷回数情報及び最後の処理実行日時情報を更新する。その後、ステップＳ９０５に戻り、動画データの再生処理を再開する。

なお、静止画データとして切り出すフレームをユーザが選択する方法は、上述したように動画データを再生しながら選択する方法でなくともよい。例えば、ユーザが直接タイムコード情報を入力して、入力されたタイムコード情報に対応するフレームを静止画データとして切り出すようにしてもよい。また、動画データ中のフレームを選択することができる方法であれば、他のいずれの方法を用いてもよい。

＜フレーム選択動作＞
次に、動画データに含まれる複数のフレームの中から印刷処理を行うフレームをユーザが選択する際に、過去に印刷処理を実行したことがあるフレームを抽出して、選択候補として液晶操作パネル部２００に表示する動作について説明する。

図１０は、図７に示すキャプチャ指示画面で表示された履歴ボタン７５０が押下された場合に表示されるフレーム選択画面を示す。領域１００１には、図８に示す履歴情報テーブルを参照して抽出されたフレームの画像がサムネイル形式で一覧表示される。この時、各フレームの画像の内容が分かるように、縮小された画像がプレビュー表示されている。ユーザは、このように選択候補として表示されたフレームの中から所望のフレームを選択することができるので、過去に印刷したことがあるフレームの画像を再び印刷した場合には、再度最初から探す作業を行わずに済み作業効率が良くなる。

また、過去に印刷処理が実行されたことがあるフレームが複数ある場合には、ＣＰＵ１１１が各フレームの優先度を考慮して並び替えて表示する制御を行う。具体的には、図８の履歴情報テーブルの欄８０２に入力された印刷回数情報に基づいて、過去に印刷された回数が多いフレームから順番に並び替えて表示するようにしている。また、このとき履歴表示テーブルの欄８０３に入力された最後の処理実行日時情報に基づいて、最後に印刷処理が実行された日時が新しい順に並び替えるようにしてもよい。このように、優先度を考慮して並び替えて表示することにより、ユーザにとってより選択する可能性が高いフレームが優先して表示されるので、さらに使い勝手がよくなる。

選択候補として表示されるフレームの数が多い場合には、スクロールキー１００２を用いて表示されていないフレームの画像を表示させることができる。印刷処理を行いたい画像が見つかれば、所望のフレームを選択した状態で、印刷実行ボタン１００３を押下すれば、プリンタ１４０による印刷が実行される。

図１１は、動画データから切り出して印刷するフレームをユーザが選択する場合に、過去に印刷処理されたフレームを抽出して選択候補として表示する一連の処理を明確に記述したフローチャートである。なお、このフローチャートにおける一連の動作の制御は、制御部１１０のＣＰＵ１１１がＨＤＤ１１４に格納されたプログラムに基づいて実行するものとする。

図１１に示すフローチャートは、図９のフローチャートにおけるステップＳ９０５内で実行される動作を示す。即ち、ステップＳ９０５における動画データの再生中に、ステップＳ１１０１以下の判断及び動作が実行される。

ステップＳ１１０１では、ユーザから履歴情報の参照が指示されたかどうかを判定する。具体的には、図７に示す履歴ボタン７５０の押下を検知した場合には、ステップＳ１１０２に進む。履歴ボタン７５０が押下されていない場合は、ステップＳ９０５に戻る。

ステップＳ１１０２では、図８に示す履歴情報テーブルをメモリ１２０から読み出す。続くステップＳ１１０３では、ステップＳ１１０２で読み出した履歴情報テーブルを参照して、動画データに含まれる複数のフレームの中から過去に印刷処理が実行されたことがあるフレームを抽出する。そして、ステップＳ１１０４において、抽出されたフレームを優先度（印刷処理回数や印刷処理の実行日時など）に基づいて並び替えて、液晶操作パネル部２００に表示する。

ステップＳ１１０５では、選択候補として表示したフレームのいずれかが選択され印刷処理の実行がユーザにより指示されたかどうかを判定する。具体的には、図１０に示す印刷実行ボタン１００３が押下されたことを検知した場合は、図９に示すステップＳ９０９に進む。印刷実行ボタン１００３が押下されていない場合は、ステップＳ１１０６に進み、ユーザから履歴情報の参照を終了することが指示されたかどうかを判定する。

具体的には、図１０に示す完了ボタン１００４が押下されたことを検知した場合は、ユーザから履歴情報の参照を終了することを指示されたと判定し、ステップＳ９０５に戻る。一方、完了ボタン１００３が押下されていない場合には、ステップＳ１１０５に戻る。

以上のように、第１の実施形態においては、動画データ中のフレームを静止画データとして切り出して印刷した場合に、印刷処理が実行されたことを示す情報を当該フレームに対応付けて管理するようにしている。これにより、動画データに含まれる複数のフレームの中から、印刷処理を実行するフレームをユーザが選択する場合に、過去に印刷処理が実行されたことのあるフレームを抽出して選択候補として表示できるので、使い勝手がよくなる。

また、第１の実施形態では、動画データ中の各フレームに対応付けて、実行された印刷処理の回数や最後に印刷処理が実行された日時を示す情報を管理するようにしているので、優先度を考慮して選択候補として表示するフレームを並び替えて表示することができる。これにより、選択候補として多数のフレームがある場合でも、より選択される可能性が高いフレームを優先してユーザに提示することができるので、さらに使い勝手がよくなる。

（第２の実施形態）
次に、本発明における第２の実施形態について説明する。第２の実施形態における第１の実施形態と異なる点は、第１の実施形態で説明した履歴情報に更に印刷処理の実行を指示したユーザを識別するユーザＩＤ情報を含めて管理する点である。第２の実施形態では、このユーザＩＤ情報を用いて、ユーザ毎に区別して管理された印刷処理の実行履歴情報に基づいて、選択候補として表示するフレームを抽出する。なお、第２の実施形態における基本的な構成は第１の実施形態と同様のため詳細な説明は省略し、第２の実施形態における第１の実施形態と異なる点について以下に説明する。

第２の実施形態では、ユーザはＭＦＰ１００を操作する際にまず液晶操作パネル部２００に表示されるログイン画面（図示しない）において予めユーザ毎に設定されたユーザＩＤ及びパスワードを入力し、ハードキー群２０３に備えられたログインキーを押下する。これにより、ＣＰＵ１１１はＭＦＰ１００を操作するユーザを識別することができる。

第２の実施形態における動画データからの静止画データの切り出し及び印刷動作は、図９及び図１１に示したフローチャートと同様である。但し、第２の実施形態では、図９のステップＳ９１０で更新する履歴情報テーブルの内容が第１の実施形態と異なる。

図１２は、第２の実施形態における履歴情報テーブルの例を示す。図１２に示す履歴情報テーブルでは、図８に示す履歴情報テーブルと比較して、各印刷処理の実行を指示したユーザを示すユーザＩＤ情報（欄１２０２）を管理している点が異なる。また、図１２に示す履歴情報テーブルは、最初から全てのフレームのレコードを作っておくのではなく、印刷処理が実行されるたびに新たなレコードを作成して追加していくようにしている。

そして、第２の実施形態では、図１１のフローチャートにおけるステップＳ１１０３では、図１２に示す履歴情報テーブルの中から、操作を行っているユーザのユーザＩＤと同一のユーザＩＤを用いて印刷処理の実行を指示された履歴情報だけを抽出し、選択候補として表示するフレームを決定する。

以上のように、第２の実施形態においては、履歴情報として動画データからフレームを切り出して印刷処理を実行することを指示したユーザを示すユーザＩＤを管理するようにしている。これにより、複数のユーザが共有してＭＦＰ１００を使用する場合であっても、過去に自分が印刷処理の実行を指示したフレームを、他のユーザが印刷処理の実行を指示したフレームと区別して、選択候補として表示されるのでより使い勝手がよくなる。

（第３の実施形態）
次に、本発明における第３の実施形態について説明する。第３の実施形態における第１の実施形態と異なる点は、第１の実施形態では切り出した静止画データを印刷する処理についてのみ説明したが、第３の実施形態では切り出した静止画データに対して複数の異なる処理を実行することが可能となっている点である。

また、第３の実施形態では、切り出した静止画データに対して実行した処理の種類を示す情報を履歴情報として管理するようにしている。なお、第３の実施形態における基本的な構成は第１の実施形態と同様のため、詳細な説明は省略し、第３の実施形態における第１の実施形態と異なる点について以下に説明する。

図１３は、図４に示すキャプチャボタン４１４が押下された場合に表示されるキャプチャ指示画面を示す。図７に示すキャプチャ指示画面と比較して、図１３に示すキャプチャ指示画面には、保存実行ボタン１３０２及び送信実行ボタン１３０４が追加されていることが分かる。

これらの実行ボタン１３０２〜１３０４のいずれかが選択されると、動画データ表示領域７００に表示されているフレームが静止画データとして切り出されて、それぞれの実行ボタンに対応した処理が実行される。

保存実行ボタン１３０２が押下された場合には、切り出された静止画データは元の動画データ（ここでは、「Ｂｉｒｔｈｄａｙ Ｐａｒｔｙ．ａｖｉ」）と同じユーザボックスに保存される。なお、このとき切り出された静止画データを元の動画データとは異なるユーザボックスに保存するよう指示できるようにしてもよい。

印刷実行ボタン１３０３が押下された場合には、第１の実施形態で説明したように、切り出された静止画データはプリンタ１４０により印刷される。

送信実行ボタン１３０４が押下された場合には、切り出された静止画データは電子メールで送信可能なフォーマットに変換され、添付ファイルとして電子メールに付加される、そして、静止画データが添付された電子メールは、ネットワークＩ／Ｆ１１６及びＬＡＮ１９０などを介してユーザから指定された宛先に送信される。

このようにして第３の実施形態では切り出した静止画データに対して複数の異なる種類の処理を実行することが可能となっているが、さらにこれらの処理が実行されたことを示す履歴情報として、実行された処理の種類を示す情報を含む履歴情報を管理する。

図１４は、第３の実施形態における履歴情報テーブルを示す。図１４に示す履歴情報テーブルでは、図８に示す履歴情報テーブルと比較して、実行された各処理の種類を識別するための情報（欄１４０２）を管理している点が異なる。また、図１４に示す履歴情報テーブルは、印刷処理が実行される度に履歴情報テーブル中に新たなレコードを作成して追加していくようにしている。

図１５は、動画データに含まれるフレームを静止画データとして切り出して処理する一連の動作を明確に記述したフローチャートである。なお、このフローチャートにおける一連の動作の制御は、制御部１１０のＣＰＵ１１１がＨＤＤ１１４に格納されたプログラムに基づいて実行するものとする。なお、図１５におけるステップＳ１５０１〜ステップＳ１５０７は、図９におけるステップＳ９０１〜ステップＳ９０７と同様なので説明は省略する。

ステップＳ１５０８では、ユーザにより保存処理の実行が指示されたかどうかを判定する。具体的には、図１３に示す画面において、保存実行ボタン１３０２が押下された場合には、ユーザから保存処理の実行が指示されたと判定し、ステップＳ１５１１に進む。ステップＳ１５１１では、表示されているフレームの画像を静止画データとして切り出して、元の動画データと同じユーザボックスに保存する。

ステップＳ１５０８でユーザから保存処理の実行が指示されていない場合には、ステップＳ１５０９に進み、ユーザにより印刷処理の実行が指示されたかどうかを判定する。具体的には、図１３に示す画面において、印刷実行ボタン１３０３が押下された場合には、ユーザから印刷処理の実行が指示されたと判定し、ステップＳ１５１２に進む。ステップＳ１５１２では、表示されているフレームの画像を静止画データとして切り出して、プリンタ１４０による印刷処理を実行する。

ステップＳ１５０９でユーザから印刷処理の実行が指示されていない場合には、ステップＳ１５１０に進み、ユーザにより送信処理の実行が指示されたかどうかを判定する。具体的には、図１３に示す画面において、送信実行ボタン１３０４が押下された場合には、ユーザから送信処理の実行が指示されたと判定し、ステップＳ１５１３に進む。ステップＳ１５１３では、表示されているフレームの画像を静止画データとして切り出して、電子メールに添付してユーザにより指定された宛先に送信する。

ステップＳ１５１４では、図１４に示す履歴情報テーブルにおいて、各処理を実行したフレームに対応付けて、処理の種類を示す情報及び処理を実行した日時情報を更新する。その後、ステップＳ１５０５に戻り、動画データの再生処理を再開する。

図１６は、動画データから切り出して処理を実行するフレームをユーザが選択する場合に、過去に処理が実行されたフレームを抽出して選択候補として表示する一連の処理を明確に記述したフローチャートである。なお、このフローチャートにおける一連の動作の制御は、制御部１１０のＣＰＵ１１１がＨＤＤ１１４に格納されたプログラムに基づいて実行するものとする。

図１６に示すフローチャートは、図１５に示すフローチャートにおけるステップＳ１５０５内で実行される動作を示す。即ち、ステップＳ１５０５における動画データの再生中に、ステップＳ１６０１以下の判断及び動作が実行される。

ステップＳ１６０１では、ユーザから履歴情報の参照が指示されたかどうかを判定する。具体的には、図７に示す履歴ボタン７５０の押下を検知した場合には、ステップＳ１６０２に進む。履歴ボタン７５０が押下されていない場合は、ステップＳ１５０５に戻る。

ステップＳ１６０２では、選択候補として表示すべきフレームを抽出するにあたり履歴情報を検索するための条件を受け付ける。即ち、第３の実施形態では、保存・印刷・送信などの各処理をそれぞれ区別して、実行された処理の履歴情報を管理している。そこで、例えばユーザが過去に送信処理を実行したことがあるフレームを再び選択したい場合には、ここで検索条件として「送信」を入力することにより、送信処理の実行履歴情報が検索されて、過去に送信処理を実行されたことがあるフレームが抽出される。

ステップＳ１６０３〜ステップＳ１６０５は、図１１のステップＳ１１０２〜ステップＳ１１０４と同様なので、説明は省略する。

ステップＳ１６０６〜ステップＳ１６０８では、選択候補として表示されたフレームのいずれかを選択した状態で、ユーザから処理の実行が指示されたかどうかを判定する。具体的には、第３の実施形態においては、図１０に示したフレーム選択画面の印刷実行ボタン１００３に加えて、さらに保存実行ボタン及び送信実行ボタンが備えられているので、これらの実行ボタンのいずれかが押下されたかどうかを判定する。そして、保存・印刷・送信のいずれかの処理の実行が指示された場合には、ステップＳ１５１１乃至ステップＳ１５１３のいずれかに進み、処理を実行する。

いずれの処理の実行も指示されていない場合には、ステップＳ１６０９に進み、ユーザから履歴情報の参照を終了することが指示されたか、即ち図１０の完了ボタン１００４が押下されたかどうかを判定する。履歴情報の参照を終了する場合は、ステップＳ１５０５へ戻る。

以上のように、第３の実施形態においては、動画データから切り出した静止画データに対して複数の異なる種類の処理を実行することができる。さらに、処理が実行されたことを示す履歴情報に、実行された処理の種類を示す情報も含めて管理するようにしている。

これにより、選択候補として表示するフレームを抽出する際に、ユーザから過去に実行された処理の種類を特定するための検索条件の入力を受け付けて、条件に該当する種類の処理が実行されたことのあるフレームを、他のフレームと区別して抽出することができる。

なお、上述した第１の実施形態乃至第３の実施形態で説明した機能は、それぞれ単独で備えるようにしてもよいし、複数の機能を組み合わせて備えるようにすることも可能である。

（その他の実施形態）
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、以下のようなものがある。フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。すなわち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。

本発明の実施形態におけるＭＦＰ１００のシステムブロック図である。 本発明の実施形態における操作部１５０の外観図である。 本発明の実施形態における操作部１５０に表示されたＣＯＰＹ基本画面を示す図である。 本発明の実施形態における操作部１５０に表示されたファイル一覧画面を示す図である。 本発明の実施形態におけるＨＤＤ１１４に保存された動画データの構成を示す模式図である。 本発明の実施形態におけるタイムコード情報を説明する図である。 本発明の実施形態における操作部１５０に表示されたキャプチャ指示画面を示す図である。 本発明の実施形態における履歴情報テーブルを示す図である。 本発明の実施形態における静止画データを切り出して印刷する動作を説明するフローチャートである。 本発明の実施形態における操作部１５０に表示されたフレーム選択画面を示す図である。 本発明の実施形態における履歴情報に基づいて選択候補として表示するフレームを抽出して表示する動作を説明するフローチャートである。 本発明の実施形態における履歴情報テーブルを示す図である。 本発明の実施形態における操作部１５０に表示されたキャプチャ指示画面を示す図である。 本発明の実施形態における履歴情報テーブルを示す図である。 本発明の実施形態における静止画データを切り出して処理を実行する動作を説明するフローチャートである。 本発明の実施形態における履歴情報に基づいて選択候補として表示するフレームを抽出して表示する動作を説明するフローチャートである。

符号の説明

１００ ＭＦＰ（マルチファンクションペリフェラル）
１１０ 制御部
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ ＨＤＤ（ハードディスクドライブ）
１１５ 操作部
１３０ スキャナ
１４０ プリンタ

Claims (8)

1. 複数のフレームからなる動画データを複数記憶する記憶手段と、
   前記記憶手段に記憶されている複数の動画データから、いずれか１つの動画データを選択する動画データ選択手段と、
   前記動画データ選択手段により選択された動画データに含まれる複数のフレームから、いずれか１つのフレームを選択するフレーム選択手段と、
   前記フレーム選択手段により選択されたフレームを静止画データとして切り出す切出手段と、
   複数種別の処理を実行可能であって、前記切出手段により切り出された静止画データに対して前記複数種別の処理のいずれかを実行する処理手段と、
   前記処理手段により実行された処理の種別を示す履歴情報を、前記動画データ選択手段により選択された動画データ及び前記フレーム選択手段により選択されたフレームに対応付けて管理する管理手段と、
   検索条件として、処理の種別の指定を受け付ける受付手段と、
   前記管理手段が管理する履歴情報に基づいて、前記受付手段が受け付けた検索条件で指定された種別の処理が過去に実行された複数のフレームを抽出し、当該抽出した複数のフレームを、前記切出手段により静止画データとして再び切り出して前記処理手段により前記複数種別の処理のいずれかを実行するフレームの候補としてユーザに提示する提示手段と、
   前記提示手段が提示した候補のうちユーザによって選択されたフレームを静止画データとして再び切り出し、当該切り出した静止画データに対して前記複数種別の処理のいずれかを実行するよう前記切出手段及び前記処理手段を制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記処理手段により実行される複数種別の処理は、前記切出手段により切り出された静止画データを前記記憶手段に記憶する処理を含むことを特徴とする請求項１に記載の画像処理装置。
3. 静止画データを印刷する印刷手段を更に備え、
   前記処理手段により実行される複数種別の処理は、前記切出手段により切り出された静止画データを前記印刷手段により印刷する処理を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. ネットワークを介して接続された外部装置と通信を行う通信手段を更に備え、
   前記処理手段により実行される複数種別の処理は、前記切出手段により切り出された静止画データを前記通信手段により前記外部装置に送信する処理を含むことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記管理手段は、前記処理手段による処理の実行を指示したユーザを示す情報を含む前記履歴情報を管理することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記管理手段は、前記処理手段による処理が実行された回数を示す情報を含む前記履歴情報を管理することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 複数の動画データから、いずれか１つの動画データを選択する動画データ選択ステップと、
   前記動画データ選択ステップで選択された動画データに含まれる複数のフレームから、いずれか１つのフレームを選択するフレーム選択ステップと、
   前記フレーム選択ステップで選択されたフレームを静止画データとして切り出す切出ステップと、
   前記切出ステップで切り出された静止画データに対して、複数種別の処理のいずれかを実行する処理ステップと、
   前記処理ステップで実行された処理の種別を示す履歴情報を、前記動画データ選択ステップで選択された動画データ及び前記フレーム選択ステップで選択されたフレームに対応付けて管理する管理ステップと、
   検索条件として、処理の種別の指定を受け付ける受付ステップと、
   前記管理ステップで管理された履歴情報に基づいて、前記受付ステップで受け付けた検索条件で指定された種別の処理が過去に実行された複数のフレームを抽出し、当該抽出した複数のフレームを、前記切出ステップで静止画データとして再び切り出して前記処理ステップで前記複数種別の処理のいずれかを実行するフレームの候補としてユーザに提示する提示ステップと、
   前記提示ステップで提示した候補のうちユーザによって選択されたフレームを静止画データとして再び切り出し、当該切り出した静止画データに対して前記複数種別の処理のいずれかを実行するよう前記切出ステップ及び前記処理ステップを制御する制御ステップと、
   を備えることを特徴とする画像処理装置の制御方法。
8. 請求項７に記載の画像処理装置の制御方法をコンピュータに実行させるためのプログラム。

Images