JP4935667B2 - 画像記録装置、画像記録再生装置、画像記録再生システム及びプログラム - Google Patents

Description

本発明は、コンピュータによって表示される画面の変化を検出する画像記録装置、画像記録再生装置、画面記録再生システム、画像記録プログラム、画像記録再生プログラムに関する。より詳しくは、静止画面から別の静止画面に表示が変化した場合の変化時点や、静止画面と動画画面が混在して表示される場合に静止画や動画の表示区間を検出する画像記録装置、画像記録再生装置、画面記録再生システム、画像記録プログラム、および画像記録再生プログラムに関する。

パーソナルコンピュータ(ＰＣ)等の情報処理装置(コンピュータ)を用いたプレゼンテーションでは、発表者はＰＣの表示画面上に説明資料（例えばスライド）を表示し、これをつぎつぎに切り替えながら説明を行なっていく。ＰＣと接続されたプロジェクター(投射装置)などを介して、発表者の操作するＰＣの表示画面上の画像が聴講者に向けたスクリーンに表示される。発表者は、スライドを切り替えるだけでなく、スライド内の構成要素（文字、絵、図表、写真）を順次表示したり、ある部分を強調表示するためにマウスカーソールでポインティングしたり特定文字を白黒反転させたりする場合もある。さらには、アプリケーションを切り替えてビデオ映像やアニメーションなどの動画を表示することもある。

ビデオレコーダー、ビデオ(ＲＧＢ)キャプチャボード、その他の表示画面キャプチャ用のアプリケーションを利用すれば、現在でも表示画面上の静止画像や動画を高解像度で記録することが可能であり、記録された表示画面はビデオプレイヤーやスライドプレイヤーを使って再生することができる。しかし、このような手法で取得された画像/映像データには時間情報以外の索引情報や手がかりが付与されていないために所望のシーンを見つけ出して再生するのが容易ではないという問題があった。この問題を解消するために、大きな画面変化があったものだけを抽出したうえで、それらの画像の縮小画像(サムネイル)を作成し、再生時にそれらのサムネイル配列を表示して特定のサムネイルを利用者に選択させるという手法が提案されている。この手法ではサムネイルが視覚的な手がかりになるので所望のシーンを探しやすくなり、また見たいサムネイルがあれば、それをクリックすることでビデオプレイヤーやスライドプレイヤーが起動してその部分の一連の画像や映像を再生することができる。また、サムネイルを表示する代わりに、画面変化が起こった箇所にブックマークを付与し、ブックマークが付与された変化時点へ次々とスキップ再生を行なうことで効率的に所望のシーンを見つけ出すことができるようにした手法も提案されている。

画面変化(画像変化)を検出する手法としては、(1)人が見て抽出する方法、(2)時間的に近接した複数の画像の比較を行って画素データに一定の変化があったものを抽出するという画像処理的なアプローチ（例えば、特許文献１に開示の動画編集システム、特許文献２に記述の記録装置他参照）、(3)ページ切り替え操作など画面変化をもたらす操作情報を検出しその発生時刻に対応する画像を抽出したり、操作情報を索引情報として映像情報に付加したりするアプローチ（例えば、特許文献３に記載の記録装置他、特許文献４に記載の記録装置他、特許文献５に記載の作成装置他参照特開）が提案されている。なお、上記(2)項のアプローチは、静止画と動画が混在する映像から動画表示部分を検出する方法としても古くから利用されている（例えば、特許文献６に記載の走査変換方法参照）。

特開２００１−１１９６６１号公報 特開２００６−１２７５１８号公報 特開２００２−１０９０９９号公報 特開２００３−１２７５１８号公報 特開２００４−２２７５１４号公報 特開平０６−２０５３７５号公報

しかしながら、従来の画面変化を検出する手法として、上記(1)の人が見て抽出するには、大変な労力や時間がかかる。上記(2)の画像比較による画面変化の抽出手法では、比較する画像が膨大になる場合にはその処理に時間がかかり、また外乱により画像変化の抽出に失敗したり同じ画像を検出したりする危険がある。上記(3)ページ切り替え操作など操作情報を検出することでそれにともなって生じる画像変化を検出する手法では、システム側で自動実行される画面変化（例えば、スライドショウの画面切り替えや終了、自動終了する動画の表示区間など）の検出ができない。また、操作情報の検出は従来アプリケーション（特にプレゼンテーションソフト）に依存したプログラムとして提供されているので、複数のアプリケーションを切り替えながら画面表示を行なう場合には、適用できないという問題があった。

本発明は、上記の問題を鑑みてなされたもので、その目的は、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出できる画像記録装置、画像記録再生装置、画面記録再生システム、画像記録プログラム、画像記録再生プログラムを提供することにある。

本発明の画像記録装置は、起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段と、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定し、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子である場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する判定手段と、前記判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段とを備える。これにより、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出して変化した画像情報を記録できる。

上記画像記録装置において、前記使用指標情報が中央処理装置の使用率、主記憶の使用量のうち、少なくとも一つである。

上記画像記録装置において、前記記録手段は、前記他の画像の記録の際に、前記他の画像の識別子と、前記他の画像を表示画面に表示しているアプリケーションプログラム名と、前記判定手段で画像に変化が生じたと判定された時刻情報とを索引情報として記録するものである。これにより、所望の画像情報を容易かつ迅速に再生することが可能となる。

上記画像記録装置において、前記判定手段は、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子ではない場合には、前記比較処理を行わない。
これにより、画像に関連するアプリケーションプログラムが起動された場合に比較処理を行うことができる。

上記画像記録装置において、前記判定手段は、前記使用指標情報が連続して前記しきい値以上である場合に、前記表示画面に表示されている画像を動画と判定する。これにより、動画も容易かつ迅速に検出できる。

上記画像記録装置において、前記記憶手段は、動画再生処理を行うアプリケーションプログラムの識別子を記憶し、前記判定手段は、実行中のアプリケーションプログラムが動画の再生に関係しない種別の場合には、動画の判定を行わない。
これにより、無駄な動画検出処理を防ぎ、容易かつ迅速に動画を検出できる。

上記画像記録装置において、前記取得手段、前記判定手段及び前記記録手段を実現するためのプログラムを記憶した記憶装置をさらに備え、前記画像記録装置は、プログラムを実行する実行手段を備え、前記記憶装置が前記画像記録装置に装着されると、前記実行手段が前記プログラムを実行して、前記取得手段、前記記憶手段、前記判定手段及び前記記録手段として機能する。
これにより、小型軽量なノートＰＣのような情報処理装置でも、容易かつ迅速に画像記録装置を構築でき、どこでも使用することができる。

本発明の画像記録再生装置は、起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段と、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定し、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子である場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する判定手段と、前記判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段と、前記記録手段で記録された画像を再生表示する再生手段とを備える。これにより、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出して変化した画像情報を記録できると共に、さらに所望の時点の画像情報を容易かつ迅速に再生することができる。

上記画像記録再生装置において、前記取得手段、前記判定手段、前記記録手段及び前記再生手段を実現するためのプログラムを記憶した記憶装置をさらに備え、
前記画像記録再生装置は、プログラムを実行する実行手段を備え、前記記憶装置が前記画像記録装置に装着されると、前記実行手段が前記プログラムを実行して、前記取得手段、前記判定手段、前記記録手段及び前記再生手段として機能する。
これにより、小型軽量なノートＰＣのような情報処理装置でも、容易かつ迅速に画像記録再生装置を構築でき、どこでも使用することができる。

本発明の画像記録再生システムは、画像をスクリーンに投影する投影装置と、前記投影装置が前記スクリーンに投影させる画像を前記投影装置に出力する第１の情報処理装置と、前記第１の情報処理装置から画像を取得して、前記スクリーンに投影する画像の他の画像への切り替え処理があったか否かを判定し、切り替え処理があったと判定した場合には、前記他の画像を記録すると共に、前記他の画像の識別子と、前記他の画像を前記スクリーンに投影しているアプリケーションプログラム名と、前記切り替え処理があったと判定された時刻情報とを索引情報として記録する第２の情報処理装置とを備え、前記第２の情報処理装置は、起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段と、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定し、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子である場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する判定手段と、前記判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段とを備え、前記第１の情報処理装置は、前記記録手段が記録した前記他の画像と前記索引情報とを第２の情報処理装置から取得して、前記第１の情報処理装置の具備する表示画面に表示させる。
これにより、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出して変化した画像情報を記録できると共に、さらに所望の時点の画像情報を容易かつ迅速に再生することができる。

本発明のプログラムは、コンピュータを、起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段を参照して、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定する第１判定手段と、前記第１判定手段により前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であると判定された場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する第２判定手段と、前記第２判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段として機能させる。
これにより、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出して変化した画像情報を記録できる。

本発明のプログラムは、コンピュータを、起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段を参照して、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定する第１判定手段と、前記第１判定手段により前記識別子が前記記憶手段に記憶された識別子であると判定された場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する第２判定手段と、前記第２判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段と、前記記録手段で記録された画像を再生表示する再生手段として機能させる。
これにより、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出して変化した画像情報を記録できると共に、さらに所望の時点の画像情報を容易かつ迅速に再生することができる。

本発明によれば、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出して変化した画像情報を記録できる。

以下、本発明の最良の実施形態について図面を参照して説明する。

図１は、本発明の実施例に係る画像記録再生装置のハードウエアの構成例を示すブロック図である。画像記録再生装置１００は、入力装置５1、表示装置５２、主記憶装置５３、記憶装置５４、中央処理装置（ＣＰＵ）５５、ネットワークを介して外部の装置と通信を行なう通信制御装置５６、これらを接続するバス５７を含むＰＣ(パーソナルコンピュータ)等の情報処理装置で構成される。

入力装置５１は、キー操作により、アプリケーションプログラム(ソフトウエア)の実行を指示するための実行指示（コマンド）情報や各種情報をユーザが入力するキーボード、このキーボートと共に表示装置５２と協働してユーザインタフェースを構成するマウスを含み、さらに、原稿に記載された文書等を光学的に読み取る光学式読取装置（スキャナ）を含んでもよい。

表示装置５２は、対象文書を表示画面上に表示する可視表示装置の他に、用紙等のシート状の媒体に情報を永久可視表示(印刷)するプリンタ等の永久可視表示装置、情報を可聴表示するスピーカ等を含む可聴表示装置も含んでもよい。

主記憶装置５３は、ＲＯＭまたはＲＡＭを含み、画像記録再生処理を行なうプログラムやＣＰＵ５５で演算処理されたデータ等をワーク領域に記憶する。さらに好ましくは、表示装置５２にイメージを表示するためのイメージバッファを含む。記憶装置５４は、例えばハードディスク装置等の大容量記憶装置を含み、ネットワーク等を介して収集された大量のデータを蓄積してもよい。

ＣＰＵ（Central
Processing Unit）５５は、主記憶装置５３に記憶されたプログラムに従い各部を制御する。

通信制御装置５６はインターネット等のネットワークを介して外部装置と接続し、それらに対してデータ(情報)の入出力をする通信インタフェース等を含む。

以上のように、画像記録再生装置１００は、基本的な構成では情報処理装置1台以上で構成されて実現されるが、複数台の情報処理装置を用いて、クライアント装置とサーバ装置がネットワークで接続されて構成されるクライアント−サーバモデルにより実現してもよい。

まず、第1の実施例として、ＰＣの表示画面(表示画像)に変化が生じた場合に、それを検出して、その画像とその生起時間、アプリケーション名を対応付けて記録する画面記録装置(画像記録再生装置の記録機能部分)について説明する。ただし、ここではスライドショーのように静止画が連続的に切り替わって表示される場合について述べ、動画が表示された場合については言及しない（後者については、第２の実施例で述べる）。

第１の実施例に係る画像記録装置の機能的な構成を説明する前に、本発明に係る表示画面(表示画像)の変化の検出方法について説明する。本発明の実施例に係る画像記録装置では、画像表示に関連するアプリケーションが占有するＣＰＵ使用率やメモリ使用量などのコンピュータリソース指標が、画像変化が生じた直後や動画表示中に増加するという事実に着目し、これを手がかりにして画像変化時点の検出と動画表示区間の同定(第２の実施例に関連して後述する)を行なうことを基本原理とする。

図２は、プレゼンテーション資料としてのスライドの切り替えによる具体例を示すグラフで、画像表示に関連するアプリケーションが占有するＣＰＵ使用率の時間的推移を示すものである。すなわち、同図は、インテル社の超低電圧版ペンテイアム(Pentium M；商標または登録商標)プロセッサ１ＧＨｚのＣＰＵ、メモリ２５６Ｍバイト、ビデオメモリ６４Ｍバイトを搭載した１２．１型ＴＦＴカラー液晶ディスプレイを備えたノートＰＣで、マイクロソフト社のプレゼンテーションソフトウエア、パワーポイント(PowerPoint；商標または登録商標)によりプレゼンテーション資料(プレゼン資料：スライド)を1ページごとランダムな時間間隔で表示した際のＣＰＵ使用率の時間的な推移を示したものである。ｔ１乃至ｔ１６の時点(矢印)は、ページ切り替え操作を行なった箇所であり、同図に示されるように、各切り替え操作の直後にＣＰＵ使用率に短時間のみ持続する増加（スパイク状の変化）が認められることが分かる。したがって、このスパイク状の変化を検出すれば、そこで静止画から別の静止画へ画面(表示画像)が切り替わったことが分かる。なお、ページ切り替え操作とＣＰＵ使用率の増加は同期したものではなくＣＰＵ使用率の変化は若干遅れて生じるが、そのラグは1秒以内に収まる。

図3は、本発明の第１の実施例に係る画像記録装置の機能的な構成を示すブロック図である。

ＰＣのアプリケーションプログラム(ソフトウエア)の実行を指示する入力部１は、ＰＣのアプリケーションの実行をする実行処理部２に対して、実行すべきアプリケーションプログラムをユーザが実行指示する実行指示（コマンド）情報や各種情報を入力するためのものであり、一般的には、図１の入力装置５１で述べたように、ＰＣに連結されたキーボードやマウスなどの入力手段で規定のコマンド情報等の情報を入力することによって行われる。

実行処理部２は、ユーザから指示されたコマンド情報に応じて該当するプログラムを起動して特定の処理（演算）を実行するためのものであり、図1で述べた構成では、ＣＰＵ５５、主記憶装置（メモリ）５３、および外部記録装置(記憶装置５４)などに対応する。すなわち、入力部１から入力されたコマンド情報を受け取ると、ハードディスクなどの外部記録装置よりメモリにプログラムが読み込まれ、ＣＰＵがメモリ上のプログラムを順次実行することによってアプリケーションプログラムが実行される。特に、表示制御部２１は、処理の状況や結果に関する表示情報を生成して表示部３に表示するための表示制御を行うためのものである。

表示部３(図１の表示装置５２に対応する)はＣＲＴ(陰極線管)や液晶などのディスプレイなどであり、表示制御部２１で生成された画像情報(文字図形記号情報)等の表示情報を表示するためのものである。

画像変化推定部４は、表示部３に表示される画像が変化したことを推定して検出するための手段であり、図に示すとおり、アプリケーションプログラム(ソフトウエア)を識別するソフト識別部４１、コンピュータリソースの使用状況(使用指標情報)を監視する使用状況監視部４２、画像の変化を検出する画面変化検出部４３を含んで構成される。これらの構成要素は、例えば、後述する処理手順を含む画像変化推定プログラム等のソフトウエアをＣＰＵが実行することにより得られる機能ブロックであるが、ハードウエアで実現してもよい。

ソフト識別部４１は、現在実行されているアプリケーションを識別してその識別子を記録するためのものである。

使用状況監視部４２は、実行中のアプリケーションがコンピュータリソースをどの程度使用しているかを示すデータ(使用指標情報)を単位時間ごとに算定して記録するためのものである。

画面変化検出部４３は、ソフト識別部４１によって識別された実行中のアプリケーションの識別子と使用状況監視部４２で記録されたコンピュータリソースの使用状況を示すデータ(使用指標情報)に基づいて、表示部３に表示された画像の変化を検出するための手段である。本実施例の場合、ソフト識別部４１と使用状況監視部４２は、マイクロソフト社が提供するＯＳ(オペレーティングシステム)、ウインドウズXP(Windows
XP；商標または登録商標)に付属するタスクマネージャ機能のプロセス情報（イメージ名、ＣＰＵ使用率、メモリ使用量）を単位時間ごとに読み出して記録することによって実現している。また、本実施例では、画面変化(表示画像の変化)が生じたか否かの判定は、あらかじめ指定した特定のアプリケーションのＣＰＵ使用率かメモリ使用量のいずれかが特定の閾値（たとえば、ＣＰＵ使用率；1％、メモリ使用量1ｋバイト）以上の場合に画面変化が生じたと判定するが、それを超えない場合には画面変化は生じていないと判定するように設定した。この閾値の設定は、ＣＰＵなどの性能に応じて、また微細な画面上の変化を検出するか否かに応じて調整が必要であり、そのための閾値調整手段を備えてもよい。

画像抽出指示部５は、画面変化検出部４３によって画面変化が起こったことが検出された場合に、画像取得部６にそのときの表示画面に対応する表示情報を取得するように指示すると共に、索引ファイル作成部７に対して索引ファイルの作成を指示する。この際、画像抽出指示部５は取得する画像の識別子を決定し、この情報を画像取得部６と索引ファイル作成部７に送る。本実施例の場合、画像変化後の安定した画像を取得するために、画像抽出指示部５は、画面変化を検出した時間ではなく、若干の間隔を置いて検出してから、例えば1秒後の画像を取得するように画像取得部６に指示を出す。

画像取得部６は、画像抽出指示部５の指示に基づき、表示制御部２１で生成された画像データ(表示情報)を獲得し、画像ファイル（例えば、jpeg）に変換してから先に与えられた画像識別子と対応付けてデータ格納部９に格納する。

索引ファイル作成部７は、画像抽出指示部５の指示に基づき、索引ファイル識別情報、上述の画像ファイル識別情報、アプリケーション識別情報、変化画面(変化画像)検出時間を獲得して、これらを組にしてデータ格納部９に格納する。なお、アプリケーション識別情報は、ソフト識別部４１から、そこで識別されたアプリケーション名称を獲得し、変化画面検出時間は時間情報取得部８から獲得する。例えば、変化画面検出時間として、画像抽出指示部５より索引ファイルの作成指示を受けた年月日時分秒を記録する。

図４に索引ファイルのデータ構造例を示す。索引ファイル内の索引データ(情報)として、さらに、コンピュータリソースの使用指標データ（ＣＰＵ使用率やメモリ使用量）の他に、同図に示すように、アプリケーションのユーザ名などを含めてもよい。

画像抽出指示部５、画像取得部６、索引ファイル作成部７、および時間情報取得部８の機能ブロックは、画像変化推定部４と同様にしてソフトウエアで実現されても良いし、ハードウエアで実現してもよい。更には、これらの複合でもよい。

次に、図５に示すフローチャートを参照して、本実施例の画像変化推定部４による変化画像の検出と、画像抽出指示部５、画像取得部６および索引ファイル作成部７等による変化画像の記録とに係わる処理の流れについて説明する。

システムが開始信号を受け取ると、画像変化推定部４の処理がスタートする。まず、一定時間待機する（本実施例では、1秒間；Ｓ１）。この間ＰＣのＯＳが動作し、タスクマネージャが起動して、アプリケーションの実行とコンピュータリソース（ＣＰＵ使用率とメモリ使用量等の使用指標情報）の算定を行う。図5に示すフローチャートは、この結果を一定時間間隔（1秒間）ごとに読み出して、画面変化の検出と索引データの作成を行なうための処理の流れを説明したものである。

終了指示信号を検出しなければ、ソフト識別部４で実行中のアプリケーションの検出処理をし、アプリケーション検出時のアプリケーション名（または識別子）を取得する(Ｓ２、３)。なお、フローチャートには示していないが、取得されたアプリケーション名（または識別子）は、あらかじめ記憶させたアプリケーション名（または識別子）のリストと照合され、アプリケーション名（または識別子）がそのリストに含まれているか否かの判定が行われる。アプリケーション名（または識別子）がリストに含まれていれば以後の処理に進むが、リストに含まれていなければここで処理を終える。アプリケーション名（または識別子）のリストには、画面の表示変化を伴うアプリケーションのみを含めるようにし、表示にかかわらないアプリケーションは除外してある。アプリケーション名（または識別子）がそのリストに含まれている場合には、次のステップ（Ｓ４）に進む。

ステップ（Ｓ４）で、使用状況監視部４２により、実行中のアプリケーションのＣＰＵ使用率を取得する。さらに、使用状況監視部４２により、実行中のアプリケーションのメモリ使用量を取得する（Ｓ５）。その後に、画面変化検出部４３により、画面変化が生起しているかの判定を、ソフト識別部４で検出した実行中のアプリケーション名、使用状況監視部４２で取得したＣＰＵ使用率およびメモリ使用量に基づいて判定する（Ｓ６，Ｓ７）。すでに述べたように、本実施例の場合、ＣＰＵ使用量が1％以上、あるいは（かつ）メモリ使用量が１ｋバイト以上であれば、「画面変化あり」と判定し、そうでない場合には「画面変化なし」と判定する。ステップ（Ｓ７）で、「画面変化なし」と判断された場合には待機状態に戻る。

ステップ(Ｓ７)で判定結果が、「画面変化あり」と判断された場合には、画像抽出指示部５により画像取得部６に対し画像取得指示が出されると共に、索引ファイル作成部７に対して索引ファイルの作成指示が出され、ステップ(Ｓ８)に進み、ここで、画像取得指示により、画像取得部６が、画面データ(表示情報)を取得する。この際、特定の画像ファイル形式（本実施例ではjpegファイル）で画像データを取得し、それに画像ファイル名(識別子)を付けてデータ格納部９に記録する。ただし、前述したように、本実施例では「画面変化あり」という判定から1秒後の画面(画像データ)を取得している。

次に、ステップ(Ｓ9)では、画像抽出指示部５による索引ファイルの作成指示に基づき、索引ファイル作成部７により索引データを取得する。ここでは、索引ファイル作成部７により、索引ファイル識別情報(識別子)、画像ファイル名または識別情報(識別子)、アプリケーション名（または識別子）、変化画面検出時間（「画面変化あり」と判定された時間）を獲得してデータ格納部９に記録する。

なお、上記に示した索引ファイルの索引情報等の情報の他に、図４に示すように、索引ファイル作成部７により、アプリケーションの保有者が、ユーザ名として取得され、さらに、データ格納部９に記録される索引ファイルの一部としてユーザ名欄に記述されてもよい。

このように、第１の実施例の構成によれば、画面変化の検出のために画素データの比較などの複雑な処理を必要とせずに、かつシステム側で自動実行されるような画面変化も逃さずに検出でき、変化時の画像データも記録できる。

次に、本発明の第２の実施例について説明する。第２の実施例では、ＰＣの表示画面に変化が生じた場合に、コンピュータ資源の使用状況に基づき、それを検出すると共に、その変化が静止画から静止画への変化か、静止画から動画への変化かを識別し、それぞれの表示開始から表示終了までの表示時間区間の画像データ(表示情報)を記録する画像記録(再生)装置について説明する。この装置では、第１の実施例とは異なり、画像取得の時間間隔を短くすることで動画像を取得し、その後に再生できるように設定する（たとえば、24フレーム/秒）。後述するように、同じ静止画像が複数枚記録された場合に1枚を残して他は消去することによって記憶容量の軽減を図る編集処理を自動実行するように構成している。これによって、静止画像と動画のシームレスなキャプチャが可能となり、かつ再生時には、例えば、動画表示部分のみを選択的に再生表示することが可能になる。

図６は動画の検出を説明する具体例を示すグラフである。同図は、図２で述べたものと同じノートＰＣで、マイクロソフト社のウインドウズ・メディア・プレイヤ(Windows Media Player：商標または登録商標)を起動して動画を再生したときの例である。動画を再生した場合には、静止画のページ切り替えとは異なり、ＣＰＵ使用率の持続的な増加が認められ、この持続時間は表示開始から表示終了までの動画表示時間にほぼ対応することが分かる。したがって、ＣＰＵ使用率が一定時間持続的に増加した部分を検出できれば、動画が表示されていたと推定できる。

メモリ使用量の推移からも同じような推定を行なうことができる。もちろん、ＣＰＵ使用率やメモリ使用量は表示に関連しない他のアプリケーションによって実行される処理によっても変化するので、起動中のアプリケーションの種類を識別して、そのアプリケーションのＣＰＵ使用率やメモリ使用量の変化のみを検出する必要がある。例えば、マイクロソフト社のＯＳ、ウインドウズXP(Windows XP；商標または登録商標)に標準装備されているタスクマネージャはこれが可能であり、起動中のアプリケーションを識別するとともに、それぞれのアプリケーションのＣＰＵ使用率やメモリ使用量を算定し、その時間的な推移を表示することができる。実は、上述した２つの例は、タスクマネージャのパフォーマンスオプションからＣＰＵ使用率の履歴の表示欄を複写したものである。

特定のアプリケーションの実行に要するＣＰＵ使用率などのコンピュータリソース使用指標に関するデータを時間経過とともに記録しその推移特徴にもとづいて画面変化や動画表示区間を推定することによって、別途映像記録装置などによって記録される映像データに索引情報としてこの推定結果を付与したり、あるいは映像データに対して特定の処理（抽出処理や削除処理など）を行なったりすることができる。

図７は、本発明の第２の実施例に係る画像記録装置(画像記録再生装置における画像記録に関わる部分)の機能的な構成を示すブロック図である。同図に示すように、第２の実施例の画像記録装置１０２の第１の実施例の画像記録装置１０１に対する相違点は、画像記録装置１０１での画面変化の検出および記録部分が、画像変化推定部４、画像抽出指示部５、画像取得部６および索引作成部７を含む構成であったのに対し、画像記録装置１０２では、画像変化推定部４a、画像取得部６a、索引作成部７a、画像編集処理部１０を含む構成に換わった点である。以下相違点の構成について説明する。

画面変化推定部４aは、ソフト識別部４１、使用状況監視部４２a、時間管理部４２b、画面変化部４３aおよび静止画/動画識別部４４を含む構成である。

使用状況監視部４２aは、実行処理部２においてアプリケーションが実行されるときのコンピュータリソースの使用状況(使用指標情報）を監視し、記録する手段である。監視記録するコンピュータリソース使用指標としては、例えば、アプリケーション実行中のＣＰＵ使用率やメモリ使用量などがあげられる。例えば、マイクロソフト社のパワーポイント(PowerPoint；商標または登録商標)を使ってプレゼンテーションを行った場合、使用状況監視部４２aは、実行中のアプリケーションの名称（識別子、例えば、パワーポイント(商標または登録商標)スライドショー）、単位時間（例えば、1/24秒間）当たりのＣＰＵ使用率、メモリ使用量を算定し、記録する。

時間管理部４２bは、使用状況監視部４２aが単位時間ごとに算定記録するＣＰＵ使用率、メモリ使用量などを示すデータを獲得した時間情報（年月日時分秒ミリ秒）を計時して、その結果を使用状況監視部４２aに返す。

画像変化検出部４３aは、使用状況監視部４２aを介して時間管理部４２bから単位時間（例えば、例えば、1/24秒間）当たりのＣＰＵ使用率、メモリ使用量、時間情報を受け取り、これらにもとづいて画像変化の有無を判定すると共に、画像に変化があったと判定された場合にはその時間情報を獲得する。ここで画像変化の有無の判定は、第１の実施例の時間管理部４２と同様に、ＣＰＵ使用率やメモリ使用量の閾値αを設定し、これを超えた場合には画像変化ありと判定し、超えなければ画像変化なしと判定する。

静止画/動画識別部４４は、使用状況監視部４２aを介して時間管理４２bから単位時間（例えば、例えば、1/24秒間）当たりのCPU使用率、メモリ使用量、時間情報、およびアプリケーションの名称を受け取ると共に、画像変化検出部４３b
の判定結果を受け取り、画像変化ありという判定がｎ回（ｎは2回以上。可変）連続してなされ、かつその間のＣＰＵ使用率やメモリ使用量の最大値、もしくは代表値（平均や中央値など）が特定の閾値βを超えた場合に動画が表示され、それ以外の場合には静止画が表示された判定する。なお、画像変化ありという判定がｎ回（ｎは2回以上。可変）連続してなされた場合に実行中のアプリケーションの名称を、あらかじめ用意した動画像を表示するアプリケーションのリストと照合することによって、画像変化が動画によるものか否かを判定する方法を用いることもできる。

索引ファイル作成部７aは、索引データ(情報)IDを生成して、画像変化検出部４３bの判定結果と静止画/動画識別部４４の識別結果、および時間情報を受け取り、これらを組にして索引データ(情報)としてデータ格納部９に格納する。索引データの具体例を以下に示す。

＜索引データの例＞
索引データ識別子：ID0240
日時時分秒ミリ秒：2004.09.06.13.15.21.266
アプリケーション名称：パワーポイント
画面変化：No（なし）
静止画/動画識別子：S（静止画）

こうした索引データが単位時間（例えば1/24秒）ごとに生成されてデータ格納部９に格納される。

一方、画像取得部６aは、実行処理部２によって生成される表示用の画像データ(情報)を単位時間（例えば1/24秒）ごとに取得する。時間情報取得部６bは画像取得部６aが画像データを取得した時間情報を取得し、画像データと対応付けて記録する。

画像編集処理部１０は、索引ファイル生成部７aが獲得した索引データと時間情報取得部６bによって付与された時間情報とに基づいて、画面変化がない静止画と判定された画像（フレーム）を選択してこれらを消去して残りの画像データのみをデータ格納部９に記録する。

以上のように、第２の実施例の構成によれば、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出できると共に、動画と静止画をシームレスに記録できる。

次に、以上の実施例で説明したように、プレゼンテーション資料などの表示情報のうち、変化した画像データを検出して記録し、記録した画像データの再生する画像再生装置(画像記録再生装置のうち、画像データを再生する機能部分)について述べる。

図８は画像再生装置の機能的な構成を示すブロック図である。画像再生装置２００は、入力部１、実行処理部２、表示制御部２１、表示部３、データ格納部９、サムネイル表示処理部１１、およびスライド再生処理部１２を含む構成である。

入力部1は、図1の入力装置51に対応し、画像記録装置１００，１０１の入力部１と同様の機能を有すると共に、画像再生関連の機能として再生指示等のコマンド等の情報を入力する機能を有するものである。

実行処理部２は、入力部１によりユーザから指示されたコマンド情報に応じて該当するプログラムを起動して特定の処理（演算）を実行するためのものであり、画像記録装置１００，１０１の実行処理部２と同様に、ＣＰＵ５５、主記憶装置（メモリ）５３、および外部記録装置(記憶装置５４)などに対応する。表示制御部２１も、画像記録装置１００，１０１の表示制御部２１と同様に、処理の状況や結果に関する表示情報を生成して表示部３に表示するための表示制御を行なうと共に、画像再生関連の機能として、サムネイル表示処理部１１およびスライド再生処理部１２と協働して、プレゼン資料等の画像データの再生処理を行なうためのものである。

サムネイル表示処理部１１およびスライド再生処理部１２の機能ブロック部分は、画像記録装置１００，１０１のサムネイル表示処理や画像再生処理手順を含むプログラムをＣＰＵが実行することにより得られるソフトウエアで実現しても良いし、ハードウエアで実現しても良い。

サムネイル表示処理部１１は、第１または第２の実施例で述べたようにして、索引ファイルが格納されたデータ格納部９に対し、表示制御部２１を介して索引ファイル内に記録された索引データ(情報)を受け取り、索引情報を基にユーザが所望のスライド等のプレゼン資料にアクセスするためのサムネイル画像のデータを作成し、表示制御部２１を介して表示部３(例えば、その表示画面上)に表示させると共に、ユーザが、入力部１から実行処理部２および表示制御部２１を介して、サムネイル画像、操作パネル(例えば、表示画面上に仮想表示される)などに代表されるＧＵＩ(グラフィックユーザインタフェース)画面等のユーザインタフェースに対する再生指示等の指示入力等をスライド再生処理部１２に伝達する。

スライド再生処理部１２は、表示制御部２１を介してサムネイル表示処理部１１からサムネイル画像に対する指示や操作パネル等のユーザインタフェースに対する指示に基づいてスライド等のプレゼン資料を表示部３の表示画面上に表示する。

図９は、画像再生装置２００におけるサムネイル配列を用いた再生用ブラウザーの一例である。同図では、サムネイル画像の配列は、３行６列に配列され、各配列は、サムネイル画像(対応するアプリケーションプログラム)の種類を示すアイコン６２と、サムネイル画像６３および画像変化時の時間情報の表示から構成される。

この場合の画像再生装置２００は、次のような処理手順で再生処理を行なう。まず、サムネイル表示処理部１１により、表示制御部２１を介してデータ格納部９から受けとった索引データに基づいて、サムネイル画像の配列データを作成し、表示制御部２１を介して表示部３に時系列順に時間情報と共に表示する。静止画/動画識別子が静止画を示す場合には、該当する画像ファイルの画像データからサムネイル画像を作成すると共に、アプリケーション名称 (識別子)から、サムネイル画像の隣接表示位置に表示できるように、アイコン(図９の例ではパワーポイント(商標または登録商標)やエクセル(商標または登録商標)を示す)の表示データを作成する。スライドの内部で変化するような比較的短時間で変化する静止画である場合には、図９の参照符号６１に示すように、該当する画像ファイルの画像データから最初のスライドのサムネイル画像を作成すると共に、スライドが複数枚重なった表示データとする。一方、静止画/動画識別子が動画を示す場合には、図９の参照符号６４に示すように、最初のスライドまたは最初のフレームのサムネイル画像を作成し、かつそれらが複数枚重なった表示データとすると共に、これに併せて、隣接した位置に表示されるように、アプリケーション名称
(識別子)からその名称に対応するアイコン(図９の例ではウインドウズ・メディア・プレイヤ(商標または登録商標)を示す)を作成する。このように表示制御部２１を介して表示部３に作成された表示データを表示する。この結果、例えば、表示部の表示画面上に図９のように表示される。

このようにして表示部３の表示画面上に表示されたサムネイル画像の配列に対してユーザが入力部１より、所望のサムネイル画像を指示して再生指示すると、サムネイル表示処理部１１は、表示制御部２１と協働して、表示画面上の指示位置から指示されたサムネイル画像が分かり、この特定されたサムネイル画像に対応する索引データの画像ファイル識別子をスライド再生処理部１２に通知する。スライド再生処理部１２は、通知された画像ファイル識別子に対応する画像データをデータ格納部９等から表示制御部２１を介してデータ読み出し、該当するアプリケーションプログラムを使用して表示画面上に再生表示する。

図１０は、画像再生装置２００おける再生用プレイヤーの仮想的な操作表示パネルの表示例を示すものである。この操作表示パネルをサムネイル表示処理部１１１により、表示制御部２１を介して表示部３の表示画面上に表示する。ここでは、操作表示パネルの管理は、サムネイル表示処理部１１が管理するものとして説明するが、スライド再生処理部１２が管理するとしてもよい。

再生用プレイヤーの操作表示パネルは、上側に配置された表示パネル部と、下側に配置された操作パネル部から成り、上側の表示パネル部は、スライド等のプレゼン資料の画像データを再生表示する再生表示部７１を含む。下側の操作パネル部は、時間軸上にスライド等の画像データの切り替えポイント等の表示を示す時間軸指示部７２と、再生用の操作ボタンが並ぶ操作ボタン部７３とを含む。

操作ボタン部７３には、一時停止を指示する一時停止ボタン７３a、再生を指示する再生ボタン７３b、戻し送りを指示する戻し送りボタン(ＲＷＤ)７３c、および前送りを指示する前送りボタン(ＦＷＤ)７３d等の操作ボタン群が含まれる。

サムネイル表示処理部１１は、表示制御部２１を介してデータ格納部９から索引データを読み出し、索引データの内容に応じて時間軸操作部７２に表示を行なう。図１０の例では、時系列順に、静止画の切換ポイント７２aを４個、動画表示区間７２c、静止画の切換ポイント７２aを３個表示している。同図では、さらに、この状態で、ユーザが入力部１を介して時間軸操作部７２の時間軸上で、動画表示区間７２cの開始ポイントで再生指示をしたことを再生ポイント７２bで示している(または連続再生している場合においてその再生の途中のときには、その再生中のポイントを示す)。

このように、再生ポイント７２bが指示されると、サムネイル表示処理部１１は、表示制御部２１と協働してその表示部３の表示画面上の表示位置により、動画表示区間７２cの開始ポイントで再生指示されたことを知り、この指示された開始ポイントに対応する索引データに記述された画像ファイル識別子をスライド再生処理部１２へ通知する。この結果、スライド再生処理部１２により、表示制御部２１を介して画像ファイル識別子に対応する画像データをデータ格納部９から読み出し、該当するアプリケーションプログラムを使用して表示パネル部の再生表示部７１の表示領域に表示する。現在の再生モードが連続的な再生の指示でなければ、再生指示に対応する画像データの再生で終了するが、再生ポイントに対応する画像ファイル以降も再生するモードであれば、スライド再生処理部１２により、索引情報に基づいて、それ以降の画像ファイルも読み出して、引き続き該当アプリケーションプログラムを使用した再生が行われる。

以上のようにして、第１および第２の実施例で説明したように、獲得された索引データを使えば、画像を再生する際に、動画と静止画の識別が容易な再生用ブラウザーや再生プレイヤーによる画像再生装置を実現することができる。

このような画像再生装置を持つ画像記録再生装置の構成によれば、動画と静止画をシームレスに記録できるだけでなく、それぞれの表示区間や変化時点を利用者が容易に識別して即座に再生できる画面記録再生装置を提供することができる。

以上は基本的な構成による実施例について述べたが、以下に本発明を適用した応用例について説明する。

図１１は、画像記録再生システム３００における主要部の機能的な構成を示すブロック図である。画像記録再生システム３００は、例えば、ノートＰＣのような情報処理装置３１と、例えば、スクリーンに画像を投影する投影装置または大型のスクリーン(表示画面)を持つフラットパネルディスプレイ(ＦＰＤ)装置のような表示装置３２とが、ＶＧＡ(Video Graphics Array)やＤＶＩ(Digital
Visual Interface)などの画像表示用ケーブル３３を介して接続されて成る。情報処理装置３１は、ノートＰＣのような通常の機能として、入力部１(図示せず)、実行処理部２(図示せず)、ディスプレイ等の表示部３１a(表示部３に対応)の他に、例えば、ＵＳＢ(Universal
Serial Bus)メモリのような着脱可能な記憶装置３１bを含む。この記憶装置３１bには、第１の実施例で説明したような画像変化推定部４、画像抽出指示部５、画像取得部６、時間情報取得部８および索引ファイル作成部７を含む構成、または第２の実施例で述べた画像変化推定部４a、画像取得部６a、時間情報取得部６b、索引ファイル作成部７aおよび画像編集処理部１０を含む構成に対応した画像記録機能を有する画像変化推定記録部３１c用のプログラムと、図８で述べた画像再生装置２００のサムネイル表示処理部１１およびスライド再生処理部１２を含む構成に対応した画像再生機能を持つ画像再生部３１d用のプログラムとが記憶される記憶領域を含むと共に、索引データや画像データを格納(記憶)するデータ格納部９の機能を果たす記憶領域31eを含む。

スライドなどのプレゼン資料等の画像データを記録する前に上記記憶装置３１bを情報処理装置３１に装着して、起動すると、実行処理部により、記憶装置３１b内のプログラムが実行され、画像変化推定記録部３１c、および画像再生部３１dの機能ブロックが生成される。この状態で、スライドなどのプレゼン資料の画像データが通常の機能により、表示部３１に表示されると共に、画像表示用ケーブル３３を介して表示装置３２により視聴者の見るスクリーンに表示される。この際、画像変化推定記録部３１cで画像記録装置１００，１０１を説明したように、ＣＰＵ使用率、メモリ使用量などの画像表示に関連するアプリケーションが占有するコンピュータ資源の使用指標(使用状況)に基づいて、画像変化を推定検出し、画像変化のあった画像データと、その画像データを関係付けて作成した索引データとをデータ格納部３１eに記憶する。その後、画像再生装置２００と同様にして、画像再生部３１dにより、索引データに基づいて画像データを再生する。

この応用例によれば、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出して変化時の画像データを記録できると共に、第２の実施例と同様な機能を持つ場合には、動画と静止画をシームレスに記録して再生できる。さらに、画像変化検出記録機能や画像再生機能等が、ＵＳＢメモリのような着脱可能な記憶装置３１bをノートＰＣのような情報処理装置３１に装着するだけで実現できるので、画像記録再生システムを小型軽量でかつ簡易に実現でき、どこの場所でも容易に構築できる。

図１２は、もう一つの応用例としての画像記録再生システム３０１における主要部の機能的な構成を示すブロック図である。画像記録再生システム３０１は、例えば、ノートＰＣのようなクライアント装置としての情報処理装置３１と、例えば投影装置やＦＰＤ装置のような表示装置３２とが、先の画像記録再生システム３００と同様に、画像表示用ケーブル３３を介して接続される他に、途中で分岐器(図示せず)等により分岐されてサーバ装置としての情報処理装置３４に接続されて成る。情報処理装置３１には、先の例とは異なり、画像再生部３１dのみが残り、情報処理装置３１にあった画像変化推定記録部３１cは、情報処理装置３４内に画像変化推定記録部３４aとしてあり、さらに索引データ等のデータ格納機能も情報処理装置３４内にデータ格納部３４bとしてある。情報処理装置３１と情報処理装置３４は、さらに、画像表示に関連するアプリケーションが占有するコンピュータ資源の使用指標情報等の通信をするためにＲＳ２３２Ｃ等のインタフェースなどの信号線３５により接続されると共に、索引データや画像データを転送するために、ＬＡＮ(ローカル・エリア・ネットワーク)等のネットワーク(伝送線)３６で接続されている。なお、ここでは、画像再生装部３１eおよび画像変化推定記録部３４eは、ソフトウエアで実現されているものとする。

スライドなどのプレゼン資料の画像データがクライアント装置としての情報処理装置３１で通常の機能により、表示部３１に表示されると共に、画像表示用ケーブル３３を介して表示装置３２により視聴者の見るスクリーンに表示されると共に、サーバ装置としての画像処理装置３４内の画像変化推定記録部３４cに送られる。この際、画像処理装置３４内の画像変化推定記録部３４cでは、情報処理装置３１のタスクマネージャから信号線３５を介してＣＰＵ使用率、メモリ使用量などの、画像表示に関連するアプリケーションが占有するコンピュータ資源の使用指標情報を受け取り、先に説明した画像記録装置１００，１０１と同様にして、受け取ったコンピュータ資源の使用指標情報に基づいて、画像変化を推定検出し、画像変化のあった画像データと、その画像データを関係付けて作成した索引データとをデータ格納部３４bに記憶する。その後、画像再生装置２００と同様にして、情報処理装置３１内の画像再生部３１dにより、ネットワーク３６を介して情報処理装置３４内のデータ格納部３４bにアクセスして索引データを読み出す。さらに、画像再生部３１dにより、読み出した索引データに基づいて、先に述べた画像再生装置２００と同様にして、ネットワーク３６を介して情報処理装置３４内のデータ格納部３４bから画像データを読み出し表示部３１aの表示画面上に再生表示する。

このように、別の応用例によれば、画面変化の検出のために処理時間を比較的に要さず、かつシステム側で自動実行されるような画面変化も逃さずに検出して変化時の画像データを記録できると共に、第２の実施例と同様な機能を持つ場合には、動画と静止画をシームレスに記録して再生できる。さらに、クライアント装置としての情報処理装置３１とサーバ装置としての情報処理装置34を接続するだけで、容易に画像記録再生システムを構築でき、サーバ側で画像変化を検出して記録するので、クライアント側で特に準備をする必要がなく、サーバ側から記録された画像データを読み出して所望の画像を容易に再生できる。

以上述べた実施例では、主にスライドなどのプレゼン資料等の画像データを表示する場合において、変化画像を検出し、記録する場合について述べたが、プレゼン資料等の画像データの変化画像の検出記録のみには限定されず、その他の変化画像を検出して記録する場合にも本発明は適用できる。

本発明は、画像データを記録する画像記録装置、画像データを記録し再生する画像記録再生装置、画像記録再生システム、画像記録プログラム、画像記録再生等において利用される。

本発明の実施例に係る画像記録再生装置のハードウエアの構成例を示すブロック図である。 本発明の実施例に係る画像記録再生装置において、画像表示に関連するアプリケーションが占有するＣＰＵ使用率の時間的推移を示すグラフである。 本発明の第１の実施例に係る画像記録装置の機能的な構成を示すブロック図である。 本発明の第１の実施例に係る画像記録装置で使用される索引ファイルのデータ構造を示す図である。 変化画像データと索引情報の記録処理を示すフローチャートである。 本発明の第２の実施例に係る画像記録装置等で使用される動画の検出を説明する具体例を示すグラフである。 本発明の第２の実施例に係る画像記録装置の機能的な構成を示すブロック図である。 本発明の実施例に係る画像再生装置の機能的な構成を示すブロック図である。 本発明の実施例に係る画像再生装置におけるサムネイル配列を用いた再生用ブラウザーの一例を示す図である。 本発明の実施例に係る画像再生装置おける再生用プレイヤーの仮想的な操作表示パネルの表示例を示す図である。 本発明の実施例に係る応用例の画像記録再生システムにおける主要部の機能的な構成を示すブロック図である。 本発明の実施例に係る別の応用例の画像記録再生システムにおける主要部の機能的な構成を示すブロック図である。

符号の説明

１：入力部
２:実行処理部
２１：表示制御部
３,３１a：表示部
３１,３４：情報処理装置
３１b,５４：記憶装置
３１c,３４a:画像変化推定記録部
３１d：画像再生部
３２,５２：表示装置
３３：画像データケーブル
３５：信号線
３６,５７：ネットワーク(伝送線)
４：画像変化推定部
４１：ソフト識別部
４２,４２a：使用状況監視部
４２b時間管理部
４３,４３a：画像変化検出部
４４：静止画/動画識別部
５：画像抽出指示部
５１：入力装置
５３：主記憶装置
５５：ＣＰＵ
５６：通信制御装置
６b, ８：時間情報取得部
７,７a：検索ファイル作成部
９,３１e,３４b：データ格納部
１０：画像編集処理部
１１：サムネイル表示処理部
１２：スライド再生処理部
１００：画像記録再生装置
１０１,１０２：画像記録装置
２００：画像再生装置
３００,３０１：画像記録再生システム

Claims (12)

1. 起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、
   表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段と、
   前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定し、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子である場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する判定手段と、
   前記判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段と、
   を備える画像記録装置。
2. 前記使用指標情報が中央処理装置の使用率、主記憶の使用量のうち、少なくとも一つである請求項１に記載の画像記録装置。
3. 前記記録手段は、前記他の画像の記録の際に、前記他の画像の識別子と、前記他の画像を表示画面に表示しているアプリケーションプログラム名と、前記判定手段で画像に変化が生じたと判定された時刻情報とを索引情報として記録するものである請求項１に記載の画像記録装置。
4. 前記判定手段は、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子ではない場合には、前記比較処理を行わない請求項１に記載の画像記録装置。
5. 前記判定手段は、前記使用指標情報が連続して前記しきい値以上である場合に、前記表示画面に表示されている画像を動画と判定する請求項１に記載の画像記録装置。
6. 前記記憶手段は、動画再生処理を行うアプリケーションプログラムの識別子を記憶し、
   前記判定手段は、実行中のアプリケーションプログラムが動画の再生に関係しない種別の場合には、動画の判定を行わない請求項５に記載の画像記録装置。
7. 前記取得手段、前記判定手段及び前記記録手段を実現するためのプログラムを記憶した記憶装置をさらに備え、
   前記画像記録装置は、プログラムを実行する実行手段を備え、前記記憶装置が前記画像記録装置に装着されると、前記実行手段が前記プログラムを実行して、前記取得手段、前記記憶手段、前記判定手段及び前記記録手段として機能する請求項１に記載の画像記録装置。
8. 起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、
   表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段と、
   前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定し、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子である場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する判定手段と、
   前記判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段と、
   前記記録手段で記録された画像を再生表示する再生手段と、
   を備える画像記録再生装置。
9. 前記取得手段、前記判定手段、前記記録手段及び前記再生手段を実現するためのプログラムを記憶した記憶装置をさらに備え、
   前記画像記録再生装置は、プログラムを実行する実行手段を備え、前記記憶装置が前記画像記録装置に装着されると、前記実行手段が前記プログラムを実行して、前記取得手段、前記判定手段、前記記録手段及び前記再生手段として機能する請求項８に記載の画像記録再生装置。
10. 画像をスクリーンに投影する投影装置と、
    前記投影装置が前記スクリーンに投影させる画像を前記投影装置に出力する第１の情報処理装置と、
    前記第１の情報処理装置から画像を取得して、前記スクリーンに投影する画像の他の画像への切り替え処理があったか否かを判定し、切り替え処理があったと判定した場合には、前記他の画像を記録すると共に、前記他の画像の識別子と、前記他の画像を前記スクリーンに投影しているアプリケーションプログラム名と、前記切り替え処理があったと判定された時刻情報とを索引情報として記録する第２の情報処理装置とを備え、
    前記第２の情報処理装置は、起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、
    表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段と、
    前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定し、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子である場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する判定手段と、
    前記判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段とを備え、
    前記第１の情報処理装置は、前記記録手段が記録した前記他の画像と前記索引情報とを前記第２の情報処理装置から取得して、前記第１の情報処理装置の具備する表示画面に表示させる画像記録再生システム。
11. コンピュータを、
    起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、
    表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段を参照して、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定する第１判定手段と、
    前記第１判定手段により前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であると判定された場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する第２判定手段と、
    前記第２判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段として機能させるプログラム。
12. コンピュータを、
    起動されたアプリケーションプログラムを判定し、前記起動されたアプリケーションプログラムの識別子を取得する取得手段と、
    表示画面に画像を表示させるアプリケーションプログラムであって、前記表示画面に表示中の画像を他の画像に切り替える処理を伴うアプリケーションプログラムの識別子を記憶する記憶手段を参照して、前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であるか否かを判定する第１判定手段と、
    前記第１判定手段により前記取得手段が取得した識別子が前記記憶手段に記憶された識別子であると判定された場合に、前記起動されたアプリケーションプログラムの実行によりコンピュータが演算に使用する資源の使用指標情報を取得して該使用指標情報としきい値とを比較する比較処理を行い、前記使用指標情報が前記しきい値以上である場合に前記表示画面の画像に変化が生じたと判定する第２判定手段と、
    前記第２判定手段により前記表示画面の画像に変化が生じたと判定された場合に、前記表示画面に表示されている他の画像を記録する記録手段と、
    前記記録手段で記録された画像を再生表示する再生手段として機能させるプログラム。