JP3637937B2 - 情報再生装置および情報再生方法 - Google Patents
情報再生装置および情報再生方法 Download PDFInfo
- Publication number
- JP3637937B2 JP3637937B2 JP22929796A JP22929796A JP3637937B2 JP 3637937 B2 JP3637937 B2 JP 3637937B2 JP 22929796 A JP22929796 A JP 22929796A JP 22929796 A JP22929796 A JP 22929796A JP 3637937 B2 JP3637937 B2 JP 3637937B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- presentation
- information
- electronic document
- series information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 28
- 239000000463 material Substances 0.000 claims description 182
- 230000008569 process Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 239000011521 glass Substances 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、会議やプレゼンテーションを再現するための動画像や音声情報などのマルチメディア情報からなる時系列情報と、会議やプレゼンテーションの際に使用した資料の電子文書とを、相互に関係付けて、同期的に再生表示する情報再生装置および情報再生方法に関するものである。
【０００２】
【従来の技術】
会議やプレゼンテーションを再現するために、ビデオカメラで、会議状況やプレゼンテーションの録画を行い、また、マイクロホンで収音した会議中の音声やプレゼンテーションの音声を併せて記録することが、一般に行われている。
【０００３】
ところで、会議やプレゼンテーションを行う場合に、オーバ・ヘッダ・プロジェクタ装置（以下ＯＨＰ装置と呼ぶ）や電子式スライド装置などの資料提示装置を用いて、参加者に、統計グラフや説明文などの文書資料を、スクリーンに拡大表示して提示することがよくある。これらの資料は、会議やプレゼンテーションを再現するためには、重要なものであることが多く、これらは、詳細に判読できることが要求される。
【０００４】
しかしながら、上述のように、ビデオカメラで会議やプレゼンテーションの風景を記録したときには、その再生画像の解像度が低いという問題から、スクリーンに表示されて提示されている説明文や統計表やグラフの内容を十分に読み取ることができないという問題がある。
【０００５】
ＯＨＰシートやスライド文書などのコピーを紙文書として入手すれば、この問題は解決するが、ビデオカメラで撮影した画像の再生画像からだけでは、ある時点で提示されているＯＨＰシートやスライド文書が、どれなのかを特定することが困難であることも多い。
【０００６】
また、ＯＨＰシートの資料などのコピーを別に入手した場合などでは、それを見ただけでは十分に内容がわからない資料について、その部分だけの説明をビデオテープの記録から参照したいという要求がある場合があるが、この場合もビデオテープのどの部分を見ればよいのか分からず、テープの最初から再生して検索しなければならないという問題もある。
【０００７】
前者の問題を解決するために、動画像を効率良く、検索を行えるようにする提案が、従来から種々行われている。例えば特開平6-83877 号公報には、動画像の全体的な流れを容易に把握できる情報として、記録動画像の中から、例えば時間的に等間隔に抽出した画像と、その位置を示す位置コードとを印刷し、かつ、その印刷物の位置コードに対して指示することで、動画像検索作業を効率よく行い得る画像情報表示手段が提供されている。
【０００８】
また、後者の問題に関しては、電子文書と動画や音声とを同期的に表示する装置が提供されている。すなわち、この種の装置は、例えば、既に製品化されているマクロメディア（MACROMEDIA）社の製品名「Director」などのオーサリング・ツールを用いて、予め、動画のフレームと電子文書との対応付けや、索引を作成しておき、この予めの対応付けや、作成された索引に基づいて、同期表示を行うものである。
【０００９】
また、これらが動作するパソコンには計時手段は標準的に備えられている。さらに提示スライドを替える操作をした際にそのスライドの提示順序や名前を記録する手段も、例えばApple 社のAppleScript の記録機能などによってすでに実現が可能である。しかしながら、これらは定型操作を記録し、繰り返し実行させることをその目的としているため、順序は記録できるが、その操作が行われた時刻を同時に記録することができない。
【００１０】
【発明が解決しようとする課題】
例えば特開平6-83877 号公報の場合、印刷された画像は動画像を印刷したものであり、解像度が向上するわけではないので、ビデオカメラで撮影された場合に、資料の内容が読めないという問題は解決できない。
【００１１】
また、従来の、電子文書と動画や音声とを同期的に表示する装置の場合、前述したように、予め、動画のフレームと電子文書とを対応づけたり、索引を作成するための編集作業が必要になる。さらに、この編集作業においても、編集者が、提示されていた資料を動画から正確に特定できないという問題が発生する。これを回避するには、編集者自身も録画の場に参加するか、編集者に渡すために誰かが、資料ごとに、資料提示の時刻を正確に記録しておかなければならない。
【００１２】
この発明は、上述の点に鑑みて、会議やプレゼンテーションの場で提示されたＯＨＰシートやスライドなどの資料を電子文書として格納し、動画像および音声再生時に、実際に会議やプレゼンテーションの場で提示された通りのタイミングで電子文書資料を同期して表示する機能と、これとは逆に任意の電子文書を指定することによって、その資料が提示されていたときの、実際の会議やプレゼンテーションの動画および音声の部分を再生する機能を提供することができるようにすることを目的とするものである。
【００１３】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明による情報再生装置は、
会議やプレゼンテーションを再現するために記録された時系列情報を格納する時系列情報格納手段と、
前記会議やプレゼンテーションの際に提示された資料の電子文書を、前記資料に付与された識別子との対応を付けて格納する電子文書格納手段と、
前記提示された資料の前記識別子と、前記提示された資料の前記時系列情報中における提示タイミングを検知するための時刻情報とが、対応を付けられて格納されている資料提示タイミング格納手段と、
前記時系列情報格納手段に格納されている前記時系列情報について、再生開始時点を設定入力するための操作手段と、
前記操作手段で設定された前記再生開始時点からの再生開始指示がされたときに、前記時系列情報格納手段から前記設定された再生開始時点から順次、前記時系列情報を読み出して再生を開始すると共に、前記資料提示タイミング格納手段に格納されている前記時刻情報を参照して、前記設定された再生開始時点で提示されていた資料の識別子を検出し、当該資料の識別子に対応する電子文書を、前記電子文書格納手段から読み出して表示する再生手段と、
を備えることを特徴とする。
【００２１】
【作用】
上記の構成の請求項１の発明においては、会議についての時系列情報の再生開始点を設定入力する操作手段を設け、当該操作手段を操作することにより、時系列情報の途中から再生することができると共に、当該途中から再生する場合においても、当該途中に対応する資料の電子文書を表示することができる。
【００２２】
したがって、請求項１の発明においては、音声および動画などの時系列情報を再生したときには、会議やプレゼンテーションの際に資料が提示された時刻に対応する再生時点において、資料の電子文書が同期して表示されることによって、動画像では読み難い資料を、見易い電子文書の表示形態で同時的に参照することが可能になる。
【００３２】
【発明の実施の形態】
以下、この発明による情報再生装置の実施の形態を、図を参照しながら説明する。以下に説明する実施の形態は、オーバ・ヘッド・プロジェクタで資料を提示しながらプレゼンテーションを行う場合の例である。
【００３３】
図１は、この実施の形態のプレゼンテーションの記録および再生システムの全体の構成図であり、１００はプレゼンテーション再生装置、２００はオーバ・ヘッド・プロジェクタ装置（ＯＨＰ装置という）、３００はプレゼンテーション記録装置である。
【００３４】
プレゼンテーション記録装置３００は、プレゼンテーション時の画像情報と、音声情報とを、プレゼンテーションの開始から終了まで、時系列情報として記録するもので、例えばビデオカメラでプレゼンテーション風景を撮影して記録すると共に、マイクロホンで収音した音声を記録する。１台でなく、複数台のビデオカメラで記録することも可能であり、記録された動画情報は、例えば磁気テープやディスクなどの記録媒体に格納される。
【００３５】
音声情報に関しては、プレゼンテーションを行う者に割り当てられたマイクロホンからの音声信号や、プレゼンテーションを受ける者の質問用などに設けられたマイクロホンからの音声信号が、テープやディスクの記録媒体に記録されて格納される。
【００３６】
この実施の形態の場合、記録されて格納された画像情報および音声情報は、デジタル信号の形式とされる。なお、これら画像情報および音声情報は、データ圧縮して記録するようにしてもよい。
【００３７】
また、このプレゼンテーション記録装置３００は、記録し格納した動画の画像情報や音声情報を、プレゼンテーション再生装置１００に電気信号として転送する機能を有している。
【００３８】
なお、直接、電気信号により転送するのではなく、プレゼンテーション記録装置３００において、ビデオカメラや音声用テープレコーダなどを用いて画像情報および音声情報を記録した磁気テープやディスク媒体を介して、プレゼンテーション記録装置３００からプレゼンテーション再生装置１００に転送するようにしてもよい。
【００３９】
ＯＨＰ装置２００は、この発明による情報提示装置の一実施の形態であり、通常のＯＨＰ装置の機能の他に、プレゼンテーションの際に、資料として提示されたすべてのＯＨＰシートのそれぞれの識別子と、そのＯＨＰシートが資料として提示された時刻との対応テーブル（以下、このテーブルを資料提示時刻テーブルと呼ぶ）を生成して格納する機能を有する。
【００４０】
また、この例では、プレゼンテーションの終了後に、格納した資料提示時刻テーブルの情報を、プレゼンテーション再生装置１００に転送する機能を備える。もっとも、資料提示時刻テーブルの情報を、プレゼンテーションの最中に、順次、変更があるごとに転送するようにしてもよい。また、資料提示時刻テーブルの情報をフロッピーディスクなどの記憶媒体に記憶しておき、この記憶媒体を介して転送するようにしても、もちろんよい。
以上のＯＨＰ装置２００の詳細については、後述する。
【００４１】
プレゼンテーション再生装置１００は、この発明による情報再生装置の一実施の形態を示すものである。このプレゼンテーション再生装置１００は、プレゼンテーション記録装置３００からの画像情報や音声情報の転送を受けて、対応する格納部に格納し、順次に再生する機能を備える。
【００４２】
また、プレゼンテーション再生装置１００は、プレゼンテーションの際にＯＨＰ装置２００により提示された、すべてのＯＨＰシートの内容（統計グラフやその説明文などの資料文書）を読み取って、電子文書として格納する機能を有する。
【００４３】
また、プレゼンテーション再生装置１００は、ＯＨＰ装置２００からの資料提示時刻テーブルの情報の転送を受けて、この資料提示時刻テーブルを参照して、画像情報や音声情報のプレゼンテーションの時系列情報の再生の際に、各資料が提示された時刻になったときに、当該資料の電子文書を同期して再生する機能を有する。
【００４４】
さらに、プレゼンテーション再生装置１００は、格納したすべてのＯＨＰシートの電子文書を、１枚づつ順次表示し、あるいはＯＨＰシートの電子文書を縮小して、その複数枚を１画面内（または１つのウインドウ内）に表示してユーザが閲覧することができるようにする機能を備えている。この実施の形態では、資料提示時刻テーブルに資料提示時刻が記録されており、電子文書格納部１１３に存在するすべての資料の電子文書の縮小文書を、一覧表示するようにしている。
【００４５】
そして、そのような閲覧を行っているときに、特定の電子文書をユーザが指定できるようにされており、その指定がなされた場合には、指定された電子文書の資料が、プレゼンテーションのときに提示された時間部分の画像情報および音声情報が抽出されて再生できる機能を備えている。さらに、このようにして一つの資料に対応して抽出された画像情報および音声情報の複製を、一つのファイルあるいはフォルダーとして出力する機能も備えている。
このプレゼンテーション再生装置１００の詳細についても後述する。
【００４６】
次に、ＯＨＰ装置２００の詳細例について説明する。図２は、この実施の形態のＯＨＰ装置２００の処理機能を中心として示した機能ブロック図、図３は、この実施の形態のＯＨＰ装置２００の機構部分の構成例を示す図である。
【００４７】
このＯＨＰ装置２００は、図２に示すように、システムバス２０１に対して、装置全体の制御を行うための制御部２１０が接続されると共に、プロジェクタ部２０２、操作処理部２０３、バーコード読み取り機２０４、計時装置部２０５、資料提示時刻テーブル格納部２０６、信号インターフェース２０７が接続されて構成されている。
【００４８】
プロジェクタ部２０２は、通常のＯＨＰ装置と同様に、図３に示すように、投影ガラス面１１に載置されたＯＨＰシートに描かれている統計グラフや、説明文を、スクリーンに投影して拡大表示するものである。
【００４９】
この例の場合、ＯＨＰシート１２には１枚毎に、それぞれのＯＨＰシート１２を識別するための識別子の例としてのバーコードが付与されている。この例の場合には、図４に示すように、各ＯＨＰシート１２の左下隅の位置には、バーコード・マーク１３が、この例では、印字されている。このバーコードマーク１３は、予め、バーコード・マークが印刷されたバーコード・ラベルを、各ＯＨＰシート１２に貼り付けるようにしてもよい。バーコードとしては、資料名を記録することもできるが、これは、単なる識別番号であってもよい。
【００５０】
操作処理部２０３は、電源キーや、転送キーなどの操作キー入力を受けて、そのキー判別出力を制御部２１０に送るものである。制御部２１０は、このキー判別出力を受けて、各キー操作に応じた処理を実行するようにする。
【００５１】
バーコード読み取り機２０４は、図４に示すように、ＯＨＰシート１２に付与されたバーコード・マーク１３を読み取ることができるＯＨＰ装置２００内の位置に設けられている。ＯＨＰシート１２が投影ガラス面１１に載置されると、それに付与されているバーコード・マーク１３を読み取り、その読み取り結果をシステムバス２０１に出力する。
【００５２】
計時装置部２０５は、時計であり、時刻情報をシステムバス２０１に出力するものである。
【００５３】
資料提示時刻テーブル格納部２０６は、制御部２１０による作成処理により作成された資料提示時刻テーブルの情報を格納する。この資料提示時刻テーブル格納部２０６は、例えばＲＡＭなどのメモリが用いられる。
【００５４】
なお、前述したように、資料提示時刻テーブルの情報の転送をフロッピーディスクを介して行う場合であれば、この資料提示時刻テーブル格納部２０６は、フロッピーディスクへの書き込みが可能なフロッピーディスクドライバで構成される。
【００５５】
信号インターフェース２０７は、操作処理部２０３で転送キーが押されたことを検知したときに、資料提示時刻テーブルの情報を、プレゼンテーション再生装置１００に転送する際に使用される。図３に示すように、この信号インターフェース２０７は、コネクタジャック２０７Ｃを備え、プレゼンテーション再生装置１００の後述するインターフェースが備えるコネクタジャックに一端が接続されている図示しないケーブルのコネクタプラグが、このコネクタジャック２０７Ｃに装着されて、プレゼンテーション再生装置１００と接続されるものである。
【００５６】
また、図３において、２２０は回路基板部を示すもので、この回路基板部２２０には、システムバス２０１、制御部２１０、計時装置部２０５、資料提示時刻テーブル格納部２０６としてのメモリ、操作処理部２０３などの回路素子（ＩＣなど）が配設されていると共に、この回路基板部２２０のシステムバス２０１に対してバーコード読み取り機２０４の出力端や、信号インターフェース２０７の入力端が接続されている。
【００５７】
以上のような構成を有するＯＨＰ装置２００においては、プレゼンテーションの実行に伴い、制御部２１０は、提示された複数枚のＯＨＰシート１２についての資料提示時刻テーブルを作成し、その作成した資料提示時刻テーブルを格納部２０６に格納する。
【００５８】
図５に、この資料提示時刻テーブル作成および格納処理ルーチンのフローチャートの例を示す。
【００５９】
まず、ステップＳ１で、提示資料レジスタの提示資料名（バーコード値）の初期値として不定値を設定する。次に、ステップＳ２で、ＯＨＰ装置２００の投影ガラス面１１に載置されているＯＨＰシート１２の左下隅のバーコード・マーク１３を、バーコード読み取り機２０４により読み取る。
【００６０】
次に、ステップＳ３で提示資料レジスタの値と、読み取ったバーコードとを比較し、提示資料名が等しいか否か判別する。提示資料名が変わっていなければ、投影ガラス面１１に載置されて提示されているＯＨＰシート１２が変わっていないと判断し、ステップＳ７で予め定められた一定時間待って、ステップＳ２に戻る。
【００６１】
また、ステップＳ３で読み取ったバーコード値が、提示資料レジスタの値と異なっており、提示中のＯＨＰシート１２が変わったと判別されたときには、ステップＳ４に進み、提示資料レジスタの値を読み取ったバーコード値に書き替える。
【００６２】
そして、ステップＳ５に進み、その時点での時刻を計時装置部２０５から取得する。次にステップＳ６に進み、その時刻とレジスタの格納値であるバーコード値の対を、資料提示時刻テーブル格納部２０６に追記する。その後、ステップＳ７に進み、一定時間待った後、ステップＳ２に戻る。以上を、プレゼンテーションの最後まで繰り返し実行する。
【００６３】
なお、この実施の形態では、ＯＨＰ装置２００には、プレゼンテーションの開始時刻が別途、記録される。この開始時刻は、前述したビデオカメラでプレゼンテーションの撮影を開始し、また、マイクロホンでプレゼンテーションの際の音声の録音を開始した時刻である。
【００６４】
例えば、プレゼンテーションの開始と同時にビデオカメラでの撮影が開始され、これとほぼ同時に、ＯＨＰ装置２００に電源が投入され、そのときの時刻を記憶しておき、資料提示時刻テーブルの情報と共に、プレゼンテーション再生装置１００に転送するようにする。
【００６５】
このように、開始時刻を記録しておくことにより、再生時、資料提示時刻は、当該開始時刻からの相対時刻として扱いことができる。
【００６６】
以上のように構成されているＯＨＰ装置２００での資料提示時刻テーブルの作成処理について、具体例を挙げて説明する。以下に説明する例は、３枚のＯＨＰシートを使用したプレゼンテーションを例にとって説明する。
【００６７】
まず、この例では、プレゼンテーションに使用する３枚のＯＨＰシートの隅に、予め、バーコード値が、例えばＮ１，Ｎ２，Ｎ３（ただしＮ１≠Ｎ２≠Ｎ３）であるバーコードマーク１３を、図４に示したように印字または貼り付ける。
【００６８】
今、プレゼンテーションは１５：００に始まり、この開始時点からＯＨＰ装置２００が駆動されており、発表者はバーコード値がＮ１のＯＨＰシートを、プロジェクタの投影ガラス面１１上に載置しておいたとする。
【００６９】
このとき、図３のＯＨＰ装置２００のバーコード読み取り機２０４は、そのＯＨＰシートのバーコードを読み取ることにより、コードＮ１を読み取る。提示資料名レジスタには、初期値として不定値が格納されていたので、図５のステップＳ３で、バーコードの値が“Ｎ１”に変化したことが検知され、（提示時刻 資料名（バーコード値））として、図６に示すように、
（１５：００ Ｎ１）
が資料提示時刻テーブルＴＢＬに格納される。なお、時刻の記録は、秒単位や、さらに詳細に記録しても良いが、ここでは説明の便宜上分単位としている。
【００７０】
次に発表者は１５：０４にＯＨＰ装置２００のプロジェクター上のＯＨＰシートを、バーコード値がＮ２のものに置き換えたとする。すると、このとき、バーコード読み取り機２０４は、このバーコード値Ｎ２を読み取る。コードの値が“Ｎ１”から“Ｎ２”に変化したので、図６に示すように、
（１５：０４ Ｎ２）
が資料提示時刻テーブルＴＢＬに追加格納される。
【００７１】
次に、発表者が１５：０７に、ＯＨＰ装置２００のプロジェクター上のＯＨＰシートを、バーコード値がＮ３のものに置き換えると、上述と同様にして、
（１５：０７ Ｎ３）
が資料提示時刻テーブルＴＢＬに追加格納される。
【００７２】
次に、発表者は質問を受けたので、１５：１１にＯＨＰ装置２００のプロジェクター上のＯＨＰシートを再びコードがＮ２のものに置き換えるとすると、同様にして、このＯＨＰシートのバーコードが読み取られることにより、
（１５：１１ Ｎ２）
が、図６に示すように、資料提示時刻テーブルＴＢＬに追加格納される。以上で、プレゼンテーションが終了したとすると、ＯＨＰ装置２００の資料提示時刻テーブル格納部２０６には、結局、図６に示す資料提示時刻テーブルＴＢＬが格納される。
【００７３】
次に、図１のプレゼンテーション再生装置１００の詳細について説明する。すなわち、図１に示すように、プレゼンテーション装置１００は、システムバス１０１に対して、制御部１１０が接続されると共に、再生部１０２、音声出力部１０３、表示部１０４、信号インターフェース部１０５および１０６、読み取り装置部（イメージリーダ）１０７、計時装置部１０８、複製出力部１０９が接続される。また、システムバス１０１に対して、さらに、音声格納部１１１と、動画格納部１１２と、電子文書格納部１１３と、資料提示時刻格納部１１４と、操作処理部１１５とが接続される。
【００７４】
プレゼンテーション再生装置１００は、プレゼンテーション記録装置３００から転送されてくる音声情報および画像情報を、信号インターフェース１０６を通じて受けて、音声格納部１１１および画像格納部１１２にそれぞれ格納する。
【００７５】
また、プレゼンテーション再生装置１００は、ＯＨＰ装置２００から転送されてくる資料提示時刻テーブルＴＢＬの情報を、信号インターフェース１０５を通じて受け、資料提示時刻テーブル格納部１１４に格納する。
【００７６】
さらに、プレゼンテーションの際にＯＨＰ装置２００が用いられて提示されたすべてのＯＨＰシートを、読み取り装置部１０７で、逐次読み取って、それぞれ電子文書に変換して電子文書格納部１１３に格納する。この際に、読み取り装置部１０７は、各ＯＨＰシート１２に付与されているバーコードも読み取り、このバーコードを各ＯＨＰシート１２を読み込んだ電子文書の識別子として、この識別子と対応させて電子文書を電子文書格納部１１３に格納している。
【００７７】
音声出力部１０３は、プレゼンテーションの再生音声を放音するためのスピーカで構成される。
【００７８】
操作処理部１１５は、再生開始指示や、表示部１０４の表示画面に表示されているＯＨＰシートの電子文書の中から所望の電子文書を選択するためのマウスなどからの操作指示を受け付け、その操作指示信号を制御部１１０に通知する。
【００７９】
そして、再生部１０２は、制御部１１０の制御を受け、時系列情報の再生を行うと共に、この時系列情報の再生に同期して、プレゼンテーションにおける各資料文書（ＯＨＰシート）の提示時刻に、対応する電子文書を再生して表示部１０４に表示する。
【００８０】
すなわち、再生部１０２は、音声格納部１１１から音声情報を取り出して音声出力部１３に送り、音響再生すると共に、画像格納部１１２から画像情報を取り出して、表示部１０４に表示して、時系列情報を再生する。また、資料提示時刻テーブル格納部１１４の資料提示時刻テーブルＴＢＬを参照し、各資料文書、この例ではＯＨＰシートの提示時刻に、その提示されたＯＨＰシートの電子文書を電子文書格納部１１４から取り出して表示部１０４に表示する。
【００８１】
この例の場合、前述したように、プレゼンテーション再生装置１００には、資料提示時刻テーブルと共に、プレゼンテーションの開始時刻の情報が転送されてくる。
【００８２】
表示部１０４は、表示画面１０４Ｄを備え、後述もするように、マルチウインドウ表示する機能を備えている。ウインドウの種類としては、図７に示すような、時系列情報である動画表示用のウインドウ２０および電子文書の表示ウインドウ３０と、図８および図９に示すような、任意の電子文書を指定するための２種類の文書指定ウインドウ４０および５０（図８および図９）や、その他とがある。
【００８３】
表示部１０４は、また、表示ウインドウ２０、４０、５０中に表示するユーザインターフェースを生成する。
【００８４】
すなわち、図７に示すように、動画表示用ウインドウ２０中には、動画表示部２１と、時系列情報再生操作ユーザインターフェース部２２と、再生中において現在再生点位置の動画像などの時系列情報の記録開始点からの時刻（以下、再生点時刻という）を表示する時刻表示部２３が表示される。
【００８５】
時系列情報再生操作ユーザインターフェース部２２は、再生開始点指定用のスライドボタン２２ａ、再生停止ボタンと再生スタートボタンと早送りボタンと巻戻しボタンとからなる操作ボタン２２ｂ、音量調整用のスライドボタン２２ｃを含む。
【００８６】
図８の文書指定ウインドウ４０は、電子文書表示ウインドウ３０に電子文書を順次に１枚ずつ表示して、その内の一つを指定するための閲覧表示ウインドウである。この文書指定ウインドウ４０には、電子文書のページを繰るための操作ボタン４１と、電子文書表示ウインドウ３０に表示されている電子文書名を表示する選択文書名表示欄４２と、電子文書のページ表示欄４３（総ページと、その時に電子文書表示ウインドウ３０に表示されている電子文書のページが表示される）と、「一覧表示」アイコン４４とが表示される。
【００８７】
図９の文書指定ウインドウ５０は、図８の「一覧表示」アイコン４４がマウスによりクリックされたときに開かれる一覧表示ウインドウ画面である。表示部１０４は、プレゼンテーションの際に提示された資料の電子文書のすべてを、提示順に、各１ページを縮小して一覧表示する。ユーザは、その縮小された資料の一覧の内から一つの電子文書を指定することができる。
【００８８】
図９の例は、図６に示した資料提示時刻テーブルＴＢＬが資料提示時刻テーブル格納部１１４に格納されている場合の例で、４枚のＯＨＰシートの電子文書Ｎ１，Ｎ２，Ｎ３，Ｎ２が縮小されて表示されている状態であり、そのうちの現在選択されている文書は、文書Ｎ１であり、それは４枚中の先頭の１枚であることを示している。
【００８９】
なお、プレゼンテーションの際に提示された資料が多い場合には、すべての資料の縮小文書を１つのウインドウ５０の画面中に表示するのではなく、複数毎づつウインドウ５０中に表示するようにしても、もちろんよい。
【００９０】
そして、前記閲覧表示ウインドウ４０や一覧表示ウインドウ５０において、表示画面に表示された電子文書の一つを操作処理部１１５を通じて指定すると、すなわち、現在の選択状態で確定させると、再生部１０２は、後述するように、指定された電子文書のＯＨＰシートの資料が、プレゼンテーションにおいて、提示されていた時間区間に相当する時系列情報を検索して、音声格納部１１１および画像格納部１１２から抽出して再生する機能を備える。この機能についてはさらに後述する。
【００９１】
また、複製出力部１０９は、ファイル化指示あるいはフォルダー化指示が、操作処理部を通じてユーザにより行われると、そのとき抽出された音声情報および画像情報を、ファイル化し、あるいはフォルダー化して出力するようにする。このファイルあるいはフォルダーには、指定された資料の電子文書も含まれる。
【００９２】
次に、このプレゼンテーション再生装置１００の再生動作について説明する。ユーザは、再生の開始に当たって、図７に示した再生開始点指定用のスライドボタン２２ａにより、どの録画点位置から再生するか指示する。再生部１０２は、操作ボタン２２ｂの再生ボタンのマウスによるクリック操作を受けて、このスライドボタン２２ａの再生開始指示位置に相当する再生位置から時系列情報の再生を実行する。
【００９３】
この再生部１０２における、再生開始位置の決定の処理ルーチンの例を、図１０のフローチャートに示す。
【００９４】
すなわち、ステップＳ１１において、スライドボタン２２ａの位置を、このスライドボタン２２ａの可動全長との相対値（割合）として得る。次に、ステップＳ１２に進み、時系列情報としての動画像データの全再生時間を求める。これは、例えば、プレゼンテーション開始時刻と終了時刻とから求めることができる。
【００９５】
次に、ステップＳ１３で、全再生時間と相対値（割合）との積を求め、プレゼンテーション開始時点から再生開始点までの経過時間を求める。そして、ステップＳ１４に進み、プレゼンテーション開始時点に、求めた経過時間を加えて目的位置の再生点時刻を求める。
【００９６】
以上の処理ルーチンで求められた再生点時刻は、一時格納される。ついで、図７のユーザインターフェースの操作ボタン２２ｂの再生ボタンをマウスでクリックすると、再生部１０２は、この求められた再生点時刻の音声情報および画像情報を、それぞれ音声格納部１１１および動画格納部１１２から、抽出を開始して、時系列情報の順次再生を実行する。
【００９７】
このように、図７の再生ボタンをクリックすると、動画および音声が再生でき、スライダーボタン２２ａによって任意の再生位置から再生を開始させることができると共に、再生開始位置をジャンプさせることもできるものである。
【００９８】
なお、スライドボタン２２ａが左端の「Ｓ」の位置にあれば、これは先頭位置を表し、時系列情報は、その最初から再生される。
【００９９】
この時系列情報の順次再生の間に、再生部１０２は、所定の時間間隔、例えば１０秒間隔で、図１１の処理ルーチンを実行し、前述したように、資料の電子文書の同期再生を行う。
【０１００】
すなわち、図１１の処理ルーチンが実行されると、まず、ステップＳ２１で、資料提示時刻テーブル格納部１１４の資料提示時刻テーブルの先頭の要素を取り出す。そして、次のステップＳ２２で、取り出した要素の資料提示時刻が現在再生中の時点の再生点時刻より後か否か判断する。
【０１０１】
ステップＳ２２での判断の結果、取り出した要素の資料提示時刻が再生点時刻よりも前であると判断されたときには、ステップＳ２３に進み、資料提示時刻テーブルの次の要素があるかどうか判断し、次の要素があればステップＳ２４で当該次の要素を資料提示時刻テーブルから取り出す。次の要素がなければ、ステップＳ２５で、現在取り出している（すなわち、最後の）要素のバーコード（識別子）を、再生提示すべき文書名として出力する。
【０１０２】
また、ステップＳ２２での判断の結果、取り出した要素の資料提示時刻が再生点時刻よりも後であると判断されたときには、ステップＳ２６に進み、資料提示時刻テーブルに、取り出した要素の一つ前の要素が存在するか否か判断し、存在すれば、ステップＳ２７に進み、当該一つ前の要素を資料提示時刻テーブルから取り出し、ステップＳ２８で、取り出した要素のバーコード（識別子）を、再生提示すべき文書名として出力する。
【０１０３】
また、ステップＳ２６で、資料提示時刻テーブルに、取り出した要素の一つ前の要素が存在しないと判断されたときには、ステップＳ２９に進んで、現在取り出している（すなわち、先頭の）要素のバーコード（識別子）を、再生提示すべき文書名として出力する。以上でこの処理ルーチンを終了する。
【０１０４】
再生部１０２は、この処理ルーチンの結果として戻ってきたバーコードを識別子とする電子文書を、電子文書格納部１１３から取り出し、図７に示した電子文書ウインドウ３０に表示する。
【０１０５】
すなわち、例えば、資料提示時刻テーブルが、前述した図６の場合において、時系列情報の最初から再生を行った場合、再生開始から４分の間は、バーコード値Ｎ１の資料の電子文書が電子文書ウインドウ３０に表示される。そして、再生開始から４分経過した時点になると、電子文書ウインドウ３０の表示内容が、２番目のバーコード値Ｎ２の資料の電子文書が変わる。そして、再生開始から４分経過後、７分経過前までの間は、このバーコード値Ｎ２の資料の電子文書が電子文書表示ウインドウ３０に表示され続ける。
【０１０６】
そして、再生開始から７分経過後、１１分経過前までの間は、バーコード値Ｎ３の資料の電子文書が電子文書表示ウインドウ３０に表示され、再生開始から１１分経過後には、バーコード値Ｎ２の資料の電子文書がウインドウ３０に表示されるものである。
【０１０７】
以上の例では、再生しながら、各再生位置で提示されていた資料を、図１１に示したフローチャートに従って特定し、図７に示すように、その電子文書を表示するようにしたが、図１０のフローチャートにおける各資料毎の同期再生区間の計算は再生時毎に行う必要はなく、予め行い、結果をテーブルとして保存しておき、これを参照して再生する方法を用いるようにしても良い。
【０１０８】
特に、動画像情報や音声情報の格納手段がディスクを用いたものである場合には、各同期再生区間は何トラック目の何セクタ目から何トラック目の何セクタ目までかを予め知ることができるので、これを用いて迅速な検索が可能になる。
【０１０９】
次に、前述した閲覧表示または縮小の一覧表示の中から、一つ電子文書を選択して指示し、当該選択された資料が提示されていた時間に相当する時系列情報を再生する処理について説明する。
【０１１０】
図８の閲覧表示においては、文書指定のユーザインタフェース中の操作ボタン４１の、例えば先送りおよび後戻りボタンのクリックにより、資料提示時刻テーブルの記録に従って、順次、電子文書を図７に示すように、電子文書表示ウインドウ３０に表示する。表示中の文書名（例えばバーコード値）が、選択文書名表示欄４２に表示され、また、それが総頁中の何頁目かが、ページ表示欄４３に表示される。
【０１１１】
この例の場合は、操作ボタン４１の先送りボタンをクリックし続けると、プレゼンテーションで提示された資料Ｎ１，Ｎ２，Ｎ３，Ｎ２が、その提示順で表示される。ここで資料Ｎ２の電子文書が表示されている際に、図７の操作ボタン２２ｂの再生ボタンをクリックすると、資料提示時刻テーブルの記録に従って、資料提示時刻テーブルの１行目の１５：０４から次の資料Ｎ３が提示される１５：０７までの３分間の動画および音声が再生され、資料提示時刻テーブルの４行目の１５：１１から終了までの動画および音声が再生される。
【０１１２】
この場合、１５：０７から１５：１１まではこの資料Ｎ２が提示されておらず、時間的不連続があるので、これを視覚的および聴覚的にユーザに明示するため、予め指定されたアイキャッチャと信号音が特定フレーム数分、あるいは数秒の時間、挿入される。
【０１１３】
また、前述もしたように、図８の一覧表示ボタン４４をマウスでクリックすると、図９に示すように、資料提示時刻テーブルの記録に従って電子文書の縮小資料の一覧が表示される。前述の具体例の場合であれば、Ｎ１，Ｎ２，Ｎ３，Ｎ２の順で電子文書の資料の一覧が表示される。ここで、縮小表示された電子文書の一つをマウスでクリックすると、その電子文書が図７に示すように、表示され、その資料の提示開始時刻から別の資料の提示開始時刻までの時間に相当する動画および音声が再生される。例えば、先の例で縮小表示された資料Ｎ３の電子文書をクリックすると、１５：０７から１５：１１の区間に相当する動画および音声が再生される。
【０１１４】
図１２および図１３は、図８または図９の文書指定ウインドウにおいて、一つの電子文書が選択指定された場合の処理ルーチンの例を示すフローチャートである。
【０１１５】
すなわち、ユーザインターフェースを通じたユーザの文書選択操作を受けて、図１２の処理ルーチンが起動されると、まず、ステップＳ３１で、資料提示時刻テーブル格納部１１４の資料提示時刻テーブルの先頭の要素を取り出す。そして、次のステップＳ３２で、取り出した要素の資料名（この例では、バーコード）が選択された資料と同一かどうか判断する。
【０１１６】
同一であれば、ステップＳ３３に進み、取り出した要素の資料提示時刻を再生開始時刻とする。そして、ステップＳ３４に進み、資料提示時刻テーブルに次の要素が存在するか否か判断し、次の要素があればステップＳ３５に進み、当該次の要素を資料提示時刻テーブルから取り出す。この要素は、必ず、選択された資料とは異なっているので、ステップＳ３６に進み、取り出した要素の資料提示時刻を再生終了時刻とする。
【０１１７】
次に、ステップＳ３７に進み、ステップＳ３３で定めた再生開始時刻と、ステップＳ３６で定めた再生終了時刻との間の区間の音声と動画像を、音声格納部１１１および動画格納部１１２から抽出して、再生する。
【０１１８】
そして、ステップＳ３７での再生が終了すると、ステップＳ３８に進み、資料提示時刻テーブルに、次の要素が存在するか否か判断する。次の要素がなければ、この処理ルーチンを終了する。次の要素があれば、ステップＳ３９に進み、時間的不連続を示す信号音と、画像を出力する。そして、ステップＳ４０に進み、資料提示時刻テーブルの次の要素を取り出し、ステップＳ３２に戻る。
【０１１９】
ステップＳ３２で、取り出した要素の提示資料名が、選択された資料と同一であると判断されれば、以上説明したのと同様の処理手順で、その資料が提示されていた時間に相当する音声および動画像が、ステップＳ３７で再生される。このとき、ステップＳ３９で、時間的不連続であることがユーザに予め知らされていることになる。
【０１２０】
ステップＳ３２で、資料提示時刻テーブルから取り出した要素の提示資料名が、選択されたものと異なっている場合には、図１３のステップＳ４２に進み、資料提示時刻テーブルにさらに次の要素があるか否か判断し、なければ、その処理ルーチンを終了し、あれば、ステップＳ４４に進み、当該要素を資料提示時刻テーブルから取り出し、ステップＳ３２に戻り、上述と同様の動作を繰り返す。
【０１２１】
また、ステップＳ３４で資料提示時刻テーブルに、次の要素が存在しないと判断されたときには、ステップＳ４４に進み、ステップＳ３３で求められた再生開始時刻から、時系列情報の最後までの音声と動画像を再生する。そして、この処理ルーチンを終了する。
【０１２２】
例えば、選択された資料がバーコード値Ｎ２の電子文書であれば、図６の資料提示時刻テーブルＴＢＬに示されるように、１５：０４〜１５：０７の間と、１５：１１〜最後までの間に相当する音声および動画像が抽出されて再生されると共に、途中が不連続である告知が視覚的および聴覚的に行われる。
【０１２３】
以上のように、特定の資料が提示されていた区間の時系列情報が抽出された再生されると共に、同じ資料が、時間的に不連続の状態で、プレゼンテーションの際に提示された場合であっても、その時間的不連続位置には、それを示す信号音や画像を出力するので、ユーザは、明確に時間的不連続を認識することができる。
【０１２４】
そして、以上のようにして、抽出された音声および動画像情報は、ユーザの適宜の複製要求に応じて、複製出力部１０９により、ファイル化あるいはフォルダー化されて、出力される。したがって、プレゼンテーションの資料毎の編集が容易にできると共に、短時間に、特定の資料についての説明や議論の様子だけを見たいという要求に応えることができる。
【０１２５】
なお、上述の実施の形態では、資料提示装置は、ＯＨＰ装置で構成した場合について説明したが、資料提示装置は、電子スライド文書表示装置を用いることもできる。
【０１２６】
図１４は、資料提示装置の他の実施の形態としての電子スライド文書表示装置４００を、その処理機能を中心として示した機能ブロック図である。
【０１２７】
この電子スライド文書表示装置４００は、図１４に示すように、システムバス４０１に対して、装置全体の制御を行うための制御部４１０が接続されると共に、スライド表示部４０２、スライド電子文書格納部４０３、操作処理部４０４、計時装置部４０５、資料提示時刻テーブル格納部４０６、信号インターフェース４０７が接続されて構成されている。
【０１２８】
この電子スライド文書表示装置４００においては、スライド電子文書格納部４０３のスライド電子文書が、キーボードやマウスからなる操作処理部４０４を通じたユーザによる明示的な変更入力に応じて、変更されて、スライド表示部４０２に送られ、そのスクリーンに拡大表示されるものである。
【０１２９】
そして、資料提示時刻テーブル格納部４０６には、操作処理部４０４の変更入力の時点の時刻が、提示時刻として計時装置部４０５から取得されて格納されると共に、この提示時刻と対をなすスライド電子文書の識別子（文書名や識別コード）が格納されて、資料提示時刻テーブルが生成され、格納される。そして、この資料提示時刻テーブルが、信号インターフェース４０７を通じてプレゼンテーション再生装置１００に転送されるものである。この場合も、フロッピーディスクなどの記録媒体を介して転送するようにしてもよい。
【０１３０】
この電子スライド文書表示装置を資料提示装置として用いた場合には、提示する電子文書のスライドの変更はキーボードやマウスによる明示的な入力があるので、この入力イベントの発生時に、時刻と提示中の電子ファイル名を資料提示時刻テーブルに格納するだけでよくなり、ＯＨＰ装置２００の場合のようなバーコードの読み取り機２０４は不要になる。
【０１３１】
また、資料の電子文書データも、スライド電子文書格納部４０３から、信号インターフェース４０７を通じて、プレゼンテーション再生装置１００に転送することができるので、プレゼンテーション再生装置に読み取り装置部（イメージリーダ）１０７を設ける必要もない。
【０１３２】
なお、以上の実施の形態では、時系列情報として、動画像と音声とを記録格納するようにしたが、時系列情報としては、音声のみ、あるいは動画像のみであってもよい。
【０１３３】
また、時系列情報については、時刻データを記録しない例について説明したが、時系列情報に、いわゆるタイムコードを付加して記録すると共に、資料提示時刻として、時系列情報のタイムコードを記憶するようにすれば、両者の対応が容易に付くという効果がある。
【０１３４】
また、プレゼンテーション再生装置１００の音声格納部１１１および動画格納部１１２を、ディスクやテープを媒体として再生するディスク再生装置やテープ再生装置で構成すれば、プレゼンテーションの再現を行うときにのみ、プレゼンテーションの音声や動画像を記録したディスクやテープを装填すればよいので、音声や動画像のデータを、プレゼンテーション再生に先立ち、予め転送しておく必要はない。
【０１３５】
【発明の効果】
以上の説明したように、この発明によれば、会議やプレゼンテーションの場で提示されたＯＨＰシートやスライドの資料を電子文書として格納し、動画像や音声など時系列情報の再生時に、実際に会議やプレゼンテーションの場で提示された通りのタイミングで電子文書資料を同時に表示することができる。
【０１３６】
また、逆に任意の電子文書を指定することによって、その資料が提示されていたときの、実際の会議やプレゼンテーションの動画または音声などの時系列情報の部分を再生することができる。
【０１３７】
したがって、ビデオカメラで撮影した画像からだけでは、提示されている資料がどれなのかを特定することが困難であることや、内容を十分に読み取ることができない、といった問題を解決でき、プレゼンテーションの非参加者であっても、参加者が得るのと同程度の情報の再生が可能となるという効果がある。
【図面の簡単な説明】
【図１】この発明による情報再生装置および資料提示装置の一実施の形態の全体の構成を説明するための図である。
【図２】 図１の実施の形態における資料提示装置の一例の機能ブロック図である。
【図３】 図２の例の資料提示装置の機構的構成例を示す図である。
【図４】提示資料の一例を示す図である。
【図５】 図２の例の資料提示装置の要部の処理ルーチンのフローチャートである。
【図６】資料提示時刻テーブルの一例を示す図である。
【図７】図１の実施の形態における情報再生装置における表示画面の一例を示す図である。
【図８】図１の実施の形態における情報再生装置における表示画面の一例を示す図である。
【図９】図１の実施の形態における情報再生装置における表示画面の一例を示す図である。
【図１０】図１の実施の形態における情報再生装置における再生開始時点を決定する処理ルーチンのフローチャートである。
【図１１】図１の実施の形態における情報再生装置において、時系列情報と同期して資料の電子文書を再生するタイミングを決める処理ルーチンのフローチャートである。
【図１２】図１の実施の形態における情報再生装置において、資料の電子文書に対応する時間区間の時系列情報を再生する処理ルーチンのフローチャートの一部である。
【図１３】図１の実施の形態における情報再生装置において、資料の電子文書に対応する時間区間の時系列情報を再生する処理ルーチンのフローチャートの一部である。
【図１４】 資料提示装置の他の例の機能ブロック図である。
【符号の説明】
１００ プレゼンテーション再生装置
１０１ システムバス
１０２ 再生部
１０３ 音声出力部
１０４ 表示部
１０７ 読み取り装置部（イメージリーダ）
１０８ 計時装置部
１０９ 複製出力部
１１０ 制御部
１１１ 音声格納部
１１２ 画像格納部
１１３ 電子文書格納部
１１４ 資料提示時刻テーブル格納部
２００ ＯＨＰ（オーバ・ヘッド・プロジェクタ）装置
２０１、４０１ システムバス
２０２ プロジェクタ部
２０４ バーコード読み取り機
２０５、４０５ 計時装置部
２０６、４０６ 資料提示時刻テーブル
２０７、４０７ 信号インターフェース
２１０、４１０ 制御部
３００ プレゼンテーション記録装置
４０２ スライド表示部
４０３ スライド電子文書格納部
【発明の属する技術分野】
この発明は、会議やプレゼンテーションを再現するための動画像や音声情報などのマルチメディア情報からなる時系列情報と、会議やプレゼンテーションの際に使用した資料の電子文書とを、相互に関係付けて、同期的に再生表示する情報再生装置および情報再生方法に関するものである。
【０００２】
【従来の技術】
会議やプレゼンテーションを再現するために、ビデオカメラで、会議状況やプレゼンテーションの録画を行い、また、マイクロホンで収音した会議中の音声やプレゼンテーションの音声を併せて記録することが、一般に行われている。
【０００３】
ところで、会議やプレゼンテーションを行う場合に、オーバ・ヘッダ・プロジェクタ装置（以下ＯＨＰ装置と呼ぶ）や電子式スライド装置などの資料提示装置を用いて、参加者に、統計グラフや説明文などの文書資料を、スクリーンに拡大表示して提示することがよくある。これらの資料は、会議やプレゼンテーションを再現するためには、重要なものであることが多く、これらは、詳細に判読できることが要求される。
【０００４】
しかしながら、上述のように、ビデオカメラで会議やプレゼンテーションの風景を記録したときには、その再生画像の解像度が低いという問題から、スクリーンに表示されて提示されている説明文や統計表やグラフの内容を十分に読み取ることができないという問題がある。
【０００５】
ＯＨＰシートやスライド文書などのコピーを紙文書として入手すれば、この問題は解決するが、ビデオカメラで撮影した画像の再生画像からだけでは、ある時点で提示されているＯＨＰシートやスライド文書が、どれなのかを特定することが困難であることも多い。
【０００６】
また、ＯＨＰシートの資料などのコピーを別に入手した場合などでは、それを見ただけでは十分に内容がわからない資料について、その部分だけの説明をビデオテープの記録から参照したいという要求がある場合があるが、この場合もビデオテープのどの部分を見ればよいのか分からず、テープの最初から再生して検索しなければならないという問題もある。
【０００７】
前者の問題を解決するために、動画像を効率良く、検索を行えるようにする提案が、従来から種々行われている。例えば特開平6-83877 号公報には、動画像の全体的な流れを容易に把握できる情報として、記録動画像の中から、例えば時間的に等間隔に抽出した画像と、その位置を示す位置コードとを印刷し、かつ、その印刷物の位置コードに対して指示することで、動画像検索作業を効率よく行い得る画像情報表示手段が提供されている。
【０００８】
また、後者の問題に関しては、電子文書と動画や音声とを同期的に表示する装置が提供されている。すなわち、この種の装置は、例えば、既に製品化されているマクロメディア（MACROMEDIA）社の製品名「Director」などのオーサリング・ツールを用いて、予め、動画のフレームと電子文書との対応付けや、索引を作成しておき、この予めの対応付けや、作成された索引に基づいて、同期表示を行うものである。
【０００９】
また、これらが動作するパソコンには計時手段は標準的に備えられている。さらに提示スライドを替える操作をした際にそのスライドの提示順序や名前を記録する手段も、例えばApple 社のAppleScript の記録機能などによってすでに実現が可能である。しかしながら、これらは定型操作を記録し、繰り返し実行させることをその目的としているため、順序は記録できるが、その操作が行われた時刻を同時に記録することができない。
【００１０】
【発明が解決しようとする課題】
例えば特開平6-83877 号公報の場合、印刷された画像は動画像を印刷したものであり、解像度が向上するわけではないので、ビデオカメラで撮影された場合に、資料の内容が読めないという問題は解決できない。
【００１１】
また、従来の、電子文書と動画や音声とを同期的に表示する装置の場合、前述したように、予め、動画のフレームと電子文書とを対応づけたり、索引を作成するための編集作業が必要になる。さらに、この編集作業においても、編集者が、提示されていた資料を動画から正確に特定できないという問題が発生する。これを回避するには、編集者自身も録画の場に参加するか、編集者に渡すために誰かが、資料ごとに、資料提示の時刻を正確に記録しておかなければならない。
【００１２】
この発明は、上述の点に鑑みて、会議やプレゼンテーションの場で提示されたＯＨＰシートやスライドなどの資料を電子文書として格納し、動画像および音声再生時に、実際に会議やプレゼンテーションの場で提示された通りのタイミングで電子文書資料を同期して表示する機能と、これとは逆に任意の電子文書を指定することによって、その資料が提示されていたときの、実際の会議やプレゼンテーションの動画および音声の部分を再生する機能を提供することができるようにすることを目的とするものである。
【００１３】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明による情報再生装置は、
会議やプレゼンテーションを再現するために記録された時系列情報を格納する時系列情報格納手段と、
前記会議やプレゼンテーションの際に提示された資料の電子文書を、前記資料に付与された識別子との対応を付けて格納する電子文書格納手段と、
前記提示された資料の前記識別子と、前記提示された資料の前記時系列情報中における提示タイミングを検知するための時刻情報とが、対応を付けられて格納されている資料提示タイミング格納手段と、
前記時系列情報格納手段に格納されている前記時系列情報について、再生開始時点を設定入力するための操作手段と、
前記操作手段で設定された前記再生開始時点からの再生開始指示がされたときに、前記時系列情報格納手段から前記設定された再生開始時点から順次、前記時系列情報を読み出して再生を開始すると共に、前記資料提示タイミング格納手段に格納されている前記時刻情報を参照して、前記設定された再生開始時点で提示されていた資料の識別子を検出し、当該資料の識別子に対応する電子文書を、前記電子文書格納手段から読み出して表示する再生手段と、
を備えることを特徴とする。
【００２１】
【作用】
上記の構成の請求項１の発明においては、会議についての時系列情報の再生開始点を設定入力する操作手段を設け、当該操作手段を操作することにより、時系列情報の途中から再生することができると共に、当該途中から再生する場合においても、当該途中に対応する資料の電子文書を表示することができる。
【００２２】
したがって、請求項１の発明においては、音声および動画などの時系列情報を再生したときには、会議やプレゼンテーションの際に資料が提示された時刻に対応する再生時点において、資料の電子文書が同期して表示されることによって、動画像では読み難い資料を、見易い電子文書の表示形態で同時的に参照することが可能になる。
【００３２】
【発明の実施の形態】
以下、この発明による情報再生装置の実施の形態を、図を参照しながら説明する。以下に説明する実施の形態は、オーバ・ヘッド・プロジェクタで資料を提示しながらプレゼンテーションを行う場合の例である。
【００３３】
図１は、この実施の形態のプレゼンテーションの記録および再生システムの全体の構成図であり、１００はプレゼンテーション再生装置、２００はオーバ・ヘッド・プロジェクタ装置（ＯＨＰ装置という）、３００はプレゼンテーション記録装置である。
【００３４】
プレゼンテーション記録装置３００は、プレゼンテーション時の画像情報と、音声情報とを、プレゼンテーションの開始から終了まで、時系列情報として記録するもので、例えばビデオカメラでプレゼンテーション風景を撮影して記録すると共に、マイクロホンで収音した音声を記録する。１台でなく、複数台のビデオカメラで記録することも可能であり、記録された動画情報は、例えば磁気テープやディスクなどの記録媒体に格納される。
【００３５】
音声情報に関しては、プレゼンテーションを行う者に割り当てられたマイクロホンからの音声信号や、プレゼンテーションを受ける者の質問用などに設けられたマイクロホンからの音声信号が、テープやディスクの記録媒体に記録されて格納される。
【００３６】
この実施の形態の場合、記録されて格納された画像情報および音声情報は、デジタル信号の形式とされる。なお、これら画像情報および音声情報は、データ圧縮して記録するようにしてもよい。
【００３７】
また、このプレゼンテーション記録装置３００は、記録し格納した動画の画像情報や音声情報を、プレゼンテーション再生装置１００に電気信号として転送する機能を有している。
【００３８】
なお、直接、電気信号により転送するのではなく、プレゼンテーション記録装置３００において、ビデオカメラや音声用テープレコーダなどを用いて画像情報および音声情報を記録した磁気テープやディスク媒体を介して、プレゼンテーション記録装置３００からプレゼンテーション再生装置１００に転送するようにしてもよい。
【００３９】
ＯＨＰ装置２００は、この発明による情報提示装置の一実施の形態であり、通常のＯＨＰ装置の機能の他に、プレゼンテーションの際に、資料として提示されたすべてのＯＨＰシートのそれぞれの識別子と、そのＯＨＰシートが資料として提示された時刻との対応テーブル（以下、このテーブルを資料提示時刻テーブルと呼ぶ）を生成して格納する機能を有する。
【００４０】
また、この例では、プレゼンテーションの終了後に、格納した資料提示時刻テーブルの情報を、プレゼンテーション再生装置１００に転送する機能を備える。もっとも、資料提示時刻テーブルの情報を、プレゼンテーションの最中に、順次、変更があるごとに転送するようにしてもよい。また、資料提示時刻テーブルの情報をフロッピーディスクなどの記憶媒体に記憶しておき、この記憶媒体を介して転送するようにしても、もちろんよい。
以上のＯＨＰ装置２００の詳細については、後述する。
【００４１】
プレゼンテーション再生装置１００は、この発明による情報再生装置の一実施の形態を示すものである。このプレゼンテーション再生装置１００は、プレゼンテーション記録装置３００からの画像情報や音声情報の転送を受けて、対応する格納部に格納し、順次に再生する機能を備える。
【００４２】
また、プレゼンテーション再生装置１００は、プレゼンテーションの際にＯＨＰ装置２００により提示された、すべてのＯＨＰシートの内容（統計グラフやその説明文などの資料文書）を読み取って、電子文書として格納する機能を有する。
【００４３】
また、プレゼンテーション再生装置１００は、ＯＨＰ装置２００からの資料提示時刻テーブルの情報の転送を受けて、この資料提示時刻テーブルを参照して、画像情報や音声情報のプレゼンテーションの時系列情報の再生の際に、各資料が提示された時刻になったときに、当該資料の電子文書を同期して再生する機能を有する。
【００４４】
さらに、プレゼンテーション再生装置１００は、格納したすべてのＯＨＰシートの電子文書を、１枚づつ順次表示し、あるいはＯＨＰシートの電子文書を縮小して、その複数枚を１画面内（または１つのウインドウ内）に表示してユーザが閲覧することができるようにする機能を備えている。この実施の形態では、資料提示時刻テーブルに資料提示時刻が記録されており、電子文書格納部１１３に存在するすべての資料の電子文書の縮小文書を、一覧表示するようにしている。
【００４５】
そして、そのような閲覧を行っているときに、特定の電子文書をユーザが指定できるようにされており、その指定がなされた場合には、指定された電子文書の資料が、プレゼンテーションのときに提示された時間部分の画像情報および音声情報が抽出されて再生できる機能を備えている。さらに、このようにして一つの資料に対応して抽出された画像情報および音声情報の複製を、一つのファイルあるいはフォルダーとして出力する機能も備えている。
このプレゼンテーション再生装置１００の詳細についても後述する。
【００４６】
次に、ＯＨＰ装置２００の詳細例について説明する。図２は、この実施の形態のＯＨＰ装置２００の処理機能を中心として示した機能ブロック図、図３は、この実施の形態のＯＨＰ装置２００の機構部分の構成例を示す図である。
【００４７】
このＯＨＰ装置２００は、図２に示すように、システムバス２０１に対して、装置全体の制御を行うための制御部２１０が接続されると共に、プロジェクタ部２０２、操作処理部２０３、バーコード読み取り機２０４、計時装置部２０５、資料提示時刻テーブル格納部２０６、信号インターフェース２０７が接続されて構成されている。
【００４８】
プロジェクタ部２０２は、通常のＯＨＰ装置と同様に、図３に示すように、投影ガラス面１１に載置されたＯＨＰシートに描かれている統計グラフや、説明文を、スクリーンに投影して拡大表示するものである。
【００４９】
この例の場合、ＯＨＰシート１２には１枚毎に、それぞれのＯＨＰシート１２を識別するための識別子の例としてのバーコードが付与されている。この例の場合には、図４に示すように、各ＯＨＰシート１２の左下隅の位置には、バーコード・マーク１３が、この例では、印字されている。このバーコードマーク１３は、予め、バーコード・マークが印刷されたバーコード・ラベルを、各ＯＨＰシート１２に貼り付けるようにしてもよい。バーコードとしては、資料名を記録することもできるが、これは、単なる識別番号であってもよい。
【００５０】
操作処理部２０３は、電源キーや、転送キーなどの操作キー入力を受けて、そのキー判別出力を制御部２１０に送るものである。制御部２１０は、このキー判別出力を受けて、各キー操作に応じた処理を実行するようにする。
【００５１】
バーコード読み取り機２０４は、図４に示すように、ＯＨＰシート１２に付与されたバーコード・マーク１３を読み取ることができるＯＨＰ装置２００内の位置に設けられている。ＯＨＰシート１２が投影ガラス面１１に載置されると、それに付与されているバーコード・マーク１３を読み取り、その読み取り結果をシステムバス２０１に出力する。
【００５２】
計時装置部２０５は、時計であり、時刻情報をシステムバス２０１に出力するものである。
【００５３】
資料提示時刻テーブル格納部２０６は、制御部２１０による作成処理により作成された資料提示時刻テーブルの情報を格納する。この資料提示時刻テーブル格納部２０６は、例えばＲＡＭなどのメモリが用いられる。
【００５４】
なお、前述したように、資料提示時刻テーブルの情報の転送をフロッピーディスクを介して行う場合であれば、この資料提示時刻テーブル格納部２０６は、フロッピーディスクへの書き込みが可能なフロッピーディスクドライバで構成される。
【００５５】
信号インターフェース２０７は、操作処理部２０３で転送キーが押されたことを検知したときに、資料提示時刻テーブルの情報を、プレゼンテーション再生装置１００に転送する際に使用される。図３に示すように、この信号インターフェース２０７は、コネクタジャック２０７Ｃを備え、プレゼンテーション再生装置１００の後述するインターフェースが備えるコネクタジャックに一端が接続されている図示しないケーブルのコネクタプラグが、このコネクタジャック２０７Ｃに装着されて、プレゼンテーション再生装置１００と接続されるものである。
【００５６】
また、図３において、２２０は回路基板部を示すもので、この回路基板部２２０には、システムバス２０１、制御部２１０、計時装置部２０５、資料提示時刻テーブル格納部２０６としてのメモリ、操作処理部２０３などの回路素子（ＩＣなど）が配設されていると共に、この回路基板部２２０のシステムバス２０１に対してバーコード読み取り機２０４の出力端や、信号インターフェース２０７の入力端が接続されている。
【００５７】
以上のような構成を有するＯＨＰ装置２００においては、プレゼンテーションの実行に伴い、制御部２１０は、提示された複数枚のＯＨＰシート１２についての資料提示時刻テーブルを作成し、その作成した資料提示時刻テーブルを格納部２０６に格納する。
【００５８】
図５に、この資料提示時刻テーブル作成および格納処理ルーチンのフローチャートの例を示す。
【００５９】
まず、ステップＳ１で、提示資料レジスタの提示資料名（バーコード値）の初期値として不定値を設定する。次に、ステップＳ２で、ＯＨＰ装置２００の投影ガラス面１１に載置されているＯＨＰシート１２の左下隅のバーコード・マーク１３を、バーコード読み取り機２０４により読み取る。
【００６０】
次に、ステップＳ３で提示資料レジスタの値と、読み取ったバーコードとを比較し、提示資料名が等しいか否か判別する。提示資料名が変わっていなければ、投影ガラス面１１に載置されて提示されているＯＨＰシート１２が変わっていないと判断し、ステップＳ７で予め定められた一定時間待って、ステップＳ２に戻る。
【００６１】
また、ステップＳ３で読み取ったバーコード値が、提示資料レジスタの値と異なっており、提示中のＯＨＰシート１２が変わったと判別されたときには、ステップＳ４に進み、提示資料レジスタの値を読み取ったバーコード値に書き替える。
【００６２】
そして、ステップＳ５に進み、その時点での時刻を計時装置部２０５から取得する。次にステップＳ６に進み、その時刻とレジスタの格納値であるバーコード値の対を、資料提示時刻テーブル格納部２０６に追記する。その後、ステップＳ７に進み、一定時間待った後、ステップＳ２に戻る。以上を、プレゼンテーションの最後まで繰り返し実行する。
【００６３】
なお、この実施の形態では、ＯＨＰ装置２００には、プレゼンテーションの開始時刻が別途、記録される。この開始時刻は、前述したビデオカメラでプレゼンテーションの撮影を開始し、また、マイクロホンでプレゼンテーションの際の音声の録音を開始した時刻である。
【００６４】
例えば、プレゼンテーションの開始と同時にビデオカメラでの撮影が開始され、これとほぼ同時に、ＯＨＰ装置２００に電源が投入され、そのときの時刻を記憶しておき、資料提示時刻テーブルの情報と共に、プレゼンテーション再生装置１００に転送するようにする。
【００６５】
このように、開始時刻を記録しておくことにより、再生時、資料提示時刻は、当該開始時刻からの相対時刻として扱いことができる。
【００６６】
以上のように構成されているＯＨＰ装置２００での資料提示時刻テーブルの作成処理について、具体例を挙げて説明する。以下に説明する例は、３枚のＯＨＰシートを使用したプレゼンテーションを例にとって説明する。
【００６７】
まず、この例では、プレゼンテーションに使用する３枚のＯＨＰシートの隅に、予め、バーコード値が、例えばＮ１，Ｎ２，Ｎ３（ただしＮ１≠Ｎ２≠Ｎ３）であるバーコードマーク１３を、図４に示したように印字または貼り付ける。
【００６８】
今、プレゼンテーションは１５：００に始まり、この開始時点からＯＨＰ装置２００が駆動されており、発表者はバーコード値がＮ１のＯＨＰシートを、プロジェクタの投影ガラス面１１上に載置しておいたとする。
【００６９】
このとき、図３のＯＨＰ装置２００のバーコード読み取り機２０４は、そのＯＨＰシートのバーコードを読み取ることにより、コードＮ１を読み取る。提示資料名レジスタには、初期値として不定値が格納されていたので、図５のステップＳ３で、バーコードの値が“Ｎ１”に変化したことが検知され、（提示時刻 資料名（バーコード値））として、図６に示すように、
（１５：００ Ｎ１）
が資料提示時刻テーブルＴＢＬに格納される。なお、時刻の記録は、秒単位や、さらに詳細に記録しても良いが、ここでは説明の便宜上分単位としている。
【００７０】
次に発表者は１５：０４にＯＨＰ装置２００のプロジェクター上のＯＨＰシートを、バーコード値がＮ２のものに置き換えたとする。すると、このとき、バーコード読み取り機２０４は、このバーコード値Ｎ２を読み取る。コードの値が“Ｎ１”から“Ｎ２”に変化したので、図６に示すように、
（１５：０４ Ｎ２）
が資料提示時刻テーブルＴＢＬに追加格納される。
【００７１】
次に、発表者が１５：０７に、ＯＨＰ装置２００のプロジェクター上のＯＨＰシートを、バーコード値がＮ３のものに置き換えると、上述と同様にして、
（１５：０７ Ｎ３）
が資料提示時刻テーブルＴＢＬに追加格納される。
【００７２】
次に、発表者は質問を受けたので、１５：１１にＯＨＰ装置２００のプロジェクター上のＯＨＰシートを再びコードがＮ２のものに置き換えるとすると、同様にして、このＯＨＰシートのバーコードが読み取られることにより、
（１５：１１ Ｎ２）
が、図６に示すように、資料提示時刻テーブルＴＢＬに追加格納される。以上で、プレゼンテーションが終了したとすると、ＯＨＰ装置２００の資料提示時刻テーブル格納部２０６には、結局、図６に示す資料提示時刻テーブルＴＢＬが格納される。
【００７３】
次に、図１のプレゼンテーション再生装置１００の詳細について説明する。すなわち、図１に示すように、プレゼンテーション装置１００は、システムバス１０１に対して、制御部１１０が接続されると共に、再生部１０２、音声出力部１０３、表示部１０４、信号インターフェース部１０５および１０６、読み取り装置部（イメージリーダ）１０７、計時装置部１０８、複製出力部１０９が接続される。また、システムバス１０１に対して、さらに、音声格納部１１１と、動画格納部１１２と、電子文書格納部１１３と、資料提示時刻格納部１１４と、操作処理部１１５とが接続される。
【００７４】
プレゼンテーション再生装置１００は、プレゼンテーション記録装置３００から転送されてくる音声情報および画像情報を、信号インターフェース１０６を通じて受けて、音声格納部１１１および画像格納部１１２にそれぞれ格納する。
【００７５】
また、プレゼンテーション再生装置１００は、ＯＨＰ装置２００から転送されてくる資料提示時刻テーブルＴＢＬの情報を、信号インターフェース１０５を通じて受け、資料提示時刻テーブル格納部１１４に格納する。
【００７６】
さらに、プレゼンテーションの際にＯＨＰ装置２００が用いられて提示されたすべてのＯＨＰシートを、読み取り装置部１０７で、逐次読み取って、それぞれ電子文書に変換して電子文書格納部１１３に格納する。この際に、読み取り装置部１０７は、各ＯＨＰシート１２に付与されているバーコードも読み取り、このバーコードを各ＯＨＰシート１２を読み込んだ電子文書の識別子として、この識別子と対応させて電子文書を電子文書格納部１１３に格納している。
【００７７】
音声出力部１０３は、プレゼンテーションの再生音声を放音するためのスピーカで構成される。
【００７８】
操作処理部１１５は、再生開始指示や、表示部１０４の表示画面に表示されているＯＨＰシートの電子文書の中から所望の電子文書を選択するためのマウスなどからの操作指示を受け付け、その操作指示信号を制御部１１０に通知する。
【００７９】
そして、再生部１０２は、制御部１１０の制御を受け、時系列情報の再生を行うと共に、この時系列情報の再生に同期して、プレゼンテーションにおける各資料文書（ＯＨＰシート）の提示時刻に、対応する電子文書を再生して表示部１０４に表示する。
【００８０】
すなわち、再生部１０２は、音声格納部１１１から音声情報を取り出して音声出力部１３に送り、音響再生すると共に、画像格納部１１２から画像情報を取り出して、表示部１０４に表示して、時系列情報を再生する。また、資料提示時刻テーブル格納部１１４の資料提示時刻テーブルＴＢＬを参照し、各資料文書、この例ではＯＨＰシートの提示時刻に、その提示されたＯＨＰシートの電子文書を電子文書格納部１１４から取り出して表示部１０４に表示する。
【００８１】
この例の場合、前述したように、プレゼンテーション再生装置１００には、資料提示時刻テーブルと共に、プレゼンテーションの開始時刻の情報が転送されてくる。
【００８２】
表示部１０４は、表示画面１０４Ｄを備え、後述もするように、マルチウインドウ表示する機能を備えている。ウインドウの種類としては、図７に示すような、時系列情報である動画表示用のウインドウ２０および電子文書の表示ウインドウ３０と、図８および図９に示すような、任意の電子文書を指定するための２種類の文書指定ウインドウ４０および５０（図８および図９）や、その他とがある。
【００８３】
表示部１０４は、また、表示ウインドウ２０、４０、５０中に表示するユーザインターフェースを生成する。
【００８４】
すなわち、図７に示すように、動画表示用ウインドウ２０中には、動画表示部２１と、時系列情報再生操作ユーザインターフェース部２２と、再生中において現在再生点位置の動画像などの時系列情報の記録開始点からの時刻（以下、再生点時刻という）を表示する時刻表示部２３が表示される。
【００８５】
時系列情報再生操作ユーザインターフェース部２２は、再生開始点指定用のスライドボタン２２ａ、再生停止ボタンと再生スタートボタンと早送りボタンと巻戻しボタンとからなる操作ボタン２２ｂ、音量調整用のスライドボタン２２ｃを含む。
【００８６】
図８の文書指定ウインドウ４０は、電子文書表示ウインドウ３０に電子文書を順次に１枚ずつ表示して、その内の一つを指定するための閲覧表示ウインドウである。この文書指定ウインドウ４０には、電子文書のページを繰るための操作ボタン４１と、電子文書表示ウインドウ３０に表示されている電子文書名を表示する選択文書名表示欄４２と、電子文書のページ表示欄４３（総ページと、その時に電子文書表示ウインドウ３０に表示されている電子文書のページが表示される）と、「一覧表示」アイコン４４とが表示される。
【００８７】
図９の文書指定ウインドウ５０は、図８の「一覧表示」アイコン４４がマウスによりクリックされたときに開かれる一覧表示ウインドウ画面である。表示部１０４は、プレゼンテーションの際に提示された資料の電子文書のすべてを、提示順に、各１ページを縮小して一覧表示する。ユーザは、その縮小された資料の一覧の内から一つの電子文書を指定することができる。
【００８８】
図９の例は、図６に示した資料提示時刻テーブルＴＢＬが資料提示時刻テーブル格納部１１４に格納されている場合の例で、４枚のＯＨＰシートの電子文書Ｎ１，Ｎ２，Ｎ３，Ｎ２が縮小されて表示されている状態であり、そのうちの現在選択されている文書は、文書Ｎ１であり、それは４枚中の先頭の１枚であることを示している。
【００８９】
なお、プレゼンテーションの際に提示された資料が多い場合には、すべての資料の縮小文書を１つのウインドウ５０の画面中に表示するのではなく、複数毎づつウインドウ５０中に表示するようにしても、もちろんよい。
【００９０】
そして、前記閲覧表示ウインドウ４０や一覧表示ウインドウ５０において、表示画面に表示された電子文書の一つを操作処理部１１５を通じて指定すると、すなわち、現在の選択状態で確定させると、再生部１０２は、後述するように、指定された電子文書のＯＨＰシートの資料が、プレゼンテーションにおいて、提示されていた時間区間に相当する時系列情報を検索して、音声格納部１１１および画像格納部１１２から抽出して再生する機能を備える。この機能についてはさらに後述する。
【００９１】
また、複製出力部１０９は、ファイル化指示あるいはフォルダー化指示が、操作処理部を通じてユーザにより行われると、そのとき抽出された音声情報および画像情報を、ファイル化し、あるいはフォルダー化して出力するようにする。このファイルあるいはフォルダーには、指定された資料の電子文書も含まれる。
【００９２】
次に、このプレゼンテーション再生装置１００の再生動作について説明する。ユーザは、再生の開始に当たって、図７に示した再生開始点指定用のスライドボタン２２ａにより、どの録画点位置から再生するか指示する。再生部１０２は、操作ボタン２２ｂの再生ボタンのマウスによるクリック操作を受けて、このスライドボタン２２ａの再生開始指示位置に相当する再生位置から時系列情報の再生を実行する。
【００９３】
この再生部１０２における、再生開始位置の決定の処理ルーチンの例を、図１０のフローチャートに示す。
【００９４】
すなわち、ステップＳ１１において、スライドボタン２２ａの位置を、このスライドボタン２２ａの可動全長との相対値（割合）として得る。次に、ステップＳ１２に進み、時系列情報としての動画像データの全再生時間を求める。これは、例えば、プレゼンテーション開始時刻と終了時刻とから求めることができる。
【００９５】
次に、ステップＳ１３で、全再生時間と相対値（割合）との積を求め、プレゼンテーション開始時点から再生開始点までの経過時間を求める。そして、ステップＳ１４に進み、プレゼンテーション開始時点に、求めた経過時間を加えて目的位置の再生点時刻を求める。
【００９６】
以上の処理ルーチンで求められた再生点時刻は、一時格納される。ついで、図７のユーザインターフェースの操作ボタン２２ｂの再生ボタンをマウスでクリックすると、再生部１０２は、この求められた再生点時刻の音声情報および画像情報を、それぞれ音声格納部１１１および動画格納部１１２から、抽出を開始して、時系列情報の順次再生を実行する。
【００９７】
このように、図７の再生ボタンをクリックすると、動画および音声が再生でき、スライダーボタン２２ａによって任意の再生位置から再生を開始させることができると共に、再生開始位置をジャンプさせることもできるものである。
【００９８】
なお、スライドボタン２２ａが左端の「Ｓ」の位置にあれば、これは先頭位置を表し、時系列情報は、その最初から再生される。
【００９９】
この時系列情報の順次再生の間に、再生部１０２は、所定の時間間隔、例えば１０秒間隔で、図１１の処理ルーチンを実行し、前述したように、資料の電子文書の同期再生を行う。
【０１００】
すなわち、図１１の処理ルーチンが実行されると、まず、ステップＳ２１で、資料提示時刻テーブル格納部１１４の資料提示時刻テーブルの先頭の要素を取り出す。そして、次のステップＳ２２で、取り出した要素の資料提示時刻が現在再生中の時点の再生点時刻より後か否か判断する。
【０１０１】
ステップＳ２２での判断の結果、取り出した要素の資料提示時刻が再生点時刻よりも前であると判断されたときには、ステップＳ２３に進み、資料提示時刻テーブルの次の要素があるかどうか判断し、次の要素があればステップＳ２４で当該次の要素を資料提示時刻テーブルから取り出す。次の要素がなければ、ステップＳ２５で、現在取り出している（すなわち、最後の）要素のバーコード（識別子）を、再生提示すべき文書名として出力する。
【０１０２】
また、ステップＳ２２での判断の結果、取り出した要素の資料提示時刻が再生点時刻よりも後であると判断されたときには、ステップＳ２６に進み、資料提示時刻テーブルに、取り出した要素の一つ前の要素が存在するか否か判断し、存在すれば、ステップＳ２７に進み、当該一つ前の要素を資料提示時刻テーブルから取り出し、ステップＳ２８で、取り出した要素のバーコード（識別子）を、再生提示すべき文書名として出力する。
【０１０３】
また、ステップＳ２６で、資料提示時刻テーブルに、取り出した要素の一つ前の要素が存在しないと判断されたときには、ステップＳ２９に進んで、現在取り出している（すなわち、先頭の）要素のバーコード（識別子）を、再生提示すべき文書名として出力する。以上でこの処理ルーチンを終了する。
【０１０４】
再生部１０２は、この処理ルーチンの結果として戻ってきたバーコードを識別子とする電子文書を、電子文書格納部１１３から取り出し、図７に示した電子文書ウインドウ３０に表示する。
【０１０５】
すなわち、例えば、資料提示時刻テーブルが、前述した図６の場合において、時系列情報の最初から再生を行った場合、再生開始から４分の間は、バーコード値Ｎ１の資料の電子文書が電子文書ウインドウ３０に表示される。そして、再生開始から４分経過した時点になると、電子文書ウインドウ３０の表示内容が、２番目のバーコード値Ｎ２の資料の電子文書が変わる。そして、再生開始から４分経過後、７分経過前までの間は、このバーコード値Ｎ２の資料の電子文書が電子文書表示ウインドウ３０に表示され続ける。
【０１０６】
そして、再生開始から７分経過後、１１分経過前までの間は、バーコード値Ｎ３の資料の電子文書が電子文書表示ウインドウ３０に表示され、再生開始から１１分経過後には、バーコード値Ｎ２の資料の電子文書がウインドウ３０に表示されるものである。
【０１０７】
以上の例では、再生しながら、各再生位置で提示されていた資料を、図１１に示したフローチャートに従って特定し、図７に示すように、その電子文書を表示するようにしたが、図１０のフローチャートにおける各資料毎の同期再生区間の計算は再生時毎に行う必要はなく、予め行い、結果をテーブルとして保存しておき、これを参照して再生する方法を用いるようにしても良い。
【０１０８】
特に、動画像情報や音声情報の格納手段がディスクを用いたものである場合には、各同期再生区間は何トラック目の何セクタ目から何トラック目の何セクタ目までかを予め知ることができるので、これを用いて迅速な検索が可能になる。
【０１０９】
次に、前述した閲覧表示または縮小の一覧表示の中から、一つ電子文書を選択して指示し、当該選択された資料が提示されていた時間に相当する時系列情報を再生する処理について説明する。
【０１１０】
図８の閲覧表示においては、文書指定のユーザインタフェース中の操作ボタン４１の、例えば先送りおよび後戻りボタンのクリックにより、資料提示時刻テーブルの記録に従って、順次、電子文書を図７に示すように、電子文書表示ウインドウ３０に表示する。表示中の文書名（例えばバーコード値）が、選択文書名表示欄４２に表示され、また、それが総頁中の何頁目かが、ページ表示欄４３に表示される。
【０１１１】
この例の場合は、操作ボタン４１の先送りボタンをクリックし続けると、プレゼンテーションで提示された資料Ｎ１，Ｎ２，Ｎ３，Ｎ２が、その提示順で表示される。ここで資料Ｎ２の電子文書が表示されている際に、図７の操作ボタン２２ｂの再生ボタンをクリックすると、資料提示時刻テーブルの記録に従って、資料提示時刻テーブルの１行目の１５：０４から次の資料Ｎ３が提示される１５：０７までの３分間の動画および音声が再生され、資料提示時刻テーブルの４行目の１５：１１から終了までの動画および音声が再生される。
【０１１２】
この場合、１５：０７から１５：１１まではこの資料Ｎ２が提示されておらず、時間的不連続があるので、これを視覚的および聴覚的にユーザに明示するため、予め指定されたアイキャッチャと信号音が特定フレーム数分、あるいは数秒の時間、挿入される。
【０１１３】
また、前述もしたように、図８の一覧表示ボタン４４をマウスでクリックすると、図９に示すように、資料提示時刻テーブルの記録に従って電子文書の縮小資料の一覧が表示される。前述の具体例の場合であれば、Ｎ１，Ｎ２，Ｎ３，Ｎ２の順で電子文書の資料の一覧が表示される。ここで、縮小表示された電子文書の一つをマウスでクリックすると、その電子文書が図７に示すように、表示され、その資料の提示開始時刻から別の資料の提示開始時刻までの時間に相当する動画および音声が再生される。例えば、先の例で縮小表示された資料Ｎ３の電子文書をクリックすると、１５：０７から１５：１１の区間に相当する動画および音声が再生される。
【０１１４】
図１２および図１３は、図８または図９の文書指定ウインドウにおいて、一つの電子文書が選択指定された場合の処理ルーチンの例を示すフローチャートである。
【０１１５】
すなわち、ユーザインターフェースを通じたユーザの文書選択操作を受けて、図１２の処理ルーチンが起動されると、まず、ステップＳ３１で、資料提示時刻テーブル格納部１１４の資料提示時刻テーブルの先頭の要素を取り出す。そして、次のステップＳ３２で、取り出した要素の資料名（この例では、バーコード）が選択された資料と同一かどうか判断する。
【０１１６】
同一であれば、ステップＳ３３に進み、取り出した要素の資料提示時刻を再生開始時刻とする。そして、ステップＳ３４に進み、資料提示時刻テーブルに次の要素が存在するか否か判断し、次の要素があればステップＳ３５に進み、当該次の要素を資料提示時刻テーブルから取り出す。この要素は、必ず、選択された資料とは異なっているので、ステップＳ３６に進み、取り出した要素の資料提示時刻を再生終了時刻とする。
【０１１７】
次に、ステップＳ３７に進み、ステップＳ３３で定めた再生開始時刻と、ステップＳ３６で定めた再生終了時刻との間の区間の音声と動画像を、音声格納部１１１および動画格納部１１２から抽出して、再生する。
【０１１８】
そして、ステップＳ３７での再生が終了すると、ステップＳ３８に進み、資料提示時刻テーブルに、次の要素が存在するか否か判断する。次の要素がなければ、この処理ルーチンを終了する。次の要素があれば、ステップＳ３９に進み、時間的不連続を示す信号音と、画像を出力する。そして、ステップＳ４０に進み、資料提示時刻テーブルの次の要素を取り出し、ステップＳ３２に戻る。
【０１１９】
ステップＳ３２で、取り出した要素の提示資料名が、選択された資料と同一であると判断されれば、以上説明したのと同様の処理手順で、その資料が提示されていた時間に相当する音声および動画像が、ステップＳ３７で再生される。このとき、ステップＳ３９で、時間的不連続であることがユーザに予め知らされていることになる。
【０１２０】
ステップＳ３２で、資料提示時刻テーブルから取り出した要素の提示資料名が、選択されたものと異なっている場合には、図１３のステップＳ４２に進み、資料提示時刻テーブルにさらに次の要素があるか否か判断し、なければ、その処理ルーチンを終了し、あれば、ステップＳ４４に進み、当該要素を資料提示時刻テーブルから取り出し、ステップＳ３２に戻り、上述と同様の動作を繰り返す。
【０１２１】
また、ステップＳ３４で資料提示時刻テーブルに、次の要素が存在しないと判断されたときには、ステップＳ４４に進み、ステップＳ３３で求められた再生開始時刻から、時系列情報の最後までの音声と動画像を再生する。そして、この処理ルーチンを終了する。
【０１２２】
例えば、選択された資料がバーコード値Ｎ２の電子文書であれば、図６の資料提示時刻テーブルＴＢＬに示されるように、１５：０４〜１５：０７の間と、１５：１１〜最後までの間に相当する音声および動画像が抽出されて再生されると共に、途中が不連続である告知が視覚的および聴覚的に行われる。
【０１２３】
以上のように、特定の資料が提示されていた区間の時系列情報が抽出された再生されると共に、同じ資料が、時間的に不連続の状態で、プレゼンテーションの際に提示された場合であっても、その時間的不連続位置には、それを示す信号音や画像を出力するので、ユーザは、明確に時間的不連続を認識することができる。
【０１２４】
そして、以上のようにして、抽出された音声および動画像情報は、ユーザの適宜の複製要求に応じて、複製出力部１０９により、ファイル化あるいはフォルダー化されて、出力される。したがって、プレゼンテーションの資料毎の編集が容易にできると共に、短時間に、特定の資料についての説明や議論の様子だけを見たいという要求に応えることができる。
【０１２５】
なお、上述の実施の形態では、資料提示装置は、ＯＨＰ装置で構成した場合について説明したが、資料提示装置は、電子スライド文書表示装置を用いることもできる。
【０１２６】
図１４は、資料提示装置の他の実施の形態としての電子スライド文書表示装置４００を、その処理機能を中心として示した機能ブロック図である。
【０１２７】
この電子スライド文書表示装置４００は、図１４に示すように、システムバス４０１に対して、装置全体の制御を行うための制御部４１０が接続されると共に、スライド表示部４０２、スライド電子文書格納部４０３、操作処理部４０４、計時装置部４０５、資料提示時刻テーブル格納部４０６、信号インターフェース４０７が接続されて構成されている。
【０１２８】
この電子スライド文書表示装置４００においては、スライド電子文書格納部４０３のスライド電子文書が、キーボードやマウスからなる操作処理部４０４を通じたユーザによる明示的な変更入力に応じて、変更されて、スライド表示部４０２に送られ、そのスクリーンに拡大表示されるものである。
【０１２９】
そして、資料提示時刻テーブル格納部４０６には、操作処理部４０４の変更入力の時点の時刻が、提示時刻として計時装置部４０５から取得されて格納されると共に、この提示時刻と対をなすスライド電子文書の識別子（文書名や識別コード）が格納されて、資料提示時刻テーブルが生成され、格納される。そして、この資料提示時刻テーブルが、信号インターフェース４０７を通じてプレゼンテーション再生装置１００に転送されるものである。この場合も、フロッピーディスクなどの記録媒体を介して転送するようにしてもよい。
【０１３０】
この電子スライド文書表示装置を資料提示装置として用いた場合には、提示する電子文書のスライドの変更はキーボードやマウスによる明示的な入力があるので、この入力イベントの発生時に、時刻と提示中の電子ファイル名を資料提示時刻テーブルに格納するだけでよくなり、ＯＨＰ装置２００の場合のようなバーコードの読み取り機２０４は不要になる。
【０１３１】
また、資料の電子文書データも、スライド電子文書格納部４０３から、信号インターフェース４０７を通じて、プレゼンテーション再生装置１００に転送することができるので、プレゼンテーション再生装置に読み取り装置部（イメージリーダ）１０７を設ける必要もない。
【０１３２】
なお、以上の実施の形態では、時系列情報として、動画像と音声とを記録格納するようにしたが、時系列情報としては、音声のみ、あるいは動画像のみであってもよい。
【０１３３】
また、時系列情報については、時刻データを記録しない例について説明したが、時系列情報に、いわゆるタイムコードを付加して記録すると共に、資料提示時刻として、時系列情報のタイムコードを記憶するようにすれば、両者の対応が容易に付くという効果がある。
【０１３４】
また、プレゼンテーション再生装置１００の音声格納部１１１および動画格納部１１２を、ディスクやテープを媒体として再生するディスク再生装置やテープ再生装置で構成すれば、プレゼンテーションの再現を行うときにのみ、プレゼンテーションの音声や動画像を記録したディスクやテープを装填すればよいので、音声や動画像のデータを、プレゼンテーション再生に先立ち、予め転送しておく必要はない。
【０１３５】
【発明の効果】
以上の説明したように、この発明によれば、会議やプレゼンテーションの場で提示されたＯＨＰシートやスライドの資料を電子文書として格納し、動画像や音声など時系列情報の再生時に、実際に会議やプレゼンテーションの場で提示された通りのタイミングで電子文書資料を同時に表示することができる。
【０１３６】
また、逆に任意の電子文書を指定することによって、その資料が提示されていたときの、実際の会議やプレゼンテーションの動画または音声などの時系列情報の部分を再生することができる。
【０１３７】
したがって、ビデオカメラで撮影した画像からだけでは、提示されている資料がどれなのかを特定することが困難であることや、内容を十分に読み取ることができない、といった問題を解決でき、プレゼンテーションの非参加者であっても、参加者が得るのと同程度の情報の再生が可能となるという効果がある。
【図面の簡単な説明】
【図１】この発明による情報再生装置および資料提示装置の一実施の形態の全体の構成を説明するための図である。
【図２】 図１の実施の形態における資料提示装置の一例の機能ブロック図である。
【図３】 図２の例の資料提示装置の機構的構成例を示す図である。
【図４】提示資料の一例を示す図である。
【図５】 図２の例の資料提示装置の要部の処理ルーチンのフローチャートである。
【図６】資料提示時刻テーブルの一例を示す図である。
【図７】図１の実施の形態における情報再生装置における表示画面の一例を示す図である。
【図８】図１の実施の形態における情報再生装置における表示画面の一例を示す図である。
【図９】図１の実施の形態における情報再生装置における表示画面の一例を示す図である。
【図１０】図１の実施の形態における情報再生装置における再生開始時点を決定する処理ルーチンのフローチャートである。
【図１１】図１の実施の形態における情報再生装置において、時系列情報と同期して資料の電子文書を再生するタイミングを決める処理ルーチンのフローチャートである。
【図１２】図１の実施の形態における情報再生装置において、資料の電子文書に対応する時間区間の時系列情報を再生する処理ルーチンのフローチャートの一部である。
【図１３】図１の実施の形態における情報再生装置において、資料の電子文書に対応する時間区間の時系列情報を再生する処理ルーチンのフローチャートの一部である。
【図１４】 資料提示装置の他の例の機能ブロック図である。
【符号の説明】
１００ プレゼンテーション再生装置
１０１ システムバス
１０２ 再生部
１０３ 音声出力部
１０４ 表示部
１０７ 読み取り装置部（イメージリーダ）
１０８ 計時装置部
１０９ 複製出力部
１１０ 制御部
１１１ 音声格納部
１１２ 画像格納部
１１３ 電子文書格納部
１１４ 資料提示時刻テーブル格納部
２００ ＯＨＰ（オーバ・ヘッド・プロジェクタ）装置
２０１、４０１ システムバス
２０２ プロジェクタ部
２０４ バーコード読み取り機
２０５、４０５ 計時装置部
２０６、４０６ 資料提示時刻テーブル
２０７、４０７ 信号インターフェース
２１０、４１０ 制御部
３００ プレゼンテーション記録装置
４０２ スライド表示部
４０３ スライド電子文書格納部
Claims (3)
- 会議やプレゼンテーションを再現するために記録された時系列情報を格納する時系列情報格納手段と、
前記会議やプレゼンテーションの際に提示された資料の電子文書を、前記資料に付与された識別子との対応を付けて格納する電子文書格納手段と、
前記提示された資料の前記識別子と、前記提示された資料の前記時系列情報中における提示タイミングを検知するための時刻情報とが、対応を付けられて格納されている資料提示タイミング格納手段と、
前記時系列情報格納手段に格納されている前記時系列情報について、再生開始時点を設定入力するための操作手段と、
前記操作手段で設定された前記再生開始時点からの再生開始指示がされたときに、前記時系列情報格納手段から前記設定された再生開始時点から順次、前記時系列情報を読み出して再生を開始すると共に、前記資料提示タイミング格納手段に格納されている前記時刻情報を参照して、前記設定された再生開始時点で提示されていた資料の識別子を検出し、当該資料の識別子に対応する電子文書を、前記電子文書格納手段から読み出して表示する再生手段と、
を備えることを特徴とする情報再生装置。 - 請求項１に記載の情報再生装置において、
前記再生手段は、前記時系列情報の再生中における現在再生点位置において提示されていた前記資料の電子文書を、前記現在再生点位置の情報を用いた前記資料提示タイミング格納手段の格納情報に対する検索結果の資料の識別子に基づいて、前記電子文書格納手段から取得し、当該取得した電子文書を、前記時系列情報の再生に同期して表示する手段を備える
ことを特徴とする情報再生装置。 - 会議やプレゼンテーションを再現するための時系列情報を記録して時系列情報格納手段に格納するステップと、
前記会議やプレゼンテーションの際に提示された資料の電子文書を、前記資料に付与された識別子との対応を付けて電子文書格納手段に格納するステップと、
前記提示された資料の前記識別子と、前記提示された資料の前記時系列情報中における提示タイミングを検知するための時刻情報とを、対応を付けて資料提示タイミング格納手段に格納するステップと、
前記時系列情報格納手段に格納されている前記時系列情報について、操作手段を通じた再生開始時点の操作入力を受け付けるステップと、
前記操作手段で操作入力された前記再生開始時点からの再生開始指示がされたときに、前記時系列情報格納手段から前記設定された再生開始時点から順次、前記時系列情報を読み出して再生を開始すると共に、前記資料提示タイミング格納手段に格納されている前記時刻情報を参照して、前記設定された再生開始時点で提示されていた資料の識別子を検出し、当該資料の識別子に対応する電子文書を、前記電子文書格納手段から読み出して表示するステップと、
を備えることを特徴とする情報再生方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22929796A JP3637937B2 (ja) | 1996-08-12 | 1996-08-12 | 情報再生装置および情報再生方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22929796A JP3637937B2 (ja) | 1996-08-12 | 1996-08-12 | 情報再生装置および情報再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1055391A JPH1055391A (ja) | 1998-02-24 |
| JP3637937B2 true JP3637937B2 (ja) | 2005-04-13 |
Family
ID=16889935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22929796A Expired - Lifetime JP3637937B2 (ja) | 1996-08-12 | 1996-08-12 | 情報再生装置および情報再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3637937B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11275415A (ja) * | 1998-03-20 | 1999-10-08 | Victor Co Of Japan Ltd | 資料提示装置 |
| JP4088131B2 (ja) * | 2002-03-28 | 2008-05-21 | 富士通株式会社 | 同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法 |
| JP4358533B2 (ja) * | 2003-02-24 | 2009-11-04 | 株式会社リコー | イベント取得装置、インデキシング装置、イベント取得方法およびプログラム |
| JP4250983B2 (ja) * | 2003-03-13 | 2009-04-08 | 富士ゼロックス株式会社 | 連続データへのユーザデータ関連付け装置 |
| US7266568B1 (en) | 2003-04-11 | 2007-09-04 | Ricoh Company, Ltd. | Techniques for storing multimedia information with source documents |
| US7206773B2 (en) * | 2003-04-11 | 2007-04-17 | Ricoh Company, Ltd | Techniques for accessing information captured during a presentation using a paper document handout for the presentation |
| JP2007052565A (ja) | 2005-08-16 | 2007-03-01 | Fuji Xerox Co Ltd | 情報処理システム及び情報処理方法 |
| JP2007213263A (ja) * | 2006-02-08 | 2007-08-23 | Ricoh Co Ltd | コンテンツ生成装置、コンテンツ生成方法およびコンテンツ生成プログラム |
| JP4807092B2 (ja) * | 2006-02-11 | 2011-11-02 | 富士ゼロックス株式会社 | 議事録作成システム及び議事録作成方法。 |
| JP2008107641A (ja) * | 2006-10-26 | 2008-05-08 | Yamaha Corp | 音声データ検索装置 |
| JP4582202B2 (ja) | 2008-06-06 | 2010-11-17 | コニカミノルタビジネステクノロジーズ株式会社 | データ処理装置、表示制御方法および表示制御プログラム |
| JP4680283B2 (ja) * | 2008-07-08 | 2011-05-11 | 富士通株式会社 | 画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム |
| JP5257132B2 (ja) * | 2009-02-23 | 2013-08-07 | 株式会社リコー | 情報同期装置、情報同期方法、情報同期プログラム及び記録媒体 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0567150A (ja) * | 1991-09-06 | 1993-03-19 | Fujitsu Ltd | ハイパーメデイアシステムにおけるユーザの操作履歴を蓄積、再利用するプレゼンテーシヨン装置 |
| US5613032A (en) * | 1994-09-02 | 1997-03-18 | Bell Communications Research, Inc. | System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved |
| JPH09120097A (ja) * | 1995-10-25 | 1997-05-06 | Pioneer Electron Corp | プレゼンテーション装置 |
-
1996
- 1996-08-12 JP JP22929796A patent/JP3637937B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1055391A (ja) | 1998-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4261644B2 (ja) | マルチメディア編集方法及び装置 | |
| EP1677531A1 (en) | Video/audio recorder/reproducer, video/audio recording method and reproducing method | |
| JP3270891B2 (ja) | 編集方法及び編集装置 | |
| JP3637937B2 (ja) | 情報再生装置および情報再生方法 | |
| JP5528008B2 (ja) | 再生装置及び再生方法 | |
| US6065015A (en) | Method and apparatus for editing an image file in an electronic camera | |
| JP4197192B2 (ja) | 画像再生装置 | |
| KR100395883B1 (ko) | 실시간 강의 기록 장치 및 그에 따른 파일 기록방법 | |
| JPH0991928A (ja) | 映像の編集方法 | |
| JP2007243925A (ja) | コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム | |
| JP3092496B2 (ja) | シナリオ編集装置 | |
| JP2001209361A (ja) | マルチメディア表示装置 | |
| JP2002008052A (ja) | プレゼンテーションシステムおよび記録媒体 | |
| JPH05242166A (ja) | マルチメディアデータ編集／提示方式 | |
| JP2005167822A (ja) | 情報再生装置及び情報再生方法 | |
| JP4420987B2 (ja) | 画像編集装置 | |
| JP4780128B2 (ja) | スライド再生装置、スライド再生システム、およびスライド再生プログラム | |
| KR100459668B1 (ko) | 색인기반 동영상 콘텐츠의 녹화 및 편집 시스템 | |
| JP4149824B2 (ja) | 識別情報表示制御装置、プレゼンテーションデータ作成装置、プログラムおよび記録媒体 | |
| JP2001169237A (ja) | 動画編集再生装置 | |
| JP4208458B2 (ja) | データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 | |
| FR2765354A1 (fr) | Systeme de synchronisation du doublage de films | |
| JP2004185424A (ja) | プレゼンテーション記録装置 | |
| JP3629364B2 (ja) | カード型映像編集方法及び装置及びこの方法を記述したプログラムを記録した電子メディア | |
| JP4290238B2 (ja) | 映像合成装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050104 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110121 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |