JP2004304665A

JP2004304665A - Moving image meta-data teaching material distribution apparatus, moving image meta-data teaching material reproducing apparatus, moving image meta-data teaching material reproducing method and image meta-data teaching material reproducing program

Info

Publication number: JP2004304665A
Application number: JP2003097414A
Authority: JP
Inventors: Masahiro Nishida; 真啓西田; Kazunari Ushiki; 一成牛木; Makoto Nakamura; 誠中村; Kenji Minato; 賢治湊
Original assignee: NTT Comware Corp
Current assignee: NTT Comware Corp
Priority date: 2003-03-31
Filing date: 2003-03-31
Publication date: 2004-10-28

Abstract

<P>PROBLEM TO BE SOLVED: To view a moving image meta-data teaching material only by a general browser and a general player. <P>SOLUTION: A moving image meta-data teaching material reproducing apparatus is provided with: a moving image reproducing means for reproducing back a moving image contained in moving image meta-data distributed from a moving image meta-data teaching material distribution apparatus; a display means for displaying HTML data contained in the moving image meta-data teaching material; a moving image control means for controlling the playback of the moving image using the moving image reproducing means; an input means for inputting predetermined data; a detection means for detecting the occurrence of an event; and a teaching material control means for controlling the display means, controlling a display method of the HTML data and controlling the moving image control means in accordance with the event detected by the detection means and the input data inputted by the input means. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像メタデータ教材配信装置、動画像メタデータ教材再生装置、動画像メタデータ教材再生方法、および動画像メタデータ教材再生プログラムに関し、特に、オーサリングツールによって作成された動画像メタデータ教材を再生することができる動画像メタデータ教材配信装置、動画像メタデータ教材再生装置、動画像メタデータ教材再生方法、および動画像メタデータ教材再生プログラムに関する。
【０００２】
【従来の技術】
従来、図１５乃至図１７に示すように、ｅ−ｌｅａｒｎｉｎｇオーサリングシステム装置として、プレインな動画像上に、メモ、静止画、質問回答、テスト等の学習補助データや、一時停止、繰り返し再生、スキップといった動画制御データ等の動画像メタデータを添付することができる編集装置がある。
また、図１８に示すように、作成した教材を、学習者が視聴、編集できるｅ−ｌｅａｒｎｉｎｇ配信システムがある。このシステムは、サーバ１０側には、教材データベース（ＤＢ）１１と学習補助ＤＢ１２が置かれ、教材ＤＢ１１からは教材映像情報がクライアント２０側に送信される。学習補助ＤＢ１２からは学習補助データを加工した情報がクライアント１０側に送信される。クライアント１０側には、所定のアプリケーションプログラムによって同期処理部２１と、動画教材再生プレーヤ２２と、学習補助データ表示機能２３と、学習補助データ添付機能２４が実現されている。
図１９は、学習者（受講者）が専用の再生プレーヤを用いる場合の例を示している。サーバ１０側では、オーサリング装置により、ＲＭ（ＲｅａｌＭｅｄｉａ）形式の動画と静止画（ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）ＧＩＦ（ＧｒａｐｈｉｃｓＩｎｔｅｒｃｈａｎｇｅＦｏｒｍａｔ）、ＢＭＰ（ＢｉｔＭａＰ）形式など）をもとに教材を作成する。作成終了後、ＳＭＩＬ（ＳｙｎｃｈｒｏｎｉｚｅｄＭｕｌｔｉｍｅｄｉａＩｎｔｅｇｒａｔｉｏｎＬａｎｇｕａｇｅ）、静止画、メタデータリストは教材管理サーバ（サーバ１０）に登録し、動画ファイル（ＲＭ形式等）は、動画配信サーバ（サーバ１０）に登録する。教材管理サーバからＳＭＩＬ、静止画、メタデータリストがクライアント側の学習者のパソコン２０に送信され、動画配信サーバから動画ファイル（ＲＭ形式等）がクライアント側の学習者のパソコン２０に送信される。
クライアント側のパソコン２０では、所定のアプリケーションの同期処理部２１がサーバ１０から送信されてきたＳＭＩＬ、メタデータリスト中で使用されている静止画と、動画との同期を取り、動画教材再生プレーヤ２２が動画を再生し、学習補助データ表示機能２３がメタデータリスト中の学習補助メタ−データを表示する。
また、図２０は、学習者（受講者）が汎用プレーヤを用いる場合の例を示している。サーバ１０側では、オーサリング装置により、ＲＭ形式の動画と静止画をもとに教材を作成する。作成終了後、ＳＭＩＬ、静止画は教材管理サーバ（サーバ１０）に登録し、動画ファイル（ＲＭ形式等）は、動画配信サーバ（サーバ１０）に登録する。教材管理サーバからＳＭＩＬ、静止画がクライアント側の学習者のパソコン２０に送信され、動画配信サーバから動画ファイル（ＲＭ形式等）がクライアント側の学習者のパソコン２０に送信される。
クライアント側のパソコン２０では、所定のアプリケーションの同期処理部２１がサーバ１０から送信されてきたＳＭＩＬを基に、ＳＭＩＬ内で記述されている静止画と動画との同期を取り、汎用の動画教材再生プレーヤ２２が動画を再生し、学修補助データ表示機能２３がＳＭＩＬ内で記述されている静止画等を表示する。汎用プレーヤを用いる場合、ＳＭＩＬで表現できるメタデータのみ再生可能となる。
また、動画の教材に対して、生徒が独自の学習補助データを添付することができ、さらに所望の表示様式で学習補助データを表示することができるようにしたものがある（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００３−６７５０７号公報（図１）
【０００４】
【発明が解決しようとする課題】
このように、従来のシステムにより、双方向の学習が実現でき、学習者の学習効果を高めることができるが、上記システムで作成した教材を視聴するためには、図１９に示すように、学習者のパーソナルコンピュータ（パソコン）内に、専用の再生プレーヤをインストールする必要があり、この専用プレーヤを利用しない場合には、学習者側で視聴できる動画像メタデータは、メモや静止画等の一部のメタデータに限定されるという問題があった。また、汎用の再生プレーヤを使用する場合、ＳＭＩＬで容易に表現できるテキストや静止画、動画（クリップ）のリピート再生など、ＳＭＩＬで表現可能なものしか表現できない。また、汎用の再生プレーヤを使用する場合、ユーザの操作、例えば、テストの回答結果によって動画の再生位置を変化させたり、テスト中は教材の動画の操作を不可能にしたりするような仕組みを実現することができないという問題があった。
また、特許文献１に記載の発明では、表示端末側で再生動画の動きを制御することはできないという問題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、ＳＭＩＬとＪａｖａｓｃｒｉｐｔ（登録商標）を用いて、従来のオーサリングシステムにより動画に添付された動画像メタデータの変換方法の確立および実装を行い、学習者端末側で従来実現することができなかった動画像メタデータ（テストメタデータや一時指定メタデータ等）を汎用ブラウザと汎用再生プレーヤだけで視聴できるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の動画像メタデータ教材配信装置は、ネットワークを介して端末に動画像メタデータ教材を配信する動画像メタデータ教材配信装置であって、動画像メタデータ教材が格納された動画像メタデータデータベースと、メディアが格納されるメディアデータベースと、動画像メタデータ教材を元に教材を作成する配信教材作成手段と、配信教材作成手段によって作成された教材が格納される配信用教材データベースと、端末からの要求に応じて、配信用教材データベースから読み出した教材、およびメディアデータベースから読み出した教材に対応するメディアを読み出して端末にネットワークを介して動画像メタデータ教材として配信する教材配信手段とを備えることを特徴とする。
請求項２に記載の動画像メタデータ教材再生装置は、ネットワークを介して動画像メタデータ教材配信装置から配信された動画像メタデータ教材を再生する動画像メタデータ教材再生装置であって、動画像メタデータ教材配信装置より配信された動画像メタデータ教材に含まれる動画像を再生する動画再生手段と、動画像メタデータ教材に含まれるＨＴＭＬデータを表示する表示手段と、動画像再生手段による動画像の再生を制御する動画制御手段と、所定のデータを入力するための入力手段と、イベントの発生を検出する検出手段と、検出手段によって検出されたイベントおよび入力手段により入力された入力データに応じて、表示手段を制御し、ＨＴＭＬデータの表示方法を制御し、動画制御手段を制御する教材制御手段とを備えることを特徴とする。
請求項３に記載の動画像メタデータ教材再生方法は、ネットワークを介して動画像メタデータ教材配信装置から配信された動画像メタデータ教材を再生する動画像メタデータ教材再生方法であって、動画像メタデータ教材配信装置より配信された動画像メタデータ教材に含まれる動画像を再生する動画再生ステップと、動画像メタデータ教材に含まれるＨＴＭＬデータを表示する表示ステップと、動画像再生ステップにおける動画像の再生を制御する動画制御ステップと、所定のデータを入力するための入力ステップと、イベントの発生を検出する検出ステップと、検出ステップにおいて検出されたイベントおよび入力ステップにおいて入力された入力データに応じて、表示ステップにおける表示処理を制御し、ＨＴＭＬデータの表示方法を制御し、動画制御ステップにおける処理を制御する教材制御ステップとを備えることを特徴とする。
また、イベントの検出、およびイベントに対するアクションはＪａｖａｓｃｒｉｐｔ（登録商標）によって記述され、アクションは、所定のブラウザによって実行されるようにすることができる。
請求項５に記載の動画像メタデータ教材再生プログラムは、ネットワークを介して動画像メタデータ教材配信装置から配信された動画像メタデータ教材を再生する動画像メタデータ教材再生装置を制御する動画像メタデータ教材再生プログラムであって、動画像メタデータ教材配信装置より配信された動画像メタデータ教材に含まれる動画像を再生する動画再生ステップと、動画像メタデータ教材に含まれるＨＴＭＬデータを表示する表示ステップと、動画像再生ステップにおける動画像の再生を制御する動画制御ステップと、所定のデータを入力するための入力ステップと、イベントの発生を検出する検出ステップと、検出ステップにおいて検出されたイベントおよび入力ステップにおいて入力された入力データに応じて、表示ステップにおける表示処理を制御し、ＨＴＭＬデータの表示方法を制御し、動画制御ステップにおける処理を制御する教材制御ステップとを動画像メタデータ教材再生装置に実行させることを特徴とする。
【０００７】
【発明の実施の形態】
本発明は、動画像メタデータ教材の再生をＳＭＩＬ（ＳｙｎｃｈｒｏｎｉｚｅｄＭｕｌｔｉｍｅｄｉａＩｎｔｅｇｒａｔｉｏｎＬａｎｇｕａｇｅ）とＪａｖａｓｃｒｉｐｔ（登録商標）によって実現し、専用再生プレーヤをインストールすることなく、汎用ブラウザと汎用再生プレーヤのみの使用により動画像メタデータ教材の再生を可能とするものである。
【０００８】
すなわち、本発明は、サーバ側で、オーサリング装置を用いて作成された動画像メタデータ教材から動的に学習者側で教材を視聴するためのＨＴＭＬページを作成し、学習者側端末にてサーバ上からＨＴＭＬページを受信すると、教材を再生しながら該当する動画像メタデータを表示し、さらに、オーサリング装置を用いて添付された動画像メタデータの設定と学習者からの入力データに応じて、動的に動画や動画像メタデータ表示を制御するものである。
【０００９】
また、本発明では、動画像メタデータから、動的にＨＴＭＬページを作成する。基本的には、オーサリング装置を用いて添付された動画像メタデータの内容に応じて、イベントの検出、およびイベントに対するアクションをＪａｖａｓｃｒｉｐｔ（登録商標）で記述することにより、クライアント側の端末では、アクションのトリガーとなるイベントを監視し、そのイベントが発生すると、対応するアクションをプレーヤもしくはブラウザが実行することになる。
【００１０】
例えば、テストメタデータがある場合のイベントアクションは以下のような流れとなる。
【００１１】
（ａ）テスト問題の時間になった（プレーヤのイベント）
（ｂ）動画を停止（プレーヤに対するアクション）
（ｃ）テスト問題を表示（ブラウザに対するアクション）
（ｄ）メタデータリストを非表示（ブラウザに対するアクション）
（ｅ）学習者が解答を行う（ブラウザのイベント（解答ボタンを押すことによりイベント発生））
（ｆ）学習者の解答と正解を照合する（ブラウザのアクション）。正解の場合は（ｇ）へ、不正解の場合は（ｈ）へ進む。
（ｇ）教材を再開する（プレーヤのアクション）
（ｈ）教材をｘｘ秒の位置へ戻す（或いは、再度問題に戻る）（プレーヤのアクション）。
【００１２】
以上のようなイベントに対するアクションをＳＭＩＬ、Ｊａｖａｓｃｒｉｐｔ（登録商標）で実現する方法について、以下詳細に説明する。
【００１３】
図１は、本発明を応用した動画像メタデータ配信システムの一実施の形態の構成例を示すブロック図である。同図に示すように、本実施の形態は、学習教材を提供する配信装置１００と、学習者の端末２００とからなり、配信装置１００と端末２００とはインターネット等のネットワークを介して接続されている。
【００１４】
配信装置１００は、動画像メタデータデータベース（ＤＢ）１０１と、メディア（動画素材）ＤＢ１０２と、配信教材作成部１０３と、配信用教材ＤＢ１０４と、教材配信サーバ（Ｗｅｂ／ストリーミングサーバ）１０５等により構成されている。
【００１５】
動画像メタデータＤＢ１０１は、メタデータと教材（動画）に関するデータを格納したものであり、図２に示した教材動画管理テーブル、図３に示した動画補助（表示系）データテーブル、図４に示した動画制御（制御系）データテーブル、図５に示したテストメタデータテーブルからなる。
【００１６】
教材動画管理テーブルには、教材ＩＤと、教材動画データ実体（ＲＭ形式データ等）のファイル名とが対応付けて記憶されている。動画補助（表示系）データテーブルには、表示系ＩＤと、教材ＩＤと、表示タイプ（静止画、枠等）と、開始時刻と、終了時刻と、表示位置縦座標と、表示位置横座標と、テキストと、表示系データ実体（ＪＰＥＧ、ＢＭＰ形式のデータ等）のファイル名とが対応付けて記憶されている。動画制御（制御系）データテーブルには、制御系ＩＤと、教材ＩＤと、制御系タイプ（ｒｅｐｅａｔ、ｓｋｉｐ等）と、開始時刻と、終了時刻と、繰り返し回数とが対応付けて記憶されている。テストメタデータテーブルには、テストＩＤと、教材ＩＤと、開始時刻と、表示縦位置と、表示横位置と、問題文と、選択肢文と、解答番号と、正解時表示文と、不正解時表示文と、正解時動作と、不正解時動画再生位置とが記憶されている。
【００１７】
メディアＤＢ１０２は、教材に使用される動画や、静止画メタデータに使用される静止画などのメディアを格納するデータベースである。動画ファイルは、ＲＭ形式（ＲｅａｌＭｅｄｉａ（登録商標）フォーマット形式）等のデータであり、画像ファイルはｊｐｇ形式、ＢＭＰ形式、ｇｉｆ形式等のデータである。メディアＤＢ１０２は、ＳＭＩＬ内で、ｓｒｃ＝”ｘｘｘ．ｊｐｇ”等のファイル名で参照されるメディア（動画素材）の実体を格納するデータベース（ＤＢ）である。
【００１８】
配信教材作成部１０３は、動画像メタデータおよび動画素材を元に、所定の変換方法により、ＳＭＩＬおよびＪａｖａｓｃｒｉｐｔ（登録商標）を使用して教材ＨＴＭＬデータを作成する。配信用教材ＤＢ１０４は、配信教材作成部１０３によって作成されたＨＴＭＬ教材を格納するデータベースである。
【００１９】
配信用教材ＤＢ１０４には、図６に示すような教材管理テーブルが記憶されている。教材管理テーブルには、教材ＩＤと教材データ（起動ページ）が対応付けて記憶されている。図７に示すように、起動ページのＨＴＭＬファイル（教材．ｈｔｍｌ）内に、動画再生用のＨＴＭＬファイル（ｐｌａｙｅｒ．ｈｔｍｌ）、テスト問題のＨＴＭＬファイル（ｔｅｓｔ．ｈｔｍｌ）、メタデータリストのＨＴＭＬファイル（ｌｉｓｔ．ｈｔｍｌ）が書かれている。さらに、その動画再生用ＨＴＭＬファイルの中に、教材で使用するＳＭＩＬファイル（ｓａｍｐｌｅ．ｓｍｉｌ）の情報が記述されている。ＳＭＩＬファイルには、ファイルの実体である動画ファイル（ｓａｍｐｌｅ．ｒｍ）、画像ファイル（ｘｘｘ．ｊｐｇ）へのリンク情報が記述されている。これらの動画ファイル、画像ファイルは、メディアＤＢ１０２に格納されている。
【００２０】
ｐｌａｙｅｒ．ｈｔｍｌには、動画を一時停止するロジックがＪａｖａｓｃｒｉｐｔ（登録商標）で記述されている。ｔｅｓｔ．ｈｔｍｌには、テスト判定ロジックおよび判定後のアクション（再生再開など）がＪａｖａｓｃｒｉｐｔ（登録商標）で記述されている。ｓａｍｐｌｅ．ｓｍｉｌには、ＳＭＩＬのみで表現可能なデータが記述されている。
【００２１】
教材配信サーバ１０５は、端末２００からネットワーク経由で教材配信要求を受けると、該当するＨＴＭＬ教材や動画ファイルを教育者側の端末、および学習者側の端末２００に配信する。
【００２２】
学習者側の端末２００は、配信装置１００から送信されてきたＨＴＭＬおよび動画ファイルを受信すると、端末２００上で動作しているブラウザ２０１に埋め込まれている動画再生部２０２により動画の再生が行われ、ブラウザ２０１のＨＴＭＬ表示部２０３によりＨＴＭＬデータが表示される。
【００２３】
動画制御部２０４は、動画の再生、停止、早送り、巻き戻し、一時停止、再開等のイベントをユーザから受け取ると、動画再生部２０２にその処理を依頼する。また、動画上のイベント等を監視し、該当のイベントをトリガーとするアクション（制御情報）が存在する場合、後述する教材制御部２０５にイベントを通知する。
【００２４】
教材制御部２０５は、動画制御部２０４からのイベント（Ｃａｌｌｂａｃｋ等）に対応して、ＨＴＭＬ表示部２０３に対してＨＴＭＬの表示を変えるよう指令したり、動画制御部２０４に対して動画を一時停止させるよう指示したりする。また、学習者により後述する入力装置２０８が操作され、後述する入力検出部２０７によって検出されたユーザ操作に対応するテスト結果に応じて動画を一時停止させたり、再開させたりする命令を動画制御部２０４に依頼する。
【００２５】
タイマ２０６は、時間を計測する装置であり、教材とともに送信されてくる制御情報を元に、教材制御部２０５に各制御イベントの監視を依頼する。教材制御部２０５より制御の実行を依頼された場合、その制御の種類、属性、手順に応じた処理を行う。
【００２６】
入力（ユーザ操作）検出部２０７は、学習者が入力装置２０８を操作して入力したイベントを検出し、動画制御部２０４や教材制御部２０５に通知する。入力装置２０８は、マウスやキーボード等からなる。
【００２７】
次に、本実施の形態において、動画像メタデータをＳＭＩＬとＪａｖａｓｃｒｉｐｔ（登録商標）を用いて表現するための変換方法、およびＳＭＩＬおよびＪａｖａｓｃｒｉｐｔ（登録商標）によって実現可能な機能について説明する。
【００２８】
所定のオーサリングツールで作成される動画像メタデータ教材は、固定部分とメタデータとで成り立つ。固定部分は、動画、静止画、および文字を座標および時間軸にて同期制御したもの（例えば、ＳＭＩＬ）である。メタデータは、学習補助データと、制御情報データとからなり、学習補助データは、動画像上に張り付けるテキスト、静止画（アイコン）、枠、テストメタデータ等である。制御情報データは、プレーヤの制御を行うスキップ、リピート、一時停止などを表すメタデータである。
【００２９】
次に、テストメタデータの場合に実現可能な機能について説明する。まず、視聴動画制御機能が実現可能である。すなわち、この機能は、学習中はテスト問題を解答し終わるまでは、それ以降（テストが添付されている時刻以降）の動画を視聴できなくするものである。具体的には、学習者がプレーヤの動画位置調整つまみを使用したときに、それに伴うイベント検出関数を利用して、テスト問題が添付されている時刻以降に移動しようとしている場合、操作を無効化する（操作前の状態に戻す）アクションをＪａｖａｓｃｒｉｐｔ（登録商標）で記述することにより、テスト問題以降の動画について学習者は動画を視聴できないようにする。
【００３０】
テスト解答中は、動画を再生しようとしたり、動画位置調整つまみを使用したときは、それに伴うイベント検出関数を利用して、操作を無効化する（操作前の状態に戻す）アクションをＪａｖａｓｃｒｉｐｔ（登録商標）で記述することにより、テスト中は学習者は動画そのものを視聴できないようにする。
【００３１】
テストに正解すると、再生を再開するメソッドをＪａｖａｓｃｒｉｐｔ（登録商標）で記述し、現在解答したテストから次のテストまでの動画を視聴できるようにする。
【００３２】
テスト中は動画を操作できないように、動画表示領域を隠すことも可能である。このとき、ブラウザ内で右クリックを使用したメニュー（前へ戻る等）が使えないように右クリックを禁止したり、ユーザ操作によってテスト中に動画表示領域に戻れないようにする。
【００３３】
次に、テスト問題作成及び問題表示機能について説明する。このテスト問題作成及び問題表示機能は、テストメタデータテーブル（図５）から、問題文と選択肢文、正解表示文、不正解表示文、解答番号を取り出し、チェックボックスやボタンフォームを使用してテスト問題用のＨＴＭＬページを作成するものである。次に、テスト問題作成及び問題表示機能はテストメタデータテーブルから開始時刻を取り出して、ＲｅａｌＯｎｅ（登録商標）Ｐｌａｙｅｒのイベント検出関数を使って、先ほど作成したテキスト問題用のＨＴＭＬページを表示するアクションをＪａｖａｓｃｒｉｐｔ（登録商標）で記述する。
【００３４】
次に、動画停止機能について説明する。この機能は、テスト問題表示機能において使用したものと同一のイベント検出関数に対して、プレーヤを停止するメソッドをＪａｖａｓｃｒｉｐｔ（登録商標）で記述することにより、再生中の動画をテスト問題開始時刻に停止させるものである。
【００３５】
次に、メタデータリスト非表示機能について説明する。この機能は、テスト問題表示機能において使用したものと同一のイベント検出関数に対して、メタデータ一覧リストを非表示にするものである。
【００３６】
次に、解答機能について説明する。この機能は、解答ボタンが押されたイベントに対して、テストメタデータテーブルから取り出してあった解答番号と実際に学習者が選択した解答とを比較して、正解か不正解かを判定するものである。
【００３７】
次に、解答後アクション指定機能について説明する。テストデータテーブルから正解時再生動画と不正解時再生位置を取り出す。解答機能により判定した結果によって正解時には、例えば、動画再生再開等のメソッドを指定し、不正解時には、例えば、指定された時間にクリップを移動させるメソッド（または間違えた問題に戻るメソッドなど）を指定する。
【００３８】
次に、一時停止メタデータの場合に実現可能な機能について説明する。動画停止機能が実現可能である。すなわち、テストメタデータの動画一時停止機能と同一の機能である。また、一定時間停止機能が実現可能である。すなわち、メタデータによって指定された時間だけ一時停止を行う。タイマ２０６のｅｘｐｉｒｅにより動画の再生を再開する。
【００３９】
テキストデータ、静止画メタデータ、スキップ、リピート（繰り返し再生）メタデータに関しては、ＳＭＩＬのみの表現によって変換可能である（変換方法については、表１参照）
【００４０】
【表１】

【００４１】
次に、メタデータリスト表示機能について説明する。この機能は、現在再生中の動画クリップに添付されているメタデータを全て表示する機能である。まず、動画補助（表示系）データテーブル（図３）、動画制御（制御系）データテーブル（図４）から、教材に添付されているメタデータを全て取得する。教材が複数の動画クリップからなる場合には、各動画クリップの教材中での開始時間とメタデータの開始時間を元に、動画クリップ毎にメタデータ一覧リスト（ｈｔｍｌファイル）を作成する。
【００４２】
そして、次の動画クリップへ移るときに、メタデータ一覧表示フレームに次のクリップのメタデータ一覧リストを表示するようにする。次に、テスト問題において、学習項目が区切られている場合には、同一クリップ内でも学習項目毎にメタデータ一覧リストを持つことが可能であり、この場合には、テスト問題の解答によって次の学習項目のメタデータ一覧リストを表示するように制御を行う。
【００４３】
次に、メタデータリストクリックによるメタデータ位置へのジャンプ機能について説明する。この機能は、リスト項目をダブルクリックしたときのイベントに対して、所定のメタデータ開始時刻に動画再生位置を変えるプレーヤのメソッドを記述することにより、ジャンプ機能を実現する。
【００４４】
次に、ダイジェスト再生機能について説明する。この機能は、ダイジェスト指定機能と、ダイジェスト再生機能からなり、ダイジェスト指定機能は、学習者がメタデータ一覧リストを使って、ダイジェスト再生させたいメタデータをチェックボックスで選択する機能である。ダイジェスト再生機能は、各メタデータについての開始時刻と終了時刻についての情報をＪａｖａｓｃｒｉｐｔ（登録商標）内の変数として予め持たせておき、ダイジェスト再生ボタンが押されたときに、チェックボックスで指定されたメタデータの開始時刻と終了時刻を元に、プレーヤを制御（開始時刻を引数にしたシークと終了時刻を元にしたイベント検出の繰り返し）して、ダイジェスト再生を行う。
【００４５】
次に、本実施の形態において、配信教材を作成する手順について、図８乃至図１２を参照して説明する。まず、教育者は、所定の端末にて配信用教材作成を希望する教材（教材ＩＤ）を選択する（図８）。次に、配信教材作成部１０３は、教材ＩＤをキーに、教材動画管理テーブル（図２）から使用されている動画を取得し、動画補助データテーブル（図３）、動画制御データテーブル（図４）、テストメタデータテーブル（図５）から、この教材に添付されているメタデータを取得する。（図８）
【００４６】
次に、該当教材にて使用されているメタデータのうち、ＳＭＩＬのみで表現可能な動画補助データ（テキスト、静止画、枠等）と、動画制御データ（スキップ（ｓｋｉｐ）、リピート（ｒｅｐｅａｔ）等）の変換（変換方法については、表１参照）を行う（図９）。この際、リピートやスキップの挿入により、教材動画上でのメタデータの開始時刻の計算も行う。また、組み立てた動画上でのそれぞれのメタデータの開始時刻を保存する。動画１が再生され、所定時間だけスキップされ、動画２の再生とｍｅｍｏ３の表示がリピートされる。その後、動画３の再生とテストが表示され、スキップした後、動画４が再生され、ｍｅｍｏ４が表示される。
【００４７】
次に、テストメタデータの開始時刻毎にメタデータをまとめ、メタデータリスト一覧（ＨＴＭＬファイル）を作成する（図１０）。この際、メタデータリストをダブルクリックしたときに、メタデータの開始時刻に動画の再生位置が移るようなアクションをＪａｖａｓｃｒｉｐｔ（登録商標）で記述する。
【００４８】
次に、ダイジェスト用のＨＴＭＬページ（ダイジェスト再生ページ）を作成する（図１１）。このページには、メタデータを選択するためのチェックボックスと、「再生」ボタンおよび「閉じる」ボタンが表示される。「再生」ボタン（ダイジェストボタン）を押したとき、チェックボックスによって指定されているメタデータの開始時刻と継続時間（または開始時刻と終了時刻）を元に、動画再生を行うアクションを記述する。具体的には選択された各メタデータについてメタデータ開始時刻への動画再生位置移動と動画再生を行う。継続時間終了後（タイマの満了後）に、次のメタデータの開始時刻への動画再生位置移動と動画再生を行うような流れでアクションをＪａｖａｓｃｒｉｐｔ（登録商標）で記述する。
【００４９】
次に、テストデータの問題文、選択肢文、正解表示文、不正解表示文、解答番号を取り出し、チェックボックスやボタンフォームを使用してテスト問題用のＨＴＭＬページを作成する（図１２）。このページには、問題文と、チェックボックスと、「解答」ボタンおよび「クリア」ボタンが表示される。このとき、正解時には正解時動作のアクション（例えば、動画再生再開等）を行い、不正解時には不正解時動画再生位置を元に、その位置へ動画再生時刻を遷移させるアクションをＪａｖａｓｃｒｉｐｔ（登録商標）で記述する。
【００５０】
次に、テストメタデータの開始時刻を使って、例えば、ＲｅａｌＯｎｅＰｌａｙｅｒのイベント検出関数を用いて、上記テスト問題用のＨＴＭＬページを表示するアクション、動画を一時停止するアクション、上記メタデータ一覧リスト（ＨＴＭＬファイル）を非表示にするアクションをＪａｖａｓｃｒｉｐｔ（登録商標）で記述する。
【００５１】
次に、テスト問題を解答したか否かおよび動画の状態を表すフラグを準備し、未解答の場合はそのテスト問題以降の動画は再生できないようにアクションを記述する。次に、動画を再生させる汎用プレーヤを埋め込むフレーム、メタデータ一覧リストを表示するフレーム、テスト問題を表示するフレームをまとめる本体ページを作成する。
【００５２】
次に、図１３を参照して、学習者による教材配信受信手順について説明する。まず、学習者は、学習者の端末２００にて、配信を希望する教材を選択する（ステップＳ１０１）。次に、端末２００にて、選択した教材の教材ＩＤを配信装置１００の配信サーバ１０５に送信する（ステップＳ１０２）。
【００５３】
次に、配信装置１００の配信サーバ１０５は、端末２００から送信されてきた教材ＩＤに基づいて、該当する配信教材を配信用教材ＤＢ１０４から読み出し（ステップＳ１０３）、読み出した教材を端末２００に送信する（ステップＳ１０４）。次に、学習者は端末２００にてＨＴＴＰにより教材を受信する（ステップＳ１０５）。この教材には、テスト情報（テスト問題文、解答選択肢、解答情報、テストイベント情報（テスト発生時刻、テスト発生時処理の記述）、制御情報（正解時処理の記述、不正解時処理の記述）が含まれている。
【００５４】
次に、端末２００の動画制御部２０４が、動画再生部２０２に対して受信した教材の再生開始を指示し、動画再生部２０２による教材の再生が開始される（ステップＳ１０６）とともに、イベントの監視を行う（ステップＳ１０７）。
【００５５】
動画制御部２０４がテストイベント（テスト発生時刻）を検出すると、教材制御部２０５に対して通知を行い、テストイベント（テストＩＤ＝１のテストイベント）が検出される（ステップＳ１０８）。動画制御部２０４及び教材制御部２０５は、テストイベント発生時の処理を実行する（ステップＳ１０９）。このとき、Ｊａｖａｓｃｒｉｐｔ（登録商標）で記述されたテストイベント処理（例えば、動画を一時停止する、メタデータリストを非表示にする、問題を表示する等）が実行される（ステップＳ１１０）。
【００５６】
次に、学習者の解答入力（ステップＳ１１１）に応じて、教材制御部２０５が処理を実行する。正解時の場合は、動画再開、テスト非表示等のアクションを実行する（ステップＳ１１３）。一方、不正解時の場合は、動画再開、テスト非表示等のアクションを実行する（ステップＳ１１４）。その後、ステップＳ１１５へ進む。
【００５７】
ステップＳ１１５においては、全てのテスト問題が終了し、全ての再生動画クリップの再生が終了したか否かが判断される。その結果、まだ、全てのテスト問題が終了しておらず、全ての再生動画クリップの再生も終了していないと判断された場合（ステップＳ１１５のＮｏ）、ステップＳ１０６に戻り、ステップＳ１０６以降の処理が繰り返し実行される。一方、全てのテスト問題が終了し、全ての再生動画クリップの再生が終了したと判断された場合（ステップＳ１１５のＹｅｓ）、教材を終了する。
【００５８】
図１４は、ブラウザでの表示形態を示している。ブラウザの画面は、ブラウザメニューバー表示領域と、ブラウザ埋め込みプレーヤ表示領域（動画再生領域）と、テスト問題表示領域と、タイムライン表示＆プレーヤ制御領域と、メタデータリスト＆検索結果表示領域とから構成される。各領域にそれぞれ対応するデータが表示される。
【００５９】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【００６０】
【発明の効果】
以上の如く、本発明に係る動画像メタデータ教材配信装置、動画像メタデータ教材再生装置、動画像メタデータ教材再生方法、および動画像メタデータ教材再生プログラムによれば、専用のプレーヤをインストールすることなく、学習者は簡単に動画像メタデータ教材を閲覧することができる。また、学習者の入力に応じて、動画再生時刻を変更したり、動画クリップを変更することができる。また、テストを行った時刻より以降の時刻の動画を再生することができないようにするなど、条件に応じて学習者に視聴させる動画を制御することができる。また、汎用的な環境での再生を保証するデータ形式に変換することにより、既存の動画像メタデータ教材の再利用性を高めることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の構成例を示すブロック図である。
【図２】動画像メタデータＤＢの教材動画管理テーブルを示す図である。
【図３】動画像メタデータＤＢの動画補助（表示系）データテーブル。
【図４】動画像メタデータＤＢの動画制御（制御系）データテーブル。
【図５】動画像メタデータＤＢのテストメタデータテーブル。
【図６】教材管理テーブルを示す図である。
【図７】配信用教材の関連図である。
【図８】配信教材生成フローである。
【図９】配信教材生成フローである。
【図１０】配信教材生成フローである。
【図１１】配信教材生成フローである。
【図１２】配信教材生成フローである。
【図１３】教材配信および受信処理を示すフローチャートである。
【図１４】ブラウザでの表示形態を示す図である。
【図１５】オーサリングツールの表示例である。
【図１６】オーサリングツールの表示例である。
【図１７】オーサリングツールの表示例である。
【図１８】従来の学習補助データ処理方法を示す図である。
【図１９】専用プレーヤを使う場合の処理例を示す図である。
【図２０】汎用プレーヤを使う場合の処理例を示す図である。
【符号の説明】
１０サーバ
１１教材ＤＢ
１２学習補助ＤＢ
２０クライアント
２１同期処理部
２２動画教材再生プレーヤ
２３学習補助データ表示機能
２４学習補助データ添付機能
１００配信装置
１０１動画像メタデータＤＢ
１０２メディア（動画素材）ＤＢ
１０３配信教材作成部
１０４配信用教材ＤＢ
１０５教材配信サーバ（Ｗｅｂ／ストリーミングサーバ）
２００端末
２０１ブラウザ
２０２動画再生部
２０３ＨＴＭＬ表示部
２０４動画制御部
２０５教材制御部
２０６タイマ
２０７入力（ユーザ操作）検出部
２０８入力装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving image metadata teaching material distribution device, a moving image metadata teaching material reproducing device, a moving image metadata teaching material reproducing method, and a moving image metadata teaching material reproducing program, and in particular, to moving image metadata created by an authoring tool. The present invention relates to a moving image metadata teaching material distribution device, a moving image metadata teaching material reproducing device, a moving image metadata teaching material reproducing method, and a moving image metadata teaching material reproducing program capable of reproducing a teaching material.
[0002]
[Prior art]
Conventionally, as shown in FIGS. 15 to 17, as an e-learning authoring system device, learning aid data such as memos, still images, question answers, tests, etc., pause, repeated playback, skip There is an editing apparatus to which moving image metadata such as moving image control data can be attached.
As shown in FIG. 18, there is an e-learning distribution system that allows a learner to view and edit the created teaching material. In this system, a teaching material database (DB) 11 and a learning auxiliary DB 12 are placed on the server 10 side, and teaching material video information is transmitted from the teaching material DB 11 to the client 20 side. Information obtained by processing the learning auxiliary data is transmitted from the learning auxiliary DB 12 to the client 10 side. On the client 10 side, a synchronous processing unit 21, a moving image teaching material reproducing player 22, a learning auxiliary data display function 23, and a learning auxiliary data attaching function 24 are realized by a predetermined application program.
FIG. 19 shows an example in which a learner (learning student) uses a dedicated playback player. On the server 10 side, the authoring device creates a teaching material based on a moving image and a still image (JPEG (Joint Photographic Experts Group) GIF (Graphics Interchange Format), BMP (BitMap) format, etc.) by an authoring device. . After the creation is completed, the SMIL (Synchronized Multimedia Integration Language), the still image, and the metadata list are registered in the teaching material management server (server 10), and the moving image file (RM format or the like) is registered in the moving image distribution server (server 10). The SMIL, the still image, and the metadata list are transmitted from the teaching material management server to the learner's personal computer 20 on the client side, and a moving image file (RM format or the like) is transmitted from the moving image distribution server to the learner's personal computer 20 on the client side.
In the personal computer 20 on the client side, the synchronization processing unit 21 of the predetermined application synchronizes the SMIL transmitted from the server 10 and the still image used in the metadata list with the moving image, and the moving image teaching material reproduction player 22 Reproduces a moving image, and the learning auxiliary data display function 23 displays the learning auxiliary metadata in the metadata list.
FIG. 20 shows an example in which a learner (learning student) uses a general-purpose player. On the server 10 side, the authoring device creates a teaching material based on the moving image and the still image in the RM format. After the creation is completed, the SMIL and the still image are registered in the teaching material management server (server 10), and the moving image file (RM format or the like) is registered in the moving image distribution server (server 10). The SMIL and the still image are transmitted from the teaching material management server to the learner's personal computer 20 on the client side, and the moving image file (such as RM format) is transmitted from the moving image distribution server to the learner's personal computer 20 on the client side.
In the personal computer 20 on the client side, based on the SMIL transmitted from the server 10, the synchronization processing unit 21 of the predetermined application synchronizes the still image described in the SMIL with the moving image and reproduces the general-purpose moving image teaching material. The player 22 reproduces a moving image, and the learning auxiliary data display function 23 displays a still image or the like described in the SMIL. When a general-purpose player is used, only metadata that can be expressed in SMIL can be reproduced.
In addition, there is an arrangement in which a student can attach his or her own learning auxiliary data to a video teaching material, and can display the learning auxiliary data in a desired display format (for example, Patent Document 1). reference).
[0003]
[Patent Document 1]
JP-A-2003-67507 (FIG. 1)
[0004]
[Problems to be solved by the invention]
As described above, the conventional system can realize bidirectional learning and enhance the learning effect of the learner. However, in order to view the learning material created by the above system, as shown in FIG. It is necessary to install a dedicated playback player in the learner's personal computer (personal computer). If this dedicated player is not used, the moving image metadata that can be viewed on the learner side is one of memos and still images. There was a problem that it was limited to the metadata of a part. In addition, when a general-purpose reproduction player is used, only those that can be expressed by SMIL, such as repeat reproduction of text, still images, and moving images (clips) that can be easily expressed by SMIL, can be expressed. Also, when using a general-purpose playback player, a mechanism is implemented that changes the playback position of the video depending on the user's operation, for example, the result of the test, or disables the operation of the video of the teaching material during the test. There was a problem that you can not.
Further, in the invention described in Patent Document 1, there is a problem that the movement of the reproduced moving image cannot be controlled on the display terminal side.
[0005]
The present invention has been made in view of such a situation, and establishes and implements a method of converting moving image metadata attached to a moving image by using a conventional authoring system by using SMIL and Javascript (registered trademark). In addition, moving image metadata (test metadata, temporarily designated metadata, and the like) that could not be realized on the learner terminal side can be viewed only by a general-purpose browser and a general-purpose reproduction player.
[0006]
[Means for Solving the Problems]
A moving image metadata teaching material distributing device according to claim 1, wherein the moving image metadata teaching material distributing device distributes a moving image metadata teaching material to a terminal via a network, the moving image storing the moving image metadata teaching material. An image metadata database, a media database storing media, a distribution teaching material creating means for creating teaching materials based on moving image metadata teaching materials, and a distribution teaching material database storing teaching materials created by the distribution teaching material creating means And a teaching material distributing means for, in response to a request from the terminal, reading the teaching material read from the distribution teaching material database and the media corresponding to the teaching material read from the media database, and distributing them as moving image metadata teaching material to the terminal via the network. And characterized in that:
The moving image metadata teaching material reproducing device according to claim 2, wherein the moving image metadata teaching material reproducing device reproduces a moving image metadata teaching material distributed from the moving image metadata teaching material distributing device via a network. A moving image reproducing unit that reproduces a moving image included in the moving image metadata teaching material distributed from the image metadata teaching material distribution device; a display unit that displays HTML data included in the moving image metadata learning material; and a moving image reproducing unit. Moving image control means for controlling reproduction of a moving image, input means for inputting predetermined data, detection means for detecting occurrence of an event, and an event detected by the detection means and input data input by the input means And a teaching material control means for controlling the display means, controlling the display method of the HTML data, and controlling the moving picture control means in accordance with And it features.
The moving image metadata teaching material reproducing method according to claim 3 is a moving image metadata teaching material reproducing method for reproducing a moving image metadata teaching material distributed from a moving image metadata teaching material distributing device via a network. A moving image playback step of playing back a moving image included in the moving image metadata teaching material distributed from the image metadata teaching material delivery device, a display step of displaying HTML data included in the moving image metadata teaching material, and a moving image playback step. A moving image control step for controlling reproduction of a moving image, an input step for inputting predetermined data, a detection step for detecting occurrence of an event, an event detected in the detection step, and input data input in the input step , The display process in the display step is controlled, and the display method of the HTML data is changed. Gyoshi, characterized in that it comprises a materials control step of controlling processing in a moving control step.
Also, the detection of an event and the action for the event are described in JavaScript (registered trademark), and the action can be executed by a predetermined browser.
6. A moving image metadata teaching material reproducing program according to claim 5, wherein the moving image metadata teaching material reproducing device reproduces a moving image metadata teaching material distributed from the moving image metadata teaching material distribution device via a network. A meta data teaching material reproducing program, which displays a moving image reproducing step of reproducing a moving image included in a moving image meta data teaching material distributed from a moving image meta data teaching material distribution device, and displays HTML data included in the moving image meta data learning material. A moving image control step for controlling the reproduction of a moving image in the moving image reproducing step, an input step for inputting predetermined data, a detecting step for detecting occurrence of an event, and a detecting step. Depending on the event and the input data entered in the input step, the display step Controls kicking display process, controls the display of HTML data, characterized in that to execute and materials control step of controlling the processing in the moving image control step to the moving image metadata materials reproducing apparatus.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
The present invention realizes reproduction of a moving image metadata teaching material by means of Synchronized Multimedia Integration Language (SMIL) and JavaScript (registered trademark), and uses only a general-purpose browser and a general-purpose reproduction player without installing a dedicated reproduction player. It enables reproduction of metadata teaching materials.
[0008]
That is, according to the present invention, an HTML page for dynamically viewing a learning material on a learner side is created from a moving image metadata learning material created using an authoring device on a server side, and a server on a learner side terminal is used. When an HTML page is received from above, the corresponding moving image metadata is displayed while playing the teaching material, and further, according to the setting of the attached moving image metadata using the authoring device and the input data from the learner, This dynamically controls the display of moving image and moving image metadata.
[0009]
In the present invention, an HTML page is dynamically created from moving image metadata. Basically, according to the content of the moving image metadata attached using the authoring device, the event detection and the action for the event are described in Javascript (registered trademark), so that the client-side terminal performs the action. Is monitored, and when the event occurs, the corresponding action is executed by the player or the browser.
[0010]
For example, the event action when there is test metadata has the following flow.
[0011]
(A) It's time for a test question (player event)
(B) Stop movie (action for player)
(C) Display test questions (action on browser)
(D) Hide metadata list (action for browser)
(E) The learner answers (browser event (event occurs when answer button is pressed))
(F) Match the learner's answer with the correct answer (browser action). If the answer is correct, go to (g). If the answer is incorrect, go to (h).
(G) Resume teaching materials (player action)
(H) Return the teaching material to the position of xx seconds (or return to the problem again) (player action).
[0012]
A method for realizing the above-described action for an event using SMIL and Javascript (registered trademark) will be described in detail below.
[0013]
FIG. 1 is a block diagram showing a configuration example of a moving image metadata distribution system according to an embodiment of the present invention. As shown in the figure, the present embodiment includes a distribution device 100 that provides learning materials and a learner's terminal 200. The distribution device 100 and the terminal 200 are connected via a network such as the Internet. I have.
[0014]
The distribution device 100 includes a moving image metadata database (DB) 101, a media (moving image material) DB 102, a distribution learning material creation unit 103, a distribution learning material DB 104, a learning material distribution server (Web / streaming server) 105, and the like. Have been.
[0015]
The moving image metadata DB 101 stores metadata and data related to teaching materials (moving images), and includes a teaching material moving image management table shown in FIG. 2, a moving image auxiliary (display system) data table shown in FIG. The moving image control (control system) data table shown in FIG. 5 and the test metadata table shown in FIG.
[0016]
The teaching material moving image management table stores a teaching material ID and a file name of the teaching material moving image data entity (RM format data or the like) in association with each other. The moving image auxiliary (display system) data table includes a display system ID, a teaching material ID, a display type (still image, frame, etc.), a start time, an end time, a display position ordinate, a display position abscissa, and the like. , Text, and file names of display data entities (JPEG, BMP format data, etc.) are stored in association with each other. In the video control (control system) data table, a control system ID, a teaching material ID, a control system type (repeat, skip, etc.), a start time, an end time, and a repetition count are stored in association with each other. . The test metadata table includes a test ID, a teaching material ID, a start time, a display vertical position, a display horizontal position, a question sentence, an option sentence, an answer number, a correct answer display sentence, and an incorrect answer time. A display sentence, a correct answer operation, and an incorrect answer moving image reproduction position are stored.
[0017]
The media DB 102 is a database that stores media such as moving images used for teaching materials and still images used for still image metadata. The moving image file is data in RM format (Real Media (registered trademark) format) or the like, and the image file is data in jpg format, BMP format, gif format or the like. The media DB 102 is a database (DB) that stores entities of media (moving image material) referred to by a file name such as src = "xxx.jpg" in SMIL.
[0018]
The distribution teaching material creation unit 103 creates the teaching material HTML data using SMIL and JavaScript (registered trademark) by a predetermined conversion method based on the moving image metadata and the moving image material. The distribution learning material DB 104 is a database that stores the HTML learning materials created by the distribution learning material creation unit 103.
[0019]
The distribution material DB 104 stores a material management table as shown in FIG. The teaching material management table stores teaching material IDs and teaching material data (startup pages) in association with each other. As shown in FIG. 7, an HTML file (player.html) for reproducing a moving image, an HTML file (test.html) for a test question, and an HTML file (metadata list) are included in the HTML file (teaching material.html) of the start page. list.html) is written. Further, information of the SMIL file (sample.smil) used in the teaching material is described in the HTML file for moving image reproduction. The SMIL file describes link information to a moving image file (sample.rm) and an image file (xxx.jpg), which are file entities. These moving image files and image files are stored in the media DB 102.
[0020]
player. In html, logic for temporarily stopping a moving image is described in Javascript (registered trademark). test. In html, the test determination logic and the action after the determination (such as resuming reproduction) are described in Javascript (registered trademark). sample. In the smil, data that can be expressed only in SMIL is described.
[0021]
Upon receiving a learning material distribution request from the terminal 200 via the network, the learning material distribution server 105 distributes the corresponding HTML learning material or moving image file to the terminal for the educator and the terminal 200 for the learner.
[0022]
When the terminal 200 on the learner side receives the HTML and the moving image file transmitted from the distribution device 100, the moving image is reproduced by the moving image reproducing unit 202 embedded in the browser 201 operating on the terminal 200. The HTML data is displayed by the HTML display unit 203 of the browser 201.
[0023]
Upon receiving an event such as reproduction, stop, fast forward, rewind, pause, or restart of the moving image from the user, the moving image control unit 204 requests the moving image reproducing unit 202 to perform the process. Also, an event or the like on the moving image is monitored, and if there is an action (control information) triggered by the event, the event is notified to a teaching material control unit 205 described later.
[0024]
The teaching material control unit 205 instructs the HTML display unit 203 to change the display of HTML in response to an event (Callback or the like) from the moving image control unit 204, or temporarily stops the moving image to the moving image control unit 204. Or instruct them to do so. In addition, a learner operates an input device 208 described later, and issues a command for temporarily stopping or restarting a moving image in accordance with a test result corresponding to a user operation detected by an input detecting unit 207 described later. Ask 204.
[0025]
The timer 206 is a device that measures time, and requests the teaching material control unit 205 to monitor each control event based on control information transmitted together with the teaching material. When the execution of the control is requested by the teaching material control unit 205, a process according to the type, attribute, and procedure of the control is performed.
[0026]
The input (user operation) detection unit 207 detects an event input by the learner operating the input device 208 and notifies the moving image control unit 204 and the learning material control unit 205 of the event. The input device 208 includes a mouse, a keyboard, and the like.
[0027]
Next, in this embodiment, a conversion method for expressing moving image metadata using SMIL and Javascript (registered trademark), and functions that can be realized by SMIL and Javascript (registered trademark) will be described.
[0028]
A moving image metadata teaching material created by a predetermined authoring tool is composed of fixed parts and metadata. The fixed part is obtained by synchronously controlling a moving image, a still image, and a character on a coordinate and a time axis (for example, SMIL). The metadata is composed of learning auxiliary data and control information data. The learning auxiliary data is text, a still image (icon), a frame, test metadata, etc. to be pasted on a moving image. The control information data is metadata indicating skip, repeat, pause, and the like for controlling the player.
[0029]
Next, functions that can be realized in the case of test metadata will be described. First, a viewing moving image control function can be realized. In other words, this function is to prevent the user from viewing a moving image thereafter (after the time when the test is attached) until the answer to the test question is completed during learning. Specifically, if the learner uses the player's video position adjustment knob and uses the accompanying event detection function to move after the time the test question is attached, disable the operation By describing the action to perform (return to the state before the operation) in JavaScript (registered trademark), the learner is prevented from viewing the moving image after the test question.
[0030]
During the answer to the test, when an attempt is made to play a moving image or use the moving image position adjustment knob, an action for invalidating the operation (returning to the state before the operation) is performed using the event detection function accompanying the operation. (Trademark) prevents students from watching the video during the test.
[0031]
If the test is answered correctly, a method for resuming playback is described in JavaScript (registered trademark) so that a moving picture from the currently answered test to the next test can be viewed.
[0032]
During the test, the moving image display area can be hidden so that the moving image cannot be operated. At this time, right-clicking is prohibited so that a menu using right-clicking (return to the front, etc.) in the browser cannot be used, or a user operation prevents the user from returning to the moving image display area during the test.
[0033]
Next, a test question creation and question display function will be described. This test question creation and question display function extracts the question sentence, the choice sentence, the correct answer display sentence, the incorrect answer display sentence, and the answer number from the test metadata table (FIG. 5) and tests using the check box and button form. This is to create an HTML page for the question. Next, the test question creation and question display function extracts the start time from the test metadata table and uses the event detection function of the Real One (registered trademark) Player to display the text question HTML page created earlier. Is described in Javascript (registered trademark).
[0034]
Next, the moving image stopping function will be described. This function stops the video being played at the test question start time by describing the method for stopping the player in Javascript (registered trademark) for the same event detection function used in the test question display function. It is to let.
[0035]
Next, the metadata list non-display function will be described. This function hides the metadata list for the same event detection function used in the test question display function.
[0036]
Next, the answer function will be described. This function compares the answer number retrieved from the test metadata table with the answer actually selected by the learner to determine whether the answer is correct or incorrect for the event that the answer button is pressed. It is.
[0037]
Next, the post-answer action designation function will be described. The correct playback video and the incorrect playback position are extracted from the test data table. When the answer is correct, specify the method for resuming video playback, for example, when the answer is correct, and when incorrect, specify the method for moving the clip at the specified time (or a method for returning to the wrong question). I do.
[0038]
Next, functions that can be realized in the case of pause metadata will be described. A video stop function is feasible. That is, this is the same function as the moving image pause function of the test metadata. Further, a stop function for a fixed time can be realized. That is, the pause is performed for the time specified by the metadata. The reproduction of the moving image is restarted by the expire of the timer 206.
[0039]
Text data, still image metadata, skip, and repeat (repeated playback) metadata can be converted by SMIL-only expressions (see Table 1 for conversion methods).
[0040]
[Table 1]

[0041]
Next, the metadata list display function will be described. This function is a function for displaying all the metadata attached to the moving picture clip currently being reproduced. First, all the metadata attached to the teaching material is acquired from the moving image auxiliary (display system) data table (FIG. 3) and the moving image control (control system) data table (FIG. 4). When the teaching material is composed of a plurality of video clips, a metadata list (html file) is created for each video clip based on the start time of each video clip in the learning material and the start time of the metadata.
[0042]
Then, when moving to the next video clip, the metadata list of the next clip is displayed in the metadata list display frame. Next, in a test question, when learning items are separated, it is possible to have a metadata list for each learning item even in the same clip, and in this case, the next Control is performed so as to display a metadata list of learning items.
[0043]
Next, a jump function to a metadata position by clicking a metadata list will be described. This function implements a jump function by describing a method of a player that changes a moving image reproduction position at a predetermined metadata start time in response to an event when a list item is double-clicked.
[0044]
Next, the digest reproduction function will be described. This function includes a digest designation function and a digest reproduction function. The digest designation function is a function in which a learner selects metadata to be digest-reproduced with a check box using a metadata list. The digest playback function previously stores information about the start time and end time of each piece of metadata as a variable in Javascript (registered trademark), and is specified by a check box when the digest playback button is pressed. Based on the start time and end time of the metadata, the player is controlled (seek using the start time as an argument and event detection based on the end time are repeated) to perform digest reproduction.
[0045]
Next, a procedure for creating a distribution teaching material in the present embodiment will be described with reference to FIGS. First, the educator selects a teaching material (teaching material ID) for which a distribution teaching material is desired to be created using a predetermined terminal (FIG. 8). Next, using the teaching material ID as a key, the distribution teaching material creating unit 103 acquires the used moving image from the teaching material moving image management table (FIG. 2), and acquires a moving image auxiliary data table (FIG. 3) and a moving image control data table (FIG. 4). ), The metadata attached to the teaching material is acquired from the test metadata table (FIG. 5). (FIG. 8)
[0046]
Next, among the metadata used in the corresponding teaching material, moving image auxiliary data (text, still image, frame, etc.) that can be expressed only with SMIL, moving image control data (skip, repeat, etc.) ) (See Table 1 for the conversion method) (FIG. 9). At this time, the start time of metadata on the educational material moving image is also calculated by inserting repeats and skips. Also, the start time of each metadata on the assembled moving image is stored. The moving image 1 is reproduced, skipped for a predetermined time, and the reproduction of the moving image 2 and the display of the memo 3 are repeated. Thereafter, the reproduction and test of the moving image 3 are displayed, and after skipping, the moving image 4 is reproduced and the memo 4 is displayed.
[0047]
Next, the metadata is compiled for each start time of the test metadata, and a metadata list (HTML file) is created (FIG. 10). At this time, when the metadata list is double-clicked, an action for moving the playback position of the moving image to the start time of the metadata is described in Javascript (registered trademark).
[0048]
Next, a digest HTML page (digest playback page) is created (FIG. 11). On this page, a check box for selecting metadata, a "play" button and a "close" button are displayed. When the “play” button (digest button) is pressed, an action for playing back a moving image is described based on the start time and duration (or start time and end time) of the metadata specified by the check box. Specifically, for each selected metadata, the moving image reproduction position is moved to the metadata start time and the moving image is reproduced. After the end of the duration (after the expiration of the timer), the action is described in Javascript (registered trademark) in such a manner that the moving image reproduction position is moved to the start time of the next metadata and the moving image is reproduced.
[0049]
Next, a question sentence, an option sentence, a correct answer display sentence, an incorrect answer display sentence, and an answer number of the test data are taken out, and an HTML page for the test question is created using check boxes and button forms (FIG. 12). This page displays a question sentence, a check box, an "answer" button, and a "clear" button. At this time, the action of the correct answer operation (for example, restarting the reproduction of the moving image, etc.) is performed when the answer is correct, and the action of transitioning the moving image reproduction time to that position based on the incorrectly moving image reproducing position is performed when the answer is incorrect, Javascript (registered trademark). Described by
[0050]
Next, using the start time of the test metadata, for example, using an event detection function of Real One Player, an action of displaying the HTML page for the test question, an action of pausing the moving image, and a list of the metadata list An action for hiding (HTML file) is described in Javascript (registered trademark).
[0051]
Next, a flag indicating whether or not the test question has been answered and the state of the moving image are prepared. If the answer is unanswered, an action is described so that the moving image after the test question cannot be reproduced. Next, a main body page is created that compiles a frame for embedding a general-purpose player for reproducing a moving image, a frame for displaying a metadata list, and a frame for displaying a test question.
[0052]
Next, with reference to FIG. 13, a description will be given of a learning material distribution receiving procedure performed by a learner. First, the learner selects, on the learner's terminal 200, a teaching material desired to be distributed (step S101). Next, the terminal 200 transmits the learning material ID of the selected learning material to the distribution server 105 of the distribution device 100 (Step S102).
[0053]
Next, the distribution server 105 of the distribution device 100 reads out the relevant distribution learning material from the distribution learning material DB 104 based on the learning material ID transmitted from the terminal 200 (Step S103), and transmits the read learning material to the terminal 200. (Step S104). Next, the learner receives the teaching material by HTTP at the terminal 200 (step S105). The teaching materials include test information (test questions, answer choices, answer information, test event information (test occurrence time, description of test occurrence processing), control information (correct answer processing description, incorrect answer processing description) It is included.
[0054]
Next, the moving image control unit 204 of the terminal 200 instructs the moving image reproduction unit 202 to start reproducing the received teaching material, and the reproduction of the learning material by the moving image reproduction unit 202 is started (step S106), and the event is monitored. Is performed (step S107).
[0055]
When the moving image control unit 204 detects a test event (test occurrence time), it notifies the teaching material control unit 205 and a test event (test event with test ID = 1) is detected (step S108). The moving image control unit 204 and the learning material control unit 205 execute a process when a test event occurs (step S109). At this time, a test event process described in Javascript (registered trademark) (for example, pausing the moving image, hiding the metadata list, displaying a problem, etc.) is executed (step S110).
[0056]
Next, in response to the learner's answer input (step S111), the teaching material control unit 205 executes processing. If the answer is correct, actions such as restarting the moving image and hiding the test are executed (step S113). On the other hand, in the case of an incorrect answer, actions such as restarting the moving image and hiding the test are executed (step S114). Thereafter, the process proceeds to step S115.
[0057]
In step S115, it is determined whether or not all the test questions have been completed and the reproduction of all the reproduced moving image clips has been completed. As a result, when it is determined that all the test questions have not yet been completed and that all the reproduced moving image clips have not been reproduced yet (No in step S115), the process returns to step S106, and the processing after step S106 is performed. Is repeatedly executed. On the other hand, when it is determined that all the test questions have been completed and the reproduction of all the reproduced moving image clips has been completed (Yes in step S115), the teaching material is ended.
[0058]
FIG. 14 shows a display form on a browser. The browser screen consists of a browser menu bar display area, a browser embedded player display area (video playback area), a test question display area, a timeline display & player control area, a metadata list & search result display area. Is done. Data corresponding to each area is displayed.
[0059]
It is needless to say that the configuration and operation of the above embodiment are examples, and can be appropriately changed without departing from the spirit of the present invention.
[0060]
【The invention's effect】
As described above, according to the moving image metadata teaching material distribution device, the moving image metadata teaching material reproducing device, the moving image metadata teaching material reproducing method, and the moving image metadata teaching material reproducing program according to the present invention, a dedicated player is installed. Without this, the learner can easily browse the moving image metadata teaching material. In addition, according to the input of the learner, it is possible to change the moving image playback time or change the moving image clip. In addition, it is possible to control the moving image to be viewed by the learner according to the conditions, such as making it impossible to reproduce the moving image at a time after the time when the test is performed. Further, by converting the data into a data format that guarantees reproduction in a general-purpose environment, the reusability of existing moving image metadata teaching materials can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an embodiment of the present invention.
FIG. 2 is a diagram showing a teaching material moving image management table of a moving image metadata DB.
FIG. 3 is a moving image auxiliary (display system) data table of a moving image metadata DB.
FIG. 4 is a moving image control (control system) data table of a moving image metadata DB.
FIG. 5 is a test metadata table of a moving image metadata DB.
FIG. 6 is a diagram showing a teaching material management table.
FIG. 7 is a diagram illustrating a related teaching material for distribution.
FIG. 8 is a flow chart of generating a distribution teaching material.
FIG. 9 is a flow of generating a distribution teaching material.
FIG. 10 is a flow of a distribution teaching material generation flow.
FIG. 11 is a flow of a distribution teaching material generation flow.
FIG. 12 is a flow of a distribution teaching material generation flow.
FIG. 13 is a flowchart illustrating a teaching material distribution and reception process.
FIG. 14 is a diagram showing a display form on a browser.
FIG. 15 is a display example of an authoring tool.
FIG. 16 is a display example of an authoring tool.
FIG. 17 is a display example of an authoring tool.
FIG. 18 is a diagram showing a conventional learning auxiliary data processing method.
FIG. 19 is a diagram illustrating a processing example when a dedicated player is used.
FIG. 20 is a diagram illustrating a processing example when a general-purpose player is used.
[Explanation of symbols]
10 Server
11 Teaching Material DB
12 learning assistance DB
20 clients
21 Synchronization processing unit
22 Video playback material playback player
23 Learning auxiliary data display function
24 Auxiliary data attachment function
100 distribution device
101 Moving Image Metadata DB
102 media (video material) DB
103 Distribution Material Creation Department
104 Distribution material DB for distribution
105 Teaching Material Distribution Server (Web / Streaming Server)
200 terminals
201 Browser
202 Video playback unit
203 HTML display
204 Video controller
205 Teaching Material Control Unit
206 timer
207 Input (user operation) detection unit
208 Input device

Claims

A moving image metadata teaching material distribution device that distributes moving image metadata to a terminal via a network,
A moving image metadata database storing moving image metadata,
A media database where the media is stored,
Means for creating a teaching material based on moving image metadata,
A distribution teaching material database in which the teaching material created by the delivery teaching material creating unit is stored;
In response to a request from the terminal, the teaching material read from the distribution teaching material database, and the media corresponding to the teaching material read from the media database are read, and the moving image metadata teaching material is read to the terminal via the network. A moving image metadata teaching material distributing device, comprising:

A moving image metadata teaching material playback device that plays back moving image metadata teaching materials distributed from a moving image metadata teaching material distribution device via a network,
A moving image reproducing unit that reproduces a moving image included in the moving image metadata teaching material distributed by the moving image metadata learning material distribution device;
Display means for displaying HTML data included in the moving image metadata teaching material;
Moving image control means for controlling reproduction of the moving image by the moving image reproduction means,
Input means for inputting predetermined data;
Detecting means for detecting occurrence of an event;
Teaching material control means for controlling the display means, controlling a display method of the HTML data, and controlling the moving picture control means in accordance with the event detected by the detection means and the input data inputted by the input means. A moving image metadata teaching material reproducing apparatus, comprising:

A moving image metadata teaching material playback method for playing a moving image metadata teaching material distributed from a moving image metadata teaching material distribution device via a network,
A moving image reproducing step of reproducing a moving image included in the moving image metadata teaching material distributed from the moving image metadata teaching material distribution device;
A display step of displaying HTML data included in the moving image metadata teaching material;
A moving image control step of controlling reproduction of the moving image in the moving image reproduction step,
An input step for inputting predetermined data;
A detecting step for detecting occurrence of an event;
In accordance with the event detected in the detection step and the input data input in the input step, a display process in the display step is controlled, a display method of the HTML data is controlled, and a process in the moving image control step is performed. A moving image metadata teaching material reproducing method, comprising:

The moving image metadata teaching material reproducing method according to claim 3, wherein the detection of the event and an action for the event are described in Javascript (registered trademark), and the action is executed by a predetermined browser.

A moving image metadata teaching material reproducing program for controlling a moving image metadata teaching material reproducing device that reproduces a moving image metadata teaching material distributed from a moving image metadata teaching material distributing device via a network,
A moving image reproducing step of reproducing a moving image included in the moving image metadata teaching material distributed from the moving image metadata teaching material distribution device;
A display step of displaying HTML data included in the moving image metadata teaching material;
A moving image control step of controlling reproduction of the moving image in the moving image reproduction step,
An input step for inputting predetermined data;
A detecting step for detecting occurrence of an event;
In accordance with the event detected in the detection step and the input data input in the input step, a display process in the display step is controlled, a display method of the HTML data is controlled, and a process in the moving image control step is performed. A moving image metadata teaching material reproducing program, which causes the moving image metadata teaching material reproducing device to execute a controlling step of controlling the learning material.