Nothing Special   »   [go: up one dir, main page]

JP4288879B2 - ネットワーク情報処理システムおよび情報処理方法 - Google Patents

ネットワーク情報処理システムおよび情報処理方法 Download PDF

Info

Publication number
JP4288879B2
JP4288879B2 JP2001280697A JP2001280697A JP4288879B2 JP 4288879 B2 JP4288879 B2 JP 4288879B2 JP 2001280697 A JP2001280697 A JP 2001280697A JP 2001280697 A JP2001280697 A JP 2001280697A JP 4288879 B2 JP4288879 B2 JP 4288879B2
Authority
JP
Japan
Prior art keywords
information
display
information processing
still image
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001280697A
Other languages
English (en)
Other versions
JP2003087727A5 (ja
JP2003087727A (ja
Inventor
透 三宅
聡 田淵
博之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001280697A priority Critical patent/JP4288879B2/ja
Priority to PCT/JP2002/009397 priority patent/WO2003026288A1/ja
Priority to EP02765537A priority patent/EP1427205A4/en
Priority to US10/489,517 priority patent/US20050066047A1/en
Priority to CNB028227433A priority patent/CN1307835C/zh
Publication of JP2003087727A publication Critical patent/JP2003087727A/ja
Publication of JP2003087727A5 publication Critical patent/JP2003087727A5/ja
Application granted granted Critical
Publication of JP4288879B2 publication Critical patent/JP4288879B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、ネットワーク会議システムや、ネットワーク教育システム、ネットワークゲームシステム等に適用して好適なネットワーク情報処理システムおよび情報処理方法に関する。詳しくは、ネットワーク情報処理システムの情報処理装置および動画・音声入力装置から転送される少なくとも動画または音声およびこれに同期する静止画の情報を含む複数の情報を所定の時間軸に合わせてそれぞれ時系列で記録し、これに基づいて視聴可能なコンテンツを生成することによって、コンテンツの生成を効率よく行い得るようにしたネットワーク情報処理システムおよび情報処理方法に係るものである。
【0002】
【従来の技術】
従来、情報処理システムに複数の情報入力装置がある場合、各情報入力装置からの情報を分別記録した後に、手作業で処理し、再生用コンテンツを作成するのが一般的である。例えば、動画・音声と同時に静止画、テキスト等の複数の情報が存在する場合、動画・音声と静止画、テキストを別々に取り扱い、後日静止画とテキストを動画・音声の適切な位置に挿入し、コンテンツを作成する情報処理方法がある。
【0003】
【発明が解決しようとする課題】
上述したように、従来の情報処理システムにおいては、複数の情報入力装置がある場合、各情報入力装置からの情報を分別記録した後に、手作業で処理してコンテンツを作成するものであり、作業者は複数の情報の表示タイミングや表示時間を考慮しながら処理を行う必要があり、作業効率の悪いものであった。
また従来、映像・音声だけを編集するソフトはあるが、映像、音声に同期して表示する静止画、テキスト等のコンテンツをそれぞれ時系列にビジブルに並べ、時間軸をベースに編集するものはない。そのため、映像、音声と静止画、テキスト等の表示タイミングをずらすことなく編集することが困難であった。
また、例えば会議室に複数の情報配信システムがあった場合、会議の内容によって利用する機器が異なる。従来は、いつ、どの資料が、どの機器を使って表示されたのかを記録しておき、ホームページオーサリングソフトにて手作業でコンテンツのオーサリングを行っており、間違いが生じたり、作業効率の悪いものであった。
この発明の目的は、コンテンツの生成を効率よく、また間違いなく行い得るようにすることにある。また、この発明の目的は、映像、音声と静止画、テキスト等の表示タイミングをずらすことなく編集することを容易とすることにある。
【0004】
【課題を解決するための手段】
この発明に係るネットワーク情報処理システムは、入力操作機能を有して、少なくとも動画または音声およびこれを同期する静止画の情報を含む任意の情報を処理する一以上の情報処理装置と、少なくとも、情報処理装置から転送される情報に基づ映像、および情報をそれぞれ時間軸に沿って表示帯で表す編集画面を表示する表示装置と、情報処理装置から入力操作指示に基づいて表示装置における表示処理を含むネットワーク情報処理を支援する情報処理支援装置と、情報処理支援装置と情報処理装置とを接続する通信手段と、情報処理装置から転送される情報以外の少なくとも映像または音声を入力する動画・音声入力装置と、情報処理装置および動画・音声入力装置から転送される複数の情報を所定の時間軸に合わせてそれぞれ記録し、この複数の情報に基づいて視聴可能なコンテンツを作成する情報作成装置と、情報作成装置で作成されたコンテンツを編集画面を用いて編集して、新たなコンテンツを生成する情報加工装置とを備え、編集画面中の静止画の情報を表す表示帯は、各静止画の表示開始から表示終了までの表示期間に対応した帯部分が他の部分と異なる表示状態となっており、各帯部分に対応する静止画のサムネイルを有しているものである。
【0005】
この発明に係る情報処理方法は、複数の情報入力装置から転送される少なくとも動画または音声およびこれを同期する静止画の情報を含む複数の情報を所定の時間軸に合わせてそれぞれ記録する記録ステップと、記録ステップで記録された複数の情報から視聴可能なコンテンツを生成する生成ステップと、少なくとも、複数の情報をそれぞれ時間軸に沿って表示帯で表す編集画面を用いて生成されたコンテンツを編集して、新たなコンテンツを生成する加工ステップとを備え、編集画面中の静止画の情報を表す表示帯は、各静止画の表示開始から表示終了までの表示期間に対応した帯部分が他の部分と異なる表示状態となっており、各帯部分に対応する静止画のサムネイルを有しているものである。
例えば、編集画面は、少なくとも、複数の情報をそれぞれ時間軸に沿った表示帯で表していると共に、時間軸と直交する方向に延び、時間軸に沿って移動し、現行時間を示すカレントタイムラインを表示している。
また、生成ステップでは、予め登録された複数のテンプレートから複数の情報に応じた一のテンプレートを選定し、この一のテンプレートに対応してコンテンツを生成するものである。
【0006】
この発明においては、複数の情報入力装置から転送される複数の情報、例えば少なくとも動画または音声およびこれに同期する静止画の情報を含む複数の情報を所定の時間軸に合わせて記録する。そして、この記録された複数の情報に基づいてコンテンツを作成する。このように、所定の時間軸に合わせて記録された複数の情報に基づいてコンテンツを作成するものであり、複数の情報を同期して表示するための時間を気にすることなく編集などを行うことができ、コンテンツの生成を効率よく行うことが可能となる。
【0007】
また、この発明においては、生成されたコンテンツを編集して新たなコンテンツを生成する。例えば、編集画面を用いてコンテンツの編集を行うものである。編集画面は、少なくとも、複数の情報をそれぞれ時間軸に沿った表示帯で表していると共に、時間軸と直交する方向に延び、時間軸に沿って移動し、現行時間を示すカレントタイムラインを表示している。そして例えば、複数の情報が少なくとも動画または音声およびこれに同期する静止画の情報を含む場合、静止画の情報を表す表示帯は各静止画の表示開始から表示終了までの表示期間の部分が他の部分と異なる表示状態となっており、各表示期間の部分に対応する静止画のサムネイルを有している。
このように、編集画面には複数の情報がそれぞれ時間軸に沿った表示帯にサネイル等を使用して時系列にビジブルに表示されているので、複数の情報の前後関係を容易に把握でき、カット等の編集が容易となる。
【0008】
また、この発明においては、予め登録された複数のテンプレートから上記複数の情報に応じた一のテンプレートを選定し、この一のテンプレートに対応してコンテンツを生成する。例えば、複数の情報が少なくとも動画または音声およびこれに同期する静止画の情報を含む場合、静止画の情報を構成する系列数に応じて一のテンプレートを選定する。
このように複数の情報に応じたテンプレートが選定され、そのテンプレートを使用してコンテンツが生成されるので、従来のように、ホームページオーサリングソフトにて手作業でコンテンツのオーサリングを行うものに比べて、間違いなくコンテンツの生成を行うことができ、作業効率も向上したものとなる。
【0009】
【発明の実施の形態】
以下、この発明の実施の形態のネットワーク電子会議システムについて説明する。
例えば、ネットワーク電子会議システムの場合は、電子的に作成されたプレゼンテーション資料を表示装置であるプロジェクタ等に転送して、その資料を拡大しながら会議を進行するシステムである。そのため、プレゼンテーション資料を管理する情報処理装置としてのコンピュータ(パーソナルコンピュータ)を備えると共に、プレゼンテーション資料を表示装置に転送するため等に使用される情報処理支援装置(パーソナルコンピュータ構成)等が備えられてシステム全体が構築される。
【0010】
図1は、ネットワーク電子会議システムの100の要部の構成例を示す。このシステム100は、上述したようにプレゼンテーション資料(ファイルデータ)を保存し管理している情報処理装置(以下、「クライアントPC(Client PC)」という)2と、プレゼンテーション資料を投影表示するためのプロジェクタ等を使用した表示装置(以下、「プロジェクタ」という)4を有する他、クライアントPC2とプロジェクタ4の間のデータ授受やデータ加工等を支援するパーソナルコンピュータで構成された情報処理支援装置(以下、「コミュニケータ(Communicator)」という)3を備えている。
【0011】
クライアントPC2によってコミュニケータ3が制御され、このコミュニケータ3を介してビデオプロジェクタ4の表示映像がコントロールされる。そのため、コミュニケータ3とプロジェクタ4との間はRGBケーブル等で接続されている。
クライアントPC2とコミュニケータ3との間は通信手段によって結ばれている。通信手段は無線による場合と有線による場合が考えられるが、この実施の形態では無線を通信手段として採用している。
そのため、クライアントPC2とコミュニケータ3の双方には、これらの間を接続するネットワークインタフェースカードである無線LANカード2aが装備されている。もちろん無線通信の場合であっても、無線LANカードを使用する他に、アクセスポイント(図示はしない)を使用し、このアクセスポイントを経由して相互に通信を行うように構成することもできる。
【0012】
このネットワーク電子会議システム100には、さらに、会議室の模様を映像および音声として記録し、さらにその会議で使用したプレゼンテーション資料を記録して、会議の議事録(会議コンテンツ)を作成する情報作成装置(以下、「クリエータ(Creator)」という)1がLANによって結ばれている。クリエータ1には動画入力装置としてのビデオカメラ5aと、音声入力装置としてのマイク5bが接続されている。この動画・音声入力装置5はこの例ではクリエータ1に直接接続され、そしてクライアントPC2からの指示に従ってその動作モードが制御できるように構成されている。
【0013】
メインコミュニケータ3aおよびクリエータ1のそれぞれは、これら相互間の通信およびインターネットなどのネットワークを介して遠隔地間に設置された会議室同士での会議を遂行できるようにするため、この例ではクリエータ1とコミュニケータ3のそれぞれは同一セグメントのグローバルIPアドレスを保有する。グローバルIPアドレスのセグメントは異なっても差し支えない。なお、サブコミュニケータ3b,3cはプライベートIPアドレスを保有する。
電子会議システムにはさらに情報保存装置としてのサーバ6がLAN経由で接続され、このサーバ6で会議コンテンツなどを一括して保存、管理できるようにしている。
【0014】
クライアントPC2には電子会議用アプリケーションソフトウエアがインストールされている。そして1つの会議システムの中では、最大16台まで使用することが可能である。複数のクライアントPC2を使用するとき、それぞれには固有のプライベートIPアドレスが設定される。
複数台のクライアントPC2を使用する場合、その会議室内での閉ざされた環境を作り、外部から不特定第三者が会議に参加したり、会議内容を閲覧できないように秘匿性のある会議システムを構築するため、共通のパスワードが設定される。
このパスワードは最初の会議参加者が自由に設定することができ、残りの会議参加者はそのパスワードを入力することでこの会議システムに参加することができる。
【0015】
会議参加者うちの1人がプレゼンテーション資料をクライアントPC2からコミュニケータ3に無線LANカード2a経由で転送しプロジェクタ4で表示して、プレゼンテーションする権利を獲得する。クライアントPC2のファンクションキーを操作するだけで、プレゼンテーションする権利を放棄し、別の会議参加者にプレゼンテーションする権利を委譲することができるので、会議参加者の全てがプレゼンターとしての資格を保有している。
会議参加者のうちの1人がクライアントPC2を用いてクリエータ1に対する記録、再生等の動作モードを制御することができるように構成されている。つまり、この1人が会議の議事録用の資料作りを行う権利を獲得することになる。
また、このネットワーク電子会議システム100には、会議の議事録(会議コンテンツ)を作成する情報作成装置で生成されたコンテンツを編集するための情報加工装置を含めている。この情報加工装置は、クライアントPC2およびクリエータ1により構成される。
【0016】
次に、ネットワーク電子会議システム100の各構成部分について説明する。1つの会議室の中には1台のプロジェクタ4が設置され、したがって1台のコミュニケータ3によって電子会議システムが構築されるのが、最もシンプルな基本構成である。しかし、場合によっては複数台のプロジェクタ4を使用して会議を進行させた方が会議を効率的に運用できる場合がある。複数のプロジェクタ4によって異なるプレゼンテーション資料を同時に表示してそれらを使用しながら説明を行う場合が多々考えられるからである。
【0017】
このような場合には、基本的にはプロジェクタ4の設置台数に応じてコミュニケータ3が配される。図1は3台のプロジェクタ4を使用した場合の構成例である。このように複数台のコミュニケータ3を使用する場合には、そのうちの1台をメインコミュニケータ(Main Communicator)3aとして使用し、残り2台はサブコミュニケータ(Sub Communicator)3b,3cとして使用する。
この場合、クライアントPC2から送られてきたプレゼンテーション資料などはメインコミュニケータ3aが管理し、それぞれのサブコミュニケータ3b、3cを介して対応するプロジェクタ4b、4cで表示するような制御体系となっている。そのため、サブコミュニケータ3b、3cはプライベートIPアドレスを保有する。複数のコミュニケータ3a、3b、3cをそれぞれ独立させて制御することも可能である。
【0018】
メインコミュニケータ3aはまた、クライアントPC2から転送されたプレゼンテーション資料そのものと、そのプレゼンテーション資料のページを切り替えたときの情報(ページを切り替えた時間やページ情報など)をLANを介してクリエータ1に送ったり、クライアントPC2からの指示にしたがって、クリエータ1に記録されている情報を受信してクライアントPC2に配布するなどの機能を有する。
【0019】
図2はコミュニケータ3の構成を示している。図2に示すように、コミュニケータ3は、クライアントPC2からのプレゼンテーション資料の送受信を行うためのネットワークアダプタ30aを始めとして、処理プログラムを格納した記憶装置30b、ワーキング用のメモリ(Work用RAM)30c、CPU30d、およびプレゼンテーション資料をR、G、B信号で出力するためのディスプレイアダプタ30eとから構成されている。
【0020】
ネットワークアダプター30aとしては、この例では上述した無線LANカード2aが使用される。記憶装置30bにはコミュニケータ3を動作させるための基本ソフトウエア(電子会議用アプリケーションソフトウエア)やプレゼンテーション資料を処理する処理プログラムが格納されている。
Work用RAM30cは、受信したプレゼンテーション資料を一時的に蓄積したり、その資料を加工処理したりするために使用される。プレゼンテーション資料はCPU30dの介在の下で、R、G、B信号に変換してからディスプレイアダプタ30eに供給される。プロジェクタ4はコミュニケータ3とRGBケーブルで接続されている。
【0021】
図3はクリエータ1の構成を示している。このクリエータ1は、プログラムを処理するCPU1aと、送受信した情報(動画や静止画などの情報)を処理するためのWork用メモリ(例えばハードディスク)1bと、プレゼンテーション資料を始めとして動画・音声等の情報およびそれらを処理するための制御プログラムを記憶する記憶装置1cと、コミュニケータ3と接続するためのネットワークアダプタ1dとで構成される。クリエータ1は、さらに動画・音声入力装置5から動画および音声情報を受信したり、これを制御したりするための動画・音声入力端子(I/Oインタフェース)1eを備えている。
【0022】
このクリエータ1は、上述したようにコミュニケータ3で表示されているプレゼンテーション資料に関する情報を記録する他、電子会議に出席した出席者の情報(IPアドレスや顔写真などの情報)などコミュニケータ3から転送される情報、さらには動画・音声情報などを記録する。そして、記録終了と共に会議の議事録とも言える会議コンテンツを自動的に生成する機能を有する。会議コンテンツの自動作成処理については後述する。
クリエータ1および動画・音声入力装置5に対する制御は、上述したように複数のクライアントPC2が存在する場合、その内の1台のクライアントPC2によって制御される。つまり書記役のクライアントPC(以下、「記録者用クライアントPC」という)2によって管理されることになる。
【0023】
書記役のクライアントPCとなるためには、クリエータ1に対する操作画面として使用されるコントロール(CONTROL)画面を開ければよい。図4は記録者用クライアントPCの表示画面に表示されるGUI画面50の一例を示す図である。この表示画面は横方向に分割された大凡3つの表示画面から構成され、その中央部にはクライアントPC側の基本画面50aが表示され、その右側には会議に参加している参加者に関する情報を表示した参加者画面50bが表示され、基本画面50aの左側にはクリエータ1をコントロールするコントロール画面50cが表示される。そして画面最下部には横長のメモ画面50dが表示される。
【0024】
基本画面50aの上部側には、電子会議システムに接続されている機器のアイコンが表示される。図ではクリエータ1のアイコン丸付き数字「1」、コミュニケータ3のアイコン丸付き数字「2」などが表示されている。また図では符号は付されていないが、動画・音声入力装置5用のアイコンも表示されている。
基本画面50aの下部側はファイルのリスト欄として使用され、ここにはプレゼンターとして機能するクライアントPC2に蓄積されているファイル名丸付き数字「3」が表示されている。
【0025】
参加者画面50bには、参加者の顔写真、参加者が所有しているクライアントPC2のプライベートIPアドレスなどが表示される。
【0026】
コントロール画面50cは、その最上部が映像表示部となされ、ここにビデオカメラ5aで撮像された映像が動画として表示される。その中央部は帯状の表示エリアであって、ファンクションキーを含む複数のソフトキー操作部であり、その最下部が題名などの入力部となされている。ソフトキー操作部には、RECキー丸付き数字「4」、STOPキー丸付き数字「5」、PAUSEキー丸付き数字「6」の他に、記録中重要な映像個所にマークをつけるためのMARKキー丸付き数字「7」、メモ画面を開くためのMEMOキー丸付き数字「8」およびプロジェクタ4に表示されている静止画情報(プレゼンテーション資料)を保存するためのCAPTUREキー丸付き数字「9」などが表示されている。
クライアントPC2からコミュニケータ3にログオンすると、その表示画面上には基本画面50aのみが表示される。ファイルリスト丸付き数字「3」中のファイルをコミュニケータ3のアイコンにDrug&Dropすることで、そのファイルデータ(プレゼンテーション資料)がコミュニケータ3に転送され、プロジェクタ4に表示されてプレゼンテーションすることができる。ただし、これはプレゼンターの資格を得たクライアントPC2側で操作した場合である。
【0027】
基本画面50aのAttendeeボタンを押すと、図4のようにその右側に参加者画面50bが表示される。
そして、クリエータアイコンを右クリックすると、図5に示すようなメニュー画面が表示され、そのメニュー画面の中から「コントロール」を選択すると、図4に示すコントロール画面50cが表示される。コントロール画面の中からMEMOキー丸付き数字「8」を操作すると、図4の画面位置にメモ画面50dが表示され、ここに文章などを入力できる。メモ画面50dは4〜6行分のスペースがとられている。
【0028】
図5に示すメニュー画面より「コンテンツマネージャー」を選択すると、クリエータ1に保存されているリストメニュー(クリエータ・コンテンツ・マネージャー画面)が表示される。
【0029】
図6はこの画面の表示例を示す。この画面には、クリエータ1内に保存されているコンテンツリスト丸付き数字「1」が表示される他、選択されたコンテンツリストに対する動作モード選択用のソフトキーが表示される。実施の形態では、選択されたコンテンツを再生するReviewキー丸付き数字「2」、選択されたコンテンツをクライアントPC2に転送するクライアント転送キー(Download to My Computerキー)丸付き数字「3」、選択されたコンテンツをサーバに転送するサーバ転送キー(Upload to Serverキー)丸付き数字「4」、選択されたコンテンツの詳細情報を見るための詳細キー(Show Contents Informationキー)丸付き数字「5」、選択されたコンテンツを消去するためのDeleteキー丸付き数字「6」などが表示されている。
【0030】
上述したネットワーク電子会議システム100、特に図1に示すシステムの態様は1つの会議室内だけでネットワークを構築した場合の電子会議システムであるが、これ以外でもネットワーク電子会議システムを構築できる。
図7に示すネットワーク電子会議システム200は、複数例えば二つの会議室を利用してプレゼンテーションを行いながら会議を進行する場合に適用されるシステムである。
【0031】
この場合の会議室AもBもシステム構築は同一な場合が多いが、そうでない場合もある。図7はその実施の形態を示す。会議室A内のシステムには、クリエータ1、クライアントPC2,コミュニケータ3、コミュニケータ3に接続されたプロジェクタ4および動画・音声入力装置5が備えられている。プロジェクタは3台である。したがってコミュニケータ3も3台設置されている。通信手段は無線LANカード2aが使用される。
会議室Bのシステムも同様に構成されているが、この実施の形態では1台のプロジェクタ4のみが装備されているので、コミュニケータ3は1台設置されている。また会議室Bではアクセスポイント2bを介してクライアントPC2とコミュニケータ3などの間で通信を行うようにした場合である。
【0032】
二つの会議室A,Bの間はLANで接続されている。会議室B側のクライアントPC2を使用して、アクセスポイント2b経由で会議室Aでのプレゼンテーションに参加することが可能である。
この場合、例えば会議室Aのプレゼンターがプレゼンテーション資料を会議室A内のコミュニケータ3に転送してメインコミュニケータ用のプロジェクタ4でその資料を表示した場合には、会議室Bのコミュニケータ3にも同じプレゼンテーション資料が転送され、そのプロジェクタ4に転送された資料が表示される。そして、マウスなどで表示画面上のポインタを動かしたときには、会議室B側でもそれと同じ位置にポインタが表示されるように相互の表示が制御される。つまり会議室AとBとはミラー表示構成となっている。
会議室Bから資料を会議室A側に転送する場合も同じである。ただし、会議室Bにはプロジェクタが1台しか設置されていないので、このような場合には会議室Aのサブコミュニケータは使用されない。
【0033】
図8に示す実施の形態は、遠隔2地点の各会議室の間でプレゼンテーションを行う場合のネットワーク電子会議システム300に適用した場合である。
このシステム300は、会議室AとBがLANで結ばれ、会議室A,Bと遠隔地点の会議室Cとはネットワークによってその通信回線が接続されている場合を示す。会議室A、B、Cのそれぞれには図1あるいは図7で説明したシステムがそれぞれ構築されているものとする。したがって個々の構成についての詳細は割愛する。クリエータ1およびサーバ6は共通に1台設置してあれば十分である。この場合も、会議室A、B、Cのコミュニケータ3の間の通信で各会議室のプロジェクタ4でプレゼンテーション資料のミラー表示が実現されているので、会議参加者は同時に同様の表示資料を見ながら会議に参加できる。また、遠隔地間であってもマウスの動きに応じて、同じ表示画面にポインタを同期して表示することが可能である。
【0034】
次に、上述したネットワーク電子会議システムの100の動作を図9を参照して説明する。
まず、ステップS1で、会議参加者のクライアントPC2を用いて電子会議用アプリケーションソフトウエアを起動し、コミュニケータ(若しくはメインコミュニケータ)3にログオンする。
この場合、最初の会議参加者がパスワードを設定し、それ以降の参加者はそのパスワードを入力することでその会議に参加することができることは既に説明した。パスワードは予めその電子会議システムに決められた固有の値ではないので、パスワードを忘れたり、間違って電子会議システムを起動できないような不都合な問題をなくすことができる。
【0035】
ステップS2で、会議参加者がクリエータ1の操作画面であるコントロール(CONTROL)画面50cを開くと、そのクライアントだけが記録者クライアントPCとなる(図4参照)。
クライアントPC2のGUI画面上で、クリエータ1のアイコン丸付き数字「1」(図4参照)を右クリックし、表示されたメニューから「コントロール」を選択すると、コントロール画面50cが表示される(図4参照)。
【0036】
ステップS3で、コントロール画面のRECキー丸付き数字「4」(図4)を押すと、動画・音声入力装置5が起動されて会議の映像記録を開始する。
また、コントロール画面50cでMEMOキー丸付き数字「8」(図4)を押すと、図4のようなメモ画面50dが開きテキストの入力が可能になる。SENDキーを押すと、入力したテキストがクリエータ1内に取り込まれる。
【0037】
ステップS4で、クライアントPC2のファイルリスト丸付き数字「3」からプレゼンテーション資料を表示したいプロジェクタ4のアイコン丸付き数字「2」にドラッグ&ドロップすると、プロジェクタ4の画面上にファイルリストで選択されたプレゼンテーション資料が表示される。これと同時にこのプレゼンテーション資料およびページ切り替え情報などがクリエータ1内のハードディスクに保存される。
【0038】
ステップS5で、記録を終了する時は、コントロール画面でSTOPキー丸付き数字「5」を押す。その際、記録者側クライアントPC2には図10に示すような保存確認画面が表示される。保存処理以外はその内容が消去される。保存操作を行うと、ステップS6で会議コンテンツが自動的に生成される。つまり、このステップS6では、コミュニケータ3からの静止画情報と動画・音声入力装置5からの動画・音声情報を基に会議コンテンツが生成される。この会議コンテンツはインターネットのようなネットワークを介して参照できるようにするため、ファイルデータはHTML変換される。
【0039】
ステップS7で、会議コンテンツの生成が完了すると、クリエータ・コンテンツ・マネージャー画面が表示され、クリエータ1内に保存されている会議コンテンツを確認することができる(図6参照)。
【0040】
ステップS8で、このクリエータ・コンテンツ・マネージャー画面から見たい会議コンテンツを選択することで、その内容を再生できる。内容が確認されたコンテンツはサーバ(Server)6に転送することで保存される(ステップS9)。
また、ステップS8で、会議コンテンツを再生し、その内容を編集したいときには、ステップS10で、クリエータ・コンテンツ・マネージャー画面を操作することで、その会議コンテンツをクライアントPC2側に転送して、既知の編集ソフトで編集することができる。編集後のサーバコンテンツはサーバ6に転送して保存される(ステップS9)。
記録者であるクライアントPC2からはサーバ6上の会議コンテンツを再生することができる(ステップS11)。図11は、コンテンツ再生画面の一例である。
【0041】
コンテンツ再生画面60は、図示するように会議の模様を映像記録した動画再生部60aが左上部に位置し、そしてその会議で使用した静止画情報であるプレゼンテーション資料の静止画再生部60bがその右半分に位置するように分割表示され、これらが同一表示画面上で同時に表示できるような画面構成となっている。
そのため、プレゼンテーション資料用の静止画再生部60bは、1つの会議室に設置されるプロジェクタ4の最大数によってその表示パターンが相違する。実施の形態では3台までプロジェクタが接続できる構成であり、最大三枚のプレゼンテーション資料が表示される場合があるので、静止画再生部60bの再生画面構成は最大4分割できる表示パターンとなっている。
【0042】
この表示パターンはテンプレート化されており、プロジェクタの使用台数に応じてテンプレート化された表示パターン(テンプレート1〜3)が選択される。図11はテンプレート3の表示パターンの場合であり、プロジェクタが3台使用されたときの表示例である。静止画P1はプロジェクタ4aで表示された資料丸付き数字「5」であり、同様に静止画P2、P3はプロジェクタ4b、4cを用いて表示された資料丸付き数字「5」である。コンテンツ再生時には時間経過に合わせてこの静止画再生部60bに表示される資料丸付き数字「5」が自動的に切り替わる。テンプレート1および2の表示パターンの詳細は後述する。
【0043】
動画再生部60aには、上述した映像が表示される他に、その映像表示部の真下にはView切り替え部丸付き数字「1」が表示される。そしてその下側の表示部丸付き数字「2」は2段に分かれ、プロジェクタで表示したプレゼンテーション資料が最大6枚までサムネイル表示される。複数台のプロジェクタを使用しているときは選択された1台のプロジェクタに表示された資料がサムネイル表示される。
任意のサムネイルを選択すると、上に表示された動画もこれに同期して、そのサムネイルが表示された時間までシフトし、その時間からノーマル再生される。
【0044】
このサムネイル表示丸付き数字「2」に代えて上述したマーク表示丸付き数字「4」に切り替えることができる。サムネイル表示とマーク表示の切り替えはView切り替え部丸付き数字「1」で選択する。
会議中にコントロール画面50cのMARKキー丸付き数字「7」を押した順に、編集処理時に付された題名(題名が無い場合は「Untitled」になる)と時間が表示される。そしてマーク表示欄丸付き数字「4」の題名をマウスでクリックすると、上に表示された動画もこれに同期してその時間までシフトして、ノーマル再生となる。これによって常に動画と静止画(プレゼンテーション資料)との同期が取られて表示されることになる。
再生時には時間経過に合わせて表示がそれぞれ切り替わる。
上述した静止画再生部60bの各表示画面の下側には、画面の拡大表示ボタン丸付き数字「6」があり、これが選択されたときには表示されている静止画が、最大表示パターンに切り替えて表示(オリジナルサイズ表示)される。
【0045】
続いて、図12および図13のフローチャートを参照しながら、クリエータ1の記録時の動作を説明する。
クライアントPC2からの記録指示にしたがってクリエータ1は動画の記録を行うと共に、コミュニケータ3から送られてくるプレゼンテーション情報を記録、保存する。プレゼンテーション資料としては、静止画そのもの、資料作成ソフト(プレゼンテーションソフト)例えば、power point(マイクロソフト社製プレゼンテーションソフト)を使用して作成された資料、PDF(Potable Document Format)形式で作成された文章表示ファイル、GIF(Graphic Interchange Format)形式で作成された画像データ、表計算ソフトで作成されたファイルデータなど様々なデータなどを含むものとする。
【0046】
図12から説明する。まずクライアントPC2のコントロール画面を利用してRECボタンを押すと、動画の記録を開始する(ステップS21)。
次に、ステップS22で、コミュニケータ3からの情報を監視する。
次に、ステップS23で、コミュニケータ3からの転送される静止画情報に対する属性情報を判別し、その属性情報が静止画ファイルであるときは、静止画ファイルである旨の属性情報を管理情報として管理リスト(再生管理リスト)に記述する(ステップS20)。
【0047】
以下同様に、ステップ24でメモに関する属性情報(テキストファイル)であると確認したときには、その旨の情報を再生管理リストに記述し(ステップ20)、またpower pointで作成されたファイルに関する属性情報であるときにはその旨を示す情報を記述する(ステップS25,S20)。
入力した情報がこれら情報の何れでもないときには、その属性情報が表示の終了を示す情報であるかを判別し、表示終了情報であるときには、同じく再生管理リストにその情報を記述する(ステップS26,S20)。
【0048】
さて、図12のステップS2〜S26で属性情報の判別が終了し、続いて静止画情報そのものの種別を判断するステップに遷移する。図13を参照して説明する。
まずステップS27で転送された静止画情報が静止画ファイルであるときには対応するフォルダーに保存する(ステップS28)。
電子会議システムの中でプロジェクタ4が3台使用されていたときには、プロジェクタ4aで使用された資料(静止画ファイル)はP1フォルダーへ、プロジェクタ4bで使用された資料(静止画ファイル)であるときはP2フォルダーへ、そしてプロジェクタ4cで使用された資料(静止画ファイル)はP3フォルダーにそれぞれコピーされる。
【0049】
図14は、上述した記録されたデータのデイレクトリ構造を示している。図に示すように、動画・音声、メモおよび静止画は別々のフォルダに記録される。
このようにプレゼンテーションに使用されたプロジェクタに応じて保存すべきフォルダーを特定することで、会議コンテンツを再生するときに目的の表示テンプレートを使用してコンテンツ再生画面上に同時に複数のプレゼンテーション資料を再生表示することができるようになる。
【0050】
次に、ステップS29でメモファイルであると判断されたときには、このメモファイルをメモフォルダーに保存する(ステップS30)。転送された静止画情報がPowerPointファイルであるときには、ステップ32でこのPowerPointファイルを画像圧縮する。圧縮形式としてはインターネットなどのネットワークで多用されている例えばJPEG形式を利用できる。JPEGファイルに変換した新しいファイルに対してはユニークな名前を付けた上でイメージフォルダーに保存する(ステップS33)。ステップS32で圧縮処理待ちのときには、待ち行列に一時的に保存しておくことになる。
以上のような属性情報の監視と、静止画情報の種別を判別しながら特定のフォルダーに保存する処理を、コミュニケータ3から情報が入力するタイミングで繰り返される(ステップS22)。
【0051】
さて、図12で説明したコミュニケータ3から送られてくる属性情報としては、
A)PowerPointの表示ページ(表示の開始時間、ページ替えしたときのページ情報、プロジェクタ番号など)
B)JPEGファイルのファイル名(表示の開始時間、プロジェクタ番号を含む)
C)GIFファイルのファイル名(表示の開始時間、プロジェクタ番号を含む)
D)全ての表示終了。
などが考えられる。これに基づいて、再生管理リスト(データベース)が作成される。
【0052】
図15に再生管理リストの一例を示す。ここに、表示開始時間は、静止画、メモの表示開始時間や動画の頭からの相対時間である。
機能コードは、11 = 静止画表示場所(プロジェクタ4a〜4cに対応した場所P1〜P3)に静止画を表示。
12 = メモ画面にメモを表示。
13 = 静止画表示部(P1〜P3)の静止画表示を消す。
14 = メモ表示を消す。
を表している。ファイル名は、表示するファイルの名前である。Power PointファイルをJPEGに変換すると、例えば以下のフォーマットで名前が付けられる。
変換した時間_ページ番号.jpg(変換した時間=YYYYMMDDhhmmss)
【0053】
続いて、以上のようにして記録された動画・音声情報と静止画情報は記録終了と共にその会議の議事録として使用される会議コンテンツに自動的に再編される。この会議コンテンツはWeb Viewerで検索、視聴可能なコンテンツとして生成される。図16および図17を参照しながら説明する。
【0054】
図16はコンテンツ生成時のフローチャートである。クリエータ1側の記録を終了させるときは、コントロール画面でSTOPキー丸付き数字「5」を押す。記録終了と同時にコンテンツ生成処理がスタートし、まずPower Pointファイルがあるときには、このファイルのJPEGファイル変換終了を確認する(ステップS40)。
ファイル変換の終了を待って、ステップS41でイメージフォルダーから必要なJPEGデータのみ対応するP1フォルダ〜P3フォルダーにコピーする。同じプロジェクタを使用しているときはJPEG変換ファイルも同じフォルダーにコピーするためである。
【0055】
ステップS42で再生管理リストをJPEGのファイル名に書き換えて拡張子を揃えておく。次のステップS43で会議コンテンツとして保存するかどうかを確認する(図10参照)。
ステップS43で保存しない旨の指示があったときには、ステップS50でファイルデータ全体を除去するかを確認し、そうであるときにはステップS51で記録したデータを全て削除し、コンテンツ生成処理を中止する。
これに対してファイルを保存する処理が選択されたときには、ステップS44で保存されたデータのうち、動画・音声入力装置5から送られてきた情報が音声のみか、動画と音声を共有するかを確認する(ステップS44)。これは音声のみと、動画と音声を共有する場合では以後の処理が相違するからである。
【0056】
動画と音声を共有している場合から説明すると、この場合にはステップS45でプレゼンテーションに使用したプロジェクタの台数をチェックする。複数台でない、即ちプロジェクタを1台使用した場合には、コンテンツ表示用のテンプレートテンプレート1を選択する(ステップS45a)。
プロジェクタを2台使用したときには表示用テンプレート2を選択し(ステップS46,S46a)、3台のときには表示用テンプレート3を選択する(ステップS46,S46c)。
【0057】
ここで、表示用テンプレートとしてテンプレート1を選択したときの静止画再生部での表示サイズは、図18にその一例を示すように最も大きな表示サイズとなる。これに対してテンプレート2を選択したときは、2台のプロジェクタからの静止画情報を同時に画面に表示する関係で、図19に示すように上下2段に亘って表示される。したがって表示サイズは少し小さくなる。そして3台使用したときには図11に示すような表示パターンとなる。この表示サイズが最も小さい。これは画面のアスペクト比を4:3としたときの表示例である。因みに、この実施の形態では最少表示サイズは、320×240ピクセル表示である。
【0058】
次に図17のステップS47に示すように、選択したテンプレートに合わせてHTMLファイルを作成されるが、その前に音声のみの処理も行われる。音声のみの場合には、動画再生部に会議の映像ではなく、音声のみを示すシンボルマークが表示されるだけで、使用するプロジェクタの台数に応じたテンプレートが選択される。したがってステップS55、S55a、S56,S56a、S56bで選択されるテンプレートの態様は動画・音声共有の場合と同じであるので、その詳細説明は割愛する。ここに、テンプレート4はテンプレート1に対応し、テンプレート5,テンプレート6はそれぞれテンプレート2,テンプレート3に対応する。因みに、3台のプロジェクタを使用したときの会議コンテンツの再生画面の一例を図20に示す。
このようにして表示用テンプレートが決まった動画・音声若しくは音声のみのデータは上述したステップS47でそのテンプレートにあった状態でHTMLファイルに変換される。
【0059】
その後ステップS48で、データ全て、つまり、動画・音声データを含めて、再生管理リストのJPEGデータ、静止画ファイルデータ(JPEGデータ)、power pointファイルのJPEGデータ、テキストデータの全てがコンテンツ保存場所にコピーされる。その後クリエータ1のwork用メモリ1bに確保しておいたワークエリアを削除して会議用コンテンツの自動作成処理が終了する(ステップS49)。
【0060】
次に、会議コンテンツの再生動作を図21および図22のフローチャートを参照して説明する。
メニューを選択して図6に示したクリエータ・コンテンツ・マネージャー画面を開く。そして見たい会議コンテンツを指示してReviewキー▲2▼を押すと、Webブラウザ(例えばInternet Explorer)が開き、HTMLファイルにしたがってフレーム単位でファイルの中味が表示される(ステップS60)。
ステップS61で、データが音声のみの場合、ステップS62で動画表示位置に音声のみを示すシンボルマークを表示する(図20参照)。そして音声を再生する(ステップS64)。動画がある場合には、ステップS63で動画表示位置に動画を再生する。
【0061】
その後、ステップS65で再生時間を監視し、動画または音声の再生が最後ではないときには(ステップS66)、図22に示すようにその再生時間に一致する静止画情報(HTML形式にファイルデータ)が存在するかどうかを確認する(ステップS68)。
動画などの再生時間に一致するファイルデータがある場合で、それが静止画ファイルであるときには、該当する時間の静止画ファイルを指定された表示エリアに表示する(ステップS69,S70)。そのファイルデータがテキストファイル(メモ情報)であるときには、該当する時間にメモの表示エリアに表示する(ステップS71,S72)。
【0062】
また、画像の表示だけでなく、その消去も監視する。再生管理リストに静止画やメモを消す情報が存在するときには、その時間の到来を監視し、その時間に至ったときには、静止画であればその表示場所での表示を消す(ステップS73,S74)。またメモであればその表示場所での表示を消す処理を行う(ステップS75,S76)。
このような表示管理処理および消去管理処理を動画若しくは音声の再生が終了するまで行い(ステップS66)、終了と共に会議コンテンツ再生処理モードが終了する。
【0063】
上述したようにネットワーク会議が進行する様子を記録し、かつネットワーク上で視聴できるコンテンツを生成し、再生することが可能となったが、このコンテンツ中に不必要な内容があるとき、それを削除したい場合、また、それ以外の内容、例えば静止画等を添加したい場合がある。このとき、このコンテンツを編集する必要がある。
【0064】
図23は、本発明のコンテンツ編集ソフトウエアの編集画面70を示している。図23に示すように、画面の左上の部分には選択されたコンテンツのタイトル等基本情報が表示されている。画面の右上の部分は静止画表示領域丸付き数字「5」である。中部は動画表示領域丸付き数字「3」である。また、画面の下部は、記録された動画、静止画およびメモを時間軸に沿ってそれぞれ並べている編集領域丸付き数字「6」である。
【0065】
図中の丸付き数字「1」は、時間軸である。画面に表示する時間軸の単位を1、2、5,10,15、30,60の各分に変更でき、その単位内に入らない部分はスクロールバーにて検索して表示させることができる。
図中の丸付き数字「2」は、カレントタイムラインであり、現行の時間を示す。このタイムラインを元に、静止画の挿入、動画の再生、静止画の表示が行われる。また、タイムラインで動画の位置、静止画の表示タイミングを確認しながら、カットイン点、カットアウト点をビジブルに指定して、動画と静止画のカット&マージを行う。
図中の丸付き数字「3」は、カレントタイムに対する動画を表示する動画表示領域である。
図中の丸付き数字「4」は、表示対象静止画のサムネイルである。
図中の丸付き数字「5」は、静止画表示領域であり、カレントタイムに対する静止画が表示される。
【0066】
編集領域丸付き数字「6」では、時間軸に沿って、動画または音声の情報を表す表示帯、静止画を表す表示帯およびメモを表す表示帯を並べている。静止画の表示帯はその静止画の表示時間に対応した帯部分が他の部分と異なる状態となっており、この帯部分に対応する静止画のサムネイル丸付き数字「4」が表示されている。また、メモの表示帯はそのメモの表示時間に対応した帯部分が他の部分と異なる状態となっており、この帯部分に対応するメモのアイコンが表示されている。また、この静止画またはメモの帯部分の右端をつまんで動かすことにより、帯部分の長さ変更でき、表示時間の変更が可能である。
【0067】
以下、図24に参照しながら、コンテンツの一括カット編集について説明する。図24は、コンテンツの一括カット編集のフローチャートである。
クリエータ1で生成されたコンテンツを一括カットによって編集処理する場合、まず、ステップ101で、編集ソフトウエアを起動する。次に、ステップ102で、編集しようとするコンテンツを選択する。選択されたコンテンツがステップ103で編集ソフトウエアの編集画面に表示される(図23参照)。
【0068】
次に、ステップ104で、タイムラインを移動しながら、タイムラインで動画の位置、静止画の表示タイミングを確認し、カットしようとする個所を選択する。
次に、ステップ105で、タイムラインを基に、カットイン点を指定する。(図25参照)
次に、ステップ106で、タイムラインをカット範囲の終端に移動する。
次に、ステップ107で、タイムラインを基に、カットアウト点を指定する。(図25参照)
次に、ステップ108で、指定された時間の間(図25のAの範囲)の動画、静止画およびメモを一括カットする。
次に、ステップ109で、カット後、コンテンツの表示タイミングがずれないように、コンテンツ内容を自動的に統合する。
次に、ステップ110で、統合後のコンテンツを保存して、編集を終了する。
これによって、記録された不必要な内容が削除される。
【0069】
以下、コンテンツの静止画挿入編集について説明する。図26は、静止画挿入のフローチャートである。
クリエータ1で生成されたコンテンツに静止画を挿入する場合、まず、ステップ121で、編集ソフトウエアを起動する。次に、ステップ122で、編集しようとするコンテンツを選択する。選択されたコンテンツがステップ123で編集ソフトウエアの編集画面に表示される(図23参照)。
【0070】
次に、ステップ124で、タイムラインを移動しながら、タイムラインで動画の位置、静止画の表示タイミングを確認し、挿入しようとする個所を選択する。
次に、ステップ125で、静止画を挿入したい時間にカレントタイムライン(図27の丸付き数字「1」参照)を合わせ、挿入点を指定する。
次に、ステップ126で、タイムライン上でマウスの右ボタンをクリックし、サブウインドウを表示する(図27参照)。表示されるサブウインドウのFile importを選ぶ。
次に、ステップ127で、挿入したいファイルを選択すると(図27の丸付き数字「2」参照)、選択されたファイルが指定された位置に挿入される。挿入後の状態は、図28に示している。
【0071】
次に、ステップ128で、挿入後、コンテンツの表示タイミングがずれないように、上述した再生管理リストのようにデータの統合管理を自動的に行う。
次に、ステップ129で、統合後のコンテンツを保存して、編集を終了する。
これによって、指定したタイミングに挿入したい静止画が挿入される。
なお、静止画を削除する場合は、タイムラインを移動しながら、削除した静止画を選択して、マウスの右ボタンのクリックで静止画の削除を行うことができる。
【0072】
以下、ネットワーク電子会議システムの100による作成されたコンテンツを表示する際に、予め登録された複数のテンプレートを自動的に選定する処理方法について詳細に説明する。
【0073】
図1に示すように、ネットワーク電子会議システムの100は、コミュニケータ3およびプロジェクタ4がそれぞれ3台ある場合であり、予め所定の3種のテンプレートが用意されている。例えば、会議中プロジェクタを1台使った場合、図18に示すようなテンプレート1を適用する。2台使った場合、図19に示すようなテンプレートを適用する。また、3台使った場合、図20に示すようなテンプレートを適用する。なお、図20は、動画なし音声のみの場合(テンプレート6)の表示画面であり、静止画再生部はテンプレート3と共通である。
【0074】
また、記録を開始する際に、会議ごとにディレクトリを作成し、この下にimage、Memo、P1、P2、P3のサブディレクトリを生成し、メインコミュニケータ3aのプロジェクタにて表示したデータはP1の中に、サブコミュニケータ3bのプロジェクタに表示したデータはP2の中に、サブコミュニケータ3cのプロジェクタに表示したデータはP3の中にデータを格納する(図14参照)。
会議の記録を終了し、保存確認でOKを押した時点で、記録された情報データに基づいてコンテンツ生成を開始する。例えば、図16のステップS44で動画、音声共有と判断された場合、動画、音声共有のデータに対して、テンプレートの選択処理を開始する。
【0075】
図29は、テンプレート選択のフローチャートである。
まず、ステップ140で、使用したプロジェクタの台数をチェックする。複数でない場合)、即ち1台の場合、ステップ141で、データのサブディレクトリを確認する。P1にデータが保存されている場合、ステップ142で、テンプレート1を選択する。P1にデータが保存されていない場合、ステップ143で、P2にデータが保存されているか確認する。P2にデータが保存されている場合、ステップ144で、P2のデータをP1に繰り上げてから、ステップ142で、テンプレート1を選択する。また、ステップ143で、P2にデータが保存されていない場合、ステップ145で、P3のデータをP1に繰り上げてから、ステップ142テンプレート1を選択する。
【0076】
また、ステップ140で、使用したプロジェクタの台数のチェック結果は複数である場合、次のステップ150で、プロジェクタの台数が2台か、或いは3台かの判定を行う。2台の場合、ステップ151で、データのサブディレクトリを確認する。P1、P2にデータが保存されている場合、ステップ152で、テンプレート2を選択する。ステップ151で、P1、P2のどれかにデータが保存されていない場合、ステップ153で、P1、P3にデータが保存されているか確認する。P1、P3にデータが保存されている場合、ステップS154で、P3のデータをP2に繰り上げてから、ステップ152で、テンプレート2を選択する。また、ステップ153で、P、P3にデータが保存されていない場合、ステップ155で、P2のデータをP1に、P3のデータをP2に繰り上げてから、ステップ152で、テンプレート2を選択する。
また、ステップ150で、プロジェクタの台数の判定結果が3台であり、即ちP1、P2、P3にデータがあった場合、ステップ156で、テンプレート3を選択する。
【0077】
なお、上述した編集ソフトウエアにより挿入および削除処理した場合もこのように処理することができる。
例えば、サブディレクトリP1、P2およびP3にはデータが保存されており、削除処理により編集を行った後、P2、P3のデータが削除され、P1だけデータが存在する場合、図30に示すように、編集前はP1、P2およびP3に対応した静止画表示帯に静止画の情報があり、編集によってP2およびP3に対応した静止画表示帯に静止画の情報が削除されるため、編集後は編集内容にあわせて自動的にプロジェクタを1台使った場合のテンプレートを選択し再生する。
【0078】
このように本実施の形態においては、ネットワーク電子会議システム100は、クリエータ1と、クライアントPC2と、コミュニケータ3と、コミュニケータ3とクライアントPC2とを接続する無線LANカード2aと、プロジェクタ4と、ビデオカメラ5aと、マイク5bと、サーバ6とから構成されている。
【0079】
この発明においては、ビデオカメラ5aとマイク5bおよびコミュニケータ3介してクライアントPC2から動画、音声およびこれに同期する静止画等複数の情報がクリエータ1に転送されて所定の時間軸に合わせて記録される。そして、この記録された複数の情報に基づいてクリエータ1ではコンテンツが作成される。このように、所定の時間軸に合わせて記録された複数の情報に基づいてコンテンツが生成されるものであり、複数の情報を同期して表示するための時間を気にすることなく編集などを行うことができ、コンテンツの生成を効率よく行うことが可能となる。
【0080】
また、編集画面70には動画または音声およびこれに同期する静止画、メモの情報がそれぞれ時間軸に沿った表示帯にサネイル等を使用して時系列にビジブルに表示されているので、複数の情報の前後関係を容易に把握でき、カット等の編集が容易となる。
また、クリエータ1では、プロジェクタ4の数、即ち静止画情報の系列数に応じてテンプレートが選定され、そのテンプレートを使用してコンテンツが生成されるので、従来のように、ホームページオーサリングソフトにて手作業でコンテンツのオーサリングを行うものに比べて、間違いなくコンテンツの生成を行うことができ、作業効率も向上したものとなる。
上述実施の形態においては、この発明をネットワーク会議システムに適用したものであるが、これに限定されるものではない。例えば、ネットワーク教育システム、ネットワークゲームシステム等にもこの発明を同様に適用できる。
【0081】
【発明の効果】
この発明によれば、所定の時間軸に合わせて記録された複数の情報に基づいてコンテンツを作成するものであり、複数の情報を同期して表示するための時間を気にすることなく編集などを行うことができ、コンテンツの生成を効率よく行うことができる。
また、編集画面には複数の情報がそれぞれ時間軸に沿った表示帯にサネイルなどを使用して時系列にビジブルに表示されているので、複数の情報の前後関係を容易に把握でき、カット等の編集が容易となる。
また、複数の情報に応じたテンプレートが選定され、そのテンプレートを使用してコンテンツが生成されるので、従来のように、ホームページオーサリングソフトにて手作業でコンテンツのオーサリングを行うものに比べて、間違いなくコンテンツの生成を行うことができ、作業効率も向上したものとなる。
【図面の簡単な説明】
【図1】ネットワーク電子会議システムの構成を示す図である。
【図2】情報処理支援装置として機能するコミュニケータの構成を示す図である。
【図3】情報作成装置として機能するクリエータの構成を示す図である。
【図4】情報処理装置として機能するクライアントPCの表示画面を示す図である。
【図5】クリエータのメニューが表示される状態を示す図である。
【図6】コンテンツマネージャ画面を示す図である。
【図7】ネットワーク電子会議システムの他の例を示す図である。
【図8】ネットワーク電子会議システムの他の例を示す図である。
【図9】システム動作のフローチャートである。
【図10】コンテンツ保存確認画面を示す図である。
【図11】コンテンツ再生画面を示す図である。
【図12】クリエータの記録動作のフローチャート(その1)である。
【図13】クリエータの記録動作のフローチャート(その2)である。
【図14】データのディレクトリ構造を示す図である。
【図15】再生管理リストの例を示す図である。
【図16】クリエータのコンテンツ生成動作のフローチャート(その1)である。
【図17】クリエータのコンテンツ生成動作のフローチャート(その2)である。
【図18】プロジェクタを1台利用した場合のテンプレートを示す図である。
【図19】プロジェクタを2台利用した場合のテンプレートを示す図である。
【図20】プロジェクタを3台利用した場合のテンプレートを示す図である。
【図21】クリエータのコンテンツ再生動作のフローチャート(その1)である。
【図22】クリエータのコンテンツ再生動作のフローチャート(その2)である。
【図23】コンテンツ編集画面を示す図である。
【図24】コンテンツの一括カット編集のフローチャートである。
【図25】コンテンツの一括カット編集を示す図である。
【図26】コンテンツのデータ挿入編集のフローチャートである。
【図27】コンテンツのデータ挿入編集(挿入前)を示す図である。
【図28】コンテンツのデータ挿入編集(挿入後)を示す図である。
【図29】テンプレート選択のフローチャートである。
【図30】編集後テンプレート自動変更を示す図である。
【符号の説明】
1・・・クリエータ、1a,30d・・・CPU、1b・・・HDD、1d,30a・・・ネットワークアダプタ、1e・・・映像・音声入力端子、2・・・クライアントPC、2a・・・無線LANカード,2b・・・アクセスポイント、3・・・コミュニケータ、3a・・・メインコミュニケータ、3b,3c・・・サブコミュニケータ、4,4a,4b,4c・・・プロジェクタ、5・・・動画・音声入力装置、5a・・・ビデオカメラ、5b・・・マイク、6・・・サーバ、30c・・・Work用RAM、30e・・・ディスプレイアダプタ、50・・・GUI画面、50a・・・基本画面、50b・・・参加者画面、50c・・・コントロール画面、50d・・・メモ画面、60・・・コンテンツ再生画面、60a・・・動画再生部、60b・・・静止画再生部、70・・・編集画面、100,200,300・・・ネットワーク電子会議システム

Claims (12)

  1. 入力操作機能を有して、少なくとも動画または音声およびこれを同期する静止画の情報を含む任意の情報を処理する一以上の情報処理装置と、
    少なくとも、上記情報処理装置から転送される情報に基づ映像、および上記情報をそれぞれ時間軸に沿って表示帯で表す編集画面を表示する表示装置と、
    上記情報処理装置から入力操作指示に基づいて上記表示装置における表示処理を含むネットワーク情報処理を支援する情報処理支援装置と、
    上記情報処理支援装置と上記情報処理装置とを接続する通信手段と、
    上記情報処理装置から転送される情報以外の少なくとも映像または音声を入力する動画・音声入力装置と、
    上記情報処理装置および上記動画・音声入力装置から転送される複数の情報を所定の時間軸に合わせてそれぞれ記録し、この複数の情報に基づいて視聴可能なコンテンツを作成する情報作成装置と
    上記情報作成装置で作成されたコンテンツを上記編集画面を用いて編集して、新たなコンテンツを生成する情報加工装置とを備え、
    上記編集画面中の上記静止画の情報を表す表示帯は、各静止画の表示開始から表示終了までの表示期間に対応した帯部分が他の部分と異なる表示状態となっており、各帯部分に対応する静止画のサムネイルを有しているネットワーク情報処理システム。
  2. 上記加工装置は、上記情報作成装置および上記情報処理装置により構成される請求項に記載のネットワーク情報処理システム。
  3. 複数の情報入力装置から転送される少なくとも動画または音声およびこれを同期する静止画の情報を含む複数の情報を所定の時間軸に合わせてそれぞれ記録する記録ステップと、
    上記記録ステップで記録された複数の情報から視聴可能なコンテンツを生成する生成ステップと
    少なくとも、上記複数の情報をそれぞれ時間軸に沿って表示帯で表す編集画面を用いて上記生成されたコンテンツを編集して、新たなコンテンツを生成する加工ステップとを備え、
    上記編集画面中の上記静止画の情報を表す表示帯は、各静止画の表示開始から表示終了までの表示期間に対応した帯部分が他の部分と異なる表示状態となっており、各帯部分に対応する静止画のサムネイルを有している情報処理方法。
  4. 上記生成ステップで生成された上記コンテンツは、ネットワークを介して視聴可能なコンテンツである請求項に記載の情報処理方法。
  5. 上記静止画の情報は、圧縮した画像ファイルである請求項に記載の情報処理方法。
  6. 上記複数の情報は、上記情報処理装置から転送されるテキスト情報を含む請求項に記載の情報処理方法。
  7. 記編集画面は、少なくとも、上記複数の情報をそれぞれ時間軸に沿って表示帯で表していると共に、上記時間軸と直交する方向に延び、上記時間軸に沿って移動し、現行時間を示すカレントタイムラインを表示している請求項に記載の情報処理方法。
  8. 上記編集画面は、上記カレントタイムラインで示される現行時間に対応する動画の情報による動画を表示する動画表示領域および上記現行時間に対応する上記静止画の情報による静止画を表示する静止画表示領域を有している請求項に記載の情報処理方法。
  9. 上記加工ステップでは、上記複数の情報を、上記時間軸をベースに一括してカットするカット編集を行う請求項3又は7に記載の情報処理方法。
  10. 上記生成ステップでは、予め登録された複数のテンプレートから上記複数の情報に応じた一のテンプレートを選定し、該一のテンプレートに対応して上記コンテンツを生成する請求項に記載の情報処理方法。
  11. 上記テンプレートは、少なくとも動画を表示する動画再生部と、静止画を表示する静止画再生部とを有する請求項10に記載の情報処理方法。
  12. 上記複数の情報は、少なくとも動画または音声およびこれに同期する静止画の情報を含み、
    上記生成ステップでは、上記静止画の情報の系列数に応じて上記一のテンプレートを選定する請求項10に記載の情報処理方法。
JP2001280697A 2001-09-14 2001-09-14 ネットワーク情報処理システムおよび情報処理方法 Expired - Fee Related JP4288879B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001280697A JP4288879B2 (ja) 2001-09-14 2001-09-14 ネットワーク情報処理システムおよび情報処理方法
PCT/JP2002/009397 WO2003026288A1 (fr) 2001-09-14 2002-09-13 Systeme de traitement d'informations en reseau et procede de traitement d'informations
EP02765537A EP1427205A4 (en) 2001-09-14 2002-09-13 NETWORK INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING METHOD
US10/489,517 US20050066047A1 (en) 2001-09-14 2002-09-13 Network information processing system and information processing method
CNB028227433A CN1307835C (zh) 2001-09-14 2002-09-13 网络信息处理系统和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001280697A JP4288879B2 (ja) 2001-09-14 2001-09-14 ネットワーク情報処理システムおよび情報処理方法

Publications (3)

Publication Number Publication Date
JP2003087727A JP2003087727A (ja) 2003-03-20
JP2003087727A5 JP2003087727A5 (ja) 2008-10-16
JP4288879B2 true JP4288879B2 (ja) 2009-07-01

Family

ID=19104643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001280697A Expired - Fee Related JP4288879B2 (ja) 2001-09-14 2001-09-14 ネットワーク情報処理システムおよび情報処理方法

Country Status (5)

Country Link
US (1) US20050066047A1 (ja)
EP (1) EP1427205A4 (ja)
JP (1) JP4288879B2 (ja)
CN (1) CN1307835C (ja)
WO (1) WO2003026288A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3707407B2 (ja) * 2001-08-28 2005-10-19 セイコーエプソン株式会社 パスワードを投写するプロジェクタ
US7293071B2 (en) * 2002-05-27 2007-11-06 Seiko Epson Corporation Image data transmission system, process and program, image data output device and image display device
JP2004287160A (ja) 2003-03-24 2004-10-14 Seiko Epson Corp 画像表示システム、プロジェクタ、画像表示方法、プロジェクタ制御方法、画像表示プログラムおよびプロジェクタ制御プログラム
JP4640564B2 (ja) * 2003-07-25 2011-03-02 富士ゼロックス株式会社 コンテンツ配信システム
JP4413629B2 (ja) 2004-01-09 2010-02-10 パイオニア株式会社 情報表示方法、情報表示装置および情報配信表示システム
JP2005208823A (ja) * 2004-01-21 2005-08-04 Seiko Epson Corp プロジェクタのネットワークシステム
FR2876857B1 (fr) * 2004-10-15 2007-02-09 France Telecom Systeme, procede et support de donnees pour l'enregistrement d'un flux temporel d'informations
EP1863198A4 (en) * 2005-03-25 2012-03-14 Nec Corp PRESSER TYPE COMMUNICATION SYSTEM FOR TRANSMITTING AND COMMUNICATION METHOD PRESSING FOR TRANSMITTING
US12051391B2 (en) 2005-04-12 2024-07-30 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
US11232768B2 (en) 2005-04-12 2022-01-25 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
JP2006303635A (ja) * 2005-04-15 2006-11-02 Sony Corp 表示装置、表示制御方法および表示制御プログラム、記録再生装置、ならびに、再生装置
US20070011232A1 (en) * 2005-07-06 2007-01-11 Microsoft Corporation User interface for starting presentations in a meeting
WO2007053003A1 (en) * 2005-10-31 2007-05-10 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for capturing of voice during a telephone conference
JP4692312B2 (ja) * 2006-02-09 2011-06-01 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム及び方法、会議参加者端末装置
JP5034256B2 (ja) * 2006-02-11 2012-09-26 富士ゼロックス株式会社 会議室制御システム
JP5040341B2 (ja) 2006-04-04 2012-10-03 セイコーエプソン株式会社 プロジェクタシステム
US20090106429A1 (en) * 2007-10-22 2009-04-23 Matthew L Siegal Collaborative music network
US20090138508A1 (en) * 2007-11-28 2009-05-28 Hebraic Heritage Christian School Of Theology, Inc Network-based interactive media delivery system and methods
JP4888469B2 (ja) 2008-02-05 2012-02-29 コニカミノルタビジネステクノロジーズ株式会社 画像配信装置、画像配信方法および画像配信プログラム
US8407609B2 (en) 2008-08-21 2013-03-26 Linqware Inc. System and method for providing and tracking the provision of audio and visual presentations via a computer network
US20120030595A1 (en) * 2010-07-29 2012-02-02 Seiko Epson Corporation Information storage medium, terminal apparatus, and image generation method
CN102654823A (zh) * 2011-05-20 2012-09-05 上海华博信息服务有限公司 实现异屏实时同步浏览的电子签名信息处理方法及装置
JP5662369B2 (ja) * 2012-03-29 2015-01-28 株式会社東芝 画面転送装置及び画面転送システム
CN105224500B (zh) * 2015-10-09 2017-12-08 四川特伦特科技股份有限公司 一种利用多核处理器的vpx背板
KR20180071049A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 그 이미지 동기화 방법
CN107734287A (zh) * 2017-09-27 2018-02-23 苏州成业网络科技有限公司 一种自动创建视频会议的方法以及系统
JP6369706B1 (ja) * 2017-12-27 2018-08-08 株式会社Medi Plus 医療動画処理システム
JPWO2021162019A1 (ja) 2020-02-14 2021-08-19
CN112261348B (zh) * 2020-10-20 2023-04-11 安徽师范大学 一种智能会议系统及方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0130018B1 (en) * 1983-06-28 1990-08-22 Fujitsu Limited Electronic conference system
US5206721A (en) * 1990-03-08 1993-04-27 Fujitsu Limited Television conference system
JP2865827B2 (ja) * 1990-08-13 1999-03-08 株式会社日立製作所 会議システムにおけるデータ蓄積方法
US5872923A (en) * 1993-03-19 1999-02-16 Ncr Corporation Collaborative video conferencing system
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US5550965A (en) * 1993-12-27 1996-08-27 Lucent Technologies Inc. Method and system for operating a data processor to index primary data in real time with iconic table of contents
JPH07212748A (ja) * 1994-01-25 1995-08-11 Sony Corp 監視カメラシステム
CA2140850C (en) * 1994-02-24 1999-09-21 Howard Paul Katseff Networked system for display of multimedia presentations
JPH0879391A (ja) * 1994-09-02 1996-03-22 Fujitsu Ltd 電子会議システム
US5802281A (en) * 1994-09-07 1998-09-01 Rsi Systems, Inc. Peripheral audio/video communication system that interfaces with a host computer and determines format of coded audio/video signals
US5767897A (en) * 1994-10-31 1998-06-16 Picturetel Corporation Video conferencing system
JPH08293925A (ja) * 1995-04-24 1996-11-05 Mitsubishi Electric Corp 電子会議システム
US5760767A (en) * 1995-10-26 1998-06-02 Sony Corporation Method and apparatus for displaying in and out points during video editing
US5786814A (en) * 1995-11-03 1998-07-28 Xerox Corporation Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities
JPH09200350A (ja) * 1996-01-12 1997-07-31 Hitachi Inf Syst Ltd 電子会議システム
US5990931A (en) * 1996-04-10 1999-11-23 Vtel Corporation Automatic display update of still frame images for videoconferencing
US6091408A (en) * 1997-08-13 2000-07-18 Z-Axis Corporation Method for presenting information units on multiple presentation units
JP3592004B2 (ja) * 1996-10-31 2004-11-24 キヤノン株式会社 情報共有管理システム及び情報共有システム管理装置と方法
JP3610718B2 (ja) * 1997-01-31 2005-01-19 富士通株式会社 電子会議システム
JP4154015B2 (ja) * 1997-12-10 2008-09-24 キヤノン株式会社 情報処理装置およびその方法
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
US5999208A (en) * 1998-07-15 1999-12-07 Lucent Technologies Inc. System for implementing multiple simultaneous meetings in a virtual reality mixed media meeting room
GB2342802B (en) * 1998-10-14 2003-04-16 Picturetel Corp Method and apparatus for indexing conference content
JP3826598B2 (ja) * 1999-01-29 2006-09-27 株式会社日立製作所 画像監視装置及び記録媒体
JP3663073B2 (ja) * 1999-03-23 2005-06-22 三洋電機株式会社 映像記録装置
US7330875B1 (en) * 1999-06-15 2008-02-12 Microsoft Corporation System and method for recording a presentation for on-demand viewing over a computer network
US7124164B1 (en) * 2001-04-17 2006-10-17 Chemtob Helen J Method and apparatus for providing group interaction via communications networks
US6735616B1 (en) * 2000-06-07 2004-05-11 Infocus Corporation Method and apparatus for remote projector administration and control
DE10030189A1 (de) * 2000-06-20 2002-01-03 Siemens Ag WAP-Group-Call
US20020067405A1 (en) * 2000-12-04 2002-06-06 Mcdiarmid James Michael Internet-enabled portable audio/video teleconferencing method and apparatus

Also Published As

Publication number Publication date
JP2003087727A (ja) 2003-03-20
US20050066047A1 (en) 2005-03-24
WO2003026288A1 (fr) 2003-03-27
EP1427205A1 (en) 2004-06-09
EP1427205A4 (en) 2006-10-04
CN1589570A (zh) 2005-03-02
CN1307835C (zh) 2007-03-28

Similar Documents

Publication Publication Date Title
JP4288879B2 (ja) ネットワーク情報処理システムおよび情報処理方法
US7486254B2 (en) Information creating method information creating apparatus and network information processing system
JP3664132B2 (ja) ネットワーク情報処理システム及び情報処理方法
JP2006146415A (ja) 会議支援システム
JP2008172582A (ja) 議事録作成再生装置
JP2008293219A (ja) コンテンツ管理システム、コンテンツ管理システムにおける情報処理装置、情報処理装置におけるリンク情報生成方法、情報処理装置におけるリンク情報生成プログラム、及びリンク情報生成プログラムを記録した記録媒体
JP2006148730A (ja) 会議システム及び会議情報提供方法
US20040249945A1 (en) Information processing system, client apparatus and information providing server constituting the same, and information providing server exclusive control method
JP4142382B2 (ja) コンテンツ作成システム及びコンテンツ作成方法
JP4010094B2 (ja) 遠隔地用講座情報提示装置
JP4244545B2 (ja) 情報作成方法、情報作成装置およびネットワーク情報処理システム
JP2006339878A (ja) マルチメディアコンテンツの編集端末、編集方法、プログラム
JP4129162B2 (ja) コンテンツ作成実演システム及びコンテンツ作成実演方法
JP4686990B2 (ja) コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム
JP4288878B2 (ja) 情報作成方法および情報作成装置
JP3092496B2 (ja) シナリオ編集装置
JP2003087758A (ja) 情報作成方法およびネットワーク情報処理システム
JP2004336289A (ja) 共有ホワイトボード履歴再現方法、共有ホワイトボードシステム、クライアント、プログラム、および記録媒体
JP4269980B2 (ja) コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム
JP2003085527A (ja) 情報作成方法、情報作成装置およびネットワーク情報処理システム
JP4238662B2 (ja) プレゼンテーション支援装置及びプレゼンテーション支援方法
JP4640564B2 (ja) コンテンツ配信システム
JP4292902B2 (ja) コンテンツ編集装置及びコンテンツ編集方法
JP2005260512A (ja) コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム
JP2005045439A (ja) コンテンツ作成装置及びコンテンツ作成方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080828

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090323

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees