以下に図面を用いて、本実施形態に係る共用システム1を詳細に説明する。なお、本実施形態において「ファイル」は、「電子ファイル」を示す。
(システム構成の概略)
図1は、実施形態に係る共用システムの概略図である。図1を参照しながら、共用システム1の構成の概略について説明する。
図1に示されているように、本実施形態の共用システム1は、電子黒板2と、ビデオ会議端末3と、カーナビゲーション装置4と、PC(Personal Computer)5と、共用支援サーバ6と、スケジュール管理サーバ8(管理サーバの一例)と、音声テキスト変換サーバ9(変換サーバの一例)と、を含む。
また、電子黒板2、ビデオ会議端末3、カーナビゲーション装置4、PC5、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9は、通信ネットワーク10を介して通信することができる。通信ネットワーク10は、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。通信ネットワーク10には、有線通信だけでなく、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)またはLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
また、電子黒板2(情報処理装置の一例)は、会議室Xで利用される。ビデオ会議端末3(情報処理装置の一例)は、会議室Yで利用される。また、共用体は、各利用者による予約対象となる。カーナビゲーション装置4(情報処理装置の一例)は、車両αで利用される。この場合の車両αは、カーシェアリングの対象となる車両である。車両には、車、バイク、自転車、車椅子等が含まれる。
「共用体」は、複数の人または団体が共同で使用する物、サービス、空間(部屋)、場所、または情報を示す。会議室X、会議室Yおよび車両αは、複数の利用者が共用する共用体の一例である。共用体に付与された情報の例として、アカウントの場合が挙げられる。例えば、Webで提供されている特定のサービスにおいて、使用されるアカウントが1つに制限されているような場合である。
電子黒板2、ビデオ会議端末3、およびカーナビゲーション装置4は、通信端末の一例である。「通信端末」は、例えば、ユーザによるサインイン(後述のS32参照)で使用可能となる端末である。なお、車両αで利用される通信端末は、カーナビゲーション装置4だけでなく、カーナビゲーションのアプリケーションがインストールされたスマートフォンまたはスマートウォッチ等も含む。
PC5(情報処理装置の一例)は、表示端末の一例であり、スケジュール管理サーバ8に対して、各共用体の利用の予約の登録および各利用者が実行予定のイベントを登録する登録装置の一例である。イベントは、例えば、会議、会合、集い、寄り合い、相談、打ち合わせ、運転、乗車または移動等である。
共用支援サーバ6は、コンピュータであり、各通信端末に対して遠隔的に共用体を共用する場合の支援を行う。
スケジュール管理サーバ8は、コンピュータであり、各共用体の予約および各利用者の予定のスケジュールを管理する。
音声テキスト変換サーバ9は、コンピュータであり、外部のコンピュータ(例えば、共用支援サーバ6)から受信した音(音声)データを、テキストデータに変換する。なお、音声テキスト変換サーバ9は、WebSocektにより接続され、音声をテキストに変換する外部サービス(例えばWatsonまたはBing Speech等)によって実現されるものとしてもよい。
ここで、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9は、管理システムと称する。なお、管理システムは、例えば、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9の各機能の全てまたは一部を集約させたコンピュータであってもよい。また、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9のそれぞれは、複数のコンピュータに各機能を分散させて実現させる構成であってもよい。さらに、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9は、クラウド環境に存在するサーバコンピュータであるものとして説明するが、共用支援サーバ6および音声テキスト変換サーバ9は、電子黒板2等の通信端末上で動作するサーバであってもよく、オンプレミス環境に存在するサーバであってもよい。また、スケジュール管理サーバ8は、オンプレミス環境に存在するサーバであってもよい。
(ハードウェア構成)
続いて、図2〜図5を用いて、共用システム1を構築する装置または端末のハードウェア構成を説明する。
<電子黒板のハードウェア構成>
図2は、実施形態に係る電子黒板のハードウェア構成の一例を示す図である。図2に示されているように、電子黒板2は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、SSD(Solid State Drive)204と、ネットワークI/F205と、外部機器接続I/F(Interface)206と、を備えている。
これらのうち、CPU201は、電子黒板2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、電子黒板用のプログラム等の各種データを記憶する。ネットワークI/F205は、通信ネットワーク10との通信を制御する。外部機器接続I/F206は、USB(Universal Serial Bus)メモリ2600、PC2700、外付け機器(マイク2200、スピーカ2300、カメラ2400)との通信を制御する。
また、電子黒板2は、キャプチャデバイス211、GPU212、ディスプレイコントローラ213、接触センサ214、センサコントローラ215、電子ペンコントローラ216、近距離通信回路219、近距離通信回路219のアンテナ219a、および電源スイッチ222を備えている。
これらのうち、キャプチャデバイス211は、ディスプレイコントローラ213を介して表示部の一例であるディスプレイ220上に表示されている画像データを取得し、RAM203等に保存する。GPU(Graphics Processing Unit)212は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ213は、キャプチャデバイス211またはGPU212からの出力画像をディスプレイ220等へ出力するために、画面表示の制御および管理を行う。接触センサ214は、ディスプレイ220上に電子ペン2500やユーザの手H等が接触したことを検知する。センサコントローラ215は、接触センサ214の処理を制御する。接触センサ214は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ220の上側両端部に設置された2つ受発光装置が、ディスプレイ220に平行して複数の赤外線を放射し、ディスプレイ220の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ214は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ215に出力し、センサコントローラ215が、物体の接触位置である座標位置を特定する。電子ペンコントローラ216は、電子ペン2500と通信することで、ディスプレイ220へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路219は、NFC(Near Field Communication)、Bluetooth(登録商標)等の通信回路である。電源スイッチ222は、電子黒板2の電源のON/OFFを切り換えるためのスイッチである。
さらに、電子黒板2は、バスライン210を備えている。バスライン210は、図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ214は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ216が、電子ペン2500のペン先およびペン尻だけでなく、電子ペン2500のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
<ビデオ会議端末のハードウェア構成>
図3は、実施形態に係るビデオ会議端末のハードウェア構成の一例を示す図である。図3に示されているように、ビデオ会議端末3は、CPU301と、ROM302と、RAM303と、フラッシュメモリ304と、SSD305と、メディアI/F307と、操作ボタン308と、電源スイッチ309と、バスライン310と、ネットワークI/F311と、CMOS(Complementary Metal Oxide Semiconductor)センサ312と、撮像素子I/F313と、マイク314と、スピーカ315と、音入出力I/F316と、ディスプレイI/F317と、外部機器接続I/F318と、近距離通信回路319と、近距離通信回路319のアンテナ319aと、を備えている。これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データおよび音データ等の各種データを記憶する。SSD305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出しまたは書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出しまたは書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合等に操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
また、ネットワークI/F311は、インターネット等の通信ネットワーク10を利用してデータ通信をするためのインターフェースである。CMOSセンサ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、CMOSセンサ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314およびスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイ320(表示部の一例)に画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC、Bluetooth等の通信回路である。
また、バスライン310は、図3に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ320は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部(表示手段)の一種である。また、ディスプレイ320は、ケーブル320cによってディスプレイI/F317に接続される。このケーブル320cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、DisplayPort、HDMI(登録商標)(High−Definition Multimedia Interface)またはDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、CMOSセンサ312ではなく、CCD(Charge Coupled Device)センサ等の撮像素子であってもよい。外部機器接続I/F318には、USBケーブル等によって、外付けカメラ、外付けマイクおよび外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のCMOSセンサ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合、または外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314または内蔵型のスピーカ315に優先して、外付けマイクまたは外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出しまたは書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM等を用いてもよい。
<カーナビゲーション装置のハードウェア構成>
図4は、実施形態に係るカーナビゲーション装置のハードウェア構成の一例を示す図である。図4に示されているように、カーナビゲーション装置4は、CPU401と、ROM402と、RAM403と、EEPROM404と、電源スイッチ405と、加速度・方位センサ406と、メディアI/F408と、GPS受信部409と、を備えている。
これらのうち、CPU401は、カーナビゲーション装置4全体の動作を制御する。ROM402は、IPL等のCPU401の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。EEPROM404は、CPU401の制御にしたがって、カーナビゲーション装置4用プログラム等の各種データの読み出しまたは書き込みを行う。電源スイッチ405は、カーナビゲーション装置4の電源のON/OFFを切り換えるためのスイッチである。加速度・方位センサ406は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F408は、フラッシュメモリ等の記録メディア407に対するデータの読み出しまたは書き込み(記憶)を制御する。GPS受信部409は、GPS衛星からGPS信号を受信する。
また、カーナビゲーション装置4は、遠距離通信回路411と、遠距離通信回路411のアンテナ411aと、CMOSセンサ412と、撮像素子I/F413と、マイク414と、スピーカ415と、音入出力I/F416と、ディスプレイ417(表示部の一例)と、ディスプレイI/F418と、外部機器接続I/F419と、近距離通信回路420と、近距離通信回路420のアンテナ420aと、を備えている。
これらのうち、遠距離通信回路411は、車外のインフラから提供される渋滞情報、道路工事情報、交通事故情報等を受信し、逆に、自車位置や緊急時の救命信号等を外部へ発信するための回路である。外部のインフラは、例えば、VICS(登録商標)(Vehicle Information and Communication System)システム等の道路情報案内システムである。CMOSセンサ412は、CPU401の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F413は、CMOSセンサ412の駆動を制御する回路である。マイク414は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F416は、CPU401の制御に従ってマイク414およびスピーカ415との間で音信号の入出力を処理する回路である。ディスプレイ417は、被写体の画像や各種アイコン等を表示する液晶や有機EL等の表示部(表示手段)の一種であり、タッチパネルの機能を有している。タッチパネルは、利用者がカーナビゲーション装置4を操作するための入力手段の一種である。ディスプレイI/F418は、ディスプレイ417に画像を表示させる回路である。外部機器接続I/F419は、各種の外部機器を接続するためのインターフェースである。近距離通信回路420は、NFCやBluetooth等の通信回路である。また、カーナビゲーション装置4は、バスライン410を備えている。バスライン410は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
<PC、サーバのハードウェア構成>
図5は、実施形態に係るPCおよびサーバのハードウェア構成の一例を示す図である。PC5は、コンピュータによって構築されており、図5に示されているように、CPU501と、ROM502と、RAM503と、HD504と、HDD(Hard Disk Drive)コントローラ505と、メディアI/F507と、ディスプレイ508(表示部の一例)と、ネットワークI/F509と、キーボード511と、マウス512と、CD−RWドライブ514と、スピーカ515と、バスライン510と、を備えている。
これらのうち、CPU501は、PC5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。メディアI/F507は、フラッシュメモリ等の記録メディア506に対するデータの読み出しまたは書き込み(記憶)を制御する。ディスプレイ508は、カーソル、メニュー、ウインドウ、文字または画像等の各種情報を表示する。ディスプレイ508は、表示部(表示手段)の一例である。ネットワークI/F509は、通信ネットワーク10を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。CD−RWドライブ514は、着脱可能な記録媒体の一例としてのCD−RW(Compact Disc−ReWritable)513に対する各種データの読み出しまたは書き込みを制御する。スピーカ515は、CPU501の制御に従って音信号の出力を行う。
また、PC5は、バスライン510を備えている。バスライン510は、図5に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスおよびデータバス等である。
また、共用支援サーバ6は、コンピュータによって構築されており、図5に示されているように、CPU601と、ROM602と、RAM603と、HD604と、HDDコントローラ605と、記録メディア606と、メディアI/F607と、ディスプレイ608と、ネットワークI/F609と、キーボード611と、マウス612と、CD−RWドライブ614と、バスライン610と、を備えている。これらは、それぞれPC5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD−RWドライブ514およびバスライン510と同様の構成である。
さらに、スケジュール管理サーバ8は、コンピュータによって構築されており、図5に示されているように、CPU801と、ROM802と、RAM803と、HD804と、HDDコントローラ805と、記録メディア806と、メディアI/F807と、ディスプレイ808と、ネットワークI/F809と、キーボード811と、マウス812と、CD−RWドライブ814と、バスライン810と、を備えている。これらは、それぞれPC5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD−RWドライブ514およびバスライン510と同様の構成である。
また、音声テキスト変換サーバ9は、コンピュータによって構築されており、図5に示されているように、CPU901と、ROM902と、RAM903と、HD904と、HDDコントローラ905と、記録メディア906と、メディアI/F907と、ディスプレイ908と、ネットワークI/F909と、キーボード911と、マウス912と、CD−RWドライブ914と、バスライン910と、を備えている。これらは、それぞれPC5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD−RWドライブ514およびバスライン510と同様の構成である。
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。
さらに、共用支援サーバ6は、単一のコンピュータによって構築されてもよいし、各部(機能、手段または記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。スケジュール管理サーバ8および音声テキスト変換サーバ9についても同様である。
(電子黒板のソフトウェア構成)
続いて、図6を用いて、電子黒板2にインストールされるコンピュータソフトウェアについて説明する。ここで、コンピュータソフトウェア(以下、ソフトウェアと称する)とは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものである。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造(データ要素間の相互関係で表される、データの有する論理的構造)がプログラムに準ずるものに該当する。
また、アプリケーションとは、ソフトウェアの分類のうち、特定の処理を行うために使用されるソフトウェアの総称である。一方、オペレーティングシステム(以下、OSと称する)とは、コンピュータを制御し、アプリケーション等がコンピュータ資源を利用可能にするためのソフトウェアである。OSは、入出力の制御、メモリおよびハードディスク等のハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションは、OSが提供する機能を利用して動作する。
図6は、実施形態に係る電子黒板のソフトウェア構成の一例を示す図である。図6に示すように、OS101、Launcher102、スケジュールビューワ103a、ファイルビューワ103bおよびブラウザアプリ103cは、RAM203の作業領域15上で動作する。OS101は、電子黒板2の基本的な機能を提供し、電子黒板2の全体を管理する基本ソフトウェアである。
Launcher102は、OS101上で動作するランチャーアプリケーションである。Launcher102は、例えば、電子黒板2で実行される会議等のイベントの開始および終了の管理、またはイベントの実行中に利用するスケジュールビューワ103a、ファイルビューワ103bおよびブラウザアプリ103c等の外部アプリケーションの管理を行う。
スケジュールビューワ103a、ファイルビューワ103bおよびブラウザアプリ103cは、Launcher102上で動作する外部アプリケーション(以下、特に区別する必要がないときは、外部アプリ103と称する)である。外部アプリ103は、Launcher102とは独立して処理が実行され、OS101上で提供されるサービスまたは機能を実行する。なお、図6は、スケジュールビューワ103a、ファイルビューワ103bおよびブラウザアプリ103cの三つの外部アプリが電子黒板2にインストールされている例を示すが、外部アプリの数は、これに限られない。
(PCのソフトウェア構成)
図7は、実施形態に係るPCのソフトウェア構成の一例を示す図である。図7を用いて、PC5にインストールされるコンピュータソフトウェアについて説明する。図7に示すように、OS5501、議事録アプリ5502aおよびブラウザ5502bは、RAM503の作業領域5500上で動作する。OS5501は、PC5の基本的な機能を提供し、PC5の全体を管理する基本ソフトウェアである。
議事録アプリ5502aおよびブラウザ5502bは、スケジュール管理サーバ8から送信された各種データを用いて、電子黒板2によって実行されたイベントの議事録である実行イベント履歴画面の生成および表示を行うためのアプリケーションである。なお、図7は、議事録アプリ5502aおよびブラウザ5502bの二つの外部アプリがPC5にインストールされている例を示すが、外部アプリの数は、これに限られない。なお、議事録アプリ5502aは、ブラウザ5502b上で実行されるWebアプリであってもよい。
(共用システムの機能構成)
続いて、図8〜図15を用いて、本実施形態の機能構成について説明する。
図8は、実施形態に係る共用システムの機能ブロック図である。なお、図8では、図1に示されている各端末、装置、サーバのうち、後述の処理または動作に関連しているものが示されている。
<電子黒板の機能構成>
図8に示されているように、電子黒板2は、送受信部21と、受付部22と、画像処理部23−1と、音処理部23−2と、表示制御部24と、判断部25と、音制御部26と、取得・提供部28と、記憶・読出処理部29と、を有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能、または機能する手段である。また、電子黒板2は、図2に示されているRAM203、SSD204またはUSBメモリ2600によって構築される記憶部2000を有している。
<<電子黒板の各機能構成>>
次に、電子黒板2の各構成要素について説明する。送受信部21は、図2に示されているCPU201からの命令、並びにネットワークI/F205および外部機器接続I/F206によって実現され、通信ネットワーク10を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。
受付部22は、主に、図2に示されているCPU201からの命令、並びに接触センサ214および電子ペンコントローラ216によって実現され、利用者による各種入力を受け付ける。
画像処理部23−1は、図2に示されているCPU201からの命令、およびキャプチャデバイス211によって実現され、ディスプレイ220上に表示されている画像データを保存する。また、画像処理部23−1は、図2に示されているCPU201からの命令、およびGPU212によって実現され、ディスプレイ220に画像を表示するための画像処理を行う。また、画像処理部23−1は、利用者によって電子ペン2500または手Hでディスプレイ220上に描画されることにより得た描画像データを座標データに変換する処理を行う。例えば、任意の拠点の電子黒板(2a)が、他の拠点の電子黒板(2b)に座標データを送信すると、電子黒板(2b)は、座標データに基づいて他の電子黒板(2b)側のディスプレイ220上に同じ内容の描画を表示する。さらに、画像処理部23−1は、カメラ2400が被写体を撮像して得た画像データに対しての画像処理を行う。
音処理部23−2は、図2に示されているCPU201からの命令によって実現され、マイク2200によって取得された利用者の音声を音声信号に変換し、音声信号に基づく音データに対して音声処理を行う。
表示制御部24は、図2に示されているCPU201からの命令、および図2に示されているディスプレイコントローラ213によって実現され、ディスプレイ220に描画像を表示させたり、Webブラウザを用いて共用支援サーバ6にアクセスして各種画面データを表示させたりする。具体的には、表示制御部24は、図6に示したOS101上で動作するLauncher102、および外部アプリ103を起動・実行することで、OS101が提供するAPI(Application Programming Interface)によって描画される各種画面を、ディスプレイ220に表示させる。
判断部25は、図2に示されているCPU201からの命令によって実現され、各種判断を行う。
音制御部26は、図2に示されているCPU201からの命令によって実現され、スピーカ2300から音信号を出力する機能である。音制御部26は、スピーカ2300から出力させる音データを設定し、設定した音データに係る音信号をスピーカ2300から出力することにより、音データを再生する。
取得・提供部28は、図2に示されているCPU201からの命令、並びに近距離通信回路219およびアンテナ219aによって実行され、ICカードまたはスマートフォン等の専有端末との間で、近距離通信により、データの取得および提供を行う。
記憶・読出処理部29は、図2に示されているCPU201からの命令およびSSD204によって実行され、記憶部2000に各種データを記憶したり、記憶部2000に記憶された各種データを読み出したりする処理を行う。さらに、記憶部2000には、他の電子黒板やビデオ会議端末との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ220に画像が表示され、上書きされる前の音データによってスピーカ2300から音声が出力される。
なお、ビデオ会議端末3およびカーナビゲーション装置4は、電子黒板2と同様の機能を有するため、ここでは説明を省略する。
また、図8に示す電子黒板2の送受信部21、受付部22、画像処理部23−1、音処理部23−2、表示制御部24、判断部25、音制御部26、取得・提供部28および記憶・読出処理部29は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示す電子黒板2で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示す電子黒板2で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
<PCの機能構成>
図8に示されているように、PC5は、送受信部51(第1送信部、送信部)と、受付部52と、表示制御部54と、生成部56と、音制御部58と、記憶・読出処理部59と、を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、PC5は、図5に示されているHD504により構築される記憶部5000を有している。
<<PCの各機能構成>>
次に、PC5の各構成要素について説明する。送受信部51は、図5に示されているCPU501からの命令およびネットワークI/F509によって実現され、通信ネットワーク10を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。
受付部52は、主に、図5に示されているCPU501からの命令、並びにキーボード511およびマウス512によって実現され、利用者による各種入力を受け付ける。
表示制御部54は、図5に示されているCPU501からの命令によって実現され、ディスプレイ508に画像を表示させたり、Webブラウザを用いて共用支援サーバ6にアクセスして各種画面データを表示させたりする。具体的には、表示制御部54は、例えば、図7に示したOS5501上で動作する議事録アプリ5502aまたはブラウザ5502bを起動・実行することで、共用支援サーバ6またはスケジュール管理サーバ8にアクセスする。そして、表示制御部54は、例えば、HTML(HyperText Markup Language)を少なくとも含み、CSS(Cascading Style Sheets)またはJavaScript(登録商標)等を含むWebAPP(WebApplication)をダウンロードし、そのWebAPPによって生成された各種画像データを、ディスプレイ508に表示させる。表示制御部54は、例えば、XML(Extensible Markup Language)、JSON(JavaScript Object Notation)またはSOAP(Simple Object Access Protocol)形式等のデータを含むHTML5によって生成された画像データを、ディスプレイ508に表示させる。
生成部56は、図5に示されているCPU501からの命令によって実現され、ディスプレイ508に表示させる各種画像データを生成する機能である。生成部56は、送受信部51によって受信されたコンテンツデータを用いて、各種画像データを生成する。生成部56は、例えば、コンテンツデータであるテキストデータをレンダリングし、レンダリングされたデータを表示させるために、コンテンツ画像データであるテキストデータに係る画像データを生成する。レンダリングとは、Webページ記述用の言語(HTML、CSSまたはXML等)で記述されたデータを解釈し、実際に画面に表示される文字や画像データ等の配置を計算する処理である。生成部56は、生成手段の一例である。
音制御部58は、図5に示されているCPU501からの命令によって実現され、スピーカ515から音信号を出力する機能である。音制御部58は、スピーカ515から出力させる音データを設定し、設定した音データに係る音信号をスピーカ515から出力することにより、音データを再生する。音制御部58は、再生手段の一例である。
記憶・読出処理部59は、図5に示されているCPU501からの命令、およびHDDコントローラ505等によって実行され、記憶部5000に各種データを記憶したり、記憶部5000から各種データを読み出したりする処理を行う。
なお、図8に示すPC5の送受信部51、受付部52、表示制御部54、生成部56、音制御部58および記憶・読出処理部59は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示すPC5で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示すPC5で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
<共用支援サーバの機能構成>
共用支援サーバ6は、送受信部61、認証部62、作成部63、生成部64、判断部65および記憶・読出処理部69を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD604からRAM603上に展開された共用支援用プログラムに従ったCPU601からの命令によって動作することで実現される機能または機能する手段である。また、共用支援サーバ6は、図5に示されているHD604等により構築される記憶部6000を有している。
<<利用者認証管理テーブル>>
図9(A)は、利用者認証管理テーブルを示す概念図である。記憶部6000には、図9(A)に示されているような利用者認証管理テーブルによって構成されている利用者認証管理DB6001が構築されている。この利用者認証管理テーブルでは、利用者を識別するための利用者ID、利用者名、利用者が属する組織を識別するための組織IDおよびパスワードが関連付けられて管理されている。なお、組織IDには、通信ネットワーク上の複数のコンピュータを管理するためのグループや組織を表すドメイン名も含まれる。
<<アクセス管理テーブル>>
図9(B)は、アクセス管理テーブルを示す概念図である。記憶部6000には、図9(B)に示されているようなアクセス管理テーブルによって構成されているアクセス管理DB6002が構築されている。このアクセス管理テーブルでは、組織ID、スケジュール管理サーバ8へアクセスする際の認証に必要なアクセスIDおよびアクセスパスワードが関連付けられて管理されている。このアクセスIDおよびアクセスパスワードは、共用支援サーバ6が、HTTP(Hypertext Transfer Protocol)またはHTTPS(Hypertext Transfer Protocol Secure)のプロトコルを用いて、WebAPI等を介して、スケジュール管理サーバ8によって提供されるサービス(機能)を利用するために必要である。スケジュール管理サーバ8は、複数のスケジューラを管理しており、組織が異なれば使用するスケジューラも異なることがあるため、アクセス管理テーブルで管理が必要である。
<<予定管理テーブル>>
図9(C)は、予定管理テーブルを示す概念図である。記憶部6000には、図9(C)に示されているような予定管理テーブルによって構成されている予定管理DB6003が構築されている。この予定管理テーブルでは、予定イベントIDおよび実行イベントID毎に、組織ID、予約者の利用者ID、この予約者の参加の有無、予約者名、開始予定時刻、終了予定時刻、イベント名、他の参加者の利用者ID、この他の参加者の参加の有無、他の参加者名およびファイルデータが関連付けられて管理されている。
これらのうち、予定イベントIDは、予約されたイベントを識別するための識別情報である。予定イベントIDは、実行予定のイベントを識別するための予定イベント識別情報の一例である。実行イベントIDは、予約されたイベントのうち実際に実行されたイベントまたは実行されているイベントを識別するための識別情報である。実行イベントIDは、実行されたイベントまたは実行されているイベントを識別するための実行イベント識別情報の一例である。予約者名は、共用体を予約した者の名前であり、共用体が会議室の場合は例えば主催者の名前であり、共用体が車両の場合は例えば運転者の名前である。開始予定時刻は、共用体の利用開始予定時刻を示している。終了予定時刻は、共用体の利用終了予定時刻を示している。イベント名は、予約者が実行予定のイベントの名称を示している。他の参加者の利用者IDは、予約者以外の参加者を識別するための識別情報である。他の参加者名は、予約者以外の参加者の名前であり、共用体も含まれる。つまり、この場合の利用者には、予約者および他の参加者のほか、共用体も含まれる。ファイルデータは、後述するスケジュール入力画面550(図20参照)を用いて利用者Aによって登録された、予定イベントIDに対応するイベントで用いる資料ファイルのファイルデータである。また、ファイルデータは、各種アプリケーションを用いて作成された所定のファイル形式のデータである。ファイルデータのファイル形式は、例えば、パワーポイントファイル、エクセルファイル等である。
<<コンテンツ管理テーブル>>
図10(A)は、コンテンツ管理テーブルを示す概念図である。記憶部6000には、図10に示されているようなコンテンツ管理テーブルによって構成されているコンテンツ管理DB6005が構築されている。このコンテンツ管理テーブルでは、実行イベントID毎に、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容、並びにコンテンツ処理の開始日時および終了日時が関連付けられて管理されている。ここで、コンテンツは、会議等のイベントで発生した実行イベントの内容、または当該イベントで用いた資料等である。コンテンツ処理の種類には、録音、スナップショット、音声テキスト変換、アクションアイテムの発生および資料送付等が含まれる。また、コンテンツ処理IDは、各イベントで発生したコンテンツの処理を識別するための識別情報である。
ここで、コンテンツには、イベントの実行内容を示す履歴情報と、実行されたイベントによって生じたアクションアイテムとが含まれている。履歴情報は、録音データ、スナップショット、音声テキストまたは資料等のデータである。スナップショットとは、実行中のイベントのある時点における表示画面を画像データとして取得する処理である。なお、スナップショットは、例えば、キャプチャまたは画像認識とも称される。
コンテンツ処理の種類が「録音」である場合、コンテンツの内容は、録音された音データの保存先を示すURLを含む。また、コンテンツ処理の種類が「スナップショット」である場合、コンテンツの内容は、スナップショット(キャプチャ)によって取得された画面の画像データの保存先を示すURLを含む。キャプチャとは、ディスプレイ220に表示されている画像(静止画像、動画像)を、画像データとして保存することである。さらに、コンテンツ処理の種類が「音声テキスト変換」である場合、コンテンツの内容は、受信された音声テキストのテキストデータの保存先を示すURLを含む。
ここで、アクションアイテムは、会議等のイベントで発生し、イベントに関連する者が対応すべき行動の内容を示す。コンテンツ処理の種類が「アクションアイテム発生」である場合、コンテンツの内容は、アクションアイテムの実行者の利用者ID、アクションアイテムを完了させる期限日、およびアクションアイテムを示す画像データの保存先を示すURLを含む。
<<話者情報管理テーブル>>
図10(B)は、話者情報管理テーブルを示す概念図である。記憶部6000には、図10(B)に示されているような話者情報管理テーブルによって構成されている話者情報管理DB6007が構築されている。この話者情報管理テーブルでは、利用者IDおよび話者IDが関連付けられて管理されている。ここで、話者IDは、会議等のイベントによって発生した音データの話者(speaker)を識別するための識別情報である。
<<共用支援サーバの各機能構成>>
次に、共用支援サーバ6の各機能構成について詳細に説明する。なお、以下では、共用支援サーバ6の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、共用支援サーバ6の各機能構成を実現させるための主な構成要素との関係も説明する。
図8に示されている共用支援サーバ6の送受信部61は、図5に示されているCPU601からの命令、および図5に示されているネットワークI/F609によって実現され、通信ネットワーク10を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。
認証部62は、図5に示されているCPU601からの命令によって実現され、通信端末から送られて来る情報(利用者ID、組織IDおよびパスワード)が、利用者認証管理DB6001に予め登録されている情報であるかを判断することで、認証を行う。
作成部63は、図5に示されているCPU601からの命令によって実現され、スケジュール管理サーバ8から送られて来た予約情報および予定情報に基づいて、後述の図26に示されているような予約リスト画面230を作成する。
生成部64は、図5に示されているCPU601からの命令によって実現され、実行イベントID、コンテンツ処理IDおよび保存先のURLを生成する。
判断部65は、図5に示されているCPU601からの命令によって実現され、各種判断を行う。この判断については後述する。
記憶・読出処理部69は、図5に示されているCPU601からの命令、および図5に示されているHDDコントローラ605によって実現され、記憶部6000に各種データを記憶したり、記憶部6000に記憶された各種データを読み出したりする処理を行う。
なお、図8に示す共用支援サーバ6の送受信部61、認証部62、作成部63、生成部64、判断部65および記憶・読出処理部69は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示す共用支援サーバ6で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示す共用支援サーバ6で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
<スケジュール管理サーバの機能構成>
スケジュール管理サーバ8は、送受信部81(第2送信部)と、認証部82と、生成部83と、検索部84と、記憶・読出処理部89(記憶処理部)と、を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD804からRAM803上に展開されたスケジュール管理用プログラムに従ったCPU801からの命令によって動作することで実現される機能または機能する手段である。また、スケジュール管理サーバ8は、図5に示されているHD804により構築される記憶部8000を有している。
<<利用者認証管理テーブル>>
図11(A)は、利用者認証管理テーブルを示す概念図である。記憶部8000には、図11(A)に示されているような利用者認証管理テーブルによって構成されている利用者認証管理DB8001が構築されている。この利用者認証管理テーブルでは、利用者を識別するための利用者IDに、利用者が属する組織を識別するための組織IDおよびパスワードが関連付けられて管理されている。
<<利用者管理テーブル>>
図11(B)は、利用者管理テーブルを示す概念図である。記憶部8000には、図11(B)に示されているような利用者管理テーブルによって構成されている利用者管理DB8002が構築されている。この利用者管理テーブルでは、組織ID毎に、利用者IDおよび利用者IDで示される利用者の名称(利用者名)が関連付けられて管理されている。
<<共用体管理テーブル>>
図11(C)は、共用体管理テーブルを示す概念図である。記憶部8000には、図11(C)に示されているような共用体管理テーブルによって構成されている共用体管理DB8003が構築されている。この共用体管理テーブルでは、組織ID毎に、共用体を識別するための共用体IDおよび共用体の名称(共用体名)が関連付けられて管理されている。
<<共用体予約管理テーブル>>
図12(A)は、共用体予約管理テーブルを示す概念図である。記憶部8000には、図12(A)に示されているような共用体予約管理テーブルによって構成されている共用体予約管理DB8004が構築されている。この共用体予約管理テーブルでは、各情報が関連付けられた状態の予約情報が管理されている。予約情報には、組織ID毎に、共用体ID、共用体名、予約者の利用者ID、利用開始予定日時、利用終了予定日時およびイベント名が含まれている。これらのうち、利用開始予定日時は、共用体の利用開始予定日時を示している。利用終了予定日時は、共用体の利用終了予定日時を示している。各日時は、年・月・日・時・分・秒・タイムゾーンを示しているが、図12(A)では紙面の関係上、年・月・日・時・分まで表している。
<<イベント管理テーブル>>
図12(B)は、イベント管理テーブルを示す概念図である。記憶部8000には、図12(B)に示されているようなイベント管理テーブルによって構成されているイベント管理DB8005が構築されている。このイベント管理テーブルでは、各情報が関連付けられた状態の予定情報が管理されている。予定情報には、予定イベントID毎に、組織ID、利用者ID、利用者名、イベント開始予定日時、イベント終了予定日時およびイベント名が関連付けられて管理されている。これらのうち、イベント開始予定日時は、イベントを実行する場合の開始予定日時を示している。イベント終了予定日時は、イベントの実行する場合の終了予定日時を示している。各日時は、年・月・日・時・分・秒・タイムゾーンを示しているが、図12(B)では紙面の関係上、年・月・日・時・分まで表している。また、イベント管理テーブルでは、予定イベントIDに関連付けて、予定情報に示されるイベントで使用される資料ファイルのファイルデータが管理されている。
<<サーバ認証管理テーブル>>
図13(A)は、サーバ認証管理テーブルを示す概念図である。記憶部8000には、図13(A)に示されているようなサーバ認証管理テーブルによって構成されているサーバ認証管理DB8006が構築されている。このサーバ認証管理テーブルでは、アクセスIDおよびアクセスパスワードが関連付けられて管理されている。アクセスIDおよびアクセスパスワードは、共用支援サーバ6のアクセス管理DB6002で管理されているアクセスIDおよびアクセスパスワードと同じ概念である。
<<実行イベント履歴管理テーブル>>
図13(B)は、実行イベント履歴管理テーブルを示す概念図である。記憶部8000には、図13(B)に示されているような実行イベント履歴管理テーブルによって構成されている実行イベント履歴管理DB8008が構築されている。この実行イベント履歴管理テーブルでは、実行イベントID毎に、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容、並びにコンテンツ処理の開始日時および終了日時が関連付けられて管理されている。この実行イベント履歴管理DB8008は、コンテンツ管理DB6005と一部同じデータを管理している。同じデータは、実行イベントID、コンテンツ処理ID、コンテンツ処理の種類、コンテンツ処理の開始日時および終了日時である。コンテンツの内容は、コンテンツデ−タの保存先の表記方法(http://またはc://)が異なるのみで、保存先は同じである。
<<実行イベント管理テーブル>>
図14(A)は、実行イベント管理テーブルを示す概念図である。記憶部8000には、図14(A)に示されているような実行イベント管理テーブルによって構成されている実行イベント管理DB8009が構築されている。この実行イベント管理テーブルでは、実行イベントIDに、イベント名、イベントの開始日時および終了日時が関連付けられて管理されている。この実行イベント管理DB8009は、イベント管理DB8005において管理されている予定情報のうち、実際に実行されたイベントに関する情報を管理している。
<<関連情報管理テーブル>>
図14(B)は、関連情報管理テーブルを示す概念図である。記憶部8000には、図14(B)に示されているような関連情報管理テーブルによって構成されている関連情報管理DB8010が構築されている。この関連情報管理テーブルでは、実行イベントID毎に、各情報(データ)が関連付けられた状態の関連情報が管理されている。関連情報には、コンテンツの発生時間帯、音データ、音声テキストデータおよび画面データが関連付けられて管理されている。コンテンツの発生時間帯は、実行されたイベントにおいてコンテンツが発生した時点における、イベントの開始日時からの経過時間を示す。ここで、コンテンツの発生時間帯は、イベント管理DB8005に記憶されたイベントの開始日時、および実行イベント履歴管理DB8008に記憶されたコンテンツ処理の開始日時および終了日時に基づいて、生成部83によって生成される。コンテンツの発生時間帯は、時間情報の一例である。また、音データには、コンテンツ処理IDおよびコンテンツの種類が含まれる。音声テキストデータおよび画面データには、コンテンツ処理ID、コンテンツの種類およびシーケンスNoが含まれる。シーケンスNoは、音声テキストデータおよび画面データのそれぞれにコンテンツ処理が発生した発生時間順を示す。
<<テキスト情報管理テーブル>>
図15は、テキスト情報管理テーブルを示す概念図である。記憶部8000には、図15に示されているようなテキスト情報管理テーブルによって構成されているテキスト情報管理DB8012が構築されている。このテキスト情報管理テーブルでは、実行イベントID毎に、実行されたイベントにおいて生成された音声テキストデータを含むテキスト情報が管理されている。このテキスト情報には、コンテンツ処理ID、テキストデータを識別するためのテキストID、テキストデータの内容を示すtranscript、利用者IDおよびテキストデータの状態を示す状態情報が関連付けられている。このうち、コンテンツ処理IDは、コンテンツ処理の種類が「音声テキスト変換」であるコンテンツ処理を識別するものである。また、transcript(テキストデータ)は、テキスト情報として関連付けられたコンテンツ処理IDと同様のコンテンツ処理IDに、実行イベント履歴管理DB8008において関連付けられたコンテンツの内容を示すテキストデータである。さらに、状態情報は、テキストデータの編集の有無を示す情報である。状態情報には、関連付けられたテキストデータが音声テキスト変換サーバ9によって生成されたテキストデータから編集されていない場合、テキストデータが編集されていないことを示す「Original」の情報が示されている。
<<スケジュール管理サーバの各機能構成>>
次に、スケジュール管理サーバ8の各機能構成について詳細に説明する。なお、以下では、スケジュール管理サーバ8の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、スケジュール管理サーバ8の各機能構成を実現させるための主な構成要素との関係も説明する。
図8に示されているスケジュール管理サーバ8の送受信部81は、図5に示されているCPU801からの命令、および図5に示されているネットワークI/F809によって実現され、通信ネットワーク10を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。
認証部82は、図5に示されているCPU801からの命令によって実現され、共用体から送られて来る情報(利用者ID、組織IDおよびパスワード)が、利用者認証管理DB8001に予め登録されている情報であるかを判断することで、認証を行う。また、認証部82は、共用支援サーバ6から送られて来る情報(アクセスIDおよびアクセスパスワード)が、サーバ認証管理DB8006に予め登録されている情報であるかを判断することで、認証を行う。
生成部83は、図5に示されているCPU801からの命令によって実現され、関連情報管理DB8010に登録される関連情報を生成する機能である。
検索部84は、図5に示されているCPU801からの命令によって実現され、後述する図60に示す議事録検索画面590で入力されたキーワード、期間および発話者のうち少なくともいずれかを指定した検索条件に合致する議事録を検索する。例えば、キーワード、期間および発話者のうち少なくともキーワードおよび発話者により検索が必須であるものとしてもよい。
記憶・読出処理部89は、図5に示されているCPU801からの命令、および図5に示されているHDDコントローラ805によって実現され、記憶部8000に各種データを記憶したり、記憶部8000に記憶された各種データを読み出したりする処理を行う。
なお、図8に示すスケジュール管理サーバ8の送受信部81、認証部82、生成部83、検索部84および記憶・読出処理部89は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示すスケジュール管理サーバ8で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示すスケジュール管理サーバ8で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
<音声テキスト変換サーバの機能構成>
音声テキスト変換サーバ9は、送受信部91と、変換部93と、話者特定部95と、生成部97と、記憶・読出処理部99と、を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD904からRAM903上に展開されたプログラムに従ったCPU901からの命令によって動作することで実現される機能または機能する手段である。また、音声テキスト変換サーバ9は、図5に示されているHD904により構築される記憶部9000を有している。
<<利用者音声情報管理テーブル>>
図16は、利用者音声情報管理テーブルを示す概念図である。記憶部9000には、図16に示されているような利用者音声情報管理テーブルによって構成されている利用者音声情報管理DB9001が構築されている。この利用者音声情報管理テーブルでは、利用者を識別するための音声(voice)データである利用者音声データ、および話者IDが関連付けられて管理されている。利用者音声データには、電子黒板2等を用いて録音された利用者の声が記憶された音声ファイルが含まれている。音声テキスト変換サーバ9は、会議等のイベントによって発生した音データと利用者音声データとを用いて、当該音データの話者(speaker)を特定するための話者特定処理を実行する。
<<音声テキスト変換サーバの各機能構成>>
次に、音声テキスト変換サーバ9の各機能構成について詳細に説明する。なお、以下では、音声テキスト変換サーバ9の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、音声テキスト変換サーバ9の各機能構成を実現させるための主な構成要素との関係も説明する。
図8に示されている音声テキスト変換サーバ9の送受信部91は、図5に示されているCPU901からの命令、および図5に示されているネットワークI/F909によって実現され、通信ネットワーク10を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。
変換部93は、図5に示されているCPU901からの命令によって実現され、送受信部91により通信ネットワーク10を介して受信された音データを、テキストデータに変換する。
話者特定部95は、図5に示されているCPU901からの命令によって実現され、通信ネットワーク10を介して送受信部91により受信された音データの話者を特定する。
生成部97は、図5に示されているCPU901からの命令によって実現され、会議等のイベントによって発生した音データの話者を識別するための話者IDを生成する。
記憶・読出処理部99は、図5に示されているCPU901からの命令、および図5に示されているHDDコントローラ905によって実現され、記憶部9000に各種データを記憶したり、記憶部9000に記憶された各種データを読み出したりする処理を行う。
なお、上記各IDは、識別情報の一例である。また、組織IDには、社名、事業所名、部署名、地域名等が含まれる。利用者IDには、社員番号、運転免許書番号、日本の社会保障・税番号制度におけるマイナンバー等が含まれる。
また、図8に示す音声テキスト変換サーバ9の送受信部91、変換部93、話者特定部95、生成部97および記憶・読出処理部99は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示す音声テキスト変換サーバ9で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示す音声テキスト変換サーバ9で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
(実施形態の処理または動作)
以降、各実施形態の処理または動作について説明する。
<スケジュールの登録処理>
図17は、実施形態に係る共用システムのスケジュールの登録処理の流れの一例を示すシーケンス図である。図18は、サインイン画面を示す図である。図19は、PCの初期画面の一例を示す図である。図20は、スケジュール入力画面を示す図である。図17〜図20を用いて、利用者A(理光太郎)がPC5からスケジュール管理サーバ8に自己のスケジュールを登録する処理について説明する。
まず、利用者AがPC5のキーボード511等を操作することで、PC5の表示制御部54が、図18に示されているように、ディスプレイ508上にサインインを行うためのサインイン画面530を表示させる(ステップS11)。このサインイン画面530には、利用者の利用者IDおよび組織IDを入力する入力欄531、およびパスワードを入力する入力欄532、サインインを行う場合に押下されるサインインボタン538、サインインを中止する場合に押下されるキャンセルボタン539が含まれている。ここでは、利用者IDおよび組織IDが、利用者Aの電子メールアドレスになっている。電子メールアドレスのユーザ名部分が利用者IDで、ドメイン名部分が組織IDを示している。なお、入力欄531は、電子メールアドレスではなく、利用者IDおよび組織IDを別々に入力する入力欄であってもよい。
次に、利用者Aが、入力欄531に自己の利用者IDおよび組織IDを入力し、入力欄532に自己のパスワードを入力し、サインインボタン538を押下すると、受付部52が、サインインの要求を受け付ける(ステップS12)。そして、PC5の送受信部51は、スケジュール管理サーバ8に対して、サインインの要求を示すサインイン要求情報を送信する(ステップS13)。このサインイン要求情報には、ステップS12によって受け付けられた情報(利用者ID、組織ID、およびパスワード)が含まれている。これにより、スケジュール管理サーバ8の送受信部81は、サインイン要求情報を受信する。
次に、スケジュール管理サーバ8の認証部82は、利用者ID、組織ID、およびパスワードを利用して利用者Aの認証を行う(ステップS14)。具体的には、記憶・読出処理部89は、利用者認証管理DB8001(図11(A)参照)において、ステップS13によって受信された利用者ID、組織ID、およびパスワードの組に対応する利用者ID、組織IDおよびパスワードの組を検索する。対応する組がある場合には、認証部82は、要求元の利用者Aを正当な利用者であると判断する。対応する組がない場合には、認証部82は、利用者Aを不当な(正当でない)利用者であると判断する。正当でない場合には、送受信部81がPC5に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
次に、送受信部81は、PC5に対して、認証結果を送信する(ステップS15)。これにより、PC5の送受信部51は、認証結果を受信する。
次に、PC5の生成部56は、ステップS15によって正当である旨の認証結果が受信された場合、図19に示されているような初期画面540を生成する(ステップS16)。そして、PC5の表示制御部54は、ディスプレイ508上に、図19に示されているような初期画面540を表示させる(ステップS17)。この初期画面540には、スケジュールを登録する場合に押下される「スケジュール登録」ボタン541、実行イベント履歴を閲覧する場合に押下される「実行イベント履歴閲覧」ボタン543、および初期画面を閉じるための「閉じる」ボタン549が含まれている。ここで、利用者が「スケジュール登録」ボタン541を押下すると、受付部52は、スケジュール登録を受け付ける(ステップS18)。そして、送受信部51は、スケジュール管理サーバ8に対して、スケジュール登録要求を送信する(ステップS19)。これにより、スケジュール管理サーバ8の送受信部81は、スケジュール登録要求を受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS13によって受信された組織IDを検索キーとして利用者管理DB8002(図11(B)参照)を検索することにより、対応する全ての利用者IDおよび全ての利用者名を読み出す(ステップS20)。そして、送受信部81は、PC5に対して、スケジュール入力画面情報を送信する(ステップS21)。このスケジュール入力画面情報には、ステップS20によって読み出された全ての利用者IDおよび全ての利用者名が含まれている。全ての利用者名には、ステップS12でサインインのための入力を行った利用者Aである予約者の名称(名前)も含まれている。これにより、PC5の送受信部51は、スケジュール入力画面情報を受信する。
次に、PC5では、生成部56がステップS21によって受信されたスケジュール入力画面情報を用いて、スケジュール入力画面550を生成する。(ステップS22)。そして、PC5の表示制御部24は、ディスプレイ508上に、図20に示されているようなスケジュール入力画面550を表示させる(ステップS23)。
このスケジュール入力画面550には、イベント名を入力するための入力欄551、共用体IDまたは共用体名を入力するための入力欄552、イベントの実行(共用体の利用)開始予定日時を入力するための入力欄553、イベントの実行(共用体の利用)終了予定日時を入力するための入力欄554、アジェンダ等のメモを入力するための入力欄555、予約者名を表示するための表示領域556、予約者以外の他の参加者の参加者名を選択するための選択メニュー557、予約を登録する場合に押下される「OK」ボタン558、入力中または入力された内容をキャンセルする場合に押下される「CANCEL」ボタン559が含まれている。予約者名は、ステップS12でPC5にサインインのための入力を行った利用者の名称である。また、マウスポインタp1も表示されている。
なお、入力欄552には、電子メールアドレスを入力してもよい。また、選択メニュー557で、共用体名が選択されると、共用体も他の参加者として追加される。
次に、利用者Aが、入力欄551〜555に所定の事項を入力し、マウスポインタp1を利用して選択メニュー557からイベントに参加させたい利用者の名称(利用者名)を選択し、「OK」ボタン558を押下すると、受付部52は、スケジュール情報の入力を受け付ける(ステップS24)。そして、送受信部51は、スケジュール管理サーバ8に対して、スケジュール情報を送信する(ステップS25)。このスケジュール情報には、イベント名、共用体ID(または共用体名)、開始予定日時、終了予定日時、各参加者の利用者ID、およびメモが含まれている。なお、スケジュール入力画面550において、入力欄552に共用体IDが入力された場合には、この共用体IDが送信され、入力欄552に共用体名が入力された場合には、この共用体名が送信される。また、スケジュール入力画面550では、選択メニュー557で利用者名が選択されるが、ステップS21で利用者IDも受信されているため、利用者名に対応する利用者IDが送信される。これにより、スケジュール管理サーバ8の送受信部81は、スケジュール情報を受信する。
次に、スケジュール管理サーバ8では、ステップS25によって受信された共用体ID(または共用体名)を検索キーとして共用体管理DB8003(図11(C)参照)を検索することにより、対応する共用体名(または共用体ID)を読み出す(ステップS26)。
次に、記憶・読出処理部89は、共用体予約管理DB8004(図12(A)参照)に対して、予約情報を記憶する(ステップS27)。この場合、記憶・読出処理部89は、予め登録しているスケジューラで管理されている共用体予約管理DB8004の共用体予約管理テーブルに1レコード分の予約情報を追加する。予約情報は、ステップS25によって受信されたスケジュール情報、およびステップS26によって読み出された共用体名(または共用体ID)に基づいて構成されている。なお、共用体予約管理DB8004における利用開始予定日時は、スケジュール情報における開始予定日時に相当する。また、共用体予約管理DB8004における利用終了予定日時は、スケジュール情報における終了予定日時に相当する。
さらに、記憶・読出処理部89は、イベント管理DB8005(図12(B)参照)に対して、予定情報を記憶する(ステップS28)。この場合、記憶・読出処理部89は、予め登録しているスケジューラで管理されているイベント管理DB8005のイベント管理テーブルに1レコード分の予定情報を追加する。予定情報は、ステップS25によって受信されたスケジュール情報に基づいて構成されている。なお、イベント管理DB8005におけるイベント開始予定日時は、スケジュール情報における開始予定日時に相当する。また、イベント管理DB8005におけるイベント終了予定日時は、スケジュール情報における終了予定日時に相当する。
以上により、利用者Aは、スケジュール管理サーバ8に自己のスケジュールを登録することができる。なお、図17〜図20では、PC5によってスケジュール登録を行う場合について説明したが、同様の処理によって、電子黒板2、ビデオ会議端末3またはカーナビゲーション装置4でスケジュール登録を行ってもよい。
<利用者音声データの登録処理>
図21は、実施形態に係る共用システムの利用者音声データの登録処理の流れの一例を示すシーケンス図である。図22は、利用者音声データの登録のためのサインイン画面を示す図である。図23は、利用者音声データ登録画面を示す図である。図21〜図23を参照しながら、会議等のイベントによって発生した音データに対する話者の特定に用いる利用者音声データを登録する処理について説明する。
まず、利用者Aが電子黒板2の接触センサ214等に対して操作することによって、電子黒板2の表示制御部24が、図22に示されているように、ディスプレイ220上に話者登録を実行する際のサインインを行うためのサインイン画面520を表示させる(ステップS231)。このサインイン画面520は、利用者の利用者IDおよび組織IDを入力する入力欄521と、およびパスワードを入力する入力欄522と、サインインを行う場合に押下されるサインインボタン528と、サインインを中止する場合に押下されるキャンセルボタン529と、を含む。ここでは、利用者IDおよび組織IDが、利用者Aの電子メールアドレスになっている。電子メールアドレスのユーザ名部分が利用者IDで、ドメイン名部分が組織IDを示している。なお、入力欄521は、電子メールアドレスではなく、利用者IDおよび組織IDを別々に入力する入力欄であってもよい。
次に、利用者Aが、入力欄521に自己の利用者IDおよび組織IDを入力し、入力欄522に自己のパスワードを入力し、サインインボタン528を押下すると、受付部22が、サインインの要求を受け付ける(ステップS232)。そして、電子黒板2の送受信部21は、スケジュール管理サーバ8に対して、サインインの要求を示すサインイン要求情報を送信する(ステップS233)。このサインイン要求情報には、ステップS232によって受け付けられた情報(利用者ID、組織ID、およびパスワード)が含まれている。これにより、スケジュール管理サーバ8の送受信部81は、サインイン要求情報を受信する。
次に、スケジュール管理サーバ8の認証部82は、利用者ID、組織ID、およびパスワードを利用して利用者Aの認証を行う(ステップS234)。具体的には、記憶・読出処理部89は、利用者認証管理DB8001(図11(A)参照)において、ステップS233によって受信された利用者ID、組織ID、およびパスワードの組に対応する利用者ID、組織IDおよびパスワードの組を検索する。対応する組がある場合には、認証部82は、要求元の利用者Aを正当な利用者であると判断する。対応する組がない場合には、認証部82は、利用者Aを不当な(正当でない)利用者であると判断する。正当でない場合には、送受信部81が電子黒板2に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
次に、送受信部81は、電子黒板2に対して、認証結果を送信する(ステップS235)。これにより、電子黒板2の送受信部21は、認証結果を受信する。
次に、電子黒板2の表示制御部24は、ステップS235によって正当である旨の認証結果が受信された場合、図23に示されているような利用者音声データ登録画面560を生成する(ステップS236)。そして、PC5の表示制御部24は、ディスプレイ508上に、図23に示されているような利用者音声データ登録画面560を表示させる(ステップS237)。この利用者音声データ登録画面560は、利用者の声が録音された利用者音声データのファイル名を表示する音声データ表示領域561と、利用者の声を録音する場合に押下される録音ボタン562と、録音された利用者音声データを再生する場合に押下される再生ボタン563と、録音された利用者音声データを登録する場合に押下される「登録」ボタン568と、利用者音声データの登録処理を中止する場合に押下される「キャンセル」ボタン569と、を含む。
次に、利用者Aが、録音ボタン562を選択し、マイク2200を用いて自らの声の録音を行うと、音処理部23−2は、録音された利用者Aの音声を含む利用者音声データを取得する(ステップS238)。そして、利用者Aが、「登録」ボタン568を押下すると、受付部22は、利用者音声データの登録要求を受け付ける(ステップS239)。
そして、送受信部21は、音声テキスト変換サーバ9に対して、ステップS238によって取得された利用者音声データを送信する(ステップS240)。これにより、音声テキスト変換サーバ9の送受信部91は、利用者音声データを受信する。
次に、音声テキスト変換サーバ9の生成部97は、イベントによって発生する音データの話者(speaker)を特定するための話者IDを生成する(ステップS241)。また、記憶・読出処理部99は、利用者音声情報管理DB9001(図16参照)に対して、利用者音声情報を記憶する(ステップS242)。利用者音声情報には、ステップS240によって受信された利用者音声データ、およびステップS241によって生成された話者IDが含まれている。
そして、送受信部91は、共用支援サーバ6に対して、ステップS241によって生成された話者IDを送信する(ステップS243)。これにより、共用支援サーバ6の送受信部61は、話者IDを受信する。共用支援サーバ6の記憶・読出処理部69は、話者情報管理DB6007(図10(B)参照)に対して、話者情報を記憶する(ステップS244)。この話者情報には、ステップ234によって認証された利用者Aの利用者ID、およびステップS243によって受信された話者IDが含まれている。
以上により、利用者Aは、会議等のイベントが開始される前に、予め自らの声のデータである利用者音声データを、予め音声テキスト変換サーバ9へ登録することができる。なお、図21〜図23では、電子黒板2によって話者情報の登録を行う場合について説明したが、同様の処理によって、ビデオ会議端末3、カーナビゲーション装置4またはPC5でスケジュール登録を行ってもよい。
<イベント開始処理>
図24および図27は、実施形態に係る共用システムのイベントの開始処理の流れの一例を示すシーケンス図である。図25は、電子黒板に表示されるサインイン画面を示す図である。図26は、共用体の予約リスト画面を示す図である。図28は、イベントの詳細情報画面を示す図である。図29は、イベント開始時に電子黒板に表示される表示画面を示す図である。図30は、利用者が電子黒板を利用する状態を示すイメージ図である。図24〜図30を用いて、利用者A(理光太郎)が予約しておいた会議室Xで、電子黒板2を利用して他の参加者と会議をする処理について説明する。
まず、利用者Aが電子黒板2の電源スイッチ222を押下することで、電子黒板2の受付部22が、利用者から電源ONを受け付ける(ステップS31)。受付部22によって電源ONが受け付けられることで、図6に示したLauncher102が起動する。そして、電子黒板2の表示制御部24は、図25に示されているように、ディスプレイ220上にサインインを行うためのサインイン画面110を表示させる(ステップS32)。このサインイン画面110には、利用者Aが自己のICカードを用いてサインインを行う場合に押下される選択アイコン111、利用者Aが自己の電子メールアドレス(利用者IDおよび組織ID)並びにパスワードを入力することによってサインインを行う場合に押下される選択アイコン113、およびサインインを行わずに電源OFFする場合に押下される電源アイコン115が含まれている。
次に、利用者Aが、選択アイコン111を押下して、ICカードリーダ等の近距離通信回路219に対する通信を行うか、または、利用者Aが、選択アイコン113を押下して、利用者Aによる自己の電子メールアドレスおよびパスワードを入力が行うことで、受付部22が、サインインの要求を受け付ける(ステップS33)。そして、送受信部21は、共用支援サーバ6に対して、サインイン要求を示すサインイン要求情報を送信する(ステップS34)。このサインイン要求情報には、ステップS33によって受け付けられた情報(利用者ID、組織IDおよびパスワード)、電子黒板2が設置されている国もしくは地域のタイムゾーン情報、並びに通信端末(ここでは電子黒板2)の利用者ID、組織IDおよびパスワードが含まれている。これにより、共用支援サーバ6の送受信部61は、サインイン要求情報を受信する。
次に、共用支援サーバ6の認証部62は、ステップS34によって受信された利用者Aの利用者ID、組織IDおよびパスワードを利用して利用者Aの認証を行う(ステップS35)。具体的には、記憶・読出処理部69は、ステップS34によって受信された利用者Aの利用者ID、組織IDおよびパスワードを検索キーとして、利用者認証管理DB6001(図9(A)参照)において、上記受信された利用者Aの利用者ID、組織IDおよびパスワードの組に対応する利用者ID、組織IDおよびパスワードの組を検索する。対応する組がある場合、認証部62は、要求元の利用者Aを正当な利用者であると判断する。対応する組がない場合、認証部62は、要求元の利用者Aを不当な(正当でない)利用者であると判断する。正当でない場合には、送受信部61が電子黒板2に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
次に、共用支援サーバ6の記憶・読出処理部69は、ステップS34によって受信された利用者Aの組織IDを検索キーとしてアクセス管理DB6002(図9(B)参照)を検索することにより、対応するアクセスIDおよびアクセスパスワードを読み出す(ステップS36)。
次に、送受信部61は、スケジュール管理サーバ8に対して、共用体の予約情報の要求を示す予約要求情報および利用者の予定情報の要求を示す予定要求情報を送信する(ステップS37)。予約要求情報および予定要求情報には、ステップS34によって受信された、タイムゾーン情報、通信端末の利用者IDおよび組織ID、並びにステップS36によって読み出された、アクセスIDおよびアクセスパスワードが含まれている。これにより、スケジュール管理サーバ8の送受信部81は、予約要求情報および予定要求情報を受信する。
次に、スケジュール管理サーバ8の認証部82は、アクセスIDおよびアクセスパスワードを利用して共用支援サーバ6の認証を行う(ステップS38)。具体的には、記憶・読出処理部89は、サーバ認証管理DB8006(図13(A)参照)において、ステップS37によって受信されたアクセスIDおよびアクセスパスワードの組に対応するアクセスIDおよびアクセスパスワードの組を検索する。対応する組がある場合、認証部82は、要求元の共用支援サーバ6を正当なアクセス者であると判断する。対応する組がない場合、認証部82は、要求元の共用支援サーバ6を不当な(正当でない)アクセス者であると判断する。正当でない場合には、送受信部81が共用支援サーバ6に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
スケジュール管理サーバ8の記憶・読出処理部89は、ステップS37によって受信された通信端末の利用者IDを検索キーとして、スケジューラで管理している共用体予約管理DB8004(図12(A)参照)を検索することにより、対応する予約情報を読み出す(ステップS39)。この場合、記憶・読出処理部89は、利用開始予定日時が本日である予約情報を読み出す。
さらに、記憶・読出処理部89は、ステップS37によって受信された通信端末の利用者IDを検索キーとして、スケジューラで管理しているイベント管理DB8005(図12(B)参照)を検索することにより、対応する予定情報を読み出す(ステップS40)。この場合、記憶・読出処理部89は、イベント開始予定日時が本日である予定情報を読み出す。スケジュール管理サーバ8が、電子黒板2等の通信端末とは別の国や地域にあった場合には、タイムゾーン情報に基づいて、タイムゾーンを通信端末が設置されている国や地域に併せて調整している。
次に、送受信部81は、共用支援サーバ6に対して、ステップS39によって読み出された予約情報、およびステップS40によって読み出された予定情報を送信する(ステップS41)。これにより、共用支援サーバ6の送受信部61は、予約情報および予定情報を受信する。
次に、共用支援サーバ6の作成部63は、ステップS41によって受信された予約情報および予定情報に基づいて、予約リストを作成する(ステップS42)。そして、送受信部61は、電子黒板2に対して、予約リストの内容を示す予約リスト情報を送信する(ステップS43)。これにより、電子黒板2の送受信部21は、予約リスト情報を受信する。
次に、電子黒板2では、表示制御部24が、ディスプレイ220上に、図22に示されているような予約リスト画面230を表示させる(ステップS44)。この予約リスト画面230には、共用体名(ここでは場所名)を表示する表示領域231、および本日の日時を表示する表示領域232が含まれている。さらに、予約リスト画面230には、本日の本共用体(ここでは、会議室X)を利用するイベントを示すイベント情報235、236、237等が表示されている。各イベント情報には、イベント毎に、本共用体の利用開始予定時刻および利用終了予定時刻、イベント名、本共用体を予約した予約者の名称(予約者名)が含まれている。イベント情報には、利用者が開始するイベントを特定する場合に押下される開始ボタン235s、236s、237s等が含まれている。
次に、図27において、利用者Aが、例えば、電子ペン2500等で開始ボタン235sを押下すると、受付部22が、イベント情報235で示されるイベントの選択を受け付ける(ステップS51)。次に、電子黒板2の送受信部21は、共用支援サーバ6に対して、上記ステップS51で選択された予定イベントを示す予定イベントIDを送信する(ステップS52)。ステップS52の処理は、実行イベント識別情報の送信要求処理である。これにより、共用支援サーバ6の送受信部61は、選択された予定イベントIDを受信する。
次に、共用支援サーバ6では、生成部64が、固有の実行イベントIDを生成する(ステップS53)。そして、記憶・読出処理部69が、ステップS53によって生成された実行イベントID、ステップS52によって受信された予約イベントID、予約者の利用者IDおよび組織ID、並びにイベント情報を関連付けて管理する(ステップS54)。なお、予約者の利用者IDおよび組織ID、並びにイベント情報は、ステップS41によって受信された予約情報および予定情報に基づくIDおよび情報である。なお、この時点では、予約管理テーブル(図9(C)参照)における参加有無欄への入力はない。
次に、共用支援サーバ6では、送受信部61が、スケジュール管理サーバ8に登録されたファイルデータの送信要求を示すファイルデータ送信要求情報を、スケジュール管理サーバ8へ送信する(ステップS55)。ファイルデータ送信要求情報には、ステップS52によって受信された予定イベントID、ステップS34によって受信された通信端末の利用者IDおよび組織ID、並びにステップS36によって読み出されたアクセスIDおよびアクセスパスワードが含まれている。これにより、スケジュール管理サーバ8の送受信部81は、ファイルデータ送信要求情報を受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS55によって受信された予定イベントIDを検索キーとしてイベント管理DB8005(図12(B)参照)を検索することにより、予定イベントIDに関連付けられたファイルデータを読み出す(ステップS56)。そして、送受信部81は、ステップS56によって読み出されたファイルデータを、共用支援サーバ6へ送信する(ステップS57)。これにより、共用支援サーバ6の送受信部61は、ファイルデータを受信する。
次に、共用支援サーバ6の記憶・読出処理部69は、ステップS52によって受信された予定イベントID、およびステップS53によって生成された実行イベントIDに関連付けて、ステップS57によって受信されたファイルデータを、予定管理DB6003(図9(C)参照)に記憶して管理する(ステップS58)。
そして、送受信部61は、電子黒板2に対して、ステップS53によって生成された実行イベントID、およびステップS57によって受信されたファイルデータを送信する(ステップS59)。これにより、電子黒板2の送受信部21は、実行イベントIDおよびファイルデータを受信する。
次に、電子黒板2では、記憶・読出処理部29が、記憶部2000に、実行イベントIDおよびファイルデータを記憶しておく(ステップS60)。ここで、共用支援サーバ6から送信されたファイルデータは、記憶部2000の特定の記憶領域に記憶される。これにより、電子黒板2は、イベントの実行中に、特定の記憶領域にアクセスすることによって、表示制御部24が特定の記憶領域に記憶されたファイルデータをディスプレイ220に表示させる。ここで、特定の記憶領域は、実行中のイベント毎に設けられたデータの一時的な記憶先であり、記憶部2000内での所在を示す任意のパス(文字列)によって特定される記憶領域である。なお、特定の記憶領域は、電子黒板2の内部に設けられる構成に限られず、電子黒板2に接続される外部記憶装置、またはオンプレミス環境に存在し、電子黒板2と通信可能なローカルサーバ等に設けられる構成であってもよい。
次に、表示制御部24は、ディスプレイ220上に、図28に示されているように、選択されたイベントの詳細情報画面250を表示させる(ステップS61)。このイベントの詳細情報画面250には、イベント名の表示領域251、イベントの実施予定時間(開始予定時間および終了予定時間)の表示領域252、および予約者名の表示領域253が含まれている。さらに、イベントの詳細情報画面250には、メモの内容を表示するための表示領域256、参加予定者名を表示するための表示領域257、および記憶部2000の特定の記憶領域に記憶されたファイルデータを識別するための識別情報(例えば、ファイル名)を表示するための表示領域258が表示されている。表示領域257には、図20によって示されている予約者名および選択された他の参加者名が表示されると共に、各参加予定者名には実際に会議に参加している人をチェックするためのチェックボックスが表示されている。また、表示領域258には、記憶部2000の特定の記憶領域に記憶されたファイルデータ、すなわち共用支援サーバ6からダウンロードされたファイルデータのファイル名が表示されているとともに、共用支援サーバ6からダウンロード中のファイルデータのファイル名も表示されている。さらに、イベントの詳細情報画面250の右下側には、この詳細情報画面250を閉じるための「閉じる」ボタン259が含まれている。
次に、利用者が、参加予定者名のうち、実際に参加している利用者のチェックボックスにチェックして、「閉じる」ボタン259を押下すると、受付部22は、参加者の選択を受け付ける(ステップS62)。そして、送受信部21は、共用支援サーバ6に対して、各参加予定者の利用者IDおよび参加の有無を示す情報を送信する(ステップS63)。これにより、共用支援サーバ6の送受信部61は、各参加予定者の利用者IDおよび参加の有無を示す情報を受信する。
次に、共用支援サーバ6では、予定管理DB6003において、入力されていなかった参加有無欄に、参加の有無を記憶して管理する(ステップS64)。また、共用支援サーバ6の記憶・読出処理部69は、ステップS63によって受信された参加者の利用者IDを検索キーとして話者情報管理DB6007を検索することにより対応する話者IDを読み出す(ステップS65)。そして、送受信部61は、音声テキスト変換サーバ9に対して、ステップS65によって読み出された参加者の話者IDを、音声テキスト変換サーバ9へ送信する(ステップS66)。これにより、音声テキスト変換サーバ9の送受信部91は、参加者の話者IDを受信する。音声テキスト変換サーバ9は、ステップS66によって受信された参加者の話者IDの情報を、後述する話者特定処理(図33等参照)における話者候補として使用する。
以上により、利用者Aは、共用体(ここでは、会議室X)および通信端末(ここでは、電子黒板2)を利用して、イベント(ここでは、方針決定会議)を開始する。電子黒板2の表示制御部24は、イベントが開始されると、ディスプレイ220に、図29に示されているような表示画面100aを表示させる。図29に示す表示画面100aには、メニューバー121、イベント開始からの経過時間またはイベント終了までの残り時間を示す時間情報124、並びに電子黒板2の電源をOFFする場合に押下される電源アイコン117が含まれている。メニューバー121は、Launcher102の操作表示画面(ウインドウ)の一例である。このメニューバー121には、イベント実行中の各種処理を行う際に選択(押下)される複数の操作アイコン125(125a〜125j)を含まれている。操作アイコン125aは、実行中のイベントの詳細情報を閲覧するために選択(押下)される。操作アイコン125bは、各種外部アプリ103を起動させる際に選択(押下)される。操作アイコン125cは、記憶部2000の特定の記憶領域に記憶されたファイルデータを閲覧する際に選択(押下)される。操作アイコン125dは、起動中の外部アプリ103のアプリ表示画面の表示を切り替える際に選択(押下)される。操作アイコン125eは、外部アプリ103のアプリ表示画面の画面サイズを変更する際に選択(押下)される。操作アイコン125fは、実行されているイベントに関する各種操作を行う際に選択(押下)される。操作アイコン125gは、ディスプレイ220に表示されている表示画面100aをキャプチャする際に選択(押下)される。操作アイコン125hは、実行中のイベントを終了する際に選択(押下)される。操作アイコン125iは、ブラウザを用いた検索を行うためにブラウザアプリ103cを起動させる際に選択(押下)される。操作アイコン125jは、文字または数値等の入力を行う際に選択(押下)される。
ここで、電子黒板2に表示される表示画面に含まれる各種アイコンは、「受付領域」の一例である。受付領域は、アイコンやボタン等の画像だけでなく、「変更」等の文字、または画像と文字を組み合わせたものであってもよい。ここでの画像は、記号や図形だけでなく、イラストや模様等のユーザが視認できる画像であればよい。また、各種アイコンの選択(押下)は、各種アイコンに対する操作の一例である。各種アイコンに対する操作には、例えば、電子ペン2500を用いたディスプレイ220への入力操作、PC2700が有する入力手段の一例であるマウスによるダブルクリックまたはシングルクリック、PC2700が有する入力手段の一例であるキーボードを用いた入力操作が挙げられる。
そして、図30に示されているように、利用者Aは、会議室Xで、電子黒板2を利用して会議を行うことができる。電子黒板2の表示制御部24は、イベント実行画面Rとして、表示画面100aに含まれるメニューバー121が縮小されたメニューバー120および資料ファイルのファイルデータr4を、ディスプレイ220に表示させる。例えば、電子黒板2の利用者Aは、操作アイコン125cを押下することで、受付部22が操作アイコン125cの選択を受け付け、表示制御部24が記憶部2000の特定の記憶領域に記憶された資料ファイルのファイルデータr4を表示させる。なお、電子黒板2の表示制御部24は、ステップS59によって受信されたファイルデータだけでなく、記憶部2000に予め記憶されたファイルデータ、または開始されているイベントにおいて新たに生成されるファイルデータを表示させてもよい。この場合、電子黒板2の記憶・読出処理部29は、開始されているイベントにおいて生成または更新されたファイルデータを、記憶部2000の特定の記憶領域に記憶させる。
<実行イベント履歴の登録処理>
続いて、図31〜図36を用いて、実行イベント履歴の登録処理について説明する。
図31および図36は、実施形態に係る共用システムの実行イベント履歴の登録処理の流れの一例を示すシーケンス図である。図32は、実施形態に係る共用システムの音声テキスト変換処理の流れの一例を示すフローチャートである。図33は、実施形態に係る共用システムの話者特定処理の流れの一例を示すフローチャートである。
まず、電子黒板2の判断部25は、開始されているイベントにおけるコンテンツの処理の種類を判断する(ステップS71)。具体的には、コンテンツが音処理部23−2による録音によって生じる音データの場合には、判断部25は、コンテンツの処理の種類が「録音」であると判断する。コンテンツが画像処理部23−1によるスナップショット(キャプチャ)によって取得された画像データの場合には、判断部25は、コンテンツの処理の種類が「スナップショット」であると判断する。コンテンツが送受信部21によって送信された資料ファイルデータの場合には、判断部25は、コンテンツの処理の種類が「資料送信」であると判断する。
次に、送受信部21は、共用支援サーバ6へ、発生したコンテンツの登録要求を示す登録要求情報を送信する(ステップS72)。この場合、送受信部21は、コンテンツが発生するたびに自動的に登録要求情報を送信する。この登録要求情報には、実行イベントID、コンテンツの送信元の利用者ID、コンテンツデータ、およびコンテンツ処理の種類情報が含まれている。これにより、共用支援サーバ6の送受信部61は、登録要求情報を受信する。
次に、共用支援サーバ6の判断部65は、送受信部61によって受信された登録要求情報に含まれる種類情報に基づいて、受信されたコンテンツ処理の種類を判断する(ステップS73)。そして、共用支援サーバ6の送受信部61は、判断部65によってコンテンツ処理の種類が「録音」であると判断された場合、音声テキスト変換サーバ9へ、コンテンツデータである音データを送信する(ステップS74)。これにより、音声テキスト変換サーバ9の送受信部91は、音データを受信する。なお、コンテンツ処理の種類が「録音」以外である場合、共用支援サーバ6は、ステップS74〜ステップS78の処理は行わずに、ステップS79の処理へ移行する。
次に、音声テキスト変換サーバ9の変換部93は、送受信部91によって受信された音データを、テキストデータに変換する(ステップS75)。ここで、図32を用いて、ステップS75の音声テキスト変換サーバ9における音声テキスト変換処理について説明する。まず、変換部93は、送受信部91によって音データが受信された日時を示す情報を取得する(ステップS75−1)。なお、ステップS75−1によって取得される情報は、共用支援サーバ6が音データを受信した日時または共用支援サーバ6が音データを送信した日時を示す情報であってもよい。この場合、音声テキスト変換サーバ9の送受信部91は、ステップS74において、共用支援サーバ6から送信された音データおよび上記日時を示す情報を受信する。
次に、変換部93は、送受信部91によって受信された音データのテキスト変換処理を実行する(ステップS75−2)。そして、変換部93は、音データのテキスト変換処理が完了した場合(ステップS75−3のYES)、処理をステップS75−4へ移行させる。一方で、変換部93は、音データのテキスト変換処理が完了するまでステップS75−2の処理を繰り返す。ここで、ステップS75−3において、変換部93は、送受信部91によって受信された音データに基づいて、所定の分量のテキスト変換が行われた場合、音データのテキスト変換処理が完了したと判断する。例えば、変換部93は、1センテンス分のテキスト変換が行われた場合、音データのテキスト変換処理が完了したと判断する。そして、変換部93は、音データから変換されたテキストデータを生成する(ステップS75−4)。これにより、音声テキスト変換サーバ9は、共用支援サーバ6から送信された音データをテキストデータに変換する。音声テキスト変換サーバ9は、共用支援サーバ6から送信された音データを随時受信しているため、図32に示す処理を繰り返し実行する。
ここで、図34を用いて、図31のステップS74、S75およびS77、および図32で説明した音声テキスト変換処理について、より詳細に説明する。図34は、実施形態に係る共用システムの音声テキスト変換処理の流れの一例を示すシーケンス図である。なお、図34では、図31のステップS76の処理は省略して説明する。
図31のステップS74に示すように、電子黒板2の送受信部21は、共用支援サーバ6に対して、実行されているイベントによって発生した音データを随時送信する(ステップSa1、ステップSa2)。これにより、共用支援サーバ6の送受信部61は、電子黒板2から送信された音データを随時受信する。そして、共用支援サーバ6の送受信部61は、電子黒板2から送信された音データを、音声テキスト変換サーバ9へ随時送信する(ステップSb1、ステップSb2)。これにより、音声テキスト変換サーバ9の送受信部91は、共用支援サーバ6から送信された音データを随時受信する。
ここで、ステップSa1によって電子黒板2から共用支援サーバ6へ送信された音データは、ステップSb1によって共用支援サーバ6から音声テキスト変換サーバ9へ送信された音データに対応し、ステップSa2によって電子黒板2から共用支援サーバ6へ送信された音データは、ステップSb2によって共用支援サーバ6からスケジュール管理サーバ8へ送信された音データに対応する。このように、電子黒板2の音処理部23−2によって集音されて処理された音データは、随時音声テキスト変換サーバ9へ送信される。
音声テキスト変換サーバ9の変換部93は、送受信部91によって受信された音データを、テキストデータに変換する。そして、音声テキスト変換サーバ9の送受信部91は、共用支援サーバ6に対して、変換部93によって変換されたテキストデータを送信する(ステップSc1)。この場合、ステップSc1によって送信されるテキストデータは、ステップSb1およびステップSb2によって受信された音データがテキスト変換されたテキストデータである。
ここで、ステップSc1によって音声テキスト変換サーバ9から共用支援サーバ6に送信されるテキストデータは、未確定のテキストデータである。音声テキスト変換サーバ9の変換部93は、所定の分量のテキスト変換が行われた場合、音データのテキスト変換が完了し、テキストデータが確定したと判断する。例えば、変換部93は、1センテンス分のテキスト変換が行われた場合、音データのテキスト変換が完了し、テキストデータが確定したと判断する。ステップSc1では、未確定のテキストデータであるため、送受信部91は、変換部93によって変換されたテキストデータ(「In this fiscal year, more」)とともに、テキストデータが確定していない(未確定)ことを示す未確定フラグを送信する。
そして、共用支援サーバ6の送受信部61は、音声テキスト変換サーバ9から送信されたテキストデータ(未確定のテキストデータ)を、電子黒板2へ送信する(ステップSc2)。これにより、電子黒板2の送受信部21は、共用支援サーバ6から送信されたテキストデータ(未確定のテキストデータ)を受信する。そして、電子黒板2の表示制御部24は、送受信部21によって受信されたテキストデータを、ディスプレイ508に表示させる。電子黒板2は、図30に示されているようなイベント実行画面Rに、実行中のイベントによって発生した音データの字幕表示としてテキストデータを表示させることができる。なお、電子黒板2は、未確定のテキストデータであっても受信して表示させることで、電子黒板2の利用者に、音声テキスト変換サーバ9による音声テキスト変換処理が随時行われていることを確認させることができる。
共用システム1は、上記で示されるような処理を繰り返す(ステップSa3〜Sa7、Sb3〜Sb7、Sc3〜Sc4)ことにより、電子黒板2の音処理部23−2によって集音されて処理された音データのテキスト変換処理を繰り返し実行する。なお、音声テキスト変換サーバ9によって未確定のテキストデータを送信すされる回数(頻度)は、適宜設定可能である。
音声テキスト変換サーバ9の送受信部91は、変換部93によって音データのテキスト変換が完了し、テキストデータが確定したと判断された場合、確定のテキストデータを、共用支援サーバ6に対して送信する(ステップSc5)。この場合、送受信部91は、変換部93によって変換されたテキストデータ(「In this fiscal year, more than twice the results of last year.」)とともに、テキストデータが確定したことを示す確定フラグを送信する。これにより、共用支援サーバ6の送受信部61は、音声テキスト変換サーバ9から送信されたテキストデータ(確定のテキストデータ)を受信する。
ここで、ステップSc5によって受信されたテキストデータは、図31のステップS81の処理によってコンテンツ管理DB6005に記憶されて管理される。この場合、ステップSc5によって受信されたテキストデータの処理に係る日時は、ステップSb1よって音データが送信された日時から、ステップSc5によってテキストデータが受信された日時となる。すなわち、コンテンツ管理DB6005に記憶されるコンテンツ処理の開始日時は、ステップSb1によって音データが送信された日時であり、コンテンツ処理の終了日時は、ステップSc5によってテキストデータが受信された日時である。このように、共用支援サーバ6は、音声テキスト変換サーバ9から送信されたテキストデータ(確定したテキストデータ)とともに、テキストデータに対応する音データの音声テキスト変換サーバ9への送信が開始された日時から確定したテキストデータを受信した日時を、コンテンツ処理の開始および終了日時として管理することができる。
そして、共用支援サーバ6の送受信部61は、電子黒板2に対して、音声テキスト変換サーバ9から送信されたテキストデータ(確定のテキストデータ)を送信する(ステップSc6)。これにより、電子黒板2の送受信部21は、共用支援サーバ6から送信されたテキストデータを受信する。そして、電子黒板2の送受信部21は、共用支援サーバ6から送信されたテキストデータをディスプレイ220に表示させる。
このように、共用システム1は、実行されているイベントによって発生した音データを、音声テキスト変換サーバ9を用いてテキストデータに変換することができるとともに、テキストデータの発生時間に関する情報(コンテンツ処理の開始日時および終了日時)を共用支援サーバ6およびスケジュール管理サーバ8に記憶させて管理させることができる。
図31に戻り、実行イベント履歴の登録処理の説明を続ける。話者特定部95は、送受信部91によって受信された音データに係る音声の話者を特定する(ステップS76)。ここで、図33を用いて、ステップS76の音声テキスト変換サーバ9における話者特定処理について説明する。
まず、記憶・読出処理部99は、利用者音声情報管理DB9001から、実行されているイベントの話者候補の利用者音声データを読み出す(ステップS76−1)。具体的には、記憶・読出処理部99は、ステップS66によって受信された参加者の話者IDを検索キーとして利用者音声情報管理DB9001(図16参照)を検索することにより、対応する利用者音声データを読み出す。
次に、話者特定部95は、ステップS76−1によって読み出された利用者音声データのうち、ステップS74によって受信された音データに対応する利用者音声データを抽出する(ステップS76−2)。すなわち、話者特定部95は、ステップS76−1で読み出された利用者音声データと、ステップS74で受信された音データとを比較する。ここで、話者特定部95による利用者音声データの抽出処理は、例えば、人工知能(AI:Artificial Intelligence)による機械学習プログラムを用いる。話者特定部95は、受信された音データに含まれる声の高さ、声質、抑揚、強勢、音長またはリズム等の特徴に基づいて、予め記憶された利用者音声データとの一致度を判別し、最も一致度の高い利用者音声データを抽出する。なお、話者特定部95による利用者音声データの抽出処理は、汎用的な技術を用いるため詳細な説明は省略する。また、話者特定部95による利用者音声データの抽出処理は、機械学習によるものに限定されない。
次に、話者特定部95は、ステップS76−2の処理において対応する利用者音声データが存在するか否かを判断する(ステップS76−3)。話者特定部95は、対応する利用者音声データが存在する場合、処理をステップS76−4へ移行させる(ステップS76−3のYES)。そして、記憶・読出処理部99は、ステップS76−2によって抽出された利用者音声データを検索キーとして利用者音声情報管理DB9001を検索することにより、対応する話者IDを読み出す(ステップS76−4)。これにより、音声テキスト変換サーバ9は、受信された音データの話者IDを特定することができる。
一方で、話者特定部95は、対応する利用者音声データが存在しない場合、処理を終了する(ステップS76−3のNO)。このように、音声テキスト変換サーバ9は、予め登録された利用者音声データを用いて、イベントによって発生した音データの話者IDを特定することができる。また、共用システム1は、イベントの参加者の情報を、話者特定処理を行う音声テキスト変換サーバ9に伝えることで、そのイベントの参加者のみを話者特定処理に用いる話者候補とすることができる。これにより、音声テキスト変換サーバ9は、従来、利用者音声データが登録された全員にする必要があった話者候補を、イベントの参加者のみに限定することができるので、話者特定処理の精度を高める向上させることができる。
なお、図32の音声テキスト変換処理および図33の話者特定処理の順序は、前後してもよく、または並行して行われてもよい。また、図31のステップS75およびステップS76、並びに図32〜図34において、音声テキスト変換サーバ9が音声テキスト変換処理および話者特定処理の両方を実行する例を説明したが、音声テキスト変換処理と話者特定処理とは別のサーバで実行される構成であってもよい。この場合、共用支援サーバ6は、複数のサーバに音データを送信し、それぞれの処理を担うサーバは、共用支援サーバ6に対して、テキストデータまたは話者IDを送信する。このうち、話者特定処理を担うサーバは、受信された音データに対して特定された話者IDを、共用支援サーバ6へ随時送信する。そして、共用支援サーバ6の判断部65は、確定したテキストデータを受信した際に、随時受信されている話者IDのうち、最も受信された回数の多い(割合の高い)話者IDを、確定したテキストデータに対応する話者IDとして特定する。
図31に戻り、実行イベント履歴の登録処理の説明を続ける。送受信部91は、変換部93によって変換されたテキストデータ、および話者特定部95によって特定された話者IDを、共用支援サーバ6へ送信する(ステップS77)。ここで、送受信部91は、テキストデータおよび話者IDとともに、ステップS75−1によって取得された日時を示す情報を、共用支援サーバ6へ送信する。これにより、共用支援サーバ6の送受信部61は、テキストデータおよび話者IDを受信する。次に、共用支援サーバ6の記憶・読出処理部69は、ステップS77で受信された話者IDを検索キーとして話者情報管理DB6007を検索することにより、対応する利用者IDを読み出す(ステップS78)。
次に、生成部64は、イベントにより発生したコンテンツ処理を識別するための固有のコンテンツ処理IDを生成する(ステップS79)。また、生成部64は、コンテンツの内容を示したコンテンツデータのURLを生成する(ステップS80)。そして、記憶・読出処理部69は、コンテンツ管理DB6005(図10参照)に対して、ステップS72によって受信された実行イベントID毎に、コンテンツ処理の種類、コンテンツ処理の開始日時および終了日時、ステップS79によって生成されたコンテンツ処理ID、並びにステップS80によって生成されたコンテンツの保存先を示すURLを関連付けて管理する(ステップS81)。
ここで、コンテンツ処理の種類が「音声テキスト変換」である場合、コンテンツ処理の開始日時および終了日時は、音データがテキストデータに変換された日時である。ここで、音データがテキストデータに変換された日時とは、図34に示されているように、共用支援サーバ6の送受信部61によって音データを送信された日時および共用支援サーバ6の送受信部61によってテキストデータが受信された日時である。なお、音データがテキストデータに変換された日時は、音声テキスト変換サーバ9の送受信部91によって音データが受信された日時および音声テキスト変換サーバ9の送受信部91によってテキストデータが送信された日時であってもよい。また、コンテンツ処理の種類が「音声テキスト変換」である場合、コンテンツ処理の開始日時および終了日時は、テキスト変換対象の音データに係るコンテンツ処理の開始日時および終了日時と同じ日時であってもよい。
また、コンテンツ処理の種類が「録音」、「スナップショット」および「資料送信」である場合、コンテンツの処理の開始日時および終了日時は、共用支援サーバ6の送受信部61によってコンテンツデータ(音データ、画像データ、ファイルデータ)が受信された日時である。なお、コンテンツ処理の種類が「録音」、「スナップショット」および「資料送信」である場合、コンテンツの処理の開始日時および終了日時は、電子黒板2の送受信部21によってコンテンツデータが送信された日時であってもよい。また、コンテンツ処理の種類が「録音」である場合、音処理部23−2による録音が行われた開始日時および終了日時であってもよい。さらに、コンテンツ処理の種類が「スナップショット」である場合、コンテンツの処理の開始日時および終了日時は、画像処理部23−1によるスナップショット(キャプチャ)が行われた日時であってもよい。
次に、図36において、共用支援サーバ6の記憶・読出処理部69は、ステップS72によって受信された利用者IDを検索キーとして利用者認証管理DB6001(図9(A)参照)を検索することにより、対応する組織IDを読み出す(ステップS91)。
次に、記憶・読出処理部69は、ステップS91によって読み出された組織IDを検索キーとしてアクセス管理DB6002(図9(B)参照)を検索することにより、対応するアクセスIDおよびアクセスパスワードを読み出す(ステップS92)。
次に、送受信部61は、スケジュール管理サーバ8に対して、実行イベント履歴の登録要求を示す実行イベント履歴の登録要求情報を送信する(ステップS93)。この実行イベント履歴の登録要求情報には、ステップS72によって受信された実行イベントID、送信元の利用者ID、コンテンツデータ、ステップS77によって生成されたコンテンツ処理ID、ステップS78によって生成されたコンテンツデータのURL、ステップS92によって読み出されたアクセスIDおよびアクセスパスワード、並びにコンテンツ処理の開始日時および終了日時が含まれている。ここで、ステップS77によって受信されたテキストデータがコンテンツデータとして送信される場合、送受信部61は、テキストデータとともに、ステップS78によって読み出された利用者IDを送信する。これにより、スケジュール管理サーバ8の送受信部81は、実行イベント履歴の登録要求情報を受信する。
次に、スケジュール管理サーバ8では、認証部82が、アクセスIDおよびアクセスパスワードを利用して共用支援サーバ6の認証を行う(ステップS94)。この認証は、ステップS38と同様の処理であるため、説明を省略する。ここでは、正当である場合について説明を続ける。
次に、記憶・読出処理部89は、実行イベント履歴管理DB8008(図13(B)参照)に対して、ステップS93によって受信された各種データ(情報)を記憶して管理する(ステップS95)。記憶・読出処理部89は、ステップS93によって受信された実行イベントIDに関連付けて、各種データ(情報)を、実行イベント履歴管理DB8008に記憶する。これにより、スケジュール管理サーバ8は、共用支援サーバ6側と同様の内容のデータを管理する。
また、スケジュール管理サーバ8の生成部83は、ステップS93によって受信されたコンテンツデータを、コンテンツの発生時間帯毎に関連付けた関連情報を生成する(ステップS96)。ここで、関連情報に含まれるコンテンツの発生時間帯は、イベント管理DB8005に記憶されたイベントの開始日時、および実行イベント履歴管理DB8008に記憶されたコンテンツ処理の開始日時および終了日時を用いて生成される。すなわち、コンテンツの発生時間帯は、実行されたイベントにおいてコンテンツが発生した時点における、イベントの開始日時からの経過時間を示す。そして、スケジュール管理サーバ8の記憶・読出処理部89は、関連情報管理DB8010(図14(B)参照)に対して、ステップS93によって受信された実行イベントIDに関連付けて、生成部83によって生成された関連情報を記憶して管理する(ステップS97)。これにより、スケジュール管理サーバ8は、コンテンツ処理の種別が異なるコンテンツデータを、各コンテンツの発生時間毎に関連付けて管理する。
そして、スケジュール管理サーバ8の記憶・読出処理部89は、テキスト情報管理DB8012(図15参照)に対して、ステップS93によって受信された実行イベントIDに関連付けて、ステップS93によって受信されたテキストデータを含むテキスト情報を記憶して管理する(ステップS98)。具体的には、生成部83は、ステップS93によって受信されたテキストデータおよびコンテンツ処理ID、ステップS93によって受信されたテキストデータを識別するテキストID、ステップS93によってテキストデータとともに受信された利用者ID、並びに状態情報を含むテキスト情報を生成する。そして、記憶・読出処理部89は、生成部83によって生成されたテキスト情報を、ステップS93によって受信された実行イベントIDに関連付けてテキスト情報管理DB8012に記憶する。この場合、テキスト情報に含まれる状態情報は、関連付けられたテキストデータが編集されていないことを示す「Original」の情報が付与される。
ここで、図35を用いて、共用支援サーバ6およびスケジュール管理サーバ8に記憶されるテキストデータのデータ形式について説明する。図35は、テキストデータを含むデータファイルの一例を示す図である。図35に示されるデータファイルd1は、コンテンツ管理DB6005および実行イベント履歴管理DB8008に示されるコンテンツの保存先のURLに記憶されて管理されている。
図35に示すように、データファイルd1には、10個のテキストデータ(transcript)が含まれている。また、各テキストデータ(0〜9)には、コンテンツ処理が発生した順番を示すシーケンス番号(seq_num)、テキストデータ(text)、コンテンツ処理の開始日時(start time)、コンテンツ処理の終了日時(end_time)、コンテンツ処理ID(id)および話者情報(speaker)がそれぞれ含まれている。これらの情報は、コンテンツ管理DB6005および実行イベント履歴管理DB8006のそれぞれの項目に対応する情報と同じである。このうち、話者情報(speaker)には、このテキストデータに対応する音データの話者として特定された利用者の利用者IDが示されている。なお、話者情報(speaker)には、利用者IDとともに、または利用者IDに変えて、話者IDまたは利用者名が示される構成であってもよい。また、データファイルd1に含まれるテキストデータの数は、これに限られない。
このように、共用支援サーバ6およびスケジュール管理サーバ8は、テキストデータ、テキストデータに対応する音データの話者に関する情報(利用者ID)、およびそのテキストデータの処理に関する時間の情報(コンテンツ処理の開始日時および終了日時)を関連付けて、図35に示されているようなデータファイルd1で管理することができる。
以上により、電子黒板2は、実行されているイベントの実行イベントIDと、対応するイベントによって生じたコンテンツを、スケジュール管理サーバ8へ送信することができる。また、スケジュール管理サーバ8は、受信したコンテンツを、実行イベントID毎に、実行イベント履歴管理DB8008に記憶することができる。これによって、共用システム1は、実行されたイベントにより生じたコンテンツを、イベント毎に記憶することができる。
<イベントの終了処理>
続いて、図37〜図41を用いて、実行中のイベントを終了する処理について説明する。
図37および図38は、実施形態に係る共用システムのイベントの終了処理の流れの一例を示すシーケンス図である。図39は、電子黒板上に表示されるイベント終了画面を示す図である。図40は、電子黒板上に表示されるファイルデータのアップロード画面を示す図である。図41は、電子黒板上に表示されるファイルデータのアップロード完了画面を示す図である。
図37において、利用者Aがディスプレイ220に表示されている画面を閉じることによって、受付部22は、実行されているイベントの終了を受け付ける(ステップS301)。
そして、送受信部21は、共用支援サーバ6に対して、実行イベントの開始日時および終了日時を示す実行イベント開始終了情報、並びにファイルデータの登録要求を示すファイルデータの登録要求情報を送信する(ステップS302)。この実行イベント開始終了情報には、実行イベントID、イベント名、イベントの開始日時および終了日時が含まれる。また、このファイルデータの登録要求情報には、実行イベントID、送信元の利用者ID、およびファイルデータが含まれる。これにより、共用支援サーバ6の送受信部61は、実行イベント開始終了情報、およびファイルデータの登録要求情報を受信する。
次に、共用支援サーバ6の生成部64は、イベントにより発生したコンテンツ処理を識別するための固有のコンテンツ処理IDを生成する(ステップS303)。また、生成部64は、コンテンツの内容を示したコンテンツデータのURLを生成する(ステップS304)。そして、記憶・読出処理部69は、コンテンツ管理DB6005(図10(A)参照)に対して、ステップS302によって受信された実行イベントID毎に、コンテンツ処理の種類、コンテンツ処理の開始日時および終了日時、ステップS303によって生成されたコンテンツ処理ID、並びにステップS304によって生成されたコンテンツの保存先を示すURLを関連付けて管理する(ステップ305)。
次に、共用支援サーバ6の記憶・読出処理部69は、ステップS72によって受信された利用者IDを検索キーとして利用者認証管理DB6001(図9(A)参照)を検索することにより、対応する組織IDを読み出す(ステップS306)。
次に、記憶・読出処理部69は、ステップS91によって読み出された組織IDを検索キーとしてアクセス管理DB6002(図9(B)参照)を検索することにより、対応するアクセスIDおよびアクセスパスワードを読み出す(ステップS307)。
次に、図38において、送受信部61は、スケジュール管理サーバ8に対して、ステップS302によって受信された実行イベント開始終了情報、およびファイルデータの登録要求を示すファイルデータの登録要求情報を送信する(ステップS308)。このファイルデータの登録要求情報には、ステップS302によって受信された実行イベントID、送信元の利用者IDおよびファイルデータ、ステップS303によって生成されたコンテンツ処理ID、ステップS304によって生成されたファイルデータのURL、ステップS307によって読み出されたアクセスIDおよびアクセスパスワード、並びにコンテンツ処理の開始日時および終了日時が含まれている。これにより、スケジュール管理サーバ8の送受信部81は、実行イベント開始終了情報、およびファイルデータの登録要求情報を受信する。
次に、スケジュール管理サーバ8では、認証部82が、アクセスIDおよびアクセスパスワードを利用して共用支援サーバ6の認証を行う(ステップS309)。この認証は、ステップS38と同様の処理であるため、説明を省略する。ここでは、正当である場合について説明を続ける。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、実行イベント管理DB8009(図14(A)参照)に対して、ステップS308によって受信された実行イベント開始終了情報を記憶する(ステップS310)。この場合、記憶・読出処理部89は、実行イベント管理DB8009の実行イベント管理テーブルに1レコード分の実行イベント開始終了情報を追加する。
次に、記憶・読出処理部89は、実行イベント履歴管理DB8008に対して、ステップS308によって受信された各種データ(情報)を記憶して管理する(ステップS311)。記憶・読出処理部89は、ステップS308によって受信された実行イベントIDに関連付けて、ファイルデータを含む各種データ(情報)を、実行イベント履歴管理DB8008(図13(B)参照)に記憶する。これにより、スケジュール管理サーバ8は、共用支援サーバ6側と同様のファイルデータを管理する。
次に、送受信部81は、共用支援サーバ6に対して、ファイルデータが登録されたことを示すファイルデータ登録情報を送信する(ステップS312)。これにより、共用支援サーバ6の送受信部61は、ファイルデータ登録情報を受信する。
そして、共用支援サーバ6の送受信部61は、スケジュール管理サーバ8から送信されたファイルデータ登録情報を、電子黒板2へ送信する(ステップS313)。これによって、電子黒板2の送受信部21は、ファイルデータ登録情報を受信する。
次に、電子黒板2の記憶・読出処理部29は、送受信部21によってファイルデータ登録情報が受信された場合、記憶部2000の特定の記憶領域に記憶されたファイルデータを削除する(ステップS314)。これにより、電子黒板2は、共用支援サーバ6に送信済みのファイルデータを削除することで、会議情報等の漏えいのリスクを低減させることができる。
ここで、実行中のイベントを終了する際における電子黒板2に表示される画面の画面遷移を説明する。まず、ステップS301において、受付部22により実行されているイベントの終了が受け付けられた場合、表示制御部24は、ディスプレイ220上に、図39に示されているようなイベント終了画面270を表示させる。このイベント終了画面270には、ファイル表示領域272、ファイルアップロード選択領域273、実行中のイベントの終了処理を進める場合に押下される「Close」ボタン278、実行中のイベントの終了処理をキャンセルする場合に押下される「CANCEL」ボタン279が含まれる。ファイル表示領域272は、記憶部2000の特定の記憶領域に記憶された資料ファイルのファイルデータを識別するためのファイルデータ画像272a、272b、272cが表示される。ファイルアップロード選択領域273には、ファイル表示領域272に表示されたファイルデータ画像に対応するファイルデータを、共用支援サーバ6にアップロードするか否かの選択を受け付けるチェックボックスが含まれる。
ファイルアップロード選択領域273が選択された状態で、受付部22が「Close」ボタン278の選択を受け付けた場合、表示制御部24は、ディスプレイ220上に、図40に示されるようなファイルアップロード画面280aを表示させる。このファイルアップロード画面280aは、記憶部2000の特定の記憶領域に記憶されたファイルデータが、共用支援サーバ6にアップロードされている際に、ディスプレイ220上に表示される。ファイルアップロード画面280aは、終了するイベントのイベント名281、イベントの終了日時282、ファイルデータのアップロード進捗表示領域283、ファイルデータのアップロードを中断(中止)する場合に押下される「CANCEL」ボタン288が含まれている。アップロード進捗表示領域283には、アップロードするファイルデータの数(例えば、図40に示されている「3」)とアップロードが完了したファイルデータの数(例えば、図40に示されている「0」)が表示される。
そして、ファイルデータのアップロードが完了した場合、表示制御部24は、図41に示されるようなアップロード完了画面280bを表示させる。アップロード完了画面280bには、イベントを終了させる場合に押下される「Close」ボタン288が含まれている。ディスプレイ220上にアップロード完了画面280bが表示された場合、ステップS314で示したように、電子黒板2の記憶・読出処理部29は、アップロードが完了したファイルデータを、記憶部2000の特定の記憶領域から削除する。
一方で、ディスプレイ220上にファイルアップロード画面280aが表示されている状態において、ファイルデータのアップロードに失敗した場合、表示制御部24は、アップロードに失敗したファイルデータを特定するための情報(例えば、ファイル名)を表示する。これにより、例えば、通信ネットワーク10の障害等の発生時に、イベントの参加者は、イベントで作成または編集したファイルデータを印刷したり、電子黒板2に接続されたUSBメモリ2600にファイルデータを記憶したりすることによって、アップロードに失敗したファイルデータを持ち帰ることができる。
また、イベントが終了した後も記憶部2000の特定の記憶領域にファイルデータが残っている場合、電子黒板2の記憶・読出処理部29は、例えば、電子黒板2を使用した次のイベントの開始時に、特定の記憶領域に記憶されたファイルデータを削除する。これによって、電子黒板2は、会議情報等の漏えいのリスクを低減させることができる。
<実行イベント履歴の閲覧処理>
図42および図43は、実施形態に係る共用システムの実行イベント履歴の閲覧処理の流れの一例を示すシーケンス図である。図44は、実施形態に係るPC上に表示される実行イベントリスト画面を示す図である。図45および図46は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。図42〜図46を用いて、実行イベント履歴の閲覧処理について説明する。なお、図42に示すステップS111〜S117の処理は、それぞれ図17に示すステップS11〜S17の処理と同様である。
図19に示されている初期画面540において、利用者が「実行イベント履歴閲覧」ボタン543を押下すると、受付部52は、実行イベント履歴の閲覧を受け付ける(ステップS118)。
そして、送受信部51は、スケジュール管理サーバ8に対して、実行イベント履歴閲覧要求を示す実行イベント履歴閲覧要求情報を送信する(ステップS119)。これにより、スケジュール管理サーバ8の送受信部81は、実行イベント履歴閲覧要求情報を受信する。
次に、スケジュール管理サーバ8では、記憶・読出処理部89が、実行イベント管理DB8009に記憶された実行イベント開始終了情報を読み出す(ステップS120)。この実行イベント開始終了情報には、実行イベントID、イベント名、開始日時および終了日時が含まれる。
そして、送受信部81は、PC5に対して、ステップS120で読み出された実行イベントID、イベント名、開始日時および終了日時を送信する(ステップS121)。これにより、PC5の送受信部51は、実行イベントID、イベント名、開始日時および終了日時を受信する。
次に、PC5の生成部56は、ステップS121で受信されたデータ(情報)を用いて、図44に示されているような実行イベントリスト画面570を生成する(ステップS122)。そして、PC5では、表示制御部54がディスプレイ508上に、生成部56によって生成された実行イベントリスト画面570を表示させる(ステップS123)。図44に示されているように、実行イベントリスト画面570には、実行イベントを示す情報571〜573が含まれている。例えば、実行イベントを示す情報571〜573には、実行イベント名、イベントの開始日時および終了日時が表示されている。実行イベントを示す情報571〜573は、イベントの実行内容を示す履歴情報を表示させるための選択を受け付ける履歴情報選択領域の一例である。また、実行イベントリスト画面570の右下部分には、実行イベントリスト画面570を閉じるための「閉じる」ボタン575が含まれている。
次に、PC5の受付部52は、実行イベントリスト画面570に含まれる実行イベントの選択を受け付ける(ステップS124)。具体的には、利用者が実行イベントリスト画面570に含まれる実行イベントを示す情報571〜573のいずれかを選択した場合、受付部52が実行イベントを示す情報の選択を受け付ける。そして、PC5の送受信部51は、受付部52によって選択された実行イベントの実行イベントIDを、スケジュール管理サーバ8へ送信する(ステップS125)。これにより、スケジュール管理サーバ8の送受信部81は、実行イベントIDを受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS125によって受信された実行イベントIDを検索キーとして実行イベント履歴管理DB8008を検索することにより、対応する実行イベント履歴情報を読み出す(ステップS126)。この実行イベント履歴情報には、コンテンツ処理ID、コンテンツ処理の種類、コンテンツ処理の開始日時および終了日時が含まれている。
また、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS125によって受信された実行イベントIDを検索キーとして関連情報管理DB8010を検索することにより、対応する関連情報を読み出す(ステップS127)。この関連情報には、コンテンツの発生時間帯、コンテンツ処理ID、コンテンツ処理の種類およびシーケンスNoが含まれている。関連情報に含まれるコンテンツの発生時間帯は、時間情報の一例である。
そして、記憶・読出処理部89は、ステップS126によって読み出された実行イベント履歴の内容を示すコンテンツデータの保存先から、実行イベント履歴の内容を示すコンテンツデータを読み出す(ステップS128)。そして、送受信部81は、読み出された関連情報およびコンテンツデータを、PC5へ送信する(ステップS129)。ここで、テキストデータをコンテンツデータとして送信される場合、送受信部81は、テキストデータとともに、テキスト情報管理DB8012によって管理されている利用者IDによって識別される利用者名の情報を送信する。ここで、利用者名の情報は、テキスト情報管理DB8012によって管理されている利用者IDを検索キーとして利用者管理DB8002(図11(B)参照)を検索することによって読み出される利用者名である。これにより、PC5の送受信部51は、関連情報、コンテンツデータおよび実行イベント履歴情報を受信する。
次に、PC5の音制御部58は、ステップS129によって受信されたコンテンツデータである音データの再生箇所を設定する(ステップS130)。この場合、音制御部58は、受信された関連情報のうち、コンテンツ発生時間帯「00:00」に関連付けられた音データに対応する箇所を、音データの再生箇所として設定する。
次に、PC5の生成部56は、ステップS129によって受信された関連情報およびコンテンツデータを用いて、図45に示されているような実行イベント履歴画面580を生成する(ステップS131)。図45に示されているように、実行イベント履歴画面580には、実行されたイベントによって生じたコンテンツのデータが、コンテンツ処理の種類毎に示されている。実行イベント履歴画面580には、録音データの再生箇所を表示する再生箇所表示領域581、音声テキストとして表示させる録音データの話者を選択させるための話者表示候補選択領域670、音声テキストを表示するテキストデータ表示領域582、スナップショットを表示するスナップショット表示領域583、イベントで用いた資料を閲覧する場合に押下される「資料ファイル」ボタン585が含まれている。より具体的には、生成部56は、受信されたコンテンツデータであるテキストデータに係る画像を、受信された関連情報に含まれるシーケンスNoの順序でテキストデータ表示領域582に表示させるように実行イベント履歴画面580を生成する。また、生成部56は、テキストデータに対応する話者情報(利用者名)を示す画像を、テキストデータに係る画像のそれぞれに関連付けて表示されるように実行イベント履歴画面580を生成する。さらに、生成部56は、受信されたコンテンツデータである画面データに係る画像を、受信された関連情報に含まれるシーケンスNoの順序でスナップショット表示領域583に表示させるように実行イベント履歴画面580を生成する。さらに、生成部56は、音データの全再生時間における、ステップS130によって設定された再生箇所に対応する位置に、再生箇所表示領域581に含まれる再生ポイント581pが表示されるように実行イベント履歴画面580を生成する。
そして、PC5の表示制御部54は、ディスプレイ508上に、生成部56によって生成された実行イベント履歴画面580を表示させる(ステップS132)。また、PC5の音制御部58は、ステップS130によって設定された再生箇所の音データを再生する。
ここで、再生箇所表示領域581には、全再生時間における再生箇所を示す再生ポイント581p、録音データの再生履歴(再生過程)を示すスライダ581b、および全再生時間における再生時間を示す再生時間表示画像581tが含まれる。また、再生ポイント581pおよびスライダ581bは、シークバーを構成する。シークバーとは、録音データの再生箇所を表示するものであるとともに、録音データの再生箇所を指定する操作領域である。利用者は、録音データの始めから終わりまでのうちどこを再生しているのかを再生ポイント581pおよびスライダ581bの位置によって視覚的に把握することができる。また、利用者は、再生ポイント581pをマウス507等の入力手段を用いて移動させ、それによって任意の再生箇所から録音データを再生させることができる。再生ポイント581pは、再生箇所特定画像の一例である。また、再生ポイント581pおよびスライダ581bを含むシークバーは、再生履歴表示画像の一例である。
また、話者表示候補選択領域670には、選択対象である話者の候補を示す話者表示候補671(671a〜671e)が含まれている。話者表示候補671には、イベントの参加者それぞれの名称(利用者名)が示されている。このうち、話者表示候補671e(「unknown」)は、話者が特定できなかったテキストデータに関連付けられているものである。
さらに、テキストデータ表示領域582には、テキストデータを示す画像582a、582b、582c、582d、582eが上から下に向けて時系列に表示されている。同様に、スナップショット表示領域583には、スナップショット(キャプチャ)画像583a、583b、583cが上から下に向けて時系列に表示されている。このように、テキストデータ表示領域582およびスナップショット表示領域583は、時系列に並列に表示されている。これにより、利用者は、例えば、画像583bを閲覧すれば、会議で円グラフを説明した時間帯を容易に把握することができるため、この画像583bと並列に表示されているテキストデータを示す画像582c、582dを容易に探し出すことができる。ここで、画像583a、583b、583cは、ディスプレイ220に表示された画面全体のスナップショット画像である。
また、テキストデータ表示領域582には、テキストデータを示す画像582a〜582eに対して、各テキストデータに対応する話者情報を示す画像673a〜673eが対応付けられて表示されている。この話者情報を示す画像673a〜673eには、ステップS129によってテキストデータとともに受信された利用者名の情報が含まれている。
ここで、図46に示すように、マウスポインタp3を用いて特定の話者表示候補671(例えば、話者表示候補671a)が選択されると、受付部52は、話者表示候補671に対する選択を受け付ける。そして、表示制御部54は、選択された特定の話者表示候補671に対応する話者情報に関連付けられたテキストデータをハイライト表示させる。図46の例の場合、表示制御部54は、話者表示候補671a(「理光 太郎」)に対応する話者情報(「理光 太郎」)を示す画像673d、673e、並びに画像673d、673eに関連付けられたテキストデータを示す画像582d、582eをハイライト表示させる。なお、ハイライト表示の例として、特定の画像の色を変えて表示させる例を示したが、これに限られず、特定の画像を強調して利用者に認識させることが可能な表示形式であればよい。また、図46に示した実行イベント履歴画面580には、話者情報を示す画像673d、673eおよびテキストデータを示す画像582d、582eの双方がハイライト表示される例を説明したが、表示制御部54は、話者情報を示す画像673d、673eのみをハイライト表示させる構成、またはテキストデータを示す画像582d、582eのみをハイライト表示させる構成であってもよい。さらに、表示制御部54は、選択された特定の話者表示候補671に対応する話者情報に関連付けられたテキストデータを、フィルタリングして表示させる構成であってもよい。
これにより、共用システム1は、実行されたイベントにより生じた実行イベント履歴を、イベントに参加したメンバ(参加者)間で簡単に共有することができる。また、PC5は、実行イベント履歴に含まれるテキストデータに、そのテキストデータに対応する音データの話者の情報を対応づけて表示させることによって、音データを聞き直さなくても、テキストデータの内容が誰の発言であるかを利用者に確認させることができる。さらに、PC5は、選択された特定の話者表示候補671に対応する話者情報に関連付けられたテキストデータをハイライト表示させることで、利用者が確認したい話者の発言に係るテキストデータを、強調して利用者に確認させることができる。なお、共用システム1は、イベントの実行後に利用者の登録または変更を行うことによって、利用者が実行イベント履歴を閲覧するための参照権限を編集可能な構成であってもよい。
<実行イベント履歴の選択処理>
図47、図50および図51は、実施形態に係る共用システムの実行イベント履歴の選択処理の流れの一例を示すシーケンス図である。図48および図49は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。図47〜図51を用いて、実行イベント履歴の選択処理について説明する。
まず、PC5の受付部52は、実行イベント履歴画面580のテキストデータ表示領域582に含まれる特定の画像の選択を受け付ける(ステップS151)。具体的には、例えば、図48に示すように、利用者が実行イベント履歴画面580のテキストデータ表示領域582に含まれる特定のテキストデータを示す画像(例えば、画像582t)を、マウスポインタp3を用いて選択した場合、受付部52は、テキストデータ表示領域582に含まれる特定の画像に対する選択を受け付ける。
PC5の送受信部51は、受付部52によって受け付けられた選択に係る選択情報を、スケジュール管理サーバ8へ送信する(ステップS152)。ここで、選択情報には、選択が受け付けられた特定の画像(例えば、画像582t)に対応するコンテンツ処理IDが含まれる。これにより、スケジュール管理サーバ8の送受信部81は、PC5から送信された選択情報を受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS152によって受信された選択情報に含まれるコンテンツ処理IDを検索キーとして関連情報管理DB8010を検索することにより、対応する関連情報を読み出す(ステップS153)。より具体的には、記憶・読出処理部89は、選択情報に含まれるコンテンツ処理IDが関連付けられた関連情報を、関連情報管理DB8010から読み出す。この関連情報には、コンテンツの発生時間帯、コンテンツ処理ID、コンテンツ処理の種類およびシーケンスNoが含まれている。関連情報に含まれるコンテンツの発生時間帯は、時間情報の一例である。これにより、スケジュール管理サーバ8は、ユーザによる選択が受け付けられた画像と同じ時間帯に発生したコンテンツを、関連情報に含まれる各種コンテンツに係るデータ(情報)から特定することができる。
また、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS153によって読み出された関連情報に含まれるコンテンツ処理IDを検索キーとして実行イベント履歴管理DB8008を検索することにより、対応する実行イベント履歴情報を読み出す(ステップS154)。この実行イベント履歴情報には、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容が含まれている。
そして、記憶・読出処理部89は、ステップS154によって読み出された実行イベント履歴情報に含まれるコンテンツの内容を示すコンテンツデータの保存先から、実行イベント履歴の内容を示すコンテンツデータを読み出す(ステップS155)。そして、送受信部81は、読み出された関連情報およびコンテンツデータを、PC5へ送信する(ステップS156)。これにより、PC5の送受信部51は、関連情報およびコンテンツデータを受信する。
次に、PC5の音制御部58は、ステップS156によって受信されたコンテンツデータである音データに対応する再生箇所を、音データの再生箇所(音データの開始時間)として設定する(ステップS157)。
次に、PC5の生成部56は、ステップS156によって受信されたコンテンツデータに基づいて、実行イベント履歴画面580を生成する(ステップS158)。具体的には、生成部56は、受信されたコンテンツデータであるテキストデータに係る画像を、テキストデータ表示領域582に表示させるように実行イベント履歴画面580を生成する。また、生成部56は、テキストデータに対応する話者情報(利用者名)を示す画像を、テキストデータに係る画像のそれぞれに関連付けて表示されるように実行イベント履歴画面580を生成する。また、生成部56は、受信されたコンテンツデータである画面データに係る画像を、スナップショット表示領域583に表示させるように実行イベント履歴画面580を生成する。
さらに、生成部56は、音データの全再生時間における、ステップS157によって設定された音データに係る位置に、再生箇所表示領域581に含まれる再生ポイント581pが表示されるように実行イベント履歴画面580を生成する。
表示制御部54は、ステップS158によって生成された実行イベント履歴画面580を、ディスプレイ508に表示させる(ステップS159)。ステップS159において、ディスプレイ508に表示される実行イベント履歴画面580を図49に示す。図49に示す実行イベント履歴画面580は、再生箇所表示領域581に含まれる再生ポイント581pの位置が、ユーザによって選択された画像582tに対応する時間位置に移動している。このように、PC5は、音データをテキスト変換したテキストデータに係る画像のうち、特定の画像が選択されることによって、選択された特定の画像に係るコンテンツの発生時間帯が示す時間位置に、再生ポイント581pを移動させる。これにより、PC5は、利用者が音声を確認したいテキストデータに係る画像を選択するだけで、当該画像に対応する再生箇所の音データの再生することができる。例えば、利用者は、実行イベント履歴画面580においてハイライト表示された特定の話者情報に対応づけられたテキストデータに係る画像を選択することで、特定の話者の発言に係る音データを再生することができる。また、PC5は、テキストデータに係る画像の移動に対応させて再生ポイント581pを移動させることで、全再生時間のうちどの再生箇所に係る音データが再生されているのかを利用者に容易に把握させることができる。
また、図50および図51に示す処理は、図47に示したテキストデータ(実行イベント履歴)とは種別が異なるコンテンツデータ(実行イベント履歴)が選択される場合の処理である。図50は、スナップショット表示領域583に表示された画面データに係る画像が選択される場合の処理を示す。まず、PC5の受付部52は、実行イベント履歴画面580のスナップショット表示領域583に含まれる特定の画像の選択を受け付ける(ステップS161)。具体的には、例えば、利用者が実行イベント履歴画面580のスナップショット表示領域583に含まれる特定の画像(例えば、スナップショット画像583r)を、マウスポインタp3を用いて選択した場合、受付部52は、スナップショット表示領域583に含まれる特定の画像に対する選択を受け付ける。なお、ステップS162〜ステップS169の処理は、図47に示したステップS152〜ステップS159の処理とそれぞれ同様である。
また、図51は、再生箇所表示領域581に表示された再生ポイント581pが選択される場合の処理を示す。まず、PC5の受付部52は、実行イベント履歴画面580の再生箇所表示領域581に含まれる再生ポイント581pの移動を受け付ける(ステップS181)。具体的には、例えば、利用者が実行イベント履歴画面580の再生箇所表示領域581に含まれる再生ポイント581pを、マウスポインタp3を用いて移動した場合、受付部52は、再生箇所表示領域581に含まれる再生ポイント581pの移動を受け付ける。
PC5の送受信部51は、受付部52によって受け付けられた移動に係る選択情報を、スケジュール管理サーバ8へ送信する(ステップS182)。ここで、選択情報には、受け付けられた移動先の再生箇所の音データに係るコンテンツ処理IDが含まれる。これにより、スケジュール管理サーバ8の送受信部81は、PC5から送信された選択情報を受信する。なお、ステップS182〜ステップS189の処理は、図47に示したステップS152〜ステップS159の処理とそれぞれ同様であるため、説明を省略する。
<テキストデータの編集処理>
続いて、図52〜図58を用いて、実行イベント履歴画面に表示された各テキストデータを編集する処理について説明する。
図52は、実施形態に係る共用システムのテキストデータの編集処理の流れの一例を示すシーケンス図である。図53および図56は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。図54は、実施形態に係るPC上に表示されるテキスト編集画面を示す図である。図55は、更新されたテキスト情報管理テーブルを示す概念図である。なお、PC5のディスプレイ508には、図45に示されているような実行イベント履歴画面580が表示されているものとして説明する。
まず、利用者がマウスポインタp3を用いてテキストデータ表示領域582を押下すると、PC5の表示制御部54は、図53に示されている実行イベント履歴画面580aを表示させる(ステップS201)。具体的には、利用者がマウスポインタp3を用いてテキストデータ表示領域582に含まれる特定のテキストデータを示す画像(例えば、画像582c)を押下すると、受付部52は、特定のテキストデータの選択を受け付ける。そして、表示制御部54は、選択が受け付けられた特定のテキストデータに対応させた位置に表示された「編集」ボタン620を含む実行イベント履歴画面580aを表示させる。この「編集」ボタン620は、選択された特定のテキストデータの編集を要求する場合に押下される。「編集」ボタン620は、編集要求画像の一例である。
次に、利用者がマウスポインタp3を用いて「編集」ボタン620を押下すると、受付部52は、「編集」ボタン620の選択を受け付け、テキストデータの編集要求を受け付ける(ステップS202)。次に、表示制御部54は、ディスプレイ508に表示されている実行イベント履歴画面580a上に、図54に示されているようなテキスト編集画面630を表示させる(ステップS203)。テキスト編集画面630は、選択された特定のテキストデータ(例えば、画像582cに示されているテキストデータ)の内容の編集を受け付ける編集画面である。テキスト編集画面630には、特定のテキストデータを編集するための入力領域631、入力領域631で編集された特定のテキストデータを保存する場合に押下される「保存」ボタン633、テキストデータの編集処理を中断(中止)する場合に押下される「キャンセル」ボタン635、編集対象の特定のテキストデータに対応する音データを再生する場合に押下される「再生」ボタン637、特定のテキストデータに対応づけられた話者情報638、および話者情報638を変更(編集)するための話者選択メニュー639が含まれている。
次に、利用者が入力領域631に対する入力を行うことで、受付部52は、特定のテキストデータまたは話者情報の編集を受け付ける(ステップS204)。これにより、利用者は、入力領域631に対する入力によって、選択された特定のテキストデータの編集を行うことができる。また、受付部52によって「再生」ボタン637の選択が受け付けられると、音制御部58は、編集対象の特定のテキストデータに対応する音データを再生する。さらに、利用者が話者選択メニュー639を用いて話者情報638の編集を行う。図54に示すテキスト編集画面630に示されている話者情報638は、話者情報が「unknown」から「令和 三郎」に変更(編集)された状態である。これにより、利用者は、編集対象の特定のテキストデータに対応する音データを聞きながら、テキストデータまたは話者情報の編集を行うことができる。
次に、受付部52で「保存」ボタン633の選択が受け付けられると、PC5の送受信部51は、スケジュール管理サーバ8に対して、テキスト情報の更新要求を示すテキスト情報更新要求情報を送信する(ステップS205)。このテキスト情報更新要求情報には、ステップS204によって編集されたテキストデータおよび話者情報、ステップS156によって受信されたコンテンツ処理ID、およびステップS112によって受け付けられた利用者IDを送信する。この場合のコンテンツ処理IDは、編集されたテキストデータに対応するコンテンツ処理IDである。これにより、スケジュール管理サーバ8の送受信部81は、テキスト情報更新要求情報を受信する。
スケジュール管理サーバ8の記憶・読出処理部89は、ステップS205によって受信されたテキストデータを、テキスト情報管理DB8012(図15参照)に記憶する(ステップS206)。この場合、テキスト情報管理DB8012には、図55に示されているようなテキスト情報管理テーブルが記憶される。図55のテキスト情報管理テーブルには、図15に示したテキスト情報管理テーブルに記憶されたテキスト情報に、ステップS205によって受信された編集後のテキストデータおよび話者情報を含むテキスト情報が追加されている。このテキスト情報は、編集前のテキストデータと同様のコンテンツ処理IDと、編集前のテキストデータのテキストID(例えば、text12)からバージョンが更新されたテキストID(例えば、text12.2)と、テキストデータが編集されたことを示す状態情報とが関連付けられている。このうち、状態情報には、テキストデータの編集を行った編集者を示す編集者名およびテキストデータの編集が行われた日時を示す編集日時が含まれている。
スケジュール管理サーバ8の送受信部81は、PC5に対して、ステップS206で記憶されたテキストデータおよび話者情報を送信する(ステップS207)。これにより、PC5の送受信部51は、スケジュール管理サーバ8から送信されたテキストデータおよび話者情報を受信する。
PC5の生成部56は、ステップS207によって受信されたテキストデータを用いて、図56に示されている実行イベント履歴画面580bを生成する(ステップS208)。より具体的には、生成部56は、実行イベント履歴画面580aに含まれる編集前のテキストデータが、ステップS207によって受信された編集後のテキストデータに変更された実行イベント履歴画面580bを生成する。
そして、PC5の表示制御部54は、ディスプレイ508上に、生成部56によって生成された実行イベント履歴画面580bを表示させる(ステップS209)。図53に示されているように、実行イベント履歴画面580bに含まれるテキストデータ表示領域582には、編集後のテキストデータを示す画像582cが表示されている。また、実行イベント履歴画面580bには、画像582cに示されているテキストデータの編集が行われたことを示す「編集済」ボタン625が含まれている。「編集済」ボタン625は、編集済画像の一例である。これにより、利用者は、実行イベント履歴画面580bに含まれる「編集済」ボタン625を確認することで、テキストデータ表示領域582に表示されているテキストデータが編集されたものであるかどうかを把握することができる。
以上説明したように、PC5は、実行イベント履歴画面580に表示されたテキストデータまたは話者情報を利用者に編集させるとともに、編集前のテキストデータに代えて編集されたテキストデータまたは話者情報を表示させることによって、編集されたテキストデータまたは話者情報を議事録として表示させることができる。また、音データからテキストデータへの変換精度が低い場合であっても、PC5は、表示されたテキストデータを利用者に編集させることで、実行イベント履歴画面580をイベントの議事録として利用者に有効に活用させることができる。さらに、PC5は、編集後のテキストデータを表示させることで、利用者が編集後のテキストデータを見て、利用者が聞きたい箇所の音データを再生することができる。
図57は、実施形態に係る共用システムの編集履歴の閲覧処理の流れの一例を示すシーケンス図である。図58は、実施形態に係るPC上に表示される編集履歴画面を示す図である。図57および図58を用いて、実行イベント履歴画面580に表示されたテキストデータの編集履歴を閲覧する処理について説明する。なお、PC5のディスプレイ508には、図56に示されているような実行イベント履歴画面580bが表示されているものとして説明する。
まず、利用者が「編集済」ボタン625を押下すると、PC5の受付部52は、「編集済」ボタン625の選択を受け付け、編集履歴の閲覧要求を受け付ける(ステップS211)。次に、送受信部51は、スケジュール管理サーバ8に対して、テキストデータの編集履歴の送信要求を示す編集履歴送信要求情報を送信する(ステップS212)。この編集履歴送信要求情報には、閲覧要求の対象となるテキストデータに対応するコンテンツ処理IDが含まれている。これにより、スケジュール管理サーバ8の送受信部81は、編集履歴送信要求情報を受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS212によって受信されたコンテンツ処理IDを検索キーとしてテキスト情報管理DB8012を検索することによって、対応するテキスト情報を読み出す(ステップS213)。この場合、記憶・読出処理部89は、図55に示されているような更新されたテキスト情報管理テーブルに含まれるテキスト情報を読み出す。例えば、ステップS212によって受信されたコンテンツ処理IDが「c269」である場合、記憶・読出処理部89は、テキストID「text12」および「text12.1」が含まれているテキスト情報を読み出す。送受信部81は、PC5に対して、ステップS213によって読み出されたテキスト情報を送信する(ステップS214)。このテキスト情報には、コンテンツ処理ID、テキストID、テキストデータおよび状態情報が含まれている。これにより、PC5の送受信部51は、スケジュール管理サーバ8から送信されたテキスト情報を受信する。
そして、PC5の表示制御部54は、ディスプレイ508に表示されている実行イベント履歴画面580a上に、図58に示されているような編集履歴画面640を表示させる(ステップS215)。この編集履歴画面640には、編集前のテキストデータが表示されるオリジナルデータ表示領域641、編集後のテキストデータが表示される編集履歴表示領域643、およびこの編集履歴画面640を閉じるための「閉じる」ボタン649が含まれている。このうち、オリジナルデータ表示領域641には、ステップS214によって受信されたテキスト情報のうち、「Original」を示す状態情報が関連付けられているテキストデータが含まれている。また、編集履歴表示領域643には、ステップS214によって受信されたテキスト情報のうち、編集者名および編集日時を示す状態情報が関連付けられているテキストデータが含まれている。この編集履歴表示領域643には、対応するテキストデータが複数回編集された場合、複数の編集後のテキストデータを表示する編集後テキストデータ表示領域(644a、644b)が状態情報に示される編集日時に基づいて、時系列に表示されている。また、編集履歴表示領域643には、各テキストデータに関連付けられた状態情報に基づいて、それぞれのテキストデータを表示する編集後テキストデータ表示領域(644a、644b)に対応する位置に、テキストデータの編集を行った編集者を示す編集者情報(645a、645b)、およびテキストデータの編集が行われた時間を示す編集日時情報(646a、645b)がそれぞれ表示されている。
これにより、PC5は、ディスプレイ508に実行イベント履歴画面580bを表示させることによって、テキストデータが編集されたことを利用者に確認させることができるとともに、編集されたテキストデータの編集履歴を、編集履歴画面640を用いて利用者に確認することができる。また、PC5は、テキストデータの編集を行った編集者の情報および編集が行われた編集日時の情報をテキストデータの内容と併せて表示させることで、編集されたテキストデータの信憑性を利用者に確認させることができる。
なお、図42〜図58では、PC5によって実行イベント履歴を閲覧する場合について説明したが、同様の処理によって、電子黒板2で実行イベント履歴を閲覧することができる。また、図42〜図58に示されている処理および画面例は、PC5だけでなく、電子黒板2、ビデオ会議端末3またはカーナビゲーション装置4においても同様の処理および同様の画面の表示を行ってもよい。
さらに、図42〜図58では、PC5に表示させる各画面に係る画像データを、PC5の生成部56によって生成する場合について説明したが、この画像データは、スケジュール管理サーバ8によって生成されてもよい。この場合、スケジュール管理サーバ8では、生成部83によって画像データを生成され、生成された画像データが送受信部81によってPC5へ送信される。
<議事録の検索処理>
続いて、図59〜図62を用いて、共用システム1において議事録を検索する処理について説明する。
図59は、実施形態に係る共用システムの議事録の検索処理の流れの一例を示すシーケンス図である。図60は、実施形態に係るPC上に表示される議事録検索画面を示す図である。図61は、実施形態に係るPC上に表示される検索結果を含む議事録検索画面を示す図である。図62は、実施形態に係るPC上に表示される検索結果を含む議事録検索画面を示す図である。
まず、利用者がPC5のキーボード511等を操作することで、PC5の表示制御部54が、図60に示されているように、ディスプレイ508上に議事録検索を行うための議事録検索画面590を表示させる(ステップS241)。この議事録検索画面590は、期間開始入力欄591aと、期間終了入力欄591bと、カレンダーボタン592aと、カレンダーボタン592bと、キーワード入力欄593と、発話者入力欄594と、検索開始ボタン595と、検索結果表示領域596と、を含む。期間開始入力欄591aは、検索対象とする議事録が発生した会議の開催期間の開始日(期間情報)を入力する欄である。期間終了入力欄591bは、検索対象とする議事録が発生した会議の開催期間の終了日(期間情報)を入力する欄である。カレンダーボタン592aは、期間開始入力欄591aへの開始日の入力を補助するためのカレンダーを表示させるボタンである。カレンダーボタン592bは、期間終了入力欄591bへの終了日の入力を補助するためのカレンダーを表示させるボタンである。キーワード入力欄593は、議事録のテキスト情報に対して検索を行うためのキーワードを入力する欄である。発話者入力欄594は、検索する議事録のテキスト情報についての発話者を入力する欄である。検索開始ボタン595は、議事録の検索を実行するボタンである。検索結果表示領域596は、議事録の検索結果を表示する領域である。上述の期間開始入力欄591a、期間終了入力欄591b、キーワード入力欄593および発話者入力欄594に入力された情報のうち少なくともいずれかは、議事録の検索を実行するための検索条件となる。
次に、利用者が、期間開始入力欄591a、期間終了入力欄591b、キーワード入力欄593および発話者入力欄594に入力された情報のうち少なくともいずれかに上述の情報を入力して検索条件を指定し、検索開始ボタン595を押下すると、受付部52が、議事録の検索の要求を受け付ける(ステップS242)。ここでは、期間開始入力欄591a、期間終了入力欄591b、キーワード入力欄593および発話者入力欄594に、それぞれ、開始日および終了日(期間情報)、キーワード、ならびに発話者が入力されたものとする。
そして、PC5の送受信部51は、スケジュール管理サーバ8に対して、議事録の検索の要求を示す検索要求情報を送信する(ステップS243)。この検索要求情報には、ステップS242で入力された情報(キーワード、発話者、期間情報)が含まれている。これにより、スケジュール管理サーバ8の送受信部81は、検索要求情報を受信する。
次に、スケジュール管理サーバ8の検索部84は、ステップS243で受信された検索要求情報に含まれる発話者(利用者名)を検索キーとして利用者管理DB8002を検索することにより、対応する利用者IDを読み出す(ステップS244)。次に、検索部84は、ステップS243で受信された検索要求情報に含まれる期間情報を検索キーとして実行イベント履歴管理DB8008を検索することにより、当該期間情報に含まれる開始日時・終了日時に対応するコンテンツ処理ID、および当該コンテンツ処理IDに対応する実行イベントIDを読み出す(ステップS245)。
次に、検索部84は、ステップS245で読み出した実行イベントIDを検索キーとして実行イベント管理DB8009を検索することにより、当該実行イベントIDに対応するイベント名、開始日時および終了日時を読み出す(ステップS246)。そして、検索部84は、ステップS245で読み出した実行イベントIDおよびコンテンツ処理ID、ステップS244で読み出した利用者ID、ならびに、ステップS243で受信された検索要求情報に含まれるキーワードを検索キーとして、テキスト情報管理DB8012を検索することにより、テキストデータを読み出す(ステップS247)。具体的には、検索部84は、テキスト情報管理DB8012を参照し、当該実行イベントID、コンテンツ処理IDおよび利用者IDに対応するテキストデータのうち、当該キーワードを含むテキストデータを読み出す。
次に、スケジュール管理サーバ8の送受信部81は、PC5に対して、検索部84により読み出されたテキストデータ、ならびに当該テキストデータに対応する発話者、イベント名、開始日時および終了日時の組み合わせの一覧の情報を送信する(ステップS248)。これにより、PC5の送受信部51は、当該組み合わせの一覧の情報を受信する。そして、表示制御部54は、図62に示すように、検索結果表示領域596に、受信された一覧の情報を表示した議事録検索画面590を表示させる(ステップS249)。図62に示す議事録検索画面590は、期間開始入力欄591aに「2019/01/01」、期間終了入力欄591bに「2019/06/01」、キーワード入力欄593に「bar」、発話者入力欄594に「上田 聡子」と入力して検索を実行した場合における検索結果の表示例である。図62に示す例では、検索結果表示領域596には、検索結果として、各議事録の概要を示す議事録概要表示領域596r〜596tが表示されている。発話者入力欄594に「上田 聡子」という発話者を指定して検索しているので、検索結果に含まれる一覧のキーワードは、すべて「上田 聡子」は発した音声に基づくものとなっている。図62に示すように、検索結果表示領域596に表示される一覧のうち、テキストデータについては、当該テキストデータのうちキーワードを含む一部のみを表示するものとしてもよい。これによって、検索結果表示領域596においてスペースを確保しながら一覧表示させることができ、利用者は、キーワードの周辺の単語を確認することによって迅速に目的の議事録を発見することができる。
また、図61に開始日、終了日およびキーワードのみを指定して検索を実行した場合の議事録検索画面590における一覧表示の一例を示す。図61に示す例では、発話者入力欄594に発話者を指定しない検索条件としているので、指定した開始日、終了日およびキーワードに対応する、膨大なテキストデータが検索されたことを示す。図61に示す例では、検索結果表示領域596には、検索結果の一部として、各議事録の概要を示す議事録概要表示領域596a〜596eが表示されている。これに対し、図62に示すように、さらには発話者を指定して検索することによって、会議中の誰かの発言に基づいて検索することが可能となり、検索結果を絞り込むことができる。
そして、利用者が、PC5のマウス512等を操作することにより、議事録検索画面590の検索結果表示領域596に表示された一覧の中からいずれかの議事録を選択すると、受付部52が、当該選択操作を受け付ける(ステップS250)。すると、表示制御部54は、選択された議事録を表示させる(ステップS251)。例えば、表示制御部54は、一覧から選択された議事録として、テキストデータの全体、ならびに当該テキストデータに対応する発話者、イベント名、開始日時および終了日時を、ダイアログボックスに表示させる。なお、表示制御部54は、選択された議事録を表示するダイアログボックスを表示させることに限定されるものではなく、例えば、当該テキストデータおよび発話者の画像をテキストデータ表示領域582に含む図45等に示す実行イベント履歴画面580を表示させるものとしてもよい。これによって、指定した発話者のキーワードを含むテキストデータだけでなく、当該テキストデータに対応する会議で発生した他のテキストデータおよびスナップショット等を確認することができ、検索を実行した利用者は、目的とする議事録であるか否かを最終的に判断することが容易となる。
なお、図60〜図62に示した議事録検索画面590の例では、開始日、終了日、発話者、およびキーワードで議事録を検索するものとしたが、これに限定されるものではなく、発話者の名称の代わりに、発話者のメールアドレス等で指定して検索できるものとしてもよい。また、開始日、終了日および発話者に加えて、または代えて、例えば、共用体把握している場合には共用体名、イベント名を把握している場合には当該イベント名を検索条件に含めることができるものとしてもよい。
また、上述では、PC5において議事録の検索処理を行うものとして説明したが、これに限定されるものではなく、電子黒板2、ビデオ会議端末3またはカーナビゲーション装置4において議事録の検索処理が行われるものとしてもよい。また、ビデオ会議端末3の場合、検索された議事録は、ビデオ会議端末3に接続されるディスプレイ320に表示させるものとすればよい。
(実施形態の主な効果)
以上のように、本実施形態に係る共用システム1では、会議において発話された音声から発話者を特定し、特定した発話者と、当該音声に対応するテキストデータとを関連付けて議事録の一部として記憶するものとしている。そして、議事録を検索する際には、少なくとも、目的とする発話者およびキーワードを検索条件として指定して検索を実行ことによって、当該発話者およびキーワードに該当する議事録を検索して一覧表示するものとしている。これによって、会議中の誰かの発言に基づいて検索することが可能となり、検索結果を絞り込むことができ、目的とする会議の議事録を効率的に検索することができる。
また、検索結果として表示される一覧のうち、テキストデータについては、当該テキストデータのうちキーワードを含む一部のみを表示するものとしてもよい。これによって、検索結果の表示領域においてスペースを確保しながら一覧表示させることができ、利用者は、キーワードの周辺の単語を確認することによって迅速に目的の議事録を発見することができる。
(補足)
なお、上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、SoC(System on a Chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
また、上述の実施形態において、電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、上述の実施形態に係る電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk−Recordable)、DVDまたはSDカード等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態に係る電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態に係る電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態に係る電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。