JPH07182365A - マルチメディア会議録作成支援装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 テレビ会議などのマルチメディア情報を用い
た会議システムにおいて、会議中の重要な項目を短時間
で簡便に編集できる装置およびユーザインタフェースを
提供することである。 【構成】 テレビ会議などのマルチメディア情報を用い
た会議システムにおいて、カメラなどの動画入力装置
６、マイクなどの音声入力装置７、ペン入力装置８、マ
ウスなどのポインティング装置９、キーボードなどのキ
ー入力装置１０から入力されるマルチメディア情報から
キーワードを抽出することにより検索用ファイル３を作
成する。そして会議録作成時には、この検索用ファイル
３を参照し、重要な項目の会った場面を検索編集するこ
とにより会議録を短時間で簡便に編集できる会議録作成
支援装置およびユーザインタフェースを提供する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ会議などマルチ
メディア情報を用いた会議システムにおいて、会議の内
容を要約した会議録の作成を支援する装置および装置に
関する。

【０００２】

【従来の技術】会議の内容を要約した会議録の作成に
は、議事録を作成する方法と会議の内容をテープレコー
ダまたはビデオに収録する方法がある。

【０００３】前者の方法では、まず会議出席者の一人が
記録係となり会議中にあった発言の内容を逐一記録した
議事録を作成する。そして会議録を作成する際には、こ
れを再び読み直し重要な項目のみを選択することにより
会議の内容を要約している。

【０００４】また後者の方法では、会議の内容をテープ
レコーダまたはビデオに収録しておく。そして、会議録
作成時には重要な項目のあった場面をもう一度再生し、
その内容を編集することにより会議の内容を要約してい
る。

【０００５】

【発明が解決しようとする課題】まず始めに議事録を作
成する方法には以下の問題がある。

【０００６】すなわち、記録係は速記などの専門の技術
を必要とする上、会議全体の内容を概ね理解した者でな
ければならない。また、記録係は議事録の作成に専念す
るため議事に参加することが難しい。さらに、会議中に
資料を用いた説明や動画を用いたプレゼンテーションな
どがある場合には、この内容を十分に表わす議事録を作
成することは不可能に近いなどの問題がある。

【０００７】また、会議の内容をテープレコーダまたは
ビデオに収録する方法には以下の問題がある。

【０００８】すなわち、テープレコーダまたはビデオに
収録された情報には検索という概念がないため、会議の
内容を要約した会議録作成時に、この内容を全て再生し
直さなければならない。そして、重要だと感じた項目に
ついて、その内容を確認する際には早送りや巻戻しを繰
り返す必要があるため会議録作成に非常に長い時間を要
してしまうという問題がある。

【０００９】本発明の目的は、音声や画像などのマルチ
メディア情報を用いた会議システムにおいて、会議中の
重要な項目を短時間で簡便に編集できる装置およびユー
ザインタフェースを提供することである。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に、以下の構成とした。

【００１１】会議でのデータを格納するデータ格納手段
を有する会議録作成支援装置において、会議でのデータ
を取り込む動画入力手段、静止画入力手段、音声入力手
段、ペン入力手段、ポインティング手段およびキー入力
手段のうち少なくとも１つ以上により入力し、入力され
たデータをデータ格納手段に格納し、データの時間関係
を解析して検索用ファイルを作成し、作成された検索用
ファイルを格納し、格納された検索用ファイルの参照結
果をもとに該当するデータをデータ格納手段から読み出
し、データを表示および編集することにより会議録の作
成を支援することを特徴とする。

【００１２】本願発明の会議録作成支援装置の処理概要
について説明する前に、本発明の会議録作成支援装置に
おける会議録作成画面の概要と会議録作成処理手順につ
いて例を挙げて説明する。

【００１３】会議録作成画面の一例を図２に示す。この
図に示すように、会議録作成画面５０は検索領域２０と
ダイジェスト領域３０の２領域で構成される。

【００１４】まず検索領域２０には、会議中に撮影した
映像や資料として提示された映像を拡大表示する拡大表
示領域２１、時間を縦軸として会議中の画面２４をスラ
イドのように並べられることにより会議の時間経過に対
応した映像の流れを表示する映像表示領域２２および映
像以外の会議情報を表示する映像外関連情報表示領域２
３がある。まず第一に、映像表示領域２２では会議中画
面２４の横にスライダ２５を設置し、スライダの位置に
対応した会議中画面２７をこれら画面群の最前面に表示
することができる。スライダ２５の溝にあたる部分に
は、対応する画面の重要性に応じて濃淡が表示されてお
り重要度の高いシーンは濃く、重要度の低いシーンは薄
く色付けされている。さらには、会議の名称、会議の場
所、会議の日時、会議の参加者、決定事項、保留事項、
次回開催予定および次回検討課題など会議録を作成する
上で重要な意味をもつ項目に対応する画面には、その上
部に各項目に応じた付箋２６を表示する。次に、拡大表
示領域２１では会議録作成者の指示した映像を会議録作
成者の見やすいように拡大表示することができる。すな
わち、映像表示領域２２で選択された会議中画面２７を
拡大表示したり、必要に応じては会議中画面２７のうち
会議録作成者の指示したメディアだけを選択的に表示し
たりすることができる。最後に映像外関連情報表示領域
２３では、討議参加者や参照した資料番号、発言に含ま
れたキーワード、最多発言者など会議に映像ボリューム
で表示できない映像以外の関連情報を一覧表示する。

【００１５】またダイジェスト領域には、会議録の作成
に必要な項目を含む会議録作成のテンプレートが表示さ
れている。さらにこれらの項目に対応した領域に画像表
示用のウィンドウを開き検索領域で選択した項目を複写
することができる。以上が、会議録作成画面の概略であ
る。

【００１６】次に、会議録作成処理手順の例について図
３にフローチャートを示し説明する。

【００１７】まず始めに、検索処理を行うか否かを判定
する。そして、検索処理を行わない場合には、図２に示
す映像表示領域２２においてスライダの溝部分に表示さ
れた重要度を表わす濃淡および付箋２５を手がかりとし
てスライダ２６を移動させることにより会議中画面をブ
ラウジングする。そして、会議録に記載する項目が見つ
かった場合には検索領域２０内で会議録に記載する内容
を指定し、これをダイジェスト領域３０に複写する。

【００１８】次に検索処理を行うときの処理例について
は、図４にフローチャートを示し説明する。まず、指定
された検索がキーワードによる検索であるか、参照資料
による検索であるか、参照者による検索であるか、さら
には時間帯による検索であるかを選択する。そして、キ
ーワードによる検索の場合には図２に示す検索領域２０
における映像表示領域２２において指定されたキーワー
ドが現われた画面を表示する。また、資料からの検索の
場合には指定された資料が参照された時間帯を表示す
る。そして、絞り込みを行う場合には、それ以外の時間
帯に属する領域を検索領域から削除することにより対象
領域を絞り込む。参照者による検索や時間帯による検索
が指定された場合も同様に、該当する時間帯を表示し、
それ以外の時間帯に属する領域を検索領域から削除する
ことにより対象領域を絞り込んでいく。そして、検索に
より絞り込んだ領域に対し、ブラウジング、編集を繰り
返すことにより会議録を作成していく。

【００１９】以上に示した検索処理を実現する会議録作
成支援装置の処理概要について、図１に示す各装置の動
作概要を例示することにより説明する。

【００２０】テレビ会議などのマルチメディア情報を用
いた会議システムでは、画像入力装置６、音声入力装置
７、ペン入力装置８、マウス等のポインティング装置９
およびキーボードなどのキー入力装置１０で構成される
データ入力手段１によって取り込まれたマルチメディア
情報を基に、図５に例示する表示画面を会議参加者に提
供している。

【００２１】データ登録手段２では、データ入力手段１
によって取り込まれたマルチメディア情報をデータ格納
手段４に登録するとともに、キーワードリスト、イベン
トリストおよび重要度リストと呼ぶ３つの検索用ファイ
ルを検索用ファイル格納手段３に登録する。まず、キー
ワードリストは会議中に出現したキーワードを登録した
ファイルで、図６に示す処理手順で作成され、図７に示
す内容で構成される。なお、この例においてメディア種
の欄に「音声」が、キーワードの欄に「本日」が記入さ
れている項目に対しては、該当する時刻に「本日」をと
いう音声が入力されたことを示している。また、イベン
トリストは会議中の発言や資料参照などのイベントを登
録したもので、図８に示す処理手順で作成され図９に示
す内容で構成される。さらに、重要度リストは会議中に
生じた重要な項目を探索する目安となるもので、図１０
に示す手順で作成され図１１に示す内容で構成される。
これらの作成手順については実施例で詳しく説明する。

【００２２】会議録作成支援手段５では、検索用ファイ
ル格納手段４に格納されたキーワードリスト、イベント
リストおよび重要度リストの参照結果をもとに、該当す
るマルチメディア情報をデータ格納手段３から読み出
し、これらを表示・編集することにより会議録の作成を
支援する。すなわち、検索制御部１３では検索用ファイ
ル格納手段３に格納された検索用ファイルを検索するこ
とにより重要な項目の現われた場面を絞り込んでいく。
例えば、検索キーワードによる検索が指定されたときに
は、キーワードリストを参照することにより指定した検
索タームの出現した時間を知ることができる。すなわ
ち、司会者が「製品計画」という言葉を発した場面を知
るには、図７に例示したキーワードリストにおいて検索
者の欄から「司会者」を、メディア種の欄から「音声」
を、さらにキーワードの欄から「製品計画」を検索する
ことにより、該当する時間を知ることができる。また、
参照資料による検索が指定された時にはイベントリスト
を参照することにより指定した参考資料が参照されてい
る時間帯を知ることができる。すなわち、資料１が参照
されている時間帯を知るには、図９に例示したイベント
リストにおいてメディア種の欄から「資料」、メディア
番号の欄から「１」を検索することにより該当する時間
帯を知ることができる。データ読み出し部１４では、検
索制御部によって絞り込まれた時間領域に対応するマル
チメディア情報をデータ格納手段４からデータキャッシ
ュ１５に読み出す。ブラウジング制御部１６ではデータ
キャッシュ１５に読み出されたマルチメディア情報を基
に、図２に示す検索領域２０内にブラウジング表示す
る。最後に、会議録作成支援部１７ではデータキャッシ
ュ１５に読み出されたマルチメディア情報のうち、重要
な項目を含む領域だけをダイジェスト領域３０に貼り込
んでいくことにより会議録の作成を支援する。

【００２３】以上が、本発明の会議録作成支援装置の処
理概要である。

【００２４】

【作用】このように、本発明による会議録作成支援装置
を用いると、会議途中に現われたキーワード、参照資
料、資料参照者または発話者、会議の時間帯によって重
要な項目を含むシーンを絞り込んでいくことが可能にな
るため、会議録作成に要する時間が大幅に削減できる。

【００２５】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。図１は本発明のマルチメディア会議録作成
支援システムの構成を示す図である。本装置は、カメラ
などの画像入力装置６とマイクなどの音声入力装置７と
ペン入力装置８とマウスなどのポインティング装置９と
キーボードなどのキー入力装置１０からなるデータ入力
手段１、これらの入力装置から得られる各種データを分
配するデータ分配部１１とこれらのデータを解析するこ
とにより検索用ファイルを作成する検索用ファイル作成
部１２からなるデータ登録手段２、検索用ファイル作成
部１２で作成された検索用ファイルを格納する検索用フ
ァイル格納手段３、また得られたデータを記録するデー
タ格納手段４、検索用ファイル格納手段３に格納された
検索用ファイルを参照し、その結果をもとに該当するデ
ータをデータ格納手段から読み出すとともに、この情報
を会議の内容を表示・編集することにより会議録を作成
する会議録作成支援手段５から構成される。

【００２６】また会議録作成支援手段５は、検索用ファ
イル格納手段３に格納された検索用ファイルを参照する
ことにより指定された検索条件を満たすデータを探し出
す検索制御部１３、検索制御部１３で得られた検索結果
をもとにデータ格納手段４からの会議情報の読み出しを
制御する読み出し制御部１４、データ格納手段４から読
み出した会議情報をバッファリングするデータキャッシ
ュ１５、データキャッシュ１５に格納した会議情報を基
に会議の内容をブラウジングするブラウジング制御部１
６およびブラウジング制御部１６によって編集した内容
を基に会議のダイジェスト作成を支援する会議ダイジェ
スト作成支援部１７から構成される。

【００２７】それでは、本装置の具体的な動作について
会議進行時と会議録作成時に分けて説明する。

【００２８】まず、会議進行時における本装置の動作に
ついて説明する前に、簡単にマルチメディア会議の実施
方法を説明する。図５は、マルチメディア会議の際に使
用する共通映像の一例である。マルチメディア会議は、
その名の通り複数のメディアを使用した会議であり、従
来の会議に使用していた白板／黒板を電子化したもの
（以下、電子化白板と記す）を使用した電子会議と考え
ることができる。電子化白板は、図５に示すように会議
の名称を表すタイトル４１、会議風景を写すための会議
風景表示領域４２、資料のビデオを表示するための資料
ビデオ表示領域４３、資料テキストを表示するためのテ
キスト領域４４、参考図表を表示するための線画表示領
域４５、およびこれらの映像の中からキーワードを自動
的に検出しこのキーワードを表示するキーワード領域４
６などで構成されている。さらに、会議中に会議録作成
支援システムに対して補助的な情報を付加するのに使用
する補助操作ボタン４７を具備している。この補助操作
ボタン４７は、マウスやペンで対話的に操作することで
重要な項目の指定や、決定事項が発生した際に使用する
目的で設けたものである。なお、ここで示した表示装置
は、従来の白板／黒板と同様に会議参加者が自由に書き
込みが可能である。すなわち、各会議参加者に付与され
たペンやマウスを利用して画面に書き込み入力が可能で
ある。

【００２９】上記に説明した電子化白板を利用した会議
の進め方をここで簡単に説明する。会議参加者は、作成
した会議資料を必要に応じて電子化白板に表示する。会
議資料としては、線画、テキスト、動画や静止画、さら
には音声などが使用可能である。会議の参加者は、提示
された資料を参照しながら議事を進め、議事内容を必要
に応じて電子化白板にペンやマウスなどの入力装置を使
用して書き込んでいく。以上が、マルチメディア会議の
実施方法である。

【００３０】それでは次に、会議進行時の本装置の動作
について以下に説明する。

【００３１】本発明におけるデータ入力手段は、カメラ
などの動画入力装置６、マイクなどの音声入力装置７、
ペン入力装置８、マウスなどのポインティング装置９、
キーボードなどのキー入力装置１０などで構成される。
データ入力手段１で取り込まれたマルチメディア情報は
データ登録手段２に入力される。そして、データ登録装
置２ではこれらのマルチメディア情報をデータ格納部４
に登録するとともに、キーワードリスト、イベントリス
トおよび重要度リストと呼ぶ３つの検索用ファイルを作
成する。それぞれの検索用ファイルの作成方法および概
略について簡単に説明する。

【００３２】まず、キーワードリストの作成方法の例に
ついて図６にフローチャートを示し説明する。キーワー
ドリストの作成に際して、まずデータ入力手段１から取
り込まれたメディアが画像の場合には、ジェスチャ認識
などの画像認識処理を行うことによりキーワードを抽出
する。そして、その画像の入力された画像入力装置の装
置識別番号および画像表示を指定したキーボードなどの
キー入力装置の装置識別番号から参照者を識別する。ま
た、音声の場合には音声認識処理を行うことによりキー
ワードを抽出し、その音声の入力された音声入力装置の
装置識別番号および入力された音声に対して特徴抽出処
理を行うことにより発話者を識別する。さらに、ペン入
力装置から入力された手書入力文字の場合には文字認識
処理を行うことによりキーワードを抽出し、その文字の
入力されたペン入力装置の装置識別番号および入力され
た文字に対して特徴抽出処理を行うことにより書き込み
者を識別する。さらに、テキストの場合には形態素解析
などによりキーワードを抽出し、テキスト表示を指定し
たキーボードなどのキー入力装置の装置識別番号から参
照者を識別する。また、会議参加者が重要だと感じた項
目に対し操作する補助操作ボタン４７からの入力があっ
た場合には、各操作に応じたキーワードを出力するとと
もに、操作のあった装置の装置識別番号により参照者
（操作者）を識別する。

【００３３】キーワードが得られると各キーワードに対
して参照者、入力されたメディアが画像であるか音声で
あるかといったメディア種、各メディアの識別番号であ
るメディアＩＤを出現時間とともにキーワードリストに
登録する。

【００３４】このようにして作成したキーワードリスト
の例を図７に示す。なお本例では、「決定」に対応する
補助ボタンの入力に対して、メディア種の欄に「マー
カ」を、キーワードの欄に「決定」を出力している。

【００３５】次に、イベントリストの作成方法の例につ
いて図８にフローチャートを示し説明する。イベントリ
ストの作成に際しては、会議中に起こったイベントが画
像資料の参照であるか、音声の入力であるか、手書きの
書き込みであるか、またはテキストの入力であるかの判
定を行う。そして、画像資料の参照のときには画像の入
力された画像入力装置の装置識別番号および画像表示を
指定したキーボードなどのキー入力装置の装置識別番号
から参照者を識別する。また、音声の入力のときには音
声の入力された音声入力装置の装置識別番号および入力
された音声に対して特徴抽出処理を行うことにより、文
字の書き込みのときには文字の入力されたペン入力装置
の装置識別番号および入力された文字に対して特徴抽出
処理を行うことにより、テキストの表示のときにはテキ
スト表示を指定したキーボードなどのキー入力装置の装
置識別番号から参照者を識別する。そして、会議中に起
こったイベントに対してキーワードリスト作成時と同様
に、各イベントの参照者、メディア種、メディアＩＤ、
参照の開始された時間および参照の終了した時間をイベ
ントリストに登録する。

【００３６】このようにして作成したイベントリストの
例を図９に示す。

【００３７】最後に、重要度リストについて説明する。

【００３８】重要度リストでは、キーワードリスト作成
時に検出されたキーワードおよびイベントリスト作成時
に検出したイベントに対しそれぞれ重み付けを行う。そ
して、会議内で重要なキーワードおよびイベントが起こ
った場合にはこれに対して重みを付けた値を時間情報と
共に出力する処理を行う。すなわち、会議録作成時にこ
の値を時系列情報として会議録作成者に示し、重要なキ
ーワードが頻繁に現れたり書き込みや発言が頻繁に起こ
った時間帯を示すことにより、重要な項目が生じた場面
の選定を支援するものである。

【００３９】重要度リストの作成方法の例について図１
０にフローチャートを示し説明する。まず始めにキーワ
ードリスト作成と同じ方式でキーワードの検出を行う。
そして、検出されたキーワードが「決定」や「課題」な
ど会議において重要な意味を持つ言葉であるか、あまり
重要でない言葉であるかによって重み付けを行う。次
に、ペン入力装置により書き込まれたキーワードに対し
ては音声のキーワードに比べ高い値をつけるなど、キー
ワードの現れたメディアにより重み付け行う。さらに、
会議の司会・進行者の参照したキーワードに対して高い
値を付けるなど参照者による重み付けを行う。このよう
にして算出した重み付け値をキーワードの出現した時間
に対する重み付け値として重要度リストに出力する。ま
た次に、イベントリスト作成時と同じ方式でイベントの
検出を行う。そして検出されたイベントに対して、キー
ワード時と同様にメディア種および参照者による重み付
けを行うとともに、その出現頻度による重み付けを行
う。そして、算出した重み付け値を該当する時間帯の重
み付け値として重要度リストの値に加算する。このよう
にして作成した重要度リストの例を図１１に示す。以上
が会議進行時における本装置の動作である。

【００４０】次に、会議録作成時における本装置の動作
について説明する図１２は、会議録作成を支援する環境
を模式的に示した図である。本環境は、会議録を対話的
に作成するために構成したもので、マルチメディア会議
データを表示するための画像表示装置５０、音声を再生
するためのスピーカ装置５１、５２、検索のための条件
や議事録に補助情報を挿入する為のキーボード５６、マ
イクロフォン５４、ペン入力装置５３、ポインティング
操作を行なうマウス５５から構成する。図１２の画像表
示装置５０は会議録を作成するための素材映像と会議ダ
イジェストを表示する機能がある。スピーカ５１、５２
は会議中の発言や資料として提示されたビデオ映像に付
随した音響信号を再生する。ペン入力装置５３、マウス
５５およびキーボード５６はキーワードの入力や検索の
ための操作指示を行なうために使用する。マイクロフォ
ン５４はダイジェスト作成に際し、音声による注釈を加
えたり、また音声により検索操作指示を行なう際の入力
装置として使用する。なお上記の装置の詳細な機能につ
いては、以下の実施例の説明において適宜説明する。マ
ルチメディア会議においては、会議の資料や、進行状況
の映像が電子化されているため、会議録作成環境も図１
２に示すように電子化することで会議進行の支援が可能
となると同時に会議状況の記録作成が容易になるなどの
利点がある。

【００４１】次に、本発明によるところの会議録の作成
方法について説明する。

【００４２】会議録の作成は会議終了後、会議参加者の
なかから代表者が作成することを想定している。この会
議録作成では、会議中に作成したマルチメディア会議記
録データを対話的に検索・編集しながら会議の要点だけ
を抜粋する方法がよく、本発明は安易かつ迅速に検索編
集できる環境を提供する目的でなされたものである。図
２は、会議録を作成する際に使用するシステムの画面構
成を模式的に示した図である。この映像は図２に示した
会議録作成環境の画像表示装置５０に提示する画像であ
る。この画像表示画面は、検索やブラウジングの為の素
材画像を表示する領域（以後、検索領域と表記する）２
０と、この検索領域からの素材を用いて会議録ダイジェ
ストを作成するための領域（以後、ダイジェスト領域と
表記する）３０から構成する。検索領域２０は、会議中
に撮影した映像や資料として提示された映像を拡大表示
するための拡大映像表示領域２１、会議の時間経過に対
応した映像の流れを表示する領域２２、および映像以外
の会議情報を表示するための映像外情報表示領域２３か
ら構成する。

【００４３】一方、ダイジェスト領域３０には、会議録
を作成するのに必須な項目を含む会議録作成のテンプレ
ートが設けてある。このテンプレートは、会議の名称、
開催日時・場所、参加者や、その会議において決定され
た事項のリスト、その会議では決定に到らず保留とされ
た項目、次回の開催予定、および、次回の会議までの検
討項目などを含んでいる。さらに、これらの項目に関連
した動画映像や静止画映像、図面などの線画情報を表示
するためのウィンドウ領域３１、３２、３３、３４、３
５を設ける。なお、このウィンドウの大きさや数は、図
中に示した個数に限定されることなく、議事決定の項目
数や関連する資料の枚数によってマルチウィンドウ表示
することが好ましいことは容易に理解できる。

【００４４】検索領域２０には、先にも述べたように会
議の時間経過に対応した映像を表示する領域２２があ
る。以後、この時間経過を表す映像を映像ボリュームと
記し、この映像を表示する領域を映像ボリューム領域と
呼ぶことにする。映像ボリュームの表示方法は図１３を
用いて後で説明する。映像ボリューム領域２２には、検
索キーワードによって検索された映像を関連ある項目毎
に直方体の形状を用いて表示する。すなわち、ある項目
に関連ある映像、キーワードを変更すると、キーワード
に関連する映像を自動的にデータ格納手段４から再取得
し、それらの映像を再度映像ボリュームに配列して表示
する。また、このボリューム映像に関連した映像以外の
情報（例えば、発言者リスト、討議継続時間、含まれる
キーワードのリスト、参照された資料の番号など）は、
整理して映像外情報表示領域２３に表示する。会議録作
成者は表示された映像以外の情報を手がかりにして、新
たな検索条件の設定や再検索を実行しダイジェストを作
成する。

【００４５】図２の実施例での一番のポイントは、表示
画面に検索のための素材映像を表示する領域（検索領域
２０）と、それらの素材から作成した会議録を表示する
領域（ダイジェスト領域３０）を同時に表示し、検索領
域２０において対話的に会議録作成のために必要な会議
映像や発言音声、資料映像、および討議の際の書き込み
などを検索し、この検索の結果得られた素材データを編
集してダイジェスト領域３０に移動し、これを改めて記
録することで会議録を作成することを容易にすることに
ある。上記のように、素材を表示する領域とダイジェス
トを作成する領域を同時に表示し、この領域の間を自在
に移動しながら対話的に検索と編集を繰り返し会議録作
成を行えることが、本発明の特徴である。

【００４６】図１３−Ａは映像ボリュームの構成方法を
説明する図である。この表示方法は、時間的に推移する
映像を時間の経過に比例してｘ方向とｙ方向に僅かにず
らしながら表示する方法である。時刻の異なる映像を僅
かにずらしながら表示するので、時間経過後の表示は直
方体を２次元表示したような形状になる。この表示方法
は先頭映像により映像の内容を、また斜め方向の辺の長
さにより時間経過が表示され、ユーザに対し意味のある
映像の塊を直感的に理解させるのに好適な方法である。
さらに映像が提示されるのは先頭画像は全面であるが、
それ以降は画像の上部と左部が僅かに表示されるにてい
るに過ぎず、少面積で映像の流れを表示することができ
る。なお、映像に大きな変化が発生した際は、僅かに表
示した上部と左辺部の映像の輝度や色の変化から理解す
ることができるという特徴もある。本発明では会議資料
映像から、所望するデータを検索するのにこのボリュー
ム映像表示方法を採用する。

【００４７】図１３−Ｂは、前記の映像ボリュームの表
示方法を用いて、会議の重要事項を表示する実施例を示
した図である。先に、会議進行時の例で説明したよう
に、本会議録作成支援システムでは、会議中にリアルタ
イムで会議の内容を解析して検索用ファイルを作成して
いる。このファイル作成では音声認識やペン入力文字や
会議参加者の動作を理解するジェスチャー認識、あるい
はキーボードからのタイプ情報、さらに図５における補
助操作ボタン４７からの入力情報によって議事内容を理
解して検索を容易にするマーカやキーワードを付与して
いる。映像を表示する際には、映像のボリューム表示に
加えて上記のマーカを付与された映像を明示的に表現す
るため、例えば付箋のようなメタファを用いる。図１３
の実施例では、会議資料に書き込まれた「決定」という
文字を認識し、決定のマーカを付与した映像に付箋２５
を付けて表示する。図１３−Ａのような表示方法に付箋
だけが付与された表示形態とすることも可能である。上
記のような付箋付与により「決定事項」を明示的に表示
すれば、議事決定に到る全ての討議を参照することな
く、少ない時間で決定事項を知ることができる。

【００４８】先にも述べたように、この映像ボリューム
２２は検索キーワードに合致し関連した映像を集めて作
成したものである。そのため、複数の決定事項を含む場
合もあり得る。そこで複数の決定事項がある場合は、複
数の付箋を使用して、ユーザに明示的に提示するように
してもよい。また、この映像表示方法では、映像の付近
に表示時間を変更可能とするスライダ２６を設けてお
き、このスライダを用いて表示する時間をユーザが指定
可能なようにしておいても良い。さらに、本図に示すよ
うにスライダ２６を用いることにより指定した映像を映
像ボリュームの最前面に表示しても良いし、重要度リス
トの値に応じてスライダの溝の部分に濃淡を表示しても
いい。このように、予め重要な部分が分かり易いよう
に、スライダ上にマークを設けておくことでユーザは、
より素早く重要な資料映像に到達可能となるといった優
れた効果が得られる。また、このスライダ２６によりポ
イントされた時刻の資料映像は拡大映像表示領域２１に
表示して確認する。前記の様に拡大映像表示領域を使用
することで容易に色々な会議場面・資料を参照すること
が可能となる。なお、この拡大映像表示領域には、会議
風景映像や、テキスト情報、資料ビデオ、およびキーワ
ードなどの情報を同時に表示しても良いし、前記のメデ
ィアの中から幾つかのメディアを選択して表示してもよ
い。検索の状況に応じて、最適な表示方法を選択するの
が良い。なお本実施例ではスライダ２６のみを時間指定
のインタフェースとして取り上げたが、本発明の趣旨は
ユーザが任意に再生時刻を設定可能なインタフェース装
置を設けることであり、再生時刻を対話的に設定できる
方法であれば、如何なる方法であっても構わない。要点
は、任意時刻からの再生を可能とする方法で、会議の資
料データ・映像を対話的に表示しながらダイジェストを
作成するのを支援することにある。

【００４９】図１４、図１５は図１３により説明した映
像の表示方法を、「宿題事項」、「保留事項」に使用し
た実施例である。図１４は、議事が決定されず次回への
検討事項（宿題）として持ち越された場合を表示する例
である。また図１５は、保留された項目を表示する場合
である。上記、図１４、図１５の実施例では、会議中の
発言内容、マルチメディア白板への書き込み、あるいは
会議参加者のジェスチャーやキーボード操作、補助操作
データによって付けられた宿題マーカや保留マーカを参
照して、その会議資料・会議映像が表示されている映像
にそれぞれ宿題や保留を表示する付箋を明示的に表示す
る。図１４、図１５でも付箋を用いることで議事録にと
って重要な事項を表示するが、図１３で使用した付箋と
は異なる付箋を使用することで、「議事決定」とは異な
ること表現するのは好ましいことである。なお、重要事
項であることを表示するためだけの目的であるならば、
同一の付箋を使用しても構わない。これはユーザの選択
可能なようにシステムを構成すればよい。

【００５０】図１６は、図１３の表示方法の変形を示す
実施例である。図１３では、映像ボリューム表示におい
て資料の先頭映像を表示することを述べた。資料の先頭
の映像を使用するためこの方法によれば、書き込みや変
形のない映像が表示されることになる。そのため、この
映像は必ずしも議事の内容を反映しているとは限らず、
一目で議事の内容を把握することが困難な場合がある。
そこで、この欠点を解決するため図１６の実施例では決
定マーカの付いた映像を予め検索しておき、この映像を
先頭映像として表示するように構成した。また、議事が
決定されるまでの時間経過も議事記録としては重要であ
るので、付箋のメタファは図１３の実施例と同様に議事
決定の時刻に表示する。本実施例の特徴は、一連の議事
映像の中で最も重要な映像を先頭にし、一目で決定議事
の内容が理解できるようにした点である。なお、このよ
うな映像表示方法は議事決定だけではなく、保留事項や
宿題事項、さらにはその他の重要事項を表示するのに使
用してよいことは言うまでもない。

【００５１】図１７は、図１３及び図１６の変形例の実
施例である。図１７の実施例は、対話的な操作により重
要事項のラベル付け、ラベルの変更を可能とする環境の
表示映像である。すなわち、会議の最中に、議事決定の
ラベルが付加されなかった場合、あるいは議事決定では
無いがそれに準じて重要な項目であり、会議のダイジェ
スト作成には必要不可欠と考えられる内容を含む場合
は、検索して得られた映像に対話的にラベルを付加する
ことを可能にする。

【００５２】上記の動作を可能とするため、図１７の実
施例では、映像ボリューム表示領域にラベルを作成する
のを指示する操作領域６１を設ける。重要事項のラベル
作成を操作指示ボタン６２、６３によって指示すると、
それを確認するメッセージを対話操作用ボタンボックス
６４内に表示し、マーカ登録の確認を要求する。マーカ
登録の意思が確認されると、その映像に重要事項として
マーカを作成し、検索用ファイルに格納する。以降の操
作では、この重要事項のマーカを付与した会議データを
付箋のメタファなどによりユーザに知らせることで議事
録作成を支援する。

【００５３】次に、検索領域の画像表示を模式的に表し
た図により検索手順を説明する。図１８は検索条件とし
て話者を選択した場合の操作手順例を示している。図１
８−ａに示す画面は、検索メニューを表示する画面の一
例を示している。すなわち、会議録作成時にマウスまた
はキーボードからの入力により検索を指定すると検索領
域内に検索モード選択のメニュー１１０が現われる。こ
のメニュー１１０は話者による検索を指定する領域１０
１、提示資料による検索を指定する領域、キーワードに
よる検索を指定する領域および時間帯を指定した検索を
指定する領域などから成っており、そのうち一つを選択
することができる。この場合、話者からの検索メニュー
１０２を選択したとすると、次に表示画面は検索モード
選択メニューの代わりに図１８−ｂの様に会議参加者を
表示する。本実施例では、会議参加者の顔画像により視
覚的に認知し易い形態で表示している。もちろん参加者
を名前などテキスト情報で表示してもよい。ここで検索
したい発言者１１２を選択すると、この検索条件から検
索用ファイルをアクセスし、データ格納部のアクセス情
報を得る。すなわち、図９に例示したイベントリストに
おいて、参照者の欄から発言者１１２を、メディア種か
ら「音声」を検索することにより。発言者１１２が発言
していた時刻を得る。次に、この検索結果に基づきデー
タ格納部からデータを読み出してデータキャッシュに関
連データを格納する。そして、この関連データの内、映
像データは図１８−ｃに示すように映像ボリューム表示
により表示する。なお、この映像ボリュームの表示と同
時に、会議参加者の発言者モニタ１２１、会議重要度モ
ニタ１２２も合わせて表示する。この発言者モニタは、
検索キーで指定された発言者が、全会議中のどの時間帯
に発言したかを表示するもので、検索用ファイルに登録
された発言者と前記検索結果を得て表示する。また、会
議の重要度モニタは図１１に例示した重要度リストを時
系列的に表示したものである。すなわち、検索キーワー
ドの出現頻度、または重要会議参加者の発言やその頻
度、さらには資料への書き込み内容やその書き込み頻度
などの情報を解析し、各項目に重みを掛けて会議の重要
度を表す評価尺度として使用するものである。この様な
評価尺度は、必ずしも完全に会議の重要度を表すとはい
えないが、議事録作成のためのブラウジングにおいてユ
ーザの参考となるための手段であることが十分期待でき
る。

【００５４】なお、検索画面には検索キーである顔画像
１２３、および映像ボリュームでは表示できない映像以
外の情報を表示する映像外関連情報表示エリア１２４を
表示する。この関連情報は映像ボリュームの近傍設け
る。この関連情報としては、例えば討議参加者、参照し
た資料番号、発言に含まれたキーワード、最多発言者な
ど、会議に関連した情報を、アイコン状の小さな映像や
テキストとして表示しておくのがよい。なお、図１８−
ｃの実施例は、主に発言者による検索を示したが、同時
に参照した資料によって映像ボリュームの表示位置を違
えて表示している。すなわち映像ボリューム１２５は発
言者と資料１、映像ボリューム１２６は発言者と資料２
といった組合せによって選んだ映像のボリュームを表示
している。この様に複合キーで検索することは一般的で
あるが、図１８−ｃの様に検索キーをそれぞれ表示し、
その関連映像をボリューム表示することで、よりユーザ
にとっては検索し易い環境が構築できる。また、この時
の映像外関連情報表示エリアの表示画面例を図１８−ｄ
に示す。すなわち、映像外関連情報表示エリアには選択
された場面における討議参加名、参照資料名キーワード
一覧および最多発言者名が表示されている。

【００５５】次に映像ボリュームと関連情報を利用した
多段の検索方法を説明する。通常、資料の検索では、第
１次の検索と、その結果を更にふるいに掛けて必要とす
る情報のみを取得する多段の検索手法が用いられる。会
議録作成の検索においても、図１８−ｃで得られた第１
段階の検索結果を、さらに新たな検索キーワードにより
ふるい分けることで、必要とする資料をより鮮明に表示
できる。それには、映像外関連情報エリアのキーワード
を使用して再検索するのが良い。例えば映像外関連情報
表示エリアにおいて資料番号を指定すると、検索条件は
発言者と資料番号のアンド条件となる。この時の検索結
果を図１８−ｅに示す。すなわち、検索条件として指定
した資料を検索領域内の別ウィンドウ１３１に表示する
とともに、前記検索式に一致する映像を含む領域を、例
えば高輝度にしたり、色を変更することでユーザに対し
て認知し易すくする。さらに、映像外関連情報表示エリ
アのキーワードの欄を選択すると、図１８−ｆに示すよ
うに映像外関連情報表示エリアとは別にキーワードリス
トが表示され、この中から検索に使用するキーワードを
選択することで複合検索を可能とする。なお、複合検索
の結果は先の資料での検索と同様に、条件が一致する映
像ボリュームの上部を高輝度表示、あるいは色彩を変更
することなど方法によってユーザに認知させる。また図
１８−ｇは、参加者による複合検索を実施する場合の画
像表示例である。

【００５６】図１９と図２０は、図１８の検索キーを変
更して検索した実施例である。図１８と図１９の実施例
が異なる点は、第１の検索条件が資料映像であることで
ある。すなわち、第１の検索で資料番号４に関連する映
像をボリューム表示し、第２段階の検索では、それぞれ
参照資料と参加者のアンド条件、参照資料とキーワード
のアンド条件、参照資料とこれとは別の参照資料である
資料６とのアンド条件といった複合検索を可能とする。
図２０の実施例が図１８の実施例と異なる点は、第１の
検索条件がキーワードである点である。図１９の実施例
は、同様に多段の複合検索を可能とするインタフェース
を提供し、会議録作成者が所望する会議資料データ・映
像を迅速に検索して得られるユーザインタフェースであ
る。なお、図１９の実施例では図１８における発言者モ
ニタ１２１の代わりに資料利用モニタ１４１を、図２０
の実施例ではキーワード出現モニタ１５１を表示してお
く。資料利用モニタ１４１は電子化白板に会議資料が提
示されていた時間を示すものであり、キーワード出現モ
ニタ１５１は議事中にキーワードが現れた時間帯を表示
するものである。これらのモニタは、検索用ファイルに
登録された資料とそのタイムスタンプの情報、キーワー
ドとその発生したタイムスタンプの情報を用いて作成す
ることが可能である。

【００５７】これまでの実施例では主に表示する画面の
構成方法を中心に説明を行なった。次に検索・ブラウジ
ング処理の流れを図２１に示したフローチャートを用い
て説明する。会議録の作成を開始した後に行なう一番始
めの処理は、議事録作成支援システムの表示画面上に検
索領域とブラウジング領域の２つの領域を確保すること
である。これにより、検索、およびブラウジングの準備
が整う。次に、検索を開始し、会議録作成者の所望する
会議データを得るための検索キーの入力を促し、端末か
ら得る。会議録作成支援システムは、入力された検索キ
ーを基に検索用ファイルをアクセスし、キーに合致する
会議データを取得する。この会議データのうち映像関連
部分は、映像ボリューム表示によって、また非映像デー
タは映像外情報として表示する。この時、先の実施例で
説明したように会議の進行状況の理解を助ける各種モニ
タも映像表示する。次に、会議録作成支援システムはユ
ーザがスライダ操作による映像ブラウジング要求がある
かを検査し、要求がある場合は指定された映像領域を拡
大映像表示領域に表示する。このフローについては後で
説明する。次の処理は、多段検索要求の判定である。第
１段階の検索で、会議録作成者の所望するデータに到達
できなかった場合は、更に検索条件を付加して検索を実
行する処理を実行する。この検索が不要な場合は、この
多段検索処理のループをバイパスする。多段検索処理で
は、先の検索処理と同様に検索のためのキーを入手し、
引続いて検索用ファイル、データファイルを検索してキ
ーに合致するデータを入手する。この検索でもスライダ
の操作要求を検査することは先の場合と同様である。こ
の多段検索は、検索要求がある限り反復して検索を実行
可能なようなループ構造にしておくのがよい。多段の検
索が終了し、会議録作成者が所望する会議記録データに
到達したならば、会議ダイジェストとして使用するデー
タが選択されたかどうかを検査する。使用するデータが
指定されない場合は、検索の結果が不十分であるか、ダ
イジェスト作成の必要が少ないものとして終了判定の処
理にジャンプする。指定されたデータは、その検索用フ
ァイルの内容、および会議記録データを一度バッファに
格納（コピー）する。続いて、操作指示がダイジェスト
領域へのペーストであるかを検査し、ペースト要求であ
る場合はダイジェスト領域のデータを保持しているバッ
ファへコピーしたバッファの内容をペーストする。この
カット＆ペーストにより検索領域で検索した会議データ
から対話的に会議ダイジェストが作成できる。次に、ダ
イジェスト領域へのペーストが完了したならば操作終了
を検査する。終了要求を検出したならば、それまでにダ
イジェストとして作成したバッファの内容を会議録とし
て恒久的な記録媒体にセーブし、全ての処理を終了す
る。終了ではない場合は、再び検索操作を行なう処理手
順に復帰する。なお、本フローチャートの説明では、説
明の簡潔さを重視したため、復帰する位置を一番先頭の
検索キーの入力要求の処理とした。復帰する際に、どの
処理手順に復帰するかを会議録作成者に入力要求し、そ
の指示にしたがって復帰位置を決定しても良いことはい
うまでもない。多段検索の途中に復帰することで同一の
検索条件を使用しながら検索を再開できるので、復帰位
置を指定可能な方がより高度な検索・ブラウジング処理
が可能となる。

【００５８】

【発明の効果】音声や画像などのマルチメディア情報を
用いた会議システムにおいて、会議中の重要な項目を短
時間で簡便に編集できる装置およびユーザインタフェー
スを提供することができる。

【図面の簡単な説明】

【図１】会議録作成支援装置の構成を表わす図である。

【図２】会議録作成画面の構成を表わす図である

【図３】会議録作成処理手順を表わす図である。

【図４】検索処理手順を表わす図である。

【図５】マルチメディア会議の映像表示画面を表わす図
である。

【図６】キーワードリストの作成手順を表わす図であ
る。

【図７】キーワードリストの例を表わす図である。

【図８】イベントリストの作成手順を表わす図である。

【図９】イベントリストの例を表わす図である。

【図１０】重要度リストの作成手順を表わす図である。

【図１１】重要度リストの例を表わす図である。

【図１２】会議録作成支援装値の環境を表わす図であ
る。

【図１３】映像データの表示方法を表わす図である。

【図１４】付箋マーカを宿題事項に対して応用した図で
ある。

【図１５】付箋マーカを保留事項に対して応用した図で
ある。

【図１６】重要映像の先頭表示を表わす図である。

【図１７】対話的手法を用いた検索マーカの登録を表わ
す図である。

【図１８】発言者をキーに検索したときの検索操作を表
わす図である。

【図１９】会議資料をキーに検索したときの検索操作を
表わす図である。

【図２０】キーワードをキーに検索したときの検索操作
を表わす図である。

【図２１】会議ダイジェスト作成処理手順を表わす図で
ある。

【符号の説明】

１…データ入力手段、２…データ登録手段、３…検索用
ファイル格納手段、４…データ格納手段、５…会議録作
成支援手段、６…画像入力装置、７…音声入力装置、８
…ペン入力装置、９…ポインティング装置、１０…キー
入力装置、１１…データ分配部、１２…検索用ファイル
作成部、１３…検索制御部、１４…読み出し制御部、１
５…データキャッシュ、１６…ブラウジング制御部、１
７…会議録作成支援部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 木下 泰三 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内

Claims (21)

【特許請求の範囲】
1. 【請求項１】会議でのデータを格納するデータ格納手段
   を有する会議録作成支援装置において、 会議でのデータを入力する動画入力手段、静止画入力手
   段、音声入力手段、ペン入力手段、ポインティング手段
   およびキー入力手段のうち少なくとも１つ以上を有する
   データ入力手段と、 前記データ入力手段より入力されたデータを前記データ
   格納手段に格納し、前記データの時間関係を解析して検
   索用ファイルを作成するデータ登録手段と、 前記データ登録手段で作成された前記検索用ファイルを
   格納する検索用ファイル格納手段と、 前記検索用ファイル格納手段に格納された検索用ファイ
   ルの参照結果をもとに該当するデータを前記データ格納
   手段から読み出し、前記データを表示および編集するこ
   とにより会議録の作成を支援する会議録作成支援手段を
   有することを特徴とする会議録作成支援装置。
2. 【請求項２】請求項１記載の会議録作成支援装置におい
   て、 前記データ登録手段は、前記データを解析することによ
   り検索用ファイルを作成する検索用ファイル作成部と、 前記データをデータ格納手段に登録するとともに検索用
   ファイル作成部に分配するデータ分配部を有することを
   特徴とする会議録作成支援装置。
3. 【請求項３】請求項１記載の会議録作成支援装置におい
   て、 前記データ登録手段は、前記検索用ファイル格納手段に
   格納された検索用ファイルを参照することにより、指定
   した検索条件を満たすデータを検索する検索制御部と、 前記検索制御部によって得られた検索結果をもとに前記
   データ格納手段からデータを読み出す読み出し制御部
   と、 前記データ格納手段から読み出されたデータをバッファ
   リングするデータキャッシュと、 前記データキャッシュに格納されたデータを基に会議の
   内容をブラウジングするブラウジング制御部と、 前記ブラウジング制御部によってブラウジングした内容
   を基に会議録のダイジェスト版の作成を支援する会議録
   作成支援部を有することを特徴とする会議録作成支援装
   置。
4. 【請求項４】請求項１記載の会議録作成支援装置におい
   て、 前記会議録作成手段は、前記入力手段で入力したデータ
   をそれぞれ認識する画像認識手段、音声認識手段、文字
   認識手段およびテキスト処理手段のうち少なくとも１つ
   以上により、検索用のキーワードを自動的に抽出すると
   ともに前記検索キーワードの出現した時間を格納した検
   索用ファイルを作成し、会議録作成時には前記検索用フ
   ァイルを用いて会議録作成者の所望する場面の抽出を支
   援することを特徴とする会議録作成支援装置。
5. 【請求項５】請求項４記載の会議録作成支援装置におい
   て、 前記データ登録手段は、抽出されたキーワードによる重
   みデータ、キーワードの発話者による重み情報、発言の
   頻度情報、キーワードの出現頻度情報、ペン入力手段に
   よる書き込みの頻度情報のうち少なくとも１つ以上の情
   報を基に会議の重要度を時系列的に表わす情報を作成し
   た検索用ファイルを作成し、会議録作成時には前記検索
   用ファイルを用いて会議録作成者の所望する場面の抽出
   を支援することを特徴とする会議録作成支援装置。
6. 【請求項６】請求項４記載の会議録作成支援装置におい
   て、 前記データ登録手段は、抽出されたキーワードによる重
   み情報、キーワードの出現頻度情報、キーワードの発話
   者による重み情報のうち少なくとも１つ以上の情報を基
   に、会議の名称、会議の場所、会議の日時、会議の参加
   者、決定事項、保留事項、次回開催予定および次回検討
   課題などの会議録の構成項目を自動的に抽出するととも
   に該当する項目に対し識別情報を付与した検索用ファイ
   ルを作成し、会議録作成時には前記識別情報を用いて会
   議録作成者の所望する場面の抽出を支援することを特徴
   とする会議録作成支援装置。
7. 【請求項７】請求項１記載の会議録作成支援装置におい
   て、 前記データ登録手段は、会議の名称、会議の場所、会議
   の日時、会議の参加者、決定事項、保留事項、次回開催
   予定および次回検討課題などの会議録を作成する上で、
   会議参加者の操作指示により指定された項目に対して識
   別情報を会議進行中に検索用ファイルに登録し、会議録
   作成時には前記識別情報を用いて会議録作成者の所望す
   る場面の抽出を支援することを特徴とする会議録作成支
   援装置。
8. 【請求項８】請求項１記載の会議録作成支援装置におい
   て、 前記会議録作成手段は、前記入力手段から入力されるデ
   ータが画像データの時には画像認識処理によりキーワー
   ドを抽出するとともに前記動画像入力手段の識別番号お
   よび画像表示を指示した前記キー入力手段の識別番号か
   ら参照者を識別し、 前記入力手段から入力されるデータが音声データの時に
   は音声認識処理によりキーワードを抽出するとともに前
   記音声入力手段の識別番号および音声の特徴抽出により
   発話者を識別し、 前記入力手段から入力されるデータが手書き入力文字の
   時には文字認識処理によりキーワードを抽出するととも
   に前記ペン入力装置の識別番号および文字の特徴抽出に
   より書き込み者を識別し、 前記入力手段から入力されるデータがテキストデータの
   時には形態素解析処理によりキーワードを抽出するとと
   もにテキストの入力を指示した前記キー入力手段の識別
   番号から参照者を識別し、 入力データが会議参加者の操作指示により指定した項目
   に対応する識別情報の時には、前記項目に対応するキー
   ワードを抽出するとともに、識別情報を入力した装置の
   識別番号から前記識別情報入力者を識別し、 前記検索キーワードおよびその参照者とともに該検索キ
   ーワードの出現した時間を格納した検索用ファイルを作
   成し、会議録作成時には前記検索用ファイルを用いて会
   議録作成者の所望する場面の抽出を支援することを特徴
   とする会議録作成支援装置。
9. 【請求項９】請求項１記載の会議録作成支援装置におい
   て、 前記データ登録手段は、参照資料、音声の発話、手書き
   文字の表示およびテキストの表示のうち少なくとも１つ
   以上のイベントの開始・終了時刻を登録した検索用ファ
   イルを作成し、会議録作成時には前記検索用ファイルを
   用いて会議録作成者の所望する場面の抽出を支援するこ
   とを特徴とする会議録作成支援装置。
10. 【請求項１０】請求項１記載の会議録作成支援装置にお
    いて、 前記データ登録手段は、資料の参照があった時には前記
    動画像入力手段の識別番号および資料参照を指示したキ
    ー入力手段の識別番号から参照者を識別し、 音声の発話があった時には前記音声入力手段の識別番号
    および音声の特徴抽出により発話者を識別し、 手書き文字の表示があった時には前記ペン入力装置の識
    別番号および文字の特徴抽出により書き込み者を識別
    し、 入力データがテキストデータテキストの入力を指示した
    前記キー入力手段の識別番号から参照者を識別し、 上記方法によって得られたイベントの開始時間および・
    終了時刻を登録した検索用ファイルを作成し、会議録作
    成時には前記検索用ファイルを用いて会議録作成者の所
    望する場面の抽出を支援することを特徴とする会議録作
    成支援装置。
11. 【請求項１１】請求項１記載の会議録作成支援装置にお
    いて、 会議録作成支援手段は、検索・ブラウジング用の領域と
    会議録作成用の領域を同時に表示することを特徴とする
    会議録作成支援装置。
12. 【請求項１２】請求項１１記載の会議録作成支援装置に
    おいて、 前記会議録作成支援手段は、映像拡大表示用部分と会議
    中の映像フレームを時系列的に表示した映像ボリューム
    表示部分と映像外情報の一覧表示部分を備えた検索用ブ
    ラウジング領域を有することを特徴とする会議録作成支
    援装置。
13. 【請求項１３】請求項１１記載の会議録作成支援装置に
    おいて、 前記会議録作成支援手段は、少なくとも会議名称の項目
    と日時場所を示す項目と参加者を示す項目と決定事項を
    示す項目と保留事項を示す項目と次回開催予定を示す項
    目を備えたダイジェスト表示用領域を有することを特徴
    とする会議録作成支援装置。
14. 【請求項１４】請求項１３記載の会議録作成支援装置に
    おいて、 前記ダイジェスト表示用の領域は、少なくとも１つ以上
    の関連情報表示用部分を有することを特徴とする会議録
    作成支援装置。
15. 【請求項１５】請求項１１記載の会議録作成支援装置に
    おいて、 前記会議録作成支援手段は、検索ブラウジング用の領域
    に表示した会議記録データの任意の部分データをバッフ
    ァリングする手段を有し、このバッファに格納した情報
    をダイジェスト作成用領域を構成するデータ記録手段の
    任意の位置に挿入する手段を設けたことを特徴とする会
    議録作成支援装置。
16. 【請求項１６】請求項１２記載の会議録作成支援装置に
    おいて、 前記映像ボリューム表示領域は、時系列的に並べた映像
    フレーム群の近傍に表示する映像フレームを指定する手
    段を有することを特徴とする会議録作成支援装置。
17. 【請求項１７】請求項１６記載の会議録作成支援装置に
    おいて、 前記映像ボリューム表示領域は、表示を指定された映像
    フレームを時系列的に並べられた映像フレーム群の最善
    面に表示することを特徴とする会議録作成支援装置。
18. 【請求項１８】請求項１７記載の会議録作成支援装置に
    おいて、 前記映像ボリューム表示領域は、表示を指定された映像
    フレームを時系列的に並べられた映像フレーム群の最善
    面に表示する映像表示方法と、時系列的に並べて表示す
    る表示方法のうちいずれかが選択できることを特徴とす
    る会議録作成支援装置。
19. 【請求項１９】請求項６記載の会議録作成支援装置にお
    いて、 前記会議録作成支援手段は、予め検索用ファイルの識別
    情報を参照し、会議の名称、会議の場所、会議の日時、
    会議の参加者、決定事項、保留事項、次回開催予定およ
    び次回検討課題などの会議録の構成項目を、読み出し制
    御手段を通してデータ格納手段から自動的に読み出し会
    議録作成手段に格納しておくことを特徴とする会議録作
    成支援装置。
20. 【請求項２０】請求項７記載の会議録作成支援装置にお
    いて、 前記会議録作成支援手段は、予め検索用ファイルの識別
    情報を参照し、会議の名称、会議の場所、会議の日時、
    会議の参加者、決定事項、保留事項、次回開催予定およ
    び次回検討課題などの会議録を作成する上で、会議参加
    者の操作指示により指定された項目を、読み出し制御手
    段を通してデータ格納手段から自動的に読み出し会議録
    作成手段に格納しておくことを特徴とする会議録作成支
    援装置。
21. 【請求項２１】会議でのデータを格納するデータ格納手
    段を有する会議録作成支援装置において、 会議でのデータを取り込む動画入力手段、静止画入力手
    段、音声入力手段、ペン入力手段、ポインティング手段
    およびキー入力手段のうち少なくとも１つ以上により入
    力し、 入力された前記データを前記データ格納手段に格納し、
    前記データの時間関係を解析して検索用ファイルを作成
    し、 作成された前記検索用ファイルを格納し、 格納された前記検索用ファイルの参照結果をもとに該当
    するデータを前記データ格納手段から読み出し、前記デ
    ータを表示および編集することにより会議録の作成を支
    援することを特徴とする会議録作成支援方法。