JP2003255979A - データ編集方法、データ編集装置、データ編集プログラム - Google Patents

Abstract

(57)【要約】 【課題】 会議の議事録を人手を掛けることなく作成す
ることができるデータ編集装置を提案する。 【解決手段】 会議中の会議音声及び映像情報を入力す
る会議音声・映像入力部と、この会議音声・映像入力部
から入力された会議音声および映像情報を蓄積する会議
音声・映像データベースと、入力された音声情報及び映
像情報から音声議事録と、テキスト議事録と、映像イン
デクシングとを作成する会議録作成部とによって構成し
たデータ編集装置を提案する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、文字、音声、映
像から構成されるマルチメディア会議録を自動的に作成
することに利用することができるデータ編集方法、デー
タ編集装置及びデータ編集方法をコンピュータ上で実現
するためのデータ編集プログラムに関する。

【０００２】

【従来の技術】従来においては、マルチメディア会議録
作成の方法として、会議の文字、音声、映像をディジタ
ル化し、人手によって編集する方法があった。例えば、
日本国特開平２０００−１８４０７８公報では、アナロ
グ音声信号をディジタル信号に変換し、記録媒体に記録
し、複数の音声記録装置間を接続し、信号源を共有する
方法があった。また、日本国特開平１０−２９４４９２
号公報では、会議中の発言を、音声メモとして記録し、
文章に起こしてテキストメモとして付加し、順次他のテ
キストメモとの関連付けを行って議事録を作成する方法
があった。

【０００３】また、日本国特開平１０−２９４７９８号
公報では会議の出席者と、該当出席者が使用するテレビ
会議端末とを対応付けし、発言内容の音声情報を音声認
識し、認識された音声を文字情報に変換し、変換された
文字情報を、発言毎に議事録として蓄積し、文字情報か
ら音声情報に変換し、変換された音声情報を議事録とし
て蓄積するマルチメディア議事録作成方法があった。ま
た、日本国特開平７−１２３３８４号公報では、映像、
音声情報を扱う会議端末を、通信網を介して接続し、多
地点間で通信会議を行う分散会議システムのマルチメデ
ィア会議録を、自席で作成、編集、承認、配布ができる
装置があった。

【０００４】また、日本国特開平７−１８２３６５号公
報では、会議のデータを、動画、静止画、音声、ペン、
キー等の入力手段で入力し、入力データの時間関係を解
析して検索用ファイルを作成し、検索用ファイルに該当
するデータを読み出し、データを表示、編集し、マルチ
メディア会議録を作成支援する方法があった。

【０００５】

【発明が解決しようとする課題】音声情報を検索・編集
するには、音声情報を聴取するか、音声認識しなければ
ならない。音声聴取には、発話速度変換技術があるが、
短時間で内容を理解し、検索・編集するには限界があ
る。日本国の特開２０００−１８４０７８公報記載のマ
ルチメディア会議録作成方法では利用者は重要な部分を
見出すまで全区間を聴取しなければならない。日本国特
開平８−１９４４９２号公報、日本国特開平７−１２３
３８４号公報では、議事録作成を人手で行うことが前提
なため、短時間でマルチメディア会議録を作成すること
は不可能である。また、自動的にマルチメディア会議録
を作成するものではない。

【０００６】会議音声を聴取せずに、内容を知るには音
声認識技術を用いた方法として、例えば、日本国特開平
１０−２９４７９８号公報では、発話者の音声情報を音
声認識する。しかし、音声認識は、雑音環境にないこと
と、明瞭な音声で、複数話者の同時発話が生じないこと
が必要である。然し乍ら、会議音声は、空調音や資料を
めくる音等の雑音環境下にある。複数話者の同時発話も
頻繁に生じ、原稿等を用いない自然な話し言葉や、会話
が主であるため、音声認識を用いるのは現実的ではな
い。日本国特開平７−１８２３６５号公報では、会議の
キーワードとして、音声認識処理、文字認識処理、形態
素解析処理によってキーワードを抽出している。しか
し、音声認識は前記の理由で現実的ではなく、また、文
字認識や形態素解析を用いたシステムでは必ずしも所望
の認識結果や構文分析がなされるわけではないので、自
動的にマルチメディア会議録を作成することは不可能で
ある。また、キーワードが会議の重要部分を伝えている
かという評価が欠けており、有用なマルチメディア会議
録が作成されるとは必ずしも保証されない。

【０００７】この発明は、前記のような従来の技術の有
する欠点に鑑みてなされたもので、マルチメディア会議
録作成のために人手を必要とせず、雑音環境下で、原稿
等を使用しない、自然な話し言葉や会議で、複数話者の
同時発話が生じた場合等に問題となる、音声認識の適応
が困難な、一般的な音声であっても、短時間で元の映
像、あるいは音声の内容を知ることができる。あるいは
利用者が希望する時間や、会議の場面（シーン）数や、
発話者等で構成されるマルチメディア会議録を自動的に
作成することを目的とする。

【０００８】

【課題を解決するための手段】この発明では、チャネル
又は発話者毎の音声信号の要約区間に基づくデータにチ
ャネル情報及び発話者情報のうち少なくとも何れか一方
を付加して、時刻順に記録するデータ編集方法におい
て、少なくとも基本周波数又はピッチ周期、パワー、動
的特徴量の時間変化特性、又はこれらのフレーム間差分
を含む特徴量と強調状態での出現確率とを対応して格納
した符号帳を用い、音声信号をフレーム毎に分析した特
徴量に対応する強調状態での出現確率を求め、強調状態
での出現確率に基づいて強調状態となる確率を算出し、
強調状態となる確率が所定の確率よりも大きい音声信号
区間を要約区間と判定するデータ編集方法を提案する。

【０００９】この発明では更に、音声信号要約区間を音
声認識してテキストに変換し、テキストを記録するデー
タ編集方法を提案する。この発明では更に、音声信号と
同期入力した映像信号のうち音声信号の要約区間に対応
する映像信号区間を、音声信号の要約区間と対応付けて
記録するデータ編集方法を提案する。この発明では更
に、音声信号の要約区間の開始時刻情報と終了時刻情報
のうち少なくとも何れか一方を、音声信号の要約区間と
対応付けて記録するデータ編集方法を提案する。

【００１０】この発明では更に、音声信号の要約区間
は、符号帳が少なくとも基本周波数又はピッチ周期、パ
ワー、動的特徴量の時間変化特性、又はこれらのフレー
ム間差分を含む特徴量と強調状態での出現確率に対応し
て平静状態での出現確率が格納され、音声信号をフレー
ム毎に分析した特徴量に対応する強調状態での出現確率
と平静状態の出現確率を求め、強調状態での出現確率に
基づいて強調状態となる確率を算出し、平静状態での出
現確率に基づいて平静状態となる確率を算出し、強調状
態となる確率の平静状態となる確率に対する確率比が所
定の係数より大きい音声信号区間を要約区間と仮判定
し、要約区間の時間の総和、又は要約率として音声信号
全区間の時間の要約区間の時間の総和に対する比率を算
出し、要約区間の時間の総和が略所定の要約時間に、又
は要約率が略所定の要約率となる所定の係数を算出して
各チャネル毎又は各発話者毎の要約区間を決定するデー
タ編集方法を提案する。

【００１１】この発明では更に、音声信号の要約区間
は、符号帳が少なくとも基本周波数又はピッチ周期、パ
ワー、動的特徴量の時間変化特性、又はこれらのフレー
ム間差分を含む特徴量と強調状態での出現確率に対応し
て平静状態での出現確率が格納され、音声信号をフレー
ム毎に分析した特徴量に対応する強調状態での出現確率
と平静状態での出現確率を求め、強調状態での出現確率
に基づいて強調状態となる確率を算出し、平静状態での
出現確率に基づいて平静状態となる確率を算出し、強調
状態となる確率の平静状態となる確率に対する確率比を
音声信号区間毎に算出し、確率比の降順に確率比に対応
する音声信号区間の時間を累積して要約区間の時間の総
和を算出し、要約区間の時間の総和が略所定の要約時間
に、又は要約率が略所定の要約率となる要約時間が得ら
れる音声信号区間を各チャネル毎又は各発話者毎の要約
区間と決定するデータ編集方法を提案する。

【００１２】この発明では更に、チャネル又は発話者毎
の音声信号の要約区間に前期チャネル情報及び発話者情
報のうち少なくとも何れか一方を付加して、時刻順に記
録するデータ編集装置において、少なくとも基本周波数
又はピッチ周期、パワー、動的特徴量の時間変化特性、
又はこれらフレーム間差分を含む特徴量と強調状態での
出現確率と平静状態での出現確率とを対応して格納した
符号帳と、この符号帳を用いて音声符号をフレーム毎に
分析した特徴量に対応する強調状態での出現確率と平静
状態での出現確率を求め、強調状態での出現確率に基づ
いて強調状態となる確率を算出する強調状態確率計算部
と、前期平静状態での出現確率に基づいて平静状態とな
る確率を算出する強調状態確率計算部と、強調状態とな
る確率の平静状態となる確率に対する確率比が所定の係
数より大きい音声信号区間を要約区間と仮判定する要約
区間仮判定部と、要約区間の時間の総和が略所定の要約
時間に、又は要約率が略所定の要約率となる所定の係数
を算出して各チャネル毎又は各発話者毎の要約区間を決
定する要約区間決定部とを有するデータ編集装置を提案
する。

【００１３】この発明では更に、チャネル又は各発話者
毎の音声信号の要約区間にチャネル情報及び発話者情報
のうち少なくとも何れか一方を付加して時刻順に記録す
るデータ編集装置において、少なくとも基本周波数又は
ピッチ周期、パワー、動的特徴量の時間変化特性、又は
これらのフレーム間差分を含む特徴量と強調状態での出
現確率と平静状態での出現確率とを対応して格納した符
号帳と、この符号帳を用いて、音声信号をフレーム毎に
分析した特徴量に対応する強調状態での出現確率と平静
状態での出現確率を求め、音声信号をフレーム毎に分析
した特徴量に対応する強調状態での出現確率と平静状態
での出現確率を求め、強調状態での出現確率に基づいて
強調状態となる確率を算出する強調状態確率計算部と、
平静状態での出現確率に基づいて平静状態となる確率を
算出する平静状態確率計算部と、強調状態となる確率の
平静状態となる確率に対する確率比を音声信号区間毎に
算出し、確率比が所定の確率比より大きい音声信号区間
を要約区間と仮判定する要約区間仮判定部と、要約区間
の時間の総和、又は要約率として音声信号区間の時間の
要約区間の時間の総和に対する比率を算出し、要約区間
の時間の総和が所定の要約時間に、又は要約率が所定の
要約率となる所定の確率比を算出して各チャネル又は各
発話者毎の要約区間を決定する要約区間決定部とを有す
るデータ編集装置を提案する。この発明では更に、コン
ピュータが読み取り可能な符号で記述され、コンピュー
タにデータ編集方法を実行させるデータ編集プログラム
を提案する。

【００１４】作用 この発明に用いる音声要約方法は、既に特願２００１−
２４１２７８により本出願人により出願されているもの
を利用する。この音声要約方法によれば会議音声の強調
状態を判定し、その区間を重要部分として抽出すること
ができる。そのために、この重要部分をつなげて再生す
ると、会議全体の要旨を伝えることが可能となる。また
音声要約手段は、雑音環境下でも、原稿等を使用せず、
自然な話し言葉や会話でも、複数話者の同時発話が生じ
た場合等に問題となる音声認識の適応が困難な、一般的
な音声であっても、短時間で元の映像、あるいは音声の
内容を知ることができる。そのため、前記の音声認識不
可能な一般的な音声においても、マルチメディア会議録
を作成することが可能となる。また、本発明の音声要約
手段は音声認識のように言語情報を用いていない。その
ため、予め言語間の翻訳にかかる諸データを用いなくと
も多言語の音声で行われた会議においても重要部分を抽
出することが可能となる。

【００１５】ここで、発話者特定部を備え、発話者を特
定する。そのため、利用者に発話者を認識させること
や、特定話者だけの発話を聴取することが可能となる。
また、音声認識手段とテキスト要約手段を備え、音声情
報を文字情報に変換している。そのために、発話内容を
文章化した際の、要旨を伝えることができる。音声キー
ワード抽出手段は、会議のキーワードを抽出する。例え
ば変換された文字情報を形態系解析して単語に分解す
る。各単語の出現回数をカウントし、出現回数の最も多
い単語をキーワードとする。そのために、会議終了後、
キーワードを見ることで会議内容を確認することが可能
となる。

【００１６】映像インデクシング手段は、映像情報を分
析して、イベントを抽出する。そのために、カット点、
カメラワーク、人物認識、テロップ認識を行うことが可
能となる。前記、音声議事録作成手段、テキスト議事録
作成手段、映像インデクシング手段から、会議の重要部
分を伝える会議インデクシングデータベースを自動的に
作成することができる。そのため、利用者の希望する聴
取時間やシーン数に応じて、また希望する発話者に応じ
て、自動的にマルチメディア会議録を作成することが可
能となる。マルチメディア会議録は、音声だけでなく映
像でも要約部分を提示する。そのため、利用者は短時間
で、会議の内容を理解することが可能となる。

【００１７】

【発明の実施の形態】ここでは、この発明のデータ編集
時に用いられる音声要約方法について説明する。図１７
に先に提案した音声要約方法の実施形態の基本手順を示
す。ステップＳ１で入力音声信号を分析して音声特徴量
を求める。ステップＳ２で、入力音声信号の音声小段落
と、複数の音声小段落から構成される音声段落を抽出す
る。ステップＳ３で各音声小段落を構成するフレームが
平静状態か、強調状態か発話状態を判定する。この判定
に基づきステップＳ４で要約音声を作成し、要約音声を
得る。

【００１８】以下に、自然な話し言葉や会話音声の、音
声要約に適応する場合の実施例を述べる。音声特徴量
は、スペクトル情報等に比べて、雑音環境下でも安定し
て得られ、かつ話者に依存し難いものを用いる。入力音
声信号から音声特徴量として基本周波数（ｆ０）、パワ
ー（ｐ）、音声の動的特徴量の時間変化特性（ｄ）、ポ
ーズ時間長（無音区間）（ｐｓ）を抽出する。これらの
音声特徴量の抽出法は、例えば、「音響・音響工学」
（古井貞煕、近代科学社、１９９８）、「音声符号化」
（守谷健弘、電子情報通信学会、１９９８）、「ディジ
タル音声処理」（古井貞煕、東海大学出版会、１９８
５）、「複合正弦波モデルに基づく音声分析アルゴリズ
ムに関する研究」（嵯峨山茂樹、博士論文、１９９８）
などに述べられている。音声の動的特徴量の時間変化は
発話速度の尺度となるパラメータであり特許第２９７６
９９８号に記載のものを用いてもよい。即ち、動的変化
量としてスペクトル包絡を反映するＬＰＣスペクトラム
係数の時間変化特性を求め、その時間変化をもとに発話
速度係数が求められるものである。より具体的にはフレ
ーム毎にＬＰＣスペクトラム係数Ｃ１（ｔ）、…Ｃｋ
（ｔ）を抽出して次式のような動的特徴量ｄ（ダイナミ
ックメジャー）を求める。ｄ（ｔ）＝Σi=1k［Σf=t-f0
t+f0［ｆ×Ｃi（ｔ）］／（Σf=t-f0t+f0ｆ2）2ここ
で、ｆ０は前後の音声区間フレーム数（必ずしも整数個
のフレームでなくとも一定の時間区間でもよい）、ｋは
ＬＰＣスペクトラムの次数、ｉ＝１、２、…ｋである。
発話速度の係数として動的特徴量の変化の極大点の単位
時間当たりの個数、もしくは単位時間当たりの変化率が
用いられる。

【００１９】実施例では例えば１００ｍｓを１フレーム
とし、シフトを５０ｍｓとする。１フレーム毎の平均の
基本周波数を求める（ｆ０´）。パワーについても同様
に１フレーム毎の平均パワー（ｐ´）を求める。更に現
フレームのｆ０´と±ｉフレーム前後のｆ０´との差分
をとり、±Δｆ０´ｉ（Δ成分）とする。パワーについ
ても同様に現フレームのｐ´と±ｉフレーム前後のｐ´
との差分±Δｐ´ｉ（Δ成分）を求める。ｆ０´、±Δ
ｆ０´ｉ、ｐ´、±Δｐ´ｉを規格化する。この規格化
では例えばｆ０´、±Δｆ０´ｉをそれぞれ、音声波形
全体の平均基本周波数で割る。これら規格化された値を
ｆ０″、±ｆ０″ｉと表す。ｐ´、±Δｐ´ｉについて
も同様に、発話状態判定の対象とする音声波形全体の平
均パワーで割り、規格化する。規格化するにあたり、後
述する音声小段落、または音声段落ごとの平均パワーで
割ってもよい。これら規格化された値をｐ″、±Δｐ″
ｉと表す。ｉの値は例えばｉ＝４とする。現フレームの
前後±Ｔ１ｍｓの、区間におけるダイナミックメジャー
のピーク本数、即ち動的特徴量の変化の極大点の個数を
カウントする（ｄｐ）。これと、現フレームの開始時刻
の、Ｔ２ｍｓ前の時刻を区間に含むフレームのｄｐとの
Δ成分（−Δｄｐ）を求める。前記±Ｔ１ｍｓの区間に
おけるｄｐと、現フレームの終了時刻の、Ｔ３ｍｓ後の
時刻を区間に含むフレームのｄｐとのΔ成分（＋Δｄ
ｐ）を求める。これら、Ｔ１、Ｔ２、Ｔ３の値は例えば
Ｔ１＝Ｔ２＝Ｔ３＝４５０ｍｓとする。フレームの前後
の無音区間の時間長を±ｐｓとする。ステップＳ１では
これら音声特徴パラメータの各値をフレーム毎に抽出す
る。

【００２０】ステップＳ２における入力音声の音声小段
落と、音声段落を抽出する方法の例を図１８に示す。こ
こで音声小段落を発話状態判定を行う単位とする。ステ
ップＳ２０１で、入力音声信号の無音区間と有声区間を
抽出する。無音区間は例えばフレーム毎のパワーが所定
のパワー値以下であれば無音区間と判定し、有声区間
は、例えばフレーム毎の相関関数が所定の相関関数値以
上であれば有声区間と判定する。有声／無声の決定は、
周期性／非周期性の特徴と同一視することにより、自己
相関関数や変形相関関数のピーク値で行うことが多い。
入力信号の短時間スペクトルからスペクトル包絡を除去
した予測残差の自己相関関数が変形相関関数であり、変
形相関関数のピークが所定の閾値より大きいか否かによ
って有声／無声の判定を行い、又そのピークを与える遅
延時間によってピッチ周期１／ｆ０（基本周波数ｆ０）
の抽出を行う。これらの区間の抽出法の詳細は、例え
ば、「ディジタル音声処理」（古井貞煕、東海大学出版
会、１９８５）などに述べられている。ここでは音声信
号から各音声特徴量をフレーム毎に分析することについ
て述べたが、既に符号化等により分析された係数もしく
は符号に対応する特徴量を符号化に用いる符号帳から読
み出して用いてもよい。

【００２１】ステップＳ２０２で、有声区間を囲む無音
区間の時間がそれぞれｔ秒以上になるとき、その無音区
間で囲まれた有声区間を含む部分を音声小段落とする。
このｔは例えばｔ＝４００ｍｓとする。ステップＳ２０
３で、この音声小段落内の好ましくは後半部の、有声区
間の平均パワーと、その音声小段落の平均のパワーの値
ＢAの定数β倍とを比較し、前者の方が小さい場合はそ
の音声小段落を末尾音声小段落とし、直前の末尾音声小
段落後の音声小段落から現に検出した末尾音声小段落ま
でを音声段落として決定する。図１９に、有声区間、音
声小段落、音声段落を模式的に示す。音声小段落を前記
の、有声区間を囲む無音区間の時間がｔ秒の条件で、抽
出する。図１９では、音声小段落ｊ−１、ｊ、ｊ＋１に
ついて示している。ここで音声小段落ｊは、ｎ個の有声
区間から構成され、平均パワーをＰｊとする。有声区間
の典型的な例として、音声小段落ｊに含まれる、有声区
間ｖの平均パワーはｐｖである。音声段落ｋは、音声小
段落ｊと音声小段落を構成する後半部分の有声区間のパ
ワーから抽出する。ｉ＝ｎ−αからｎまでの有声区間の
平均パワーｐｉの平均が音声小段落ｊの平均パワーＰｊ
より小さいとき、即ち、 Σｐｉ／（α＋１）＜βＰｊ 式（１） を満たす時、音声小段落ｊが音声段落ｋの末尾音声小段
落であるとする。ただし、Σはｉ＝ｎ−αからｎまでで
ある。式（１）のα、βは定数であり、これらを操作し
て、音声段落を抽出する。実施例では、αは３、βは
０．８とした。このようにして末尾音声小段落を区切り
として隣接する末尾音声小段落間の音声小段落群を音声
段落と判定できる。

【００２２】図１７中のステップＳ３における発話状態
判定方法の例を図２０に示す。ステップＳ３０１で、入
力音声小段落の音声特徴量をベクトル量子化する。この
ために、あらかじめ少なくとも２つの量子化音声特徴量
（コード）が格納された符号帳（コードブック）を作成
しておく。ここでコードブックに蓄えられた音声特徴量
と入力音声もしくは既に分析して得られた音声の音声特
徴量との照合をとり、コードブックの中から音声特徴量
間の歪（距離）を最小にする量子化音声特徴量を特定す
ることが常套である。図２１に、このコードブックの作
成法の例を示す。多数の学習用音声を被験者が聴取し、
発話状態が平静状態であるものと、強調状態であるもの
をラベリングする（Ｓ５０１）。

【００２３】例えば、被験者は強調状態とする理由とし
て、 （ａ）声が大きく、名詞や接続詞を伸ばすように発話す
る （ｂ）話し始めを伸ばして話題変更を主張、意見を集約
するように声を大きくする （ｃ）声を大きく高くして重要な名詞等を強調する時 （ｄ）高音であるが声はそれほど大きくない （ｅ）苦笑いしながら、焦りから本音をごまかすような
時 （ｆ）周囲に同意を求める、あるいは問いかけるよう
に、語尾が高音になるとき （ｇ）ゆっくりと力強く、念を押すように、語尾の声が
大きくなる時 （ｈ）声が大きく高く、割り込んで発話するという主
張、相手より大きな声で （ｉ）大きな声では憚られるような本音や秘密を発言す
る場合や、普段、声の大きい人にとっての重要なことを
発話するような時（例えば声が小さくボソボソ、ヒソヒ
ソという口調）を挙げた。この例では、平静状態とは、
前記の（ａ）〜（ｉ）のいずれでもなく、発話が平静で
あると被験者が感じたものとした。

【００２４】平静状態と強調状態の各ラベル区間につい
て、図１７中のステップＳ１と同様に、音声特徴量を抽
出し（Ｓ５０２）、パラメータを選択する（Ｓ５０
３）。平静状態と強調状態のラベル区間の、前記パラメ
ータを用いて、ＬＢＧアルゴリズムでコードブックを作
成する（Ｓ５０４）。ＬＢＧアルゴリズムについては、
例えば、（Ｙ．Ｌｉｎｄｅ，Ａ．Ｂｕｚｏ ａｎｄ
Ｒ．Ｍ．Ｇｒａｙ，“Ａｎａｌｇｏｒｉｔｈｍ ｆｏｒ
ｖｅｃｔｏｒ ｑｕａｎｔｉｚｅｒ ｄｅｓｉｇ
ｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏ
ｌ．Ｃｏｍ−２８，ｐｐ．８４−９５，１９８０）があ
る。コードブックサイズは２のｎ乗個に可変である。こ
のコードブック作成は音声小段落で又はこれより長い適
当な区間毎あるいは学習音声全体の音声特徴量で規格化
した音声特徴量を用いることが好ましい。

【００２５】図２０中のステップＳ３０１で、このコー
ドブックを用いて、入力音声小段落の音声特徴量を、各
音声特徴量について規格化し、その規格化された音声特
徴量をフレーム毎に照合もしくはベクトル量子化し、フ
レーム毎にコード（量子化された音声特徴量）を得る。
この際の入力音声信号より抽出する音声特徴量は前記の
コードブック作成に用いたパラメータと同じである。強
調状態が含まれる音声小段落を特定するために、音声小
段落でのコードを用いて、発話状態の尤度を、平静状態
と強調状態について求める。このために、あらかじめ、
任意のコード（量子化音声特徴量）の出現確率を、平静
状態の場合と、強調状態の場合について求めておき、こ
の出現確率とそのコードとを組としてコードブックに格
納しておく、以下にこの出現確率の求め方の例を述べ
る。前記のコードブック作成に用いた学習音声中のラベ
ルが与えられた１つの区間（ラベル区間）の音声特徴量
のコード（フレーム毎に得られる）が、時系列でＣｉ、
Ｃｊ、Ｃｋ、…Ｃｎであるとき、ラベル区間αが強調状
態となる確率をＰα（ｅ）、平静状態となる確率をＰα
（ｎ）とし、 Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ）Ｐｅｍｐ（Ｃｊ｜Ｃｉ）
…Ｐｅｍｐ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃ
ｉ）ΠＰｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１） Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ）Ｐｎｒｍ（Ｃｊ｜Ｃｉ）
…Ｐｎｒｍ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃ
ｉ）ΠＰｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１） となる。ただし、Ｐｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１）は
コード列Ｃｉ…Ｃｘ−１の次にＣｘが強調状態となる条
件付確率、Ｐｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１）は同様に
Ｃｉ…Ｃｘ−１に対しＣｘが平静状態となる確率であ
る。ただし、Πはｘ＝ｉ＋１からｎまでの積である。ま
たＰｅｍｐ（Ｃｉ）は学習音声についてフレームで量子
化し、これらコード中のＣｉが強調状態とラベリングさ
れた部分に存在した個数を計数し、その計数値を全学習
音声の全コード数（フレーム数）で割り算した値であ
り、Ｐｎｒｍ（Ｃｉ）はＣｉが平静状態とラベリングさ
れた部分に存在した個数を全コード数で割り算した値で
ある。

【００２６】このラベル区間αの各状態確率を簡単にす
るために、この例ではＮ−ｇｒａｍモデル（Ｎ＜ｎ）を
用いて、 Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−
１） Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−
１） とする。つまりＣｎよりＮ−１個の過去のコード列Ｃｎ
−Ｎ＋１…Ｃｎ−１の次にＣｎが強調状態として得られ
る確率をＰα（ｅ）とし、同様にＮ−ｇｒａｍの確率値
をより低次のＭ−ｇｒａｍ（Ｎ≧Ｍ）の確率値と線形に
補間する線形補間法を適応することが好ましい。例えば
ＣｎよりＮ−１個の過去のコード列Ｃｎ−Ｎ＋１…Ｃｎ
−１の次にＣｎが平静状態として得られる確率をＰα
（ｎ）とする。このようなＰα（ｅ）、Ｐα（ｎ）の条
件付確率をラベリングされた学習音声の量子化コード列
から全てを求めるが、入力音声信号の音声特徴量の量子
化したコード列と対応するものが学習音声から得られて
いない場合もある。そのため、高次（即ちコード列の長
い）の条件付確率を単独出現確率とより低次の条件付出
現確率とを補間して求める。例えばＮ＝３のｔｒｉｇｒ
ａｍ、Ｎ＝２のｂｉｇｒａｍ、Ｎ＝１のｕｎｉｇｒａｍ
を用いて線形補間法を施す。Ｎ−ｇｒａｍ、線形補間
法、ｔｒｉｇｒａｍについては、例えば、「音声言語処
理」（北 研二、中村 哲、永田昌明、森北出版、１９
９６、２９頁）などに述べられている。即ち、 Ｎ＝３（ｔｒｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２
Ｃｎ−１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−２Ｃｎ−１） Ｎ＝２（ｂｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−
１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−１） Ｎ＝１（ｕｎｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ）、Ｐｎｒ
ｍ（Ｃｎ） であり、これら３つの強調状態でのＣｎの出現確率、ま
た３つの平静状態でのＣｎの出現確率をそれぞれ用いて
次式により、Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）、Ｐ
ｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）を計算することにす
る。 Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｅｍｐ１Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ −１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ|Ｃｎ−１）＋λｅｍｐ３Ｐｅｍｐ（Ｃｎ） 式（２） Ｐｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｎｒｍｌＰｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ −１）＋λｎｒｍ２Ｐｎｒｍ（Ｃｎ|Ｃｎ−１）＋λｎｒｍ３Ｐｎｒｍ（Ｃｎ） 式（３） Ｔｒｉｇｒａｍの学習データをＮとしたとき、すなわ
ち、コードが時系列でＣ１、Ｃ２、．．．ＣＮが得られ
たとき、λｅｍｐ１、λｅｍｐ２、λｅｍｐ３の再推定
式は前出の参考文献「音声言語処理」より次のようにな
る。 λｅｍｐ１＝１／ＮΣ（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃ
ｎ−２Ｃ−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−
２Ｃ−１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λ
ｅｍｐ３Ｐｅｍｐ（Ｃｎ））） λｅｍｐ２＝１／ＮΣ（λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ
−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−
１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ
３Ｐｅｍｐ（Ｃｎ））） λｅｍｐ３＝１／ＮΣ（λｅｍｐ３Ｐｅｍｐ（Ｃｎ）／
（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−１）＋λｅ
ｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ３Ｐｅｍｐ
（Ｃｎ））） ただし、Σはｎ＝１からＮまでの和である。以下同様に
してλｎｒｍ１、λｎｒｍ２、λｎｒｍ３も求められ
る。

【００２７】この例では、ラベル区間αがフレーム数Ｎ
αで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮαのと
き、このラベル区間αが強調状態となる確率Ｐα
（ｅ）、平静状態となる確率Ｐα（ｎ）は、 Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅｍｐ（ＣｉＮα｜Ｃｉ（ Ｎα−１）Ｃｉ（Ｎα−２）） 式（４） Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎｒｍ（ＣｉＮα｜Ｃｉ（ Ｎα−１）Ｃｉ（Ｎα−２）） 式（５） となる。この計算ができるように前記のｔｒｉｇｒａ
ｍ、ｕｎｉｇｒａｍ、ｂｉｇｒａｍを任意のコードにつ
いて求めてコードブックに格納しておく。つまりコード
ブックには各コードの音声特徴量とその強調状態での出
現確率とこの例では平静状態での出現確率との組が格納
され、その強調状態での出現確率は、その音声特徴量が
過去のフレームでの音声特徴量と無関係に強調状態で出
現する確率（ｕｎｉｇｒａｍ：単独出現確率と記す）の
み、又はこれと、過去のフレームでの音声特徴量から現
在のフレームの音声特徴量に至るフレーム単位の音声特
徴量列毎に、その音声特徴量が強調状態で出現する条件
付確率との組合せの何れかであり、平静状態での出現確
率も同様に、その音声特徴量が過去のフレームでの音声
特徴量と無関係に平静状態で出現する確率（ｕｎｉｇｒ
ａｍ：単独出現確率と記す）のみ、又はこれと、過去の
フレームでの音声特徴量から現在のフレームの音声特徴
量に至るフレーム単位の音声特徴量列毎にその音声特徴
量が平静状態で出現する条件付確率と組合せの何れかで
ある。

【００２８】例えば図２２に示すようにコードブックに
は各コードＣ１、Ｃ２、…毎にその音声特徴量と、その
単独出現確率が強調状態、平静状態について、また条件
付確率が強調状態、平静状態についてそれぞれ組として
格納されている。図２０中のステップＳ３０２では、入
力音声小段落の全フレームのコードについてのそのコー
ドブックに格納されている前記確率から、発話状態の尤
度を、平静状態と強調状態について求める。図２３に実
施例の模式図を示す。時刻ｔから始まる音声小段落のう
ち、第４フレームまでを〜で示している。前記のよ
うに、ここでは、フレーム長は１００ｍｓ、フレームシ
フトを５０ｍｓとフレーム長の方を長くした。フレー
ム番号ｆ、時刻ｔ〜ｔ＋１００でコードＣｉが、フレ
ーム番号ｆ＋１、時刻ｔ＋５０〜ｔ＋１５０でコードＣ
ｊが、フレーム番号ｆ＋２、時刻ｔ＋１００〜ｔ＋２
００でコードＣｋが、フレーム番号ｆ＋３、時刻ｔ＋
１５０〜ｔ＋２５０でコードＣｌが得られ、つまりフレ
ーム順にコードがＣｉ、Ｃｊ、Ｃｋ、Ｃｌであるとき、
フレーム番号ｆ＋２以上のフレームでｔｒｉｇｒａｍが
計算できる。音声小段落ｓが強調状態となる確率をＰｓ
（ｅ）、平静状態となる確率をＰｓ（ｎ）とすると第４
フレームまでの確率はそれぞれ、 Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ） 式（６） Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ） 式（７） となる。ただし、この例では、コードブックからＣｋ、
Ｃｌの強調状態及び平静状態の各単独出現確率を求め、
またＣｊの次にＣｋが強調状態及び平静状態で各出現す
る条件付確率、更にＣｋがＣｉ、Ｃｊの次に、ＣｌがＣ
ｊ、Ｃｋの次にそれぞれ強調状態及び平静状態でそれぞ
れ出現する条件付確率をコードブックから求めると、以
下のようになる。 Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＋λｅｍ ｐ２Ｐｅｍｐ（Ｃｋ｜Ｃｊ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｋ） 式（８） Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＋λｅｍ ｐ２Ｐｅｍｐ（Ｃｌ｜Ｃｋ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｌ） 式（９） Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＋λｎｒ ｍ２Ｐｎｒｍ（Ｃｋ｜Ｃｊ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｋ） 式（１０） Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＋λｎｒ ｍ２Ｐｎｒｍ（Ｃｌ｜Ｃｋ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｌ） 式（１１） 上記（８）〜（１１）式を用いて（６）式と（７）式で
示される第４フレームまでの強調状態となる確率Ｐｓ
（ｅ）と、平静状態となる確率Ｐｓ（ｎ）が求まる。こ
こで、Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）、Ｐｎｒｍ（Ｃｋ｜
ＣｉＣｊ）はフレーム番号ｆ＋２において計算できる。

【００２９】この例では、音声小段落ｓがフレーム数Ｎ
ｓで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮｓのと
き、この音声小段落ｓが強調状態になる確率Ｐｓ（ｅ）
と平静状態になる確率Ｐｓ（ｎ）を次式により計算す
る。 Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅ
ｍｐ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２）） Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎ
ｒｍ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２）） この例ではこれらの確率が、Ｐｓ（ｅ）＞Ｐｓ（ｎ）で
あれば、その音声小段落Ｓは強調状態、Ｐｓ（ｎ）＞Ｐ
ｓ（ｅ）であれば平静状態とする。

【００３０】図２４は以上説明した音声小段落抽出方
法、音声段落抽出方法、各音声小段落毎に強調状態とな
る確率及び平静状態となる確率を求める方法を用いた音
声強調状態判定装置及び音声要約装置の実施形態を示
す。入力部１１に音声強調状態が判定されるべき、又は
音声の要約が検出されるべき入力音声（入力音声信号）
が入力される。入力部１１には必要に応じて入力音声信
号をデジタル信号に変換する機能も含まれる。デジタル
化された音声信号は必要に応じて記憶部１２に格納され
る。音声特徴量抽出部１３で前述した音声特徴量がフレ
ーム毎に抽出される。抽出した音声特徴量は必要に応じ
て、音声特徴量の平均値で規格化され、量子化部１４で
各フレームの音声特徴量がコードブック１５を参照して
量子化され、量子化された音声特徴量は強調確率計算部
１６と平静確率計算部１７に送り込まれる。コードブッ
ク１５は例えば図１１に示したようなものである。

【００３１】強調確率計算部１６によりその量子化され
た音声特徴量の強調状態での出現確率が、コードブック
１５に格納されている対応する確率を用いて、例えば式
（８）又は（９）により計算される。同様に平静確率計
算部１７により、前記量子化された音声特徴量の平静状
態での出現確率がコードブック１５に格納されている対
応する確率を用いて、例えば式（１０）又は（１１）に
より計算される。強調確率計算部１６及び平静確率計算
部１７で各フレーム毎に算出された強調状態での出現率
と平静状態での出現確率及び各フレームの音声特徴量は
各フレームに付与したフレーム番号と共に記憶部12に格
納する。

【００３２】これら各部の制御は制御部１９の制御のも
とに順次行われる。音声要約装置の実施形態は、図２４
中に実線ブロックで示す構成に、破線ブロックで示され
る構成が付加される。つまり記憶部１２に格納されてい
る各フレームの音声特徴量が無音区間判定部２１と有音
区間判定部２２に送り込まれ、無音区間判定部２１によ
り各フレーム毎に無音区間か否かが判定され、また有音
区間判定部２２により各フレーム毎に有声区間か否かが
判定される手段が加わる。これらの無音区間判定結果と
有音区間判定結果が音声小段落判定部２３に入力され
る。音声小段落判定部２３はこれら無音区間判定、有声
区間判定に基づき、先の方法の実施形態で説明したよう
に所定フレーム数を連続する無音区間に囲まれた有声区
間を含む部分が音声小段落と判定される。音声小段落判
定部２３の判定結果は記憶部１２に書き込まれ、記憶部
１２に格納されている音声データ列に付記され、無音区
間で囲まれたフレーム群に音声小段落番号列を付与す
る。これと共に音声小段落判定部２３の判定結果は末尾
音声小段落判定部２４に入力される。

【００３３】末尾音声小段落判定部２４では、例えば図
１９を参照して説明した手法により末尾音声小段落が検
出され、末尾音声小段落判定結果が音声段落判定部２５
に入力され、音声段落判定部２５により２つの末尾音声
小段落間の複数の音声小段落を含む部分が音声段落と判
定される。この音声段落判定結果も記憶部１２に書き込
まれ、記憶部１２に記憶している音声小段落番号列に音
声段落列番号を付与する。音声要約装置として動作する
場合、強調確率計算部１６及び平静確率計算部１７では
記憶部１２から各音声小段落を構成する各フレームの強
調確率と平静確率を読み出し、各音声小段落毎の確率が
例えば式（８）及び式（１０）により計算される。強調
状態判定部１８ではこの音声小段落毎の確率計算値を比
較して、その音声小段落が強調状態か否かを判定し、要
約区間取出し部２６では音声段落中の１つの音声小段落
でも強調状態と判定されたものがあればその音声小段落
を含む音声段落を取り出す。各部の制御は制御部１９に
より行われる。

【００３４】以上により音声波形を音声小段落及び音声
段落に分離する手段及び各音声小段落毎に強調状態とな
る確率及び平静状態となる確率を算出する手段が理解で
きよう。以下では上述した各方法を利用したこの発明に
よる音声処理方法、音声処理装置及び音声処理プログラ
ムに関わる実施の形態を説明する。図２５にこの要約率
を変更することを可能とした音声処理方法の基本手順を
示す。この実施例ではステップＳ１１で音声強調確率算
出処理を実行し、音声小段落の強調確率及び平静確率を
求める。

【００３５】ステップＳ１２では要約条件入力ステップ
Ｓ１２を実行する。この要約条件入力ステップＳ１２で
は例えば利用者に要約時間又は要約率或は圧縮率の入力
を促す情報を提供し、要約時間又は要約率或は要約率又
は圧縮率を入力させる。尚、予め設定された複数の要約
時間又は要約率、圧縮率の中から一つを選択する入力方
法を採ることもできる。ステップＳ１３では抽出条件の
変更を繰り返す動作を実行し、ステップＳ１２の要約条
件入力ステップＳ１２で入力された要約時間又は要約
率、圧縮率を満たす抽出条件を決定する。

【００３６】ステップＳ１４で要約抽出ステップを実行
する。この要約抽出ステップＳ１４では抽出条件変更ス
テップＳ１３で決定した抽出条件を用いて採用すべき音
声段落を決定し、この採用すべき音声段落の総延長時間
を計算する。ステップ１５では要約再生処理を実行し、
要約抽出ステップＳ１４で抽出した音声段落列を再生す
る。図２６は図２５に示した音声強調確率算出ステップ
の詳細を示す。ステップＳ１０１で要約対象とする音声
波形列を音声小段落に分離する。ステップＳ１０２では
ステップＳ１０１で分離した音声小段落列から音声段落
を抽出する。音声段落とは図１９で説明したように、１
つ以上の音声小段落で構成され、意味を理解できる単位
である。

【００３７】ステップＳ１０３及びステップＳ１０４で
ステップＳ１０１で抽出した音声小段落毎に図２２で説
明したコードブックと前記した式（８）、（１０）等を
利用して各音声小段落が強調状態となる確率（以下強調
確率と称す）Ｐｓ（ｅ）と、平静状態となる確率（以下
平静確率と称す）Ｐｓ（ｎ）とを求める。ステップＳ１
０５ではステップＳ１０３及びＳ１０４において各音声
小段落毎に求めた強調確率Ｐｓ（ｅ）と平静確率Ｐｓ
（ｎ）などを各音声小段落毎に仕分けして記憶手段に音
声強調確率テーブルとして格納する。図２７に記憶手段
に格納した音声強調確率テーブルの一例を示す。図２７
に示すＦ１、Ｆ２、Ｆ３…は音声小段落毎に求めた音声
小段落強調確率Ｐｓ（ｅ）と、音声小段落平静確率Ｐｓ
（ｎ）を記録した小段落確率記憶部を示す。これらの小
段落確率記憶部Ｆ１、Ｆ２、Ｆ３…には各音声小段落Ｓ
に付された音声小段落番号ｉと、開始時刻（言語列の先
頭から計時した時刻）終了時刻、音声小段落強調確率、
音声小段落平静確率、各音声小段落を構成するフレーム
数ｆｎ等が格納される。

【００３８】要約条件入力ステップＳ１２で入力する条
件としては要約すべきコンテンツの全長を１／Ｘ（Ｘは
正の整数）の時間に要約することを示す要約率ｒ（特許
請求の範囲記載の要約率ｒ＝１／Ｘを指す）、あるいは
要約時間ｔを入力する。この要約条件の設定に対し、抽
出条件変更ステップＳ１３では初期値として重み係数Ｗ
（請求項1記載の所定の係数の逆数を指す）をＷ＝１に
設定し、この重み係数を要約抽出ステップＳ１４に入力
する。要約抽出ステップＳ１４は重み係数Ｗ＝１として
音声強調確率テーブルから各音声小段落毎に格納されて
いる強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｅ）とを比較
し、 Ｗ・Ｐｓ（ｅ）＞Ｐｓ（ｎ） の関係にある音声小段落を抽出すると共に、更にこの抽
出した音声小段落を一つでも含む音声段落を抽出し、抽
出した音声段落列の総延長時間ＭＴ（分）を求める。

【００３９】抽出した音声段落列の総延長時間ＭＴ
（分）と要約条件で決めた所定の要約時間ＹＴ（分）と
を比較する。ここでＭＴ≒ＹＴ（ＹＴに対するＭＴの誤
差が例えば±数％程度の範囲）であればそのまま採用し
た音声段落列を要約音声として再生する。要約条件で設
定した要約時間ＹＴに対するコンテンツの要約した総延
長時間ＭＴとの誤差値が規定より大きく、その関係がＭ
Ｔ＞ＹＴであれば抽出した音声段落列の総延長時間ＭＴ
（分）が、要約条件で定めた要約時間ＹＴ（分）より長
いと判定し、図２５に示した抽出条件変更ステップＳ１
３を再実行させる。抽出条件変更ステップＳ１３では重
み係数がＷ＝１で抽出した音声段落列の総延長時間ＭＴ
（分）が要約条件で定めた要約時間ＹＴ（分）より「長
い」とする判定結果を受けて強調確率Ｐｓ（ｅ）に現在
値より小さい重み付け係数Ｗ（請求項記載の所定の係数
の場合は現在値よりも大きくする）を乗算Ｗ・Ｐｓ
（ｅ）して重み付けを施す。重み係数Ｗとしては例えば
Ｗ＝１−０．００１×Ｋ（Ｋはループ回数）で求める。

【００４０】つまり、音声強調確率テーブルから読み出
した音声段落列の全ての音声小段落で求められている強
調確率Ｐｓ（ｅ）の配列に１回目のループではＷ＝１−
０．００１×１で決まる重み係数Ｗ＝０．９９９を乗算
し、重み付けを施す。この重み付けされた全ての各音声
小段落の強調確率Ｗ・Ｐｓ（ｅ）と各音声小段落の平静
確率Ｐｓ（ｎ）とを比較し、Ｗ・Ｐｓ（ｅ）＞Ｐｓ
（ｎ）の関係にある音声小段落を抽出する。この抽出結
果に従って要約抽出ステップＳ１４では抽出された音声
小段落を含む音声段落を抽出し、要約音声段落列を再び
求める。これと共に、この要約音声段落列の総延長時間
ＭＴ（分）を算出し、この総延長時間ＭＴ（分）と要約
条件で定められる要約時間ＹＴ（分）とを比較する。比
較の結果がＭＴ≒ＹＴであれば、その音声段落列を要約
音声と決定し、再生する。

【００４１】１回目の重み付け処理の結果が依然として
ＭＴ＞ＹＴであれば抽出条件変更ステップを、２回目の
ループとして実行させる。このとき重み係数ＷはＷ＝１
−０．００１×２で求める。全ての強調確率Ｐｓ（ｅ）
にＷ＝０．９９８の重み付けを施す。このように、ルー
プの実行を繰り返す毎にこの例では重み係数Ｗの値を徐
々に小さくするように抽出条件を変更していくことによ
りＷＰｓ（ｅ）＞Ｐｓ（ｎ）の条件を満たす音声小段落
の数を漸次減らすことができる。これにより要約条件を
満たすＭＴ≒ＹＴの状態を検出することができる。

【００４２】尚、上述では要約時間ＭＴの収束条件とし
てＭＴ≒ＹＴとしたが、厳密にＭＴ＝ＹＴに収束させる
こともできる。この場合には要約条件に例えば５秒不足
している場合、あと１つの音声段落を加えると１０秒超
過してしまうが、音声段落から５秒のみ再生することで
利用者の要約条件に一致させることができる。また、こ
の５秒は強調と判定された音声小段落の付近の５秒でも
よいし、音声段落の先頭から５秒でもよい。また、上述
した初期状態でＭＴ＜ＹＴと判定された場合は重み係数
Ｗを現在値よりも小さく例えばＷ＝１−０．００１×Ｋ
として求め、この重み係数Ｗを平静確率Ｐｓ（ｎ）の配
列に乗算し、平静確率Ｐｓ（ｎ）に重み付けを施せばよ
い。また、他の方法としては初期状態でＭＴ＞ＹＴと判
定された場合に重み係数を現在値より大きくＷ＝１＋
０．００１×Ｋとし、この重み係数Ｗを平静確率Ｐｓ
（ｎ）の配列に乗算してもよい。

【００４３】また、要約再生ステップＳ１５では要約抽
出ステップＳ１４で抽出した音声段落列を再生するもの
として説明したが、音声付の画像情報の場合、要約音声
として抽出した音声段落に対応した画像情報を切り出し
てつなぎ合わせ、音声と共に再生することによりテレビ
放送の要約、あるいは映画の要約等を行うことができ
る。また、上述では音声強調確率テーブルに格納した各
音声小段落毎に求めた強調確率又は平静確率のいずれか
一方に直接重み係数Ｗを乗算して重み付けを施すことを
説明したが、強調状態を精度良く検出するためには重み
係数Ｗに各音声小段落を構成するフレームの数Ｆ乗して
ＷFとして重み付けを行うことが望ましい。

【００４４】つまり、式（８）及び式（１０）で算出す
る条件付の強調確率Ｐｓ（ｅ）は各フレーム毎に求めた
強調状態となる確率の積を求めている。また平静状態と
なる確率Ｐｓ（ｎ）も各フレーム毎に算出した平静状態
となる確率の積を求めている。従って、例えば強調確率
Ｐｓ（ｅ）に重み付けを施すには各フレーム毎に求めた
強調状態となる確率毎に重み付け係数Ｗを乗算すれば正
しい重み付けを施したことになる。この場合には音声小
段落を構成するフレーム数をＦとすれば重み係数ＷはＷ
Fとなる。この結果、フレームの数Ｆに応じて重み付け
の影響が増減され、フレーム数の多い音声小段落ほど、
つまり延長時間が長い音声小段落程大きい重みが付され
ることになる。

【００４５】但し、単に強調状態を判定するための抽出
条件を変更すればよいのであれば各フレーム毎に求めた
強調状態となる確率の積又は平静状態となる積に重み係
数Ｗを乗算するだけでも抽出条件の変更を行うことがで
きる。従って、必ずしも重み付け係数ＷをＷFとする必
要はない。また、上述では抽出条件の変更手段として音
声小段落毎に求めた強調確率Ｐｓ（ｅ）又は平静確率Ｐ
ｓ（ｎ）に重み付けを施してＰｓ（ｅ）＞Ｐｓ（ｎ）を
満たす音声小段落の数を変化させる方法を採ったが、他
の方法として全ての音声小段落の強調確率Ｐｓ（ｅ）と
平静確率Ｐｓ（ｎ）に関してその確率比Ｐｓ（ｅ）／Ｐ
ｓ（ｎ）を演算し、この確率比の降順に対応する音声信
号区間（音声小段落）を累積して要約区間の和を算出
し、要約区間の時間の総和が、略所定の要約時間に合致
する場合、そのときの音声信号区間を要約区間と決定し
て要約音声を編成する方法も考えられる。

【００４６】この場合、編成した要約音声の総延長時間
が要約条件で設定した要約時間に対して過不足が生じた
場合には、強調状態にあると判定するための確率比Ｐｓ
（ｅ）／Ｐｓ（ｎ）の値を選択する閾値を変更すれば抽
出条件を変更することができる。この抽出条件変更方法
を採る場合には要約条件を満たす要約音声を編成するま
での処理を簡素化することができる利点が得られる。上
述では各音声小段落毎に求める強調確率Ｐｓ（ｅ）と平
静確率Ｐｓ（ｎ）を各フレーム毎に算出した強調状態と
なる確率の積及び平静状態となる確率の積で算出するも
のとして説明したが、他の方法として各フレーム毎に求
めた強調状態となる確率の平均値を求め、この平均値を
その音声小段落の強調確率Ｐｓ（ｅ）及び平静確率Ｐｓ
（ｎ）として用いることもできる。

【００４７】図２８を用いて上述した要約率を自由に設
定することができる音声処理装置の実施例を示す。この
実施例では図２４に示した音声強調状態要約装置の構成
に要約条件入力部３１と、音声強調確率テーブル３２
と、強調小段落抽出部３３と、抽出条件変更部３４と、
要約区間仮判定部３５と、この要約区間仮判定部３５の
内部に要約音声の総延長時間を求める総延長時間算出部
３５Ａと、この総延長時間算出部３５Ａが算出した要約
音声の総延長時間が要約条件入力部３１で入力した要約
時間の設定の範囲に入っているか否かを判定する要約区
間決定部３５Ｂと、要約条件に合致した要約音声を保存
し、再生する要約音声保存・再生部３５Ｃを設けた構成
とした点を特徴とするものである。

【００４８】入力音声は図２３で説明したように、フレ
ーム毎に音声特徴量が求められ、この音声特徴量に従っ
て強調確率計算部１６と平静確率計算部１７でフレーム
毎に強調確率と、平静確率とを算出し、これら強調確率
と平静確率を各フレームに付与したフレーム番号と共に
記憶部１２に格納する。更に、このフレーム列番号に音
声小段落判定部で判定した音声小段落列に付与した音声
小段落列番号が付記され、各フレーム及び音声小段落に
アドレスが付与される。この発明による音声処理装置で
は強調確率算出部１６と平静確率算出部１７は記憶部１
２に格納している各フレームの強調確率と平静確率を読
み出し、この強調確率及び平静確率から各音声小段落毎
に強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）とを求め、
これら強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）を音声
強調テーブル３２に格納する。

【００４９】音声強調テーブル３２には各種のコンテン
ツの音声波形の音声小段落毎に求めた強調確率と平静確
率とが格納され、いつでも利用者の要求に応じて要約が
実行できる体制が整えられている。利用者は要約条件入
力部３１に要約条件を入力する。ここで言う要約条件と
は要約したいコンテンツの名称と、そのコンテンツの全
長時間に対する要約率を指す。要約率としてはコンテン
ツの全長を１／１０に要約するか、或は時間で１０分に
要約するなどの入力方法が考えられる。ここで例えば１
／１０と入力した場合は要約時間算出部３１Ａはコンテ
ンツの全長時間を１／１０した時間を算出し、その算出
した要約時間を要約区間仮判定部３５の要約区間決定部
３５Ｂに送り込む。

【００５０】要約条件入力部３１に要約条件が入力され
たことを受けて制御部１９は要約音声の生成動作を開始
する。その開始の作業としては音声強調テーブル３２か
ら利用者が希望したコンテンツの強調確率と平静確率を
読み出す。読み出された強調確率と平静確率を強調小段
落抽出部３３に送り込み、強調状態にあると判定される
音声小段落番号を抽出する。強調状態にある音声区間を
抽出するための条件を変更する方法としては上述した強
調確率Ｐｓ（ｅ）又は平静確率Ｐｓ（ｎ）に確率比の逆
数となる重み付け係数Ｗを乗算しＷ・Ｐｓ（ｅ）＞Ｐｓ
（ｎ）の関係にある音声小段落を抽出し、音声小段落を
含む音声段落により要約音声を得る方法と、確率比Ｐｓ
（ｅ）／Ｐｓ（ｎ）を算出し、この確率比を降順に累算
して要約時間を得る方法とを用いることができる。

【００５１】抽出条件の初期値としては重み付けにより
抽出条件を変更する場合には重み付け係数ＷをＷ＝１と
して初期値とすることが考えられる。また、各音声小段
落毎に求めた強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）
の確率比Ｐｓ（ｅ）／Ｐｓ（ｎ）の値に応じて強調状態
と判定する場合は初期値としてその比の値が例えばＰｓ
（ｅ）／Ｐｓ（ｎ）≧１である場合を強調状態と判定す
ることが考えられる。この初期設定状態で強調状態と判
定された音声小段落番号と開始時刻、終了時刻を表わす
データを強調小段落抽出部３３から要約区間仮判定部３
５に送り込む。要約区間仮判定部３５では強調状態と判
定した強調小段落番号を含む音声段落を記憶部１２に格
納している音声段落列から検索し、抽出する。抽出した
音声段落列の総延長時間を総延長時間算出部３５Ａで算
出し、その総延長時間と要約条件で入力された要約時間
とを要約区間決定部３５Ｂで比較する。比較の結果が要
約条件を満たしていれば、その音声段落列を要約音声保
存・再生部３５Ｃで保存し、再生する。この再生動作は
強調小段落抽出部３３で強調状態と判定された音声小段
落の番号から音声段落を抽出し、その音声段落の開始時
刻と終了時刻の指定により各コンテンツの音声データ或
は映像データを読み出して要約音声及び要約映像データ
として送出する。

【００５２】要約区間決定部３５Ｂで要約条件を満たし
ていないと判定した場合は、要約区間決定部３５Ｂから
抽出条件変更部３４に抽出条件の変更指令を出力し、抽
出条件変更部３４に抽出条件の変更を行わせる。抽出条
件変更部３４は抽出条件の変更を行い、その抽出条件を
強調小段落抽出部３３に入力する。強調小段落抽出部３
３は抽出条件変更部３４から入力された抽出条件に従っ
て再び音声強調確率テーブル３２に格納されている各音
声小段落の強調確率と平静確率との比較判定を行う。強
調小段落抽出部３３の抽出結果は再び要約区間仮判定部
３５に送り込まれ、強調状態と判定された音声小段落を
含む音声段落の抽出を行わせる。この抽出された音声段
落の総延長時間を算出し、その算出結果が要約条件を満
たすか否かを要約区間決定部３５Ｂで行う。この動作が
要約条件を満たすまで繰り返され、要約条件が満たされ
た音声段落列が要約音声及び要約映像データとして記憶
部１２から読み出され再生される。

【００５３】尚、上述では要約区間の開始時刻及び終了
時刻を強調状態と判定された音声段落の開始時刻及び終
了時刻で決定したが、コンテンツが映像付の場合は要約
区間の開始時刻及び終了時刻の決定方法としては、上記
した強調状態と判定した音声段落の開始時刻及び終了時
刻の直近に存在するカット点（映像データに含まれる映
像の切替り点、例えば特開平８−５２９２４号公報記載
の方法で検出する）を利用して要約区間の開始時刻及び
終了時刻を決定してもよい。このように映像データのカ
ット点を要約区間の開始時刻及び終了時刻に利用した場
合は要約区間の切替りが映像の切替りに同期するため、
視覚上からも要約部分が明確になり視認性を高めること
ができる。以上により、音声データから音声要約を行う
こと及びその要約率を自由に変更できることが理解でき
よう。この発明はこの音声要約方法を利用して音声会議
録及び映像会議録を作成することができるデータ編集方
法、データ編集装置及びデータ編集プログラムを提案す
るものである。

【００５４】（実施例１）図１にこの発明の実施例１を
示す。この実施例では会議の会場（官公庁、学校、研究
機関、企業等）乃至はその近傍に会議サーバＳＡを設置
し、この会議サーバＳＡによってこの発明によるデータ
編集装置１００を構成した実施例を示す。データ編集装
置１００は例えばインターネット、ＬＡＮ、電話回線、
ＢＳ、ＣＳ、ＣＡＴＶ等のネットワーク１０８に接続さ
れ、ユーザ端末１０９はこのネットワーク１０８を通じ
てデータ編集装置１００に自由にアクセスすることがで
きる構成とした場合を示す。更にこの実施例ではネット
ワーク１０８に課金部１１０を接続し、この課金部１１
０によってユーザ端末１０９のデータ編集装置１００の
利用に対して課金処理を施すことができる構成とした場
合を示す。データ編集装置１００は会議音声・映像入力
部１０１と、会議音声・映像データベース１０２と、会
議録作成部１０３とによって構成される。会議音声・映
像入力部１０１には会議音声・映像情報を入力する。会
議音声・映像データベース１０２では会議音声・映像入
力部１０１で得た会議音声情報もしくは映像情報をデー
タベース化する。会議録作成部１０３は音声議事録作成
部１０４と、テキスト議事録作成部１０５と、映像イン
デクシング部１０６と、会議インデクシングデータベー
ス１０７とを具備して構成される。

【００５５】音声議事録作成部１０４は上述した音声要
約方法を利用して会議の進行を編集し音声議事録を作成
する。テキスト議事録作成部１０５は音声認識技術を利
用してテキスト議事録を作成する。映像インデクシング
部１０６は映像インデクシングを行い、会議インデクシ
ングデータベース１０７では会議インデクシングデータ
ベースを作成する。会議音声・映像データベース１０２
ではデータベース化した会議音声・映像データと会議イ
ンデクシングデータベース１０７に格納したデータとを
対応させ、マルチメディア会議録を作成する。このマル
チメディア会議録をネットワーク１０８を経由してユー
ザ端末１０９に配信し、利用者がマルチメディア会議録
を視聴する。課金部１１０はユーザ端末１０９の利用に
対して課金処理を実行する。

【００５６】会議音声・映像データベース１０２には、
ディジタル化された会議映像・音声データが保存されて
おり、これらのデータはいかなる圧縮形式でもよく、ま
た、圧縮されていなくてもよい。図２は音声議事録作成
部１０４における音声議事録の作成手順を示す。音声議
事録作成手順は、音声要約ステップＳ３０１と、音声キ
ーワード抽出ステップＳ３０２と、発話者特定ステップ
Ｓ３０３とからなる。会議映像がある場合映像付音声議
事録となる。音声要約ステップＳ３０１では、音声波形
から各音声小段落の強調状態となる確率と、平静状態と
なる確率を求め、強調状態となる確率が大きい音声小段
落を発話の強調点として抽出し、この音声小段落を含む
音声段落を聴取して意味の理解できる単位として抽出
し、強調状態を含む音声段落をつなぎ合わせて要約音声
を作成するために必要な時間情報を得る。音声要約方法
については既に説明した如くである。

【００５７】映像付き音声、即ち音声信号と同期した映
像信号も扱う場合には、音声要約区間に対応する映像信
号区間を映像要約区間として記録する。時間情報即ち各
音声要約区間の開始（始端）・終了（終端）時刻も対応
させて記録することが好適である。音声キーワード抽出
ステップＳ３０２では、繰り返し、発話された言葉のう
ち、会議を象徴する単語を抽出する。キーワード抽出に
ついては、例えば、「標準パターンの任意区間によるス
ポッティングのためのReference Interval−free連続
ＤＰ（ＲＩＦＣＤＰ）」（伊藤 慶明、木下 次郎、
小島 浩、関 進、岡 隆一、信学技報、ＳＰ９５−３
４、１９９５−０６）等に示されている。

【００５８】発話者特定ステップＳ３０３では、発話者
認識、あるいは、マイク入力の情報を用いて発話者を抽
出し、発話者の発話時間情報を得る。話者認識方法につ
いては、たとえば、「音響・音声工学」（古井 貞煕、
近代科学社、電子・情報工学入門シリーズ２、p.２１
１）等に示されている。音響チャネル（例えば通信回線
を介す場合はアドレス）を手がかりに発話者を識別して
もよい。通信回線を介す場合については実施例３（図１
２）において後述する。マイク入力の情報を用いる方法
については、例えば、マイクロホンアレイを使えばよ
い。マイクロホンアレイについては、例えば、日本国特
開平５−１１１０９０号公報、日本国特開平９−１４０
０００号公報等に示されている。単純にはアレイを構成
する各マイクロホンに対応するチャネルをもって発話者
を識別できる。マイクロホン間の音声到達時間から求め
られる位置情報によって発話者を識別してもよい。

【００５９】話者認識の場合、予め、会議参加者と対応
づけて音声を登録しておき、マイク入力の情報を用いる
場合は、会議参加者と対応づけてその位置情報を登録し
ておくことで、発話者名まで特定することができる。発
話者名まで特定する必要が無い場合は、前記、会議参加
者の音声の登録と、会議参加者の位置情報の登録は必要
ない。音声議事録（映像付音声議事録）は主に音声要約
ステップＳ３０１で作成する。また、音声キーワード抽
出ステップＳ３０２のキーワードを発話する部分を、音
声要約ステップＳ３０１で得られた結果に加えて、音声
議事録（映像付音声議事録）を作成してもよい。

【００６０】図３は、テキスト議事録作成部１０５（図
１）のテキスト議事録を作成する手順を示す。テキスト
議事録作成部１０５は、音声認識ステップＳ４０１と、
テキスト化処理ステップＳ４０２と、記録ステップＳ４
０３とを実行する。テキスト化処理については、例え
ば、特開平５−２３３６８９号公報等に示されている。
音声認識ステップＳ４０１では各要約区間での発話内容
を音声認識し、その音声認識結果を利用してテキスト化
処理ステップＳ４０２でテキスト情報に変換するディク
テーション処理を行う。記録ステップＳ４０３では、テ
キスト化処理ステップＳ４０２で得られたテキスト情報
に発話者情報又は音声入力チャネル情報と時刻情報を付
加して例えば、ハードディスク、メモリ、フレキシブル
ディスク、ＭＯ等の記録媒体に格納される。

【００６１】図４は、その典型的な例であり、テキスト
情報で示された発話内容が発話された時刻を記録してい
る。音声認識方法については、例えば、日本国特開平８
−６５８８号公報等に示されているもの以外にも使用可
能である。図３に示したテキスト化処理ステップＳ４０
２で、音声認識ステップＳ４０１で作成した音声認識結
果をテキストに変換し、各要約区間での時間情報、即ち
少なくともその開始時刻又は終了時刻のうち何れか一方
を音声に対応付けて記録することにより、テキスト議事
録を作成する。テキスト議事録は、前記の図４に示すよ
うに、時間情報を持っているため、この時間情報を用い
て音声や映像を読み込むことにより利用者が希望する時
刻や議事に対応した、音声・映像を再生して視聴させる
ことができる。

【００６２】図５は、図１に示した映像インデクシング
部１０６の映像インデクシングを作成する手順を示す。
映像インデクシング部１０６は、カット点抽出ステップ
Ｓ５０１と、人物認識ステップＳ５０２と、カメラワー
ク認識ステップＳ５０３と、テロップ認識ステップＳ５
０４とからなる。カット点抽出ステップＳ５０１では、
映像の切替りを示すカット点を抽出し、その時間情報を
得る。カット点抽出については、たとえば、特許第２８
３９１３２号、特開平１１−１８０２８号等に示されて
いる方法を用いることがある。人物認識ステップＳ５０
２では映像の人物を類似映像認識し、あるいは、カメラ
の撮影位置情報を用いて映像の人物を特定し、その時間
情報を得る。類似映像認識については、例えば、日本国
特開平５−２２５３４４号公報等に示されている。人物
名まで特定する場合は、予め、会議参加者の映像を登録
しておくか、撮影位置と人物の関係を登録しておく。特
に、人物名まで同定する必要がない場合は、前記映像登
録と、位置と人物の関係の登録は必要ない。

【００６３】カメラワーク認識ステップＳ５０３では、
例えば、各会議参加者を、順を追って映していく等のカ
メラワークを同定し、その時間情報を得る。カメラワー
ク認識については、例えば、特開平１１−１５９５３
号、特開平１１−２５９６２６号等に示されている。テ
ロップ認識ステップＳ５０４では、映像中に含まれるテ
ロップの文字を認識し、テロップが出現する時間情報を
得る。テロップ認識については、例えば、特開平１１−
１６７５８３号、特開２０００−１８１９９４に示され
ている。これらの各ステップＳ５０１、Ｓ５０２、Ｓ５
０３、Ｓ５０４から映像インデクシングを得る。この映
像インデクシングを、前記の音声議事録（映像付音声議
事録）に、例えば、カット点等の時間情報を加えてもよ
い。例えば、テロップが出現する時間の会議映像が、前
記の音声議事録（映像付音声議事録）作成部で抽出され
なかった場合においても、音声議事録（映像付音声議事
録）に含んでもよい。

【００６４】図１に示すネットワーク１０８はインター
ネット、ＬＡＮ、電話回線、ＢＳ、ＣＳ、ＣＡＴＶのい
ずれかを問わない。例えば、インターネットプロバイダ
ー等のネットワーク仲介者が運用してもよい。また、官
公庁、学校、研究機関、企業等、それらの内部でのみマ
ルチメディア会議録を視聴するのであってもよく、その
場合、課金部１１０は必ずしも存在する必要はない。ユ
ーザ端末１０９はパーソナルコンピュータ、情報入出力
可能な家電製品、携帯電話の何れでもよい。図６に、マ
ルチメディア会議録のユーザーインターフェースの典型
的な表示例を示す。表示欄ＤＳ８０１は、表示欄ＤＳ８
１１の音声議事録（映像付音声議事録）と、表示欄ＤＳ
８１０のテキスト議事録を表示させるボタンである。表
示欄ＤＳ８０２は会議全体の時間を示すバーである。表
示欄ＤＳ８０２の白抜き四角の左端が会議開始時刻を示
し、右端が会議終了時刻を示している。表示欄ＤＳ８０
２の黒色の四角は、後記する表示欄ＤＳ８０３の、画面
領域の左端から右端までの時間を示している。表示欄Ｄ
Ｓ８０３は、会議の重要部分を示す画面であり、図２に
示した音声要約ステップS３０１によって同定する。表
示欄ＤＳ８０３のグラデーションで色づけされた部分
が、会議の重要部分である。グラデーションの濃さと重
要度が比例して表示されており、図６では、黒に近づく
につれ、重要度が増す例である。利用者はどこが会議の
重要部分であるか目視で確認、理解でき、マウス等の機
器を用いて、表示部ＤＳ８０３のグラデーション部分を
選択し、再生する。利用者がグラデーション部分の前後
を視聴したい場合は、マウス等の機器を用いてグラデー
ション部分の前後を選択し、会議音声・映像を視聴す
る。例えば、再生、発話速度変換、停止、早送り、巻き
戻し、次のグラデーション、前のグラデーション、表示
範囲の拡大、表示範囲の縮小等を選択できる小画面を出
現させ、マウス等の機器を用いて実行してもよい。その
際、表示欄ＤＳ８１１の画面でユーザが選択した時刻の
会議音声、映像を表示してもよく、会議音声・映像再生
用の画面が新しく立ち上がってもよい。また、前記の表
示欄ＤＳ８０２の黒四角を見ることで、表示欄ＤＳ８０
３に表示される重要領域が、全体の会議の中で、どのあ
たりであるのか、例えば前半、中盤、後半等を視覚的に
理解する。表示欄ＤＳ８０４は、会議のキーワードであ
り、図２に示した音声キーワード抽出ステップＳ３０２
の、キーワード抽出の結果を表示する。図６に示す例で
は、キーワードは３つ抽出され、「利益」、「方針」、
「営業」である。利用者は、会議終了後、このキーワー
ドを閲覧することで、会議の議題を確認する。

【００６５】表示欄ＤＳ８０５、ＤＳ８０６、ＤＳ８０
７、ＤＳ８０８、はそれぞれ映像インデクシングの結果
を表示している。表示欄ＤＳ８０５はカット点を、表示
欄ＤＳ８０６はテロップ認識を、表示欄ＤＳ８０７は人
物認識を、表示欄ＤＳ８０８はカメラワークを表示して
いる。表示欄ＤＳ８０５での四角は映像のカット点が出
現する時刻を表示している。表示欄ＤＳ８０８のカメラ
ワークの四角は、例えば、ズームイン、ズームアウト、
パン等が生じる時刻に出現している。例えば、分かりや
すくズームイン、ズームアウトの四角の色づけを変えて
もよい。表示欄ＤＳ８０６の四角に対応する、テロップ
認識の結果をマウス等でクリックすることで表示欄ＤＳ
８１２の四角の内部に表示する。また、表示欄ＤＳ８０
７の人物認識の結果も表示欄ＤＳ８１２の四角に表示す
る。表示欄ＤＳ８０９は、図２に示した発話者特定ステ
ップＳ３０３の発話者特定の結果を表示している。表示
欄ＤＳ８０９は、会議参加者の発話状態を可視化してお
り、利用者は、マウス等の機器を用いて表示欄ＤＳ８０
９に表示されている四角をクリック等により、選択され
た発話区間である四角の左端から右端の時間の音声・映
像を再生する。表示欄ＤＳ８１０はテキスト議事録であ
り、図３に示した音声認識ステップＳ４０１と、テキス
ト要約ステップＳ４０２のテキスト要約部で生成した結
果を表示する。図６の例では利用者は、例えば、「時期
営業方針説明」の項目をマウス等の機器を用いてクリッ
クし、関連する部分の音声・映像の再生を行う。この音
声・映像は要約部分であってもよいし、要約部分でなく
てもよい。

【００６６】表示欄ＤＳ８０５、ＤＳ８０６、ＤＳ８０
７、ＤＳ８０８、ＤＳ８０９は表示欄ＤＳ８１１に対応
して移動する。つまり、表示欄ＤＳ８１１は音声議事録
（映像付音声議事録）で、図１に示した会議インデクシ
ングデータベース１０７と会議音声・映像データベース
１０２で作成する。例えば、利用者は３分間の音声議事
録（映像付音声議事録）を再生して表示する。或は、社
長と副社長の発話のみから構成される音声議事録（映像
付音声議事録）のように、複数話者から構成されるもの
でもよい。この場合、例えば表示欄ＤＳ８０１のボタン
を押した直後に、全体の音声議事録（映像付音声議事
録）か、特定話者の音声議事録（映像付音声議事録）か
を選択する画面が出現し、利用者が選択した後、表示欄
ＤＳ８１１の画面が出現してもよい。

【００６７】図７に、表示欄ＤＳ８０１のボタンを押し
た直後に出現する模式的な画面を示す。表示欄ＤＳ８０
１−１で音声議事録（映像付音声議事録）の視聴を、視
聴時間で設定するか選択する。例えば、図７では、表示
欄ＤＳ８０１−１が選択されており、チェックされた左
の丸印を表示する。選択した場合、表示欄ＤＳ８０１−
２で、利用者の希望する視聴時間を入力する。図７で
は、１８０秒に設定している。表示欄ＤＳ８０１−３で
音声議事録（映像付音声議事録）の視聴を、視聴シーン
で設定するかを選択する。図７では、表示欄ＤＳ８０１
−３を選択しておらず、左の丸印はチェックされていな
い。選択した場合は、表示欄ＤＳ８０１−４で、利用者
の希望するシーン数を入力する。表示欄ＤＳ８０１−５
で、特定話者で音声議事録（映像付音声議事録）を作成
するか選択する。図７では、表示欄ＤＳ８０１−５を選
択しており、左の丸印がチェックされている。表示欄Ｄ
Ｓ８０１−６で、特定話者名を入力する。表示欄ＤＳ８
０１−６の入力ボックスの数は、図６に示した表示欄Ｄ
Ｓ８０９に表示した話者数と同数である。利用者が、希
望する話者名を表示欄ＤＳ８０１−６で入力し、図７の
例では、「人名１」、「人名２」…「人名６」から構成
される音声議事録（映像付音声議事録）を作成する。前
記選択を行った後、表示欄ＤＳ８０１−７の実行ボタン
をマウス操作により押すと、選択に基づいて図６に示し
た表示欄ＤＳ８１１の音声議事録（映像付音声議事録）
のインターフェースは、再生、停止、早送り、巻き戻
し、一時停止、次の重要個所へ移動、前の重要個所へ移
動等が可能となっている。また、発話速度変換等が行え
てもよい。利用者が、音声議事録（映像付音声議事録）
を視聴中に更に詳しく視聴したいと感じた場合は、例え
ば、マウス等の機器を用いて表示欄ＤＳ８１１（図６）
の画面中をクリック等することで、後で再生する時刻を
記録しておく。

【００６８】図８は、利用者が後で表示する時刻を示す
画面の例である。表示欄ＤＳ８１１−１は利用者が、表
示欄ＤＳ８１１の画面をクリック等した時刻である。図
８の例では、例えば、単位は秒であり、前記動作を繰り
返す毎に、表示欄ＤＳ８１１−１の行数は増加する。図
８は、４行に渡って時刻が記録されており、利用者が４
回、表示欄ＤＳ８１１の画面をクリックする等の動作を
施して時刻を指定する例である。表示欄ＤＳ８１１−２
は、利用者がマウス等の機器を用いて選択した時刻を示
す。マウスを用いている場合、マウスのクリックボタン
等を押すことで、表示欄ＤＳ８１１−３に示す小画面Ｓ
８１１−３が出現する。図８の例では、小画面Ｓ８１１
−３は、「再生」と「移動」で構成される。例えば、利
用者が、表示欄ＤＳ８１１−２の時刻「２５２６．１２
３秒」から再度再生することや、表示欄ＤＳ８０３（図
６）の画面を「２５２６．１２３秒」付近に移動させ
る。移動させた場合、利用者はその前後をマウス等の機
器を用いて、選択して再生することで、再度、会議内容
を視聴させる。その際、表示欄ＤＳ８１１の画面で会議
音声・映像を視聴してもよく、あるいは、専用の画面を
新たに生成し、その画面内で表示してもよい。

【００６９】図９に、図１に示した課金部１１０の実施
例を示す。ステップＳ９Ａ０１で、利用者の、音声議事
録（映像付音声議事録）視聴時間を初期化ｔ＝０とす
る。ステップＳ９Ａ０２で、視聴からのマルチメディア
会議録視聴依頼を受け、ステップＳ９Ａ０３で、利用者
の希望する音声議事録（映像付音声議事録）視聴時間Ｔ
を得て、ステップＳ９Ａ０４で、会議録作成部１０３に
マルチメディア会議録の配信を要求する。ステップＳ９
Ａ０５で、利用者の視聴が開始されたか監視し、開始さ
れた場合、ステップＳ９Ａ０６で、利用者の視聴時間を
計測する。ステップＳ９Ａ０７で、利用者の視聴が終了
したかを監視し、終了した場合、ステップＳ９Ａ０８
で、視聴時間ｔを計算し、ステップＳ９Ａ０９で、視聴
時間に対応する対価情報を視聴者の金融口座の残高情報
から控除する課金処理を行う。

【００７０】以下、６０分の会議を、３分間視聴する場
合の実施例について述べる。実施例では、６０分間視聴
した際の、利用金額を１００円とする。利用者は、全体
の１／２０を視聴したので、利用料金は５円である。ま
た、図９の例の応用例として、視聴時間にかかわらず、
利用者が設定した時間Ｔ分の対価情報についての課金処
理を行う課金部であってもよい。また、音声議事録（映
像付音声議事録）の視聴時間でなく、図６で示したマル
チメディア会議録の視聴時間に対して課金してもよい。
図１０に課金部１１０の他の実施例を示す。ステップＳ
９Ｂ０１で、利用者の、音声議事録（映像付音声議事
録）視聴シーンを初期化Ｐ＝０とする。前記、視聴シー
ンとは音声議事録（映像付音声議事録）作成のために、
元の会議音声・映像から切り出した各々を意味する。

【００７１】ステップＳ９Ｂ０２で、視聴者からの音声
議事録（映像付音声議事録）視聴依頼を受け、ステップ
Ｓ９Ｂ０３で利用者の希望する視聴シーン数Ｐを得て、
ステップＳ９Ｂ０４で、マルチメディア会議録作成部に
音声議事録（映像付音声議事録）の配信を要求する。ス
テップＳ９Ｂ０５で、利用者の視聴が開始されたか監視
し、開始された場合、ステップＳ９Ｂ０６で視聴シーン
数Ｐ＝１とする。ステップＳ９Ｂ０７で利用者が視聴し
ている音声議事録（映像付音声議事録）のシーンがｐ＝
１のシーンと同じであるか監視し、次のシーンに移行し
ていれば、ステップＳ９Ｂ０８で視聴シーンＰの数を一
つ増加させる。移行していなければ、ステップＳ９Ｂ０
９で利用者が視聴を終了したか監視し、視聴中であれば
ステップＳ９Ｂ０６に戻る。

【００７２】前記、ステップＳ９Ｂ０６、ステップＳ９
Ｂ０７、ステップＳ９Ｂ０８、ステップＳ９Ｂ０９を繰
り返す。ステップＳ９Ｂ０９で利用者が視聴を終了した
場合、ステップＳ９Ｂ１０で視聴シーン数Ｐを計算し、
ステップＳ９Ｂ１１で利用者の金融口座の残高から、シ
ーン数Ｐに応じた対価情報を控除する処理を行う信号を
発する。以下、１００シーンから構成される会議を、１
０シーンだけ視聴する場合の実施例について述べる。実
施例では、１００シーン視聴した際の、利用金額を１０
０円とする。利用者は、全体の１／１０を視聴したの
で、利用料金は１０円である。また、図１０の例の応用
例として、視聴シーン数にかかわらず、利用者が設定し
たシーン数Ｐ分の対価情報についての課金処理を行って
もよい。

【００７３】また、その他の課金の例として、月額使用
料を設定してもよく、また、通信した情報量（バイト
数）に応じて課金処理を行ってもよい。この結果から明
らかな様に、従来の技術に比べて、主として音声要約技
術、キーワード抽出技術、映像インデクシング技術を用
いることで、音声議事録（映像付音声議事録）を作成す
ることが可能となり、音声認識不可能な音声に対して
も、マルチメディア会議録を作成することが可能となる
改善があった。また、利用者の希望する時間、もしくは
シーン数で音声議事録（映像付音声議事録）を視聴で
き、会議終了後に利用者が会議内容を短時間で確認する
ことが可能となる改善があった。また、利用者が希望す
る話者から構成される音声議事録（映像付音声議事録）
を視聴することが可能となる改善があった。また、音声
議事録（映像付音声議事録）再生中にマークすること
で、更に会議部分の詳細を視聴することが可能となる改
善があった。また、音声要約の結果得られた会議の重要
個所を可視化することで利用者はどこが重要かを目視で
確認することが可能となる改善があった。また、会議の
雰囲気、発言のニュアンス等を含む音声議事録（映像付
音声議事録）を見ることで、実際の会議音声（映像）を
視聴することができ、テキスト以外の議事録を閲覧する
ことが可能となる改善があった。

【００７４】また、発言者を特定することから、会議参
加者の参加性を視覚的に確認することが可能とする改善
があった。また、マルチメディア会議録をユーザ端末１
０９との間で共有することが可能となり、会議参加者が
ノートを取る必要と、議事録を作成する必要がなくなる
改善があった。また、マルチメディア会議録を視聴する
ことで、会議中に聞き逃した重要個所を、会議終了後に
聞くことが可能となる改善があった。また、利用者が会
議に参加していない場合においても、マルチメディア会
議録を閲覧することで参加した場合と同等の理解が得ら
れる改善があった。また、マルチメディア会議録作成の
ために、人手による編集作業を必要としない改善があっ
た。

【００７５】（実施例２）図１１に、実施例１の変形例
として、実施例２を提案する。この実施例では会議サー
バＳＡには会議音声・映像入力部１０１と、会議音声・
映像データベース１０２のみを有し、会議録作成部１０
３を外部に設けた例を示す。つまり、会議作成部１０３
はネットワーク１０８を介して会議サーバＳＡと接続
し、会議サーバＳＡは会議録の作成を希望する場合にの
み会議録作成部１０３に会議音声・映像情報を会議音声
・映像データベース１０２から送り込み、会議録作成部
１０３に会議録の作成を要求すればよい。従って、この
実施例によれば会議録作成部１０３は複数の会議サーバ
ＳＡからの要求に対して会議録の作成を行うことができ
る。この結果各会議サーバＳＡに会議録作成部１０３を
配備しなくて済むことが改善された。

【００７６】（実施例３）図１２は実施例３を示す。こ
の実施例では会議音声・映像入力部１０１と、会議音声
・映像データベース１０２と、会議録作成部１０３の３
者を全てネットワーク１０８を介して接続した構成とし
た場合を示す。この構成とした場合には、複数の会議音
声・映像入力部１０１をネットワーク１０８を介して会
議音声・映像データベース１０２に接続することができ
る。上記のマルチメディア会議録の作成において各地点
から入力された音声や映像等を各地点のアドレスに対応
づけて記録もしくは編集することにより、テレビ会議の
ような多地点会議に適用することができる。このように
多地点会議においても、会議録作成に人手を必要とせず
アドレスごとに入力情報が管理される。

【００７７】（実施例４）図１３に、図８の特定話者で
音声議事録（映像付音声議事録）を作成する応用例とし
ての話者毎に重み付けをすることによる音声議事録（映
像付音声議事録）を作成する実施例４について述べる。
ここで予め発話者毎の要約率を設定し、話者ごとに要約
音声区間を定める。つまり、例えば発話者毎の音声信号
をフレーム毎に分析した前記特徴量に音声信号をフレー
ム毎に分析した特徴量に対応する強調状態での出現確率
と平静状態での出現確率を求め、強調状態での出現確率
に基づいて強調状態となる確率と、強調状態となる確率
の平静状態となる確率に対する確率比が所定の係数より
大きい音声信号区間を要約区間と仮判定し、各発話者毎
に仮判定した要約区間の時間の総和、又は要約率として
音声信号全区間の時間と要約区間の時間の総和に対する
比率を算出し、要約区間の時間の総和が略所定の要約時
間に、又は要約率が略所定の要約率となる所定の係数を
算出して発話者毎の要約区間を決定する。

【００７８】また実施例４では、図１３に示すステップ
ＳIV１の重み付け部と、ステップIV２の音声議事録（映
像付音声議事録）作成部から成る。ステップＳIV２の音
声議事録（映像付音声議事録）作成部は、図１に示した
音声議事録作成部１０４と、映像インデクシング部１０
６で生成される各議事録の生成原理と同じである。例え
ば、企業の役員会議の出席者が、社長、副社長、専務、
常務、取締役の５人であった場合の実施例について述べ
る。

【００７９】図１４に重み付けしない音声議事録（映像
付音声議事録）の例を示す。例えば、役員会議が２時間
あり、音声議事録（映像付音声議事録）が１９シーン、
全１０分から構成されていたとする。図１４の例では、
社長が３シーン、１分１０秒を占めている。重み付けを
しなければ、図１４の構成で、時系列に並び替えたもの
を音声議事録（映像付音声議事録）として利用者は視聴
する。重み付けをする場合、例えば、図１５に示す画面
を用いる。ステップＳIV１０１は、図２に示したステッ
プＳ３０３の発話者特定処理で得られた発話者名を示
す。ステップＳIV１０２は、利用者が設定する各発話者
の重み付け入力画面である。図１５の例では、社長７０
％、副社長１０％、専務０％、取締役２０％としてい
る。この場合、音声議事録（映像付）議事録の再生時間
の占める割合を、社長７０％、副社長１０％、取締役２
０％で構成する。典型的な例を図１６に示す。例えば、
重み付けをしない音声議事録（映像付音声議事録）の再
生時間が１０分であった場合、７分を社長、副社長を１
分、取締役を２分で構成するように、図２に示したステ
ップＳ３０１の音声要約処理とステップＳ３０２の音声
キーワード抽出処理と図１に示した映像インデクシング
部１０６の抽出条件を操作すればよい。その他の方法と
しては、重み付けをしない音声議事録（映像付音声議事
録）での社長の再生時間１分１０秒が全体の７０％にな
るように副社長、取締役の抽出シーンを削減して調整
し、専務、常務の抽出シーンを０にしてもよい。あるい
は、抽出シーン数を基準に社長７０％、副社長１０％、
取締役２０％にしてもよい。但し、上述した方法で発話
者ごとに発話区間の音声信号や映像信号が区別されてい
ることが必須である。前記、重み付けによる音声議事録
（映像付音声議事録）を含むマルチメディア会議録は、
図１、図１１、図１２の何れの形態にも適用することが
できる。この結果から明らかなように、従来の技術に比
べて、利用者が希望する発話者から構成される音声議事
録（映像付音声議事録）を視聴させることが可能になる
改善があった。

【００８０】尚、上述した実施例１では会議音声・映像
入力部１０１と、会議音声・映像データベース１０２
と、会議録作成部１０３の全てを会議サーブＳＡに構築
した例を、また、実施例２では会議音声・映像入力部１
０１と会議音声・映像データベース１０２を会議サーバ
ＳＡに構築した例を説明したが、実施例３に示したよう
に、これら３者は全て分離して配置することができるこ
とから、それぞれが独立した会議サーバに格納されても
よい。また、これら３者の何れか一つ又は全部をユーザ
端末１０９の内部に構築することもできる。会議サーバ
ＳＡ又はユーザ端末１０９にこれら３者の中の１つ又は
全部を構築する場合、その構築はプログラムによって実
現される。つまり、以上説明したこの発明によるデータ
編集方法は計算機上で本発明のデータ編集プログラムを
実行して実現できる。ここで当該プログラムは通信回線
を介してダウンロードしたり磁気ディスクやＣＤ−ＲＯ
Ｍ等の記録媒体からＣＰＵのような処理手段にインスト
ールして実行される。

【００８１】

【発明の効果】以上説明したように、音声要約技術を用
いることで音声認識不可能な音声に対しても、マルチメ
ディア会議録が作成できる効果がある。また、主として
音声要約技術、キーワード抽出技術、映像インデクシン
グ技術を用いることで、音声議事録（映像付音声議事
録）を作成できる効果がある。また、利用者の希望する
時間、もしくはシーン数で音声議事録（映像付音声議事
録）を視聴でき、会議終了後に利用者が会議内容を短時
間で確認できる利点がある。また、利用者が希望する話
者から構成される音声議事録（映像付音声議事録）を視
聴できる利点がある。また、音声議事録（映像付音声議
事録）を視聴中に視聴者が興味を持った部分にマークを
付すことで、更に会議部分の詳細を視聴できる利点があ
る。

【００８２】また、音声要約の結果得られた会議の重要
個所を可視化することで、利用者はどこが重要かを目視
で確認できる利点がある。また、会議の雰囲気、発言の
ニュアンス等を含む音声議事録（映像付音声議事録）を
見ることで、実際の会議音声（映像）を視聴することが
でき、テキスト以外の議事録を閲覧できる効果がある。
また、発話者を特定することから、会議参加者の参加性
を視覚的に確認できる利点がある。また、マルチメディ
ア会議録をユーザ端末間で共有することが可能となり、
会議参加者がノートを取る必要と、議事録を作成する必
要が無くなる利点がある。

【００８３】また、マルチメディア会議録を視聴するこ
とで、会議中に聞き逃した重要個所を、会議終了後に聞
くことができる利点がある。また、利用者が会議に参加
していない場合においても、マルチメディア会議録を閲
覧することで参加した場合と同等に理解できる効果があ
る。また、利用者は会議音声・映像を保存しておくデー
タベースを構築し、例えば、ＤＡＴや、ＤＶＤ−ＲＯＭ
等の記録媒体に会議音声・映像を録音・録画して会議音
声・映像データベースに保存して必要に応じて読み出す
ことでマルチメディア会議を視聴することが可能とな
り、利用者自らマルチメディア会議録を作成する必要が
ない。

【００８４】また、利用者は会議音声・映像を入力し、
ネットワークを介して会議サーバに送信して、例えば、
テレビ会議のような多地点会議により、マルチメディア
会議録作成に人手を省ける。また、利用者が希望する発
話者から構成される音声議事録（映像付音声議事録）を
発話者ごとの所望の再生時間比で視聴できる利点があっ
た。

【図面の簡単な説明】

【図１】この発明の、データ編集装置の実施例１として
の基本構成を示すブロック図。

【図２】図１に示す音声議事録作成部において、音声要
約し、音声キーワードを抽出し、発話者を特定する手順
の例を示す流れ図。

【図３】図１に示すテキスト議事録作成部において、音
声認識し、テキスト化処理する手順の例を示す流れ図。

【図４】図３に示す音声認識処理において、音声認識結
果を、時間情報と発話内容で記録される例を示す図。

【図５】図１に示す映像インデクシング部において、カ
ット点抽出し、人物認識し、カメラワーク認識し、テロ
ップ認識する手順の例を示す流れ図。

【図６】図１に示すユーザ端末において、ユーザインタ
ーフェースを模式的に示す図。

【図７】図６に示すボタンを押した直後に出現する画面
を模式的に示す図。

【図８】図６に示す表示欄ＤＳ８１１をクリックする等
して、後で聞きなおしたい時刻を記録しておく手順の例
を示す図。

【図９】図１に示す課金部の動作を説明するための図。

【図１０】図９と同様の図。

【図１１】この発明の、データ編集装置の変形実施例を
説明するためのブロック図。

【図１２】この発明の更に他の変形実施例を説明するた
めのブロック図。

【図１３】この発明の更に他の変形実施例を説明するた
めの流れ図。

【図１４】図１３に示した実施例を説明するための図。

【図１５】図１３に示した実施例に重み付けを設定する
様子を説明するための図。

【図１６】図１３に示した実施例に重み付けを施した結
果を説明するための図。

【図１７】この発明に用いる音声要約方法の手順を説明
するための流れ図。

【図１８】図１７に示した音声要約方法で用いる音声小
段落抽出及び音声段落抽出方法の手順を説明するための
流れ図。

【図１９】図１８で説明した音声小段落及び音声段落抽
出方法を模式的に示す図。

【図２０】音声小段落の発話状態判定方法の手順を説明
するための流れ図。

【図２１】音声の発話状態を判定するためのコードブッ
クを作成する手順を説明するための流れ図。

【図２２】図２１で説明したコードブックの内部の様子
を説明するための図。

【図２３】音声波形をフレーム分割し、特徴量を求める
状況を模式的に示す波形図。

【図２４】音声波形から強調状態と平静状態とを判定す
る装置の実施例を示すブロック図。

【図２５】図２４に示した装置において要約率を自由に
変化させる方法を説明するための流れ図。

【図２６】要約率を自由に変化させる場合に用いる音声
強調確率テーブルの作成手順を説明するための流れ図。

【図２７】図２６で説明した手順に従って作成した音声
強調確率テーブルの様子を説明するための図。

【図２８】要約率を自由に変更することができる音声要
約装置の実施例を説明するためのブロック図。

【符号の説明】

１００ データ編集装置 １０１ 会議音声・映像入力部 １０２ 会議音声映像データベース １０３ 会議録作成部 １０４ 音声議事録作成部 １０５ テキスト議事録作成部 １０６ 映像インデクシング部 １０７ 会議インデクシングデータベース １０８ ネットワーク １０９ ユーザ端末 １１０ 課金部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/28 Ｇ１０Ｌ 3/00 ５２１Ｕ 17/00 ５３１Ｎ Ｈ０４Ｎ 5/91 ５１５Ｃ ５５１Ａ (72)発明者 中嶌 信弥 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 水野 理 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 児島 治彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 桑野 秀豪 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C053 FA14 GB11 JA01 JA12 LA01 LA06 LA11 5D015 KK02

Claims (9)

【特許請求の範囲】
1. 【請求項１】 チャネル又は発話者毎の音声信号の要約
   区間に基づくデータに前記チャネル情報及び発話者情報
   のうち少なくとも何れか一方を付加して、時刻順に記録
   するデータ編集方法において、 少なくとも基本周波数又はピッチ周期、パワー、動的特
   徴量の時間変化特性、又はこれらのフレーム間差分を含
   む特徴量と強調状態での出現確率とを対応して格納した
   符号帳を用い、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する強調状態での出現確率を求め、 前記強調状態での出現確率に基づいて強調状態となる確
   率を算出し、 前記強調状態となる確率が所定の確率よりも大きい音声
   信号区間を前記要約区間と判定することを特徴とするデ
   ータ編集方法。
2. 【請求項２】 前記音声信号要約区間を音声認識してテ
   キストに変換し、前記テキストを記録することを特徴と
   する、請求項１記載のデータ編集方法。
3. 【請求項３】 前記音声信号と同期入力した映像信号の
   うち前記音声信号の要約区間に対応する映像信号区間
   を、前記音声信号の要約区間と対応付けて記録すること
   を特徴とする請求項１記載のデータ編集方法。
4. 【請求項４】 前記音声信号の要約区間の開始時刻情報
   と終了時刻情報のうち少なくとも何れか一方を、前記音
   声信号の要約区間と対応付けて記録することを特徴とす
   る請求項３記載のデータ編集方法。
5. 【請求項５】 前記音声信号の要約区間は、前記符号帳
   が少なくとも基本周波数又はピッチ周期、パワー、動的
   特徴量の時間変化特性、又はこれらのフレーム間差分を
   含む特徴量と強調状態での出現確率に対応して平静状態
   での出現確率が格納され、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する強調状態での出現確率と平静状態の出現確率を求
   め、 前記強調状態での出現確率に基づいて強調状態となる確
   率を算出し、 前記平静状態での出現確率に基づいて平静状態となる確
   率を算出し、 前記強調状態となる確率の前記平静状態となる確率に対
   する確率比が所定の係数より大きい音声信号区間を要約
   区間と仮判定し、 要約区間の時間の総和、又は要約率として前記音声信号
   全区間の時間の前記要約区間の時間の総和に対する比率
   を算出し、 前記要約区間の時間の総和が略所定の要約時間に、又は
   前記要約率が略所定の要約率となる前記所定の係数を算
   出して各チャネル毎又は各発話者毎の要約区間を決定す
   ることを特徴とする請求項１乃至４の何れかに記載のデ
   ータ編集方法。
6. 【請求項６】 前記音声信号の要約区間は、前記符号帳
   が少なくとも基本周波数又はピッチ周期、パワー、動的
   特徴量の時間変化特性、又はこれらのフレーム間差分を
   含む特徴量と強調状態での出現確率に対応して平静状態
   での出現確率が格納され、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する強調状態での出現確率と平静状態での出現確率を求
   め、 前記強調状態での出現確率に基づいて強調状態となる確
   率を算出し、 前記平静状態での出現確率に基づいて平静状態となる確
   率を算出し、 前記強調状態となる確率の前記平静状態となる確率に対
   する確率比を音声信号区間毎に算出し、 前記確率比の降順に前記確率比に対応する音声信号区間
   の時間を累積して要約区間の時間の総和を算出し、 前記要約区間の時間の総和が略所定の要約時間に、又は
   前記要約率が略所定の要約率となる要約時間が得られる
   音声信号区間を各チャネル毎又は各発話者毎の要約区間
   と決定することを特徴とする請求項１乃至４の何れかに
   記載のデータ編集方法。
7. 【請求項７】 チャネル又は発話者毎の音声信号の要約
   区間に前期チャネル情報及び発話者情報のうち少なくと
   も何れか一方を付加して、時刻順に記録するデータ編集
   装置において、 少なくとも基本周波数又はピッチ周期、パワー、動的特
   徴量の時間変化特性、又はこれらフレーム間差分を含む
   特徴量と強調状態での出現確率と平静状態での出現確率
   とを対応して格納した符号帳と、 この符号帳を用いて前記音声符号をフレーム毎に分析し
   た前記特徴量に対応する強調状態での出現確率と平静状
   態での出現確率を求め、 前記強調状態での出現確率に基づいて強調状態となる確
   率を算出する強調状態確率計算部と、 前期平静状態での出現確率に基づいて平静状態となる確
   率を算出する強調状態確率計算部と、 前記強調状態となる確率の前記平静状態となる確率に対
   する確率比が所定の係数より大きい音声信号区間を要約
   区間と仮判定する要約区間仮判定部と、 要約区間の時間の総和が略所定の要約時間に、又は前記
   要約率が略所定の要約率となる前記所定の係数を算出し
   て各チャネル毎又は各発話者毎の要約区間を決定する要
   約区間決定部と、 を有することを特徴とするデータ編集装置。
8. 【請求項８】 チャネル又は各発話者毎の音声信号の要
   約区間に前記チャネル情報及び発話者情報のうち少なく
   とも何れか一方を付加して時刻順に記録するデータ編集
   装置において、 少なくとも基本周波数又はピッチ周期、パワー、動的特
   徴量の時間変化特性、又はこれらのフレーム間差分を含
   む特徴量と強調状態での出現確率と平静状態での出現確
   率とを対応して格納した符号帳と、 この符号帳を用いて、前記音声信号をフレーム毎に分析
   した前記特徴量に対応する強調状態での出現確率と平静
   状態での出現確率を求め、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する強調状態での出現確率と平静状態での出現確率を求
   め、 前記強調状態での出現確率に基づいて強調状態となる確
   率を算出する強調状態確率計算部と、 前記平静状態での出現確率に基づいて平静状態となる確
   率を算出する平静状態確率計算部と、 前記強調状態となる確率の前記平静状態となる確率に対
   する確率比を音声信号区間毎に算出し、前記確率比が所
   定の確率比より大きい音声信号区間を要約区間と仮判定
   する要約区間仮判定部と、 要約区間の時間の総和、又は要約率として前記音声信号
   区間の時間の前記要約区間の時間の総和に対する比率を
   算出し、 前記要約区間の時間の総和が前記所定の要約時間に、又
   は前記要約率が前記所定の要約率となる前記所定の確率
   比を算出して各チャネル又は各発話者毎の要約区間を決
   定する要約区間決定部と、 を有することを特徴とするデータ編集装置。
9. 【請求項９】 コンピュータが読み取り可能な符号で記
   述され、コンピュータに前記請求項１乃至６記載の何れ
   かに記載のデータ編集方法を実行させることを特徴とす
   るデータ編集プログラム。