JP2008252667A - 動画イベント検出装置 - Google Patents

Abstract

【課題】録画するシステムに依存しないロバストな動画中のイベントの検出装置を提供する。
【解決手段】動画中のハイライトシーンやその始まりを検出する装置であり、特徴量抽出部、特徴量観察部、モデル保存部、カテゴリ分類部、判定部から構成される。特徴量観察部が、特徴量抽出部で求めた特徴量を観察し、指定されている特徴量レベルに合わない場合は、特徴量抽出部にて特徴量を変更することにより、適切にイベントを検出する装置を構成することができる。
【選択図】図１

Description

本発明は、大量の動画を効率的に取り扱う目的で、動画を解析して重要なシーンを検出する動画イベント検出装置に関するものである。

近年、ＤＶＤレコーダなどのデジタル映像機器やＴＶチューナーを搭載したＴＶ録画が可能なパソコンの普及により、日常の出来事やテレビ番組をデジタルの動画として、ハードディスク（ＨＤＤ）や光ディスクなどに大量に保存して保有することが一般的になりつつある。そして、今後は、ＨＤＤや記録メディアの大容量化、録画機器の多チューナー化、動画の圧縮効率の向上等により、個人が大量の動画コンテンツを保有することが、更に加速されると考えられている。

このような状況に対して、録画したコンテンツのハイライトなどの重要なシーンやユーザーが見たいシーンを検出し、この結果を再生時に利用して、大量の動画を短時間で効率よく視聴することが提案されている。従来の検出技術としては、ハイライトを抽出するために、オーディオパワーに対して閾値を使ってオーディオの種別や判定をする方法が提案されている（例えば、特許文献２、特許文献３参照。）。これらの方法は、非線形な状態、例えば、音声と歓声が重なっているような状態を適切に切り分けて分類することに適切ではない。

一方、非線形な状態を適切に切り分ける方法として、事前にトレーニングデータとして与えられたシーンの特徴ベクトルを学習して確率モデルを構成し、この確率モデルを使って、入力する動画の特徴量がハイライトシーンに含まれるか否かを判定する方法が知られている。この方法は、事前にモデルを学習するために、事前に与えるトレーニングデータにより検出性能が左右され、実際のシステムに組み込んだ場合に、トレーニング時には反映できなかった未知の特徴量を持つ入力動画に対して、期待していなかった判定結果を出してしまう場合がある。このような問題に対して、例えば、トレーニングデータに人工的に雑音を重畳して学習させて、未知の入力動画に対して出力結果が正解に対して外れないようにすること、つまり、ロバスト性を向上させる提案がされている（例えば、特許文献１参照。）。
特開平１０−６３７８９号公報（第１図） 特開２００４−２６０７３４号公報（第１図） 特開２００３−１０１９３９号公報（第１図）

上記の従来方法では、瞬間的に入力動画が乱れた場合に対するロバスト性を強化できるものの、定常的、あるいは、一時的にトレーニングデータから大きく特性が外れた入力動画に対しては、期待した検出結果が得られなかった。そのため、録画するシステムごとにモデルのトレーニングやチューニングをする必要があった。また、近年の録画機器やＴＶパソコンの普及による録画環境の多様化、ブロードバンドの普及とデジタル放送の普及によりさまざまなところで制作された動画を視聴する機会が増えている。そのため、必ずしも決まった記録装置で録画された動画だけを効率よく視聴するのではなく、前述のように様々な環境で保存された入力動画に対して、偏りなく同一の検出精度を保つ必要がある。

本発明は、前記従来の課題を解決するもので、機械学習に基づいた動画の検出で、動画を録画するシステムに依存しないロバストな検出装置を提供するものである。

上記の従来の課題を解決するために、本発明の動画イベント検出装置は、動画データを入力し、指定された変更する特徴量とその変更レベルに応じて入力されたデータを変更し、特徴量を演算し出力する特徴量抽出部と、前記特徴量抽出部から出力された特徴量を入力とし、観察する特徴量を観察し、入力として指定された特徴量レベルでは無い場合は前記特徴量抽出部に変更する特徴量とその変更レベルを伝える特徴量観察部と、学習モデルデータを保存しているモデル保存部と、与えられたジャンル情報に対応した学習モデルデータを前記モデル保存部より読込み、前記特徴量抽出部から出力した特徴量を入力とし、入力された動画データが予め決められている分類種のうち、どの分類に近いかを計算し、近い分類結果を出力するカテゴリ分類部と、前記カテゴリ分類部により分類された結果とジャンル情報を入力し、重要シーンの始まりもしくは、重要区間を決定する判定部を有している。

また、本発明の動画イベント検出装置は、学習モデルに対応させた観察する特徴量と特徴レベルを保存するモデル保存部、モデル保存部から、ジャンル情報に対応した学習モデルに対応した観察する特徴量と特徴量レベルを入力し、観察する特徴量とを入力とする特徴量観察部を有する。

以上のように、本発明の動画イベント装置によれば、特徴量観察部が入力動画の特徴量を学習時のトレーニングデータから特性が外れていないか否かを観察し、外れている場合は、入力動画を補正して適切な検出結果が得られるという効果がある。

以下、本発明の実施の形態を添付図面に基づき詳細に説明する。

（実施の形態１）
本発明の実施の形態１による動画イベント検出装置について図１〜図２を用いて詳細を説明する。

図１は、本発明の実施の形態１による動画イベント検出装置の構成を示すブロック図である。図１において、１１は、入力動画の特徴量を算出する特徴量抽出部、１２は外部から指定された観察する特徴量とその参考レベルを保持し、入力動画の特徴量を観察し、参考レベルになっていることを確認し、参考レベルになっていない場合は、補正レベルを１１に伝える特徴量観察部、１４はセグメント単位の入力動画をカテゴリ分類するカテゴリ分類部、１３は１４のモデルのパラメータを記憶しているモデル保存部、１５は１４の分類結果と解析コンテンツのジャンル情報により、イベント部分を検出する判定部である。
本実施の形態では、ＴＶ番組のイベント区間の抽出をする場合で説明する。録画済のコンテンツや受信中のコンテンツを対象に所望のイベントを抽出するものとする。例えば、スポーツ番組の野球やサッカーでヒット、ホームラン、ゴールシーンなど、盛り上がっている部分を抽出するとする。本実施の形態では、スポーツ番組では、オーディオの特徴量を使うと顕著に観客の歓声や解説者の強調音声などの特性から盛り上がりを検出でき、検出処置の処理量を抑えることができるので、オーディオの特徴量を利用することとする。

特徴量観察部１２は、外部より指定された観察する特徴量とその特徴量の範囲制限を受けて、特徴量抽出部１１からの特徴量が、その指定した範囲内に収まっているか否かを確認する。指定した範囲内に収まっていない場合には、どの特徴量をどう補正するかを特徴量抽出部１１へ伝える。ここで、外部より指定される観察する特徴量と特徴レベルは、事前に学習モデルパラメータを生成したときに、教師データとして利用したデータを解析して求めた特徴量から決定されたレベルを指定する。本実施の形態では、外部より、オーディオパワーの平均値の上限Ｐｗ＿ｍａｘ、オーディオパワー平均の参考値が Ｐｗ＿ｒｅｆと指定されているとする。まず、特徴量観察部１２は、始めの２０秒間のオーディオのパワーの平均値を１サンプル毎に計算し保持する。次に２０秒間を越えると、２０秒間のオーディオパワーの平均値を計算後、求めた値がＰｗ＿ｍａｘを越えないかを判断する。オーディオ信号に対してゲインをかけていず、Ｐｗ＿ｍａｘを越える場合は、例えば、下記の数式１にて変更するゲインαを求める。ここでは、現在、求められているオーディオパワーの平均値が、Ｐｗ＿ｒｅａｌｍｅａｎとする。

次に、特徴量抽出部１１に入力されたオーディオ信号にかけるゲインαとオーディオパワー特徴量という種類名を特徴量抽出部１１に伝える。また、ゲインαが１以外の値が設定されており、かつ、オーディオパワーの平均値が、Ｐｗ＿ｍａｘを越えなくなった場合は、ゲインαを１に戻す。入力信号が無くなるまで、特徴量観察部１２は上述の処理を続ける。

図２は、特徴量抽出部１１の構成例である。図２において、２１は、１サンプルごとにパワーを演算するパワー算出部、２２は、短時間パワー平均、ケプストラム、ＭＦＣＣ、基本周波数などの特徴量を演算する特徴量算出部、２３は入力信号にゲインをかけるゲイン設定部である。

特徴量抽出部１１は、非圧縮のオーディオを入力として、この入力の特徴量を演算する。特徴量は、短時間パワー平均、ケプストラム、ＭＦＣＣ、基本周波数など、音の音響的性質を示す多くの特徴量を算出し、後の処理に用いることができる。ここでは、後続の処理に利用する特徴量を計算するとともに、特徴量観察部１２から指定された特徴量を、特徴量観察部１２に出力する。

モデル保存部１３は、学習モデルのパラメータを保存している。ここでのモデルのパラメータは、別ステップで事前に学習をして生成されたものである。ここでは、番組のジャンルに対応して学習モデルのパラメータデータを保存している。

カテゴリ分類部１４は、特徴量抽出部１１より出力される特徴量を入力として、入力されたオーディオデータが、スピーチ、歓声、音楽、であるか、スピーチと歓声と音楽のうちのいずれか２種か３種が組み合わされたデータか、それ以外であるか、を分類する。このように分類種を定義して学習されたモデルは、歓声と音楽が重なっている場合、スピーチと歓声が重なっている場合なども分類できる。本実施の形態では、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）用いることとする。このモデルは、各出力確率を計算し，その累積尤度から，入力がどの音声の種類に最も近いかを判別することができる、一般的に知られたモデルである。ここでのモデルは外部より入力される番組情報に応じた学習モデルのパラメータをモデル保存部１３より取り出し、モデルを決定する。入力動画データを一定間隔のセグメント単位に分割し、各々のセグメント毎にどの分類種に近いかを出力し、分類結果としている。たとえば、１秒毎にどの分類種に近いかを出力する。

ＴＶ番組情報は、ＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）のデータを利用して取得できる。このデータは、テレビ放送波に重畳されるものと、インターネットから取得できるものとがある。解析する入力動画が、放送中のものではなく、すでにＨＤＤや記録メディアに録画されたデータを使う場合は、番組情報を録画データと対応させて合わせて記録しておく必要がある。

判定部１５は、カテゴリ分類部１４が出力した分類結果を外部から入力されたＴＶ番組のジャンルに応じて定義したルールに基づき、ハイライト区間やシーンの切り替わり目を決定し、出力する。具体的には、分類結果のノイズを取る、つまり、予め決めている短時間内で結果が変化している変化を除き、歓声が含まれている区間（開始時刻と終了時刻）を検出結果として出力する。

かかる構成によれば、特徴量観察部１２が指定された特徴量を観察し、特徴量が外部より指定された特徴量抽出部１１に入力オーディオに掛け合わせるゲインを指定することにより、入力オーディオの特徴量を指定された範囲に抑えることができるため、カテゴリ分類部１４が、学習モデルが想定外の状態になり、不適切な分類判別をしてしまう問題を回避することができる。

なお、本実施の形態では、オーディオパワーの平均値が指定された最大値を超える場合を、ゲインをかける条件としたが、オーディオパワー平均の参考値と比較して、特徴量を観察しても構わない。

なお、本実施の形態では、モデル保存部１３は、ＴＶ番組のジャンルに応じて学習モデルのパラメータを保存しているものとするが、複数のジャンルに一つの学習モデルを対応させてパラメータを保存、あるいはＴＶ番組ごとに一つの学習モデルを対応させてパラメータを保存、あるいはサブジャンルごとに一つの学習モデルを対応させてパラメータを保存させても構わない。

なお、本実施の形態では、カテゴリ分類部１４は、スピーチ、歓声、音楽、スピーチと歓声と音楽のいずれか２種か３種が組み合わせを分類するとしたが、分類の定義は、ＧＭＭモデルを学習する際に決めた分類であれば、何でも構わない。ジャンルやサブジャンルや番組ごとに検出したい部分の特徴が異なる場合は、それぞれの場合に適するように分類する種類を定義し、モデルを学習させておくとよい。

なお、本実施の形態では、カテゴリ分類部１４は、分類結果のみを出力しているが、分類結果とその尤度を出力させても構わない。その場合は、後段の判別部１５にて、判定時に尤度を加味することが可能となる。

（実施の形態２）
本発明の実施の形態２による動画イベント検出装置について図３を用いて詳細を説明する。図３は、本発明の実施の形態１による動画イベント検出装置の構成を示すブロック図である。本実施の形態では、実施の形態１と同様にオーディオの特徴量を利用して、ＴＶ番組のイベント区間の抽出をするとする。

図３において、特徴量抽出部１１とカテゴリ分類部１４と判定部１５は、実施の形態１と同様の動作をする。第２の特徴量観察部３２は、入力されたジャンル情報に対応した学習モデルパラメータに対応している観察する特徴量と特徴量レベルとを取得する動作以外は、実施の形態１に述べた特徴量観察部１２と同様の動作をする。第２のモデル保存部３３は、学習モデルパラメータを保存している。更に、この学習パラメータを生成するときに利用したトレーニングデータの特徴量から求めた観察する特徴量と特徴量レベルを学習モデルパラメータに対応して保存している。

図４は、第２のモデル保存部３３が保存しているデータのイメージ図である。学習モデルパラメータは、ＴＶジャンルごとに定義されており、また、１セットの学習モデルパラメータに対応して、観察する特徴量の種類とその特徴量の平均値と最大値が保存されている。ここで保存する観察する特徴量の平均値と最大値は、学習モデルパラメータを生成する際に利用したトレーニングデータの特徴量の平均値と最大値であり、本実施の形態では、先に述べたトレーニングデータのオーディオパワーの平均値と最大値を保存している。かかる構成によれば、第２の特徴量観察部３２が指定された特徴量を観察し、特徴量レベルが第２のモデル保存部３３から読み込んだ値に収まっていない場合に、特徴量抽出部１１に対して入力オーディオに掛け合わせるゲインを求めてこれを指定することにより、入力オーディオの特徴量を指定された範囲に抑えることができる。そのため、カテゴリ分類部１４が、学習モデルが想定外の状態になり、不適切な分類判別をしてしまう問題を回避することができる。

なお、本実施の形態では、モデル保存部１３は、ＴＶ番組のジャンルに対応させて学習モデルのパラメータを保存しているものとするが、複数のジャンルに一つの学習モデルを対応させてパラメータを保存、あるいはＴＶ番組ごとに一つの学習モデルを対応させてパラメータを保存、あるいはサブジャンルごとに一つの学習モデルを対応させてパラメータを保存させても構わない。

なお、本実施の形態では、学習モデルパラメータと観察する特徴量の種類とその特徴量の平均値と最大値は、同一ファイルに保存されているイメージであるが、観察する特徴量の種類と平均値と最大値のデータセットと学習モデルパラメータセットが対応づけられておれば、どのような構成でも構わない。

（実施の形態３）
本発明の実施の形態３による動画イベント検出装置について図５を用いて詳細を説明する。図５は、本発明の実施の形態１による動画イベント検出装置の構成を示すブロック図である。本実施の形態では、実施の形態１と同様にオーディオの特徴量を利用して、ＴＶ番組のイベント区間の抽出をするとする。

図５において、５１は第２の特徴量抽出部、５２は第３の特徴量観察部、５３は第３のモデル保存部、５４は第２のカテゴリ分類部、５５は第２の判定部である。

第２の特徴量抽出部５１は、実施の形態１と同様の特徴量を抽出する。そして抽出した特徴量を第３の特徴量観察部５２と第２のカテゴリ分類部５４へ出力する。

第３の特徴量観察部５２は、第２の特徴量抽出部より得られた各特徴量の最大値と平均値を計算し、第２のカテゴリ分類部５４に送る。

第３のモデル保存部５３は、実施の形態１と同様に学習モデルパラメータセットを保存しており、これに加えて、モデルの学習時のトレーニングデータの最大値と平均値を分類ごとに保存しておく。例えば、本実施の形態では、スピーチ、歓声、音楽、であるか、スピーチと歓声と音楽のいずれか２種か３種が組み合わせを分類するとしているため、各分類に対応させたトレーニングデータの各特徴量の最大値と平均値を保存している。

第２のカテゴリ分類部５４は、実施の形態１と同様の動作に加え、第３のモデル保存部５３から読込んだ各分類に対応させたトレーニングデータの各特徴量の最大値と平均値のうち、分類結果に対応する分類の各特徴量の最大値と平均値と、第３の特徴量観察部５２から受け取った各特徴量の最大値と平均値とを比較し、大きく外れていないことを確認する。大きく異なる場合は、分類結果を出力するとともに小さな値の重み（１以下）を出力する。大きく異ならない場合は、１を出力する。

第２の判定部５５は、第２のカテゴリ分類部５４が出力した分類結果を外部から入力されたＴＶ番組のジャンルに応じたルールに基づき、ハイライト区間やシーンの切り替わり目を決定し、出力する。具体的には、分類結果のノイズを取り、歓声が含まれている区間（開始時刻と終了時刻）を決定する際に、第２のカテゴリ分類部５４から出力された重みを考慮して出力する。

ここで、各分類に対応させたトレーニングデータのオーディオパワーの平均値と最大値が図６に示す値であったとする。そして、時刻ｔにおける第２のカテゴリ分類部５４に入力されたオーディオパワーの最大値がＩｎＰＷ＿ｍａｘ（ｔ）、平均値がＩｎＰＷ＿ｍｅａｎ（ｔ）であり、第２のカテゴリ分類部５４で演算された尤度が図７に示す値になったとする。分類のトレーニングデータのオーディオパワーの平均値の１．５倍以上の場合には、該当する分類の尤度を、尤度×［ トレーニングデータのオーディオパワーの平均／（ＩｎＰＷ＿ｍｅａｎ（ｔ））］として、全分類の尤度を求め、最も尤度が高い分類をその時刻の分類結果とする。

かかる構成によれば、第３の特徴量観察部５２が第２の特徴量抽出部で求められた特徴量を観察して各特徴量の最大値と平均値を第２のカテゴリ分類部５４に出力し、第２のカテゴリ分類部５４は、入力の特徴ベクトルから求めた分類結果とこの分類結果に対応するモデルのトレーニングデータの最大値と平均値を比較することにより、出力された分類結果の信頼度を重みとして出力する。これにより、学習時に学習があまりできていない入力パターンに対して不適切な分類判別をしてしまう問題を回避することができる。

なお、本実施の形態では、各特徴量の最大値と平均値を比較したが、学習モデルを支配的に寄与する特徴量のみに注目した最大値と平均値の比較でもかまわない。また、この比較する際は、最大値と平均値ではなく、分散などデータを特徴づける値の比較であれば、何でも構わない。

本発明にかかる動画イベント検出装置は、特徴量観察部が入力動画の特徴量を学習時のトレーニングデータから特性が外れていないか否かを観察し、外れている場合は、入力動画を補正ができ、学習データを録画システム毎に準備しなくても適切な検出結果が得られることによって、動画の中から所望の区間、例えば盛り上り区間を自動で検出する用途にも適用できる。

本発明の実施の形態１における動画イベント検出装置の構成を示すブロック図 本発明の実施の形態１による動画イベント検出装置の特徴量抽出部１１の構成図 本発明の実施の形態２における動画イベント検出装置の構成を示すブロック図 本発明の実施の形態２における第２のモデル保存部が保存しているデータのイメージ図 本発明の実施の形態３における動画イベント検出装置の構成を示すブロック図 本発明の実施の形態３における第３のモデル保存部が保存している各分類に対応させたトレーニングデータの各特徴量の最大値と平均値を表した図 本発明の実施の形態３における第２のカテゴリ分類部で計算される各分類に対する尤度を表した図

符号の説明

１１ 特徴量抽出部
１２ 特徴量観察部
１３ モデル保存部
１４ カテゴリ分類部
１５ 判定部
２１ パワー算出部
２２ 特徴量算出部
２３ ゲイン設定部
３２ 第２の特徴量観察部
３３ 第２のモデル保存部
５１ 第２の特徴量抽出部
５２ 第３の特徴量観察部
５３ 第３のモデル保存部
５４ 第２のカテゴリ分類部
５５ 第２の判定部

Claims (5)

1. 動画を解析してイベントや重要な部分を検出する装置において、動画データを入力し、指定された変更する特徴量とその変更レベルに応じて入力されたデータを変更し、特徴量を演算し出力する特徴量抽出部と、前記特徴量抽出部から出力された特徴量を入力とし、観察する特徴量を観察し、入力として指定された特徴量レベルでは無い場合は前記特徴量抽出部に変更する特徴量とその変更レベルを伝える特徴量観察部と、学習モデルデータを保存しているモデル保存部と、与えられたジャンル情報に対応した学習モデルデータを前記モデル保存部より読込み、前記特徴量抽出部から出力した特徴量を入力とし、入力された動画データが予め決められている分類種のうち、どの分類に近いかを計算し、近い分類結果を出力するカテゴリ分類部と、前記カテゴリ分類部により分類された結果とジャンル情報を入力し、重要シーンの始まりもしくは、重要区間を決定する判定部とを備えることを特徴とする動画イベント検出装置。
2. 前記モデル保存部は学習モデルに対応させた観察する特徴量と特徴レベルを保存し、前記特徴量観察部は前記モデル保存部から、ジャンル情報に対応した学習モデルに対応づけられている観察する特徴量と特徴量レベルを入力し、前記特徴量抽出部より観察する特徴量とを入力とすることを特徴とする、請求項１に記載の動画イベント検出装置。
3. 動画を解析してイベントや重要な部分を検出する装置において、動画データを入力し、特徴量を演算し出力する特徴量抽出部と、前記特徴量抽出部から出力された特徴量を入力とし、観察する特徴量の範囲や分布を演算し出力する特徴量観察部と、学習モデルデータと学習モデルデータのトレーニングデータに対応する特徴量の範囲や分布を保存しているモデル保存部と、与えられたジャンル情報に対応した学習モデルデータを前記モデル保存部より読込み、前記特徴量抽出部から出力した特徴量を入力とし、入力されたデータが予め決められている分類種のうち、どの分類に近いかを計算し、近い分類結果を出力するとともに、前記特徴量観察部から出力された観察する特徴量の範囲や分布と、前記モデル保存部から読込んだトレーニングデータに対応する特徴量の範囲や分布のうち分類結果に対応する特徴量の範囲や分布を比較して範囲や分布が離れている場合に分類結果に対する重みづけを軽くして出力するカテゴリ分類部と、前記カテゴリ分類部により分類された分類結果と重みとジャンル情報を入力し、重要シーンの始まりもしくは、重要区間を決定する判定部とを備えることを特徴とする動画イベント検出装置。
4. 前記特徴量観察部は、前記特徴量抽出部から出力されたオーディオパワー特徴量と参照するオーディオパワー特徴量の平均値と最大値を入力とし、このオーディオパワー特徴量の平均値と最大値を求めて保持し、前記オーディオパワー特徴量の平均値と最大値が特徴量レベルであることを確認し、指定された特徴量レベルでは無い場合は前記特徴量抽出部にオーディオパワー特徴量にかける変更レベルを伝えることを特徴とする、請求項１に記載の動画イベント検出装置。
5. 前記特徴量観察部は、前記特徴量抽出部から出力されたオーディオパワー特徴量と参照するオーディオパワー特徴量の平均値と最大値を入力とし、このオーディオパワー特徴量の平均値と最大値を求めて保持し、前記オーディオパワー特徴量の平均値が、一定の間参照するオーディオパワー特徴量の平均値を超えた場合にオーディオ入力にかける変更レベルを演算し、もしくは、一定の間参照するオーディオパワー特徴量の最大値を超えた場合は、前記変更レベルを特徴量抽出部に伝えることを特徴とする、請求項１に記載の動画イベント検出装置。

Images