JP2003061112A - カメラワーク検出装置およびカメラワーク検出方法 - Google Patents

Abstract

(57)【要約】 【課題】 動き情報に特徴が少ない場合でも、カメラワ
ークシーンであるか否かを確実に判別する。 【解決手段】 映像コンテンツに含まれる動き情報に基
づいて、カメラの動きに関連したカメラワークシーンを
カメラワーク抽出手段１で抽出する。またキーフレーム
抽出手段２で、映像コンテンツを色情報の変化に応じた
複数の区間に分割する。判定修正手段３は、動き情報に
明確な特徴がないシーンで、キーフレーム抽出手段２で
分割した単位時間当りの区間数が所定値以上であるなら
ば、そのシーンをカメラワークシーンであるとして判定
を修正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラの動きに関
係したカメラワークシーンを映像コンテンツから抽出す
るカメラワーク検出装置およびカメラワーク検出方法に
関する。

【０００２】

【発明が解決しようとする課題】近年、高性能ディジタ
ルビデオカメラの普及により、一般ユーザーでも手軽に
ディジタル映像コンテンツを撮影・所有できるようにな
ってきている。これに伴い映像編集の要求も高まってお
り、汎用のパーソナルコンピュータでは映像コンテンツ
の編集環境を搭載したものが、ハードウェアおよびソフ
トウエア上の機能として備わっている。しかし、現在の
こうした編集機能は映像コンテンツを時間順に全て見て
行くしかなく、録音時間以上の編集時間がかかるため、
必ずしも一般ユーザーにとって使いやすい環境が整って
いるとは言えなかった。そこで、映像コンテンツがある
基準に基づいて分割されていれば、その映像コンテンツ
を飛ばしてみたり、内容を大雑把に把握するのに役立つ
ことから、映像コンテンツを内容に基づいて意味的に構
造化するＶＤＡ（Video Document Architecture）モデ
ルにより、ユーザーにその内容をわかりやすく提示する
有用なシステムが考えられている。

【０００３】例えば、映像コンテンツを分割する際に、
カット点を検出してシーンの変わり目で分割する方法
や、同一シーン内でさらに映像コンテンツを細かく分割
するために、映像コンテンツの内容が変化するカメラワ
ークを検出して、これを構造化のパラメータとする方法
などが知られている。しかし、入力した映像情報からオ
プティカルフロー（動画フレームを均等ブロックに細分
化し、各領域で動きベクトルを算出してフレーム上に動
きベクトル部分布を示した情報）を検出し、上述のカメ
ラワークを求める方法は、主に非圧縮映像コンテンツに
対して行なわれるもので、圧縮映像コンテンツに対応す
ることができない。

【０００４】一方、映像は大量の画像データを有してお
り、それらを扱いやすくするために多くの映像圧縮符号
化方法が提案されている。そのなかで、動き予測を含む
符号化方法であるＭＰＥＧ（Moving Picture Experts G
roup）は代表的な方法である。ＭＰＥＧ方式で符号化さ
れた映像コンテンツ画像データ列における各予測符号化
画像データでは、ビデオシーケンス内の各画像（ピクチ
ャ）を３つのタイプに分けて符号化を行なう。すなわ
ち、他のピクチャの情報を使用せず、それ自身のピクチ
ャ情報のみで符号化を行なうＩピクチャと、過去のＩピ
クチャまたはＰピクチャを参照ピクチャとして、時間軸
上で前向きの動き予測符号化を行なうＰピクチャと、過
去と将来のＩピクチャまたはＰピクチャを参照ピクチャ
として、時間軸上で前向きおよび後向きの動き予測符号
化を行なうＢピクチャである。ＰピクチャとＢピクチャ
の信号は、参照ピクチャから導かれる動き予測信号との
差分が計算される。カメラワークや動被写体領域などが
存在することで映像内容が変化している場合、こうした
符号化方式の選択により、カメラワークや動被写体領域
などの動き情報を反映した動きベクトルを用いた予測符
号化が行なわれる。

【０００５】ＭＰＥＧ方式の特徴としては、連続する画
像間の相関を利用し、動き補償によって符号化情報量を
低減しているが、動き補償を行なうには動きベクトルを
見つけ出す必要がある。動きベクトルとは、ある画像内
の画像領域（マクロブロック）を参照値として、符号化
対照となる画像内の画像領域と参照値との差分が最も小
さくなる場合の参照領域の空間的な相対位置をあらわし
たものである。

【０００６】この動き予測符号時に算出された動きベク
トルを利用して、ＭＰＥＧ方式の圧縮映像コンテンツか
ら正しいカメラワークを検出する方法が知られている。
これは具体的には、各フレーム毎に空間のグローバルな
動きを検出し、まとまったフレーム毎に時間的なグロー
バルなカメラの動きを決定することで、カメラワークで
あるか否かを判定するものである。空間的なグローバル
な動きは、いくつかの方法で検出することができる。例
えばY.Yang氏による“A Study on Camera WorkExtracti
on Technology from Compressed Information”（映像
情報メデイア学会，53，1999年）によれば、フレームを
９つのブロックに分割し、角の４ブロックにおける動き
ベクトルの方向の多数ベクトルから、グローバルな動き
を検出しているし、また別の大野，青木，吉田，酒井氏
による“動きベクトルと色情報を用いた階層的ＭＰＥＧ
画像検索”（映像メディア処理シンポジウム，No.5，p
p.pp.101-102，2000年）によれば、動きベクトルのヒス
トグラムからグローバルな動きを検出している。しか
し、これらの方法だけでは、撮影者の意図しない手ぶれ
をカメラワークと誤検出してしまうと共に、カメラワー
ク中に手ぶれが含まれると、異なるカメラワークの判定
を行なうことがある。

【０００７】図１１は、例えばニュース，ドラマ，映画
などのいわゆる安定化したカメラワークの下で撮影され
た映像コンテンツと、各フレームでの動きベクトルの使
用率との関係を示すグラフの一例であり、また図１２
は、一般ユーザーがディジタルビデオカメラにより撮影
したいわゆる手ぶれを含む映像コンテンツと、各フレー
ムでの動きベクトルの使用率との関係を示すグラフの一
例をそれぞれ示している。上述の手ぶれによる問題は、
図１１および図１２を比較してみると明らかである。従
来のようなグローバルな動きからカメラワークを検出す
る方法では、各フレームでの動きベクトルの使用率が高
い時が、カメラワークであると判定している。そのた
め、図１１に示す安定したカメラワークの下での映像コ
ンテンツでは、Ｘ１の領域がカメラワークのシーンであ
ると正しく判定できるが、図１２に示す手ぶれを含む映
像コンテンツでは、ズームシーンであるＸ２の領域と、
手ぶれシーンであるＸ３の領域で、いずれも動きベクト
ルの使用率の高いフレームが存在し、正確なカメラワー
クの検出を行なうことができない。

【０００８】このように、手ぶれを含む映像コンテンツ
においてカメラワークを高精度に検出するには、カメラ
ワークと手ぶれとを上手く分離する必要がある。そのた
めには、カメラの動いているシーンを検出した後で、次
のような手順でカメラワークと手ぶれとを分離する方法
が提案されている。これを図１３のフローチャートに基
づき順を追って説明すると、カメラワーク区間の検出に
際しては、ＭＰＥＧ２方式の映像コンテンツに含まれる
Ｐピクチャの動きベクトルを利用する。ステップ101に
おいて、パンやズームを行なっているカメラワークシー
ンは画像全体が動くので、１フレーム内の多くマクロブ
ロックが動きベクトルを有するものと考えられる。そこ
で、動きベクトル使用率ＲＶiが所定値よりも大きいか
否かを判定することで、手ぶれを含む動くカメラワーク
シーンと固定したシーンとを区別する。なお、動きベク
トル使用率ＲＶiとは、動きベクトルのスカラー値が０
でないマクロブロックの割合を示すもので、次の数１に
て表せる。

【０００９】

【数１】

【００１０】但し、ｖi,m(x)やvi,m(y)は、ｉ番目のフ
レームのｍ番目のマクロブロックにおける動きベクトル
のｘ方向とｙ方向を示す。

【００１１】これに引き続いて、パンとズームの判定を
行なう。ここでは、１フレームの平均動きベクトルを計
算する。ズームシーンでは、各マクロブロックの動きベ
クトルの向きが均一に分布しているので、この動きベク
トルの向きが０に近い値となる。したがって、動きベク
トルの向きが０に近ければズーム、それ以外はパンであ
ると判定する。その際、手ぶれシーンもパンまたはズー
ムのいずれかに分類されるので、ステップＳ102にてパ
ンと手ぶれの区別を行なう。手ぶれは細かいカメラワー
クと考えることができるので、パンのような安定したカ
メラワークに比べて、動きベクトルの向きが周期を持っ
て変化する。そこで、次の数２によりベクトルの向きθ
iから、その変化量Δθiを算出し、平均動きベクトル変
化量Δθiが頻繁に変化して、第１の閾値th1を越える場
合に手ぶれシーンであると判定して、カメラワーク区間
との区別を行なう。

【００１２】

【数２】

【００１３】但し、ＡＶi(x)，ＡＶi(y)は、各フレーム
の平均動きベクトルで、このとき横方向を０°とする
と、θiはベクトルの向きであり、Δθiはベクトルの向
きの変化となる。ステップＳ102で手ぶれシーンを分離
した後、平滑化を行なうことで、パンを検出する。

【００１４】ステップ103では、ズームと手ぶれとを区
別する。前記ステップ102では、1フレームの平均動きベ
クトルを利用しているので、マクロブロックごとの動き
ベクトルが互いに相殺しあうズームには適していない。
そこで、ズームと手ぶれとを区別するにあたり、ズーム
区間では全体的にマクロブロックの持つ動きベクトルが
均等に分布することを利用する。すなわち、フレーム内
における動きベクトルのヒストグラム（頻度分布）分散
値σiが、ズーム区間では小さな値になることが想定さ
れるので、この値が第２の閾値th2未満であればズー
ム、それ以外は手ぶれであると判定する。フレーム内に
おける動きベクトルの向きのヒストグラム分散値σi
は、次の数３にて表せる。

【００１５】

【数３】

【００１６】上式において、ここでいう動きベクトルの
向きのヒストグラム分散値σiとは、動きベクトルの向
きの頻度を図１４のように８通りにクラスタリングし、
ｊ番目の向きの頻度ｎi,jと平均頻度Ｎ／８を利用した
分散値である。但し、Ｎ’は１フレームで発生した動き
ベクトルの数である。ステップＳ103で手ぶれシーンを
分離した後、平滑化を行なうことで、ズームを検出す
る。

【００１７】以上のステップＳ101〜ステップＳ103を、
映像コンテンツの各フレーム単位で行なう。次に時系列
にロバスト（大雑把）な判定を行なうために、まとまっ
たフレームで判定する。具体的には、１つのＧＯＰ（Gr
oup Of Pictures：１つのＩピクチャと複数のＰ，Ｂピ
クチャをまとめた符号化の単位）毎に平均をとり、それ
ぞれのステップＳ101〜ステップＳ103を判定する。ま
た、特にステップＳ102における動きベクトルの向きの
変化Δθiは、手ぶれ区間では動きベクトルがある周期
を持って変化するので、１ＧＯＰ毎の最大値を採用して
これを平滑化する。

【００１８】これらの各ステップＳ101〜ステップＳ103
とは別に、ステップＳ104にてカメラワークの速さを評
価する。速いカメラワークを行っているシーンでは、各
マクロブロックの有する動きベクトルの大きさが大きく
なる。この性質を利用して、次の数４に基づいて動きベ
クトル量ＱＶiを計算する。動きベクトル量ＱＶiとは、
各フレームの動きベクトルの大きさの和として定義さ
れ、この動きベクトル量ＱＶiによりカメラワークの速
さを評価することができる。

【００１９】

【数４】

【００２０】上記各ステップＳ101〜ステップＳ104にお
いて、カメラの動きをフレーム単位で判定すると、例え
ば、カメラワーク中で手ぶれが起こった場合や、カメラ
の前を一瞬オブジェクトが横切った場合や、撮影条件
（とりわけ照明条件）の瞬間的な変化（例えば、ビデオ
カメラの近くでフラッシュを発光させたり、雷が起こっ
た場合）が生じた場合や、シーンチェンジが起きた場合
（動きベクトル使用率ＲＶiが大きくなる）などに、シ
ーンの過分割が生じる。そこで、こうした過分割を回避
するために、フレーム単位で求めた上記各値を、ＧＯＰ
毎にまとめて判定する方法を採用する。これは図１５
（ａ）に示すように、１ＧＯＰ毎の動きベクトル使用率
ＲＶiと、向きの変化Δθiと、ヒストグラム分散値σi
の平均値を算出して、一定の閾値により判定する。この
ＧＯＰ毎の判定の後で、シーンチェンジやカメラフラッ
シュなどの瞬時の変化に対しては、図１５（ｂ）に示す
ように、参照ＧＯＰの判定結果が前後のＧＯＰの判定結
果と異なる場合は、前後のＧＯＰの判定結果を参照して
判定結果の統合を行なう。なお、図１５（ｂ）は各ＧＯ
Ｐ毎の判定結果を記号としてあらわしたもので、Ｐはパ
ン区間、Ｎはカメラワークの判別をできない区間を意味
する。

【００２１】図１６は、ズームシーンとパンシーンにお
けるフレーム番号と動きベクトル使用率ＲＶiとの関係
をあらわしたグラフで、横軸はフレーム番号、縦軸は動
きベクトル使用率ＲＶiである。また縦の破線は、主観
評価によるカメラワーク区間であって、図１６（ａ）に
示すＸ４がズームシーン、図１６（ｂ）に示すＸ５がパ
ンシーンと判定したものである。図１６（ａ）に示すズ
ームシーンＸ４では、動きベクトル使用率ＲＶiが徐々
に大きくなっており、図１６（ｂ）に示すズームシーン
Ｘ５では、高い動きベクトル使用率ＲＶiであることが
わかる。

【００２２】図１７は、パンシーンの前後で手ぶれが起
きている映像コンテンツを入力データとして用いた場合
のグラフで、図１７（ａ）はフレーム番号と平均動きベ
クトルの向きの変化Δθiとの関係を示しており、図１
７（ｂ）はフレーム番号と１ＧＯＰ毎に平滑化した値と
の関係を示している。特に図１７（ｂ）の上の波形が、
動きベクトル使用率ＲＶiからカメラワーク区間Ｙ１と
判定し、下の波形が手ぶれシーンＹ２と判定している。
これにより、動きベクトル使用率ＲＶiで検出したカメ
ラワーク区間から手ぶれシーンを分離することができ
る。なお、図１７（ａ）に示すＸ６と、図１７（ｂ）に
示すＸ７がいずれもパンシーンである。

【００２３】図１８は、ズームシーンと手ぶれシーンと
の分離を目的とした結果を示すグラフである。具体的に
は、図１８（ａ）は、フレーム番号と動きベクトルのヒ
ストグラム分散値σiとの関係を示し、図１８（ｂ）
は、手ぶれシーンと検出した結果を示している。なお、
図１８（ａ）に示すＸ８と、図１８（ｂ）に示すＸ９が
いずれもパンシーンであり、また図１８（ｂ）のＹ３は
カメラワークオン、Ｙ４はカメラワークオフである。

【００２４】表１は手ぶれとカメラワーク検出結果の例
を示したもので、ここにある従来法とは動きベクトル使
用率だけでカメラワーク区間を検出した結果、提案とは
さらに平均動きベクトルや動きベクトル頻度分布の分散
値を用いてカメラワーク区間を検出した結果を示してい
る。この表１からも明らかなように、手ぶれを考慮した
提案手法では、手ぶれシーンを排除できるので主観評価
に近い結果が得られる。

【００２５】

【表１】

【００２６】図１９はカメラワークの速さを判定した結
果を示すグラフである。すなわち、図１９（ａ）は、速
いカメラワーク（ｔ1＝2.3秒）の場合のフレーム番号と
動きベクトル量ＱＶiとの関係を示しており、また図１
９（ｂ）は、遅いカメラワーク（t2＝14秒）の場合のフ
レーム番号とベクトル量ＱＶiとの関係を示している。
図１９（ａ）に示すような速いカメラワークでは、シー
ンの移り変わりが速いので、マクロブロック毎の参照す
るフレームが遠くなる。つまり、速いカメラワークはフ
レーム内の動きベクトル量ＱＶiの和が大きく、遅いカ
メラワークはフレーム内の動きベクトル量ＱＶiの和が
小さくなる。図１９（ａ），（ｂ）は、同じシーンを早
いパンとゆっくりとしたパンでそれぞれ撮影した映像コ
ンテンツの動きベクトル量ＱＶiの違いを示している。

【００２７】そして上記方法では、カメラシーンの動い
ていない固定区間（開始，終了フレーム）と、手ぶれ区
間とその程度と、ズーム区間とその程度と、パン区間と
その速さと、カメラ電源のオン／オフ操作（操作時フレ
ーム）の５つを、カメラワークのパラメータとしてそれ
ぞれ分類することができる。

【００２８】上述したような動きベクトルに基づくカメ
ラワークの検出方法では、フレーム全体の時系列変化を
検出することができる。しかし、動きベクトルの持つ情
報に特徴が少ない場合の検出精度が低く、例えばフレー
ム内で映像コンテンツがゆっくりと変化する区間を検出
できなかったり、手ぶれ区間とゆっくりとしたカメラワ
ーク区間とを誤って検出する（ズームとパンを同時に行
っているような場合に、動きベクトル情報に特徴がな
い）ことがある。

【００２９】そこで本発明は上記問題点に鑑み、動き情
報に特徴が少ない場合でも、カメラワークシーンである
か否かを確実に判別することができるカメラワーク検出
装置およびカメラワーク検出方法を提供することをその
目的とする。

【００３０】

【課題を解決するための手段】本発明のカメラワーク検
出装置は、映像コンテンツに含まれる動き情報に基づい
て、カメラの動きに関連したカメラワークシーンを抽出
するカメラワーク抽出手段と、前記映像コンテンツを色
情報の変化に応じた複数の区間に分割する区間分割手段
と、前記動き情報に明確な特徴がないシーンで、前記区
間分割手段で分割した単位時間当りの区間数が所定値以
上であるならば、そのシーンをカメラワークシーンであ
るとして判定を修正する判定修正手段とを備えている。

【００３１】また本発明のカメラワーク検出方法は、映
像コンテンツに含まれる動き情報に基づいて、カメラの
動きに関連したカメラワークシーンを抽出し、前記映像
コンテンツを色情報の変化に応じた複数の区間に分割
し、前記動き情報に明確な特徴がないシーンで、分割し
た単位時間当りの区間数が所定値以上であるならば、そ
のシーンをカメラワークシーンであるとして判定を修正
することを特徴とする。

【００３２】この場合、色情報の変化に応じて映像コン
テンツを複数の区間に分割すると、特に映像コンテンツ
のような動画像では、人間の視覚的類似度を反映した区
間毎に映像コンテンツを分割できる。そのため、映像コ
ンテンツに含まれる動き情報に基づいて、カメラの動き
に関連したカメラワークシーンを抽出する際に、動き情
報に明確な特徴がないシーンが存在しても、そこで単位
時間当り所定数以上の区間に分割されていれば、何らか
のカメラ操作が行なわれたと類推できる。したがって、
動き情報に特徴が少ない場合でも、色情報による区間分
割を利用することで、カメラワークシーンであるか否か
を確実に判別することができる。

【００３３】本発明のカメラワーク検出装置は、ＭＰＥ
Ｇ方式の圧縮化された映像コンテンツに含まれる動きベ
クトルに基づいて、カメラの動きに関連したカメラワー
クシーンを抽出するカメラワーク抽出手段と、ＹＣｂＣ
ｒ空間におけるフレームの輝度ヒストグラムの類似度に
応じて、前記映像コンテンツを複数の区間に分割する区
間分割手段と、前記動きベクトルに明確な特徴がないシ
ーンで、前記区間分割手段で分割した単位時間当りの区
間数が所定値以上であるならば、そのシーンをカメラワ
ークシーンであるとして判定を修正する判定修正手段と
を備えて構成される。

【００３４】また本発明のカメラワーク検出方法は、Ｍ
ＰＥＧ方式の圧縮化された映像コンテンツに含まれる動
きベクトルに基づいて、カメラの動きに関連したカメラ
ワークシーンを抽出し、ＹＣｂＣｒ空間におけるフレー
ムの輝度ヒストグラムの類似度に応じて、前記映像コン
テンツを複数の区間に分割し、前記動きベクトルに明確
な特徴がないシーンで、分割した単位時間当りの区間数
が所定値以上であるならば、そのシーンをカメラワーク
シーンであるとして判定を修正することを特徴とする。

【００３５】ここでは、ＭＰＥＧ方式の圧縮化された映
像コンテンツを検出対象とすることができる。この場
合、ＹＣｂＣｒ空間におけるフレームの輝度ヒストグラ
ムの類似度に応じて、映像コンテンツを複数の区間に分
割すると、特に映像コンテンツのような動画像では、人
間の視覚的類似度を反映した区間毎に映像コンテンツを
分割できる。そのため、映像コンテンツに含まれる動き
ベクトルに基づいて、カメラの動きに関連したカメラワ
ークシーンを抽出する際に、動きベクトルに明確な特徴
がないシーンが存在しても、そこで単位時間当り所定数
以上の区間に分割されていれば、何らかのカメラ操作が
行なわれたと類推できる。したがって、映像コンテンツ
の動きベクトルに特徴が少ない場合でも、輝度ヒストグ
ラムの類似度に応じた区間分割を利用することで、カメ
ラワークシーンであるか否かを確実に判別することがで
きる。また特に、ＭＰＥＧ方式の圧縮化された映像コン
テンツでは、ＹＣｂＣｒカラーモデルが採用されている
ので、このＹＣｂＣｒ空間における輝度ヒストグラムの
類似度を利用すれば、簡単に画像の類似性を反映した情
報を得ることができる。

【００３６】本発明のカメラワーク検出装置は、上記各
構成において、前記カメラワーク抽出手段で抽出される
カメラワークシーンやぶれの程度と、前記区間分割手段
で分割した一区間の時間長さから求めることができる映
像変化の激しさとに基づいて、前記映像コンテンツにお
ける各シーン毎の見易さを複数の評価レベルの中から判
定し、各評価レベルに応じて映像コンテンツを自動的に
構造化する映像コンテンツ自動構造化手段を備えてい
る。

【００３７】また本発明のカメラワーク検出方法は、上
記各方法において、前記カメラワークシーンの他にぶれ
の程度を検出し、このカメラワークシーンやぶれの程度
と、前記一区間の時間長さから求めることができる映像
変化の激しさとに基づいて、前記映像コンテンツにおけ
る各シーン毎の見易さを複数の評価レベルの中から判定
し、各評価レベルに応じて映像コンテンツを自動的に構
造化する方法である。

【００３８】この場合、映像の見易さに基づいて映像コ
ンテンツの各シーンが時系列的に評価されるので、ある
評価レベルのシーンだけを抽出してその内容を検討する
ことができ、映像コンテンツの編集を簡単に行なうこと
ができる。

【００３９】

【発明の実施形態】以下、添付図面に基づき、本発明に
おけるカメラワーク検出装置およびカメラワーク検出方
法の一実施例を説明する。

【００４０】先ず、本発明における装置全体の構成を図
１に示す。同図において、１はＭＰＥＧ２方式の圧縮映
像コンテンツに含まれる動き情報（動きベクトル）に基
づいて、パンやズームなどのカメラワークシーンを抽出
するカメラワーク抽出手段である。また２は、同じくＭ
ＰＥＧ２方式の圧縮映像コンテンツに含まれる色情報
（時系列上の色ヒストグラム変化）に基づいて、一台の
カメラの電源オン／オフ間に連続的に撮影された映像区
間内、すなわちショット内を複数の区間に分割する区間
分割手段を備え、そこから意味のあるフレームをキーフ
レームとして抽出するキーフレーム抽出手段である。こ
の区間は、映像コンテンツ中のカメラの動きが多い程た
くさん分割されるものであるが、カメラワーク抽出手段
１は、動きベクトル情報に明確な特徴がないシーンで、
キーフレーム抽出手段２で分割した単位時間当りの区間
数が所定値以上であるならば、カメラワークシーンであ
ると判定を修正する判定修正手段３を備えている。そし
て、この判定結果をカメラワークのパラメータとして付
加した映像コンテンツが、カメラワーク抽出手段１から
出力されるようになっている。

【００４１】４は、カメラワーク抽出手段１で抽出され
るカメラワーク検出やぶれの程度と、キーフレーム抽出
手段２で検出した一区間の時間長さから求めることがで
きる映像変化の激しさとに基づいて、映像コンテンツに
おける各シーン毎の見易さを複数の評価レベルの中から
判定し、各評価レベルに応じて映像コンテンツを自動的
に構造化する映像コンテンツ自動構造化手段である。こ
の映像コンテンツ自動構造化手段４の詳細は後程詳述す
るが、ここで得られる各シーン毎の評価レベルにより、
同じ評価レベルにあるシーンの中から代表静止画を抽出
することなどが可能になる。

【００４２】図２は、上記構成に関する詳細手順と、そ
れを実現するための構成を示すフローチャートである。
同図において、ステップＳ１におけるＭＰＥＧ２方式の
圧縮映像コンテンツに含まれる各フレーム毎のビットス
トリームから、予測残差符号化係数（ＤＣＴ係数）のＤ
Ｃ成分を復号器11により復号化し抽出する（ステップＳ
２）。その際に、フレーム内の動きベクトル情報を抽出
し（ステップＳ３）、この動きベクトルの情報に基づい
て、次のステップＳ４で区間特徴量抽出部12により各区
間のぶれやカメラワークを検出する。

【００４３】図３は、フレーム単位での処理を行なう前
記区間特徴量抽出部12の詳細手順と、それを実現するた
めの構成を示すフローチャートである。同図において、
ステップＳ21では、先ずカメラワークに応じた動きベク
トルの選択を行なう。具体的には、各フレームにカメラ
の動いているシーンを検出し、カメラの速さに応じてＰ
ピクチャまたはＢピクチャの動きベクトルの使用を制御
する、参照フレーム間隔の短いフレーム内では、Ｂピク
チャの動きベクトルがカメラの動きが速い場合に適当
で、参照フレーム間隔の長いフレーム内では、Ｐピクチ
ャの動きベクトルがカメラの動きが遅い場合に適当であ
る。したがって、カメラの動きが速い場合はＢピクチャ
の動きベクトルを選択し、カメラの動きが遅い場合はＰ
ピクチャの動きベクトルを選択する。次に、同じステッ
プＳ21の動きベクトル使用率算出器21により、選択した
動きベクトルから前述の数１における動きベクトル使用
率ＲＶiを算出する。カメラの動いているシーンでは、
フレーム内の動きベクトルのスカラー値が０以外となる
場合が多くなる。動きベクトル使用率算出器21は、動き
ベクトルのスカラー値が０でないマクロブロックの割合
を算出し、動きベクトル使用率ＲＶｉが所定値よりも小
さい場合は、ステップＳ22に移行して固定したシーンと
判定し、動きベクトル使用率ＲＶｉが所定値以上の場合
は、ステップＳ23に移行して手ぶれを含む動くカメラワ
ークシーンと判定し、両者を区別する。ステップＳ22の
固定したシーンはぶれを含んでいないので、その情報が
区間特徴量抽出部12よりそのまま出力される。

【００４４】ステップＳ23の動いているシーンには、電
源の切り忘れ時や撮影者交代時のような見るに耐えない
ひどいぶれシーンや、手ぶれシーンが、いわゆるぶれと
して含まれている。そこで、次のステップＳ24では、フ
レーム内動きベクトル滑らかさ算出器22により、前者の
ひどいぶれシーンをステップＳ23の動いているシーンか
ら抽出する。フレーム内動きベクトル滑らかさ算出器22
は、フレーム内の各マクロブロックの有する動きベクト
ルの連続値を算出し、フレームを縦方向に分割して、ベ
クトル方向の差分値を算出するものである。ひどいぶれ
シーンでは、フレーム内の動きベクトルの向きがばらつ
きを有するので、フレーム内の動きベクトル滑らかさが
閾値を越えていれば、そのフレームがひどいぶれシーン
であると判定し（ステップＳ25）、フレーム内の動きベ
クトル滑らかさが閾値以内であれば、そのフレームがパ
ン，ズーム，手ぶれシーンのいずれかであると判定する
（ステップＳ26）。こうして、動きを解析する必要のな
いひどいぶれシーンを他のシーンから分離する。

【００４５】次のステップＳ27では、ステップＳ26にお
けるカメラの動いているシーンについて、フレーム内動
きベクトルヒストグラム偏り度算出器23によりパンシー
ンとズームシーンとを分離する。但しここでのパンシー
ンは、カメラが左右方向に変化する場合の他に、上下方
向に変化するチルトや、左右方向にカメラ位置が変化す
るトラックや、上下方向にカメラ位置が変化するブーム
や、それらの組合せを全て含む。またズームシーンは、
カメラ位置が前後に動くドリーも含んでいる。フレーム
内動きベクトルヒストグラム偏り度算出器23は、フレー
ム内の動きベクトルの向きを図４に示すように例えばク
ラス１〜８の８通りにクラスタリングし、各クラスのヒ
ストグラム（頻度分布）を求めた後に、このヒストグラ
ムの最大頻度の全体に対する割合をフレーム内動きベク
トルヒストグラム偏り度として算出するもので、この偏
り度が閾値を越えていれば手ぶれを含むパンシーン（ス
テップＳ28）と判定し、偏り度が閾値以下であれば手ぶ
れシーンを含むズームシーン（ステップＳ29）と判定す
る。

【００４６】パンシーンやズームシーンは、その区間の
間でフレーム内の動きベクトルが同じ性質を示すのに対
し、手ぶれシーンでは短い周期でフレーム内の動きベク
トルが変化する。このことを利用して、ステップＳ31で
はフレーム内平均動きベクトル差分値算出器24によりパ
ンシーンと手ぶれシーンの分離を行なうと共に、ステッ
プＳ32ではフレーム内動きベクトルヒストグラム差分値
算出器25によりズームシーンと手ぶれシーンの分離を行
なう。

【００４７】パンシーンは、フレーム内の平均動きベク
トルが一定であるのに対して、手ぶれシーンではフレー
ム内の平均動きベクトルが短い周期で変化する。フレー
ム内平均動きベクトル差分値算出器24は、フレーム内の
平均動きベクトルの差分値を算出するもので、この差分
値が閾値以下であればパンシーン（ステップＳ33）と判
定し、差分値が閾値を越えていれば手ぶれシーン（ステ
ップＳ34）と判定する。

【００４８】フレーム内平均動きベクトル差分値算出器
25は、フレーム内の動きベクトルの向きを図４に示すよ
うに例えばクラス１〜８の８通りにクラスタリングし、
各クラスのヒストグラム（頻度分布）を求めた後に、フ
レーム毎のヒストグラムの変化をフレーム内動きベクト
ルヒストグラム差分値として算出するもので、この差分
値が閾値以下であればズームシーン（ステップＳ35）と
判定し、差分値が閾値を越えていれば手ぶれシーン（ス
テップＳ36）と判定する。そして、これらの一連の手順
で、固定したシーン，パンシーン，ズームシーン，手ぶ
れシーン，ひどいぶれシーンを各フレーム単位毎に分離
する。

【００４９】また、別のステップＳ41では、ＧＯＰ単位
でのカメラワークおよびぶれの検出を行なえるようにす
るために、Ｐピクチャ用およびＢピクチャ用フィルタの
ための各フレーム毎の重み関数を重み関数算出器27で算
出する。この重み関数を算出するに当たり、カメラの動
きを検出するステップＳ21の結果に関しては、フレーム
内の動きのある動きベクトルの数を利用し、それ以外の
結果に関しては、動きベクトルの滑らかさを利用する。
より具体的には、重み関数算出器27は、動きベクトルの
動きを検出する動きベクトル使用率ＲＶiと動きベクト
ル量ＱＶIのＧＯＰ内の平均を算出し、それぞれの値に
ＳＭＶ（滑らかさ）を割ることで重みづけを行なう。ま
た、動きベクトルヒストグラム偏り度と、動きベクトル
ヒストグラム分散値は、重み値を用いた平均値を算出す
る。ここでの重み値とは、ＧＯＰ内において、フレーム
内のカメラの動きとわかる部分で、スカラー値が０でな
い動きベクトルの数が閾値以上のフレーム値の割合を意
味する。さらに、動きベクトルヒストグラム変化と、平
均動きベクトル変化、動きベクトルヒストグラム分散値
変化について、その重み値をそれぞれのフレーム毎に乗
じて最大値を選択する。こうして得られた各フレームの
重み値（ステップＳ42）は、後述するステップＳ７にお
ける各ＧＯＰ毎の特徴検出に利用される。

【００５０】再度図２に戻り、ステップＳ４で区間特徴
量抽出部12により各区間のぶれやカメラワークを検出す
ると、ステップＳ５の各ＧＯＰをバッファする手順を経
て、ステップＳ６の手順に至る。ここでは、ＧＯＰを構
成するフレーム数が15の時の例について記すが、フレー
ム番号を15で割ったときの余りが14に達したか否かが判
定され、余りが14に達していなければ再度ステップＳ２
の手順に戻るが、余りが14に達していればステップＳ７
において、ＧＯＰ検出のための各パラメータ算出器13に
より各ＧＯＰ毎の特徴を検出する。これにより、イント
ラマクロブロックだけで構成される１フレームのＩピク
チャと、フレーム間の動き予測符号化方式を採用した14
フレームのＢピクチャまたはＰピクチャとからなる15フ
レームを一つの単位とし、これらを１つのＧＯＰとして
構成することができる。

【００５１】ステップＳ７における各パラメータ算出器
27は、前記ステップＳ41で導出した各フレームの重み値
を利用して、ＧＯＰ毎のカメラワークやぶれの検出を行
なうものである。具体的には、それぞれ１ＧＯＰの中に
おける動きベクトルの数と、動きベクトルの滑らかさの
比を重み値として、１フレーム毎の値にかけて１ＧＯＰ
で和を算出し、ＧＯＰにおけるカメラワークやぶれの特
徴量をパラメータとして出力する。

【００５２】一方、ステップＳ２による復号化の際に得
られたＤＣ係数（ステップＳ11）は、次のステップ12に
てショット検出算出器14により、カット点を検出するこ
とによるショット検出が行なわれると共に、ステップ13
においてショット内区間検出器15により、一つのショッ
ト内での内容的な変化が検出される。なお、カット点と
は、カメラの電源オン／オフに伴うシーンの変わり目で
あり、ショットとはカット点の間の連続的に撮影された
映像区間を云う。ショット検出算出器14によるショット
検出は、従来知られているどのような手法を用いても構
わない。また、ショット内区間検出器15は、色のヒスト
グラム変化を用いてショット内の構造的変化を追うもの
で、これが前述の図１に示すキーフレーム抽出手段２に
相当する。そして、ショット検出算出器14により得られ
たショット番号ひいてはカット点（ステップＳ14）と、
ショット内区間検出器15により得られたショット内のキ
ーフレームに相当する区間点（ステップＳ15）と、前記
ステップＳ７からのカメラワークやぶれの特徴量を時系
列上にマッチングさせる。この作業については、後程説
明する。

【００５３】ここで、キーフレーム抽出手段２によるキ
ーフレーム抽出の手法を説明する。一般ユーザーが撮影
した映像コンテンツは、その特徴としてショットが長い
ことが挙げられるため、前記ステップＳ13のようなショ
ット内の時間的変化を知ることが重要である。そこで、
ショットを複数の区分に分割し、その区間に対してクラ
スタリングを行なった後に、要素数の多いクラスタから
優先的にそのクラスタの重心に最も近いフレームをキー
フレームとして抽出するのが好ましい。これにより、一
般ユーザーが撮影した映像コンテンツであっても、動画
像へのランダムアクセスや、動画のインデキシングにか
かる処理コストの低減を図れる。

【００５４】キーフレームを正しく抽出するには、撮影
者が有意と考える物を撮影するときの意図を反映してい
ると思われるフレームをショット内から抽出する必要が
ある。一般に、撮影者が重要と考えられるものは、そう
でないものよりも撮影時間が長くなると共に、重要な物
のフォーカスをフレームの中央に置いて撮影しようとす
る。また、ズームをして撮影しているところなども、撮
影者が重要と考えて撮影していると思われる。そこで本
実施例では、特に撮影時間が長く、フォーカスがフレー
ムの中央にあるものをキーフレームとして抽出する。

【００５５】ショット内での画像の類似度を求めるに当
り、映像コンテンツは時間軸に沿って順次フレームが再
生されていくデータであると言えるので、同一ショット
内で連続する幾つかのフレーム間では、画像の構図や撮
影されている物の形状は略同一であると考えられる。そ
こで、類似度を求めるために用いられる特徴量として、
テクスチャや形状やオブジェクトの位置ではなく、ここ
では色情報だけを考慮した点が着目される。なお、色情
報をあらわすカラーモデルは幾つか存在するが、前述の
ようにＭＰＥＧ２方式の圧縮映像コンテンツを利用する
ことを考慮して、輝度値Ｙと、２つのクロミナンス値Ｃ
ｂＣｒとをあらわしたＹＣｂＣｒカラーモデルを用いる
のが好ましい。特にここでは、画像の類似性を表す特徴
量として、輝度ヒストグラムＨと、ＹＣｂＣｒ空間での
ユークリッド距離Ｄと、ＹＣｂＣｒ空間でのフレームの
輝度，色差平均（Ｙavr，Ｃｂavr，Ｃｒavr）を用い
る。

【００５６】輝度ヒストグラムＨは、画像内での色の空
間分布の情報（画像の構図情報や画像中のオブジェクト
の形）などが失われてしまうので、輝度ヒストグラムＨ
が類似しているからといって、その画像が類似している
とは限らない。しかし、動画では連続している幾つかの
フレームで共通する部分が撮影されるので、各フレーム
間で輝度ヒストグラムＨが類似している場合は、画像の
構図情報や画像中のオブジェクトの形がある程度類似し
ていると仮定できる。その仮定を前提とすれば、映像コ
ンテンツにおける輝度ヒストグラムＨを用いた類似度の
信頼性は高くなる。また、連続するフレームを比較する
特徴量としてフレーム間差分を用いることも考えられる
が、この場合はカメラ操作によって発生する画面全体に
渡る動きに対して、人間の視覚的類似度をよく反映でき
ない。その点、輝度ヒストグラムＨでは、人間の視覚的
類似度をよく反映することができる利点を有する。フレ
ームｉとフレームｊの類似度ｍは、それらの輝度ヒスト
グラムＨi(s)，Ｈj(s)（但し、sは輝度値）が重なった
部分の画素数とすると、次の数５にてあらわせる。

【００５７】

【数５】

【００５８】ＹＣｂＣｒ空間でのユークリッド距離Ｄ
は、後述する単純クラスタリングに用いるものである。
ここで、フレームｉのＹＣｂＣｒ空間の値を（Ｙ，Ｃ
ｂ，Ｃｒ）、フレームｊのＹＣｂＣｒ空間の値を
（Ｙ’，Ｃｂ’，Ｃｒ’）とすると、フレームｉとフレ
ームｊのＹＣｂＣｒ空間でのユークリッド距離Ｄは、次
の数６にてあらわせる。

【００５９】

【数６】

【００６０】ＹＣｂＣｒ空間でのフレーム中心の輝度値
平均および色差平均（Ｙavr，Ｃｂavr，Ｃｒavr）は、
前述の重要な物のフォーカスをフレームの中央に置いて
撮影しようとする仮定に基づき、フレームの中央の特徴
量を用いて算出される。また、フレームの中央に着目す
ることで、特に全体では両者が類似するフレームであっ
ても、フォーカスの違いによりそれらを区別することが
可能になる。ここでのフレームの中心とは、フレームを
５×５に分割して、その中央３×３に対応した部分を指
し、輝度，色差情報として、ＹＣｂＣｒ空間でのＹ成分
の輝度平均と、Ｃｂ成分とＣｒ成分の各色差平均とを用
いる。フレーム画像中の座標（ｘ，ｙ）の画素のＹ成分
の輝度をＹ（ｘ，ｙ）とし、Ｃｂ成分の色差をＣｂ
（ｘ，ｙ）とし、Ｃｒ成分の色差をＣｒ（ｘ，ｙ）とす
ると、ＹＣｂＣｒ空間でのＹ成分の輝度平均Ｙavrと、
Ｃｂ成分の色差平均Ｃｂavrと、Ｃｒ成分の色差平均Ｃ
ｒavrは、次の数７にてあらわせる。

【００６１】

【数７】

【００６２】但し、ｗは画像の幅で、ｈは画像の高さの
画素数である。

【００６３】ところで、ショットを複数の区間に分割
し、その区間に対してクラスタリングを行なう際に、時
間軸を全く考慮しないと、フレーム中心の特徴量は類似
しているが、実際には全く異なるものが同じクラスタに
属してしまう問題を生じる。例えば、人の顔を撮影した
後で、パンを行なって別の人の顔を撮影したとする。こ
のとき、二人の人物が移っているフレームの中心輝度と
色差は、人間の肌の色が似ていることから類似している
と判定され，別々の人物を撮影したフレーム群が同一の
クラスタに属する可能性が高くなる。こうした現象は、
特にカメラ操作を行なったときの映像や、ショットのフ
レーム数が多い映像で顕著となる。

【００６４】こうした現象を防ぐには、最初に人を撮影
している時の区間と、その次の人を撮影している時の区
間といったように区間を分割し、その区間をクラスタリ
ングするのが好ましい。つまり、予めショットを区間に
分割し、その分割した区間でクラスタリングを行なうよ
うにキーフレーム抽出手段２を構成すれば、ＹＣｂＣｒ
空間でのフレーム中心の輝度値平均や色差平均（Ｙav
r，Ｃｂavr，Ｃｒavr）が似ていても、全く異なるフレ
ームが同じクラスタに属する不具合を低減できる。ま
た、動画像をブラウジングする際に、その内容を把握す
るときにも時間という流れが重要になる。

【００６５】キーフレーム抽出手段２によるショットの
区間分割に関する手順を、図５に基づき説明すると、先
ず、ショット中のフレーム群51の中で、最初のフレーム
を区間１の開始フレーム51Ａとする。この開始フレーム
51Ａと、それ以降のフレームとの間の類似度ｍを、前記
数５に基づき時間軸に沿って順に計算する。類似度ｍが
ある閾値Ｔｈよりも小さくなると、そのときのフレーム
が次の開始フレーム51Ｂとなる。以下、最前の開始フレ
ーム51Ｂとそれ以降のフレームとの間の類似度ｍを、同
様似に時間軸に沿って順に計算し、類似度ｍが閾値Ｔｈ
よりも小さくなったときのフレームを次の開始フレーム
51Ｃとする手順を繰り返す。こうして、各開始フレーム
51Ａ，51Ｂ，51Ｃを先頭として、三つの区間52Ａ，52
Ｂ，52Ｃが分割される。つまり、前記類似度ｍは、予め
ショット中の区間を分割するのに用いられる。

【００６６】なお、本来であればフレーム全体の変化に
着目しているので、次の区間の開始フレームを設定する
際には、類似度をあらわす特徴量としてフレーム全体の
ヒストグラムだけを用いるのが理想であるが、背景が大
きな割合を占める映像コンテンツでは、全体の輝度ヒス
トグラムＨが背景の影響を大きく受けてしまい。本来区
間に分割すべきところを分割できなくなる。一方、フレ
ームの中心の輝度ヒストグラムＨでは、背景に占める映
像中のオブジェクトの割合が、全体の輝度ヒストグラム
での場合に比べて大きくなる。したがって、類似度ｍを
算出するに当り、フレーム中心の輝度ヒストグラムＨを
合わせて考慮するのが、背景の影響を小さくする上で好
ましい。また、フラッシュなどの影響で一瞬フレームの
輝度値が大きく変化すると、本来同一区間であるべきも
のが、区間の切れ目と誤検出する場合も考えられる。こ
うした誤検出を避けるために、最前の開始フレームとの
類似度ｍが複数フレーム（例えば２フレーム）連続して
閾値Ｔｈよりも小さくなったときに、区間を分割するこ
とにし、そのときの開始フレームを複数フレームの中
で、先に比較を行ったフレームとすればよい。

【００６７】次に、分割された各区間52Ａ〜52Ｃからキ
ーフレームを抽出する手順を、図６の概略図に基づき説
明する。先ず各区間52Ａ〜52Ｃ内で、前記数７で算出さ
れるフレーム中心のＹＣｂＣｒ空間での輝度値平均およ
び色差平均を用いて、単純クラスタリングを行なう。ク
ラスタリングの結果、例えば図６では、区間52Ａにおい
て３つのクラスタ、すなわち要素数10のクラスタ54Ａ
と、要素数５のクラスタ54Ｂと、要素数２のクラスタ54
Ｃが形成され、区間52Ｂにおいて２つのクラスタ、すな
わち要素数７のクラスタ54Ｄと、要素数10のクラスタ54
Ｅが形成され、区間52Ｃにおいて２つのクラスタ、すな
わち要素数７のクラスタ54Ｆと、要素数７のクラスタ54
Ｇが形成される。

【００６８】次に、各区間52Ａ〜52Ｃ毎に形成された複
数のクラスタ54Ａ〜54Ｇから、その各クラスタ54Ａ〜54
Ｇの重心に最も近いフレームが、キーフレーム候補55Ａ
〜55Ｇとして一つずつ抽出される。そして、自分の求め
ている詳細さによって、所望のキーフレームを抽出す
る。このとき、要素数が多いクラスタから抽出するキー
フレーム候補（例えば図６では、キーフレーム候補55
Ａ，55Ｅが最もクラスタの要素数が多い）ほど、その重
要度すなわち提示優先順位を高くする。その理由は、撮
影時間の長いものほど、撮影者が重要と考えて撮影して
いるとの前提に基づいている。すなわち、要素数（フレ
ーム数）の多いクラスタの方が、要素数の少ないクラス
タよりも撮影者にとって有意になるためである。

【００６９】なお、前記単純クラスタリングを行なう際
に、区間内での時間軸を考慮すると、ビジュアル的に類
似した余分なフレームを抽出する可能性が大きくなるの
に対し、区間内での時間軸を考慮しない場合は、余分な
フレームを抽出する可能性を低減できる。これは、撮影
者が一度撮影したところを、再度撮影するケースが考え
られるからである。ここで、数８に示すｎ個の特徴ベク
トルを単純クラスタリングする手順を示す。

【００７０】

【数８】

【００７１】先ず、任意のベクトルＸ_ｉをとり、これを
第１クラスタＣ_１の中心Ｙ_１（Ｙ_１＝Ｘ_ｉ）とする。次
に、別なベクトルＸ_ｊをとり、前記第１クラスタＣ_１の
中心Ｙ_１とベクトルＸ_ｊとのユークリッド距離Ｄ_１,ｊ
を求める。このとき、Ｄ_１,ｊ＞Ｔであるならば、ベク
トルＸ_ｊを第２クラスタＣ_２の中心Ｙ_２（Ｙ_２＝Ｘ_ｉ）
とし、Ｄ_１,ｊ≦Ｔであるならば、ベクトルＸ_ｊが第１
クラスタＣ_１に含まれる（Ｘ_ｊ∈Ｃ_１）ものとして、ク
ラスタの中心Ｙ_１を更新する。

【００７２】その後で、ベクトルＸ_ｋをとり、第１クラ
スタＣ_１の中心Ｙ_１および第２クラスタＣ_２の中心Ｙ_２
とのユークリッド距離Ｄ_１,ｋ，Ｄ_２,ｋをそれぞれ求め
る。このとき、Ｄ_１,ｋ＞Ｔで、かつＤ_２,ｋ＞Ｔである
ならば、ベクトルＸ_ｋを第３クラスタＣ_３の中心Ｙ
_３（Ｙ_３＝Ｘ_ｉ）とし、Ｄ_１,ｋ≦ＴまたはＤ_２,ｋ≦Ｔ
ならば、ベクトルＸ_ｋは中心との距離の短い方のクラス
タに所属するものとする。

【００７３】こうして、全てのベクトルについて上記の
手順を繰り返し行ない、クラスタリングを終了する。な
お、クラスタの中心は新しい要素が増える毎に更新す
る。ここでは、新しい要素が増える前のクラスタの中心
を（Ｙcen，Ｃｂcen，Ｃｒcen）とし、要素数をnumと
し、新しいクラスタに加わる要素を（Ｙnew，Ｃｂnew，
Ｃｒnew）とすると、新しいクラスタの中心（Ｙ’cen，
Ｃｂ’cen，Ｃｒ’cen）は次の数９にてあらわせる。

【００７４】

【数９】

【００７５】上記クラスタリングの結果、クラスタの数
が多過ぎるか、あるいは少な過ぎた場合、前記Ｔの値を
変えて再度クラスタリングを行なえばよい。

【００７６】次に、キーフレーム抽出処理の実験結果を
図８，図９および表１にて説明する。実験に使用した映
像コンテンツは、数人の人物を撮影した映像で、その条
件は720×240ピクセル，30フレーム／秒であり、ＭＰＥ
Ｇ−２形式で保存したものをｐｐｍ形式に変換したもの
で、撮影時間は31秒である。前記閾値Ｔｈは、フレーム
全体の輝度ヒストグラムＨの類似度ｍを求める際には、
Ｔｈall＝121000とし、フレーム中央の輝度ヒストグラ
ムＨに着目した場合には、Ｔｈcenter＝32000とした。
また、ユークリッド距離Ｄの閾値としてＴ＝30を用い
た。映像コンテンツが分割された区間の区間番号と、各
区間から精製されたクラスタを代表するキーフレーム候
補番号およびクラスタの要素数を、区間の範囲が５フレ
ーム以上であるものに限定して表２に示す。

【００７７】

【表２】

【００７８】また、図７は各フレーム毎のフレーム中央
の輝度平均（実線）および色差平均（波線）を示してお
り、また図８は、フレーム毎の開始フレームとの類似度
ｍを、フレームの全体（実線）とフレームの中央（破
線）でそれぞれ示している。その結果、過剰検出となる
ようにキーフレーム候補からキーフレームを抽出する
と、撮影者の必要とするフレームを提示することができ
る。また、キーフレームを抽出するときに、カメラワー
クや手ぶれなどの情報も用いれば、さらに効果的なキー
フレームの提示が可能となる。ここでは、ショットを分
割する際に輝度情報しか用いていないが、色差成分など
も考慮すると、より適切な区間に分割することが可能に
なる。

【００７９】続いて、キーフレーム抽出手段２で得られ
た色情報の変化を利用して、映像コンテンツの変化を見
ながら動きベクトル参照フレーム間隔を計算し、新たに
動きベクトルを生成してカメラワーク検出に利用する手
順を以下に説明する。前述のように、色情報（時系列上
の輝度ヒストグラムＨの変化）を用いて区間を検出する
と、動画像の変化点をロバストに求めることができる。
すなわち、フレーム全体の色の構図が同一なシーンを検
出することができるが、その一方で、パンやズームなど
のカメラワークシーンでは、区間の過剰検出が起こる。

【００８０】これに対して、動きベクトルによる動き情
報では、フレーム全体の時系列変化を検出できると共
に、前述の手順により映像として内容理解が困難なひど
いぶれシーンを、画像処理不用フレームとして検出でき
るものの、動きベクトル情報に特徴がない場合は、カメ
ラワークを検出できなかったり，誤ったカメラワークと
して検出することがある。本実施例では、判定修正手段
３により色情報と動き情報をハイブリッドに用いてカメ
ラワークを検出する点が、新規な特徴として着目され
る。このカメラワークの具体的な検出方法を、図９に基
づき説明する。図９は検出結果の一例を概略的に示した
もので、上段の「ＣＷ」は、カメラワーク抽出手段１が
抽出したシーンを時系列的に並べたものであり、「Ｐ」
はパンシーン，「Ｆ」は固定シーン，「Ｓ」は手ぶれシ
ーン，「Ｎ」は動きベクトルの情報が明確な特徴を有し
ていないため、カメラワークの判別ができないシーンを
示している。また、ここには図示していないが、カメラ
ワーク抽出手段１によりズームシーンもパンシーンと同
様にカメラワークの一つとして検出される。すなわち動
き情報により、パンシーンとズームシーンの２種類のカ
メラワークが検出される。一方、下段の「ＫＦ」は、キ
ーフレーム抽出手段２で抽出される前記輝度ヒストグラ
ムＨによる区間の検出を時系列的に並べたものである。

【００８１】判定修正手段３は次のような手順で、カメ
ラワーク抽出手段１から得られたカメラワークの検出結
果や、キーフレーム抽出手段２から得られた区間の検出
結果を修正する。動きベクトル情報の存在しない固定シ
ーン（カメラ固定）「Ｆ」では、色情報の変化もないた
め、キーフレーム抽出手段２で抽出される区間が一つに
検出される。したがってこのような場合は、そのまま固
定シーンであると判定する。速いフレーム変化は、動き
情報が明確な特徴を有しているため、カメラワーク抽出
手段１によるカメラワーク検出の適合率が高い。したが
って判定修正手段３は、図９のに示すパンシーン
「Ｐ」において、キーフレーム抽出手段２が過剰検出し
た区間をまとめると共に、カメラワーク抽出手段１は動
き補償のフレーム間隔を最小にして、カメラワークと手
ぶれの分離を行なう（最小フレーム間動き補償）。これ
により、パンシーンやズームシーンなどの速いフレーム
変化に対し、輝度ヒストグラムＨに基づく区間の過剰検
出を防ぐことができ、さらに精度良くカメラワークと手
ぶれとの判別を行なうことができる。

【００８２】一方、ゆっくりとフレームが変化する場合
は、その前後にある近隣のフレームとの変化が少ないた
め、動きベクトル情報にカメラワークとしての特徴が少
なく、カメラワーク検出の適合率が低くなる。そこで判
定修正手段３は、図９のＢに示すようなカメラワーク
の判別ができないシーン「Ｎ」間において、キーフレー
ム抽出手段２が所定値以上の区間分割を行なっている場
合に、手ぶれを含むカメラワークシーンであると修正判
定し、これを受けてカメラワーク抽出手段１は、このシ
ーン内で動き補償フレームの間隔を広げる（可変フレー
ム間動き補償）ことで、パンまたはズームのカメラワー
クシーンであるか、手ぶれシーンであるかの判別を行な
う。これにより、動きベクトル情報単独ではカメラワー
クの判別ができないシーンであっても、色情報による区
間検出を考慮することにより、カメラワークシーンであ
るか否かの判別を行なうことが可能になる。

【００８３】キーフレーム抽出手段２による一区間当り
のフレーム変化量は、変化の速さに関係なく等しい。そ
こで、対象物（オブジェクト）が近くにある場合や、カ
メラワークシーンの検出が速く行なわれる場合に、キー
フレーム抽出手段２で検出した一区間の長さから、単位
時間当りのフレーム変化（映像変化）の激しさを検出す
ることも可能になる。この映像変化の激しさは、カメラ
ワーク抽出手段１で抽出されるカメラワークシーンの検
出やぶれの程度と共に、映像コンテンツ自動構造化手段
４において、各シーン毎の映像の見易さの判定を決める
基準となる。

【００８４】表３は、こうした映像の見易さの判定を行
なう際の評価基準を、レベル０〜レベル３の４段階に定
めた例を示している。

【００８５】

【表３】

【００８６】なお、上記表３において、手ぶれシーンと
ひどいぶれシーンは前記図３に示すようにカメラワーク
抽出手段１で区別される。すなわち、レベル０やレベル
１の評価基準にある「手ぶれ」とは、映像の内容は分か
るが見ずらい手ぶれシーンのことで、レベル３の評価基
準にある「ぶれ」とは、映像の内容理解が困難なほどぶ
れているひどいぶれシーンのことである。さらに、レベ
ル２にある「ある閾値を超えた速い映像変化」とは、前
記キーフレーム抽出手段２で分割される区間の時間長さ
により検出できる。

【００８７】図１０は、上記レベル０〜レベル３の評価
基準により、映像の見易さに基づいて映像コンテンツを
自動的に構造化した例を示す概略図である。同図におい
て、「シーンチェンジ」とあるのは、いわゆるカット点
で、カメラの電源オン／オフに伴うシーンの変わり目で
ある。ここでは、カット点を挟んで３つのショットＡ，
Ｂ，Ｃが存在する。図１０の最上段に示すように、映像
コンテンツはシーンチェンジとシーン検出により分割さ
れ、分割された各シーン毎に、前記レベル０〜レベル３
の評価が行なわれる。こうすると、映像の見易さに基づ
く評価レベルで、各ショットＡ，Ｂ，Ｃ毎に映像コンテ
ンツを自動的に構造化することができる。

【００８８】映像コンテンツ自動構造化手段４は、外部
からの要求により、同じ評価レベルまたはある評価レベ
ルまでのシーンだけを抽出し、その中から代表静止画
（例えば、シーンの最初と最後、中間、あるいは最初だ
けの静止画）を並べて表示することが可能である。具体
的には、レベル０のシーンを抽出すれば、構造化された
映像コンテンツの中から、カメラ固定または手ぶれを含
まないカメラワークシーンの代表静止画だけを速やかに
表示することができる。逆にレベル１〜レベル３のシー
ンの代表静止画を表示し、そこにある不要なシーンの幾
つかを選択して、元の映像コンテンツからカットするこ
とも簡単に行なえる。その場合に、映像コンテンツの全
てを時間的に追う必要がなく、映像コンテンツにおける
編集作業の短縮化を図ることができる。

【００８９】以上のように上記実施例によれば、映像コ
ンテンツに含まれる動き情報に基づいて、カメラの動き
に関連したカメラワークシーンを抽出するカメラワーク
抽出手段１と、映像コンテンツを色情報の変化に応じた
複数の区間に分割する区間分割手段としてのキーフレー
ム抽出手段２と、動き情報に明確な特徴がないシーン
で、キーフレーム抽出手段２で分割した単位時間当りの
区間数が所定値以上であるならば、そのシーンをカメラ
ワークシーンであるとして判定を修正する判定修正手段
３とを備えている。

【００９０】この場合、色情報の変化に応じて映像コン
テンツを複数の区間に分割すると、特に映像コンテンツ
のような動画像では、人間の視覚的類似度を反映した区
間毎に映像コンテンツを分割できる。そのため、映像コ
ンテンツに含まれる動き情報に基づいて、カメラの動き
に関連したカメラワークシーンを抽出する際に、動き情
報に明確な特徴がないシーンが存在しても、そこで単位
時間当り所定数以上の区間に分割されていれば、何らか
のカメラ操作が行なわれたと類推できる。したがって、
動き情報に特徴が少ない場合でも、色情報による区間分
割を利用することで、カメラワークシーンであるか否か
を確実に判別することができる。

【００９１】そしてこのような作用効果は、映像コンテ
ンツに含まれる動き情報に基づいて、カメラの動きに関
連したカメラワークシーンを抽出し、前記映像コンテン
ツを色情報の変化に応じた複数の区間に分割し、前記動
き情報に明確な特徴がないシーンで、単位時間当りの区
間数が所定値以上であるならば、そのシーンをカメラワ
ークシーンであるとして判定を修正する方法を採用する
ことでも達成される。

【００９２】また本実施例におけるカメラワーク検出装
置は、ＭＰＥＧ方式の圧縮化された映像コンテンツに含
まれる動きベクトルに基づいて、カメラの動きに関連し
たカメラワークシーンを抽出するカメラワーク抽出手段
１と、ＹＣｂＣｒ空間におけるフレームの輝度ヒストグ
ラムの類似度に応じて、映像コンテンツを複数の区間に
分割する区間分割手段としてのキーフレーム抽出手段２
と、動きベクトルに明確な特徴がないシーンで、キーフ
レーム抽出手段２で分割した単位時間当りの区間数が所
定値以上であるならば、そのシーンをカメラワークシー
ンであるとして判定を修正する判定修正手段３とを備え
て構成される。

【００９３】ここでは、ＭＰＥＧ方式の圧縮化された映
像コンテンツを検出対象とすることができる。ＹＣｂＣ
ｒ空間におけるフレームの輝度ヒストグラムの類似度に
応じて、映像コンテンツを複数の区間に分割すると、特
に映像コンテンツのような動画像では、人間の視覚的類
似度を反映した区間毎に映像コンテンツを分割できる。
そのため、映像コンテンツに含まれる動きベクトルに基
づいて、カメラの動きに関連したカメラワークシーンを
抽出する際に、動きベクトルに明確な特徴がないシーン
が存在しても、そこで単位時間当り所定数以上の区間に
分割されていれば、何らかのカメラ操作が行なわれたと
類推できる。したがって、映像コンテンツの動きベクト
ルに特徴が少ない場合でも、輝度ヒストグラムの類似度
に応じた区間分割を利用することで、カメラワークシー
ンであるか否かを確実に判別することができる。また特
に、ＭＰＥＧ方式の圧縮化された映像コンテンツでは、
ＹＣｂＣｒカラーモデルが採用されているので、このＹ
ＣｂＣｒ空間における輝度ヒストグラムの類似度を利用
すれば、簡単に画像の類似性を反映した情報を得ること
ができる。

【００９４】そしてこのような作用効果は、ＭＰＥＧ方
式の圧縮化された映像コンテンツに含まれる動きベクト
ルに基づいて、カメラの動きに関連したカメラワークシ
ーンを抽出し、ＹＣｂＣｒ空間におけるフレームの輝度
ヒストグラムの類似度に応じて、前記映像コンテンツを
複数の区間に分割し、前記動きベクトルに明確な特徴が
ないシーンで、分割した単位時間当りの区間数が所定値
以上であるならば、そのシーンをカメラワークシーンで
あるとして判定を修正する方法を採用することでも達成
される。

【００９５】さらに上記各構成において、前記カメラワ
ーク抽出手段で抽出されるカメラワークシーンやぶれの
程度と、前記区間分割手段で分割した一区間の時間長さ
から求めることができる映像変化の激しさとに基づい
て、前記映像コンテンツにおける各シーン毎の見易さを
複数の評価レベルの中から判定し、各評価レベルに応じ
て映像コンテンツを自動的に構造化する映像コンテンツ
自動構造化手段４を備えるのが好ましい。

【００９６】この場合、映像の見易さに基づいて映像コ
ンテンツの各シーンが時系列的に評価されるので、ある
評価レベルのシーンだけを抽出してその内容を検討する
ことができ、映像コンテンツの編集を簡単に行なうこと
ができる。

【００９７】そしてこのような作用効果は、カメラワー
クシーンの他にぶれの程度を検出し、このカメラワーク
シーンやぶれの程度と、一区間の時間長さから求めるこ
とができる映像変化の激しさとに基づいて、映像コンテ
ンツにおける各シーン毎の見易さを複数の評価レベルの
中から判定し、各評価レベルに応じて映像コンテンツを
自動的に構造化する方法を採用することでも達成され
る。

【００９８】本発明は上記実施例に限定されるものでは
なく、本発明の要旨の範囲において種々の変形実施が可
能である。なお、上記説明にある閾値は全て同一の値で
ある必要はなく、各判定条件毎に最適な値が設定される
ものである。

【００９９】

【発明の効果】本発明の請求項１のカメラワーク検出装
置および請求項４のカメラワーク検出方法によれば、動
き情報に特徴が少ない場合でも、色情報による区間分割
を利用することで、カメラワークシーンであるか否かを
確実に判別することができる。

【０１００】本発明の請求項２のカメラワーク検出装置
および請求項５のカメラワーク検出方法によれば、動き
ベクトルによる動き情報に特徴が少ない場合でも、カメ
ラワークシーンであるか否かを確実に判別できる。さら
に、ＭＰＥＧ方式の圧縮化された映像コンテンツにおい
て、ＹＣｂＣｒ空間の輝度ヒストグラムの類似度を利用
することで、簡単に画像の類似性を反映した情報を得る
ことができる。

【０１０１】本発明の請求項３のカメラワーク検出装置
および請求項６のカメラワーク検出方法によれば、ある
評価レベルのシーンだけを抽出してその内容を検討する
ことができ、映像コンテンツの編集を簡単に行なうこと
が可能になる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すカメラワーク検出装置
の全体構成をあらわした概略説明図である。

【図２】同上装置のより詳細な構成と手順を示したフロ
ーチャートである。

【図３】同上図２における区間特徴量抽出部のより詳細
な構成と手順を示したフローチャートである。

【図４】同上動きベクトルの向きのクラスタリング方式
とフレーム内動きベクトルヒストグラム偏り度の算出方
式をあらわす概略図である。

【図５】同上ショットを複数の区間に分割に関する手順
を示す概略図である。

【図６】同上分割された各区間からキーフレームを抽出
する手順を示す概略図である。

【図７】同上各フレーム毎のフレーム中央の輝度平均お
よび色差平均を示すグラフである。

【図８】同上開始フレームとの類似度を、フレームの全
体とフレームの中央でそれぞれ示したグラフである。

【図９】同上色情報を用いた区間検出と動き情報を用い
たカメラワーク検出との関係を示す概略図である。

【図１０】同上映像の見易さに基づいて映像コンテンツ
を自動的に構造化した例を示す概略図である。

【図１１】従来例における安定化したカメラワークの下
で撮影された映像コンテンツにおいて、フレーム番号と
動きベクトルの使用率との関係を示すグラフである。

【図１２】同上手ぶれを含む映像コンテンツにおいて、
フレーム番号と動きベクトルの使用率との関係を示すグ
ラフである。

【図１３】同上カメラパラメータを検出する手順を示す
フローチャートである。

【図１４】同上動きベクトルの向きがどのようにクラス
タリングされるのかを示す各方式の概略図である。

【図１５】同上ＧＯＰ毎の判定手順をあらわした概略図
である。

【図１６】同上（ａ）はズームシーン、（ｂ）はパンシ
ーンにおけるフレーム番号と動きベクトル使用率との関
係を示すグラフである。

【図１７】同上（ａ）はフレーム番号と平均動きベクト
ルの向きの変化Δθiとの関係を示すグラフ、（ｂ）は
フレーム番号と１ＧＯＰ毎に平滑化した値との関係を示
すグラフである。

【図１８】同上ズームシーンと手ぶれシーンとの分離を
目的とした結果を示すグラフである。

【図１９】同上カメラワークの速さを判定した結果を示
すグラフである。

【符号の説明】

１ カメラワーク抽出手段 ２ キーフレーム抽出手段（区間分割手段） ３ 判定修正手段 ４ 映像コンテンツ自動構造化手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 富永 英義 東京都新宿区大久保３−４−１ 早稲田大 学理工学部内 (72)発明者 小舘 亮之 東京都新宿区大久保３−４−１ 早稲田大 学理工学部内 (72)発明者 土橋 健太郎 東京都新宿区大久保３−４−１ 早稲田大 学理工学部内 (72)発明者 大串 亮平 東京都新宿区大久保３−４−１ 早稲田大 学理工学部内 (72)発明者 花村 剛 東京都新宿区大久保二丁目４番12号 株式 会社メディアグルー内 Ｆターム(参考） 5C053 FA14 GA11 GB19 GB22 GB29 GB38 HA29 LA01 5C055 BA03 BA05 CA16 EA02 EA04 HA31 5C059 KK36 MA00 MA05 MA23 NN01 NN21 NN27 NN41 NN43 NN45 NN47 NN50 PP06 PP07 PP16 RC16 SS11 UA02 UA05

Claims (6)

【特許請求の範囲】
1. 【請求項１】 映像コンテンツに含まれる動き情報に基
   づいて、カメラの動きに関連したカメラワークシーンを
   抽出するカメラワーク抽出手段と、前記映像コンテンツ
   を色情報の変化に応じた複数の区間に分割する区間分割
   手段と、前記動き情報に明確な特徴がないシーンで、前
   記区間分割手段で分割した単位時間当りの区間数が所定
   値以上であるならば、そのシーンをカメラワークシーン
   であるとして判定を修正する判定修正手段とを備えたこ
   とを特徴とするカメラワーク検出装置。
2. 【請求項２】 ＭＰＥＧ方式の圧縮化された映像コンテ
   ンツに含まれる動きベクトルに基づいて、カメラの動き
   に関連したカメラワークシーンを抽出するカメラワーク
   抽出手段と、ＹＣｂＣｒ空間におけるフレームの輝度ヒ
   ストグラムの類似度に応じて、前記映像コンテンツを複
   数の区間に分割する区間分割手段と、前記動きベクトル
   に明確な特徴がないシーンで、前記区間分割手段で分割
   した単位時間当りの区間数が所定値以上であるならば、
   そのシーンをカメラワークシーンであるとして判定を修
   正する判定修正手段とを備えたことを特徴とするカメラ
   ワーク検出装置。
3. 【請求項３】 前記カメラワーク抽出手段で抽出される
   カメラワークシーンやぶれの程度と、前記区間分割手段
   で分割した一区間の時間長さから求めることができる映
   像変化の激しさとに基づいて、前記映像コンテンツにお
   ける各シーン毎の映像の見易さを複数の評価レベルの中
   から判定し、各評価レベルに応じて映像コンテンツを自
   動的に構造化する映像コンテンツ自動構造化手段を備え
   たことを特徴とする請求項１または２記載のカメラワー
   ク検出装置。
4. 【請求項４】 映像コンテンツに含まれる動き情報に基
   づいて、カメラの動きに関連したカメラワークシーンを
   抽出し、前記映像コンテンツを色情報の変化に応じた複
   数の区間に分割し、前記動き情報に明確な特徴がないシ
   ーンで、分割した単位時間当りの区間数が所定値以上で
   あるならば、そのシーンをカメラワークシーンであると
   して判定を修正することを特徴とするカメラワーク検出
   方法。
5. 【請求項５】 ＭＰＥＧ方式の圧縮化された映像コンテ
   ンツに含まれる動きベクトルに基づいて、カメラの動き
   に関連したカメラワークシーンを抽出し、ＹＣｂＣｒ空
   間におけるフレームの輝度ヒストグラムの類似度に応じ
   て、前記映像コンテンツを複数の区間に分割し、前記動
   きベクトルに明確な特徴がないシーンで、分割した単位
   時間当りの区間数が所定値以上であるならば、そのシー
   ンをカメラワークシーンであるとして判定を修正するこ
   とを特徴とするカメラワーク検出方法。
6. 【請求項６】 前記カメラワークシーンの他にぶれの程
   度を検出し、このカメラワークシーンやぶれの程度と、
   前記一区間の時間長さから求めることができる映像変化
   の激しさとに基づいて、前記映像コンテンツにおける各
   シーン毎の映像の見易さを複数の評価レベルの中から判
   定し、各評価レベルに応じて映像コンテンツを自動的に
   構造化することを特徴とする請求項４または５記載のカ
   メラワーク検出方法。