JPH118854A - カット点検出方法及び装置 - Google Patents
カット点検出方法及び装置Info
- Publication number
- JPH118854A JPH118854A JP9108601A JP10860197A JPH118854A JP H118854 A JPH118854 A JP H118854A JP 9108601 A JP9108601 A JP 9108601A JP 10860197 A JP10860197 A JP 10860197A JP H118854 A JPH118854 A JP H118854A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- cut point
- change amount
- image
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 圧縮符号化映像からカット点を高速、高精度
に検出する。 【解決手段】 画面間予測符号化方式と画面内符号化方
式を共に含む圧縮符号化方式によって圧縮された画像デ
ータ列からカット点を検出するカット点検出方法におい
て、画面間順方向予測符号化方式で圧縮された画像列P
tに含まれる符号化情報を基に、画像列Ptの変化量DP
tを算出する画面間順方向予測符号化変化量算出過程2
と、画面内符号化方式で圧縮された画像列Itに含まれ
る符号化情報を基に、画像列Itの変化量DItを算出す
る画面内符号化変化量算出過程5と、両過程で得られる
二つの変化量DPtとDItの両方を評価しカット点を検
出するカット点検出過程7を具備するものである。
に検出する。 【解決手段】 画面間予測符号化方式と画面内符号化方
式を共に含む圧縮符号化方式によって圧縮された画像デ
ータ列からカット点を検出するカット点検出方法におい
て、画面間順方向予測符号化方式で圧縮された画像列P
tに含まれる符号化情報を基に、画像列Ptの変化量DP
tを算出する画面間順方向予測符号化変化量算出過程2
と、画面内符号化方式で圧縮された画像列Itに含まれ
る符号化情報を基に、画像列Itの変化量DItを算出す
る画面内符号化変化量算出過程5と、両過程で得られる
二つの変化量DPtとDItの両方を評価しカット点を検
出するカット点検出過程7を具備するものである。
Description
【0001】
【発明の属する技術分野】本発明は、圧縮符号化映像デ
ータからカット点を検出するカット点検出方法及び装置
に関し、特に、画面間予測符号化方式と画面内符号化方
式を共に含む圧縮符号化方式によって圧縮された画像デ
ータ列からカット点を検出するカット点検出方法及び装
置に適用して有効な技術に関するものである。
ータからカット点を検出するカット点検出方法及び装置
に関し、特に、画面間予測符号化方式と画面内符号化方
式を共に含む圧縮符号化方式によって圧縮された画像デ
ータ列からカット点を検出するカット点検出方法及び装
置に適用して有効な技術に関するものである。
【0002】
【従来の技術】映像データはデータ量が膨大であり、そ
の内容を知るためには映像を時間順に全て見ていくしか
なかった。映像がある基準に基づいて分割されていれ
ば、映像を飛ばし見したり、内容を大雑把に把握するた
めに役立つ。理想的には、ストーリを考慮して分割する
必要があるが、その作業は現状では人手でしかできず、
作業量が膨大になるという問題点があり、なんらかの自
動化が求められていた。そこで、連続して撮影された一
つの場面であるショットという単位に分割する技術が必
要である。
の内容を知るためには映像を時間順に全て見ていくしか
なかった。映像がある基準に基づいて分割されていれ
ば、映像を飛ばし見したり、内容を大雑把に把握するた
めに役立つ。理想的には、ストーリを考慮して分割する
必要があるが、その作業は現状では人手でしかできず、
作業量が膨大になるという問題点があり、なんらかの自
動化が求められていた。そこで、連続して撮影された一
つの場面であるショットという単位に分割する技術が必
要である。
【0003】映像を時間順に見ていったとき、ショット
の切り替わった時点をカット点と呼ぶ。カット点前後で
は画像の内容が急激に変化するので、「時間順に隣り合
う画像間の差を計算し、差が大きいところをカット点と
みなす」という方法で、カット点を検出することができ
る。例えば、連続する画像フレームの位置(x,y)の
輝度、色等の物理量が変化した画素数から連続するフレ
ームの変化を算出し、カット点を検出する「動画のカッ
ト自動分割方法」(特開平5−37853号公報)等が
あげられる。
の切り替わった時点をカット点と呼ぶ。カット点前後で
は画像の内容が急激に変化するので、「時間順に隣り合
う画像間の差を計算し、差が大きいところをカット点と
みなす」という方法で、カット点を検出することができ
る。例えば、連続する画像フレームの位置(x,y)の
輝度、色等の物理量が変化した画素数から連続するフレ
ームの変化を算出し、カット点を検出する「動画のカッ
ト自動分割方法」(特開平5−37853号公報)等が
あげられる。
【0004】しかし、画像の内容が急激に変化する一般
的なカット点に加えて、ワイプやディゾルブといった緩
やかに変化するカット点を安定に検出し、カメラワーク
や動き被写体などによる画像変化や、フラッシュや高速
で画面内を横切る物体等による画像の一時的な変化をカ
ット点として誤検出することを防ぐことが課題であっ
た。こうした課題を解決するカット点検出技術は既にい
くつか存在する。しかしながら、これらのカット点検出
技術は、アナログ映像信号をデジタル化した非圧縮映像
データを対象としたものであった。
的なカット点に加えて、ワイプやディゾルブといった緩
やかに変化するカット点を安定に検出し、カメラワーク
や動き被写体などによる画像変化や、フラッシュや高速
で画面内を横切る物体等による画像の一時的な変化をカ
ット点として誤検出することを防ぐことが課題であっ
た。こうした課題を解決するカット点検出技術は既にい
くつか存在する。しかしながら、これらのカット点検出
技術は、アナログ映像信号をデジタル化した非圧縮映像
データを対象としたものであった。
【0005】一方で、映像情報の利用が盛んになるにつ
れ、伝送や、蓄積メディアにおける負荷を軽減するた
め、映像の圧縮符号化技術が目覚ましい進歩を遂げてお
り、H.261,MPEG等の圧縮技術が標準化されて
いる。こうした圧縮符号化方式では、画面内での冗長性
を削減する画面内符号化方式と、画面間での冗長性を削
減する画面間予測符号化方式の二つの方式が代表的であ
る。
れ、伝送や、蓄積メディアにおける負荷を軽減するた
め、映像の圧縮符号化技術が目覚ましい進歩を遂げてお
り、H.261,MPEG等の圧縮技術が標準化されて
いる。こうした圧縮符号化方式では、画面内での冗長性
を削減する画面内符号化方式と、画面間での冗長性を削
減する画面間予測符号化方式の二つの方式が代表的であ
る。
【0006】画面内符号化方式は、図16(a)に示す
ように、対象画像30を例えば正方形の複数のブロック
31に分割し、それぞれのブロック31をDCT変換
(離散コサイン変換)し、量子化することにより符号化
する。この場合の符号化データは、ブロック31をDC
T変換したDCT係数である。MPEG方式では画面内
符号化データとして、ブロック31を輝度と色差成分に
分解し、それぞれをDCT変換したDCT係数を保持し
ている。
ように、対象画像30を例えば正方形の複数のブロック
31に分割し、それぞれのブロック31をDCT変換
(離散コサイン変換)し、量子化することにより符号化
する。この場合の符号化データは、ブロック31をDC
T変換したDCT係数である。MPEG方式では画面内
符号化データとして、ブロック31を輝度と色差成分に
分解し、それぞれをDCT変換したDCT係数を保持し
ている。
【0007】一方、画面間予測符号化方式では、図16
(b)に示すように、対象画像30を正方形の複数のブ
ロック31に分割し、それぞれのブロック31を過去の
(異なる時間の)画像32の中で最も類似する領域33
で代用し、符号化する方式である。隣接する画像の間で
は、画像の内容の変化は一般的に少ないので、ブロック
31を類似領域33によって置き換えることで画面間の
冗長性を削減することができる。このような方法を画面
間予測符号化と呼び、注目ブロック31Aと類似領域3
3のずれを動きベクトル34と呼ぶ。
(b)に示すように、対象画像30を正方形の複数のブ
ロック31に分割し、それぞれのブロック31を過去の
(異なる時間の)画像32の中で最も類似する領域33
で代用し、符号化する方式である。隣接する画像の間で
は、画像の内容の変化は一般的に少ないので、ブロック
31を類似領域33によって置き換えることで画面間の
冗長性を削減することができる。このような方法を画面
間予測符号化と呼び、注目ブロック31Aと類似領域3
3のずれを動きベクトル34と呼ぶ。
【0008】画面間予測符号化方式における符号化デー
タは、動きベクトル34と、ブロック31と類似領域3
3の間の差分のDCT係数から構成されている。ブロッ
ク31に類似する領域が存在しない場合には、予測が外
れたとし、ブロック31を画面内符号化方式と同様にD
CT変換し、量子化して符号化する。このようなブロッ
クをブロック内符号化ブロックと呼ぶ。
タは、動きベクトル34と、ブロック31と類似領域3
3の間の差分のDCT係数から構成されている。ブロッ
ク31に類似する領域が存在しない場合には、予測が外
れたとし、ブロック31を画面内符号化方式と同様にD
CT変換し、量子化して符号化する。このようなブロッ
クをブロック内符号化ブロックと呼ぶ。
【0009】画面間予測符号化方式では、画面間順方向
予測符号化方式と画面間双方向予測符号化方式の2つの
方式が代表的である。画面間順方向予測符号化方式は、
図16(b)に示すように、注目ブロック31Aに類似
した領域を過去の画像から探索する。画面間双方向予測
符号化方式は、図16(c)に示すように、未来の画像
37と過去の画像35の両方の画像から類似領域33を
探索する。
予測符号化方式と画面間双方向予測符号化方式の2つの
方式が代表的である。画面間順方向予測符号化方式は、
図16(b)に示すように、注目ブロック31Aに類似
した領域を過去の画像から探索する。画面間双方向予測
符号化方式は、図16(c)に示すように、未来の画像
37と過去の画像35の両方の画像から類似領域33を
探索する。
【0010】従って、画面間順方向予測符号化方式のデ
ータに含まれている動きベクトル34は、過去の画像の
類似領域33と注目ブロック31Aとの位置のずれを表
わし、画面間双方向予測符号化方式のデータに含まれて
いる動きベクトル34は、ブロック31と過去の画像上
での位置のずれか、未来の画像上での位置のずれかのど
ちらかのいずれか一方もしくは両方を表わしている。画
面間順方向予測符号化方式によって符号化された対象画
像30は、過去の画像32を復号化しなければ復号化で
きず、画面間双方向予測符号化方式によって符号化され
た対象画像30は、過去と未来の両方の画像35、37
を先に復号化しなければ復号化できない。それに対し
て、画面内符号化方式で圧縮された画像はそれだけで復
号化可能である。
ータに含まれている動きベクトル34は、過去の画像の
類似領域33と注目ブロック31Aとの位置のずれを表
わし、画面間双方向予測符号化方式のデータに含まれて
いる動きベクトル34は、ブロック31と過去の画像上
での位置のずれか、未来の画像上での位置のずれかのど
ちらかのいずれか一方もしくは両方を表わしている。画
面間順方向予測符号化方式によって符号化された対象画
像30は、過去の画像32を復号化しなければ復号化で
きず、画面間双方向予測符号化方式によって符号化され
た対象画像30は、過去と未来の両方の画像35、37
を先に復号化しなければ復号化できない。それに対し
て、画面内符号化方式で圧縮された画像はそれだけで復
号化可能である。
【0011】MPEG方式は、画面内符号化方式と画面
間順方向予測符号化方式、画面間双方向予測符号化方式
を組み合わせた方式であり、今後の主流になるといわれ
ている。MPEG方式では、画面内符号化方式、画面間
順方向予測符号化方式、画面間双方向予測符号化方式に
よって圧縮された画像を、それぞれIピクチャ、Pピク
チャ、Bピクチャと呼ぶ。MPEG方式による映像デー
タでは、例えば、IBBPBBPBBPBBIBBPB
BPBBPBBのように、各ピクチャが交互に出現す
る。ただし、その出現頻度は定まっておらず、同一デー
タの中で様々に変動することが許される。
間順方向予測符号化方式、画面間双方向予測符号化方式
を組み合わせた方式であり、今後の主流になるといわれ
ている。MPEG方式では、画面内符号化方式、画面間
順方向予測符号化方式、画面間双方向予測符号化方式に
よって圧縮された画像を、それぞれIピクチャ、Pピク
チャ、Bピクチャと呼ぶ。MPEG方式による映像デー
タでは、例えば、IBBPBBPBBPBBIBBPB
BPBBPBBのように、各ピクチャが交互に出現す
る。ただし、その出現頻度は定まっておらず、同一デー
タの中で様々に変動することが許される。
【0012】MPEG方式を始めとする圧縮符号化映像
からカット点を検出するために、データを一度復号化し
て非圧縮ディジタル映像を復元し、従来技術を用いてカ
ット点を検出することは可能である。しかし、復号化処
理は計算時間のかかる処理であるという問題点があっ
た。
からカット点を検出するために、データを一度復号化し
て非圧縮ディジタル映像を復元し、従来技術を用いてカ
ット点を検出することは可能である。しかし、復号化処
理は計算時間のかかる処理であるという問題点があっ
た。
【0013】以下、復号化処理を行なわずに、MPEG
映像からカット点を検出する従来技術について述べる。
映像からカット点を検出する従来技術について述べる。
【0014】Boon-Lock Yeo and Bede Liu, IEEE Proce
eding of the International Conference on Multimedi
a Computing and Systems, pp. 81-88に開示される「A
Unified Approach to Temporal Segmentation of Motio
n JPEG and MPEG CompressedVideo」は、Iピクチャの
DCT係数の直流成分と、Pピクチャ、Bピクチャの動
きベクトルを用いて、各ピクチャの縮小画像を再構成
し、その縮小画像を順次比較し、変化が大きいところを
カット点として検出している。
eding of the International Conference on Multimedi
a Computing and Systems, pp. 81-88に開示される「A
Unified Approach to Temporal Segmentation of Motio
n JPEG and MPEG CompressedVideo」は、Iピクチャの
DCT係数の直流成分と、Pピクチャ、Bピクチャの動
きベクトルを用いて、各ピクチャの縮小画像を再構成
し、その縮小画像を順次比較し、変化が大きいところを
カット点として検出している。
【0015】しかし、縮小画像を再構成する部分的な復
号化処理に時間がかかるという問題点があった。
号化処理に時間がかかるという問題点があった。
【0016】Farshid Arman, Arding Hsu, and Ming-Ye
e Chiu, ACM Multimedia '93, pp.267-272)に開示され
る「Image Processing on Compressed Data for Large
Video Database」、特開平7−236153号公報に開
示されている「動画像のカット点検出およびカット画面
グループ検出装置」は、IピクチャのDCT係数の比較
によってカット点を検出している。
e Chiu, ACM Multimedia '93, pp.267-272)に開示され
る「Image Processing on Compressed Data for Large
Video Database」、特開平7−236153号公報に開
示されている「動画像のカット点検出およびカット画面
グループ検出装置」は、IピクチャのDCT係数の比較
によってカット点を検出している。
【0017】MPEG方式では、一般的にIピクチャの
出現頻度はPやBピクチャのそれに比べて低い。MPE
G方式の典型的な映像データ列では、Iピクチャは1秒
間に2フレーム程度である。出現頻度が低いと、カメラ
の動きや被写体の動きをカット点として誤って検出して
しまうことが多くなる。なぜなら、カメラの動きや被写
体の動きがあると、次のIピクチャが現われる前に大き
く画像の内容が変化するからである。
出現頻度はPやBピクチャのそれに比べて低い。MPE
G方式の典型的な映像データ列では、Iピクチャは1秒
間に2フレーム程度である。出現頻度が低いと、カメラ
の動きや被写体の動きをカット点として誤って検出して
しまうことが多くなる。なぜなら、カメラの動きや被写
体の動きがあると、次のIピクチャが現われる前に大き
く画像の内容が変化するからである。
【0018】従って、Iピクチャのみを用いたカット点
検出技術は、Iピクチャの出現頻度が低くなればなるほ
ど、誤検出率が高くなるという問題点があった。
検出技術は、Iピクチャの出現頻度が低くなればなるほ
ど、誤検出率が高くなるという問題点があった。
【0019】特開平4−207876号公報に開示され
る「動画像管理装置」は、Pピクチャ中のブロック内符
号化ブロックの個数を利用してカット点を検出する技術
である。カット点があると画面間予測が外れるので、ブ
ロック内符号化ブロックの個数が急増するという性質を
利用している。
る「動画像管理装置」は、Pピクチャ中のブロック内符
号化ブロックの個数を利用してカット点を検出する技術
である。カット点があると画面間予測が外れるので、ブ
ロック内符号化ブロックの個数が急増するという性質を
利用している。
【0020】しかし、この方法では、Pピクチャ直前の
カット点は検出可能だが、Iピクチャの直前に存在する
カット点は検出できないという問題点がある。なぜな
ら、Pピクチャ生成時の予測において、注目画像に対す
る類似領域の探索対象画像は、注目画像直前のPピクチ
ャかIピクチャであり、注目画像の直前のIピクチャよ
りさらに過去の画像から類似領域を探索することはな
い。すなわち、Iピクチャ直前にカット点があること
で、予測が外れ、ブロック内符号化ブロックの個数が増
大したPピクチャは存在しないからである。
カット点は検出可能だが、Iピクチャの直前に存在する
カット点は検出できないという問題点がある。なぜな
ら、Pピクチャ生成時の予測において、注目画像に対す
る類似領域の探索対象画像は、注目画像直前のPピクチ
ャかIピクチャであり、注目画像の直前のIピクチャよ
りさらに過去の画像から類似領域を探索することはな
い。すなわち、Iピクチャ直前にカット点があること
で、予測が外れ、ブロック内符号化ブロックの個数が増
大したPピクチャは存在しないからである。
【0021】HongJian Zhang, Hien Yong Low, Yihong
Gong and Stephen W. Smoliar, SPIE, Vol. 2182, Imag
e and Video Processing II, PP. 142-149, 1994に開示
される「Video Parsing Using Compressed Data」、特
開平7−284017号公報に開示される「カット検出
装置」は、Bピクチャのブロックが記録している動きベ
クトルが、過去と未来のどちらの画像を参照しているの
かを調べることによってカット点を検出する。
Gong and Stephen W. Smoliar, SPIE, Vol. 2182, Imag
e and Video Processing II, PP. 142-149, 1994に開示
される「Video Parsing Using Compressed Data」、特
開平7−284017号公報に開示される「カット検出
装置」は、Bピクチャのブロックが記録している動きベ
クトルが、過去と未来のどちらの画像を参照しているの
かを調べることによってカット点を検出する。
【0022】しかし、Bピクチャの出現頻度は圧縮デー
タ毎に多種多様であり、Bピクチャが全く出現しない圧
縮映像データも存在する。このような圧縮映像データに
対しては、カット点を全く検出することができないとい
う問題点があった。
タ毎に多種多様であり、Bピクチャが全く出現しない圧
縮映像データも存在する。このような圧縮映像データに
対しては、カット点を全く検出することができないとい
う問題点があった。
【0023】また、一般に、MPEG符号化データにお
いては、IピクチャとPピクチャのそれぞれの出現確率
は、一般的にはPピクチャの方がIピクチャよりも高
い。従って、Iピクチャからの情報だけを基にしたIピ
クチャ変化量の特徴量は、大局的な変化を示し、Pピク
チャからの情報だけを基にしたPピクチャ変化量の特徴
量は、細部に渡る変化を示すことになる。さらに、Pピ
クチャ特微量では動き補償による情報を含んでおり、カ
メラワークや動き被写体の影響を受けづらいという特徴
を有する。一方で、瞬間的な変化の影響を受けやすく、
フラッシュや高速に横切る物体等による瞬時に発生する
ノイズをカット点として誤検出しやすいという問題があ
った。
いては、IピクチャとPピクチャのそれぞれの出現確率
は、一般的にはPピクチャの方がIピクチャよりも高
い。従って、Iピクチャからの情報だけを基にしたIピ
クチャ変化量の特徴量は、大局的な変化を示し、Pピク
チャからの情報だけを基にしたPピクチャ変化量の特徴
量は、細部に渡る変化を示すことになる。さらに、Pピ
クチャ特微量では動き補償による情報を含んでおり、カ
メラワークや動き被写体の影響を受けづらいという特徴
を有する。一方で、瞬間的な変化の影響を受けやすく、
フラッシュや高速に横切る物体等による瞬時に発生する
ノイズをカット点として誤検出しやすいという問題があ
った。
【0024】
【発明が解決しようとする課題】本発明者は、前記従来
技術を検討した結果、以下の問題点を見いだした。
技術を検討した結果、以下の問題点を見いだした。
【0025】(a)圧縮データを復号化してカット点を
検出すると、復号化に時間がかかってしまうこと、
(b)カメラや被写体の動きを誤ってカット点として検
出してしまうこと、(c)フラッシュなどのノイズを誤
ってカット点として検出してしまうこと、(d)ワイプ
やディゾルブ等の緩やかなカット点を検出しずらいこ
と、(e)Pピクチャ変化量からのカット点検出方法
は、PピクチャとIピクチャの間に存在するカット点を
検出することはできないこと、(f)Pピクチャ変化量
からのカット点検出方法はフラッシュや高速に横切る物
体等の瞬時に発生するノイズをカット点として誤検出し
やすいこと、(g)圧縮符号化データ中の各ピクチャの
出現頻度によってカット点検出での精度が変化すること
等である。
検出すると、復号化に時間がかかってしまうこと、
(b)カメラや被写体の動きを誤ってカット点として検
出してしまうこと、(c)フラッシュなどのノイズを誤
ってカット点として検出してしまうこと、(d)ワイプ
やディゾルブ等の緩やかなカット点を検出しずらいこ
と、(e)Pピクチャ変化量からのカット点検出方法
は、PピクチャとIピクチャの間に存在するカット点を
検出することはできないこと、(f)Pピクチャ変化量
からのカット点検出方法はフラッシュや高速に横切る物
体等の瞬時に発生するノイズをカット点として誤検出し
やすいこと、(g)圧縮符号化データ中の各ピクチャの
出現頻度によってカット点検出での精度が変化すること
等である。
【0026】本発明の目的は、圧縮符号化映像からカッ
ト点を高速、高精度に検出することが可能な技術を提供
することにある。
ト点を高速、高精度に検出することが可能な技術を提供
することにある。
【0027】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
【0028】
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。
【0029】(1)画面間予測符号化方式と画面内符号
化方式を共に含む圧縮符号化方式によって圧縮された画
像データ列からカット点を検出するカット点検出方法に
おいて、画面間順方向予測符号化方式で圧縮された画像
列Ptに含まれる符号化情報を基に、画像列Ptの変化量
DPtを算出する画面間順方向予測符号化変化量算出過
程と、画面内符号化方式で圧縮された画像列Itに含ま
れる符号化情報を基に、画像列Itの変化量DItを算出
する画面内符号化変化量算出過程と、両過程で得られる
二つの変化量の両方を評価しカット点を検出するカット
点検出過程を具備するものである。
化方式を共に含む圧縮符号化方式によって圧縮された画
像データ列からカット点を検出するカット点検出方法に
おいて、画面間順方向予測符号化方式で圧縮された画像
列Ptに含まれる符号化情報を基に、画像列Ptの変化量
DPtを算出する画面間順方向予測符号化変化量算出過
程と、画面内符号化方式で圧縮された画像列Itに含ま
れる符号化情報を基に、画像列Itの変化量DItを算出
する画面内符号化変化量算出過程と、両過程で得られる
二つの変化量の両方を評価しカット点を検出するカット
点検出過程を具備するものである。
【0030】この(1)の手段によれば、圧縮映像を復
号化することなく、符号化情報だけを用いてカット点を
検出するので、一部の情報を抽出するだけでカット点を
検出することができる。
号化することなく、符号化情報だけを用いてカット点を
検出するので、一部の情報を抽出するだけでカット点を
検出することができる。
【0031】また、画面間順方向予測符号化画像のみを
用いた従来のカット点検出方法では、画面間順方向予測
符号化画像と画面内符号化画像の境界でカット点を検出
できないという問題点があったが、この(1)の手段で
は、両符号化方式の画像列から独立に得られた変化量D
Pt,DItを組み合わせることによって、この問題点を
解決している。
用いた従来のカット点検出方法では、画面間順方向予測
符号化画像と画面内符号化画像の境界でカット点を検出
できないという問題点があったが、この(1)の手段で
は、両符号化方式の画像列から独立に得られた変化量D
Pt,DItを組み合わせることによって、この問題点を
解決している。
【0032】(2)前記(1)のカット点検出方法にお
ける画面間順方向予測符号化変化量算出過程において、
画面間予測が外れた領域が全画面に占める割合を変化量
とするものである。
ける画面間順方向予測符号化変化量算出過程において、
画面間予測が外れた領域が全画面に占める割合を変化量
とするものである。
【0033】この画面間予測符号化方式では、ブロック
を符号化する際に、過去の画像と現在の画像の間で類似
する領域を検索し予測を行なう。オリジナルの映像に含
まれるカメラの動きや被写体の動きは、予測時の類似領
域の位置のずれである動きベクトルとして記録され、カ
メラや被写体の動きがあっても予測が外れることは少な
い。
を符号化する際に、過去の画像と現在の画像の間で類似
する領域を検索し予測を行なう。オリジナルの映像に含
まれるカメラの動きや被写体の動きは、予測時の類似領
域の位置のずれである動きベクトルとして記録され、カ
メラや被写体の動きがあっても予測が外れることは少な
い。
【0034】従って画面間予測が外れた領域が全画面に
占める割合を変化量として用いたとき、カメラの動きや
被写体の動きは変化量に反映されず、カメラや被写体の
動きを誤ってカット点として検出することが少なくな
り、前述の問題点(b)を解決することができる。
占める割合を変化量として用いたとき、カメラの動きや
被写体の動きは変化量に反映されず、カメラや被写体の
動きを誤ってカット点として検出することが少なくな
り、前述の問題点(b)を解決することができる。
【0035】(3)前記(1)のカット点検出方法にお
いて、画面間順方向予測符号化変化量算出過程、画面内
符号化変化量算出過程のいずれか一方又は両方で、画像
列の隣り合う画像間で変化の生じた領域を変化領域とし
て求める過程と、該変化領域の時間系列に対してあらか
じめ与えられた空間的演算を施した後、それらを時間的
に積分する過程を含むものである。ここで、「空間的演
算を施した後、それらを時間的に積分する」というの
は、XOR配列に対応していることである。
いて、画面間順方向予測符号化変化量算出過程、画面内
符号化変化量算出過程のいずれか一方又は両方で、画像
列の隣り合う画像間で変化の生じた領域を変化領域とし
て求める過程と、該変化領域の時間系列に対してあらか
じめ与えられた空間的演算を施した後、それらを時間的
に積分する過程を含むものである。ここで、「空間的演
算を施した後、それらを時間的に積分する」というの
は、XOR配列に対応していることである。
【0036】この(3)の手段によれば、画像列の隣り
合う画像間で変化の生じている領域に対し、空間的演算
を施し、フラッシュなどのノイズを除去するので、前述
の問題点(c)を解決することができる。また、空間的
演算を施した後で時間的積分を行なうことにより、ワイ
プ等の緩やかな変化を正しく検出することができるの
で、前述の問題点(d)を解決することができる。
合う画像間で変化の生じている領域に対し、空間的演算
を施し、フラッシュなどのノイズを除去するので、前述
の問題点(c)を解決することができる。また、空間的
演算を施した後で時間的積分を行なうことにより、ワイ
プ等の緩やかな変化を正しく検出することができるの
で、前述の問題点(d)を解決することができる。
【0037】(4)前記(1)乃至(3)のうちいずれ
か1つの変化量DPtと変化量DItの両方を評価しカッ
ト点を検出するカット点検出過程において、画像列Pt
に含まれる符号化情報を基に得られた画像列Ptの変化
量DPtに対して、画像列Itから得られた情報を用い
て、変化量DPtを補正する処理過程を含むものであ
る。
か1つの変化量DPtと変化量DItの両方を評価しカッ
ト点を検出するカット点検出過程において、画像列Pt
に含まれる符号化情報を基に得られた画像列Ptの変化
量DPtに対して、画像列Itから得られた情報を用い
て、変化量DPtを補正する処理過程を含むものであ
る。
【0038】前記(4)の手段によれば、フラッシュ等
の瞬間的なノイズの影響を受けづらい大局的な変化特微
量であるIピクチャ変化量を用いてPピクチャ変化量を
補正するため、局所的なノイズに左右されず安定にカッ
ト点を検出することができ、前述の問題点(f)を解決
することができる。
の瞬間的なノイズの影響を受けづらい大局的な変化特微
量であるIピクチャ変化量を用いてPピクチャ変化量を
補正するため、局所的なノイズに左右されず安定にカッ
ト点を検出することができ、前述の問題点(f)を解決
することができる。
【0039】(5)前記(1)乃至(3)のうちいずれ
か1つの変化量DPtと変化量DItの両方を評価しカッ
ト点を検出するカット点検出過程において、画像列It
に含まれる符号化情報を基に得られた画像列Itの変化
量DItに対して、画像列Ptから得られた情報を用い
て、変化量DItを補正する処理過程を含むものであ
る。
か1つの変化量DPtと変化量DItの両方を評価しカッ
ト点を検出するカット点検出過程において、画像列It
に含まれる符号化情報を基に得られた画像列Itの変化
量DItに対して、画像列Ptから得られた情報を用い
て、変化量DItを補正する処理過程を含むものであ
る。
【0040】前記(5)の手段によれば、Pピクチャ変
化量を用いるカット点検出方法では、Pピクチャの予測
関係が成立しない個所に存在する検出不能なカット点例
えば、PピクチャとIピクチャの間のカット点を検出す
るために、Iピクチャ変化量を用いるが、Iピクチャの
変化量は大局的な変化を示しており、そのままではPピ
クチャとIピクチャにおける変化の有無だけを判定する
ことは不可能なのだが、細部に渡る変化であるPピクチ
ャからの情報を用いてIピクチャ間の変化量を補正する
ことによって、PピクチャとIピクチャの間に発生する
変化を検出することができ、前述の問題点(e)を解決
することができる。
化量を用いるカット点検出方法では、Pピクチャの予測
関係が成立しない個所に存在する検出不能なカット点例
えば、PピクチャとIピクチャの間のカット点を検出す
るために、Iピクチャ変化量を用いるが、Iピクチャの
変化量は大局的な変化を示しており、そのままではPピ
クチャとIピクチャにおける変化の有無だけを判定する
ことは不可能なのだが、細部に渡る変化であるPピクチ
ャからの情報を用いてIピクチャ間の変化量を補正する
ことによって、PピクチャとIピクチャの間に発生する
変化を検出することができ、前述の問題点(e)を解決
することができる。
【0041】(6)前記(1),(4),(5)のいず
れか一つのカット点検出過程において、画面間順方向予
測符号化変化量算出過程から得られる変化量DPtが、
第一の閾値TPtを上回るか、画面内符号化変化量算出
過程から得られる変化量DItが、第二の閾値TItを上
回るか、どちらか一方が成立した場合に時刻tにカット
点が存在していると判定するものである。
れか一つのカット点検出過程において、画面間順方向予
測符号化変化量算出過程から得られる変化量DPtが、
第一の閾値TPtを上回るか、画面内符号化変化量算出
過程から得られる変化量DItが、第二の閾値TItを上
回るか、どちらか一方が成立した場合に時刻tにカット
点が存在していると判定するものである。
【0042】(7)前記(1),(4),(5)のいず
れか一つのカット点検出過程において、画像列PtとIt
の出現頻度を測定する過程を含み、該出現頻度に応じ
て、二つの変化量DPtとDItを評価する手続きを切り
替えるものである。これにより、画像列PtとItの出現
頻度に応じて評価の方法を使い分けることができる。
れか一つのカット点検出過程において、画像列PtとIt
の出現頻度を測定する過程を含み、該出現頻度に応じ
て、二つの変化量DPtとDItを評価する手続きを切り
替えるものである。これにより、画像列PtとItの出現
頻度に応じて評価の方法を使い分けることができる。
【0043】(8)前記(1),(4),(5)のいず
れか一つのカット点検出過程において、画像列PtとIt
の出現頻度を測定する過程を含み、該出現頻度に応じ
て、二つの変化量DPt,DItに対する二つの閾値TP
t,TItを制御するものである。
れか一つのカット点検出過程において、画像列PtとIt
の出現頻度を測定する過程を含み、該出現頻度に応じ
て、二つの変化量DPt,DItに対する二つの閾値TP
t,TItを制御するものである。
【0044】前記(6),(7)及び(8)の手段によ
れば、カット点の検出に際して、Iピクチャの出現頻度
とPピクチャの出現頻度に応じて、Iピクチャ列から求
めた変化量DItとPピクチャ列から求めた変化量DPt
の組み合わせ方を変化させてカット点を検出している。
Iピクチャの出現頻度が高い場合にはIピクチャ列から
求めた変化量DItを主に用い、変化量DPtは検出精度
の向上をさせるために、補助的に用いる。逆にPピクチ
ャの出現頻度が高い場合には、変化量DPtに重きを置
いて評価する。従って、2種類の変化量を各ピクチャの
出現頻度に応じて組み合わせてカット点を検出するた
め、各ピクチャの出現頻度によらず高い精度でカット点
を検出でき前述の問題点(g)を解決することができ
る。
れば、カット点の検出に際して、Iピクチャの出現頻度
とPピクチャの出現頻度に応じて、Iピクチャ列から求
めた変化量DItとPピクチャ列から求めた変化量DPt
の組み合わせ方を変化させてカット点を検出している。
Iピクチャの出現頻度が高い場合にはIピクチャ列から
求めた変化量DItを主に用い、変化量DPtは検出精度
の向上をさせるために、補助的に用いる。逆にPピクチ
ャの出現頻度が高い場合には、変化量DPtに重きを置
いて評価する。従って、2種類の変化量を各ピクチャの
出現頻度に応じて組み合わせてカット点を検出するた
め、各ピクチャの出現頻度によらず高い精度でカット点
を検出でき前述の問題点(g)を解決することができ
る。
【0045】(9)画面間予測符号化方式と画面内符号
化方式を共に含む圧縮符号化方式によって圧縮された画
像データ列からカット点を検出するカット点検出装置に
おいて、画像データ列中の圧縮符号化方式の種類を判定
し、符号化データを分類するピクチャ判定手段と、画面
間順方向予測符号化方式で圧縮された画像列Ptに含ま
れる符号化情報を基に、画像列Ptの変化量DPtを算出
するPピクチャ変化量算出手段と、画面内符号化方式で
圧縮された画像列Itに含まれる符号化情報を基に、画
像列Itの変化量DItを算出するIピクチャ変化量算出
手段と、両変化量算出手段で得られる二つの変化量DP
tとDItを評価しカット点を検出するカット点検出手段
とを具備するものである。
化方式を共に含む圧縮符号化方式によって圧縮された画
像データ列からカット点を検出するカット点検出装置に
おいて、画像データ列中の圧縮符号化方式の種類を判定
し、符号化データを分類するピクチャ判定手段と、画面
間順方向予測符号化方式で圧縮された画像列Ptに含ま
れる符号化情報を基に、画像列Ptの変化量DPtを算出
するPピクチャ変化量算出手段と、画面内符号化方式で
圧縮された画像列Itに含まれる符号化情報を基に、画
像列Itの変化量DItを算出するIピクチャ変化量算出
手段と、両変化量算出手段で得られる二つの変化量DP
tとDItを評価しカット点を検出するカット点検出手段
とを具備するものである。
【0046】なお、コンピュータに、前記(1)乃至
(8)のいずれか一つのカット点検出方法を機能させる
ための処理プログラムは、コンピュータが読み取り可能
な記録媒体に格納されていても良い。
(8)のいずれか一つのカット点検出方法を機能させる
ための処理プログラムは、コンピュータが読み取り可能
な記録媒体に格納されていても良い。
【0047】この(9)の手段のカット点検出装置によ
れば、前記(1)乃至(8)の手段のカット点検出方法
を実施することができる。
れば、前記(1)乃至(8)の手段のカット点検出方法
を実施することができる。
【0048】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態(実施例)を詳細に説明する。
施の形態(実施例)を詳細に説明する。
【0049】(実施形態1)図1は本発明の実施形態
(実施例)1のカット点検出方法の処理の流れを示すフ
ローチャートである。本実施形態1のカット点検出方法
は、図1に示すように、入力圧縮画像データ0を画面間
順方向予測符号化画像列1と画面内符号化画像列4に分
離し、それぞれを画面間順方向予測符号化変化量算出過
程2と、画面内符号化変化量算出過程5に入力する。各
変化量算出過程2及び5において、各画像列の画像の内
容が大きく変化したとき大きな値を示すような特微量を
画像列の変化量(時間的変化量)として算出する。変化
量算出過程の実施例については後述する。得られた2つ
の変化量3及び6を、データ列のカット点検出過程7に
入力し、最終的なカット点8を得る。すなわち、2種類
の画像列から別々に変化量を算出し、両者を組み合わせ
て評価することによってカット点を検出する。カット点
検出過程の実施例については後述する。
(実施例)1のカット点検出方法の処理の流れを示すフ
ローチャートである。本実施形態1のカット点検出方法
は、図1に示すように、入力圧縮画像データ0を画面間
順方向予測符号化画像列1と画面内符号化画像列4に分
離し、それぞれを画面間順方向予測符号化変化量算出過
程2と、画面内符号化変化量算出過程5に入力する。各
変化量算出過程2及び5において、各画像列の画像の内
容が大きく変化したとき大きな値を示すような特微量を
画像列の変化量(時間的変化量)として算出する。変化
量算出過程の実施例については後述する。得られた2つ
の変化量3及び6を、データ列のカット点検出過程7に
入力し、最終的なカット点8を得る。すなわち、2種類
の画像列から別々に変化量を算出し、両者を組み合わせ
て評価することによってカット点を検出する。カット点
検出過程の実施例については後述する。
【0050】図2は本実施形態1のカット点検出方法を
実施するカット点検出装置の一実施例の概略構成を示す
ブロック構成図であり、10は入力圧縮画像データ列、
11はピクチャ判定手段、12はデータ列メモリ、13
はPピクチャ列、14はPピクチャ変化量算出手段、1
5はPピクチャの変化量、16はIピクチャ列、17は
Iピクチャ変化量算出手段、18はIピクチャの変化
量、19はカット点検出手段、20はカット点である。
実施するカット点検出装置の一実施例の概略構成を示す
ブロック構成図であり、10は入力圧縮画像データ列、
11はピクチャ判定手段、12はデータ列メモリ、13
はPピクチャ列、14はPピクチャ変化量算出手段、1
5はPピクチャの変化量、16はIピクチャ列、17は
Iピクチャ変化量算出手段、18はIピクチャの変化
量、19はカット点検出手段、20はカット点である。
【0051】本カット点検出装置は、汎用コンピュータ
とソフトウェアで実現可能な装置であり、図2に示すよ
うに、入力圧縮画像データ列10からカット点20を検
出する。本カット点検出装置では、入力圧縮画像データ
列10は、MPEG方式で圧縮符号化され、Iピクチャ
が1フレーム、Pピクチャが14フレーム続き、それら
を1個のグループとし、そのグループがt+1個存在す
る画像データ列(IP0P1P2P3P4P5P6P7P8P9P
10P11P12P13)0,(IP0P1P2P3P4P5P6P7P8
P9P10P11P12P13)1,…,(IP0P1P2P3P4P5
P6P7P8P9P10P11P12P13)tを扱う。ここで、I
ピクチャ列をIh、Pピクチャ列をPh,kで表わす。た
だし、h=0,1,…,t、k=0,1,…,13、h
はグループの番号、kはグループ内のフレーム番号であ
る。
とソフトウェアで実現可能な装置であり、図2に示すよ
うに、入力圧縮画像データ列10からカット点20を検
出する。本カット点検出装置では、入力圧縮画像データ
列10は、MPEG方式で圧縮符号化され、Iピクチャ
が1フレーム、Pピクチャが14フレーム続き、それら
を1個のグループとし、そのグループがt+1個存在す
る画像データ列(IP0P1P2P3P4P5P6P7P8P9P
10P11P12P13)0,(IP0P1P2P3P4P5P6P7P8
P9P10P11P12P13)1,…,(IP0P1P2P3P4P5
P6P7P8P9P10P11P12P13)tを扱う。ここで、I
ピクチャ列をIh、Pピクチャ列をPh,kで表わす。た
だし、h=0,1,…,t、k=0,1,…,13、h
はグループの番号、kはグループ内のフレーム番号であ
る。
【0052】なお、入力圧縮画像データ列10は、ハー
ドディスクやCD−ROM等蓄積装置に保存されている
画像ファイルであったり、ネットワークに接続され、伝
送される画像ファイルであったりする。サイズ、サンプ
ルレートは任意であるが、画面内符号化方式と画面間予
測符号化方式の両方の方式を取り入れてなければならな
い。例として、H.261やMPEG1,MPEG2等
の形式がある。これらの圧縮符号化方式では、画面内符
号化画像、画面間順方向予測符号化画像、画面間双方向
予測符号化画像が出現するが、その出現頻度は任意で構
わない。
ドディスクやCD−ROM等蓄積装置に保存されている
画像ファイルであったり、ネットワークに接続され、伝
送される画像ファイルであったりする。サイズ、サンプ
ルレートは任意であるが、画面内符号化方式と画面間予
測符号化方式の両方の方式を取り入れてなければならな
い。例として、H.261やMPEG1,MPEG2等
の形式がある。これらの圧縮符号化方式では、画面内符
号化画像、画面間順方向予測符号化画像、画面間双方向
予測符号化画像が出現するが、その出現頻度は任意で構
わない。
【0053】入力圧縮画像データ列10を数フレームに
渡って格納するデータ列メモリ12が設けられている。
本実施例では、データ列メモリ12には、各ピクチャデ
ータと、先頭ピクチャからの通し番号と、ピクチャ判定
手段11で判定されるピクチャの種別と、注目している
画像がIピクチャの場合は、先頭からのIピクチャ列1
6の通し番号を、注目している画像がPピクチャの場合
は、先頭からのPピクチャ列13の通し番号を保存して
いる。データ列メモリ12は、符号化データの全部乃至
一部、画像の先頭ファイルからのフレーム番号や、前処
理によって得られる特微量等の補足情報以外に、外部の
機器を用いて入手し、付加される撮影時間、撮影場所等
の外部情報を付加してもよい。
渡って格納するデータ列メモリ12が設けられている。
本実施例では、データ列メモリ12には、各ピクチャデ
ータと、先頭ピクチャからの通し番号と、ピクチャ判定
手段11で判定されるピクチャの種別と、注目している
画像がIピクチャの場合は、先頭からのIピクチャ列1
6の通し番号を、注目している画像がPピクチャの場合
は、先頭からのPピクチャ列13の通し番号を保存して
いる。データ列メモリ12は、符号化データの全部乃至
一部、画像の先頭ファイルからのフレーム番号や、前処
理によって得られる特微量等の補足情報以外に、外部の
機器を用いて入手し、付加される撮影時間、撮影場所等
の外部情報を付加してもよい。
【0054】データ列メモリ12から読み出された画像
列のうちPピクチャ列Ph,k(h=0,1,…,t、k
=0,1,…,13)13をPピクチャ変化量算出手段
14に入力して変化量DPh,k(h=0,1,…,t、
k=0,1,…,13)15を得る。Pピクチャ列13
から得られる変化量(DPh,k)15は、Pピクチャ中
のブロックの種類の個数や位置、ブロックに記録されて
いる動きベクトルなど、画像の内容変化に伴って変動す
る特微量を用いて算出する。その詳細については後述す
る。
列のうちPピクチャ列Ph,k(h=0,1,…,t、k
=0,1,…,13)13をPピクチャ変化量算出手段
14に入力して変化量DPh,k(h=0,1,…,t、
k=0,1,…,13)15を得る。Pピクチャ列13
から得られる変化量(DPh,k)15は、Pピクチャ中
のブロックの種類の個数や位置、ブロックに記録されて
いる動きベクトルなど、画像の内容変化に伴って変動す
る特微量を用いて算出する。その詳細については後述す
る。
【0055】データ列メモリ12から読み出された画像
列の各ピクチャの種別をピクチャ判定手段11で判定し
分類されたIピクチャ列Ih(h=0,1,…,t)1
6をIピクチャ変化量算出手段17に入力して変化量
(DIh)18を得る。Iピクチャ列16から得られる
変化量(DIh)18は、Iピクチャ中のブロックに含
まれる輝度、色差の隣接画像間で各画素の差分の総和
や、差分の著しい画素の個数や、輝度、色差を基に算出
される色相や、それらを基にしたヒストグラム等、画像
の内容の変化が反映される特微量を用いて算出する。そ
の詳細については後述する。
列の各ピクチャの種別をピクチャ判定手段11で判定し
分類されたIピクチャ列Ih(h=0,1,…,t)1
6をIピクチャ変化量算出手段17に入力して変化量
(DIh)18を得る。Iピクチャ列16から得られる
変化量(DIh)18は、Iピクチャ中のブロックに含
まれる輝度、色差の隣接画像間で各画素の差分の総和
や、差分の著しい画素の個数や、輝度、色差を基に算出
される色相や、それらを基にしたヒストグラム等、画像
の内容の変化が反映される特微量を用いて算出する。そ
の詳細については後述する。
【0056】2つの変化量(DPh,k)15と(D
Ih)18をカット点検出手段19にて評価し、カット
点20を得ている。2つの変化量(DPh,k)15と
(DIh)18は、Iピクチャ列16、Pピクチャ列1
3の画像の内容の変化を反映したものである。本実施例
では、2つの変化量(DPh,k)15と(DIh)18
のそれぞれから別個にカット点を検出しそれぞれを組み
合わせてカット点を検出する例と、2つの変化量(DP
h,k)15と(DIh)18のそれぞれにある重みを乗
じて和をとったものからカット点を検出する例の2つの
例について後述する。その際の重みや閾値は、あらかじ
め与えられているものとしているが、Iピクチャ、Pピ
クチャのそれぞれの出現頻度に応じて変化させても構わ
ない。変化のさせかたについては後述する。
Ih)18をカット点検出手段19にて評価し、カット
点20を得ている。2つの変化量(DPh,k)15と
(DIh)18は、Iピクチャ列16、Pピクチャ列1
3の画像の内容の変化を反映したものである。本実施例
では、2つの変化量(DPh,k)15と(DIh)18
のそれぞれから別個にカット点を検出しそれぞれを組み
合わせてカット点を検出する例と、2つの変化量(DP
h,k)15と(DIh)18のそれぞれにある重みを乗
じて和をとったものからカット点を検出する例の2つの
例について後述する。その際の重みや閾値は、あらかじ
め与えられているものとしているが、Iピクチャ、Pピ
クチャのそれぞれの出現頻度に応じて変化させても構わ
ない。変化のさせかたについては後述する。
【0057】以下、Pピクチャ変化量算出手段14の実
施例、Iピクチャ変化量算出手段17の実施例及びカッ
ト点検出手段19の実施例の詳細な説明を順に行なう。
施例、Iピクチャ変化量算出手段17の実施例及びカッ
ト点検出手段19の実施例の詳細な説明を順に行なう。
【0058】Pピクチャ変化量算出手段14の第一の実
施例は、Pピクチャに含まれている情報を用いて変化量
を算出する。Pピクチャのブロックには予測が成功した
ブロック(以下pブロック)と、予測が成功しなかった
ブロック内符号化ブロック(以下iブロック)の2種類
が存在する。カット点においては、画面が急激に変化す
るため、予測がはずれiブロックの個数が急激に増大す
る。この性質を用いて各フレーム毎のiブロックの個数
がブロックに占める割合を各ブロック毎の変化量として
算出する。この変化量は、カメラの動きや被写体の動き
を誤ってカット点として検出することを防ぐ効果があ
る。
施例は、Pピクチャに含まれている情報を用いて変化量
を算出する。Pピクチャのブロックには予測が成功した
ブロック(以下pブロック)と、予測が成功しなかった
ブロック内符号化ブロック(以下iブロック)の2種類
が存在する。カット点においては、画面が急激に変化す
るため、予測がはずれiブロックの個数が急激に増大す
る。この性質を用いて各フレーム毎のiブロックの個数
がブロックに占める割合を各ブロック毎の変化量として
算出する。この変化量は、カメラの動きや被写体の動き
を誤ってカット点として検出することを防ぐ効果があ
る。
【0059】通常のカット点ではカット点以降、類似し
た画像が継続するためPピクチャ中のiブロックの個数
は少ない。
た画像が継続するためPピクチャ中のiブロックの個数
は少ない。
【0060】ワイプにはさまざまなタイプがあり、カッ
ト点の前後の2枚の静止画像の前面の画像の一部が徐々
にめくれていくようなワイプの場合、めくれていく部分
に沿ってiブロックが出現してくる。ワイプ中の各Pピ
クチャに出現するiブロックはごく少数であるが、数フ
レームに渡るiブロックの個数を累積したものは大き
い。
ト点の前後の2枚の静止画像の前面の画像の一部が徐々
にめくれていくようなワイプの場合、めくれていく部分
に沿ってiブロックが出現してくる。ワイプ中の各Pピ
クチャに出現するiブロックはごく少数であるが、数フ
レームに渡るiブロックの個数を累積したものは大き
い。
【0061】フラッシュは1フレームだけ急激に明度が
上昇し直後に下降するため、フラッシュがたかれたPピ
クチャとその直後のPピクチャでは、ほぼ同じ位置にi
ブロックが出現する。
上昇し直後に下降するため、フラッシュがたかれたPピ
クチャとその直後のPピクチャでは、ほぼ同じ位置にi
ブロックが出現する。
【0062】本第一の実施例における通常のカット点で
は、変化量は十分に大きな値となる。しかし、フラッシ
ュもカット点と同様大きな変化量を示したり、緩やかに
変化するカット点では、変化量が大きくならないという
欠点を持っている。
は、変化量は十分に大きな値となる。しかし、フラッシ
ュもカット点と同様大きな変化量を示したり、緩やかに
変化するカット点では、変化量が大きくならないという
欠点を持っている。
【0063】次に、Pピクチャ変化量算出手段14の第
二の実施例を、図3を用いて説明する。まず、Pピクチ
ャ列(Ph,k)110が入力される。入力された各Pピ
クチャに対し、各Pピクチャのブロック情報読み取り処
理100により、Pピクチャ中のブロックの位置と種別
を読み取る。これによりPピクチャのブロック配列11
1を得る。
二の実施例を、図3を用いて説明する。まず、Pピクチ
ャ列(Ph,k)110が入力される。入力された各Pピ
クチャに対し、各Pピクチャのブロック情報読み取り処
理100により、Pピクチャ中のブロックの位置と種別
を読み取る。これによりPピクチャのブロック配列11
1を得る。
【0064】ピクチャのブロック配列111のブロック
配列のiブロックを“1”pブロックを“0”とみな
し、XOR配列作成処理101では、図4に示すよう
に、注目Pピクチャと前XOR配列Xh,k-1との間でX
ORをとり、注目PピクチャのXOR配列Xh,k(11
2)を作成する。XOR配列112の作成を一定回数繰
り返したら、XOR配列をリセットする。XOR配列を
リセットする周期は任意に設定できる。周期を長くする
と緩やかな変化は検出しやすくなる反面、短い間隔で発
生するカット点を検出することができない。
配列のiブロックを“1”pブロックを“0”とみな
し、XOR配列作成処理101では、図4に示すよう
に、注目Pピクチャと前XOR配列Xh,k-1との間でX
ORをとり、注目PピクチャのXOR配列Xh,k(11
2)を作成する。XOR配列112の作成を一定回数繰
り返したら、XOR配列をリセットする。XOR配列を
リセットする周期は任意に設定できる。周期を長くする
と緩やかな変化は検出しやすくなる反面、短い間隔で発
生するカット点を検出することができない。
【0065】本第二の実施例ではIピクチャから次のI
ピクチャまでの14フレームでXOR配列を順次作成す
る。一般的なカット点、ワイプ、フラッシュをそれぞれ
含むPピクチャ列に対するXOR配列の変化の様子を図
5乃至図7に示す。一般的なカット点(図5)では、カ
ット点の直後に多数のiブロックが発生するが、その後
に表われるiブロックの個数は少ないため、カット点の
後のXOR配列上では1の個数は高い値を保ったままで
ある。ワイプの場合(図6)、iブロックの位置が少し
ずつずれて出現するため、XOR配列上で1が蓄積され
ていく。フラッシュの場合(図7)、フラッシュと直後
のPピクチャで、iブロックがほぼ同じ位置にほぼ同じ
個数だけ出現するため、XOR配列上で一時的に1の個
数が増大するもののすぐに打ち消されてなくなる。
ピクチャまでの14フレームでXOR配列を順次作成す
る。一般的なカット点、ワイプ、フラッシュをそれぞれ
含むPピクチャ列に対するXOR配列の変化の様子を図
5乃至図7に示す。一般的なカット点(図5)では、カ
ット点の直後に多数のiブロックが発生するが、その後
に表われるiブロックの個数は少ないため、カット点の
後のXOR配列上では1の個数は高い値を保ったままで
ある。ワイプの場合(図6)、iブロックの位置が少し
ずつずれて出現するため、XOR配列上で1が蓄積され
ていく。フラッシュの場合(図7)、フラッシュと直後
のPピクチャで、iブロックがほぼ同じ位置にほぼ同じ
個数だけ出現するため、XOR配列上で一時的に1の個
数が増大するもののすぐに打ち消されてなくなる。
【0066】変化量算出処理102の処理手順を図8を
用いて説明する。XOR配列Xh,kに含まれる1の個数
をカウントしたものをNh,kとして出力する(ステップ
1031)。グループ内にカット点が存在する場合、グ
ループの最終XOR配列Xh,13の1の個数Nh,13は高
い値を持つので、Nh,13が一定の閾値を超えた(Ye
s)場合(ステップ1032)、カット点の候補がグル
ープhに存在するとし、カット点候補のフレーム番号を
特定するために、過去に遡ってNh,kを調べ、その値が
ある閾値(前記一定の閾値と同じである)を超え始めた
ところをカット点候補のフレーム番号k’とする(ステ
ップ1033)。特定されたフレーム番号に対応するN
h,k'がブロックの総数に占める割合を変化量15D
Ph,k'として算出し、他は0とする。カット点が存在
しないと判定された(No)場合、変化量は、すべて0
とする(ステップ1034)。
用いて説明する。XOR配列Xh,kに含まれる1の個数
をカウントしたものをNh,kとして出力する(ステップ
1031)。グループ内にカット点が存在する場合、グ
ループの最終XOR配列Xh,13の1の個数Nh,13は高
い値を持つので、Nh,13が一定の閾値を超えた(Ye
s)場合(ステップ1032)、カット点の候補がグル
ープhに存在するとし、カット点候補のフレーム番号を
特定するために、過去に遡ってNh,kを調べ、その値が
ある閾値(前記一定の閾値と同じである)を超え始めた
ところをカット点候補のフレーム番号k’とする(ステ
ップ1033)。特定されたフレーム番号に対応するN
h,k'がブロックの総数に占める割合を変化量15D
Ph,k'として算出し、他は0とする。カット点が存在
しないと判定された(No)場合、変化量は、すべて0
とする(ステップ1034)。
【0067】Pピクチャ変化量算出手段の第二の実施例
では、iブロックの個数を基に、容易にカット点を検出
しやすいよう、通常のカット点やワイプ、ディゾルブ等
の緩やかなカット点を強調し、明らかにカット点ではな
いと思われるノイズを除去する処理を行なって変化量を
算出した。通常のカット点ではカット点以降、類似した
画像が継続するためPピクチャ中のiブロックの個数は
少ない。
では、iブロックの個数を基に、容易にカット点を検出
しやすいよう、通常のカット点やワイプ、ディゾルブ等
の緩やかなカット点を強調し、明らかにカット点ではな
いと思われるノイズを除去する処理を行なって変化量を
算出した。通常のカット点ではカット点以降、類似した
画像が継続するためPピクチャ中のiブロックの個数は
少ない。
【0068】ワイプにはさまざまなタイプがあり、カッ
ト点の前後の2枚の静止画像の前面の画像の一部が徐々
にめくれていくようなワイプの場合、めくれていく部分
に沿ってiブロックが出現してくる。ワイプ中の各Pピ
クチャに出現するiブロックはごく少数であるが、数フ
レームに渡るiブロックの個数を累積したものは大き
い。
ト点の前後の2枚の静止画像の前面の画像の一部が徐々
にめくれていくようなワイプの場合、めくれていく部分
に沿ってiブロックが出現してくる。ワイプ中の各Pピ
クチャに出現するiブロックはごく少数であるが、数フ
レームに渡るiブロックの個数を累積したものは大き
い。
【0069】フラッシュは1フレームだけ急激に明度が
上昇し直後に下降するため、フラッシュがたかれたPピ
クチャとその直後のPピクチャでは、ほぼ同じ位置にi
ブロックが出現する。
上昇し直後に下降するため、フラッシュがたかれたPピ
クチャとその直後のPピクチャでは、ほぼ同じ位置にi
ブロックが出現する。
【0070】第二の実施例では、カット点を強調し、ノ
イズを除去するために、XOR配列を用いているが、ヒ
ストグラムを作成して変化量を算出したり、連続する数
フレームの平均値を基に変化量を算出したりするなどの
空間的演算を行なってもよい。
イズを除去するために、XOR配列を用いているが、ヒ
ストグラムを作成して変化量を算出したり、連続する数
フレームの平均値を基に変化量を算出したりするなどの
空間的演算を行なってもよい。
【0071】次に、Iピクチャ変化量算出手段17につ
いて説明する。Iピクチャ変化量算出手段17は、Iピ
クチャ列16から変化量を算出する。Iピクチャにはi
ブロックしか存在しない。iブロック中のDCT係数の
直流成分は、各iブロック中の画素の輝度や色差成分の
平均値を表わしているので、直流成分から縮小画像を生
成できる。本実施例では、直流成分のうちの輝度成分を
用いて縮小画像を作成し、隣接縮小画像の各画素同士の
差の大きい画素の個数を変化量とする。なお、隣接縮小
画像の画素同士の比較において、比較対象は必ずしも対
応する位置に存在する画素でなくても良く、対応する位
置周辺に一つでも類似する画素が存在するかどうかで変
化量を算出しても良い。これは、カメラワーク等の動き
影響を排除するために有効な手法である。なお、探索範
囲については、Iピクチャ同士の間に存在するピクチャ
数に応じて、範囲を決定する。Iピクチャ間にピクチャ
が多数存在する場合には、探索範囲を広げ、少数しかピ
クチャが存在しない場合には、探索範囲を狭めるという
手法をとる。また、Pピクチャに記録されている動き補
償によって得られている動きベクトルを元に、対応する
画素がどのような軌跡を描いたのかを追跡するという処
理を行っても良い。
いて説明する。Iピクチャ変化量算出手段17は、Iピ
クチャ列16から変化量を算出する。Iピクチャにはi
ブロックしか存在しない。iブロック中のDCT係数の
直流成分は、各iブロック中の画素の輝度や色差成分の
平均値を表わしているので、直流成分から縮小画像を生
成できる。本実施例では、直流成分のうちの輝度成分を
用いて縮小画像を作成し、隣接縮小画像の各画素同士の
差の大きい画素の個数を変化量とする。なお、隣接縮小
画像の画素同士の比較において、比較対象は必ずしも対
応する位置に存在する画素でなくても良く、対応する位
置周辺に一つでも類似する画素が存在するかどうかで変
化量を算出しても良い。これは、カメラワーク等の動き
影響を排除するために有効な手法である。なお、探索範
囲については、Iピクチャ同士の間に存在するピクチャ
数に応じて、範囲を決定する。Iピクチャ間にピクチャ
が多数存在する場合には、探索範囲を広げ、少数しかピ
クチャが存在しない場合には、探索範囲を狭めるという
手法をとる。また、Pピクチャに記録されている動き補
償によって得られている動きベクトルを元に、対応する
画素がどのような軌跡を描いたのかを追跡するという処
理を行っても良い。
【0072】次に、図9を用いてIピクチャ変化量算出
手段の第一の実施例の詳細な説明を行なう。Iピクチャ
列16から直流成分抽出処理200によってiブロック
の直流成分の輝度成分から直流成分輝度画像DCh(h
=0,1,…,t)210を得る。Iピクチャ直流成分
同士の比較処理201で、隣り合う直流成分画像の輝度
の差分があらかじめ与えられた閾値Thより大きい差分
画素数(Nh)211を算出する。画像の内容が類似し
ていれば、差分画素数(Nh)211は小さく、違いが
大きければ差分画素数(Nh)211は大きくなる。
手段の第一の実施例の詳細な説明を行なう。Iピクチャ
列16から直流成分抽出処理200によってiブロック
の直流成分の輝度成分から直流成分輝度画像DCh(h
=0,1,…,t)210を得る。Iピクチャ直流成分
同士の比較処理201で、隣り合う直流成分画像の輝度
の差分があらかじめ与えられた閾値Thより大きい差分
画素数(Nh)211を算出する。画像の内容が類似し
ていれば、差分画素数(Nh)211は小さく、違いが
大きければ差分画素数(Nh)211は大きくなる。
【0073】ただし、カメラや被写体の動きによっても
差が生じるので、突出検出フィルタ処理202によっ
て、こうしたノイズを消去する。突出検出フィルタ処理
202は、注目している特微量Nhと、前後数フレーム
の特微量…,Nh-2,Nh-1,Nh +1,Nh+2,…,のうち
の最大のものとの差をとるものである。
差が生じるので、突出検出フィルタ処理202によっ
て、こうしたノイズを消去する。突出検出フィルタ処理
202は、注目している特微量Nhと、前後数フレーム
の特微量…,Nh-2,Nh-1,Nh +1,Nh+2,…,のうち
の最大のものとの差をとるものである。
【0074】本実施例では前後2フレームの特微量を比
較対象に用いている。突出検出フィルタ処理202によ
ってカメラの動きや、被写体の動き等のノイズは除去
し、カット点を強調した変化量18DIh=Nh−max
{Nh-2,Nh-1,Nh+1,Nh+2}を得る。
較対象に用いている。突出検出フィルタ処理202によ
ってカメラの動きや、被写体の動き等のノイズは除去
し、カット点を強調した変化量18DIh=Nh−max
{Nh-2,Nh-1,Nh+1,Nh+2}を得る。
【0075】変化量算出の際に作成する縮小画像は、直
流成分のうちの輝度成分だけを用いた白黒画像でも良い
し、色差成分も用いてカラー画像化しても良い。変化量
は、隣り合うIピクチャ同士の変化の大小を反映する特
微量であれば良く、例えば、対応する画素同士の輝度や
色の差分でも良いし、各画像の輝度と色を基に算出した
ヒストグラム同士の差分でも良いし、いくつかの画素を
集めた画素ブロック同士の差分をとっても良い。本実施
例では、変化量の算出に際して、突出検出フィルタをか
けたが、他のフィルタを用いても良いし、フィルタを用
いずとも良い。
流成分のうちの輝度成分だけを用いた白黒画像でも良い
し、色差成分も用いてカラー画像化しても良い。変化量
は、隣り合うIピクチャ同士の変化の大小を反映する特
微量であれば良く、例えば、対応する画素同士の輝度や
色の差分でも良いし、各画像の輝度と色を基に算出した
ヒストグラム同士の差分でも良いし、いくつかの画素を
集めた画素ブロック同士の差分をとっても良い。本実施
例では、変化量の算出に際して、突出検出フィルタをか
けたが、他のフィルタを用いても良いし、フィルタを用
いずとも良い。
【0076】カット点検出過程の一実施例について述べ
る。この過程では、Iピクチャ変化量算出手段17と、
Pピクチャ変化量算出手段14の2つの変化量算出手段
によって得られたIピクチャ変化量DIhとPピクチャ
変化量DPh,kを組み合わせることで、最終的なカット
点を得る。
る。この過程では、Iピクチャ変化量算出手段17と、
Pピクチャ変化量算出手段14の2つの変化量算出手段
によって得られたIピクチャ変化量DIhとPピクチャ
変化量DPh,kを組み合わせることで、最終的なカット
点を得る。
【0077】次に、カット点検出手段19の第一の実施
例について述べる。2つのIピクチャ変化量DIh(h
=0,1,…,t)とPピクチャ変化量DPh,k(h=
0,1,…,t、k=0,1,…,13)に対して、そ
れぞれ閾値TPとTIを設定し、各変化量が閾値を上回
った場合、全てをカット点とする。なお、ここで用いる
閾値は、あらかじめ定めた値でも構わないし、様々に変
化させても構わない。変化のさせ方については後述す
る。
例について述べる。2つのIピクチャ変化量DIh(h
=0,1,…,t)とPピクチャ変化量DPh,k(h=
0,1,…,t、k=0,1,…,13)に対して、そ
れぞれ閾値TPとTIを設定し、各変化量が閾値を上回
った場合、全てをカット点とする。なお、ここで用いる
閾値は、あらかじめ定めた値でも構わないし、様々に変
化させても構わない。変化のさせ方については後述す
る。
【0078】前記カット点検出手段19の第一の実施例
について、図10を用いて詳細に説明する。カット点が
存在するかどうかの判定をステップ300でグループ毎
に行なう。あるグループh(h=0,1,…,t)のP
ピクチャ列13から算出したPピクチャ変化量DPh,k
(k=0,1,…,13)が閾値TPを上回るPピクチ
ャ変化量DPh,k'が存在する(Yes)場合、フレー
ム番号k’にカット点(カット点k’:302)が存在
するとし、Iピクチャ変化量DIhの値とは無関係にグ
ループhに対するカット点検出処理を終了する。
について、図10を用いて詳細に説明する。カット点が
存在するかどうかの判定をステップ300でグループ毎
に行なう。あるグループh(h=0,1,…,t)のP
ピクチャ列13から算出したPピクチャ変化量DPh,k
(k=0,1,…,13)が閾値TPを上回るPピクチ
ャ変化量DPh,k'が存在する(Yes)場合、フレー
ム番号k’にカット点(カット点k’:302)が存在
するとし、Iピクチャ変化量DIhの値とは無関係にグ
ループhに対するカット点検出処理を終了する。
【0079】Pピクチャ変化量DPh,kが閾値TPを下
回る場合でも、グループの最後のPピクチャと次のグル
ープの先頭のIピクチャの間にカット点が存在する可能
性があるので、Iピクチャから算出されたDIh+1を評
価する(ステップ303)。DIh+1が閾値TIを上回
る場合(Yes)、グループhの最後のPピクチャと次
のグループh+1の先頭のIピクチャとの間にカット点
が存在するとし、カット点に対応するフレームの位置を
決定し、カット点h+1に対応する時刻をカット点(カ
ット点h+1:305)として出力して終了する。DI
h+1が閾値TIを下回った(No)場合には、カット点
はグループhには存在しないとし(ステップ306)、
終了する。
回る場合でも、グループの最後のPピクチャと次のグル
ープの先頭のIピクチャの間にカット点が存在する可能
性があるので、Iピクチャから算出されたDIh+1を評
価する(ステップ303)。DIh+1が閾値TIを上回
る場合(Yes)、グループhの最後のPピクチャと次
のグループh+1の先頭のIピクチャとの間にカット点
が存在するとし、カット点に対応するフレームの位置を
決定し、カット点h+1に対応する時刻をカット点(カ
ット点h+1:305)として出力して終了する。DI
h+1が閾値TIを下回った(No)場合には、カット点
はグループhには存在しないとし(ステップ306)、
終了する。
【0080】次に、カット点検出手段19の第二の実施
例について説明する。第二の実施例では、2つの変化量
算出手段(14,17)で得られた2つの変化量に重み
を乗じ、和をとったものが閾値以上である場合カット点
が存在するとする。
例について説明する。第二の実施例では、2つの変化量
算出手段(14,17)で得られた2つの変化量に重み
を乗じ、和をとったものが閾値以上である場合カット点
が存在するとする。
【0081】前記カット点検出手段19の第二の実施例
について、図11を用いて詳細に説明する。まず、ステ
ップ400であるグループhのPピクチャ列13から算
出した変化量の最大値max{DPh,k}(k=0,
1,2,・・・13)を決定し、前記グループhにカット
点が存在するかどうかの判定をステップ401で行な
う。あるグループhのPピクチャ列13から算出した変
化量の最大値max{DPh,k}と、次のグループh+
1のIピクチャ列16の変化量DIh+1のそれぞれに重
みWP,WI(ただし、WP=14/15,WI=1/
15)を乗じ和をとる。得られた値が閾値Tを上回る
(Yes)場合、グループhにカット点は存在している
とする(ステップ402)。存在すると判定された場
合、フレーム番号を特定するため、重みを乗じた変化量
WP*max{DPh,k}とWI*DIh+1とをステッ
プ403で比較し、変化量WP*max{DPh,k}が
大きい(Yes)場合、max{DPh,k}に対応する
フレーム番号k’にカット点が存在すると判定する(ス
テップ405)。また、WI*DIh+1が大きい(N
o)場合、WI*DIh+1の直前にカット点が存在と判
定する(ステップ406)。
について、図11を用いて詳細に説明する。まず、ステ
ップ400であるグループhのPピクチャ列13から算
出した変化量の最大値max{DPh,k}(k=0,
1,2,・・・13)を決定し、前記グループhにカット
点が存在するかどうかの判定をステップ401で行な
う。あるグループhのPピクチャ列13から算出した変
化量の最大値max{DPh,k}と、次のグループh+
1のIピクチャ列16の変化量DIh+1のそれぞれに重
みWP,WI(ただし、WP=14/15,WI=1/
15)を乗じ和をとる。得られた値が閾値Tを上回る
(Yes)場合、グループhにカット点は存在している
とする(ステップ402)。存在すると判定された場
合、フレーム番号を特定するため、重みを乗じた変化量
WP*max{DPh,k}とWI*DIh+1とをステッ
プ403で比較し、変化量WP*max{DPh,k}が
大きい(Yes)場合、max{DPh,k}に対応する
フレーム番号k’にカット点が存在すると判定する(ス
テップ405)。また、WI*DIh+1が大きい(N
o)場合、WI*DIh+1の直前にカット点が存在と判
定する(ステップ406)。
【0082】また、ステップ401で前記グループhに
カット点が存在しないと判定された(No)場合、カッ
ト点は存在しないとし処理は終了する(ステップ40
4)。
カット点が存在しないと判定された(No)場合、カッ
ト点は存在しないとし処理は終了する(ステップ40
4)。
【0083】なお、ここで用いる重みと閾値は、あらか
じめ定めた値でも構わないし、様々に変化させても構わ
ない。変化のさせかたについては後述する。
じめ定めた値でも構わないし、様々に変化させても構わ
ない。変化のさせかたについては後述する。
【0084】次に、前記カット点検出手段19の第3の
実施例について説明する。前述のカット点検出手段の第
一の実施例における閾値を出現頻度に応じて変化させ
る。Iピクチャの出現頻度に応じた最適な閾値を与える
対応表をあらかじめ作成しておき、出現頻度に応じて閾
値を設定する。Iピクチャの出現頻度が高い場合には、
Iピクチャ同士の間隔は接近しているため、カメラや被
写体の動きによる画像の内容の違いは小さく、変化量は
小さいため、閾値を低くしてもこれらをカット点として
誤って検出することはない。閾値を低くすることで、シ
ーンの画像の内容の変化が小さいカット点を検出し損な
うことがなくなる。
実施例について説明する。前述のカット点検出手段の第
一の実施例における閾値を出現頻度に応じて変化させ
る。Iピクチャの出現頻度に応じた最適な閾値を与える
対応表をあらかじめ作成しておき、出現頻度に応じて閾
値を設定する。Iピクチャの出現頻度が高い場合には、
Iピクチャ同士の間隔は接近しているため、カメラや被
写体の動きによる画像の内容の違いは小さく、変化量は
小さいため、閾値を低くしてもこれらをカット点として
誤って検出することはない。閾値を低くすることで、シ
ーンの画像の内容の変化が小さいカット点を検出し損な
うことがなくなる。
【0085】Iピクチャの出現頻度が低い場合は、カメ
ラや被写体の動きによる差が大きく、変化量が大きくな
るため、これらをカット点として誤って検出することを
防ぐため閾値を高く設定する。Iピクチャの出現頻度が
非常に高い場合には、Iピクチャの変化量だけを用いて
カット点を検出する。IピクチャからDCT係数の直流
成分を抽出すると、各Iピクチャの縮小画像を作成する
ことができる。この縮小画像を従来の非圧縮映像からの
カット点検出方法に入力することで、従来のカット点検
出方法とほぼ等しい精度でカット点を検出することがで
きる。本実施例では、Iピクチャが1秒間に10フレー
ムを超えて出現する場合は、Iピクチャのみでカット点
の検出を行なうことにしている。
ラや被写体の動きによる差が大きく、変化量が大きくな
るため、これらをカット点として誤って検出することを
防ぐため閾値を高く設定する。Iピクチャの出現頻度が
非常に高い場合には、Iピクチャの変化量だけを用いて
カット点を検出する。IピクチャからDCT係数の直流
成分を抽出すると、各Iピクチャの縮小画像を作成する
ことができる。この縮小画像を従来の非圧縮映像からの
カット点検出方法に入力することで、従来のカット点検
出方法とほぼ等しい精度でカット点を検出することがで
きる。本実施例では、Iピクチャが1秒間に10フレー
ムを超えて出現する場合は、Iピクチャのみでカット点
の検出を行なうことにしている。
【0086】Iピクチャの閾値TIと同様に、Pピクチ
ャ閾値TPを変化させる。Pピクチャは動き予測符号化
を行っているので、動きの影響をうけづらいという利点
があり、IピクチャないしPピクチャが連続して出現し
ている場合には、とくにPピクチャ閾値TPを変化させ
る必要はない。しかし、Pピクチャ列の間にBピクチャ
が出現する場合には、ピクチャ同士の間隔が広いため、
画像中の被写体やカメラの動きが連続に出現する場合と
比べて大きく変化する。従って、Pピクチャが連続で出
現しているか、それともBピクチャが出現しているかど
うかによって、Pピクチャ閾値TPを変化させる。すな
わち、Bピクチャの出現頻度に応じてPピクチャ変化量
の閾値TPを変化させる。
ャ閾値TPを変化させる。Pピクチャは動き予測符号化
を行っているので、動きの影響をうけづらいという利点
があり、IピクチャないしPピクチャが連続して出現し
ている場合には、とくにPピクチャ閾値TPを変化させ
る必要はない。しかし、Pピクチャ列の間にBピクチャ
が出現する場合には、ピクチャ同士の間隔が広いため、
画像中の被写体やカメラの動きが連続に出現する場合と
比べて大きく変化する。従って、Pピクチャが連続で出
現しているか、それともBピクチャが出現しているかど
うかによって、Pピクチャ閾値TPを変化させる。すな
わち、Bピクチャの出現頻度に応じてPピクチャ変化量
の閾値TPを変化させる。
【0087】例えば、Pピクチャ2フレームの間にBピ
クチャが0フレームも出現しない場合と、Bピクチャが
2フレーム出現する場合とでは、閾値を変化させる。動
きの影響を受やすいとイントラブロックが多数出現しや
すく、変化量も大きくなりやすいという特徴があるた
め、Bピクチャが0フレームも出現しない場合は閾値を
低くし、2フレーム出現する場合には、閾値を高くする
という操作を行なう。
クチャが0フレームも出現しない場合と、Bピクチャが
2フレーム出現する場合とでは、閾値を変化させる。動
きの影響を受やすいとイントラブロックが多数出現しや
すく、変化量も大きくなりやすいという特徴があるた
め、Bピクチャが0フレームも出現しない場合は閾値を
低くし、2フレーム出現する場合には、閾値を高くする
という操作を行なう。
【0088】また、Iピクチャ、Pピクチャのそれぞれ
の変化量への重みの付け方についても、双方の出現頻度
に応じて変化させる。すなわち、後述する第二の実施例
では、WIを1/15、WPを14/15としている
が、Iピクチャの出現頻度が高ければWIは大きくし、
低ければWIを小さくする。また、Bピクチャの出現頻
度が高ければWPは大きくし、低ければWPを小さくす
る。
の変化量への重みの付け方についても、双方の出現頻度
に応じて変化させる。すなわち、後述する第二の実施例
では、WIを1/15、WPを14/15としている
が、Iピクチャの出現頻度が高ければWIは大きくし、
低ければWIを小さくする。また、Bピクチャの出現頻
度が高ければWPは大きくし、低ければWPを小さくす
る。
【0089】なお、第三の実施例同様Iピクチャが1秒
間に10フレーム以上出現するような場合には、WIを
15/15、すなわち1としWPを0とする。
間に10フレーム以上出現するような場合には、WIを
15/15、すなわち1としWPを0とする。
【0090】本実施例では、閾値はカット点検出装置に
よって自動的に与えられているが、ユーザインタフェー
ス部を付加し、任意に閾値を変化することも可能であ
る。例えば、ユーザが圧縮符号化映像の内容をブラウジ
ングしやすいようにカット点直後の画像を表示する機能
と、ユーザインタフェース部とを共に付加し、閾値を任
意に設定させることで、ユーザが圧縮符号化映像の内容
を表示する画像の個数を調節し、希望するシーンをアク
セスしやすいようにする本発明の装置を応用したアプリ
ケーションも考えられる。
よって自動的に与えられているが、ユーザインタフェー
ス部を付加し、任意に閾値を変化することも可能であ
る。例えば、ユーザが圧縮符号化映像の内容をブラウジ
ングしやすいようにカット点直後の画像を表示する機能
と、ユーザインタフェース部とを共に付加し、閾値を任
意に設定させることで、ユーザが圧縮符号化映像の内容
を表示する画像の個数を調節し、希望するシーンをアク
セスしやすいようにする本発明の装置を応用したアプリ
ケーションも考えられる。
【0091】(実施形態2)図12は本発明の実施形態
(実施例)2のカット点検出方法を説明するための横切
り物体が存在する場合の変化量を示す図、図13はIピ
クチャ上の変化領域部分によるDP算出処理を説明する
ための図、図14は各状態におけるPピクチャの変化量
を説明するための図である。
(実施例)2のカット点検出方法を説明するための横切
り物体が存在する場合の変化量を示す図、図13はIピ
クチャ上の変化領域部分によるDP算出処理を説明する
ための図、図14は各状態におけるPピクチャの変化量
を説明するための図である。
【0092】本発明の実施形態(実施例)2のカット点
検出方法は、前記実施形態1におけるPピクチャ変化量
をIピクチャ変化量で補正することにより、ノイズを除
去するものである。
検出方法は、前記実施形態1におけるPピクチャ変化量
をIピクチャ変化量で補正することにより、ノイズを除
去するものである。
【0093】前記実施形態1において、Pピクチャ列か
ら変化量を算出する際に、Pピクチャ上での、フラッシ
ュや動き情報などの急激な変化をカット点として誤って
検出することを防ぐ変化量算出手段を説明した。この変
化量算出手段の一実施例は、XOR配列を作成する処理
から変化量を算出する手法である。これは、フラッシュ
が発生したフレームと次のフレームでは、それぞれ対応
する位置上のブロック(MB)がブロック内符号化ブロ
ック(IntraMB)になるためXOR演算を行なう
ことで、フラッシュを変化量から除去することが可能で
ある。
ら変化量を算出する際に、Pピクチャ上での、フラッシ
ュや動き情報などの急激な変化をカット点として誤って
検出することを防ぐ変化量算出手段を説明した。この変
化量算出手段の一実施例は、XOR配列を作成する処理
から変化量を算出する手法である。これは、フラッシュ
が発生したフレームと次のフレームでは、それぞれ対応
する位置上のブロック(MB)がブロック内符号化ブロ
ック(IntraMB)になるためXOR演算を行なう
ことで、フラッシュを変化量から除去することが可能で
ある。
【0094】XOR配列による方法は、フラッシュ等の
影響を相殺し、ディゾルブ等の緩やかな変化にも有効な
手法である。しかし、物体が高速で横切っていく場合、
横切る物体の縁領域に追随してブロック内符号化ブロッ
ク(IntraMB)が出現する。こうした場合、前記
実施形態1ですでに提案したXOR配列を作成する手法
では、ノイズが相殺されず、大きな変化量が算出される
ことになる(図12参照)。一方で、すばやく横切るた
め、対応するIピクチャ同士の成分は一致し、Iピクチ
ャ同士の比較による変化は小さい。したがって、Pピク
チャ変化量は大きく、Iピクチャ変化量は小さくなり、
評価方法によっては、実際にはカット点が存在しなくて
も、カット点が存在すると誤って判別する可能性があ
る。
影響を相殺し、ディゾルブ等の緩やかな変化にも有効な
手法である。しかし、物体が高速で横切っていく場合、
横切る物体の縁領域に追随してブロック内符号化ブロッ
ク(IntraMB)が出現する。こうした場合、前記
実施形態1ですでに提案したXOR配列を作成する手法
では、ノイズが相殺されず、大きな変化量が算出される
ことになる(図12参照)。一方で、すばやく横切るた
め、対応するIピクチャ同士の成分は一致し、Iピクチ
ャ同士の比較による変化は小さい。したがって、Pピク
チャ変化量は大きく、Iピクチャ変化量は小さくなり、
評価方法によっては、実際にはカット点が存在しなくて
も、カット点が存在すると誤って判別する可能性があ
る。
【0095】そこで、これを防ぐために、算出されたP
ピクチャ変化量から、Iピクチャ同士のブロック(M
B)を比較して類似していると判定されたブロック(M
B)に対応するPピクチャ列上でのブロック(MB)部
分から算出されたPピクチャ変化量部分を除去し、得ら
れる値をPピクチャ変化量として用いる(図13参
照)。
ピクチャ変化量から、Iピクチャ同士のブロック(M
B)を比較して類似していると判定されたブロック(M
B)に対応するPピクチャ列上でのブロック(MB)部
分から算出されたPピクチャ変化量部分を除去し、得ら
れる値をPピクチャ変化量として用いる(図13参
照)。
【0096】このような場合、Pピクチャ列上に、カッ
ト点、ディゾルブ変化、フラッシュ、横切り物体、カメ
ラワーク等による動き情報が存在するとき、それぞれの
画像上では(図14参照)、 カット点及びディゾルブ: Iピクチャ同士に著しい差
があり、Pピクチャ上での対象領域は大きくなり、Pピ
クチャ変化量は大きな値を持つ。 フラッシュ及び横切り物体:Iピクチャ同士に差がない
ため、Pピクチャ上での比較対象領域は小さくなり、P
ピクチャ変化量も大きな値を取らない。 動き情報: Iピクチャ同士に著しい差
があり、Pピクチャ上での比較対象領域は大きくなる
が、Pピクチャ上で、動き補償により動き情報が吸収さ
れるため、Pピクチャ変化量は小さくなる。 すなわち、Pピクチャを算出する際にIピクチャで得ら
れる情報を用いることにより、安定に検出することがで
きる。
ト点、ディゾルブ変化、フラッシュ、横切り物体、カメ
ラワーク等による動き情報が存在するとき、それぞれの
画像上では(図14参照)、 カット点及びディゾルブ: Iピクチャ同士に著しい差
があり、Pピクチャ上での対象領域は大きくなり、Pピ
クチャ変化量は大きな値を持つ。 フラッシュ及び横切り物体:Iピクチャ同士に差がない
ため、Pピクチャ上での比較対象領域は小さくなり、P
ピクチャ変化量も大きな値を取らない。 動き情報: Iピクチャ同士に著しい差
があり、Pピクチャ上での比較対象領域は大きくなる
が、Pピクチャ上で、動き補償により動き情報が吸収さ
れるため、Pピクチャ変化量は小さくなる。 すなわち、Pピクチャを算出する際にIピクチャで得ら
れる情報を用いることにより、安定に検出することがで
きる。
【0097】(実施形態3)Iピクチャが周期的に出現
するような大半のMPEGデータでは、Pピクチャ変化
量だけを基にしたカット点検出方法の場合、Iピクチャ
直前にカット点が存在していても検出が不可能であるこ
とは、すでに前記実施形態において述べた。そこで、I
ピクチャ同士を比較して、Iピクチャ変化量を用いてカ
ット点を検出する方法についてもすでに述べた。
するような大半のMPEGデータでは、Pピクチャ変化
量だけを基にしたカット点検出方法の場合、Iピクチャ
直前にカット点が存在していても検出が不可能であるこ
とは、すでに前記実施形態において述べた。そこで、I
ピクチャ同士を比較して、Iピクチャ変化量を用いてカ
ット点を検出する方法についてもすでに述べた。
【0098】しかし、Iピクチャ変化量は大局的な特徴
量であるため、Iピクチャ直前に存在するカット点を検
出するためには、Iピクチャ間に存在するPピクチャ上
での変化による影響を排除する必要がある。なお、この
場合のPピクチャ上での変化とは、カット点、フラッシ
ュ、カメラワークや動き被写体等の動き情報のことを指
す。そこで、Iピクチャ同士の比較によるカット点検出
に影響を及ぼしそうなPピクチャ上での変化を記録し、
Iピクチャ変化量を算出した後でPピクチャの変化分を
除去する補正処理を行なって、Iピクチャ直前のカット
点を検出することができる。
量であるため、Iピクチャ直前に存在するカット点を検
出するためには、Iピクチャ間に存在するPピクチャ上
での変化による影響を排除する必要がある。なお、この
場合のPピクチャ上での変化とは、カット点、フラッシ
ュ、カメラワークや動き被写体等の動き情報のことを指
す。そこで、Iピクチャ同士の比較によるカット点検出
に影響を及ぼしそうなPピクチャ上での変化を記録し、
Iピクチャ変化量を算出した後でPピクチャの変化分を
除去する補正処理を行なって、Iピクチャ直前のカット
点を検出することができる。
【0099】以下に本実施形態3の2つの実施例につい
て説明する。第一の実施例は、単純なIピクチャ同士を
比較して変化量DItを算出すると、カメラワークや動
き被写体などの動き情報に左右される。そこで、あらか
じめ画面上で動き物体がどのように動いていったかとい
う軌跡を各Pピクチャの動き予測ベクトルを利用して追
跡し、注目Iピクチャ上の対応するマクロブロックが比
較対象Iピクチャ上のどこに有りそうかという情報を用
いて、比較するブロック(MB)の探索範囲を狭め、動
きに追随したIピクチャ同士からの変化量を算出できる
ようにする。このように、動き情報を相殺することによ
ってカメラワークや動き被写体の影響を排除でき、これ
らの場合を誤ってシーンチェンジが行われたと判断する
ことを防ぐ。
て説明する。第一の実施例は、単純なIピクチャ同士を
比較して変化量DItを算出すると、カメラワークや動
き被写体などの動き情報に左右される。そこで、あらか
じめ画面上で動き物体がどのように動いていったかとい
う軌跡を各Pピクチャの動き予測ベクトルを利用して追
跡し、注目Iピクチャ上の対応するマクロブロックが比
較対象Iピクチャ上のどこに有りそうかという情報を用
いて、比較するブロック(MB)の探索範囲を狭め、動
きに追随したIピクチャ同士からの変化量を算出できる
ようにする。このように、動き情報を相殺することによ
ってカメラワークや動き被写体の影響を排除でき、これ
らの場合を誤ってシーンチェンジが行われたと判断する
ことを防ぐ。
【0100】第二の実施例は、Iピクチャ列からの変化
量は、Pピクチャ変化量では検出不可能なPピクチャと
Iピクチャ間に存在するカット点の検出にも用いられ
る。その際、単純なIピクチャ同士の比較によるIピク
チャ変化量ではPピクチャ上で発生した変化なのか、P
ピクチャとIピクチャ間で発生した変化なのかを区別で
きない。そこで、Iピクチャ変化量からPピクチャ上の
変化による影響を除去する処理が必要となる。
量は、Pピクチャ変化量では検出不可能なPピクチャと
Iピクチャ間に存在するカット点の検出にも用いられ
る。その際、単純なIピクチャ同士の比較によるIピク
チャ変化量ではPピクチャ上で発生した変化なのか、P
ピクチャとIピクチャ間で発生した変化なのかを区別で
きない。そこで、Iピクチャ変化量からPピクチャ上の
変化による影響を除去する処理が必要となる。
【0101】Pピクチャ上での動きや明度変化は、予測
残差の大きなInterMB(フィールド間順方向予測
符号化ブロック)やIntraMBとなって現れる。そ
こで、Pピクチャ列上でIntraMBや予測残差の大
きなInterMBが出現した領域を順次蓄積し、記録
する。Pピクチャ上に蓄積し、記録されたこれらの領域
は、Pピクチャ上の変化に対応し、Iピクチャ同士の比
較を行なってPピクチャとIピクチャ間での変化量を算
出する際には、除去されるべきである。そこで、算出さ
れたIピクチャ変化量からPピクチャ上で記録した前述
の変化領域に対応した領域から算出された変化量につい
ては、除去する処理を行なうことにより、Pピクチャと
Iピクチャ間の変化量を求めることができる(図15参
照)。
残差の大きなInterMB(フィールド間順方向予測
符号化ブロック)やIntraMBとなって現れる。そ
こで、Pピクチャ列上でIntraMBや予測残差の大
きなInterMBが出現した領域を順次蓄積し、記録
する。Pピクチャ上に蓄積し、記録されたこれらの領域
は、Pピクチャ上の変化に対応し、Iピクチャ同士の比
較を行なってPピクチャとIピクチャ間での変化量を算
出する際には、除去されるべきである。そこで、算出さ
れたIピクチャ変化量からPピクチャ上で記録した前述
の変化領域に対応した領域から算出された変化量につい
ては、除去する処理を行なうことにより、Pピクチャと
Iピクチャ間の変化量を求めることができる(図15参
照)。
【0102】(実施形態4)なお、本発明は、圧縮符号
化データを保存し、それらを自由に読み出し可能なハー
ドディスクやそれに準ずる装置と、データを処理する際
に必要なバッファやそれに準ずる装置と、最終的に検出
されたカット点を表示、出力するディスプレイなどの装
置を備え、それらハードディスク、バッファ及びディス
プレイ等をあらかじめ定められた手順に基づいて制御す
る中央演算装置などを備えたコンピュータやそれに準ず
る装置を元に、上述した実施形態1,2,3の処理、な
いしは、図1,図2,図3,図8,図9,図10及び図
11に示した方法ないしアルゴリズムを記述した処理プ
ログラムやそれに準ずる物を、該コンピュータに対して
与え、制御、実行させることで実現することが可能であ
る。なお、該処理プログラムやそれに準ずる物を、コン
ピュータが実行するに当たって読み出すことを可能とす
るフロッピーディスク(FD)、光磁気ディスク(M
O)やそれに準ずる記憶媒体に格納されていても構わな
い。
化データを保存し、それらを自由に読み出し可能なハー
ドディスクやそれに準ずる装置と、データを処理する際
に必要なバッファやそれに準ずる装置と、最終的に検出
されたカット点を表示、出力するディスプレイなどの装
置を備え、それらハードディスク、バッファ及びディス
プレイ等をあらかじめ定められた手順に基づいて制御す
る中央演算装置などを備えたコンピュータやそれに準ず
る装置を元に、上述した実施形態1,2,3の処理、な
いしは、図1,図2,図3,図8,図9,図10及び図
11に示した方法ないしアルゴリズムを記述した処理プ
ログラムやそれに準ずる物を、該コンピュータに対して
与え、制御、実行させることで実現することが可能であ
る。なお、該処理プログラムやそれに準ずる物を、コン
ピュータが実行するに当たって読み出すことを可能とす
るフロッピーディスク(FD)、光磁気ディスク(M
O)やそれに準ずる記憶媒体に格納されていても構わな
い。
【0103】以上、本発明者によってなされた発明を、
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。
【0104】
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。
【0105】圧縮符号化された画像データ列に対し、画
面内符号化画像と、画面間順方向予測符号化画像に含ま
れている各種情報を用いて、カット点を検出することに
より、データを復号化することなく、高速で、安定にカ
ット点を検出することができる。
面内符号化画像と、画面間順方向予測符号化画像に含ま
れている各種情報を用いて、カット点を検出することに
より、データを復号化することなく、高速で、安定にカ
ット点を検出することができる。
【図1】本発明の実施形態のカット点検出方法の処理の
流れを示すフローチャートである。
流れを示すフローチャートである。
【図2】本実施形態のカット点検出方法を実施するカッ
ト点検出装置の一実施例の概略構成を示すブロック構成
図である。
ト点検出装置の一実施例の概略構成を示すブロック構成
図である。
【図3】本実施形態のカット点検出方法を実施するカッ
ト点検出装置におけるPピクチャ変化量算出手段の処理
手段を示すフローチャートである。
ト点検出装置におけるPピクチャ変化量算出手段の処理
手段を示すフローチャートである。
【図4】本実施形態のカット点検出方法におけるXOR
配列作成の原理を説明するための図である。
配列作成の原理を説明するための図である。
【図5】本実施形態のカット点検出方法の一般的なカッ
ト点の場合の諸条件におけるPピクチャ、ブロック配
列、XOR配列の模式図である。
ト点の場合の諸条件におけるPピクチャ、ブロック配
列、XOR配列の模式図である。
【図6】本実施形態のカット点検出方法のワイプの場合
の諸条件におけるPピクチャ、ブロック配列、XOR配
列の模式図である。
の諸条件におけるPピクチャ、ブロック配列、XOR配
列の模式図である。
【図7】本実施形態のカット点検出方法のフラッシュの
場合の諸条件におけるPピクチャ、ブロック配列、XO
R配列の模式図である。
場合の諸条件におけるPピクチャ、ブロック配列、XO
R配列の模式図である。
【図8】本実施形態のカット点検出方法における変化量
算出処理の手順を示すフローチャートである。
算出処理の手順を示すフローチャートである。
【図9】本実施形態のカット点検出方法を実施するカッ
ト点検出装置におけるIピクチャ変化量算出手段の処理
手段を示すフローチャートである。
ト点検出装置におけるIピクチャ変化量算出手段の処理
手段を示すフローチャートである。
【図10】本実施形態のカット点検出方法を実施するカ
ット点検出装置におけるカット点検出手段の第一の実施
例の処理手順を示すフローチャートである。
ット点検出装置におけるカット点検出手段の第一の実施
例の処理手順を示すフローチャートである。
【図11】本実施形態のカット点検出方法を実施するカ
ット点検出装置におけるカット点検出手段の第二の実施
例の処理手順を示すフローチャートである。
ット点検出装置におけるカット点検出手段の第二の実施
例の処理手順を示すフローチャートである。
【図12】本発明の実施形態2における横切り物体が存
在する場合の変化量を説明するための図である。
在する場合の変化量を説明するための図である。
【図13】本実施形態2におけるIピクチャ上の変化領
域部分によるDP算出処理を説明するための図である。
域部分によるDP算出処理を説明するための図である。
【図14】本実施形態2における各状態におけるPピク
チャの変化量を説明するための図である。
チャの変化量を説明するための図である。
【図15】本発明の実施形態3におけるDIのDPによ
る補正及び比較処理を説明するための図である。
る補正及び比較処理を説明するための図である。
【図16】従来の画面内符号化方式、画面間順方向予測
符号化方式、画面間双方向予測符号化方式を説明するた
めの図である。
符号化方式、画面間双方向予測符号化方式を説明するた
めの図である。
0…入力圧縮画像データ、1…画面間順方向予測符号化
画像列、2…画面間順方向予測符号化変化量算出過程、
3…画面間順方向予測符号化画像列変化量、4…画面内
符号化画像列、5…画面内符号化変化量算出過程、6…
画面内符号化画像列変化量、7…カット点検出過程、1
0…入力圧縮画像データ列、11…ピクチャ判定手段、
12…データ列メモリ、13…Pピクチャ列、14…P
ピクチャ変化量算出手段、15…Pピクチャの変化量、
16…Iピクチャ列、17…Iピクチャ変化量算出手
段、18…Iピクチャの変化量、19…カット点検出手
段、20…カット点。
画像列、2…画面間順方向予測符号化変化量算出過程、
3…画面間順方向予測符号化画像列変化量、4…画面内
符号化画像列、5…画面内符号化変化量算出過程、6…
画面内符号化画像列変化量、7…カット点検出過程、1
0…入力圧縮画像データ列、11…ピクチャ判定手段、
12…データ列メモリ、13…Pピクチャ列、14…P
ピクチャ変化量算出手段、15…Pピクチャの変化量、
16…Iピクチャ列、17…Iピクチャ変化量算出手
段、18…Iピクチャの変化量、19…カット点検出手
段、20…カット点。
フロントページの続き (72)発明者 浜田 洋 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内 (72)発明者 外村 佳伸 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内
Claims (10)
- 【請求項1】 画面間予測符号化方式と画面内符号化方
式を共に含む圧縮符号化方式によって圧縮された画像デ
ータ列からカット点を検出するカット点検出方法におい
て、画面間順方向予測符号化方式で圧縮された画像列P
tに含まれる符号化情報を基に、画像列Ptの変化量DP
tを算出する画面間順方向予測符号化変化量算出過程
と、画面内符号化方式で圧縮された画像列Itに含まれ
る符号化情報を基に、画像列Itの変化量DItを算出す
る画面内符号化変化量算出過程と、両過程で得られる二
つの変化量DPtとDItの両方を評価しカット点を検出
するカット点検出過程を具備することを特徴とするカッ
ト点検出方法。 - 【請求項2】 前記画面間順方向予測符号化変化量算出
過程において、画面間予測が外れた領域が全画面に占め
る割合を変化量とすることを特徴とする請求項1に記載
のカット点検出方法。 - 【請求項3】 前記画面間順方向予測符号化変化量算出
過程、画面内符号化変化量算出過程のいずれか一方又は
両方で、画像列の隣り合う画像間で変化の生じた領域を
変化領域として求める過程と、該変化領域の時間系列に
対してあらかじめ与えられた空間的演算を施した後、そ
れらを時間的に積分する過程を含むことを特徴とする請
求項1に記載のカット点検出方法。 - 【請求項4】 前記変化量DPtと変化量DItの両方を
評価しカット点を検出するカット点検出過程において、
画像列Ptに含まれる符号化情報を基に得られた画像列
Ptの変化量DPtに対して、画像列Itから得られた情
報を用いて、変化量DPtを補正する処理過程を含むこ
とを特徴とする請求項1乃至3のうちいずれか1項に記
載のカット点検出方法。 - 【請求項5】 前記変化量DPtと変化量DItの両方を
評価しカット点を検出するカット点検出過程において、
画像列Itに含まれる符号化情報を基に得られた画像列
Itの変化量DItに対して、画像列Ptから得られた情
報を用いて、変化量DItを補正する処理過程を含むこ
とを特徴とする請求項1乃至3のうちいずれか1項に記
載のカット点検出方法。 - 【請求項6】 前記カット点検出過程において、画面間
順方向予測符号化変化量算出過程から得られる変化量D
Ptが、第一の閾値TPtを上回るか、画面内符号化変化
量算出過程から得られる変化量DItが、第二の閾値T
Itを上回るか、どちらか一方が成立した場合に時刻t
にカット点が存在していると判定することを特徴とする
請求項1,4,5のいずれか1項に記載のカット点検出
方法。 - 【請求項7】 前記カット点検出過程において、画像列
Ptと画像列Itの出現頻度を測定する過程を含み、該出
現頻度に応じて、二つの変化量DPtとDItを評価する
手続きを切り替えることを特徴とする請求項1,4,5
のいずれか1項に記載のカット点検出方法。 - 【請求項8】 カット点検出過程において、画像列Pt
と画像列Itの出現頻度を測定する過程を含み、該出現
頻度に応じて、二つの変化量DPtとDItに対する二つ
の閾値TPt,TItを制御することを特徴とする請求項
1,4,5のいずれか1項に記載のカット点検出方法。 - 【請求項9】 コンピュータに、請求項1乃至8のいず
れか1項に記載のカット点検出方法を機能させるための
処理プログラムを記録したコンピュータが読み取り可能
な記録媒体。 - 【請求項10】 画面間予測符号化方式と画面内符号化
方式を共に含む圧縮符号化方式によって圧縮された画像
データ列からカット点を検出するカット点検出装置にお
いて、画像データ列中の圧縮符号化方式の種類を判定
し、符号化データを分類するピクチャ判定手段と、画面
間順方向予測符号化方式で圧縮された画像列Ptに含ま
れる符号化情報を基に、画像列Ptの変化量DPtを算出
するPピクチャ変化量算出手段と、画面内符号化方式で
圧縮された画像列Itに含まれる符号化情報を基に、画
像列Itの変化量DItを算出するIピクチャ変化量算出
手段と、両変化量算出手段で得られる二つの変化量DP
tとDItを評価しカット点を検出するカット点検出手段
とを具備することを特徴とするカット点検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9108601A JP2869398B2 (ja) | 1996-04-30 | 1997-04-25 | カット点検出方法及び装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10885896 | 1996-04-30 | ||
JP9-105483 | 1997-04-23 | ||
JP10548397 | 1997-04-23 | ||
JP8-108858 | 1997-04-23 | ||
JP9108601A JP2869398B2 (ja) | 1996-04-30 | 1997-04-25 | カット点検出方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH118854A true JPH118854A (ja) | 1999-01-12 |
JP2869398B2 JP2869398B2 (ja) | 1999-03-10 |
Family
ID=27310503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9108601A Expired - Fee Related JP2869398B2 (ja) | 1996-04-30 | 1997-04-25 | カット点検出方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2869398B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4666858A (en) * | 1984-10-22 | 1987-05-19 | International Business Machines Corporation | Determination of amount of anionic material in a liquid sample |
WO2001015459A1 (en) * | 1999-08-24 | 2001-03-01 | Fujitsu Limited | Time-varying image processor, its method, and recorded medium |
JP2001285712A (ja) * | 2000-03-07 | 2001-10-12 | Lg Electronics Inc | Mpeg圧縮ビデオ環境でのディゾルブ/フェード検出方法 |
JP2007124587A (ja) * | 2005-10-31 | 2007-05-17 | Fujitsu Ltd | 動画像符号化装置、及びフェードシーン検出装置 |
JP2009141882A (ja) * | 2007-12-10 | 2009-06-25 | Fujifilm Corp | 撮像装置及びその画像自動選択方法 |
JP2015061252A (ja) * | 2013-09-20 | 2015-03-30 | サクサ株式会社 | 動き検出装置及び動き検出用プログラム |
JP2017011587A (ja) * | 2015-06-24 | 2017-01-12 | 日本放送協会 | シーンチェンジ検出装置、シーンチェンジ検出方法及びそのプログラム |
-
1997
- 1997-04-25 JP JP9108601A patent/JP2869398B2/ja not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4666858A (en) * | 1984-10-22 | 1987-05-19 | International Business Machines Corporation | Determination of amount of anionic material in a liquid sample |
WO2001015459A1 (en) * | 1999-08-24 | 2001-03-01 | Fujitsu Limited | Time-varying image processor, its method, and recorded medium |
US7272183B2 (en) | 1999-08-24 | 2007-09-18 | Fujitsu Limited | Image processing device, method and storage medium thereof |
JP2001285712A (ja) * | 2000-03-07 | 2001-10-12 | Lg Electronics Inc | Mpeg圧縮ビデオ環境でのディゾルブ/フェード検出方法 |
US6940910B2 (en) | 2000-03-07 | 2005-09-06 | Lg Electronics Inc. | Method of detecting dissolve/fade in MPEG-compressed video environment |
JP2007124587A (ja) * | 2005-10-31 | 2007-05-17 | Fujitsu Ltd | 動画像符号化装置、及びフェードシーン検出装置 |
US8090020B2 (en) | 2005-10-31 | 2012-01-03 | Fujitsu Semiconductor Limited | Moving picture encoding device, fade scene detection device and storage medium |
JP2009141882A (ja) * | 2007-12-10 | 2009-06-25 | Fujifilm Corp | 撮像装置及びその画像自動選択方法 |
JP2015061252A (ja) * | 2013-09-20 | 2015-03-30 | サクサ株式会社 | 動き検出装置及び動き検出用プログラム |
JP2017011587A (ja) * | 2015-06-24 | 2017-01-12 | 日本放送協会 | シーンチェンジ検出装置、シーンチェンジ検出方法及びそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2869398B2 (ja) | 1999-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6618507B1 (en) | Methods of feature extraction of video sequences | |
JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
JP3939551B2 (ja) | 動画像処理装置、その方法、及び記録媒体 | |
KR100274082B1 (ko) | 프레임간/필드간 예측 부호화와 프레임내/필드내 부호화를 사용하는 압축 비디오 데이터에서의 화면 경계 검출 구조 | |
KR100468967B1 (ko) | 썸네일 영상 생성장치 및 방법 | |
US6449392B1 (en) | Methods of scene change detection and fade detection for indexing of video sequences | |
US7054367B2 (en) | Edge detection based on variable-length codes of block coded video | |
JP3656036B2 (ja) | Mpeg圧縮ビデオ環境でのディゾルブ/フェード検出方法 | |
US20010021268A1 (en) | Hierarchical hybrid shot change detection method for MPEG-compressed video | |
JP2001527304A (ja) | ディジタル動画の階層的要約及び閲覧方法 | |
KR101149522B1 (ko) | 장면 전환 검출 시스템 및 방법 | |
JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
EP1053635B1 (en) | Method for detecting transitions in sampled digital video sequences | |
US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
KR20040099343A (ko) | 프레임 차이들의 히스토그램을 이용하여 비디오내의 장면변경들을 검출하기 위한 방법 및 장치 | |
JP2869398B2 (ja) | カット点検出方法及び装置 | |
Sugano et al. | A fast scene change detection on MPEG coding parameter domain | |
JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
JP3332202B2 (ja) | カメラワーク算出方法及び装置 | |
JP2002281508A (ja) | スキップ領域検出型動画像符号化装置および記録媒体 | |
JP2003061112A (ja) | カメラワーク検出装置およびカメラワーク検出方法 | |
JP3339544B2 (ja) | ディゾルブ検出方法および装置 | |
JP2004180299A (ja) | ビデオクリップ(videoclip)のショットチェンジ検出(shotchangedetection)方法 | |
JP3333956B2 (ja) | カット点検出方法および装置 | |
JP2011129979A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071225 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081225 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091225 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101225 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |