Nothing Special   »   [go: up one dir, main page]

JP2010500818A - 漫画アニメーション圧縮のためのシステムおよび方法 - Google Patents

漫画アニメーション圧縮のためのシステムおよび方法 Download PDF

Info

Publication number
JP2010500818A
JP2010500818A JP2009523845A JP2009523845A JP2010500818A JP 2010500818 A JP2010500818 A JP 2010500818A JP 2009523845 A JP2009523845 A JP 2009523845A JP 2009523845 A JP2009523845 A JP 2009523845A JP 2010500818 A JP2010500818 A JP 2010500818A
Authority
JP
Japan
Prior art keywords
video
background
encoding
frame
video frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009523845A
Other languages
English (en)
Other versions
JP2010500818A5 (ja
Inventor
シュン,ピン−カン
チェー クオ,チュン
ヤン,シェン
Original Assignee
デジタル メディア カートリッジ,リミティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デジタル メディア カートリッジ,リミティド filed Critical デジタル メディア カートリッジ,リミティド
Publication of JP2010500818A publication Critical patent/JP2010500818A/ja
Publication of JP2010500818A5 publication Critical patent/JP2010500818A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

アニメーションまたは漫画アニメーションのコンテンツの映像の符号化に特化したシステムは映像シーケンスを符号化する。本システムは、一連の映像フレームから動くオブジェクトを除去し、複数の順次的な映像フレームで使用される静止した背景についての背景定義を生成する背景分析部と、映像ストリーム中に含まれる色を分析し、該映像ストリーム中で発生する色の主要色リストを作成する色クラスタリング部と、一連の映像フレーム中での位置および回転姿勢以外は該一連の映像フレーム中で一定である1つ以上のオブジェクトを識別するオブジェクト識別部と、複数の符号化技術の各々によって達成される圧縮に応じて該複数の符号化技術のうち1つにしたがって映像シーケンスから導出された背景およびオブジェクトを符号化するハイブリッドエンコーダとを含む。

Description

本発明は、漫画アニメーション圧縮のためのシステムおよび方法に関する。
関連出願の相互参照
本出願は、その内容全体が参照によって本出願に明示的に組み込まれる、2006年8月8日出願の米国仮特許出願第60/836,467号および2006年9月7日出願の米国仮特許出願第60/843,266号に基づくものであり、それらの優先権を主張する。
MPEG−3、MPEG−4、H.264といった、様々な映像圧縮技術が当該技術分野で知られている。一般に、こうした映像圧縮技術は、従来のフィルムまたは映像カメラによって撮影されたコンテンツのような「実写」コンテンツの圧縮に適している。アニメーション、および特に漫画アニメーションによる映像の固有の特徴を考慮した圧縮技術に対する必要が存在している。
アニメーション、および特に漫画アニメーションは、それを「実景」または「実写」のフィルムまたは映像と区別する多くの特性を有する。本発明は、そうしたいくつかの特性を利用して、符号化利得を改善し、かつ/または復号の際の計算の複雑さを減少させるより柔軟な圧縮技術を提供する。漫画アニメーションの特徴としては次のようなものがある。
−カメラの動きは非常に単純であり、普通、カメラのズームおよびパンのみである。多くの場合、カメラは1つのシーンの間固定している。
−色または色の濃淡の数がより少ない。
−テクスチャパターンが非常に単純である。例えば、1つの連続した範囲は普通1色だけで描画される。
−オブジェクトの境界は非常に明瞭なので、オブジェクトを背景から容易に分離することができる。
アニメーションまたは漫画アニメーションのコンテンツの映像の符号化に特化した、本発明に係るシステムは、映像シーケンスを符号化する。本システムは、一連の映像フレームから動くオブジェクトを除去し、複数の順次的な映像フレームで使用される静止した背景についての背景定義を生成する背景アナライザと、映像ストリーム中に含まれる色を分析し、該映像ストリーム中で発生する色の主要色リストを作成する色クラスタラと、一連の映像フレーム中での位置および回転姿勢以外は該一連の映像フレーム中で一定である1つ以上のオブジェクトを識別するオブジェクトアイデンティファイアと、複数の符号化技術の各々によって達成される圧縮に応じて該複数の符号化技術のうち1つにしたがって映像シーケンスから導出された背景およびオブジェクトを符号化するハイブリッドエンコーダとを含む。
本発明の例示実施形態のシステムアーキテクチャのブロック図である。 フレーム内処理フィルタリングの前の元の漫画アニメーションのフレームである。 本発明の実施形態に係るフレーム内処理フィルタによるフィルタリングの後の図2Aに示すフレームである。 図2Aおよび図2Bに示すフレーム間の負の差分である。 例示的な漫画アニメーション中の2つの連続するフレームを示す。 例示的な漫画アニメーション中の2つの連続するフレームを示す。 図3Aおよび図3Bに示すフレーム間の差分を示す。 先鋭化した後の図3Cに示すフレームを示す。 先鋭化した後の図3Cに示すフレームをフィルタリングした画像を示す。 図3Cに示す差分フレームのヒストグラムである。 3:2プルダウンのアーティファクトを呈する映像フレームである。 修正されたエンコーダの実施形態のブロック図である。 ありうる全てのフレーム間輝度差分についてf3を測定した経験的結果を示すグラフである。
本発明の例示実施形態のシステムアーキテクチャのブロック図を図1に示す。図1のシステム100は、映像104を受信してマルチプレクサ106への出力を発生する。マルチプレクサ106の出力はデマルチプレクサ108に入力され、デマルチプレクサ108はその出力をデコーダ110に送信する。そして、デコーダ110は復号された映像112を出力する。多くの実施形態で、エンコーダ102およびデコーダ110は、プログラムされた汎用コンピュータを使用して実現される。他の実施形態では、エンコーダ102およびデコーダ110は各々、1つ以上の特殊機能ハードウェアユニットにおいて実現される。また別の実施形態では、エンコーダ102およびデコーダ110は各々、エンコーダまたはデコーダの機能の一部を実行するプログラムされた汎用コンピュータと、エンコーダまたはデコーダの他の機能を実行する1つ以上の特殊機能ハードウェアユニットとを含む。例えば、エンコーダ102は主としてプログラムされた汎用コンピュータ上で実現してもよいが、データの特定の部分のH.264符号化を実行するための専用のH.264エンコーダを使用し、その一方で、デコーダ110は、手持ち式映像再生装置中のASICチップのような、特殊機能ハードウェアユニットを使用して全体を実現してもよい。
エンコーダ102およびデコーダ110は、機能または機能を実行する装置を表すいくつかのブロックを含む図1に示される。しかし、各ブロックは、ブロックが機能またはハードウェア装置のどちらの名称を付されているかにかかわらず、実行される機能および機能を実行する対応するハードウェア要素の両者を表すものである。
漫画アニメーションの場面はベータカムフォーマットで格納されることが多い。ベータカム装置が使用する損失性の圧縮技術のため、復号された映像シーケンスは元のものとわずかに異なっている。これは一種のノイズと考えることができる。このノイズは視覚的品質を劣化させるわけではないが、より多くのビットを必要とし、圧縮比を低下させる。したがって、圧縮されたソースがベータカム記憶装置からのものである場合、まず、前々処理114で実際に符号化する前にノイズを除去しなければならない。ノイズは、フレーム内ノイズ(1つのフレーム内のノイズ)およびフレーム間ノイズ(2つのフレームの間のノイズ)という2つのカテゴリに分類できる。
フレーム内前処理の目的は、I−フレームのような1つのフレーム内のノイズを除去することである。こうしたフレームは、映像ショットまたはシーン中の後続の連続するフレームに対する基準として使用できるため、普通その映像ショットまたはシーンの最初のフレームである。
アニメーションを制作する工程を通じて、1つの連続した範囲は普通1色だけで埋められており、例えば、1つのフレーム内で、空全体はある特定の色調の青色となる。しかし、ベータカムまたは他の映像記憶装置から変換した後では、こうした範囲内には普通小さな差が存在する。図1に示すプリプロセッサはフレーム内処理フィルタ(図示せず)を含む。フレーム内処理フィルタは、類似の値を持つ色を1つの色に変換して、損失性の記憶装置に起因する小さな乱れを除去するように設計される。
フレーム内ノイズおよび前処理の結果の例を図2A〜図2Dに示す。図2Aは、フィルタリングする前の元の漫画アニメーションのフレームである。図2Bは、本発明の実施形態に係るフレーム内処理フィルタによるフィルタリングの後の図2Aのフレームである。図2Cは、差分が人間により容易に知覚できるように先鋭化しコントラストを増大した、図2Aと図2Bとの間の負の差分(黒色が差分を示す)である。
フレーム間前処理の目的は、普通映像ショット中でIフレーム以外のフレームである、PおよびBフレーム中のノイズを除去することである。IフレームはPおよびBフレーム中のノイズを除去するための基準として使用される。
図3Aおよび図3Bは、例示的な漫画アニメーション中の2つの連続するフレームを示す。それらの間の差分を図3Cに示す。先鋭化した後、図3Dからノイズを明瞭に見ることができる。
ノイズの分布を分析することによって、ノイズの水準は普通、図4に示すように、実写映像の信号と異なって、非常に小さいことが判明した。ノイズを除去するためのしきい値は、図4に示すヒストグラムに基づいて注意深く選択される。フィルタリングされた画像を図3Eに示す。先鋭化した後の、図3Eのフィルタリングされた画像を図3Fに示す。
上記の2つのアーティファクトの他に、元の漫画アニメーションのシーケンスが3:2プルダウンによって処理された後デインターレースされたものである場合、インターレースという第3のアーティファクトが存在することになる。3:2プルダウンは、24fpsソース(通常フィルム)を30fps出力(通常NTSC映像)に変換するために利用されるものであり、その際30fps中の各フレームは2つの順次的なインターレースされたフィールドからなる。別言すれば、30fps出力は、毎秒60個のインターレースされたフィールドを備える。3:2プルダウンによって生成されたこうした出力では、ソースの第1のフレームを使用して3つの連続するフィールドを生成し、そのうち最初の2つのフィールドが出力の第1のフレームを構成し、最後のフィールドが次のフレームの1/2を構成する。そして、第2のソースフレームを使用して次の2つの連続するフィールドを生成し、そのうち第1のフィールドが第2の出力フレームの第2のフィールドを構成し、第2のフィールドが第3の出力フレームの第1のフィールドを構成する。第3のソースフレームでは、再びそれを使用して3つの連続するフィールドを生成し、そのうち第1のフィールドが第3の出力フレームの第2の1/2を構成し第2および第3のフィールドが第4の出力フレームを構成する。ここでは、この第3の出力フレームが、第2のソースフレームから導出された1つのフィールドと、第3のソースフィールドから導出された1つのフィールドとを有することに注意されたい。このことは出力がインターレースされたままである限りは問題ではない。さて、3:2:3:2サイクル(すなわち3:2プルダウン)に話を戻すと、第4のソースフィールドを使用して2つの出力フィールドを生成し、この場合それらはどちらも出力の第5のフレームのために使用される。この処理を繰り返し使用すると、ソースは4つのフレーム毎に出力の5つのフレーム(10個のフィールド)に(すなわち24:30の比で)変換され、24fpsから30fps(毎秒60フィールド、インターレース)への変換を達成する。
30fpsインターレースソースを30fpsプログレッシブ(またはノンインターレース)出力に変換する時に問題が生じる。この処理では、各フレームの第1および第2のフィールドがデインターレースされて、毎秒30個のノンインターレースフレームを生じる。しかし、上記で説明したように、3:2プルダウンを使用して30fpsソースが生成された場合は、出力の第3のフレームは1つのソースフレームの偶数の走査線と別のソースフレームの奇数の走査線とを含んでいる。その結果、元の24fpsソース素材の2つのフレーム間で動く任意のオブジェクトの2つの半分の(インターレースされた)画像を含むフレームが生じる。漫画アニメーションの文脈でのこうしたフレームの例を図5に示す。この状況では普通、30fpsプログレッシブソースの5フレーム毎にインターレースアーティファクトを伴うフレームが見られるようになるだろう。漫画アニメーションによる映像では実写映像よりもオブジェクトの色やエッジがより鮮明なので、プルダウンによるインターレースアーティファクトはさらに明白であることが多く、実写映像で通常見られる不鮮明さが増すようなアーティファクトではなく、縞状のアーティファクトを生じる。
一実施形態では、(5フレーム毎の)インターレースアーティファクトを含む各フレームを、前または後ろ何れかのフレームによって置換することによってデインターレースが実行される。別の実施形態では、30fpsインターレースソースを30fpsプログレッシブ出力に変換する時に、逆3:2プルダウンが実行される。代替的には、アニメーションが3:2プルダウンされる前に(24fpsフォーマットで)取得される場合は、インターレースアーティファクトは存在しない。
図1に戻ると、エンコーダは、シーンの境界を検出して入力映像をショットに区分すること116と、映像シーケンスのグローバル動きベクトルを計算すること118と、各ショットに対して背景を合成すること120と、フレームを背景と比較して動くオブジェクトを抽出すること124と、背景と映像オブジェクトとを個別に符号化すること126とを含む。
この処理では、符号化範囲がフレーム全体から映像オブジェクトを含む小さな範囲に縮小され、複数のフレームが共有する背景は一度符号化するだけでよく、かつグローバル動きベクトルを使用することによって、各マクロブロックの動きベクトルのために必要なビットを減らすことができるため、圧縮比が改善される。
最初のステップ114では、漫画アニメーションのシーケンスをショットに区分することによって、シーンの境界(映像中の各シーンの始点および終点)が検出される。その後、各ショットは個別に処理され符号化される。シーン変化検出は、時間領域に沿った視覚的不連続性を検出する。この処理を通じて、フレーム間の類似性の度合いを測定する視覚的特徴を抽出する必要がある。g(n,n+k)、ただしk≧1、で表示される尺度はフレームnおよびn+kの間の差分に関するものである。この差分を計算する多くの方法が提案されている。
多くの実施形態では、(1)フレーム間のピクセルを基準とした差分を直接計算する、および(2)ヒストグラム間の差分を計算する、という2つの測定法の一方または両方を使用してシーンの変化が検出される。
Figure 2010500818
ここで、I(x,y)はxおよびy位置での画像のピクセル値である。
映像ショット間の遷移にはいくつかの種類が存在する。1つの種類の遷移はワイプ、例えば、左から右、上から下、下から上、対角線方向、中心から周辺へのアイリス円の拡大等である。ワイプは普通、ピクセル差分およびヒストグラム差分の両者についての円滑な遷移である。別の種類の遷移はカットである。例えばクローズアップを使用して物語の核心を形作るため等の理由で、カットは即座に次の画像に変化する。カットは通常、ピクセル差分およびヒストグラム差分の両者についての突然の遷移を伴う。別の種類の遷移はフェードである。フェードはシーンの完全な変化についての隠喩として使用されることが多い。ここで論じる最後の種類の遷移はディゾルブである。ディゾルブは、次の明瞭な画像が現れる前に現在の画像が歪んで認識不能な形態になるものであって、例えば、ボクシーディゾルブ、クロスディゾルブ等がある。
別の実施形態では、順次的なフレームの色の集合を分析することによってシーンの変化が検出される。多くの漫画アニメーション中のシーンは制限された数の色だけを使用している。順次的なフレームについての色データを正規化して各フレームでどの色(パレット)が使用されているかを決定することができ、色の集合の大きな変化はシーン間の変化の良好な指標である。
シーン変化検出118に目を向けると、2つの画像を想定すると、それらの動き変換は、

t(p)=It-1(p−u(p,θ))

としてモデル化することができ、ここでpは画像座標であり、u(θ)はパラメータベクトルθによって記述したpでの変位ベクトルである。動き変換は、2つのパラメータの単純な変換モデルとしてモデル化することができる。
残余誤差の目的関数を最小化することによって、未知のパラメータが推定される。すなわち、
Figure 2010500818
であり、ここでriはi次の画像ピクセルである。
i=It(pi)−It-1(pi−u(pi,θ))
したがって、動き推定の課題はパラメータベクトルθを計算するための最小化の問題となるが、これはガウス−ニュートン(G−N)アルゴリズム等によって解くことができる。
背景分析120に目を向けると、各ショットについての静的スプライトが合成される。静的スプライトは、ショット内のフレームについて、動くオブジェクトを抽出するための基準となる。
静的スプライトの生成は、共通領域検出、背景拡張、動くオブジェクトの除去、という3つのステップから構成される。
1つの映像ショットのフレームは1つの背景を共有している。残余シーケンスを分析することによって、共通領域を容易に抽出することができる。2つの隣接するフレーム間の差分を計算することによって残余画像が計算される。残余シーケンスのどのフレームでも1つのピクセルが所定のしきい値より小さい場合、それは背景ピクセルであると考えられる。
共通領域は、一旦検出されると、拡張して背景部分を拡大することができる。1つのピクセルが背景ピクセルに連接しており類似の色を有する場合、それは背景ピクセルであると考えられる。
動くオブジェクトに隠されて第2のステップで拡張されていないピクセルについては、動くオブジェクトを除去することによってそれらの色を発見する必要がある。動くオブジェクトを検出するため、1つのフレームを次のフレームから減算する。
色のクラスタリング122に目を向けると、前に言及したように、漫画アニメーション中の色の数は実景の映像よりはるかに少なく、広い範囲が1色だけで埋められている。したがって、エンコーダ側では主要な色を記録するための、マスター色リストのようなテーブルが確立され、デコーダ側ではこれを使用して、色マッピングによって元の色を回復することができる。
オブジェクト分析124に目を向けると、背景画像が生成された後、背景からフレームを単純に減算することによって動くオブジェクトが達成される。

t(x,y)=It(x,y)−BG(x,y)

ここで、It(x,y)はフレームt、BG(x,y)は背景、Rt(x,y)はフレームtの残余画像である。MEPG−4のコンテンツベースの符号化と比較して、このアルゴリズムの利点は、形状符号化とテクスチャ符号化とを結合していることである。
ピクセル値の範囲が[0,255]であると想定する。すると次式が得られる。
Figure 2010500818
その後、映像コーデックと互換性を持たせるために、残余画像を[0,255]にマッピングする。
Figure 2010500818
ここで、round(m)はmに最も近い整数を生じることである。変換の後、背景と残余画像との両者は汎用コードによって符号化することができる。しかし、round演算のため色は元の色と異なっており、このことは色ドリフトと呼ばれる。以下後処理に関連して論じるように、このアーティファクトは色マッピングによって除去することができる。
次に、従来の映像符号化技術126を使用して背景とオブジェクトとの両者が符号化される。これは図1ではH.264符号化として表示されているが、視覚的品質をさらに改善するため、実施形態によっては、空間領域と周波数領域との間の切り換えを行うハイブリッド映像符号化が使用される。例えば、符号化すべきブロックに対して、汎用映像符号化と形状符号化との両者が適用され、実際の符号化のためにより高い圧縮比を持つものが選択される。漫画アニメーションは普通非常に明瞭な境界を有することを考慮すると、ハイブリッド符号化法は汎用映像符号化法より良好な視覚的品質を生じることが多い。
さらに詳しく言うと、H.264符号化では、予測符号化によって時間的冗長性が減少する。変換の符号化効率は、予測誤差の相関に高度に依存する。予測誤差が相関される場合、変換の符号化効率は良好になり、そうでない場合良好にならない。漫画アニメーションの場合、あるオブジェクトおよび/または背景について予測誤差が高度に相関しないということは珍しくないので、H.264は不十分にしか機能しない。したがって、各ブロックはもっとも効率的なモード、すなわちDCTまたは変換なしで符号化される。
デコーダ110に目を向けると、一般に、復号は符号化の逆の処理と考えることができ、シーン変化合成128、背景合成130、色マッピング132、オブジェクト合成134、H.264デコーダ136、ショット連結138、および後処理140を含む。
機能128〜138を通じた復号の後、色ドリフトおよび残余陰影という2つの種類のアーティファクトが存在することが多い。上記で言及したように、色ドリフトは、残余画像を計算する時のround演算によって発生する。これは色マッピングによって容易に除去することができる。さらに詳しく言うと、色マッパ132が供給する主要色リストを使用して、後処理140は復号された画像の色を主要色リストと比較し、復号された画像が、主要色リスト上にないが主要色リスト上のある色に非常に近く、主要色リスト上の他のどの色とも大きく異なっている色を含んでいる場合、復号された色はその色に近い主要色によって置き換えられる。
残余陰影は、残余画像の損失性の表示から生じる。その結果、復号された残余画像は背景と十分に適合できないので、アーティファクトが生成される。
残余陰影は、後処理140での以下のステップによって除去することができる。(1)残余陰影は背景以外の範囲でだけ発生する。残余画像の背景が黒色であることを考慮すると、どの部分をフィルタリングすべきかの基準とすることができる。(2)そして、復号されたフレームのエッジマップが検出される。復号されたフレームで、エッジを保存するローパスフィルタリングが実行される。
実施形態によっては、H.264符号化のさらなる修正が使用される。この修正は、空間/時間感度およびマスキング効果のため、人間の目は人間の知覚モデルのしきい値以下の変化があっても感知できないという観察に基づいている。例えば、その全体が参照によって本明細書に組み込まれる、J.Gu、「人間の知覚モデルによる3Dウェーブレットベースの映像コーデック(3D Wavelet−Based Video Codec with Human Perceptual Model)」、修士論文、メリーランド大学、1999年、を参照されたい。したがって、変換符号化の前に知覚できない情報を除去することができる。
この修正は次の3つのマスキング効果を利用していた。すなわち、(1)背景輝度マスキング。HVS(人間の視覚系)は輝度の絶対値より輝度のコントラストに敏感である。(2)テクスチャマスキング。変化に対する視認性はテクスチャによって低下することがあり、テクスチャの施された領域は平滑またはエッジの範囲よりも誤差を隠すことがある。(3)時間マスキング。普通、(動きによって発生する)フレーム間差分が大きくなると、時間マスキングも大きくなる。
修正されたエンコーダの実施形態のブロック図を図6に示す。修正されたエンコーダは、スキップモード決定605および残余前処理610という2つの追加モジュールを従来の映像コーデックの枠組みに統合している。スキップモード決定モジュールはスキップモードの範囲を拡張する。残余前処理モジュールは、主観的な視覚的品質を損なわずに、知覚できない情報を除去して符号化利得を改善する。
映像信号から知覚的に意味のない成分を除去するため、JNDプロファイルの概念が映像および画像の知覚符号化に成功裏に適用されている。例えば、その全体が参照によって本明細書に組み込まれる、X.Yang他、「最小可知歪みプロファイルに基づく映像符号化での動き補償された残余の前処理(Motion−Compensated Residue Preprocessing in Video Coding Based on Just−Noticeable−Distortion Profile)」、IEEE映像技術用回路およびシステム会報(IEEE Trans on Circuits and Systems for Video Tech)、第15巻、第6号、742〜652ページ、2005年6月、およびその全体が参照によって本明細書に組み込まれる、N.Jayant、J.JhonstonおよびR.Safranek、「人間知覚のモデルに基づく信号圧縮(Signal compression based on models of human perception)」、IEEE紀要(Proc.IEEE)、第81巻、1385〜1422ページ、1993年10月、を参照されたい。JNDは、符号化される各信号に、そのしきい値以下では復元誤差が知覚できなくなる歪みの視認性しきい値を提供する。
この節では、まずフレーム内でJNDの空間部分が計算される。その後、時間マスキングを統合することによって、空間−時間部分が得られる。
第1のステップでは、背景輝度マスキングおよびテクスチャマスキングという、画像領域での空間輝度JNDに影響を与える主要な2つの要因が存在する。各ピクセルの空間JNDは、0≦x<H、0≦y<Wについて、
Figure 2010500818
によって記述することができ、ここでf1はテクスチャマスキングによる誤差視認性しきい値であり、f2は平均背景輝度による視認性しきい値である。Cb,m(0<Cb,m<1)はマスキングのオーバーラップ効果を考慮している。HおよびWはそれぞれ画像の高さおよび幅を示す。mg(x,y)は、(x,y)でのピクセルの周囲の輝度勾配の最大加重平均を示し、bg(x,y)は平均背景輝度である。
Figure 2010500818
であり、ここでT0、γおよびλは実験を通じて17、3/128および1/2であることが判明している。例えば、その全体が参照によって本明細書に組み込まれる、C.H.ChouおよびY.C.Li、「最小可知歪みプロファイルの測定に基づく知覚的に調整したサブバンド画像コーダ(A perceptually tuned subband image coder based on the measure of just−noticeable−distortion profile)」、IEEE映像技術用回路およびシステム会報(IEEE Trans on Circuits and Systems for Video Tech)、第5巻、467〜476ページ、1995年12月、を参照されたい。
4つの方向でのピクセルの周囲の輝度変化の加重平均を計算することによって、(x,y)でのピクセル全体にわたるmg(x,y)の値が計算される。エッジ周囲のマスキング効果の過大評価を避けるために、エッジ領域の特徴が考慮される。したがって、mg(x,y)は、
Figure 2010500818
として計算され、ここでp(x,y)は(x,y)でのピクセルを示す。
4つの演算子Gk(i,j)は、
Figure 2010500818
平均背景輝度、bg(x,y)は、加重ローパス演算子、B(i,j)、i,j=1,...,5によって計算される。
Figure 2010500818
である。
JNDモデル生成の第2のステップでは、空間−時間領域での誤差視認性しきい値を表すJNDプロファイルは、
Figure 2010500818
であり、ここでild(x,y,n)は、n番目と(n−1)番目とのフレームの間の平均フレーム間輝度差分を表す。
Figure 2010500818
3は動きによる誤差視認性しきい値を表す。全ての可能なフレーム間輝度差分についてf3を測定した経験的結果を図7に示す。
H.264では、
最良の動き補償ブロックサイズが16×16であり、
基準フレームがすぐ前のものであり、
動きベクトルが(0,0)またはPMV(予測動きベクトル)と同じであり、
その変換係数が全てゼロに量子化される、
という条件が全て満たされる場合、かつその場合だけ、マクロブロックはスキップされる(例えば、その全体が参照によって本明細書に組み込まれる、「汎用オーディオビジュアルサービスのための高度映像符号化(H.264)(Advanced video coding for generic audiovisual services(H.264))、ITU−T、2005年3月、を参照されたい)。
実際には、上記の条件は漫画アニメーションのコンテンツに対しては厳密すぎる。変換係数がゼロに量子化されていなくとも、歪みが知覚できない限りはマクロブロックをスキップすることができる。
したがって、JNDプロファイルの基本的な概念に基づいて、修正されたエンコーダでは、スキップモード決定605で、マクロブロックをスキップできるか否かが決定される。マクロブロックの最小可知歪み(MND)は、
Figure 2010500818
として表すことができ、ここでδ(i,j)は、1.0〜4.0の範囲の点(x,y)での歪み指標である。
動き推定の後の平均二乗誤差(MSE)は、
Figure 2010500818
として計算することができ、ここでp(x,y)は元のフレームの(x,y)でのピクセルを表し、P’(x,y)は予測されたピクセルである。MSE(i,j)<MND(i,j)である場合、動き推定歪みは知覚できないので、その基準ブロックを単純にコピーすることによって、マクロブロックを得ることができる。
マクロブロックがスキップされた場合変換符号化は必要ないので、計算コストが低下するという副次的結果が得られる。
残余前処理610の目的は、実際の符号化の前に知覚的に重要でない情報を除去することである。JND適応残余プリプロセッサは
Figure 2010500818

Claims (2)

  1. アニメーションまたは漫画アニメーションのコンテンツの映像の符号化に特化した、映像シーケンスを符号化するためのシステムであって、前記システムが、
    一連の映像フレームから動くオブジェクトを除去し、複数の順次的な映像フレームで使用される静止した背景についての背景定義を生成する背景分析部と、
    映像ストリーム中に含まれる色を分析し、前記映像ストリーム中で発生する色の主要色リストを作成する色クラスタリング部と、
    一連の映像フレーム中での位置および回転姿勢以外は前記一連の映像フレーム中で一定である1つ以上のオブジェクトを識別するオブジェクト識別部と、
    複数の符号化技術の各々によって達成される圧縮に応じて前記複数の符号化技術のうち1つにしたがって映像シーケンスから導出された背景およびオブジェクトを符号化するハイブリッドエンコーダとを備えるシステム。
  2. アニメーションまたは漫画アニメーションのコンテンツの映像の符号化に特化した、映像シーケンスを符号化するための方法であって、前記方法が、
    一連の映像フレームから動くオブジェクトを除去し、複数の順次的な映像フレームで使用される静止した背景についての背景定義を生成し、
    映像ストリーム中に含まれる色を分析し、前記映像ストリーム中で発生する色の主要色リストを作成し、
    一連の映像フレーム中での位置および回転姿勢以外は前記一連の映像フレーム中で一定である1つ以上のオブジェクトを識別し、
    複数の符号化技術の各々によって達成される圧縮に応じて前記複数の符号化技術のうち1つにしたがって映像シーケンスから導出された背景およびオブジェクトを符号化することとを備える方法。
JP2009523845A 2006-08-08 2007-08-08 漫画アニメーション圧縮のためのシステムおよび方法 Pending JP2010500818A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US83646706P 2006-08-08 2006-08-08
US84326606P 2006-09-07 2006-09-07
PCT/US2007/017718 WO2008019156A2 (en) 2006-08-08 2007-08-08 System and method for cartoon compression

Publications (2)

Publication Number Publication Date
JP2010500818A true JP2010500818A (ja) 2010-01-07
JP2010500818A5 JP2010500818A5 (ja) 2010-10-14

Family

ID=39033526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009523845A Pending JP2010500818A (ja) 2006-08-08 2007-08-08 漫画アニメーション圧縮のためのシステムおよび方法

Country Status (4)

Country Link
US (1) US20100303150A1 (ja)
EP (1) EP2084669A4 (ja)
JP (1) JP2010500818A (ja)
WO (1) WO2008019156A2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020415A1 (en) * 2008-01-18 2012-01-26 Hua Yang Method for assessing perceptual quality
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
WO2010038212A2 (en) * 2008-10-01 2010-04-08 Nxp B.V. Embedded video compression for hybrid contents
AU2008264230A1 (en) * 2008-11-24 2010-06-10 Canon Kabushiki Kaisha Rule-based network surveillance system
AU2008264228B2 (en) * 2008-11-24 2010-11-25 Canon Kabushiki Kaisha Detection of abandoned and vanished objects
WO2010071504A1 (en) * 2008-12-15 2010-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for avoiding quality deterioration of transmitted media content
KR101432777B1 (ko) * 2009-09-03 2014-08-22 에스케이텔레콤 주식회사 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체
EP2360927A3 (en) * 2010-02-12 2011-09-28 Samsung Electronics Co., Ltd. Image encoding/decoding system using graph based pixel prediction and encoding system and method
TW201134223A (en) * 2010-03-29 2011-10-01 Univ Nat Taiwan Perceptual video encoding system and circuit thereof
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
AU2011203219B2 (en) * 2011-06-30 2013-08-29 Canon Kabushiki Kaisha Mode removal for improved multi-modal background subtraction
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
EP2828822B1 (en) * 2012-03-21 2018-07-11 Dolby Laboratories Licensing Corporation Systems and methods for power reduction for displays
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
CN106162194A (zh) * 2015-04-08 2016-11-23 杭州海康威视数字技术股份有限公司 一种视频编码和解码的方法、装置和处理系统
CN106327538B (zh) * 2016-08-25 2019-09-20 深圳市创梦天地科技有限公司 一种二维骨骼动画压缩方法及装置
US11159798B2 (en) * 2018-08-21 2021-10-26 International Business Machines Corporation Video compression using cognitive semantics object analysis
US11109065B2 (en) 2018-09-26 2021-08-31 Google Llc Video encoding by providing geometric proxies
US20220377356A1 (en) * 2019-11-15 2022-11-24 Nippon Telegraph And Telephone Corporation Video encoding method, video encoding apparatus and computer program
CN112312043A (zh) * 2020-10-20 2021-02-02 深圳市前海手绘科技文化有限公司 一种动画视频导出的优化方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795592A (ja) * 1993-03-15 1995-04-07 Massachusetts Inst Of Technol <Mit> 画像データを符号化して夫々がコヒーレント運動領域を表わす複数の層とそれら層に付随する運動パラメータとにするシステム
JPH1075464A (ja) * 1996-08-29 1998-03-17 Asahi Optical Co Ltd 画像圧縮装置および画像伸張装置
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
JP2000069475A (ja) * 1998-08-26 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、装置、および映像符号化プログラムを記録した記録媒体
JP2000132680A (ja) * 1998-10-23 2000-05-12 Nippon Telegr & Teleph Corp <Ntt> 画像の同色領域抽出方法及びこの方法を記録した記録媒体
JP2000197046A (ja) * 1998-10-23 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、復号方法、符号化装置、復号装置、及びそれらの方法を記憶した記憶媒体
JP2002315021A (ja) * 2001-04-10 2002-10-25 Yamaha Corp 画像データ圧縮方法および伸張方法並びに画像データ伸張装置
US20030016864A1 (en) * 2001-07-20 2003-01-23 Mcgee Tom Methods of and system for detecting a cartoon in a video data stream
JP2003143624A (ja) * 2001-10-30 2003-05-16 Nippon Hoso Kyokai <Nhk> 画像符号化装置及び画像符号化プログラム並びに画像復号化装置及び画像復号化プログラム
JP2003288585A (ja) * 2002-03-27 2003-10-10 Fuji Photo Film Co Ltd 減色処理装置及び減色処理方法
US7006568B1 (en) * 1999-05-27 2006-02-28 University Of Maryland, College Park 3D wavelet based video codec with human perceptual model

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects
US6307550B1 (en) * 1998-06-11 2001-10-23 Presenter.Com, Inc. Extracting photographic images from video
US6741252B2 (en) * 2000-02-17 2004-05-25 Matsushita Electric Industrial Co., Ltd. Animation data compression apparatus, animation data compression method, network server, and program storage media
US7457358B2 (en) * 2001-09-26 2008-11-25 Interact Devices, Inc. Polymorphic codec system and method
US20030105880A1 (en) * 2001-12-04 2003-06-05 Koninklijke Philips Electronics N.V. Distributed processing, storage, and transmision of multimedia information
US7085434B2 (en) * 2002-10-01 2006-08-01 International Business Machines Corporation Sprite recognition in animated sequences

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795592A (ja) * 1993-03-15 1995-04-07 Massachusetts Inst Of Technol <Mit> 画像データを符号化して夫々がコヒーレント運動領域を表わす複数の層とそれら層に付随する運動パラメータとにするシステム
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
JPH1075464A (ja) * 1996-08-29 1998-03-17 Asahi Optical Co Ltd 画像圧縮装置および画像伸張装置
JP2000069475A (ja) * 1998-08-26 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、装置、および映像符号化プログラムを記録した記録媒体
JP2000132680A (ja) * 1998-10-23 2000-05-12 Nippon Telegr & Teleph Corp <Ntt> 画像の同色領域抽出方法及びこの方法を記録した記録媒体
JP2000197046A (ja) * 1998-10-23 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、復号方法、符号化装置、復号装置、及びそれらの方法を記憶した記憶媒体
US7006568B1 (en) * 1999-05-27 2006-02-28 University Of Maryland, College Park 3D wavelet based video codec with human perceptual model
JP2002315021A (ja) * 2001-04-10 2002-10-25 Yamaha Corp 画像データ圧縮方法および伸張方法並びに画像データ伸張装置
US20030016864A1 (en) * 2001-07-20 2003-01-23 Mcgee Tom Methods of and system for detecting a cartoon in a video data stream
JP2003143624A (ja) * 2001-10-30 2003-05-16 Nippon Hoso Kyokai <Nhk> 画像符号化装置及び画像符号化プログラム並びに画像復号化装置及び画像復号化プログラム
JP2003288585A (ja) * 2002-03-27 2003-10-10 Fuji Photo Film Co Ltd 減色処理装置及び減色処理方法

Also Published As

Publication number Publication date
WO2008019156A2 (en) 2008-02-14
WO2008019156A3 (en) 2008-06-19
EP2084669A2 (en) 2009-08-05
EP2084669A4 (en) 2009-11-11
US20100303150A1 (en) 2010-12-02

Similar Documents

Publication Publication Date Title
JP2010500818A (ja) 漫画アニメーション圧縮のためのシステムおよび方法
US20220312021A1 (en) Analytics-modulated coding of surveillance video
EP2193663B1 (en) Treating video information
US6466624B1 (en) Video decoder with bit stream based enhancements
JP5391290B2 (ja) テクスチャレベルに基づく量子化調整
JP5039777B2 (ja) Dcシフトアーチファクトに対する量子化調整
JP5351038B2 (ja) 画像データ及び深度データの組合せを処理する画像処理システム
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
JP6352173B2 (ja) プリプロセッサ方法および装置
JPH11252509A (ja) 動画像のカット点検出装置
KR20090100402A (ko) 이미지 압축 및 압축해제
WO2012076646A1 (en) High-dynamic range video tone mapping
US7031388B2 (en) System for and method of sharpness enhancement for coded digital video
JP2009532741A6 (ja) プリプロセッサ方法および装置
Moorthy et al. Efficient video quality assessment along temporal trajectories
Chen et al. AV1 video coding using texture analysis with convolutional neural networks
JP2001346208A (ja) 画像信号復号化装置および方法
JP3597271B2 (ja) 動画像のカット点画像検出装置
Jung et al. Optimal decoder for block-transform based video coders
US20060176961A1 (en) Method for reducing bit rate requirements for encoding multimedia data
Thapa et al. Object based fast motion estimation and compensation algorithm for surveillance video compression
Coimbra et al. A new pedestrian detection system using mpeg-2 compressed domain information
WO1999059342A1 (en) Method and system for mpeg-2 encoding with frame partitioning
Pronina et al. Improving MPEG performance using frame partitioning
Boroczky et al. Post-processing of compressed video using a unified metric for digital video processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120724