Nothing Special   »   [go: up one dir, main page]

JP2009543508A - 信号処理方法及び装置 - Google Patents

信号処理方法及び装置 Download PDF

Info

Publication number
JP2009543508A
JP2009543508A JP2009519380A JP2009519380A JP2009543508A JP 2009543508 A JP2009543508 A JP 2009543508A JP 2009519380 A JP2009519380 A JP 2009519380A JP 2009519380 A JP2009519380 A JP 2009519380A JP 2009543508 A JP2009543508 A JP 2009543508A
Authority
JP
Japan
Prior art keywords
information
block
unit
motion vector
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009519380A
Other languages
English (en)
Other versions
JP5021739B2 (ja
Inventor
ヒュ ヤン，ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2009543508A publication Critical patent/JP2009543508A/ja
Application granted granted Critical
Publication of JP5021739B2 publication Critical patent/JP5021739B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本発明は、現在のブロックに対して、第１ドメイン上で相関関係の最も高い相関（ｃｏ−ｒｅｌａｔｅｄ）ユニットを探索する段階と、該相関ユニットのコーディング情報を獲得する段階と、該獲得されたコーディング情報を用いて現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、を含む信号処理方法及び装置を提供する。

Description

本発明は、信号処理方法及び装置に関するものである。
圧縮符号化とは、デジタル化した情報を通信回線を通し伝送したり、保存媒体に適合した形態で保存する一連の信号処理技術のことを意味する。圧縮符号化の対象には、音声、映像、文字などがあり、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮と称する。ビデオ映像の一般的な特徴は、空間的な冗長性または時間的な冗長性を有している点にある。さらに、１台以上のカメラを用いて多様な視点を使用者に提供する３次元（３Ｄ）映像処理の一分野として多視点ビデオ（Ｍｕｌｔｉ-ｖｉｅｗ ｖｉｄｅｏ）映像がある。
多視点ビデオ映像は、視点間に高い相関関係を持っているので、視点間の空間的予測を通じて重複した情報を除去することができる。したがって、視点間の予測を效率的に行うための様々な圧縮技術が必要である。
このように空間的な冗長性及び時間的な冗長性を十分に除去しないと、信号をコーディングするに際して圧縮率が低くなり、一方、空間的な冗長性及び時間的な冗長性を過度に除去すると、信号をコーディングする上で必要な情報を生成できず、復元率が悪くなるという問題点があった。
また、多視点ビデオ信号において、視点間ピクチャは、大部分の場合、カメラの位置による差のみが存在するため、視点間ピクチャはその関連性と冗長性が非常に高いが、このような視点間ピクチャの冗長性を十分に除去しなかったり過度に除去する場合には、圧縮率または復元率が低下するという問題点があった。
したがって、本発明の目的は、信号処理の効率を上げることにある。
本発明の他の目的は、信号のコーディング情報を予測する方法を提供することによって信号を效率的に処理することにある。
本発明のさらに別の目的は、動き情報を予測する方法を提供することによってビデオ信号を效率的にコーディングすることにある。
上記の目的を達成するために、本発明は、現在のブロックに対して、第１ドメイン上で相関関係の最も高い相関（ｃｏ−ｒｅｌａｔｅｄ）ユニットを探索する段階と、該相関ユニットのコーディング情報を獲得する段階と、該獲得されたコーディング情報を用いて現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、を含むことを特徴とする信号処理方法を提供する。
また、本発明は、現在のブロックに隣り合うブロックを用いて、第１ドメイン上の相関（ｃｏ−ｒｅｌａｔｅｄ）ユニットを探索する段階と、該相関ユニットのコーディング情報を獲得する段階と、該獲得されたコーディング情報を用いて現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、を含むことを特徴とする信号処理方法を提供する。
また、本発明は、現在のブロックのモーションスキップ情報を抽出する段階と、現在のブロックの同一位置（ｃｏ−ｌｏｃａｔｅｄ）ブロックの動き情報を抽出する段階と、該得られた動き情報と他のドメインに存在する参照ブロックの動き情報を獲得する段階と、該獲得された参照ブロックの動き情報に基づいて現在のブロックの動き情報を導き出す段階と、を含むことを特徴とする信号処理方法を提供する。
また、本発明は、第１ドメイン上で現在のユニットと隣接ユニット間の動き情報を獲得する段階と、該獲得された動き情報に基づいて現在のユニットに含まれた現在ブロックに対応する相関ブロック（ｃｏ−ｒｅｌａｔｅｄ ｂｌｏｃｋ）を獲得する段階と、相関ユニットの第２ドメイン上の動き情報を獲得する段階と、該得られた第２ドメイン上の動き情報を用いて現在ユニットの第２ドメインに該当する動き情報を導き出す段階と、を含むことを特徴とする信号処理方法を提供する。
本発明は、信号を処理するに当たり、現在のユニットに対して時間方向の動きベクトルが与えられた時、該時間方向の動きベクトルを用いて現在のユニットの視点方向の動きベクトルを予測できる。時間方向の動きベクトルは、同一視点の異なる時間帯における映像を参照するので、各オブジェクトの深さ（ｄｅｐｔｈ）が時間の変化によって大きく変わらない限り、視点方向の動きベクトルを十分正確に予測することができる。また、現在のユニットに隣接するユニットのコーディング情報を用いて現在のユニットのコーディング情報を予測することによって、より正確な予測が可能であり、これによって、対応する誤差値伝送量が減少し、効率的なコーディングを行うことが可能になる。また、隣接するユニットの時間方向に対するレファレンスユニットの視点方向に対するコーディング情報を用いて現在のユニットのコーディング情報を予測することによって、効率的なコーディングを行うことが可能になる。
また、現在のユニットのモーション情報が伝送されなくても、現在のユニットのモーション情報に非常に近いモーション情報を算出できるため、復元率が向上するという効果を奏する。
本発明が適用されるビデオ信号デコーディング装置の概略的なブロック図である。 本発明が適用される一実施例であって、現在のユニットのコーディング情報を予測する方法を示す図である。 本発明が適用される一実施例であって、動きベクトルを予測する方法を示す図である。 本発明が適用される一実施例であって、現在のブロックに隣接する隣接ブロックの参照ピクチャが視点方向か時間方向かによって現在のブロックの動きベクトルを予測する方法を示す図である。 本発明の他の実施例であって、視点間相関関係を用いて現在のブロックのコーディング情報を予測する方法を示す図である。 本発明が適用される一実施例であって、現在のブロックのコーディング情報を予測する方法を示す図である。 本発明が適用される一実施例であって、時間方向のフォワード方向とバックワード方向の参照ブロックがいずれも視点方向のブロックを参照している場合、現在のブロックのパーティション情報を予測するためにこれら両参照ブロックのパーティション情報のうちいずれかを選択するための様々な例を示す図である。 本発明が適用される一実施例であって、時間方向のフォワード方向とバックワード方向の参照ピクチャがいずれも視点方向のピクチャを参照している場合、現在のブロックの予測方向情報を予測するためにこれら両参照ピクチャの予測方向情報のうちいずれかを選択するための様々な例を示す図である。 本発明が適用される一実施例であって、現在のブロックの視点方向に対するコーディング情報を予測する方法を説明するためのフローチャートである。 本発明が適用される一実施例であって、現在のブロックのコーディング情報を予測する方法を示す図である。 本発明が適用される一実施例であって、現在のブロックの視点方向に対するコーディング情報を予測する方法を示すフローチャートである。
以下、添付の図面を参照つつ、本発明の好適な実施例を詳細に説明する。なお、本発明で使われる用語は可能なかぎり現在広く使われている一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語もあり、その場合は該当する発明の説明部分で詳細にその意味を記載しておいたので、単純な用語の名称ではなく用語が持つ意味として本発明を把握すべきということは明らかである。
図１は、本発明が適用されるビデオ信号デコーディング装置の概略的なブロック図である。
このデコーディング装置は、主に、パーシング部１００、エントロピーデコーディング部２００、逆量子化／逆変換部３００、イントラ予測部４００、デブロッキングフィルタ部５００、復号ピクチャバッファ部６００、インター予測部７００などを含む。そして、インター予測部７００は、ＩＣオフセット予測部７１０、照明補償部７２０、動き補償部７３０などを含む。
パーシング部１００では、受信したビデオ映像を復号するためにＮＡＬ単位でパーシングを行う。一般的に、一つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに伝送される。この時、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には様々な属性情報を含むことができる。ＭＶＣは、既存ＡＶＣ技術に対する追加技術であるから、無条件的に追加するよりは、ＭＶＣビットストリームである場合に限って様々な属性情報を追加する方がより効率的になり得る。例えば、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域でＭＶＣビットストリームか否かを識別できるフラグ情報を追加することができる。このフラグ情報によって入力されたビットストリームが多視点映像コーディングされたビットストリームの場合に限り、多視点映像に対する属性情報を追加することができる。例えば、これらの属性情報は、時間的レベル（ｔｅｍｐｏｒａｌ ｌｅｖｅｌ）情報、視点レベル（ｖｉｅｗ ｌｅｖｅｌ）情報、インタービュー・ピクチャグループ識別情報、視点識別（ｖｉｅｗ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報などを含むことができる。
パーシングされたビットストリームは、エントロピーデコーディング部２００でエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化／逆変換部３００では、受信して量子化された値に一定の定数を乗じて変換された係数値を獲得し、この係数値を逆変換して画素値を復元する。イントラ予測部４００では、復元された画素値を用いて、現在のピクチャ内のデコーディングされたサンプルから画面内予測を行う。一方、デブロッキングフィルタ部５００では、ブロック歪み現象を減少させるために、復元された画素値をそれぞれのコーディングされたマクロブロックに適用する。フィルタは、ブロックのエッジを平滑化にしてデコーディングされたピクチャの画質を向上させる。フィルタリング過程の選択は、境界強度（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｔｈ）と境界周囲のイメージサンプルの勾配（ｇｒａｄｉｅｎｔ）に依存する。フィルタリングを経たピクチャは出力されたり、参照ピクチャとして用いるために復号ピクチャバッファ部６００に保存される。
復号ピクチャバッファ部（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ ｕｎｉｔ）６００では、画面間予測を行うために以前にコーディングされたピクチャを保存したり開放する役割などを果たす。この時、復号ピクチャバッファ部６００に保存したり開放するために各ピクチャのｆｒａｍｅ ｎｕｍとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）を用いることとなる。したがって、ＭＶＣにおいて、以前にコーディングされたピクチャの中には現在のピクチャと異なる視点にあるピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、ｆｒａｍｅ ｎｕｍとＰＯＣだけでなく、ピクチャの視点を識別する視点情報も共に利用することができる。上記のように管理される参照ピクチャは、インター予測部７００で用いられることができる。
インター予測部７００では、復号ピクチャバッファ部６００に保存された参照ピクチャを用いて画面間予測を行う。インターコーディングされたマクロブロックを、マクロブロックパーティションに分けられることができ、各マクロブロックパーティションは一つまたは二つの参照ピクチャから予測することができる。このインター予測部７００は、ＩＣ差分予測部７１０、照明補償部７２０及び動き補償部７３０などを含む。
入力されたビットストリームが多視点映像に該当する場合、各視点映像（ｖｉｅｗ ｓｅｑｕｅｎｃｅ）はそれぞれ異なるカメラから取得された映像であるため、カメラの内外的要因によって照明（ｉｌｌｕｍｉｎａｔｉｏｎ）差が発生する。これを防止すべく、照明補償部７２０では照明補償（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。照明補償を行うときに、ビデオ信号の一定階層に照明補償を行うか否かを表すフラグ情報を用いることができる。例えば、該当のスライスまたは該当のマクロブロックに照明補償を行うか否かを表すフラグ情報を用いて照明補償を行うことができる。また、該フラグ情報を用いて照明補償を行うときに、様々なマクロブロックのタイプ（例えば、インター１６×１６モードまたはＢ−ｓｋｉｐモードまたは直接モードなど）の適用が可能である。
動き補償部７３０では、エントロピーデコーディング部２００から伝送された情報を用いて現在のブロックの動きを補償する。ビデオ信号から現在ブロックに隣り合うブロックの動きベクトルを抽出し、現在のブロックの動きベクトル予測値を獲得する。該獲得された動きベクトル予測値とビデオ信号から抽出される差分ベクトルとを用いて現在のブロックの動きを補償する。また、このような動き補償は、一つの参照ピクチャを用いて行われても良く、複数のピクチャを用いて行われても良い。多視点ビデオコーディングにおいて、現在ピクチャが他の視点にあるピクチャを参照することとなる場合、復号ピクチャバッファ部６００に保存されている視点間予測のための参照ピクチャリストに対する情報を用いて動き補償を行うことができる。また、そのピクチャの視点を識別する視点情報を用いて動き補償を行っても良い。
また、直接予測モード（ｄｉｒｅｃｔ ｍｏｄｅ）は、符号化の終わったブロックの動き情報から現在のブロックの動き情報を予測する符号化モードである。このような方法は、動き情報を符号化する時に必要なビット数が節約されるので、圧縮効率が向上する。例えば、時間直接モード（ｔｅｍｐｏｒａｌ ｄｉｒｅｃｔ ｍｏｄｅ）は、時間方向の動き情報相関度を用いて現在のブロックの動き情報を予測することとなる。この時間直接モードは、互いに異なる動きを含んでいる映像でその動きの速度が一定なときに効果がある。空間直接モード（ｓｐａｔｉａｌ ｄｉｒｅｃｔ ｍｏｄｅ）は、空間方向の動き情報相関度を用いて現在のブロックの動き情報を予測することとなる。この空間直接モードは、同一の動きを含んでいる映像でその動きの速度が変わるときに効果がある。
上記のような過程を通じてインター予測されたピクチャとイントラ予測されたピクチャは予測モードによって選択され、現在のピクチャを復元することとなる。以下では、信号の効率的な処理方法を提供するための様々な実施例が説明される。
図２は、本発明が適用される一実施例であって、現在のユニットのコーディング情報を予測する方法を示す図である。
本発明でいうユニットは、ビデオ信号に適用するときには、ブロック、サブブロック、マクロブロック、スライス、ピクチャ、フレーム、ピクチャグループ、シーケンスなどの意味をいずれも含むことができる。したがって、ユニットの意味は、それぞれの適用例によってそれに相応する意味として解釈されるべきである。また、ビデオ信号以外に、他の信号などに適用するときにはその信号に適合する他の意味として解釈されることができる。
多視点ビデオシーケンスにおいて、各ユニットは、第１ドメインと第２ドメイン領域に存在することができる。例えば、第１ドメインは時間領域、第２ドメインは視点領域でありう得る。この場合、これらの各ユニットは、時間方向と視点方向の軸上に存在できる。したがって、いずれかのユニットは時間方向にのみ予測情報を得ることができ、いずれかのユニットは視点方向にのみ予測情報を得ることができる。また、いずれかのユニットは時間方向と視点方向の両方で予測情報を得ることができる。この時、時間方向にコーディング情報を予測することになる場合、レファレンスユニットが同一視点の他の時間帯に存在すると、各ユニットは時間方向の動きベクトルを持つことになる。そして、レファレンスユニットが同一時間帯の他の視点に存在すると、各ユニットは視点方向の動きベクトルを持つことになる。これを視差ベクトル（ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ）とも呼ぶ。以下でいう動きベクトルは、上記の時間の方向動きベクトルと視点方向の動きベクトルの概念を両方とも含むことができる。また、本発明でいうコーディング情報とは、動きベクトル、レファレンスインデックス、ブロックタイプ、予測方向などに関する情報を含むことができる。
本発明が適用される一実施例として、現在のユニット１に対して時間方向の動きベクトルが与えられた時、時間方向の動きベクトルを用いて現在のユニット１の視点方向の動きベクトルを予測できる。例えば、現在のユニット１と相関性の最も高い相関ユニット３（例えば、レファレンスユニット）で時間方向の動きベクトルが示すユニットＭ３を見つけることができる。このとき、ユニットＭ３が視点方向の動きベクトルｍｖ３ ｆを持っていると、これを現在のユニット１の視点方向の動きベクトルと予測できる。時間方向の動きベクトルは、同じ視点の他の時間帯における映像を参照するため、オブジェクトの深さ（ｄｅｐｔｈ）が時間の変化によって大きく変わらないとすれば、視点方向の動きベクトルを十分正確に予測することができる。
これと同様に、現在のユニット１に対して視点方向の動きベクトルが与えられたとき、この視点方向の動きベクトルを用いて現在のユニット１の時間方向の動きベクトルを予測できる。例えば、現在のユニット１と相関性の最も高い相関ユニット４（例えば、レファレンスユニット）で視点方向の動きベクトルが示すユニットＭ４を見つけることができる。このとき、ユニットＭ４が時間方向の動きベクトルｍｖ４' ｂを持っていると、これを現在のユニット１の時間方向の動きベクトルと予測できる。視点方向の動きベクトルは、異なる視点の同一時間帯で映像を参照するから、特定客体の時間的な動きはカメラごとに略同一になり、よって、時間方向の動きベクトルを十分正確に予測することが可能になる。
また、上記実施例において、現在のユニットのブロックタイプによって両方向予測を行う場合には、上記の各場合をフォワード方向とバックワード方向の両方に適用することができることは当然である。
また、上記の各実施例の場合、動きベクトルが示すユニット（相関ユニット３、相関ユニット４）の開始位置は、各ユニットの属するマクロブロックを４ｘ４で均一に分けた４ｘ４ブロックの開始位置と一致しないことがあり得る。この場合には、最も近い４ｘ４ブロックを見つけてそのブロックの動き情報を取り込むか、相関ユニット（３）または相関ユニット４に重なるブロックの動き情報を平均することによって動き情報を予測できる。このような方法を用いて第１ドメインまたは第２ドメイン上の各ユニットに対して動き情報を予測することができる。
本発明が適用される他の実施例であって、現在のユニットに隣接するユニットの情報を用いて現在のユニットの動き情報を予測することができる。
例えば、現在ユニット１に隣接するユニットのうち、２個の隣接ユニットＡ、Ｂが時間方向の動きベクトルを持っており、１個のユニットＣが視点方向の動きベクトルを持っていると仮定する。この時、現在のユニット１の時間方向の動きベクトルを予測しようとする場合には、隣接ユニットＡ、Ｂの時間方向の動きベクトルを用いることができる。また、上記の実施例で説明した方法を用いると、隣接ユニットＣの視点方向の動きベクトルを用いて隣接ユニットＣの時間方向の動きベクトルを予測できる。このように予測された隣接ユニットＣの時間方向の動きベクトルを含め、３個の時間方向の動きベクトルを全部用いて現在のユニット１の時間方向の動きベクトルを予測することができる。このように第１ドメインの動きベクトルを適用したのと同一の方法を第２ドメインでも適用することができる。
例えば、現在のユニット１の視点方向の動きベクトルを予測しようとする場合には、隣接ユニットＣの視点方向の動きベクトルを直接用いることができる。また、上記の実施例で説明した方法を用いると、隣接ユニットＡ、Ｂの時間方向の動きベクトルを用いてそれぞれの視点方向の動きベクトルを予測できる。そして、これら３個の視点方向の動きベクトルを用いて現在のユニット１の視点方向の動きベクトルをより正確に予測できる。
また、現在のユニット１の隣接ユニットが時間方向の動きベクトル、視点方向の動きベクトルを持つようになる全ての組合せに上の方法を適用することによって、現在のユニット１の時間方向の動きベクトル、視点方向の動きベクトルを予測できる。
また、上述の方法を適用する時にレファレンスユニットとして用いられる各ユニットのブロックが、時間方向の動きベクトルと視点方向の動きベクトルの両方を持つようにするためには次の方法を使用することができる。時間方向にのみ予測情報を得ることになるユニットをＴユニットとし、視点方向にのみ予測情報を得ることになるユニットをＶユニットとする。この時、Ｔユニットは時間方向の動きベクトルのみを持っていれば良く、Ｖユニットは視点方向の動きベクトルのみ持っていれば良い。ＴユニットまたはＶユニットにイントラコーディングを発生することができる。Ｖユニットで現在のブロックがイントラコーディングされた場合、隣接ブロックの視点方向の動きベクトルを用いて現在のブロックの視点方向の動きベクトルを予測できる。
これと同様に、Ｔユニットの現在のブロックがイントラコーディングされた場合、隣接ブロックの時間方向の動きベクトルを用いて時間方向の動きベクトルを予測でき、これを現在のブロックの時間方向の動きベクトルと設定するとができる。時間方向と視点方向の両方から予測情報を得るユニットをＴ／Ｖユニットとすれば、これはブロックごとに時間方向の動きベクトルまたは視点方向の動きベクトル一つも持つこととなる。その他には、前述した方式のようにレファレンスユニットによって予測した動きベクトルを、現在のブロックの動きベクトルと設定することができる。Ｔ／Ｖユニットでイントラコーディングが行われる場合にも、隣接ブロックの時間方向の動きベクトルと視点方向の動きベクトルを用いて現在のブロックの動きベクトルを予測できる。このようにイントラコーディングが適用されるユニットに対して、隣接ユニットを通じて予測する方法は、隣接する３つのユニットの中間値（ｍｅｄｉａｎ）を取っても良く、隣接する４ｘ４ユニット９個の平均値を取っても良い。
本発明が適用される他の実施例であって、現在のユニットの相関ユニットとして現在のユニットの動きベクトルが示す部分の近傍ユニットを用いることができる。この時、相関ユニットと近傍ユニット間の位置差ベクトルを用いてより正確な予測を行っても良い。
動きベクトルの解像度（ｒｅｓｏｌｕｔｉｏｎ）によって、１／ｎ（ｎ＝１，２，４，８など）画素の解像度により初期相関ユニットの位置が見つけられる。この場合、正規的な格子構造上のユニットに正確にマッピングされない場合があり得る。すなわち、ｎ＞１の場合は、格子構造上のユニットの少数点画素位置に相関ユニットの画素が位置することができる。そして、相関ユニットから得ようとする情報によって、初期マッピングされた相関ユニットの位置から移動して、より大きい格子構造に近似化させてマッピングさせることができる。例えば、レファレンスインデックスを予測しようとする場合、相関ユニットの正規化された格子構造上の８ｘ８ブロック位置を互いに合わせることができる。この時、現在のブロックの４個の８ｘ８ブロックのそれぞれに対して、対応するマクロブロックの８ｘ８ブロックのそれぞれのレファレンスインデックス情報を用いることができる。各４ｘ４ブロックに対しては動き情報を取り込むことができる。
また、動き情報は、４ｘ４ブロック単位に提供されるので、このような情報を得ようとする場合、相関ユニットで４ｘ４の正規化された格子ブロック位置を互いに合わせることができる。このとき、各対応する４ｘ４ブロックから動き情報を得ることができる。相関ユニットで正規化された格子構造上の１６ｘ１６マクロブロック位置でマッピングされると、該当マクロブロックの全ての情報を持ってくることができる。例えば、ブロックタイプ、レファレンスインデックス、動きベクトルなどの情報を持ってくることができる。
上述した初期マッピング位置から近傍の正規構造上の位置に近似化する方法には様々な実施例がある。正規構造上でピクセルスケール、４ｘ４ブロックスケール、８ｘ８ブロックスケール、１６ｘ１６ブロックスケールなどの格子構造を考えることができる。例えば、現在のユニットの左上端角部の画素がマッピングされた初期位置点を含むユニットの左上端画素に近似化する方法がある。角部に存在する場合は、いずれか一方のユニットの左上端画素位置に近似化させることができる。この時、左上端または右上端または左下端または右下端のユニットを選択できる。または、初期マッピングされた位置から最も近い位置点にマッピングすることができる。例えば、８ｘ８ブロックスケールにマッピングしたい場合、各８ｘ８ブロックの左上端画素位置との距離を測定し、最も近い位置点をマッピングすることができる。
本発明が適用される他の実施例として、第１ドメインユニットの第２ドメインに対するコーディング情報を用いて現在のユニットの第２ドメインに対するコーディング情報を予測することができる。このとき、コーディング情報として、動き情報と一緒にブロック情報も獲得できる。また、コーディング情報を導き出すときにあらかじめ定められたテーブルを用いることができる。例えば、スキップモードとは、以前に現在のユニットより先にコーディングされた他のユニットの情報を現在のユニットの情報として用いることを意味する。このようなスキップモードを適用するときに、異なるドメインに存在する情報を用いることができる。これについての具体的な実施例を以下に説明する。
第一の例として、時間Ｔｂで異なる二つの視点映像内のオブジェクト（または背景）の相対的な動き関係は、十分に近い時間Ｔｃでも略同様に維持されると仮定することができる。このとき、時間Ｔｂにおける視点方向コーディング情報と時間Ｔｃにおける視点方向コーディング情報は高い相関度を持つ。同一視点の他の時間帯にある対応ブロックの動き情報をそのまま取り込んで用いると高いコーディング効率を得ることができる。このような方式を利用したか否かを表すモーションスキップ情報を用いることができる。このモーションスキップ情報によってモーションスキップモードが適用される場合、ブロックタイプ、動きベクトル、レファレンスインデックスのような動き情報を現在のブロックの対応ブロックから予測できる。したがって、このような動き情報をコーディングするのに必要なビット量を減らすことができる。例えば、ｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇが０のときにはモーションスキップモードが適用されないし、１のときには現在のブロックにモーションスキップモードが適用される。このモーションスキップ情報はマクロブロックレイヤーに位置することができる。例えば、モーションスキップ情報がマクロブロックレイヤーの拡張領域に位置し、デコーダ側で動き情報をビットストリームから取り込むかを優先的に知らせることができる。
第二の例として、上記の例と同様に、第１ドメインと第２ドメインを変えて同一方式を用いることができる。特に、同一時間ＴｂにおけるＶｂ視点内のオブジェクト（または背景）とそれに隣接するＶａ視点内のオブジェクト（または背景）は、類似の動き情報を持つ確率が高い。この時、同一時間帯の他の視点にある対応ブロックの動き情報をそのまま取り込んで利用すると、高いコーディング効率を得ることができる。このような方式を用いたか否かを表すモーションスキップ情報を用いることができる。
上記２つのモーションスキップモードの場合、現在のユニットに対する相関ブロックを見つける方法が略同様に適用されることができる。以下では、便宜上、上記の第一の例をインタービューモーションスキップとし、第二の例をテンポラルモーションスキップとする。
現在のユニットに対する相関ユニットを見つける方法について説明する。
相関ユニットの位置として、現在のユニットと異なるドメイン上に存在するユニット内の現在のユニットと同じ位置にあるユニットを用いることができる。例えば、インタービューモーションスキップモードの場合、同一時間帯の異なる視点に存在する同一位置のブロックを相関ブロックとして用いることができる。そして、テンポラルモーションスキップモードの場合は、同一視点上の異なる時間帯に存在する同一位置のブロックを相関ブロックとすることができる。または、現在のブロックの隣接ブロックの動き情報を用いて相関ブロックを見つけても良い。これについては上記の実施例で説明した通りである。このように相関ブロックが見つけられると、各相関ブロックの動き情報を用いて現在のブロックの動き情報を予測できる。この相関ブロックが動き情報を持っていないと、モーションスキップモードは適用されない。以上の相関ユニットを見つける方法は、それより小さいか大きいユニットに対して相関ユニットを見つける方法としてもそのまま拡張して用いることができる。
上記の実施例で説明した２つのスキップモード方法を組み合わせて様々な方法で用いることができる。
その第一の実施例として、２つのスキップモードのいずれかを使用したかを区分するためにそれぞれのフラグを別に管理できる。例えば、インタービュースキップモードの場合には、ｉｎｔｅｒ ｖｉｅｗ ｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇで、テンポラルスキップモードの場合にはｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇで表すことができる。シンタックス上に２個のフラグビットでそれぞれの適用の有無を表すことができる。この場合は、上記２つのスキップモードを全て適用してみた後により良い方法を選択する場合である。または、スライス別に上記２つのスキップモードのうちいずれか一つのみを使用することができる。
例えば、インタービューモーションスキップモードの場合、現在のユニットの隣接ユニットが同一視点上の異なる時間帯に存在するユニットを参照しなければならない。いずれの隣接ユニットもこのような条件を満足できない場合にはインタービューモーションスキップモードを適用できなくなり得る。または、隣接ユニットの動き情報から、視点方向のレファレンスユニットを見つけた後に、このレファレンスユニットが時間方向の動き情報を持つ場合に当該時間方向の動き情報を用いることができる。また、テンポラルモーションスキップモードを適用する時にも類似の方式で適用することができる。すなわち、現在のユニットの隣接ユニットが同一時間帯の異なる視点に存在するユニットを参照しなければならない。いずれの隣接ユニットもこのような条件を満足できない場合に、テンポラルモーションスキップモードを適用できなくなり得る。または、隣接ユニットの動き情報から、時間方向のレファレンスユニットを見つけた後に、このレファレンスユニットが視点方向の動き情報を持つ場合にこの視点方向の動き情報を用いることができる。
他の例として、スライス単位に一つのモーションスキップモードを定めて使用する場合に、スライスヘッダにモーションスキップモードがどのように適用されるかを表す情報を挿入することができる。例えば、ｍｏｔｉｏｎ ｓｋｉｐ ｅｎａｂｌｅというシンタックス要素を用いることができる。ｍｏｔｉｏｎ ｓｋｉｐ ｅｎａｂｌｅが１の場合はインタービューモーションスキップモードが適用され、０の場合はテンポラルモーションスキップモードが適用される。そして、各マクロブロック別にｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇを用いて該当のマクロブロックにモーションスキップモードが適用されたか否かを表すことができる。このフラグの位置は、マクロブロックレイヤーの拡張領域とすることができる。
第二の実施例として、現在のユニットの隣接ユニットから予測したレファレンスユニットが視点軸上にある場合は、テンポラルモーションスキップモードを適用し、予測したレファレンスユニットが時間軸上にある場合はインタービューモーションスキップモードを適用することができる。これはデコーダ側でわかるので、一つのｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇのみあれば良い。この場合、隣接ユニットから動き情報を予測する方法によってモードが定められることができる。例えば、デコーダ側でｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇをパーシングした後、モーションスキップモードが適用される場合に隣接ユニットから動き情報を予測することができる。この予測されたレファレンスユニットが同一時間帯の異なる視点にあるユニットである場合、テンポラルモーションスキップモードを適用できる。予測されたレファレンスユニットが同一視点上の異なる時間帯に存在するユニットである場合、インタービューモーションスキップモードを適用できる。隣接ユニットから相関ユニットを見つけるための動き情報を得るための一方法として、空間直接予測モードにおけると同一の方法でレファレンスインデックス及び動きベクトルを導き出すことができる。
第三の実施例として、上記２つのモーションスキップモードのいずれか一方のみを使用することができる。この場合、ｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇは一つのみ必要になる。例えば、インタービューモーションスキップモードを適用する時、現在のユニットの隣接ユニットが同一視点上の異なる時間帯のユニットを参照しなければならない。いずれの隣接ユニットもこのような条件を満足できない場合にはインタービューモーションスキップモードを適用できなくなり得る。または、隣接ユニットの動き情報から、視点方向のレファレンスユニットを見つけた後に、このレファレンスユニットが時間方向の動き情報を持つ場合、この時間方向の動き情報を用いることができる。テンポラルモーションスキップモードを適用するときにも類似の方式で適用できる。
また、インタービューモーションスキップモードの場合、相関ユニットの動き情報が視点方向に対する動き情報でない場合に、上記アルゴリズムを適用しなくて良い。または、現在のユニットと相関ユニット、相関ユニットと相関ユニットのレファレンスユニット間の時間差による比例式を用いて動きベクトルを導き出すことができる。同様に、テンポラルモーションスキップモードの場合、相関ブロックの動き情報が時間方向の動き情報でない場合、上記アルゴリズムを適用しなくて良い。または、現在のユニットと相関ユニット、相関ユニットと相関ユニットのレファレンスユニット間の視点間幾何学的（ｇｅｏｍｅｔｒｉｃａｌ）または位相学的（ｔｏｐｏｌｏｇｉｃａｌ）距離による比例式を用いて動きベクトルを導き出すことができる。例えば、実際カメラがＶ０、Ｖ１、Ｖ２順に直線上に位置し、現在のユニットがＶ１に、相関ユニットがＶ０に、相関ユニットのレファレンスユニットがＶ２にあると仮定する。この時、相関ブロックの動きベクトルの各成分の大きさを１／２にして用いることができる。または、実際のカメラ間の距離が与えられた場合、実際距離を考慮して動きベクトルを導き出すことができる。また、カメラが直線上に位置しない場合にも幾何学的または位相学的距離を用いることができる。
また、視点間の区分は視点識別情報からわかる。そして、時間軸上のユニット区分はピクチャ出力順序（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）またはフレーム番号（ｆｒａｍｅ ｎｕｍｂｅｒ）からわかる。多視点ビデオシーケンスでは、レファレンスインデックスだけでは異なる視点間で正確なユニットを見つけることができない。レファレンスユニットの再配列過程が視点間にそれぞれ起きる場合、一方の視点におけるレファレンスインデックスが示すユニットと他方の視点で同一値のレファレンスインデックスが示すユニットとは互いに相応するユニットでない場合があり得る。例えば、Ｖｂ、Ｔｂに存在するマクロブロックＭ１のレファレンスインデックスが示すユニットが、Ｖｂ、Ｔｃに存在するユニット３に該当する場合、Ｖａ視点における同一レファレンスインデックスはＶａ、Ｔａに存在するユニット５に該当することができる。したがって、相関ユニットの動き情報を取り込むときに、レファレンスインデックスでないピクチャ出力順序（ＰＯＣ）、フレーム番号（ｆｒａｍｅ ｎｕｍｂｅｒ）、及び／または視点識別情報のうち少なくとも一つが必要になり得る。現在のユニットのレファレンスリスト上にあるレファレンスユニットのピクチャ出力順序（ＰＯＣ）、フレーム番号（ｆｒａｍｅｎｕｍｂｅｒ）、及び／または視点識別情報のうち少なくとも一つを比較して同一レファレンスを最終的に見つけることができる。
また、このような方式で導き出された動きベクトルを予測値として用い、実際の動きベクトルを求めてその差値を符号化して用いても良い。この場合、より正確な位置を参照することが可能になる。
図３は、本発明が適用される実施例であって、動きベクトルを予測する方法を示す図である。
エンコーダでは、現在のブロックに隣接するブロックの動き情報を用いて、現在のブロックの動き情報を予測し、実際の動きベクトルと予測された動きベクトルとの差値を伝送する。同様に、デコーダでは、現在のマクロブロックが参照するピクチャの参照ピクチャ番号と隣接ブロックが参照するピクチャの参照ピクチャ番号が同一か否かを判別し、それによって動きベクトル予測値を獲得する。例えば、隣接ブロックに現在のマクロブロックと同じ参照ピクチャ番号を持つブロックが一つのみ存在する場合には、この隣接ブロックの動きベクトルをそのまま使用し、それ以外の場合には、隣接ブロックの動きベクトルの中間値（ｍｅｄｉａｎ ｖａｌｕｅ）を使用する。
また、多視点ビデオコーディングでは、参照ピクチャが時間軸だけでなく視点軸にも存在できる。このような特性の上、現在のマクロブロックの参照ピクチャ番号と隣接ブロックの参照ピクチャ番号が異なる場合、それらの動きベクトルは何の相関関係をも持たない可能性が高い。この場合、動きベクトル予測値の正確度は非常に落ちてしまう。したがって、本発明が適用される一実施例として、視点間の相関関係を利用した新しい動きベクトル予測方法を提案する。
例えば、視点間に発生する動きベクトルは、各オブジェクトの深さ（ｄｅｐｔｈ）に依存（ｄｅｐｅｎｄｅｎｔ）し得る。映像の深さが空間的に非常に激しい変化がなく、時間軸の変化による映像の動き自体が非常に激しくなければ、各マクロブロック位置における深さ自体は大きく変わらない。ここで、深さ（ｄｅｐｔｈ）とは、視点間の視差を表し得る情報のことを意味することができる。また、基本的にカメラ間にグローバル動きベクトルの影響が存在するので、深さが少し変わってもグローバル動きベクトルが深さ変化に比べて十分に大きいとすれば、相関関係（ｃｏｒｒｅｌａｔｉｏｎ）のない隣ブロックの時間方向動きベクトルを利用するより、このグローバル動きベクトルを利用することがより効率的になり得る。
ここで、グローバル動きベクトル（ｇｌｏｂａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）とは、一定領域に共通して適用できる動きベクトルのことを意味する。例えば、動きベクトルが一部領域（例：マクロブロック、ブロック、ピクセル等）に対応するとすれば、グローバル動きベクトルは、この一部領域を含む全体領域に対応する動きベクトルである。例えば、全体領域は、一つのスライスに対応しても良く、一つのピクチャに対応しても良く、シーケンス全体に対応しても良い。または、ピクチャ内の一つ以上のオブジェクト、背景、または一定領域にそれぞれ対応しても良い。このようなグローバル動きベクトルは、画素単位または１／４画素単位の値になっても良く、４ｘ４単位、８ｘ８単位、またはマクロブロック単位の値になっても良い。
本発明が適用される実施例として、同一位置（ｃｏ−ｌｏｃａｔｅｄ）ブロックの視点間動き情報を用いて現在のブロックの動きベクトルを予測できる。ここで、同一位置（ｃｏ−ｌｏｃａｔｅｄ）ブロックは、同一ピクチャに存在する現在のブロックに隣接するブロックを意味しても良く、または、異なるピクチャに含まれた現在のブロックと同じ位置に存在するブロックを意味しても良い。例えば、異なる視点にある異なるピクチャである場合、空間的同一位置（ｓｐａｔｉａｌ ｃｏ−ｌｏｃａｔｅｄ）のブロックと言っても良く、同一視点にある異なるピクチャの場合には時間的同一位置（ｔｅｍｐｏｒａｌ ｃｏ−ｌｏｃａｔｅｄ）のブロックと言っても良い。
多視点ビデオコーディング構造では、一定の時間間隔に視点方向にのみ予測するピクチャを備えることによってランダムアクセス（ｒａｎｄｏｍ ａｃｃｅｓｓ）を実現できる。このように視点方向にのみ動き情報を予測する２つのピクチャが復号化されると、時間的にその間にあるピクチャに対して新しい動きベクトル予測方法を適用することができる。例えば、視点方向にのみ予測するピクチャから視点方向の動きベクトルを得ることができ、これを４ｘ４ブロック単位に保存することができる。視点方向にのみ予測する時に、照明（ｉｌｌｕｍｉｎａｔｉｏｎ）差が非常に激しい場合にはイントラ予測でコーディングされる場合が多く発生する。このときには、動きベクトルを０に設定できる。しかし、照明差が大きいためにイントラ予測で多くコーディングされると視点方向の動きベクトルに対する情報がわからないマクロブロックが多く発生することになる。これを補完する目的で、イントラ予測の場合には隣接ブロックの動きベクトルを用いて仮想の視点間動きベクトル（ｉｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を計算できる。そして、仮想の視点間動きベクトルを、イントラ予測でコーディングされたブロックの動きベクトルに設定することができる。
このようにして復号化された２個のピクチャから視点間動き情報を獲得した後、その間に存在する階層的（ｈｉｅｒａｒｃｈｉｃａｌ）Ｂピクチャをコーディングすることができる。この時、復号化された２個のピクチャは、アンカーピクチャでありうる。ここで、アンカーピクチャとは、全てのスライスが同一時間帯のフレームにあるスライスのみを参照する符号化されたピクチャのことを意味する。例えば、他の視点にあるスライスのみを参照し、現在の視点にあるスライスは参照しない符号化されたピクチャのことをいう。
また、隣接ブロックがいずれも視点間の（ｉｎｔｅｒ−ｖｉｅｗ）動きベクトルを持っていないとすれば、復号化されたピクチャで同一位置（ｃｏ−ｌｏｃａｔｅｄ）にある４ｘ４ブロックの視点間動きベクトルの平均を用いて、各パーティションの視点間の動きベクトルを予測できる。または、隣接ブロックが視点間の動きベクトルと時間上の（ｔｅｍｐｏｒａｌ）動きベクトルを両方とも持っている場合にも同方式を適用することができる。例えば、下記の式１、２を用いて現在のブロックの動きベクトルを予測できる。
Figure 2009543508
Figure 2009543508
ここで、Ｍは、各パーティションの水平ブロックサイズを表し、Ｎは、各パーティションの垂直ブロックサイズを表す。そして、ｍｖ０、ｍｖ１はそれぞれ、復号化されたピクチャのうち、フォワード方向とバックワード方向の参照ピクチャの動きベクトルを表す。例えば、ｍｖ０、ｍｖ１はそれぞれ、アンカーピクチャの視点間の動きベクトルを意味することができる。または、アンカーピクチャのグローバル動きベクトルを意味することができる。
また、隣接ブロックがいずれも視点間の参照ピクチャを持っていても、予測された視点間の動きベクトルの中間値または平均値から新しい動きベクトル予測値を獲得できる。
本発明が適用される他の実施例として、現在のブロックが時間方向に予測コーディングされたりまたはイントラ予測コーディングされた場合には、現在のブロックの視点間の動き情報がわからず、下記のような方法で視点間の動きベクトルを予測することができる。
その一つの方法は、時間方向または視点方向に現在のピクチャの以前の参照ピクチャと以後の参照ピクチャの同一位置のブロックを用いることができる。例えば、４ｘ４ブロックの視点間の動きベクトルを平均して用いることができる。
もう一つの方法は、時間方向の動きベクトルが示すブロックの視点間の動きベクトルを用いることができる。これは同一オブジェクト（ｏｂｊｅｃｔ）を見つけてそのオブジェクトの動きを利用することであるから、動きが大きい場合にもオブジェクトの深さのみ変わらなかったとすればより正確に視点間の動きベクトルを予測できる。この時、時間方向の動きベクトルを用いて見つけた対応ブロックの位置は正確に４ｘ４ブロック単位で一致しないため、最も近い４ｘ４ブロックの動き情報を利用したり、または、対応ブロックに重なった面積の比で加重値を適用した動き情報を利用することができる。次に、このような方法を適用した具体的実施例を、図４を参照しつつ詳細に説明する。
図４は、本発明が適用される実施例であって、現在のブロックと隣接ブロックの参照ピクチャが視点方向か時間方向かによって現在のブロックの動きベクトルを予測する方法を示す図である。
隣接ブロックの参照ピクチャ番号が現在のブロックの参照ピクチャ番号といずれも異なる場合には０または他の予測方法を用いることができる。例えば、図４（ａ）は、隣接ブロックがいずれも視点方向のピクチャを参照し、現在のブロックは時間方向のピクチャを参照する場合である。このとき、現在のブロックの動きベクトル予測値は０に設定できる。図４（ｂ）は、隣接ブロックがいずれも時間方向のピクチャを参照し、現在のブロックは視点方向のピクチャを参照する場合である。このとき、現在のブロックの動きベクトル予測値は、図２または図３で説明した動きベクトル予測方法を適用できる。または、０に）設定することができる。
また、隣接ブロックのうち２個の隣接ブロックのみが現在のブロックと同じ方向のピクチャを参照する場合が挙げられる。例えば、図４（ｃ）は、現在のブロックが時間方向のピクチャを参照するとき、２つの隣接ブロックが時間方向のピクチャを参照し、残りの一つは視点方向のピクチャを参照する場合である。このとき、時間方向のピクチャを参照する２個の隣接ブロックの動きベクトルを平均して現在のブロックの動きベクトル予測値として用いることができる。図４（ｄ）は、現在のブロックが視点方向のピクチャを参照するとき、隣接ブロック２個が視点方向のピクチャを参照し、残りの一つは時間方向のピクチャを参照する場合である。このとき、視点方向のピクチャを参照する２個の隣接ブロックの動きベクトルを平均して現在のブロックの動きベクトル予測値として用いることができる。または、時間方向のピクチャを参照する一つの隣接ブロックに対しては図２または図３で説明した動きベクトル予測方法を適用できる。そして、これによって獲得された動きベクトルと２個の隣接ブロックの動きベクトルから中間値または加重値平均値を獲得し、現在のブロックの動きベクトル予測値として用いることができる。
また、図４（ａ）〜図４（ｄ）に対して図２または図３で説明した予測方法をブロック単位に適用することができる。
図５は、本発明が適用される他の実施例であって、視点間相関関係を用いて現在のブロックのコーディング情報を予測する方法を示す図である。
現在のブロックの動きベクトルを予測する方法において、現在のブロックの視点と異なる視点に存在する対応ブロックを見つけ、この対応ブロックのコーディング情報を用いて現在のブロックのコーディング情報を予測できる。まず、現在のブロックの視点と異なる視点に存在する対応ブロックを見つける方法について説明する。
例えば、対応ブロックは、現在のブロックの視点方向の動きベクトルが示すブロックであり得る。ここで、視点方向の動きベクトルは、視点間の視差を表すベクトルを意味しても良く、または、グローバル動きベクトルを意味しても良い。このグローバル動きベクトルの意味については図３で説明した通りである。また、グローバル動きベクトルは、現在のブロックと同じ時間上にある隣接視点の対応になるブロック位置を示すことができる。図５を参照すると、ピクチャＡ、Ｂは、Ｔａ時間に、ピクチャＣ、ＤはＴcurr時間に、ピクチャＥ、ＦはＴｂ時間に存在する。このとき、Ｔａ、Ｔｂ時間にあるピクチャＡ、Ｂ、Ｅ、Ｆはアンカーピクチャであり、Ｔcurr時間にあるピクチャＣ、Ｄはノンアンカーピクチャであり得る。そして、ピクチャＡ、Ｃ、Ｅは、同一視点Ｖｎ上に存在し、ピクチャＢ、Ｄ、Ｆも同一視点Ｖｍ上に存在する。ピクチャＣが現在復号化しようとするピクチャであり、ピクチャＤの対応マクロブロック（ｃｏｒｒｅｓｐｏｎｄｉｎｇ ＭＢ）は、現在のブロック（ｃｕｒｒｅｎｔ ＭＢ）の視点方向のグローバル動きベクトル（ＧＤＶcurr）が示すブロックである。このグローバル動きベクトルは、現在のピクチャと隣接視点にあるピクチャ間のマクロブロック単位に獲得できる。この時、隣視点に関する情報は、視点間参照関係を表す情報からわかる。
視点間参照関係（ｖｉｅｗ ｄｅｐｅｎｄｅｎｃｙ）を表す情報とは、視点間の映像がいかなる構造で予測されたかがわかる情報のことをいう。これは、ビデオ信号のデータ領域から獲得できるが、例えば、シーケンスパラメータセット領域から獲得できる。また、視点間参照情報は、参照ピクチャの個数と参照ピクチャの視点情報を用いて把握できる。例えば、まず、全体の視点の個数を獲得し、この全体の視点の個数に基づいて各視点を区別する視点情報を把握できる。そして、各視点ごとに参照方向に対する参照ピクチャの個数を獲得できる。この参照ピクチャの個数によって各参照ピクチャの視点情報を獲得できる。このような方式で視点間参照情報が獲得でき、この視点間参照情報はアンカーピクチャの場合とノンアンカーピクチャの場合とに分けて把握されることができる。これは、現在のＮＡＬにあるコーディングされたスライスがアンカーピクチャなのか否かを表すアンカーピクチャ識別情報からわかる。
アンカーピクチャ識別情報によって、グローバル動きベクトルを獲得する方法が異なることができる。例えば、現在のピクチャがアンカーピクチャの場合には、受信したビットストリームからグローバル動きベクトルを獲得できる。現在のピクチャがノンアンカーピクチャの場合には、アンカーピクチャのグローバル動きベクトルから誘導することができる。
このとき、アンカーピクチャのグローバル動きベクトルの他に、時間距離を表す情報も一緒に用いることができる。例えば、図５を参照すると、ピクチャＡのグローバル動きベクトルをＧＤＶＡとし、ピクチャＥのグローバル動きベクトルをＧＤＶＢとすれば、ノンアンカーピクチャである現在のピクチャＣのグローバル動きベクトルは、アンカーピクチャであるピクチャＡ、Ｅのグローバル動きベクトルと時間距離情報を用いて獲得できる。例えば、時間距離情報は、ピクチャ出力順序を表すＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）とすることができる。したがって、現在のピクチャのグローバル動きベクトルは、下記の式３を用いて誘導できる。
Figure 2009543508
このようにして導き出された現在のピクチャのグローバル動きベクトルが示すブロックを、現在のブロックのコーディング情報を予測するための対応ブロックと見なすことができる。
対応ブロックの全ての動き情報とモード情報を、現在のブロックのコーディング情報を予測するために用いられることができる。このコーディング情報は、動き情報、照明補償（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）に関する情報、加重値予測情報など現在のブロックをコーディングするのに必要な様々な情報を含むことができる。現在のマクロブロックにモーションスキップモードが適用される場合には、現在のマクロブロックの動き情報をコーディングせずに、既にコーディングされた他の視点にあるピクチャの動き情報を現在のマクロブロックの動き情報としてそのまま用いることができる。ここで、モーションスキップモードは、隣接視点にある対応ブロックの動き情報に依存して現在のブロックの動き情報を獲得する場合を含む。例えば、現在のマクロブロックにモーションスキップモードが適用される場合、対応ブロックの全ての動き情報、例えば、マクロブロックタイプ、参照インデックス（ｒｅｆｅｒｅｎｃｅ ｉｎｄｅｘ）、動きベクトルなどをそのまま現在のマクロブロックの動き情報として活用できる。ただし、モーションスキップモードは、例えば、現在のピクチャが既存コデックスと互換可能な基準視点にあるピクチャである場合やアンカーピクチャである場合には、適用されない。そして、モーションスキップモードは、隣接視点に対応ブロックが存在し、この対応ブロックがインター予測モードでコーディングされた場合には適用されることができる。また、モーションスキップモードが適用される場合には視点間参照情報によって、まずＬｉｓｔ０参照ピクチャの動き情報を用い、必要時にはＬｉｓｔ１参照ピクチャの動き情報も用いることができる。
図６は、本発明が適用される実施例であって、現在のブロックのコーディング情報を予測する方法を示す図である。
視点方向のコーディング情報相関度を用いて現在のブロックのコーディング情報を予測する場合により正確な予測が可能になる。また、現在のピクチャのコーディング情報は、時間方向に以前または以後の参照ピクチャから得られたコーディング情報と大きい相関性を持つこととなる。このような特性を利用すると、より正確な予測が可能になる。その具体的な実施例を、図６に基づいて説明する。
図６で、横軸は時間軸（…，Ｔ１，Ｔ２，Ｔ３，…）を表し、便宜上、現在のピクチャを基準にして以前の時間にあるピクチャの方向をフォワード方向とし、以後の時間にあるピクチャの方向をバックワード方向とする。同様に、縦軸は視点軸（…，Ｖ１，Ｖ２，Ｖ３，…）を表し、便宜上、現在のピクチャを基準にして以前の視点Ｖ１にあるピクチャの方向をフォワード方向とし、以後視点Ｖ３にあるピクチャの方向をバックワード方向とする。
本発明の一実施例として、時間方向に現在のピクチャの以前または以後のピクチャから得られた動き情報を用いて現在のピクチャの視点方向の動き情報を予測できる。このような方法はモード情報を利用しても良い。例えば、動き情報予測モードを定義し、この動き情報予測モードが適用されるか否かを知らせることができる。そして、現在のブロックの視点方向の動き情報を予測する時、時間方向に現在のピクチャの以前または以後のピクチャにおいて現在のブロックと同一位置にあるブロック（ｃｏ−ｌｏｃａｔｅｄ ｂｌｏｃｋ）を用いることができる。または、現在のブロックの隣接ブロックから時間方向の動きベクトルを予測し、この動きベクトルが示すブロックを用いることができる。
例えば、動き情報予測モードが適用される場合、時間方向に現在のピクチャの以前のＲ１または以後のＲ２ピクチャにおいて現在のブロックと同一位置（または、時間方向の動きベクトルが示す位置）にあるブロックの動き情報をそのまま使用することができる。例えば、予測方向情報、パーティション情報及び動きベクトル値をそのまま使用することができる。この場合には、このモードが適用されることを知らせるフラグ情報とブロックテキスチャ差分値をコーディングすることができる。他の実施例として、予測方向情報とパーティション情報をそのまま使用することができる。そして、同一位置にあるブロックの動きベクトル値ｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４を現在のブロックの動きベクトル予測値ｍｖｐＬ０，ｍｖｐＬ１として使用することができる。したがって、動き情報予測モードが適用される場合には、このモードが適用されることを知らせるフラグ情報と動きベクトル差分値、そしてブロックテキスチャ差分値をコーディングすることができる。
他の実施例として、上記の例において現在のブロックの予測方向情報とパーティション情報は、同一位置（または、時間方向の動きベクトルが示す位置）にあるブロックの予測方向情報とパーティション情報をそのまま使用しない。例えば、同一位置にあるブロックの動きベクトル値のみを現在のブロックの動きベクトル予測値として用い、現在のブロックの予測方向情報とパーティション情報は、現在のブロックに隣接するブロックから導き出されることができる。この場合には、予測方向情報の他にパーティション情報もコーディングすることができる。
さらに他の実施例として、現在のピクチャが視点方向に一つの参照ピクチャのみを持つとき、現在のピクチャのコーディング情報を予測する方法について説明する。例えば、現在のピクチャが視点方向にフォワード予測のみ可能なとき、または、参照ピクチャは複数個であるが視点方向にフォワード予測のみ可能なとき、現在のピクチャのコーディング情報を予測する方法がある。具体的な例として、現在のピクチャを基準にするとき、時間方向にフォワード方向とバックワード方向の参照ピクチャＲ１，Ｒ２があるとする。これらの参照ピクチャのうち、現在のブロックと対応位置にあるブロックのコーディング情報を調べる。そして、参照ピクチャの対応位置にあるブロックが視点方向の参照ピクチャを持っているかまたは時間方向の参照ピクチャを持っているか調べる。
もし、参照ピクチャの対応位置にあるブロックがいずれも時間方向の参照ピクチャのみを持っているとすれば、現在のブロックは参照ピクチャの対応位置にあるブロックのコーディング情報を利用しなくて良い。しかし、参照ピクチャの対応位置にあるブロックのいずれか一つのみが視点方向の参照ピクチャを持っている場合、そのブロックのコーディング情報を用いて現在のブロックの視点方向コーディング情報を予測することができる。
また、時間方向にフォワード方向とバックワード方向の参照ピクチャＲ１，Ｒ２がいずれも視点方向のピクチャを参照している場合、現在のブロックのコーディング情報は２つの参照ピクチャのうちいずれか一つのみのコーディング情報から予測できる。これら２つの参照ピクチャのいずれか一つのみのコーディング情報を利用することは、あらかじめ定められた約束によって決定されることができる。例えば、コーディング情報のうちパーティション情報を予測する場合、それら２つの参照ピクチャのパーティション情報を把握し、なかでもより小さい大きさのパーティションを持つ参照ピクチャのパーティション情報を用いることができる。すなわち、現在のブロックのパーティション情報を、２つの参照ピクチャのうちのより小さい大きさのパーティションを持つ参照ピクチャのパーティション情報から予測することができる。その具体的な実施例を、図７で詳細に説明する。
図７は、本発明が適用される実施例であって、時間方向にフォワード方向とバックワード方向の参照ブロックがいずれも視点方向のブロックを参照している場合、現在のブロックのパーティション情報を予測するために、それら２つの参照ブロックのパーティション情報のいずれか一つを選択するための様々な例を示す。
現在のブロックのパーティション情報を予測するために複数個の参照ブロックのパーティション情報のいずれか一つを選択する場合、複数個の参照ブロックのパーティション情報のうち、より小さいパーティションを持つ参照ブロックのパーティション情報を用いることができる。また、時間方向にフォワード方向とバックワード方向の参照ブロックのパーティション情報がいずれも同一パーティション情報を持っていると、現在のブロックのパーティション情報も同一情報として予測できる。しかし、異なる情報を持っている場合には選択ができる。
例えば、時間方向にフォワード方向の参照ブロックのパーティション情報が直接モード（ｄｉｒｅｃｔ ｍｏｄｅ）を表し、バックワード方向の参照ブロックのパーティション情報が１６ｘ１６、１６ｘ８、８ｘ１６または８ｘ８の場合には、現在のブロックのパーティション情報をそれぞれ１６ｘ１６、１６ｘ８、８ｘ１６または８ｘ８と予測できる。または、時間方向にフォワード方向の参照ブロックのパーティション情報が１６ｘ８を表し、バックワード方向の参照ブロックのパーティション情報が８ｘ８の場合、より細分化されたパーティションである８ｘ８を現在のブロックのパーティション情報予測値として用いることができる。または、時間方向にフォワード方向の参照ブロックのパーティション情報が８ｘ１６を表し、バックワード方向の参照ブロックのパーティション情報が１６ｘ８の場合、より細分化されたパーティションである８ｘ８を現在のブロックのパーティション情報予測値として用いることができる。
図７におけるパーティション情報に対する例を、対応位置にあるブロックのコーディング情報を使用しようとしないときには適用しなくて良い。この時には対応ブロックの視点方向のコーディング情報のみを用いて現在のブロックの視点方向のコーディング情報を予測できる。例えば、参照ブロックのパーティション情報と現在のブロックのパーティション情報が一致する場合には、対応ブロックの視点方向の動きベクトルをそのまま使用することができる。このとき、フォワード方向とバックワード方向にいずれも参照ブロックが存在する場合には、両方向において該当するパーティションの視点方向の動きベクトルを平均したり時間軸上の距離の比で加重値を適用することによって視点方向の動きベクトル予測値を求めることができる。または、与えられた約束によっていずれか一方向の情報のみを利用して良い。
また、参照ブロックのパーティション情報と現在のブロックのパーティション情報が一致しない場合には、ブロック内の各動きベクトルを平均して用いる。例えば、現在のブロックのパーティション情報が１６ｘ１６ブロックであるが、参照ブロックが１６ｘ８と予測されている場合には、１６ｘ８参照ブロック２個の動きベクトルの平均を１６ｘ１６現在のブロックの動きベクトル予測値として使用することができる。または、フォワード方向とバックワード方向にいずれも参照ブロックが存在する場合には、上述の方法通りに各方向ごとに参照ブロック内のパーティションの各動きベクトルを平均して動きベクトル予測値を求めた後、両方向で該当する視点方向の動きベクトルを平均したり時間軸上の距離の比で加重値を適用し、最終動きベクトル予測値を求める。または、与えられた約束によっていずれか一方向のベクトルのみを利用しても良い。
また、時間方向にフォワード方向とバックワード方向の参照ピクチャＲ１，Ｒ２がいずれも視点方向のピクチャを参照していても、上記の例と同様に、両参照ピクチャＲ１，Ｒ２のうち一つのみを用いることができる。例えば、フォワード方向の参照ピクチャＲ１のみを用いて現在のブロックのコーディング情報を予測したり、または、バックワード方向の参照ピクチャＲ２のみを用いて現在のブロックのコーディング情報を予測できる。
または、参照ピクチャＲ１，Ｒ２を両方とも利用したか、あるいは、フォワードまたはバックワード方向参照ピクチャのいずれか一つのみを利用したかを表すフラグ情報を用いて知らせても良い。
さらに他の実施例として、現在のピクチャが視点方向に複数個の参照ピクチャを持つとき、現在のピクチャのコーディング情報を予測する方法について説明する。例えば、視点方向にフォワード予測、バックワード予測及び双方向予測（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ｐｒｅｄｉｃｔｉｏｎ）が全て可能なとき、現在のピクチャのコーディング情報を予測する方法がある。この場合にも、上記の各実施例で説明した方式が同様に適用されることができる。
他の実施例として、時間方向にフォワード方向とバックワード方向の参照ピクチャＲ１，Ｒ２がいずれも視点方向のピクチャを参照しているとすれば、現在のブロックのコーディング情報を、これら両参照ピクチャのいずれか一つのみのコーディング情報から予測することができる。これら両参照ピクチャのいずれか一方のみのコーディング情報を利用することを、あらかじめ定められた情報によって決定することができる。例えば、コーディング情報のうち予測方向情報を予測する場合、両参照ピクチャの予測方向情報を把握し、それらを包括できる参照ピクチャの予測方向情報を用いることができる。その具体的な実施例を、図８で詳細に説明する。
図８は、本発明が適用される実施例であって、時間方向にフォワード方向とバックワード方向の参照ピクチャがいずれも視点方向のピクチャを参照している場合、現在のブロックの予測方向情報を予測すべくこれら両参照ピクチャの予測方向情報のいずれか一つを選択するための様々な例を示す。
現在のブロックの予測方向情報を予測するために複数個の参照ブロックの予測方向情報のいずれか一つを選択する場合、複数個の参照ブロックの予測方向情報のうち、それらを包括できる参照ピクチャの予測方向情報を用いることができる。また、時間方向にフォワード方向とバックワード方向の参照ブロックの予測方向情報がいずれも同じ予測方向情報を持っていると、現在のブロックの予測方向情報も同一情報として予測することができる。しかし、異なる情報を持っている場合には選択ができる。例えば、時間方向にフォワード方向の参照ブロックの予測方向情報が視点方向にフォワード方向を表し、時間方向にバックワード方向の参照ブロックの予測方向情報が視点方向にバックワード方向である場合には、現在のブロックの予測方向情報は双方向（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ）として予測できる。または、時間方向にフォワード方向の参照ブロックの予測方向情報が視点方向に双方向を表し、時間方向にバックワード方向の参照ブロックの予測方向情報が視点方向にフォワードまたはバックワード方向である場合、これを包括できる双方向を現在のブロックの予測方向情報として予測できる。
図９は、本発明が適用される実施例であって、現在のブロックの視点方向に対するコーディング情報を予測する方法を説明するためのフローチャートである。
まず、ビデオ信号から視点間コーディング情報予測モード情報を獲得することができる（Ｓ９１０）。そして、この予測モード情報によって視点間コーディング情報予測が適用される場合、現在のブロックを基準にして時間方向の参照ブロックが視点方向に対するコーディング情報を持っているか確認する（Ｓ９２０）。ここで、参照ブロックは、現在のブロックと同じ位置にある（ｃｏ−ｌｏｃａｔｅｄ）ブロックであるか、現在のブロックの隣接ブロックから導き出された動きベクトルが示すブロックでありうる。このとき、参照ブロックが視点方向に対するコーディング情報を持っていないと、この現在のブロックは、現在ブロックに隣接するブロックのコーディング情報を用いて現在のブロックのコーディング情報を予測できる（Ｓ９３０）。しかし、参照ブロックが視点方向に対するコーディング情報を持っていると、様々な方法を適用することができる。例えば、参照ブロックのうち視点方向のコーディング情報を用いて参照ブロックがいくつか確認する（Ｓ９４０）。これらの参照ブロックのうち、複数個の参照ブロックが視点方向のコーディング情報を持っていると、該参照ブロックのコーディング情報を用いて現在のブロックのコーディング情報を予測できる。例えば、参照ブロックのパーティション情報または予測方向情報を、あらかじめ定められた約束によって、現在のブロックのパーティション情報または予測方向情報の予測値として用いることができる（Ｓ９５０）。また、参照ブロックのいずれか一つの参照ブロックのみが視点方向のコーディング情報を持っている場合には、参照ブロックが時間方向のコーディング情報も持っているか確認する（Ｓ９６０）。確認した結果、参照ブロックが時間方向のコーディング情報を持っていないと、参照ブロックの視点方向に対するコーディング情報を、現在のブロックのコーディング情報の予測値として用いることができる（Ｓ９７０）。このような情報を利用できない場合には、現在のブロックに隣接するブロックのコーディング情報を用いて現在のブロックのコーディング情報予測値を獲得できる（Ｓ９３０）。
図１０は、本発明が適用される実施例であって、現在のブロックのコーディング情報を予測する方法を示す図である。
多視点ビデオコーディングにおいて、現在のブロックのコーディング情報を予測するとき、現在のブロックに隣接するブロックのコーディング情報を用いることができる。例えば、コーディング情報には、動き情報、予測方向情報、パーティション情報、照明補償情報などを含むことができる。しかし、隣接ブロックはそれぞれ同一視点内の異なる時間帯にあるピクチャを参照しても良く、同一時間帯の異なる視点にあるピクチャを参照しても良い。または、異なる時間帯の異なる視点にあるピクチャを参照しても良い。したがって、現在のブロックが参照するピクチャが視点方向か時間方向かによって隣接ブロックのコーディング情報を選択的に利用する方法が効果的である。基本的に視点方向のコーディング情報と時間方向のコーディング情報は相関度が落ちるため、視点間予測を行う場合には、コーディング情報予測方法を異なって設計できる。その具体的な実施例を、図１０に基づいて説明する。
図１０で、横軸は時間軸（…，Ｔ１，Ｔ２，Ｔ３，…）を表し、便宜上、現在のピクチャＴ２を基準にして以前の時間Ｔ１にあるピクチャの方向をフォワード方向とし、以後の時間Ｔ３にあるピクチャの方向をバックワード方向とする。同様に、縦軸は視点軸（…、Ｖ１，Ｖ２，Ｖ３，…）を表し、便宜上、現在のピクチャＶ２を基準にして以前の視点Ｖ１にあるピクチャの方向をフォワード方向とし、以後の視点Ｖ３にあるピクチャの方向をバックワード方向とする。
本発明の実施例として、現在のブロックの視点方向に対するコーディング情報を予測するために現在のブロックに隣接するブロックＡ，Ｂ，Ｃ，Ｄのコーディング情報を用いることができる。例えば、隣接ブロックが視点方向のピクチャを参照する場合、隣接ブロックのコーディング情報を現在のブロックのコーディング情報予測値として用いることができる。または、隣接ブロックが時間方向のピクチャを参照する場合には、隣接ブロックのコーディング情報を０に設定できる。または、隣接ブロックがイントラ予測コーディングされた場合には隣接ブロックのコーディング情報を使用しなかったり０に設定することができる。
他の実施例で、現在のブロックに隣接するブロックＢが時間方向のピクチャＲ３を参照する場合、時間方向の参照ピクチャＲ３のコーディング情報を用いて現在のブロックの視点方向のコーディング情報を予測できる。例えば、まず、現在のブロックに隣接するブロックＢの動きベクトルが示す位置のブロックを見つける。この時、図１０のＲ３参照ピクチャのように、隣接ブロックＢの動きベクトルが示す位置のブロックがＲ３参照ピクチャの正規格子構造内のいずれかのブロックと正確に一致しないことがある。すなわち、複数個のブロックと重なることがある。このような場合、現在のブロックの視点方向に対するコーディング情報を予測するために様々な実施例を適用することができる。
その一実施例として、まず、隣接ブロックＢの動きベクトルが示す位置のブロックと重なるブロックのうち、視点方向のピクチャを参照するブロックがあるか確認することができる。例えば、隣接ブロックＢの動きベクトルが示す位置のブロックと重なるブロックのうち、視点方向のピクチャを参照するブロックが一つも存在しない場合（例えば、時間方向に予測されたブロックまたはイントラ予測されたブロック）には、重なるブロックは利用しなくて良い。もし、全ての重なるブロックが除去されて現在のブロックの視点方向の動きベクトルを予測できない場合には、隣接ブロックＢは現在のブロックの動きベクトルを予測するために利用しないか、０に設定することができる。
しかし、重なるブロックのうち視点方向のピクチャを参照するブロックが一つ以上存在する場合には、重なる面積が最も広いブロックのコーディング情報を用いることができる。例えば、重なる面積が最も広いブロックの視点方向に対する動きベクトル値を、現在のブロックの視点方向に対する動きベクトル予測値として用いることができる。または、２個以上の領域が同一面積で最も広く重なると、これら最も広く重なったブロックの平均値または中間値を用いて求めても良い。また、各重なる領域の面積に加重値を適用して求める方法も可能である。そして、各重なる領域を単純平均する方法も適用できる。もし重なる領域で利用されるブロックが視点方向に双方向予測（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ｐｒｅｄｉｃｔｉｏｎ）コーディングされた場合には、各視点方向のコーディング情報を利用する際に上記で説明した方法を適用できる。
また、多視点ビデオコーディングされたピクチャは、時間方向の双方向予測が可能なため、それぞれの場合に対して次のように詳細なアルゴリズムを適用することができる。
まず、時間方向のピクチャを参照するとき、予測方向がフォワードまたはバックワードのいずれか一方向であれば、上記で説明された方法をそのまま適用できる。しかし、時間方向に双方向予測である場合には、各方向に対して、時間方向の動きベクトルを用いて見つけたブロックが視点方向のピクチャを参照するか否か確認することができる。２方向のうち一方向のみ視点方向のピクチャを参照する場合には、視点方向のピクチャを参照するブロックのコーディング情報のみを用いることができる。しかし、両方向の参照ブロックがいずれも視点方向のピクチャを参照していると、両方向の参照ブロックのコーディング情報を全て用いることができる。このとき、両方向の参照ブロックのコーディング情報を利用する際に上記で説明した方法をそのまま適用できる。例えば、現在のブロックに隣接するブロックの動きベクトルが示す位置のブロックと重なるブロックのうち、視点方向のピクチャを参照するブロックのコーディング情報を用いることができる。そして、それによる具体的な利用方法も、上記で説明された方法をそのまま適用することができる。
また、両方向の参照ブロックが視点方向のピクチャを参照する場合として様々な実施例を挙げることができる。例えば、参照ブロックが視点方向にいずれもフォワード予測である、いずれもバックワード予測である、または、双方向予測であり得る。またはいずれか一つは双方向予測、残り一つはフォワードまたはバックワード予測であり得る。このようなそれぞれの場合に対しても、上記で説明された方法をそのまま適用できる。
両方向の参照ブロックのコーディング情報を獲得した場合、コーディング情報を平均しそれを現在のブロックに隣接するブロックの視点方向コーディング情報として用いることができる。このとき、時間方向にフォワード方向の参照ブロックとバックワード方向の参照ブロックの時間的距離が異なると、加重値を適用しても良い。
上記で説明した方法で現在のブロックに隣接するブロックのそれぞれに対して視点方向のコーディング情報を予測した後に、現在のブロックのコーディング情報を予測できる。または、既存の方式で現在のブロックのコーディング情報を予測する過程で、上記で説明した方法で視点方向のコーディング情報を予測しても良い。
図１１は、本発明が適用される実施例であって、現在のブロックの視点方向に対するコーディング情報を予測する方法を示すフローチャートである。
まず、現在のブロックに隣接するブロックが視点方向のピクチャを参照するか否か確認することができる（Ｓ１１１０）。このとき、隣接ブロックを一定の順番で確認することができる。例えば、現在のブロックの左側にあるブロック（Ａ）をまず確認し後、順次に、現在のブロックの上側にあるブロック（Ｂ）を確認し、上側ブロック（Ｂ）の右側にあるブロック（Ｃ）を確認し、上側ブロック（Ｂ）の左側にあるブロック（Ｄ）を確認することができる。または、上側にあるブロック（Ｂ）をまず確認することができ、順次に、現在のブロックの左側ブロック（Ａ）、上側ブロック（Ｂ）の右側ブロック（Ｃ）、上側ブロック（Ｂ）の左側ブロック（Ｄ）を確認することができる。この確認過程によって隣接ブロックが視点方向のピクチャを参照する場合、隣接ブロックの視点方向に対するコーディング情報を用いて現在のブロックのコーディング情報を予測できる（Ｓ１１２０）。しかし、隣接ブロックが視点方向のピクチャを参照しない場合、例えば隣接ブロックがイントラコーディングされた場合には隣接ブロックのコーディング情報を利用しなかったりまたは０にセッティングすることができる（Ｓ１１３０）。
または、隣接ブロックが視点方向のピクチャを参照しない場合の他の例として、隣接ブロックが時間方向のピクチャを参照する場合には、時間方向の参照ブロックをサーチできる（Ｓ１１４０）。そして、サーチされた参照ブロックと時間方向の参照ピクチャのブロックとが重なる部分を確認することができる。このとき、重なるブロックのうち、視点方向のピクチャを参照するブロックが存在するか否か確認することができる（Ｓ１１５０）。その結果、重なるブロックが視点方向のピクチャを参照しない場合には、重なるブロックのコーディング情報を利用しなかったり０にセッティングすることができる（Ｓ１１６０）。しかし、重なるブロックが視点方向のピクチャを参照する場合には、重なるブロックの視点方向に対するコーディング情報を用いて現在のブロックのコーディング情報を予測できる（Ｓ１１７０）。このとき、重なるブロックのうち、視点方向のピクチャを参照するブロックが一つ以上存在する場合には、重なる面積が最も広いブロックのコーディング情報を用いることができる。例えば、重なる面積が最も広いブロックの視点方向に対する動きベクトル値を、現在のブロックの視点方向に対する動きベクトル予測値として用いることができる。または、２個以上の領域が同一面積で最も広く重なると、これら最も広く重なったブロックの平均値または中間値を用いて求めても良い。また、各重なる領域の面積に加重値を適用して求める方法も可能である。そして、各重なる領域を単純平均する方法も適用可能である。重なる領域で用いられるブロックが視点方向に双方向予測コーディングされた場合には、各視点方向のコーディング情報を利用するにあたって図１０で説明した方法を適用できる。
本明細書及び請求範囲で使われた用語や単語は、通常的または事典的な意味に限定して解釈されてならず、発明者は自身の発明を最も最善の方法で説明するために用語の概念を適切に定義することができるという原則に基づき、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一例に過ぎず、本発明の技術的思想を限定するものではなく、よって、本出願時点においてそれらの様々な均等物と変形例があり得るということは明らかである。
ビデオ信号データを圧縮符号化する技術は、空間的な冗長性、時間的な冗長性、スケーラブルな冗長性、視点間存在する冗長性を考慮している。このような圧縮符号化過程で視点間に存在する相互冗長性を考慮して圧縮コーディングをすることができる。視点間冗長性を考慮する圧縮コーディングに対する技術は、本発明の実施例に過ぎず、本発明の技術的思想は、時間的冗長性、スケーラブルな重複性のいずれにも適用されることができる。

Claims (12)

  1. 現在のブロックに対して、第１ドメイン上で相関関係の最も高い相関ユニットを探索する段階と、
    前記相関ユニットのコーディング情報を獲得する段階と、
    前記獲得されたコーディング情報を用いて前記現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、
    を含むことを特徴とする信号処理方法。
  2. 前記相関関係は、前記第１ドメイン上で前記現在のブロックと前記相関ユニット間の隣接性を表す情報から判断し、
    前記隣接性を表す情報は、レファレンスインデックス、ピクチャ出力順序を表す情報、デコーディング順序を表す情報、または視点識別情報を含むことを特徴とする、請求項１に記載の信号処理方法。
  3. 前記相関ユニットは、第１ドメイン上のユニットで前記現在のブロックと同じ位置にあるブロックであることを特徴とする、請求項２に記載の信号処理方法。
  4. 前記相関ユニットは、前記第１または第２ドメイン上のユニットにグローバル動きベクトルを適用して得られたブロックであることを特徴とする、請求項２に記載の信号処理方法。
  5. 前記第１ドメインは時間ドメインを、前記第２ドメインは視点ドメインを表すことを特徴とする、請求項４に記載の信号処理方法。
  6. 前記第１ドメイン上のユニットのグローバル動きベクトルは、アンカーユニットから導き出されることを特徴とする、請求項５に記載の信号処理方法。
  7. 現在のブロックに隣り合うブロックを用いて、第１ドメイン上の相関ユニットを探索する段階と、
    前記相関ユニットのコーディング情報を獲得する段階と、
    前記獲得されたコーディング情報を用いて前記現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、
    を含むことを特徴とする信号処理方法。
  8. 前記相関ユニットは、第１ドメイン上のユニットで前記現在のブロックと同じ位置にあるブロックであることを特徴とする、請求項７に記載の信号処理方法。
  9. 前記相関ユニットは、前記第１または第２ドメイン上のユニットにグローバル動きベクトルを適用して得られたブロックであることを特徴とする、請求項７に記載の信号処理方法。
  10. 前記第１ドメインは時間ドメインを表し、前記第２ドメインは視点ドメインを表すことを特徴とする、請求項９に記載の信号処理方法。
  11. 前記第１ドメイン上のユニットのグローバル動きベクトルは、アンカーユニットから導き出されることを特徴とする、請求項１０に記載の信号処理方法。
  12. 前記コーディング情報は、動きベクトル、レファレンスインデックス、ブロックタイプ、予測方向情報またはレジデュアル情報を含むことを特徴とする、請求項１または７に記載の信号処理方法。
JP2009519380A 2006-07-12 2007-07-12 信号処理方法及び装置 Expired - Fee Related JP5021739B2 (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US83008706P 2006-07-12 2006-07-12
US60/830,087 2006-07-12
US84793006P 2006-09-29 2006-09-29
US60/847,930 2006-09-29
US85376906P 2006-10-24 2006-10-24
US60/853,769 2006-10-24
US85470206P 2006-10-27 2006-10-27
US60/854,702 2006-10-27
US88635007P 2007-01-24 2007-01-24
US60/886,350 2007-01-24
US90958207P 2007-04-02 2007-04-02
US60/909,582 2007-04-02
US90796407P 2007-04-25 2007-04-25
US60/907,964 2007-04-25
PCT/KR2007/003390 WO2008007913A1 (en) 2006-07-12 2007-07-12 A method and apparatus for processing a signal

Publications (2)

Publication Number Publication Date
JP2009543508A true JP2009543508A (ja) 2009-12-03
JP5021739B2 JP5021739B2 (ja) 2012-09-12

Family

ID=38923431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009519380A Expired - Fee Related JP5021739B2 (ja) 2006-07-12 2007-07-12 信号処理方法及び装置

Country Status (7)

Country Link
US (2) US20090290643A1 (ja)
EP (1) EP2052546A4 (ja)
JP (1) JP5021739B2 (ja)
KR (1) KR101370919B1 (ja)
CN (1) CN101491096B (ja)
TW (2) TWI344791B (ja)
WO (2) WO2008007913A1 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011519226A (ja) * 2008-04-25 2011-06-30 トムソン ライセンシング 奥行きを用いた視点間スキップモード
WO2012043541A1 (ja) * 2010-09-30 2012-04-05 シャープ株式会社 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム
WO2012090497A1 (ja) * 2010-12-28 2012-07-05 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
WO2012108200A1 (ja) * 2011-02-10 2012-08-16 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、及び動画像符号化復号装置
WO2012108315A1 (ja) * 2011-02-07 2012-08-16 シャープ株式会社 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム
JP2012182616A (ja) * 2011-03-01 2012-09-20 Fujitsu Ltd 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
WO2012153440A1 (ja) * 2011-05-09 2012-11-15 シャープ株式会社 予測ベクトル生成方法、予測ベクトル生成装置、予測ベクトル生成プログラム、画像符号化方法、画像符号化装置、画像符号化プログラム、画像復号方法、画像復号装置、及び画像復号プログラム
JP2013102313A (ja) * 2011-11-08 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
JP2013135464A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 符号化装置、復号装置、動画像処理システム、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2014505398A (ja) * 2010-12-14 2014-02-27 サムスン エレクトロニクス カンパニー リミテッド 多視点ビデオ符号化／復号化装置及び方法
JP2014512720A (ja) * 2011-02-21 2014-05-22 サムスン エレクトロニクス カンパニー リミテッド 多視点ビデオの符号化方法及び装置、その復号化方法及び装置
JP2014513897A (ja) * 2011-04-19 2014-06-05 サムスン エレクトロニクス カンパニー リミテッド 多視点ビデオの動きベクトル符号化方法及び装置、その復号化方法及び装置
JP2014514862A (ja) * 2011-04-20 2014-06-19 クゥアルコム・インコーポレイテッド ビデオコード化における動きベクトル予測
JP2014530573A (ja) * 2011-09-23 2014-11-17 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 参照ピクチャシグナリングおよび復号ピクチャバッファ管理
JP2014533056A (ja) * 2011-11-11 2014-12-08 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ デプスマップの推定および更新を用いる効率的なマルチビュー符号化
JPWO2013002342A1 (ja) * 2011-06-30 2015-02-23 ソニー株式会社 画像処理装置および方法
JPWO2013001748A1 (ja) * 2011-06-29 2015-02-23 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
JP2015507883A (ja) * 2012-01-06 2015-03-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 深度を用いた３ｄビデオコーディングにおける多仮説視差ベクトル構成
JP2015511780A (ja) * 2012-02-27 2015-04-20 ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ ビデオ画像送信方法、装置及びシステム
JP2015514340A (ja) * 2012-03-14 2015-05-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコード化における視差ベクトル予測
JP2015514341A (ja) * 2012-03-14 2015-05-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄ−ｈｅｖｃに関する視差ベクトル構築方法
JP2015527804A (ja) * 2012-07-10 2015-09-17 サムスン エレクトロニクス カンパニー リミテッド 多視点映像の視差情報を利用して、映像の動きを推定する方法及びその装置
WO2015141549A1 (ja) * 2014-03-20 2015-09-24 日本電信電話株式会社 動画像符号化装置及び方法、及び、動画像復号装置及び方法
JP2015534416A (ja) * 2012-11-07 2015-11-26 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
JP2015536112A (ja) * 2012-10-04 2015-12-17 インテル・コーポレーション ３ｄビデオコーディングのための予測パラメータ継承
JP2016500996A (ja) * 2012-11-07 2016-01-14 エルジー エレクトロニクス インコーポレイティド 多視点ビデオ信号の処理方法及び装置
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
JP5894338B2 (ja) * 2013-04-12 2016-03-30 日本電信電話株式会社 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US10659754B2 (en) 2011-11-18 2020-05-19 Ge Video Compression, Llc Multi-view coding with efficient residual handling
US10694165B2 (en) 2011-11-11 2020-06-23 Ge Video Compression, Llc Efficient multi-view coding using depth-map estimate for a dependent view
US11477467B2 (en) 2012-10-01 2022-10-18 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131095B2 (en) * 2003-02-03 2012-03-06 Actimagine Process and device for the compression of portions of images
US8179969B2 (en) * 2006-08-18 2012-05-15 Gwangju Institute Of Science And Technology Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
EP2079242A4 (en) * 2006-10-30 2010-11-03 Nippon Telegraph & Telephone METHOD FOR GENERATING PREDICTIVE REFERENCE INFORMATION, DYNAMIC IMAGE ENCODING AND DECODING METHOD, DEVICE THEREOF, PROGRAM THEREOF, AND STORAGE MEDIUM CONTAINING THE PROGRAM
KR101365574B1 (ko) * 2007-01-29 2014-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
US8155461B2 (en) * 2007-03-27 2012-04-10 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding multi-view image
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
BRPI0821500A2 (pt) * 2008-01-11 2015-06-16 Thomson Licensing Codificação de vídeo e profundidade
JP5111127B2 (ja) * 2008-01-22 2012-12-26 キヤノン株式会社 動画像符号化装置及びその制御方法、並びに、コンピュータプログラム
JP5566385B2 (ja) 2008-08-20 2014-08-06 トムソン ライセンシング 洗練された奥行きマップ
JP2012504925A (ja) * 2008-10-06 2012-02-23 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法及び装置
EP2377074A4 (en) 2009-01-07 2017-06-14 Thomson Licensing Joint depth estimation
WO2010082231A1 (ja) * 2009-01-15 2010-07-22 ルネサスエレクトロニクス株式会社 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
CN102301714B (zh) * 2009-01-28 2014-01-22 法国电信公司 用于对实施运动补偿的图像序列进行编码和解码的方法、以及对应的编码和解码装置
CN102714741B (zh) 2009-10-14 2016-01-20 汤姆森特许公司 深度图处理的方法和设备
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
WO2011090313A2 (ko) 2010-01-19 2011-07-28 삼성전자 주식회사 이전 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 이용하는 영상 부호화, 복호화 방법 및 장치
KR101768207B1 (ko) * 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
ES2713173T3 (es) * 2010-03-31 2019-05-20 Orange Procedimientos y dispositivos de codificación y de decodificación de una secuencia de imágenes que implementan una predicción por compensación de movimiento anticipado, y programa de ordenador correspondiente
WO2011125211A1 (ja) 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
PL3779979T3 (pl) * 2010-04-13 2024-01-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób dekodowania audio do przetwarzania sygnałów audio stereo z wykorzystaniem zmiennego kierunku predykcji
US9014271B2 (en) * 2010-07-12 2015-04-21 Texas Instruments Incorporated Method and apparatus for region-based weighted prediction with improved global brightness detection
US9462272B2 (en) 2010-12-13 2016-10-04 Electronics And Telecommunications Research Institute Intra prediction method and apparatus
WO2012081895A1 (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 인트라 예측 방법 및 그 장치
JP2012209911A (ja) * 2010-12-20 2012-10-25 Sony Corp 画像処理装置および方法
EP2661080A4 (en) * 2010-12-31 2016-06-29 Korea Electronics Telecomm METHOD FOR CODING VIDEO INFORMATION AND METHOD FOR DECODING VIDEO INFORMATION AND DEVICE THEREFOR
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
US9635385B2 (en) * 2011-04-14 2017-04-25 Texas Instruments Incorporated Methods and systems for estimating motion in multimedia pictures
WO2012172634A1 (ja) * 2011-06-13 2012-12-20 株式会社東芝 画像符号化装置、画像復号化装置、方法およびプログラム
KR20140034292A (ko) * 2011-07-01 2014-03-19 모토로라 모빌리티 엘엘씨 움직임 벡터 예측 설계 간소화
CA2844595A1 (en) 2011-08-09 2013-02-14 Samsung Electronics Co., Ltd. Method for multiview video prediction encoding and device for same, and method for multiview video prediction decoding and device for same
US9712819B2 (en) * 2011-10-12 2017-07-18 Lg Electronics Inc. Image encoding method and image decoding method
BR112014010539A2 (pt) 2011-11-04 2017-04-18 Motorola Mobility Llc escalonamento de vetor de movimento para rede de vetor de movimento não uniforme
ES2647514T3 (es) 2011-11-11 2017-12-22 Ge Video Compression, Llc Codificación adaptativa de particiones
EP4161078A1 (en) 2011-11-11 2023-04-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
EP2777256B1 (en) 2011-11-11 2017-03-29 GE Video Compression, LLC Multi-view coding with effective handling of renderable portions
EP2777286B1 (en) 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
KR102062696B1 (ko) * 2011-11-11 2020-01-06 지이 비디오 컴프레션, 엘엘씨 분할 코딩을 이용한 효과적인 예측
WO2013068491A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with exploitation of renderable portions
US9549180B2 (en) 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
WO2013176485A1 (ko) * 2012-05-22 2013-11-28 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9998726B2 (en) 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
WO2014005280A1 (en) * 2012-07-03 2014-01-09 Mediatek Singapore Pte. Ltd. Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction
US9357195B2 (en) * 2012-08-16 2016-05-31 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
US9648318B2 (en) * 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
CN104704835B (zh) * 2012-10-03 2017-11-24 联发科技股份有限公司 视频编码中运动信息管理的装置与方法
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
CN102946535B (zh) * 2012-10-09 2015-05-13 华为技术有限公司 预测块的视差矢量预测值获取的方法和装置
JP2014093602A (ja) * 2012-11-01 2014-05-19 Toshiba Corp 画像処理装置、画像処理方法、画像処理プログラム、および立体画像表示装置
US9350970B2 (en) * 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
US9516332B2 (en) * 2012-12-21 2016-12-06 Qualcomm Incorporated Disparity vector derivation in three-dimensional video coding
US9967586B2 (en) * 2013-01-07 2018-05-08 Mediatek Inc. Method and apparatus of spatial motion vector prediction derivation for direct and skip modes in three-dimensional video coding
WO2014168561A1 (en) * 2013-04-12 2014-10-16 Telefonaktiebolaget L M Ericsson (Publ) Constructing inter-layer reference picture lists
US9288507B2 (en) * 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
US9973759B2 (en) 2013-07-08 2018-05-15 Hfi Innovation Inc. Method of simplified CABAC coding in 3D video coding
WO2015005754A1 (ko) * 2013-07-12 2015-01-15 삼성전자 주식회사 뷰 합성 예측을 이용한 인터 레이어 비디오 복호화 방법 및 그 장치 뷰 합성 예측을 이용한 인터 레이어 비디오 부호화 방법 및 장치
US9860529B2 (en) * 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
ES2781561T3 (es) * 2013-10-18 2020-09-03 Lg Electronics Inc Método que predice síntesis de vistas en la codificación de vídeo multi-vista y método para constituir una lista de candidatos a la fusión mediante el uso del mismo
KR102260146B1 (ko) * 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
KR101961384B1 (ko) * 2014-07-07 2019-03-25 에이치에프아이 이노베이션 인크. 인트라 블록 카피 검색 및 보상 범위의 방법
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置
US10404992B2 (en) * 2015-07-27 2019-09-03 Qualcomm Incorporated Methods and systems of restricting bi-prediction in video coding
US10694187B2 (en) * 2016-03-18 2020-06-23 Lg Electronics Inc. Method and device for deriving block structure in video coding system
US11800113B2 (en) * 2016-07-12 2023-10-24 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium therefor
CN110136150B (zh) * 2018-02-08 2021-03-16 北京深境智能科技有限公司 物体图像自动抠取方法和系统
CN116708812A (zh) * 2018-12-06 2023-09-05 Lg电子株式会社 基于帧间预测处理和编码视频信号的方法和数据发送方法
WO2020177727A1 (en) * 2019-03-05 2020-09-10 Huawei Technologies Co., Ltd. Dmvr using decimated prediction block
US11146808B2 (en) * 2019-06-27 2021-10-12 Tencent America LLC Method and apparatus for video coding

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
BR9804764A (pt) 1997-01-13 1999-08-17 Koninkl Philips Electronics Nv Processos e conjuntos para embutir e decodificar dados suplementares em um sinal de video e sinal de video codificado com dados suplementares embutidos
JPH11252552A (ja) * 1998-03-05 1999-09-17 Sony Corp ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置
US6167084A (en) 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
KR100375708B1 (ko) 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
WO2003098939A1 (en) * 2002-05-22 2003-11-27 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
JP4403404B2 (ja) 2002-06-20 2010-01-27 ソニー株式会社 復号装置及び復号方法
KR100997166B1 (ko) 2002-06-20 2010-11-29 소니 주식회사 디코딩 장치 및 디코딩 방법
KR100475060B1 (ko) 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US7286689B2 (en) * 2003-06-07 2007-10-23 Hewlett-Packard Development Company, L.P. Motion estimation for compression of calibrated multi-view image sequences
CN1813269A (zh) * 2003-06-30 2006-08-02 皇家飞利浦电子股份有限公司 使用过完备小波编码和循环预测映射进行视频处理的系统及方法
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
CN1212014C (zh) * 2003-08-18 2005-07-20 北京工业大学 基于时空域相关性快速运动估计的视频编码方法
WO2005055607A1 (en) * 2003-12-08 2005-06-16 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
KR100679740B1 (ko) 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
US7671893B2 (en) * 2004-07-27 2010-03-02 Microsoft Corp. System and method for interactive multi-view video
KR100584603B1 (ko) * 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
CN102263962A (zh) * 2004-12-10 2011-11-30 韩国电子通信研究院 对多视图视频进行统一编码的装置
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7710462B2 (en) 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
BRPI0616745A2 (pt) * 2005-10-19 2011-06-28 Thomson Licensing codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
JP5192393B2 (ja) * 2006-01-12 2013-05-08 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
JP5247677B2 (ja) 2006-03-30 2013-07-24 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
WO2008048487A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling
US20100135388A1 (en) * 2007-06-28 2010-06-03 Thomson Licensing A Corporation SINGLE LOOP DECODING OF MULTI-VIEW CODED VIDEO ( amended
US8665958B2 (en) * 2008-01-29 2014-03-04 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
US8130277B2 (en) * 2008-02-20 2012-03-06 Aricent Group Method and system for intelligent and efficient camera motion estimation for video stabilization

Cited By (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011519226A (ja) * 2008-04-25 2011-06-30 トムソン ライセンシング 奥行きを用いた視点間スキップモード
WO2012043541A1 (ja) * 2010-09-30 2012-04-05 シャープ株式会社 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム
JP2012080242A (ja) * 2010-09-30 2012-04-19 Sharp Corp 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム
JP2014505398A (ja) * 2010-12-14 2014-02-27 サムスン エレクトロニクス カンパニー リミテッド 多視点ビデオ符号化／復号化装置及び方法
US9615078B2 (en) 2010-12-14 2017-04-04 Samsung Electronics Co., Ltd. Multi-view video encoding/decoding apparatus and method
WO2012090497A1 (ja) * 2010-12-28 2012-07-05 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
WO2012108315A1 (ja) * 2011-02-07 2012-08-16 シャープ株式会社 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム
US9693073B1 (en) 2011-02-10 2017-06-27 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US9432691B2 (en) 2011-02-10 2016-08-30 Sun Patent Trust Moving picture coding and decoding method with replacement and temporal motion vectors
US11418805B2 (en) 2011-02-10 2022-08-16 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
JP5323273B2 (ja) * 2011-02-10 2013-10-23 パナソニック株式会社 動画像符号化方法、及び動画像符号化装置
JP2013219813A (ja) * 2011-02-10 2013-10-24 Panasonic Corp 動画像復号方法、及び動画像復号装置
US9204146B2 (en) 2011-02-10 2015-12-01 Panasonic Intellectual Property Corporation Of America Moving picture coding and decoding method with replacement and temporal motion vectors
US9819960B2 (en) 2011-02-10 2017-11-14 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10194164B2 (en) 2011-02-10 2019-01-29 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
WO2012108200A1 (ja) * 2011-02-10 2012-08-16 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、及び動画像符号化復号装置
US9641859B2 (en) 2011-02-10 2017-05-02 Sun Patent Trust Moving picture coding and decoding method with replacement and temporal motion vectors
US10911771B2 (en) 2011-02-10 2021-02-02 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10623764B2 (en) 2011-02-10 2020-04-14 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US8948261B2 (en) 2011-02-10 2015-02-03 Panasonic Intellectual Property Corporation Of America Moving picture coding and decoding method with replacement and temporal motion vectors
US11838536B2 (en) 2011-02-10 2023-12-05 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
JP2014512720A (ja) * 2011-02-21 2014-05-22 サムスン エレクトロニクス カンパニー リミテッド 多視点ビデオの符号化方法及び装置、その復号化方法及び装置
JP2012182616A (ja) * 2011-03-01 2012-09-20 Fujitsu Ltd 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
US9131243B2 (en) 2011-03-01 2015-09-08 Fujitsu Limited Video decoding method, video coding method, video decoding device, and computer-readable recording medium storing video decoding program
JP2014513897A (ja) * 2011-04-19 2014-06-05 サムスン エレクトロニクス カンパニー リミテッド 多視点ビデオの動きベクトル符号化方法及び装置、その復号化方法及び装置
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
JP2014514861A (ja) * 2011-04-20 2014-06-19 クゥアルコム・インコーポレイテッド ビデオコード化における動きベクトル予測
JP2014514862A (ja) * 2011-04-20 2014-06-19 クゥアルコム・インコーポレイテッド ビデオコード化における動きベクトル予測
US9584823B2 (en) 2011-04-20 2017-02-28 Qualcomm Incorporated Determining motion vectors for motion vector prediction based on motion vector type in video coding
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
JP2016026435A (ja) * 2011-04-20 2016-02-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコード化における動きベクトル予測
WO2012153440A1 (ja) * 2011-05-09 2012-11-15 シャープ株式会社 予測ベクトル生成方法、予測ベクトル生成装置、予測ベクトル生成プログラム、画像符号化方法、画像符号化装置、画像符号化プログラム、画像復号方法、画像復号装置、及び画像復号プログラム
JPWO2013001748A1 (ja) * 2011-06-29 2015-02-23 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
JPWO2013002342A1 (ja) * 2011-06-30 2015-02-23 ソニー株式会社 画像処理装置および方法
US9560375B2 (en) 2011-06-30 2017-01-31 Sony Corporation High efficiency video coding device and method based on reference picture type
US11405634B2 (en) 2011-06-30 2022-08-02 Sony Corporation High efficiency video coding device and method based on reference picture type
US10764600B2 (en) 2011-06-30 2020-09-01 Sony Corporation High efficiency video coding device and method based on reference picture type
US10484704B2 (en) 2011-06-30 2019-11-19 Sony Corporation High efficiency video coding device and method based on reference picture type
US10187652B2 (en) 2011-06-30 2019-01-22 Sony Corporation High efficiency video coding device and method based on reference picture type
US10158877B2 (en) 2011-06-30 2018-12-18 Sony Corporation High efficiency video coding device and method based on reference picture type of co-located block
US9788008B2 (en) 2011-06-30 2017-10-10 Sony Corporation High efficiency video coding device and method based on reference picture type
US9648344B2 (en) 2011-06-30 2017-05-09 Sony Corporation High efficiency video coding device and method based on reference picture type
JP2015128306A (ja) * 2011-06-30 2015-07-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US9491462B2 (en) 2011-06-30 2016-11-08 Sony Corporation High efficiency video coding device and method based on reference picture type
JP2014530573A (ja) * 2011-09-23 2014-11-17 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 参照ピクチャシグナリングおよび復号ピクチャバッファ管理
US9998757B2 (en) 2011-09-23 2018-06-12 Velos Media, Llc Reference picture signaling and decoded picture buffer management
US11490119B2 (en) 2011-09-23 2022-11-01 Qualcomm Incorporated Decoded picture buffer management
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US10856007B2 (en) 2011-09-23 2020-12-01 Velos Media, Llc Decoded picture buffer management
US10542285B2 (en) 2011-09-23 2020-01-21 Velos Media, Llc Decoded picture buffer management
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
JP2013102313A (ja) * 2011-11-08 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
JP2021168479A (ja) * 2011-11-11 2021-10-21 ジーイー ビデオ コンプレッション エルエルシー デプスマップの推定および更新を用いる効率的なマルチビュー符号化
US11240478B2 (en) 2011-11-11 2022-02-01 Ge Video Compression, Llc Efficient multi-view coding using depth-map estimate for a dependent view
US11968348B2 (en) 2011-11-11 2024-04-23 Ge Video Compression, Llc Efficient multi-view coding using depth-map estimate for a dependent view
JP7248741B2 (ja) 2011-11-11 2023-03-29 ジーイー ビデオ コンプレッション エルエルシー デプスマップの推定および更新を用いる効率的なマルチビュー符号化
JP7210381B2 (ja) 2011-11-11 2023-01-23 ジーイー ビデオ コンプレッション エルエルシー デプスマップの推定および更新を用いる効率的なマルチビュー符号化
JP2017216706A (ja) * 2011-11-11 2017-12-07 ジーイー ビデオ コンプレッション エルエルシー デプスマップの推定および更新を用いる効率的なマルチビュー符号化
US11523098B2 (en) 2011-11-11 2022-12-06 Ge Video Compression, Llc Efficient multi-view coding using depth-map estimate and update
US10887575B2 (en) 2011-11-11 2021-01-05 Ge Video Compression, Llc Efficient multi-view coding using depth-map estimate and update
US10694165B2 (en) 2011-11-11 2020-06-23 Ge Video Compression, Llc Efficient multi-view coding using depth-map estimate for a dependent view
JP2014533056A (ja) * 2011-11-11 2014-12-08 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ デプスマップの推定および更新を用いる効率的なマルチビュー符号化
JP2019169972A (ja) * 2011-11-11 2019-10-03 ジーイー ビデオ コンプレッション エルエルシー デプスマップの推定および更新を用いる効率的なマルチビュー符号化
US11184600B2 (en) 2011-11-18 2021-11-23 Ge Video Compression, Llc Multi-view coding with efficient residual handling
US10659754B2 (en) 2011-11-18 2020-05-19 Ge Video Compression, Llc Multi-view coding with efficient residual handling
JP2013135464A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 符号化装置、復号装置、動画像処理システム、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2015507883A (ja) * 2012-01-06 2015-03-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 深度を用いた３ｄビデオコーディングにおける多仮説視差ベクトル構成
US9912714B2 (en) 2012-02-27 2018-03-06 Zte Corporation Sending 3D image with first video image and macroblocks in the second video image
JP2015511780A (ja) * 2012-02-27 2015-04-20 ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ ビデオ画像送信方法、装置及びシステム
JP2015514340A (ja) * 2012-03-14 2015-05-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコード化における視差ベクトル予測
JP2015514341A (ja) * 2012-03-14 2015-05-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄ−ｈｅｖｃに関する視差ベクトル構築方法
JP2018110407A (ja) * 2012-03-14 2018-07-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコード化における視差ベクトル予測
JP2018110406A (ja) * 2012-03-14 2018-07-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄ−ｈｅｖｃに関する視差ベクトル構築方法
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
JP2015527804A (ja) * 2012-07-10 2015-09-17 サムスン エレクトロニクス カンパニー リミテッド 多視点映像の視差情報を利用して、映像の動きを推定する方法及びその装置
US9798919B2 (en) 2012-07-10 2017-10-24 Samsung Electronics Co., Ltd. Method and apparatus for estimating image motion using disparity information of a multi-view image
US11477467B2 (en) 2012-10-01 2022-10-18 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer
JP2015536112A (ja) * 2012-10-04 2015-12-17 インテル・コーポレーション ３ｄビデオコーディングのための予測パラメータ継承
JP2016500996A (ja) * 2012-11-07 2016-01-14 エルジー エレクトロニクス インコーポレイティド 多視点ビデオ信号の処理方法及び装置
JP2015534416A (ja) * 2012-11-07 2015-11-26 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
US9854269B2 (en) 2012-11-07 2017-12-26 Lg Electronics Inc. Method and apparatus for processing multiview video signal with part of non-reference view
JP5894338B2 (ja) * 2013-04-12 2016-03-30 日本電信電話株式会社 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム
WO2015141549A1 (ja) * 2014-03-20 2015-09-24 日本電信電話株式会社 動画像符号化装置及び方法、及び、動画像復号装置及び方法

Also Published As

Publication number Publication date
EP2052546A4 (en) 2010-03-03
EP2052546A1 (en) 2009-04-29
TWI344791B (en) 2011-07-01
CN101491096A (zh) 2009-07-22
TWI344792B (en) 2011-07-01
TW200822755A (en) 2008-05-16
JP5021739B2 (ja) 2012-09-12
US9571835B2 (en) 2017-02-14
WO2008007913A1 (en) 2008-01-17
US20090290643A1 (en) 2009-11-26
CN101491096B (zh) 2012-05-30
US20130322536A1 (en) 2013-12-05
KR20090046826A (ko) 2009-05-11
TW200826683A (en) 2008-06-16
KR101370919B1 (ko) 2014-03-11
WO2008007917A1 (en) 2008-01-17

Similar Documents

Publication Publication Date Title
JP5021739B2 (ja) 信号処理方法及び装置
US20220060736A1 (en) Method and an apparatus for processing a video signal
CN109862369B (zh) 一种编解码方法及其设备
US7831102B2 (en) Processing multiview video
US11909960B2 (en) Method and apparatus for processing video signal
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
JP2014524706A (ja) 動きベクトル処理
EP3155812A1 (en) Simplified shifting merge candidate and merge list derivation in 3d-hevc
JP2010525724A (ja) ビデオ信号をデコーディング／エンコーディングする方法および装置
KR20140018967A (ko) 비디오 코딩에서의 모션 벡터 예측
CN114503584A (zh) 基于历史的运动矢量预测
KR20080006495A (ko) 비디오 신호의 디코딩 방법 및 장치
USRE44680E1 (en) Processing multiview video
KR101261577B1 (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법
KR20080007177A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120614

R150 Certificate of patent or registration of utility model

Ref document number: 5021739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees