Nothing Special   »   [go: up one dir, main page]

JP5613319B2 - 映像符号化装置、映像符号化方法および映像符号化プログラム - Google Patents

映像符号化装置、映像符号化方法および映像符号化プログラム Download PDF

Info

Publication number
JP5613319B2
JP5613319B2 JP2013503549A JP2013503549A JP5613319B2 JP 5613319 B2 JP5613319 B2 JP 5613319B2 JP 2013503549 A JP2013503549 A JP 2013503549A JP 2013503549 A JP2013503549 A JP 2013503549A JP 5613319 B2 JP5613319 B2 JP 5613319B2
Authority
JP
Japan
Prior art keywords
region
encoding
motion
inter
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013503549A
Other languages
English (en)
Other versions
JPWO2012121234A1 (ja
Inventor
尚紀 小野
尚紀 小野
清水 淳
淳 清水
正樹 北原
正樹 北原
清介 京地
清介 京地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013503549A priority Critical patent/JP5613319B2/ja
Publication of JPWO2012121234A1 publication Critical patent/JPWO2012121234A1/ja
Application granted granted Critical
Publication of JP5613319B2 publication Critical patent/JP5613319B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化器の画質を向上させる映像符号化技術に関し、特に、動き探索及び符号化モード選択における演算量を抑止する映像符号化装置、映像符号化方法および映像符号化プログラムに関する。
本願は、2011年3月9日に、日本に出願された特願2011−051354号に基づき優先権を主張し、その内容をここに援用する。
H.264/AVC(ISO/IEC 14496−10”MPEG−4 Part 10 Advanced Video Coding”)に代表される映像符号化においては、空間方向の相関を利用してフレーム内の情報に閉じて符号化を行うイントラ符号化と、時間方向の相関を利用してフレーム間の情報を用いて符号化を行うインター符号化を、符号化対象である画像の性質に応じて適応的に切り替えて使用することで圧縮効率の向上を図っている。インター符号化においては動き補償技術が用いられており、符号化対象となる領域が、参照フレームとよばれる過去あるいは未来のフレームにおいてどの位置に存在したか、すなわち、参照フレームと符号化対象フレームとの間でどれだけ動いたかを示す動きベクトルを探索する。この場合、参照フレームにおいて、その動きベクトル分だけ離れた位置に似通った領域が存在し、その領域との差分値は非常に小さくなることが期待できる。これを利用して、符号化対象領域の信号そのものではなく、参照フレームとの差分信号を符号化することで符号化効率を向上させることができる。
動きベクトルを求める動き探索処理においては、ブロックマッチングと呼ばれる手法が広く用いられている。H.264/AVCでは符号化の単位として画面を分割した矩形ブロック領域が使用されている。参照フレームにおける符号化対象ブロック位置を中心とする探索範囲において、符号化対象ブロックとの画素値の差分絶対値和等の評価値を算出し、最小値を取るブロックパターン位置と、符号化対象ブロック位置との距離を動きベクトルとする。ブロックマッチングにおいては、参照フレームの探索範囲内全てのブロックパターンに対して、1画素ずつずらしながら評価値を算出する全探索と呼ばれる手法が一般的である。
しかしながら、ブロックマッチングに要する演算量はその他の符号化処理と比較して膨大となる。特に、ブロックマッチングを、リアルタイムでのライブ映像配信などへ符号化装置を適用する場合、動き探索の演算量を減らすことは必須である。動き探索の演算量は探索範囲の広さに応じて増加する。しかし、演算量を低減するために探索範囲を単純に一様に狭めてしまうと、動きの大きい領域が存在する場合に適切な動きベクトルが検出できず、符号化効率が低下するという問題がある。
また、H.264/AVCのインター符号化においては、ブロックサイズを変更することによる複数の符号化モードが許可されている。符号化するブロックの単位はマクロブロックと呼ばれる16×16画素の矩形ブロックである。マクロブロックは、以下のブロックに分割することが許されている。
(1)16×16ブロックで一つの動きベクトルを使用する。
(2)二つの16×8ブロックに分割して二つの動きベクトルを使用する。
(3)二つの8×16ブロックに分割して二つの動きベクトルを使用する。
(4)四つの8×8ブロックに分割し、それぞれの8×8ブロックに対して以下(4−1)〜(4−4)の分割を許可する。
(4−1)8×8ブロックで一つの動きベクトルを使用する。
(4−2)二つの8×4ブロックに分割して二つの動きベクトルを使用する。
(4−3)二つの4×8ブロックに分割して二つの動きベクトルを使用する。
(4−4)四つの4×4ブロックに分割して四つの動きベクトルを使用する。
最適な符号化モード選択を実施するためには、許可されているブロック分割全てに対して動きベクトルを検出する必要がある。さらに前述のように、H.264/AVCにはインター符号化以外にもイントラ符号化があり、どちらの符号化を使用するかを決定するためにはイントラ符号化を実施して符号量を算出し、インター符号化による符号量と比較する必要がある。これらモード選択に要する負荷も映像符号化における演算量増加の要因となっている。
従来、動き探索の負荷を軽減するために、領域毎に動き量を推定し、動きが小さい領域に対しては探索範囲を適切に狭めることによって演算量を削減することが行われていた。この方法は、例えば、TV会議などのようにカメラが固定されている映像においては、背景等の静止領域と動領域がはっきり分かれているため効果的である。領域毎に動き量を推定し、探索範囲を制御する従来技術として、例えば特許文献1に記載されている技術がある。特許文献1では、符号化対象フレームと参照フレームとの相関評価結果に基づき、動き探索範囲を縮小することで動き探索の演算量を抑えている。
しかしながら、特許文献1では、動きベクトルに対する情報量を考慮せずに動き探索範囲を制限していることによる画質劣化の可能性がある。またインターモードの選択方法やイントラ/インター符号化の判定については言及されていないため、符号化モード判定を実施することによる演算負荷は軽減されない。
特開平8−32969号公報
動き探索における演算量を削減することは、符号化装置の高速化に対して必須であるが、探索範囲を一様に狭めてしまうと、符号化効率が低下するという問題がある。また、H.264/AVCのように符号化モードが多い方式においては、モード選択に伴う演算量を削減することも考慮する必要がある。
特許文献1に記載の技術では、符号化対象フレームと参照フレームとの相関評価結果に基づき、相関が高い領域については動き探索範囲を縮小することによって動き探索の演算量を抑える方式であるが、探索範囲の決定において動きベクトルの情報量を考慮していない。符号化対象は、符号化対象領域の画素値以外にも動きベクトルも含まれている。H.264/AVCでは、符号化対象ブロックの周辺ブロックで算出された動きベクトルの中央値を用いてPMVと呼ばれる予測ベクトルを算出し、符号化対象ブロックで検出された動きベクトルとPMVとの差分値を符号化する。
PMVが大きい値であるにも関わらず、相関評価の結果のみを用いて探索範囲を狭めた場合、動きベクトルの情報量が大きくなることで符号化効率が低下する。また、インターモードの選択方法やイントラ/インター符号化の判定については言及されていないため、符号化モード判定のためには符号化方式で許可されているモードそれぞれに対して符号化を実施する必要があり、これに伴う演算負荷は軽減されない。以上のように、従来技術にあっては、動きベクトルの符号量が増加する可能性があること、および、符号化モード判定に伴う演算量の軽減がなされないという問題点がある。
本発明は、このような事情に鑑みてなされたもので、動き探索および符号化モード判定に伴う映像符号化における演算量を、従来技術よりも効果的に抑止することができる映像符号化装置、映像符号化方法および映像符号化プログラムを提供することを目的とする。
本発明は、入力映像信号に対してイントラ符号化および動き補償を伴うインター符号化を用いる映像符号化装置であって、符号化対象である入力映像信号に対して静止領域か、微小な動きを伴う領域か、通常の動きを伴う領域かを判定する判定部と、前記判定部により静止領域と判定された領域に対して動きベクトル(0,0)のインター符号化を行う第1の符号化部と、前記判定部により微小な動きを伴う領域と判定された領域に対して制限された探索範囲内において動き探索およびインター符号化を行う第2の符号化部と、前記判定部により通常の動きを伴う領域と判断された領域に対して通常の探索範囲で動き探索およびインター符号化を行う第3の符号化部とを備えたことを特徴とする。
本発明は、前記判定部は、参照フレームと符号化対象フレームとの類似度および周辺領域における動きベクトルを用いて前記領域判定を行うことを特徴とする。
本発明は、前記静止領域と判定された領域に対してインター符号化モードを限定して符号化を行うことを特徴とする。
本発明は、前記微小な動きを伴う領域と判定された領域に対してインター符号化モードを限定して符号化を行うことを特徴とする。
本発明は、前記静止領域または前記微小な動きを伴う領域と判定された領域に対してイントラ符号化を実施するか否かを決定する決定部をさらに備えることを特徴とする。
本発明は、入力映像信号に対してイントラ符号化および動き補償を伴うインター符号化を用いる映像符号化方法であって、符号化対象である入力映像信号に対して静止領域か、微小な動きを伴う領域か、通常の動きを伴う領域かを判定する判定ステップと、前記判定ステップにより静止領域と判定された領域に対して動きベクトル(0,0)のインター符号化を行う第1の符号化ステップと、前記判定ステップにより微小な動きを伴う領域と判定された領域に対して制限された探索範囲内において動き探索およびインター符号化を行う第2の符号化ステップと、前記判定ステップにより通常の動きを伴う領域と判断された領域に対して通常の探索範囲で動き探索およびインター符号化を行う第3の符号化ステップとを有することを特徴とする。
本発明は、前記判定ステップは、参照フレームと符号化対象フレームとの類似度および周辺領域における動きベクトルを用いて前記領域判定を行うことを特徴とする。
本発明は、前記静止領域と判定された領域に対してインター符号化モードを限定して符号化を行うことを特徴とする。
本発明は、前記微小な動きを伴う領域と判定された領域に対してインター符号化モードを限定して符号化を行うことを特徴とする。
本発明は、前記静止領域または前記微小な動きを伴う領域と判定された領域に対してイントラ符号化を実施するか否かを決定する決定ステップをさらに有することを特徴とする。
本発明は、入力映像信号に対してイントラ符号化および動き補償を伴うインター符号化を用いる映像符号化装置上のコンピュータに映像符号化処理を行わせる映像符号化プログラムであって、符号化対象である入力映像信号に対して静止領域か、微小な動きを伴う領域か、通常の動きを伴う領域かを判定する判定ステップと、前記判定ステップにより静止領域と判定された領域に対して動きベクトル(0,0)のインター符号化を行う第1の符号化ステップと、前記判定ステップにより微小な動きを伴う領域と判定された領域に対して制限された探索範囲内において動き探索およびインター符号化を行う第2の符号化ステップと、前記判定ステップにより通常の動きを伴う領域と判断された領域に対して通常の探索範囲で動き探索およびインター符号化を行う第3の符号化ステップとを前記コンピュータに行わせることを特徴とする。
本発明によれば、領域の判定に周辺ベクトルの値を利用することで、動きベクトル符号量の増加による符号化効率低下を抑えつつ、動き探索に伴う演算量を抑止することができるという効果が得られる。また、符号化モード選択に伴う演算量も同様に抑止することができるという効果も得られる。
本発明の第一の実施形態の構成を示すブロック図である。 本発明の第一の実施形態における動き探索の探索範囲および符号化モード決定の処理動作を示すフローチャートである。
以下、図面を参照して、本発明の一実施形態による映像符号化方法、映像符号化装置および映像符号化プログラムを説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号100は、映像の符号化を行う符号化部であり、符号化部100における符号化処理は、領域判定部102、動きベクトルメモリ103、符号化モード決定部114との情報のやり取りを除いては、従来のMPEG−2、H.264その他の映像符号化を行う装置と同様である。なお、図1を参照して符号化部100の構成を説明するに際して、符号化部100が従来から普通に有する公知の機能・構成については、本発明の説明に直接関わりがない限り、その説明を簡単に行う。
フレームメモリ101に蓄えられた入力映像信号は、予測残差信号生成部120に入力し、イントラ/インターモード決定部119から出力される予測信号との残差である予測残差信号に変更した後、直交変換部104に入力し、直交変換による変換係数を出力する。変換係数は、量子化部105に入力し、量子化部105において、符号化制御部109から設定される量子化ステップサイズに従って量子化する。この量子化された変換係数は、可変長符号化部106に入力し、可変長符号化部106において可変長符号化する。可変長符号化部106から出力する符号化データは、多重化部107において多重化し、バッファ部108に格納する。バッファ部108からは符号化ストリームとして出力する。
符号化制御部109は、バッファ部108に格納された符号化データ量から量子化部105における発生符号量を制御する。
一方、量子化された変換係数は、逆量子化部110において逆量子化し、逆直交変換部111において逆直交変換することにより復号予測残差信号を生成する。この復号予測残差信号は、加算器121でイントラあるいはインター符号化による予測信号と加算し、復号信号を生成する。復号信号は、続くフレームの予測符号化における参照画像として用いるために、ローカルデコード画像メモリ112に格納する。
また、フレームメモリ101に蓄積された入力映像信号は、前述の符号化処理以外に領域判定部102にも入力し、領域判定部102は入力映像および動きベクトルメモリ103から入力する周辺領域の動きベクトル情報に基づいて、静止領域か微小な動きを伴う領域か通常の動きを伴う領域かの判定を実施し、判定結果に基づいて探索範囲およびインター符号化モードを選別する動き探索制御信号を動き探索部113に入力する。
動き探索部113はフレームメモリ101からの入力映像信号とローカルデコード画像メモリ112に格納されているローカルデコード画像とを用いて、領域判定部102から入力された動き探索制御信号に基づいて決定された探索範囲および符号化モードに従って動き探索処理を実施する。動き補償部115は検出された動きベクトルに従って、ローカルデコード画像メモリ112を参照し、インター符号化による予測信号を生成する。インターモード決定部116は、動き補償部115の処理結果に基づいてインター符号化モードを決定する。
インター符号化に加えてイントラ符号化が実施されるが、それに先立って、符号化モード決定部114は、領域判定部102からの領域判定結果および動き探索により求まる差分絶対値和などの評価値を用いてイントラ符号化を実施するか否かを決定する。イントラ符号化部117は符号化モード決定部114の処理結果であるモード制御信号に応じて、イントラ符号化を実施する、あるいは実施しない。イントラ符号化を実施する場合は、フレームメモリ101から入力された入力映像信号を用いてイントラ符号化を実施し、イントラモード決定部118はその結果に基づいてイントラ符号化モードを決定する。
イントラ/インターモード決定部119は、イントラモードとインターモードの結果に基づいていずれのモードを用いるか決定し、決定されたモードの予測信号を出力する。ただし、符号化モード決定部114においてイントラモードを実施しないと決定された場合は、符号化モード決定部114からの制御信号に従って必ずインターモードを選択する。
次に、図2を参照して、動き探索の探索範囲および符号化モード決定の処理動作について説明する。図2は、動き探索の探索範囲および符号化モード決定の処理動作を示すフローチャートである。まず、参照フレームと符号化対象フレームの同位置との類似度ΔDCを計算する(ステップS1)。なお、類似度ΔDCは参照フレームと符号化対象フレームの画素間における差分絶対値和を用いることが一般的であるが、演算量を減らすために差分絶対値を計算する対象の画素を1画素あるいは2画素飛ばしとしてもよい。次に、ΔDCの値が0であるか否かを判定し(ステップS2)、ΔDC=0の場合、静止領域と判断して動き探索は実施せずに動きベクトルを(0,0)と決定し、インター符号化モードに固定する(ステップS3)。静止領域の場合は、ブロックサイズを分割しても全てのブロックで動きベクトルは(0,0)となるため符号化モードを変更する意味はなく、H.264/AVCにおいては最も動きベクトル数の少ないブロックサイズ16×16を用いるのが効率的である。
一方、ΔDCが0より大きい場合、ΔDCが閾値Th_DCより小さいか否かを判定する(ステップS8)。この判定の結果、ΔDCが閾値Th_DCより小さい場合、周辺ベクトルの中央値から算出される|PMV|を算出し(ステップS9)、|PMV|の値が0であるか否かを判定する(ステップS10)。この判定の結果、|PMV|が0であれば、ΔDCが0の場合と同様、静止領域と判断して動き探索は実施せずに動きベクトルを(0,0)と決定し、インター符号化モードに固定する(ステップS3)。
|PMV|の値が0より大きい場合、|PMV|が閾値Th_PMVより小さいか否かを判定する(ステップS11)。この判定の結果、|PMV|が閾値Th_PMVより小さい場合、微小な動きを持つ領域と判断して、探索範囲を狭く設定して動き探索を実施する(ステップS12)。設定される探索範囲としては、例えば、PMVと同じ動きベクトルを含む最小の探索範囲などが考えられる。図2においてはインター符号化モードについては特に制限していないが、微小な動きの場合はブロックサイズを分割しても各ブロックで求まる動きベクトルにはほとんど差がないことが予想されるため、さらに演算量を抑制するために、最も動きベクトル数の少ないブロックサイズ16×16に固定してしまい、他のインター符号化モードでの動き探索は実施しないようにしてもよい。
ステップS3あるいはステップS12を実施した後、動き探索により求められる評価値Costを算出する(ステップS4)。一般に、ブロックマッチング手法においては、評価値Costは差分絶対値和が使用される。そして、Costが閾値Th_Costより小さいか否かを判定し(ステップS5)、小さい場合は符号化モードはインターモード固定としてイントラ符号化は実施しないことでモード選択に伴う演算量を削減する(ステップS6)。Costが閾値Th_Costより小さくない場合は、イントラ符号化を実施し、イントラモードとインターモードの効率を比較してモード判定を行う(ステップS7)。また、ΔDCが閾値Th_DCより大きい場合、あるいは、|PMV|の値がTh_PMVより大きい場合は、通常の探索範囲で動き探索を行い、符号化モードを限定することもしない(ステップS13)。
以上説明したように、符号化対象領域に対して、参照フレームとの類似度および周辺ベクトルの値を用いて、静止領域か微小な動きを伴う領域か通常の動きを伴う領域かを判定し、静止領域と判定された領域に対してはインターの符号化モードを制限しつつ、動き探索を行うことなく動きベクトルを(0,0)と決定する。また微小な動きを持つ領域と判定された領域に対しては探索範囲を制限して動き探索を行う。また、これらの領域については、イントラ符号化を実施するか否かを、動き探索で算出された評価値と閾値との比較で決定する。通常の動きを伴う領域と判断された領域に対しては、通常の探索範囲で動き探索を行う。
このような手法を用いることにより、静止領域か、微小な動きを伴う領域か、または通常の動きを伴う領域かの判定に、参照フレームとの類似度に加えて周辺ベクトルの値を利用することで、動きベクトルの情報量が大きくなることを抑えつつ、静止領域及び微小な動きを伴う領域については、狭い範囲での動き探索に限定することにより、動き探索の演算量を抑える。また、静止領域について、インターの符号化モードを制限することでインターモード選択に伴う演算量を抑える。さらに、これらの領域について、イントラ符号化を実施せずに、動き探索で算出された評価値と閾値との比較のみでイントラ符号化の実施/非実施を決定することで、イントラ/インターモード選択に伴う演算量を抑えることができる。
なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
動き探索および符号化モード判定に伴う演算量を、効果的に抑止することができる映像符号化装置を提供することができる。
映像符号化処理において、動き探索及び符号化モード選択における演算量を抑止することが不可欠な用途に適用できる。
100 符号化部
101 フレームメモリ
102 領域判定部
103 動きベクトル
104 直交変換部
105 量子化部
106 可変長符号化部
107 多重化部
108 バッファ部
109 符号化制御部
110 逆量子化部
111 逆直交変換部
112 ローカルデコード画像メモリ
113 動き探索部
114 符号化モード決定部
115 動き補償部
116 インターモード決定部
117 イントラ符号化部
118 イントラモード決定部
119 イントラ/インターモード決定部
120 予測残差信号生成部
121 加算器

Claims (11)

  1. 入力映像信号に対してイントラ符号化および動き補償を伴うインター符号化を用いる映像符号化装置であって、
    符号化対象である前記入力映像信号に対して静止領域か、微小な動きを伴う領域か、通常の動きを伴う領域かを判定する判定部と、
    前記判定部により静止領域と判定された領域に対して動きベクトル(0,0)のインター符号化を行う第1の符号化部と、
    前記判定部により微小な動きを伴う領域と判定された領域に対して制限された探索範囲内において動き探索およびインター符号化を行う第2の符号化部と、
    前記判定部により通常の動きを伴う領域と判断された領域に対して通常の探索範囲で動き探索およびインター符号化を行う第3の符号化部と
    備え、
    前記判定部は、参照フレームと符号化対象フレームとの類似度により、前記入力映像信号が前記静止領域であるまたは前記静止領域でないと判定した後、前記静止領域でないと判定された場合に、周辺ブロックで算出された動きベクトルの中央値であるPMVを閾値と比較した結果に基づき、前記入力映像信号が前記通常の動きを伴う領域または前記微小な動きを伴う領域のいずれかであるかの判定を行う映像符号化装置。
  2. 前記判定部は、前記静止領域でないと判定した場合でも、前記PMVの値が0である場合は静止領域であると判定し、0でない場合は静止領域でないと判定し直す判定を、前記PMVと閾値との比較の前に行う請求項1に記載の映像符号化装置。
  3. 前記静止領域と判定された領域に対してインター符号化モードを限定して符号化を行う請求項1または2記載の映像符号化装置。
  4. 前記微小な動きを伴う領域と判定された領域に対してインター符号化モードを限定して符号化を行う請求項1から3のいずれか1項に記載の映像符号化装置。
  5. 前記静止領域または微小な動きを伴う領域と判定された領域に対してイントラ符号化を実施するか否かを決定する決定部をさらに備えた請求項1から4のいずれか1項に記載の映像符号化装置。
  6. 入力映像信号に対してイントラ符号化および動き補償を伴うインター符号化を用いる映像符号化方法であって、
    符号化対象である前記入力映像信号に対して静止領域か、微小な動きを伴う領域か、通常の動きを伴う領域かを判定する判定ステップと、
    前記判定ステップにより静止領域と判定された領域に対して動きベクトル(0,0)のインター符号化を行う第1の符号化ステップと、
    前記判定ステップにより微小な動きを伴う領域と判定された領域に対して制限された探索範囲内において動き探索およびインター符号化を行う第2の符号化ステップと、
    前記判定ステップにより通常の動きを伴う領域と判断された領域に対して通常の探索範囲で動き探索およびインター符号化を行う第3の符号化ステップと
    有し、
    前記判定ステップは、参照フレームと符号化対象フレームとの類似度により、前記入力映像信号が前記静止領域であるまたは前記静止領域でないと判定した後、前記静止領域でないと判定された場合に、周辺ブロックで算出された動きベクトルの中央値であるPMVを閾値と比較した結果に基づき、前記入力映像信号が前記通常の動きを伴う領域または前記微小な動きを伴う領域のいずれかであるかの判定を行う映像符号化方法。
  7. 前記判定ステップは、前記静止領域でないと判定した場合でも、前記PMVの値が0である場合は静止領域であると判定し、0でない場合は静止領域でないと判定し直す判定を、前記PMVと閾値との比較の前に行う請求項6に記載の映像符号化方法。
  8. 前記静止領域と判定された領域に対してインター符号化モードを限定して符号化を行う請求項6または7に記載の映像符号化方法。
  9. 前記微小な動きを伴う領域と判定された領域に対してインター符号化モードを限定して符号化を行う請求項6から8のいずれか1項に記載の映像符号化方法。
  10. 前記静止領域または微小な動きを伴う領域と判定された領域に対してイントラ符号化を実施するか否かを決定する決定ステップをさらに有する請求項6から9のいずれか1項に記載の映像符号化方法。
  11. コンピュータに、請求項6から10のいずれか1項に記載の映像符号化方法を実行させるための映像符号化プログラム。
JP2013503549A 2011-03-09 2012-03-06 映像符号化装置、映像符号化方法および映像符号化プログラム Active JP5613319B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013503549A JP5613319B2 (ja) 2011-03-09 2012-03-06 映像符号化装置、映像符号化方法および映像符号化プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011051354 2011-03-09
JP2011051354 2011-03-09
PCT/JP2012/055630 WO2012121234A1 (ja) 2011-03-09 2012-03-06 映像符号化装置、映像符号化方法および映像符号化プログラム
JP2013503549A JP5613319B2 (ja) 2011-03-09 2012-03-06 映像符号化装置、映像符号化方法および映像符号化プログラム

Publications (2)

Publication Number Publication Date
JPWO2012121234A1 JPWO2012121234A1 (ja) 2014-07-17
JP5613319B2 true JP5613319B2 (ja) 2014-10-22

Family

ID=46798192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013503549A Active JP5613319B2 (ja) 2011-03-09 2012-03-06 映像符号化装置、映像符号化方法および映像符号化プログラム

Country Status (11)

Country Link
US (1) US9445089B2 (ja)
EP (1) EP2670143B1 (ja)
JP (1) JP5613319B2 (ja)
KR (1) KR101623064B1 (ja)
CN (1) CN103430546B (ja)
BR (1) BR112013022577A2 (ja)
CA (1) CA2828695A1 (ja)
ES (1) ES2609303T3 (ja)
RU (1) RU2551473C2 (ja)
TW (1) TWI511531B (ja)
WO (1) WO2012121234A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6341756B2 (ja) 2014-05-26 2018-06-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
WO2017020182A1 (en) 2015-07-31 2017-02-09 SZ DJI Technology Co., Ltd. System and method for constructing optical flow fields
JP2017529710A (ja) 2015-07-31 2017-10-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 検索エリアを評価する方法
JP6391694B2 (ja) 2015-07-31 2018-09-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd ビデオ符号化方法及びシステム
CN106993187B (zh) * 2017-04-07 2019-09-06 珠海全志科技股份有限公司 一种可变帧率的编码方法及装置
US11263261B2 (en) * 2020-02-14 2022-03-01 Alibaba Group Holding Limited Method and system for characteristic-based video processing
CN117376571A (zh) * 2022-06-30 2024-01-09 深圳市中兴微电子技术有限公司 图像处理方法、电子设备及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JPH0832969A (ja) * 1994-07-12 1996-02-02 Canon Inc 動きベクトル検出装置
JP2000188735A (ja) * 1998-12-21 2000-07-04 Hitachi Ltd 動きベクトル検出装置及びこれを用いた動画像符号化装置
JP2002223419A (ja) * 2000-10-20 2002-08-09 Matsushita Electric Ind Co Ltd 順次走査変換方法および順次走査変換装置
JP2003244707A (ja) * 2002-01-26 2003-08-29 Lg Electronics Inc 動きベクトル検索領域の適応的決定方法
WO2005036887A1 (ja) * 2003-10-14 2005-04-21 Nec Corporation 動きベクトル探索方法、動きベクトル探索装置および動きベクトル探索プログラム
JP2009055144A (ja) * 2007-08-24 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 動き補償付きテンポラルフィルタ処理装置,処理方法,処理プログラムおよびコンピュータ読み取り可能な記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020196854A1 (en) 2001-06-15 2002-12-26 Jongil Kim Fast video encoder using adaptive hierarchical video processing in a down-sampled domain
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化/復号化方法及び装置
US7020201B2 (en) * 2002-11-20 2006-03-28 National Chiao Tung University Method and apparatus for motion estimation with all binary representation
JP3880985B2 (ja) * 2004-08-05 2007-02-14 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
EP1734768A1 (en) 2005-06-15 2006-12-20 Matsushita Electric Industrial Co., Ltd. Adaptive video with intra/inter mode decision based on network congestion
US7830961B2 (en) * 2005-06-21 2010-11-09 Seiko Epson Corporation Motion estimation and inter-mode prediction
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US7852940B2 (en) * 2005-10-20 2010-12-14 Qualcomm Incorporated Scalable motion estimation for video encoding
CN101682775B (zh) 2007-03-14 2015-04-01 日本电信电话株式会社 运动矢量搜索方法和装置
JP4212109B2 (ja) * 2007-03-20 2009-01-21 パナソニック株式会社 撮影装置および撮影方法
CN102124741B (zh) 2009-06-22 2014-09-24 松下电器产业株式会社 图像编码方法及图像编码装置
JP5489557B2 (ja) * 2009-07-01 2014-05-14 パナソニック株式会社 画像符号化装置及び画像符号化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JPH0832969A (ja) * 1994-07-12 1996-02-02 Canon Inc 動きベクトル検出装置
JP2000188735A (ja) * 1998-12-21 2000-07-04 Hitachi Ltd 動きベクトル検出装置及びこれを用いた動画像符号化装置
JP2002223419A (ja) * 2000-10-20 2002-08-09 Matsushita Electric Ind Co Ltd 順次走査変換方法および順次走査変換装置
JP2003244707A (ja) * 2002-01-26 2003-08-29 Lg Electronics Inc 動きベクトル検索領域の適応的決定方法
WO2005036887A1 (ja) * 2003-10-14 2005-04-21 Nec Corporation 動きベクトル探索方法、動きベクトル探索装置および動きベクトル探索プログラム
JP2009055144A (ja) * 2007-08-24 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 動き補償付きテンポラルフィルタ処理装置,処理方法,処理プログラムおよびコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
WO2012121234A1 (ja) 2012-09-13
BR112013022577A2 (pt) 2016-12-06
US9445089B2 (en) 2016-09-13
EP2670143A1 (en) 2013-12-04
KR101623064B1 (ko) 2016-05-20
CA2828695A1 (en) 2012-09-13
CN103430546A (zh) 2013-12-04
ES2609303T3 (es) 2017-04-19
RU2013140686A (ru) 2015-04-20
EP2670143B1 (en) 2016-09-28
JPWO2012121234A1 (ja) 2014-07-17
TW201244498A (en) 2012-11-01
TWI511531B (zh) 2015-12-01
EP2670143A4 (en) 2014-12-17
CN103430546B (zh) 2017-08-04
US20130336387A1 (en) 2013-12-19
KR20130126698A (ko) 2013-11-20
RU2551473C2 (ru) 2015-05-27

Similar Documents

Publication Publication Date Title
JP5277257B2 (ja) 動画像復号化方法および動画像符号化方法
US8761254B2 (en) Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
JP5406222B2 (ja) 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置
JP5613319B2 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
US20090060045A1 (en) Moving picture encoding apparatus and moving picture encoding method
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
JP2020113923A (ja) 動画像符号化プログラム、及び動画像符号化装置
JP5748225B2 (ja) 動画像符号化方法,動画像符号化装置および動画像符号化プログラム
JP2012186573A (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
JP2015211386A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP5832263B2 (ja) 画像符号化装置及び画像符号化方法
JP6259272B2 (ja) 映像符号化装置及び映像符号化プログラム
JP2007013298A (ja) 画像符号化装置
JP2009055143A (ja) 動画像符号化における動き評価装置,方法およびそのプログラム並びにその記録媒体
JP5788952B2 (ja) 動画像復号化方法
KR20070092481A (ko) H.264 동영상 부호화기의 적응적 고속 움직임 추정 방법
JP2008283595A (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101786921B1 (ko) 고속 움직임 추정을 위한 장치 및 방법
JP6080726B2 (ja) 動画像符号化装置及び画面内予測モード決定方法及びプログラム
JP5864022B2 (ja) 動画像復号化方法
JP5887020B1 (ja) 動画像復号化方法
JP2016178375A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6178698B2 (ja) 映像符号化装置
JP5990133B2 (ja) 映像符号化装置及び映像符号化方法
JPWO2009128208A1 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140905

R150 Certificate of patent or registration of utility model

Ref document number: 5613319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150