JP2010232734A - 画像符号化装置及び画像符号化方法 - Google Patents
画像符号化装置及び画像符号化方法 Download PDFInfo
- Publication number
- JP2010232734A JP2010232734A JP2009075160A JP2009075160A JP2010232734A JP 2010232734 A JP2010232734 A JP 2010232734A JP 2009075160 A JP2009075160 A JP 2009075160A JP 2009075160 A JP2009075160 A JP 2009075160A JP 2010232734 A JP2010232734 A JP 2010232734A
- Authority
- JP
- Japan
- Prior art keywords
- field
- code amount
- prediction value
- reference image
- amount prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】復号結果のシーンの切替わり時にノイズが発生しにくい画像符号化装置を提供する。
【解決手段】符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値と、符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値との大小関係を比較することにより(S401)、インター符号量予測値がイントラ符号量予測値に対して相対的に大きくなったと判断した時点で(S401でYES)、参照画像を、同相のフィールドから、符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える(S402)。
【選択図】図2
【解決手段】符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値と、符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値との大小関係を比較することにより(S401)、インター符号量予測値がイントラ符号量予測値に対して相対的に大きくなったと判断した時点で(S401でYES)、参照画像を、同相のフィールドから、符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える(S402)。
【選択図】図2
Description
本発明は、映像信号の圧縮符号化におけるインターレース符号化時の参照ピクチャ決定方法に関するものであって、特に、イントラ符号量予測値とインター符号量予測値とに応じた参照ピクチャ選択方法を提供し、メモリへのデータアクセス量を削減するものである。
一般に動画像の符号化においては、時間的及び空間的に信号の冗長性を削減することによって、情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、符号化対象ピクチャに対して前方又は後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、「ピクチャ」とは1画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インターレース画像ではフレーム又はフィールドを意味する。ここで、「インターレース画像」とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像であり、二つのフィールドは空間的には行単位に交互に位置をとる。
図11にはインターレース画像を示している。2つのフィールドで行単位に交互に位置する画像行のうち、上に位置するものを集めたものをトップフィールドと呼び、下に位置するものを集めたものをボトムフィールドと呼ぶ。
ITU−T(国際電気通信連合 電気通信標準化部門)で勧告されたH.264において、参照画像を持たず、符号化対象画像と同一ピクチャ内の画像を用いて画面内予測符号化を行うことによって得られる画像をIピクチャと呼ぶ。また、前方又は後方の1枚のピクチャのみを参照して画面間予測符号化を行うことによって得られる画像をPピクチャと呼ぶ。また、同時に2枚のピクチャを参照して画面間予測符号化を行うことによって得られる画像をBピクチャと呼ぶ。H.264は従来のMPEG(Moving Picture Experts Group)−2と比較して、より多くの予測方法が用意され、符号化精度が向上されているが、予測に必要とする計算が増加し、かつ、予測に必要とされる参照画像のメモリもより多く必要となる。
現在のデジタルスチルカメラに代表される小型携帯機器は、小型、省電力、低コストが求められており、前記の計算量の増加、必要メモリの増加、及びメモリへのデータアクセス量の増加を抑える必要がある。
これに対して、参照画像の枚数を減少させる取り組みが提案されている。特許文献1では、動きの大小を検出し、動きが大きい場合には時間の近いピクチャを優先し、動きが小さい場合には同一パリティのピクチャを優先するというルールを用いて、参照画像を3枚に減らしても圧縮効率を落とさないことを示している。
図12は、上記特許文献1に係る画像符号化装置の一例を示すブロック図である。図12に示すように、画像符号化装置200は、入力画像メモリ201、直交変換部202、量子化部203、可変長符号化部204、逆量子化部205、逆直交変換部206、参照画像メモリ207、動き検出/補償部208を備える。
画像符号化装置200に入力された映像信号は、入力画像メモリ201に格納される。動き検出/補償部208は、参照画像メモリ207に格納されている3枚の参照ピクチャに対して動きベクトルを求め、動きベクトルの大小を判定し、映像信号と最も相関の高い参照ピクチャと、マクロブロックの位置とを探索して求める。最も相関の高い参照画像と入力された映像信号とのマクロブロック間での差分が計算され、差分信号が直交変換部202、量子化部203へ出力される。量子化された差分信号は可変長符号化部204において可変長符号化され、符号化データとして画像符号化装置200の外部に出力される。また、符号化データは、逆量子化部205、逆直交変換部206へ入力され、差分信号として戻される。その差分信号が、参照画像メモリ207に格納された参照ピクチャのうちいずれかの時間的に過去の参照ピクチャに加算され、参照画像メモリ207に記憶されている参照画像が更新される。
さらに、特許文献2に開示されている方法においては、3枚の参照画像を2枚へ削減する提案がなされている。
この方法においては、特許文献1に記載の方法に加え、動きの大小を示す映像信号特徴量情報を用いて、符号化対象ピクチャを次の3つに分類し、それぞれ参照画像選択を行っている。
つまり、(1)フレームを構成するフィールドの相関が強い画像の場合は、逆相フィールドを参照画像として選択し、(2)フレームを構成するフィールドの相関が弱く、動きが大きい画像の場合は、最も距離の近い参照可能ピクチャを参照画像として選択し、(3)動きが小さい画像は同相フィールドでかつ、最も距離の近い参照可能ピクチャを参照画像として選択する。これにより、画質劣化を伴わず、参照画像の枚数を2枚に削減している。
なお、動きの大きさとして、1画面内の各マクロブロックの動きベクトル平均値を用いても良い。
特開2006−094454号公報
特開2008−011117号公報
しかしながら、従来の方法には以下に示す問題点がある。
従来の方法では、動きが小さい場合には、同相フィールドを参照し、動きが大きい場合には時間的に最も近い参照可能なフィールド、すなわち、逆相フィールドを参照することで、画質劣化を伴うことなく、参照画像枚数を削減している。すなわち、動きの大小で参照フィールドの切替えを行っている。
従来の方法では、動きが小さい場合には、同相フィールドを参照し、動きが大きい場合には時間的に最も近い参照可能なフィールド、すなわち、逆相フィールドを参照することで、画質劣化を伴うことなく、参照画像枚数を削減している。すなわち、動きの大小で参照フィールドの切替えを行っている。
しかしながら、従来の方法では、動き探索範囲(参照フィールド)と動きの大小との間の相関性については規定されていない。このため、動きの大小で参照フィールドを切替える方法では、動きの判定閾値の設定によっては、現在の参照フィールドで動き探索が十分できているのにもかかわらず、同相フィールドから逆相フィールドに参照フィールドを切替えたり、反対に、動き探索が十分できていないにもかかわらず、逆相フィールドから同相フィールドに参照フィールドを切替えたりする。このことによって、参照フィールドを誤ったタイミングで切替えたり、本来、参照フィールドを切替えるべきタイミングで切替えなかったりするため、復号結果にノイズが発生する可能性があるという課題がある。
図13は、従来の課題を説明するための図である。図13(a)に示すような風景を撮像することを想定する。図13(a)の風景は下方向に木が並び、複雑な画像となっている。反対に上方向は空が広がり、単純な画像となっている。このような風景に対して、カメラを動かし、(1)、(2)、(3)、(4)、(5)の順で動画を撮像したものとする。ここで、(1)、(3)、(5)はトップフィールド、(2)、(4)はボトムフィールドであるとする。また、動きの大きさにより、参照フィールドとして同相フィールドが常に選択されているものとする。つまり、符号化対象フィールドが(3)の場合、フィールド(3)とフィールド(1)との差分が符号化され、符号化対象フィールドが(4)の場合、フィールド(4)とフィールド(2)との差分が符号化され、符号化対象フィールドが(5)の場合、フィールド(5)とフィールド(3)との差分が符号化される。
図13(b)は、フィールド(3)〜(5)の復号結果を示している。フィールド(4)、(5)は単純な画像にもかかわらず、複雑な画像のフィールド(2)、(3)をそれぞれ参照画像として符号化が行われる。このため、フィールド(4)、(5)の復号結果には、フィールド(2)、(3)の残像がそれぞれ含まれることとなり、複雑な画像から単純な画像への変化時にノイズが発生してしまう。
本願は、このような課題を解決するためになされたものであり、復号結果のシーンの切替わり時にノイズが発生しにくい画像符号化装置を提供することを目的とする。
本発明は、従来の課題を解決するためになされたものであり、本発明に係る画像符号化装置は、フィールド構造を有する動画像を予測符号化する画像符号化装置であって、予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出するインター符号量予測値算出部と、前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出するイントラ符号量予測値算出部と、前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える参照画像選択部と、前記参照画像を用いて、前記符号化対象フィールドを予測符号化する予測符号化部とを備える。
この構成によると、符号化対象画像にとって適切なタイミングで、同相フィールドと符号化対象フィールドに時間的に最も近い参照可能なフィールドとの間で参照画像を切替えることができ、切替え時の復号結果のノイズを減少させることができる。
また、符号化対象フィールドに時間的に最も近い参照可能なフィールドは、再生時間順で直前の1枚と、直後の1枚とである。このため、参照画像を最大2枚とすることができる。参照画像を2枚とすることで、参照画像へのメモリアクセスと、動き探索のための計算量とを減少させることが可能となる。
また、イントラ符号量予測値とインター符号量予測値とは、イントラ予測を行なうか、インター予測を行なうかの判定に用いられる評価値である。このため、新たな評価値の追加をすることなく、参照画像の切替えを実現できる。
好ましくは、前記参照画像選択部は、(i)同相のフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が第1の判定閾値以上となった時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替え、(ii)前記符号化対象フィールドに時間的に最も近い参照可能なフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が前記第1の判定閾値よりも小さい第2の判定閾値未満となった時点で、前記参照画像を、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドから、前記同相のフィールドに切替える。
このように参照画像の切替えのために、2つの判定閾値を用いることにより、判定閾値に幅を持たせることができる。よって、インター符号量予測値をイントラ符号量予測値で除した値の急激な変化に対して、参照画像の切替えが追従しなくなる。よって、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
好ましくは、前記参照画像選択部は、前記インター符号量予測値及び前記イントラ符号量予測値を時間方向に平滑化し、平滑化後の前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、平滑化後の前記インター符号量予測値が平滑化後の前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える。
このように、インター符号量予測値及びイントラ符号量予測値を時間方向に平滑化することにより、インター符号量予測値及びイントラ符号量予測値が急激に変化することがなくなる。よって、参照画像の切替えが頻繁に起きるのを防ぐことができ、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
なお、本発明は、このような特徴的な処理部を備える画像符号化装置として実現することができるだけでなく、画像符号化装置に含まれる特徴的な処理部をステップとする画像符号化方法として実現することができる。また、画像符号化方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc−Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
本方法によって、符号化対象フィールドにとって適切なタイミングで、同相フィールドと符号化対象フィールドに時間的に最も近い参照可能なフィールドとの間で参照画像を切替えることができ、切替え時の復号結果のノイズを減少させることができる。また、参照画像を最大2枚とすることができるため、参照画像へのメモリアクセスと、動き探索のための計算量を減少させることが可能となる。
以下に本発明の実施の形態について、図面を参照しながら説明する。なお、本発明では、インターレース画像のフィールドをピクチャとし、各ピクチャを符号化する。
(実施の形態1)
<画像符号化装置の構成>
図1は、本発明の実施の形態1における画像符号化装置の構成を示すブロック図である。
<画像符号化装置の構成>
図1は、本発明の実施の形態1における画像符号化装置の構成を示すブロック図である。
画像符号化装置100は、入力画像を符号化し符号化データを出力する装置であり、減算器101と、直交変換部102と、量子化部103と、可変長符号化部104と、逆量子化部105と、逆直交変換部106と、加算器107と、参照画像メモリ108と、参照画像選択部109と、動き検出/補償部110と、イントラ予測部111と、イントラ/インター判定部112と、セレクタ113とを含む。
減算器101は、外部より入力された入力画像と、動き検出/補償部110より出力された参照画像との差分を計算し、差分データを出力する。
直交変換部102は、差分データを直交変換する。
量子化部103は、直交変換されたデータを量子化する。
量子化部103は、直交変換されたデータを量子化する。
可変長符号化部104は、量子化されたデータを可変長符号化し、可変長符号化されたデータを符号化データとして外部へ出力する。
逆量子化部105は、量子化部103により出力された量子化データを逆量子化する。
逆直交変換部106は、量子化部103で逆量子化されたデータを逆直交変換する。
逆直交変換部106は、量子化部103で逆量子化されたデータを逆直交変換する。
加算器107は、逆直交変換部106で逆直交変換されたデータと、セレクタ113から出力された予測画像とを加算し、加算結果を再構成画像として、参照画像メモリ108に保持する。
参照画像メモリ108は、Iピクチャ、Pピクチャ又は参照可能なBピクチャのうち、符号化対象フィールドに対して再生時間順で直前の2フィールドと、符号化対象フィールドに対して、再生時間順で直後の2フィールドとを、参照画像候補として、保持しておく。
参照画像選択部109は、動き検出/補償部110から出力されるインター符号量予測値115と、イントラ予測部111から出力されるイントラ符号量予測値114と、現在処理中の符号化対象マクロブロックがトップフィールドに属するのかボトムフィールドに属するのかを示すフィールド種類情報116とをもとに、参照画像メモリ108から適切な参照画像を選択し、動き検出/補償部110へ出力する。ここで、イントラ符号量予測値114は、イントラ予測を行なった際に予測される符号量を示し、インター符号量予測値115とは、インター予測を行なった際に予測される符号量を示す。イントラ符号量予測値114及びインター符号量予測値115の詳細については後述する。
動き検出/補償部110は、インター符号量予測値を算出するSAD算出部110aを有し、参照画像選択部109から出力された参照画像と、入力画像の符号化対象マクロブロックのデータとから、動き検出を行い、その後、動き補償を行い、動き補償の結果の画像をセレクタ113へ出力するとともにインター符号量予測値115をイントラ/インター判定部112と参照画像選択部109へ出力する。
イントラ予測部111は、イントラ符号量予測値を算出するACT算出部111aを有し、入力画像の画面内予測を行った結果の画像をセレクタ113へ出力するとともに、イントラ符号量予測値114を参照画像選択部109へ出力する。
イントラ/インター判定部112は、イントラ符号量予測値114とインター符号量予測値115とを元に、符号化対象フィールドに対してイントラ予測を行なうかインター予測を行なうかを決定し、決定した予測モードをセレクタ113へ出力する。
セレクタ113は、決定された予測モードに従い、予測画像を減算器101へ出力する。
<イントラ符号量予測値とインター符号量予測値>
次に、イントラ符号量予測値とインター符号量予測値とについて具体的に説明する。
次に、イントラ符号量予測値とインター符号量予測値とについて具体的に説明する。
本実施の形態では、イントラ符号量予測値として、符号化対象マクロブロック内の画素の輝度平均値と符号化対象マクロブロック内の各画素の輝度値との差分絶対値和の1フィールド内での総和(以下「ACT」と記述する。)を計算する。なお、イントラ符号量予測値の計算方法はこれに限定されるものではなく、符号化対象マクロブロック内の輝度平均値を用いる代わりに、符号化対象マクロブロックの左横に位置する複数の画素の輝度値を用いても良いし、符号化対象マクロブロックの上側に位置する複数の画素の輝度値を用いても良い。つまり、イントラ予測の予測モードに応じた差分演算を行なうようにしても良い。
また、インター符号量予測値として、符号化対象マクロブロック内の画素と、符号化対象マクロブロックに対応する参照画像のマクロブロック内の画素との輝度値の差分絶対値和の1フィールド内での総和(以下「SAD」と記述する。)を計算する。なお、参照画像としては、1つ前のピクチャの符号化時に用いられた参照画像が用いられるものとしても良い。また、上記対応する参照画像のマクロブロックとして、符号化対象マクロブロックと同一位置のマクロブロックを用いても良いし、符号化対象マクロブロックの動きを加味することにより異なる位置のマクロブロックを用いても良い。符号化対象マクロブロックと同一位置のマクロブロックを用いる場合には、上記SADは、符号化対象画像と参照画像との輝度値の差分絶対値和となる。
<参照画像選択処理>
図2は、参照画像選択部109による参照画像の選択処理のフローチャートである。なお、本実施の形態では、初期状態として、参照画像は符号化対象フィールドと同相のフィールドから選ばれるものとする。また、参照画像の選択処理の前に、SAD算出部110aでSADが、ACT算出部111aでACTが、それぞれ計算されている。
図2は、参照画像選択部109による参照画像の選択処理のフローチャートである。なお、本実施の形態では、初期状態として、参照画像は符号化対象フィールドと同相のフィールドから選ばれるものとする。また、参照画像の選択処理の前に、SAD算出部110aでSADが、ACT算出部111aでACTが、それぞれ計算されている。
参照画像選択部109は、イントラ符号量予測値114(ACT)とインター符号量予測値115(SAD)とを入力として受け、(インター符号量予測値/イントラ符号量予測値)≧Thrなる関係、つまり(SAD/ACT)≧Thrなる関係を満たすか否かを判断する(S401)。ここで、判定閾値Thrは、0<Thr≦1を満たす小さな数である。
(インター符号量予測値/イントラ符号量予測値)≧Thr((SAD/ACT)≧Thr)ならば(S401でYES)、現在の参照画像(同相の参照画像)では動き予測が当たっていない、すなわち、動きが大きいシーンと予測される。したがって、参照画像選択部109は、「時間的に最も近い参照可能なフィールド」を参照画像として選択する(S402)。つまり、参照画像が同相のフィールドから、符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替えられる。S402の処理の後、選択された参照画像を用いて、符号化対象フィールドの予測符号化が行なわれる。
反対に、(インター符号量予測値/イントラ符号量予測値)<Thr((SAD/ACT)<Thr)ならば(S401でNO)、現在の参照画像(同相の参照画像)において十分に動き予測が当たっている、つまり、動きが小さいシーンと予測される。したがって、一般にインターレース画像においては同相フィールド間の相関が強いため、参照画像選択部109は、「同相フィールド」を参照画像として選択する(S403)。つまり、参照画像は同相のフィールドのままであり、参照画像の切替えは行われない。S403の処理の後、選択された参照画像を用いて、符号化対象フィールドの予測符号化が行なわれる。
ここで、図3に示すような風景を撮像した動画における参照画像の選択について説明する。図3の風景は、図13(a)に示した風景と同じであるため、その詳細な説明はここでは繰り返さない。このような風景に対して、A地点を静止して撮像し、その後B地点まで左にパンした後、さらに静止、その後空を経由してA地点に戻る動画を撮像したと想定する。そのときの、SADとACTの変化を図4(a)及び図4(b)にそれぞれ示す。
図4(a)を参照して、ACTについては、A地点からB地点へ移動するまで複雑な画像を撮像しているので、対象マクロブロックの平均輝度に対して、対象マクロブロック内の各画素値がばらつく。このため、高い値で維持されている。その後空に移動すると低周波な画像となるためACTが小さくなり、A地点に戻るところで、再度値が大きくなる。
図4(b)を参照して、SADについては、A地点で静止している間は、予測画像が当たっていると考えられるため、小さな値から始まる。次にB地点に早い速度で移動していくと予測画像があたりにくくなり、大きな値へと急激に変化する。B地点に静止すると、また、予測が当たるため小さな値に変化する。次に空に移動すると、木々を抜けるまで大きな値となるが、空に入ったところで、低周波な画像となり、予測がはずれにくくなるため小さな値となる。さらに、A地点に戻るところで木々を撮像するため、一旦、値が上昇し、静止すると、小さな値となる。
このように変化するSADとACTとに対してSAD/ACTを計算すると図4(c)のように変化する。これに対して判定閾値Thrを設け、SAD/ACT≧Thrとなる時刻部分のみに着目すると、当該時刻に撮像された画像は動いているシーンに当たることがわかる。
このように、B地点からA地点に向かう際に空のシーンにおいてはSADも小さくなるが、ACTも小さくなるため、SAD/ACTで見るとThr以上となり、正しく動いているシーンを判定している。
一方、従来の方法で動き判定に1画面内の各マクロブロックの動きベクトル平均値を採用していると、前述のB地点からA地点に向かう際に空のシーンにおいては、単純な画像のため、各マクロブロックの動きベクトル値が小さく出ることになり、動きが小さいシーンとして判定される。このため、参照画像が逆相フィールドから同相フィールドへ切替えられることになり、復号結果にノイズが発生する場合がある。
上記の選択結果を、符号化対象フィールドがPピクチャの場合とBピクチャの場合とについて、図5A〜図5Dを用いてそれぞれ説明する。
図5A〜図5Dのそれぞれに示すように、画像501、画像502、画像503、画像504の順に画像が撮像されたものとする。また、各画像は、トップフィールドとボトムフィールドを含むものとする。例えば、画像501は、トップフィールド501Tとボトムフィールド501Bとを含む。また、図示されるように各ピクチャは、Iピクチャ、Pピクチャ又はBピクチャに分類されるものとする。例えば、トップフィールド501TはIピクチャであり、ボトムフィールド501BはPピクチャである。
図5Aは、(インター符号量予測値/イントラ符号量予測値)≧Thrを満たし、符号化対象フィールドがPピクチャ(ボトムフィールド504B)である場合を示している。このとき、ボトムフィールド504Bに対して時間的に直前の2枚の画像(ボトムフィールド501B及びトップフィールド504T)が参照画像の候補とされる。なお、本実施の形態では、Bピクチャは参照画像の候補とはならないものとする。ボトムフィールド504Bに対して、時間的に最も近い参照画像の候補は、符号化対象フィールドに対して逆相に当たるトップフィールド504Tである。このため、トップフィールド504Tが参照画像として選択される。
図5Bは、(インター符号量予測値/イントラ符号量予測値)≧Thrを満たし、符号化対象フィールドがBピクチャ(ボトムフィールド502B)である場合を示している。このとき、ボトムフィールド502Bに対して時間的に直前の2枚の画像(トップフィールド501T及びボトムフィールド501B)と、時間的に直後の2枚の画像(トップフィールド504T及びボトムフィールド504B)とが参照画像の候補とされる。ボトムフィールド502Bに対して、時間的に最も近い参照画像の候補は、時間的に前方のボトムフィールド501B(符号化対象フィールドと同相のフィールド)と、時間的に後方のトップフィールド504T(符号化対象フィールドに対して逆相のフィールド)とである。このため、ボトムフィールド501Bとトップフィールド504Tとが参照画像として選択される。一方、符号化対象フィールドがトップフィールドの場合、前方で時間的に最も近い参照可能なフィールドの画像、すなわち、逆相のフィールドが参照画像として選択され、後方については時間的に最も近い参照可能なフィールドの画像、すなわち、同相のフィールドが参照画像として選択される。
図5Cは、(インター符号量予測値/イントラ符号量予測値)<Thrと満たし、符号化対象フィールドがPピクチャ(ボトムフィールド504B)である場合を示している。このとき、ボトムフィールド504Bに対して時間的に直前の2枚の画像(ボトムフィールド501B及びトップフィールド504T)が参照画像の候補とされる。ボトムフィールド504Bと同相の参照画像の候補は、ボトムフィールド501Bである。このため、ボトムフィールド501Bが参照画像として選択される。
図5Dは、(インター符号量予測値/イントラ符号量予測値)<Thrと満たし、符号化対象フィールドがBピクチャ(ボトムフィールド502B)である場合を示している。このとき、ボトムフィールド502Bに対して時間的に直前の2枚の画像(トップフィールド501T及びボトムフィールド501B)と、時間的に直後の2枚の画像(トップフィールド504T及びボトムフィールド504B)とが参照画像の候補とされる。ボトムフィールド502Bと同相のフィールドは、時間的に前方のボトムフィールド501Bと、時間的に後方のボトムフィールド504Bとである。このため、ボトムフィールド501Bとボトムフィールド504Bとが参照画像として選択される。
なお、従来のように動きだけから参照画像を求める方法では、動きの大きさと符号量との関係性を考慮していない。このため、図13(a)に示すように、動きの大きさに対する判定閾値の決め方によっては、常に同相フィールドが参照画像として選択される場合がある。この場合、上述したように、フィールド(4)、(5)の復号結果には、フィールド(2)、(3)の残像がそれぞれ含まれることとなり、複雑な画像から単純な画像への変化時にノイズが発生してしまう。
しかし、本実施の形態に示す方法によると、図6(a)に示すように、符号量の大きさに基づいて参照画像を決定している。このため、複雑な画像から単純な画像への変化時に参照画像が同相フィールドから符号化対象フィールドに時間的に最も近いフィールドへ切替えられる。つまり、符号化対象フィールドがフィールド(3)の場合、同相であるフィールド(1)が参照画像として選択されるが、単純な画像であるフィールド(4)及び(5)が符号化対象フィールドである場合には、それぞれ、逆相のフィールド(3)及び(4)が参照画像として選択される。
図6(b)は、フィールド(3)〜(5)の復号結果を示しているが、フィールド(5)は、フィールド(4)を参照画像としているため、フィールド(4)の復号結果では残像が含まれずに、従来と比較してノイズの発生が抑えられる。
以上説明したように、本実施の形態に係る画像符号化装置によると、符号化対象画像にとって適切なタイミングで、同相フィールドと、符号化対象フィールドに時間的に最も近いフィールドとの間で参照画像を切替えることができ、切替え時のノイズを減少させることができる。また、参照画像を2枚とすることで、参照画像へのメモリアクセスと、動き探索のための計算量を減少させることが可能となる。
また、イントラ符号量予測値とインター符号量予測値とは、イントラ予測を行なうか、インター予測を行なうかの判定に用いられる評価値である。このため、新たな評価値の追加をすることなく、参照画像の切替えを実現できる。
(実施の形態2)
実施の形態1では、SADとACTを用いたシーン判定方法が妥当であることを示した。しかし、現実に自然画像を撮像し、SAD/ACTを計算すると、図4(c)に示したような滑らかなグラフにならず、図7(a)に示すグラフのように、パルスノイズのように値が急激に変化することが容易に類推できる。なお、図7(a)では、説明の都合上、グラフ上の9箇所のみで値が急激に変化しているが、実際には、グラフ上の至る箇所で値が急激に変化している。
実施の形態1では、SADとACTを用いたシーン判定方法が妥当であることを示した。しかし、現実に自然画像を撮像し、SAD/ACTを計算すると、図4(c)に示したような滑らかなグラフにならず、図7(a)に示すグラフのように、パルスノイズのように値が急激に変化することが容易に類推できる。なお、図7(a)では、説明の都合上、グラフ上の9箇所のみで値が急激に変化しているが、実際には、グラフ上の至る箇所で値が急激に変化している。
このように、自然画像の符号化を考えた場合には、実施の形態1のように、SAD/ACTに対して1つの判定閾値Thrを用いて、参照画像の切替えを行なったのでは、SAD/ACTが判定閾値Thr付近の値である場合に、参照画像が頻繁に切替わってしまう。このため、動きの誤判定が増え、符号化効率が悪くなってしまう。
そこで、実施の形態2では、このような場合でも正確に参照画像の選択ができるような方法について説明する。なお、実施の形態2に係る画像符号化装置の構成は、実施の形態1と同様であるため、異なる点についてのみ説明する。
実施の形態2では、図7(b)に示すように、SAD/ACTの判定閾値にヒステリシスを設ける。つまり、参照画像として、時間的に最も近い参照可能なフィールドを選択することを判定するための判定閾値を判定閾値Thr_Hとし、参照画像として、同相フィールドを選択するための判定閾値を判定閾値Thr_Lとする。なお、Thr_H>Thr_L、0<Thr_H≦1、及び0<Thr_L≦1という3つの関係を満たすものとする。
図8は、ヒステリシスを設けた判定閾値に基づく、参照画像選択部109による参照画像の選択処理のフローチャートである。なお、本実施の形態では、初期状態として、参照画像は符号化対象フィールドと同相のフィールドから選ばれるものとする。
参照画像選択部109は、現在の参照画像が同相のフィールドであるか否かを判断する(S421)。現在の参照画像が同相のフィールドであると判断した場合には(S421でYES)、参照画像選択部109は、イントラ符号量予測値114(ACT)とインター符号量予測値115(SAD)とを入力として受け、(インター符号量予測値/イントラ符号量予測値)≧Thr_Hなる関係、つまり(SAD/ACT)≧Thr_Hなる関係を満たすか否かを判断する(S422)。
(インター符号量予測値/イントラ符号量予測値)≧Thr_H((SAD/ACT)≧Thr_H)ならば(S422でYES)、現在の参照画像(同相の参照画像)では動き予測が当たっていない、すなわち、動きが大きいシーンと予測される。したがって、参照画像選択部109は、「時間的に最も近い参照可能なフィールド」を参照画像として選択する(S423)。
(インター符号量予測値/イントラ符号量予測値)<Thr_H((SAD/ACT)<Thr_H)ならば(S422でNO)、参照画像は同相フィールドのままであり、参照画像の切替えは行なわれない。
現在の参照画像が同相のフィールドではないと判断した場合、つまり、時間的に最も近い参照可能なフィールドを参照画像としている場合には(S421でNO)、参照画像選択部109は、イントラ符号量予測値114(ACT)とインター符号量予測値115(SAD)とを入力として受け、(インター符号量予測値/イントラ符号量予測値)<Thr_Lなる関係、つまり(SAD/ACT)<Thr_Lなる関係を満たすか否かを判断する(S424)。
(インター符号量予測値/イントラ符号量予測値)<Thr_L((SAD/ACT)<Thr_L)ならば(S424でYES)、現在の参照画像(時間的に最も近い参照可能なフィールド)では、動き予測が当たっていない、すなわち、動きが小さいシーンと予測される。したがって、一般にインターレース画像においては同相フィールド間の相関が強いため、参照画像選択部109は、「同相フィールド」を参照画像として選択する(S425)。
(インター符号量予測値/イントラ符号量予測値)≧Thr_L((SAD/ACT)≧Thr_L)ならば、参照画像は時間的に最も近い参照可能なフィールドのままであり、参照画像の切替えは行なわれない。
このように参照画像の切替えのために、判定閾値に幅を設けることで、図7(a)のグラフにおいて丸で囲った部分の急激な変化に対して、参照画像の切替えが追従しなくなる。よって、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
(実施の形態3)
実施の形態2でも説明したように、自然画像を撮像すると、図4のような滑らかなグラフにならず、図7(a)に示すグラフのように、パルスノイズのように値が急激に変化することが容易に類推できる。なお、図7(a)では、グラフ上の9箇所のみで値が急激に変化しているが、実際には、グラフ上の至る箇所で値が急激に変化している。
実施の形態2でも説明したように、自然画像を撮像すると、図4のような滑らかなグラフにならず、図7(a)に示すグラフのように、パルスノイズのように値が急激に変化することが容易に類推できる。なお、図7(a)では、グラフ上の9箇所のみで値が急激に変化しているが、実際には、グラフ上の至る箇所で値が急激に変化している。
このように、自然画像の符号化を考えた場合には、実施の形態1のように、SAD/ACTに対して1つの判定閾値Thrを用いて、参照画像の切替えを行なったのでは、SAD/ACTが判定閾値Thr付近の値である場合に、参照画像が頻繁に切替わってしまう。このため、動きの誤判定が増え、符号化効率が悪くなってしまう。
そこで、実施の形態3では、このような場合でも正確に参照画像の選択ができるような方法について説明する。なお、実施の形態3に係る画像符号化装置の構成は、実施の形態1と同様であるため、異なる点についてのみ説明する。
実施の形態3では、得られたSAD及びACTのグラフをそれぞれ時間方向に平滑化することによりSAD_AVE及びACT_AVEを計算し、SAD_AVE及びACT_AVEに基づいて参照画像の選択を行う。
図9は本発明の実施の形態3における、SAD_AVE、ACT_AVEの算出方法を説明するための図である。
つまり、符号化対象フィールドの直前NフィールドのSAD及びACTをそれぞれ加算平均したものをSAD_AVE及びACT_AVEとする。
実施の形態3においては、参照画像選択部109がSAD/ACTを計算するに当たり、SADの代わりにSAD_AVEを求め、ACTの代わりにACT_AVEを求め、SAD/ACTの代わりにSAD_AVE/ACT_AVEを求める。
その後、図2に示したフローチャートに従い、参照画像選択部109が、SAD_AVE/ACT_AVE≧Thrを満たすか否かを判断し、実施の形態1と同様に参照画像の選択を行う。
以上説明したように、本実施の形態によると、平滑化されたSAD_AVE及びACT_AVEを用いて参照画像の選択が行われる。SAD_AVE及びACT_AVEは、平滑化されることにより、パルスノイズのように値が急激に変化しなくなる。このため、SAD_AVE/ACT_AVEの値も急激に変化することがなくなる。よって、参照画像の切替えが頻繁に起きるのを防ぐことができ、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
なお、加算平均するフィールド数Nは、大きければ大きいほど、参照画像が頻繁に切替わるのを防ぐことが可能であるが、大きすぎると必要な参照画像の切替えが遅れることになるので、N=4程度が適切である。
(実施の形態4)
次に、本発明の実施の形態4について説明する。本実施の形態は、実施の形態1〜3で説明した画像符号化装置100を利用した、デジタルスチルカメラやネットワークカメラ等の撮像システム(映像システム)に関するものである。
次に、本発明の実施の形態4について説明する。本実施の形態は、実施の形態1〜3で説明した画像符号化装置100を利用した、デジタルスチルカメラやネットワークカメラ等の撮像システム(映像システム)に関するものである。
図10は、実施の形態4に係る撮像システムの構成を示すブロック図である。
撮像システムは、光学系1001と、センサー1002と、A/D(Analog to Digital)変換回路1003と、画像処理回路(画像処理部)1004と、記録系/転送系1005と、再生系1006と、タイミング制御回路1007と、システム制御回路1008とを含む。画像処理回路1004は、例えば、実施の形態1に示した画像符号化装置100を含む。
撮像システムは、光学系1001と、センサー1002と、A/D(Analog to Digital)変換回路1003と、画像処理回路(画像処理部)1004と、記録系/転送系1005と、再生系1006と、タイミング制御回路1007と、システム制御回路1008とを含む。画像処理回路1004は、例えば、実施の形態1に示した画像符号化装置100を含む。
この撮像システムでは、光学系1001を通って入射した画像光は、センサー1002上に結像され、センサー1002により光電変換される。光電変換によって得られたアナログ信号は、A/D変換回路1003によりデジタル値に変換された後、画像処理回路1004に入力される。画像処理回路1004は、Y/C処理、エッジ処理、画像の拡大縮小、及びH.264等の画像圧縮/伸張処理、画像圧縮されたストリームの制御等を行なう。なお、H.264等の画像圧縮は、画像符号化装置100を用いて行なわれる。
画像処理回路1004において画像処理された信号は、記録系/転送系1005においてメディアへの記録又はインターネット等を介して伝送が行われる。記録又は転送された信号は再生系1006により再生される。センサー1002は、タイミング制御回路1007により制御され、光学系1001、記録系/転送系1005、再生系1006及びタイミング制御回路1007は、各々、システム制御回路1008により制御される。
なお、図10に示した撮像システムでは、光学系1001からの画像光をセンサー1002で光電変換してA/D変換回路1003に入力するカメラ機器等について説明したが、本発明はこれに限定されるものではなく、その他、テレビ等のAV(Audio/Visual)機器のアナログ映像入力を直接にA/D変換回路1003に入力しても良い。
以上、本発明の実施の形態に係る画像符号化装置及び撮像システムについて説明したが、本発明は、これらの実施の形態に限定されるものではない。
例えば、上述の実施の形態では、イントラ符号量予測値としてACTを用い、インター符号量予測値としてSADを用いたが、イントラ符号化時の符号量を予測可能な値、又はインター符号化時の符号量を予測可能な値であれば、他の算出方法により算出される値であっても良い。
また、上述の実施の形態では、インター符号量予測値をイントラ符号量予測値で除した値を閾値処理することにより参照画像の切替えの判定を行ったが、インター符号量予測値とイントラ符号量予測値の差を閾値処理することにより、参照画像の切替えの判定を行うようにしても良い。
なお、画像符号化装置100は、典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。
また、画像符号化装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。RAM又はハードディスクドライブには、画像符号化装置が実行する処理のコンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、画像符号化装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明に係る画像符号化装置及び撮像システムは、参照画像へのアクセスを減少させ、探索に費やす計算量を減少させることができ、かつ、画像劣化の小さい符号化を実現することができるため、デジタルカメラ、監視カメラ及びネットワークカメラなどに有用である。
100、200 画像符号化装置
101 減算器
102、202 直交変換部
103、203 量子化部
104、204 可変長符号化部
105、205 逆量子化部
106、206 逆直交変換部
107 加算器
108、207 参照画像メモリ
109 参照画像選択部
110、208 動き検出/補償部
110a SAD算出部
111 イントラ予測部
111a ACT算出部
112 イントラ/インター判定部
113 セレクタ
114 イントラ符号量予測値
115 インター符号量予測値
116 フィールド種類情報
201 入力画像メモリ
1001 光学系
1002 センサー
1003 A/D変換回路
1004 画像処理回路
1005 記録系/転送系
1006 再生系
1007 タイミング制御回路
1008 システム制御回路
101 減算器
102、202 直交変換部
103、203 量子化部
104、204 可変長符号化部
105、205 逆量子化部
106、206 逆直交変換部
107 加算器
108、207 参照画像メモリ
109 参照画像選択部
110、208 動き検出/補償部
110a SAD算出部
111 イントラ予測部
111a ACT算出部
112 イントラ/インター判定部
113 セレクタ
114 イントラ符号量予測値
115 インター符号量予測値
116 フィールド種類情報
201 入力画像メモリ
1001 光学系
1002 センサー
1003 A/D変換回路
1004 画像処理回路
1005 記録系/転送系
1006 再生系
1007 タイミング制御回路
1008 システム制御回路
Claims (11)
- フィールド構造を有する動画像を予測符号化する画像符号化装置であって、
予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出するインター符号量予測値算出部と、
前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出するイントラ符号量予測値算出部と、
前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える参照画像選択部と、
前記参照画像を用いて、前記符号化対象フィールドを予測符号化する予測符号化部と
を備える画像符号化装置。 - 前記参照画像選択部は、前記インター符号量予測値を前記イントラ符号量予測値で除した値が所定の判定閾値以上となった時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える
請求項1記載の画像符号化装置。 - さらに、Iピクチャ、Pピクチャ又は参照可能なBピクチャのうち、前記符号化対象フィールドに対して再生時間順で直前の2フィールドを、参照画像候補として記憶している参照画像メモリを備え、
前記参照画像選択部は、前記符号化対象フィールドをPピクチャとして予測符号化する場合、前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、それぞれが前記参照画像候補に含まれている、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える
請求項1記載の画像符号化装置。 - さらに、Iピクチャ、Pピクチャ又は参照可能なBピクチャのうち、前記符号化対象フィールドに対して再生時間順で直前の2フィールドと、前記符号化対象フィールドに対して、再生時間順で直後の2フィールドとを、参照画像候補として記憶している参照画像メモリを備え、
前記参照画像選択部は、前記符号化対象フィールドをBピクチャとして予測符号化する場合、前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像候補に含まれている、前記直前の2フィールドのうち前記符号化対象フィールドに時間的に最も近い参照可能なフィールドと、前記直後の2フィールドのうち前記符号化対象フィールドに時間的に最も近い参照可能なフィールドとを参照画像として選択する
請求項1記載の画像符号化装置。 - 前記インター符号量予測値算出部は、前記符号化対象フィールドに含まれる符号化対象マクロブロック内の画素と、当該符号化対象マクロブロックに対応する前記参照画像のマクロブロック内の画素との輝度値の差分絶対値和の1フィールド内での総和を、前記インター符号量予測値として算出する
請求項1記載の画像符号化装置。 - 前記イントラ符号量予測値算出部は、前記符号化対象フィールドに含まれる符号化対象マクロブロック内の画素の輝度平均値と、当該符号化対象マクロブロックに対応する前記参照画像のマクロブロック内の各画素の輝度値との差分絶対値和の1フィールド内での総和を、前記イントラ符号量予測値として算出する
請求項1記載の画像符号化装置。 - 前記参照画像選択部は、(i)同相のフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が第1の判定閾値以上となった時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替え、(ii)前記符号化対象フィールドに時間的に最も近い参照可能なフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が前記第1の判定閾値よりも小さい第2の判定閾値未満となった時点で、前記参照画像を、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドから、前記同相のフィールドに切替える
請求項2記載の画像符号化装置。 - 前記参照画像選択部は、前記インター符号量予測値及び前記イントラ符号量予測値を時間方向に平滑化し、平滑化後の前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、平滑化後の前記インター符号量予測値が平滑化後の前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える
請求項1記載の画像符号化装置。 - フィールド構造を有する動画像を予測符号化する画像符号化方法であって、
予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出し、
前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出し、
前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替え、
前記参照画像を用いて、前記符号化対象フィールドを予測符号化する
画像符号化方法。 - フィールド構造を有する動画像を予測符号化するコンピュータ実行可能なプログラムであって、
コンピュータに、
予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出させ、
前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出させ、
前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替えさせ、
前記参照画像を用いて、前記符号化対象フィールドを予測符号化させる
プログラム。 - 光を結像する光学系と、
前記光学系で結像された光を受け、画像信号に変換するセンサーと、
前記画像信号を動画像として受ける請求項1〜8のいずれか1項に記載の画像符号化装置と
を備える撮像システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009075160A JP2010232734A (ja) | 2009-03-25 | 2009-03-25 | 画像符号化装置及び画像符号化方法 |
PCT/JP2009/006718 WO2010109564A1 (ja) | 2009-03-25 | 2009-12-09 | 画像符号化装置及び画像符号化方法 |
CN2009801582859A CN102362499A (zh) | 2009-03-25 | 2009-12-09 | 图像编码装置及图像编码方法 |
US13/234,754 US20120008685A1 (en) | 2009-03-25 | 2011-09-16 | Image coding device and image coding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009075160A JP2010232734A (ja) | 2009-03-25 | 2009-03-25 | 画像符号化装置及び画像符号化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010232734A true JP2010232734A (ja) | 2010-10-14 |
Family
ID=42780274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009075160A Pending JP2010232734A (ja) | 2009-03-25 | 2009-03-25 | 画像符号化装置及び画像符号化方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120008685A1 (ja) |
JP (1) | JP2010232734A (ja) |
CN (1) | CN102362499A (ja) |
WO (1) | WO2010109564A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012134046A2 (ko) * | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
KR101204385B1 (ko) | 2011-04-01 | 2012-11-29 | 주식회사 아이벡스피티홀딩스 | 인트라 예측 모드에서의 영상 복호화 방법 |
KR20220157832A (ko) * | 2021-05-21 | 2022-11-29 | 주식회사 핀텔 | 움직임이 존재하는 프레임의 검출방법 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6173198B2 (ja) * | 2013-12-09 | 2017-08-02 | オリンパス株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
JP6173199B2 (ja) * | 2013-12-09 | 2017-08-02 | オリンパス株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
KR20180075518A (ko) * | 2015-11-24 | 2018-07-04 | 삼성전자주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
US10116945B2 (en) * | 2016-02-26 | 2018-10-30 | Panasonic Intellectual Property Management Co., Ltd. | Moving picture encoding apparatus and moving picture encoding method for encoding a moving picture having an interlaced structure |
CN105954840B (zh) * | 2016-06-28 | 2018-05-04 | 武汉华工正源光子技术有限公司 | 一种光发射组件 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002159012A (ja) * | 2000-11-22 | 2002-05-31 | Sony Corp | 画像情報変換装置のモード判定装置及び判定方法並びにmpeg4の画像符号化装置のモード判定装置及び判定方法 |
US7602849B2 (en) * | 2003-11-17 | 2009-10-13 | Lsi Corporation | Adaptive reference picture selection based on inter-picture motion measurement |
JP4405367B2 (ja) * | 2004-08-27 | 2010-01-27 | パナソニック株式会社 | 映像信号の予測符号化における参照フィールドの決定方法 |
CN101283600B (zh) * | 2005-10-05 | 2012-10-03 | 松下电器产业株式会社 | 参考图像选择方法以及装置 |
JP2008011117A (ja) * | 2006-06-28 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法 |
JP4901772B2 (ja) * | 2007-02-09 | 2012-03-21 | パナソニック株式会社 | 動画像符号化方法及び動画像符号化装置 |
-
2009
- 2009-03-25 JP JP2009075160A patent/JP2010232734A/ja active Pending
- 2009-12-09 CN CN2009801582859A patent/CN102362499A/zh active Pending
- 2009-12-09 WO PCT/JP2009/006718 patent/WO2010109564A1/ja active Application Filing
-
2011
- 2011-09-16 US US13/234,754 patent/US20120008685A1/en not_active Abandoned
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012134046A2 (ko) * | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
KR101204385B1 (ko) | 2011-04-01 | 2012-11-29 | 주식회사 아이벡스피티홀딩스 | 인트라 예측 모드에서의 영상 복호화 방법 |
WO2012134046A3 (ko) * | 2011-04-01 | 2012-12-06 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
US9445127B2 (en) | 2011-04-01 | 2016-09-13 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US9615110B2 (en) | 2011-04-01 | 2017-04-04 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US9788016B2 (en) | 2011-04-01 | 2017-10-10 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US9854273B2 (en) | 2011-04-01 | 2017-12-26 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US10123049B2 (en) | 2011-04-01 | 2018-11-06 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US10142658B2 (en) | 2011-04-01 | 2018-11-27 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US10735772B2 (en) | 2011-04-01 | 2020-08-04 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US11272218B2 (en) | 2011-04-01 | 2022-03-08 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US11272217B2 (en) | 2011-04-01 | 2022-03-08 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US11272219B2 (en) | 2011-04-01 | 2022-03-08 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US11272215B2 (en) | 2011-04-01 | 2022-03-08 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
US11272216B2 (en) | 2011-04-01 | 2022-03-08 | Ibex Pt Holdings Co., Ltd. | Method of decoding moving pictures in intra prediction |
KR20220157832A (ko) * | 2021-05-21 | 2022-11-29 | 주식회사 핀텔 | 움직임이 존재하는 프레임의 검출방법 |
KR102592089B1 (ko) | 2021-05-21 | 2023-10-20 | 주식회사 핀텔 | 움직임이 존재하는 프레임의 검출방법 |
Also Published As
Publication number | Publication date |
---|---|
CN102362499A (zh) | 2012-02-22 |
US20120008685A1 (en) | 2012-01-12 |
WO2010109564A1 (ja) | 2010-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI440364B (zh) | 使用預測導引減數搜尋之移動估計 | |
EP1078531B1 (en) | Method and apparatus for encoding video information | |
JP3604864B2 (ja) | 動画像符号化装置 | |
JP5328854B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
WO2010109564A1 (ja) | 画像符号化装置及び画像符号化方法 | |
JP2009182623A (ja) | 画像符号化方法 | |
JP2013504256A (ja) | シーン切替検出 | |
JP2009147807A (ja) | 画像処理装置 | |
US20080002774A1 (en) | Motion vector search method and motion vector search apparatus | |
JP5156704B2 (ja) | 画像符号化装置、画像符号化方法、集積回路及びカメラ | |
JP4804423B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
EP2002650A1 (en) | Preprocessor method and apparatus | |
JP2007251497A (ja) | 動画像符号化方法、動画像符号化装置、動画像符号化プログラム | |
JP2010063092A (ja) | 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ | |
JP4328000B2 (ja) | 動画像符号化装置および動画像の特殊効果シーン検出装置 | |
JP4504230B2 (ja) | 動画像処理装置、動画像処理方法、及び動画像処理プログラム | |
JP2011250400A (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP5583439B2 (ja) | 画像符号化装置及びカメラシステム | |
JP2009111647A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JP5322956B2 (ja) | 画像符号化装置および画像符号化方法 | |
JP5701018B2 (ja) | 画像復号装置 | |
JP2008141407A (ja) | 符号化方式変換装置及び符号化方式変換方法 | |
JP2007013973A (ja) | エラー隠匿方法及び装置 | |
JP5059859B2 (ja) | 動画像符号化方法 | |
JP6016484B2 (ja) | 符号化装置 |