JP3958281B2 - 動画像符号化装置 - Google Patents

Description

本発明は、動画像を圧縮符号化して伝送する装置に関する。

動画像信号を圧縮符号化して、情報量を削減する装置では、一般にテレビカメラなどの光学入力装置を用いて画像を入力するために、光学的な雑音、例えば照明装置のちらつきや、安価な入力装置では入力装置内で重畳される雑音が発生している。符号化装置に入力される動画像信号にこのような雑音が多く含まれる場合に、符号化効率が低下し、結果として画質の劣化を生じることになる。

従来の動画像信号を符号化して情報量を圧縮する装置においては、この画質劣化を防ぐためには、ちらつきのない照明装置を使ったり、雑音の少ない入力装置を行うことなどの方法のほかに、入力した画像を記憶しておく何枚かのフレームメモリと、空間フィルタ手段を備え、画像データの空間的かつ時間的なフィルタリング演算により雑音を低減していた。

この演算の例を図５を元に説明する。入力画像はまずフレームメモリ５０３に格納される。格納された時間ｔにおける画像は、時間方向フィルタリング部５０１によって、フレームメモリ５０３に記憶されている時間ｔより前、例えば時間ｔ−１あるいはｔ−２等の過去の画像データとの画素単位の加算平均を取ることにより、時間的なゆらぎは低減される。

さらに、空間フィルタリング部５０２において、例えば縦３画素×横３画素による平均化フィルタリングが行われる。この空間的フィルタリングをフレーム内の全画素に施すことにより、時間的及び空間的に平滑化が施され、そのデータが以後の符号化処理に送られる。

上記したように、雑音除去のために、空間的かつ時間的にフィルタリング演算を行うと、このフィルタリング演算に符号化装置のパフォーマンスを費やしてしまい、本来符号化に割り振ることのできる処理能力に制限が生じることになり、結果的に画質が劣化してしまうことになる。そのために、さらに処理能力の高いプロセッサを用いる必要が生じ、結果的にコストアップにつながってしまい、さらにフレームメモリを必要とするために、全体としてコストアップになってしまう。よって本発明は以上のような問題点を解決するものであり、使用環境などに左右されることなく、かつ符号化装置のコストアップとなることなく、高品質に画像を符号化することができる画像符号化装置を提供するものである。

本発明の第１画像符号化装置によれば、動画像信号を入力し、圧縮符号化する動画像符号化装置において、入力画像をブロック単位で前に符号化され復号されたデータとの差分値が最小となる動きベクトルを求める動き探索部と、該動きベクトルの推移及び入力画像の平均輝度の推移を求める動きベクトル履歴推定部と、前記動きベクトル履歴推定部の結果に基づいて入力画像中の雑音を検出し、該雑音を除去する雑音検出／除去手段を備えることにより、上記課題を解決する。

本発明の第２画像符号化装置によれば、前記動きベクトル履歴推定部において、動きベクトルの方向及び量がランダムであるか否か、または動きベクトルの量が所定値以下でかつ平均輝度に揺らぎがある場合に、雑音と判断することにより、上記課題を解決する。

本発明の第３画像符号化装置によれば、動画像信号を入力し、圧縮符号化する動画像符号化装置において、入力画像をブロック単位で前に符号化され復号されたデータとの差分値が最小となる動きベクトルを求める動き探索部と、該動きベクトルの推移を求める動きベクトル履歴推定部と、符号化フレーム全体の動きベクトル履歴からフレーム全体の微少動きを検出するブレ検出部と、前記ブレ検出部により検出されたブレを補正するブレ補正部を備えることにより、上記課題を解決する。

本発明の第４画像符号化装置によれば、前記ブレ検出部において、符号化対象フレームの全ブロックでの動きベクトルの方向及び大きさの度数分布を求め、該度数分布における最大分布を示す動きベクトルの割合が、全ブロックにおける所定の割合以上を示す場合にブレと判断することにより、上記課題を解決する。

本発明によれば、符号化ブロック単位の動きベクトルの時間的推移と動画像信号の平均輝度の時間的推移を求め、その動きベクトル及び平均輝度の履歴から画像信号に重畳されている雑音を測定し、入力のゆらぎに起因する雑音をフレームメモリや空間／時間フィルタ回路を追加することなしに除去することができ、符号化効率を向上させ、高画質な画像データとして符号化を行うことができる。

また、符号化ブロック単位の動きベクトルの時間的推移を求め、符号化フレーム全体の動きベクトル履歴からフレーム全体の微少動き（ブレ）を検出し、ブレを補正することにより、フレームメモリなどを追加することなしに、高品質な画像データとして符号化を行うことができる。

以下に図面を用いて本発明を詳細に説明する。図１は本発明の第１の実施形態における画像符号化装置の構成を示すブロック図である。図１のブロック図に従って符号化処理を説明する。

画像入力装置からの画像信号は減算部１０１に入力されるとともに、動き探索部１０９に入力される。減算部１０１で１つ前に符号化されたデータを復号したデータとの差分がとられ、符号化制御部１１１の制御により、差分データあるいは入力データのどちらかがスイッチ１０２で選択されＤＣＴ部１０４へ入力される。

入力されたデータはＤＣＴ部１０４で８画素×８画素のブロック単位で離散コサイン変換が行われ、量子化部１０５において、符号化制御部１１１から指示された量子化ステップで量子化が行われ、可変長符号化部１１２に送られる。それとともに逆量子化部１０６、逆ＤＣＴ部１０７によってデータが復号される。

前記スイッチ１０２で選択されたＤＣＴ部１０４への入力が入力画像信号である場合は、復号された信号が、差分データの場合には、１つ前に符号化され復号化したデータと加算された信号がフレームメモリ１１０に記憶される。

動き探索部１０９では、入力画像信号をブロック単位で１つ前に符号化された復号されたデータとの差分値が最小となるベクトルを求める。減算部１０１へは差分値が最小となったブロックのデータが送られ、求められた動きベクトル値を相手側に送信すると共に、動きベクトル履歴推定部１１３に値が送られる。

また、ＤＣＴ部１０４からの出力のうちＤＣ成分も同様に動きベクトル履歴推定部１１３に送られる。動きベクトル推定部１１３の結果にしたがって、雑音検出／除去制御部１１４は入力画像に含まれる雑音が除去できるように、符号化制御部１１１へ制御パラメータを送る。この動きベクトル履歴推定部１１３及び雑音検出／除去制御部１１４が本願発明特有の構成であり、これにより入力画像に含まれる雑音が除去できるように符号化制御部１１１へ制御パラメータを送るものである。

動きベクトル履歴推定部１１３では各ブロックの過去の動きベクトル及び対象ブロックの平均輝度情報から、その動きが本来の被写体の動きか雑音によるものかを判断する。その判断方法を説明する。

動きベクトル履歴推定部１１３では、まず動き探索部１０９から送られてくる各ブロックの動きベクトル（Ｖｘ，Ｖｙ）を以下の式のように回転座標系（α、θ）に変換する。

α_t＝（Ｖｘ²＋Ｖｙ²）^1/2， θ_t＝ｔａｎ（Ｖｙ／Ｖｘ）
動きベクトル履歴推定部１１３には、常に１つ前の符号化フレームで求めたα_t-1，θ_t-1が格納されており、α_t，θ_t，α_t-1，θ_t-1よりα，θの時間的な変位量ｄα_t，ｄθ_tを求める。

一般に被写体がある動きを持っている場合には、図２に示すように、その時間的推移にはある方向性があり、動き量も規則性を持っている（図２（ａ））。したがって動きベクトルの方向や量の時間的推移がランダムである場合には、それは雑音による影響と考えられる）図２（ｂ））。そこで、ｄα_t，ｄθ_tにより動きベクトルのランダム性を判断する。

また、動きベクトル履歴推定部１１３には、ＤＣＴ部１０４から輝度信号の直流成分（ＤＣＹ）が送られる。符号化制御部１１１による切り替えで、フレーム間差分信号がＤＣＴ部１０４に入力された場合、ＤＣＴ部１０４からの出力であるＤＣＹは前フレームとの平均輝度差を表わすことになる。

照明のちらつきによる雑音が入力信号に混入されている場合、入力されたフレームの全体輝度が揺らぐこととなり、結果としてＤＣＹの変化をもたらす。動きベクトルの動き量が０あるいは０に近い量であるにも関わらず、ＤＣＹに変化がある場合は、照明のちらつきによる雑音が入力画像信号に重畳されていると判断できる。

入力画像信号の符号化対象ブロックに雑音が重畳されているか否かの判断処理の流れを図３のフローチャートに示す。まず、求めたｄθ_tの絶対値と閾値θ_thとを比較し（ステップＳ３０）、｜ｄθ_t｜≧θ_thの場合はステップＳ３１へ処理を進める。ステップＳ３１で１つ前の符号化フレームにおける符号化対象ブロックのｄθ_t-1の絶対値と閾値θ_thとの比較結果をもとに、｜ｄθ_t-1｜≧θ_thであれば、符号化対象ブロックがランダムな動きをしていると判断し、推定パラメータをＡにセットする。

ステップＳ３０において、｜ｄθ_t｜＜θ_thの場合、ステップＳ３２において、１つ前の符号化フレームにおける符号化対象ブロックのｄθ_t-1の絶対値と閾値θ_thとの比較結果をもとに、｜ｄθ_t-1｜＜θ_thであれば、符号化対象ブロックが、ある方向性をもって動いていると予測し、動きの大きさの変化量ｄα_tと閾値ｄα_thを比較する（ステップＳ３３）。｜ｄα_t｜≧ｄα_thの場合、符号化対象ブロックが、ある方向性をもって動いていると判断し、推定パラメータをＢにセットする。ステップＳ３１において｜ｄθ_t-1｜＜θ_th、ステップＳ３２において｜ｄθ_t-1｜≧θ_th、ステップＳ３３において｜ｄα_t｜＜ｄα_thの場合、平均輝度ＤＣＹと閾値ＤＣＹ_thを比較し、ＤＣＹ＜ＤＣＹ_thの場合、入力画像に照明などの揺らぎがあると判断し、符号化パラメータをＡにセットする（ステップＳ３４）。

雑音検出／除去制御部１１４では、動きベクトル履歴推定部１１３で得られた推定パラメータを元に、符号化対象ブロックの符号化制御パラメータを決定する。

推定パラメータがＡとなったブロックでは、雑音が重畳されていると判断し、そのブロックの符号化は行わない。すなわち、”not coded block”として処理され、１つ前のフレームのデータが再生されるように符号化制御部１１１を制御する。その制御の一例として、符号化対象ブロックの量子化ステップを強制的にデータの有効桁数の最大値とし、量子化結果を０とする。また、推定パラメータがＡとなったブロックの動きベクトルが送出されないように、動きベクトル送出制御部１１５を制御する。

推定パラメータがＢとなったブロックでは、従来の技術同様の符号化が行われ送信される。したがって、雑音が重畳されていると判断された符号化対象ブロックは符号化されないため、従来はそのブロックを符号化することによって浪費していた符号量を、本来の符号化すべきブロックに割り当てることができる。

次に、第２の実施形態を説明する。図４は第２の実施形態の画像符号化装置を示すブロック図である。動きベクトル履歴推定部１１３において第１の実施形態同様動きベクトルからα_t，θ_tを求める。符号化対象フレームの全ブロックで求められたα_t，θ_tそれぞれの度数分布を求め、最大度数のベクトル量α_tｍａｘ，θ_tｍａｘを算出する。

次に、α_tｍａｘ±α_th，θ_tｍａｘ±θ_thの度数を求める。ここで、α_th，θ_thはそれぞれ最大度数のベクトル量近傍の値をもつ度数を求めるための閾値である。

ブレ検出／補正制御部４０１において、これらの求められた度数からブレを判断する。α_tｍａｘ±α_th，θ_tｍａｘ±θ_thの度数が全ブロックの所定の割合を超えた場合、例えば全ブロックの５０％を超えた場合、フレーム全体がある特定方向にブレたと判断する。この割合は、符号化フレームフォーマットあるいは符号化フレームレート等により適宜変更される。

フレーム全体がブレたと判断された場合、動きベクトルのベクトル量が、α_tｍａｘ±α_th，θ_tｍａｘ±θ_thのブロックについては、符号化を行わない様に制御を行う。つまり、その制御の一例として、第１の実施形態同様、符号化対象ブロックの量子化ステップを強制的にデータの有効桁数の最大値とし、量子化結果を０とする。さらに、それらのブロックの動きベクトルが送出されないように、動きベクトル送出制御部４０２を制御する。

動きベクトルのベクトル量がα_tｍａｘ±α_th，θ_tｍａｘ±θ_th以外のブロックについては、被写体の動きと判断し、従来の技術同様に符号化を行い、符号化データが送信され、同時に符号化ブロックについての動きベクトル補正値が動きベクトルと共に送信される。

ここで、動きベクトル補正値とは、ブレ分の動きベクトルであり、α_tｍａｘ，θ_tｍａｘである。復号化側では、送られてきた符号化データと動きベクトルから対象ブロックのデータを復元し、その後、動きベクトル補正値によりブレ分の補正を行う。

よって、本来の被写体の動きでなく、ブレのみと判断された符号化対象ブロックは、符号化されないため、従来はそのブロックを符号化することによって浪費していた符号量を本来の符号化すべきブロックに割り当てることができる。

本発明の第１の実施形態における動画像符号化装置の構成を示すブロック図である。 本発明の第１の実施形態における動きベクトルの方向性を示す図である。 本発明の第１の実施形態における処理の流れを示すブロック図である。 本発明の第２の実施形態における動画像符号化装置の構成を示すブロック図である。 従来技術の構成を示す図である。

符号の説明

１１１ 符号化制御部
１１３ 動きベクトル履歴推定部
１１４ 雑音検出／除去制御部
１１５ 動きベクトル送出制御部

Claims (1)

1. 動画像信号を入力し、圧縮符号化する動画像符号化装置において、
   入力画像をブロック単位で前に符号化され復号されたデータとの差分値が最小となる動きベクトルを求める動き探索部と、
   入力画像の各ブロックにおける動きベクトルの方向および量を求めるベクトル履歴推定部と、
   符号化対象フレームの全ブロックでの動きベクトルの方向及び大きさの度数分布を求め、該度数分布における最大分布を示す動きベクトルの割合が、全ブロックにおける所定の割合以上を示す場合に、フレーム全体のブレを検出するブレ検出部と、
   符号化対象フレームにおける、上記度数分布における最大度数の動きベクトルを持つブロックについては符号化を行わず、それ以外のブロックについては符号化を行うことによって、前記ブレ検出部により検出されたブレを補正し、さらに符号化データを送信し、かつ、符号化ブロックについてのブレ分の動きベクトルであるベクトル補正値を動きベクトルと共に送信するブレ補正部とを備えることを特徴とする動画像符号化装置。

Images