JP2011197727A - Motion vector detecting method and motion vector detecting program - Google Patents
Motion vector detecting method and motion vector detecting program Download PDFInfo
- Publication number
- JP2011197727A JP2011197727A JP2010060575A JP2010060575A JP2011197727A JP 2011197727 A JP2011197727 A JP 2011197727A JP 2010060575 A JP2010060575 A JP 2010060575A JP 2010060575 A JP2010060575 A JP 2010060575A JP 2011197727 A JP2011197727 A JP 2011197727A
- Authority
- JP
- Japan
- Prior art keywords
- search
- motion vector
- image
- vector detection
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、動画圧縮処理等に用いるため、ブロックマッチング法を用いて時間的に近接するフレーム間で動きベクトルを検出する動きベクトル検出方法、及び動きベクトル検出プログラムに関する。 The present invention relates to a motion vector detection method and a motion vector detection program for detecting motion vectors between temporally adjacent frames using a block matching method for use in moving image compression processing or the like.
動画圧縮処理において、時間的に近接するフレーム間で動きベクトルを検出し、検出した動きベクトルを用いて動き補償予測符号化を行う技術が知られている。 In moving image compression processing, a technique is known in which a motion vector is detected between temporally adjacent frames, and motion compensation predictive coding is performed using the detected motion vector.
動きベクトル検出には、いろいろな方法が提案されているが、圧縮処理の対象画像とその対象画像に時間的に近接する参照画像との間で適当な大きさのブロックでの比較を行う方法(ブロックマッチング法)が広く知られている。 Various methods have been proposed for motion vector detection, and a method of comparing an appropriate size block between a target image to be compressed and a reference image temporally close to the target image ( The block matching method) is widely known.
これは、対象画像をブロックに分割し、対象画像内の注目ブロックと参照画像内の設定された探索範囲内の複数の参照ブロックとの間で比較処理を行って、対象ブロックに最も類似している参照ブロックを探索して求め、それらの位置関係を動きベクトルとして検出するものである。 This is because the target image is divided into blocks, a comparison process is performed between the target block in the target image and a plurality of reference blocks in the set search range in the reference image, and is most similar to the target block. The reference block is searched and obtained, and their positional relationship is detected as a motion vector.
対象ブロックに最も類似している参照ブロックとしては、例えば一般に、対象ブロックとのSAD(Sum of Absolute Differrence:差分絶対値和)が最小となるような参照ブロックが選ばれる。 As the reference block that is most similar to the target block, for example, a reference block that generally has the smallest SAD (Sum of Absolute Difference) with the target block is selected.
一般に、このようなブロックマッチングの処理は多大な計算量を要する処理となるうえ、検出する動きベクトルは画素精度よりさらに高精度が求められる。 Generally, such block matching processing requires a large amount of calculation, and the motion vector to be detected is required to have higher accuracy than pixel accuracy.
MPEG−1、MPEG−2、MPEG−4、あるいはMPEG−4 AVC/H.264といった動画圧縮処理の国際標準方式においては、動きベクトルは1/2画素もしくは1/4画素単位の精度が要求される。 MPEG-1, MPEG-2, MPEG-4, or MPEG-4 AVC / H. In the international standard system for moving picture compression processing such as H.264, the motion vector is required to have an accuracy of 1/2 pixel or 1/4 pixel.
特にMPEG−4の一部のプロファイルやMPEG−4 AVC/H.264においては、精度の高い1/2画素精度の画素補間を行うために6タップのFIR(Finite Impulse Response)フィルタを用いることになっている。 In particular, some profiles of MPEG-4 and MPEG-4 AVC / H. In H.264, a 6-tap FIR (Finite Impulse Response) filter is used in order to perform highly accurate pixel interpolation with ½ pixel accuracy.
従って一般に、ブロックマッチング処理は整数画素精度での探索と小数画素精度(1/2画素もしくは1/4画素単位)での探索との二段階で行われる。 Accordingly, in general, the block matching process is performed in two stages, a search with integer pixel accuracy and a search with decimal pixel accuracy (1/2 pixel or 1/4 pixel unit).
このように動きベクトルの検出は、非常に計算量の多い処理として知られており、そのため、動きベクトル検出における計算量の削減が重要な技術課題として研究されてきた。 Thus, motion vector detection is known as a process with a large amount of calculation, and therefore reduction of the calculation amount in motion vector detection has been studied as an important technical problem.
例えば、特許文献1には、整数画素精度サーチでの探索結果のSAD(差分絶対値和)と周囲のブロックのSADの平均とを比較し、小数画素精度サーチを行うかどうかを判断し、不要な小数画素精度の探索実行を削減する技術が開示されている。
For example,
また、特許文献2では、特徴検出部によって得られたブロック内の特徴画素だけを使ったブロックマッチング処理により、計算量を削減する技術が提案されている。
一方、光学特性を利用する例として、特許文献3には、人間の視覚特性を利用して画像中心部と周辺部の圧縮率を変える技術が記載されている。
On the other hand, as an example of using optical characteristics,
また特許文献4には、撮像装置の光学特性に応じて、動きベクトル検出精度を変える技術が記載されている。
上に述べてきたように、動きベクトル検出処理は計算量が非常に多く、その処理を削減する方法が提案されてきた。 As described above, the motion vector detection process has a large amount of calculation, and a method for reducing the process has been proposed.
しかしながら、例えば特許文献1から4に記載の従来の方法では光学系の特性を考慮せず、十分な精度の得られないMTF(Moduler Transfer Function)値の低い(解像度の低い)領域でもMTF値の高い(解像度の高い)領域と同様の検出精度で動きベクトルの探索を行っている。
However, the conventional methods described in, for example,
特許文献1で開示される方法では、小数画素精度サーチ部分の計算量は少なくなるが、毎フレームで判断を行わなければならない。
In the method disclosed in
特許文献2で開示される方法では、ブロックマッチングの計算量は少なくなるが、毎フレームで特徴点の検出を行わねばならない。
In the method disclosed in
特許文献3で開示される方法では、フレーム符号化後の情報サイズは削減されるが、計算量はほとんど変わらない。
In the method disclosed in
特許文献4で開示される方法では、中心部と周辺部で検出精度を変える方法により、周辺部で解像度が低下する光学系において演算量の削減を行うことができるが、解像度が方向によって異なる場合、解像度が高い方向の精度も低下する課題があった。
In the method disclosed in
本発明は、上記の技術的課題に鑑みてなされたものである。 The present invention has been made in view of the above technical problems.
本発明の目的は、動画圧縮処理等に用いるため、ブロックマッチング法を用いて時間的に近接するフレーム間で動きベクトルを検出するに際して、入力画像に依存しない光学特性を利用することで探索のための計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる動きベクトル検出方法、及び動きベクトル検出プログラムを提供することである。 An object of the present invention is to use for optical video processing, etc., and to search for motion vectors using optical characteristics independent of an input image when detecting motion vectors between temporally adjacent frames using a block matching method. A motion vector detection method and a motion vector detection program capable of detecting a motion vector for image coding with less visual image degradation while reducing the amount of calculation of the above are provided.
上記の課題を解決するために、本発明は以下の特徴を有するものである。 In order to solve the above problems, the present invention has the following features.
1.入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を備え、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルを検出する動きベクトル検出方法であって、
入力画像における解像度情報の1つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を備える
ことを特徴とする動きベクトル検出方法。
1. A motion vector detection for detecting a motion vector from a positional relationship in the input image of a block corresponding to the target block in the input image, with a search step for searching the corresponding block in the reference image for the target block of the target image in the input image A method,
A region dividing step of dividing the image into a plurality of types of regions according to values of one or more direction components of resolution information in the input image;
A search method setting step of setting a search method used in the search step in accordance with a value of a direction component of the resolution information of the region divided in the region division step. .
2.前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする前記1に記載の動きベクトル検出方法。
2. In the region dividing step,
2. The motion vector detection method according to 1, wherein an optical characteristic of an imaging device that captures an input image is used as the resolution information for region division.
3.前記撮像装置の光学特性は、MTF、OTF、PSFの何れかである
ことを特徴とする前記2に記載の動きベクトル検出方法。
3. 3. The motion vector detection method according to 2, wherein the optical characteristic of the imaging device is any one of MTF, OTF, and PSF.
4.前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする前記1に記載の動きベクトル検出方法。
4). In the region dividing step,
2. The motion vector detection method according to 1 above, wherein the resolution information determined by the content of image processing in the preprocessing of the input image is used.
5.前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする前記1から4の何れか1項に記載の動きベクトル検出方法。
5. In the search method setting step,
The search according to block matching is set, and the number of movement steps at the time of the search is changed according to the value of the direction component of the resolution information in the divided area. Motion vector detection method.
6.前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする前記1から4の何れか1項に記載の動きベクトル検出方法。
6). In the search method setting step,
The search according to block matching is set, and the preferential movement direction at the time of search is changed according to the value of the direction component of the resolution information of the divided area. Motion vector detection method.
7.前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする前記1から6の何れか1項に記載の動きベクトル検出方法。
7). In the search method setting step,
The search according to decimal pixel precision interpolation is set, and the interpolation method at the time of search is changed in accordance with the value of the direction component of the resolution information of the divided area. Motion vector detection method.
8.コンピュータに、
入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を実行させ、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルの検出を実行させる動きベクトル検出プログラムであって、
該コンピュータに、
入力画像における解像度情報の1つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を実行させる
ことを特徴とする動きベクトル検出プログラム。
8). On the computer,
In the input image, a search step for searching a corresponding block in the reference image is executed for the target block of the target image, and a motion vector is detected from the positional relationship in the input image of the block corresponding to the target block. A motion vector detection program,
To the computer,
A region dividing step of dividing the image into a plurality of types of regions according to values of one or more direction components of resolution information in the input image;
A search method setting step of setting a search method used in the search step in accordance with a value of a direction component of the resolution information of the region divided in the region division step. program.
9.前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする前記8に記載の動きベクトル検出プログラム。
9. In the region dividing step,
9. The motion vector detection program according to 8, wherein optical characteristics of an imaging device that captures an input image are used as the resolution information for region division.
10.前記撮像装置の光学特性は、MTF、OTF、PSFの何れかである
ことを特徴とする前記9に記載の動きベクトル検出プログラム。
10. 10. The motion vector detection program according to 9, wherein the optical characteristic of the imaging device is any one of MTF, OTF, and PSF.
11.前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする前記8に記載の動きベクトル検出プログラム。
11. In the region dividing step,
9. The motion vector detection program according to 8, wherein the resolution information determined by the image processing content in the preprocessing of the input image is used.
12.前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする前記8から11の何れか1項に記載の動きベクトル検出プログラム。
12 In the search method setting step,
The search according to block matching is set, and the number of movement steps during the search is changed according to the value of the direction component of the resolution information of the divided area. Motion vector detection program.
13.前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする前記8から11の何れか1項に記載の動きベクトル検出プログラム。
13. In the search method setting step,
The search according to block matching is set, and the preferential movement direction at the time of search is changed according to the value of the direction component of the resolution information of the divided area. Motion vector detection program.
14.前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする前記8から13の何れか1項に記載の動きベクトル検出プログラム。
14 In the search method setting step,
The search according to decimal pixel precision interpolation is set, and the interpolation method at the time of search is changed in accordance with the value of the direction component of the resolution information of the divided area. Motion vector detection program.
本発明に係る動きベクトル検出方法、及び動きベクトル検出プログラムによれば、ブロックマッチング法を用いて動きベクトルを検出するに際して、光学特性としての画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。 According to the motion vector detection method and the motion vector detection program according to the present invention, when detecting a motion vector using the block matching method, the image is divided into regions according to the direction component of the image resolution as optical characteristics, In this area, a search method corresponding to the image resolution direction component of the optical characteristics is set.
このように、入力画像に依存しない光学特性を利用することで、動きベクトル検出精度を十分に得ることができない画像領域において計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる。 In this way, by utilizing optical characteristics that do not depend on the input image, it is possible to reduce the amount of calculation in an image area where sufficient motion vector detection accuracy cannot be obtained, and to reduce the visual image degradation. A motion vector can be detected.
本発明に係る動きベクトル検出方法の一実施形態を、以下に図を用いて説明する。 An embodiment of a motion vector detection method according to the present invention will be described below with reference to the drawings.
(動きベクトルの検出処理例)
図1は、本実施形態に係る動きベクトルの検出方法の処理手順例を示すフローチャートである。図1を用いて、本実施形態に係る動きベクトルの検出方法の処理手順例を説明する。
(Example of motion vector detection processing)
FIG. 1 is a flowchart illustrating an example of a processing procedure of a motion vector detection method according to the present embodiment. An example of the processing procedure of the motion vector detection method according to this embodiment will be described with reference to FIG.
なお、以下に述べる動きベクトルの検出方法の処理手順は、それらを実行するようにプログラムされた動きベクトル検出プログラムをコンピュータ等の情報処理装置に適用することにより実行される。 The processing procedure of the motion vector detection method described below is executed by applying a motion vector detection program programmed to execute them to an information processing apparatus such as a computer.
図1において、ステップS1は、領域分割工程であり、入力画像に依存しない撮像時の光学特性、すなわち解像度情報の1つ以上の方向成分に応じて、入力画像を複数種類の領域に分割する。 In FIG. 1, step S <b> 1 is a region dividing step, and the input image is divided into a plurality of types of regions according to optical characteristics during imaging that does not depend on the input image, that is, one or more direction components of resolution information.
ステップS2は、探索法設定工程であり、ステップS1で分割されたそれぞれの領域の種類に応じて、用いる探索法を設定する。 Step S2 is a search method setting step, in which the search method to be used is set according to the type of each region divided in step S1.
例えば探索法とは、ステップS5の探索工程で用いるブロックマッチング法であり、圧縮処理の対象画像とその対象画像に時間的に近接する参照画像との間で適当な大きさのブロックでの比較を行うものである。 For example, the search method is a block matching method used in the search process of step S5, and a comparison is made between a compression target image and a reference image temporally close to the target image with a block of an appropriate size. Is what you do.
その探索法を解像度情報に応じて設定することで、低解像度領域では探索のための計算量を削減することを意図している。 By setting the search method according to the resolution information, it is intended to reduce the amount of calculation for searching in the low resolution region.
ステップS1の領域分割工程とステップS2の探索法設定工程を、次に実行する探索工程に先んじて実行しておき、探索工程では計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができるようにしている。 The region segmentation step of step S1 and the search method setting step of step S2 are executed prior to the search step to be executed next. In the search step, the amount of calculation is reduced, and image coding with less visual image degradation is performed. Therefore, a motion vector can be detected.
ステップS1の領域分割工程とステップS2の探索法設定工程については、具体例を後述して、説明する。 A specific example of the region dividing step in step S1 and the search method setting step in step S2 will be described later.
ステップS3は探索工程でのブロックマッチング処理実行に備えて、対象画像に処理対象としての注目ブロックを設定する。 In step S3, a block of interest as a processing target is set in the target image in preparation for execution of the block matching processing in the search process.
ステップS4は、設定した注目ブロックに対して、参照画像にサーチエリアを設定する。 A step S4 sets a search area in the reference image for the set block of interest.
これらの意味合いについては、後述する探索工程の説明で述べる。 These implications will be described in the description of the search process described later.
ステップS5は探索工程であり、設定した注目ブロックに対応する参照ブロックをサーチエリア内から探索する。探索には後述するブロックマッチング法が一般的に使用される。 Step S5 is a search step, in which a reference block corresponding to the set target block is searched from the search area. A block matching method described later is generally used for the search.
ブロックマッチング法は、整数画素精度での探索と小数画素精度での探索の二段階で行われる。ここで上記分割されたそれぞれの領域に設定された探索法により、それぞれの探索法が実行される。 The block matching method is performed in two stages: search with integer pixel accuracy and search with decimal pixel accuracy. Here, each search method is executed by the search method set in each of the divided areas.
ステップS5の探索工程については、後で詳細を述べる。 Details of the search step in step S5 will be described later.
ステップS6は、ステップS5の探索の結果により、設定した注目ブロックに対応する参照ブロックを決定する。 In step S6, a reference block corresponding to the set target block is determined based on the result of the search in step S5.
ステップS7は、設定した注目ブロックと対応する参照ブロックの位置関係として、動きベクトルを検出する。 A step S7 detects a motion vector as the positional relationship between the set target block and the corresponding reference block.
ステップS8は、処理対象の画像に対して、すべての注目ブロックを設定し、動きベクトルの検出を終えたかどうかを判定する。 In step S8, all the target blocks are set for the image to be processed, and it is determined whether or not the motion vector has been detected.
ステップS8で判定がYesの場合は、動きベクトルの検出処理は終了する。 If the determination in step S8 is Yes, the motion vector detection process ends.
ステップS8で判定がNoの場合は、ステップS3へ戻り、次の注目ブロックを設定し、ステップS8までを繰り返す。 If the determination in step S8 is No, the process returns to step S3, the next block of interest is set, and steps up to step S8 are repeated.
ステップS3からステップS8の反復は、ステップS8で判定がYesとなり、動きベクトルの検出処理が終了するまで継続する。 The repetition from step S3 to step S8 continues until the determination in step S8 is Yes and the motion vector detection process ends.
本実施形態に係る動きベクトル検出方法とそれを実行するための動きベクトル検出プログラムでは、このようにして探索工程の前に、領域分割工程と探索法設定工程を実行することにより、探索のための計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出するよう図っている。 In the motion vector detection method according to the present embodiment and the motion vector detection program for executing the motion vector detection method, the region dividing step and the search method setting step are executed before the search step in this manner, thereby While reducing the amount of calculation, motion vectors for image coding with little visual image degradation are detected.
以下にまず、従来技術としての探索工程について詳細を述べ、その後で光学特性としてのMTFとその方向成分の算出について述べ、その解像度と方向成分に基づいた領域分割工程と探索法設定工程の処理例を説明する。 In the following, the search process as a prior art will be described in detail, then the calculation of the MTF and its direction component as optical characteristics will be described, and an example of the region division process and search method setting process based on the resolution and direction component will be described. Will be explained.
(探索工程)
上述したステップS5の探索工程について詳細を説明する。
(Search process)
The details of the above-described search process in step S5 will be described.
探索工程では、ブロックマッチング法による探索が行われる。 In the search process, a search by the block matching method is performed.
ブロックマッチング法とは、既述したように圧縮処理の対象画像とその対象画像に時間的に近接する参照画像との間で適当な大きさのブロックでの比較を行う方法であり、以下のように動きベクトルを検出する。 As described above, the block matching method is a method in which a block having an appropriate size is compared between a target image to be compressed and a reference image temporally adjacent to the target image. A motion vector is detected.
すなわち、対象画像をブロックに分割し、対象画像内の注目ブロックと参照画像内の設定された探索範囲内の複数の参照ブロックとの間で比較処理を行って、注目ブロックに最も類似している参照ブロックを探索して求める。 That is, the target image is divided into blocks, and comparison processing is performed between the target block in the target image and a plurality of reference blocks within the set search range in the reference image, and is most similar to the target block. Find the reference block.
対象ブロックに最も類似している参照ブロックとしては、対象ブロックとのSAD(Sum of Absolute Differrence:差分絶対値和)が最小となるような参照ブロックが選ばれる。 As the reference block that is most similar to the target block, a reference block that minimizes the SAD (Sum of Absolute Difference) with the target block is selected.
ブロックマッチングは、動きベクトルの検出精度(例えば1/2画素もしくは1/4画素単位)に応じて、整数画素精度サーチ部と小数画素精度サーチ部の二段階に分けて行われる。 Block matching is performed in two stages, an integer pixel accuracy search unit and a fractional pixel accuracy search unit, according to motion vector detection accuracy (for example, in units of 1/2 pixel or 1/4 pixel).
整数画素精度サーチ部では、あらかじめ決められた参照ブロックの探索範囲を整数画素単位で探索し、SAD最小等の基準で対応ブロックを決定する。 The integer pixel accuracy search unit searches a predetermined reference block search range in units of integer pixels, and determines a corresponding block based on a criterion such as SAD minimum.
小数画素精度サーチ部では、整数画素精度サーチ部で得られた対応点の周囲で1/2画素、1/4画素などの精度で画素補間を行い、補間画像を用いて小数画素精度で探索し、同様に最適な参照ブロックを決定する。 The decimal pixel accuracy search unit performs pixel interpolation with a precision of 1/2 pixel, 1/4 pixel, etc. around the corresponding point obtained by the integer pixel accuracy search unit, and searches with a decimal pixel accuracy using the interpolated image. Similarly, the optimum reference block is determined.
(整数画素精度での探索)
<フルサーチブロックマッチング>
整数画素精度サーチ部で行われるブロックマッチングの基本は、フルサーチブロックマッチングである。フルサーチブロックマッチングについて説明する。
(Search with integer pixel precision)
<Full search block matching>
The basic block matching performed by the integer pixel accuracy search unit is full search block matching. Full search block matching will be described.
図2は、フルサーチブロックマッチングでのフレーム間の注目ブロックと参照ブロックの関係を示す図である。図2を用いて、フルサーチブロックマッチング方法の処理例を説明する。 FIG. 2 is a diagram illustrating a relationship between a target block and a reference block between frames in full search block matching. A processing example of the full search block matching method will be described with reference to FIG.
図2において、(a)は参照画像2を示し、(b)は対象画像1を示す。3は対象画像中に設定された注目ブロック4に対応して参照画像2中に設定されたサーチエリアSaである。
2A shows the
4は対象画像の注目ブロックBlkcur、5は参照画像の参照ブロックBlkref、V1は参照画像のブロックBlkrefと対象画像のブロックBlkcurの間の動きベクトル情報である。
2つのブロック4及び5の類似度合いは、例えば、それぞれのブロックにおける各画素値のSAD(差分絶対値和)から判断される。
The degree of similarity between the two
注目ブロックBlkcurに対する動きベクトルV1は、次のようにして求められる。 The motion vector V1 for the block of interest Blk cur is obtained as follows.
対象画像の注目ブロックBlkcurに対応して設けた参照画像のサーチエリアSa内において、読み出し位置(参照ブロック)を1画素分ずつずらしてデータを読み出していく。 In the reference image search area Sa provided corresponding to the target block Blk cur of the target image, data is read by shifting the reading position (reference block) by one pixel at a time.
読み出した参照画像上のブロックBlkrefのデータと注目ブロックBlkcurのデータのSADを算出していく。 The SAD of the data of the block Blk ref and the data of the target block Blk cur on the read reference image is calculated.
サーチエリアSa中において各参照ブロックを演算した結果得られたSAD値の内、最も小さい値を得た対応ブロックを決定する。 Among the SAD values obtained as a result of calculating each reference block in the search area Sa, the corresponding block having the smallest value is determined.
決定した対応ブロックから得た動きベクトル情報を、注目ブロックBlkcurに対する参照画像及び対象画像の間の動きベクトルとする。 The motion vector information obtained from the determined corresponding block is set as a motion vector between the reference image and the target image for the block of interest Blk cur .
なおここで、ブロック間の類似度合いを求めるためにSADを使用しているが、SSD(Sum of Square Differrence:差分自乗和)など、他の計算方法を用いてもよい。 Here, although SAD is used to obtain the degree of similarity between blocks, other calculation methods such as SSD (Sum of Square Difference) may be used.
図3には、上記処理手順を実行するための詳細なフローチャート例を示す。 FIG. 3 shows a detailed flowchart example for executing the above processing procedure.
この方法では、サーチエリア3内を隈なく探索するので演算量が膨大になる。そのため、高速にマッチング点が得られるよう、後述のダイヤモンドサーチなどの手法が考案されている。
According to this method, the
<ダイヤモンドサーチ>
フルサーチブロックマッチングを高速化する方法としてダイヤモンドサーチがある。
<Diamond Search>
Diamond search is a method for speeding up full search block matching.
図4にダイヤモンドサーチを説明するための概念図を示す。 FIG. 4 is a conceptual diagram for explaining diamond search.
(a)は、探索開始時の参照画像2上の開始位置(注目画素)と隣接画素を示し、(b)は、その結果に基づく次の探索の注目画素と隣接画素を示す。
(A) shows the start position (target pixel) and adjacent pixels on the
以下、ダイヤモンドサーチの処理手順を述べる。 The diamond search processing procedure is described below.
まず、図4(a)に示すように、参照画像2上の開始位置(注目画素O)及び上下左右の4方向に隣接する画素ABCDにおいてSADを計算する。
First, as shown in FIG. 4A, the SAD is calculated at the start position (target pixel O) on the
注目画素のSADが最小であれば、注目画素が動きベクトルの終点となる。注目画素以外が最小の値をとる場合は、最小の値をとる隣接画素を次の注目画素とする。 If the SAD of the target pixel is the minimum, the target pixel becomes the end point of the motion vector. When a pixel other than the target pixel has the minimum value, the adjacent pixel having the minimum value is set as the next target pixel.
例えば、隣接画素Cが最小の値をとる場合の次の探索を図4(b)に示す。 For example, the next search when the adjacent pixel C takes the minimum value is shown in FIG.
図4(b)に示すように、次の探索も同様に注目画素Oと4方向の隣接画素ABCDのSADを比較し、次の注目画素を決定する。 As shown in FIG. 4B, in the next search, the SAD of the target pixel O and the adjacent pixels ABCD in the four directions are similarly compared to determine the next target pixel.
以下同様に、注目画素が最小のSADとなるまで探索を続ける。 Similarly, the search is continued until the target pixel becomes the minimum SAD.
図5には、上記処理手順を実行するための詳細なフローチャート例を示す。 FIG. 5 shows a detailed flowchart example for executing the above processing procedure.
この手法は、開始点の選択や探索の打ち切り条件などが重要である。 In this method, selection of a starting point, search termination conditions, and the like are important.
次の文献では、ダイヤモンドサーチを改良した手法が開示されている。 The following document discloses an improved diamond search method.
S.Zhu and K.Ma,“A New Diamond Search Algorithm for Fast Block Matching Motion Estimation”,International Conference on Information, Communications and Signal Processing ICICS '97 Singapore, 9-12 September 1997。 S.Zhu and K.Ma, “A New Diamond Search Algorithm for Fast Block Matching Motion Estimation”, International Conference on Information, Communications and Signal Processing ICICS '97 Singapore, 9-12 September 1997.
(小数画素精度での探索)
<小数画素精度の補間方法>
標準方式H.264/MPEG−4 AVCで使用されている小数画素精度補間について述べる。詳細は次の文献に述べられている。
(Search with decimal pixel accuracy)
<Interpolation method with decimal pixel precision>
Standard method The decimal pixel precision interpolation used in H.264 / MPEG-4 AVC will be described. Details are described in the following document.
ITU-T Recommendation “H264:Advanced video coding for generic audiovisual services”。 ITU-T Recommendation “H264: Advanced video coding for generic audiovisual services”.
図6(a)に示すように、一方向に隣接する6画素を用いて、1/2画素精度の補間を行う。 As shown in FIG. 6A, interpolation with 1/2 pixel accuracy is performed using 6 pixels adjacent in one direction.
計算方法は、図6(b)に示すように6−TapFIRフィルタを使用する。求めたい画素位置を挟む、水平方向または垂直方向の左右(または上下)の3画素ずつ計6点の画素値を使って求める。 As a calculation method, a 6-TapFIR filter is used as shown in FIG. The pixel values are obtained by using a total of six pixel values for each of three pixels on the left and right (or top and bottom) in the horizontal or vertical direction across the pixel position to be obtained.
求める1/2画素での画素値は、式(1)として求められる。 The pixel value at the half pixel to be obtained is obtained as Expression (1).
P1/2=(1/32)(P1−5P2+20P3+20P4−5P5+P6)(1)
また、1/4画素精度の補間では、前記1/2画素精度補間で得られた画素値を使用しさらに1/2ピッチで補間する。図7(a)に示すように、一方向に隣接する2画素を用いて、さらに1/2画素精度の補間を行う。
P 1/2 = (1/32) (P 1 -
In the interpolation with 1/4 pixel accuracy, the pixel value obtained by the 1/2 pixel accuracy interpolation is used and further interpolation is performed at 1/2 pitch. As shown in FIG. 7A, interpolation with 1/2 pixel accuracy is further performed using two pixels adjacent in one direction.
補間は、図7(b)に示すように、上述した6−TapFIRフィルタを使用する1/2画素精度の補間とは異なり、単純な線形補間で行う(式(2))。 As shown in FIG. 7B, the interpolation is performed by simple linear interpolation (formula (2)), unlike the above-described half-pixel accuracy interpolation using the 6-TapFIR filter.
P1/2=(1/2)(P1+P2) (2)
整数画素精度での探索で得られた参照画像のマッチング点の周囲で、ブロックサイズ+2画素分の領域について補間画像を求め、その領域内でブロックマッチングを行い、SADが最小となる点をマッチングポイントとして動きベクトルを求める。
P 1/2 = (1/2) (P 1 + P 2 ) (2)
An interpolated image is obtained for an area of the block size + 2 pixels around the matching point of the reference image obtained by the search with integer pixel accuracy, the block matching is performed within the area, and the point where the SAD is minimized is the matching point. To obtain a motion vector.
(画像解像度に影響する特性)
上述してきたように、探索工程における注目ブロックと類似した参照ブロックの探索は、多大な計算量を有する。
(Characteristics that affect image resolution)
As described above, the search for the reference block similar to the target block in the search process has a large amount of calculation.
その理由の1つは、画像の解像度に応じた精度で探索する必要から、入力画像の高解像度部分に合わせた精度で探索を行うことにある。 One of the reasons is that the search is performed with an accuracy according to the high resolution portion of the input image because the search needs to be performed with an accuracy according to the resolution of the image.
すなわち、十分な精度の得られないMTF(Moduler Transfer Function)値の低い(解像度の低い)領域でもMTF値の高い(解像度の高い)領域と同様の検出精度で動きベクトルの探索を行っている。 That is, a motion vector search is performed with the same detection accuracy as a region with a high MTF value (high resolution) even in a region with a low MTF (Module Transfer Function) value (low resolution) where sufficient accuracy cannot be obtained.
しかしながら、撮像した画像は、撮像装置の光学特性によって解像度が画像の領域によって異なる。また同じ部分でも方向により解像度成分が異なる。 However, the resolution of the captured image varies depending on the region of the image depending on the optical characteristics of the imaging device. Also, the resolution component varies depending on the direction even in the same portion.
本実施形態では、入力画像に依存しない光学特性を利用して、画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。 In this embodiment, using the optical characteristics that do not depend on the input image, the image is divided into regions according to the direction component of the image resolution, and a search method according to the image resolution direction component of the optical properties is set in each region. To do.
これにより、動きベクトル探索の精度を十分に得ることができない低解像度の画像領域において計算量を削減し、視覚的画像劣化が少ない画像符号化を実現できる探索処理を図っている。 Accordingly, a search process is achieved that can reduce the amount of calculation in a low-resolution image area where sufficient accuracy of motion vector search cannot be obtained, and can realize image coding with less visual image degradation.
探索は画像の水平方向、垂直方向で行うため、水平方向、垂直方向の光学特性(例えばMTFh、MTFv)を求め、それに応じて領域分割し、それぞれの領域の光学特性(方向成分)に応じた探索法を設定する。 Since the search is performed in the horizontal and vertical directions of the image, optical characteristics (for example, MTF h and MTF v ) in the horizontal and vertical directions are obtained, and areas are divided according to the optical characteristics (directional components) of the respective areas. Set the appropriate search method.
以下に、まず光学特性による解像度(方向成分)の低下について述べる。MTFを例に採っているが、光学特性(解像度情報)としては、OTF、PSFなど、他の特性を用いてもよい。 Hereinafter, a decrease in resolution (direction component) due to optical characteristics will be described first. Although MTF is taken as an example, other characteristics such as OTF and PSF may be used as optical characteristics (resolution information).
<MTF>
カメラなどの撮像装置における光学系の性能を表す指標の1つにMTF(Moduler Transfer Function)がある。
<MTF>
One index that represents the performance of an optical system in an imaging apparatus such as a camera is MTF (Module Transfer Function).
MTFは、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したものである。空間周波数は、1[mm]当たりに含まれるパターン(正弦波など)数を示す。 The MTF expresses how faithfully the contrast of a subject can be reproduced as a spatial frequency characteristic. The spatial frequency indicates the number of patterns (such as a sine wave) included per 1 [mm].
MTFは一般的に、周波数を固定(60本/mm、100本/mmなど)して、横軸に画像中心からの距離(像高)をとったグラフにおいて、画像中心から放射状の方向(Sagittal)と同心円方向(Tangential)の2方向についてプロットしたものとして表現される。 The MTF generally has a fixed frequency (60 lines / mm, 100 lines / mm, etc.), and a radial direction (Sagittal) from the image center in a graph in which the horizontal axis indicates the distance (image height) from the image center. ) And a concentric direction (Tangential).
図8は、MTFと像高の関係の代表的な例を示すグラフである。 FIG. 8 is a graph showing a typical example of the relationship between MTF and image height.
一般に、MTFは像高が高くなるに従って低下する傾向があり、また、放射状の方向(Sagittal)と同心円方向(Tangential)で異なる値をとることがある。その差異は、広角な光学系においては、顕著に現れる。 In general, MTF tends to decrease as the image height increases, and may take different values in a radial direction (Sagital) and a concentric direction (Tangential). The difference appears remarkably in a wide-angle optical system.
また、MTFを計測する方法として、特許文献(特開2001−324413号公報)のような方法が開示されている。 Further, as a method for measuring MTF, a method as disclosed in a patent document (Japanese Patent Laid-Open No. 2001-324413) is disclosed.
<画像処理>
一方、撮像された画像を動きベクトル検出処理の前に画像処理する場合がある。そのような場合には、画像処理の結果としての解像度情報を用いてもよい。
<Image processing>
On the other hand, the captured image may be subjected to image processing before the motion vector detection processing. In such a case, resolution information as a result of image processing may be used.
例えば、特許文献(特開2009−284421号公報)では、広角な車載カメラで撮影した画像を歪み補正及び視点変換した画像を表示している。 For example, in the patent document (Japanese Unexamined Patent Application Publication No. 2009-284421), an image obtained by distortion correction and viewpoint conversion of an image captured by a wide-angle vehicle-mounted camera is displayed.
このような画像では、元の撮像系で撮影された画像に対して画像処理による拡大・縮小処理が行われており、特に拡大処理が行われている部分では解像度が低下している。 In such an image, enlargement / reduction processing by image processing is performed on the image captured by the original imaging system, and the resolution is lowered particularly in a portion where the enlargement processing is performed.
生成される画像解像度は、同じ画像処理を適用している間は、画面のそれぞれの領域で一定である。 The generated image resolution is constant in each area of the screen while applying the same image processing.
(MTFの方向成分の算出)
ここでは、画像の解像度特性として撮像系のMTFを用いる場合を説明する。MTFの方向成分に応じて領域分割するために、まず水平・垂直方向のMTF成分を算出する。
(Calculation of direction component of MTF)
Here, a case where the MTF of the imaging system is used as the resolution characteristic of the image will be described. In order to divide the area according to the direction component of the MTF, first, the horizontal and vertical MTF components are calculated.
<光学系の設計データからの算出>
画像上の各座標における垂直及び水平方向のMTFは、光学系の設計データを用いてシミュレーションによって求めることができる。
<Calculation from optical system design data>
The MTF in the vertical and horizontal directions at each coordinate on the image can be obtained by simulation using design data of the optical system.
画像上の任意の点におけるスポットダイヤグラム(点光源から瞳面上のN個の格子点を通る光線が画像上に作る点群。光線追跡によって求められる)のN個の点の座標をxk、ykとする。Sagittal方向と画像の水平面のなす角をαとし、その方向の周波数をl本/mmとすると、Sagittal方向の周波数sとTangential方向の周波数tは、図9からそれぞれ式(3)及び式(4)のようになる。 The coordinates of N points of a spot diagram (a group of points formed on the image by rays passing from N point grid points on the pupil plane from a point light source, obtained by ray tracing) at arbitrary points on the image are expressed as x k , Let y k . If the angle between the Sagittal direction and the horizontal plane of the image is α and the frequency in that direction is 1 line / mm, the frequency s in the Sagittal direction and the frequency t in the Tangential direction are shown in FIG. )become that way.
s=lcosα (3)
t=lsinα (4)
MTFの水平及び垂直方向の値、MTFh(i,j)及びMTFv(i,j)は、それぞれ式(5)及び式(6)のように表すことができ、スポットダイヤグラムから計算できる。
s = lcosα (3)
t = lsin α (4)
The horizontal and vertical values of MTF, MTF h (i, j) and MTF v (i, j) can be expressed as Equation (5) and Equation (6), respectively, and can be calculated from the spot diagram.
<像高に対するMTF値からの算出>
光学系の設計データが入手できずに、図8のようなSagittal方向及びTangential方向のMTF値のみが得られるときの、MTFの水平及び垂直方向成分の値の求め方について述べる。
<Calculation from MTF value for image height>
A method for obtaining the horizontal and vertical component values of the MTF when the design data of the optical system cannot be obtained and only the MTF values in the sagittal direction and the tangential direction as shown in FIG. 8 are obtained will be described.
図10のように画像中心(光軸と画像面の交点)を通る水平な直線と画像中心と注目ブロックの点P(i,j)を結んだ直線とのなす角がθのとき、P(i,j)における垂直方向及び水平方向のMTFを考える。 As shown in FIG. 10, when the angle between the horizontal straight line passing through the image center (intersection of the optical axis and the image plane) and the straight line connecting the image center and the point P (i, j) of the block of interest is θ, P ( Consider the vertical and horizontal MTFs in i, j).
像高lにおける、Sagittal方向及びTangential方向のMTFをS(l)、T(l)とする。 The MTFs in the Sagittal direction and the Tangential direction at the image height l are S (l) and T (l).
図11に示すようにP(i,j)におけるMTFの水平及び垂直方向の値、MTFh(i,j)及びMTFv(i,j)は、式(7)及び式(8)として求められる。 As shown in FIG. 11, the horizontal and vertical values of MTF at P (i, j), MTF h (i, j) and MTF v (i, j) are obtained as equations (7) and (8). It is done.
MTFh(i,j)=|S(l)cosθ|+|T(l)sinθ| (7)
MTFv(i,j)=|S(l)sinθ|+|T(l)cosθ| (8)
このように画像上のすべての点について、水平・垂直方向のMTFを計算によって求めることができる。
MTF h (i, j) = | S (l) cos θ | + | T (l) sin θ | (7)
MTF v (i, j) = | S (l) sin θ | + | T (l) cos θ | (8)
In this manner, the horizontal and vertical MTFs can be obtained by calculation for all points on the image.
(領域分割工程)
既述したように、図1の領域分割工程(ステップS1)で水平・垂直方向の解像度に応じて画像の領域を分割する。
(Region division process)
As described above, the region of the image is divided according to the resolution in the horizontal and vertical directions in the region dividing step (step S1) in FIG.
図12には、(a)水平・垂直方向のMTFに応じた領域分割の分割例と(b)その分割の基準例を示す。 FIG. 12 shows (a) an example of area division according to horizontal and vertical MTFs, and (b) a reference example of the division.
図12(b)の分割基準では、画像内の各座標における水平・垂直方向のMTF値と閾値T1及び閾値T2との大小関係により、3×3=9種類の領域(11〜13,21〜23,31〜33)に分けている。 In the division criterion of FIG. 12B, 3 × 3 = 9 types of regions (11 to 13, 21 to 21) depending on the magnitude relationship between the horizontal and vertical MTF values at each coordinate in the image and the threshold values T1 and T2. 23, 31-33).
閾値T1、T2は、撮像素子の画素ピッチ、画像の符号化後の要求解像度など、及びMTFデータの周波数により決定する。 The threshold values T1 and T2 are determined based on the pixel pitch of the image sensor, the required resolution after image encoding, and the frequency of MTF data.
分割された領域の例を、図12(a)に示している。光学特性に応じて画像の中央部ほど高解像度であり、周辺部へ行くほど解像度低下しているが、解像度の方向成分が微妙に異なっている。 An example of the divided area is shown in FIG. Depending on the optical characteristics, the higher the resolution is at the center of the image and the lower the resolution is as it goes to the periphery, but the resolution direction components are slightly different.
これらの分割された各領域毎に、それらの解像度成分に応じた探索法を設定するのが、図1の探索法設定工程(ステップS2)である。 The search method setting step (step S2) in FIG. 1 sets a search method corresponding to the resolution component for each of the divided areas.
(探索法設定工程)
図12に示した、分割基準と、それに基づく領域分割例に従って、領域に対する探索法を変えて設定した例を説明する。
(Search method setting process)
An example in which the search method for a region is changed and set according to the division criterion and the region division example based on the division criterion shown in FIG.
分割された領域は9種類であり、以降、領域11とか領域33とか、呼称する。
There are nine types of divided areas. Hereinafter, the
9種類の領域に対して、ブロックマッチング法で探索するが、既述したように、整数画素精度サーチ部による探索、小数画素精度サーチ部による探索のそれぞれにおいて、解像度の成分に応じた計算量の削減のための探索法の設定を行う。 The nine types of regions are searched by the block matching method. As described above, in the search by the integer pixel accuracy search unit and the search by the fractional pixel accuracy search unit, the calculation amount corresponding to the resolution component is increased. Set search method for reduction.
設定例を以下にリストアップする。 Examples of settings are listed below.
<探索法設定例>
(1)領域11(MTFh>T1かつMTFv>T1)の探索法設定
通常のフルスペック探索を行う。例えば、フルサーチブロックマッチングやダイヤモンドサーチを行った後に小数画素精度(1/2画素または1/4画素など)の補間による探索を行う。
<Search method setting example>
(1) Setting of search method for region 11 (MTF h > T1 and MTF v > T1) A normal full-spec search is performed. For example, after performing full search block matching or diamond search, a search is performed by interpolation with decimal pixel accuracy (such as 1/2 pixel or 1/4 pixel).
(2)領域12、13、22、23、32、33(T1>MTFh)の探索法設定
整数画素精度での探索処理後、小数画素精度での探索において水平方向の補間・探索を行わない。
(2) Search method setting for
(3)領域21、22、23、31、32、33(T1>MTFv)の探索法設定
整数画素精度での探索処理後、小数画素精度での探索において垂直方向の補間・探索を行わない。
(3) Search method setting for
(4)領域13、23、33(T2>MTFh)の探索法設定
1.整数画素精度での探索方法において、水平方向探索のステップを大きくする。例えば、図3に示すフローにおいて、iを加算するステップ数を2(通常は1)に変更する。
2.整数画素精度での探索方法において、水平方向探索の優先度を低くする。例えば、図13のフローチャートに示すように、ダイヤモンドサーチにおいて垂直方向のSADを先に計算し、垂直方向の隣接画素におけるSADが注目画素のSADより小さい場合は、水平方向の隣接画素のSADを計算せずにその画素を選択する。それ以外の場合は水平方向の隣接画素のSADも計算し、最も小さいSADの方向を選択して次の探索を行う。
(4) Search method setting for
2. In the search method with integer pixel accuracy, the priority of the horizontal search is lowered. For example, as shown in the flowchart of FIG. 13, the SAD in the vertical direction is calculated first in the diamond search, and the SAD of the adjacent pixel in the horizontal direction is calculated when the SAD in the adjacent pixel in the vertical direction is smaller than the SAD of the target pixel. Without selecting the pixel. In other cases, the SAD of adjacent pixels in the horizontal direction is also calculated, and the next search is performed by selecting the smallest SAD direction.
(5)領域31、32、33(T2>MTFv)の探索法設定
1.整数画素精度での探索方法において、垂直方向探索のステップを大きくする。例えば、図3に示すフローにおいて、jを加算するステップ数を2(通常は1)に変更する。
2.整数画素精度での探索方法において、垂直方向探索の優先度を低くする。例えば、ダイヤモンドサーチにおいて水平方向のSADを先に計算し、水平方向の隣接画素におけるSADが注目画素のSADより小さい場合は、垂直方向の隣接画素のSADを計算せずにその画素を選択する。それ以外の場合は垂直方向の隣接画素のSADも計算し、最も小さいSADの方向を選択して次の探索を行う。
(5) Search method setting for
2. In the search method with integer pixel accuracy, the priority of the vertical direction search is lowered. For example, when the SAD in the horizontal direction is calculated first in the diamond search and the SAD in the adjacent pixel in the horizontal direction is smaller than the SAD of the target pixel, that pixel is selected without calculating the SAD of the adjacent pixel in the vertical direction. In other cases, the SAD of adjacent pixels in the vertical direction is also calculated, and the next search is performed by selecting the direction of the smallest SAD.
上記(1)から(5)の探索法設定を適切に組み合わせて用いることにより、入力画像に依存しない光学特性を利用して、すなわち分割したそれぞれの領域でその画像解像度方向成分に応じた探索法を設定することで、動きベクトル検出精度を十分に得ることができない画像領域において探索のための計算量を削減しながら、結果として視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる。 By appropriately combining the search method settings of (1) to (5) above, a search method that utilizes optical characteristics that do not depend on the input image, that is, in accordance with the image resolution direction component in each divided region. By reducing the amount of calculation for searching in an image area where sufficient motion vector detection accuracy cannot be obtained, motion vectors for image coding with less visual image degradation are detected as a result. be able to.
<解像度やその方向性が異なる領域間の探索について>
注目ブロック4に対応する参照ブロック5のブロックマッチングによる探索は、注目ブロック4を設定している対象画像1を圧縮符号化するための動きベクトルV1を検出するためであり、注目ブロック4の該当する入力画像領域の光学特性を適用して探索法を設定すればよい。
<Searching between regions with different resolutions and directions>
The search by block matching of the
しかしながら、整数画素精度での探索において、解像度の方向性が異なる領域、例えば図12(a)において、対象画像1の処理(注目)ブロック4が右上の領域32にあり、参照画像2のブロック5が右下の領域32にある場合など、では解像度方向性の違いから、ブロックマッチングおけるSADの値が大きくなり、正しい動きベクトルが求められない場合がある。
However, in the search with integer pixel accuracy, the processing (attention)
このように、解像度やその方向性が大きく異なるような領域に対しては、対象画像1の注目ブロック4の所属する領域のMTF周波数特性からFIRフィルタを構成し、参照画像2の対象領域に適用することによって、動きベクトルの誤検出を減少させることができる。
As described above, an FIR filter is constructed from the MTF frequency characteristics of the region to which the
<その他>
なお、上述の実施形態は、光学特性として撮像系のMTFを用いて説明した。
<Others>
The above-described embodiment has been described using the MTF of the imaging system as the optical characteristics.
動きベクトル検出の前に画像処理が行われるような場合には、その画像処理に起因する拡大等による画像内の領域ごとの水平・垂直方向の解像度を使用してもよい。 When image processing is performed before motion vector detection, the horizontal and vertical resolutions for each region in the image due to enlargement or the like resulting from the image processing may be used.
また、解像度の算出方向を水平・垂直方向で説明したが、水平・垂直方向に限定する必要はなく、探索にかかわる方向の解像度を利用すればよい。 In addition, although the calculation direction of the resolution has been described in the horizontal and vertical directions, it is not necessary to limit to the horizontal and vertical directions, and the resolution in the direction related to the search may be used.
上述のように、本実施形態に係る動きベクトル検出方法、及び動きベクトル検出プログラムによれば、ブロックマッチング法を用いて動きベクトルを検出するに際して、光学特性としての画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。 As described above, according to the motion vector detection method and the motion vector detection program according to the present embodiment, when detecting a motion vector using the block matching method, an image is displayed according to the direction component of the image resolution as an optical characteristic. Is divided into regions, and a search method corresponding to the image resolution direction component of the optical characteristics is set in each region.
このように、入力画像に依存しない光学特性を利用することで、動きベクトル検出精度を十分に得ることができない画像領域において計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる。 In this way, by utilizing optical characteristics that do not depend on the input image, it is possible to reduce the amount of calculation in an image area where sufficient motion vector detection accuracy cannot be obtained, and to reduce the visual image degradation. A motion vector can be detected.
なお、上述の実施形態は、すべての点で例示であって制限的なものではない。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 In addition, the above-mentioned embodiment is an illustration and restrictive at no points. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
1 対象画像
2 参照画像
3 サーチエリア
4 注目ブロック
5 参照ブロック
1
Claims (14)
入力画像における解像度情報の1つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を備える
ことを特徴とする動きベクトル検出方法。 A motion vector detection for detecting a motion vector from a positional relationship in the input image of a block corresponding to the target block in the input image, with a search step for searching the corresponding block in the reference image for the target block of the target image in the input image A method,
A region dividing step of dividing the image into a plurality of types of regions according to values of one or more direction components of resolution information in the input image;
A search method setting step of setting a search method used in the search step in accordance with a value of a direction component of the resolution information of the region divided in the region division step. .
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする請求項1に記載の動きベクトル検出方法。 In the region dividing step,
The motion vector detection method according to claim 1, wherein optical characteristics of an imaging device that captures an input image are used as the resolution information for region division.
ことを特徴とする請求項2に記載の動きベクトル検出方法。 The motion vector detection method according to claim 2, wherein the optical characteristic of the imaging device is any one of MTF, OTF, and PSF.
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする請求項1に記載の動きベクトル検出方法。 In the region dividing step,
The motion vector detection method according to claim 1, wherein the resolution information determined by image processing content in preprocessing of an input image is used.
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする請求項1から4の何れか1項に記載の動きベクトル検出方法。 In the search method setting step,
The search according to block matching is set, and the number of movement steps during the search is changed according to the value of the direction component of the resolution information of the divided area. Motion vector detection method.
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする請求項1から4の何れか1項に記載の動きベクトル検出方法。 In the search method setting step,
The search according to block matching is set, and the preferential movement direction at the time of searching is changed according to the value of the direction component of the resolution information of the divided area. Motion vector detection method.
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする請求項1から6の何れか1項に記載の動きベクトル検出方法。 In the search method setting step,
The search by decimal pixel precision interpolation is set, and the interpolation method at the time of search is changed according to the value of the direction component of the resolution information of the divided area. The motion vector detection method described.
入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を実行させ、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルの検出を実行させる動きベクトル検出プログラムであって、
該コンピュータに、
入力画像における解像度情報の1つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を実行させる
ことを特徴とする動きベクトル検出プログラム。 On the computer,
In the input image, a search step for searching a corresponding block in the reference image is executed for the target block of the target image, and a motion vector is detected from the positional relationship in the input image of the block corresponding to the target block. A motion vector detection program,
To the computer,
A region dividing step of dividing the image into a plurality of types of regions according to values of one or more direction components of resolution information in the input image;
A search method setting step of setting a search method used in the search step in accordance with a value of a direction component of the resolution information of the region divided in the region division step. program.
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする請求項8に記載の動きベクトル検出プログラム。 In the region dividing step,
The motion vector detection program according to claim 8, wherein an optical characteristic of an imaging device that captures an input image is used as the resolution information for region division.
ことを特徴とする請求項9に記載の動きベクトル検出プログラム。 The motion vector detection program according to claim 9, wherein the optical characteristic of the imaging device is any one of MTF, OTF, and PSF.
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする請求項8に記載の動きベクトル検出プログラム。 In the region dividing step,
The motion vector detection program according to claim 8, wherein the resolution information determined by image processing content in preprocessing of an input image is used.
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする請求項8から11の何れか1項に記載の動きベクトル検出プログラム。 In the search method setting step,
The search according to block matching is set, and the number of movement steps during the search is changed according to the value of the direction component of the resolution information of the divided area. Motion vector detection program.
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする請求項8から11の何れか1項に記載の動きベクトル検出プログラム。 In the search method setting step,
The search according to block matching is set, and the preferential movement direction at the time of searching is changed according to the value of the direction component of the resolution information of the divided area. Motion vector detection program.
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする請求項8から13の何れか1項に記載の動きベクトル検出プログラム。 In the search method setting step,
The search according to decimal pixel precision interpolation is set, and the interpolation method at the time of search is changed according to the value of the direction component of the resolution information of the divided area. The motion vector detection program described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010060575A JP2011197727A (en) | 2010-03-17 | 2010-03-17 | Motion vector detecting method and motion vector detecting program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010060575A JP2011197727A (en) | 2010-03-17 | 2010-03-17 | Motion vector detecting method and motion vector detecting program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011197727A true JP2011197727A (en) | 2011-10-06 |
Family
ID=44875903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010060575A Pending JP2011197727A (en) | 2010-03-17 | 2010-03-17 | Motion vector detecting method and motion vector detecting program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011197727A (en) |
-
2010
- 2010-03-17 JP JP2010060575A patent/JP2011197727A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101393048B1 (en) | Method and apparatus for super-resolution of images | |
TWI455588B (en) | Bi-directional, local and global motion estimation based frame rate conversion | |
US10735769B2 (en) | Local motion compensated temporal noise reduction with sub-frame latency | |
KR101634562B1 (en) | Method for producing high definition video from low definition video | |
US9245316B2 (en) | Image processing device, image processing method and non-transitory computer readable medium | |
JP5166156B2 (en) | Resolution conversion apparatus, method and program | |
WO2011129249A1 (en) | Image processing device, image capture device, program, and image processing method | |
US9020273B2 (en) | Image processing method, image processor, integrated circuit, and program | |
JP2009105533A (en) | Image processing device, imaging device, image processing method, and picked-up image processing method | |
KR101140953B1 (en) | Method and apparatus for correcting distorted image | |
JP2009055410A (en) | Image processing device and image processing method | |
EP2953357A1 (en) | Video encoding method, decoding method and apparatus | |
JP5533309B2 (en) | Motion vector detection circuit, video encoding device, and motion vector detection method | |
US20130235274A1 (en) | Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method | |
JP6057629B2 (en) | Image processing apparatus, control method thereof, and control program | |
JP4998134B2 (en) | Image processing apparatus and image processing method | |
JP5376049B2 (en) | Intra prediction processing method and intra prediction processing program | |
US9432690B2 (en) | Apparatus and method for video processing | |
JP2011197727A (en) | Motion vector detecting method and motion vector detecting program | |
CN103618904A (en) | Motion estimation method and device based on pixels | |
JP4888306B2 (en) | Image processing apparatus and image processing method | |
JP6091082B2 (en) | Image processing apparatus, image processing method, and program | |
RU2803233C1 (en) | Method and device for sub-pixel refinement of motion vectors | |
RU2308817C1 (en) | Method and device for scaling a dynamic video-image | |
JP2937134B2 (en) | Motion vector search method |