KR20000044735A - Motion estimator - Google Patents
Motion estimator Download PDFInfo
- Publication number
- KR20000044735A KR20000044735A KR1019980061235A KR19980061235A KR20000044735A KR 20000044735 A KR20000044735 A KR 20000044735A KR 1019980061235 A KR1019980061235 A KR 1019980061235A KR 19980061235 A KR19980061235 A KR 19980061235A KR 20000044735 A KR20000044735 A KR 20000044735A
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- frame
- blocks
- block
- search
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 영상을 압축 부호화하여 전송하는 고화질 TV 시스템에 있어서, 특히 영상의 시간적 상관성을 이용하여 현재 프레임과 이전 프레임간의 움직임을 추정하는 움직임 추정 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion estimation apparatus for estimating motion between a current frame and a previous frame by using temporal correlation of an image in a high definition TV system for compressing and transmitting an image.
일반적으로, 영상 신호를 전송하는데 있어서, 아날로그(analog)로 전송하는 것보다 디지탈(digital)로 전송하는 것이 훨씬 더 좋은 화질을 유지할수 있다는 것이 잘알려진 사실이지만, 고화질 TV의 경우 프레임(frame) 단위로 구성된 영상이 디지탈 형태로 표현될 때, 많은 양의 디지탈 데이터가 생성되는 반면, 디지탈 데이터를 전송하기 위한 전송 채널의 대역을 제한되어 있다.In general, in transmitting video signals, it is well known that digital transmission can maintain much better image quality than analog transmission. When an image composed of a digital image is represented in a digital form, a large amount of digital data is generated, while a band of a transmission channel for transmitting digital data is limited.
따라서, 많은 양의 디지탈 데이터를 한정된 채널 대역에 전송하기 위해서는 전송되는 데이터량을 압축하여 전송량을 줄일 필요가 있다. 다양한 압축 기법중에서 확률적 부호화 기법과, 시간적/공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.Therefore, in order to transmit a large amount of digital data in a limited channel band, it is necessary to reduce the amount of data by compressing the amount of data to be transmitted. Among the various compression schemes, the hybrid coding scheme combining probabilistic coding and temporal / spatial compression is known to be the most efficient.
대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(Differencial Pulse Coding Modulation), 2차원 DCT(Discrete Cosine Transform), DCT 계수의 양자화, VLC(Varlable Length Coding) 등을 이용한다. 여기에서, 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분 신호를 만들어 내는 방법이다. 이러한 방법은 예를들어 Staffan Ericsson의 "Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding", IEEE Transactions on Communication, COM-33, NO. 12(1985년 12월), 또는 Ninomiy와 Ohtsuka의 "A Motion Compensated Interframe Coding Scheme for Television Pictures", IEEE Transactions on Communication, COM-30, NO.1(1982년, 1월)에 기재되어 있다.Most hybrid coding techniques use motion compensated differential pulse coding modulation (DPCM), two-dimensional discrete cosine transform (DCT), quantization of DCT coefficients, and variable length coding (VLC). Here, the motion compensation DPCM determines a motion of the object between the current frame and the previous frame, and predicts the current frame according to the motion of the object to generate a differential signal representing the difference between the current frame and the prediction value. Such methods are described, for example, in Staffan Ericsson, "Fixed and Adaptive Predictors for Hybrid Predictive / Transform Coding", IEEE Transactions on Communication, COM-33, NO. 12 (December 1985), or "A Motion Compensated Interframe Coding Scheme for Television Pictures" by Ninomiy and Ohtsuka, IEEE Transactions on Communication, COM-30, NO.1 (January, 1982).
보다 상세하게, 움직임 보상 DPCM에 있어서, 현재 프레임은 현재 프레임과 이전 프레임간의 움직임 추정에 의해 이전 프레임으로부터 추정된다. 그와 같이 추정된 움직임은 이전 프레임과 현재 프레임간의 픽셀들의 변위를 나타내는 2차원 움직임 벡터들로서 나타낼수 있다.More specifically, in motion compensation DPCM, the current frame is estimated from the previous frame by motion estimation between the current frame and the previous frame. Such estimated motion can be represented as two-dimensional motion vectors representing the displacement of pixels between the previous frame and the current frame.
움직임 추정 기법들중의 하나로 알려진 블록 매칭 알고리즘(block matching algorithm)에 따르면, n(n : 양의 정수)번째 프레임은 동일한 크기를 갖는 다수개의 탐색 블록들로 분할된다. 도 1을 참조하면, 탐색 블록(11)의 크기는 8*8블록, 또는 16*16블록의 픽셀 범위를 갖는다. n번째 프레임(10)에서 탐색 블록(11)에 대한 움직임 벡터를 결정하기 위해서, n번째 프레임(10)의 탐색 블록(11)과 n-1번째 프레임(20)내의 대체로 큰 탐색 영역(21)내에 포함된 동일한 크기를 갖는 복수개의 후보 블록들의 각각과 유사성 계산을 수행한다. 이때, n-1번째 프레임(20)내의 탐색 영역(21)은, n번째 프레임(10)상의 소정 수평/수직 위치에 자리한 탐색 블록과 위치적으로 동일한곳에 자리한 n-1번째 프레임(20)상의 후보 블록(22)을 중심으로 대체로 크게 형성된다.According to a block matching algorithm known as one of the motion estimation techniques, the n (n: positive integer) th frame is divided into a plurality of search blocks having the same size. Referring to FIG. 1, the size of the search block 11 has a pixel range of 8 * 8 blocks, or 16 * 16 blocks. In order to determine the motion vector for the search block 11 in the nth frame 10, the search block 11 in the nth frame 10 and the generally large search area 21 in the n−1th frame 20. A similarity calculation is performed with each of a plurality of candidate blocks having the same size included therein. At this time, the search area 21 in the n-1 th frame 20 is located on the n-1 th frame 20 positioned at the same position as the search block located at a predetermined horizontal / vertical position on the n th frame 10. It is generally formed largely around the candidate block 22.
n번째 프레임(10)의 탐색 블록(11)과 n-1번째 프레임(20)의 후보 블록들간의 유사성 계산을 수행하는 경우에, 평균 자승 오차, 또는 평균 절대 오차와 같은 다양한 오차 함수를 사용할수 있다. 그리고, 정의에 의하면, 움직임 벡터는 최소의 오차 함수를 야기하는 탐색 블록(11)과 후보 블록간의 변위를 나타내며, 이러한 움직임 벡터는 수신기에서, n-1번째 프레임으로부터 블록 단위로 영상을 재구성하기 위해 사용된다.When performing the similarity calculation between the search block 11 of the nth frame 10 and the candidate blocks of the n-1th frame 20, various error functions such as mean squared error or mean absolute error can be used. have. And, by definition, the motion vector represents the displacement between the search block 11 and the candidate block causing the minimum error function, which is used by the receiver to reconstruct the image block by block from the n-1 th frame. Used.
그러나, 이와 같은 블록 매칭 알고리즘은 탐색 영역을 형성하는데 있어서, n번째 프레임(10)상의 소정 수평/수직 위치에 자리한 탐색 블록과 위치적으로 동일한곳에 자리한 n-1번째 프레임(20)상의 후보 블록(22)을 중심으로 대체로 크게 형성하기 때문에, 예를들어 물체의 움직임이 크면 클수록, n-1번째 프레임의 탐색 영역과 n번째 프레임의 탐색 블록간의 시간적 상관성이 줄어들게 된다.However, such a block matching algorithm, in forming a search region, includes a candidate block on an n-1 th frame 20 located at the same position as the search block located at a predetermined horizontal / vertical position on the n th frame 10 ( 22, the larger the object is, for example, the greater the movement of an object, the smaller the temporal correlation between the search region of the n-th frame and the search block of the n-th frame.
이와 같이, n-1번째 프레임의 탐색 영역과 n번째 프레임의 탐색 블록간의 시간적 상관성이 줄어들게 되면, 탐색 영역을 더욱 넓혀야만 보다 정확한 움직임 벡터를 추정할수 있게 된다. 그러나, 탐색 영역을 넓히게 되면 움직임을 추정하기 위한 계산량이 늘어나게 되어, 시간적 손실을 가져오는 결과를 낳는다.As such, when the temporal correlation between the search region of the n-th frame and the search block of the n-th frame is reduced, more accurate motion vectors can be estimated only by widening the search region. However, widening the search area increases the amount of computation for estimating motion, resulting in time loss.
따라서, 본 발명은 물체의 움직임에 따른 시간적 상관성을 고려하여, 적절한 탐색 영역을 추정하고, 추정된 탐색 영역에 의거하여 움직임을 추정함으로서, 보다 빠르고 정확하게 움직임을 추정할수 있는 움직임 추정 장치를 제공함에 그 목적이 있다.Accordingly, the present invention provides a motion estimation apparatus capable of estimating a motion faster and more accurately by estimating an appropriate search area and estimating the motion based on the estimated search area in consideration of the temporal correlation according to the motion of the object. There is a purpose.
상기 목적을 달성하기 위한 본 발명은, n(n : 양의 정수)번째 프레임과 n-1번째 프레임간의 움직임을 추정하여 움직임 벡터를 검출하는 것으로, 상기 n번째 프레임은 동일한 크기를 갖는 다수개의 탐색 블록들로 분할되고, 상기 n-1번째 프레임은 상기 다수개의 탐색 블록들과 동일한 크기의 블록들로 분할되며, 상기 n-1번째 프레임의 각 블록들은, 상기 n-1번째 프레임과 n-2번째 프레임간의 움직임 추정에 의해 검출된 이전 움직임 벡터들을 일대일 대응되게 구비하고 있는 움직임 추정 장치에 있어서: 상기 n-1번째 프레임의 각 블록들을 상기 대응하는 이전 움직임 벡터들만큼 이동하여, 이동된 움직임 블록들을 생성하는 이전 프레임 재구성부; 상기 n번째 프레임의 소정 탐색 블록상에 상기 이전 프레임 재 구성부에서 제공한 n-1번째 프레임의 움직임 블록들을 매칭시켜, 상기 소정 탐색 블록상에 겹쳐진 움직임 블록들을 검출하고, 상기 소정 탐색 블록상에 겹쳐진 움직임 블록들의 겹침 면적을 각각 연산하는 블록 매칭부; 상기 소정 탐색 블록상에 겹쳐진 움직임 블록들의 겹침 면적들과, 상기 움직임 블록들에 대응하는 상기 이전 움직임 벡터들에 의거하여 탐색 영역 추정 벡터MVP를 연산하고, 상기 소정 탐색 블록에서 부터 상기 탐색 영역 추정 벡터MVP만큼 이동된 상기 n-1번째 프레임의 소정 영역을 기준으로 M*M(M : 양의 정수)크기의 탐색 영역을 생성하는 탐색 영역 추정부; 상기 n-1번째 프레임의 탐색 영역을, 상기 탐색 블록들과 동일한 크기를 갖는 다수개의 후보 블록들로 분할하는 후보 블록 분할부; 상기 탐색 블록과 상기 후보 블록들간의 유사성 계산을 수행하여, 상기 탐색 블록과 유사성이 가장 높은 후보 블록간의 움직임 벡터를 검출하는 움직임 추정부를 포함한다.In order to achieve the above object, the present invention detects a motion vector by estimating a motion between an n (n: positive integer) th frame and an n-1 th frame, wherein the n th frame has a plurality of searches having the same size. The n-1th frame is divided into blocks of the same size as the plurality of search blocks, and each block of the n-1th frame is the n-1th frame and n-2. A motion estimation apparatus having one-to-one correspondence of previous motion vectors detected by motion estimation between first frames: A motion block moved by moving respective blocks of the n-1th frame by the corresponding previous motion vectors. A previous frame reconstruction unit for generating them; Matching motion blocks of the n-1th frame provided by the previous frame reconstruction unit on the predetermined search block of the nth frame, detecting the motion blocks superimposed on the predetermined search block, and on the predetermined search block A block matching unit for calculating overlap areas of the overlapping motion blocks, respectively; A search region estimation vector MVP is calculated based on overlapping areas of motion blocks superimposed on the predetermined search block and the previous motion vectors corresponding to the motion blocks, and from the predetermined search block, the search region estimation vector A search region estimator configured to generate a search region having a size of M * M (M: positive integer) based on a predetermined region of the n−1 th frame moved by MVP; A candidate block dividing unit dividing the search region of the n-1th frame into a plurality of candidate blocks having the same size as the search blocks; And a motion estimation unit configured to detect a motion vector between the search block and the candidate block having the highest similarity by performing similarity calculation between the search block and the candidate blocks.
도 1은 움직임 추정을 위한 블록 매칭 알고리즘에 대한 설명을 위한 도면,1 is a diagram for explaining a block matching algorithm for motion estimation;
도 2는 본 발명의 실시예에 따른 움직임 추정 장치를 도시한 도면,2 illustrates a motion estimation apparatus according to an embodiment of the present invention;
도 3a 내지 도 3c는 본 발명의 실시예에 따라 탐색 영역을 추정하는 과정을 설명하기 위한 도면.3A to 3C illustrate a process of estimating a search area according to an embodiment of the present invention.
＜도면의 주요부분에 대한 부호의 설명＞<Description of the code | symbol about the principal part of drawing>
210 : 탐색 블록 형성부 220 : 이전 프레임 블록 형성부210: search block forming unit 220: previous frame block forming unit
230 : 움직임 벡터 저장부 240 : 이전 프레임 재구성부230: motion vector storage unit 240: previous frame reconstruction unit
250 : 블록 매칭부 260 : 탐색 영역 추정부250: block matching unit 260: search area estimation unit
270 : 후보 블록 형성부 280 : 움직임 추정부270: candidate block forming unit 280: motion estimation unit
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2에는 본 발명의 실시예에 따른 움직임 추정 장치가 도시된다. 도 2 에서, 움직임 추정 장치는 탐색 블록 형성부(210), 이전 프레임 블록 형성부(220), 움직임 벡터 저장부(230), 이전 프레임 재구성부(240), 블록 매칭부(250), 탐색 영역 추정부(260), 후보 블록 형성부(270), 움직임 추정부(280)로 구성된다.2 shows a motion estimation apparatus according to an embodiment of the present invention. In FIG. 2, the motion estimation apparatus includes a search block forming unit 210, a previous frame block forming unit 220, a motion vector storage unit 230, a previous frame reconstructing unit 240, a block matching unit 250, and a search region. The estimator 260, the candidate block forming unit 270, and the motion estimating unit 280 are configured.
도 2를 참조하면, 탐색 블록 형성부(210)에는 n번째 프레임이 제공된다. 탐색 블록 형성부(210)는 입력되는 n번째 프레임을 N*N 크기를 갖는 다수의 탐색 블록들로 분할하여, 각 탐색 블록을 블록 매칭부(250)에 순차적으로 제공한다.2, the n th frame is provided to the search block forming unit 210. The search block forming unit 210 divides the input n-th frame into a plurality of search blocks having an N * N size, and sequentially provides each search block to the block matching unit 250.
한편, 이전 프레임 블록 형성부(220)에는 n-1번째 프레임이 제공된다. 이전 프레임 블록 형성부(220)는 입력되는 n-1번째 프레임을 N*N크기를 갖는 다수의 블록들로 분할하여 각 블록들을 재구성부(240)에 제공한다. 움직임 벡터 저장부(230)에는 n-1번째 프레임과 n-2번째 프레임간의 움직임 추정에 의해 생성된 n-1번째 프레임의 각 블록에 대한 움직임 벡터들이 저장되어 있으며, 움직임 벡터 저장부(230)에 저장되어 있는 n-1번째 프레임의 각 블록들에 대한 움직임 벡터들은 이전 프레임 재구성부(240)에 제공된다.Meanwhile, the n-1 th frame is provided to the previous frame block forming unit 220. The previous frame block forming unit 220 divides the input n-1th frame into a plurality of blocks having an N * N size and provides each block to the reconstructing unit 240. The motion vector storage unit 230 stores motion vectors for each block of the n-1th frame generated by motion estimation between the n-1 th frame and the n-2 th frame, and the motion vector storage unit 230. The motion vectors for each block of the n−1 th frame stored in the previous frame reconstruction unit 240 are provided.
이전 프레임 재구성부(240)는 이전 프레임 블록 형성부(220)로부터 제공되는 n-1번째 프레임의 각 블록들을, 움직임 벡터 저장부(230)로부터 제공되는 n-1번째 프레임의 각 블록들에 대한 움직임 벡터들만큼 이동시켜, 움직임 블록들을 생성한다.The previous frame reconstructor 240 may select each block of the n−1 th frame provided from the previous frame block forming unit 220 for each block of the n−1 th frame provided from the motion vector storage unit 230. Move by motion vectors to generate motion blocks.
이전 프레임 재구성부(240)에서 생성된 n-1번째 프레임의 움직임 블록들은 블록 매칭부(250)에 제공된다. 블록 매칭부(250)는 n번째 프레임의 소정 탐색 블록상에 이전 프레임 재 구성부(240)에서 제공한 n-1번째 프레임의 움직임 블록들을 매칭시킨다.The motion blocks of the n−1 th frame generated by the previous frame reconstruction unit 240 are provided to the block matching unit 250. The block matching unit 250 matches the motion blocks of the n-1th frame provided by the previous frame reconstruction unit 240 on the predetermined search block of the nth frame.
도 3을 참조하면, 도 3a에는 n-1번째 프레임의 블록들①,②,③,④,⑤,⑥,⑦,⑧,⑨이 예시되며, 도 3b에는 n번째 프레임의 탐색 블록들㉠,㉡,㉢,㉣,㉤,㉥,㉦,㉧,㉨상에 n-1번째 프레임의 움직임 블록들ⓐ,ⓑ,ⓒ,ⓓ,ⓔ,ⓕ,ⓖ,ⓗ,ⓘ이 매칭된 것을 나타낸 도면이 예시된다. 도 3a에서, mv1내지 mv9는 n-1번째 프레임의 각 블록들①,②,③,④,⑤,⑥,⑦,⑧,⑨의 움직임 벡터들이다. 따라서, n-1번째 프레임의 각 블록들①,②,③,④,⑤,⑥,⑦,⑧,⑨을 대응하는 움직임 벡터들 mv1내지 mv9만큼 이동시키면, 도 3b의 점선으로 표시된 블록들과 같은 움직임 블록들ⓐ,ⓑ,ⓒ,ⓓ,ⓔ,ⓕ,ⓖ,ⓗ,ⓘ로 나타난다. 반면, 도 3b에서 실선으로 도시된 블록들이 n번째 프레임의 각 탐색 블록들㉠,㉡,㉢,㉣,㉤,㉥,㉦,㉧,㉨이다.Referring to FIG. 3, blocks ①, ②, ③, ④, ⑤, ⑥, ⑦, ⑧, ⑨ of the n-th frame are illustrated in FIG. 3A, and search blocks n, of the n-th frame are illustrated in FIG. 3B. The figure showing that the motion blocks ⓐ, ⓑ, ⓒ, ⓓ, ⓔ, ⓕ, ⓖ, ⓗ, ƒ on the n-1th frame on ㉡, ㉢, ㉣, ㉤, ㉥, ㉦, ㉨ Is illustrated. In FIG. 3A, mv 1 to mv 9 are motion vectors of blocks ①, ②, ③, ④, ⑤, ⑥, ⑦, ⑧, ⑨ of the n-1th frame. Therefore, if blocks ①, ②, ③, ④, ⑤, ⑥, ⑦, ⑧, ⑨ of the n-th frame are moved by the corresponding motion vectors mv 1 to mv 9 , the block indicated by the dotted line in FIG. 3B. Motion blocks such as ⓐ, ⓑ, ⓒ, ⓓ, ⓔ, ⓕ, ⓖ, ⓗ, ⓘ. On the other hand, blocks shown by solid lines in FIG. 3B are respective search blocks ㉠, ㉡, ㉢, ㉣, ㉤, ㉥, ㉦, ㉧, ㉨ in the nth frame.
n번째 프레임과 n-1번째 프레임간의 물체의 움직임은 대체로 연속성을 가지게 된다. 즉, n-1번째의 소정 블록이 n-2번째 프레임에서 움직임 벡터mv1만큼 움직인 블록이었다면, 이 블록은 다시 n-1번째 프레임에서 n번째 프레임으로 움직일때 움직임 벡터mv1을 갖게될 가능성이 높은 것이다.The movement of the object between the nth frame and the n-1th frame is generally continuous. That is, if the n-1th predetermined block is a block moved by the motion vector mv 1 in the n-2th frame, the block may have a motion vector mv 1 when it moves from the n-1th frame to the nth frame again. This is high.
따라서, n-1번째 프레임의 각 블록들을 대응하는 움직임 벡터들 mv1내지 mv9만큼 이동시켜 재구성한후, n번째 프레임과 매칭시켰을 때, 예를들어 도 3b와 같이 n번째 프레임의 소정 탐색 블록㉥상에 n-1번째 프레임의 움직임 블록들ⓑ,ⓔ,ⓕ이 겹쳐진다면, n번째 프레임의 탐색 블록㉥은 n-1번째 프레임의 움직임 블록들ⓑ,ⓔ,ⓕ의 원래 위치 또는 그 주변에서 이동되어 왔을 가능성이 높은 것이고, 또한 겹쳐진 부분이 가장 많은 움직임 블록ⓔ일수록, 다른 움직임 블록들ⓑ,ⓕ보다 그 가능성은 더욱 증대될 것이다.Accordingly, when each block of the n-1 th frame is moved and reconstructed by the corresponding motion vectors mv 1 to mv 9 , and then matched with the n th frame, a predetermined search block of the n th frame, for example, as shown in FIG. 3B. If the motion blocks ⓑ, ⓔ, ⓕ of the n-1th frame overlap on, the search block n of the nth frame is at or near the original position of the motion blocks ⓑ, ⓔ, ⓕ of the n-1th frame. It is more likely that it has been moved, and the more motion blocks ⓔ that overlap, the greater the probability than other motion blocks ⓑ and ⓕ.
본 발명은 이와 같은 시간적 연속성을 이용하여, 이전 프레임의 탐색 영역을 추정한다. 블록 매칭부(250)는 n번째 프레임의 소정 탐색 블록상에 이전 프레임 재 구성부(240)에서 제공한 n-1번째 프레임의 움직임 블록들을 매칭시킨후, n번째 프레임의 소정 탐색 블록상에 겹쳐진 n-1번째 프레임의 움직임 블록들을 검출한다.The present invention uses this temporal continuity to estimate the search region of the previous frame. The block matching unit 250 matches the motion blocks of the n-1th frame provided by the previous frame reconstruction unit 240 on the predetermined search block of the nth frame, and then overlaps the predetermined search block of the nth frame. The motion blocks of the n-th frame are detected.
도 3c를 참조하면, n번째 프레임의 탐색 블록㉥에는 n-1번째 프레임의 움직임 블록들ⓑ,ⓔ,ⓕ가 겹쳐져 있다. 블록 매칭부(250)는 탐색 블록㉥에 겹쳐진 움직임 블록ⓑ의 겹침 면적pb1과, 탐색 블록㉥에 겹쳐진 움직임 블록ⓔ의 겹침 면적pb2와, 탐색 블록㉥에 겹쳐진 움직임 블록ⓕ의 겹침 면적pb3을 연산하여 탐색 영역 추정부(260)에 제공한다. 또한 탐색 영역 추정부(260)에는 움직임 벡터 저장부(230)에 저장되어 있는 n-1번째 프레임의 각 블록들에 대한 움직임 벡터들mv1내지 mv9와, 이전 프레임이 제공된다.Referring to FIG. 3C, the motion blocks ⓑ, ⓔ, ⓕ of the n-1th frame are overlapped with the search block n of the nth frame. The block matching unit 250 includes an overlap area pb 1 of the motion block ⓑ overlapped with the search block ㉥, an overlap area pb 2 of the motion block ⓔ overlapped with the search block ㉥, and an overlap area pb 3 of the motion block ⓕ overlapped with the search block ㉥. Is calculated and provided to the search area estimator 260. In addition, the search region estimator 260 is provided with motion vectors mv 1 to mv 9 for each block of the n−1 th frame stored in the motion vector storage unit 230, and a previous frame.
탐색 영역 추정부(260)는 pb1,pb2,pb3와 mv2,mv5,mv6을 수학식에 적용하여, 탐색 영역 추정 벡터MVP를 연산한다.The search region estimator 260 calculates a search region estimation vector MVP by applying pb 1 , pb 2 , pb 3 and mv 2 , mv 5 , mv 6 to the equation.
수학식 1에 대한 일반식이 수학식 2이다.The general formula for Equation 1 is Equation 2.
k : 탐색 블록상에 겹쳐진 움직임 블록들의 수k: number of motion blocks superimposed on the search block
pbk: 탐색 블록상에 겹쳐진 움직임 블록들의 겹침 면적pb k : overlap area of motion blocks superimposed on the search block
mvk: 움직임 블록에 대응하는 움직임 벡터mv k : motion vector corresponding to the motion block
탐색 영역 추정부(260)는 탐색 블록㉥에서 부터 탐색 영역 추정 벡터MVP만큼 이동된 이전 프레임의 소정 영역을 기준으로 M*M 크기의 탐색 영역을 생성한다. M*M크기의 탐색 블록은 후보 블록 형성부(270)에 제공된다.The search region estimator 260 generates a search region having an M * M size based on a predetermined region of the previous frame moved from the search block 만큼 by the search region estimation vector MVP. The search block of size M * M is provided to the candidate block forming unit 270.
후보 블록은 M*M크기의 탐색 블록을 N*N크기를 갖는 다수개의 후보 블록으로 분할하여 움직임 추정부(280)에 제공한다. 한편, 움직임 추정부(280)에는 탐색 블록 형성부(210)로부터 탐색 블록이 제공된다.The candidate block is divided into a plurality of candidate blocks having an N * N size and provided to the motion estimation unit 280. Meanwhile, the motion estimation unit 280 is provided with a search block from the search block forming unit 210.
움직임 추정부(280)는 n번째 프레임의 탐색 블록과 n-1번째 프레임내의 탐색 영역내에 포함된 동일한 크기를 갖는 다수개의 후보 블록들의 각각과 유사성 계산을 수행한후, 움직임 오차가 가장 적은 탐색 블록과 후보 블록간의 움직임 벡터를 검출한다.The motion estimation unit 280 performs a similarity calculation with each of a plurality of candidate blocks having the same size included in the search block of the n-th frame and the search region in the n-th frame, and then searches the block with the smallest motion error. Motion vector between the candidate block and the candidate block is detected.
이상 설명한 바와 같이 본 발명은 물체의 움직임에 따른 시간적 상관성을 고려하여, 적절한 탐색 영역을 추정하고, 추정된 탐색 영역에 의거하여 움직임을 추정함으로서, 보다 빠르고 정확하게 움직임을 추정할수 있는 효과가 있다.As described above, the present invention has the effect of estimating the motion more quickly and accurately by estimating the appropriate search area and estimating the motion based on the estimated search area in consideration of the temporal correlation according to the motion of the object.
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980061235A KR20000044735A (en) | 1998-12-30 | 1998-12-30 | Motion estimator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980061235A KR20000044735A (en) | 1998-12-30 | 1998-12-30 | Motion estimator |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20000044735A true KR20000044735A (en) | 2000-07-15 |
Family
ID=19567990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019980061235A KR20000044735A (en) | 1998-12-30 | 1998-12-30 | Motion estimator |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20000044735A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100460950B1 (en) * | 2001-12-18 | 2004-12-09 | 삼성전자주식회사 | Transcoder and transcoding method |
| US9398249B2 (en) | 2012-06-28 | 2016-07-19 | Samsung Electronics Co., Ltd. | Motion estimation system and method, display controller, and electronic device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970057964A (en) * | 1995-12-28 | 1997-07-31 | 구자홍 | Motion estimation method of moving picture |
| US5742710A (en) * | 1994-02-23 | 1998-04-21 | Rca Thomson Licensing Corporation | Computationally-efficient method for estimating image motion |
| JPH10304371A (en) * | 1997-04-25 | 1998-11-13 | Sharp Corp | Moving vector detecting device |
| KR100213021B1 (en) * | 1994-11-29 | 1999-08-02 | 윤종용 | Repeated motion estimation and compensation method |
| KR19990086890A (en) * | 1998-05-30 | 1999-12-15 | 김영환 | Motion estimation method |
| KR100335606B1 (en) * | 1996-07-25 | 2002-10-25 | 삼성전자 주식회사 | Image encoder and/or decoder using recursive motion prediction/compensation |
-
1998
- 1998-12-30 KR KR1019980061235A patent/KR20000044735A/en not_active Application Discontinuation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5742710A (en) * | 1994-02-23 | 1998-04-21 | Rca Thomson Licensing Corporation | Computationally-efficient method for estimating image motion |
| KR100213021B1 (en) * | 1994-11-29 | 1999-08-02 | 윤종용 | Repeated motion estimation and compensation method |
| KR970057964A (en) * | 1995-12-28 | 1997-07-31 | 구자홍 | Motion estimation method of moving picture |
| KR100335606B1 (en) * | 1996-07-25 | 2002-10-25 | 삼성전자 주식회사 | Image encoder and/or decoder using recursive motion prediction/compensation |
| JPH10304371A (en) * | 1997-04-25 | 1998-11-13 | Sharp Corp | Moving vector detecting device |
| KR19990086890A (en) * | 1998-05-30 | 1999-12-15 | 김영환 | Motion estimation method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100460950B1 (en) * | 2001-12-18 | 2004-12-09 | 삼성전자주식회사 | Transcoder and transcoding method |
| US9398249B2 (en) | 2012-06-28 | 2016-07-19 | Samsung Electronics Co., Ltd. | Motion estimation system and method, display controller, and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR0171118B1 (en) | Apparatus for encoding video signal | |
| KR0171146B1 (en) | Feature point based motion vectors detecting apparatus | |
| KR0171154B1 (en) | Method and apparatus for encoding video signals using feature point based motion prediction | |
| US5617144A (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| US5619281A (en) | Method and apparatus for detecting motion vectors in a frame decimating video encoder | |
| US5453801A (en) | Method and apparatus for detecting motion vectors in a frame decimating video encoder | |
| EP0721284B1 (en) | An image processing system using pixel-by-pixel motion estimation and frame decimation | |
| US5638129A (en) | Image processing apparatus using a pixel-by-pixel motion estimation based on feature points | |
| US5614954A (en) | Motion compensation apparatus for use in an image encoding system | |
| US5838391A (en) | Method and apparatus for detecting optimum motion vectors | |
| KR0178229B1 (en) | Image processing system using a pixel-by-pixel motion estimation based on feature points | |
| JP3681784B2 (en) | Video signal encoding device | |
| KR0178230B1 (en) | Image processing system using a feature point-based motion estimation | |
| KR20000044735A (en) | Motion estimator | |
| KR0181068B1 (en) | Motion estimation apparatus | |
| KR100209418B1 (en) | Optimum moving vector detecting method and apparatus | |
| KR0174455B1 (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| KR100213274B1 (en) | Three step searching method of image processor | |
| KR0159374B1 (en) | Apparatus for encoding a video signal using a search grid | |
| KR970010096B1 (en) | Two layer motion estimation apparatus and method for image data compression | |
| KR100207397B1 (en) | Method and apparatus for estimating motion of image in image encoder | |
| KR100207399B1 (en) | Motion estimation apparatus | |
| KR0174462B1 (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| KR100213276B1 (en) | Three step searching circuit of image processor | |
| KR0174463B1 (en) | Method and apparatus for detecting motion vectors in a frame decimating video encoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |