KR20070035405A - Methods for adaptive noise reduction based on global motion estimation and video processing system therefore - Google Patents
Methods for adaptive noise reduction based on global motion estimation and video processing system therefore Download PDFInfo
- Publication number
- KR20070035405A KR20070035405A KR1020060028421A KR20060028421A KR20070035405A KR 20070035405 A KR20070035405 A KR 20070035405A KR 1020060028421 A KR1020060028421 A KR 1020060028421A KR 20060028421 A KR20060028421 A KR 20060028421A KR 20070035405 A KR20070035405 A KR 20070035405A
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- motion vector
- global motion
- frame
- global
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000003044 adaptive effect Effects 0.000 title 1
- 239000013598 vector Substances 0.000 claims abstract description 67
- 230000002123 temporal effect Effects 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 230000002238 attenuated effect Effects 0.000 claims abstract description 18
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
Abstract
본 발명은 전역 움직임을 추정하고 시간 필터링(temporal filtering)의 전체적인 이득을 조정하는 개선된 시간 잡음 감쇄 방법과 시스템(temporal noise reduction method and system)에 관한 것이다. 시간 잡음 감쇄 기법은 현재 잡음이 섞인 입력 영상 프레임과 메모리에 저장되어 있는 이전의 필터링된 영상 프레임, 두개의 영상 프레임에 적용된다. 이러한 방법에 있어서 우선 잡음의 분산/표준편차를 추정하기 위하여 잡음 추정이 먼저 이루어진다. 그런 다음, 잡음이 섞인 현재 입력 영상 프레임의 픽셀들과 이전의 잡음 감쇄된 영상 프레임의 대응하는 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터들을 얻기 위해 움직임 추정이 적용된다. 상기 움직임 벡터를 통해 영상 시퀀스의 카메라 움직임을 추정하기 위해 전역 움직임 추정(global motion estimation)이 이루어진다. 신뢰할 수 있는 전역 움직임 추정이 이루어지면, 추정된 잡음 레벨의 조정을 통해 시간 필터링의 전체 이득이 감소된다. 따라서 움직임 번짐(motion blur)은 방지된다. The present invention relates to an improved temporal noise reduction method and system for estimating global motion and adjusting the overall gain of temporal filtering. The temporal noise attenuation technique is applied to two video frames, the input video frame currently mixed with noise and the previous filtered video frame stored in memory. In this method, noise estimation is first performed to estimate variance / standard deviation of noise. Then, motion estimation is applied to obtain motion vectors that represent the relative motion between the pixels of the noisy current input picture frame and the corresponding pixels of the previous noise attenuated picture frame. Global motion estimation is performed to estimate the camera motion of the image sequence through the motion vector. When reliable global motion estimation is made, the overall gain of temporal filtering is reduced by adjusting the estimated noise level. Therefore, motion blur is prevented.
전역 움직임, 잡음 감쇄, 움직임 벡터, 움직임 추정, 잡음 감쇄 Global motion, noise reduction, motion vector, motion estimation, noise reduction
Description
도 1은 전역 움직임 추정(global motion estimation)에 근거한 시간 잡음 감쇄 방법(method of temporal noise reduction)의 일 실시예를 도시하는 플로우차트.1 is a flowchart illustrating one embodiment of a method of temporal noise reduction based on global motion estimation.
도 2는 전역 움직임 추정에 근거한 시간 잡음 감쇄 시스템의 일 실시예의 기능 블록 다이어 그램.2 is a functional block diagram of one embodiment of a time noise attenuation system based on global motion estimation.
도 3(a)-(d)는 본 발명의 잡음 레벨 조정 파라미터(noise level adjustment parameters) 계산의 예들.3 (a)-(d) are examples of calculations of noise level adjustment parameters of the present invention.
본 발명은 일반적으로는 영상 처리, 그리고 보다 더 상세히는 영상 시퀀스(video sequence)의 잡음 감쇄(noise reduction)에 관한 발명이다. The present invention generally relates to image processing and, more particularly, to noise reduction of video sequences.
텔레비젼 수상기와 같은 많은 영상 디스플레이 시스템(video display system)에서, 잡음 감쇄에 의한 영상 개선(video enhancement)은 영상 디스플레이 에서 필수적인 무잡음 영상 시퀀스(noise-free video sequence)를 얻기 위해 실행된다. 다양한 잡음 감쇄 방법이 개발되었으나, 그러한 방법들은 프레임에 불필요한 아티팩트(artifacts)를 도입하기 때문에 매우 소수만이 실제 제품에서 사용된다. 대부분의 기존 잡음 감쇄 방법은 공간(2차원) 잡음 감쇄(spatial noise reduction), 시간 잡음 감쇄(temporal noise reduction), 그리고 3차원(3D) 잡음 감쇄 (즉, 2차원과 시간 잡음 감쇄의 조합) 3개의 범주로 구분될 수 있다. In many video display systems, such as television receivers, video enhancement by noise attenuation is performed to obtain a noise-free video sequence that is essential in video display. Various noise reduction methods have been developed, but very few are used in real products because they introduce unnecessary artifacts into the frame. Most existing noise reduction methods use spatial (two-dimensional) noise reduction, temporal noise reduction, and three-dimensional (3D) noise reduction (ie, a combination of two-dimensional and temporal noise reduction). Can be divided into four categories.
공간 잡음 감쇄는 현재 영상 프레임의 모든 픽셀을 작은 로컬 윈도우(a small local window)으로 나누어 필터링하는 것이다. 그러한 필터는 보통 커넬(kernel)에 근거한 컨벌루션(convolution) 필터로 취급된다. 이러한 필터의 예로 민(mean) 필터, 가우시안(gaussian) 필터, 미디언(median) 필터 그리고, 시그마(sigma) 필터가 있다. 민(mean) 필터는 영상을 부드럽게 하고 잡음을 감쇄시키는데 있어서 가장 간단하고 직관적인 방법으로, 작은 공간창의 평균값이 여과된 결과로 계산된다. 일반적으로, 간단한 구현을 위해 3X3 정방형 커넬(kernel)이 사용된다. 그러나, 민(mean) 필터는 심각한 영상의 번짐을 발생시킨다.Spatial noise reduction is filtering by dividing every pixel of the current image frame into a small local window. Such filters are usually treated as convolution filters based on kernels. Examples of such filters are a mean filter, a Gaussian filter, a median filter, and a sigma filter. The mean filter is the simplest and most intuitive way to soften the image and reduce the noise. The mean value of the small space window is calculated as the filtered result. In general, a 3X3 square kernel is used for a simple implementation. However, the mean filter causes severe image bleeding.
가우시안 필터링(Gaussian filtering)은 잡음을 제거하기 위해 "종형(bell-shaped)" 커넬을 사용한다. 가우시안 필터링은 작은 공간창 내의 픽셀의 가중 평균 실행을 의미한다. 그러나, 가우시안 필터링도 번짐현상을 야기한다.(번짐의 심각도는 가우시안(Gaussian) 분포의 표준편차를 조절하여 제어할 수 있다.)Gaussian filtering uses a "bell-shaped" kernel to remove noise. Gaussian filtering means weighted averaged execution of pixels within a small space window. However, Gaussian filtering also causes bleeding (the severity of the bleeding can be controlled by adjusting the standard deviation of the Gaussian distribution).
미디언 필터링(Median filtering)은 비선형적인 방법이다. 그것은 작은 공간창내의 픽셀들을 나열하고, 필터링된 결과로서 이들의 중앙값을 취한다. 미디 언(Median) 필터는 새로운 비현실적인 픽셀값을 발생시키지 아니하고 선명한 경계를 유지한다. 또한, 고르지 못한(aliasing) 픽셀의 값은 필터링된 결과에 영향을 미치지 않을 것이다. 그러나, 입력 픽셀의 개수가 증가함에 따라, 픽셀을 정열하는데 필요한 계산에 소모되는 비용이 실제적인 구현을 하기에는 너무 비싸진다.Median filtering is a nonlinear method. It lists the pixels in a small space window and takes their median as the filtered result. Median filters do not generate new unrealistic pixel values and maintain sharp boundaries. Also, the value of aliasing pixels will not affect the filtered result. However, as the number of input pixels increases, the cost of computation required to align the pixels becomes too expensive for a practical implementation.
그러한 문제를 해결하기 위해, 몇몇의 에지-오리엔티드 공간 필터링 알고리즘(edge-oriented spatial filtering algorithms)이 개발되어왔다. 그러나, 이러한 알고리즘(algorithms)은 고가의 장비를 요구하고, 특히 잡음이 섞인 영상에서 경계탐지(edge-detection)가 실패하였을 경우, 아티팩트(artifacts)를 야기한다. 다른 알고리즘은 영상을 주파수 축에서 변환하여 고주파 성분을 감쇄시킨다. 영상의 세밀한 부분 또한 고주파 성분이기 때문에, 그러한 방법 또한 화면을 번지게 한다. To solve such a problem, several edge-oriented spatial filtering algorithms have been developed. However, these algorithms require expensive equipment and cause artifacts, especially when edge-detection fails in a noisy image. Another algorithm transforms the image on the frequency axis to attenuate high frequency components. Since the details of the image are also high frequency components, such methods also blur the screen.
시간 잡음 감쇄는 먼저 현재 영상 프레임과 그것들의 이웃하는 프레임 사이의 움직임 정보를 검사한다. 픽셀들을 움직임 영역과 비움직임 영역으로 구분한다. 비움직임 영역에서 필터는 시간축을 따라 현재 프레임과 이웃하는 프레임의 픽셀들을 적용된다. 움직임 영역에서 시간 필터는 움직임 번짐을 피하기 위해 작동하지 않는다. 일반적으로 시간 잡음 감쇄는 세밀한 부분과 경계를 유지하는데 공간 잡음 감쇄보다 좋다. 그러나 필터링의 성능이 움직임 검출의 정확성에 의존한다. 만약 움직임 검출에 실패하면 움직임의 번짐이 발생한다. 그러한 단점은 시간 잡음 감쇄의 적용을 제한한다.The temporal noise attenuation first examines the motion information between the current image frames and their neighboring frames. The pixels are divided into a motion area and an empty area. In the blank area, the filter applies pixels of the current frame and neighboring frames along the time axis. In the motion domain, the time filter does not work to avoid motion blur. In general, temporal noise attenuation is better than spatial noise attenuation, keeping the details and boundaries. However, the performance of filtering depends on the accuracy of motion detection. If the motion detection fails, motion blur occurs. Such a disadvantage limits the application of time noise attenuation.
따라서, 움직임의 번짐을 줄이기 위한 잡음 감쇄 방법과 시스템이 요구된 다. Therefore, there is a need for a method and system for noise reduction to reduce blurring of motion.
상기와 같은 문제를 해결하기 위해, 본 발명은 전역 움직임을 추정하고, 시간 필터링의 전체 이득을 조정하는 개선된 시간 잡음 감쇄 방법과 시스템(improved temporal noise reduction method and system)을 제공하는 것을 목적으로 한다.In order to solve the above problem, the present invention aims to provide an improved temporal noise reduction method and system for estimating global motion and adjusting the overall gain of temporal filtering. .
본 발명의 일 실시예에 따르면, 시간 잡음 감쇄는 잡음이 섞인 현재 입력 영상 프레임과 메모리에 저장되어 있는 이전의 필터링된 영상 프레임(previous filtered frame), 2개의 영상 프레임에 적용된다. 본 발명의 방법에서는 입력 영상 시퀀스(sequence)의 잡음 분산과 표준편차를 추정하기 위해 잡음 추정이 우선 실행된다. 그런 다음, 잡음이 섞인 현재의 프레임의 픽셀들과 이전의 잡음 감쇄된 프레임의 대응하는 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 움직임 추정이 실행된다. 상기 움직임 벡터에서 영상 시퀀스의 카메라 움직임을 추정하기 위해 전역 움직임 추정이 실행된다. 신뢰할 수 있는 전역 움직임 벡터(reliable global motion vector)가 얻어지면, 시간 필터링(temporal fitering)의 전체적인 이득은 상기 추정된 잡음 레벨을 조정하기 위해 감소하게 된다. 따라서, 움직임 번짐은 방지된다.According to one embodiment of the invention, the temporal noise attenuation is applied to the current input image frame which is noisy and the previous filtered image frame stored in the memory, two image frames. In the method of the present invention, noise estimation is first performed to estimate the noise variance and the standard deviation of the input image sequence. Then, motion estimation is performed to obtain a motion vector representing the relative motion between the pixels of the current frame that are noisy and the corresponding pixels of the previous noise attenuated frame. Global motion estimation is performed to estimate the camera motion of the image sequence in the motion vector. Once a reliable global motion vector is obtained, the overall gain of temporal fitering is reduced to adjust the estimated noise level. Thus, motion blur is prevented.
이하 본 발명의 여러 실시예, 특성 그리고 장점을 첨부된 도면에 의거하여 보다 상세히 설명하고자 한다.Hereinafter, various embodiments, features, and advantages of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 잡음이 섞인 현재 입력 영상 프레임(current input noisy video frame)과 이전의 잡음 감쇄된 프레임에 움직임 추정을 적용하는 단계(10); 상기 잡음이 섞인 현재 입력 영상 프레임의 픽셀들과 대응하는 상기 이전의 잡음 감쇄된 프레임의 픽셀들 사이에 상대적인 움직임을 나타내는 움직임 벡터를 얻는 단계(12); 영상 시퀀스의 카메라 움직임(camera motion)을 추정하기 위해 상기 움직임 벡터를 사용하여 전역 움직임 추정을 실행하는 단계(14); 움직임에 의한 번짐을 줄이기 위해 잡음 레벨(level)을 조정하는 단계(16); 그리고 잡음이 섞인 상기 현재 입력 영상 프레임과 이전의 잠음 감쇄된 프레임에, 잡음 감쇄 출력 프레임을 만들기 위해, 상기 추정된 전역 움직임을 이용해 시간 잡음 감쇄를 적용하는 단계를 포함하는 본 발명 방법 실시예의 예시 플로우차트(example flowchart)를 도시한다. 상기 단계들은 영상 시퀀스에서 다음에 들어오는 오는 프레임들에 대해 반복되어 적용된다.1 shows a
도 2는 본 발명의 실시예에 따라 상기방법을 구현한 움직임 보상 시간 잡음 감쇄 시스템(motion-compensated temporal noise reduction system)(100)을 기능 블록 다이어그램(functional block diagram)으로 도시한 예이다. 시간 잡음 감쇄 문제와 상기 본 발명의 시스템 실시예를 도 2에 체계적으로 도시하기 위해 ''를 't'시점에서의 상기 입력 영상 프레임이라 하고, 세로 좌표를 i, 가로 좌표를 j라 할 때 를 좌표 (i,j)에 대응하는 픽셀값이라 한다. 입력 영상 시퀀스에 부가적, 독립적으로 동일하게 분포하는 잡음으로서 분산 를 갖는 영(zero) 평균 가우시안(Gaussian) 잡음이 발생한다고 가정하면 상기 픽셀은 다음과 같이 표시된다. 2 is an example of a motion-compensated temporal
`, `,
여기서 는 잡음의 방해가 없는 본래의 픽셀값을 나타내고 는 가우시안 분포의 잡음 성분을 나타낸다.here Denotes the original pixel value without disturbing noise Denotes the noise component of the Gaussian distribution.
도 2에 도시된 상기 시스템(100)은 잡음 추정기(noise estimation module) (102), 움직임 추정기(motion estimation module)(104), 전역 움직임 추정기(global motion estimation module)(106), 잡음 레벨 조정기(noise level adjustment midule)(108), 메모리(memory)(110) 그리고 움직임 보상 시간 필터(motion-compensated temporal filtering module)(112)로 구성된다.The
상기 잡음 추정기(102)는 입력 영상 시퀀스 g의 잡음의 분산(variance)/표준편차(standard deviation)를 추정한다. 움직임 추정기(104)는 잡음이 섞인 현재 프레임 의 픽셀들과 이에 대응하는 잡음 감쇄된 프레임 의 픽셀들 간의 상대적인 움직임을 나타내는 움직임 벡터들을 추정한다. 상기 움직임 벡터를 통해서 상기 전역 움직임 추정기(106)는 영상 시퀀스의 카메라 움직임을 추정한다. 만약 신뢰할 수 있는 전역 움직임이 추정되면, 상기 잡음 레벨 조정기(108)는 잡음의 분산/표준편차를 조정하여, 잡음 감쇄된 프레임 를 생성하는 상기 움직임 보상 시간 필터(112)에서 잡음 감쇄가 적게 일어나도록 한다. 따라서, 더 적은 움직임 번짐이 발생하게 된다. 상기 메모리(110)은 다음에 오는 프레임을 위해 이전의 잡음 감쇄된 프레임으로서 상기 잡음 감쇄된 프레임 를 저장한다. The
상기 잡음 추정기(102)는 영상 시퀀스의 잡음 분산과 잡음 표준편차 를 추정한다. 본 명세서에 참조로서 삽입되며, 공통 양도된 미국 특허출원 번호 10/991,265 "영상 시퀀스로부터 잡음 분산을 추정하는 방법(Methods to estimate noise variance from a video sequence)"과 미국 특허출원 번호 11/100,369 "시간 잡음 추정의 신뢰도 추정(Reliability estimation of temporal noise estimation)", 미국 특허출원번호 11/187,528 "영상 시퀀스로부터 분산을 추정하는 확장된 방법(Extended method to estimate noise variance from a video sequence)" 은 이러한 잡음 추정기(102)의 예들을 제공한다. 참조문헌에 기재된 잡음 추정기(102)의 실시예에 의하면, 잡음 추정기(102)는 우선 잡음이 섞인 현재 프레임 와 이전의 잡음이 섞인 프레임의 을 비교하여 두 개의 연속적인 프레임 내 로컬 윈도우(local window) 상에서의 차이를 계산하여 이미지 구조를 제거한다. 그런 다음, 로컬 차의 분포도(distribution of local difference)로부터 잡음의 분산/표준 편차를 추정한다. 이 분야에서 통상의 기술을 가진 자는 로컬 차를 구하는 방법에 있어서 MAE(mean absolute error), MSE(mean square error), DLM(difference of local mean) 또는 다른 방법 적용과 이의 변형이 가능하다.The
상기 움직임 추정기(104)는 잡음이 섞인 현재 프레임 의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임 의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 추정한다. 움직임 추정 방법과 관련하여 제한이 없다. 상기 움직임 추정의 하나의 예로서, 프레임 내의 정해진 검색 범위(search area)의 모든 로케이션(location)을 검색하고, 매칭 레지듀얼 에러(matching residual error)가 최소화되는 위치를 선택하는 풀서치 블록 매칭 알고리즘(full search block matching algorithm)이 있다. 이 분야에서 통상의 기술을 가진 자에게 알려진 바와 같이 세단계 서칭(three step searching), 다이아몬드 서칭(diamond searching), 계층적/다분해 움직임 추정(hierarchical/multi-resolution motion estimation), 오브젝트 베이스 움직임 추정(object-based motion estimation) 등과 같은 다른 움직임 추정 방법이 사용될 수도 있다.The
상기 전역 움직임 추정기(global motion estimation module)(106)는 먼저 상기 움직임 추정기(104)에서 추정된 움직임 벡터의 히스토그램(histogram)을 계산한다. 상기 히스토그램에서 가장 많이 세어진 움직임 벡터가 전역 움직임 벡터로 선택된다. 상기 전역 움직임 벡터를 라 하고, 선택된 전역 움직임벡터의 카운트(count) 값을 라고 하자. 이 모든 움직임벡터의 세어진 횟수라고 할 때, 파라미터(parameter) 는 로 계산된다. 파라미터 가 클수록, 더 많은 블록들/픽셀들이 전역 움직임을 따르고, 상기 전역 움직임 벡터 는 더 신뢰할 수 있게 된다. 그런 다음 상기 전역 움직임 벡터 와 상기 파라미터 는 전역 움직임 추정기(106)에 의해 잡음 레벨 조정기(noise level adjustment module)(108)로 전달된다.The global
상기 잡음 레벨 조정기(108)는 우선 상기 전역 움직임 벡터 를 검사한다. 만약 전역 움직임 벡터 가 영(zero)이라면, 카메라의 움직임이 없는 것을 나타내고 잡음 레벨 조정기(108)는 아무런 조정도 실행하지 않는다. 만약 상기 전역 움직임 벡터 가 영(zero)이 아니라면 추정된 잡음의 표준 편차 는 로 조정된다.The
도 3 (a) - (d)는 조정 파라미터(adjustment parameter) 의 예를 도시한다. 과 를 을 만족하는 두 임계치라고 한다. 만약 이면 검출된 카메라의 움직임은 신뢰할 수 없는 것이고, 화면에 전역 움직임(gloabal motion)은 없는 것으로 추정된다. 따라서 가 1.0으로 설정되고, 아무런 조정도 실행되지 않는다. 만약 이면 검출된 카메라 움직임은 매우 신뢰할 수 있는 것이고, 는 을 만족하는 상수 로 설정된다. 만약 이면, 는 도 3(a)에 도시된 바와 같이 에 대하여 선형적인(linearly) 값을 가질 수 있고, 도 3 (b)-(d)에 도시된 바와 같이 비선형적으로 보간된(non-linearly interpolated) 값을 가질 수도 있다. 에 따라 단순 감소하기만 한다면 (monotonically decreasing) 가 보간되는 방법에 대한 제한은 없다.3 (a)-(d) show an adjustment parameter Shows an example. and To Are called two thresholds. if It is assumed that the detected camera movement is unreliable, and there is no global motion on the screen. therefore Is set to 1.0, and no adjustment is made. if The camera movement detected is very reliable Is Constant that satisfies Is set to. if If, As shown in Fig. 3 (a) It may have a linear value with respect to and may have a non-linearly interpolated value as shown in FIGS. 3 (b)-(d). Monotonically decreasing There is no restriction on how it is interpolated.
상기 잡음 레벨 조정기(108)에 의해 결정된 조정된 잡음 레벨(즉, 조정된 추정 잡음의 표준편차 )은 움직임 보상 시간 필터(motion-compensated temporal filtering module)(112)에 공급된다. 조정된 잡음 레벨 에 근거하여, 움직임 보상 시간 필터(112)는 잡음 감쇄된 프레임 를 얻기 위해 현재 프레임 와 이전의 필터링 된 프레임 에 움직임 보상 시간 필터링을 수행한다. 본 명세서에 참조로서 삽입되며, 공통 양도된 미국 특허출원 출원번호 11/106,998 "움직임 보상 시간 잡음 감쇄 방법(A method of motion compensated temporal noise reduction"과 2004년 미국 특허출원 출원번호 11/025,173 "비디오 시퀀스에서의 시간 잡음 감쇄 방법(A method of temporal noise reduction in video sequence)"은 이러한 움직임 보상 시간 필터(112)의 예들을 제공한다. 참조문헌에 기재된 움직임 보상 시간 필터(112)의 실시예에 따르면, 움직임 보상 시간 필터(112)는 로 표시되는 현재의 잡음이 있는 프레임 및 로 표시되는 메모리에서 읽혀지는 이전의 필터된 프레임 상에 시간축을 따라 필터링하는데, 이때 움직임 벡터를 이용하여, 비-움직임 영역에 있는 픽셀들은 시간축을 따라 필터링되는 반면, 움직임 영역에 있는 픽셀들은 필터링되지 않는다. 또한, 또다른 실시예에 따르면, 비-움직임 영역에서의 고품질의 필터링된 프레임과 움직임 영역에서의 필터링을 스위치 오프(switching off)함으로써 야기되는 필터링되지 않는 프레임과의 비대칭성을 해결하고자, 잡음이 섞인 현재 프레임의 픽셀들과 이전의 잡음 감쇠된 프레임에 있어서 대응하는 픽셀들의 가중치 평균을 계산함으로써 움직임 보상 시간 필터링을 할 수 있다. 상기 기재한 잡음 감쇄를 잡음-적응성(noise-adaptive)이라 한다. 만약 검출된 잡음 레벨이 더 높으면, 더 많은 잡음 감쇄가 수행된다. 만약 상기 전역 움직임 벡터가 신뢰할 수 있는 것으로 추정되고, 잡음 레벨이 잡음 레벨 조정기(108)에서 감소된다면, 더 적은 잡음 감쇄가 움직임 번짐을 방지하기 위해 수행될 것이다. Adjusted noise level determined by the noise level adjuster 108 (i.e., standard deviation of the estimated estimated noise) Is supplied to a motion-compensated
이 분야에서 통상의 기술을 가진 자는 본 발명이 프로그레시브와 인터레이스 영상(progressive and interlaced videos) 모두에 사용될 수 있다는 것을 알 수 있다. 인터레이스 영상의 홀수와 짝수 영역은 두개의 별개 프로그레시브 영상 시퀀스(progressive video sequence)로 처리될 수 있다; 또는 두개의 영역이 처리되기 전에 하나의 프레임으로 병합(merged into a single frame)될 수 있다.One of ordinary skill in the art will appreciate that the present invention can be used for both progressive and interlaced videos. Odd and even regions of an interlaced image can be processed into two separate progressive video sequences; Alternatively, two regions may be merged into a single frame before being processed.
이상 도면과 명세서에 최적 실시예들이 개시되었다.; 그러나 다른 실시예들도 가능하며, 청구된 발명의 사상이나 범위는 상기 기재한 최적 실시예의 상세한 설명에 한정되어서는 안 된다.The best embodiments have been disclosed in the drawings and specification above; However, other embodiments are possible, and the spirit or scope of the claimed invention should not be limited to the details of the optimal embodiments described above.
일 실시예에 있어서, 본 발명은 전역 움직임을 추정하고, 시간 필터링의 전 체 이득을 조정하여 개선된 시간 잡음 감쇄 방법과 시스템을 제공한다.In one embodiment, the present invention provides an improved time noise reduction method and system by estimating global motion and adjusting the overall gain of time filtering.
본 발명의 일 실시예에 있어서 시간 잡음 감쇄는 잡음이 섞인 현재 프레임과 메모리에 저장되어 있는 이전의 필터링된 프레임, 두개의 영상 프레임들에 적용된다. 이 방법에서는 우선 입력 영상 시퀀스의 잡음 분산/표준편차를 추정하기 위하여 잡음 추정이 실행된다. 그 다음, 잡음이 섞인 현재 프레임의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 움직임 추정이 적용된다. 상기 움직임 벡터로부터 영상 시퀀스의 카메라 움직임을 추정하기 위하여 전역 움직임 추정이 적용된다. 신뢰할 수 있는 전역 움직임이 얻어지면, 시간 필터링의 전체 이득은 추정된 잡음 레벨을 감소시키기 위해 조정된다. 움직임 번짐은 이와 같은 방법으로 방지된다.In one embodiment of the present invention, temporal noise attenuation is applied to two image frames: the current frame with noise and the previous filtered frame stored in memory. In this method, noise estimation is first performed to estimate the noise variance / standard deviation of the input image sequence. Then, motion estimation is applied to obtain a motion vector that represents the relative motion between the pixels of the noisy current frame and the corresponding pixels of the previous noise attenuated frame. Global motion estimation is applied to estimate the camera motion of the image sequence from the motion vector. Once a reliable global motion is obtained, the overall gain of temporal filtering is adjusted to reduce the estimated noise level. Movement blur is prevented in this way.
Claims (25)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060028421A KR100772405B1 (en) | 2005-09-27 | 2006-03-29 | Methods for adaptive noise reduction based on global motion estimation and video processing system therefore |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/236,936 | 2005-09-27 | ||
KR1020060028421A KR100772405B1 (en) | 2005-09-27 | 2006-03-29 | Methods for adaptive noise reduction based on global motion estimation and video processing system therefore |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070035405A true KR20070035405A (en) | 2007-03-30 |
KR100772405B1 KR100772405B1 (en) | 2007-11-01 |
Family
ID=41637243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060028421A KR100772405B1 (en) | 2005-09-27 | 2006-03-29 | Methods for adaptive noise reduction based on global motion estimation and video processing system therefore |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100772405B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9414091B2 (en) | 2008-08-01 | 2016-08-09 | Qualcomm Incorporated | Video encoder with an integrated temporal filter |
KR20180068910A (en) * | 2018-06-08 | 2018-06-22 | 한국전자통신연구원 | Method and Apparatus for effective motion vector decision for motion estimation |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7110455B2 (en) * | 2001-08-14 | 2006-09-19 | General Instrument Corporation | Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering |
KR100436593B1 (en) * | 2001-09-18 | 2004-06-18 | 주식회사 아이캔텍 | Global motion compensation apparatus and method for detecting a motion of an object |
JP2004120603A (en) | 2002-09-27 | 2004-04-15 | Fuji Photo Film Co Ltd | Image processing method, apparatus and program thereof |
-
2006
- 2006-03-29 KR KR1020060028421A patent/KR100772405B1/en not_active IP Right Cessation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9414091B2 (en) | 2008-08-01 | 2016-08-09 | Qualcomm Incorporated | Video encoder with an integrated temporal filter |
KR20180068910A (en) * | 2018-06-08 | 2018-06-22 | 한국전자통신연구원 | Method and Apparatus for effective motion vector decision for motion estimation |
Also Published As
Publication number | Publication date |
---|---|
KR100772405B1 (en) | 2007-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7570309B2 (en) | Methods for adaptive noise reduction based on global motion estimation | |
KR100727998B1 (en) | A method of motion compensated temporal noise reduction and system therefore | |
US6999634B2 (en) | Spatio-temporal joint filter for noise reduction | |
EP1681849B1 (en) | Apparatus for removing noise from a video signal | |
Kim et al. | Spatio-temporal adaptive 3-D Kalman filter for video | |
US8204337B2 (en) | Image processing system and method for noise reduction | |
CN109743473A (en) | Video image 3 D noise-reduction method, computer installation and computer readable storage medium | |
KR20060076176A (en) | A method of temporal noise reduction in video sequence ans system therefore | |
KR100739753B1 (en) | Method and apparatus of bidirectional temporal noise reduction | |
KR100672328B1 (en) | Apparatus for estimation noise level of video signal | |
US20170105022A1 (en) | Apparatus and method for video data processing | |
US8406305B2 (en) | Method and system for creating an interpolated image using up-conversion vector with uncovering-covering detection | |
Reeja et al. | Real time video denoising | |
KR101984173B1 (en) | Method and Apparatus for Noise Reduction | |
WO2010007777A1 (en) | Image processing device, image processing method, program, recording medium, and integrated circuit | |
US8090210B2 (en) | Recursive 3D super precision method for smoothly changing area | |
JP2005150903A (en) | Image processing apparatus, noise elimination method, and noise elimination program | |
KR100772405B1 (en) | Methods for adaptive noise reduction based on global motion estimation and video processing system therefore | |
KR100772380B1 (en) | An extended method of noise-adaptive motion detection | |
Lagendijk et al. | Video enhancement and restoration | |
Woods et al. | Motion compensated spatiotemporal Kalman filter | |
Tenze et al. | Design and real-time implementation of a low-cost noise reduction system for video applications | |
KR100821939B1 (en) | Apparatus and method for image noise reduction | |
KR100754219B1 (en) | An extended method and system to estimate noise variancestandard deviation from a video sequence | |
KR100774189B1 (en) | apparatus for removing image noise |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120927 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20130927 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140929 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150925 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160929 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |