Nothing Special   »   [go: up one dir, main page]

KR101839617B1 - 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 - Google Patents

멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 Download PDF

Info

Publication number
KR101839617B1
KR101839617B1 KR1020110068511A KR20110068511A KR101839617B1 KR 101839617 B1 KR101839617 B1 KR 101839617B1 KR 1020110068511 A KR1020110068511 A KR 1020110068511A KR 20110068511 A KR20110068511 A KR 20110068511A KR 101839617 B1 KR101839617 B1 KR 101839617B1
Authority
KR
South Korea
Prior art keywords
motion blur
uniform motion
image
blur information
estimating
Prior art date
Application number
KR1020110068511A
Other languages
English (en)
Other versions
KR20130007889A (ko
Inventor
조정욱
이승용
조성현
이시화
문영수
조호진
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020110068511A priority Critical patent/KR101839617B1/ko
Priority to US13/415,285 priority patent/US20130016239A1/en
Publication of KR20130007889A publication Critical patent/KR20130007889A/ko
Application granted granted Critical
Publication of KR101839617B1 publication Critical patent/KR101839617B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치가 개시된다. 비균일 모션 블러 제거 방법 및 장치는 비균일 모션 블러를 포함하는 멀티프레임을 이용하여 비균일 모션 블러 정보를 추정하고, 추정된 비균일 모션 블러 정보 및 멀티프레임을 이용하여 비균일 모션 블러를 제거한다. 또한 비균일 모션 블러 제거 방법 및 장치는 멀티프레임을 이용한 비균일 모션 블러 정보의 추정 및 비균일 모션 블러 제거 과정을 반복함으로써 보다 정확한 비균일 모션 블러 정보를 획득할 수 있다.

Description

멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치{METHOD AND APPARATUS FOR REMOVING NON-UNIFORM MOTION BLUR USING MULTIFRAME}
본 발명의 실시예들은 영상 처리 방법에 관한 것으로, 더욱 상세하게는 영상의 블러 현상을 제거하는 방법 및 장치에 관한 것이다.
블러(blur) 현상은 영상 획득 장치를 이용하여 영상을 획득하는 과정에서 흔히 발생할 수 있는 현상으로 영상의 품질을 저하시키는 주요한 원인 중 하나이다.
어두운 실내나 저녁 무렵의 야외와 같이 광량이 부족한 환경에서 카메라 등의 장치를 이용하여 영상을 획득하는 경우, 선명한 영상을 얻기 위해서는 충분한 광량이 필요하다. 따라서 영상 센서는 오랜 시간 동안 빛에 노출되어야 한다. 그러나, 노출 시간이 길어지면 영상 센서의 흔들림으로 인해 획득된 영상에 블러가 발생할 수 있다.
영상 전체가 카메라의 평행 이동에 의해 발생되는 균일 모션 블러를 가지는 경우에 대한 디블러링(debluring) 기법을 이용하여 영상을 보정하는 방법이 존재한다. 하지만 일반적으로, 영상의 각 픽셀들은 카메라의 병진 움직임(translational motion)뿐만 아니라 회전 움직임(rotational motion)에 의해 서로 다른 방향 및 크기의 블러(즉, 비균일 모션 블러)를 포함한다.
본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 방법은 비균일 모션 블러를 포함하는 멀티프레임을 수신하는 단계; 상기 멀티프레임을 이용하여 비균일 모션 블러 정보를 추정하는 단계; 및 상기 추정된 비균일 모션 블러 정보에 기초하여 상기 멀티프레임으로부터 비균일 모션 블러를 제거하여 레이턴트 영상을 획득하는 단계를 포함한다.
상기 멀티프레임은 제1 영상 및 제2 영상을 포함하고, 상기 비균일 모션 블러 정보를 추정하는 단계는 상기 제1 영상을 기초로 상기 제2 영상의 비균일 모션 블러 정보를 추정하고 상기 제2 영상을 기초로 상기 제1 영상의 비균일 모션 블러 정보를 추정하는 단계를 포함할 수 있다.
상기 비균일 모션 블러 정보를 추정하는 단계는 상기 멀티프레임의 각 영상에 대한 호모그라피(Homography)를 추정하는 단계; 및 상기 추정된 호모그라피를 이용하여 상기 호모그라피에 대한 가중치를 계산하는 단계를 포함할 수 있다.
상기 호모그라피를 추정하는 단계는 루카스-카나데(Lucas-Kanade) 영상 정합을 이용하여 상기 호모그라피를 추정하는 단계를 포함할 수 있다.
상기 호모그라피를 추정하는 단계 및 상기 가중치를 계산하는 단계는 미리 정해진 횟수만큼 반복적으로 수행될 수 있다.
상기 비균일 모션 블러 정보를 추정하는 단계 및 상기 레이턴트 영상을 획득하는 단계는 미리 정해진 기준에 따라 반복적으로 수행되고, 상기 비균일 모션 블러 정보를 추정하는 단계는 이전의 이터레이션(iterarion)에서 획득된 레이턴트 영상을 이용하여 비균일 모션 블러 정보를 업데이트하는 단계를 포함할 수 있다.
상기 멀티프레임을 이용한 비균일 모션 블러 제거 방법은 상기 반복에 의해 획득되는 최종 비균일 모션 블러 정보를 이용하여 상기 멀티프레임으로부터 최종 복원 영상을 획득하는 단계를 더 포함할 수 있다.
상기 비균일 모션 블러 정보를 추정하는 단계는 카메라 인트린식 파라미터(intrinsic parameter)를 이용한 카메라 회전 및 이동 모션, 또는 유클리드 변환 중 적어도 하나를 이용하여 비균일 모션 블러 정보를 추정하는 단계를 포함할 수 있다.
상기 비균일 모션 블러 정보를 추정하는 단계는 상기 멀티프레임의 각 영상의 일부 영역에 대해 비균일 모션 블러 정보를 추정하는 단계를 포함하고, 상기 레이턴트 영상을 획득하는 단계는 상기 일부 영역에 대한 비균일 모션 블러 정보를 기초로 레이턴트 영상을 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치는 비균일 모션 블러를 포함하는 멀티프레임을 수신하는 수신부; 상기 멀티프레임을 이용하여 비균일 모션 블러 정보를 추정하는 비균일 모션 블러 정보 추정부; 및 상기 추정된 비균일 모션 블러 정보에 기초하여 상기 멀티프레임으로부터 비균일 모션 블러를 제거하여 레이턴트 영상을 획득하는 레이턴트 영상 획득부를 포함한다.
상기 멀티프레임은 제1 영상 및 제2 영상을 포함하고, 상기 비균일 모션 블러 정보 추정부는 상기 제1 영상을 기초로 상기 제2 영상의 비균일 모션 블러 정보를 추정하고 상기 제2 영상을 기초로 상기 제1 영상의 비균일 모션 블러 정보를 추정할 수 있다.
상기 비균일 모션 블러 정보 추정부는 상기 멀티프레임의 각 영상에 대한 호모그라피를 추정하고, 상기 추정된 호모그라피를 이용하여 상기 호모그라피에 대한 가중치를 계산할 수 있다.
상기 비균일 모션 블러 정보 추정부는 루카스-카나데(Lucas-Kanade) 영상 정합을 이용하여 상기 호모그라피를 추정할 수 있다.
상기 비균일 모션 블러 정보 추정부는 상기 호모그라피의 추정 및 상기 가중치의 계산을 미리 정해진 횟수만큼 반복적으로 수행하여 상기 비균일 모션 블러 정보를 추정할 수 있다.
상기 레이턴트 영상 획득부는 상기 획득된 레이턴트 영상을 상기 비균일 모션 블러 정보 추정부로 피드백하고, 상기 비균일 모션 블러 정보 추정부는 상기 피드백된 레이턴트 영상을 이용하여 상기 비균일 모션 블러 정보를 업데이트할 수 있다.
상기 멀티 프레임을 이용한 비균일 모션 블러 제거 장치는 상기 업데이트된 비균일 모션 블러 정보를 이용하여 상기 멀티프레임으로부터 최종 복원 영상을 획득하는 최종 복원 영상을 획득부를 더 포함할 수 있다.
상기 비균일 모션 블러 정보 추정부는 카메라 인트린식 파라미터를 이용한 카메라 회전 및 이동 모션, 또는 유클리드 변환 중 적어도 하나를 이용하여 비균일 모션 블러 정보를 추정할 수 있다.
상기 비균일 모션 블러 정보 추정부는 상기 멀티프레임의 각 영상의 일부 영역에 대해 비균일 모션 블러 정보를 추정하고, 상기 레이턴트 영상 획득부는 상기 일부 영역에 대한 비균일 모션 블러 정보를 기초로 레이턴트 영상을 획득할 수 있다.
본 발명의 일 실시예에 따른 비균일 모션 블러 제거 방법은 비균일 모션 블러를 포함하는 멀티프레임을 이용하여 비균일 모션 블러 정보를 추정하고, 추정된 비균일 모션 블러 정보 및 멀티프레임을 이용하여 비균일 모션 블러를 제거함으로써, 선명한 영상을 복원할 수 있다.
본 발명의 일 실시예에 따른 비균일 모션 블러 제거 방법은 멀티프레임을 이용한 비균일 모션 블러 정보의 추정 및 비균일 모션 블러 제거 과정을 반복함으로써 보다 정확한 비균일 모션 블러 정보를 획득할 수 있다.
본 발명의 일 실시예에 따른 비균일 모션 블러 제거 방법은 호모그라피(Homography), 유클리드 변환(Euclidean transform) 또는 카메라의 이동 및 회전 변환(translational and rotational transform of camera) 등 다양한 비균일 모션 블러 표현 방법을 이용함으로써, 비균일 모션 블러의 추정 속도를 향상할 수 있다.
본 발명의 일 실시예에 따른 비균일 모션 블러 제거 방법은 멀티프레임 영상의 국부 영역을 이용하여 비균일 모션 블러 정보를 추정하고, 추정된 비균일 모션 블러 정보를 이용하여 원래 해상도의 멀티프레임의 블러를 제거함으로써, 큰 해상도를 갖는 영상의 블러를 제거하는 속도를 향상할 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 비균일 모션 블러 정보 추정 과정을 나타낸 플로우차트이다.
도 3은 본 발명의 일 실시예에 따라 해상도를 높여가면서 카메라의 회전 움직임(rotational motion)을 추정한 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예를 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
일반적으로 모션 블러는 [수학식 1]과 같이 표현될 수 있다.
Figure 112011053034540-pat00001
[수학식 1]에서 B는 블러가 포함된 영상(blurred image)을 의미하고, K는 영상의 블러 정보를 나타내는 모션 블러 커널(blur kernel) 또는 점 확산 함수(Point Spread Function; PSF)를 의미한다. 또한, L은 레이턴트 영상(latent image), 즉 블러가 없는 선명한 영상을 의미한다. 그리고 N은 영상 획득 과정에서 발생된 잡음을 나타내고, *는 컨볼루션 연산자(convolution operator)를 의미한다.
[수학식 1]은 [수학식 2]와 같은 벡터 형태로 표현될 수 있다.
Figure 112011053034540-pat00002
[수학식 2]에서 b, l 및 n은 각각 [수학식 1]의 B, L 및 N의 벡터 표현을 나타낸다. 여기서, Ti는 시점 ti에서 카메라의 병진 움직임(translational motion)을 나타내는 행렬이고, wi는 시점 ti에서 카메라가 멈추어 있는 시간의 상대적인 길이(즉, 시점 ti에서 카메라의 노출 시간)를 의미한다. 단,
Figure 112011053034540-pat00003
이다.
[수학식 2]는 블러 영상(b)이 카메라가 움직인 경로상의 각 지점(Ti)에서의 선명한 영상(l)의 합으로 표현됨을 의미한다.
[수학식 1] 또는 [수학식 2]의 모션 블러 모델에 근거하여 선명한 영상(l)이 계산될 수 있다. 이 경우는, 선명한 영상(즉, 레이턴트 영상) 추정을 위한 모션 블러 모델이 영상의 모든 픽셀들이 균일하게 움직인 경우를 가정하고 있기 때문에 카메라의 병진 움직임 외에 회전 움직임(rotational motion)에 의해 발생하는 비균일 모션 블러를 제거하기는 어려울 수 있다.
따라서, 본 발명의 일 실시예는 [수학식 1] 및 [수학식 2]와는 다른 비균일 모션 블러를 표현할 수 있는 비균일 모션 블러 모델을 이용함으로써 비균일 모션 블러를 제거할 수 있는 방법을 제공한다.
카메라의 흔들림이 비-병진 움직임(non-translational motion)을 포함하는 경우, [수학식 2]의 Ti를 호모그라피(Homography) Pi로 치환함으로써 [수학식 3]과 같은 비균일 모션 블러 모델이 도출될 수 있다.
Figure 112011053034540-pat00004
본 발명의 일 실시예에 따른 영상의 비균일 모션 블러 제거 방법은 [수학식 3]을 기초로 블라인드 모션 디블러링(blind motion deblurring)을 수행할 수 있다. 블라인드 모션 디블러링은 입력된 영상 b를 이용하여 레이턴트 영상 l과 비균일 모션 블러 정보 (Pi, wi)를 계산할 수 있다.
본 발명의 일 실시예에 따른 영상의 비균일 모션 블러 제거 방법은 [수학식 3]을 만족하는 비균일 모션 블러 정보 (Pi, wi) 및 레이턴트 영상(l)을 구하기 위하여, 비균일 모션 블러 정보 추정 단계 및 레이턴트 영상 획득 단계를 포함한다. 이 두 단계는 반복적으로 처리(iteratively processed)될 수 있다. 본 발명의 일 실시예에 따른 영상의 비균일 모션 블러 제거 방법은 이러한 반복적 처리를 통해 비균일 모션 블러 정보를 나타내는 P 및 w의 정확도를 점진적으로 개선(refine)할 수 있다.
비균일 모션 블러가 제거된 최종 복원 영상은 최종적으로 계산된 비균일 모션 블러 정보 (Pi, wi) 및 비균일 모션 블러가 포함된 영상 b를 이용하여 획득될 수 있다. 레이턴트 영상 획득 및 비균일 모션 블러 정보 추정을 번갈아 가면서 반복적으로 수행하는 과정에서 획득되는 레이턴트 영상은 비균일 모션 블러 정보 (Pi, wi)의 추정에 영향을 미침으로써 비균일 모션 블러가 제거된 최종 복원 영상에 간접적인 영향을 미치게 된다.
본 발명의 일 실시예에 따른 영상의 비균일 모션 블러 제거 방법에서, 비균일 모션 블러 정보의 추정 단계는 영상 정합(image registration)을 이용하여 수행된다. 이 단계는 비균일 모션 블러를 표현하는 i)호모그라피(P)의 추정 단계 및 해당 호모그라피의 ii)가중치(w)의 계산 단계를 포함한다. 비균일 모션 블러 정보 추정 단계는 레이턴트 영상 l이 주어진 경우, 우선 비균일 모션 블러를 표현하는 호모그라피 P를 계산한다. 호모그라피를 계산하기 위하여, [수학식 3]을 변형하여 [수학식 4]를 얻을 수 있다.
Figure 112011053034540-pat00005
본 발명의 일 실시예에 따른 영상의 비균일 모션 블러 제거 방법은 [수학식 4]에서 하나의 호모그라피 Pi를 계산하기 위해, 좌변의
Figure 112011053034540-pat00006
와 우변의
Figure 112011053034540-pat00007
사이의 차이를 최소화하는 호모그라피 Pi를 영상 정합 방법을 이용하여 계산할 수 있다. [수학식 4]에서 각각의 호모그라피 Pi의 인덱스 i를 변경해가면서 모든 Pi를 계산함으로써 전체 호모그라피 집합 P가 획득될 수 있다.
전체 호모그라피 P가 계산된 후, 계산된 호모그라피 P를 이용하여 호모그라피의 가중치 w가 계산될 수 있다. 가중치 w를 계산하기 위해 [수학식 3]이 [수학식 5]와 같이 표현될 수 있다.
Figure 112011053034540-pat00008
여기서,
Figure 112011053034540-pat00009
이며 L은 m×n 행렬이다. 여기서, m은 영상의 픽셀의 개수이고, n은 호모그라피의 개수이다. 일반적으로 m >> n이고, [수학식 5]에서 가중치 w는 0이상의 값을 가져야 하므로, 비음수 최소제곱법(non-negative least square method)를 이용하여 가중치가 계산될 수 있다. 비음수 최소제곱법을 이용하기 위해서 [수학식 5]는 [수학식 6]의 정규방정식(normal equation) 형태로 표현될 수 있다. 그리고 [수학식 6]을 이용하여 가중치가 계산될 수 있다.
Figure 112011053034540-pat00010
[수학식 6]에서
Figure 112011053034540-pat00011
는 괄호 안의 행렬식의 역행렬이 존재하지 않는 경우를 해결하기 위한 정규화 파라미터이다. I는 단위행렬(identity matrix)이다.
즉, 본 발명의 일 실시예에 따른 영상의 비균일 모션 블러 제거 방법에서, 비균일 모션 블러 정보의 추정 단계는, [수학식 4] 및 [수학식 6]에 대한 반복적인 해결을 통해, 주어진 레이턴트 영상 l에 대응하는 최적화된 호모그라피 P 및 가중치 w를 계산한다.
본 발명의 일 실시예에 따른 영상의 비균일 모션 블러 제거 방법에서, 비균일 모션 블러 정보의 추정 단계는, 레이턴트 영상 l이 업데이트될 때마다 반복적으로 비균일 모션 블러 정보를 업데이트할 수 있다. 이러한 반복 처리를 통해 최적화된 레이턴트 영상 l 및 이에 대응하는 최종 비균일 모션 블러 정보 (P, w)가 계산될 수 있다.
본 발명의 일 실시예에 따른 영상의 비균일 모션 블러 제거 방법에서, 레이턴트 영상 획득 단계는 [수학식 7]을 해결함으로써 레이턴트 영상 l을 획득할 수 있다.
Figure 112011053034540-pat00012
[수학식 7]에서
Figure 112011053034540-pat00013
이며, λl은 Pl의 가중치이다.
Figure 112011053034540-pat00014
는 벡터의 L-
Figure 112011053034540-pat00015
놈(norm)을 의미한다.
보통의 자연 영상에서는 평탄한 영역이, 선명한 에지 영역보다 더 많은 영역을 차지하고 있기 때문에, 평탄한 영역에서의 잡음을 억제하는 것은 중요하다. 그리고 선명한 에지를 효과적으로 복원하는 것이 중요하다. 본 발명의 일 실시예는 이러한 문제를 해결하기 위하여 스파스니스 프라이어(Sparseness prior)를 이용하며 이 때의 알파 값은
Figure 112011053034540-pat00016
일 수 있다.
[수학식 7]에서의 레이턴트 영상 l은 반복적인 가중치-재계산 최소제곱법 (iterative reweighted least square method)에 의해 계산될 수 있으며, 구체적으로 [수학식 8]에서 정규화 항을 근사함으로써 계산될 수 있다.
Figure 112011053034540-pat00017
[수학식 8]에서
Figure 112011053034540-pat00018
와
Figure 112011053034540-pat00019
는 대각 행렬(diagonal matrix)로서 k번째 대각 원소가 각각
Figure 112011053034540-pat00020
와
Figure 112011053034540-pat00021
이다.
Figure 112011053034540-pat00022
와
Figure 112011053034540-pat00023
는 각각 벡터
Figure 112011053034540-pat00024
과
Figure 112011053034540-pat00025
의 k번째 원소를 의미한다. 켤레 구배법(conjugate gradient method)을 [수학식 9]에 적용함으로써, [수학식 8]에 따른 레이턴트 영상 l가 계산될 수 있다.
Figure 112011053034540-pat00026
여기서,
Figure 112011053034540-pat00027
이다.
지금까지 설명한 모델은 블러 영상 b가 싱글프레임인 경우의 모델이며, 이러한 모델은 [수학식 4]를 기반으로 하는 영상 정합을 이용한 비균일 모션 블러 정보 추정 단계에서 레이턴트 영상(l)을 예측하는 과정을 필요로 한다. 여기서, 비균일 모션 블러 정보 추정에서 사용되는 레이턴트 영상은 영상 정합의 성능에 직접적으로 영향을 미치고, 따라서 디블러링 결과의 품질을 좌우한다. 보다 높은 품질의 레이턴트 영상을 안정적으로 제공하기 위하여, 본 발명의 일 실시예에서는 멀티프레임을 이용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치는 수신부(110), 비균일 모션 블러 추정부(120), 레이턴트 영상 획득부(130) 및 최종 복원 영상 획득부(140)를 포함한다.
수신부(110)는 비균일 모션 블러를 포함하는 멀티프레임을 수신한다. 그리고 수신보(110)는 멀티프레임을 그레이스케일로 변환하여 비균일 모션 블러 추정부(120)로 제공할 수 있다.
비균일 모션 블러 추정부(120)는 수신된 멀티프레임을 이용하여 비균일 모션 블러 정보를 추정한다. 보다 구체적으로, 비균일 모션 블러 추정부(120)는 멀티프레임의 각 영상에 대한 호모그라피를 추정하고, 추정된 호모그라피를 이용하여 호모그라피에 대한 가중치를 계산할 수 있다. 그리고 호모그라피는 루카스-카나데(Lucas-Kanade) 영상 정합을 이용하여 추정될 수 있다. 이때, 비균일 모션 블러 추정부(120)는 호모그라피의 추정 및 상기 가중치의 계산 과정을 미리 정해진 횟수만큼 반복적으로 수행함으로써 보다 정확하게 비균일 모션 블러 정보를 추정할 수 있다.
레이턴트 영상 획득부(130)는 비균일 모션 블러 정보에 기초하여 멀티프레임으로부터 비균일 모션 블러를 제거하여 레이턴트 영상을 획득한다. 레이턴트 영상 획득부(130)는 획득된 레이턴트 영상을 비균일 모션 블러 추정부(120)로 피드백할 수 있다.
최종 복원 영상 획득부(140)는 비균일 모션 블러 정보 또는 업데이트된 비균일 모션 블러 정보를 이용하여 멀티프레임으로부터 최종 복원 영상을 획득(즉, 디콘볼루션을 수행)한다. 즉, 최종 복원 영상 획득부(140)는 그레이스케일로 변환된 멀티프레임의 RGB 각각에 대해 최종 비균일 모션 블러 정보를 적용함으로써 최종 복원 영상을 획득할 수 있다.
한편, 비균일 모션 블러 추정부(120)는 레이턴트 영상 획득부(130)로부터 레이턴트 영상을 피드백 받을 수 있다. 그리고 비균일 모션 블러 추정부(120)는 피드백 받은 레이턴트 영상을 기초로 비균일 모션 블러 정보를 업데이트(즉, 비균일 모션 블러 정보를 다시 추정)할 수 있다. 그리고 레이턴트 영상 획득부(130)는 업데이트된 비균일 모션 블러 정보를 기초로 레이턴트 영상을 업데이트할 수 있다. 비균일 모션 블러 추정부(120) 및 레이턴트 영상 획득부(130)는 이와 같은 과정을 반복함으로써 보다 높은 품질의 비균일 모션 블러 정보 및 레이턴트 영상을 획득할 수 있다. 반복 횟수가 늘어남에 따라 비균일 모션 블러 정보는 실제로 카메라가 흔들린 모션의 정보에 유사하게 수렴될 수 있다. 또한, 비균일 모션 블러 정보의 추정에 이용되는 레이턴트 영상도 반복 횟수가 늘어남에 따라 더 선명해질 수 있다. 하지만 반복 과정 중의 레이턴트 영상은 비균일 모션 정보의 추정에만 이용되고 최종 복원 영상에는 직접적인 영향을 미치지는 않는다. 이러한 반복 과정은 미리 정해진 품질의 비균일 모션 블러 정보 및 레이턴트 영상을 획득할 때까지 계속될 수 있다.
비균일 모션 블러 추정부(120)가 처음으로 비균일 모션 블러를 추정할 때에, 멀티프레임의 각 영상은 다른 영상의 블러 정보를 추정하기 위한 레이턴트 영상으로서 이용될 수 있다. 즉, 멀티프레임이 제1 영상 및 제2 영상을 포함할 때, 비균일 모션 블러 추정부(120)는 제1 영상을 기초로 제2 영상의 비균일 모션 블러 정보를 추정하고 제2 영상을 기초로 제1 영상의 비균일 모션 블러 정보를 추정할 수 있다. 따라서, 비균일 모션 블러 정보 추정의 정확도가 향상될 수 있다.
이후, 비균일 모션 블러 추정부(120)는 레이턴트 영상 획득부(130)로부터 피드백된 비균일 모션 블러가 제거된 레이턴트 영상을 이용하여 멀티프레임의 각 영상의 비균일 모션 블러 정보를 다시 추정함으로써 비균일 모션 블러 정보를 업데이트할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른 영상의 비균일 모션 블러 제거 방법은 [수학식 7]을 응용하여 두 장 이상의 이미지들을 이용함으로써 블러가 제거된 레이턴트 영상의 품질을 향상할 수 있다. 멀티프레임에 적용될 수 있도록 [수학식 7]은 [수학식 10]과 같이 응용될 수 있다.
Figure 112011053034540-pat00028
[수학식 10]에서
Figure 112011053034540-pat00029
와
Figure 112011053034540-pat00030
는 각각 비균일 모션 블러를 포함하는 k번째 영상(
Figure 112011053034540-pat00031
)의 i번째 호모그라피와 가중치를 의미한다.
본 발명의 일 실시예에 따른 비균일 모션 블러를 포함하는 멀티프레임을 이용하여 비균일 모션 블러를 제거하는 방법은 멀티프레임의 각 영상이 서로 다른 비균일 모션 블러 정보를 포함할 수 있기 때문에 보다 안정적으로 비균일 모션 블러 정보를 추정하고 블러를 제거할 수 있다.
도 2는 본 발명의 일 실시예에 따른 비균일 모션 블러 정보 추정 과정을 나타낸 플로우차트이다.
즉, 도 2는 본 발명의 일 실시예에 따른 비균일 모션 블러 추정부에서의 동작을 구체적으로 도시한 도면이다.
도 2를 참조하면, 비균일 모션 블러 추정부는 [수학식 4]를 이용하여 수신한 영상들을 정합하여 비균일 모션을 표현하는 호모그라피 Pi를 계산하고(210), 영상 정합을 호모그라피의 개수만큼(즉, i의 인덱스만큼) 반복하여 전체 호모그라피 P를 계산한다.
호모그라피가 계산된 후, 비균일 모션 블러 추정부는 [수학식 5] 및 [수학식 6]을 기초로 가중치 w를 계산한다(220).
비균일 모션 블러 정보는 호모그라피 및 가중치 즉, (P, w)에 의해 표현이 되며, 비균일 모션 블러 추정부는 추정 및 계산의 정확도를 향상하기 위해 호모그라피의 추정 및 가중치의 계산을 반복적으로 수행할 수 있다.
한편, 호모그라피 Pi는 영상 픽셀의 사영 변환(projective transform)을 의미하는데, 본 발명의 일 실시 예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치는 호모그라피 Pi 외에도 블러 정보를 나타내는 다른 표현 방법을 이용할 수도 있다.
먼저, 호모그라피 Pi는 3차원 공간상에서 픽셀의 좌표를 이동시키는 경우에 대해 파라미터 8개를 필요로하며, [수학식 11]과 같이 비균일 모션 블러 정보 중에서 하나의 모션을 표현한다.
Figure 112011053034540-pat00032
호모그라피는 비균일 모션을 표현하는 가장 일반적인 표현 방식이다. 만약 촬영 시의 카메라 인트린식 파라미터(intrinsic parameter)를 알 수 있는 경우에는 [수학식 11]의 호모그라피는 [수학식 12]와 같이 표현될 수 있다.
Figure 112011053034540-pat00033
[수학식 12]에서 R과 T는 각각 3차원 공간상에서 카메라의 x, y, z 축으로의 회전 변환(rotational transform)과 이동 모션(translational transform)을 표현하는 행렬이다.
[수학식 12]는 카메라의 인트린식 파라미터를 알 수 있는 경우에 사용 가능하며, [수학식 12]를 이용하면 호모그라피를 사용할 때와 마찬가지로 일반화된 비균일 모션이 추정될 수 있다. 그리고 [수학식 12]는 카메라의 회전 및 이동 에 대한 6개의 파라미터만을 필요로 하기 때문에 비균일 모션 블러 추정 및 제거 속도가 향상될 수 있다.
본 발명의 일 실시 예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치는 [수학식 12]의 카메라 정보를 이용한 비균일 모션 블러 표현 방법 외에도 [수학식 13]의 유클리드 변환(Euclidean transform) 표현 방법을 이용할 수도 있다.
Figure 112011053034540-pat00034
[수학식 13]은 [수학식 11]에서 표현할 수 있는 일반화된 비균일 모션을 동일하게 표현할 수는 없으며, 영상의 픽셀들이 픽셀 좌표계에서 x, y축 방향으로의 이동 모션 및 z축을 기준으로 하는 평면 내 회전(in-plane rotation) 모션만 갖는다고 가정하는 비균일 모션을 표현할 수 있다.
[수학식 13]에서 표현할 수 있는 모션은 평면 상에서의 x, y 축으로의 이동 변환(translational motion)과 평면 상에서의 회전(in-plane rotation)이고, 이러한 비균일 모션을 표현하기 위해서 3개의 파라미터를 필요로 한다.
즉, 본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치는 [수학식 11] 내지 [수학식 13] 중 적어도 하나를 이용하여 비균일 모션 블러 정보를 추정할 수 있다. 비균일 모션 블러 정보를 추정하는 데에 필요한 파라미터의 수가 적을수록 처리 속도는 더 빨라질 수 있다. 즉, 유클리드 변환([수학식 13]), 카메라 인트린식 파라미터 이용([수학식 12]), 호모그라피([수학식 11])의 순서로 빠른 처리 속도를 갖는다.
도 3은 본 발명의 일 실시예에 따라 해상도를 높여가면서 카메라의 회전 움직임(rotational motion)을 추정한 예를 도시한 도면이다.
본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치는 영상의 해상도를 변화시켜가면서 반복적으로 비균일 모션 블러 정보를 추정하고 레이턴트 영상을 획득함으로써 보다 효과적이고 정확하게 비균일 모션 블러 정보를 추정하고 레이턴트 영상을 획득할 수 있다. 즉, 본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치는 멀티-스케일(multi-scale) 반복 처리 과정을 수행할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 장치는 우선 비균일 모션이 큰 경우에 대한 블러 정보를 추정할 수 있도록 낮은 해상도(low resolution)에서 비균일 모션 블러 정보를 추정할 수 있다. 그리고 비균일 모션 블러 제거 장치는 낮은 해상도에서 추정된 비균일 모션 블러 정보를 업샘플링하여 작은 크기의 모션으로 인해 발생되는 블러 정보를 추정할 수 있다.
도 3을 참조하면, 가장 낮은 해상도에서 추정한 모션 블러(310), 중간 해상도에서 추정한 모션 블러(320) 및 높은 해상도에서 추정한 모션 블러(330)가 도시되어 있다. 이용한 비균일 모션 블러 제거 장치는 낮은 해상도에서 모션 블러 정보를 추정하고, 추정된 모션 블러 정보를 기초로 레이턴트 영상을 획득할 수 있다. 그리고 비균일 모션 블러 제거 장치는 낮은 해상도에서 추정된 모션 블러 정보 및 레이턴트 영상 이용하여 점차 높은 해상도의 모션 블러 정보를 반복적으로 추정함으로써 보다 정확한 비균일 모션 블러 정보를 획득할 수 있다. 예를 들어, 비균일 모션 블러 제거 장치는 1메가 픽셀 이상의 영상의 비균일 모션 블러를 제거하기 위하여 1500x1000의 해상도의 영상을 600x400의 해상도를 갖는 국부 영역으로 잘라(crop)내어, 잘라진 국부 영역의 영상을 이용하여 비균일 모션 블러 정보를 추정할 수 있다. 그리고 비균일 모션 블러 제거 장치는 국부 영역의 영상에 대한 비균일 모션 블러 정보를 이용하여 원래 해상도인 1500x1000 의 해상도를 갖는 영상의 비균일 모션 블러를 제거할 수 있다. 본 발명의 일 실시예에 따른 국부 영역의 해상도는 특정한 크기로 제한되지 않으며, 비균일 모션 블러 제거 장치는 멀티프레임의 각 영상의 어떠한 크기의 국부 영역 영상에 대해서도 비균일 모션 블러 정보를 추정하고 비균일 모션을 제거할 수 있다.
이처럼 본 발명의 일 실시예에 따른 비균일 모션 블러 제거 장치는 멀티-스케일(multi-scale) 반복 처리 과정을 수행함으로써 하나의 스케일을 이용해서는 다루지 못했던 큰 모션으로 인해 발생하는 블러를 추정할 수 있다. 또한 비균일 모션 블러 제거 장치는 큰 모션을 먼저 추정함으로써 처리 속도를 가속화할 수 있다.
도 4는 본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 방법을 도시한 플로우차트이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 방법은 비균일 모션 블러를 포함하는 멀티프레임을 수신한다(410).
그리고 비균일 모션 블러 제거 방법은 수신된 멀티프레임을 이용하여 비균일 모션 블러 정보를 추정한다(420).
비균일 모션 블러 제거 방법은 추정된 비균일 모션 블러 정보에 기초하여 멀티프레임으로부터 비균일 모션 블러를 제거하여 레이턴트 영상을 획득한다(430). 이때, 비균일 모션 블러 제거 방법은 획득된 레이턴트 영상이 미리 정해진 품질을 달성하지 못하는 경우, 획득된 레이턴트 영상을 기초로 비균일 모션 블러 정보를 다시 추정(업데이트)하고, 업데이트된 비균일 모션 블러 정보를 기초로 레이턴트 영상을 업데이트할 수 있다.
그리고 비균일 모션 블러 제거 방법은 비균일 모션 블러 정보 또는 업데이트된 최종 비균일 모션 블러 정보를 이용하여 멀티프레임으로부터 최종 복원 영상을 획득할 수 있다(440).
지금까지 본 발명에 따른 멀티프레임을 이용한 비균일 모션 블러 제거 방법에 대해 설명하였다. 본 멀티프레임을 이용한 비균일 모션 블러 제거 방법에는 앞서 도 1 내지 도 3과 관련하여 다양한 실시예를 통하여 상술한 내용이 그대로 적용될 수 있으므로, 더 이상의 상세한 설명은 생략하도록 한다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (19)

  1. 비균일 모션 블러를 포함하는 멀티프레임을 수신하는 단계;
    상기 멀티프레임을 이용하여 비균일 모션 블러 정보를 추정하는 단계; 및
    상기 추정된 비균일 모션 블러 정보에 기초하여 상기 멀티프레임으로부터 비균일 모션 블러를 제거하여 레이턴트 영상을 획득하는 단계
    를 포함하고,
    상기 비균일 모션 블러 정보를 추정하는 단계는
    상기 멀티프레임의 각 영상에 대한 호모그라피(Homography)를 추정하는 단계; 및
    상기 추정된 호모그라피를 이용하여 상기 호모그라피에 대한 가중치를 계산하는 단계
    를 포함하는 멀티프레임을 이용한 비균일 모션 블러 제거 방법.
  2. 제1항에 있어서,
    상기 멀티프레임은 제1 영상 및 제2 영상을 포함하고,
    상기 비균일 모션 블러 정보를 추정하는 단계는
    상기 제1 영상을 기초로 상기 제2 영상의 비균일 모션 블러 정보를 추정하고 상기 제2 영상을 기초로 상기 제1 영상의 비균일 모션 블러 정보를 추정하는 단계
    를 포함하는 멀티프레임을 이용한 비균일 모션 블러 제거 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 호모그라피를 추정하는 단계는
    루카스-카나데(Lucas-Kanade) 영상 정합을 이용하여 상기 호모그라피를 추정하는 단계
    를 포함하는 멀티프레임을 이용한 비균일 모션 블러 제거 방법.
  5. 제1항에 있어서,
    상기 호모그라피를 추정하는 단계 및 상기 가중치를 계산하는 단계는 미리 정해진 횟수만큼 반복적으로 수행되는 멀티프레임을 이용한 비균일 모션 블러 제거 방법.
  6. 제1항에 있어서,
    상기 비균일 모션 블러 정보를 추정하는 단계 및 상기 레이턴트 영상을 획득하는 단계는 미리 정해진 기준에 따라 반복적으로 수행되고,
    상기 비균일 모션 블러 정보를 추정하는 단계는
    이전의 이터레이션(iterarion)에서 획득된 레이턴트 영상을 이용하여 비균일 모션 블러 정보를 업데이트하는 단계
    를 포함하는 멀티프레임을 이용한 비균일 모션 블러 제거 방법.
  7. 제6항에 있어서,
    상기 반복에 의해 획득되는 최종 비균일 모션 블러 정보를 이용하여 상기 멀티프레임으로부터 최종 복원 영상을 획득하는 단계
    를 더 포함하는 멀티프레임을 이용한 비균일 모션 블러 제거 방법.
  8. 제1항에 있어서,
    상기 비균일 모션 블러 정보를 추정하는 단계는
    카메라 인트린식 파라미터(intrinsic parameter)를 이용한 카메라 회전 및 이동 모션, 또는 유클리드 변환(Euclidean transform) 중 적어도 하나를 이용하여 비균일 모션 블러 정보를 추정하는 단계
    를 포함하는 멀티프레임을 이용한 비균일 모션 블러 제거 방법.
  9. 제1항에 있어서,
    상기 비균일 모션 블러 정보를 추정하는 단계는
    상기 멀티프레임의 각 영상의 일부 영역에 대해 비균일 모션 블러 정보를 추정하는 단계
    를 포함하고,
    상기 레이턴트 영상을 획득하는 단계는
    상기 일부 영역에 대한 비균일 모션 블러 정보를 기초로 레이턴트 영상을 획득하는 단계
    를 포함하는 멀티프레임을 이용한 비균일 모션 블러 제거 방법.
  10. 삭제
  11. 비균일 모션 블러를 포함하는 멀티프레임을 수신하는 수신부;
    상기 멀티프레임을 이용하여 비균일 모션 블러 정보를 추정하는 비균일 모션 블러 정보 추정부; 및
    상기 추정된 비균일 모션 블러 정보에 기초하여 상기 멀티프레임으로부터 비균일 모션 블러를 제거하여 레이턴트 영상을 획득하는 레이턴트 영상 획득부
    를 포함하고,
    상기 비균일 모션 블러 정보 추정부는
    상기 멀티프레임의 각 영상에 대한 호모그라피를 추정하고, 상기 추정된 호모그라피를 이용하여 상기 호모그라피에 대한 가중치를 계산하는 멀티프레임을 이용한 비균일 모션 블러 제거 장치.
  12. 제11항에 있어서,
    상기 멀티프레임은 제1 영상 및 제2 영상을 포함하고,
    상기 비균일 모션 블러 정보 추정부는
    상기 제1 영상을 기초로 상기 제2 영상의 비균일 모션 블러 정보를 추정하고 상기 제2 영상을 기초로 상기 제1 영상의 비균일 모션 블러 정보를 추정하는 멀티프레임을 이용한 비균일 모션 블러 제거 장치.
  13. 삭제
  14. 제11항에 있어서,
    상기 비균일 모션 블러 정보 추정부는
    루카스-카나데(Lucas-Kanade) 영상 정합을 이용하여 상기 호모그라피를 추정하는 멀티프레임을 이용한 비균일 모션 블러 제거 장치.
  15. 제11항에 있어서,
    상기 비균일 모션 블러 정보 추정부는
    상기 호모그라피의 추정 및 상기 가중치의 계산을 미리 정해진 횟수만큼 반복적으로 수행하여 상기 비균일 모션 블러 정보를 추정하는 멀티프레임을 이용한 비균일 모션 블러 제거 장치.
  16. 제11항에 있어서,
    상기 레이턴트 영상 획득부는
    상기 획득된 레이턴트 영상을 상기 비균일 모션 블러 정보 추정부로 피드백하고,
    상기 비균일 모션 블러 정보 추정부는
    상기 피드백된 레이턴트 영상을 이용하여 상기 비균일 모션 블러 정보를 업데이트하는 멀티프레임을 이용한 비균일 모션 블러 제거 장치.
  17. 제16항에 있어서,
    상기 업데이트된 비균일 모션 블러 정보를 이용하여 상기 멀티프레임으로부터 최종 복원 영상을 획득하는 최종 복원 영상을 획득부
    를 더 포함하는 멀티프레임을 이용한 비균일 모션 블러 제거 장치.
  18. 제11항에 있어서,
    상기 비균일 모션 블러 정보 추정부는
    카메라 인트린식 파라미터를 이용한 카메라 회전 및 이동 모션, 또는 유클리드 변환 중 적어도 하나를 이용하여 비균일 모션 블러 정보를 추정하는 멀티프레임을 이용한 비균일 모션 블러 제거 장치.
  19. 제11항에 있어서,
    상기 비균일 모션 블러 정보 추정부는
    상기 멀티프레임의 각 영상의 일부 영역에 대해 비균일 모션 블러 정보를 추정하고,
    상기 레이턴트 영상 획득부는
    상기 일부 영역에 대한 비균일 모션 블러 정보를 기초로 레이턴트 영상을 획득하는 멀티프레임을 이용한 비균일 모션 블러 제거 장치.
KR1020110068511A 2011-07-11 2011-07-11 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 KR101839617B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110068511A KR101839617B1 (ko) 2011-07-11 2011-07-11 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
US13/415,285 US20130016239A1 (en) 2011-07-11 2012-03-08 Method and apparatus for removing non-uniform motion blur using multi-frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110068511A KR101839617B1 (ko) 2011-07-11 2011-07-11 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130007889A KR20130007889A (ko) 2013-01-21
KR101839617B1 true KR101839617B1 (ko) 2018-03-19

Family

ID=47518727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110068511A KR101839617B1 (ko) 2011-07-11 2011-07-11 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치

Country Status (2)

Country Link
US (1) US20130016239A1 (ko)
KR (1) KR101839617B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252400B2 (en) 2017-11-23 2022-02-15 Samsung Electronics Co., Ltd. Method, device, and recording medium for processing image
US11928792B2 (en) 2018-07-17 2024-03-12 Xi'an Jiaotong University Fusion network-based method for image super-resolution and non-uniform motion deblurring

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014102271A1 (de) * 2013-03-15 2014-09-18 Maxim Integrated Products, Inc. Verfahren und Einrichtung zum Erteilen einer Zutrittserlaubnis
KR101463194B1 (ko) * 2013-05-09 2014-11-21 한국과학기술원 이미지 블러 제거 장치 및 방법
US10460194B2 (en) * 2014-03-07 2019-10-29 Lior Wolf System and method for the detection and counting of repetitions of repetitive activity via a trained network
CN104680491B (zh) * 2015-02-28 2016-03-30 西安交通大学 一种基于深度神经网络的图像非均匀运动模糊去除方法
JP6541454B2 (ja) * 2015-06-17 2019-07-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017010092A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
KR101801749B1 (ko) 2016-08-24 2017-11-28 한국과학기술연구원 3차원 복원을 위한 다중시점 영상 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298300A (ja) * 1999-04-13 2000-10-24 Ricoh Co Ltd 手ぶれ画像補正方法、記録媒体及び撮像装置
JP2010157210A (ja) * 2008-12-31 2010-07-15 Postech Academy-Industry Foundation 画像のブラー除去方法および記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US6470097B1 (en) * 1999-01-22 2002-10-22 Siemens Corporation Research, Inc. Total variational blind image restoration from image sequences
JP4596202B2 (ja) * 2001-02-05 2010-12-08 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US7489341B2 (en) * 2005-01-18 2009-02-10 Primax Electronics Ltd. Method to stabilize digital video motion
JP4695972B2 (ja) * 2005-12-14 2011-06-08 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
US8184926B2 (en) * 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
KR101567812B1 (ko) * 2008-12-31 2015-11-11 삼성전자주식회사 지능형 셀프 타이머 모드를 지원하는 디지털 카메라 및 그 제어방법
KR101804215B1 (ko) * 2012-03-06 2017-12-05 삼성전자주식회사 강건하게 비균일 모션 블러를 추정하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298300A (ja) * 1999-04-13 2000-10-24 Ricoh Co Ltd 手ぶれ画像補正方法、記録媒体及び撮像装置
JP2010157210A (ja) * 2008-12-31 2010-07-15 Postech Academy-Industry Foundation 画像のブラー除去方法および記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252400B2 (en) 2017-11-23 2022-02-15 Samsung Electronics Co., Ltd. Method, device, and recording medium for processing image
US11928792B2 (en) 2018-07-17 2024-03-12 Xi'an Jiaotong University Fusion network-based method for image super-resolution and non-uniform motion deblurring

Also Published As

Publication number Publication date
KR20130007889A (ko) 2013-01-21
US20130016239A1 (en) 2013-01-17

Similar Documents

Publication Publication Date Title
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
KR101844332B1 (ko) 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
JP4938070B2 (ja) 画像のブラー除去方法および記録媒体
JP6218402B2 (ja) タイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法及び装置
JP4799428B2 (ja) 画像処理装置及び方法
Tai et al. Richardson-lucy deblurring for scenes under a projective motion path
US9262815B2 (en) Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN102147915B (zh) 一种权重的稀疏边缘正则化图像复原方法
CN105469363B (zh) 基于模糊图像生成清晰图像的方法和装置
US9349164B2 (en) De-noising image content using directional filters for image deblurring
JP2008146643A (ja) 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体
US20150036943A1 (en) Patch-Based, Locally Content-Adaptive Image and Video Sharpening
KR101671391B1 (ko) 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
JP4859516B2 (ja) 画像処理装置および画像復元方法
KR101804215B1 (ko) 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
KR101152525B1 (ko) 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치
WO2009110184A1 (ja) 変化要因情報のデータの生成法および信号処理装置
JP4974176B2 (ja) 変化要因情報のデータの生成法および信号処理装置
Zhen et al. Semi-blind deblurring images captured with an electronic rolling shutter mechanism
JP2008228056A (ja) 補間画像生成装置、方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant