Nothing Special   »   [go: up one dir, main page]

KR101337667B1 - 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작 - Google Patents

휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작 Download PDF

Info

Publication number
KR101337667B1
KR101337667B1 KR1020127001213A KR20127001213A KR101337667B1 KR 101337667 B1 KR101337667 B1 KR 101337667B1 KR 1020127001213 A KR1020127001213 A KR 1020127001213A KR 20127001213 A KR20127001213 A KR 20127001213A KR 101337667 B1 KR101337667 B1 KR 101337667B1
Authority
KR
South Korea
Prior art keywords
lens roll
value
lens
roll
luminance
Prior art date
Application number
KR1020127001213A
Other languages
English (en)
Other versions
KR20120031067A (ko
Inventor
샤오윈 장
스제포 알 훙
시앙-춘 리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20120031067A publication Critical patent/KR20120031067A/ko
Application granted granted Critical
Publication of KR101337667B1 publication Critical patent/KR101337667B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

이미지 데이터를 수신하는 단계 및 이미지 데이터의 휘도 정보를 계산하는 단계를 포함하는 방법이 개시된다. 이 방법은 휘도 정보에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하는 단계를 포함한다. 이 방법은 또한 적어도 하나의 보정된 렌즈 롤 오프 값을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하는 단계를 포함한다.

Description

휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작{LENS ROLL-OFF CORRECTION OPERATION USING VALUES CORRECTED BASED ON BRIGHTNESS INFORMATION}
본 개시물은 일반적으로 이미지의 렌즈 롤 오프 (roll-off) 보정의 장면 의존 조정 (scene dependent adjustment) 과 관련된다.
기술의 진보가 더 작고 더 강력한 컴퓨팅 디바이스들을 발생시켜왔다. 예를 들어, 작고, 경량이며, 사용자들에 의해 쉽게 휴대되는 휴대용 무선 전화기들, 개인 휴대 정보 단말기들 (PDA들), 및 페이징 디바이스들과 같은 무선 컴퓨팅 디바이스들을 포함하는 다양한 휴대용 개인 컴퓨팅 디바이스들이 현재 존재한다. 더 상세하게는, 셀룰러 전화기들 및 인터넷 프로토콜 (IP) 전화기들과 같은 휴대용 무선 전화기들이 무선 네트워크들을 통해 음성 및 데이터를 통신할 수 있다. 또한, 무선 전화기들은 여기에 통합되는 다른 타입의 디바이스들을 포함할 수도 있다. 예를 들어, 무선 전화기는 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 플레이어를 포함할 수 있다. 또한, 무선 전화기들은 인터넷에 액세스하는데 이용될 수 있는 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함하는 실행가능한 명령들을 프로세싱할 수도 있다. 추가 예로서, 디지털 이미지 프로세싱 기법들이 모바일 단말기들에서 멀티미디어 기능들을 지원하는데 이용될 수도 있다.
일 양상의 디지털 이미지 프로세싱은 색상 정보를 프로세싱하는 것을 수반한다. 색상 정보는 일반적으로 적, 녹 및 청 (red, green and blue; RGB) 성분들로 이루어진 복합 신호로서 나타내진다. 색상 정보를 전달하기 위해 요구되는 데이터 용량은, 완전한 루마 (full luma) 대역폭이 유지된다면, 인간의 눈의 비교적 열악한 색감 (color acuity) 을 이용함으로써 감소될 수도 있다. 특히, 신호의 RGB 성분들은 루마 (Y) 및 크로마 (CbCr) 성분들로 변환될 수도 있으며, 크로마 성분들은 압축될 수도 있다.
루마 (Y) 성분은 일반적으로 이미지의 휘도와 관련된다. 이미지의 휘도는 렌즈 셰이딩 (lens shading) 에 의해 영향을 받을 수도 있다. 디지털 이미징 프로세싱 시스템에서는, 렌즈 셰이딩에 의해 야기되는 암화 (darkening) 를 보상하기 위해 렌즈 롤 오프 (roll-off) 보정이 채용될 수도 있다. 일부 시나리오에서, 어떠한 렌즈 롤 오프 보정도 없다면, 이미지의 에지 근처의 밝은 물체들은 디테일을 보존할 수도 있다. 그러나, 렌즈 롤 오프 프로세스 동안 이미지에 이득을 적용한 후에는, 이러한 디테일은 과포화 (oversaturation) 로 인해 구별불가능하게 될 수도 있다.
이미지 프로세싱 시스템은, 이미지 데이터 내의 디테일을 이미지의 과포화 (oversaturation) 로 인해 구별불가능하게 하지 않는 렌즈 롤 오프 (roll-off) 보정 동작을 수행하기 위해 개시된다. 이미지 프로세싱 시스템은 이미지 데이터의 휘도 정보에 기초하여 보정된 값들을 이용하여 렌즈 롤 오프 보정 동작을 수행함으로써 과포화를 방지한다. 이미지 데이터의 휘도 정보에 기초하여 값들을 보정하는 것은, 그 값들이 감소될 수 있게 하여, 디폴트 보정 값들을 적용하는 것이 이미지 내의 디테일이 손실되도록 이미지의 휘도를 증가시킨 렌즈 롤 오프 보정 동작을 야기할 경우들에 있어서 과포화를 회피한다. 따라서, 휘도 정보에 기초하여 값들을 보정하는 것은, 과포화를 야기함으로써 이미지 품질을 더욱 열화시키지 않는 렌즈 롤 오프 보정 동작을 수행함으로써 렌즈 롤 오프로 인한 이미지 열화를 이미지 프로세싱 시스템이 보상할 수 있게 한다.
특정 실시형태에서는, 이미지 데이터를 수신하는 단계를 포함하는 방법이 개시된다. 이 방법은 또한 이미지 데이터의 휘도 정보를 계산하는 단계를 포함한다. 이 방법은 또한 휘도 정보에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하는 단계를 포함한다. 이 방법은 또한 적어도 하나의 보정된 렌즈 롤 오프 값을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하는 단계를 포함한다.
다른 특정 실시형태에서는, 이미지 프로세서를 포함하는 장치가 개시된다. 이미지 프로세서는 이미지 데이터를 수신하고, 그 이미지 데이터의 휘도 정보를 계산하도록 구성된다. 이미지 프로세서는 또한, 휘도 정보에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하도록 구성된다. 이미지 프로세서는 또한 적어도 하나의 보정된 렌즈 롤 오프 값을 이용하여 렌즈 롤 오프 보정 동작을 수행하도록 구성된다.
다른 특정 실시형태에서는, 이미지 데이터를 수신하는 수단을 포함하는 장치가 개시된다. 이 장치는 이미지 데이터의 휘도 정보를 계산하는 수단을 더 포함한다. 이 장치는 휘도 정보에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하는 수단을 더 포함한다. 이 장치는 보정된 렌즈 롤 오프 값을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하는 수단을 더 포함한다.
다른 특정 실시형태에서는, 이미지 데이터를 수신하기 위한 코드를 포함하는 컴퓨터 실행가능한 코드를 저장하는 컴퓨터 판독가능 매체가 개시된다. 컴퓨터 판독가능 매체는 또한 이미지 데이터의 휘도 정보를 계산하기 위한 코드를 포함한다. 컴퓨터 판독가능 매체는 휘도 정보에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하기 위한 코드를 더 포함한다. 컴퓨터 판독가능 매체는 보정된 렌즈 롤 오프 값을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하기 위한 코드를 더 포함한다.
상기 개시된 실시형태들에 의해 제공된 하나의 특정 양태는, 픽셀을 포함하는 구역 (region) 의 휘도에 기초한 이미지의 픽셀의 휘도의 조정이다. 픽셀을 포함하는 구역의 휘도에 기초하여 이미지의 픽셀의 휘도를 조정하는 것은 렌즈 보정 프로세서에 적용된 이득으로 인한 과포화를 방지함으로써 이미지 내의 디테일을 보존할 수도 있다.
본 개시물의 다른 양태들, 이점들 및 특징들은 다음의 부분들, 즉, 도면의 간단한 설명, 상세한 설명 및 특허청구의 범위를 포함하는 전체 출원 명세서의 검토 후에 명백해질 것이다.
도 1 은 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈을 갖는 이미지 캡처링 및 프로세싱 시스템의 특정 예시적인 실시형태의 블록도이다.
도 2 는 휘도 정보에 기초하여 보정된 값들을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하는 방법을 예시하는 일반도 (general diagram) 이다.
도 3 은 휘도 정보에 기초하여 보정된 값들을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하기 위한 시스템의 예시적인 실시형태의 블록도이다.
도 4 는 휘도 정보에 기초하여 렌즈 롤 오프 값들을 보정하는 것을 예시하는 일반도이다.
도 5 는 휘도 정보에 기초하여 보정된 값들을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하는 방법의 예시적인 실시형태의 흐름도이다.
도 6 은 휘도 정보에 기초하여 보정된 값들을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하기 위한 디바이스의 특정 실시형태의 블록도이다.
도 7 은 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈을 포함하는 무선 통신 디바이스의 특정 실시형태의 블록도이다.
도 1 을 참조하면, 이미지 캡처링 및 프로세싱 시스템의 예시적인 실시형태가 도시되고, 일반적으로 100 으로 표기된다. 이미지 캡처링 및 프로세싱 시스템 (100) 은 이미지 캡처 디바이스 (101), 이미지 프로세싱 시스템 (110) 및 이미지 저장 디바이스 (120) 를 포함한다. 이미지 캡처 디바이스 (101) 는 렌즈 (102), 자동 포커스 모듈 (104), 자동 노출 모듈 (106) 및 센서 (108) 를 포함한다. 이미지 프로세싱 시스템 (110) 은 휘도 정보에 기초한 렌즈 롤 오프 (roll-off) 보정 모듈 (114), 노이즈 감소 모듈 (116) 및 압축 및 저장 모듈 (118) 을 포함한다. 이미지 캡처링 및 프로세싱 시스템 (100) 은 휘도 정보 (111) 에 기초하여 보정되는 렌즈 롤 오프 값들 (112) 에 기초하여 렌즈 롤 오프 보정 동작을 수행함으로써 픽셀의 휘도를 조정하도록 구성된 전자 디바이스일 수도 있다.
특정 실시형태에서, 이미지 캡처 디바이스 (101) 는 비디오 카메라 또는 스틸 카메라와 같은 카메라이다. 도 1 에 나타낸 바와 같이, 이미지 캡처 디바이스 (101) 의 렌즈 (102) 는 자동 포커스 모듈 (104) 에, 그리고 자동 노출 모듈 (106) 에 커플링될 수도 있다. 특정 실시형태에서, 렌즈 (102) 는 자동 포커스 모듈 (104) 및 자동 노출 모듈 (106) 에 응답적이다. 센서 (108) 는 렌즈 (102) 를 통해 광 (light) 을 수광하고, 렌즈 (102) 를 통해 수신된 이미지 (150) 에 응답하여 이미지 데이터 (109) 를 생성하도록 구성될 수도 있다. 센서 (108) 는 CCD (charge-coupled device), 상보형 금속 산화물 반도체 (complementary metal oxide semiconductor; CMOS) 이미지 검출기, 포토다이오드 어레이, 광전지 검출기, 또는 광학 이미지를 캡처링하기 위한 일부 다른 센서일 수도 있다. 특정 실시형태에서, 자동 포커스 모듈 (104) 은 센서 (108) 에 응답적이고, 렌즈 (102) 의 포커싱을 자동으로 제어하도록 구성된다. 자동 노출 모듈 (106) 은 센서 (108) 에 응답적일 수도 있으며, 이미지 (150) 의 노출을 제어하도록 구성될 수도 있다. 이미지 데이터 (109) 는 센서 (108) 와 이미지 프로세싱 시스템 (110) 사이에 통신될 수도 있다.
특정 실시형태에서, 이미지 프로세싱 시스템 (110) 은 이미지 캡처 디바이스 (101) 로부터 수신된 이미지 데이터 (109) 를 조정하도록 구성된 디지털 이미지 프로세싱 집적 회로이다. 이미지 프로세싱 시스템 (110) 은 파이프라인으로서 구성될 수도 있으며, 여기서 이미지 데이터 (109) 는 모듈에서 수신되고, 조정되어 다른 모듈에 송신된다. 특정 실시형태에서, 이미지 프로세싱 시스템 (110) 은 이미지 데이터 (109) 의 휘도 정보 (111) 를 계산하도록 구성될 수도 있다.
휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (114) 은 이미지 챕처 디바이스 (101) 로부터, 또는 이미지 프로세싱 시스템 (110) 의 이전 모듈 (prior module) (미도시) 로부터 이미지 데이터 (109) 를 수신하도록 구성된다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (114) 은 휘도 정보 (111) 에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값 (112) 을 보정하여 보정된 렌즈 롤 오프 값들 (119) 을 생성하도록 구성된다. 특정 실시형태에서, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (114) 은, 보정된 렌즈 롤 오프 값들 (119) 을 이용함으로써 적어도 하나의 보정된 렌즈 롤 오프 값을 이용하여 렌즈 롤 오프 보정 동작을 수행하도록 구성된다. 렌즈 롤 오프 보정 동작을 수행하는 것은 조정된 이미지 데이터 (115) 를 야기한다.
휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (114) 은 조정된 이미지 데이터 (115) 로부터 노이즈를 제거하기 위해 조정된 이미지 데이터 (115) 를 노이즈 감소 모듈 (116) 에 송신하도록 구성될 수도 있다. 노이즈 감소 모듈 (116) 은 다양한 방법들을 이용하여 다수의 타입들의 노이즈를 제거하도록 구성될 수도 있다. 특정 실시형태에서, 노이즈 감소 모듈 (116) 은, 조정된 이미지 데이터 (115) 내의 픽셀이 색상 또는 조도 (illumination intensity) 에 있어서, 하나 이상의 바로 주변의 픽셀들과 상이한 때를 결정하고, 그 결정에 기초하여 픽셀의 휘도를 변경하도록 구성될 수도 있다. 예를 들어, 노이즈 감소 모듈 (116) 은 저역 통과 필터를 적용하여 선택된 영역들에서 고주파 성분들 (예를 들어, 주변 픽셀들보다 밝은 특정 픽셀) 을 제거할 수도 있다.
특정 실시형태에서, 노이즈 감소 모듈 (116) 은 노이즈 감소된 이미지 데이터 (117) 를 압축 및 저장 모듈 (118) 에 송신하도록 구성된다. 압축 및 저장 모듈 (118) 은 노이즈 감소 모듈 (116) 로부터 노이즈 감소된 이미지 데이터 (117) 를 수신하고, 노이즈 감소된 이미지 데이터 (117) 를 이미지 저장 디바이스 (120) 에 저장하도록 구성될 수도 있다. 예를 들어, 압축 및 저장 모듈 (118) 은 저장될 노이즈 감소된 이미지 데이터 (117) 를 인코딩하기 위해 공동 영상 전문가 그룹 (Joint Photographic Experts Group; JPEG) 인코딩을 이용할 수도 있다. 이미지 저장 디바이스 (120) 는 저장 매체, 이를 테면, 하나 이상의 디스플레이 버퍼들, 레지스터들, 캐시들 (caches), 플래시 메모리 엘리먼트들, 하드 디스크들, 임의의 다른 저장 디바이스, 또는 이들의 임의의 조합을 포함할 수도 있다.
동작 동안, 이미지 캡처링 및 프로세싱 시스템 (100) 은 이미지 캡처 디바이스 (101) 에서 이미지 데이터 (109) 를 생성하고, 그 이미지 데이터 (109) 를 이미지 프로세싱 시스템 (110) 에서 프로세싱하며, 프로세싱된 이미지 데이터를 이미지 저장 디바이스 (120) 에 저장할 수도 있다. 일 실시형태에서, 렌즈 (102) 는, 광이 렌즈 (102) 에 진입할 때 이미지 (150) 를 수신하는 한편, 자동 포커스 모듈 (104) 및 자동 노출 모듈 (106) 은 센서 (108) 에 응답하여 렌즈 (102) 를 자동으로 조정한다. 렌즈 (102) 로부터 수신된 이미지 (150) 에 응답하여, 센서 (108) 는 이미지 데이터 (109) 를 생성한다. 특정 실시형태에서, 이미지 데이터 (109) 는 광 성분들 (light components) 의 형태의 이미지 (150) 의 전자적 표현이다. 예를 들어, 센서 (108) 는 캡처링된 이미지 (150) 의 픽셀들에 대응하는 별개의 적 (R), 녹 (G), 및 청 (B) 표현들을 생성할 수도 있다. 특정 실시형태에서, 센서 (108) 는 다중 검출기들, 또는 인접한 검출기들이 광의 상이한 색상들을 검출하도록 배열되는 픽셀 웰들 (pixel wells) 을 포함한다. 예를 들어, 수광된 광은, 각각의 검출기가 적, 녹 또는 청의 인입 (incoming) 광을 수광하도록 필터링될 수도 있다.
이미지 데이터 (109) 는 렌즈 (102), 센서 (108) 또는 양자의 물리적 특성들 및 지오메트리들에 의해 야기된 다양한 왜곡들로 인해 이미지 (150) 를 정확하게 표현하지 못할 수도 있다. 예를 들어, 이러한 왜곡들은 예시적인 비제한적 예들로서, 센서의 에지에서의 인입 광의 입사각으로 인해 픽셀 웰들에서 발생하는 셰이딩 (shading), 렌즈에서의 각각의 색상 성분의 굴절 차이로 인한 왜곡, 또는 렌즈 결함 또는 오정렬로 인한 왜곡의 결과로서 발생할 수도 있다. 이러한 요인들은 여기서 렌즈 롤 오프로 총칭된다.
이미지 프로세싱 시스템 (110) 은 이미지 데이터 (109) 를 저장하기 이전에 다양한 이미지 프로세싱 동작들을 적용함으로써 이미지 데이터 (109) 를 향상시킬 수도 있다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (114) 은 렌즈 롤 오프 보정 동작을 수행함으로써 렌즈 롤 오프를 보정하기 위해 이미지 데이터 (109) 를 프로세싱하도록 구성된다. 다른 예로서, 노이즈 감소 모듈 (116) 은 노이즈 감소를 수행함으로써 이미지 데이터 (109) 의 부분들을 조정할 수도 있다.
특정 실시형태에서, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (114) 은 렌즈 롤 오프 값들 (112) 을 이용하여 렌즈 롤 오프 보정 동작을 수행한다. 렌즈 롤 오프 값들 (112) 은 렌즈 롤 오프 효과를 적어도 부분적으로 상쇄시키기 위해 픽셀들의 휘도 값들을 변경하도록 픽셀 값들에 적용될 수 있는 보정 계수들 (correction factors) 의 디폴트 세트를 포함할 수도 있다. 렌즈 롤 오프 값들 (112) 은 이미지 데이터 (109) 의 개개의 픽셀들에 또는 이미지 데이터 (109) 의 복수의 픽셀들에 대응할 수도 있다. 예를 들어, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (114) 은 단일의 렌즈 롤 오프 값을 이용하여 이미지 데이터 (109) 내의 복수의 픽셀들을 조정할 수도 있다. 렌즈 롤 오프 값들 (112) 은 이미지 데이터의 각각의 픽셀의 이미지 (150) 의 중심으로부터의 거리에 기초하여 결정될 수도 있다. 예를 들어, 이미지 (150) 의 상부 코너를 표현하는 제 1 픽셀에 대응하는 렌즈 롤 오프 값에 대한 제 1 보정 계수는 이미지 (150) 의 중심을 표현하는 제 2 픽셀에 대응하는 제 2 렌즈 롤 오프 값에 대한 보정 계수보다 클 수도 있다.
휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (114) 은 렌즈 롤 오프 보정 동작을 수행하기 전에 휘도 정보 (111) 를 이용하여 렌즈 롤 오프 값들 (112) 을 보정할 수도 있다. 보정된 렌즈 롤 오프 값들 (119) 을 이용하여 이미지 데이터 (109) 에 대해 렌즈 롤 오프 보정 동작을 수행하는 것은, 미보정된 렌즈 롤 오프 값들 (예를 들어, 렌즈 롤 오프 값들 (112)) 을 이용하는 렌즈 롤 오프 보정 동작의 수행보다 더 많은 디테일을 이미지 데이터에서 보존할 수도 있다. 예를 들어, 미보정된 렌즈 롤 오프 값들은, 이미지의 중심으로부터 대응하는 픽셀까지의 거리가 증가함에 따라 증가하는 보정 계수들을 가질 수도 있다. 이 경우에, 미보정된 렌즈 롤 오프 값들을 이용하여 매우 밝은 픽셀들을 포함하는 이미지 데이터 (109) 에 대해 렌즈 롤 오프 보정 동작을 수행하는 것은, 이미지 데이터 (109) 의 과포화 (oversaturation) 를 야기할 수도 있다. 예를 들어, 밝은 스카이라인을 포함하는 이미지의 픽셀들을 조정하기 위해 미보정된 렌즈 롤 오프 값들 (예를 들어, 렌즈 롤 오프 값들 (112)) 을 이용하여 렌즈 롤 오프 보정 동작을 수행하는 것은, 스카이라인을 표현하는 픽셀들의 휘도를 증가시킬 수도 있다. 그러나, 스카이라인을 표현하는 픽셀들의 휘도를 증가시키는 것은, 그 스카이라인에서의 디테일의 손실을 야기할 수도 있다. 예를 들어, 스카이라인의 일부인 구름 (clouds) 의 색상 및 다크니스 (darkness) 의 변화 (variations) 는, 모든 구름의 휘도가 최대 휘도 레벨로 증가될 때, 손실될 수도 있다.
과포화를 방지하기 위해, 렌즈 롤 오프 값들 (112) 의 보정 계수들은 감소될 수도 있다. 렌즈 롤 오프 값들 (112) 을 감소시킴으로써, 렌즈 롤 오프 보정 동작의 결과로, 포화에 가까운 픽셀들의 휘도의 증가는 적거나 없을 수도 있다. 예를 들어, 보정된 렌즈 롤 오프 값들 (119) 을 이용한 렌즈 롤 오프 보정 동작의 수행의 결과로, 구름 픽셀을 둘러싸는 구역이 이미 밝다는 것을 결정한 후에 구름을 표현하는 픽셀의 휘도의 증가는 적거나 없을 수도 있다. 이 경우에, 구름을 표현하는 픽셀이 렌즈 롤 오프로 인해 감소된 휘도를 가질 수도 있는 이미지의 영역 내에 있더라도, 그 구름을 표현하는 픽셀의 휘도는 최대 휘도 레벨로 증가되지 않는다. 픽셀 휘도를 최대 휘도 레벨로 증가시키는 이득을 렌즈 롤 오프 보정 동작이 적용하는 것을 방지함으로써, 렌즈 롤 오프로 인한 이미지 데이터의 열화가 과포화로 인한 디테일의 손실 없이 보정될 수도 있다.
특정 실시형태에서, 휘도 정보 (111) 는 복수의 색상 성분들 각각에 대응하는 휘도 값을 포함하고, 렌즈 롤 오프 값들 (112) 은 색상 성분들 각각에 대한 값들을 포함한다. 복수의 색상 성분들 각각에 대응하는 휘도 값들에 기초하여 렌즈 롤 오프 값들을 보정하는 것은, 색상 성분들 중 하나에 대응하는 렌즈 롤 오프 값을 보정하는 것을 포함할 수도 있다. 특정 실시형태에서, 특정 렌즈 롤 오프 값은, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (114) 에 의해, 이미지 데이터 (109) 의 픽셀의 특정 색상 성분에 대해 렌즈 롤 오프 보정 동작을 수행하는데 이용될 수도 있다. 예를 들어, 이미지 데이터 (109) 에 대해 렌즈 롤 오프 보정 동작을 수행하는 것은 픽셀의 적어도 하나의 색상 성분의 휘도 값을 증가시키는 것을 포함할 수도 있다. 각각의 색상 성분에 대한 휘도 값들에 대해 렌즈 롤 오프 보정 동작을 수행하는 것은 렌즈 롤 오프로 인한 이미지 열화를 보정하는데 있어서 더 큰 정확도를 허용할 수도 있다.
도 2 를 참조하면, 휘도 정보에 기초하여 보정된 렌즈 롤 오프 값들을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하는 방법의 예시적인 실시형태가 개시되며, 일반적으로 200 으로 표기된다. 이미지 프로세싱 시스템 (예를 들어, 도 1 의 이미지 프로세싱 시스템 (110)) 은 이 방법 (200) 에 따라 렌즈 롤 오프 보정 동작을 수행할 수도 있다.
이미지 프로세싱 시스템은 이미지 데이터를 수신하고 휘도 정보를 계산할 수도 있다 (212). 휘도 정보는 이미지 데이터 내의 픽셀들의 휘도를 나타낼 수도 있다. 특정 실시형태에서, 픽셀들의 휘도 정보는 픽셀들의 위치의 함수에 기초하여 표현된다. 도 2 에 휘도 정보의 그래프 (210) 로 예시한 바와 같이, "X" 축 및 "Y" 축은 이미지의 2 차원 평면의 좌표들에 대응한다. 그래프의 제 3 축은 그들의 위치 (X, Y) 에서의 픽셀들의 휘도 측정치 (brightness measurement) 를 나타낸다. 예를 들어, 이미지 데이터의 휘도 정보의 그래프 (210) 에 예시한 바와 같이, 이미지 데이터 내의 픽셀들의 휘도는 일반적으로 "Y" 값의 증가에 따라 증가한다 (예를 들어, 이미지의 우측을 표현하는 픽셀들은 이미지의 좌측을 표현하는 픽셀들보다 밝다).
이미지 프로세싱 시스템은 렌즈 롤 오프 값들을 결정할 수도 있다 (216). 특정 실시형태에서, 렌즈 롤 오프 값들은 픽셀들의 위치의 함수에 기초하여 컴퓨팅되며, 픽셀들에 적용될 이득 값들을 나타낼 수도 있다. 도 2 에 렌즈 롤 오프 값들의 그래프 (214) 로 예시한 바와 같이, "X" 축 및 "Y" 축은 이미지의 2 차원 평면의 좌표들에 대응한다. 제 3 축은 특정 위치들 (X,Y) 에서의 픽셀들의 렌즈 롤 오프 값들을 나타낸다. 특정 실시형태에서, 적어도 하나의 렌즈 롤 오프 값은 렌즈 롤 오프 보정 함수로부터 컴퓨팅된다. 예를 들어, 렌즈 롤 오프 값들의 그래프 (214) 에 따르면, 렌즈 롤 오프 값들은 이미지의 중심으로부터의 거리의 증가에 따라 증가한다. 이 경우에, 이미지의 외부 에지들을 표현하는 픽셀들은 최고의 대응하는 렌즈 롤 오프 값들을 갖는다.
이미지 프로세싱 시스템은 휘도 정보에 기초하여 렌즈 롤 오프 값들을 보정할 수도 있다 (220). 휘도 정보에 기초하여 렌즈 롤 오프 값들을 보정하는 것은, 렌즈 롤 오프 보정 동작의 수행이 픽셀의 휘도 값을 휘도 임계값 (226) 보다 높게 증가시킬 때 적어도 하나의 렌즈 롤 오프 값을 감소시키는 것을 포함할 수도 있다. 예를 들어, 렌즈 롤 오프 값들의 그래프 (214) 로부터의 렌즈 롤 오프 값들을 이용한 렌즈 롤 오프 보정 동작의 수행은 이미지 데이터의 휘도 정보를 휘도 임계값 (226) 보다 높게 증가시킬 것이다. 대안으로, 또는 추가로, 휘도 정보에 기초하여 렌즈 롤 오프 값들을 보정하는 것은 하나 이상의 렌즈 롤 오프 값들을 증가시키는 것을 포함할 수도 있다. 특정 실시형태에서, 렌즈 롤 오프 값들을 증가 또는 감소시키는 것은 렌즈 롤 오프 보정 함수에 변경을 도입하는 것을 포함할 수도 있다. 예를 들어, 렌즈 롤 오프 보정 함수는 렌즈 롤 오프 보정 함수를 표현하는 등식의 항에의 계수의 가산에 의해 변경될 수도 있다.
도 2 는 감소된 보정된 렌즈 롤 오프 값들의 그래프 (218) 를 포함한다. 그래프 (218) 에 예시한 바와 같이, 이미지의 우측을 표현하는 픽셀들에 대응하는 렌즈 롤 오프 값들은 과포화를 방지하기 위해 휘도 정보에 기초하여 감소되었다. 예를 들어, 휘도 임계값 (226) 에 가까운 이미지의 우측을 표현하는 픽셀들의 휘도 정보를 계산하는 것에 응답하여, 이미지 프로세싱 시스템은, 렌즈 롤 오프 보정 동작의 수행 후에 픽셀들의 휘도 정보가 휘도 임계값 (226) 을 초과하는 것을 회피하기 위하여 이미지 내의 우측을 표현하는 픽셀들에 대응하는 렌즈 롤 오프 값들을 감소시킬 수도 있다. 그러나, 이미지의 좌측에 적용될 렌즈 롤 오프 값들은, 미보정된 렌즈 롤 오프 값들을 이용한 렌즈 롤 오프 보정 동작의 수행이 좌측을 표현하는 픽셀들의 휘도 정보를 임계값보다 높게 증가시키지 않을 것이기 때문에 그래프 (218) 에서 감소되지 않았다.
이미지 프로세싱 시스템은 보정된 렌즈 롤 오프 값들을 이용하여 렌즈 롤 오프 보정 동작을 수행할 수도 있다 (224). 특정 실시형태에서, 렌즈 롤 오프 보정 동작을 수행하는 것은, 보정된 렌즈 롤 오프 값들을 대응하는 픽셀들에 적용하는 것을 포함한다. 예를 들어, 보정된 데이터의 휘도 정보의 그래프 (222) 에 예시한 바와 같이, 이미지의 우측을 표현하는 픽셀들의 이미지 데이터의 휘도는 이미지의 좌측을 표현하는 픽셀들의 이미지 데이터의 휘도보다 낮은 비율로 증가되었다.
도 3 을 참조하면, 휘도 정보에 기초한 렌즈 롤 오프 보정 시스템의 예시적인 실시형태가 도시되며, 일반적으로 300 으로 표기된다. 휘도 정보에 기초한 렌즈 롤 오프 보정 시스템 (300) 은 도 1 의 이미지 캡처링 및 프로세싱 시스템 (100) 일 수도 있다. 특정 실시형태에서, 도 3 에 예시한 바와 같이, 휘도 정보에 기초한 렌즈 롤 오프 보정 시스템 (300) 은 렌즈 (391), 센서 (390) 및 이미지 프로세서 (368) 를 포함한다. 이미지 프로세서 (368) 는 센서 (390) 에 커플링되고, 센서 (390) 는 렌즈 (391) 에 커플링될 수도 있다. 이미지 프로세서 (368) 는 메모리 (308), 렌즈 롤 오프 선택 모듈 (301), 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302), 및 이득 제어 모듈 (304) 을 포함할 수도 있다. 렌즈 롤 오프 선택 모듈 (301) 은 초기 렌즈 롤 오프 값들을 결정하고, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 휘도 정보에 기초하여 렌즈 롤 오프 값들을 보정하며, 이득 제어 모듈 (304) 은, 보정된 렌즈 롤 오프 값들이 상위 (upper) 및 하위 (lower) 이득 임계값들을 충족한다는 것을 검증한 후에 보정된 렌즈 롤 오프 값들을 이미지 데이터에 적용한다.
센서 (390) 는 렌즈 (391) 를 통해 수신된 이미지 (350) 를 캡처링하고, 그 이미지 (350) 를 이미지 데이터로서 이미지 프로세서 (368) 에 통신하도록 구성된다. 특정 실시형태에서, 이미지 데이터는 개개의 픽셀 값들에 더하여 이미지 (350) 의 휘도 정보 (311) 를 포함한다. 대안으로, 이미지 프로세서 (368) 는 휘도 정보 (311) 를 계산하도록 구성될 수도 있다. 예시한 바와 같이, 휘도 정보 (311) 는 제 1 휘도 측정치 (B1) (312) 및 제 2 휘도 측정치 (B2) (313) 와 같이, 그리드 (314) 의 각각의 구역에 대한 휘도 측정치들을 포함할 수도 있다.
특정 실시형태에서, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 제 1 규정된 구역 및 제 2 규정된 구역을 포함하는 이미지 (350) 의 복수의 구역들을 규정하도록 구성된다. 특정 실시형태에서, 복수의 구역들은 실질적으로 동일 사이즈의 구역들의 그리드 (314) 에 대응한다. 도 3 에 예시된 실시형태에서, 그리드 (314) 는 16 개의 동일 사이즈의 정사각형 구역들을 포함한다. 대안으로, 그리드 (314) 는 임의의 수의 구역들을 포함할 수도 있으며, 동일 사이즈의 구역들은 직사각형, 피라미드형, 또는 다른 형상일 수도 있다. 또한, 다른 실시형태에서는, 그 구역들이 상이한 사이즈를 가질 수도 있다.
예시한 바와 같이, 복수의 구역들 (예를 들어, 도 3 의 16 개의 동일 사이즈의 정사각형 구역들) 은 개개의 구역들의 휘도 정보를 결정하기 이전에 규정된다. 그러나, 다른 실시형태들에서, 이미지 프로세서 (368) 는 이미지 데이터의 적어도 하나의 구역을 규정하도록 구성될 수도 있다. 특정 실시형태에서, 복수의 구역들 중 적어도 하나의 구역은 에지 검출을 이용하여 식별된다. 예를 들어, 실질적으로 유사한 휘도 레벨들을 가진 픽셀들을 포함하는 구역이 식별될 수도 있으며, 여기서 실질적으로 유사한 휘도 레벨들은 구역 밖의 휘도 레벨들과 소정양만큼 다르다.
휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 휘도 정보 (311) 에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하도록 구성될 수도 있다. 특정 실시형태에서, 휘도 정보 (311) 에 기초하여 적어도 하나의 렌즈 롤 오프 값을 보정하는 것은, 렌즈 롤 오프 보정 동작의 수행이 픽셀의 휘도 값을 휘도 임계값보다 높게 증가시킬 때 적어도 하나의 렌즈 롤 오프 값을 감소시키는 것을 포함한다. 특정 실시형태에서, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 이미지 (350) 의 제 1 규정된 구역의 제 1 휘도 측정치 (312) 에 기초하여 제 1 렌즈 롤 오프 값 (LROV1) (315) 을 보정하도록 구성된다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 이미지 (350) 의 제 2 규정된 구역의 제 2 휘도 측정치 (313) 에 기초하여 제 2 렌즈 롤 오프 값 (LROV2) (316) 을 보정하도록 구성될 수도 있다.
이득 제어 모듈 (304) 은 이득 임계값에 기초하여 적어도 하나의 렌즈 롤 오프 값을 보정하도록 구성될 수도 있다. 예를 들어, 이득 임계값에 기초하여 적어도 하나의 렌즈 롤 오프 값을 보정하는 것은, 적어도 하나의 렌즈 롤 오프 값이 상위 이득 임계값 (340) 보다 높을 때 적어도 하나의 렌즈 롤 오프 값을 감소시키는 것을 포함한다. 대안으로, 이득 임계값에 기초하여 적어도 하나의 렌즈 롤 오프 값을 보정하는 것은, 렌즈 롤 오프 값이 하위 이득 임계값 (341) 보다 낮을 때 적어도 하나의 렌즈 롤 오프 값을 증가시키는 것을 포함할 수도 있다.
이득 제어 모듈 (304) 은 보정된 렌즈 롤 오프 값들을 이용하여 렌즈 롤 오프 보정 동작을 수행하도록 구성될 수도 있다. 특정 실시형태에서, 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하는 것은 이미지 데이터 내의 픽셀의 휘도 값을 증가시키는 것을 포함한다. 픽셀의 휘도 값을 증가시키는 것은, 픽셀의 휘도 값에 적어도 하나의 보정된 렌즈 롤 오프 값을 곱하는 것을 포함한다. 렌즈 롤 오프 보정 동작 동안, 픽셀의 휘도 값이 증가되는 양은 보정된 렌즈 롤 오프 값들에 기초할 수도 있다. 예를 들어, 이득 제어 모듈 (304) 은 제 1 보정된 렌즈 롤 오프 값 (CV1) (319) 에 적어도 부분적으로 기초하여 제 1 규정된 구역의 제 1 픽셀 값 (P1) (351) 을 조정하도록 구성될 수도 있다. 특정 실시형태에서, 이득 제어 모듈 (304) 은 제 2 보정된 렌즈 롤 오프 값 (CV2) (320) 에 적어도 부분적으로 기초하여 제 2 규정된 구역의 제 2 픽셀 값 (P2) (352) 을 조정하도록 구성된다. 대안으로, 이득 제어 모듈 (304) 은 보정된 렌즈 롤 오프 값들과 다른 정보의 조합에 기초하여 픽셀 값들을 조정할 수도 있다. 따라서, 조정된 픽셀 값들은 보정된 렌즈 롤 오프 값들에 적어도 부분적으로 기초하지만 추가적인 정보에 기초할 수도 있다.
동작 동안, 센서 (390) 는 이미지 (350) 를 수신하고, 그 이미지 (350) 를 렌즈 롤 오프 선택 모듈 (301) 에 의해 수신될 수도 있는 이미지 데이터로 변환할 수도 있다. 이미지 데이터에 기초하여, 렌즈 롤 오프 선택 모듈 (301) 은 조명 조건 (lighting condition) 과 같은 렌즈 롤 오프 특성을 생성하고, 그 렌즈 롤 오프 특성을 이용하여 복수의 렌즈 롤 오프 값 시나리오 테이블들 (307) 중에서 일 렌즈 롤 오프 값 시나리오 테이블 (306) 을 선택할 수도 있다. 대안으로, 렌즈 롤 오프 값 시나리오 테이블 (306) 은 사용자에 의해 직접 선택될 수도 있다. 예를 들어, 사용자는, 이미지 (350) 가 캡처링되기 전의 시간에 저광 조건 (low-light condition) 이 존재할 때 저광 렌즈 롤 오프 값 시나리오 테이블을 선택하는 것에 의해서와 같이, 이미지 (350) 가 캡처링되기 전의 조명 조건에 기초하여 렌즈 롤 오프 값 시나리오 테이블 (306) 을 선택할 수도 있다. 대안으로, 렌즈 롤 오프 선택 모듈 (301) 은, 이미지 (350) 가 캡처링되기 전의 시간에 고광 조건 (high-light conditions) 이 존재한다는 것을 센서 (390) 가 나타낼 때 고광 렌즈 롤 오프 값 시나리오 테이블을 선택할 수도 있다. 다른 실시형태들에서, 렌즈 롤 오프 값 시나리오 테이블의 선택은, 이미지 (350) 가 캡처링된 후에 수행된다. 선택된 렌즈 롤 오프 값 시나리오 테이블 (306) 및 복수의 렌즈 롤 오프 값 시나리오 테이블들 (307) 은 메모리 (308) 내에 저장될 수도 있다.
렌즈 롤 오프 값 시나리오 테이블 (306) 의 선택 후에, 렌즈 롤 오프 선택 모듈 (301) 은 선택된 렌즈 롤 오프 값 시나리오 테이블 (306) 내의 값들을 이용하여 이미지 데이터에 적용될 보정 계수를 결정할 수도 있다. 특정 실시형태에서, 이미지 데이터 내의 픽셀들에 적용된 보정 계수는 이미지 (350) 의 중심에 대한 픽셀들의 위치에 의존할 수도 있다. 예를 들어, 픽셀에 적용된 보정 계수는, 픽셀의 이미지 (350) 의 중심까지의 거리가 증가함에 따라 증가할 수도 있다. 특정 실시형태에서, 렌즈 롤 오프 선택 모듈 (301) 에 의해 선택 또는 컴퓨팅된 이미지 데이터의 픽셀 위치들에 대응하는 각각의 보정 계수는 렌즈 롤 오프 값들을 야기한다. 예를 들어, 제 1 픽셀에 적용된 보정 계수는 제 1 렌즈 롤 오프 값 (315) 을 야기할 수도 있다. 특정 실시형태에서, 제 2 픽셀에 적용된 보정 계수의 적용은 제 2 렌즈 롤 오프 값 (316) 을 야기한다. 렌즈 롤 오프 선택 모듈 (301) 은 제 1 렌즈 롤 오프 값 (315) 및 제 2 렌즈 롤 오프 값 (316) 을 메모리 (308) 내의 렌즈 롤 오프 값들의 테이블 (309) 내에 저장할 수도 있다. 렌즈 롤 오프 선택 모듈 (301) 은 선택된 렌즈 롤 오프 시나리오 테이블 (306) 로부터 획득된 데이터에 기초하여 렌즈 롤 오프 값들을 생성 또는 계산하는 것으로 설명되지만, 다른 실시형태들에서는, 적어도 하나의 렌즈 롤 오프 값은 렌즈 롤 오프 보정 시나리오 테이블로부터 취출 (retrieve) 될 수도 있다 (예를 들어, 선택된 렌즈 롤 오프 시나리오 테이블 (306) 이 렌즈 롤 오프 값들 (315 및 316) 을 포함할 수도 있다).
제 1 롤 렌즈 오프 값 (315) 및 제 2 렌즈 롤 오프 값 (316) 을 포함하는 렌즈 롤 오프 값들 및 이미지 데이터는 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 에 통신될 수도 있다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 렌즈 롤 오프 값들의 테이블 (309) 로부터 제 1 렌즈 롤 오프 값 (315) 및 제 2 렌즈 롤 오프 값 (316) 을 취출할 수도 있다. 대안으로, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 렌즈 롤 오프 선택 모듈 (301) 로부터 제 1 렌즈 롤 오프 값 (315) 및 제 2 렌즈 롤 오프 값 (316) 을 수신할 수도 있다.
휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 이미지 (350) 의 다수의 구역들의 휘도 측정치를 포함하는 휘도 정보 (311) 를 수신할 수도 있다. 휘도 정보 (311) 는 이미지 (350) 의 각각의 구역 내의 각각의 픽셀의 휘도 측정치 또는 이미지 (350) 내의 각각의 구역의 평균 휘도 측정치를 포함할 수도 있다. 예를 들어, 휘도 정보 (311) 는 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 에 대해 외부적으로 컴퓨팅된 화이트 밸런스 통계 (white balance statistics) 에 대응할 수도 있다. 대안으로, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 각각의 구역의 평균 휘도 측정치를 결정할 수도 있다. 일 구역의 평균 휘도는 그 구역 내의 각각의 픽셀의 휘도 측정치들의 합을 그 구역 내의 픽셀들의 총 수로 나눔으로써 계산될 수도 있다. 예를 들어, 이미지 (350) 의 제 1 구역은 제 1 픽셀을 포함하는 250 개의 픽셀들로 표현될 수도 있다. 픽셀들의 250 개의 휘도 측정치들 모두의 합을 250 으로 나누는 것은 제 1 구역의 평균 휘도 측정치 (예를 들어, 제 1 휘도 측정치 (312)) 를 야기한다.
휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 휘도 정보 (311) 에 기초하여 제 1 렌즈 롤 오프 값 (315) 및 제 2 렌즈 롤 오프 값 (316) 을 조정할 수도 있다. 일 실시형태에서, 제 1 렌즈 롤 오프 값 (315) 은 제 1 픽셀의 렌즈 롤 오프를 보정하기 위해 제 1 픽셀 값에 적용될 이득을 표현하는 값이다. 예를 들어, 제 1 렌즈 롤 오프 값 (315) 이 1.35 와 같은 경우, 제 1 픽셀의 휘도는 제 1 픽셀의 렌즈 롤 오프를 보정하기 위해 1.35 의 이득만큼 증가될 수도 있다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 제 1 구역의 평균 휘도 측정치와 같이, 제 1 픽셀을 포함하는 제 1 구역의 제 1 휘도 측정치 (312) 에 기초하여 제 1 렌즈 롤 오프 값 (315) 을 조정할 수도 있다.
휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 제 1 픽셀 값에 적용될 이득을 감소시킴으로써 제 1 렌즈 롤 오프 값 (315) 을 조정할 수도 있다. 예를 들어, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은, 제 1 구역 내의 평균 휘도 (예를 들어, 제 1 휘도 측정치 (312)) 가 제 1 휘도 임계값을 초과할 때 제 1 렌즈 롤 오프 값 (315) 을 감소시킬 수도 있다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 제 1 보정된 렌즈 롤 오프 값 (319) 으로서 제 1 렌즈 롤 오프 값 (315) 을 감소시킨 결과를 저장할 수도 있다. 제 1 보정된 렌즈 롤 오프 값 (319) 은 메모리 (308) 에서 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장될 수도 있다. 예를 들어, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 제 1 렌즈 롤 오프 값 (315) (예를 들어, 1.35) 을 조정된 값 1.01 로 감소시킬 수도 있고, 그 조정된 값 1.01 을 제 1 보정된 렌즈 롤 오프 값 (319) 으로서 메모리 (308) 내의 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장할 수도 있다.
일 실시형태에서, 제 2 렌즈 롤 오프 값 (316) 은 제 2 픽셀의 렌즈 롤 오프를 보정하기 위해 제 2 픽셀에 적용될 수도 있는 이득을 표현하는 값이다. 예를 들어, 제 2 렌즈 롤 오프 값 (316) 이 1.13 과 같은 경우, 제 2 픽셀의 휘도는 제 2 픽셀의 렌즈 롤 오프를 보정하기 위해 1.13 의 이득만큼 증가될 수도 있다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 제 2 픽셀을 포함하는 제 2 구역의 제 2 휘도 측정치 (313) 에 기초하여 제 2 렌즈 롤 오프 값 (316) 을 조정할 수도 있다.
휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 제 2 픽셀에 적용될 이득을 증가시킴으로써 제 2 렌즈 롤 오프 값 (316) 을 조정할 수도 있다. 예를 들어, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은, 제 2 구역 내의 평균 휘도 (예를 들어, 제 2 휘도 측정치 (313)) 가 제 2 휘도 임계값을 초과할 때 제 2 렌즈 롤 오프 값 (316) 을 증가시킬 수도 있다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 제 2 보정된 렌즈 롤 오프 값 (320) 으로서 제 2 렌즈 롤 오프 값 (316) 을 증가시킨 결과를 저장할 수도 있다. 제 2 보정된 렌즈 롤 오프 값 (320) 은 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장될 수도 있다. 예를 들어, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 제 2 렌즈 롤 오프 값 (316) (예를 들어, 1.13) 을 조정된 값 1.30 으로 증가시킬 수도 있으며, 그 조정된 값 1.30 을 제 2 보정된 렌즈 롤 오프 값 (320) 으로서 메모리 (308) 내의 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장할 수도 있다.
이득 제어 모듈 (304) 은 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 로부터 이미지 데이터를 수신하고, 보정된 렌즈 롤 오프 값들의 테이블 (318) 로부터 보정된 렌즈 롤 오프 값들을 취출할 수도 있다. 이득 제어 모듈 (304) 은 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장된 제 1 보정된 렌즈 롤 오프 값 (319) 및 제 2 보정된 렌즈 롤 오프 값 (320) 을 조정할 수도 있다. 예를 들어, 이득 제어 모듈 (304) 은, 그 값들이 상위 이득 임계값 (340) 보다 높을 때 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장된 값들을 감소시킨다. 예를 들어, 제 1 보정된 렌즈 롤 오프 값 (319) 이 1.30 과 같고 상위 이득 임계값 (340) 이 1.175 와 같은 제 1 이득 임계값인 경우, 이득 제어 모듈 (304) 은 제 1 보정된 렌즈 롤 오프 값 (319) 을 1.175 로 감소시킬 수도 있으며, 옵션으로는 그 감소된 값을 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장할 수도 있다.
특정 실시형태에서, 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장된 값들은, 보정된 렌즈 롤 오프 값들의 테이블 (318) 의 보정된 렌즈 롤 오프 값들이 하위 이득 임계값 (341) 보다 낮다는 것을 이득 제어 모듈 (304) 이 검출한 후에 이득 제어 모듈 (304) 에 의해 증가된다. 예를 들어, 제 2 보정된 렌즈 롤 오프 값 (320) 이 1.01 과 같고 하위 이득 임계값 (341) 이 1.05 와 같은 제 2 이득 임계값인 경우, 이득 제어 모듈 (304) 은 제 2 보정된 렌즈 롤 오프 값 (320) 을 1.05 로 증가시킬 수도 있으며, 옵션으로는 그 증가된 값을 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장할 수도 있다.
이득 제어 모듈 (304) 은, 보정된 렌즈 롤 오프 값들, 이를 테면, 제 1 보정된 렌즈 롤 오프 값 (319) 및 제 2 보정된 렌즈 롤 오프 값 (320) 을 적용하여 이미지 데이터의 픽셀들의 휘도를 조정할 수도 있다. 특정 실시형태에서, 이득 제어 모듈 (304) 은 제 1 픽셀의 휘도 (351) 를, 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 제 1 보정된 렌즈 롤 오프 값 (319) 으로서 저장된 값만큼 증가시킨다. 이득 제어 모듈 (304) 은 제 1 픽셀의 휘도 (351) 에 제 1 보정된 렌즈 롤 오프 값 (319) 을 곱할 수도 있다. 예를 들어, 제 1 픽셀의 휘도 (351) 가 1.1 과 같고 제 1 보정된 렌즈 롤 오프 값 (319) 이 1.75 와 같은 경우, 이득 제어 모듈 (304) 은 제 1 픽셀의 휘도 (351) (예를 들어. 1.1) 에 제 1 보정된 렌즈 롤 오프 값 (319) (예를 들어, 1.75) 을 곱하여, 1.925 와 같은 곱 (product) 을 야기할 수도 있다. 이득 제어 모듈 (304) 은 제 1 픽셀의 휘도 (351) 를 1.925 로 증가시킬 수도 있다.
이득 제어 모듈 (304) 은 제 2 보정된 렌즈 롤 오프 값 (320) 에 기초하여 제 2 픽셀의 휘도 (352) 를 감소시킬 수도 있다. 예를 들어, 제 2 픽셀의 휘도 (352) 값이 1.4 와 같고 제 2 보정된 렌즈 롤 오프 값 (320) 이 0.80 과 같은 경우, 제 2 픽셀의 휘도 (352) (예를 들어, 1.4) 에 제 2 보정된 렌즈 롤 오프 값 (320) (예를 들어, 0.80) 을 곱하는 것은 1.12 와 같은 곱을 야기한다. 이득 제어 모듈 (304) 은 제 2 픽셀의 휘도 (352) 를 1.12 로 감소시킬 수도 있다. 이득 제어 모듈 (304) 은 조정된 이미지 데이터를 추가 프로세싱을 위해, 다른 모듈들, 이를 테면 도 1 의 이미지 프로세싱 시스템 (130) 내의 노이즈 감소 모듈 (116) 에 송신할 수도 있다.
렌즈 롤 오프 보정 동작 동안 이용되는 렌즈 롤 오프 값들 (예를 들어, 제 1 렌즈 롤 오프 값 (315) 및 제 2 렌즈 롤 오프 값 (316)) 을 보정하는 것은, 이미지 (150) 내, 특히 이미지 (150) 의 밝은 영역 또는 저광 영역의 디테일을 보존할 수도 있다. 예를 들어, 렌즈 롤 오프 선택 모듈 (301) 에 의해, 사진의 상부 에지의 밝은 스카이라인을 포함하는 풍경 사진의 이미지에 대해 생성된 렌즈 롤 오프 값들은 매우 밝은 픽셀들의 휘도를 증가시킬 수도 있다. 일 실시형태에서, 스카이라인을 표현하는 픽셀들의 휘도를 증가시키는 것은 스카이라인의 디테일의 손실을 야기할 수도 있다. 예를 들어, 스카이라인의 일부인 구름의 색상 및 다크니스의 변화는, 모든 구름의 휘도가 증가될 때 덜 구별가능할 수도 있다. 구름 픽셀의 휘도를 증가시키는 대신에, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은, 구름 픽셀을 둘러싸는 구역이 이미 밝다는 것을 결정한 후에 구름을 표현하는 픽셀의 휘도를 감소시킬 수도 있다. 구름을 표현하는 픽셀이 렌즈 롤 오프로 인해 감소된 휘도를 가질 수도 있는 이미지의 영역 내에 있더라도, 구름 픽셀의 휘도는 감소될 수도 있다. 따라서, 도 3 의 휘도 정보에 기초한 렌즈 롤 오프 보정 시스템 (300) 은 이미지 디테일을 보존할 수도 있다.
도 4 를 참조하면, 일반도 (general diagram) 가 휘도 정보에 기초하여 렌즈 롤 오프 값들을 보정하는 것을 예시한다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (예를 들어, 도 2 의 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302)) 은 렌즈 롤 오프 값들의 테이블 (401) 내에 저장된 렌즈 롤 오프 값들을 보정할 수도 있고, 그 보정된 렌즈 롤 오프 값들을 보정된 렌즈 롤 오프 값들의 테이블 (402) 내에 저장할 수도 있다.
예를 들어, 도 4 에서, 제 1 렌즈 롤 오프 값 (403) 은 1.2500 과 같다. 제 1 렌즈 롤 오프 값 (403) 을 보정하는 것은 휘도 정보에 기초하여 제 1 렌즈 롤 오프 값 (403) 을 감소시키는 것을 포함할 수도 있다. 예를 들어, 도 3 의 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은, 제 1 구역 내의 평균 휘도가 제 1 휘도 임계값을 초과할 때 제 1 렌즈 롤 오프 값 (403) 을 감소시킬 수도 있다. 감소된 렌즈 롤 오프 값은 제 1 보정된 렌즈 롤 오프 값 (404) 으로서 저장될 수도 있다. 특정 실시형태에서, 제 1 보정된 렌즈 롤 오프 값 (404) 은 보정된 렌즈 롤 오프 값들의 테이블 (402) 내에 저장될 수도 있다. 예를 들어, 도 3 의 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 1.2500 과 같은 제 1 렌즈 롤 오프 값 (315) 을 1.0103 으로 감소시키고, 그 값 1.0103 을 제 1 보정된 렌즈 롤 오프 값 (319) 으로서 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장할 수도 있다.
다른 예로서, 도 4 에서, 제 2 렌즈 롤 오프 값 (405) 은 1.1300 과 같다. 제 2 렌즈 롤 오프 값 (405) 을 보정하는 것은, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 이 제 2 픽셀에 적용될 제 2 렌즈 롤 오프 값 (405) 을 증가시키는 것을 포함할 수도 있다. 예를 들어, 도 3 의 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은, 제 2 구역 내의 평균 휘도가 제 2 휘도 임계값보다 낮을 때 제 2 렌즈 롤 오프 값 (405) 을 증가시킬 수도 있다. 증가된 렌즈 롤 오프 값은 제 2 보정된 렌즈 롤 오프 값 (406) 으로서 저장될 수도 있다. 예를 들어, 제 2 보정된 렌즈 롤 오프 값 (406) 은 보정된 렌즈 롤 오프 값들의 테이블 (402) 내에 저장될 수도 있다. 예를 들어, 도 3 의 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 1.1300 과 같은 제 2 렌즈 롤 오프 값 (316) 을 1.2000 으로 증가시키고, 그 값 1.2000 을 제 2 보정된 렌즈 롤 오프 값 (320) 으로서 보정된 렌즈 롤 오프 값들의 테이블 (318) 내에 저장할 수도 있다.
도 4 의 특정 구현에 예시한 바와 같이, 렌즈 롤 오프 값들은, 그리드 (314) 의 각각의 구역의 중심과 같은 대표적인 픽셀 위치들에 제공될 수도 있고, 각각의 픽셀에 대한 렌즈 롤 오프 값은 제공된 값들의 쌍입방형 (bicubic) 또는 쌍선형 (bilinear) 보간을 통해 계산될 수도 있다. 그러나, 다른 실시형태들에서, 렌즈 롤 오프 값 연산은 대신에 각각의 픽셀 위치에서의 보정 함수의 값을 컴퓨팅하는 것에 의해서와 같이, 픽셀 단위로 (on a pixel-by-pixel basis) 구현될 수도 있다.
도 5 는 이미지 데이터에 대해 휘도 정보에 기초한 렌즈 롤 오프 보정을 수행하는 방법 (500) 의 제 1 예시적인 실시형태의 흐름도이다. 특정 실시형태에서, 이 방법 (500) 은, 도 1 내지 도 3 의 시스템들 중 임의의 시스템 또는 이들의 임의의 조합에 의해 수행된다. 이미지 데이터가 수신된다 (502). 예를 들어, 도 3 의 이미지 프로세서 (368) 는 센서 (390) 로부터 이미지 데이터를 수신한다. 이미지 데이터의 휘도 정보가 계산된다 (504). 예를 들어, 도 3 의 이미지 프로세서 (368) 는 이미지 데이터의 휘도 정보 (311) 를 계산할 수도 있다. 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값이 휘도 정보에 기초하여 보정된다 (506). 예를 들어, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302) 은 휘도 정보 (311) 의 제 1 휘도 측정치 (312) 에 기초하여 제 1 렌즈 롤 오프 값 (315) 을 보정한다. 렌즈 롤 오프 보정 동작이 적어도 하나의 보정된 렌즈 롤 오프 값을 이용하여 이미지 데이터에 대해 수행된다 (508). 예를 들어, 이득 제어 모듈 (304) 은 적어도 하나의 보정된 렌즈 롤 오프 값 (예를 들어, 보정된 렌즈 롤 오프 값 (319)) 을 이용하여 이미지 데이터 (예를 들어, 픽셀 값 (351)) 에 대해 렌즈 롤 오프 보정 동작을 수행한다.
휘도 정보에 기초하여 보정된 값들을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하는 것은, 이미지 데이터 내, 특히 이미지 데이터의 밝은 영역 또는 저광 영역의 디테일을 보존 또는 향상시킬 수도 있다. 예를 들어, 과포화를 방지하기 위해 밝은 구역들이 휘도 임계값을 초과하는 것을 방지하며, 어두운 영역들이 향상될 수도 있다.
도 6 은 휘도 정보에 기초하여 보정된 값들을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하기 위한 디바이스 (600) 의 특정 실시형태의 블록도이다. 이 디바이스 (600) 는 렌즈 (668) 에 커플링되고, 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (670) 에 또한 커플링되는 이미지 센서 디바이스 (620) 를 포함한다. 이미지 센서 디바이스 (620) 는 도 1 내지 도 3 의 모듈들 또는 시스템들 중 하나 이상을 구현할 수도 있고, 도 5 의 실시형태들 또는 방법들 중 임의의 것, 또는 이들의 임의의 조합에 따라 동작할 수도 있는 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (664) 을 포함한다.
휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (664) 은 이미지 어레이 (650) 로부터 이미지 데이터를, 이를 테면, 이미지 어레이 (650) 의 출력을 수신하도록 구성된 아날로그-디지털 (analog-to-digital; A/D) 변환기 (626) 를 통해 수신하도록 구성된다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (664) 은 이미지 어레이 (650) 에서 캡처링된 이미지들로부터 획득된 휘도 측정치들에 기초하여 렌즈 롤 오프 값들을 보정하여, 이미지 어레이 (650) 와 휘도 정보에 기초한 렌즈 롤 오프 보정 기능성을 가능하게 할 수도 있다. 또한, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (664) 은 결과의 이미지를, 더 낮은 레졸루션 운송 및 저장 메커니즘들과 양립가능하도록 압축할 수도 있다. 예를 들어, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (664) 은 도 3 의 렌즈 롤 오프 선택 모듈 (301), 도 3 의 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (302), 및 도 3 의 이득 제어 모듈 (304) 을 포함할 수도 있다.
이미지 센서 디바이스 (620) 는 또한 프로세서 (610) 를 포함할 수도 있다. 특정 실시형태에서, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (664) 은 프로세서 (610) 에 의해 실행된다. 예를 들어, 프로세서 (610) 는 프로세서 판독가능 매체로부터 명령들을 판독하고, 그 명령들을 실행하여 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (664) 의 기능들을 구현하도록 구성될 수도 있다. 다른 실시형태에서, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (664) 은 이미지 프로세싱 회로로서 구현된다.
프로세서 (610) 는 또한 추가적인 이미지 프로세싱 동작들, 이를 테면, 도 1 의 모듈들 (114, 116 및 118) 에 의해 수행되는 동작들 중 하나 이상을 수행하도록 구성될 수도 있다. 프로세서 (610) 는 프로세싱된 이미지 데이터를 추가 프로세싱, 송신, 저장, 디스플레이, 또는 이들의 임의의 조합을 위해 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (670) 에 제공할 수도 있다.
이미지 어레이 (650) 로부터의 이미지 데이터는 이미지 어레이 (650) 의 하드웨어에 대한 변경 없이 렌즈 롤 오프 보정 동작을 수행하기 위해 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (664) 에 송신될 수도 있다. 따라서, 휘도 정보에 기초한 렌즈 롤 오프 보정은 이미지 데이터에 대해 수행될 수도 있고, 기존의 이미지 어레이 하드웨어로 구현될 수도 있다.
도 7 은 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (764) 을 갖는 무선 통신 디바이스 (700) 의 일 실시형태의 블록도이다. 무선 통신 디바이스 (700) 는 프로세서 (710), 이를 테면 메모리 (732) 에 커플링된 디지털 신호 프로세서 (DSP) 를 포함하는 휴대용 무선 전자 디바이스로서 구현될 수도 있다. 예시적인 예에서, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (764) 은 도 1 내지 도 3 및 도 6 의 모듈들 또는 시스템들 중 하나 이상을 포함하거나, 또는 도 5 의 실시형태들 또는 방법들 중 임의의 것, 또는 이들의 임의의 조합에 따라 동작한다. 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (764) 은 프로세서 (710) 에 통합될 수도 있고, 또는 별개의 디바이스일 수도 있다.
일 실시형태에서, 무선 통신 디바이스 (700) 는 프로세서 (710) 에 커플링되고, 비디오 카메라 또는 스틸 카메라 (770) 와 같은 카메라에 또한 커플링되는 카메라 인터페이스 (768) 를 포함한다. 디스플레이 제어기 (726) 가 프로세서 (710) 에, 그리고 디스플레이 디바이스 (728) 에 커플링된다. 코더/디코더 (CODEC) (734) 가 또한 프로세서 (710) 에 커플링될 수 있다. 스피커 (736) 및 마이크로폰 (738) 이 CODEC (734) 에 커플링될 수도 있다. 무선 인터페이스 (740) 가 프로세서 (710) 에, 그리고 무선 안테나 (742) 에 커플링될 수도 있다.
특정 실시형태에서, 프로세서 (710) 는 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (764) 을 포함하고, 이미지 데이터의 휘도 정보를 캡처링하기 위해 카메라 (770) 에 의해 캡처링된 이미지 데이터를 수신하고, 휘도 정보에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하며, 카메라 (770) 와 보정된 렌즈 롤 오프 값 기능성을 이용하여 이미지 데이터에 대해 렌즈 롤 오프 보정 동작을 수행하도록 구성된다. 또한, 휘도 정보에 기초한 렌즈 롤 오프 보정 모듈 (764) 은 결과의 프로세싱된 이미지를 더 낮은 레졸루션 운송 및 저장 메커니즘들과 양립가능하도록 압축할 수도 있다.
프로세서 (710) 는 또한 다양한 소스들로부터 수신될 수도 있는 휘도 정보에 기초한 렌즈 롤 오프 보정의 이미지 정보를 생성 및 압축하도록 구성될 수도 있다. 예를 들어, 이미지 데이터는, 예시적인, 비제한적 예들로서, 카메라 (770) 로부터의 비디오 데이터 또는 스틸 이미지들, 무선 인터페이스 (740) 를 통해 수신된 무선 송신, 또는 범용 직렬 버스 (universal serial bus; USB) 인터페이스 (미도시) 를 통해 커플링된 외부 디바이스와 같은 다른 소스들로부터의 이미지 데이터를 포함할 수도 있다.
특정 실시형태에서, 프로세서 (710) 는, 조정된 이득 값들이 이미지의 픽셀 값들에 부가된 이미지 데이터를 생성하고, 조정된 이미지 데이터를 디스플레이를 위해 디스플레이 디바이스 (728) 에 제공하도록 구성된다. 또한, 프로세서 (710) 는 또한 이미지 데이터를 메모리 (732) 에 저장하거나, 또는 무선 인터페이스 (740) 를 통해 통신될 이미지 데이터를 제공하도록 구성될 수도 있다.
디스플레이 제어기 (726) 는 프로세싱된 이미지 데이터를 수신하여 프로세싱된 이미지 데이터를 디스플레이 디바이스 (728) 에 제공하도록 구성된다. 또한, 메모리 (732) 는 프로세싱된 이미지 데이터를 수신하고 저장하도록 구성될 수도 있으며, 무선 인터페이스 (740) 는 프로세싱된 이미지 데이터를 안테나 (742) 를 통한 송신을 위해 수신하도록 구성될 수도 있다.
특정 실시형태에서, 신호 프로세서 (710), 디스플레이 제어기 (726), 메모리 (732), CODEC (734), 무선 인터페이스 (740) 및 카메라 인터페이스 (768) 는 패키지형 시스템 (system-in-package) 또는 시스템온칩 (system-on-chip) 디바이스 (722) 에 포함된다. 특정 실시형태에서, 입력 디바이스 (730) 및 전원 (744) 은 시스템온칩 디바이스 (722) 에 커플링된다. 또한, 특정 실시형태에서는, 도 7 에 예시한 바와 같이, 디스플레이 디바이스 (728), 입력 디바이스 (730), 스피커 (736), 마이크로폰 (738), 무선 안테나 (742), 비디오 카메라 (770), 및 전원 (744) 이 시스템온칩 디바이스 (722) 의 외부에 있다. 그러나, 디스플레이 디바이스 (728), 입력 디바이스 (730), 스피커 (736), 마이크로폰 (738), 무선 안테나 (742), 비디오 카메라 (770), 및 전원 (744) 각각은 인터페이스 또는 제어기와 같이, 시스템온칩 디바이스 (722) 의 컴포넌트에 커플링될 수 있다.
당업자는 또한, 여기에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 로직 블록들, 구성들, 모듈들, 회로들 및 알고리즘 단계들이 전자 하드웨어, 프로세서에서 실행하는 컴퓨터 소프트웨어, 또는 양자의 조합으로서 구현될 수도 있다는 것을 알 것이다. 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들은 그들의 기능성의 관점에서 일반적으로 상술되어 있다. 이러한 기능성이 하드웨어로서 구현되는지 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약들에 의존한다. 당업자는, 상기 설명된 기능성을 각각의 특정 애플리케이션마다 다양한 방식들로 구현할 수도 있지만, 이러한 구현 결정은 본 개시물의 범위로부터의 일탈을 야기하는 것으로서 해석되어서는 안된다.
여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 직접 하드웨어에, 프로세서에 의해 실행된 명령들을 포함하는 소프트웨어에, 또는 이 둘의 조합에 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그램가능한 판독 전용 메모리 (PROM), 소거가능한 프로그램가능한 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그램가능한 판독 전용 메모리 (EEPROM), 레지스터, 하드 디스크, 착탈식 디스크, 콤팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 당업계에 알려져 있는 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 일 예시적인 저장 매체는 프로세서에 커플링되어, 그 프로세서가 저장 매체로부터 정보를 판독하고 그 저장 매체에 정보를 기입할 수 있도록 한다. 대안으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 대안으로, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기 내에 별개의 컴포넌트들로서 상주할 수도 있다.
상기 개시된 실시형태들의 이전 설명은 임의의 당업자로 하여금 상기 개시된 실시형태들을 실시 또는 이용할 수 있게 하기 위해 제공된다. 이들 실시형태들에 대한 다양한 변형은 당업자에게 쉽게 명백할 것이며, 여기에 정의된 원리는 본 개시물의 범위로부터의 일탈 없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 여기에 나타난 실시형태들로 제한되는 것으로 의도되지 않고, 다음의 특허청구의 범위에 의해 정의된 바와 같은 원리들 및 신규한 특징들에 가능한 부합하는 최광의 범위를 따르게 될 것이다.

Claims (30)

  1. 이미지 센서 및 렌즈를 포함하는 전자 디바이스에서 수행되는 방법으로서,
    상기 이미지 센서로부터 이미지 데이터를 수신하는 단계;
    상기 렌즈에 관련된 렌즈 롤-오프 (roll-off) 값들을 획득하는 단계;
    상기 이미지 데이터의 휘도 정보를 계산하는 단계;
    렌즈 롤 오프 보정 동작의 수행이 픽셀의 휘도 값을 휘도 임계값보다 높게 증가시킬 때 적어도 하나의 렌즈 롤 오프 값을 감소시킴으로써, 상기 휘도 정보에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하는 단계; 및
    상기 적어도 하나의 보정된 렌즈 롤 오프 값을 이용하여 상기 이미지 데이터에 대해 상기 렌즈 롤 오프 보정 동작을 수행하는 단계를 포함하는, 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 이미지 데이터에 대해 상기 렌즈 롤 오프 보정 동작을 수행하는 단계는, 상기 이미지 데이터 내의 픽셀의 휘도 값을 증가시키는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 렌즈 롤 오프 값을 이득 임계값에 기초하여 보정하는 단계를 더 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 적어도 하나의 렌즈 롤 오프 값을 이득 임계값에 기초하여 보정하는 단계는, 상기 적어도 하나의 렌즈 롤 오프 값이 상위 이득 (upper gain) 임계값보다 높을 때 상기 적어도 하나의 렌즈 롤 오프 값을 감소시키는 단계를 포함하는, 방법.
  6. 제 4 항에 있어서,
    상기 적어도 하나의 렌즈 롤 오프 값을 이득 임계값에 기초하여 보정하는 단계는, 상기 적어도 하나의 렌즈 롤 오프 값이 하위 이득 (lower gain) 임계값보다 낮을 때 상기 적어도 하나의 렌즈 롤 오프 값을 증가시키는 단계를 포함하는, 방법.
  7. 제 3 항에 있어서,
    상기 픽셀의 휘도 값을 증가시키는 단계는, 상기 픽셀의 휘도 값에 상기 적어도 하나의 보정된 렌즈 롤 오프 값을 곱하는 단계를 포함하는, 방법.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 렌즈 롤 오프 값은 렌즈 롤 오프 보정 함수로부터 컴퓨팅되는, 방법.
  9. 제 8 항에 있어서,
    상기 적어도 하나의 렌즈 롤 오프 값을 보정하는 단계는, 상기 렌즈 롤 오프 보정 함수를 변경하는 단계를 포함하는, 방법.
  10. 제 1 항에 있어서,
    상기 이미지 데이터의 복수의 구역들을 규정하는 단계를 더 포함하는, 방법.
  11. 제 10 항에 있어서,
    적어도 하나의 구역을 에지 검출을 이용하여 식별하는 단계를 더 포함하는, 방법.
  12. 제 11 항에 있어서,
    상기 적어도 하나의 구역을 에지 검출을 이용하여 식별하는 단계는, 실질적으로 유사한 휘도 레벨들을 가진 픽셀들을 포함하는 구역을 식별하는 단계를 포함하며,
    상기 실질적으로 유사한 휘도 레벨들은 상기 식별된 구역 밖의 휘도 레벨들과 소정량만큼 다른, 방법.
  13. 이미지 센서;
    렌즈; 및
    이미지 프로세서를 포함하며,
    상기 이미지 프로세서는,
    상기 이미지 센서로부터 이미지 데이터를 수신하고;
    상기 렌즈에 관련된 렌즈 롤 오프 (roll-off) 값들을 획득하고;
    상기 이미지 데이터의 휘도 정보를 계산하고;
    렌즈 롤 오프 보정 동작의 수행이 픽셀의 휘도 값을 휘도 임계값보다 높게 증가시킬 때 적어도 하나의 렌즈 롤 오프 값을 감소시킴으로써, 상기 휘도 정보에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하며;
    상기 적어도 하나의 보정된 렌즈 롤 오프 값을 이용하여 상기 렌즈 롤 오프 보정 동작을 수행하도록 구성된, 장치.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 휘도 정보는 복수의 색상 성분들 각각에 대응하는 휘도 값을 포함하는, 장치.
  16. 제 13 항에 있어서,
    상기 이미지 데이터에 대해 상기 렌즈 롤 오프 보정 동작을 수행하는 것은, 픽셀의 적어도 하나의 색상 성분의 휘도 값을 증가시키는 것을 포함하는, 장치.
  17. 제 13 항에 있어서,
    상기 이미지 프로세서는 또한, 일 구역의 평균 휘도 측정치를 결정하도록 구성되는, 장치.
  18. 제 17 항에 있어서,
    상기 휘도 정보에 기초하여 상기 적어도 하나의 렌즈 롤 오프 값을 보정하는 것은, 상기 구역의 상기 평균 휘도 측정치에 기초하여 상기 적어도 하나의 렌즈 롤 오프 값을 보정하는 것을 포함하는, 장치.
  19. 제 13 항에 있어서,
    상기 이미지 프로세서는 또한, 상기 이미지 데이터의 적어도 하나의 구역을 규정하도록 구성되는, 장치.
  20. 제 13 항에 있어서,
    상기 이미지 프로세서는 또한, 상기 이미지 데이터의 복수의 구역들을 규정하도록 구성되며,
    상기 복수의 구역들은 동일 사이즈의 구역들의 그리드를 형성하는, 장치.
  21. 제 13 항에 있어서,
    상기 적어도 하나의 렌즈 롤 오프 값은 렌즈 롤 오프 보정 시나리오 테이블로부터 취출되며,
    상기 렌즈 롤 오프 보정 시나리오 테이블은 상기 이미지 데이터와 관련된 조명 조건 (lighting condition) 에 기초하여 선택되는, 장치.
  22. 제 13 항에 있어서,
    상기 보정된 렌즈 롤 오프 값들은 보정된 렌즈 롤 오프 값들의 테이블 내에 저장되는, 장치.
  23. 이미지 센서;
    렌즈;
    상기 이미지 센서로부터 이미지 데이터를 수신하는 수단;
    상기 렌즈에 관련된 렌즈 롤 오프 (roll-off) 값들을 획득하는 수단;
    상기 이미지 데이터의 휘도 정보를 계산하는 수단;
    렌즈 롤 오프 보정 동작의 수행이 픽셀의 휘도 값을 휘도 임계값보다 높게 증가시킬 때 적어도 하나의 렌즈 롤 오프 값을 감소시킴으로써, 상기 휘도 정보에 기초하여 렌즈 롤 오프 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하는 수단; 및
    상기 적어도 하나의 보정된 렌즈 롤 오프 값을 이용하여 상기 렌즈 롤 오프 보정 동작을 수행하는 수단을 포함하는, 장치.
  24. 제 23 항에 있어서,
    상기 적어도 하나의 렌즈 롤 오프 값을 이득 임계값에 기초하여 보정하는 수단을 더 포함하는, 장치.
  25. 제 24 항에 있어서,
    상기 적어도 하나의 렌즈 롤 오프 값을 이득 임계값에 기초하여 보정하는 수단은, 상기 적어도 하나의 렌즈 롤 오프 값이 상위 이득 (upper gain) 임계값보다 높을 때 상기 적어도 하나의 렌즈 롤 오프 값을 감소시키는 수단을 포함하는, 장치.
  26. 제 24 항에 있어서,
    상기 적어도 하나의 렌즈 롤 오프 값을 이득 임계값에 기초하여 보정하는 수단은, 상기 적어도 하나의 렌즈 롤 오프 값이 하위 이득 (lower gain) 임계값보다 낮을 때 상기 적어도 하나의 렌즈 롤 오프 값을 증가시키는 수단을 포함하는, 장치.
  27. 컴퓨터 실행가능한 코드를 저장하는 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 실행가능한 코드는,
    이미지 센서로부터 이미지 데이터를 수신하기 위한 코드;
    렌즈에 관련된 렌즈 롤 오프 (roll-off) 값들을 획득하기 위한 코드;
    상기 이미지 데이터의 휘도 정보를 계산하기 위한 코드;
    렌즈 롤 오프 보정 동작의 수행이 픽셀의 휘도 값을 임계값보다 높게 증가시킬 때 적어도 하나의 렌즈 롤 오프 값을 감소시킴으로써, 상기 휘도 정보에 기초하여 렌즈 롤 오프 (roll-off) 보정 동작에 이용될 적어도 하나의 렌즈 롤 오프 값을 보정하기 위한 코드; 및
    상기 보정된 렌즈 롤 오프 값을 이용하여 상기 렌즈 롤 오프 보정 동작을 수행하기 위한 코드를 포함하는, 컴퓨터 판독가능 매체.
  28. 삭제
  29. 제 27 항에 있어서,
    상기 휘도 정보는 복수의 색상 성분들 각각에 대응하는 휘도 값을 포함하는, 컴퓨터 판독가능 매체.
  30. 제 27 항에 있어서,
    상기 이미지 데이터에 대해 상기 렌즈 롤 오프 보정 동작을 수행하기 위한 코드는, 픽셀의 적어도 하나의 색상 성분의 휘도 값을 증가시키기 위한 코드를 포함하는, 컴퓨터 판독가능 매체.
KR1020127001213A 2009-06-22 2010-06-21 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작 KR101337667B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/488,737 US8270754B2 (en) 2009-06-22 2009-06-22 Lens roll-off correction operation using values corrected based on brightness information
US12/488,737 2009-06-22
PCT/US2010/039383 WO2010151512A1 (en) 2009-06-22 2010-06-21 Lens roll-off correction operation using values corrected based on brightness information

Publications (2)

Publication Number Publication Date
KR20120031067A KR20120031067A (ko) 2012-03-29
KR101337667B1 true KR101337667B1 (ko) 2013-12-06

Family

ID=42646274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127001213A KR101337667B1 (ko) 2009-06-22 2010-06-21 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작

Country Status (8)

Country Link
US (1) US8270754B2 (ko)
EP (1) EP2446414B1 (ko)
JP (1) JP5619882B2 (ko)
KR (1) KR101337667B1 (ko)
CN (1) CN102804227B (ko)
ES (1) ES2554628T3 (ko)
TW (1) TW201110674A (ko)
WO (1) WO2010151512A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102679905A (zh) * 2012-01-10 2012-09-19 天津大学 像素级自适应数字光学亮度衰减方法及衰减装置
US9300888B2 (en) * 2013-10-03 2016-03-29 Amlogic Co., Ltd. Methods and systems for lens shading correction
JP2015099956A (ja) * 2013-11-18 2015-05-28 ソニー株式会社 撮像装置、情報処理装置、撮像システム及びプログラム
CN107517305B (zh) * 2017-07-10 2019-08-30 Oppo广东移动通信有限公司 移动终端及其调整方法、拍摄控制方法和装置
KR20230041195A (ko) * 2021-09-17 2023-03-24 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006253892A (ja) 2005-03-09 2006-09-21 Canon Inc 画像処理方法及び画像処理装置
KR20070057913A (ko) * 2004-09-02 2007-06-07 콸콤 인코포레이티드 렌즈 롤-오프 정정 방법 및 장치
JP2008124793A (ja) 2006-11-13 2008-05-29 Fujifilm Corp 撮像装置、撮像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094508A (en) * 1997-12-08 2000-07-25 Intel Corporation Perceptual thresholding for gradient-based local edge detection
JP2001054013A (ja) * 1999-08-13 2001-02-23 Fuji Photo Film Co Ltd 撮像信号処理装置およびその処理方法
JP2004038728A (ja) * 2002-07-05 2004-02-05 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および、画像処理プログラムを記録した記録媒体
JP4235408B2 (ja) 2002-07-15 2009-03-11 富士フイルム株式会社 ノイズ低減回路及び撮像装置
JP2004222134A (ja) 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd 撮像装置
JP4309695B2 (ja) * 2003-05-14 2009-08-05 オリンパス株式会社 画像処理システム、画像処理制御方法、及びプログラム
JP2008053931A (ja) * 2006-08-23 2008-03-06 Fujifilm Corp 撮像装置
US8023758B2 (en) * 2007-08-07 2011-09-20 Qualcomm Incorporated Surface mesh matching for lens roll-off correction
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070057913A (ko) * 2004-09-02 2007-06-07 콸콤 인코포레이티드 렌즈 롤-오프 정정 방법 및 장치
JP2006253892A (ja) 2005-03-09 2006-09-21 Canon Inc 画像処理方法及び画像処理装置
JP2008124793A (ja) 2006-11-13 2008-05-29 Fujifilm Corp 撮像装置、撮像方法

Also Published As

Publication number Publication date
WO2010151512A1 (en) 2010-12-29
CN102804227B (zh) 2015-10-07
EP2446414A1 (en) 2012-05-02
CN102804227A (zh) 2012-11-28
TW201110674A (en) 2011-03-16
JP5619882B2 (ja) 2014-11-05
KR20120031067A (ko) 2012-03-29
ES2554628T3 (es) 2015-12-22
US8270754B2 (en) 2012-09-18
EP2446414B1 (en) 2015-09-30
US20100322532A1 (en) 2010-12-23
JP2013500610A (ja) 2013-01-07

Similar Documents

Publication Publication Date Title
US8797421B2 (en) System and method to selectively combine images
US8111300B2 (en) System and method to selectively combine video frame image data
US9710895B2 (en) Image processing device, image capture device, image processing method, and program
US9681026B2 (en) System and method for lens shading compensation
US20140078247A1 (en) Image adjuster and image adjusting method and program
US20150070537A1 (en) Lens Shading Modulation
US8120658B2 (en) Hand jitter reduction system for cameras
EP2896201A1 (en) Imaging controller and imaging control method and program
US9699427B2 (en) Imaging device, imaging method, and image processing device
US9799105B2 (en) Image processing device, imaging device, image processing method, and program for restoration processing based on a point spread function and a frame after a frame to be processed
WO2014038685A1 (en) Image processor, imaging apparatus equipped with the same, and image processing method
KR101337667B1 (ko) 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작
US10475162B2 (en) Image processing device, method, and storage medium for gamma correction based on illuminance
JP6742231B2 (ja) 画像処理装置及び方法、及び撮像装置
US8154618B2 (en) Imaging apparatus and method for setting the same
JP2015119436A (ja) 撮像装置
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP6849351B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007300320A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20120116

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130131

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130830

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20131129

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20131129

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20161028

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170929

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180928

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190924

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210929

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220921

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20230921

Start annual number: 11

End annual number: 11