Nothing Special   »   [go: up one dir, main page]

KR102368625B1 - 디지털 촬영 장치 및 그 방법 - Google Patents

디지털 촬영 장치 및 그 방법 Download PDF

Info

Publication number
KR102368625B1
KR102368625B1 KR1020150104360A KR20150104360A KR102368625B1 KR 102368625 B1 KR102368625 B1 KR 102368625B1 KR 1020150104360 A KR1020150104360 A KR 1020150104360A KR 20150104360 A KR20150104360 A KR 20150104360A KR 102368625 B1 KR102368625 B1 KR 102368625B1
Authority
KR
South Korea
Prior art keywords
group
imaging signal
image
acquiring
period
Prior art date
Application number
KR1020150104360A
Other languages
English (en)
Other versions
KR20170011555A (ko
Inventor
박재형
최우석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150104360A priority Critical patent/KR102368625B1/ko
Priority to US15/001,415 priority patent/US9986163B2/en
Priority to EP16827908.1A priority patent/EP3326359A4/en
Priority to PCT/KR2016/003229 priority patent/WO2017014404A1/en
Priority to CN201610247860.4A priority patent/CN106375655A/zh
Publication of KR20170011555A publication Critical patent/KR20170011555A/ko
Application granted granted Critical
Publication of KR102368625B1 publication Critical patent/KR102368625B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N5/23251—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H04N5/225—
    • H04N5/23267—
    • H04N5/355—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

디지털 촬영 장치는, 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하고, 제1 그룹에서 1회 상기 촬상 신호를 획득하는 동안, 제2 그룹에서 복수회 상기 촬상 신호를 획득하는 이미지 센서; 및 이미지 센서에서 획득된 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득하고, 제2 그룹에서 획득된 촬상 신호에 기초하여 상기 움직임이 보정된 영상을 획득하는 프로세서를 포함할 수 있다.

Description

디지털 촬영 장치 및 그 방법{Digital photographing apparatus and the method for the same}
다양한 실시예들은 디지털 촬영 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 움직임을 보정하는 디지털 촬영 장치 및 그 방법에 관한 것이다.
스마트폰, 태블릿, 디지털 카메라, 디지털 캠코더 등과 같은 디지털 촬영 장치에서 촬영된 영상의 움직임을 보정하는 다양한 방법이 이용되고 있다.
디지털 촬영 장치에서 촬영된 정지영상에 나타나는 블러(Blur)는 크게 두 가지를 포함할 수 있다. 한 가지는 촬영된 피사체의 움직임으로 인한 모션 블러 (motion blur)이고, 다른 한 가지는 손떨림에 의한 핸드 블러(hand blur)이다. 전자는 일반적으로 영상의 국부 움직임(local motion)으로 나타나고, 후자는 영상의 광역 움직임(global motion)으로 나타날 수 있다..
디지털 촬영 장치에서 촬영된 영상의 움직임을 보정하는 한 방법으로는, 흔들림의 반대 방향으로 영상을 시프트하여 보상하는 방법이 있다. 또 다른 방법으로는, 디지털 촬영 장치에서 획득되는 전기 신호들을 이용하여 영상을 보정하는 방법이 있다.
다양한 실시예들은, 움직임이 보정된 영상 획득을 위한 전력 소비를 감소시키고, 야경 및 저조도 환경에서도 흔들림 없는 영상을 획득하기 위한 디지털 촬영 장치 및 그 방법을 제공하기 위한 것이다.
또한, 다양한 실시예들은 움직임이 보다 정확하게 보정된 영상을 획득하기 위한 디지털 촬영 장치 및 그 방법을 제공하기 위한 것이다.
일 실시예에 따른 디지털 촬영 장치는
입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하고,
제1 그룹에서 1회 촬상 신호를 획득하는 동안, 제2 그룹에서 복수회 촬상 신호를 획득하는 이미지 센서; 및
이미지 센서에서 획득된 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득하고,
제2 그룹에서 획득된 촬상 신호에 기초하여 움직임이 보정된 영상을 획득하는 프로세서를 포함할 수 있다.
일 실시예에 따른 프로세서는
제1 그룹에서 획득된 촬상 신호, 및 제2 그룹에서 획득된 촬상 신호의 값들을 합한 것에 기초하여, 영상을 획득할 수 있다.
일 실시예에 따른 디지털 촬영 장치에서 제1 그룹에 포함된 화소들의 수는 제2 그룹에 포함된 화소들의 수 보다 많을 수 있다.
일 실시예에 따른 이미지 센서는
제1 그룹에서 제1 주기로 촬상 신호를 획득하고, 제2 그룹에서 제2 주기로 촬상 신호를 획득하고,
제1 주기는 제2 주기의 배수(multiple)일 수 있다.
일 실시예에 따른 프로세서는,
제2 그룹에서 획득한 촬상 신호에 기초하여, 제2 주기로 중간 영상들을 획득하고, 획득된 중간 영상들에 기초하여 제1 주기 동안의 움직임 벡터들을 획득할 수 있다.
일 실시예에 따른 프로세서는,
획득된 움직임 벡터들 및 디지털 촬영 장치의 사용자의 손떨림 정보에 기초하여, 움직임이 보정된 영상을 획득할 수 있다.
일 실시예에 따른 디지털 촬영 장치는 움직임이 보정된 영상을 디스플레이하는 디스플레이부를 더 포함할 수 있다.
일 실시예에 따른 디스플레이부는,
움직임이 보정된 영상을 디스플레이하기 전에, 제2 그룹에서 획득된 촬상 신호에 기초하여 획득된 중간 영상들에 기초하여 라이브뷰 영상을 디스플레이할 수 있다.
일 실시예에 따른 프로세서는
제1 주기, 제2 주기 및 제2 주기 동안의 노광 시간 중 적어도 하나를 조절하여 WDR 기능을 수행할 수 있다.
일 실시예에 따른 이미지 센서는 거리 정보를 획득할 수 있는 화소들을 포함하고,
일 실시예에 따른 프로세서는 거리 정보를 획득할 수 있는 화소들에 의해 획득된 위상차 신호를 이용하여 거리정보 획득 및 AF를 수행할 수 있다.
일 실시예에 따른 디지털 촬영 방법은, 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하는 이미지 센서를 이용할 수 있다.
일 실시예에 따른 디지털 촬영 방법은,
제1 그룹에서 1 회 촬상 신호를 획득하는 동안, 제2 그룹에서 적어도 2회 촬상 신호를 획득하는 단계;
이미지 센서에서 획득된 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득하는 단계; 및
제2 그룹에서 획득된 촬상 신호에 기초하여 움직임이 보정된 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 영상을 획득하는 단계는
제1 그룹에서 획득된 촬상 신호, 및 제2 그룹에서 획득된 촬상 신호의 값들을 합한 것에 기초하여, 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법에서 제1 그룹에 포함된 화소들의 수는 제2 그룹에 포함된 화소들의 수 보다 많을 수 있다.
일 실시예에 따른 촬상 신호를 획득하는 단계는
제1 그룹에서 제1 주기로 촬상 신호를 획득하는 단계; 및
제2 그룹에서 제2 주기로 촬상 신호를 획득하는 단계를 포함하고, 제1 주기는 제2 주기의 배수(multiple)일 수 있다.
일 실시예에 따른 움직임이 보정된 영상을 획득하는 단계는
제2 그룹에서 획득한 촬상 신호에 기초하여, 제2 주기로 중간 영상들을 획득하는 단계; 및
획득된 중간 영상들에 기초하여 제1 주기 동안의 움직임 벡터들을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 움직임의 궤적을 결정하는 단계는
획득된 움직임 벡터들 및 디지털 촬영 장치의 사용자의 손떨림 정보에 기초하여, 움직임이 보정된 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 움직임이 보정된 영상을 디스플레이하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 움직임이 보정된 영상을 디스플레이하기 전에, 제2 그룹에서 획득한 촬상 신호에 기초하여 획득된 중간 영상들에 기초하여 라이브뷰 영상을 디스플레이하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 제1 주기, 제2 주기 및 제2 주기 동안의 노광 시간 중 적어도 하나를 조절하여 WDR 기능을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 이미지 센서에 포함된 거리 정보를 획득할 수 있는 화소들에 의해 획득된 위상차 신호를 이용하여 거리 정보 획득 및 AF를 수행할 수 있다.
일 실시예에 따른 이미지 센서는 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하고,
제1 그룹에서 1 회 촬상 신호를 획득하는 동안, 제2 그룹에서 적어도 2회 촬상 신호를 획득할 수 있다.
일 실시예에 따른 이미지 센서는 제1 그룹에 포함된 화소들의 수는 제2 그룹에 포함된 화소들의 수 보다 많을 수 있다.
일 실시예에 따른 이미지 센서는 제1 그룹에서 제1 주기로 촬상 신호를 획득하고, 제2 그룹에서 제2 주기로 촬상 신호를 획득하고, 제1 주기는 제2 주기의 배수(multiple)일 수 있다.
다양한 실시예들에 의하면, 움직임이 보정된 영상 획득을 위한 전력 소비를 감소시키고, 야경 및 저조도 환경에서도 흔들림 없는 영상을 획득할 수 있다.
또한, 다양한 실시예들에 의하면, 움직임이 보다 정확하게 보정된 영상을 획득할 수 있게 된다.
도 1은 일 실시예에 따른 디지털 촬영 장치의 동작을 설명하기 위한 도면이다.
도 2a는 일 실시예에 따른 이미지 센서(200a)의 제1 그룹을 설명하기 위한 도면이다.
도 2b는 일 실시예에 따른 이미지 센서(200b)의 제2 그룹을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 디지털 촬영 장치(100)의 구조를 설명하기 위한 블록도이다.
도 4는 일 실시예에 따른 디지털 촬영 장치(100a)의 구조를 설명하기 위한 블록도이다.
도 5는 일 실시예에 따른 디지털 촬영 장치(100b)의 구조를 설명하기 위한 블록도이다.
도 6은 일 실시예에 따른 디지털 촬영 장치(100c)의 구조를 설명하기 위한 블록도이다.
도 7은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
도 8a 내지 도 8c는 디지털 촬영 장치(100)가 제1 라인들에서 촬상 신호를 획득하는 것을 설명하기 위한 도면이다.
도 9a 내지 도 9c는 디지털 촬영 장치(100)가 제2 라인들에서 촬상 신호를 획득하는 것을 설명하기 위한 도면이다.
도 10는, 디지털 촬영 장치(100)에서 움직임이 보정된 결과 영상(1030)을 획득하는 것을 설명하기 위한 도면이다.
도 11은 디지털 촬영 장치(100)에서 획득한 움직임의 궤적이 나타나는 영상(1100)을 도시한다.
도 12는 일 실시예에 따라 위상차 검출용 화소들을 포함하는 이미지 센서(1200)를 도시한다.
도 13은 스킵 리드 방식으로 제1 라인에서 촬상 신호를 획득하는 이미지 센서(1300)를 도시한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시예에 따른 디지털 촬영 장치의 동작을 설명하기 위한 도면이다.
일 실시예에 따른 디지털 촬영 장치는 이미지 센서를 포함할 수 있다.
이미지 센서는 입사광을 광전 변환하여 전기적인 촬상 신호를 생성할 수 있다. 이미지 센서는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이미지 센서는 광학 신호를 전기 신호로 변환하기 위한 복수개의 화소들을 포함할 수 있고, 복수개의 화소들은 행렬 형태로 배열될 수 있다.
이미지 센서는 복수의 화소들의 그룹인 제1 그룹 및 제2 그룹을 포함할 수 있다.
제1 그룹은 디지털 촬영 장치에서 정지 영상을 한 장 촬영하는 동안, 촬상 신호가 1회 획득되는 화소 열을 포함할 수 있다.
제2 그룹은 디지털 촬영 장치에서 정지 영상을 한 장 촬영하는 동안, 촬상 신호가 복수 회 획득되는 화소 열을 포함할 수 있다. 즉, 디지털 촬영 장치에서 정지 영상을 한 장 촬영하는 동안, 디지털 촬영 장치는 제2 그룹에서 촬상 신호를 복수 회에 나누어 획득할 수 있다.
제1 그룹 및 제2 그룹에 포함된 화소들의 배치는 특정 형태에 제한되지 않는다. 즉, 하나의 그룹에 포함된 화소들은 이미지 센서 내에서 서로 인접하여 위치된 것이 아닐 수 있으며, 산재되어 분포될 수도 있다.
이하에서는, 편의상 제1 그룹은 제1 라인들(102)의 형태로 배치되어 있고, 제2 그룹은 제2 라인들(104)의 형태로 배치되어 있는 경우를 예를 들어 설명한다. 제1 라인들(102) 및 제2 라인들(104)은 복수개의 화소들을 포함하는 적어도 하나의 화소 열을 포함할 수 있다.
도 1의 101는 이미지 센서의 전체에서 제1 라인들(102)이 배치된 영역들을 밝은 색으로 나타낸 것이다. 또한, 도 1의 103은 이미지 센서의 전체에서 제2 라인들(104)이 배치된 영역들을 밝은 색으로 나타낸 것이다.
도 1을 참고하면, 제1 라인들(102)이 배치된 영역들의 면적이 제2 라인들(104)이 배치된 영역들의 면적보다 더 넓을 수 있다. 또한, 제1 라인들(102)을 포함하는 영역과 제2 라인들(104)을 포함하는 영역은 서로 번갈아가면서 배치될 수 있다.
도 1을 참고하면 디지털 촬영 장치는 101의 제1 라인들(102)이 배치된 영역들에서 획득되는 촬상 신호 및 103의 제2 라인들(104)이 배치된 영역들에서 복수 회 획득되는 촬상 신호에 기초하여, 결과 영상(105)을 획득할 수 있다.
한편, 디지털 촬영 장치가 피사체를 촬영하여 결과 영상(105)을 획득할 때에 피사체의 움직임이 발생할 수 있다. 도 1을 참고하면 디지털 촬영 장치는 103의 제2 라인들(104)이 배치된 영역들에서 획득되는 촬상 신호에 기초하여, 결과 영상(105)에서 나타나는 움직임을 보정할 수 있다.
구체적으로, 디지털 촬영 장치는 103의 제2 라인들(104)이 배치된 영역들에서 획득되는 촬상 신호들에 기초하여 복수개의 중간 영상들을 획득할 수 있다. 디지털 촬영 장치는 복수의 중간 영상들에 기초하여 결과 영상에 나타나는 움직임의 궤적을 결정할 수 있다. 디지털 촬영 장치는 결정된 움직임의 궤적에 기초하여 결과 영상(105)에서 나타나는 움직임을 보정할 수 있다.
한편, 디지털 촬영 장치가 이미지 센서의 전체 영역에서 촬상 신호를 1회 획득할 때에 0.1초 이상의 시간이 소요될 수 있다.
만약, 디지털 촬영 장치가 이미지 센서의 전체 영역에서 복수 회 획득한 촬상 신호를 이용하여 움직임 보정을 하는 방식을 이용하는 경우, 디지털 촬영 장치가 이미지 센서의 전체 영역에서 촬상 신호를 적어도 2회 획득할 때에는 적어도 0.2초의 시간이 소요되게 된다.
도 1을 이용하여 설명한 디지털 촬영 장치는, 한 장의 정지 영상을 획득하는 동안 이미지 센서의 일부 영역에서는 촬상 신호를 1회 획득하고, 다른 일부 영역에서는 촬상 신호를 복수 회 획득할 수 있다. 또한, 디지털 촬영 장치는 복수 회 획득된 촬상 신호로부터 움직임을 보정할 수 있다. 이에 따르면, 디지털 촬영 장치가 움직임 보정을 위해 이미지 센서의 전체 영역에서 획득한 촬상 신호를 이용하는 경우보다, 영상 획득에 소요되는 시간이 단축될 수 있다.
도 2a는 일 실시예에 따른 이미지 센서(200a)의 제1 그룹을 설명하기 위한 도면이다.
일 실시예에 따른 이미지 센서(200a)는 행렬 형태로 배열된 복수의 화소들(209)을 포함할 수 있다.
이미지 센서(200a)는 제1 그룹을 포함할 수 있다. 제1 그룹에 포함된 화소들의 배치는 특정 형태에 제한되지 않는다. 즉, 제1 그룹에 포함된 화소들은 이미지 센서 내에서 서로 인접하여 위치된 것이 아닐 수 있으며, 산재되어 분포될 수도 있다.
이하에서는, 편의상 제1 그룹은 제1 라인들(201, 203, 205, 207)의 형태로 배치되어 있는 경우를 예를 들어 설명한다.
도 2a를 참고하면, 제1 라인들(201, 203, 205, 207)은 복수개의 화소들을 포함하는 적어도 하나의 화소 열을 포함할 수 있다.
디지털 촬영 장치에서 정지 영상을 한 장 촬영하는 동안, 이미지 센서(200a)는 제1 라인들(201, 203, 205, 207)에서 촬상 신호를 1회 획득할 수 있다.
제1 라인(201)은 화소 열들(201a, 201b, 201c)을 포함할 수 있다. 도 2a에서는 제1 라인들(201, 203, 205, 207)이 세개의 화소 열들을 포함하는 것으로 도시되었지만, 본 발명의 실시예들은 이에 한정되지 않는다. 또한, 도 2a에서는 20*16 크기의 이미지 센서(200a)가 도시되었지만, 본 발명의 실시예들은 이에 한정되지 않는다. 이미지 센서(200a)의 화소 수 및 배치는 실시예들에 따라 달라질 수 있다. 제1 라인들에는 거리 정보를 획득 할 수 있는 화소들이 있을 수 있다.
도 2b는 일 실시예에 따른 이미지 센서(200b)의 제2 그룹을 설명하기 위한 도면이다.
일 실시예에 따른 이미지 센서(200b)는 행렬 형태로 배열된 복수의 화소들을 포함할 수 있다.
이미지 센서(200b)는 제2 그룹을 포함할 수 있다. 제2 그룹에 포함된 화소들의 배치는 특정 형태에 제한되지 않는다. 즉, 제2 그룹에 포함된 화소들은 이미지 센서 내에서 서로 인접하여 위치된 것이 아닐 수 있으며, 산재되어 분포될 수도 있다.
이하에서는, 편의상 제2 그룹은 제2 라인들(202, 204, 206, 208)의 형태로 배치되어 있는 경우를 예를 들어 설명한다.
도 2b를 참고하면, 제2 라인들(202, 204, 206, 208)은 복수개의 화소들을 포함하는 적어도 하나의 화소 열을 포함할 수 있다.
디지털 촬영 장치에서 정지 영상을 한 장 촬영하는 동안, 이미지 센서(200b)는 제2 라인들(202, 204, 206, 208)에서 촬상 신호를 복수 회 획득할 수 있다.
제2 라인들(202, 204, 206, 208) 각각은 화소 열을 포함할 수 있다. 도 2b에서는 제2 라인들(202, 204, 206, 208)이 하나의 화소 열을 포함하는 것으로 도시되었지만, 본 발명의 실시예들은 이에 한정되지 않는다. 또한 도 2b에서는 20*16 크기의 이미지 센서(200b)가 도시되었지만, 본 발명의 실시예들은 이에 한정되지 않는다. 이미지 센서(200b)의 화소 수 및 배치는 실시예들에 따라 달라질 수 있다. 제2 라인들에는 거리 정보를 획득 할 수 있는 화소들이 있을 수 있다.
도 3은 일 실시예에 따른 디지털 촬영 장치(100)의 구조를 설명하기 위한 블록도이다.
일 실시예에 따른 디지털 촬영 장치는 이미지 센서(10) 및 프로세서(20)를 포함할 수 있다.
이미지 센서(10)는 입사광을 광전 변환하여 전기적인 촬상 신호를 생성할 수 있다. 이미지 센서(10) 는 광학 신호를 전기 신호로 변환하기 위한 복수개의 화소들을 포함할 수 있고, 복수개의 화소들은 행렬 형태로 배열될 수 있다.
이미지 센서(10) 는 제1 그룹(도 1의 102 참고) 및 제2 그룹(도 1의 104 참고)을 포함할 수 있다. 제1 그룹 및 제2 그룹은 복수개의 화소들을 포함하는 적어도 하나의 화소 열을 포함할 수 있다.
이미지 센서(10)는 제1 그룹에서 촬상 신호를 1회 획득하는 동안, 제2 그룹에서 촬상 신호를 복수회 획득할 수 있다.
구체적으로, 이미지 센서(10)는 디지털 촬영 장치(100)에서 정지 영상을 한 장 촬영하는 동안, 제1 그룹에서 촬상 신호를 1회 획득할 수 있다. 또한, 이미지 센서(10) 는 디지털 촬영 장치(100)에서 정지 영상을 한 장 촬영하는 동안, 제2 그룹에서 촬상 신호를 복수회 획득할 수 있다. 즉, 디지털 촬영 장치(100)에서 정지 영상을 한 장 촬영하는 동안, 이미지 센서(10)는 제2 그룹에서 촬상 신호를 복수 회에 나누어 획득할 수 있다.
또한, 이미지 센서(10)는 제1 그룹에서 제1 주기로 촬상 신호를 획득하고, 제2 그룹에서 제2 주기로 촬상 신호를 획득하고, 제1 주기는 제2 주기의 배수(multiple)일 수 있다.
일 실시예에 따른 이미지 센서(10)에서 제1 그룹에 포함된 화소들의 수는 제2 그룹에 포함된 화소들의 수 보다 많을 수 있다.
일 실시예에 따른 프로세서(20)는 제1 그룹에서 획득되는 촬상 신호 및 제2 그룹에서 복수 회 획득되는 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득할 수 있다. 구체적으로, 프로세서(20)는 제1 그룹에서 획득된 촬상 신호, 및 제2 그룹에서 획득된 촬상 신호의 값들을 합한 것에 기초하여, 영상을 획득할 수 있다.
또한, 프로세서(20)는 제2 그룹에서 획득된 촬상 신호에 기초하여, 움직임이 보정된 영상을 획득할 수 있다.
구체적으로, 프로세서(20)는 제2 그룹에서 획득한 촬상 신호에 기초하여, 제2 주기로 중간 영상들을 획득할 수 있다. 프로세서(20)는 제2 주기로 획득된 중간 영상들에 기초하여 움직임 벡터를 획득할 수 있다. 프로세서(20)는 획득된 움직임 벡터에 기초하여 움직임의 궤적을 결정할 수 있다. 또한, 프로세서(20)는, 획득된 움직임 벡터들 및 디지털 촬영 장치(100)의 사용자의 손떨림 정보에 기초하여, 움직임이 보정된 영상을 획득할 수 있다.
일 실시예에 따른 디지털 촬영 장치(100)는 한 장의 정지 영상을 획득하는 동안, 이미지 센서(10)의 일부 영역에서는 촬상 신호를 1회 획득하고, 이미지 센서(10)의 다른 일부 영역에서는 촬상 신호를 복수 회 획득할 수 있다. 디지털 촬영 장치(100)는 복수 회 획득한 촬상 신호를 이용하여 움직임을 보정할 수 있다. 이에 따르면, 디지털 촬영 장치(100)가 움직임 보정을 위해 이미지 센서(10)의 전체 영역에서 획득한 촬상 신호를 이용하는 경우보다, 영상 획득에 소요되는 시간이 단축될 수 있다.
또한, 디지털 촬영 장치(100)에 의하면, 움직임이 보정된 영상 획득을 위한 전력 소비를 감소시키고, 야경 및 저조도 환경에서도 흔들림 없는 영상을 획득할 수 있게 된다.
일 실시예에 따르면, 프로세서(20)는 제1 그룹에 포함되는 화소 열의 수와 제2 그룹에 포함되는 화소 열의 수의 비를 조절할 수 있다. 프로세서(20)는 이에 따라, 제2 그룹에서 획득되는 촬상 신호의 양을 조절할 수 있다.
일 실시예에 따르면, 프로세서(20)는 제1 그룹에서의 총 노광 시간 및 제2 라인에서의 총 노광 시간을 조절할 수 있다. 프로세서(20)는 제1 그룹에서의 총 노광 시간 및 제2 라인에서의 총 노광 시간을 다르게 하여 WDR(Wide Dynamic Range) 를 수행할 수 있다. WDR(Wide Dynamic Range) 은 하나의 영상에서 휘도 차이가 큰 부분이, 자연스럽게 표시되도록 하는 기술이다.
구체적으로, 프로세서(20)는 HDR(High Dynamic Range) 기술을 이용하여, 노광 시간이 긴 영상과 노광 시간이 짧은 영상에 기초하여, 휘도 차이가 큰 부분이 모두 자연스럽게 표시되는 하나의 영상을 생성할 수 있다.
예를 들어, 제1 그룹에서의 총 노광 시간이 제2 그룹에서의 총 노광 시간보다 긴 경우, 프로세서(20)는 WDR(Wide Dynamic Range) 처리를 위하여 제1 그룹에서 획득된 촬상 신호를 휘도가 낮은 부분에서의 영상을 획득하는 데에 사용할 수 있다. 또한 프로세서(20)는 WDR(Wide Dynamic Range) 처리를 위하여 제2 그룹에서 획득된 촬상 신호를 휘도가 높은 부분에서의 영상을 획득하는 데에 사용할 수 있다.
일 실시예에 따른, 디지털 촬영 장치(100)에 의하면, WDR(Wide Dynamic Range) 처리를 위한 전력 소비를 감소시키면서도, 흔들림 없는 영상을 획득할 수 있게 된다.
또한, 프로세서(20)는 제2 그룹을 획득하는 제2 주기를 조절할 수 있다. 프로세서(20)는 예를 들어, 제2 주기를 디지털 촬영 장치(100)의 렌즈의 특성에 따라 결정할 수 있다. 구체적으로, 프로세서(20)는 렌즈의 초점거리의 역수에 비례하여 제2 주기를 조절할 수 있다. 프로세서(20)는 제2 주기=1/(초점거리*2) 등의 기준으로 결정할 수 있다.
예를 들어, 디지털 촬영 장치(100)에서 초점거리가 50mm인 렌즈를 사용하는 경우에는, 프로세서(20)는 1/50*1/2초를 제2 주기로 결정할 수 있다. 즉, 프로세서(20)는 1/100초를 제2 주기로 결정할 수 있다. 다른 예를 들어, 디지털 촬영 장치(100)에서 35mm 의 렌즈를 사용하는 경우에는, 프로세서(20)는 1/35*1/2초를 제2 주기로 결정할 수 있다. 즉, 프로세서(20)는 1/70초를 제2 주기로 결정할 수 있다.
일 실시예에 따른 디지털 촬영 장치(100)에 의하면, 움직임의 샘플링 주기를 조절함으로써, 보다 정확하게 움직임이 보정된 영상을 획득할 수 있게 된다.
도 4는 일 실시예에 따른 디지털 촬영 장치(100a)의 구조를 설명하기 위한 블록도이다.
디지털 촬영 장치(100a)는 도 3의 디지털 촬영 장치(100)의 구성의 전부 또는 일부를 포함할 수 있다. 도 3의 프로세서(20)에서 수행되는 동작은 도 4의 이미지 센서 제어부(119) 및/또는 제어부(170)에서 수행될 수 있다.
일 실시 예에 따른 디지털 촬영 장치(100a)는 렌즈(111), 이미지 센서 인터페이스(116), 이미지 센서(118), 이미지 센서 제어부(119), 이미지 신호 처리부(120), 아날로그 신호 처리부(121), 메모리(130), 제2 메모리(131), 디스플레이부(164) 및 제어부(170)를 포함할 수 있다.
렌즈(111)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(111) 를 투과한 피사광은 이미지 센서(118)의 수광면에 이르러 피사체의 상을 결상한다.
이미지 센서(118)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이미지 센서는 행렬 형태로 배열된 복수의 화소들을 포함할 수 있다. 복수개의 화소들은 위상차 검출용 화소를 포함할 수 있다.
이미지 센서(118)는 이미지 센서는 제1 그룹 및 제2 그룹을 포함할 수 있다. 제1 그룹은 디지털 촬영 장치에서 정지 영상을 한 장 촬영하는 동안, 촬상 신호가 1회 획득되는 화소 열을 포함할 수 있다. 제2 그룹은 디지털 촬영 장치에서 정지 영상을 한 장 촬영하는 동안, 촬상 신호가 복수 회 획득되는 화소 열을 포함할 수 있다.
이미지 센서 인터페이스(116)는 이미지 센서(118)에서 획득되는 촬상 신호가 이미지 신호 처리부(120)에서 처리될 수 있도록 제어할 수 있다.
이미지 센서 제어부(119)는 리드아웃 제어부(119-1) 및 제1 메모리(119-2)를 포함할 수 있다.
리드아웃 제어부(119-1)는 이미지 센서(118)가 제1 그룹 및 제2 그룹으로부터 촬상 신호를 획득하도록 제어할 수 있다. 여기서, 이미지 센서(118)가 화소에 축적된 전하에 대응되는 전기 신호의 값을 획득하는 것을 화소를 리드 아웃한다고 할 수 있다.
또한, 리드아웃 제어부(119-1)는, 이미지 센서(118)가 전체 화소들 중 일부를 스킵하고, 다른 일부만 리드 아웃 하도록 제어할 수 있다.
리드아웃 제어부(119-1)는, 이미지 센서(118)에서 제1 그룹 및 제2 그룹을 선택하여 리드아웃 할 수 있다. 또한, 리드아웃 제어부(119-1)는, 이미지 센서(118)에서 제1 그룹을 제1 주기로 리드아웃 하고, 제2 그룹을 제2 주기로 리드아웃 할 수 있다.
제1 메모리(119-2)는 이미지 센서(118)에서 제1 그룹 및 제2 그룹의 배치에 대한 정보를 저장할 수 있다. 제1 메모리(119-2)는 이미지 센서(118)에서 제1 주기, 제2 주기, 제1 주기 및 제2 주기 각각에서의 노광 시간에 대한 정보를 저장할 수 있다. 제1 메모리(119-2)는 전체 화소들 중 일부를 스킵하고 다른 일부만 리드 아웃하는 경우, 스킵되는 화소 및 리드 아웃되는 화소에 대한 정보를 저장할 수 있다.
또한, 제1 메모리(119-2)는 한 장의 영상을 촬영하는 동안 제2 그룹에서 획득한 촬상 신호의 값을 저장할 수 있다.
아날로그 신호 처리부(121)는 이미지 센서(118)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
이미지 신호 처리부(120)는 아날로그 신호 처리부(121)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 이미지 신호 처리부(120)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다.
이미지 신호 처리부(120)은 또한 거리 정보를 획득할 수 있는 신호를 처리하여, 거리 정보 및 AF와 관련된 정보를 획득할 수 있다.제어부(170)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어할 수 있다. 제어부(170)는 하나 또는 복수개의 프로세서에 해당할 수 있다.
제어부(170)는 제1 그룹에서 획득되는 촬상 신호 및 제2 그룹에서 복수 회 획득되는 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 하도록 제어할 수 있다. 구체적으로, 제어부(170)는 제1 그룹에서 획득된 촬상 신호, 및 제2 그룹에서 획득된 촬상 신호의 값들을 합한 것에 기초하여, 영상을 획득할 수 있다. 제어부(170)는 제2 그룹에서 획득된 촬상 신호에 기초하여, 움직임이 보정된 영상을 획득하도록 제어할 수 있다
제어부(170)는 제2 그룹에서 획득되는 촬상 신호에 기초하여 제2 주기로 중간 영상들을 획득할 수 있다. 제어부(170)는 제2 주기로 획득된 중간 영상들에 기초하여 움직임 벡터를 획득할 수 있다. 제어부(170)는 획득된 움직임 벡터에 기초하여 움직임의 궤적을 결정할 수 있다. 또한, 제어부(170)는 획득된 움직임 벡터들 및 디지털 촬영 장치(100a)의 사용자의 손떨림 정보에 기초하여, 움직임이 보정된 영상을 획득할 수 있다. 일 실시예에 따르면, 제어부(170)는 제1 그룹에 포함되는 화소 열의 수와 제2 그룹에 포함되는 화소 열의 수의 비를 조절할 수 있다. 제어부(170)는 이에 따라, 제2 그룹에서 획득되는 촬상 신호의 양을 조절할 수 있다.
일 실시예에 따르면, 제어부(170)는 제1 그룹에서의 총 노광 시간 및 제2 그룹에서의 총 노광 시간을 조절할 수 있다. 제어부(170)는 제1 그룹에서의 총 노광 시간 및 제2 그룹에서의 총 노광 시간을 다르게 하여 WDR(Wide Dynamic Range) 를 수행할 수 있다.
제어부(170)는 WDR(Wide Dynamic Range) 처리를 위하여 제1 그룹에서 획득된 촬상 신호를 휘도가 낮은 부분에서의 영상을 획득하는 데에 사용할 수 있다. 또한 프로세서(20)는 WDR(Wide Dynamic Range) 처리를 위하여 제2 그룹에서 획득된 촬상 신호를 휘도가 높은 부분에서의 영상을 획득하는 데에 사용할 수 있다.
제어부(170)는 제2 그룹을 획득하는 제2 주기를 조절할 수 있다. 제어부(170)는 예를 들어, 제2 주기를 디지털 촬영 장치(100)의 렌즈의 특성에 따라 결정할 수 있다. 구체적으로, 제어부(170)는 렌즈의 초점거리의 역수에 비례하여 제2 주기를 조절할 수 있다. 제어부(170)는 제2 주기=1/(초점거리*2) 등의 방법으로 결정할 수 있다.
제2 메모리(131)는 이미지 신호 처리부(120)에서 제2 주기로 획득되는 촬상 신호에 기초하여 생성되는 이미지 신호들을 저장할 수 있다. 또한, 제2 메모리(131)는 중간 영상들에 기초하여 획득한 움직임 벡터들을 저장할 수 있다. 제2 메모리(131)는 한 장의 영상의 촬영이 끝나면 메모리를 리셋할 수도 있다.
메모리(130)는 이미지 신호 처리부(120)로부터 출력된 이미지를 저장할 수 있다. 메모리(130)는 디스플레이부(164)에 출력될 이미지를 저장할 수 있다.
디스플레이부(164)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(164)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 디스플레이부(164)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.
일 실시예에 따른 디스플레이부(164)는 움직임이 보정된 영상을 디스플레이할 수 있다.
일 실시예에 따른 디스플레이부(164)는 움직임이 보정된 영상을 디스플레이하기 전에, 제2 그룹에서 획득된 촬상 신호에 기초하여 획득된 중간 영상들에 기초하여 라이브뷰 영상을 디스플레이할 수 있다. 디스플레이부(164)에서 한 장의 영상을 획득하는 동안 라이브뷰 영상을 디스플레이할 수 있으므로, 디지털 촬영 장치(100a)에서는 블랙아웃 현상이 발생하지 않게 된다.
도 5는 일 실시예에 따른 디지털 촬영 장치(100b)의 구조를 설명하기 위한 블록도이다. 디지털 촬영 장치(100b)는, 예를 들면, 도 3에 도시된 디지털 촬영 장치(100) 및 도 4에 도시된 디지털 촬영 장치(100a)의 구성 중 전부 또는 일부를 포함할 수 있다.
일 실시 예에 따른 디지털 촬영 장치(100b)는 촬영부(110), 이미지 신호 처리부(120), 아날로그 신호 처리부(121), 메모리(130), 저장/판독 제어부(140), 메모리 카드(142), 프로그램 저장부(150), 표시 구동부(162), 디스플레이부(164), 제어부(170), 조작부(180) 및 통신부(190)를 포함할 수 있다.
디지털 촬영 장치(100b)의 전체 동작은 제어부(170)에 의해 통괄된다. 제어부(170)는 렌즈 구동부(112), 조리개 구동부(115), 이미지 센서 제어부(119) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
촬영부(110)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈(111), 렌즈 구동부(112), 조리개(113), 조리개 구동부(115), 이미지 센서(118), 및 이미지 센서 제어부(119)를 포함한다.
렌즈(111)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(111)는 렌즈 구동부(112)에 의해 그 위치가 조절된다. 렌즈 구동부(112)는 메인 프로세서(170)에서 제공된 제어 신호에 따라 렌즈(111)의 위치를 조절한다.
또한, 렌즈 구동부(112)는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다.
조리개(113)는 조리개 구동부(115)에 의해 그 개폐 정도가 조절되며, 이미지 센서(118)로 입사되는 광량을 조절한다.
렌즈(111) 및 조리개(113)를 투과한 피사광은 이미지 센서(118)의 수광면에 이르러 피사체의 상을 결상한다. 상기 이미지 센서(118)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다.
이미지 센서(118)는 렌즈(111) 및 조리개(113)를 투과한 피사광을 촬상하여 촬상 신호를 생성한다. 이미지 센서(118)는 행렬 형태로 배열된 복수의 광전 변환 소자(미도시) 및 광전 변환 소자로부터 전하를 이동시켜 촬상 신호를 리드아웃하는 전송로(미도시) 등을 포함할 수 있다. 한편, 이미지 센서(118)의 특정 위치에 초점 검출용 화소가 소정의 비율로 배치될 수 있다. 이 때, 이미지 센서(118)에 배치된 초점 검출용 화소는 상면 위상차 AF 기능을 수행할 수도 있다.
이미지 센서(118)는 이미지 센서 제어부(119)에 의해 감도 및 피사광을 촬상하는 타이밍 등이 조절될 수 있다.
이미지 센서 제어부(119)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 이미지 센서(118)를 제어할 수 있다.
이미지 센서 제어부(119)는 타이밍 신호를 생성하여, 이미지 센서(118)가 피사광을 촬상하도록 제어한다. 또한, 이미지 센서 제어부(119)는 이미지 센서(118)의 각 주사선에서의 전하 축적이 끝나면 촬상 신호를 각 주사선 마다 차례로 획득하도록 제어할 수 있다. 이미지 센서(118)에 배치된 초점 검출 화소의 출력은 라이브뷰 화상을 출력할 때에 이용될 수 있다. 라이브뷰 화상을 출력하기 위하여, 이미지 센서 제어부(119) 이미지 센서(118)의 소정 화소 라인을 선택적으로 획득하여 촬상 신호를 출력할 수 있다. 라이브뷰 화상의 출력 신호에 초점 검출 화소의 출력이 포함되는 경우, 초점 검출 화소의 출력을 이용하여 라이브뷰 화상의 초점 검출이 수행될 수 있다.
아날로그 신호 처리부(121)는 이미지 센서(118)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
이미지 신호 처리부(120)는 아날로그 신호 처리부(121)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부(120)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
이미지 신호 처리부(120)는 이미지 센서(118)에서 생성된 촬상 신호로부터 동영상 파일을 생성할 수 있다. 상기 촬상 신호는 이미지 센서(118)에서 생성되고 아날로그 신호 처리부(121)에 의해 처리된 신호일 수 있다. 이미지 신호 처리부(120)는 상기 촬상 신호로부터 동영상 파일에 포함될 프레임들을 생성하고, 상기 프레임들을 예를 들면, MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 코딩하여 압축한 후, 압축된 동영상을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다.
이미지 신호 처리부(120)로부터 출력된 이미지 데이터는 메모리(130)를 통하여 또는 직접 저장/판독 제어부(140)에 입력되는데, 저장/판독 제어부(140)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 메모리 카드(142)에 저장한다. 또한 저장/판독 제어부(140)는 메모리 카드(142)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(130)를 통해 또는 다른 경로를 통해 표시 구동부에 입력하여 디스플레이부(164)에 이미지가 표시되도록 할 수도 있다. 메모리 카드(142)는 탈착 가능한 것일 수도 있고 디지털 촬영 장치(100b)에 영구 장착된 것일 수 있다. 예를 들면, 메모리 카드(142)는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.
또한, 이미지 신호 처리부(120)는 입력된 영상 데이터에 대해 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, 이미지 신호 처리부(120)는 디스플레이부(164)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
한편, 이미지 신호 처리부(120)에 의해 처리된 신호는 메모리(130)를 거쳐 제어부(170)에 입력될 수도 있고, 메모리(130)를 거치지 않고 제어부(170)에 입력될 수도 있다. 여기서 메모리(130)는 디지털 촬영 장치(100b)의 메인 메모리로서 동작하고, 이미지 신호 처리부(120) 또는 제어부 (170)가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부(150)는 디지털 촬영 장치(100b)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장할 수 있다.
아울러, 디지털 촬영 장치(100b)는 이의 동작 상태 또는 디지털 촬영 장치(100b)에서 촬영한 영상 정보를 표시하도록 디스플레이부(164)를 포함한다. 디스플레이부(164)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(164)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 디스플레이부(164)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.
표시 구동부(162)는 디스플레이부(164)에 구동 신호를 제공한다.
제어부(170)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어할 수 있다. 제어부(170)는 하나 또는 복수개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제어부(170)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 조리개 구동부(115), 렌즈 구동부(112), 및 이미지 센서 제어부(119)에 제공하고, 셔터, 스트로보 등 디지털 촬영 장치(100b)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
또한 제어부(170)는 외부 모니터와 연결되어, 이미지 신호 처리부(120)로부터 입력된 영상 신호에 대해 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
도 6은 일 실시예에 따른 디지털 촬영 장치(100c)의 구조를 설명하기 위한 블록도이다. 디지털 촬영 장치(100c)는, 예를 들면, 도 3에 도시된 디지털 촬영 장치(100) 및 도 4에 도시된 디지털 촬영 장치(100b)의 전체 또는 일부를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치(100c)는 하나 이상의 프로세서(예: AP(application processor))(210), 통신 모듈(220), 가입자 식별 모듈(224), 저장부(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(228) 및 RF(radio frequency) 모듈(229)를 포함할 수 있다.
저장부(230)는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 디지털 촬영 장치(100c)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 디지털 촬영 장치(100c)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 디지털 촬영 장치(100c)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(touch panel)(252), (디지털) 펜 센서(pen sensor)(254), 키(key)(256), 또는 초음파(ultrasonic) 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다.
인터페이스(270)는, 예를 들면, HDMI(high-definition multimedia interface)(272), USB(universal serial bus)(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈(295)은, 예를 들면, 디지털 촬영 장치(100c)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다.
인디케이터(297)는 디지털 촬영 장치(100c) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 디지털 촬영 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 디지털 촬영 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 디지털 촬영 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 7은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
이하, 도 7의 흐름도를 도 8a 내지 11을 이용하여 설명한다.
단계 S110에서, 디지털 촬영 장치(100)는 제1 그룹에서 1 회 촬상 신호를 획득하는 동안, 제2 그룹에서 적어도 2회 촬상 신호를 획득할 수 있다(S110).
일 실시예에 따르면, 디지털 촬영 장치(100)는 제1 주기로 제1 그룹에서 촬상 신호를 획득하는 동안, 제2 주기로 제2 그룹에서 촬상 신호를 획득할 수 있다.
도 8a 내지 도 8c는 디지털 촬영 장치(100)가 제1 그룹에서 촬상 신호를 획득하는 것을 설명하기 위한 도면이다.
제1 그룹은 복수개의 화소들을 포함하는 적어도 하나의 화소 열을 포함하는 제1 라인들을 포함할 수 있다. 이하에서는 설명의 편의상 제1 그룹이 제1 라인인 경우를 예를 들어 설명한다.
도 8a를 참고하면, 디지털 촬영 장치(100)는 노광 시간(Exposure time)과 리드아웃 시간(Read out time)을 포함하는 제1 주기 동안 제1 라인들에서 촬상 신호를 1회 획득할 수 있다. 디지털 촬영 장치(100)는, 노광 시간 동안 피사광을 이미지 센서에서 광전 변환하여 전하를 축적시킬 수 있다. 디지털 촬영 장치(100)는, 리드아웃 시간 동안 축적된 전하에 대응되는 촬상 신호의 값을 획득할 수 있다. 디지털 촬영 장치(100)는 한 장의 영상을 촬영 할 때, 제1 라인에서 노광과 리드아웃을 각각 1회씩 수행하여, 촬상 신호를 1회 획득할 수 있다.
도 8b를 참고하면, 디지털 촬영 장치(100)는 제1 라인들 중 첫번째 제1 라인(801)에서부터 마지막 제1 라인(803)까지 차례대로 촬상 신호를 리드아웃 할 수 있다.
디지털 촬영 장치(100)는 첫번째 제1 라인(801)에서 촬상 신호를 리드아웃 할 때, 첫번째 제1 라인(801)에 포함된 화소 열들 각각에서 촬상 신호를 차례대로 획득할 수 있다. 마찬가지로, 디지털 촬영 장치(100)는 나머지 제1 라인들에 포함된 화소 열들 각각에서 촬상 신호를 획득할 수 있다.
도 8c은 디지털 촬영 장치(100)가 이미지 센서의 제1 라인들에서 1회 촬상 신호를 획득하는 것을 설명하기 위한 도면이다.
구체적으로, 도 8c에는 디지털 촬영 장치(100)가 이미지 센서의 제1 라인들의 위치와 제1 라인들 각각에서 촬상 신호를 획득하는 시간이 도시된다.
도 8c를 참고하면, 디지털 촬영 장치(100)는 첫번째 제1 라인(801)에서 노광 시간(811)과 리드 아웃 시간(813)을 포함하는 제1 주기 동안 촬상 신호를 획득할 수 있다. 마찬가지로, 디지털 촬영 장치(100)는 나머지 제1 라인들에서도 제1 주기 동안 촬상 신호를 획득할 수 있다. 디지털 촬영 장치(100)는 이미지 센서에 포함된 화소 열들 마다 리드아웃을 수행할 수 있고, 첫번째 제1 라인(801)에서부터 마지막 제1 라인(803)까지 차례대로 촬상 신호를 리드 아웃할 수 있다. 디지털 촬영 장치(100)는 이미지 센서에서 촬상 신호를 리드 아웃할 때, 화소 열들이 배치된 순서대로 리드 아웃을 수행할 수 있고, 이 때 노광을 시작하는 시간을 화소 열들 마다 다르게 조절할 수 있다.
도 8c의 815는 디지털 촬영 장치(100)가 첫번째 제1 라인(801)에서부터 마지막 제1 라인(803)까지 리드아웃하는 데에 소요되는 시간을 나타낸다. 디지털 촬영 장치(100)가 제1 라인들을 리드아웃 하는 데에 소요되는 시간(815)은 예를 들어, 0.1초 미만일 수 있다. 소요되는 시간(815)은 디지털 촬영 장치(100)에 제1 라인들에 포함되는 화소 수 및 이미지 센서의 성능에 따라 달라질 수 있다.
도 9a 내지 도 9c는 디지털 촬영 장치(100)가 제2 그룹에서 촬상 신호를 획득하는 것을 설명하기 위한 도면이다.
제2 그룹은 복수개의 화소들을 포함하는 적어도 하나의 화소 열을 포함하는 제2 라인들을 포함할 수 있다. 이하에서는 설명의 편의상 제2 그룹이 제2 라인인 경우를 예를 들어 설명한다.
도 9a를 참고하면, 디지털 촬영 장치(100)는 노광 시간(Exposure time)과 리드아웃 시간(Read out time)을 포함하는 제2 주기 동안 제2 라인들에서 촬상 신호를 획득할 수 있다.
도 9a를 참고하면, 디지털 촬영 장치(100)는, 제2 주기에 포함되는 노광 시간 동안, 피사광을 이미지 센서에서 광전 변환하여 전하를 축적시킬 수 있다. 도 9a에 도시된 제2 주기의 노광 시간은, 제1 주기의 노광 시간 보다 짧을 수 있다. 디지털 촬영 장치(100)는, 리드아웃 시간 동안, 축적된 전하에 대응되는 촬상 신호의 값을 획득할 수 있다. 디지털 촬영 장치(100)는 한 장의 영상을 촬영 할 때, 제2 라인에서 노광 및 리드아웃을 각각 반복해서 수행하여, 촬상 신호를 복수 회 획득할 수 있다.
도 9b를 참고하면, 디지털 촬영 장치(100)는 제2 라인들 중 첫번째 제2 라인(901)에서부터 마지막 제2 라인(903)까지 차례대로 촬상 신호를 리드아웃 할 수 있다.
디지털 촬영 장치(100)는 첫번째 제2 라인(901)에서 촬상 신호를 리드아웃 할 때, 첫번째 제2 라인(901)에 포함된 적어도 하나의 화소열에서 촬상 신호를 획득할 수 있다. 마찬가지로, 디지털 촬영 장치(100)는 나머지 제2 라인들에 포함된 화소 열들 각각에서 촬상 신호를 획득할 수 있다. 여기서, 제2 라인(901)은 하나의 화소열일 수도 있고, 복수개의 화소열들을 포함할 수도 있다.
도 9c는 디지털 촬영 장치(100)가 이미지 센서의 제2 라인들에서 복수회 촬상 신호를 획득하는 것을 나타낸다.
구체적으로, 도 9c에는 디지털 촬영 장치(100)가 이미지 센서의 제2 라인들의 위치와 제2 라인들 각각에서 촬상 신호를 획득하는 시간이 도시된다.
도 9c를 참고하면, 디지털 촬영 장치(100)는 첫번째 제2 라인(901)에서 노광 시간(Exposure time)과 리드 아웃 시간(913)을 포함하는 제2 주기 동안 촬상 신호를 획득할 수 있다. 마찬가지로, 디지털 촬영 장치(100)는 나머지 제2 라인들에서도 제2 주기 동안 촬상 신호를 획득할 수 있다. 디지털 촬영 장치(100)는 이미지 센서에 포함된 화소 열들 마다 리드아웃을 수행할 수 있고, 첫번째 제2 라인(901)에서부터 마지막 제2 라인(903)까지 차례대로 촬상 신호를 리드아웃할 수 있다.
도 9c를 참고하면, 디지털 촬영 장치(100)는 제2 라인(901)에서부터 마지막 제2 라인(903)까지 획득한 촬상 신호를, 제1 메모리에 저장할 수 있다.
한편, 디지털 촬영 장치(100)는 첫번째 제2 라인(901)에서 첫번째 제2 주기 동안 촬상 신호를 획득하고 나면, 첫번째 제2 라인(901)에서 두번째 제2 주기 동안 노광을 시작한다. 마찬가지로, 디지털 촬영 장치(100)는 나머지 제2 라인들에서도 두번째 제2 주기 동안 촬상 신호를 획득할 수 있다.
이와 같은 과정을 반복하면 디지털 촬영 장치(100)는 한 장의 영상을 촬영 할 때, 제2 라인들에서 노광 및 리드아웃을 각각 반복해서 수행할 수 있고, 촬상 신호를 복수 회 획득할 수 있다.
단계 S120에서, 디지털 촬영 장치(100)는 이미지 센서에서 획득된 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득할 수 있다(S120).
구체적으로, 디지털 촬영 장치(100)는 이미지 센서의 제1 라인들에서 획득된 촬상 신호 및 이미지 센서의 제2 라인들에서 획득된 촬상 신호의 값들을 합한 것에 기초하여, 영상을 획득할 수 있다.
도 10을 참고하면, 디지털 촬영 장치(100)는 제1 라인들에서 획득된 촬상 신호만으로 영상을 생성하는 경우, 제1 영상(1010)을 획득할 수 있다. 디지털 촬영 장치(100)는 제2 라인들에서 획득된 촬상 신호만으로 영상을 생성하는 경우, 제2 영상(1020)을 획득할 수 있다. 예를 들어, 디지털 촬영 장치(100)는 제2 주기들(1001, 1003,1005, …) 동안 획득한 촬상 신호들을 모두 제1 메모리에 저장하여 이를 합하여, 제2 영상(1020)을 획득할 수 있다.
한편, 제1 라인에서의 총 노광 시간이 제2 라인에서의 총 노광 시간보다 긴 경우, 제1 영상(1010)과 제2 영상(1020)에서 피사체의 밝기가 상이하게 된다. 이 때, 제1 영상(1010)을 기준으로 하여 제2 영상(1020)의 게인 보정을 수행한 뒤, 제1 영상(1010)과 제2 영상(1020)을 합할 수 있다.
도 10을 참고하면, 디지털 촬영 장치(100)는 제1 영상(1010)과 제2 영상(1020)을 합하여 피사체의 움직임이 나타나는 영상을 획득할 수 있다.
단계 S130에서, 디지털 촬영 장치(100)는 제2 그룹에서 획득된 촬상 신호에 기초하여 움직임이 보정된 영상을 획득할 수 있다(S130).
도 10을 참고하면, 디지털 촬영 장치(100)는 제1 영상(1010)과 제2 영상(1020)에 기초하여 획득한 영상의 움직임을 보정하여, 결과 영상(1030)을 획득할 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 제2 라인들에서 획득한 촬상 신호에 기초하여, 제2 주기로 중간 영상들을 획득할 수 있다. 디지털 촬영 장치(100)는, 획득된 중간 영상들에 기초하여 움직임 벡터를 획득할 수 있다.
구체적으로, 도 10을 참고하면, 디지털 촬영 장치(100)는 제2 주기(1001) 동안 획득한 중간 영상과 제2 주기(1003) 동안 획득한 중간 영상으로부터 움직임 벡터를 획득할 수 있다. 또한, 디지털 촬영 장치(100)는 제2 주기(1003) 동안 획득한 중간 영상과 제2 주기(1005) 동안 획득한 중간 영상으로부터 움직임 벡터를 획득할 수 있다. 마찬가지로, 디지털 촬영 장치(100)는 다른 인접한 제2 주기들에서 획득한 중간 영상들로부터 움직임 벡터들을 획득할 수 있다.
디지털 촬영 장치(100)는 획득한 움직임 벡터들을 이용하여, 피사체의 움직임이 나타나는 영상에서 움직임을 보정하여, 결과 영상(1030)을 획득할 수 있다.
한편, 디지털 촬영 장치(100)는, 중간 영상들에 기초하여 획득한 움직임 벡터들로부터 제1 주기 동안의 움직임의 궤적을 획득할 수 있다.
도 11을 참고하면, 디지털 촬영 장치(100)는 제1 주기 동안의 움직임의 궤적들(1101, 1103)로부터 움직임의 특징을 결정할 수 있다.
예를 들어, 움직임이 보정되기 전의 영상(1100)의 특정한 영역(1110)내에서 움직임의 궤적(1103)의 평균이, 다른 영역들의 움직임의 궤적들의 방향의 평균과 상이할 수 있다.
이 경우, 디지털 촬영 장치(100)는 제1 주기 동안의 움직임의 궤적(1101)을 손떨림에 의한 광역 움직임(global motion)이라고 판단할 수 있다. 또한, 디지털 촬영 장치(100)는 제1 주기 동안의 움직임의 궤적(1103)을 피사체의 움직임에 의한 국부 움직임(local motion)이라고 판단할 수 있다.
디지털 촬영 장치(100)는 광역 움직임 보정 및 피사체의 국부 움직임 보정을 동시에 수행할 수 있다.
도 12는 일 실시예에 따라 위상차 검출용 화소들을 포함하는 이미지 센서(1200)를 도시한다.
도 12를 참고하면, 일 실시예에 따른 이미지 센서(1200)는 행렬 형태로 배열된 복수의 화소들을 포함할 수 있다. 일 실시예에 따른 이미지 센서(1200)는 위상차 검출용 화소들(1201, 1203)을 전 영역에 걸쳐 포함할 수 있다. 도 12에 도시된 위상차 검출용 화소들(1201, 1203)을 제외한, 다른 화소들은 일반 촬상용 소자들일 수 있다.
디지털 촬영 장치(100)는 위상차 검출용 화소들에서 획득된 신호에 기초하여 위상차를 획득할 수 있다. 예를 들어, 디지털 촬영 장치(100)는 위상차 검출용 화소(1201) 및 위상차 검출용 화소(1203)에서 획득된 신호의 상관 연산을 통하여 위상차를 획득할 수 있다.
또한, 디지털 촬영 장치(100)는 위상차 검출용 화소들이 아닌 일반 촬상용 소자들로부터 촬상 신호를 획득할 수 있다.
일 실시예에 따른 디지털 촬영 장치(100)는 획득된 위상차에 기초하여, 이미지 센서(1200)에서 획득된 촬상 신호의 포커스에 대한 정보를 획득할 수 있다. 디지털 촬영 장치(100)는 포커스에 대한 정보에 기초하여 AF (Auto Focus)를 수행할 수 있다.
도 12에서는 20*16 크기의 이미지 센서(1200)가 도시되었지만, 본 발명의 실시예들은 이에 한정되지 않는다. 또한, 이미지 센서(1200)의 위상차 검출용 화소 수 및 배치는 실시예들에 따라 달라질 수 있다.
디지털 촬영 장치(100)는 일반 촬상용 소자들부터 획득된 수광 면에 평행한 방향의 움직임 벡터들 및, 위상차 검출용 화소들로부터 획득된 위상 AF 정보에 기초하여 이미지 센서(1200)의 수광면에 수직인 방향의 움직임 벡터들을 획득할 수 있다. 이에 따라, 디지털 촬영 장치(100)는 보다 더 선명한 결과 영상을 획득할 수 있다.
도 13은 스킵 리드 방식으로 제1 그룹에서 촬상 신호를 획득하는 이미지 센서(1300)를 도시한다.
일 실시예에 따른 이미지 센서(1300)는 이미지 센서(1300)에 포함된 모든 화소들 중 일부 화소들로부터 촬상 신호를 획득할 수 있다.
도 13을 참고하면, 일 실시예에 따른 이미지 센서(1300)는 행렬 형태로 배열된 복수의 화소들을 포함할 수 있다. 일 실시예에 따른 이미지 센서(1300)는 제1 그룹(1311, 1313, 1315, 1317)을 포함할 수 있다.
도 13을 참고하면, 이미지 센서(1300)는 제1 그룹(1311, 1313, 1315, 1317)에서 촬상 신호를 획득하는 동안, 하나의 화소(1301)로부터 촬상 신호를 획득하면, 그 다음에 배치된 두개의 화소들(1303, 1305)은 스킵(skip)할 수 있다. 이와 같이 이미지 센서(1300)에서 촬상 신호를 획득하는 방식을 1 Read, 2 Skip 방식이라 할 수 있다.
도 13에서는 제1 그룹(1311, 1313, 1315, 1317)이 세개의 화소 열들을 포함하는 것으로 도시되었지만, 본 발명의 실시예들은 이에 한정되지 않는다. 또한, 도 13에서는 20*16 크기의 이미지 센서(1300)가 도시되었지만, 본 발명의 실시예들은 이에 한정되지 않는다. 이미지 센서(1300)에서 스킵되는 화소 및 리드아웃 되는 화소는 실시예들에 따라 달라질 수 있다.
디지털 촬영 장치(100)는 이미지 센서(1300)의 일부 화소들을 스킵하고 다른 일부 화소들을 리드하는 방식에 따라 촬상 신호를 획득하면, 이미지 센서(1300)에 포함된 모든 화소들로부터 촬상 신호를 획득하는 것 보다, 촬상 신호를 더 빠른 속도로 획득할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (24)

  1. 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하고,
    상기 제1 그룹에서 1회 상기 촬상 신호를 획득하는 동안, 상기 제2 그룹에서 복수회 상기 촬상 신호를 획득하는 이미지 센서; 및
    상기 이미지 센서에서 획득된 상기 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득하고,
    상기 제2 그룹에서 획득된 상기 촬상 신호에 기초하여 상기 움직임이 보정된 영상을 획득하는 프로세서를 포함하고,
    상기 제1 그룹에 포함된 화소들의 수는 상기 제2 그룹에 포함된 화소들의 수 보다 많은, 디지털 촬영 장치.
  2. 제1 항에 있어서, 상기 프로세서는
    상기 제1 그룹에서 획득된 상기 촬상 신호, 및 상기 제2 그룹에서 획득된 상기 촬상 신호의 값들을 합한 것에 기초하여, 상기 영상을 획득하는, 디지털 촬영 장치.
  3. 삭제
  4. 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하고,
    상기 제1 그룹에서 1회 상기 촬상 신호를 획득하는 동안, 상기 제2 그룹에서 복수회 상기 촬상 신호를 획득하는 이미지 센서; 및
    상기 이미지 센서에서 획득된 상기 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득하고,
    상기 제2 그룹에서 획득된 상기 촬상 신호에 기초하여 상기 움직임이 보정된 영상을 획득하는 프로세서를 포함하고,
    상기 이미지 센서는
    상기 제1 그룹에서 제1 주기로 상기 촬상 신호를 획득하고, 상기 제2 그룹에서 제2 주기로 상기 촬상 신호를 획득하고,
    상기 제1 주기는 상기 제2 주기의 배수(multiple)인, 디지털 촬영 장치.
  5. 제4 항에 있어서, 상기 프로세서는,
    상기 제2 그룹에서 획득한 상기 촬상 신호에 기초하여, 상기 제2 주기로 중간 영상들을 획득하고, 상기 획득된 중간 영상들에 기초하여 상기 제1 주기 동안의 움직임 벡터들을 획득하는, 디지털 촬영 장치.
  6. 제5 항에 있어서, 상기 프로세서는,
    상기 획득된 움직임 벡터들 및 상기 디지털 촬영 장치의 사용자의 손떨림 정보에 기초하여, 상기 움직임이 보정된 영상을 획득하는, 디지털 촬영 장치.
  7. 삭제
  8. 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하고,
    상기 제1 그룹에서 1회 상기 촬상 신호를 획득하는 동안, 상기 제2 그룹에서 복수회 상기 촬상 신호를 획득하는 이미지 센서;
    상기 이미지 센서에서 획득된 상기 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득하고,
    상기 제2 그룹에서 획득된 상기 촬상 신호에 기초하여 상기 움직임이 보정된 영상을 획득하는 프로세서; 및
    상기 움직임이 보정된 영상을 디스플레이하는 디스플레이부를 포함하고,
    상기 디스플레이부는,
    상기 움직임이 보정된 영상을 디스플레이하기 전에, 상기 제2 그룹에서 획득된 상기 촬상 신호에 기초하여 획득된 중간 영상들에 기초하여 라이브뷰 영상을 디스플레이하는, 디지털 촬영 장치.
  9. 제4 항에 있어서, 상기 프로세서는
    상기 제1 주기, 상기 제2 주기 및 상기 제2 주기 동안의 노광 시간 중 적어도 하나를 조절하여 WDR(wide dynamic range) 기능을 수행하는, 디지털 촬영 장치.
  10. 제1 항에 있어서,
    상기 이미지 센서는 거리 정보를 알아낼 수 있는 화소들을 포함하고,
    상기 프로세서는 상기 화소들에 의해 획득된 위상차 신호를 이용하여 거리 정보 및 AF 를 획득하는, 디지털 촬영 장치.
  11. 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하는 이미지 센서를 이용하는 디지털 촬영 방법으로서,
    상기 제1 그룹에서 1 회 상기 촬상 신호를 획득하는 동안, 상기 제2 그룹에서 복수 회 상기 촬상 신호를 획득하는 단계;
    상기 이미지 센서에서 획득된 상기 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득하는 단계; 및
    상기 제2 그룹에서 획득된 상기 촬상 신호에 기초하여 상기 움직임이 보정된 영상을 획득하는 단계를 포함하고,
    상기 제1 그룹에 포함된 화소들의 수는 상기 제2 그룹에 포함된 화소들의 수 보다 많은, 디지털 촬영 방법.
  12. 제11 항에 있어서, 상기 영상을 획득하는 단계는
    상기 제1 그룹에서 획득된 상기 촬상 신호, 및 상기 제2 그룹에서 획득된 상기 촬상 신호의 값들을 합한 것에 기초하여, 상기 영상을 획득하는 단계를 포함하는, 디지털 촬영 방법.
  13. 삭제
  14. 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하는 이미지 센서를 이용하는 디지털 촬영 방법으로서,
    상기 제1 그룹에서 1 회 상기 촬상 신호를 획득하는 동안, 상기 제2 그룹에서 복수 회 상기 촬상 신호를 획득하는 단계;
    상기 이미지 센서에서 획득된 상기 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득하는 단계; 및
    상기 제2 그룹에서 획득된 상기 촬상 신호에 기초하여 상기 움직임이 보정된 영상을 획득하는 단계를 포함하고,
    상기 촬상 신호를 획득하는 단계는
    상기 제1 그룹에서 제1 주기로 상기 촬상 신호를 획득하는 단계; 및
    상기 제2 그룹에서 제2 주기로 상기 촬상 신호를 획득하는 단계를 포함하고,
    상기 제1 주기는 상기 제2 주기의 배수(multiple)인, 디지털 촬영 방법.
  15. 제14 항에 있어서, 상기 움직임이 보정된 영상을 획득하는 단계는
    상기 제2 그룹에서 획득한 상기 촬상 신호에 기초하여, 상기 제2 주기로 중간 영상들을 획득하는 단계; 및
    상기 획득된 중간 영상들에 기초하여 상기 제1 주기 동안의 움직임 벡터들을 획득하는 단계를 포함하는, 디지털 촬영 방법.
  16. 제15 항에 있어서, 상기 움직임이 보정된 영상을 획득하는 단계는
    상기 획득된 움직임 벡터들 및 디지털 촬영 장치의 사용자의 손떨림 정보에 기초하여, 상기 움직임이 보정된 영상을 획득하는 단계를 더 포함하는, 디지털 촬영 방법.
  17. 삭제
  18. 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하는 이미지 센서를 이용하는 디지털 촬영 방법으로서,
    상기 제1 그룹에서 1 회 상기 촬상 신호를 획득하는 동안, 상기 제2 그룹에서 복수 회 상기 촬상 신호를 획득하는 단계;
    상기 이미지 센서에서 획득된 상기 촬상 신호에 기초하여 피사체의 움직임이 나타나는 영상을 획득하는 단계;
    상기 제2 그룹에서 획득된 상기 촬상 신호에 기초하여 상기 움직임이 보정된 영상을 획득하는 단계; 및
    상기 움직임이 보정된 영상을 디스플레이하는 단계를 포함하고,
    상기 움직임이 보정된 영상을 디스플레이하기 전에, 상기 제2 그룹에서 획득한 상기 촬상 신호에 기초하여 획득된 중간 영상들에 기초하여 라이브뷰 영상을 디스플레이하는 단계를 더 포함하는, 디지털 촬영 방법.
  19. 제14 항에 있어서,
    상기 제1 주기, 상기 제2 주기 및 상기 제2 주기 동안의 노광 시간 중 적어도 하나를 조절하여 WDR(wide dynamic range)기능을 수행하는 단계를 더 포함하는, 디지털 촬영 방법.
  20. 제11 항에 있어서,
    상기 이미지 센서에 포함된 거리 정보를 획득할 수 있는 화소들에 의해 획득된 거리 정보 신호를 이용하여 수광면 수직 방향의 움직임 벡터 및 AF 정보를 획득하는, 디지털 촬영 방법.
  21. 제11 항, 제12 항, 제14 항 내지 제16 항 및 제18항 내지 제20 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  22. 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하고,
    상기 제1 그룹에서 1 회 상기 촬상 신호를 획득하는 동안, 상기 제2 그룹에서 적어도 2회 상기 촬상 신호를 획득하고,
    상기 제1 그룹에 포함된 화소들의 수는 상기 제2 그룹에 포함된 화소들의 수 보다 많은, 이미지 센서.
  23. 삭제
  24. 입사광을 광전 변환하여 촬상 신호를 생성하기 위한 복수개의 화소들을 포함하는, 제1 그룹 및 제2 그룹을 포함하고,
    상기 제1 그룹에서 1 회 상기 촬상 신호를 획득하는 동안, 상기 제2 그룹에서 적어도 2회 상기 촬상 신호를 획득하고,
    상기 제1 그룹에서 제1 주기로 상기 촬상 신호를 획득하고, 상기 제2 그룹에서 제2 주기로 상기 촬상 신호를 획득하고,
    상기 제1 주기는 상기 제2 주기의 배수(multiple)인, 이미지 센서.
KR1020150104360A 2015-07-23 2015-07-23 디지털 촬영 장치 및 그 방법 KR102368625B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150104360A KR102368625B1 (ko) 2015-07-23 2015-07-23 디지털 촬영 장치 및 그 방법
US15/001,415 US9986163B2 (en) 2015-07-23 2016-01-20 Digital photographing apparatus and digital photographing method
EP16827908.1A EP3326359A4 (en) 2015-07-23 2016-03-30 Digital photographing apparatus and digital photographing method
PCT/KR2016/003229 WO2017014404A1 (en) 2015-07-23 2016-03-30 Digital photographing apparatus and digital photographing method
CN201610247860.4A CN106375655A (zh) 2015-07-23 2016-04-20 数字拍摄设备和数字拍摄方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150104360A KR102368625B1 (ko) 2015-07-23 2015-07-23 디지털 촬영 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170011555A KR20170011555A (ko) 2017-02-02
KR102368625B1 true KR102368625B1 (ko) 2022-03-02

Family

ID=57834077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150104360A KR102368625B1 (ko) 2015-07-23 2015-07-23 디지털 촬영 장치 및 그 방법

Country Status (5)

Country Link
US (1) US9986163B2 (ko)
EP (1) EP3326359A4 (ko)
KR (1) KR102368625B1 (ko)
CN (1) CN106375655A (ko)
WO (1) WO2017014404A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102649220B1 (ko) * 2017-02-06 2024-03-20 삼성전자주식회사 이미지의 떨림을 보정하는 전자 장치 및 전자 장치의 제어 방법
JP7087187B2 (ja) * 2019-02-18 2022-06-20 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
CN116055712B (zh) * 2022-08-16 2024-04-05 荣耀终端有限公司 成片率确定方法、装置、芯片、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009147658A (ja) * 2007-12-13 2009-07-02 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2009296434A (ja) * 2008-06-06 2009-12-17 Sharp Corp 画像撮像装置
JP2014160987A (ja) * 2013-02-20 2014-09-04 Canon Inc 撮像装置、及びその制御方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP4039386B2 (ja) * 2004-04-21 2008-01-30 コニカミノルタオプト株式会社 撮像センサ及び撮像装置
JP2006074693A (ja) 2004-09-06 2006-03-16 Toshiba Corp 撮像装置
US7379566B2 (en) * 2005-01-07 2008-05-27 Gesturetek, Inc. Optical flow based tilt sensor
US8018999B2 (en) * 2005-12-05 2011-09-13 Arcsoft, Inc. Algorithm description on non-motion blur image generation project
CN101390381B (zh) * 2005-12-26 2012-01-25 京瓷株式会社 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法
KR100809345B1 (ko) * 2006-06-16 2008-03-05 삼성전자주식회사 영상 생성 장치 및 방법
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP4893471B2 (ja) * 2007-05-24 2012-03-07 カシオ計算機株式会社 画像処理装置及びプログラム
JP5224925B2 (ja) * 2008-06-18 2013-07-03 キヤノン株式会社 撮像装置
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
JP4877359B2 (ja) * 2009-02-10 2012-02-15 ソニー株式会社 固体撮像装置及び撮像装置
JP5458865B2 (ja) * 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
KR101604068B1 (ko) * 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
CN102870028B (zh) * 2010-04-28 2015-11-25 富士胶片株式会社 成像装置
JP5156148B2 (ja) * 2010-07-28 2013-03-06 富士フイルム株式会社 撮像装置及び撮像方法
WO2012042963A1 (ja) * 2010-09-29 2012-04-05 富士フイルム株式会社 固体撮像素子及び撮像装置
US8849054B2 (en) 2010-12-23 2014-09-30 Samsung Electronics Co., Ltd Digital image stabilization
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101856947B1 (ko) * 2011-10-07 2018-05-11 삼성전자주식회사 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
WO2013088917A1 (ja) * 2011-12-13 2013-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
US9191566B2 (en) * 2012-03-30 2015-11-17 Samsung Electronics Co., Ltd. Image pickup apparatus, method for image pickup and computer-readable recording medium
JP6019692B2 (ja) * 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置
JP2014086889A (ja) * 2012-10-24 2014-05-12 Toshiba Corp 固体撮像装置
KR101871945B1 (ko) * 2013-01-17 2018-08-02 한화에어로스페이스 주식회사 영상 처리 장치 및 방법
US10958848B2 (en) * 2013-10-01 2021-03-23 Nikon Corporation Electronic apparatus
JP6294626B2 (ja) * 2013-10-08 2018-03-14 キヤノン株式会社 撮像素子、撮像装置、携帯電話機
KR20150078275A (ko) 2013-12-30 2015-07-08 삼성전자주식회사 움직이는 피사체 촬영 장치 및 방법
KR20160019215A (ko) * 2014-08-11 2016-02-19 삼성전자주식회사 촬영 장치 및 그 촬영 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009147658A (ja) * 2007-12-13 2009-07-02 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2009296434A (ja) * 2008-06-06 2009-12-17 Sharp Corp 画像撮像装置
JP2014160987A (ja) * 2013-02-20 2014-09-04 Canon Inc 撮像装置、及びその制御方法

Also Published As

Publication number Publication date
US20170026558A1 (en) 2017-01-26
EP3326359A4 (en) 2018-08-01
EP3326359A1 (en) 2018-05-30
WO2017014404A1 (en) 2017-01-26
KR20170011555A (ko) 2017-02-02
US9986163B2 (en) 2018-05-29
CN106375655A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
CN107690649B (zh) 数字拍摄装置及其操作方法
KR102446442B1 (ko) 디지털 촬영 장치 및 그 동작 방법
US9723191B2 (en) RAW camera peripheral with handheld mobile unit for processing RAW image data
KR102336447B1 (ko) 촬영 장치 및 그 동작 방법
US10477106B2 (en) Control system, imaging device, and computer-readable medium
KR102352682B1 (ko) 디지털 촬영 장치 및 그 동작 방법
US9398230B2 (en) Imaging device and imaging method
US20170150126A1 (en) Photographing device and operating method of the same
US9743015B2 (en) Image capturing apparatus and method of controlling the same
KR20120128441A (ko) 디지털 촬영 장치 및 이의 제어 방법
US20150085077A1 (en) Read-out mode changeable digital photographing apparatus and method of controlling the same
JP5125734B2 (ja) 撮像装置、画像選択方法及び画像選択プログラム
WO2016011872A1 (zh) 图像拍摄方法、装置和计算机存储介质
KR20140013591A (ko) 촬영 장치 및 이에 적용되는 촬영 방법
KR102368625B1 (ko) 디지털 촬영 장치 및 그 방법
KR102351496B1 (ko) 영상 처리 장치 및 그 동작 방법
KR102336449B1 (ko) 촬영 장치 및 촬영 장치의 동작방법
JP6815503B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP7247609B2 (ja) 撮像装置、撮像方法およびプログラム
WO2017071560A1 (zh) 图片处理方法及装置
KR102014444B1 (ko) 촬영 장치 및 촬영 장치를 제어하는 방법, 그리고 컴퓨터 판독가능 기록매체
US20150229828A1 (en) Imaging device, imaging system, imaging method, and computer-readable recording medium
KR102494696B1 (ko) 영상을 생성하는 방법 및 디바이스.
JP6601062B2 (ja) 撮像制御装置、撮像制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant