KR102146854B1

KR102146854B1 - 촬영 장치 및 이의 제어 방법

Info

Publication number: KR102146854B1
Application number: KR1020130167242A
Authority: KR
Inventors: 윤준호; 오시천; 차상혁
Original assignee: 삼성전자주식회사
Priority date: 2013-12-30
Filing date: 2013-12-30
Publication date: 2020-08-21
Also published as: EP2890115B1; KR20150078127A; US9635269B2; EP2890115A1; US20150189187A1; CN104754196A; CN104754196B

Abstract

개시된 실시 예는 촬영 장치 및 이의 제어 방법에 관한 것으로, 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치에서, 프리뷰 데이터와, 병렬 처리된 영상 데이터 또는 압축 데이터를 함께 전송함으로써, 프리뷰 표시 타이밍과 STS 촬영 시간을 단축할 수 있다.

Description

촬영 장치 및 이의 제어 방법{Photographing apparatus and method}

실시 예는 촬영 장치 및 이의 제어 방법에 관한 것이다.

최근 모바일 오퍼레이팅 시스템(Operating System, 이하 OS라 한다)을 탑재한 모바일 기기가 많이 출시되고 있다. 이러한 모바일 OS는 많은 기능을 제공하고 있는데, 카메라도 그 중 하나이다. 모바일 OS를 탑재한 기기는 카메라 촬영을 위해서 이미지 센서로 들어오는 피사체의 이미지 데이터를 애플리케이션 프로세서에 제공하기 위한 이미지 프로세서를 포함한다.

모바일 OS 기반의 촬영 장치는 셔터나 줌, 포커스 등 촬영 파라미터의 조작 값을 변경하거나 촬영을 하기 위해 셔터를 눌렀을 때, 애플리케이션 프로세서에서 변경된 내용을 확인하여 이미지 프로세서에 변경된 내용에 따라 명령을 전달하여 카메라를 조작한다.

개시된 실시 예들은 메인 프로세서 및 이미지 프로세서를 포함하는 촬영 장치에서 촬영 시간, 또는 촬영 후 다음 촬영 전까지의 시간(Shot To Shot, 이하 STS 시간)을 단축할 수 있는 촬영 장치 및 이의 제어 방법을 제공한다.

일 실시 예에 따른 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치의 제어 방법은 상기 이미지 프로세서에서, 촬영 모듈을 통해 촬영된 영상에 대한 프리뷰 영상 데이터와, 상기 프리뷰 영상 데이터와 병렬 처리된 영상 데이터가 존재하는 경우 상기 병렬 처리된 영상 데이터를 포함한 전송 데이터를 상기 메인 프로세서에 전송하는 단계; 및 상기 메인 프로세서에서, 상기 전송된 데이터에서 상기 프리뷰 영상 데이터에 대한 추출하고, 추출된 프리뷰 영상 데이터를 상기 촬영 장치의 표시부에 표시하는 단계를 포함하고,

상기 메인 프로세서는, 상기 전송된 데이터에 상기 영상 데이터가 존재하는 경우, 상기 영상 데이터를 메모리에 저장한다.

상기 영상 데이터는, 압축된 영상 데이터일 수 있다.

상기 메인 프로세서는, 상기 메모리에 저장된 압축된 영상 데이터를 상기 촬영된 영상에 대한 압축 파일을 생성할 수 있다.

상기 전송 데이터는, 상기 메인 프로세서와 상기 이미지 프로세서 간의 MIPI(Mobile Industry Processor Interface)를 통해 전송될 수 있다.

상기 전송 데이터의 포맷은, 상기 MIPI의 사용자 정의 타입(user defined type)일 수 있다.

상기 전송 단계는, 상기 촬영된 영상에 대한 복수의 프레임에 대한 복수의 프리뷰 영상 데이터들을 포함하는 복수의 전송 데이터를 순차적으로 전송할 수 있다.

상기 전송 데이터는, 하나의 프레임에 대한 프리뷰 영상 데이터, 상기 병렬 처리된 영상 데이터의 하나의 블록, 및 블록의 인덱스 및 블록의 수를 포함하는 헤더 데이터를 포함하는 단위의 데이터일 수 있다.

상기 전송 데이터가 상기 프리뷰 영상 데이터, 영상 데이터 및 헤더 데이터를 포함하는 경우, 상기 메인 프로세서는, 상기 전송된 전송 데이터의 헤더 데이터를 파싱하여, 상기 병렬 처리된 영상 데이터의 존재 여부를 판단할 수 있다.

상기 메인 프로세서 및 상기 이미지 프로세서 중 적어도 하나는 MIPI의 가상 채널 프로토콜(virtual channel protocol)을 지원하지 않을 수 있다.

상기 메인 프로세서는, 애플리케이션 프로세서일 수 있다.

다른 실시 예에 따른 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치는 촬영 모듈을 통해 촬영된 영상에 대한 프리뷰 영상 데이터와, 상기 프리뷰 영상 데이터와 병렬 처리된 영상 데이터가 존재하는 경우 상기 병렬 처리된 영상 데이터를 포함한 전송 데이터를 상기 메인 프로세서에 전송하는 이미지 프로세서; 및 상기 전송된 데이터에서 상기 프리뷰 영상 데이터에 대한 추출하고, 추출된 프리뷰 영상 데이터를 상기 촬영 장치의 표시부에 표시하는 메인 프로세서를 포함하고,

상기 메인 프로세서는, 상기 전송된 데이터에 상기 영상 데이터가 존재하는 경우, 상기 영상 데이터를 메모리에 저장할 수 있다.

상기 영상 데이터는, 압축된 영상 데이터일 수 있다.

상기 이미지 프로세서는, 상기 촬영된 영상에 대한 복수의 프레임에 대한 복수의 프리뷰 영상 데이터들을 포함하는 복수의 전송 데이터를 순차적으로 전송할 수 있다.

또 다른 실시 예에 따른 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

도 1은 일 실시 예에 따른 촬영 장치(100)의 외관을 도시한 도면이다.
도 2는 도 1에 도시된 촬영 장치(100)의 개략도이다.
도 3은 도 2에 도시된 이미지 프로세서(102)와 메인 프로세서(203) 간의 인터페이스를 설명하기 위한 도면이다.
도 4a 내지 4c는 다른 실시 예에 따른 촬영 장치의 이미지 프로세서(102)에서의 전송 데이터의 포맷을 설명하기 위한 예시 도이다.
도 5는 또 다른 실시 예에 따른 촬영 과정에서 이미지 프로세서(102)와 메인 프로세서(203) 간의 데이터 전송을 설명하기 위한 예시 도이다.
도 6a 및 6b는 촬영 장치의 제어 방법을 종래기술과 비교하여 설명하기 위한 흐름도들이다.
도 7은 또 다른 실시 예에 따른 촬영 장치의 제어 방법을 설명하기 위한 흐름 도이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시 예에 따른 촬영 장치(100)의 외관을 도시한 도면이다.

도 1을 참조하면, 본 실시 예에서의 촬영 장치(100)는 촬영 기능뿐만 아니라 다양한 애플리케이션들을 수행할 수 있는 기기이다. 촬영 장치(100)는 카메라 구동을 위한 이미지 프로세서 유닛(101)과 다양한 애플리케이션 구동을 메인 프로세서(201)로 구성된다. 여기서, 메인 프로세서는 애플리케이션 프로세서(Application Processor, 이하 AP라 한다)일 수 있다.

이미지 프로세서 유닛(101)은 포커스 링(104), 줌 링(103)으로 구성된 경통(107)과 센서(105), 이미지 프로세서(102)로 구성된다. 메인 프로세서 유닛(201)은 메인 프로세서(203)와 표시부(202), 셔터 버튼(106)으로 구성된다. 도시된 구성은 설명의 편의상 개략적으로 설명된 것으로 이러한 구성에 한정되지 않으며, 다양한 변형이 가능함은 물론이다.

도 2는 도 1에 도시된 촬영 장치(100)의 개략도이다.

도 2를 참조하면, 촬영 장치(100)는 이미지 프로세서 블록(101)과 메인 프로세서 블록(201)으로 구분될 수 있으며, 조작부(120)는 메인 프로세서 블록(201)의 메인 프로세서(203)에 연결된다.

메인 프로세서 블록(201)은 메인 프로세서(203)와 표시부(202) 및 저장부(210)를 포함한다.

메인 프로세서(203)는 촬영 장치(100)의 전반적인 동작을 제어하여, 촬영 장치(100)의 촬영 애플리케이션을 구동하여 촬영 준비, 재생 준비, 촬영 이미지 표시, 저장 등을 제어한다. 또한, 메인 프로세서(203)는 이미지 프로세서(102)로부터 전송된 촬영 이미지를 압축하여 저장부(210)에 저장하거나, 이미지 프로세서(102)로부터 압축된 촬영 이미지를 전송받아, 저장부(210)에 저장할 수 있다.

촬영 모듈(110)은 도면에 도시되지는 않았지만, 렌즈부, 렌즈 구동부, 조리개, 조리개 구동부, 촬상 소자, 촬상 소자 제어부, 아날로그 신호 처리부 등을 포함할 수 있다. 렌즈부는 광학 신호를 집광한다. 렌즈부는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 줌 렌즈 및 피사체 렌즈는 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다. 조리개는 그 개폐 정도를 조절하여 입사광의 광량을 조절한다. 렌즈 구동부 및 조리개 구동부는 이미지 프로세서(102)로부터 제어 신호에 따라 각각 렌즈 및 조리개를 구동한다. 렌즈 구동부는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다. 조리개 구동부는 조리개의 개폐 정도를 조절하고, 특히 f 넘버 또는 조리개 값을 조절하여 오토 포커스, 자동 노출 보정, 초점 변경, 피사계 심도 조절 등의 동작을 수행한다.

렌즈부를 투과한 광학 신호는 촬상 소자의 수광면에 이르러 피사체의 상을 결상한다. 촬상 소자는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device), CIS(Complementary Metal Oxide Semiconductor Image Sensor) 또는 고속 이미지 센서 등을 사용할 수 있다. 이와 같은 촬상소자는 촬상소자 제어부에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자를 제어할 수 있다. 촬상 소자의 노광 시간은 셔터로 조절된다. 셔터는 가리개를 이동하여 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다. 아날로그 신호 처리부는 촬상 소자로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.

조작부(120)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 부분이다. 조작부(120)는 정해진 시간 동안 촬상 소자를 빛에 노출하여 사진을 촬영하는 셔터 릴리스 신호를 입력하는 셔터 버튼(도 1에 도시된 106), 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼이거나, 도 1에 도시된 것과 같은 줌 링(103)과, 사용자가 수동으로 포커스를 맞출 수 있도록 하는 포커스 링(104), 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다.

촬영 장치(100)는 이를 구동하는 운영 시스템, 응용 시스템 등의 프로그램, 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 저장부(210)에 저장한다. 메인 프로세서(203)는 저장된 촬영 동작에 필요한 프로그램들을 실행시킨다.

촬영 장치(100)는 이의 동작 상태 또는 촬영한 이미지 정보를 표시하는 표시부(210)를 포함한다. 표시부(210)는 시각적인 정보 및 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 표시부(210)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. 표시부(210)는 메인 프로세서(203)로부터 출력된 영상 데이터를 표시한다.

이미지 프로세서(102)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어한다. 이미지 프로세서(102)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 여기서, 이미지 프로세서(102)에서 촬영된 이미지 데이터를 압축하는 것으로 설명하였지만, 메인 프로세서(203)도 촬영된 이미지 데이터를 전송받아 압축할 수 있음은 물론이다. 압축한 데이터는 저장부(210)에 저장된다. 또한, 이미지 프로세서(102)에서는 기능적으로 불선명 처리, 색채 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.

또한, 이미지 프로세서(102)는 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 렌즈 구동부, 조리개 구동부 및 촬상 소자 제어부에 제공하고, 셔터, 플래시 등 촬영 모듈(110)에 구비된 구성 요소들의 동작을 전체적으로 제어할 수 있다.

도 1 및 2를 참조하여, 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치에서 촬영 동작을 설명한다.

일 실시 예에서, 셔터(106)로부터의 발생한 셔터 릴리스 신호를 메인 프로세서(203)에 전달하면, 메인 프로세서(203)는 셔터 릴리스 신호를 이미지 프로세서(102)에 전달하고, 이미지 프로세서(102)는 셔터 릴리스 신호에 따라 촬영이 이루어지고 촬영된 피사체의 영상 정보(이미지 데이터 또는 압축된 이미지 데이터)를 메인 프로세서(203)에 전달한다. 메인 프로세서(203)는 이미지 프로세서(102)로부터 전달된 피사체의 영상정보를 파일 또는 압축 파일로 저장부(210) 또는 메모리 카드(미도시)에 저장한다.

도 3은 도 2에 도시된 이미지 프로세서(102)와 메인 프로세서(203) 간의 인터페이스를 설명하기 위한 도면이다.

도 3을 참조하면, 이미지 프로세서(102)와 메인 프로세서(203)는 MIPI(Mobile Industry Processor Interface, 이하 MIPI라 한다)를 통해 영상 데이터를 주고 받는다. MIPI는 실시 예에 따른 촬영 장치(100)에서, 프로세서 간에, 즉 메인 프로세서(203)와 이미지 프로세서(102) 간의 데이터 통신에 적용될 수 있다.

일반적으로, 모바일 기기라고 부르는 것은 크게 하드웨어와 소프트웨어로 구성되어 있다. 하드웨어 관점에서 보면 디바이스의 중심에 다양한 메이커의 프로세서 또는 SOC(System on a chip)가 존재하고, 이것은 카메라, 디스플레이, 메모리 등과 연결이 되어 있다. 그리고 이 프로세스에는 소프트웨어라 불리우는 애플리케이션 프로그램이 장착된다. MIPI는 프로세서와 주변장치들 사이의 하드웨어 및 소프트웨어를 위한 새로운 표준이다.

도 3에 도시된 것처럼, 이미지 프로세서(102)에서 촬영된 영상에 대해 영상 처리가 수행되고, 영상 처리된 데이터는 MIPI를 통해 메인 프로세서(203)에 전송되어, 표시부(202)에 전송된 영상 데이터를 표시하거나, 저장부(210)에 저장한다.

한편, MIPI는 가상 채널(virtual channel)을 통해 데이터 스트림에 인터리빙된 서로 다른 데이터를 전송할 수 있도록 정의한다. MIPI는 가상 채널 식별자(virtual channel identifier)를 통해, 물리적인 MIPI 채널을 통해 서로 다른 종류의 데이터를 전송할 수 있다.

이미지 프로세서와 메인 프로세서를 사용하는 촬영 장치에서, 이미지 프로세서에서 처리하는 프리뷰 및 JPEG 이미지 데이터를 MIPI를 통해 받도록 구현할 수 있으며, 이때, STS 촬영 속도를 향상시키기 위해 MIPI의 가상 채널을 통해 이미지 프로세서가 캡쳐가 완료되고 JPEG을 전송하기 전에라도, 프리뷰 데이터를 전송하고, JPEG 데이터가 준비되면 별도의 가장 채널을 통해 JPEG 데이터를 전송할 수 있다. 하지만, 이미지 프로세서 또는 메인 프로세서 중 하나가 MIPI의 가상 채널 프로토콜을 지원하지 않는다면, 가상 채널을 이용할 수 없다. 따라서, 전술한 방법을 통해 STS 촬영 속도를 향상시킬 수 없다.

실시 예에 따른 촬영 장치는 이미지 프로세서 또는 메인 프로세서 중 어느 하나가 가상 채널을 지원하지 않더라도 프리뷰 영상 데이터에 선택적으로, 영상 데이터 또는 압축 데이터를 추가하여 전송함으로써, 프리뷰 디스플레이 타이밍을 단축함으로써, S1(AF Lock)도 먼저 시작하게 되어, STS 촬영 시간을 단축할 수 있다.

도 4a 내지 4c는 다른 실시 예에 따른 촬영 장치의 이미지 프로세서(102)에서의 전송 데이터의 포맷을 설명하기 위한 예시 도이다. 실시 예에 따른 이미지 프로세서(102)에서의 전송 데이터는 MIPI 데이터 포맷을 사용자 정의 타입(user defined type)으로 설정하고, 도 4a 내지 4c에 도시된 것과 같은 데이터 포맷을 이용할 수 있다.

다시 도 3을 함께 참조하여, 이미지 프로세서(102)에서 전송 데이터를 생성하는 것을 설명한다.

이미지 프로세서(102)는 촬영 모듈(110)을 통해 캡쳐된 영상에 대해 영상 처리를 수행하여, 도 4a에 도시된 것처럼, 프리뷰 YUV 데이터(410)과 헤더 데이터(420)를 포함하는 데이터 포맷을 생성하여, 메인 프로세서(203)에 전송할 수 있다. 여기서, 프리뷰 YUV 데이터(410)에 대해 설명하지만, YUV 컬러 공간에서의 영상 신호에 한정되는 것은 아니다. 이미지 프로세서(102)는 이미지 센서에 축적된 피사체에 대한 이미지 신호(RGB)를 YUV 신호로 변환하고, 프리뷰 영상을 생성하기 위해, 원본 영상을 축소한 프리뷰 영상을 생성하는 영상 처리를 수행한다. 원본 영상을 축소한 프리뷰 YUV 데이터(410)를 생성한다. 헤더 데이터(420)는 프리뷰 YUV 데이터(410)에 대한 정보, 연속하는 프리뷰 영상의 프레임 정보를 포함할 수 있다.

도 4b에 도시된 것처럼, 이미지 프로세서(102)는 원본 영상에 대한 이미지 처리가 수행된 경우, 프리뷰 YUV 데이터(410), YUV 블록 데이터(430), 헤더 데이터(420)를 포함하는 데이터 포맷을 생성하여, 메인 프로세서(203)에 전송할 수 있다. YUV 블록 데이터(430)는 원본 영상의 크기가 큰 경우, 한 프레임에 해당하는 프리뷰 YUV 데이터(410)에 대응하여 원본 영상을 분할한 블록 데이터를 의미한다.헤더 데이터(420)는 YUV 블록 데이터(430)의 인덱스 및 블록의 수를 포함할 수 있다.

도 4c에 도시된 것처럼, 이미지 프로세서(102)는 원본 영상에 대한 이미지 처리가 수행된 경우, 프리뷰 YUV 데이터(410), JPEG 블록 데이터(440), 헤더 데이터(420)를 포함하는 데이터 포맷을 생성하여, 메인 프로세서(203)에 전송할 수 있다. JPEG 블록 데이터(440)는 원본 영상 또는 YUV 원본 영상 데이터를 압축한 데이터로서, 압축 데이터의 크기가 큰 경우, 한 프레임에 해당하는 프리뷰 YUV 데이터(410)에 대응하여 압축 데이터를 분할한 블록 데이터를 의미한다. 헤더 데이터(420)는 JPEG 블록 데이터(430)의 인덱스 및 블록의 수를 포함할 수 있다. 여기서, 정지 영상의 압축 방식으로 JPEG을 설명하였지만, 이에 한정되지 않고, 다른 압축 방식을 사용한 압축 데이터도 동일한 방식으로 전송할 수 있음은 물론이다.

메인 프로세서(203)는 도 4a 내지 4c 중 어느 하나에 따른 전송 데이터를 수신한 후, 헤더 데이터(420)를 파싱하여, 현재 수신된 전송 데이터에 영상 데이터 또는 JPEG 데이터가 포함되어 있는지 확인한다. 영상 데이터 또는 JPEG 데이터가 포함되어 있는 경우, 저장부(210)에 수신된 영상 데이터 또는 JPEG 데이터를 임시 저장한다. 여기서, 저장부(210)는 임시 버퍼 또는 임시 메모리일 수 있다. 또한, 함께 수신된 헤더 데이터(420)는 영상 데이터를 압축하여 압축 파일을 생성하는 경우, 또는 JPEG 데이터로 JPEG 파일을 생성할 때 이용할 수 있다.

메인 프로세서(203)는 도 4a 내지 4c 중 어느 하나에 따른 전송 데이터에 포함되어 있는 프리뷰 YUV 데이터를 추출하여, 표시부(202)에 프리뷰 영상으로서 표시한다.

도 5는 또 다른 실시 예에 따른 촬영 과정에서 이미지 프로세서(102)와 메인 프로세서(203) 간의 데이터 전송을 설명하기 위한 예시 도이다.

도 5를 참조하면, 이미지 프로세서(102)는 메인 프로세서(203)로 도 4a 및 4b에 해당하는 데이터 포맷으로 영상 데이터를 전송한다.

이미지 프로세서(102)는 프리뷰 YUV 데이터를 프레임마다 전송하다가, 캡쳐가 시작되면, 전송을 중단한다. 이 과정에서, 캡쳐된 영상에 대한 프리뷰 영상을 생성하기 위한 영상 처리를 수행한다. 프리뷰 또는 라이브 뷰 준비가 완료되면, 매 프레임에 해당하는 프리뷰 YUV 데이터를 전송하다가, JPEG 준비가 완료되면, JPEG 블록 데이터를 프리뷰 YUV 데이터에 포함하여 전송한다. JPEG 전송이 완료되면, 다시 프리뷰 YUV 데이터를 전송한다.

도 5에 도시된 것처럼, JPEG 데이터가 큰 경우, 1 프레임에 전송하기 힘들기 때문에 특정 블록 사이즈로 분할하여 여러 프레임(도 5에 도시된 3개 프레임)에 나누어 전송할 수도 있다. 실시 예에서, 이미지 프로세서(102)에서, 캡쳐 후 JPEG 데이터를 생성하기 전이라도, 프리뷰 영상 데이터를 만들 수 있는 상태가 되면, 즉 제1 영상 처리가 완료되면, 압축을 위한 제2 영상 처리를 병렬로 처리하고, 메인 프로세서(203)에 프리뷰 영상 데이터 및 압축 영상 데이터를 함께 전송한다. 따라서, 메인 프로세서(203)에서, 촬영 후, 프리뷰 디스플레이 타이밍을 단축할 수 있고, S1(AF lock)도 먼저 시작할 수 있게 되어 전체적으로 STS 촬영 시간을 단축할 수 있다. 여기서, 제1 영상 처리는 프리뷰 영상 처리일 수 있으며, 제2 영상 처리는 원본 영상 데이터에 대한 이미지 처리일 수 있으며, 제2 영상 처리는 프리뷰 데이터를 처리 및 전송과 함께 처리할 수 있는 영상 처리를 의미한다.

도 5에는 프리뷰 YUV 데이터, 프리뷰 YUV 데이터와 JPEG 데이터를 전송하는 것을 설명하였지만, 도 4b에 도시된 것처럼, 프리뷰 YUV 데이터, 프리뷰 YUV 데이터와 YUV 데이터를 전송할 수 있음은 물론이다.

도 6a 및 6b는 촬영 장치의 제어 방법을 종래기술과 비교하여 설명하기 위한 흐름도들이다.

도 6a에 도시된 것처럼, 메인 프로세서로부터 전달된 S2 요청에 따라 이미지 프로세서에서, 제1 캡쳐 영상에 대한 제1 영상 처리를 수행하고, 제1 캡쳐 영상에 대한 제2 영상 처리를 수행한 후 제1 캡쳐 영상에 대한 제1 JPEG 데이터를 생성한 후에, 메인 프로세서에 제1 JPEG 데이터를 전송하면, 메인 프로세서에서 제1 JPEG 파일을 생성한다. 종래기술에 따른 이미지 프로세서에서 메인 프로세서로의 데이터 전송은 이미지 프로세서에서 JPEG 데이터가 생성된 후에 메인 프로세서로 전송되기 때문에 JPEG 파일이 생성될 때까지는 프리뷰 영상을 표시할 수 없었다.

도 6b에 도시된 것처럼, 메인 프로세서로부터 전달된 S2 요청에 따라 이미지 프로세서에서, 제1 캡쳐 영상에 대한 제1 영상 처리를 수행하고, 프리뷰 영상을 메인 프로세서에 전달하여, 메인 프로세서에서 프리뷰 영상을 표시한다. 라이브 뷰 영상을 전송하면서 제1 캡쳐 영상에 대한 제2 영상 처리를 병렬로 수행하고, 제1 JPEG 데이터를 생성하면, 프리뷰 영상과 함께 제1 JPEG 데이터를 전송한다. 도 6b에 도시된 제1 캡쳐 영상에 대해서는 제1 JPEG 데이터의 전송이 프리뷰 데이터 전송 후에 이루어지는 것으로 도시되었지만, 다음 프리뷰 데이터 전송과 함께, 제2 캡쳐 영상에 대한 제2 영상 처리가 제3 캡쳐를 위한 프리뷰 데이터 전송과 함께, 제2 JPEG 데이터를 함께 전송하는 것이 도시되어 있다. 따라서, 라이브 뷰 전송과 제1 캡쳐 영상에 대한 제2 영상 처리를 병렬로 수행함으로써, 제2 캡쳐를 위한 프리뷰 데이터 전송시에, 제1 캡쳐 영상에 대한 제2 영상 처리가 완료되면, 제1 캡쳐 영상에 대한 제1 JPEG 데이터를 제2 캡쳐를 위한 프리뷰 데이터 전송과 함께 전송할 수 있다. 따라서, 실시 예에 따른 병렬 처리와 프리뷰 데이터와 압축 데이터를 함께 전송함으로써, 프리뷰 표시 타이밍을 줄일 수 있으며, 결과적으로 다음 촬영을 위한 시간을 단축할 수 있다.

도 7은 또 다른 실시 예에 따른 촬영 장치의 제어 방법을 설명하기 위한 흐름 도이다.

도 7을 참조하면, 단계 700에서, 메인 프로세서에서, 프레임 데이터를 수신한다. 프레임 데이터는 프리뷰 표시를 위한 연속적인 데이터 시퀀스를 의미한다. 프레임 데이터는 도 4a 내지 4c에 도시된 것처럼, 프리뷰 데이터와 헤더 데이터, 프리뷰 데이터와 영상 데이터/압축 데이터 및 헤더 데이터를 포함할 수 있다. 즉, 이미지 프로세서에서, 프리뷰 데이터에 대한 처리를 완료한 후, 영상 데이터 또는 압축 데이터에 대한 처리를 병렬로 수행하여, 병렬처리가 완료된 경우에는 프리뷰 데이터와 병렬 처리된 영상 데이터/압축 데이터를 함께 전송한다.

단계 702에서, 프레임 데이터에 포함된 헤더 데이터를 파싱한다. 메인 프로세서는 헤더 데이터를 파싱하여, 프레임 데이터에 영상 데이터/압축 데이터가 포함되었는지를 판단한다. 또한, 헤더 데이터는 영상 데이터/압축 데이터가 큰 경우 분할된 블록 사이즈 및 블록 수를 포함하며, 단계 712 및 714에서 도시된 바와 같이, 전체 압축 데이터를 받았는지, JPEG 파일을 생성할 때 사용할 수 있다. 도 7에서는 압축 데이터를 전송받는 경우에 대해 도시되어 있지만, 영상 데이터를 함께 전송받는 경우도 동일하게 적용할 수 있다. 또한, 메인 프로세서가 영상 데이터를 전송받는 경우, 압축을 수행할 수 있으며, 메인 프로세서에 압축된 영상 데이터를 압축 데이터로 변환할 수도 있다.

단계 704에서, JPEG 블록이 존재하는지 판단한다. 헤더 데이터에 JPEG 블록에 대한 정보가 포함되어 있는 경우, JPEG 블록이 없는 경우에는 단계 706으로 진행하고, JPEG 블록이 있는 경우에는 단계 710 내지 714와, 단계 706 내지 716을 함께 수행한다.

단계 704에서, JPEG 블록이 존재하는 경우, 단계 710에서, JPEG 블록을 버퍼에 복사한다. 그리고 단계 712에서, 전체 JPEG 데이터를 받았는지 판단한다. 단계 712에서, 전체 JPEG 데이터를 받은 경우, JPEG 파일을 생성하고, 전체 JPEG 데이터를 수신하지 못한 경우, 단계 700으로 되돌아간다.

단계 704에서, JPEG블록이 존재하지 않는 경우에는 바로 단계 706으로 진행하고, 단계 704에서, JPEG 블록이 존재하는 경우에는 단계 710 내지 714를 수행하는 것은 별도로, 단계 706으로 병렬로 진행한다.

단계 706에서, 프레임 데이터에 포함된 프리뷰 데이터를 추출한다.

단계 708에서, 프리뷰 데이터를 디스플레이한다.

단계 716에서, 프리뷰 종료 요청이 있는 경우, 프리뷰를 종료하고, 없는 경우, 단계 700으로 되돌아간다.

실시 예에 따른 촬영 장치는 메인 프로세서와 이미지 프로세서 중 어느 하나가 MIPI 가상 채널 프로토콜을 지원하지 않는 경우에 적용될 수 있으며, 이 경우, 캡쳐 영상의 처리 과정이 완료된 후, JPEG 파일이 생성된 후에야 프리뷰 표시 데이터 및 S1 의 동작이 가능하였던 종래기술의 문제점을 해결할 수 있다.

또한, 프리뷰 전송과 병렬 처리된 영상 데이터 또는 압축 데이터를 프리뷰 데이터와 함께 전송함으로써, 프리뷰 표시 타이밍과 STS 촬영 시간을 단축할 수 있다.

본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.

본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

100: 촬영 장치
101: 이미지 프로세서 유닛
102: 이미지 프로세서
201: 메인 프로세서 유닛
203: 메인 프로세서

Claims

메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치의 제어 방법에 있어서,
상기 이미지 프로세서에서, 촬영 모듈을 통해 촬영된 영상에 대한 프리뷰 영상 데이터와, 상기 프리뷰 영상 데이터와 병렬 처리된 영상 데이터가 존재하는 경우 상기 병렬 처리된 영상 데이터를 포함한 전송 데이터를 상기 메인 프로세서에 전송하는 단계; 및
상기 메인 프로세서에서, 상기 전송된 데이터에서 상기 프리뷰 영상 데이터를 추출하고, 추출된 프리뷰 영상 데이터를 상기 촬영 장치의 표시부에 표시하는 단계를 포함하고,
상기 메인 프로세서는, 상기 전송된 데이터에 상기 영상 데이터가 존재하는 경우, 상기 영상 데이터를 메모리에 저장하고,
상기 전송하는 단계는, 상기 촬영된 영상에 대한 복수의 프레임에 대한 복수의 프리뷰 영상 데이터들을 포함하는 복수의 전송 데이터를 순차적으로 전송하는 것이고, .
상기 전송 데이터는, 하나의 프레임에 대한 프리뷰 영상 데이터, 상기 병렬 처리된 영상 데이터의 하나의 블록, 및 블록의 인덱스 및 블록의 수를 포함하는 헤더 데이터를 포함하는 단위의 전송 데이터인 것인 촬영 장치의 제어 방법.
제 1 항에 있어서,
상기 영상 데이터는,
압축된 영상 데이터인 촬영 장치의 제어 방법.
제 2 항에 있어서,
상기 메인 프로세서는,
상기 메모리에 저장된 압축된 영상 데이터를 상기 촬영된 영상에 대한 압축 파일을 생성하는 촬영 장치의 제어 방법.
제 1 항에 있어서,
상기 전송 데이터는,
상기 메인 프로세서와 상기 이미지 프로세서 간의 MIPI(Mobile Industry Processor Interface)를 통해 전송되는 촬영 장치의 제어 방법.
제 4 항에 있어서,
상기 전송 데이터의 포맷은,
상기 MIPI의 사용자 정의 타입(user defined type)인 촬영 장치의 제어 방법.
삭제
삭제
제 1 항에 있어서,
상기 전송 데이터가 상기 프리뷰 영상 데이터, 영상 데이터 및 헤더 데이터를 포함하는 경우,
상기 메인 프로세서는,
상기 전송된 전송 데이터의 헤더 데이터를 파싱하여, 상기 병렬 처리된 영상 데이터의 존재 여부를 판단하는 촬영 장치의 제어 방법.
제 1 항에 있어서,
상기 메인 프로세서 및 상기 이미지 프로세서 중 적어도 하나는 MIPI의 가상 채널 프로토콜(virtual channel protocol)을 지원하지 않는 촬영 장치의 제어 방법.
제 1 항에 있어서,
상기 메인 프로세서는,
애플리케이션 프로세서인 촬영 장치의 제어 방법.
제 1 항 내지 제 5 항 및 제 8 항 내지 제 10 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치에 있어서,
촬영 모듈을 통해 촬영된 영상에 대한 프리뷰 영상 데이터와, 상기 프리뷰 영상 데이터와 병렬 처리된 영상 데이터가 존재하는 경우 상기 병렬 처리된 영상 데이터를 포함한 전송 데이터를 상기 메인 프로세서에 전송하는 이미지 프로세서; 및
상기 전송된 데이터에서 상기 프리뷰 영상 데이터를 추출하고, 추출된 프리뷰 영상 데이터를 상기 촬영 장치의 표시부에 표시하는 메인 프로세서를 포함하고,
상기 전송 데이터는, 하나의 프레임에 대한 프리뷰 영상 데이터, 상기 병렬 처리된 영상 데이터의 하나의 블록, 및 블록의 인덱스 및 블록의 수를 포함하는 헤더 데이터를 포함하는 단위의 전송 데이터이며,
상기 이미지 프로세서는, 상기 촬영된 영상에 대한 복수의 프레임에 대한 복수의 프리뷰 영상 데이터들을 포함하는 복수의 전송 데이터를 순차적으로 전송하고,
상기 메인 프로세서는, 상기 전송된 데이터에 상기 영상 데이터가 존재하는 경우, 상기 영상 데이터를 메모리에 저장하는 촬영 장치.
제 12 항에 있어서,
상기 영상 데이터는,
압축된 영상 데이터인 촬영 장치.
제 12 항에 있어서,
상기 메인 프로세서는,
상기 메모리에 저장된 압축된 영상 데이터를 상기 촬영된 영상에 대한 압축 파일을 생성하는 촬영 장치.
제 12 항에 있어서,
상기 전송 데이터는,
상기 메인 프로세서와 상기 이미지 프로세서 간의 MIPI(Mobile Industry Processor Interface)를 통해 전송되는 촬영 장치.
제 15 항에 있어서,
상기 전송 데이터의 포맷은,
상기 MIPI의 사용자 정의 타입(user defined type)인 촬영 장치.
삭제
삭제
제 12 항에 있어서,
상기 전송 데이터가 상기 프리뷰 영상 데이터, 영상 데이터 및 헤더 데이터를 포함하는 경우,
상기 메인 프로세서는,
상기 전송된 전송 데이터의 헤더 데이터를 파싱하여, 상기 병렬 처리된 영상 데이터의 존재 여부를 판단하는 촬영 장치.
제 12 항에 있어서,
상기 메인 프로세서 및 상기 이미지 프로세서 중 적어도 하나는 MIPI의 가상 채널 프로토콜(virtual channel protocol)을 지원하지 않는 촬영 장치.