KR101774591B1

KR101774591B1 - 디지털 영상 촬영 방법 및 장치

Info

Publication number: KR101774591B1
Application number: KR1020110099411A
Authority: KR
Inventors: 백재명; 박동렬; 성운탁; 최순경; 수바스 판데이
Original assignee: 삼성전자주식회사
Priority date: 2011-09-29
Filing date: 2011-09-29
Publication date: 2017-09-05
Also published as: EP2575355A2; EP2575355B1; KR20130035134A; CN103108118B; US20130083212A1; US9077900B2; EP2575355A3; CN103108118A

Abstract

본 발명은 동영상 촬영 중 사용자의 지시에 의해 정지 영상을 동시에 촬영하는 듀얼 레코딩 구현시, 동영상 화소 보다 고화소의 정지 영상 촬영을 저 전력으로 구현할 수 있는 방법 및 장치를 제공한다. 이에 따라 본 발명은 동영상 촬영중에 정지 영상을 촬영 요청이 발생하면, 이미지 센서를 리셋하거나 대기 모드로 변경한 후 이미지 센서의 동작 파라미터를 정지 영상 촬영을 위한 파라미터로 설정하여, 고속으로 이미지 센서의 동작 모드를 정지 영상 촬영 모드로 변경한다. 그리고 이미지 센서의 정지 영상 촬영 모드 설정 완료 후 곧바로 정지 영상 촬영을 위한 노출을 시작하여 촬영 시간을 단축한다. 정지 영상 촬영이 완료되면, 이미지 센서를 리셋하거나 대기 모드로 변경한 후 이미지 센서의 동작 파라미터를 동영상 촬영을 위한 파라미터로 설정하여, 고속으로 이미지 센서의 동작 모드를 동영상 촬영 모드로 변경한다. 그리고 이미지 센서의 동영상 모드 설정 완료 후 곧바로 동영상 촬영을 위한 노출을 시작하여 동영상 촬영을 계속하고, 촬영된 정지 영상을 이용하여 정지 영상 촬영 동안 손실된 동영상 프레임을 생성하여 동영상 스트림의 해당 위치에 삽입한다.　　

Description

디지털 영상 촬영 방법 및 장치 {METHOD AND APPARATUS FOR PHOTOGRAPHING DIGITAL IMAGE}

본 발명은 디지털 동영상 및 정지 영상 촬영에 관한 것으로, 특히, 동영상 촬영 중에 정지 영상을 촬영하고, 계속해서 동영상을 촬영하는 방법 및 장치에 관한 것이다.

디지털 영상 촬영 기술의 발달로 인해, 디지털 영상 촬영 장치는 동영상 촬영과 정지 영상 촬영을 모두 제공할 수 있게 되었다. 그리고 동영상 촬영 중에, 사용자 요청에 따라 정지 영상을 생성하고, 자동으로 동영상 촬영을 계속하는 듀얼 레코딩 기능도 제공되고 있다.　　

일반적으로 듀얼 레코딩을 하는 경우, 디지털 영상 촬영 장치는 동영상 촬영 화소와 동일한 화소의 정지 영상을 기록한다.

동영상 보다 높은 해상도의 정지 영상을 취득하기 위해서는, 디지털 영상 촬영 장치는 다음과 같이 동작한다. 디지털 영상 촬영 장치의 이미지 센서는 동영상 촬영 시 전체 화소 또는 고 화소의 영상 데이터를 연속 출력한다. 그리고 이미지 센서로부터 영상 데이터를 입력 받은 ISP(Image Signal Processor: 이미지 처리부)가 영상 데이터를 화질 처리 하여, 동영상 촬영 화소에 맞게 화소를 줄여서 동영상 프레임 데이터를 출력한다. 사용자가 동영상 촬영 도중 정지 영상 촬영 버튼을 누르면, ISP는 영상 데이터를 전체 화소 또는 고화소로 화질 처리하여, 전체 화소 또는 고화소의 정지 영상 데이터를 출력한다.

이때, ISP 내부에 동영상 처리부와 정지 영상 처리부가 각각 구비된다면, 동영상과 정지 영상이 동시에 처리될 수도 있다. 이 경우 이미지 센서는 항상 전체 화소 또는 고 화소로 구동되고 있으므로 동영상 촬영 도중 정지영상 촬영 시 이미지 센서의 모드 변경이 필요 없고 촬영된 동영상에는 화면 멈춤 또는 시간 손실 현상이 없다.

그런데 기존의 고 해상도 정지 영상을 촬영하는 듀얼 레코딩에서, 이미지 센서는 동영상 촬영 시에도 전체 화소 또는 고화소로 구동되어 영상 데이터를 출력하고, ISP는 이 영상 데이터를 받아서 처리하기 때문에, 이미지 센서를 부분 화소 구동 출력하는 일반 동영상 촬영 보다 전력 소모가 크다.

특히 이미지 센서의 화소 수가 커지고 동영상 촬영 프레임 율이 빠를수록 이미지 센서와 ISP는 고속 동작이 요구되고, 전력소모는 증가하며 열 발생에 의한 화질 저하가 심각해진다. 이미지 센서는 이러한 문제로 전체 화소 동작 프레임 율이 동영상 촬영 프레임 율에 미치지 못하는 경우가 대부분이다.

이 문제를 보완하기 위하여 이미지 센서를 상대적으로 작은 화소수로 구동하고 스케일 업을 통해 정지 영상 화소수를 올리는 경우도 있지만, 이로 인한　실질 해상도 증가 효과는 미미하다.

상기한 문제를 해결하기 위해 본 발명은 동영상 촬영 중 사용자의 지시에 의해 정지 영상을 동시에 촬영하는 듀얼 레코딩 구현 시, 동영상 화소 보다 고화소의 정지 영상 촬영을 저 전력으로 구현할 수 있는 방법 및 장치를 제공한다.

그리고 본 발명은 디지털 영상 촬영 장치의 동영상 및 정지 영상 촬영 방법에 있어서, 동영상 촬영 중에 정지 영상 촬영 요청이 있으면, 상기 동영상 촬영을 정지하고, 상기 이미지 센서에 동영상 데이터 출력을 중지시키는 과정과, 정지 영상 촬영을 위한 동작 파라미터를 설정하여 정지 영상 촬영 모드를 설정하는 과정과, 상기 정지 영상 촬영 모드 설정의 완료 시점부터, 상기 이미지 센서에 정지 영상 촬영을 위한 노출을 시작하여 정지 영상 데이터를 생성하는 과정과, 상기 정지 영상 데이터의 생성이 완료되면, 상기 이미지 센서에 동영상 촬영을 위한 동작 파라미터를 설정하여 동영상 촬영 모드를 설정하는 과정과, 상기 동영상 촬영 모드 설정의 완료 시점부터, 상기 이미지 센서에 동영상 촬영을 위한 노출을 시작하여 동영상 데이터를 생성하여, 상기 정지되었던 동영상 촬영을 재시작하는 과정과, 상기 정지 영상 데이터를 화질 처리하고 필요에 따라 압축하여 정지 영상 촬영에 대응하는 과정과, 상기 동영상 데이터들을 화질 처리한 동영상 프레임 데이터들을 연결하고 필요에 따라 압축한 동영상 스트림을 생성하는 과정과, 상기 정지 영상 데이터를 이용하여 화질 처리된 가상 동영상 프레임 데이터를 생성하고, 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림에서 정지영상 촬영을 위해 상기 동영상 촬영이 정지된 기간에 대응하는 손실 구간에 삽입하는 과정을 포함한다.

또한 본 발명에 따라, 디지털 영상 촬영 장치가, 이미지 센서와, 동영상 촬영 중에 정지 영상 촬영 요청이 있으면, 상기 동영상 촬영을 정지하고, 상기 이미지 센서에 동영상 데이터 출력을 중지하고, 정지 영상 촬영을 위한 동작 파라미터를 설정하여 정지 영상 촬영 모드를 설정하고, 상기 정지 영상 촬영 모드 설정의 완료 시점부터, 상기 이미지 센서에 정지 영상 촬영을 위한 노출을 시작하여 정지 영상 데이터가 생성되게 하고, 상기 정지 영상 데이터의 생성이 완료되면, 상기 이미지 센서에 동영상 촬영을 위한 동작 파라미터를 설정하여 동영상 촬영 모드를 설정하고, 상기 동영상 촬영 모드 설정의 완료 시점부터, 상기 이미지 센서에 동영상 촬영을 위한 노출을 시작하여 동영상 데이터가 생성되게 하여, 상기 동영상 촬영을 재시작하고, 상기 정지 영상 데이터를 화질 처리하고 필요에 따라 압축하여 정지 영상 촬영에 대응하고 상기 정지영상 데이터를 이용하여 가상 동영상 프레임을 생성하고 상기 동영상 데이터들을 화질 처리하고 사이즈를 조절하여 동영상 프레임을 생성하는 이미지 처리부(ISP)와, 상기 이미지 처리부를 제어하면서 동영상 프레임 데이터들을 연결하고 필요에 따라 압축한 동영상 스트림을 생성하고, 상기 정지 영상 데이터를 이용하여 생성된 가상 프레임 데이터를, 상기 동영상 스트림에서 상기 동영상 촬영이 정지된 기간에 대응하는 손실 구간에 삽입하는 제어부를 포함한다.

본 발명은 동영상 촬영 중 사용자의 지시에 의해 정지 영상을 동시에 촬영하는 듀얼 레코딩 구현 시, 동영상 화소 보다 고화소의 정지 영상 촬영을 저 전력으로 구현할 수 있다.

도1은 본 발명의 일 실시예에 따른 디지털 영상 촬영 장치의 구성을 나타낸 도면,
도2는 본 발명의 일 실시예에 따른 디지털 영상 촬영 장치의 동작을 나타낸 도면,
도3 은 일반 적인 동영상 촬영 시 이미지 센서의 서브 샘플링 방식의 부분 화소 동작 방식을 나타낸 도면,　
도4 는 일반 적인 동영상 촬영 시 이미지 센서의 크롭 방식의 부분 화소 동작 방식을 나타낸 도면,　
도5는 본 발명의 이미지 센서의 일반적인 모드 변경에 따른 듀얼 레코딩 과정을 나타낸 도면,
도6은 본 발명의 일 실시예에 따른 이미지 센서의 고속 모드 변경시 듀얼 레코딩 과정을 나타낸 도면,
도7은 본 발명의 일 실시예에 따른 동영상 프레임 데이터의 보충 과정을 나타낸 도면,
도8 및 도9는 본 발명의 다른 실시예에 따른 디지털 영상 촬영 장치의 구성을 나타낸 도면.　

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

본 발명은 동영상 촬영 중 사용자의 지시에 의해 정지 영상을 동시에 촬영하는 듀얼 레코딩 구현 시, 동영상 화소 보다 고화소의 정지 영상 촬영을 저 전력으로 구현할 수 있는 방법 및 장치를 제공한다.

이에 따라 본 발명은 동영상 촬영 중에 정지 영상을 촬영 요청이 발생하면, 진행중인 동영상 데이터 출력을 완료 한 후 이미지 센서의 동작 파라미터를 정지 영상 촬영을 위한 파라미터로 설정하여, 고속으로 이미지 센서의 동작 모드를 정지 영상 촬영 모드로 변경한다. 그리고 이미지 센서의 정지 영상 촬영 모드 설정 완료 후 곧바로 정지 영상 촬영을 위한 노출을 시작하여 정지 영상 촬영 시간을 단축한다.

정지 영상 촬영이 완료되면, 이미지 센서의 동작 파라미터를 동영상 촬영을 위한 파라미터로 설정하여, 고속으로 이미지 센서의 동작 모드를 동영상 촬영 모드로 변경한다. 그리고 이미지 센서의 동영상 모드 설정 완료 후 곧바로 동영상 촬영을 위한 노출을 시작하여 동영상 촬영을 계속하고, 촬영된 정지 영상을 이용하여 화질 처리된 동영상 프레임을 생성하여 동영상 스트림의 정지 영상 촬영 동안 손실된 구간에 삽입한다.　　　　

이러한 본 발명이 적용되는 디지털 영상 촬영 장치의 구성을 도1에 도시하였다. 도1을 참조하면, 디지털 영상 촬영 장치는 이미지 센서(10), 이미지 처리부(ISP:Image Signal Processor)(20), 제어부(30), 저장부(40), 사용자 입력부(50), 표시부(60)를 포함한다. 이러한 디지털 영상 촬영 장치는 독립적인 장치로 구성될 수도 있고, 다양한 휴대 단말에 포함될 수 있다. 예를 들어, 휴대폰, PDA, 스마트폰, 휴대용 게임 장치, 휴대용 음악 재생 장치 등에 포함될 수 있다.

사용자 입력부(50)는 사용자 입력을 제어부(30)로 전달하는 장치로서, 복수의 키, 터치스크린 등의 다양한 입력 수단을 포함할 수 있다. 사용자 입력부(50)는 표시부(60)에 포함될 수 있다. 사용자는 사용자 입력부(50)를 통해 적정한 촬영 모드를 선택하거나, 촬영 요청을 입력할 수 있다.

저장부(40)는 제어부(30)의 워킹 메모리로 이용되는 DRAM(dynamic Random Access Memory)부와 전원이 차단된 상태에서도 데이터를 보관할 수 있는 플래시 메모리부로 구성된다. DRAM부에는 디지털 영상 촬영 장치의 동작 제어 및 데이터 처리에 필요한 각종 프로그램 및 데이터를 저장한다. 그리고 플래시 메모리부는 압축된 정지 영상 데이터 또는 동영상 스트림을 저장한다.

제어부(30)는 디지털 영상 촬영 장치의 전반적인 상태 및 동작을 제어하며, 영상 촬영 장치 응용 프로그램의 구동 및 이미지 처리 프로세서(20)의 동작 제어 등을 수행한다. 제어부(30)는 마이크로프로세서나 DSP(Digital Signal Processor)등을 통해 구현될 수 있다. 그리고 제어부(30)는 이미지 처리부(20)에 입력되는 영상 데이터를 적정 처리하여 저장부(40)에 저장하거나 표시부(60)에 표시한다. 예를 들어, 압축되지 않은 YUV 포맷의 정지 영상 데이터가 입력되면, 제어부(30)는 정지 영상 데이터를 압축하여 저장부(40)에 저장한다. 만약, 압축된 정지 영상 데이터가 입력되면, 제어부(30)는 그대로 저장부(40)에 저장할 수도 있다. 다른 예로, YUV 포맷의 동영상 프레임 데이터가 입력되면, 제어부(30)는 입력된 동영상 프레임 데이터를 압축하여 동영상 스트림을 생성하여 저장부(40)에 저장한다. 또는 압축된 동영상 스트림이 입력되는 경우, 그대로 저장부(40)에 저장할 수도 있다.　　

이미지 처리부(20)는 제어부(30)의 제어에 따라, 이미지 센서(10)의 동작을 제어한다. 그리고 이미지 처리부(20)는 이미지 센서(10)에 의해 획득된 영상 데이터를 화질 처리하고, 포맷을 변경하여 제어부(30)로 출력한다. 예를 들어, 이미지 센서(10)에 의해 생성된 RAW 포맷의 정지 영상 데이터 또는 동영상 데이터를 화질 처리 및 사이즈 조정 후YUV 포맷의 정지 영상 프레임 데이터 또는 동영상 프레임 데이터로 변경하여 제어부(30)로 출력할 수 있다. 또는 상기YUV 포맷의 정지 영상 프레임 데이터를 압축된 정지 영상 프레임 데이터로 변경하여 제어부(30)로 출력할 수도 있고, YUV 포맷의 동영상 프레임 데이터를 압축후, 동영상 스트림을 생성하여 제어부(30)로 출력할 수도 있다. 이러한 이미지 처리부(20)의 영상 데이터 처리는 디지털 영상 촬영 장치의 동작 모드나 다른 설정 값에 따라 결정될 수 있다.　

이미지 센서(10)는, 이미지 처리부(20)의 제어에 따라, CMOS트랜지스터나 CCD메모리의 배열 위에 화상을 결상시키고 각 셀(cell;최소 단위의 회로 요소)의 출력을 전자적으로 주사하여 화상을 전기 신호로 변환시켜 영상 데이터를 이미지 처리부(20)로 출력한다.　

상기한 실시예에서는 이미지 처리부(20)와 제어부(30)가 별도의 독립적인 구성부인 경우를 예로 들었으나, 다른 실시예에서는 이미지 처리부(20)는 제어부(30)에 포함되어 하나의 이미지 처리 모듈로 구성될 수도 있다.　 상기와 같이 구성되는 디지털 영상 촬영 장치가 본 발명에 따라 듀얼 레코딩을 하는 경우, 동영상 촬영시에는 이미지 센서(10)를 부분 화소 구동 방식으로 구동하고, 동영상 촬영 도중 정지 영상을 촬영할 때는 이미지 센서(10)를 전체 화소 구동 방식으로 구동한다. 즉, 디지털 영상 촬영 장치는 동영상 촬영시는 이미지 센서(10)의 동작 모드를 동영상 촬영 모드로 설정하고, 정지 영상 촬영 이벤트가 발생하면 이미지 센서(10)의 동작 모드를 정지 영상 촬영 모드로 변경하여 정지 영상을 생성하고, 정지 영상의 촬영이 완료되면 이미지 센서(10)의 동작 모드를 동영상 촬영 모드로 변경하여, 동영상 촬영을 계속한다.

이러한 디지털 영상 촬영 장치의 동작 과정을 도2를 참조하여 설명하면 다음과 같다. 도2의 실시예에서, 디지털 영상 촬영 장치는 동영상 촬영 중에 정지 영상 촬영 요구가 발생하면, 동영상 촬영에 따른 동영상 프레임의 기록과, 정지 영상 촬영에 따른 정지 영상의 기록이 동시에 수행될 수 있는 듀얼 레코딩 모드가 설정되어 있는 상태로 가정한다. 그리고 동영상 촬영시, 이미지 센서(10)는 서브 샘플링 방식 또는 크롭(crop) 방식의 부분 화소 구동 방식에 따라 구동되고, 동영상 촬영 도중의　정지 영상 촬영시에는 전체 화소 구동 방식으로 구동되는 것으로 가정한다.

도2를 참조하면, 101단계에서 디지털 영상 촬영 장치는 듀얼 레코딩 모드 하에서 동영상을 촬영하고 있는 상태이다. 즉, 이미지 센서(10)의 동작 모드는 동영상 모드이고, 이에 따라, 이미지 센서(10)는 부분 화소 구동 방식에 따라 구동되고 있다.　　　

이미지 센서(10)의 부분 화소 구동 방식은 이미지 센서(10)의 전체 화소 중 일부 화소에 대응하는 센서값을 유효값으로 이용하여 영상 데이터를 생성하는 것으로, 예를 들어, 서브 샘플링 방식 또는 크롭(crop) 방식 등이 있을 수 있다. 서브 샘플링 방식을 도3에 도시하였고, 크롭 방식을 도4에 도시하였다.

도3을 참조하면, 서브 샘플링 방식은 이미지 센서(10)의 전체 화소(200) 중 미리 정해진 위치의 부분 화소(210)의 센서 값을 유효 값으로 이용하여 동영상 프레임 데이터를 생성한다.

도4를 참조하면, 크롭 방식은 이미지 센서(10)의 전체 화소(300)에서 일부 영역(310)을 동영상 용으로 크롭하여, 일부 영역(310)에 포함된 화소의 센서값을 유효값으로 이용하여 동영상 데이터를 생성한다.

정지 영상 촬영시에는 전체 화소(200,300)의 센서값이 유효값으로 이용될 수 있다.

도2로 돌아와서, 사용자는 동영상 촬영 중에 정지 영상을 촬영하고 싶다면, 사용자 입력부(50)를 통해 정지 영상 셔터키 등을 입력하여, 정지 영상 촬영을 요청할 수 있다. 이에 따라, 103단계에서 제어부(30)는 정지 영상 촬영 이벤트가 발생한 것을 감지하고, 105단계로 진행하여 이미지 센서(10)에 정지 영상 모드가 설정될 수 있도록, 이미지 처리부(20)를 제어한다. 이에 따라, 이미지 처리부(20)는 이미지 센서(10)에서 정지 영상 촬영 이벤트가 발생한 시점에서 출력 중이던 동영상 데이터의 출력이 완료되면 이미지 센서(10)를 리셋하거나, 대기 모드로 변경한다.

이미지 센서(10)를 리셋하면, 리셋을 시도하는 시점에 출력중이던 이미지 센서(10)의 동영상 데이터의 출력이 중단된다. 때문에, 이미지 센서(10)의 리셋은 정지 영상 촬영 이벤트가 발생한 시점에 이미지 센서(10)에서 출력 중이던 동영상 데이터의 출력이 완료된 이후에 이뤄지는 것이 바람직하다. 그리고 이미지 센서(10)가 리셋되면, 이미지 센서(10)에 설정된 동작 파라미터 값들도 리셋되어 모든 동작 파라미터를 새로 세팅해야 한다.

이미지 센서(10)의 대기 모드(stand by mode)로 변경은, 변경을 시도하는 시점에 출력 중이던 이미지 센서(10)의 동영상 출력이 완료된 후에 대기 모드로 변경된다. 그리고 이미지 센서(10)의 동작 파라미터 값은 이전에 설정된 값을 그대로 유지되어 변경이 필요한 파라미터만 세팅하면 된다. - 이미지 처리부(20)는 이미지 센서(10)에 정지 영상 촬영을 위한 동작 파라미터를 설정하여 정지 영상 촬영 모드를 설정한다. 정지 영상 촬영을 위한 동작 파라미터는 실제 촬영에 따라 생성되는 정지 영상의 크기, 노출 시간, 이득, 프레임 율 등을 결정하는 값들이다 그리고 고화질의 정지 영상을 생성하기 위해, 정지 영상의 크기, 즉, 이미지 센서(10)의 유효 화소는 전체 화소로 설정될 수 있다. 또는 사용자가 지정한 해상도를 가질 수 있도록 유효 화소가 설정될 수 있다. 또는 동영상 보다 고화질의 정지 영상이 생성될 수 있도록 이미지 센서(10)의 유효 화소가 설정될 수 있다. 이하의 실시예에서는 정지 영상 촬영시 이미지 센서(10)의 유효 화소가 전체 화소로 설정되는 것으로 가정한다.

그리고 107단계로 진행하여, 이미지 처리부(20)는 정지 영상 촬영 모드 설정의 완료 시점부터, 이미지 센서(10)에 정지 영상 촬영을 위한 노출을 시작하고, 이미지 센서(10)로부터 출력되는 정지 영상 데이터를 화질 처리한다.　　

이러한 정지 영상 촬영 모드의 설정 과정 및 정지 영상 촬영 과정을 도5 및 도6을 참조하여 상세히 설명하면 다음과 같다. 도5는 이미지 센서(10)의 일반적인 모드 변경에 따른 본 발명의 듀얼 레코딩 과정을 나타낸 도면이고, 도6은 이미지 센서(10)의 고속 모드 변경에 따른 본 발명의 일 실시예에 따른 듀얼 레코딩 과정을 나타낸 도면이다. 일반적으로 동영상 생성에는 30fps가 소요되고, 정지 영상 생성에는 15fps가 소요되므로, 도5 및 도6에서는 한개의 동영상 생성에 소요되는 시간을 t로, 한개의 정지 영상 생성에 소요되는 시간을 2t로 가정한다. 한 개의 동영상 시간 t 내에는 데이터가 실제 출력되는 구간과 데이터가 출력되지 않는 빈 구간이 존재하는데 이해를 돕기 위하여 본 도면에는 빈 구간을 표시하지 않았다.

일반적인 방식에 따라, 이미지 센서(10)의 동작 모드를 변경하는 경우는 도5와 같다. 도5를 참조하면, 동영상이 촬영되고 있는 동안 정지 영상 촬영 요청이 발생되면(0에서 t 구간) 동영상 데이터(410)의 출력이 완료될 때까지, 이미지 센서(10)의 동작은 유지된다. 그리고 동영상 데이터(410)의 출력이 완료되면, t에서 2t 구간 동안 정지 영상 촬영을 위한 파라미터가 이미지 센서(10)에 셋팅된다. 그리고 이미지 처리부(20)는 정지영상의 한 주기(2t) 시간에서 노출 시간(t 라고 가정)을 뺀 시간이 지난 후 정지 영상 촬영에 필요한 이미지 센서(10)의 노출을 시작하여 정지 영상 데이터(420)의 출력이 완료되게 한다(3t에서 6t 구간). 이와 같이, 종래에는 이미지 센서(10)의 동작 모드를 변경하여, 정지 영상을 노출 시간 (0~2t)에 상관 없이 촬영이 완료되는 시점은 6t가 된다.　

하지만, 본 발명의 고속 모드 변경에서는 도6에 도시된 바와 같이, 이미지 센서(10)를 리셋하거나 대기 모드로 전환 후에 동작 파라미터를 설정하고, 동작 파라미터의 설정이 완료된 시점부터 정지 영상 촬영을 위한 이미지 센서(10)의 노출을 시작함에 따라, 모드 변경 및 정지 영상 촬영에 소요되는 시간을 단축할 수 있다.

도6을 참조하면, 동영상이 촬영되고 있는 동안 정지 영상 촬영 요청이 발생되면(0에서 t 구간) 동영상 데이터(510)의 출력이 완료될 때까지, 이미지 센서(10)의 동작은 유지된다. 그리고 동영상 데이터(510)의 출력이 완료되면, 이미지 센서(10)를 리셋하거나 또는 대기 모드로 변경한다. 그리고 정지 영상 촬영을 위한 동작 파라미터를 이미지 센서(10)에 설정한다. 이때, 이미지 센서(10)는 리셋되거나 대기 모드 이기 때문에, 동작 파라미터의 설정에 소요되는 시간이 도5의 경우보다 단축된다.

이후, 정지 영상 촬영을 위한 동작 파라미터 설정이 완료되면, 즉, 이미지 센서(10)에 정지 영상 촬영 모드 설정이 완료되면, 그 완료 시점부터 기다림 없이 정지 영상 촬영을 위한 이미지 센서(10)의 노출을 시작한다. 이에 따라, 본 발명에 따른 정지 영상 촬영이 완료되기까지의 시간은 줄어들게 된다.　　　　　　

도2로 돌아와서, 단시간 내에 정지 영상 촬영이 완료되면, 이미지 처리부(20)는 109단계에서 이미지 센서(10)에 동영상 촬영 모드를 설정한다. 동영상 촬영 모드의 설정은 정지 영상 촬영 모드 설정 과정과 유사하게 이루어진다. 즉, 이미지 처리부(20)는 이미지 센서(10)의 정지 영상 데이터 출력이 완료되면, 이미지 센서(10)를 리셋하거나 대기 모드로 변경한다. 그리고 이미지 처리부(20)는 이미지 센서(10)에 동영상 촬영을 위한 동작 파라미터를 설정하여 동영상 촬영 모드를 설정한다. 동영상 촬영을 위한 동작 파라미터는 실제 촬영에 따라 생성되는 동영상의 크기, 노출 시간, 이득, 프레임 율 등을 결정하는 값들이다. 이에 따라, 이미지 센서(10)의 유효 화소는 도3 또는 도4와 같이 부분 화소로 설정될 것이다.　

그리고 111단계로 진행하여, 이미지 처리부(20)는 동영상 촬영 모드 설정의 완료 시점부터, 이미지 센서(10)에 동영상 촬영을 위한 노출을 시작하여, 동영상 촬영을 재시작한다.

도6을 참조하여 설명하면, 이미지 센서(10)의 정지 영상 데이터 (520)의 출력이 완료되면, 이미지 센서(10)를 리셋하거나 대기 모드로 변경하고, 동영상 촬영을 위한 동작 파라미터를 설정하기 때문에, 모드 변경에 소요되는 시간이 1t 미만이 된다. 그리고 동작 파라미터 설정 완료 시점(5t)부터 기다림 없이 동영상 촬영을 위한 노출을 시작하기 때문에, 동영상 촬영 재시작 이후 첫 번째 동영상 데이터(530)의 출력이 완료된다. 즉, 동영상 촬영 재시작 이후 첫 번째 동영상 데이터(530)의 출력이 완료될 때까지 소요되는 시간이 감소하게 된다.

이에 반하여, 도5의 일반 모드 변경 방식은, 동영상 촬영을 위한 노출 역시 모드 변경이 완료된 시점(8t)부터 일정 시간이 지난 후에 시작되기 때문에, 동영상 촬영 재시작 이후 첫 번째 동영상 데이터(430)의 출력이 완료되는데 까지 3t의 시간이 소요된다. 결과적으로 본 발명의 고속 모드 변경 방식에서 이미지 센서(10)에 동영상 촬영 모드를 설정하고, 실제 동영상 촬영이 재시작 되는데 소요되는 시간이 일반 모드 변경 방식보다 더 단축되는 것을 알 수 있다.　　 다시 도2로 돌아와서, 이미지 처리부(20)는 제어부(10)의 제어에 따라, 상기 107단계에서 생성한 정지 영상 데이터를 이용하여 동영상 촬영이 정지된 기간 동안의 동영상 프레임을 생성하여, 동영상 스트림에 삽입한다. 다시 말해, 정지 영상 데이터를 생성하는 동안, 즉, 이미지 센서(10)를 정지 영상 촬영 모드로 변경하고, 정지 영상 데이터를 생성하고, 다시 동영상 촬영 모드로 변경하는 동안 동영상 프레임 데이터의 생성은 중단된다. 이에 따라, 동영상 스트림의 일정 구간에 동영상 프레임이 부재하게 된다. 때문에 이미지 처리부(20)와 제어부(30)가 연동하여 정지 영상 데이터를 이용해 동영상 스트림에 삽입할 동영상 프레임을 생성한다.

이를 도7에 도시하였다. 도7은 본 발명의 일 실시예에 따른 동영상 프레임 데이터의 보충 과정을 나타낸 도면이다.

도7을 참조하면, 이미지 처리부(20)는 이미지 센서(10)에서 받은 데이터를 화질 처리하고 사이즈 조정하여 101단계에서 동영상 촬영 동안 동영상 프레임 데이터 f1과 동영상 프레임 데이터 f2를 출력한다. 그리고 이미지 처리부(20)는 107단계에서의 정지 영상 촬영에 따라 정지 영상 프레임 데이터 s1출력하고, 111단계에서 동영상 촬영에 따른 동영상 프레임 데이터 f3와 동영상 프레임 데이터 f4를 출력한다.

이에 따라, 동영상 프레임 데이터로 구성되는 동영상 스트림에는 동영상 프레임 데이터 f1, 동영상 프레임 데이터f2, 동영상 프레임 데이터 f3, 동영상 프레임 데이터 f4가 포함된다. 하지만, 정지 영상 촬영에 따라, 동영상 프레임 데이터f2와 동영상 프레임 데이터 f3 사이의 동영상 프레임 데이터가 부재하게 된다.

때문에, 제어부(30)는 정지 영상 프레임 데이터로부터 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 데이터를 추출하여, 가상 동영상 프레임 데이터 fs를 생성하여, 동영상 프레임 데이터f2와 동영상 프레임 데이터 f3 사이에 삽입되게 한다.

이때, 정지 영상 프레임율이 동영상 프레임율의 1/2인 경우 정지 영상 데이터부터 추출된 가상 동영상 프레임 데이터를 동영상 스트림에 2번 삽입할 수도 있다.

모드 변환으로 인해 정지 영상 촬영 전 후에 동영상 촬영의 시간 손실이 기준 시간 간격 이상일 경우, 예를 들어, 손실 구간이 1 프레임 시간 이상 될 경우, 복수개의 가상 동영상 프레임 데이터를 동영상 스트림에 삽입하여 시간 손실을 최소화 할 수 있다. 상기 기준 시간 간격은 예를 들어, 적어도 하나 이상의 가상 동영상 프레임 데이터 시간일 수도 있다. 또는 정지 영상 데이터를 생성하기 전의 마지막 동영상 프레임 데이터와, 정지 영상 데이터 생성 후 첫 번째 동영상 프레임 데이터, 예를 들어, 도7에서 동영상 프레임 데이터f2와 동영상 프레임 데이터 f3을 동영상 스트림의 손실 구간에 추가로 삽입할 수도 있다.　　

이때 상기한 가상 동영상 프레임 데이터와 그 앞뒤의 동영상 프레임 데이터, 즉, 동영상 프레임 데이터 f2와 동영상 프레임 데이터 f3의 피사체 움직임을 근거로 추가 동영상 프레임 데이터를 생성하여, 손실 구간에 삽입할 수도 있다. 다시 말해, 동영상 프레임 데이터f2와 가상 동영상 프레임 데이터 fs 간의 움직임 벡터를 산출하고, 산출된 움직임 벡터를 근거로 하여 동영상 프레임 데이터 상에서 피사체의 위치를 결정하고, 이를 반영하여 제1추가 동영상 프레임 데이터를 생성하는 것이다. 그리고 가상 동영상 프레임 데이터 fs와 동영상 프레임 데이터 f3 간의 움직임 벡터를 산출하고, 산출된 움직임 벡터를 근거로 하여 동영상 프레임 데이터 상에서 피사체의 위치를 결정하고, 이를 반영하여 제2추가 동영상 프레임 데이터를 생성하는 것이다.

그리고 제1추가 동영상 프레임 데이터 및 제2추가 동영상 프레임 데이터를 가상 동영상 프레임 데이터 fs 전후에 삽입한다.

상기한 실시예에서는, 이미지 처리부(20)가 동영상 촬영 모드 설정의 완료 시점부터, 이미지 센서(10)에 동영상 촬영을 위한 노출을 시작하는 경우(111단계)를 예로 들었으나, 본 발명의 다른 실시예 따라, 정지 영상 데이터 출력후, 동영상 촬영 모드 재설정이 완료되면, 상기 동영상 스트림에 상기 가상 동영상 프레임 데이터를 삽입하는데 소요되는 시간 이상 대기한 후에, 상기 동영상 촬영을 위한 노출을 시작하도록 구성할 수도 있다.

다시 말해, 동영상 촬영 중에 발생한 요청에 따라 이미지 센서(10)의 고속 모드 변환을 수행하여 정지 영상 데이터가 출력되게 한다. 이후, 이미지 센서(10)에는 다시 동영상 촬영 모드를 설정하고, 동영상 촬영 모드 설정이 완료되면 지연 없이 동영상 촬영을 위한 노출을 시작하는 것이 아니라, 정지 영상 데이터를 이용해 생성한 가상 동영상 프레임 데이터를 동영상 스트림에 삽입한 후에 동영상 촬영을 위한 노출이 시작되게 하는 것이다. 이러한 가상 동영상 프레임 데이터의 생성은 이미지 처리부(20)의 동작 특성에 따라 여러 가지 방식으로 이루어질 수 있다. 이러한 예들을 도8 및 도9에 도시하였다. 도8 및 도9에 도시된 디지털 영상 촬영 장치의 이미지 센서(610,710)와, 이미지 처리부(620,720)와, 제어부(630,730)와, 저장부(640,740)의 동작 및 역할은 상술한 설명과 유사하다. 다만, 가상 동영상 프레임 데이터를 생성하는 과정에서 하기 설명과 같은 특징을 가진다.

먼저, 도8은, 이미지 처리부(620)가 라인 버퍼(621)를 포함한 경우의 디지털 영상 촬영 장치를 나타낸 것이다. 일반적으로 라인 버퍼(621)를 가진 이미지 처리부(620)의 경우, 이미지 센서(610)로부터 입력되는 데이터를 짧은 시간(~1ms)에 화질 처리하여 제어부(630)으로 출력하므로 이미지 처리부(620) 입력과 출력 사이의 시간 지연은 거의 없다. 이때 이미지 처리부(620)는 상기한 정지 영상 촬영 모드하에서 이미지 센서(610)로부터 입력된 정지 영상 데이터를 화질 처리, 압축, 사이즈 조절을 수행하고 압축된 전체 화소 정지 영상 데이터와 비압축 부분 화소 데이터를 한 프레임의 인터리브 프레임에 섞어서 제어부(630)로 전달하는 인터리브(interleave) 처리부(622)를 포함할 수 있다. 도8에서 인터리브 처리부(621)을 포함하는 이미지 처리부(620)는 상기한 정지 영상 촬영 모드하에서 이미지 센서(610)로부터 입력된 정지 영상 데이터를 내부의 작은 크기의 라인 버퍼 메모리를 이용하여 화질 처리함과 동시에 압축을 진행한다. 또한 정지 영상 데이터를 화질 처리 함과 동시에 동영상 프레임 데이터와 동일한 화각 및 화소로 줄여 가상 동영상 프레임 데이터를 생성하여 상기한 비압축 부분 화소 데이터로 사용한다. 일반적으로 비압축 가상 동영상 프레임 데이터의 포맷은 YUV 포맷이고 압축 정지 영상 데이터의 포맷은 JPEG(Joint Photographic Experts Group) 포맷이다.

제어부(630)는 인터리브 프레임에서 가상 동영상 프레임 데이터를 분리하고, 가상 동영상 데이터를 동영상 스트림의 적정 위치에 삽입한다. 그리고 압축 정지영상 데이터를 분리하여 저장부(640)에 저장한다.

도9는 이미지 처리부(720)가 프레임 버퍼(721)를 포함한 경우의 디지털 영상 촬영 장치를 나타낸 것이다. 일반적으로 프레임 버퍼(721)를 가진 이미지 처리부(720)의 경우, 화질 처리의 품질을 향상하기 위하여 프레임 버퍼(721)에 이미지 센서(710)로부터 입력되는 영상 데이터를 저장하였다가 화질 처리를 수행한다. 때문에 이미지 센서(710)의 출력과 이미지 처리부(720)의 출력 사이에는 1~2 프레임 정도의 시간 지연이 존재한다.

이 경우 이미지 처리부(720)는 동영상 촬영 도중 정지 영상 촬영 요청을 받으면, 그 시점에서 출력중인 이미지 센서(710)의 동영상 프레임 데이터까지 화질 처리하여 출력한다. 그리고 이미지 센서(710)는 진행 중인 동영상 데이터 출력 완료 후, 빠르게 동작 모드를 정지 영상 동작 모드로 변경하고, 전체 화소 또는 고 화소의 정지 영상 데이터를 출력한다.

이미지 처리부(720)는 이미지 센서(710)로부터 입력되는 동영상 데이터를 화질 처리하여 동영상 프레임 데이터 A로 변경해서 제어부(730)로 출력한다. 그리고 이미지 처리부(720)에서 입력되는 정지 영상 데이터를 프레임 버퍼(720)에 저장하고, 동시에 정지 영상 데이터를 화소 감소 및 화질 처리하여 가상 동영상 프레임 데이터를 생성하여 제어부(730)로 출력한다.

이미지 센서(710)는 정지 영상 출력이 완료되면 빠르게 동작 모드를 동영상 촬영 모드로 변경하여 동영상 데이터를 다시 출력하고, 이에 따라, 이미지 처리부(720)는 동영상 프레임 데이터 B를 제어부(730)로 출력한다.

제어부(730)는 동영상 스트림의 동영상 프레임 데이터 A와 동영상 프레임 데이터 B 사이에 가상 동영상 프레임 데이터를 삽입한다. 이때, 동일한 가상 동영상 프레임 데이터를 복수개 삽입하거나, 동영상 프레임 데이터 A와 동영상 프레임 데이터 B를 참조하여 가상 동영상 프레임 데이터를 추가적으로 생성하여 삽입할 수도 있다.　

동영상 촬영이 완료되면 이미지 처리부(720)는 프레임 버퍼(721)에 저장되어 있는 정지 영상 데이터를 화질 처리하고 필요에 따라 압축하여 제어부(730)로 출력한다. 제어부(730)는 입력되는 정지 영상 데이터를 저장부(740)에 저장한다.

프레임 버퍼(721)를 가진 이미지 처리부(720)가 상기한 인터리브 방식으로 압축된 정지 영상 데이터와 비 압축 동영상 프레임 데이터를 한 프레임으로 출력할 수 있으면, 제어부(730)는 인터리브 프레임에서 동영상 프레임 데이터를 추출하여 동영상 스트림에 삽입할 수도 있다.　　　　

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해 져야 한다.

Claims

디지털 영상 촬영 장치의 동영상 및 정지 영상 촬영 방법에 있어서,
동영상 촬영 중에 정지 영상 촬영 요청이 있으면, 상기 동영상 촬영을 정지하기 위해, 이미지 센서에, 동영상 데이터 출력을 중지시키는 과정과,
정지 영상 촬영을 위한 동작 파라미터를 설정하여 정지 영상 촬영 모드를 설정하는 과정과,
상기 정지 영상 촬영 모드 설정 완료 후, 상기 이미지 센서에 정지 영상 촬영을 위한 노출을 실시해서 정지 영상 데이터를 생성하는 과정과,
상기 정지 영상 데이터의 생성이 완료되면, 상기 이미지 센서에 동영상 촬영을 위한 동작 파라미터를 설정하여 동영상 촬영 모드를 설정하는 과정과,
　상기 동영상 촬영 모드 설정의 완료 후, 상기 이미지 센서에 동영상 촬영을 위한 노출을 실시해서 동영상 데이터를 생성하여, 상기 정지되었던 동영상 촬영을 재 시작하는 과정과,
상기 정지 영상 데이터를 화질 처리하고, 압축하여 상기 정지 영상 촬영에 대응하는 정지 영상 프레임 데이터를 생성하는 과정과,
상기 동영상 데이터들을 화질 처리하고 사이즈 조정하여 생성한 동영상 프레임 데이터들을 연결하고 압축한 동영상 스트림을 생성하는 과정과,
상기 정지 영상 데이터를 이용하여 화질 처리된 가상 동영상 프레임 데이터를 생성하고, 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림에서 상기 정지 영상 촬영을 위해 상기 동영상 촬영이 정지된 기간에 대응하는 손실 구간에 삽입하는 과정을 포함하고,
상기 정지 영상 촬영 모드를 설정하는 과정은,
상기 정지 영상 촬영 요청 발생 시점에, 상기 이미지 센서에서 출력 중이던 동영상 데이터의 출력이 완료되면 상기 이미지 센서를 리셋하거나 또는 대기 모드로 변경하는 단계와,
상기 이미지 센서가 리셋되거나 또는 대기 모드로 변경된 상태에서 상기 이미지 센서에 상기 정지 영상 촬영을 위한 동작 파라미터를 설정하는 단계를 포함하고,
상기 정지 영상 촬영 모드 설정이 완료되면, 지연 없이 상기 정지 영상 촬영을 위한 노출이 시작됨을 특징으로 하는 영상 촬영 방법.
삭제
제1항에 있어서, 상기 동영상 촬영 모드를 설정하는 과정은,
상기 정지 영상 데이터의 생성이 완료되면, 상기 이미지 센서를 리셋하거나 또는 대기 모드로 변경하는 단계와,
상기 이미지 센서가 리셋되거나 또는 대기 모드로 변경된 상태에서 상기 이미지 센서에 상기 동영상 촬영을 위한 동작 파라미터를 설정하는 단계를 포함함을 특징으로 하는 영상 촬영 방법.
제3항에 있어서, 상기 동영상 촬영 모드 설정이 완료되면, 지연 없이 상기 동영상 촬영을 위한 노출을 바로 시작함을 특징으로 하는 영상 촬영 방법.
제3항에 있어서, 상기 동영상 촬영 모드 설정이 완료되면, 상기 동영상 스트림에 상기 가상 동영상 프레임 데이터를 삽입하는데 소요되는 시간 이상 대기 후, 상기 동영상 촬영을 위한 노출을 시작하는 것을 특징으로 하는 영상 촬영 방법.
제1항에 있어서, 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림의 상기 손실 구간에 삽입하는 과정은,
상기 정지 영상 데이터를 이용해 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된, 상기 가상 동영상 프레임 데이터를 생성하는 단계와,
상기 생성된 가상 동영상 프레임 데이터를 상기 손실 구간에 삽입하는 단계와,
상기 손실 구간이 상기 가상 동영상 프레임 데이터 시간 이상이면, 상기 가상 동영상 프레임 데이터를 상기 손실 구간에 복수 개 삽입하는 단계를 포함할 수 있음을 특징으로 하는 영상 촬영 방법.
제1항에 있어서, 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림의 상기 손실 구간에 삽입하는 과정은,
상기 정지 영상 데이터를 이용하여 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된 상기 가상 동영상 프레임 데이터를 생성하는 단계와,
상기 생성된 가상 동영상 프레임 데이터를 상기 손실 구간에 삽입하는 단계와,
상기 정지 영상 데이터의 프레임율이 상기 동영상 데이터의 프레임율의 1/2이하인 경우, 상기 가상 동영상 프레임 데이터를 상기 손실 구간에 복수 개 삽입하는 단계를 포함할 수 있음을 특징으로 하는 영상 촬영 방법.
제1항에 있어서, 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림의 상기 손실 구간에 삽입하는 과정은,
상기 정지 영상 데이터를 이용하여 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된 상기 가상 동영상 프레임 데이터를 생성하는 단계와,
상기 생성된 가상 동영상 프레임 데이터를 상기 손실 구간에 삽입하는 단계와,
상기 손실 구간이 적어도 하나의 가상 동영상 프레임 데이터 시간 이상이면, 상기 정지 영상 데이터 생성전에 마지막으로 생성한 제1동영상 프레임 데이터와, 상기 가상 동영상 프레임 데이터 간에 검출되는 모션 벡터를 근거로 하여, 제1추가 동영상 프레임 데이터를 생성하는 단계와,
상기 정지 영상 데이터 생성 후에 첫 번째로 생성한 제2동영상 프레임 데이터와, 상기 가상 동영상 프레임 데이터 간에 검출되는 모션 벡터를 근거로 하여, 제2추가 동영상 프레임 데이터를 생성하는 단계와,
상기 제1추가 동영상 프레임 데이터, 상기 가상 동영상 프레임 데이터, 상기 제2추가 동영상 프레임 데이터를 순차적으로 상기 손실 구간에 삽입하는 단계를 포함함을 특징으로 하는 영상 촬영 방법.
제1항에 있어서, 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림의 상기 손실 구간에 삽입하는 과정은,
상기 정지 영상 데이터를 이용하여, 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된 상기 가상 동영상 프레임 데이터를 생성하는 단계와,
상기 생성된 가상 동영상 프레임 데이터를 상기 손실 구간에 삽입하는 단계와,
상기 손실 구간이 적어도 한 개 이상의 가상 동영상 프레임 데이터 시간 이상이면, 상기 정지 영상 데이터 생성 전에 마지막으로 생성한 제1동영상 프레임 데이터와, 상기 가상 동영상 프레임 데이터와, 상기 정지 영상 데이터 생성 후에 첫 번째로 생성한 제2동영상 프레임 데이터를 순차적으로 상기 손실 구간에 삽입하는 단계를 포함함을 특징으로 하는 영상 촬영 방법.
제1항에 있어서, 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림의 상기 손실 구간에 삽입하는 과정은 이미지 처리부가 상기 정지 영상 데이터로부터 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된 상기 가상 동영상 프레임 데이터를 생성하는 단계와, 상기 이미지 처리부가 상기 정지 영상 프레임 데이터와 상기 가상 동영상 프레임 데이터를 한 프레임에 섞어 인터리브 프레임을 만들어 제어부로 출력하는 단계와,상기 제어부가 상기 인터리브 프레임을 분해하여 상기 가상 동영상 프레임 데이터는 상기 동영상 스트림에 삽입하고, 상기 정지 영상 프레임 데이터는 저장부에 저장하는 단계를 포함함을 특징으로 하는 영상 촬영 방법.
제1항에 있어서, 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림의 상기 손실 구간에 삽입하는 과정은 이미지 처리부가 상기 정지 영상 데이터로부터 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된 상기 가상 동영상 프레임 데이터를 생성하는 단계와, 상기 이미지 처리부가 상기 정지 영상 데이터를 상기 이미지 처리부의 내부 프레임 버퍼에 저장하고, 상기 가상 동영상 프레임 데이터를 출력하여 상기 동영상 스트림에 삽입되게 하는 단계를 포함하고, 상기 이미지 처리부는 상기 동영상 촬영이 완료되면 상기 프레임 버퍼에 저장되어 있는 상기 정지 영상 데이터를 처리하여 상기 정지 영상 프레임 데이터를 출력함을 특징으로 하는 영상 촬영 방법.
제1항에 있어서, 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림의 상기 손실 구간에 삽입하는 과정은, 제어부에 포함된 이미지 처리부가 상기 정지 영상 데이터로부터 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된 상기 가상 동영상 프레임 데이터를 생성하는 단계와, 상기 이미지 처리부가 상기 정지 영상 데이터를 저장부에 저장하고, 상기 제어부가 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림에 삽입하는 단계를 포함하고, 상기 이미지 처리부가 상기 동영상 촬영이 완료되면 상기 저장부에 저장되어 있는 상기 정지영상 데이터를 화질 처리하고, 압축하여 상기 정지 영상 프레임 데이터를 생성하여 상기 저장부에 저장함을 특징으로 하는 영상 촬영 방법.
디지털 영상 촬영 장치에 있어서,
이미지 센서와,
동영상 촬영 중에 정지 영상 촬영 요청이 있으면, 상기 동영상 촬영을 정지하기 위해, 상기 이미지 센서의 동영상 데이터 출력을 중지시키고, 상기 이미지 센서에 정지 영상 촬영을 위한 동작 파라미터를 설정하여 정지 영상 촬영 모드를 설정하고, 상기 정지 영상 촬영 모드 설정 완료 후, 상기 이미지 센서에 정지 영상 촬영을 위한 노출을 실시하여 정지 영상 데이터가 생성되게 하고, 상기 정지 영상 데이터의 생성이 완료되면, 상기 이미지 센서에 동영상 촬영을 위한 동작 파라미터를 설정하여 동영상 촬영 모드를 설정하고, 상기 동영상 촬영 모드 설정 완료 후, 상기 이미지 센서에 동영상 촬영을 위한 노출을 실시해서 동영상 프레임 데이터가 생성되게 하여, 상기 정지되었던 동영상 촬영을 재 시작하고, 상기 정지 영상 데이터를 화질 처리하고 압축하여 상기 정지 영상 촬영에 대응하는 정지 영상 프레임 데이터를 생성하고, 상기 동영상 데이터들을 화질 처리하고 사이즈 조정하여 생성한 동영상 프레임 데이터들을 연결하고 압축한 동영상 스트림을 생성하고, 상기 정지 영상 데이터를 이용하여 화질 처리된 가상 동영상 프레임 데이터를 생성해서 상기 동영상 스트림에서 상기 정지 영상 촬영을 위해 상기 동영상 촬영이 정지된 기간에 대응하는 손실 구간에 상기 가상 동영상 프레임 데이터가 삽입되게 하는 이미지 처리부를 포함하고,
상기 이미지 처리부는 상기 정지 영상 촬영 모드를 설정하기 위해, 상기 정지 영상 촬영 요청 발생 시점에, 상기 이미지 센서에서 출력 중이던 동영상 데이터의 출력이 완료되면, 상기 이미지 센서를 리셋하거나 또는 대기 모드로 변경하고, 상기 이미지 센서가 리셋되거나 또는 대기 모드로 변경된 상태에서 상기 이미지 센서에 상기 정지 영상 촬영을 위한 동작 파라미터를 설정하고, 상기 정지 영상 촬영 모드 설정이 완료되면, 지연 없이 상기 정지 영상 촬영을 위한 노출을 시작함을 특징으로 하는 디지털 영상 촬영 장치.
삭제
제13항에 있어서, 상기 이미지 처리부는 상기 동영상 촬영 모드를 설정하기 위해, 상기 정지 영상 데이터의 생성이 완료되면, 상기 이미지 센서를 리셋하거나 또는 대기 모드로 변경하고, 상기 이미지 센서가 리셋되거나 또는 대기 모드로 변경된 상태에서, 상기 이미지 센서에 상기 동영상 촬영을 위한 동작 파라미터를 설정함을 특징으로 하는 디지털 영상 촬영 장치.
제15항에 있어서, 상기 동영상 촬영 모드 설정이 완료되면, 지연 없이 상기 동영상 촬영을 위한 노출을 바로 시작함을 특징으로 하는 디지털 영상 촬영 장치.
제15항에 있어서, 상기 동영상 촬영 모드 설정이 완료되면, 상기 동영상 스트림에 상기 가상 동영상 프레임 데이터를 삽입하는데 소요되는 시간 이상 대기 후, 상기 동영상 촬영을 위한 노출을 시작하는 것을 특징으로 하는 디지털 영상 촬영 장치.
제13항에 있어서, 상기 이미지 처리부는 상기 정지 영상 데이터를 이용해 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 상기 가상 동영상 프레임 데이터를 생성하고,
상기 생성된 가상 동영상 프레임 데이터는 상기 손실 구간에 삽입되고, 상기 손실 구간이 상기 가상 동영상 프레임 데이터 시간 이상이면, 상기 가상 동영상 프레임 데이터를 상기 손실 구간에 복수 개 삽입할 수 있음을 특징으로 하는 디지털 영상 촬영 장치.
제13항에 있어서, 상기 이미지 처리부는 상기 정지 영상 데이터를 이용하여 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 상기 가상 동영상 프레임 데이터를 생성하고,
상기 생성된 가상 동영상 프레임 데이터는 상기 손실 구간에 삽입되고, 상기 정지 영상 데이터의 프레임율이 상기 동영상 프레임 데이터의 프레임율의 1/2이하인 경우, 상기 가상 동영상 프레임 데이터를 상기 손실 구간에 복수개 삽입할 수 있음을 특징으로 하는 디지털 영상 촬영 장치.
제13항에 있어서, 상기 이미지 처리부는 상기 정지 영상 데이터를 이용하여, 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 상기 가상 동영상 프레임 데이터를 생성하고, 상기 손실 구간이 적어도 하나의 가상 동영상 프레임 데이터 시간 이상이면, 상기 정지 영상 데이터 생성전에 마지막으로 생성한 제1동영상 프레임 데이터와, 상기 가상 동영상 프레임 데이터 간에 검출되는 모션 벡터를 근거로 하여, 제1추가 동영상 프레임 데이터를 생성하고, 상기 정지 영상 데이터 생성 후에 첫 번째로 생성한 제2동영상 프레임 데이터와, 상기 가상 동영상 프레임 데이터 간에 검출되는 모션 벡터를 근거로 하여, 제2추가 동영상 프레임 데이터를 생성하고,
상기 제1추가 동영상 프레임 데이터, 상기 가상 동영상 프레임 데이터, 상기 제2추가 동영상 프레임 데이터는 순차적으로 상기 손실 구간에 삽입됨을 특징으로 하는 디지털 영상 촬영 장치.
제13항에 있어서, 상기 이미지 처리부는 상기 정지 영상 데이터를 이용하여 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 상기 가상 동영상 프레임 데이터를 생성하고,
상기 손실 구간이 적어도 하나의 가상 동영상 프레임 데이터 시간 이상이면, 상기 정지 영상 데이터 생성 전에 마지막으로 생성된 제1동영상 프레임 데이터와, 상기 가상 동영상 프레임 데이터와, 상기 정지 영상 데이터 생성 후에 첫 번째로 생성된 제2동영상 프레임 데이터가 순차적으로 상기 손실 구간에 삽입됨을 특징으로 하는 디지털 영상 촬영 장치.
제13항에 있어서, 상기 이미지 처리부는 상기 정지 영상 데이터로부터 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된 상기 가상 동영상 프레임 데이터를 생성하고, 상기 정지 영상 프레임 데이터와 상기 가상 동영상 프레임 데이터를 한 프레임에 섞어 인터리브 프레임을 만들어 제어부로 출력하고,
상기 제어부는 상기 인터리브 프레임을 분해하여 상기 가상 동영상 프레임 데이터는 상기 동영상 스트림에 삽입하고, 상기 정지 영상 프레임 데이터는 저장부에 저장함을 특징으로 하는 디지털 영상 촬영 장치.
제13항에 있어서, 상기 이미지 처리부는 상기 정지 영상 데이터로부터 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된 상기 가상 동영상 프레임 데이터를 생성하고, 상기 정지 영상 데이터를 상기 이미지 처리부의 내부 프레임 버퍼에 저장하고, 상기 가상 동영상 프레임 데이터를 제어부로 출력하고, 상기 동영상 촬영이 완료되면 상기 프레임 버퍼에 저장되어 있는 상기 정지 영상 데이터를 처리하여 상기 정지 영상 프레임 데이터를 출력하고,
상기 제어부는 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림에 삽입함을 특징으로 하는 디지털 영상 촬영 장치.
제13항에 있어서, 상기 이미지 처리부는 제어부에 포함되고,
상기 이미지 처리부가 상기 정지 영상 데이터로부터 상기 동영상 프레임 데이터와 동일한 화각, 동일한 화소의 화질 처리된 상기 가상 동영상 프레임 데이터를 생성하고, 상기 정지 영상 데이터를 저장부에 저장하고,
상기 제어부가 상기 가상 동영상 프레임 데이터를 상기 동영상 스트림에 삽입하고,
상기 이미지 처리부가 상기 동영상 촬영이 완료되면 상기 저장부에 저장되어 있는 상기 정지영상 데이터를 화질 처리하고, 압축하여 상기 정지 영상 프레임 데이터를 생성하여 상기 저장부에 저장함을 특징으로 하는 디지털 영상 촬영 장치.