Nothing Special   »   [go: up one dir, main page]

KR20160077120A - 모드리스 비디오 및 스틸 프레임 캡처 - Google Patents

모드리스 비디오 및 스틸 프레임 캡처 Download PDF

Info

Publication number
KR20160077120A
KR20160077120A KR1020167013509A KR20167013509A KR20160077120A KR 20160077120 A KR20160077120 A KR 20160077120A KR 1020167013509 A KR1020167013509 A KR 1020167013509A KR 20167013509 A KR20167013509 A KR 20167013509A KR 20160077120 A KR20160077120 A KR 20160077120A
Authority
KR
South Korea
Prior art keywords
frames
resolution
frame
aspect ratio
still
Prior art date
Application number
KR1020167013509A
Other languages
English (en)
Other versions
KR101758032B1 (ko
Inventor
디. 암논 실버스테인
순 와이 고
석 환 임
티모시 제이. 밀렛
팅 첸
빈 니
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20160077120A publication Critical patent/KR20160077120A/ko
Application granted granted Critical
Publication of KR101758032B1 publication Critical patent/KR101758032B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H04N5/23245—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23216—
    • H04N5/23232—
    • H04N5/23293—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/007—Systems with supplementary picture signal insertion during a portion of the active part of a television signal, e.g. during top and bottom lines in a HDTV letter-box system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

일 실시예에서, 전자 디바이스는 비디오 캡처 동안에 스틸 프레임들을 캡처하도록 구성될 수 있지만, 4×3 종횡비로, 그리고 16×9 종횡비 비디오 프레임들보다 더 높은 해상도에서 스틸 프레임들을 캡처할 수 있다. 디바이스는 비디오 시퀀스에서 높은 해상도의 4×3 프레임들과 더 낮은 해상도의 16×9 프레임들을 인터리브할 수 있고, 사용자가 스틸 프레임의 캡처를 지시할 때 가장 가까운 더 높은 해상도의 4×3 프레임을 캡처할 수 있다. 대안적으로, 디바이스는 비디오 시퀀스에서 16×9 프레임들을 표시하고, 이어서 셔터 버튼이 눌러질 때 4×3 프레임들로 확장될 수 있다. 디바이스는 셔터 버튼의 누름해제에 응답하여 스틸 프레임을 캡처하고 16×9 비디오 프레임들로 복귀할 수 있다.

Description

모드리스 비디오 및 스틸 프레임 캡처{MODELESS VIDEO AND STILL FRAME CAPTURE}
본 발명은 휴대용 전자 디바이스에서의 비디오 및 스틸 프레임 캡처의 분야에 관한 것이다.
다양한 휴대용 전자 디바이스들은 비디오 및/또는 스틸 프레임들(사진들)을 캡처하도록 설계된다. 예를 들어, 그러한 휴대용 전자 디바이스들은 핸드헬드 비디오 카메라, 디지털 카메라, 이미지 센서("카메라")를 구비한 개인 휴대 정보 단말기, 카메라를 구비한 셀폰/스마트폰, 카메라를 구비한 태블릿, 카메라를 구비한 랩톱 등을 포함할 수 있다.
상기 디바이스들을 포함하는, 비디오 캡처 및 스틸 프레임 캡처 둘 다를 지원하는 디바이스들이 점점 보편화되고 있다. 그러한 디바이스들은 흔히 사용자로 하여금 비디오 캡처 동안에 스틸 프레임을 캡처하도록 할 수 있다. 예를 들어, 디바이스들은 캡처되고 있는 비디오를 디바이스에 포함되거나 디바이스에 부착된 스크린 상에 표시할 수 있고, 디바이스는 스틸 프레임을 캡처하기 위해 사용자가 누를 수 있는 버튼 또는 다른 사용자 입력 디바이스를 포함할 수 있다. "버튼"은 디바이스 상의 물리적 버튼일 수 있거나, 또는 스크린이 터치 스크린인 경우에는 스크린 상의 가상 버튼일 수 있다.
비디오 캡처 동안에 스틸 프레임을 캡처하는 것에 관련하여 몇 가지 문제가 있다. 첫째, 비디오 캡처는 흔히 카메라가 지원하는 것보다 더 낮은 해상도에서 수행되고, 카메라의 더 높은 해상도는 전형적으로 비디오가 캡처되고 있지 않을 때 캡처되는 스틸 프레임들에 대해 사용된다. 둘째, 비디오의 종횡비는 전형적으로 16×9이지만 스틸 프레임들은 전형적으로 4×3 종횡비로 캡처된다. 따라서, 사용자가 스틸 프레임을 캡처하는 경우, 캡처된 스틸 프레임의 더 낮은 해상도 및 상이한 종횡비는 사용자에게 놀라울 수 있고 사용자에게 만족을 주지 못할 수 있다. 일반적으로, 카메라 센서는 높은 해상도 스틸 모드와 더 낮은 해상도 비디오 모드 사이에서 스위칭 시 재구성될 필요가 있으므로, 사용자는 단순히 모드들을 스위칭해서는 비디오 캡처 동안에 더 높은 해상도 스틸 이미지를 캡처할 수가 없다.
일 실시예에서, 전자 디바이스는 비디오 캡처 동안에 스틸 프레임들을 캡처하도록 구성될 수 있지만, 4×3 종횡비로, 그리고 16×9 종횡비 비디오 프레임들보다 더 높은 해상도에서 스틸 프레임들을 캡처할 수 있다. 일 구현예에서, 디바이스는 비디오 시퀀스에서 높은 해상도의 4×3 프레임들과 더 낮은 해상도의 16×9 프레임들을 인터리브(interleave)할 수 있고, 사용자가 스틸 프레임의 캡처를 지시할 때 가장 가까운 더 높은 해상도의 4×3 프레임을 캡처할 수 있다. 디바이스는 캡처되고 있는 비디오를 디스플레이 스크린 상에 표시할 수 있고, 4×3 프레이밍(framing)의 지시(indication)도 제공할 수 있다. 예를 들어, 비디오는 레터박스(letterbox)될 수 있으며, 이때 4×3 프레이밍의 나머지는 레터박스 주위에서 반투명 형태로 나타난다. 이러한 식으로, 사용자는 4×3 프레이밍과 비디오 프레이밍을 동시에 알 수 있다. 다른 구현예에서, 캡처되고 있는 비디오는 16×9 종횡비로 디스플레이 스크린 상에 표시될 수 있다. 사용자가 스틸 프레임을 캡처하려고 셔터 버튼을 누를 경우, 표시된 비디오는 (4×3 프레임 내에서 비디오 프레임의 스케일 및 배치를 유지하면서) 4×3 종횡비로 확장될 수 있다. 사용자가 셔터 버튼을 누름해제하면, 스틸이 캡처될 수 있고 디스플레이는 16×9 종횡비로 복귀할 수 있다.
하기의 상세한 설명은 첨부 도면들을 참조하며, 이제 도면들이 간단히 설명된다.
도 1은 시스템의 일 실시예의 블록도이다.
도 2는 일 실시예에서 일정 기간 동안 캡처되는 프레임들을 예시하는 블록도이다.
도 3은 도 1에 도시된 시스템의 디스플레이 상에 프레임들을 표시하는 일 실시예의 블록도이다.
도 4는 도 1에 도시된 이미지 신호 프로세서(image signal processor, ISP)의 일 실시예의 블록도이다.
도 5는 도 1에 도시된 ISP의 다른 실시예의 블록도이다.
도 6은 시스템의 일 실시예에 따른 비디오 프레임 캡처를 예시하는 흐름도이다.
도 7은 시스템의 일 실시예에 따른 스틸 프레임 캡처를 예시하는 흐름도이다.
도 8은 시스템의 다른 실시예에 따른 스틸 프레임 캡처를 예시하는 흐름도이다.
도 9는 시스템의 다른 실시예의 블록도이다.
본 발명이 다양한 수정들 및 대안적인 형태들에 민감하지만, 그의 특정 실시예들은 도면들에서 예로서 도시되고, 본 명세서에서 상세하게 기술될 것이다. 그러나, 도면들 및 이에 대한 상세한 설명은 본 발명을 개시된 특정 형태로 제한하도록 의도되는 것이 아니며, 반대로, 첨부된 청구범위에 의해 정의되는 바와 같은 본 발명의 사상 및 범주 내에 있는 모든 수정들, 등가들 및 대안들을 포괄하려는 의도로 이해하여야 한다. 본 명세서에서 사용되는 표제들은 오직 구성을 위한 것이며 설명의 범주를 제한하기 위해 사용되는 것으로 의도되지 않는다. 본 출원 전반에 걸쳐 사용되는 바와 같이, "일 수 있다(may)"라는 단어는 의무적인 의미(즉, "이어야만 한다(must)"를 의미)라기보다 오히려 허용의 의미(즉, "~에 대해 가능성을 갖는다"는 의미)로 사용된다. 유사하게, "포함하다(include, includes)" 및 "포함하는(including)"이라는 단어는, 포함하지만 이로 제한되지 않음을 의미한다.
다양한 유닛들, 회로들 또는 기타 컴포넌트들이 작업 또는 작업들을 수행"하도록 구성"되는 것으로 설명될 수 있다. 그러한 맥락에서, "~하도록 구성된"은 동작 동안에 작업 또는 작업들을 수행하는 "회로를 가진"을 일반적으로 의미하는 구조의 광의의 설명이다. 이와 같이, 유닛/회로/컴포넌트는 유닛/회로/컴포넌트가 현재 온(on) 상태가 아닐 시에도 작업을 수행하도록 구성될 수 있다. 일반적으로, "~하도록 구성된"에 대응하는 구조를 형성하는 회로는 동작을 구현하기 위하여 실행 가능한 프로그램 명령어들을 저장하는 하드웨어 회로들 및/또는 메모리를 포함할 수 있다. 메모리는 정적 또는 동적 랜덤 액세스 메모리와 같은 휘발성 메모리 및/또는 비휘발성 메모리, 예를 들어 광 또는 자기 디스크 저장장치, 플래시 메모리, 프로그래밍 가능한 판독 전용 메모리(programmable read-only memory) 등을 포함할 수 있다. 유사하게, 설명의 편의를 위해, 다양한 유닛들/회로들/컴포넌트들은 작업 또는 작업들을 수행하는 것으로 설명될 수 있다. 그러한 설명은 "~하도록 구성된"이라는 문구를 포함하는 것으로 해석되어야 한다. 하나 이상의 작업을 수행하도록 구성된 유닛/회로/컴포넌트를 언급하는 것은 그 유닛/회로/컴포넌트에 대해 35 U.S.C. § 112, 6항의 해석을 적용하지 않고자 명확히 의도된다.
본 명세서는 "일 실시예" 또는 "실시예"에 대한 참조를 포함한다. 본 명세서에서 명시적으로 부인하지 않는다면, 임의의 특징들의 조합을 포함하는 실시예들이 일반적으로 고려되더라도, "일 실시예에서" 또는 "실시예에서"라는 문구가 나타난다고 해서 반드시 동일한 실시예를 지칭하지는 않는다. 특정 특징들, 구조들 또는 특성들이 본 개시내용과 일관성을 유지하는 임의의 적합한 방식으로 조합될 수 있다.
이제 도 1을 참조하면, 메모리(12), 하나 이상의 이미지 센서(26), 및 하나 이상의 디스플레이(20)에 연결된 시스템 온 칩(system on chaip, SOC)(10)의 일 실시예의 블록도가 도시된다. 이름에서 암시되는 바와 같이, SOC(10)의 컴포넌트들은 집적 회로 "칩"처럼 단일 반도체 기판 상에 집적될 수 있다. 일부 실시예들에서, 컴포넌트들은 시스템에서 둘 이상의 개별적인 칩 상에 구현될 수 있다. 추가적으로, 다양한 컴포넌트들이 임의의 집적회로 상에 집적될 수 있다(즉, 그것은 SOC일 필요가 없다). 그러나, SOC(10)는 본 명세서에서 예로서 사용될 것이다. 예시되는 실시예에서, SOC(10)의 컴포넌트들은 중앙 처리 장치(CPU) 컴플렉스(14), 디스플레이 파이프(16), 주변 컴포넌트들(18A-18B)(더 간단하게, "주변장치들"), 메모리 제어기(22), 이미지 신호 프로세서(ISP)(24), 및 통신 패브릭(communication fabric)(27)을 포함한다. 컴포넌트들(14, 16, 18A-18B, 22, 24)은 모두 통신 패브릭(27)에 연결될 수 있다. 메모리 제어기(22)는 사용 중에 메모리(12)에 연결될 수 있다. 유사하게, ISP(24)는 사용 중에 이미지 센서들(26)에 연결될 수 있고 디스플레이 파이프(16)는 사용 중에 디스플레이(20)들에 연결될 수 있다. 따라서, SOC(10), 이미지 센서들(26), 메모리(12), 및 디스플레이(20)는 모두 휴대용 전자 디바이스(그 예들이 앞서 언급되었음) 또는 임의의 다른 컴퓨터 시스템과 같은 시스템의 컴포넌트들일 수 있다. 예시되는 실시예에서, CPU 컴플렉스(14)는 하나 이상의 프로세서(28) 및 레벨 2(L2) 캐시(30)를 포함한다.
ISP(24)는 이미지 센서들(26)로부터 이미지 센서 데이터를 수신하도록 구성될 수 있고, 예를 들어, 디스플레이(20) 및/또는 다른 디스플레이들 상에 표시하는 데 적합할 수 있는 이미지 프레임들을 생성하기 위해 데이터를 처리하도록 구성될 수 있다. 이미지 프레임들은 스틸 프레임들 및 비디오 프레임들을 포함할 수 있다. ISP(24)는 (메모리 제어기(22)를 통해) 이미지 프레임들을 메모리(12)에 기록하도록 구성될 수 있다.
이미지 센서들(26)은 일반적으로, 광을 샘플링하고 샘플링된 광을 나타내는 출력을 제공하도록 구성된 임의의 디바이스를 포함할 수 있다. 이미지 센서들(26)은 카메라들(예컨대, 전하 결합 디바이스(CCD), 상보적 금속 산화막 반도체(CMOS) 센서 등)을 포함할 수 있다. 이미지 센서들(26)은 일부 실시예들에서 다양한 고정형 또는 이동형 광학 렌즈들도 포함할 수 있다.
보다 구체적으로는, 일 실시예에서, ISP(24)는 (예를 들어, 임의의 프레임 레이트가 다양한 실시예에서 사용될 수 있지만, 초당 60 프레임(frames per second, fps)과 같은, 특정된 프레임 레이트에서) 이미지 센서(26)로부터 시간 경과에 따른 일련의 프레임들을 수신하도록 구성될 수 있다. 주어진 이미지 센서(26)로부터 수신된 프레임들은 주어진 이미지 센서(26)의 최대 해상도 및 주어진 이미지 센서(26)의 종횡비에 기초한 해상도 및 종횡비를 가질 수 있다. 예를 들어, 일 실시예에서, 프레임들은 주어진 이미지 센서(26)의 최대 해상도 및 종횡비에서 수신될 수 있다. 다른 실시예에서, 프레임들은 주어진 이미지 센서의 종횡비와 상이한 종횡비, 및 그 상이한 종횡비에서 지원될 수 있는 최대 해상도에서 수신될 수 있다. 예를 들어, 일 실시예에서, 주어진 이미지 센서(26)는 4×3 종횡비를 가질 수 있지만, ISP(24)는 16×9 종횡비의 프레임들을 수신할 수 있다. 수신된 프레임들의 해상도는 4×3(16×12)에서 16×9로의 손실을 반영하기 위해 최대 해상도로부터 감소될 수 있다. 대안적으로, ISP(24)는, 다른 실시예에서, 수신된 프레임들 상의 종횡비를 감소시키도록 구성될 수 있다.
일 실시예에서, ISP(24)는 하나 초과의 이미지 센서로부터 동시에 프레임들을 수신할 수 있다. 예를 들어, 비디오 이미지 센서는 더 높은 해상도 스틸 프레임 센서와 함께 더 낮은 해상도 비디오 캡처를 위해 채용될 수 있다. ISP(24)는 인터리브 방식으로 이미지 센서들로부터의 데이터를 처리할 수 있다. 예를 들어, ISP(24)는 비디오 이미지 프레임을 캡처하고 처리할 수 있으며, 다음 비디오 프레임이 캡처될 때까지 나머지 시간을, 더 높은 해상도 스틸 이미지 프레임(또는 더 높은 해상도 프레임의 일부분)을 처리하는 데 사용할 수 있다.
ISP(24)는 수신된 프레임들을 처리하여 캡처된 비디오 시퀀스를 생성하도록 구성될 수 있다. 처리는, 일 실시예에서, 프레임들의 적어도 일부의 해상도뿐만 아니라 종횡비를 변경하는 것을 포함할 수 있다. 일부 실시예들에서, 프레임 레이트도 변경될 수 있다. 일 실시예에서, ISP(24)는 이미지 센서(26)에 의해 제공된 해상도 및 종횡비의 프레임들을, 더 낮은 해상도 및 상이한 종횡비의 프레임들과 인터리브할 수 있다. 예를 들어, 더 낮은 해상도는 비디오 시퀀스가 캡처되고 있는 디스플레이 표준의 해상도일 수 있다. 디스플레이 표준은 다양한 디스플레이들에 의해 구현될 수 있는 해상도 및 종횡비의 임의의 표준 설정일 수 있다. 해상도 및 종횡비가 표준이므로, 비디오 시퀀스는 많은 상이한 유형들의 디스플레이 디바이스들 상에 표시하는 데 적합할 수 있다. 예를 들어, 디스플레이 표준들은 720p, 720i, 1080p, 또는 1080i를 포함할 수 있다. 1080p 표준이 현재 특히 인기 있으며, 텔레비전 및 컴퓨터 모니터와 같은 많은 비디오 디스플레이 디바이스들에 의해 구현된다. 이들 다양한 디스플레이 표준은 또한 흔히 고화질 텔레비전(HDTV)으로 지칭된다. 1080p 표준은 본 명세서에서 예로서 사용될 수 있고, 16×9 종횡비 및 1920×1080 또는 2 메가픽셀의 해상도를 특정한다. 반면에, 이미지 센서(26)의 해상도는 8 메가픽셀, 10 메가픽셀, 12.5 메가픽셀 이상일 수 있다(또는, 일 실시예에서, 그보다 적을 수 있지만, 여전히 1080p 해상도보다 더 높음). 이미지 센서(26)의 종횡비는 또한 4×3일 수 있다. 디스플레이 표준 해상도 및 종횡비의 프레임들은 디스플레이 표준 프레임들, 또는 더 구체적인 예에서는 1080p 프레임들로 지칭될 수 있다. 일부 경우들에서 해상도가 이미지 센서(26)의 최대 해상도가 아닐지라도, 이미지 센서(26)로부터 수신된 해상도 및 종횡비의 프레임들은 "풀 해상도(full resolution)" 프레임들로 지칭될 수 있다.
비디오 시퀀스에서 1080p 프레임들과 풀 해상도 프레임들을 인터리브함으로써, ISP(24)는, (예를 들어, 통신 패브릭(27)을 통해 그리고 메모리 제어기(22)를 통해 그것을 메모리(12)에 기록함으로써) 비디오 시퀀스를 출력할 때 소모되는 대역폭 및 전력의 양을 감소시킬 수 있다. 추가적으로, 캡처된 비디오 시퀀스에서 풀 해상도 프레임들의 존재는 비디오가 캡처되는 동안에 스틸 프레임의 캡처를 허용할 수 있다. 스틸 프레임은 (사용자가 스틸이 캡처될 것을 지시할 때, 비디오 시퀀스로부터 풀 해상도 프레임들 중 하나를 선택함으로써) 이미지 센서(26)의 풀 해상도 및 종횡비를 가질 수 있으며, 이는 모드 변경을 요구하지 않으면서 (예컨대, 스틸 모드에서 캡처된 것들과 유사한) 더 바람직한 스틸을 제공할 수 있다.
높은 해상도 프레임들과 더 낮은 해상도 프레임들을 인터리브하는 것은 높은 해상도 프레임들과 더 낮은 해상도 프레임들의 이미지 스트림들을 생성할 수 있어서, 각각은 이미지 센서(26)로부터 프레임들이 캡처되는 프레임 레이트의 절반에서 생성할 수 있다. 그러나, 프레임 레이트들은 동일할 필요가 없다. 예를 들어, 높은 해상도 프레임 레이트는 스트림 내의 프레임들의 1/4, 또는 프레임들의 1/8, 또는 인터리브의 임의의 다른 패턴일 수 있다. 더 낮은 해상도 프레임 레이트는 원하는 총 프레임 레이트를 생성하도록 증가될 수 있다(예를 들어, 더 낮은 해상도 프레임은, 높은 해상도 프레임들이 프레임들의 1/4인 경우에 프레임들의 3/4일 수 있거나, 또는 높은 해상도 프레임들이 프레임들의 1/8인 경우에 프레임들의 7/8일 수 있다).
일 실시예에서, ISP(24)는 또한 "프리뷰" 비디오 시퀀스를 생성할 수 있으며, 이는 디스플레이 파이프(16)에 의해 디스플레이(20) 상에 표시될 수 있다. 프리뷰 비디오 시퀀스는 더 낮은 해상도 시퀀스일 수 있지만(예를 들어, 해상도는 1080p 해상도와 유사할 수 있음), 종횡비는 이미지 센서(26)의 종횡비일 수 있다. 즉, 종횡비는 스틸 이미지들의 종횡비일 수 있다. 프리뷰 시퀀스는 비디오를 캡처하고 있는 사용자에게 표시될 수 있어서, 사용자는 원하는 대로 프레이밍된 비디오 시퀀스를 유지할 수 있다. 또한, 스틸 이미지 종횡비를 표시하는 것은, 스틸 이미지가 캡처되는 경우 스틸 이미지가 어떻게 프레이밍될 것인지를 사용자가 볼 수 있게 할 수 있다. 일 실시예에서, 디스플레이 표준 종횡비는 또한 프리뷰 시퀀스에서 지시될 수 있어서, 사용자는 비디오 프레임 및 스틸 프레임 둘 다를 디스플레이(20) 상에서 동시에 볼 수 있다. 일 실시예에서, 프리뷰 비디오 시퀀스의 프레임 레이트는 또한 캡처된 비디오 시퀀스의 프레임 레이트보다 낮을 수 있다(예컨대, 60 fbs와 비교해 30 fps).
다른 실시예들은 다른 방식들로 프리뷰를 표시할 수 있다. 예를 들어, 프리뷰 시퀀스는 비디오가 캡처되는 동안에 디스플레이 표준 종횡비(예컨대, 16×9)에서 생성될 수 있다. 사용자는 (예컨대, 디바이스 상의 셔터 버튼을 누름으로써) 스틸을 캡처하려는 바람을 나타낼 수 있고, 프리뷰는 비디오 시퀀스 주위에 스틸 종횡비를 표시할 수 있다(디스플레이(20) 상에서 그것의 동일한 위치에서 비디오 시퀀스를 유지하지만, 스틸 프레임의 나머지도 표시함). 비디오 캡처는 셔터 버튼이 눌러진 동안에 계속될 수 있다. 사용자는 셔터 버튼을 누름해제하여 스틸 이미지를 캡처하고 비디오-전용 캡처(video-only capture)로 복귀할 수 있다. 셔터 버튼은 시스템의 하우징 상에 포함된 물리적 버튼일 수 있거나, 또는 (예컨대, 디스플레이(20)가 터치 스크린 디스플레이인 경우에는) 디스플레이 스크린 상의 가상 버튼일 수 있다.
디스플레이 파이프(16)는 디스플레이(20) 상에 표시하기 위해 하나 이상의 정지 프레임 및/또는 하나 이상의 비디오 시퀀스를 처리하는 하드웨어를 포함할 수 있다. 일반적으로, 각각의 소스 프레임 또는 비디오 시퀀스에 대하여, 디스플레이 파이프(16)는 메모리 제어기(22)를 통해 메모리(12)로부터 프레임/비디오 시퀀스를 나타내는 데이터를 판독하는 판독 메모리 동작들을 생성하도록 구성될 수 있다. 특히 이 실시예에서, 디스플레이 파이프(16)는 메모리 제어기(22)를 통해 메모리(12)로부터 프리뷰 시퀀스를 판독하도록 구성될 수 있다. 따라서, ISP(26)는 캡처된 시퀀스 및 임의의 스틸 프레임들뿐만 아니라 프리뷰 시퀀스를 메모리(12)에 기록할 수 있다. 디스플레이 파이프(16)는 이미지 데이터(정지 프레임들, 비디오 시퀀스들 등)에 임의의 유형의 처리를 수행하도록 구성될 수 있다. 일 실시예에서, 디스플레이 파이프(16)는 정지 프레임들을 스케일링하고, 비디오 시퀀스의 프레임들에 디더링(dither), 스케일링, 및/또는 색 공간 변환을 수행하도록 구성될 수 있다. 디스플레이 파이프(16)는 정지 프레임들과 비디오 시퀀스 프레임들을 블렌딩하여, 표시할 출력 프레임들을 생성하도록 구성될 수 있다. 보다 일반적으로, 디스플레이 파이프(16)는 디스플레이 제어기로 지칭될 수 있다.
디스플레이들(20)은 임의의 종류의 시각적 디스플레이 디바이스들일 수 있다. 디스플레이들은, 예를 들어, 스마트 폰, 태블릿 등과 같은 모바일 디바이스들을 위한 터치 스크린 스타일 디스플레이들을 포함할 수 있다. 다양한 디스플레이들(20)은 액정 디스플레이(LCD), 발광 다이오드(LED), 플라즈마, 음극선관(CRT) 등을 포함할 수 있다. 디스플레이들은 SOC(10)를 포함하는 시스템(예를 들어, 스마트 폰 또는 태블릿)에 통합될 수 있고/있거나 컴퓨터 모니터, 텔레비전, 또는 기타 디바이스와 같이 별도로 하우징된 디바이스일 수 있다.
일반적으로, 프레임의 종횡비는 (사용자가 볼 때) 수평 방향의 픽셀들의 수직 방향의 픽셀들에 대한 비율을 지칭할 수 있다. 프레임 내 픽셀들의 실제 수는 프레임의 해상도로 지칭될 수 있다. 프레임 내의 픽셀들이 많을수록, 이미지는 밀도(grain)가 더 미세해질 수 있고, 따라서 이미지는 더 정확해질 수 있다.
CPU 컴플렉스(14)는 SOC(10)의 CPU 역할을 하는 하나 이상의 CPU 프로세서(28)를 포함할 수 있다. 시스템의 CPU는 시스템의 메인 제어 소프트웨어, 예컨대 운영체제를 실행하는 프로세서(들)를 포함한다. 일반적으로, 사용 중 CPU에 의해 실행되는 소프트웨어는 시스템의 다른 컴포넌트들을 제어하여 원하는 시스템의 기능성을 실현할 수 있다. CPU 프로세서들(28)은 또한 기타 소프트웨어, 예컨대 애플리케이션 프로그램들을 실행할 수 있다. 애플리케이션 프로그램들은 사용자 기능성을 제공할 수 있고, 하위 레벨 디바이스 제어를 위해 운영체제에 의존할 수 있다. 따라서, CPU 프로세서들(28)은 또한 애플리케이션 프로세서들로 지칭될 수 있다. CPU 컴플렉스는 다른 하드웨어, 예컨대 L2 캐시(30) 및/또는 그리고 시스템의 다른 컴포넌트들에 대한 인터페이스(예를 들어, 통신 패브릭(27)에 대한 인터페이스)를 추가로 포함할 수 있다.
주변장치들(18A-18B)은 SOC(10)에 포함된 추가 하드웨어 기능성의 임의의 세트일 수 있다. 예를 들어, 주변장치들(18A-18B)은 비디오 주변장치, 예컨대 비디오 엔코더/디코더, 스케일러, 로테이터, 블렌더, 그래픽 처리 유닛 등을 포함할 수 있다. 주변장치들은 오디오 주변장치, 예컨대 마이크로폰, 스피커, 마이크로폰 및 스피커에 대한 인터페이스, 오디오 프로세서, 디지털 신호 프로세서, 믹서 등을 포함할 수 있다. 주변장치들은 SOC(10)의 외부에 있는 다양한 인터페이스들(예를 들어, 주변장치(18B))에 대한 인터페이스 제어기들을 포함할 수 있고, 인터페이스들에는 USB(Universal Serial Bus), PCIe(PCI Express)를 포함하는 PCI(peripheral component interconnect), 직렬 및 병렬 포트 등이 포함된다. 주변장치들은 네트워킹 주변장치, 예컨대 MAC(media access controller)들을 포함할 수 있다. 하드웨어의 임의의 세트가 포함될 수 있다.
메모리 제어기(22)는 일반적으로, SOC(10)의 기타 컴포넌트들로부터 메모리 요청들을 수신하고, 메모리(12)에 액세스하여 메모리 요청들을 완수하기 위한 회로를 포함할 수 있다. 메모리 제어기(22)는 임의의 유형의 메모리(12)에 액세스하도록 구성될 수 있다. 예를 들어, 메모리(12)는 SRAM(static random access memory), DRAM(dynamic RAM), 예컨대 더블 데이터 레이트(DDR, DDR2, DDR3 등) DRAM을 포함하는 SDRAM(synchronous DRAM)일 수 있다. 저전력/모바일 버전의 DDR DRAM(예를 들어, LPDDR, mDDR 등)이 지원될 수 있다.
통신 패브릭(27)은 SOC(10)의 컴포넌트들 간의 통신을 위한 임의의 통신 상호접속 및 프로토콜일 수 있다. 통신 패브릭(27)은 공유 버스 구성, 크로스 바(cross bar) 구성, 및 브릿지를 갖는 계층적 버스를 포함하는, 버스 기반일 수 있다. 통신 패브릭(27)은 또한 패킷 기반일 수 있고, 브릿지를 갖는 계층이거나, 크로스 바, 지점 간(point-to-point), 또는 기타 상호접속일 수 있다.
SOC(10)의 컴포넌트들의 개수(및 CPU 컴플렉스(14) 내에서와 같은, 도 1에 도시된 컴포넌트들에 대한 서브컴포넌트들의 개수)는 실시예마다 다를 수 있다는 것에 유의한다. 도 1에 나타난 개수보다 각 컴포넌트/서브컴포넌트가 많거나 적을 수 있다.
다음으로 도 2를 참조하면, 일 실시예에 따른 비디오 시퀀스의 연속 프레임들을 예시하는 도면이 도시된다. 비디오 시퀀스는, 16×9 종횡비 및 1080p 해상도의 프레임들(42A-42D)과 인터리브된, 4×3 종횡비 및 풀 센서 해상도의 프레임들(40A-40D)을 포함한다. 즉, 교번하는 프레임들이 4×3 종횡비 및 높은 해상도에서, 그리고 16×9 종횡비 및 더 낮은 해상도에서 제공된다. 비디오 시퀀스의 프레임 레이트는, 일 실시예에서, 이미지 센서(26)로부터의 입력 프레임 레이트(예컨대, 60 fps)와 동일할 수 있다. 따라서, 각각의 프레임 유형(풀 해상도 및 1080p 해상도)의 유효 프레임 레이트는 비디오 시퀀스 프레임 레이트(예컨대, 30 fps)의 1/2일 수 있다.
앞서 언급한 바와 같이, 풀 해상도 및 1080p 해상도 프레임들에 대한 프레임 레이트는 동일할 필요가 없다. 시스템에서의 그리고 ISP 자체에서의 이용가능한 대역폭과 같은 다양한 인자들에 따라, 유효 프레임 레이트는 변화될 수 있다. 예를 들어, 풀 해상도 프레임들은 15 fps에서 캡처될 수 있고 1080p 해상도 프레임들은 45 fps에서 캡처되어 60 fps를 산출할 수 있다. 프레임 레이트들의 임의의 세트가 사용될 수 있다.
도 3은 도 2에 도시된 비디오 시퀀스의 캡처 동안에 디스플레이(20) 상에 표시될 수 있는 프리뷰 시퀀스의 프레임(44)의 일 실시예를 예시하는 블록도이다. 프레임(44)은 중괄호들(48, 50)에 의해 나타내어진 바와 같은 16×9 포맷으로 된, 비디오 프레임(46)을 포함할 수 있다. 추가적으로, 비디오 프레임을 넘어서 연장되는 4×3(16×12) 프레임의 부분들은 반투명 레터박스 형태(52A-52B)로 도시될 수 있으며, 여기서 풀 4×3(16×12) 프레임은 중괄호들(48, 54)을 통해 도시된다.
반투명 레터박스들(52A-52B)은 프레임(44)의 어느 부분이 비디오 시퀀스로 캡처되고 있는지(비디오 프레임(46)) 그리고 어느 부분이 스틸 이미지에 이용가능한지(전체 프레임(44))에 관한 가시적 지시일 수 있다. 반투명 레터박스들(52A-52B)은 시각적 효과를 제공하기 위해 이미지를 음영처리할 수 있지만, 밑에 있는 픽셀들이 또한 보이게 하여, 비디오가 여전히 캡처되는 동안에 사용자가 원하는 스틸 샷을 프레이밍하게 할 수 있다. 다른 실시예들은 다른 시각적 지시기들을 사용할 수 있다(예를 들어, 비디오 프레임과 스틸 프레임 부분들을 분리하는 라인들, 비디오 프레임(46)이 시작되고 종료되는 지점들에서의 프레임(44)의 우측 및 좌측 상의 틱 마크(tick mark)들 등).
레터박스 효과는 비디오 시퀀스를 처리할 때 ISP(24)에 의해 부가될 수 있거나, 또는 디스플레이 파이프(16)를 통해 부가될 수 있어서, 밑에 있는 픽셀 색상들이 부분적으로 보일 수 있게 하는 비-단일적(non-unitary) 알파 값으로 비디오 시퀀스 상에 정지 이미지로서 투명 오버레이를 블렌딩할 수 있다.
가상 셔터 버튼(56)이 또한 프레임(44) 상에 표시될 수 있다. 예시되는 실시예에서, 버튼(56)은 비디오 프레임(44) 내에서 표시되지만 그것은 또한 레터박스 영역들(52A-52B)에서 표시될 수 있다. 버튼(56)은 디스플레이(20)가 터치-가능 디스플레이인 실시예에서 사용될 수 있다. 사용자는, 버튼이 스틸 프레임을 캡처하기 위해 표시되는 지점에서 스크린과 터치 접촉함으로써, 버튼(56)을 누를 수 있다. 일 실시예에서, 버튼을 누르는 것은 스틸 프레임이 캡처되게 한다. 다른 실시예에서, 버튼을 누른 후 그것을 누름해제하는 것은 스틸 프레임의 캡처를 발생시킬 수 있다. 그 동안에, 비디오 시퀀스는 계속해서 캡처되고 표시될 수 있다. 사용자가 버튼(56)을 누르는 것(또는 누름해제하는 것)에 응답하여, SOC(10)는 캡처된 비디오 시퀀스로부터 가장 가까운 풀 해상도 프레임을 캡처하도록 구성될 수 있다. 즉, 스틸 프레임 캡처가 일어나는 시점은 비디오 시퀀스와 동기화될 수 있고, 그 시점에 가장 가까운 풀 해상도 프레임이 선택될 수 있다.
이제, 도 4를 참조하면, ISP(24)의 일 실시예의 블록도가 도시되어 있다. 예시되는 실시예에서, ISP(24)는 센서 인터페이스(60), 프론트 엔드 스케일러(front end scaler)(62), 백 엔드 처리 블록(back end processing block)(64), 및 백 엔드 스케일러(66)를 포함한다. 센서 인터페이스(60)는 이미지 센서(들)(26)로부터 프레임들을 수신하도록 연결되고, 프론트 엔드 스케일러(62)에 연결된다. 프론트 엔드 스케일러(62)는 스케일링된 프레임들을 메모리(12) 내의 저장을 위해 메모리 제어기(22)에 제공하도록 연결된다. 백 엔드 처리 블록(64)은 메모리(12)로부터 스케일링된 프레임들을 판독하도록 구성된다(도 4의 점선(68)에 의해 나타내어짐). 백 엔드 처리 블록(64)은 백 엔드 스케일러(66)에 연결되며, 이는 캡처된 비디오 시퀀스 및 프리뷰 비디오 시퀀스를 메모리(12) 내의 저장을 위해 메모리 제어기(22)에 제공하도록 연결된다. 프리뷰 비디오 시퀀스는 디스플레이 파이프(16)에 의해 메모리(12)로부터 판독될 수 있다(점선(70)에 의해 나타내어짐).
이미지 센서(26)로부터 수신된 프레임들은 원하는 프레임 레이트(예컨대, 이 예에서는 60 fps)에서의 풀 센서 해상도 프레임들일 수 있다. 추가적으로, 프레임들은 센서 종횡비(예컨대, 이 예에서는 4×3)를 가질 수 있다. 앞서 언급한 바와 같이, 일부 실시예들에서, 다수의 이미지 센서가 채용될 수 있고 각 이미지 센서로부터의 프레임들이 수신될 수 있다. 다양한 실시예들에서, 각 센서로부터 이미지들을 수신하기 위한 프레임 레이트들은 동일할 필요가 없다. 센서 인터페이스(60)는 프레임 데이터를 수신하고 프론트 엔드 스케일러(62)에 데이터를 공급하도록 구성될 수 있다. 프론트 엔드 스케일러(62)는 풀 센서 해상도 및 종횡비의 프레임들(즉, 비수정된 프레임들)과, 감소된 해상도 및 16×9 종횡비의 프레임들이 교번되는 것을 출력할 수 있다. 감소된 해상도는 디스플레이 표준 해상도(예컨대, 1080p)일 수 있거나, 중간 해상도일 수 있다. 예를 들어, 중간 해상도는 프리뷰 비디오 시퀀스의 해상도에 기초할 수 있다. 구체적으로, 중간 해상도는, 일 실시예에서, 프리뷰 비디오 시퀀스의 수평 해상도에 매칭될 수 있다. 다른 실시예들에서, 높은 해상도 프레임들과 낮은 해상도 프레임들이 생성되는 상대적 레이트들은, 앞서 논의한 바와 같이, 변화될 수 있다.
프론트 엔드 스케일러(62)는 가공되지 않은(raw) 센서 픽셀 데이터에 따라 동작하고 있을 수 있다. 센서 픽셀 데이터는 임의의 포맷(예컨대, 베이어 포맷(Bayer format))으로 제공될 수 있다. 가공되지 않은 센서 픽셀 데이터는 시스템의 다른 컴포넌트들에 의해 사용되는 데이터로 변환될 수 있다(예컨대, 적-녹-청(RGB) 픽셀들 또는 색차/휘도(YCrCb) 픽셀들). 백 엔드 처리 블록(64)은 변환을 수행하도록 구성될 수 있고, 백 엔드 스케일러(66)는 생성되는 프레임들을 스케일링하도록 구성될 수 있다. 백 엔드 스케일러(66)는 2개의 비디오 스트림을 메모리로 출력하도록 구성될 수 있다: 1080p 해상도의 16×9 프레임들과 인터리브된, 인터리브된 4×3의 풀 센서 해상도 프레임들을 포함할 수 있는 캡처된 비디오 시퀀스; 및 프리뷰 비디오 시퀀스.
프리뷰 비디오 시퀀스는 캡처된 비디오 시퀀스의 풀 프레임 레이트일 필요가 없다. 예를 들어, 예시되는 실시예에서, 프리뷰 비디오 시퀀스는 30 fps일 수 있으며, 여기서 캡처된 비디오 시퀀스는 60 fps이다. 각각의 프리뷰 프레임은 4×3 종횡비를 가질 수 있고, 디스플레이(20)에 적합한 해상도를 가질 수 있다. 이전 프레임은, 일 실시예에서, 4×3 프레임 내의 16×9 프레임의 지시(예컨대, 레터박스)를 포함할 수 있다.
백 엔드 처리 블록(64)은 앞서 언급한 베이어 픽셀 변환에 더하여 임의의 다른 원하는 이미지 처리 또는 변환 메커니즘들을 구현하도록 구성될 수 있다. 예를 들어, 백 엔드 처리 블록(64)은 노이즈 삽입, 색상 강화 등을 포함할 수 있다.
도 5는 ISP(24)의 다른 실시예의 블록도이다. 도 5의 실시예는 프론트 엔드 스케일러(62)를 포함하지 않는다. 따라서, 센서 인터페이스(60)는 이미지 센서(26)로부터 프레임들을 수신하고 프레임들을 메모리에 기록하도록 구성될 수 있다. 수신된 프레임들은, 예시되는 실시예에서, 4×3 종횡비 및 풀 센서 해상도를 가질 수 있다. 대안적으로, 수신된 프레임들은 다른 실시예에서 16×9 종횡비를 가질 수 있다. 백 엔드 처리 블록(64)은 수신된 프레임들을 메모리로부터 판독할 수 있고(점선(72)), 4×3 종횡비의 풀 센서 해상도 프레임들과, 도 4의 실시예에서 프론트 엔드 스케일러에 의해 생성된 16×9 종횡비의 더 낮은 해상도 프레임들을 인터리브하는, 스케일링된 비디오 시퀀스를 생성할 수 있다. 또한, 백 엔드 처리 블록(64)은 이전에 기술된 바와 같은 베이어-RGB/YCrCb 처리(Bayer to RGB/YCrCb processing) 등을 수행하도록 구성될 수 있다. 백 엔드 스케일러(66)는, 도 4에 관하여 이전에 논의된 바와 같이, 캡처된 비디오 시퀀스 및 프리뷰 비디오 시퀀스를 생성하도록 구성될 수 있다. 디스플레이 파이프(16)는 디스플레이(20) 상에 표시하기 위해 메모리로부터 프리뷰 비디오 시퀀스를 판독할 수 있다(점선(74)).
도 6은 비디오 시퀀스 및 프리뷰 비디오 시퀀스를 캡처하기 위한 SOC(10)의 컴포넌트들의 일 실시예의 동작을 예시하는 흐름도이다. 블록들이 이해의 용이함을 위해 특정 순서로 도시되었지만, 다른 순서들도 사용될 수 있다. 블록들은 컴포넌트들 내의 조합 로직(combinatorial logic)에서 병렬로 수행될 수 있다. 블록들은 상이한 프레임들, 또는 프레임 내의 상이한 부분들 상에서 또한 병렬로 동작할 수 있다. 블록들, 블록들의 조합들, 및/또는 흐름도 전체는 다수의 클록 사이클들에 걸쳐 파이프라인화될 수 있다. SOC(10)의 컴포넌트들은 도 6에 도시된 동작을 구현하도록 구성될 수 있다.
ISP(24)는 원하는 프레임 레이트에서 이미지 센서 데이터를 수신하도록 구성될 수 있다(블록(80)). ISP(24)는 인터리브된 프레임들의 시퀀스(풀 센서 해상도의 4×3 종횡비 프레임들 및 더 낮은 해상도의 16×9 종횡비 프레임들)를 생성하도록 구성될 수 있다. 각 유형의 프레임들의 시퀀스들은 사실상 수신된 프레임들의 프레임 레이트의 절반을 가질 수 있으며, 따라서 인터리브된 시퀀스는 수신된 프레임들과 동일한 프레임 레이트를 가질 수 있다(블록(82)). 대안적으로, 낮은 해상도 프레임들 및 높은 해상도 프레임들에 대한 상이한 프레임 레이트들이, 이전에 논의한 바와 같이, 지원될 수 있다. ISP(24)는 캡처된 비디오 시퀀스를 생성하도록 구성될 수 있으며, 이는 1080p 프레임들과 인터리브된 풀 센서의 4×3 종횡비 프레임들을 포함한다(블록(84)). 추가적으로, ISP(24)는 프리뷰 해상도의 4×3 종횡비 프레임들의 프리뷰 비디오 시퀀스를 생성하도록 구성될 수 있다(블록(86)). 일 실시예에서, 프리뷰 비디오 시퀀스의 프레임 레이트는 캡처된 비디오 시퀀스의 프레임 레이트보다 적다. 예를 들어, 프레임 레이트는 캡처된 비디오 시퀀스의 절반일 수 있다. 프리뷰 비디오 시퀀스의 프레임들은, 예를 들어, 캡처된 비디오 시퀀스로부터 4×3 프레임(1080p 해상도로 스케일링됨)과 인접 16×9 프레임을 병합함으로써, 생성될 수 있다. 디스플레이 파이프(16)는 프레임의 비디오(16×9) 부분을 지시하기 위해 반투명 레터박스를 갖는 프리뷰 비디오 시퀀스를 표시할 수 있다(블록(88)). 반투명 레터박스 효과는 프리뷰 비디오 시퀀스를 제공하는 백엔드 스케일러(66)의 일부일 수 있거나, 또는 프리뷰 비디오 시퀀스와 정지 레터박스 이미지의 블렌딩을 통해 적용될 수 있다. 캡처된 비디오 시퀀스 및 프리뷰 비디오 시퀀스는 메모리(12) 내의 별개의 메모리 영역들에 저장될 수 있다. 프리뷰 비디오 시퀀스는 사용자가 시퀀스가 캡처되는 동안에 볼 수 있도록 제공되기 때문에, 그것의 영역은, 비디오 시퀀스 내의 원하는 그리고 더 오래된 프레임들이 더 새로운 프레임들에 의해 겹쳐써질 수 있는 경우에, 다소 더 작을 수 있다. 반대로, 캡처된 비디오 시퀀스는 보유되도록(예컨대, 추후의 처리/보기, 아마도 다른 디바이스로의 오프로딩(offloading) 등을 위해) 의도될 수 있다. 따라서, 더 큰 영역이 캡처된 비디오 시퀀스에 대해 할당될 수 있다. 일부 실시예들에서, 캡처된 비디오 시퀀스는 다른 저장장치(예컨대, 도시되지 않은, 시스템 내의 비-휘발성 메모리)로 전송될 수 있다.
상이한 프레임 레이트들이 높은 해상도 프레임들 및 낮은 해상도 프레임들에 사용되는 경우, 높은 해상도 프레임들의 생성은 더 낮은 해상도 프레임들의 생성 사이의 슬라이스들에서 수행될 수 있다. 예를 들어, 낮은 해상도 프레임들이 30 fps에서 캡처되고 있는 경우, ISP(24)는 1초의 그 1/30 미만에서, 낮은 해상도 프레임을 캡처할 수 있다. 1초의 1/30의 만료까지의 나머지 시간은 높은 해상도 슬라이스를 처리하는 데 사용될 수 있다. 슬라이스는, 예를 들어, 높은 해상도 프레임의 하나의 타일, 또는 다수의 타일일 수 있다.
도 7은 비디오 캡처 동안에 스틸 프레임을 캡처하기 위한 SOC(10)의 컴포넌트들의 일 실시예의 동작을 예시하는 흐름도이다. 블록들이 이해의 용이함을 위해 특정 순서로 도시되었지만, 다른 순서들도 사용될 수 있다. 블록들은 컴포넌트들 내의 조합 로직에서 병렬로 수행될 수 있다. 블록들, 블록들의 조합들, 및/또는 흐름도 전체는 다수의 클록 사이클들에 걸쳐 파이프라인화될 수 있다. SOC(10)의 컴포넌트들은 도 7에 도시된 동작을 구현하도록 구성될 수 있다.
사용자는 스틸 프레임이 캡처될 것을 시스템에 지시할 수 있다(결정 블록(90)). 예를 들어, 사용자는 시스템 상의 물리적 셔터 버튼, 또는 디스플레이(20)(이 실시예에서는 터치 스크린 디스플레이일 수 있음) 상에 표시된 가상 셔터 버튼을 누를 수 있다. 버튼 누르기 또는 다른 지시의 검출은, 예를 들어, 디바이스(디스플레이(20) 또는 물리적 버튼)로부터의 인터럽트에 응답하여, 프로세서들(28) 중 하나에 의해 수행될 수 있다. 사용자가 스틸을 지시했으면(결정 블록(90), "예" 가지), 시스템은 캡처된 비디오 시퀀스로부터 가장 가까운 4×3 종횡비의 풀 센서 해상도 프레임을 캡처할 수 있다(블록(92)). 시스템은, 예를 들어, 버튼 누르기 이벤트 또는 다른 지시 이벤트의 타임스탬프를 캡처된 비디오 시퀀스 프레임들의 타임스탬프들과 비교함으로써, 가장 가까운 프레임을 결정할 수 있다. 스틸 프레임은 메모리(12) 내의 캡처된 비디오에서의 그것의 위치로부터, 스틸로서 저장하기 위한 다른 위치로 복사될 수 있다.
일부 실시예들에서, 시스템은, 가장 가까운 높은 해상도 프레임을 엄격하게 캡처하기보다는, 캡처할 스틸 이미지를 선택하기 위해 이미지 품질 필터링을 채용할 수 있다. 예를 들어, 프레임들은 선명도에 대해 체크될 수 있고, 버튼 누르기로부터 시간 상 더 멀리 떨어진 더 선명한 이미지가, 더 가까운 이미지에 비해 선호될 수 있다. 사진의 대상이 사람일 경우, 대상이 눈을 뜨고 있는 프레임이, 더 가까운 프레임에 비해 선호될 수 있다. 임의의 종류의 이미지 품질 필터링이 다양한 실시예들에서 포함될 수 있다.
다른 실시예에서, 프리뷰 비디오 시퀀스는 비디오 캡처 동안에 16×9 해상도에서 표시될 수 있다. 만약, 비디오 캡처 동안에, 사용자가 스틸이 캡처될 것을 지시하는 경우, 프리뷰 비디오 시퀀스는 4×3 종횡비로 확장되어, 사용자가 스틸의 프레이밍을 관찰할 수 있게 한다. 비디오 캡처는 이 시간 동안 계속되어서, 16×9 종횡비에서 캡처할 수 있다. 스틸이 캡처되면, 프리뷰 비디오 시퀀스는 16×9 종횡비로 다시 전환될 수 있다. 스틸 캡처가 수행되고 있지 않을 때 16×9 비디오 프레임들만 표시하는 것은 비디오 데이터에 대한 대역폭 및 전력 소모를 더 감소시키면서, 일 실시예에서, 여전히 스틸들에 대한 원하는 종횡비를 제공할 수 있다.
도 8은 16×9에서 4×3으로의, 그리고 되돌아가는 전환을 구현하기 위한 시스템의 일 실시예의 동작을 예시하는 흐름도이다. 블록들이 이해의 용이함을 위해 특정 순서로 도시되었지만, 다른 순서들도 사용될 수 있다. 블록들은 컴포넌트들 내의 조합 로직에서 병렬로 수행될 수 있다. 블록들, 블록들의 조합들, 및/또는 흐름도 전체는 다수의 클록 사이클들에 걸쳐 파이프라인화될 수 있다. SOC(10)의 컴포넌트들은 도 8에 도시된 동작을 구현하도록 구성될 수 있다.
시스템은 비디오 캡처 모드에서, 비디오 프레임들을 캡처하고 디스플레이(20) 상에 16×9 프리뷰를 표시할 수 있다. 사용자는, 예를 들어, 물리적 또는 가상 셔터 버튼을 누름으로써, 스틸 프레임이 바람직함을 지시할 수 있다(결정 블록(94)). 앞서 언급한 바와 같이, 사용자가 버튼을 누르는 것은, 예를 들어, 프로세서(28)가 인터럽트를 수신하는 것에 의해 검출될 수 있다. 사용자가 셔터 버튼을 누르지 않는 경우(결정 블록(94), "아니오" 가지), 시스템은 계속해서 16×9 프리뷰 프레임들을 표시할 수 있다(블록(96)). 반면에, 사용자가 셔터 버튼을 누르면(결정 블록(94), "예" 가지), 시스템은 4×3 프리뷰를 표시할 수 있고(블록(98)), 사용자가 셔터 버튼을 누름해제할 때까지 계속해서 4×3 프리뷰를 표시할 수 있다(결정 블록(100), "아니오" 가지). 사용자는 따라서, 원하는 경우, 버튼이 눌러진 동안 스틸을 프레이밍할 수 있다.
16×9에서 4×3으로의 전환은 다양한 방식으로 수행될 수 있다. 예를 들어, 4×3 프레임은, 16×9 프레임을 4×3 프레임 내에서 그것의 동일한 위치 및 스케일에서 유지하면서, 페이드 인(fade in)될 수 있다. 16×9 프레임 밖의 4×3 프레임의 부분은 반투명하게 레터박스되어서, 비디오 프레이밍 및 스틸 프레이밍 둘 다가 동시에 보이게 할 수 있다. 대안적으로, 페이드 인은 풀 밝기에 도달하지 않아서, 비디오 프레이밍과 스틸 프레이밍 사이의 시각적 구별을 제공할 수 있다.
사용자가 셔터 버튼을 누름해제하면(결정 블록(100), "예" 가지), 시스템은 비디오 시퀀스로부터 분리된 메모리 위치에서 스틸을 캡처할 수 있고, 디스플레이는 16×9 비디오 프레임을 표시하는 것으로 복귀할 수 있다(블록(102)). 예를 들어, 4×3 프레임은 페이드 아웃(fade out)될 수 있다. 스틸 프레임의 프레이밍 및 캡처 동안에(예컨대, 셔터 버튼이 눌러진 동안), 비디오 캡처는 계속해서 일어날 수 있다.
위의 논의는 비디오 종횡비로서 16×9를, 스틸 종횡비로서 4×3을 사용하지만, 다른 실시예들은 비디오 프레임들 및 스틸 프레임들 중 하나 또는 둘 다에 대해 다른 종횡비들을 채용할 수 있다는 것에 유의한다.
도 7에 관한 위의 논의와 유사하게, 도 8의 실시예에서 캡처된 스틸 프레임은 버튼 누름해제에 시간 상 가까운 프레임일 수 있지만, 또한 이미지 품질 필터링을 채용할 수 있다.
다음으로 도 9를 참조하면, 시스템(150)의 일 실시예의 블록도가 도시된다. 예시되는 실시예에서, 시스템(150)은 하나 이상의 주변장치(154) 및 외부 메모리(12)에 연결된 SOC(10)의 적어도 하나의 예를 포함한다. SOC(10)에 공급 전압들을 공급할 뿐만 아니라, 메모리(12) 및/또는 주변장치들(154)에 하나 이상의 공급 전압을 공급하는 전원 장치(156)가 제공된다. 일부 실시예들에서, SOC(10)의 둘 이상의 예가 포함될 수 있다(그리고 둘 이상의 메모리(12) 또한 포함될 수 있다).
주변장치들(154)은 시스템(150)의 유형에 의존하여, 임의의 원하는 회로를 포함할 수 있다. 예를 들어, 일 실시예에서, 시스템(150)은 모바일 디바이스(예를 들어, 개인 휴대 정보 단말기(personal digital assistant, PDA), 스마트 폰 등)일 수 있고, 주변장치들(154)은 wifi, 블루투스(Bluetooth), 셀룰러, 글로벌 포지셔닝 시스템 등과 같은 다양한 유형의 무선 통신용 디바이스들을 포함할 수 있다. 또한, 주변장치들(154)은 RAM 저장장치, 솔리드 스테이트 저장장치 또는 디스크 저장장치를 포함한, 추가 저장장치를 포함할 수 있다. 주변장치들(154)은 터치 디스플레이 스크린 또는 멀티터치 디스플레이 스크린을 포함하는 디스플레이 스크린, 키보드 또는 다른 입력 장치들, 마이크로폰, 스피커 등과 같은 사용자 인터페이스 디바이스들을 포함할 수 있다. 다른 실시예들에서, 시스템(150)은 임의의 유형의 컴퓨팅 시스템(예를 들어, 데스크톱 개인용 컴퓨터, 랩톱, 워크스테이션, 넷톱 등)일 수 있다. 구체적으로, 주변장치들(154)은 도 1에 도시된 이미지 센서(들)(26) 및 디스플레이들(20)을 포함할 수 있다.
외부 메모리(12)는 임의의 유형의 메모리를 포함할 수 있다. 예를 들어, 외부 메모리(12)는 SRAM, 동적 RAM(DRAM), 예컨대 동기 DRAM(SDRAM), 더블 데이터 레이트(DDR, DDR2, DDR3 등) SDRAM, RAMBUS DRAM 등일 수 있다. 외부 메모리(12)는 메모리 디바이스들이 장착되는 하나 이상의 메모리 모듈, 예컨대 단일 인라인 메모리 모듈(single inline memory module, SIMM), 듀얼 인라인 메모리 모듈(dual inline memory module, DIMM) 등을 포함할 수 있다. 대안적으로, 외부 메모리(12)는 칩-온-칩 또는 패키지-온 패키지 구현형태로 SOC(10) 상에 장착되는 하나 이상의 메모리 디바이스를 포함할 수 있다.
상기의 개시내용이 완전히 이해된다면, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 다수의 변형들 및 수정들이 명백해질 것이다. 하기의 청구범위는 모든 그러한 변화들 및 수정들을 포괄하는 것으로 해석되는 것으로 의도된다.

Claims (16)

  1. 디바이스로서,
    적어도 하나의 이미지 센서;
    디스플레이 디바이스; 및
    상기 이미지 센서 및 상기 디스플레이 디바이스에 연결된 집적회로
    를 포함하며, 상기 집적회로는 비디오 캡처 동안에 상기 이미지 센서로부터 제1 복수의 프레임을 수신하도록 구성되고, 상기 제1 복수의 프레임은 제1 해상도를 갖고, 상기 집적회로는 비디오 시퀀스를 형성하는 제2 복수의 프레임을 출력하도록 구성되고, 상기 제2 복수의 프레임의 제1 서브세트는 상기 제1 해상도, 및 스틸 프레임들과 연관되는 제1 종횡비를 갖고, 상기 제2 복수의 프레임의 제2 서브세트는 상기 제1 해상도보다 작은 제2 해상도, 및 비디오 프레임들과 연관되는 제2 종횡비를 갖고, 상기 집적회로는 스틸 프레임에 대한 요청에 응답하여 상기 제1 서브세트 중 하나를 전달하도록 구성되는, 디바이스.
  2. 제1항에 있어서, 상기 집적회로는 상기 디스플레이 디바이스 상에 표시하기 위해 제3 복수의 프레임을 출력하도록 구성되고, 상기 제3 복수의 프레임은 상기 제1 종횡비, 및 상기 제1 해상도보다 작은 제3 해상도를 갖는 제2 비디오 시퀀스를 형성하고, 상기 제3 복수의 프레임은 각각의 프레임 내에 상기 제2 종횡비의 지시(indication)를 추가로 포함하는, 디바이스.
  3. 제1항 또는 제2항에 있어서, 상기 지시는 반투명 레터박스 효과(translucent letterbox effect)인, 디바이스.
  4. 제2항 또는 제3항에 있어서, 상기 집적회로에 연결된 메모리를 추가로 포함하며, 상기 집적회로는 상기 메모리에 상기 제2 복수의 프레임을 저장하도록 구성되는, 디바이스.
  5. 제4항에 있어서, 상기 집적회로는 상기 메모리에 상기 제3 복수의 프레임을 저장하도록 추가로 구성되고, 상기 집적회로는 상기 디스플레이 디바이스 상에 표시하기 위해 상기 메모리로부터 상기 제3 복수의 프레임을 판독하도록 구성되는, 디바이스.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제2 해상도는 디스플레이 표준에 의존하는, 디바이스.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 해상도는 상기 이미지 센서에 의해 지원되는 최대 해상도인, 디바이스.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 집적회로는, 상기 스틸 프레임에 대한 상기 요청에 응답하여, 상기 제1 해상도를 갖는 가장 가까운 프레임을 상기 스틸 프레임으로서 캡처하도록 구성되는, 디바이스.
  9. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 집적회로는, 상기 스틸 프레임에 대한 상기 요청에 응답하여, 상기 제1 해상도를 갖는 프레임을 상기 스틸 프레임으로서 캡처하도록 구성되며, 상기 프레임은 상기 사용자 입력이 상기 캡처를 지시하는 시간에 가깝고, 상기 프레임은 또한 하나 이상의 이미지 품질 요건을 충족하는, 디바이스.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 스틸 프레임을 캡처하라는 상기 요청은 상기 사용자가 상기 디바이스 상의 스틸 캡처 버튼을 누르는 것을 포함하고, 상기 집적회로는 상기 사용자가 상기 스틸 캡처 버튼을 누르는 것에 응답하여 상기 제1 종횡비를 상기 스틸 프레임과 연관된 상기 제2 종횡비로 변경하도록 구성되며, 상기 집적회로는 상기 사용자가 상기 스틸 캡처 버튼을 누름해제하는 것에 응답하여 상기 스틸 프레임을 캡처하고 상기 제1 종횡비로 복귀하도록 구성되는, 디바이스.
  11. 제10항에 있어서, 상기 집적회로는 상기 제1 해상도보다 큰 제2 해상도에서 상기 스틸 프레임을 캡처하도록 구성되는, 디바이스.
  12. 방법으로서,
    비디오 캡처 동안에, 스틸 프레임들과 연관된 제1 해상도 및 제1 종횡비의 제1 프레임들과, 비디오와 연관된 제2 해상도 및 제2 종횡비에서 캡처된 제2 프레임들의 인터리브(interleave)된 시퀀스를 생성하는 단계;
    스틸 프레임에 대한 요청을 검출하는 단계; 및
    상기 제1 해상도 및 제1 종횡비의 상기 프레임들 중 하나를 상기 스틸 프레임으로서 전달하는 단계를 포함하는, 방법.
  13. 제12항에 있어서,
    디스플레이 디바이스 상에 프레임들을 상기 제1 종횡비에서 표시하는 단계를 추가로 포함하며, 상기 프레임들은 상기 프레임들 내에 상기 제2 종횡비의 지시를 추가로 포함하는, 방법.
  14. 제12항 또는 제13항에 있어서, 상기 지시는 상기 제2 종횡비 외측에 있는 상기 제1 프레임의 부분들 위의 반투명 음영인, 방법.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서, 상기 제1 해상도는 상기 이미지를 생성하는 이미지 센서의 최대 해상도에 기초하는, 방법.
  16. 제11항 내지 제15항 중 어느 한 항에 있어서, 상기 제2 해상도는 디스플레이 표준에 의존하는, 방법.
KR1020167013509A 2013-11-18 2014-09-26 모드리스 비디오 및 스틸 프레임 캡처 KR101758032B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/082,390 2013-11-18
US14/082,390 US9344626B2 (en) 2013-11-18 2013-11-18 Modeless video and still frame capture using interleaved frames of video and still resolutions
PCT/US2014/057599 WO2015073124A1 (en) 2013-11-18 2014-09-26 Modeless video and still frame capture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177018797A Division KR101789976B1 (ko) 2013-11-18 2014-09-26 모드리스 비디오 및 스틸 프레임 캡처

Publications (2)

Publication Number Publication Date
KR20160077120A true KR20160077120A (ko) 2016-07-01
KR101758032B1 KR101758032B1 (ko) 2017-07-13

Family

ID=51730574

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177018797A KR101789976B1 (ko) 2013-11-18 2014-09-26 모드리스 비디오 및 스틸 프레임 캡처
KR1020167013509A KR101758032B1 (ko) 2013-11-18 2014-09-26 모드리스 비디오 및 스틸 프레임 캡처

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177018797A KR101789976B1 (ko) 2013-11-18 2014-09-26 모드리스 비디오 및 스틸 프레임 캡처

Country Status (9)

Country Link
US (5) US9344626B2 (ko)
EP (3) EP3468173A1 (ko)
JP (2) JP6254275B2 (ko)
KR (2) KR101789976B1 (ko)
CN (2) CN105684424B (ko)
AU (1) AU2014349165B2 (ko)
DE (1) DE202014011562U1 (ko)
TW (1) TWI566598B (ko)
WO (1) WO2015073124A1 (ko)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2815582B1 (en) 2012-01-09 2019-09-04 ActiveVideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
CN113259565B (zh) 2012-11-28 2023-05-19 核心光电有限公司 多孔径成像系统
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
CN109194849B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
CN108519655A (zh) 2013-07-04 2018-09-11 核心光电有限公司 小型长焦透镜套件
CN108989648B (zh) 2013-08-01 2021-01-15 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US10264293B2 (en) * 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
US10523985B2 (en) 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
CN112433331B (zh) 2015-01-03 2022-07-08 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
EP4456542A2 (en) 2015-04-02 2024-10-30 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
KR101963546B1 (ko) 2015-04-16 2019-03-28 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
KR102114595B1 (ko) 2015-05-28 2020-05-25 코어포토닉스 리미티드 이중-조리개 디지털 카메라의 광학식 손떨림 방지 및 자동-초점을 위한 양-방향성 강성
KR20180054575A (ko) * 2015-07-20 2018-05-24 노터라이즈, 인크. 전자 서명 세션의 권한 검증을 위한 시스템 및 방법
KR102017976B1 (ko) 2015-08-13 2019-09-03 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
CN109901342B (zh) 2015-09-06 2021-06-22 核心光电有限公司 紧凑型折叠式相机中带有滚动补偿的自动对焦和光学图像稳定
CN109889708B (zh) 2015-12-29 2021-07-06 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
US10034026B2 (en) * 2016-04-22 2018-07-24 Akila Subramaniam Device for and method of enabling the processing of a video stream
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
EP3381181B1 (en) 2016-06-19 2022-04-06 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US9992467B2 (en) * 2016-06-30 2018-06-05 Apple Inc. Parallel computer vision and image scaling architecture
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
US10845565B2 (en) 2016-07-07 2020-11-24 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
US10412390B2 (en) * 2016-07-12 2019-09-10 Mediatek Inc. Video processing system using low-cost video encoding/decoding architecture
CN110140078B (zh) 2016-12-28 2021-11-19 核心光电有限公司 具有延伸光折叠元件扫描范围的折叠相机结构
CN113805406A (zh) 2017-01-12 2021-12-17 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
JP6898460B2 (ja) 2017-02-23 2021-07-07 コアフォトニクス リミテッド 屈曲式カメラレンズ設計
CN114137790A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的系统、移动电子装置及其方法
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN113219614B (zh) 2017-11-23 2023-02-03 核心光电有限公司 摄影机及制法、移动电子设备及减小凸起占用空间的方法
KR102128223B1 (ko) 2018-02-05 2020-06-30 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
CN111448793B (zh) 2018-02-12 2021-08-31 核心光电有限公司 具有光学图像稳定化的折叠摄像机
US10825134B2 (en) * 2018-03-29 2020-11-03 Owned Outcomes Inc. System and method for scaling content across multiple form factors
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
EP3785059B1 (en) 2018-04-23 2023-05-31 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
KR102289149B1 (ko) 2018-08-04 2021-08-12 코어포토닉스 리미티드 카메라 위의 전환 가능한 연속 디스플레이 정보 시스템
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
US11158286B2 (en) 2018-10-05 2021-10-26 Disney Enterprises, Inc. Machine learning color science conversion
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
EP3782363B1 (en) 2019-03-09 2023-06-07 Corephotonics Ltd. Method for dynamic stereoscopic calibration
US10992902B2 (en) * 2019-03-21 2021-04-27 Disney Enterprises, Inc. Aspect ratio conversion with machine learning
JP7292961B2 (ja) 2019-05-08 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
JP7292962B2 (ja) 2019-05-08 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
US20220078327A1 (en) * 2019-07-12 2022-03-10 Bennet K. Langlotz Digital camera with still frame capture during video
KR102254947B1 (ko) 2019-07-31 2021-05-24 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
KR20240142575A (ko) 2019-12-09 2024-09-30 코어포토닉스 리미티드 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
KR20220053023A (ko) 2020-02-22 2022-04-28 코어포토닉스 리미티드 매크로 촬영을 위한 분할 스크린 기능
KR20220003550A (ko) 2020-04-26 2022-01-10 코어포토닉스 리미티드 홀 바 센서 보정을 위한 온도 제어
US11832018B2 (en) 2020-05-17 2023-11-28 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
KR102617779B1 (ko) 2020-05-30 2023-12-22 코어포토닉스 리미티드 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
KR102672536B1 (ko) 2020-07-15 2024-06-04 코어포토닉스 리미티드 스캐닝 폴디드 카메라에서의 시점 수차-보정
KR20240115258A (ko) 2020-07-31 2024-07-25 코어포토닉스 리미티드 큰 스트로크 선형 위치 감지를 위한 홀 센서-자석 구조
CN111970440A (zh) * 2020-08-11 2020-11-20 Oppo（重庆）智能科技有限公司 图像获取方法、电子装置和存储介质
CN116626960A (zh) 2020-08-12 2023-08-22 核心光电有限公司 用于光学防抖的方法
US11182319B1 (en) * 2020-10-13 2021-11-23 Omnivision Technologies, Inc. Camera system with PWM-activated, burst-self-refresh, DRAM to reduce standby power consumption
CN112559800B (zh) * 2020-12-17 2023-11-14 北京百度网讯科技有限公司 用于处理视频的方法、装置、电子设备、介质和产品
EP4085607A4 (en) 2020-12-26 2023-09-20 Corephotonics Ltd. VIDEO SUPPORT IN A MULTI-APERTURE MOBILE CAMERA HAVING A SCANNING ZOOM CAMERA
TW202422200A (zh) 2021-03-11 2024-06-01 以色列商核心光電有限公司 彈出式照相機系統
KR102638173B1 (ko) 2021-06-08 2024-02-19 코어포토닉스 리미티드 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라
WO2023075370A1 (en) * 2021-10-25 2023-05-04 Samsung Electronics Co., Ltd. Method and system for generating high resolution peak action frame
CN114430488A (zh) * 2022-04-01 2022-05-03 深圳市华曦达科技股份有限公司 一种视频编码和视频解码的方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4702090A (en) 1986-10-24 1987-10-27 Astronautics Corporation Of America Magnetic refrigeration apparatus with conductive heat transfer
US7110025B1 (en) 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
US20030147640A1 (en) 2002-02-06 2003-08-07 Voss James S. System and method for capturing and embedding high-resolution still image data into a video data stream
JP4113389B2 (ja) * 2002-07-30 2008-07-09 富士フイルム株式会社 電子カメラ
KR101110009B1 (ko) * 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
US7777790B2 (en) 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution
JP2006211426A (ja) * 2005-01-28 2006-08-10 Kyocera Corp 撮像装置およびその画像生成方法
JP2006303961A (ja) * 2005-04-21 2006-11-02 Canon Inc 撮像装置
JP4616096B2 (ja) * 2005-07-12 2011-01-19 オリンパス株式会社 動画撮像装置および撮像プログラム
KR101374034B1 (ko) * 2005-07-18 2014-03-12 톰슨 라이센싱 다중 비디오 스트림을 핸들링하는 방법 및 장치
KR100741721B1 (ko) * 2005-08-16 2007-07-23 주식회사 유비원 정지영상을 함께 출력하는 보안감시시스템
JP4621152B2 (ja) * 2006-02-16 2011-01-26 キヤノン株式会社 撮像装置、その制御方法、およびプログラム
JP2008283477A (ja) * 2007-05-10 2008-11-20 Fujifilm Corp 画像処理装置及び画像処理方法
US7705889B2 (en) 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation
CN101785294B (zh) * 2007-08-27 2013-07-10 索尼公司 成像设备和成像方法
JP2009071592A (ja) * 2007-09-13 2009-04-02 Fujifilm Corp 撮像装置及び撮像制御方法
FR2925705A1 (fr) 2007-12-20 2009-06-26 Thomson Licensing Sas Dispositif d'aide a la capture d'images
JP2009164725A (ja) * 2007-12-28 2009-07-23 Panasonic Corp 画像記録装置および画像再生装置
US8432492B2 (en) * 2008-03-20 2013-04-30 Institut Fuer Rundfunktechnik Gmbh Method of adapting video images to small screen sizes
JP5211947B2 (ja) * 2008-09-04 2013-06-12 カシオ計算機株式会社 撮像装置及びプログラム
KR101505681B1 (ko) * 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
US20100295966A1 (en) 2009-05-19 2010-11-25 John Furlan Digital video camera with high resolution imaging system
WO2011033675A1 (ja) 2009-09-18 2011-03-24 株式会社 東芝 画像処理装置および画像表示装置
JP2012165090A (ja) * 2011-02-04 2012-08-30 Sanyo Electric Co Ltd 撮像装置およびその制御方法
JP5287917B2 (ja) 2011-03-25 2013-09-11 株式会社デンソー 回転電機の回転子鉄心の製造方法
TWI474097B (zh) 2011-06-22 2015-02-21 Htc Corp 影像擷取方法與影像擷取系統
JP5724677B2 (ja) 2011-06-28 2015-05-27 富士通株式会社 動画像撮影装置および動画像撮影方法
KR101836432B1 (ko) * 2011-12-16 2018-03-12 삼성전자주식회사 촬상장치, 이미지 보정 방법 및 컴퓨터 판독가능 기록매체
CN103379275B (zh) * 2012-04-16 2019-01-11 三星电子株式会社 摄像机的图像处理装置和方法
KR102058860B1 (ko) 2012-04-16 2019-12-26 삼성전자 주식회사 카메라의 이미지 처리 장치 및 방법
US9111484B2 (en) * 2012-05-03 2015-08-18 Semiconductor Components Industries, Llc Electronic device for scene evaluation and image projection onto non-planar screens
US9756282B2 (en) * 2012-11-20 2017-09-05 Sony Corporation Method and apparatus for processing a video signal for display
US9519977B2 (en) * 2013-05-13 2016-12-13 Ebay Inc. Letterbox coloring with color detection
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions

Also Published As

Publication number Publication date
EP3993395A1 (en) 2022-05-04
JP6571742B2 (ja) 2019-09-04
US20160219220A1 (en) 2016-07-28
EP3072290A1 (en) 2016-09-28
CN109547662A (zh) 2019-03-29
KR101789976B1 (ko) 2017-10-25
JP6254275B2 (ja) 2017-12-27
TWI566598B (zh) 2017-01-11
DE202014011562U1 (de) 2022-03-18
AU2014349165B2 (en) 2017-04-13
US10911673B2 (en) 2021-02-02
EP3468173A1 (en) 2019-04-10
EP3072290B1 (en) 2018-12-26
KR101758032B1 (ko) 2017-07-13
JP2018038088A (ja) 2018-03-08
TW201528815A (zh) 2015-07-16
US20200068129A1 (en) 2020-02-27
WO2015073124A1 (en) 2015-05-21
KR20170083645A (ko) 2017-07-18
CN105684424A (zh) 2016-06-15
US10038845B2 (en) 2018-07-31
AU2014349165A1 (en) 2016-04-21
CN105684424B (zh) 2018-11-09
CN109547662B (zh) 2019-12-24
JP2016541177A (ja) 2016-12-28
US20170134655A1 (en) 2017-05-11
US9344626B2 (en) 2016-05-17
US10498960B2 (en) 2019-12-03
US20180324357A1 (en) 2018-11-08
US20150139603A1 (en) 2015-05-21
US9591219B2 (en) 2017-03-07

Similar Documents

Publication Publication Date Title
KR101789976B1 (ko) 모드리스 비디오 및 스틸 프레임 캡처
TW201617843A (zh) 多重顯示管線驅動一分割顯示
US9620081B2 (en) Hardware auxiliary channel for synchronous backlight update
KR101323608B1 (ko) Uhd급 매트릭스 스위치 장치 및 그 방법
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
TWI541793B (zh) 偵測閒置螢幕開啟之機構
TW201444343A (zh) 用於在閒置螢幕開啓時之顯示之壓縮圖框回寫及讀取
US9652816B1 (en) Reduced frame refresh rate
JP2007089110A (ja) テレビウォール用画像分割方法
US9472168B2 (en) Display pipe statistics calculation for video encoder
US9558536B2 (en) Blur downscale
US9087393B2 (en) Network display support in an integrated circuit
JP2011176405A (ja) 画像表示装置
JP2009253671A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant