Nothing Special   »   [go: up one dir, main page]

KR101877160B1 - 완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템 - Google Patents

완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템 Download PDF

Info

Publication number
KR101877160B1
KR101877160B1 KR1020167035411A KR20167035411A KR101877160B1 KR 101877160 B1 KR101877160 B1 KR 101877160B1 KR 1020167035411 A KR1020167035411 A KR 1020167035411A KR 20167035411 A KR20167035411 A KR 20167035411A KR 101877160 B1 KR101877160 B1 KR 101877160B1
Authority
KR
South Korea
Prior art keywords
cameras
camera
fov
image
images
Prior art date
Application number
KR1020167035411A
Other languages
English (en)
Other versions
KR20170020797A (ko
Inventor
토마스 웨슬리 오스본
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170020797A publication Critical patent/KR20170020797A/ko
Application granted granted Critical
Publication of KR101877160B1 publication Critical patent/KR101877160B1/ko

Links

Images

Classifications

    • H04N5/23238—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0075—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having an element with variable optical properties
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2254—
    • H04N5/2258—
    • H04N5/2259—
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

구형 시야 이미지들을 생성하기 위한 방법 및 시스템들. 일부 실시형태들에서, 이미징 시스템은 제 1 방향의 제 1 시야 (FOV) 및 상기 제 1 FOV 를 통해 확장되는 광축을 갖는 전방 카메라, 제 1 FOV 를 통해 확장되는 광축을 갖는 후방 카메라, 전방 카메라와 후방 카메라 사이에 배치되는 상기 복수의 측면 카메라들, 후방 카메라와 복수의 측면 카메라들 사이에 배치된 후방 광 재지향 반사 미러 컴포넌트로서, 상기 후방 광 재지향 반사 미러 컴포넌트는 또한 그 후방 카메라의 광축에 수직하게 배치되는, 상기 후방 광 재지향 반사 미러 컴포넌트, 및 복수의 측면 광 재지향 반사 미러 컴포넌트들로서, 상기 복수의 측면 카메라들의 각각은 복수의 광 재지향 반사 미러 컴포넌트들 중의 하나로부터 반사되는 재지향된 광을 수신하도록 배치되는, 상기 복수의 측면 광 재지향 반사 미러 컴포넌트들을 포함한다.

Description

완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템{PARALLAX FREE MULTI-CAMERA SYSTEM CAPABLE OF CAPTURING FULL SPHERICAL IMAGES}
본 개시는 다중 카메라 시스템을 포함하는 이미징 시스템 및 방법들에 관한 것이다. 특히, 본 개시는 근 또는 완전 구형 이미지들을 캡처하기 위한 시스템 및 방법들에 관한 것이다.
많은 모바일 디바이스들은 스틸 및/또는 비디오 이미지들을 캡처하기 위해서 사용자에 의해 작동될 수도 있는 카메라들을 포함한다. 이미징 시스템들은 통상적으로 고품질의 이미지들을 캡처하도록 설계 (design) 되기 때문에, 시차가 없거나 또는 실질적으로 시차가 없도록 카메라들 또는 이미징 시스템들을 설계하는 것이 중요할 수 있다. 게다가, 이미징 시스템은 캡처된 이미지가 시차가 없거나 또는 실질적으로 시차 없는 글로벌 장면의 시야 장면의 이미지를 캡처하는 것이 요구될 수도 있다. 이미징 시스템들은 가운데 점 근처의 복수의 위치들로부터 글로벌 장면의 다양한 시야들을 캡처하는데 사용될 수도 있다. 그러나, 이러한 설계들 중 다수는 가운데 (central) 점으로부터가 아닌 다양한 위치들로부터 시야들이 발생되기 때문에 많은 양의 시차가 있는 이미지들을 수반한다. 시차가 없거나 또는 실질적으로 시차 없는 글로벌 장면의 이미지를 캡처하기 위한 솔루션이 요망된다.
개요
구형 이미지를 함께 보여주는 복수의 이미지들을 캡처하기 위한 이미징 시스템은 전방 카메라, 후방 카메라, 제 1 카메라들의 세트, 제 2 카메라들의 세트, 및 제 3 카메라들의 세트를 포함한다. 전방 카메라는 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치된다. 전방 카메라의 투영된 광축은 제 1 방향에 있다. 후방 카메라는 전방 카메라와 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트 (back re-directing reflective mirror component) 에 의해 재지향되는 광을 수신하도록 배치된다. 후방 카메라는 후방 카메라의 투영된 광축 주위에 제 2 시야 (FOV) 에서 이미지를 캡처하도록 배치된다. 후방 카메라의 투영된 광축은 제 1 방향에 있다. 제 1 카메라의 세트는 전방 카메라와 후방 카메라 사이에 다각형 형상의 배열로 배치된다. 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성된다. FOV 는 원형 형상이고 제 1 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 3 FOV 의 적어도 일부는 제 1 FOV 와 제 2 FOV 사이에 있다. 제 2 카메라의 세트는 제 1 카메라들과 후방 카메라 사이에 그리고 다각형 형상 배열로 배치된다. 제 2 카메라들은 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성된다. 제 4 FOV 는 원형 형상이고 제 2 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 4 FOV 의 적어도 일부는 제 3 FOV 와 제 2 FOV 사이에 있다. 제 3 카메라의 세트는 제 2 카메라들과 후방 카메라 사이에 그리고 다각형 형상 배열로 배치된다. 제 3 카메라들의 세트는 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된다. 제 5 FOV 는 원형 형상이고 제 3 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 5 FOV 의 적어도 일부는 제 4 FOV 와 제 2 FOV 사이에 있다. 전방 카메라, 후방 카메라, 제 1 카메라들, 제 2 카메라들 및 제 3 카메라들은, 제 1, 제 2, 제 3, 제 4, 및 제 5 FOV 에서 캡처된 이미지들이 집합적으로, 이미징 시스템의 시각 (perspective) 으로부터 봤을 때 구형 이미지를 표현하도록 구성된다.
이미징 시스템은, 전방 카메라, 후방 카메라, 복수의 측면 카메라, 후방 광 재지향 반사 미러 컴포넌트, 및 복수의 측면 광 재지향 반사 미러 컴포넌트들을 포함한다. 전방 카메라는 제 1 방향의 제 1 시야 (FOV) 및 제 1 FOV 를 통해 확장되는 광축을 갖는다. 후방 카메라는 광축을 갖는다. 후방 카메라는, 후방 카메라의 광축이 제 1 FOV 를 통해 확장되는 방향으로 정렬되도록 배치된다. 복수의 측면 카메라들은 전방 카메라와 후방 카메라 사이에 배치된다. 후방 광 재지향 반사 미러 컴포넌트는 후방 카메라와 복수의 측면 카메라들 사이에 배치된다. 후방 카메라 및 후방 광 재지향 반사 미러 컴포넌트는, 후방 카메라의 광축이 후방 광 재지향 반사 미러 컴포넌트에 포인팅되어, 후방 카메라가 후방 카메라의 광축을 따라 후방 광 재지향 반사 미러 컴포넌트에 의해 재지향되는 광을 수신하도록 배치된다. 복수의 측면 카메라들의 각각은 복수의 광 재지향 미러 컴포넌트들 중의 하나로부터 재지향된 광을 수신하도록 배치된다.
구형 시야 (FOV) 를 보여주는 이미지를 생성하는 방법으로서, 그 방법은 전방 이미지를 생성하는 단계, 후방 이미지를 생성하는 단계, 제 1 이미지들을 생성하는 단계, 제 2 이미지들을 생성하는 단계, 제 3 이미지들을 생성하는 단계, 및 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들을 수신하는 단계를 포함한다. 전방 이미지는 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치된 전방 카메라에서 생성된다. 전방 카메라의 투영된 광축은 제 1 방향에 있다. 후방 이미지는 전방 카메라와 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 재지향되는 광을 수신하도록 배치된 후방 카메라에서 생성된다. 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치된다. 제 1 이미지들은 전방 카메라와 후방 카메라 사이에 다각형 형상의 배열로 배치된 제 1 카메라들의 세트에서 생성된다. 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성된다. FOV 는 원형 형상이고 제 1 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 3 FOV 의 적어도 일부는 제 1 FOV 와 제 2 FOV 사이에 있다. 제 2 이미지들은 제 1 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 2 카메라들의 세트에서 생성된다. 제 2 카메라들은 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성된다. 제 4 FOV 는 원형 형상이고 제 2 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 4 FOV 의 적어도 일부는 제 3 FOV 와 제 2 FOV 사이에 있다. 제 3 이미지들은 제 2 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 3 카메라들의 세트에서 생성된다. 제 3 카메라들은 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된다. 제 5 FOV 는 원형 형상이며 제 3 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 5 FOV 의 적어도 일부는 제 4 FOV 와 제 2 FOV 사이에 있다. 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들은 적어도 하나의 프로세서에서 수신된다. 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는 모자이크 이미지가 적어도 하나의 프로세서로 생성된다.
이미징 디바이스는 전방 이미지를 생성하는 수단, 후방 이미지를 생성하는 수단, 제 1 이미지들을 생성하는 수단, 제 2 이미지들을 생성하는 수단, 제 3 이미지들을 생성하는 수단, 및 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들을 수신하는 수단을 포함한다. 전방 카메라에서 전방 이미지를 생성하는 수단은 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치된다. 전방 카메라의 투영된 광축은 제 1 방향에 있다. 후방 카메라에서 후방 이미지를 생성하는 수단은 전방 카메라와 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 재지향되는 광을 수신하도록 배치된다. 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치된다. 제 1 카메라들의 세트에서 제 1 이미지들을 생성하는 수단은 전방 카메라와 후방 카메라 사이에 다각형 형상의 배열로 배치된다. 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성된다. 제 3 FOV 는 원형 형상이고 제 1 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 3 FOV 의 적어도 일부는 제 1 FOV 와 제 2 FOV 사이에 있다. 제 2 카메라들의 세트에서 제 2 이미지들을 생성하는 수단은 제 1 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된다. 제 2 카메라들은 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성된다. 제 4 FOV 는 원형 형상이고 제 2 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 4 FOV 의 적어도 일부는 제 3 FOV 와 제 2 FOV 사이에 있다. 제 3 카메라들의 세트에서 제 3 이미지들을 생성하는 수단은 제 2 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된다. 제 5 FOV 는 원형 형상이며 제 3 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 5 FOV 의 적어도 일부는 제 4 FOV 와 제 2 FOV 사이에 있다. 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는 모자이크 이미지가 생성된다.
개시된 양태들은 이하에서, 개시된 양태들을 제한하는 것이 아니라 예시하기 위하여 제공된, 첨부 도면들 및 부록들과 함께 설명되고, 여기서 같은 부호는 같은 요소들을 표시한다.
도 1a 는 중앙 카메라, 제 1 카메라, 제 2 카메라, 제 3 카메라 및 후방 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1b 는 중앙 카메라 및 제 1 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1c 는 중앙 카메라, 제 1 카메라 및 제 2 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1d 는 중앙 카메라, 제 1 카메라, 제 2 카메라 및 제 3 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1e 는 도 1a 내지 도 1d 및 도 2a 내지 도 2c 에 도시된 카메라의 실시형태 및 도 1a 내지 도 1d 에 대한 각도들의 양의 (positive) 그리고 음의 (negative) 표시들을 도시한다.
도 2a 는 중앙 카메라, 제 1 동심 링의 카메라들, 제 2 동심 링의 카메라들, 제 3 동심 링의 카메라들 및 후방 카메라 (미도시) 를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 정면도를 도시한다.
도 2b 는 중앙 카메라, 제 1 동심 링의 카메라들, 제 2 동심 링의 카메라들, 제 3 동심 링의 카메라들 및 후방 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 2c 는 중앙 카메라, 제 1 동심 링의 카메라들, 제 2 동심 링의 카메라들, 제 3 동심 링의 카메라들 및 후방 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 3은 폴딩형 광학 다중 센서 어셈블리의 일 실시형태의 측단면도를 도시한다.
도 4는 이미징 디바이스의 실시형태의 블록도를 도시한다.
도 5는 타겟 이미지를 캡처하는 방법의 일 예의 블록들을 예시한다.
상세한 설명
본 명세서에서 개시된 구현예들은 완전 구형 이미지들을 캡처할 수 있는 복수의 카메라들의 배열을 이용하여 시차 및 틸트 아티팩트들이 없거나 또는 실질적으로 시차 및 틸트 아티팩트들이 없는 이미지들을 생성하기 위한 시스템들, 방법들 및 장치들을 제공한다. 다양한 실시예의 양태들은 캡처된 이미지들에서 시차 아티팩트들 (artifacts) 이 거의 없거나 또는 전혀 없는 것을 보여주는 복수의 카메라들 (예를 들어, 다중 카메라 시스템) 의 배열체에 관한 것이다. 복수의 카메라들의 배열체는 완전 구형 이미지들을 캡처하고, 이로써 캡처된 타깃 장면은 다수의 영역들로 분할된다. 이미지들은 복수의 카메라들이 동일한 가상의 공통 입사 동공을 갖고 있는 것처럼 보이도록 복수의 카메라들의 배열체를 설계하는 것에 의해 시차가 없거나 또는 실질적으로 시차가 없게 캡처된다. 어떤 설계들의 문제점은 그들이 동일한 가상의 공통 입사 동공을 갖지 않고 따라서 시차가 없거나 또는 다르게 말하면 시차 아티팩트들이 없지 않다는 것이다.
복수의 카메라들의 배열체에서 각각의 센서는 대응하는 광 재지향 반사 미러 컴포넌트 (이하에서 "미러" 또는 "미러 컴포넌트"로 불리기도 한다), 또는 미러 반사 표면과 동등한 표면을 사용하여 이미지 장면의 일 부분으로부터 광을 받는다. 따라서, 개개의 미러 컴포넌트 및 센서 쌍 (pair) 각각은 전체 다중 카메라 시스템의 일부만을 나타낸다. 완전한 다중 카메라 시스템은 개개의 조리개 광선들 모두의 합계에 기초하여 생성된 합성 조리개를 갖는다. 구현예들 중 어느 것에서, 모든 카메라들은 자동으로 초점을 맞추도록 구성될 수도 있으며, 자동 초점은 자동 초점 기능에 대한 명령들을 실행하는 프로세서들에 의해 제어될 수도 있다.
일부 실시 형태에서, 다중 카메라 시스템은 26 개의 카메라들을 포함하고, 각각의 카메라는 이미지의 26개 부분들이 캡처될 수 있도록 타깃 장면의 일 부분을 캡처한다. 시스템은 이미지의 26개 부분들의 전체 또는 일부를 결합하는 것에 의해 장면의 이미지를 생성하도록 구성된 프로세서를 포함한다. 26 개의 카메라들은 8개의 카메라들 각각, 전방 카메라 및 후방 카메라의 3개의 동심 링들로서 구성될 수 있다. 복수의 광 재지향 반사 미러 컴포넌트들은 중앙 카메라를 제외한 26개 카메라들 각각에 인입되는 광의 부분을 재지향시키도록 구성된다. 타깃 장면에서 인입되는 광의 부분이 복수의 광 재지향 반사 미러 컴포넌트들에 의해 다중 카메라 시스템을 둘러싸는 영역들로부터 수신될 수 있다. 일부 실시형태에서는 광 재지향 반사 미러 컴포넌트들은 복수의 개개의 컴포넌트들을 포함할 수도 있으며, 각각은 적어도 하나의 광 재지향 반사 미러 컴포넌트를 갖는다. 광 재지향 반사 미러 컴포넌트의 다수의 컴포넌트들은 함께 커플링될 수도 있거나, 다른 구조와 커플링되어 그들의 위치를 서로에 대해 설정하거나, 또는 양자 모두일 수도 있다.
파노라마 이미지들을 캡처하는 분야의 당업자는 시차 없는 이미지들 (또는 사실상 시차 없는 이미지들) 또는 시차 아티팩트 없는 이미지들 (또는 사실상 시차 아티팩트 없는 이미지들) 이란 용어의 의미를 알고 있을 수도 있다. 카메라 시스템들은 시차 없거나 또는 시차 아티팩트 없는 특성을 갖는다.
일 예시로, 두 개의 나란한 (side-by-side) 카메라들을 사용하여 입체적 (stereographic) 이미지들을 캡처하기 위해 설계된 카메라들 시스템들은 시차 없는 것이 아닌 카메라들 시스템들의 예들이다. 입체적 이미지를 만드는 하나의 방법은 두 개의 상이한 벤티지 점 (vantage point) 들로부터 이미지들을 캡처하는 것이다. 당업자는, 장면에 따라서, 최종의 스티치 (stitch) 된 이미지에서 일부 장면 콘텐츠가 복제되거나 누락됨이 없는 하나의 이미지를 얻기 위해 입체적 이미지들 양자 모두를 함께 스티치하는 것은 어렵거나 또는 불가능할 수도 있다는 것을 알고 있을 수도 있다. 그러한 아티팩트들은 시차 아티팩트들의 예들로 지칭될 수도 있다. 나아가, 당업자는 두 개의 입체적 카메라들의 벤티지 점들이 같이 움직여서 카메라들 모두가 하나의 벤티지 점으로부터 장면을 바라본다면 시차 아티팩트들이 관측가능하지 않은 방식으로 이미지들을 함께 스티치하는 것이 가능할 것임을 알고 있을 수도 있다.
여기서 시차 없는 이미지에 대해, 두 개 또는 그 이상의 이미지들이 함께 스티칭될 때, 이미지 프로세싱은 이미지들 또는 최종적으로 함께 스티칭된 이미지로부터 콘텐츠를 추가하거나 콘텐츠를 제거하는 것에 의해 이미지들을 변경하는데 사용되지 않는다.
당업자는 단일 렌즈 카메라를 취하여 입사 동공의 한가운데 점에 위치된 고정 점을 중심으로 회전시켜 모든 방향에서 이미지들을 캡처할 수 있다는 것을 깨달을 수도 있다. 이들 이미지들을 사용하여, 구형 또는 글로브의 중심으로부터 임의의 방향에서 밖으로 바라보는 것처럼 입사 동공의 한가운데 점 주위 모든 장면 콘텐츠를 보여주는 구형 이미지들을 만들어내는 것이 가능할 수도 있다. 이들 이미지들은 시차가 없거나 및/또는 시차 아티팩트들이 없는 부가된 특성을 가질 수도 있다. 예를 들어, 장면 콘텐츠가 최종 구형 이미지에서 복제되지 않거나 및 또는 장면 콘텐츠가 최종 스티치된 구형 이미지로부터 빠지지 않을 수도 있거나 및 또는 당업자에 의해 시차 아티팩트들인 것으로 고려될 수도 있는 다른 아티팩트들을 갖지 않을 수도 있는 방식으로 이미지들이 함께 스티치될 수 있음을 의미한다.
모든 가상 카메라들의 가상 입사 동공의 동일한 한가운데 점을 공유하는 가상 카메라들의 시스템을 배열하는 것이 가능하다. 용어 가상 (virtual) 은, 2개 이상의 물리적으로 현실의 카메라들이 광 재지향 반사 미러 컴포넌트들과 같은 다른 컴포넌트들과 함께 나타나도록 배열되어, 마치 그것들이 동일한 입사 동공 한가운데 점을 공유하는 것처럼 보일 수 있다는 것을 의미한다. 또한, 가상 입사 동공들의 공유된 가상 한가운데 점 근처에 서로 교차하거나, 또는 교차하는 것에 매우 근접한 각각의 가상 카메라의 가상 광축을 갖도록 모든 가상 카메라들을 배열하는 것이 가능할 수도 있다. 본원에 제시된 방법 및 시스템들은 유사한 시스템을 실현하는데 사용될 수도 있다.
물리적으로 두 개 이상의 가상 카메라들의 가상 광축이 가상 입사 동공의 가장 가운데 위치에서의 하나의 공통 점에서 교차하게 될 충분한 허용오차 (tolerance) 를 갖는 시스템들을 구축하는 것은 매우 어렵거나 또는 거의 불가능하다. 함께 스티치된 이미지들에서 시차 아티팩트들이 거의 없거나 전혀 없도록 또는, 경우에 따라, 함께 스티치된 이미지들이 최종적으로 함께 스티치된 이미지들 안의 시차 아티팩트들의 최소의 양보다 더 작게 갖는 요건들을 만족하도록, 공유된 입사 동공의 가장 가운데 점 근처 또는 주위에서 교차하거나 서로 교차할 정도로 충분히 가까운 두 개 또는 그 이상의 카메라들의 광축을 갖는 것이 카메라 시스템의 픽셀 해상도들 및/또는 렌즈들의 해상도를 고려할 때 가능할 수도 있다. 즉, 콘텐츠를 추가 또는 콘텐츠를 제거하기 위한 특별한 소프트웨어 또는 시차 아티팩트들을 제거하기 위한 다른 이미지 프로세싱의 사용 없이, 그러한 카메라들에 의해 캡처된 이미지들을 취하고 이러한 이미지들을 함께 스티치하여 이것들이 시차 아티팩트들의 최소 레벨의 요건을 만족하거나 또는 시차 없는 구형 이미지를 만들 수도 있다. 이러한 맥락에서, 충분한 허용오차를 갖는 시스템 설계에 기초하여 시차가 없거나 또는 사실상 시차가 없다는 용어를 사용할 수도 있다.
본원 명세서에서, 시차가 없거나, 시차 아티팩트들이 없거나, 사실상 시차가 없거나 또는 사실상 시차 아티팩트들이 없다는 용어가 사용되는 경우, 물리적인 현실들이 시간이 지남에 따라 동일한 위치에 물리적 아이템들을 유지하는 것 또는 심지어 허용오차를 사용하는 않고 설계된 것과 정확히 동일한 특성을 가지는 것을 어렵거나 거의 불가능하게 할 것이라는 것이 이해되어야 한다. 현실들은 시간 및 또는 환경 조건에 걸쳐, 형상, 크기, 위치, 가능한 다른 물체들에 대한 상대적 위치가 변화하는 것들이다. 그래서, 허용오차 요건들을 제공하거나 또는 가정함이 없이 아이템 또는 물건에 관해 이상적이거나 변화가 없는 것으로 말하기는 힘들다 본원 명세서에서, 사실상 시차 없는 것과 같은 용어는 현실들은 실제의 대부분의 물리적 아이템들이, 물건들이 이상적이지 않고 시간에 지남에 따라 변할지라도 어셈블리나 아이템의 의도된 목적이 달성됨을 뜻하는 허용오차를 가질 것을 요구한다는 것을 의미하고 이를 의미하는 것으로 받아들여져야 한다. 시차가 없거나, 시차 아티팩트들이 없거나, 사실상 시차가 없거나, 또는 사실상 시차 아티팩트들이 없는 것의 용어들은 관련된 문언의 유무에 관계없이 시스템, 시스템들 또는 아이템을 위한 의도된 요건들 또는 목적이 성취되도록 허용오차 요건들이 결정될 수 있다는 것을 보여줄 수도 있다.
다음의 상세한 설명에서, 특정 상세들은 예들의 철저한 이해를 제공하기 위하여 주어진다. 하지만, 예들은 이들 특정 상세들 없이 실시될 수도 있다.
도 1e 는 도 1a 내지 도 1d, 도 2b 및 도 2c 에 도시된 카메라 (20) 의 실시형태 및 도 1a 내지 도 1d 에 대한 각도들의 양의 그리고 음의 표시들을 도시한다. 카메라 (20) 는 광축 (19) 상에 위치된 입사 동공 (14) 의 한가운데 점을 포함하고 거기에서 시야 (Fov) (16) 의 정점이 광축 (19) 에 교차한다. 카메라 (20) 의 실시형태는 도 1a 내지 도 1d, 도 2a 내지 2b, 및 도 2c 전체에 걸쳐 카메라들 (112, 114e, 116e, 118e, 및 120) 로서 도시된다. 카메라 (20) 의 전방 부분은 짧은 바 (15) 로서 표현된다. 평면은 입사 동공을 포함하고 점 (14) 는 15의 전방에 위치된다. 카메라의 전방 및 입사 동공의 위치는 15 로 나타내어진다.
각도 표기들은 카메라 (20) 아래에 예시되어 있다. 양의 각도는 반시계 방향으로 포인팅되는 원형 라인에 의해 표기된다. 음의 각도는 시계 방향으로 포인팅되는 원형 라인에 의해 표기된다. 항상 양인 각도들은 시계방향 및 반시계방향 양자 모두로 포인팅하는 화살표들을 갖는 원형 라인에 의해 표기된다. 데카르트 좌표계는 좌에서 우로 가는 양의 수평 방향 X 및 하단에서 상단으로 가는 양의 수직 방향 Y 로 나타내어진다. 도 1a 내지 도 1d 는 글로벌 카메라의 부분들 (110a, 110b, 110c, 110d) 의 예시적인 계략 배열들을 제시한다. 따라서, 도 1a 내지 도 1d 에 도시된 보여진 각도 크기, 거리, 및 카메라 치수들은 축적대로인 것은 아닐 수도 있고, 글로벌 카메라의 상이한 구현들에서 달라질 수도 있다.
도 1a 는 (이 예시의 경우 명료성을 위해) 중앙 카메라 (112), 제 1 카메라 (114e), 제 2 카메라 (116e), 제 3 카메라 (118e) 및 후방 카메라 (120) 를 포함하는 글로벌 (예를 들어, 구형) 카메라 구성 (110a) 의 일 부분의 일 실시형태의 예의 측면도를 도시한다. 본원 아래에서 설명된 바처럼 예시된 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 는 제 1, 제 2 및 제 3 카메라들의 그룹 (또는 배열) 의 각각의 부분이다. 글로벌 구성 (110a) 은 또한, 제 1 카메라 (114e), 제 2 카메라 (116e), 제 3 카메라 (118e) 및 후방 카메라 (120) 에 대응하는 적어도 수개의 광 재지향 반사 미러 컴포넌트들을 포함한다. 광 재지향 반사 미러 컴포넌트 ("미러") (134) 는 제 1 카메라 (114e) 에 대응하고, 미러 (136) 는 제 2 카메라 (116e) 에 대응하고, 미러 (138) 는 제 3 카메라 (118e) 에 대응하고 미러 (140) 는 후방 카메라 (120) 에 대응한다. 미러들 (134, 136, 138, 140) 은 대응하는 카메라들 (114e, 116e, 118e, 120) 의 각각 카메라의 입사 동공들을 향해 인입 광을 반사시킨다. 이 실시형태에서, 연관된 미러를 갖지 않는 중앙 전방 카메라 (112) 를 제외하고는, 각각의 카메라에 대응하는 미러가 있다. 광은 중앙 카메라 (112) 에 의해 수신되고, 도 2a 및 도 2b 에 도시된 바처럼, 반사된 광은 제 1 세트의 8개 카메라들 (214a-h) , 제 2 세트의 8개 카메라들 (216a-h), 제 3 세트의 8개 카메라들 (218a-h) 에 의해 수신되고 글로벌 장면으로부터의 후방 카메라 (120) 가 이미지를 캡처하는데 사용되며 이에 대해서는 도 1 내지 도 5에 관하여 아래에서 보다 충분히 설명된다. 미러들의 면에서 설명되었지만, 광 재지향 반사 미러 컴포넌트들은 카메라들로 하여금 인입 광을 수신하게 하는 임의의 방식으로 광을 반사, 굴절, 또는 재지향시킬 수도 있다.
부가적으로, 일부만이 도 1a 에 도시되어 있는, 글로벌 카메라 구성 (110a) 은 복수의 실질적으로 비반사 표면들 (170a-d) 을 포함한다. 복수의 실질적으로 비반사 표면들은, 예를 들어, 다수의 미러들로부터 나오는 반사들에 의해 야기되는 이미지 아티팩트들을 일으키는 현저한 양의 광을 반사하지 않는 임의의 재료일 수 있다. 그러한 재료들의 예들은, 어두운색 플라스틱, 나무, 금속 등이다. 또 다른 실시형태에서, 복수의 실질적으로 비반사 표면들 (170a-d) 은 그 각각의 카메라들의 각각의 카메라의 시야내에 약간 있고 디지털 프로세싱은 복수의 실질적으로 비반사 표면들 (170a-d) 의 캡처된 부분들을 제거할 수 있다. 또 다른 실시형태에서, 복수의 실질적으로 비반사 표면들 (170a-d) 은 각각의 카메라들의 각각의 카메라의 시야로부터 약간 벗어나 있다.
도 1a 내지 도 1d 의 이미징 시스템은 복수의 카메라들을 포함한다. 중심 카메라 (112) 는 제 1 방향을 향하여 지향된 제 1 시야 (a) 를 갖는 위치에 위치된다. 도 1a에 도시된 바와 같이, 제 1 시야 (a) 는 중앙 카메라 (112) 가 향하는 임의의 방향일 수 있는 제 1 방향을 향하는데, 이미징 시스템이 글로벌 장면을 캡처하도록 구성되기 때문이다. 중앙 카메라 (112) 는 제 1 시야 (a) 를 통해서 확장되는 광축 (113) 을 갖는다. 제 1 시야 (a) 에서 중앙 카메라 (112) 에 의해 캡처되는 이미지는 중앙 카메라 (112) 의 투영된 광축 (113) 주위에 있으며, 중앙 카메라 (112) 의 투영된 광축 (113) 은 제 1 방향에 있다.
이미징 시스템은 또한 후방 카메라 (120) 를 포함한다. 후방 카메라 (120) 는 중앙 카메라 (112) 의 제 1 시야 (a) 를 통해 연장되는 광축 (113) 을 갖는다. 후방 카메라 (120) 는 중앙 카메라 (112) 의 광축과 일치하는 라인을 따라 배치된다. 후방 카메라 (120) 는 후방 재지향 반사 미러 컴포넌트 (140) 로부터 재지향된 인입 광을 수신하도록 배치된다. 후방 재지향 반사 미러 컴포넌트 (140) 는 중앙 카메라 (112) 와 후방 카메라 (120) 사이에 배치된다. 후방 카메라 (120) 는 후방 카메라 (120) 의 투영된 광축 (113) 주위에 제 2 시야 (FOV) (e) 에서 이미지를 캡처하도록 배치된다. 후방 카메라 (120) 의 투영된 광축 (113) 은 제 1 방향에 있다.
도 1a 에 도시된 바처럼, 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 에 의해 표현된, 이미징 시스템은 중앙 카메라 (112) 와 후방 카메라 (120) 사이에 위치된 복수의 측면 카메라들 (114e, 116e, 118e) 을 더 포함한다. 측면 카메라들 (114e, 116e, 118e) 은, 중앙 카메라 (112), 후방 카메라 (120) 및 도 1a 내지 도 1d 에 도시되지 않은 다른 측면 카메라들에 의해 캡처되지 않은 글로벌 장면의 부분들을 캡처하도록 배치된다. 측면 카메라들 (114e, 116e, 118e) 은 중앙 카메라 (112) 의 광축 (113) 으로부터 간격 띄워진다.
예시된 측면 카메라들 (114e, 116e, 118e) 각각은 카메라들의 3개의 개별 그룹들 또는 배열체들 (또는 링들) 의 각각의 카메라들이다. 측면 카메라들의 각각의 카메라의 배열체들은 중앙 카메라 (112) 의 광축과 정렬된 예시된 라인 (160a) 주위에 배치된다. 복수의 측면 카메라 (114e, 116e, 118e) 들의 각각이 실제 카메라 (112) 의 광축과 정렬된 도시된 라인 (160a) 에 대해 동심인 링을 형성하는 것과 관련하여 복수의 측면 카메라들 (114e, 116e 및 118) 의 각각은 카메라들의 “동심 링”으로 지칭될 수도 있다. 명확히 하기 위해, 각각의 링 (114e, 116e, 118e), 중심 카메라 (112) 및 후방 카메라 (120) 로부터 오직 하나의 카메라가 도 1a 및 도 1d 에 도시되어 있다. 측면 카메라 (114e) 는 8 개의 카메라들의 제 1 동심 링의 일부이고, 8 개의 카메라들의 각각은 그의 이웃하는 카메라로부터 45 도에 배치되어 카메라들의 360 도 동심 링을 형성한다. 측면 카메라 (114a-d, 114f-h) 는 도시되어 있지 않다. 유사하게, 116e 및 118e 는 카메라들의 제 1 동심 링의 카메라들에 유사하게 배치된 카메라들의 제 2 및 제 3 동심 링들의 부분이다. "링 (ring)"이라는 용어는, 예를 들어, 라인 (160a) 주위의 카메라들의 일반적인 배치를 나타내기 위해 사용되며, 링이라는 용어는 배열체를 원형인 것으로 제한하지 않는다. 용어 "동심"은 동일한 중심 또는 축을 공유하는 두 개 이상의 링들을 의미한다.
도 1a 내지 도 1d 에 도시된 바처럼, 광축 (113) 을 중심으로 한 각각의 동심 링의 반경은 상이한 것으로 보여져 있지만, 또 다른 실시형태에서, 2개 이상의 동심 링들은 광축 (113) 으로부터 동일한 반경 거리를 가질 수도 있다. 동심 링들의 카메라들 (114a-h, 116a-h) 은 다각형 형상 배열 (예를 들어, 8각형) 을 이룬다. 제 1 동심 링의 카메라들 (114a-h) 은 광축 (115) 을 따른 방향으로 제 3 시야 (b) 에서 이미지들을 캡처하도록 배열 및 구성된다. 제 3 시야 (b) 는 제 1 세트의 카메라들 (114a-h) 로부터 멀리 밖으로 향하게 투영된다. 제 3 시야 (b) 의 적어도 일 부분은 광축 (113) 을 따른 방향의 제 1 시야 (a) 와 광축 (121) 을 따른 방향의 제 2 시야 (e) 사이에 있다. 제 2 동심 링의 카메라들 (116a-h) 은 광축 (117) 을 따른 방향의 제 4 시야 (c) 에서 이미지들을 캡처하도록 배열 및 구성된다. 제 4 시야 (c) 는 제 2 세트의 카메라들 (114a-h) 로부터 멀리 밖으로 향하게 투영된다. 제 4 시야 (c) 의 적어도 일 부분은 광축 (115) 을 따른 방향의 제 3 시야 (b) 와 광축 (121) 을 따른 방향의 제 2 시야 (e) 사이에 있다. 제 3 링의 카메라들 (118a-h) 은 광축 (119) 을 따른 방향으로 제 5 시야 (d) 에서 이미지들을 캡처하도록 배열 및 구성된다. 제 5 시야 (d) 는 제 3 세트의 카메라들 (118a-h) 로부터 멀리 밖으로 향하게 투영된다. 제 5 시야 (d) 의 적어도 일 부분은 광축 (117) 을 따른 방향의 제 4 시야 (c) 와 광축 (121) 을 따른 방향의 제 2 시야 (e) 사이에 있다.
또 다른 실시형태에서, 측면 카메라들 (114e, 116e, 118e) 각각은 각각 제 1, 제 2 및 제 3 세트의 어레이 카메라들의 부분이고, 제 1, 제 2, 및 제 3 세트의 어레이 카메라들의 각각은 집합적으로, 타겟 장면의 적어도 일부를 포함하는 시야를 갖는다. 각각의 어레이 카메라는 이미지 센서를 포함한다. 제 1 세트의 어레이 카메라들의 이미지 센서들은 제 1 기판 상에 배치되고, 제 2 세트의 어레이 카메라들의 이미지 센서들은 제 2 기판 상에 배치되고 제 3 세트의 어레이 카메라들은 제 3 기판 상에 배치된다. 기판은, 예를 들어, 플라스틱, 나무 등일 수 있다. 또한, 제 1, 제 2 및 제 3 기판들은, 평행한 평면들에 배치된다.
중앙 카메라 (112), 후방 카메라 (120), 제 1 카메라들 (114a-h), 제 2 카메라들 (116a-h) 및 제 3 카메라들 (118a-h) 은, 제 1, 제 2, 제 3, 제 4, 및 제 5 시야 (a, e, b, c, d) 에서 캡처된 이미지들이 집합적으로, 이미징 시스템의 시각으로부터 봤을 때 구형 이미지를 표현하도록 구성 및 배열된다.
이미징 시스템은 후방 카메라 (120) 와 복수의 측면 카메라들 (114e, 116e, 118e) 사이에 배치된 후방 광 재지향 반사 미러 컴포넌트 (140) 를 더 포함한다. 후방 광 재지향 반사 미러 컴포넌트 (140) 는 위에서 설명된 복수의 광 재지향 반사 미러 컴포넌트들 중 일 타입의 광 재지향 반사 미러 컴포넌트이다. 후방 광 재지향 반사 미러 컴포넌트 (140) 는 또한, 후방 카메라 (120) 의 광축 (113) 에 수직으로 배치된다.
이미징 시스템은 복수의 측면 광 반사 미러 재지향 컴포넌트들 (134, 136, 138) 을 더 포함한다. 복수의 측면 카메라들 (114e, 116e, 118e) 의 각각은 복수의 광 재지향 반사 미러 컴포넌트들 (134, 136, 138) 중의 하나로부터 재지향된 광을 수신하도록 배치된다.
위의 광 재지향 반사 미러 컴포넌트들 (134, 136, 138, 140) 의 각각에서, 광 재지향 반사 미러 컴포넌트들 (134, 136, 138, 140) 은 복수의 반사체들을 포함한다.
이제 설명되는 바처럼, 글로벌 카메라 구성 (110a) 은, 글로벌 카메라 구성 (110a) 으로 하여금 시차가 없거나 또는 사실상 시차 없는 것을 가능하게 하고 공통 시각으로부터 단일 가상 시야를 갖는 것을 가능하게 하는 다양한 각도 및 거리들을 포함한다. 글로벌 카메라 구성 (110a) 은 단일 가상 시야를 갖기 때문에, 구성 (110a) 은 시차가 없거나 또는 사실상 시차가 없다.
일부 실시형태들에서, 단일 가상 시야는, 마치 카메라들 (112, 114a-h (114e가 도시됨), 116a-h (116e 가 도시됨), 118a-h (118e 가 도시됨), 및 120) 의 각각의 카메라의 가상 시야 기준점이, 그 카메라들의 일부가 단일 원점 (145) 으로부터 멀리 다양한 점들에 위치됨에도 불구하고, 카메라 (112) 의 입사 동공 한가운데 점인 단일 원점 (145) 을 갖는 것처럼, 글로벌 장면을 집합적으로 보는 복수의 시야들을 포함한다. 카메라들 (112, 114e, 116e, 118e, 및120) 만이 명료성을 위해 도시되었다. 예를 들어, 중앙 카메라 (112) 는 광축 (113) 을 따른 방향에서, 각도 a 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 실제 시야를 캡처한다. 제 1 카메라 (114e) 는 광축 (115) 을 따른 방향에서, 각도 b 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 가상 시야를 캡처한다. 제 2 카메라 (116e) 는 광축 (117) 을 따른 방향에서, 각도 c 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 가상 시야를 캡처한다. 제 3 카메라 (118e) 는 광축 (119) 을 따른 방향에서, 각도 d 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 가상 시야를 캡처한다. 후방 카메라 (120) 는 광축 (121) 을 따른 방향에서, 각도 e 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 가상 시야를 캡처한다. 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 는 카메라들의 동심의 링들의 부분이기 때문에, 집합적 가상 시야는 가상 시야의 적어도 다양한 각도들 a, b, c, d 및 e 를 포함하는 글로벌 장면을 캡처할 것이다. 완전한 글로벌 장면 이미지를 캡처하기 위하여, 모든 카메라들 (112, 114a-h, 116a-h, 118a-h, 120) 은 개별적으로 모든 실제 및 가상 시야들이 실제 및 또는 가상 이웃 시야들과 오버랩되는 것을 보장할 정도로 넓은 충분한 시야들을 가질 필요가 있다.
단일 가상 시야는, 마치 각각의 카메라들이, 카메라들의 실제 물리적 위치들이 단일 원점 (145) 으로부터 멀리 다양한 점들에 위치됨에도 불구하고, 단일 원점 (145) 으로부터 장면을 캡처하고 있는 것처럼, 보인다. 이 실시형태에서, 단일 원점 (145) 은 중앙 카메라 (112) 의 입사 동공에 위치된다. 그래서, 제 1 카메라 (114e) 의 가상 시야는, 마치 제 1 카메라 (114e) 가 중앙 카메라 (112) 의 입사 동공으로부터 시야 (b) 의 장면을 캡처하고 있는 것처럼 된다. 제 2 카메라 (116e) 의 가상 시야는, 마치 제 2 카메라 (116e) 가 중앙 카메라 (112) 의 입사 동공으로부터 시야 (c) 의 장면을 캡처하고 있는 것처럼 된다. 제 3 카메라 (118e) 의 가상 시야는, 마치 제 3 카메라 (118e) 가 중앙 카메라 (112) 의 입사 동공으로부터 시야 (d) 의 장면을 캡처하고 있는 것처럼 된다. 후방 카메라 (120) 의 가상 시야는, 마치 후방 카메라 (120) 가 중앙 카메라 (112) 의 입사 동공으로부터 시야 (e) 의 장면을 캡처하고 있는 것처럼 된다. 따라서, 중앙 카메라 (112), 제 1 카메라 (114e), 제 2 카메라 (116e), 제 3 카메라 (118e) 및 후방 카메라 (120) 의 각각은, 글로벌 장면을 캡처하기 위하여 다양한 방향들로 지향되는 중앙 카메라 (112) 의 입사 동공에 위치된 단일 원점 (145) 에서의 단일 가상 시야 기준점을 갖는다.
다른 실시형태에서, 카메라들에 대해 다양한 시야가 사용될 수도 있다. 예를 들어, 중앙 카메라 (112) 는 넓은 시야를 가질 수도 있고, 제 1 카메라 (114e) 는 좁은 시야를 가질 수도 있고, 제 2 카메라 (116e) 는 넓은 시야를 가질 수도 있고, 제 3 카메라 (118e) 는 좁은 시야를 가질 수도 있고 후방 카메라 (120) 는 넓은 시야를 가질 수도 있다. 그래서, 시차가 없거나 또는 사실상 시차 없는 이미지를 캡처하기 위해서 카메라들의 각각의 카메라의 시야들은 동일할 필요는 없다. 그러나, 일 실시형태의 예시에서 도 및 표들을 참조하여 아래에서 설명되는 것과 같이, 카메라들은 60 도의 실제 시야 및 45 도의 가상 시야를 가진다. 후술되는 실시형태에서, 시야는 본질적으로 오버랩된다. 그러나, 이미징 시스템이 시차 없거나 또는 사실상 시차 없는 이미지를 캡처하기 위해서 오버래핑이 필요한 것은 아니다.
시차 없거나 또는 사실상 시차 없는 이미징 시스템 및 가상 시야에 대한 전술한 실시형태는 다음의 각도, 거리 및 식들의 표에 열거된 다양한 입력들 및 출력들에 의해 가능해진다.
시차 아티팩트가 없는 또는 사실상 시차 아티팩트가 없는 다수의 이미지들을 취하는 한 가지 개념은 카메라의 입사 동공의 가장 가운데 점이 이미지가 캡처될 때마다 동일한 위치에 남아 있는 경우에 카메라의 광축을 피벗 (pivot) 함으로써 물체 공간에서 장면의 이미지를 캡처하는 것이다. 시차 아티팩트가 전혀 없거나 사실상 최소로 하는 파노라마 사진들을 캡처하는 기술 분야의 당업자는 이러한 방법을 알고 있을 수도 있다. 이러한 프로세스를 수행하기 위해, 도 1b 에 도시된 것과 같이, 다중 카메라 시스템 광축 (113) 을 따라서 카메라 (112) 의 광축을 정렬하고, 점 (145) 을 포함하도록 카메라 (112) 입사 동공의 가장 가운데 점을 위치시킨다. 이 위치에서 이미지가 캡처될 수 있다. 다음 1 단계는 카메라 (112) 의 광축을 시계 방향으로 45도 만큼 회전시키는 한편, 카메라 (112) 입사 동공의 가장 가운데 점에서 유지하고 도 1b 에서 도시된 페이지의 평면에 카메라 (112) 의 광축을 유지하고 그 다음에 제 2 이미지를 캡처한다. 카메라 (112) 의 시야가 실제로 각도 f2 의 2배보다 더 크다고 추가로 가정한다. 이 두 이미지들은 두 이미지들의 시야가 겹치는 장면의 유사한 물체 공간 이미지 콘텐츠를 보여야 한다. 이 방법으로 이미지를 캡처하는 경우 이 두 이미지들을 함께 병합하여 시차 아티팩트들이 없거나 또는 사실상 시차 아티팩트들이 없는 이미지를 만드는 것이 가능하다. 둘 이상의 이미지를 함께 병합하는 기술 분야의 통상의 기술자는 시차 아티팩트들이 어떻게 보일지를 이해할 수도 있으며, 시차가 없거나 또는 사실상 시차 아티팩트들이 없는 이미지를 캡처하는 목적을 이해할 수도 있다.
입사 동공 위치에 대해 카메라의 광축을 피벗시킴으로써 시차가 없거나 또는 사실상 시차 없는 이미지들을 캡처하는 것이 바람직하지 않을 수도 있다. 서로에 대해 위치가 고정된 두 개의 카메라를 사용하는 것이 바람직할 수도 있다. 이 상황에서 입사 동공들이 동일한 물리적 위치를 차지하는 두 개의 카메라를 만드는 것이 가능하지 않을 수도 있다. 대안으로서, (112) 와 같은 또 다른 카메라의 입사 동공 가운데 점을 포함하거나 거의 포함하는 입사 동공 가운데 점을 갖는 가상 카메라를 생성하기 위해 광 재지향 반사 미러 표면을 사용할 수도 있다. 이것은 표면 (134) 과 같은 광 재지향 반사 미러 표면 및 114e 와 같은 제 2 카메라를 적절하게 배치시킴으로써 수행된다. 도 1b 는 광 재지향 반사 미러 표면 (134) 이 카메라 (114e) 의 가상 카메라를 생성하는데 사용되는 그러한 시스템의 도면을 제공하며, 여기서 가상 카메라 입사 동공의 중심은 점 (145) 을 포함한다. 이 아이디어는 광 재지향 반사 미러 표면이 존재하지 않으면, 카메라 (114e) 가 그 가상 카메라가 관찰할 동일한 장면을 광 재지향 반사 미러 반사 표면으로부터 관찰하는 방식으로 광 재지향 미러 표면 (134) 을 배치시키고 카메라 (114e) 입사 동공 및 광축을 배치하는 것이다. 카메라 (114e) 가 광 재지향 반사 미러 표면의 크기 및 형상에 의존하여 가상 카메라가 관찰할 장면의 일 부분만을 관찰할 수도 있다는 것을 지적하는 것은 중요하다. 광 재지향 반사 미러 표면 (134) 이 오직 카메라 (114e) 의 시야의 일부를 차지하는 경우, 카메라 (114e) 는 오직 그의 가상 카메라가 볼 장면의 부분만을 볼 것이다.
도 1b 에 나타난 것과 같이, 길이 (152b) 및 각도 (f2, h2 및 k2) 에 대한 값을 선택하면, 표 2 의 식들을 사용하여 카메라 (114e) 입사 동공 가운데 점의 위치와 그 광축의 각도를 라인 (111) 에 대해 계산할 수 있다. 카메라 (114e) 의 입사 동공 가운데 점은 다중 카메라 시스템의 광축 (113) 으로부터 거리 (154b) 에 위치하고, 라인 (113) 에 수직인 라인 (111) 으로부터 길이 (156b) 에 위치한다. 도 1e 는, 각도의 부호에 따른 각도 회전 방향 및 길이의 부호에 따른 라인 (111 및 113) 의 교차점으로부터의 길이에 대한 방향을 나타내는 범례를 제공한다.
Figure 112016123868447-pct00001
표 1 에서 위의 거리들, 각도들 및 식들은 이제 도 1a 를 참조하여 설명될 것이다. 도 1a 내지 도 1e 를 참조하면, 가상 입사 동공 (111) 의 평면은 가상 입사 동공 점 (145) 을 포함하고 광축 (113) 에 수직이다. 가상 입사 동공 (145) 의 가장 가운데 점은 평면 (111) 과 광축 (113) 의 교차점에 이상적으로 위치하고, 평면 (111) 은 도면을 표시하는 페이지에 수직한다. 이상적으로, 중앙 카메라 (112) 에 대한 입사 동공 및 가상 입사 동공 (145) 은 서로 일치한다. 실제 제조에서 컴포넌트들 및 배치에 있어서의 변동는 입사 동공 (145) 의 가운데 점이 광축 (113) 과 평면 (111) 의 교차점에 있지 않는 것을 초래할 수도 있다; 그리고 마찬가지로, 카메라 (112) 의 입사 동공의 실제 위치 및 정렬은 가상 입사 동공 (145) 과 정확히 일치하지 않을 수도 있으며, 이들 경우에서 우리는 "사실상" (effective) 또는 동등한 표현인 "사실상으로" (effectively) 라는 개념을 사용하여 의도된 요건들 및 또는 시스템, 시스템들 또는 아이템에 대한 목적들이 충족되도록 허용오차 요건들이 결정될 수도 있다는 것을 보여주는 것이 가능하면, 이상적인 경우 및 전술한 허용오차 내 양쪽 모두에서 시스템, 시스템들 및 또는 아이템은 의도된 요건 및/또는 목적들을 충족시키는데 동등한 것으로 고려될 수도 있다는 것을 의미한다. 따라서, 허용오차내에서 가상 입사 동공 (145) 은 카메라 (112) 의 입사 동공 및 가상 입사 동공의 가장 가운데 점과 사실상 일치하고, 중앙 카메라 (112) 입사 동공은 사실상 광축 (113) 및 평면 (111) 의 교차점에 있다.
또한, 도 1a 내지 도 1e 를 참조하면, 평면 (192) 은 광 재지향 반사 미러 표면 (140) 과 광축 (113) 사이의 교차 평면을 표현하고 광축 (113) 에 수직하다.
글로벌 카메라 구성 (110a) 에 나타낸 바처럼, 카메라 (120) 의 배치를 위한 표 1 에서의 입력은 거리 152a, 각도 f1, 각도 h1 및 각도 k1 이다. 거리 152a 는 가상 입사 동공 (111) 의 평면과 평면 (192) 사이의 거리이다. 여기서, 광 재지향 반사 미러 컴포넌트 (140) 의 바깥쪽 에지는 광 재지향 반사 미러 컴포넌트 (140) 를 따른 임의의 점일 수도 있는데, 광 재지향 반사 미러 컴포넌트 (140) 는 가상 입사 동공 (111) 의 평면에 평행하기 때문이다.
각도 f1 는 카메라 (120) 의 1/2 각도 시야 h1 와 광축 (113) 사이의 1/2 각도 시야를 표현한다. 후방 카메라 (120) 는 도 1a 내지 도 1d 에 도시된 실시형태들에 대한 표 1와 관련될 때 현재 카메라로서 지칭될 것이다. 현재 카메라의 의미는 표 1, 2, 3, 및 4 의 각각에 대해 변할 것이다. 표 1, 2, 3, 및 4 에 대하여, 본 발명자들은 h1 의 1/2 각도 시야를 갖는 카메라를 현재 카메라로 지칭할 것이다. 현재 카메라는 그것이 표 1에 관련될 때 카메라 (120) 이다. 또한, 1/2 각도 시야 f1 과 합산될 때 현재 카메라 1/2 각도 시야 h1는 도 1a 에 도시된 글로벌 카메라에 대한 180 도의 1/2 각도 시야와 동일할 것임에 주목한다.
현재 카메라와 실시형태에 사용된 모든 카메라는 각각 다수의 카메라를 포함하는 카메라 시스템일 수도 있거나 또는 전통적인 단일 배럴 (barrel) 렌즈 카메라와 상이할 수도 있는 다른 유형의 카메라일 수도 있다. 일부 실시형태에서, 사용되는 각각의 카메라 시스템은 카메라들의 어레이 또는 카메라들의 폴딩형 옵틱스 어레이로 구성될 수도 있다.
각도 h1 는 현재 카메라의 실제 시야의 1/2 을 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이다. 현재 카메라의 총 실제 시야는, 45 도인 각도 h1 의 2배이다.
도 1a 에 도시된 바처럼 각도 k1 은 광축 (113) 과 도면을 포함하는 페이지의 평면과 컴포넌트 (140) 의 광 반사 평면의 표면에 의해 형성되는 라인과 광축 (113) 사이의 각도를 나타낸다.
표 1에 나타냈지만 도 1a 에 도시되지 않은 각도 u1, u2 및 j1 는 표 1에서 발견되는 식들에 대한 중간 값들로서 주로 사용된다.
표 1에 나타냈지만 도 1a 에 도시되지 않은 거리 158a 는 표 1에서 발견되는 식들에 대한 중간 값들로서 주로 사용된다.
거리 150a 는 도 1a 를 포함하는 페이지에 의해 표현되는 평면과 광 재지향 반사 미러 컴포넌트 (140) 에 의해 형성되는 라인의 길이의 1/2 이다. 도 1a 에 도시된 140 의 길이는 150a 의 2배이고 140 의 중심을 나타내는 점은 광축 (113) 에 교차한다.
거리 160a 는 원점 (145) 에 위치된 가상 입사 동공과 현재 카메라의 입사 동공 사이의 거리의 1/2 을 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이다.
여전히 도 1a 를 참조하면, 거리 길이 156a 는 가상 입사 동공 평면 (111) 및 가상 입사 동공 평면 (111) 에 평행한 현재 카메라의 입사 동공의 평면으로부터의 좌표 위치를 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이다. 좌표계에 대한 범례는 도 1e에 도시되어 있다.
거리 길이 154a 는 광축 (113) 및 카메라 (120) 의 입사 동공으로부터 좌표 위치를 나타낸다.
각도 m1 및 n1 는 도 1a 에 도시되어 있지 않고 표 1에 나타낸 식들에 사용되는 중간 값들이다.
각도 p1 는 현재 카메라에 대한 실제 시야의 광축과 현재 카메라에 대응하는 광 재지향 반사 미러 컴포넌트의 전방 측으로부터의 각도를 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이고 대응하는 광 재지향 반사 미러 컴포넌트는 광 재지향 반사 미러 컴포넌트 (140) 이다. 광 재지향 반사 미러 컴포넌트의 전방 측은 광을 재지향시키는 측이다.
각도 q1 는 가상 입사 동공 평면 (111) 및 도 1a 를 보여주는 페이지의 평면에 의해 형성된 라인으로부터 현재 카메라에 대한 실제 시야의 광축으로의 각도를 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이다. 실제 시야는 실제 현실 카메라의 입사 동공으로부터 발산하는 시야를 의미한다. 이 경우에, q1 에 대한 실제 현실 카메라는 카메라 (120) 이다.
도 1b 는 중앙 카메라 (112) 및 제 1 카메라 (114e) 를 포함하는 글로벌 카메라 구성 (110b) 의 일 부분의 실시형태의 예의 측면도를 도시한다. 이 실시형태에서, 제 1 카메라 (114e) 는 현재 카메라이다. 도 1b 는 또한, 많은 상이한 시차 없는 또는 사실상 실차 없는 다중 카메라 실시형태들이 본원에 제시된 방법들을 이용하여 구상, 설계, 및/또는 실현될 수 있는 모델을 나타낸다. 표 2는 길이 152b 및 각도 f2, h2 및 k2 에 기초하여 도 1b 에 나타낸 거리 및 각도를 결정하는데 사용되는 식들을 제공한다.
Figure 112016123868447-pct00002
위의 거리들, 각도들 및 식들은 도 1에 대하여 위에서 설명된 바와 유사한 관계를 갖는다. 표 2의 입력들의 일부는 표 1의 입력들과는 상이하다. 위의 거리들, 각도들 그리고 식들 사이의 주된 차이들은 도 1a 로부터 구별될 것이다. 도 1a 및 표 1 에서, 거리들 중 일부는 밑첨자 “a” 를 갖고 각도들 중 일부는 밑첨자 “1” 를 갖는다. 표 1의 이들 밑첨자의 거리들 및 각도들은 도 1b 및 표 2의 밑첨자의 거리 및 각도들에 유사한 관계를 갖는다. 도 1b 및 표 2 에서, 거리들 중 일부는 밑첨자 “b” 를 갖고 각도들 중 일부는 밑첨자 “2” 를 갖는다. 따라서, 도 1a 및 표 1에 대해 위에서 설명된 거리 및 각도 관계들은 유사하게, 도 1b 및 도 2 의 거리 및 각도들을 계산하는데 사용될 수 있다.
도 1b 에, 표 2의 각도 및 거리들이 예시되어 있다. 중앙 카메라 (112) 및 제 1 카메라 (114e) 가 도시되어 있다. 제 1 카메라 (114e) 의 입사 동공은 거리 154b 및 거리 156b 에 따라 가상 입사 동공 (145) 으로부터 간격 띄워진다. 거리 길이 154b 는 광축 (113) 및 제 1 카메라 (114e) 의 입사 동공 가운데 점으로부터 좌표 위치를 나타내고, 여기서 거리 154b 는 광축 (113) 에 수직하게 측정된다. 여기서, 현재 카메라는 제 1 카메라 (114e) 이다.
거리 길이 156b 는 평면 (111) 에 평행하고 제 1 카메라 (114e) 의 입사 동공 가운데 점을 포함하는 평면 및 평면 (111) 으로부터의 좌표 위치를 나타낸다. 여기서, 현재 카메라는 제 1 카메라 (114e) 이다.
여전히 도 1b 를 참조하면, 시스템 (110b) 에 대해 도 1b 에서 나타난 점 (137) 은 도 1b 를 도시하는 페이지의 평면 상에 위치되고, 광축 (113) 으로부터 거리 (150b) 에 있고 평면 (111) 및 도 1b 에 대한 페이지의 평면의 교차에 의해 형성된 라인으로부터의 거리 (152b) 에 있다. 설명을 쉽게 하기 위해 때때로 라인 (111) 을 참조할 것이며, 이것은 평면 (111) 과 도면, 예를 들어, 도 1a 내지 도 1d 중 하나를 나타내는 페이지 평면의 교차에 의해 형성된 라인으로 이해될 것이다.
평면의 광 재지향 반사 미러 표면 (134) 은 평면의 표면 (134) 과 도 1b 를 나타내는 페이지의 평면의 교차에 의해 형성되는 라인으로 나타난다. 도 1b 및 도 1a, 1c 및 1d 를 설명하기 위해서, 평면의 표면 (134) 이 페이지의 평면에 수직이라고 가정할 것이다. 그러나, 평면의 표면 (134) 이 페이지 평면에 수직일 필요는 없다는 것을 지적하는 것은 중요하다.
라인 (134) 을 참조할 때, 평면의 표면 (134) 과 페이지의 평면의 교차에 의해 형성된 라인을 참조하는 것으로 이해되어야 한다.
표 2 는, 점 (137) 도 포함하고 광축 (113) 에 평행한 라인으로부터 라인 (134) 에 시계 방향 회전 각도인 각도 k2 를 제공한다. 카메라 (112) 의 시야 에지는 170a 및 170b 로 표시된 2 개의 교차 라인으로 도시되고, 여기에서 이 두 라인들은 카메라 (112) 의 입사 동공의 가운데 점에서 교차한다. 카메라 (112) 의 1/2 각도 시야는 다중 카메라 광축 (113) 과 시야 에지 (170a 및 170b) 사이의 f2 이다.
도 1b 에 나타낸 것과 같이, 카메라 (112) 는 그것의 광축이 라인 (113) 과 일치한다. 카메라 (114e) 의 1/2 각도의 시야는 카메라 (114e) 의 광축 (115) 에 대하여 h2 이다. 카메라 (114e) 의 가상 카메라의 광축은 광 재지향 반사 미러 표면 (134) 에서 재지향되는 것으로 도시된다. 광 재지향 반사 미러 표면 (134) 이 완벽히 편평하고 도 1b 이 도시된 페이지의 평면에 수직한 평면의 표면인 것으로 가정한다. 추가적으로, 광 재지향 반사 미러 평면의 표면 (134) 이 카메라 (114e) 의 시야를 완전히 커버한다고 가정하자. 도 1b 에 도시된 것과 같이, 광축 (115) 은 평면의 광 재지향 반사 미러 표면 (134) 상의 한 점에서 교차한다. 반 시계 방향 각 p1 은 광 재지향 반사 미러 표면 (134) 으로부터 카메라 (114) 의 광축 (115) 으로 진행하는 것으로 도시된다. 미러 또는 동등한 광 반사 미러 표면으로부터의 광 반사 특성 및 도 1b 에 도시된 라인들이 도 1b 의 페이지 평면에 포함된다는 가정에 기초하여, 반시계 방향 각도들 m2 및 n2 가 p2 와 동일하다는 것을 알았다. 광선은 도 1b 를 도시하는 페이지의 평면 내에서 카메라 (114) 를 향하여 광축 (115) 을 따라 이동할 수도 있고, 광 재지향 반사 미러 등가 표면 (134) 으로부터 카메라 (114e) 의 입사 동공의 가운데 점을 향해 반사할 수도 있고, 여기서 미러와 동등한 표면들로부터의 광 반사 특성에 기초하여 각도 n2 및 p2 는 동일해야 한다. 광축 (115) 은 광 반사 표면 (134) 을 지나 가상 입사 동공 가운데 점 (145) 을 향해 확장하는 것으로 도시되어있다. 반 시계 방향 회전 각도 m2 는 삼각법에 기초하여 n2 와 동일한 것으로 보여질 수 있다.
이로부터, 평면의 광 재지향 반사 미러 표면 (134) 은 카메라 (112) 의 입사 동공의 가운데 점으로부터 카메라 (114e) 의 입사 동공 가운데 점으로 이어지는 라인과 수직하게 교차할 것이라고 보여질 수 있다. 따라서, 2 개의 라인 길이들 (160b) 은 동일한 거리로 나타날 수 있다.
평면의 광 재지향 반사 미러 표면 (134) 은 카메라 (114e) 의 시야의 일부분만을 커버하는 것이 가능하다. 이 경우, 도 1b 에 나타낸 것과 같이, 물체 공간으로부터 가운데 점 (145) 을 포함하는 가상 카메라 입사 동공을 향해 이동하는 모든 광선들이 카메라 (114e) 의 시야를 부분적으로 커버하는 광 재지향 반사 미러 표면 (134) 의 평면의 부분에서 반사되는 것은 아니다. 이러한 시각에서, 카메라 (114e) 가 절반 각도 시야 (h2) 로 정의된 시야, 광축 (115), 및 길이들 (154b 및 156b) 과 도 1e 에 도시된 범례들로 설명된 그것의 입사 동공의 위치를 갖는다는 것을 명심하는 것은 중요하다. 이 시야 내에서, 광 재지향 반사 미러 표면 (134) 의 광 반사 평면의 부분과 같은 표면은 부분적으로 그 시야 내에 있을 수도 있다. 물체 공간으로부터 카메라 (114e) 의 가상 카메라의 입사 동공을 향해 이동하고 광 재지향 반사 미러 표면 (134) 의 평면 부분에서 반사하는 광선은, 카메라들 (112 및 114e) 및 광의 재지향 미러 표면 (134) 의 평면 부분이 도 1b 에 도시된 것과 같이, 그리고 도 1e 에 도시된 범례, 표 2의 식에 따라, 그리고 입력 값들 (152b, f2, h2 및 k2) 에 따라 배치된다면, 카메라 (114e) 의 입사 동공 상으로 이동한다.
Figure 112016123868447-pct00003
도 1c 는 중앙 카메라 (112), 제 1 카메라 (114e) 및 제 2 카메라 (116e) 를 포함하는 글로벌 카메라 구성 (110c) 의 일 부분의 실시형태의 예의 측면도를 도시한다. 이 실시형태에서, 제 2 카메라 (116e) 가 현재 카메라이다.
위의 거리들, 각도들 및 식들은 도 1a 및 도 1b 에 대하여 위에서 설명된 바와 유사한 관계를 갖는다. 표 3의 입력들의 일부는 표 1 및 2 의 입력들과는 상이하다. 위의 거리들, 각도들 그리고 식들 사이의 주된 차이들은 도 1a 로부터 구별될 것이다. 도 1a 및 표 1 에서, 거리들 중 일부는 밑첨자 “a” 를 갖고 각도들 중 일부는 밑첨자 “1” 를 갖는다. 표 1의 이들 밑첨자의 거리들 및 각도들은 도 1c 및 표 3의 밑첨자의 거리 및 각도들에 유사한 관계를 갖는다. 도 1c 및 표 3 에서, 거리들 중 일부는 밑첨자 “c” 를 갖고 각도들 중 일부는 밑첨자 “3” 을 갖는다. 따라서, 도 1a 및 표 1에 대해 위에서 설명된 거리 및 각도 관계들은 유사하게, 도 1c 및 표 3 의 거리 및 각도들을 계산하는데 사용될 수 있다.
도 1c 에, 표 3의 각도 및 거리들이 예시되어 있다. 중앙 카메라 (112), 제 1 카메라 (114e) 및 제 2 카메라 (116e) 가 도시되어 있다. 제 2 카메라 (116e) 의 입사 동공은 거리 154c 및 거리 156c 에 따라 가상 입사 동공 (145) 으로부터 간격 띄워진다. 거리 길이 154c 는 광축 (113) 으로부터 그리고 제 2 카메라 (116e) 의 입사 동공 가운데 점으로의 좌표 위치를 나타내고, 여기서 좌표계의 방향 및 배향은 도 1e 에 나타나 있다. 여기서, 현재 카메라는 제 2 카메라 (116e) 이다.
거리 길이 156c 는, 평면 (111) 에 평행하고 제 2 카메라 (116e) 의 입사 동공 가운데 점을 포함하는 평면 및 평면 (111) 으로부터의 좌표 위치를 나타낸다. 여기서, 현재 카메라는 제 2 카메라 (116e) 이다.
남아있는 거리 및 각도들은 표 3에서 찾을 수 있고 도 1c 에 예시되어 있다. 표 3 에서 발견되고 도 1c 에 예시된 거리 및 각도들의 관계는 표 1에서 발견되고 도 1a 및 표 2에서 예시되고 도 1b 에 예시된 거리 및 각도들과 상관될 수 있다.
도 1d 는 중앙 카메라 (112), 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 를 포함하는 글로벌 카메라 구성 (110d) 의 일 부분의 실시형태의 측면도를 도시한다. 이 실시형태에서, 제 3 카메라 (118e) 가 현재 카메라이다.
Figure 112016123868447-pct00004
위의 거리들, 각도들 및 식들은 도 1a 내지 도 1c 에 대하여 위에서 설명된 바와 유사한 관계를 갖는다. 표 4의 입력들의 일부는 표 1 내지 3 의 입력들과는 상이하다. 위의 거리들, 각도들 그리고 식들 사이의 주된 차이들은 도 1a 로부터 구별될 것이다. 도 1a 및 표 1 에서, 거리들 중 일부는 밑첨자 “a” 를 갖고 각도들 중 일부는 밑첨자 “1” 를 갖는다. 표 1의 이들 밑첨자의 거리들 및 각도들은 도 1d 및 표 4의 밑첨자의 거리 및 각도들에 유사한 관계를 갖는다. 도 1d 및 표 4 에서, 거리들 중 일부는 밑첨자 d 를 갖고 각도들 중 일부는 밑첨자 4 를 갖는다. 따라서, 도 1a 및 표 1에 대해 위에서 설명된 거리 및 각도 관계들은 유사하게, 도 1d 및 도 4 의 거리 및 각도들을 계산하는데 사용될 수 있다.
도 1d 에, 표 4의 각도 및 거리들이 예시되어 있다. 중앙 카메라 (112), 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 가 도시되어 있다. 제 3 카메라 (118e) 의 입사 동공은 거리 154d 및 거리 156d 에 따라 가상 입사 동공 (145) 으로부터 간격 띄워진다. 거리 길이 154d 는 광축 (113) 및 제 3 카메라 (118e) 의 입사 동공 가운데 점으로부터 좌표 위치를 나타내고, 여기서 거리 154d 는 광축 (113) 에 수직하게 측정된다. 여기서, 현재 카메라는 제 3 카메라 (118e) 이다.
거리 156d 는, 평면 (111) 에 평행하고 제 3 카메라 (118e) 의 입사 동공 가운데 점을 포함하는 평면 및 평면 (111) 으로부터의 좌표 위치를 나타낸다. 여기서, 현재 카메라는 제 3 카메라 (118e) 이다.
남아있는 거리 및 각도들은 표 4에서 찾을 수 있고 도 1d 에 예시되어 있다. 표 4 에서 발견되고 도 1d 에 예시된 거리 및 각도들의 관계는, 표 1에서 발견되고 도 1a, 표 2에서 예시되고 도 1b 및 표 3에서 예시되고 도 1c 에 예시된 거리 및 각도들과 상관될 수 있다.
다중 카메라 시스템을 설계하는 한 가지 방법에 대한 설명이 이제 설명될 것이다. 하나의 접근법은 도 1b 에 나타난 모델, 도 1e 에 나타난 범례 및 표 2 에 나타난 식들을 사용하여 다중 카메라 시스템을 개발하는 것이다. 첫 번째 결정들 중 하나는 중심 카메라 (112) 가 사용될 것인지를 결정하는 것이다. 중심 카메라 (112) 가 사용되지 않는 경우, 절반 각도의 시야 (f2) 는 0 으로 설정되어야 한다. 다음으로, 1/2 각도의 시야 (h2) 는 이러한 시스템을 설계하는 사람들이 염두에 두어야 할 다른 고려 사항들에 기초하여 선택될 수도 있다. 길이 (152b) 는 다중 카메라 시스템의 크기를 스케일링할 것이다. 설계를 개발하는 중에 한가지 목적은, 사용될 수도 있거나 사용될 카메라의 크기가 설계의 최종 구조에 피팅되는지 확인하는 것이다. 길이 (152b) 는 다중 카메라 시스템에 사용될 수도 있는 카메라 및 다른 컴포넌트들을 수용하는 적절한 길이를 찾기 위해서 설계 단계 도중에 변경될 수도 있다. 152b 에 적합한 값을 선택할 때 고려해야 할 다른 고려사항이 있을 수도 있다. 광 재지향 반사 미러 평면의 표면의 각도 (k2) 는 길이들 (154b 및 156b) 및 도 1e 상에 나타낸 범례 및 카메라 (114e) 의 광축 각도 (q2) 를 이용하여 카메라 (114e) 의 입사 동공에 대한 위치를 찾는 목적으로 변경될 수 있다. 시스템에서 각각의 카메라로부터 모든 이미지들을 함께 병합하는 것에 의해 얻는 것이 가능할 수도 있는 가장 넓은 다중 카메라 이미지를 원할 수도 있다. 이러한 경우에는 각 카메라를 모든 카메라의 시야 밖으로 유지하는 것이 바람직하다. 원하는 결합된 이미지 시야가 얻어질 때까지 이 결합된 시야로부터 다른 카메라들의 이미지들을 유지하면서 152b, f2, h2, 및 k2 에 대해 상이한 입력들을 시도해야 할 필요가 있을 수도 있다.
다중 카메라 시스템이 표 2 및 도 1b 및 도 1e 에 따라 입력들 152b, f2, h2, 및 k2 에 의해 지정되고 나면, 본 발명자들은 이 다중 카메라 시스템을 제 1 카메라 스테이지로서 표기할 수 있다. 본 발명자들은 다시 도 1b 에 도시된 모델을 사용할 수 있고 여기서 제 1 카메라 스테이지가 이번에는 중앙 카메라 (112) 에 사용될 것이다.
본 발명자들은 이제, 다시 도 1b 를 사용하여 제 2 카메라 스테이지를 설계하고 제 1 카메라 스테이지를 중앙 카메라 (112) 로서 사용한다. 본 발명자들은 제 2 카메라 스테이지에 대해 선택된 1/2 각도 f2 와 함께 작동할 높이 152b 를 선택할 필요가 있을 것이다.
이 경우에 제 2 스테이지에 대해 선택된 1/2 각도 시야 f2 는 제 1 카메라 스테이지에 의해 관찰된 실제 이미지보다 도 단위에서 (in degrees) 가 더 적을 수도 있다. f2 에 대해 무슨 값을 넣을지의 선택은 설계자의 목적 및 타깃에 의존할 것이다.
f2 에 대한 값이 선택되었다고 가정하면 질문은, 제 2 카메라 스테이지의 중앙 카메라로서 제 1 카메라 스테이지를 포함하는 제 2 카메라 스테이지를 구성하는 주위 카메라들의 h2 를 위해 무슨 1/2 각도 시야가 선택되야 하는지이다. 모든 카메라들은 서로 상이한 1/2 각도 시야를 가질 수 있지만, 제 2 카메라 스테이지의 모든 주위 카메라들 (114e) 이 동일한 1/2 각도 시야 (h2) 를 가질 것으로 가정한다. 모든 카메라들을 서로의 시야에서 벗어나게 유지하기 위해 각도들 h2 및 k2 그리고 제 1 카메라 스테이지에 피팅될 제 2 카메라 스테이지의 152b 에 대한 길이를 선택하는 것이 바람직하고 실현가능한 구조 내에 카메라들을 두는 것이 물리적으로 가능하다. 도 1a 는 이들 목적들을 설명하는데 도움이 될 것이다. 표 1 내지 4 의 입력 값들 152, f, h 및 k 이 광 재지향 반사 미러 표면 (136) 과 흑색 비반사 또는 최소 비반사 표면 (170c) 사이의 알려진 크기를 갖는 카메라 (114e) 에 대하여 선택되었다; 예를 들어, 카메라 (114e) 는 그 설계에 대한 목적들에 기초하여 표면들 (170c 및 136) 간에 피팅될 필요가 있을 수도 있다. 표면 (170c) 은 도 1a 에 도시된 바처럼, 카메라 (114e) 에 의해 관찰된 시야를 제한할 수도 있다. 카메라 (114e) 의 시야는 또한, 카메라 (114e) 의 시야의 일부만을 차지할 수도 있는 광 재지향 반사 미러 표면 (134) 에 의해 제한될 수도 있다; 예를 들어, 광 재지향 반사 미러 표면 (134) 은 카메라 (114e) 의 시야를 완전히 채우지 않을 수도 있는 카메라 (114e) 의 시야 내의 오브젝트로서 생각될 수도 있다. 제 2 카메라 스테이지의 카메라 (116e) 는 비반사 또는 최소 반사 표면 (170d) 및 광 재지향 반사 미러 표면 (136) 에 의해 제한되는 시야를 가질 수도 있다. 광 재지향 반사 미러 표면은 추가적인 기능을 제공하고, 여기서 광 재지향 반사 미러 표면 (136) 의 길이는 카메라 (114e) 가 카메라 (116e) 에 의해 관찰되지 않을 수 있도록 확장될 수도 있다. 114e 의 이미지는 크롭 아웃 (crop out) 될 수 있기 때문에, 카메라 (114e) 가 116e 의 이미지내에 있지 않게 차단할 필요가 없을 수도 있다. 카메라 (114e) 의 이미지가 카메라 (116e) 시야에 보이지 않게 차단하는 것을 바람직하게 만들 수도 있는 다른 고려사항들이 있을 수도 있다.
제 1 카메라 스테이지를 포함하는 제 2 카메라 스테이지에 대한 설계가 완료되고 나면, 다시 도 1b 및 표 2 를 사용하여 제 3 카메라 스테이지를 설계할 수 있고 여기서 본 발명자들은 도 1b 에 도시된 카메라 (112) 에 대해 중앙 카메라로서 제 2 카메라 스테이지를 사용하고 제 2 카메라 스테이지를 설계하는데 사용된 접근법을 유사한 방식으로 반복한다.
도 1a 에 도시된 실시형태에서, 앞서 위에서 설명된 위치에서 광 재지향 반사 미러 표면 (140) 및 다중 카메라 시스템 광축 (113) 과 일치되는 광축을 갖는 제 4 카메라 스테이지를 위해 단일 카메라 (120) 가 보여져 있다. 광 재지향 반사 미러 표면 (140) 위치 및 배향은 도 1b 및 1e 에 도시된 모델 및 표 1 을 사용하여 설명된다.
도 1a 에 도시된 카메라 (120) 와 같은 단일 카메라를 사용하는 것은 필요하지 않다. 카메라 (120) 는 제 1 스테이지 카메라 및 또는 제 2, 제 3 이상의 스테이지들과 같은 더 많은 스테이지들에 대해 위에서 설명된 바처럼 다중 카메라 시스템으로 구성될 수도 있다.
도 1a 의 대안의 실시형태에서, 제 1 카메라 스테이지가 뷰인 방향의 대체로 반대 방향으로 일반적으로 포인팅하는 오브젝트 공간을 보는 다수의 카메라들을 사용하는 것이 가능할 수도 있다.
제 1 카메라 스테이지, 제 2 카메라 스테이지, 제 3 카메라 스테이지 및 또는 제 4 카메라 스테이지 및 또는 더 많은 스테이지들 보다 더 많거나 또는 더 적은 카메라 스테이지들이 있을 수도 있다. 더 많거나 적은 카메라 스테이지들을 사용하는 것에 의해서, 예를 들어, 카메라 (120) 와 같은 리어 카메라를 이용하지 않을 수도 있는, 넓은 시야 카메라, 반구형 넓은 시야 카메라, 또는 반구형보다 더 넓은 울트라 시야 카메라를 고안, 설계 또는 구상가능할 수도 있다. 실제 설계는 다중 카메라 시스템을 개발하는 중 만들어진 선택들에 의존한다. 앞서 언급했듯이 카메라들 중 어느 카메라가 다른 카메라들 중 어느 것과 동일한 시야를 가질 필요는 없다. 모든 광 재지향 반사 미러 표면들은 그 광 재지향 반사 미러 표면들을 보는 클로우즈 카메라 (closes camera) 에 대하여 동일한 형상, 크기 또는 배향을 가질 필요가 있는 것은 아니다. 또한, 시차가 없거나 또는 사실상 시차 없는 이미지를 캡처할 수도 있는 것으로 설명된 다중 카메라 시스템을 갖기 위해서 모든 카메라들이 이웃하는 이미지의 시야를 완전히 오버랩할 필요는 없다.
모델 도 1b 에서 광 재지향 반사 미러 표면 (134) 에 교차하는 광축 (115) 이 보여진다. 도 1b 에서 도시된 것과 같이, 위에 설명된 교차점이 평면의 광 재지향 반사 미러 표면 (134) 상의 어떤 위치로 움직이는 경우 다중 카메라 시스템은 여전히 시차가 없거나 또는 사실상 시차가 없을 수 있다는 것이 보여질 수 있다. 위에 설명된 바처럼, 교차점은 카메라 (114e) 의 광축 (115) 이 가상 카메라의 광축과 교차하는 점이며 교차점은 평면의 광 재지향 반사 미러 표면 (134) 상에 위치한다.
다중 카메라 시차가 없거나 또는 사실상 시차 없는 카메라 시스템에서 사용되는 카메라들 각각의 카메라의 시야들이 동일할 필요는 없다.
표면 (134) 이 편평하지 않지만, 전체 카메라 시스템의 설계의 일부인 광을 반사 또는 굴절할 수 있는 방법으로 광 재지향 반사 미러 표면들이 도 1b 에서 광 재지향 미러 표면 (134) 으로 표현되는 시차가 없거나 또는 사실상 시차 없는 다중 카메라 시스템을 설계하는 것이 가능할 수도 있다.
도 2a 는 중앙 카메라 (212), 제 1 링의 카메라들 (214a-h), 제 2 동심 링의 카메라들 (216a-h), 제 3 동심 링의 카메라들 (218a-h) 및 후방 카메라 (미도시) 를 포함하는 글로벌 카메라 구성 (210a) 의 일 부분의 실시형태의 정면도를 도시한다. 명료성을 위해, 광 재지향 반사 미러 컴포넌트들 및 사실상 비반사 표면들은 도시되어 있지 않다.
각각의 동심 링들의 각각에서 카메라들의 각각은 각각의 동심 링에 대해 이웃 카메라들의 각각으로부터 45도에 위치되어 있다. 예를 들어, 카메라 (216a) 는 b 카메라들의 평면 및 a 카메라들의 평면에 대해 카메라 (216b) 로부터 45도 위치에 위치되어 있다. 카메라 (216a) 는 또한, h 카메라들의 평면 및 a 카메라들의 평면에 대해 카메라 (216h) 로부터 45도 위치에 위치되어 있다.
각각의 동심 링들의 각각에 대해 카메라들 각각은 중앙 카메라 (212) 로부터 후방 카메라로 확장되는 축 (250) 으로부터 등거리에 있다. 예를 들어, 카메라들 (216a-h) 은 모두 축 (250) 으로부터 등거리에 있다.
이 실시형태에서, 후방 카메라는 전방 카메라 뒤쪽에 위치해 있기 때문에 후방 카메라는 도시되어 있지 않다. 부가적으로, 카메라들의 위치들은 각각의 카메라의 상대적인 위치를 보여주는 예시적인 목적을 위한 것이다. 각각의 카메라는 도 1a 내지 도 1d 에 대하여 위에서 논의된 구성들에 따라 시야들을 캡처하기 위해 틸팅될 수도 있다.
이 예시에서, 제 1 동심 링, 제 2 동심 링 및 제 3 동심 링은 각각 8개의 카메라들을 갖는 것으로서 도시되어 있다. 캡처되는 글로벌 이미지의 품질을 증가시키기 위해 부가적인 카메라들이 부가될 수 있다. 캡처되는 글로벌 이미지의 품질을 증가시키기 위해 부가적인 동심 링들이 부가될 수 있다.
도 2b 는 중앙 카메라 (미도시), 제 1 동심 링의 카메라들 (214a-h) (214b-d 는 미도시), 제 2 동심 링의 카메라들 (216a-h) (216b-d 는 미도시), 제 3 동심 링의 카메라들 (218a-h) (218b-d 는 미도시) 및 후방 카메라 (220) 를 포함하는 글로벌 카메라 구성 (210b) 의 일 부분의 실시형태의 측면도를 도시한다.
각각의 동심 링들의 각각에서 카메라들의 각각은 각각의 동심 링에 대해 동일한 평면에 위치되어 있다. 예를 들어, 카메라들 (216a-h) 은 평면 (276) 을 따라 위치되어 있다. 유사하게, 카메라들 (214a-h) 은 평면 (274) 을 따라 위치되고 카메라들 (218a-h) 은 평면 (278) 을 따라 위치된다. 후방 카메라 (220) 는 평면 (280) 을 따라 위치된다. 예시적인 실시형태에서, 평면들 (274, 276 278, 280) 은 평행하거나 또는 실질적으로 평행하다. 축 (250) 은, 중앙 카메라의 광축과 동일한 가상 축인, 후방 카메라 (220) 의 광축을 예시한다.
이 실시형태에서, 카메라들의 위치들은 각각의 카메라의 상대적인 위치를 보여주는 예시적인 목적을 위한 것이다. 각각의 카메라는 도 1a 내지 도 1d 에 대하여 위에서 논의된 구성들에 따라 시야들을 캡처하기 위해 틸팅될 수도 있다.
이 예시에서, 제 1 동심 링, 제 2 동심 링 및 제 3 동심 링은 각각이 8개의 카메라들 (각각의 동심 링에 대한 카메라들 b-d 은 각각의 동심 링의 카메라들의 뒤쪽에 가려져 있다) 을 갖는 것으로 나타나 있다. 캡처되는 글로벌 이미지의 품질을 증가시키기 위해 부가적인 카메라들이 부가될 수 있다. 캡처되는 글로벌 이미지의 품질을 증가시키기 위해 부가적인 동심 링들이 부가될 수 있다.
도 2c 는 중앙 카메라 (미도시), 제 1 동심 링의 카메라들 (214a-h) (214b-d 는 미도시), 제 2 동심 링의 카메라들 (216a-h) (216b-d 는 미도시), 제 3 동심 링의 카메라들 (218a-h) (218b-d 는 미도시) 및 후방 카메라 (220) 를 포함하는 글로벌 카메라 구성 (210b) 의 일 부분의 실시형태의 측면도를 도시한다.
도 2c 가 평면 (278) 을 따라 위치된 동심 링에 대해 상이한 위치에 후방 카메라 (220) 를 도시하는 것을 제외하고는, 도 2c 는 도 2b 와 유사하다. 그 후방 카메라 (220) 의 위치는 후방 카메라 (220) 가 평면들 (274, 276, 278) 을 따른 다른 동심 링들에 대해 다양한 위치들에 위치될 수 있다는 것을 예시하기 위해 사용된다. 하지만, 시차 없거나 또는 실질적으로 시차 없는 글로벌 카메라 시스템을 유지하기 위하여, 후방 카메라 (220) 는 다른 카메라들과 동일한 가상 입사 동공 위치로부터 가상 시야를 가져야 한다. 이 가상 시야는 다양한 구현들에 의해 달성될 수 있다. 예를 들어, 하나의 구현은 후방 카메라 (220) 를 다른 카메라들과 동일한 가상 입사 동공 위치로부터 가상 시야를 갖는 카메라들의 어레이가 되게 하는 것을 포함한다. 이 타입의 카메라는 도 3에 관하여 아래에서 더 상세하게 설명된다.
구현될 수도 있는 후방 카메라 (220) 의 또 다른 예는 후방 카메라의 반대 방향을 향하도록 주위로 도 2b 의 후방 카메라 (220) 를 회전시킨다. 이 구현에서, 후방 카메라는 다른 카메라들과 동일한 가상 입사 동공 위치로부터 가상 시야를 갖지 않는다. 그래서, 이 구현은 위에서 설명된 실시형태들에서처럼 시차 없거나 또는 실질적으로 시차 없지는 않다.
이 실시형태에서, 카메라들의 위치들은 각각의 카메라의 상대적인 위치를 보여주는 예시적인 목적을 위한 것이다. 각각의 카메라는 도 1a 내지 도 1d 에 대하여 위에서 논의된 구성들에 따라 시야들을 캡처하기 위해 틸팅될 수도 있다.
이 예시에서, 제 1 동심 링, 제 2 동심 링 및 제 3 동심 링은 각각 8개의 카메라들 (각각의 동심 링에 대한 카메라들 b-d 은 각각의 동심 링의 카메라들의 뒤쪽에 가려져 있다). 부가적인 또는 더 적은 카메라들이 부가될 수 있다. 부가적인 또는 더 적은 동심 링들이 부가될 수 있다.
도 3은 폴딩형 광학 다중 센서 어셈블리 (310) 의 일시형태의 단면의 측면도를 도시한다. 폴딩형 광학 다중 센서 어셈블리 (310) 는, 다른 것들 중에서도, 자동 초점 시스템 및 기법들에 사용하기 적합하다. 폴딩형 광학 다중 센서 어셈블리 (310) 는 이미지 센서들 (332, 334), 반사 2차 광 폴딩 표면들 (328, 330), 렌즈 어셈블리들 (324, 326), 및 중앙 반사 엘리먼트 (316) 를 포함하고 이들은 모두 기판 (336) 에 장착 (또는 연결) 될 수도 있다.
이미지 센서들 (332, 334) 은, 소정의 실시형태들에서, 전하 결합 디바이스 (charge-coupled device; CCD), 상보성 금속 산화물 반도체 센서 (complementary metal oxide semiconductor sensor; CMOS), 또는 광을 수신하고 수신된 이미지에 응답하여 이미지 데이터를 생성하는 임의의 다른 이미지 센싱 디바이스를 포함할 수도 있다. 각각의 센서 (332, 334) 는 어레이에 배열된 복수의 센서들 (또는 센서 엘리먼트들) 을 포함할 수도 있다. 이미지 센서들 (332, 334) 은 스틸 사진들을 위한 이미지 데이터를 생성할 수 있고 또한 캡처된 비디오 스트림을 위한 이미지 데이터를 생성할 수도 있다. 센서들 (332 및 334) 은 개별 센서 어레이일 수도 있거나, 또는 각각은 센서 어레이들의 어레이들, 예를 들어, 센서 어레이들의 3x1 어레이를 표현할 수도 있다. 그러나, 당업자에 의해 이해되는 바와 같이, 개시된 구현들에서 센서들의 임의의 적합한 어레이가 이용될 수도 있다.
센서들 (332, 334) 이 도 3에 도시된 기판 (336) 상에 장착될 수도 있다. 일부 실시형태들에서, 모든 센서들은, 편평한 기판에 장착됨으로써 하나의 평면상에 있을 수도 있다. 기판 (336) 은 임의의 적합한 실질적으로 편평한 재료일 수도 있다. 중앙 반사 엘리먼트 (316) 및 렌즈 어셈블리들 (324, 326) 은 또한 기판 (336) 상에 장착될 수도 있다. 센서 어레이 또는 어레이들, 복수의 렌즈 어셈블리들, 및 복수의 1 차 및 2 차 반사 또는 굴절 표면을 장착하기 위한 다수의 구성들이 가능하다.
일부 실시형태들에서, 중앙 반사 엘리먼트 (316) 는 타겟 이미지 장면으로부터 광을 센서들 (332, 334) 을 향해 재지향시키는데 사용될 수도 있다. 중앙 반사 엘리먼트 (316) 는 반사 표면 (예를 들어, 미러) 또는 복수의 반사 표면들 (예를 들어, 미러들) 일 수도 있고, 인입 광을 이미지 센서들 (332, 334) 로 적당히 재지향시키기 위해 필요에 따라 형상화되거나 또는 평탄할 수도 있다. 예를 들어, 일부 실시형태들에서, 중앙 반사 엘리먼트 (316) 는 인입 광선을 렌즈 어셈블리들 (324, 326) 을 통해 센서들 (332, 334) 로 반사시키도록 형상화되고 크기인 미러일 수도 있다. 중앙 반사 엘리먼트 (316) 는 타겟 이미지를 포함하는 광을 복수의 부분들로 분할하고 각각의 부분을 상이한 센서로 지향시킬 수도 있다. 예를 들어, 중앙 반사 엘리먼트 (316) 의 제 1 반사 표면 (312) (다른 실시형태들이 반사 표면보다는 굴절 프리즘을 구현할 수도 있으므로, 1 차 광 폴딩 표면이라고도 지칭됨) 은 제 1 시야 (320) 에 대응하는 광의 일 부분을 제 1 (좌측) 센서 (332) 를 향해 전송할 수도 있는 한편, 제 2 반사 표면 (314) 은 제 2 시야 (322) 에 대응하는 광의 제 2 부분을 제 2 (우측) 센서 (125) 를 향해 전송할 수도 있다. 이미지 센서들의 시야들 (140, 145) 이 함께 적어도 타깃 이미지를 커버한다는 것을 인식해야 한다.
수신 센서들 각각이 복수의 센서들의 어레이인 일부 실시형태에서, 중심 반사 엘리먼트는 타깃 이미지 장면의 상이한 부분을 각각의 센서들을 향해 보내기 위해서 서로에 대하여 앵글링 (angling) 된 다수의 반사 표면들로 이루어질 수도 있다. 어레이 내의 각각의 센서는 실질적으로 상이한 시야를 가질 수도 있고, 일부 실시형태에서는 시야가 오버랩될 수도 있다. 중심 반사 엘리먼트의 특정 실시형태들은 렌즈 시스템을 설계할 때 자유도를 증가시키기 위해 복잡한 비평면의 표면들을 가질 수도 있다. 또한, 중심 엘리먼트가 반사 표면으로 논의되지만, 다른 실시형태들에서 중심 엘리먼트는 굴절형일 수도 있다. 예를 들어, 중심 엘리먼트는 복수의 패싯들로 구성된 프리즘일 수도 있으며, 각각의 패싯은 장면을 포함하는 광의 일부를 센서들 중 하나로 지향시킨다.
중심 반사 엘리먼트 (316) 에서 반사된 후에, 인입되는 광의 적어도 일부는 렌즈 어셈블리들 (324, 326) 각각을 통해 전파할 수도 있다. 중심 반사 엘리먼트 (316) 와 센서들 (332, 334) 와 반사 표면들 (328, 330) 사이에 하나 이상의 렌즈 어셈블리들 (324, 326) 이 제공될 수도 있다. 렌즈 어셈블리들 (324, 326) 은 각각의 센서 (332, 334) 를 향하여 지향되는 타깃 이미지의 부분을 포커싱하기 위해 사용될 수도 있다.
일부 실시형태들에서, 각각의 렌즈 어셈블리는 하나 이상의 렌즈들 및 복수의 상이한 렌즈들 위치들 중에서 렌즈를 이동시키기 위한 액추에이터 (actuator) 를 포함할 수도 있다. 액추에이터는 보이스 코일 모터 (VCM), 마이크로-전자 기계 시스템 (MEMS) 또는 형상 기억 합금 (SMa) 일 수도 있다. 렌즈 어셈블리는 액추에이터를 제어하기 위한 렌즈 드라이버를 더 포함할 수도 있다.
일부 실시형태들에서, 전통적인 자동 초점 기법들은 각각의 카메라의 렌즈 (115, 130) 와 대응하는 센서 (105, 125) 사이의 초점 거리를 변화시키는 것에 의해 구현될 수도 있다. 일부 실시형태들에서, 이것은 렌즈 배럴 (lens barrel) 을 이동시키는 것에 의해 달성될 수도 있다. 다른 실시형태들은 렌즈 어셈블리에 대한 광 재지향 반사 미러 표면의 각도를 조정하는 것에 의해 또는 중앙 광 재지향 반사 미러 표면을 위 또는 아래로 이동시키는 것에 의해 초점을 조정할 수도 있다. 소정의 실시형태들은 각각의 센서 상에 측면 광 재지향 반사 미러 표면들을 이동시키는 것에 의해 초점을 조정할 수도 있다. 그러한 실시형태들은, 어셈블리로 하여금 개별적으로 각각의 센서의 초점을 조정하는 것을 허용할 수도 있다. 또한, 일부 실시형태들은, 예를 들어 전체 어셈블리 상에 액체 렌즈와 같은 렌즈를 배치시키는 것에 의해, 전체 어셈블리의 초점을 한 번에 변화시키는 것이 가능하다. 소정의 구현들에서, 카메라 어레이의 초점을 변화시키기 위해 연산 사진술 (computational photography) 이 이용될 수도 있다.
시야들 (320, 322) 은 가상 시야가 가상 축들 (338, 340) 에 의해 정의되는 가상 영역 (342) 으로부터 인지된 가상 시야를 폴딩형 광학 다중 센서 어셈블리 (310) 에 제공한다. 가상 영역 (342) 은 센서들 (332, 334) 이 타깃 이미지의 인입되는 광을 인지하고 이에 감응하는 영역이다. 가상 시야는 실제 시야와 대조되어야 한다. 실제 시야는 검출기 (detector) 가 인입되는 광을 감응하는 각도이다. 실제 시야는, 가상 시야가 인입되는 광이 실제로 절대 도달하지 못하는 인지되는 각도라는 점에서, 가상 시야와는 다르다. 예를 들어, 도 3 에서, 인입되는 광은 반사 표면들 (312, 314) 에서 반사되기 때문에 인입되는 광은 절대로 가상 영역 (342) 에 도달하지 못한다.
다수의 측면 반사 표면들, 예를 들어, 반사 표면들 (328 및 330) 은 센서들과 대향하여 중앙 반사 엘리먼트 (316) 주위에 제공될 수 있다. 렌즈 어셈블리들을 통과한 후에, 측면 반사 표면들 (328, 330) (다른 실시형태들이 반사 표면보다는 굴절 프리즘을 구현할 수도 있으므로, 2 차 광 폴딩 표면이라고도 또한 지칭됨) 은 광을 센서들 (332, 334) 상으로 (도 3 의 배향으로 도시된 바와 같이, 하향으로) 반사시킬 수 있다. 도시된 바와 같이, 센서 (332) 는 반사 표면 (328) 아래에 배치될 수도 있고, 센서 (334) 는 반사 표면 (330) 아래에 배치될 수도 있다. 그러나, 다른 실시형태들에서, 센서들은 측면 반사 표면들 위에 있을 수도 있고, 측면 반사 표면들은 광을 상향으로 반사시키도록 구성될 수도 있다. 각각의 렌즈로부터의 광이 센서들을 향해 재지향되는 측면 반사 표면들 및 센서들의 다른 적합한 구성들이 가능하다. 소정의 실시형태들은, 측면 반사 표면들 (328, 330) 의 이동으로 하여금, 연관된 센서의 초점 또는 시야를 변화시킬 수 있게 할 수도 있다.
각각의 센서의 시야 (320, 322) 는 그 센서와 연관된 중앙 반사 엘리먼트 (316) 의 표면에 의해 물체 공간으로 지향될 수도 있다. 카메라 각각의 시야가 물체 필드의 상이한 위치들로 향해질 수 있도록 미러을 기울이기 위해 및/또는 어레이의 프리즘을 움직이기 위해 기계적 방법들이 사용될 수도 있다. 이것은, 예를 들어, 높은 동적 범위 카메라를 구현하거나, 카메라 시스템의 해상도를 높이거나, 플랜옵틱 카메라 시스템을 구현하기 위해 사용될 수도 있다. 각각의 센서들의 (또는 각각의 3x1 어레이의) 시야는 물체 공간으로 투영될 수도 있고, 각각의 센서는 그 센서의 시야에 따라 타깃 장면의 일부를 포함하는 부분 이미지를 캡처할 수도 있다. 도 3에 도시된 것과 같이, 일부 실시형태들에서, 대향하는 센서 어레이들 (332, 334) 에 대한 시야들 (320, 322) 은 소정 량 (318) 만큼 오버랩될 수도 있다. 오버랩 (318) 을 줄이고 단일 이미지를 형성하기 위해, 후술되는 것과 같이 스티칭 프로세스는 2 개의 대향하는 센서 어레이들 (332, 334) 로부터의 이미지를 결합하기 위해 사용될 수도 있다. 스티칭 프로세스의 특정 실시형태들은 부분 이미지들을 함께 스티치함에 있어서 공통 특징 (feature) 들을 식별하기 위해 오버랩 (318) 을 채용할 수도 있다. 오버래핑 이미지들을 함께 스티치한 뒤에, 스티치된 이미지는 원하는 종횡비, 예를 들어 4 : 3 또는 1 : 1 으로 크롭되어 최종 이미지를 형성할 수도 있다. 일부 실시형태들에서, 각각의 FOV에 관한 광학 엘리먼트들의 배열체는 오버랩 (318) 을 최소화하여 이미지들을 접합하는데 필요한 이미지 프로세싱이 최소로 또는 전혀 없이 다중 이미지들이 단일한 이미지로 형성되게 배열된다.
도 3 에 예시된 바와 같이, 폴딩형 광학 다중 센서 어셈블리 (310) 는 총 높이 (346) 를 갖는다. 일부 실시형태들에서, 총 높이 (346) 는 대략 4.5 mm 이하일 수 있다. 다른 실시형태들에서, 총 높이 (346) 는 대략 4.0 mm 이하일 수 있다. 예시되지 않았지만, 전체 폴딩형 광학 다중 센서 어셈블리 (310) 는 대략 4.5 mm 이하 또는 대략 4.0 mm 이하의 대응하는 내부 높이를 갖는 하우징에 제공될 수도 있다.
본 명세서에서 사용되는 바와 같이, 용어 "카메라" 는 이미지 센서, 렌즈 시스템, 및 다수의 대응하는 광 폴딩 표면들을 지칭할 수도 있다; 예를 들어, 1 차 광 폴딩 표면 (314), 렌즈 어셈블리 (326), 2 차 광 폴딩 표면 (330), 및 센서 (334) 가 도 3 에 예시되어 있다. "어레이" 또는 "어레이 카메라" 라고 지칭되는 폴딩형 광학 다중 센서 어레이는, 다양한 구성들로 복수의 이러한 카메라들을 포함할 수 있다. 어레이 구성들의 일부 실시형태들은, 2013년 3월 15일자로 출원되고 발명의 명칭이 "MULTI-CAMERA SYSTEM USING FOLDED OPTICS" 인 미국 출원 공개 제2014/0111650호에 개시되고, 그 개시물은 이로써 참조에 의해 포함된다. 본 명세서에서 설명되는 자동 초점 시스템들 및 기법들로부터 이익을 얻는 다른 어레이 카메라 구성들이 가능하다.
도 4 는 하나 이상의 카메라들 (420a-n) 에 접속된 이미지 프로세서 (426) 를 포함하는 컴포넌트들의 세트를 갖는 디바이스 (410) 의 하이-레벨 블록 다이어그램을 도시한다. 이미지 프로세서 (426) 는 또한 작업 메모리 (428), 메모리 컴포넌트 (412) 및 디바이스 프로세서 (430) 와 통신하며, 디바이스 프로세서 (430) 는 스토리지 (434) 및 전자 디스플레이 (432) 와 통신한다.
디바이스 (410) 는 핸드폰, 디지털 카메라, 태블릿 컴퓨터, 개인 휴대 정보 단말기 등일 수도 있다. 본원 명세서에 설명된 것과 같은, 감소된 두께의 이미징 시스템이 이점들을 제공하는 많은 휴대용 컴퓨팅 장치가 있다. 디바이스 (410) 는 또한 고정식 컴퓨팅 디바이스 또는 얇은 이미징 시스템이 유리한 임의의 디바이스일 수도 있다. 복수의 애플리케이션들이 디바이스 (410) 상의 사용자에게 이용가능할 수도 있다. 이러한 애플리케이션들은 전통적인 사진 및 비디오 애플리케이션들, 높은 동적 범위 이미징, 파노라마 사진 및 비디오, 또는 3D 이미지 또는 3D 비디오와 같은 입체적 이미징을 포함할 수도 있다.
이미지 캡처 디바이스 (410) 는 외부 이미지들을 캡처하기 위한 카메라들 (420a-n) 을 포함한다. 카메라들 (420a-n) 은 각각, 도 3 에 대해 위에서 논의된 바와 같이, 센서, 렌즈 어셈블리, 및 타깃 이미지의 일부를 각각의 센서로 재지향시키기 위한 1 차 및 2 차 반사 또는 굴절 표면을 포함할 수도 있다. 일반적으로, N 개의 카메라들 (420a-n) 이 이용될 수도 있고, 여기서 N ≥ 2 이다. 따라서, 타깃 이미지는 N 개의 부분들로 분할될 수도 있는데, 여기서 N 개의 카메라들의 각각의 센서는 그 센서의 시야에 따라 타깃 이미지의 하나의 부분을 캡처한다. 카메라들 (420a-n) 은 본 명세서에서 설명되는 폴딩형 광학 이미징 디바이스의 구현에 적합한 임의의 개수의 카메라들을 포함할 수도 있다는 것을 이해할 것이다. 시스템의 보다 낮은 z-높이들을 달성하기 위해, 또는 포스트-프로세싱 (post-processing) 후에 이미지의 초점을 조정하는 능력을 가능하게 할 수도 있는, 플렌옵틱 카메라의 것과 유사한 오버래핑 시야들을 갖는 것과 같은 다른 목적들의 필요성들을 충족시키기 위해, 센서들의 개수가 증가될 수도 있다. 다른 실시형태들은 2 개의 동시적인 이미지들을 캡처한 후에 이들을 함께 병합하는 능력을 가능하게 하는 하이 다이내믹 레인지 카메라들에 적합한 시야 오버랩 구성을 가질 수도 있다. 카메라들 (420a-n) 은 이미지 프로세서 (426) 에 커플링되어 캡처된 이미지들을 작업 메모리 (428), 디바이스 프로세서 (430), 전자 디스플레이 (432) 및 스토리지 (메모리) (434) 에 통신할 수도 있다.
이미지 프로세서 (426) 는, 아래에 더 상세히 설명되는 바와 같이, 고품질의 스티칭된 이미지를 출력하기 위해 타깃 이미지의 N 개의 부분들을 포함하는 수신된 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 프로세서 (426) 는 범용 프로세싱 유닛 또는 이미징 애플리케이션들을 위해 특수하게 설계된 프로세서일 수도 있다. 이미징 프로세싱 동작들의 예들로는 크롭, (예를 들어, 상이한 해상도로의) 스케일링, 이미지 스티칭, 이미지 포맷 컨버전, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간적 이미지 필터링), 렌즈 아티팩트 또는 결함 보정 등을 포함한다. 이미지 프로세서 (426) 는, 일부 실시형태들에서, 복수의 프로세서들을 포함할 수도 있다. 소정의 실시형태들은 각각의 이미지 센서에 대해 전용되는 프로세서를 가질 수도 있다. 이미지 프로세서 (426) 는 하나 이상의 전용 이미지 신호 프로세서 (ISP) 들 또는 프로세서의 소프트웨어 구현일 수도 있다.
도시된 바와 같이, 이미지 프로세서 (426) 는 메모리 (412) 및 작업 메모리 (428) 에 연결된다. 예시된 실시형태에서, 메모리 (412) 는 캡처 제어 모듈 (414), 이미지 스티칭 모듈 (416), 오퍼레이팅 시스템 (418), 및 반사체 (reflector) 제어 모듈 (419) 을 저장한다. 이들 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 디바이스 프로세서 (430) 의 이미지 프로세서 (426) 를 구성하는 명령들을 포함할 수도 있다. 작업 메모리 (428) 는 메모리 컴포넌트 (412) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하기 위해 이미지 프로세서 (426) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (428) 는 또한, 디바이스 (410) 의 동작 동안 만들어진 동적인 데이터를 저장하기 위하여 이미지 프로세서 (426) 에 의해 사용될 수도 있다.
위에 언급된 바처럼, 이미지 프로세서 (426) 는 메모리들에 저장된 여러 모듈들에 의해 구성된다. 캡처 제어 모듈 (414) 은 카메라의 확장가능 반사체 (extendible reflector) 들을 제 1 또는 제 2 포지션에 배치하기 위해 반사체 제어 모듈 (419) 을 호출하도록 이미지 프로세서 (426) 를 구성하는 명령들을 포함할 수도 있고, 카메라들 (420a-n) 의 초점 위치를 조정하도록 이미지 프로세서 (426) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (414) 은 디바이스 (410) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (414) 은 카메라들 (420a-n) 을 이용하여 타깃 이미지 장면의 원시 이미지 데이터를 캡처하도록 이미지 프로세서 (426) 를 구성하기 위한 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (414) 은 그 후에, 카메라들 (420a-n) 에 의해 캡처된 N 개의 부분 이미지들에 대해 스티칭 기법을 수행하고 스티칭되고 크롭된 타깃 이미지를 이미징 프로세서 (426) 에 출력하기 위해 이미지 스티칭 모듈 (416) 을 호출할 수도 있다. 캡처 제어 모듈 (414) 은 또한, 캡처될 장면의 프리뷰 이미지를 출력하기 위해 그리고 소정의 시간 간격들로 또는 원시 이미지 데이터에서의 장면이 변화될 때 프리뷰 이미지를 업데이트하기 위해 원시 이미지 데이터에 대해 스티칭 동작을 수행하기 위해 이미지 스티칭 모듈 (416) 을 호출할 수도 있다.
이미지 스티칭 모듈 (416) 은 캡처된 이미지 데이터에 대해 스티칭 및 크롭 기법들을 수행하도록 이미지 프로세서 (426) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, N 개의 센서들 (420a-n) 각각은 각각의 센서의 시야에 따라 타깃 이미지의 일부를 포함하는 부분 이미지를 캡처할 수도 있다. 시야들은, 위에서 그리고 아래에서 설명되는 바와 같이, 오버랩 영역들을 공유할 수도 있다. 단일 타깃 이미지를 출력하기 위해, 이미지 스티칭 모듈 (416) 은 고해상도 타깃 이미지를 생성하기 위해 다수의 N 개의 부분 이미지들을 결합하도록 이미지 프로세서 (426) 를 구성할 수도 있다. 타깃 이미지 생성은 알려져 있는 이미지 스티칭 기법들을 통해 일어날 수도 있다. 이미지 스티칭의 예들은 미국 특허 출원 제11/623,050호에서 발견될 수 있는데, 이 미국 특허 출원은 이로써 참조에 의해 포함된다.
예를 들어, 이미지 스티칭 모듈 (416) 은 N 개의 부분 이미지들의 서로에 대한 회전 및 정렬을 결정하기 위해 피처들을 매칭시키기 위해 N 개의 부분 이미지들의 에지들을 따라 오버랩 영역들을 비교하기 위한 명령들을 포함할 수도 있다. 각각의 센서의 시야의 형상 및/또는 부분 이미지들의 회전으로 인해, 결합된 이미지는 불규칙한 형상을 형성할 수도 있다. 그에 따라, N 개의 부분 이미지들을 정렬 및 결합한 후에, 이미지 스티칭 모듈 (416) 은 결합된 이미지를 원하는 형상 및 애스펙트 비, 예를 들어 4:3 직사각형 또는 1:1 정사각형으로 크롭하도록 이미지 프로세서 (426) 를 구성하는 서브루틴들을 호출할 수도 있다. 크롭된 이미지는 스토리지 (434) 에의 저장을 위해 또는 디스플레이 (432) 상의 디스플레이를 위해 디바이스 프로세서 (430) 에 전송될 수도 있다.
오퍼레이팅 시스템 모듈 (418) 은 디바이스 (410) 의 프로세싱 리소스들 및 작업 메모리 (428) 를 관리하도록 이미지 프로세서 (426) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (418) 은 카메라들 (420a-n) 과 같은 하드웨어 리소스들을 관리하기 위한 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 위에서 논의된 이미지 프로세싱 모듈들에 포함된 명령들은 이들 하드웨어 리소스들과 직접적으로 상호작용하는 것이 아니라, 그 대신에 오퍼레이팅 시스템 컴포넌트 (418) 에 위치된 표준 서브루틴들 또는 API들을 통해 상호작용할 수도 있다. 다음으로, 운영 시스템 (418) 내의 명령들은 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (418) 은 정보를 디바이스 프로세서 (430) 와 공유하도록 이미지 프로세서 (426) 를 추가로 구성할 수도 있다.
이미지 프로세서 (426) 는 예를 들어 터치-감지 디스플레이 (432) 를 사용하는 것에 의한, 이미지 캡처 모드 선택 제어들을 사용자에게 제공하여, 디바이스 (410) 의 사용자가 표준 FOV 이미지 또는 넓은 FOV 이미지 중 어느 하나에 대응하는 이미지 캡처 모드를 선택하는 것을 허용할 수 있다.
디바이스 프로세서 (430) 는 사용자에게 캡처된 이미지 또는 캡처된 이미지의 프리뷰를 표시하도록 디스플레이 (432) 를 제어하게 구성될 수도 있다. 디스플레이 (432) 는 이미징 디바이스 (410) 의 외부에 있을 수도 있고, 또는 이미징 디바이스 (410) 의 일부일 수도 있다. 디스플레이 (432) 는 또한, 이미지를 캡처하기 이전에 사용자에 대해 프리뷰 이미지를 디스플레이하는 뷰 파인더 (view finder) 를 제공하도록 구성될 수도 있거나, 또는, 사용자에 의해 최근에 캡처된 또는 메모리에 저장된 캡처된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (432) 는 LCD 또는 LED 스크린을 포함할 수도 있고, 터치 감지 기술들을 구현할 수도 있다.
디바이스 프로세서 (430) 는 데이터, 예를 들어 캡처된 이미지들을 표현하는 데이터를 스토리지 모듈 (434) 에 기입할 수도 있다. 스토리지 모듈 (434) 이 전통적인 디스크 디바이스로서 그래픽으로 표현되지만, 당업자들은 스토리지 모듈 (434) 이 임의의 스토리지 매체 디바이스로서 구성될 수도 있다는 것을 이해할 것이다. 예를 들어, 스토리지 모듈 (434) 은 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 광자기 디스크 드라이브와 같은 디스크 드라이브, 또는 플래시 메모리, RAM, ROM, 및/또는 EEPROM 과 같은 솔리드 스테이트 메모리를 포함할 수도 있다. 스토리지 모듈 (434) 은 또한 다수의 메모리 유닛들을 포함할 수 있고, 메모리 유닛들 중 임의의 하나는 이미지 캡처 디바이스 (410) 내에 있도록 구성될 수도 있거나, 또는 이미지 캡처 디바이스 (410) 외부에 있을 수도 있다. 예를 들어, 스토리지 모듈 (434) 은 이미지 캡처 디바이스 (410) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (434) 은 또한, 카메라로부터 착탈가능할 수도 있는, 캡처된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다.
도 4는 프로세서, 이미징 센서, 및 메모리를 포함하는 분리된 컴포넌트들을 갖는 디바이스를 도시하지만, 당업자는 이들 분리된 컴포넌트들이 특정 설계 목적들을 달성하기 위하여 다양한 방식으로 조합될 수도 있다는 것을 인식할 것이다. 예를 들어, 대안의 실시형태에서, 메모리 컴포넌트들은 비용을 절감하고 성능을 개선시키기 위하여 프로세서 컴포넌트들과 조합될 수도 있다. 부가적으로, 도 4 가 수 개의 모듈들을 포함하는 메모리 컴포넌트 (412) 및 작업 메모리를 포함하는 별개의 메모리 (428) 를 포함하는 2 개의 메모리 컴포넌트들을 예시하지만, 당업자는 상이한 메모리 아키텍처들을 활용하는 수 개의 실시형태들을 인지할 것이다. 예를 들어, 설계는 메모리 컴포넌트 (412) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 프로세서 명령들은 RAM 으로 로딩되어 이미지 프로세서 (426) 에 의한 실행을 용이하게 할 수도 있다. 예를 들어, 작업 메모리 (428) 는 프로세서 (426) 에 의한 실행 전에 작업 메모리 (428) 로 로딩되는 명령들을 갖는 RAM 메모리를 포함할 수도 있다.
도 5는 타겟 이미지를 캡처하는 방법 (500) 의 일 예의 블록들을 예시한다. 구형 시야 (FOV) 를 보여주는 이미지를 생성하는 방법 (500) 은 수개의 블록들을 포함한다.
블록 (505) 에서, 전방 이미지는 전방 카메라의 투영된 광축 주위에 제 1 FOV 에서 이미지를 캡처하도록 배치된 전방 카메라에서 생성된다. 전방 카메라의 투영된 광축은 제 1 방향에 있다.
블록 (510) 에서, 후방 이미지는 전방 카메라와 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트 (back re-directing reflective mirror component) 에 의해 재지향되는 광을 수신하도록 배치된 후방 카메라에서 생성된다. 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치된다.
블록 (515) 에서, 제 1 이미지들은 전방 카메라와 후방 카메라 사이에 다각형 형상의 배열로 배치된 제 1 카메라들의 세트에서 생성된다. 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성된다. 제 3 FOV 는 원형 형상이고 제 1 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 3 FOV 의 적어도 일부는 제 1 FOV 와 제 2 FOV 사이에 있다.
블록 (520) 에서, 제 2 이미지들은 제 1 카메라와 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 2 카메라들의 세트에서 생성된다. 제 2 카메라들은 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성된다. 제 4 FOV 는 원형 형상이고 제 2 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 4 FOV 의 적어도 일부는 제 3 FOV 와 제 2 FOV 사이에 있다.
블록 (525) 에서, 제 3 이미지들은, 제 2 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된 제 3 카메라들의 세트에서 생성된다. 제 5 FOV 는 원형 형상이며 제 3 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 5 FOV 의 적어도 일부는 제 4 FOV 와 제 2 FOV 사이에 있다.
블록 (530) 에서, 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들은 적어도 하나의 프로세서에서 수신된다. 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는 모자이크 이미지가 적어도 하나의 프로세서로 생성된다. 모자이크 이미지는 구형 이미지 내의 시각 시점으로부터 봤을 때 구형 이미지를 보여주기 위해 생성된다. 모자이크 이미지를 생성하는 것은 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 함께 스티치하는 것을 포함한다.
제 1, 제 2, 제 3, 제 4, 및 제 5 FOV 가 적어도 부분적으로 오버랩된다. 제 1 카메라들의 세트, 제 2 카메라들의 세트, 및 제 3 카메라들의 세트가 3개 동심 링들을 형성하도록 배열된다. 후방 카메라는 폴딩형 광학 다중 센서 어셈블리이다.
본원에 개시된 구현들은 시차 및 틸트 아티팩트들이 없는 다수의 조리개 어레이 카메라들을 위한 시스템, 방법 및 장치를 제공한다. 당업자는 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다는 것을 인식할 것이다.
일부 실시형태들에서, 위에서 논의된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 활용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선 통신하기 위해 이용되는 일종의 전자 디바이스일 수도 있다. 무선 통신 디바이스들의 예들로는 셀룰러 전화기들, 스마트 폰들, 개인 휴대 정보 단말기 (PDA) 들, e-리더들, 게이밍 시스템들, 뮤직 플레이어들, 넷북들, 무선 모뎀들, 랩톱 컴퓨터들, 태블릿 디바이스들 등을 포함한다.
무선 통신 디바이스는 하나 이상의 이미지 센서들, 2개 이상의 이미지 신호 프로세서(들), 상술된 CNR 프로세스를 수행하기 위한 명령들 또는 모듈들을 포함하는 메모리를 포함할 수도 있다. 디바이스는 또한 데이터, 메모리로부터 명령들 및/또는 데이터를 로딩하는 프로세서, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들 예컨대 디스플레이 디바이스 및 파워 소스/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 송신기 및 수신기를 부가적으로 포함할 수도 있다. 송신기 및 수신기는 공동으로 트랜시버라고 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신 및/또는 수신하기 위한 하나 이상의 안테나들에 커플링될 수도 있다.
무선 통신 디바이스는 다른 전자 디바이스 (예를 들어, 기지국) 에 무선 연결할 수도 있다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 모바일 국, 가입자국, 사용자 장비 (UE), 원격국, 액세스 단말기, 모바일 단말기, 단말기, 사용자 단말기, 가입자 유닛 등이라고 지칭될 수도 있다. 무선 통신 디바이스들의 예들로는 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 제 3 세대 파트너십 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따라 다양한 명명법들로 설명되는 무선 통신 디바이스들 (예를 들어, 액세스 단말기, 사용자 장비 (UE), 원격 단말기 등) 을 포함할 수도 있다.
본 명세서에서 설명되는 기능들은 프로세서 판독가능 또는 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 가용 매체를 지칭한다. 제한이 아닌 예로서, 이러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 이용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체들을 포함할 수도 있다. 여기에 사용된, 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크 (laser disc), 광 디스크 (optical disc), DVD (digital versatile disc), 플로피 디스크 (floppy disk) 및 블루레이® 디스크 (Blu-ray® disc) 를 포함하며, 여기서, 디스크 (disk) 는 보통 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 컴퓨터 판독가능 매체는 유형 및 비일시적일 수도 있다는 것에 유의해야 한다. 용어 "컴퓨터 프로그램 제품" 은, 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 조합한 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 여기서 사용된 바처럼, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.
본원에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 행동들을 포함한다. 방법 단계들 및/또는 행동들은 청구항들의 범위로부터 이탈함이 없이 서로 상호교환될 수도 있다. 즉, 단계들 또는 행위들의 특정 순서가, 설명되고 있는 방법의 적절한 동작을 위해 필요하지 않으면, 특정 단계들 및/또는 행위들의 순서 및/또는 사용은 청구항들의 범위로부터 이탈함이 없이 수정될 수도 있다.
본 명세서에서 사용되는 바와 같이 용어들 "커플링하다", "커플링하는", "커플링된" 또는 단어 커플의 다른 변형들은 간접 연결 또는 직접 연결을 나타낼 수도 있다는 것에 주목해야 한다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링된" 경우, 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 연결되거나 또는 제 2 컴포넌트에 직접적으로 연결될 수도 있다. 본 명세서에서 사용되는 바와 같이, 용어 "복수" 는 2 개 이상을 표시한다. 예를 들어, 복수의 컴포넌트들은 2 개 이상의 컴포넌트들을 나타낸다.
"결정하는 것" 이라는 용어는 매우 다양한 액션들을 포괄하고, 그에 따라 "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 룩업하는 것 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 룩업하는 것), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들면, 정보를 수신하는 것), 액세스하는 것 (예컨대, 메모리에서 데이터에 액세스하는 것) 등을 포함할 수 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수 있다.
어구 "에 기초하여" 는, 다르게 분명히 명시되지 않는 한 "에만 기초하여" 를 의미하지 않는다. 즉, 어구 "에 기초하여" 는 "에만 기초하여" 및 "에 적어도 기초하여" 양자 모두를 설명한다.
전술한 설명에서, 예들의 완전한 이해를 제공하기 위해 특정 상세들이 주어진다. 하지만, 예들은 이들 특정 상세들 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들면, 전기 컴포넌트들/디바이스들은, 예들을 불필요한 상세들에서 불분명하게 하지 않기 위하여 블록도들로 보여질 수도 있다. 다른 경우들에서, 그러한 컴포넌트들, 다른 구조들 및 기법들은 예들을 더 설명하기 위하여 상세히 보여질 수도 있다.
제목들 (Headings) 은 본원에서 참조를 위해 그리고 다양한 섹션들을 로케이팅 (locating) 하는 것을 돕기 위해 포함된다. 이들 제목들은 그에 대하여 설명된 개념들의 범위를 제한하도록 의도되지 않았다. 그러한 개념들은 전체 명세서에 걸쳐 적용가능성 (applicability) 을 가질 수도 있다.
또한, 예들은 프로세스로서 설명될 수도 있고, 이는 플로우차트, 플로우 도, 유한 상태도, 구조도 또는 블록도로서 도시된다는 것에 유의한다. 플로우차트는 순차적 프로세스로서 동작들을 설명할 수도 있지만, 많은 동작들은 병행적으로, 또는 동시에 수행될 수 있고 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그의 동작들이 완료될 때 종결된다. 프로세스는 방법, 함수 (function), 프로시저 (procedure), 서브루틴 (subroutine) , 서브프로그램 (subprogram) 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응할 때, 그의 종결은 호출 함수 (calling function) 또는 메인 함수 (main function) 에 대한 함수의 리턴에 대응할 수도 있다.
개시된 구현들의 이전의 설명은 당업자가 본 발명을 제조 또는 사용할 수 있게 하도록 제공된다. 이들 구현들에 대한 다양한 변형은 당업자에게는 용이하게 명백할 것이며, 여기에 정의된 일반적인 원리는 본 발명의 사상 또는 범위를 벗어남이 없이 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 본원에 나타낸 구현들에 한정되도록 의도된 것이 아니라, 본원에 개시된 원리 및 신규한 특징들에 부합하는 최광의 범위가 허여되야 한다.

Claims (32)

  1. 구형 이미지를 함께 보여주는 복수의 이미지들을 캡처하기 위한 이미징 시스템으로서,
    전방 카메라로서, 상기 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치되고, 상기 전방 카메라의 투영된 광축은 제 1 방향에 있는, 상기 전방 카메라;
    후방 카메라로서, 상기 전방 카메라와 상기 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 재지향된 광을 수신하도록 배치되고, 상기 후방 카메라는 상기 후방 카메라의 투영된 광축 주위에 제 2 FOV 에서 이미지를 캡처하도록 배치되고, 상기 후방 카메라의 투영된 광축은 상기 제 1 방향에 있는, 상기 후방 카메라;
    상기 전방 카메라와 상기 후방 카메라 사이에 다각형 형상의 배열로 배치된 제 1 카메라들의 세트로서, 상기 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 3 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 3 FOV 의 적어도 일부는 상기 제 1 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 1 카메라들의 세트;
    상기 제 1 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 2 카메라들의 세트로서, 상기 제 2 카메라들의 세트는 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 4 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 4 FOV 의 적어도 일부는 상기 제 3 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 2 카메라들의 세트; 및
    상기 제 2 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된 제 3 카메라들의 세트로서, 상기 제 5 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 5 FOV 의 적어도 일부는 상기 제 4 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 3 카메라들의 세트를 포함하고,
    상기 전방 카메라, 후방 카메라, 상기 제 1 카메라들의 세트, 상기 제 2 카메라들의 세트 및 상기 제 3 카메라들의 세트는, 상기 제 1 FOV, 상기 제 2 FOV, 상기 제 3 FOV, 상기 제 4 FOV, 및 상기 제 5 FOV 에서 캡처된 이미지들이 집합적으로, 상기 이미징 시스템의 시각으로부터 봤을 때 구형 이미지를 표현하도록 구성되는, 이미징 시스템.
  2. 제 1 항에 있어서,
    메모리 컴포넌트;
    상기 메모리 컴포넌트에 그리고 상기 카메라들의 각각에 커플링된 프로세서를 더 포함하고,
    상기 프로세서 및 상기 메모리 컴포넌트는 집합적으로 상기 카메라들의 각각의 하나의 카메라로부터 이미지를 저장하도록 구성되고, 또한, 상기 카메라들의 각각으로부터 상기 이미지들의 적어도 일부를 포함하는 상기 구형 이미지를 생성하도록 구성되는, 이미징 시스템.
  3. 제 1 항에 있어서,
    상기 후방 재지향 반사 미러 컴포넌트는 상기 전방 카메라의 투영된 광축에 수직하게 배치되는, 이미징 시스템.
  4. 제 1 항에 있어서,
    복수의 광 재지향 반사 미러 컴포넌트들을 더 포함하고, 상기 제 1 카메라들의 세트, 상기 제 2 카메라들의 세트 및 상기 제 3 카메라들의 세트에 있는 각각의 카메라는 상기 복수의 광 재지향 반사 미러 컴포넌트들 중 하나로부터 반사되는 재지향된 광을 수신하도록 배치되는, 이미징 시스템.
  5. 제 4 항에 있어서,
    상기 복수의 광 재지향 반사 미러 컴포넌트들은 복수의 반사체들을 포함하는, 이미징 시스템.
  6. 제 5 항에 있어서,
    상기 복수의 광 재지향 반사 미러 컴포넌트들은, 제 1 평면에 배열되고 상기 제 1 광축을 포함하는 상기 이미징 시스템의 종축 주위에 배열된 광 재지향 반사 미러 컴포넌트들의 제 1 세트, 제 2 평면에 배열되고 상기 제 1 광축을 포함하는 상기 이미징 시스템의 종축 주위에 배열된 광 재지향 반사 미러 컴포넌트들의 제 2 세트, 및 제 3 평면에 배열되고 상기 제 1 광축을 포함하는 상기 이미징 시스템의 종축 주위에 배열된 광 재지향 반사 미러 컴포넌트들의 제 3 세트를 포함하고, 상기 제 1 평면, 상기 제 2 평면 및 상기 제 3 평면은 상기 전방 카메라와 상기 후방 카메라 사이에 배치되는, 이미징 시스템.
  7. 제 1 항에 있어서,
    상기 제 1 카메라들의 세트는 상기 제 2 카메라들의 세트 및 상기 제 3 카메라들의 세트로부터 간격을 띄워 배치되고, 상기 제 2 카메라들의 세트는 상기 제 1 카메라들의 세트 및 상기 제 3 카메라들의 세트로부터 간격을 띄워 배치되고, 상기 제 3 카메라들의 세트는 상기 제 1 카메라들의 세트 및 상기 제 2 카메라들의 세트로부터 간격을 띄워 배치되는, 이미징 시스템.
  8. 제 1 항에 있어서,
    상기 제 1 카메라들의 세트는 제 1 평면에 배치되고, 상기 제 2 카메라들의 세트는 제 2 평면에 배치되고, 상기 제 3 카메라들의 세트는 제 3 평면에 배치되는, 이미징 시스템.
  9. 제 8 항에 있어서,
    상기 제 1 평면, 상기 제 2 평면 및 상기 제 3 평면은 평행한, 이미징 시스템.
  10. 제 1 항에 있어서,
    상기 제 1 카메라들의 세트는 8개의 카메라들을 포함하고, 상기 제 2 카메라들의 세트는 8개의 카메라들을 포함하고, 상기 제 3 카메라들의 세트는 8개의 카메라들을 포함하는, 이미징 시스템.
  11. 제 1 항에 있어서,
    상기 제 1 카메라들의 세트는 동일하게 이격 배치되고, 상기 제 2 카메라들의 세트는 동일하게 이격 배치되고, 상기 제 3 카메라들의 세트는 동일하게 이격 배치되는, 이미징 시스템.
  12. 이미징 시스템으로서,
    제 1 방향의 제 1 시야 (FOV) 및 제 1 방향의 상기 제 1 FOV 를 통해 확장되는 광축을 갖는 전방 카메라;
    광축을 갖는 후방 카메라로서, 상기 후방 카메라는 상기 후방 카메라의 광축이 상기 제 1 FOV 를 통해 확장되게 상기 제 1 방향으로 정렬되도록 배치되고, 상기 전방 카메라의 광축과 일치하는 라인을 따라 배치된, 상기 후방 카메라;
    상기 전방 카메라와 상기 후방 카메라 사이에 배치되는 복수의 측면 카메라들로서, 상기 복수의 측면 카메라들은 상기 전방 카메라의 광축 주위에 그리고 상기 전방 카메라의 광축으로부터 멀어지는 방향으로 확장되는 조합된 FOV 를 갖는, 상기 복수의 측면 카메라들;
    상기 후방 카메라와 복수의 측면 카메라들 사이에 배치된 후방 광 재지향 반사 미러 컴포넌트로서, 상기 후방 카메라 및 상기 후방 광 재지향 반사 미러 컴포넌트는, 상기 후방 카메라가 상기 후방 카메라의 광축을 따라 상기 후방 광 재지향 반사 미러 컴포넌트에 의해 반사되는 재지향된 광을 수신하도록 상기 후방 카메라의 광축이 상기 후방 광 재지향 반사 미러 컴포넌트에 포인팅되게 배치되는, 상기 후방 광 재지향 반사 미러 컴포넌트; 및
    복수의 측면 광 재지향 반사 미러 컴포넌트들로서, 상기 복수의 측면 카메라들의 각각은 상기 복수의 광 재지향 반사 미러 컴포넌트들 중의 하나로부터 재지향된 광을 수신하도록 배치되는, 상기 복수의 측면 광 재지향 반사 미러 컴포넌트들
    을 포함하는, 이미징 시스템.
  13. 제 12 항에 있어서,
    상기 복수의 측면 카메라들은 상기 전방 카메라의 광축으로부터 간격 띄워지는, 이미징 시스템.
  14. 제 12 항에 있어서,
    상기 복수의 측면 카메라들은 3개의 동심 링들을 형성하도록 배열되는, 이미징 시스템.
  15. 제 12 항에 있어서,
    상기 복수의 측면 카메라들은 제 1 세트의 어레이 카메라들, 제 2 세트의 어레이 카메라들, 및 제 3 세트의 어레이 카메라들을 포함하고, 상기 제 1 세트, 상기 제 2 세트 및 상기 제 3 세트의 어레이 카메라들 각각은 집합적으로 타겟 장면의 적어도 일부를 포함하는 FOV 를 갖는, 이미징 시스템.
  16. 제 15 항에 있어서,
    각각의 어레이 카메라는 이미지 센서를 포함하고, 상기 제 1 세트의 어레이 카메라들의 상기 이미지 센서들은 제 1 기판 상에 배치되고, 상기 제 2 세트의 어레이 카메라들의 상기 이미지 센서들은 제 2 기판 상에 배치되고, 상기 제 3 세트의 어레이 카메라들은 제 3 기판 상에 배치되는, 이미징 시스템.
  17. 제 16 항에 있어서,
    상기 제 1 기판, 상기 제 2 기판 및 상기 제 3 기판은, 평행한 평면들에 배치되는, 이미징 시스템.
  18. 구형 시야 (FOV) 를 보여주는 이미지를 생성하는 방법으로서,
    전방 카메라에서 전방 이미지를 생성하는 단계로서, 상기 전방 카메라는 상기 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치되고, 상기 전방 카메라의 투영된 광축은 제 1 방향에 있는, 상기 전방 이미지를 생성하는 단계;
    후방 카메라에서 후방 이미지를 생성하는 단계로서, 상기 후방 카메라는 상기 전방 카메라와 상기 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 재지향된 광을 수신하도록 배치되고, 상기 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치되는, 상기 후방 이미지를 생성하는 단계;
    상기 전방 카메라와 상기 후방 카메라 사이에 다각형 형상의 배열로 배치되는 제 1 카메라들의 세트에서 제 1 이미지들을 생성하는 단계로서, 상기 제 1 카메라들의 세트는 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 3 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 3 FOV 의 적어도 일부는 상기 제 1 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 1 이미지들을 생성하는 단계;
    상기 제 1 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 2 카메라들의 세트에서 제 2 이미지들을 생성하는 단계로서, 상기 제 2 카메라들의 세트는 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 4 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 4 FOV 의 적어도 일부는 상기 제 3 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 2 이미지들을 생성하는 단계;
    상기 제 2 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된 제 3 카메라들의 세트에서 제 3 이미지들을 생성하는 단계로서, 상기 제 5 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 5 FOV 의 적어도 일부는 상기 제 4 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 3 이미지들을 생성하는 단계; 및
    상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들을 적어도 하나의 프로세서에서 수신하는 단계, 및 상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는 모자이크 이미지를 상기 적어도 하나의 프로세서로 생성하는 단계
    를 포함하는, 이미지를 생성하는 방법.
  19. 제 18 항에 있어서,
    상기 모자이크 이미지는 구형 이미지 내의 시각 시점으로부터 봤을 때 상기 구형 이미지를 보여주기 위해 생성되는, 이미지를 생성하는 방법.
  20. 제 18 항에 있어서,
    상기 모자이크 이미지를 생성하는 단계는 상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 함께 스티치하는 단계를 포함하는, 이미지를 생성하는 방법.
  21. 제 18 항에 있어서,
    상기 제 1 FOV, 상기 제 2 FOV, 상기 제 3 FOV, 상기 제 4 FOV, 및 상기 제 5 FOV 가 적어도 부분적으로 오버랩되는, 이미지를 생성하는 방법.
  22. 제 18 항에 있어서,
    상기 제 1 카메라들의 세트, 상기 제 2 카메라들의 세트, 및 상기 제 3 카메라들의 세트가 3개 동심 링들을 형성하도록 배열되는, 이미지를 생성하는 방법.
  23. 제 18 항에 있어서,
    상기 후방 카메라는 폴딩형 광학 다중 센서 어셈블리인, 이미지를 생성하는 방법.
  24. 이미징 디바이스로서,
    전방 카메라에서 전방 이미지를 생성하는 수단으로서, 상기 전방 카메라는 상기 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치되고, 상기 전방 카메라의 투영된 광축은 제 1 방향에 있는, 상기 전방 카메라에서 전방 이미지를 생성하는 수단;
    후방 카메라에서 후방 이미지를 생성하는 수단으로서, 상기 후방 카메라는 상기 전방 카메라와 상기 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 반사되는 재지향된 광을 수신하도록 배치되고, 상기 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치되는, 상기 후방 카메라에서 후방 이미지를 생성하는 수단;
    상기 전방 카메라와 상기 후방 카메라 사이에 다각형 형상의 배열로 배치되는 제 1 카메라들의 세트에서 제 1 이미지들을 생성하는 수단으로서, 상기 제 1 카메라들의 세트는 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 3 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 3 FOV 의 적어도 일부는 상기 제 1 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 1 이미지들을 생성하는 수단;
    상기 제 1 카메라들과 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되는 제 2 카메라들의 세트에서 제 2 이미지들을 생성하는 수단으로서, 상기 제 2 카메라들의 세트는 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 4 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 4 FOV 의 적어도 일부는 상기 제 3 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 2 이미지들을 생성하는 수단;
    상기 제 2 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되는 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된 제 3 카메라들의 세트에서 제 3 이미지들을 생성하는 수단으로서, 상기 제 5 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 5 FOV 의 적어도 일부는 상기 제 4 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 3 이미지들을 생성하는 수단; 및
    상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들을 수신하고, 상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는, 모자이크 이미지를 생성하는 수단
    을 포함하는, 이미징 디바이스.
  25. 제 24 항에 있어서,
    상기 모자이크 이미지는 구형 이미지 내의 시각 시점으로부터 봤을 때 상기 구형 이미지를 보여주기 위해 생성되는, 이미징 디바이스.
  26. 제 24 항에 있어서,
    상기 모자이크 이미지를 생성하는 것은 상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 함께 스티치하는 것을 포함하는, 이미징 디바이스.
  27. 제 24 항에 있어서,
    상기 제 1 FOV, 상기 제 2 FOV, 상기 제 3 FOV, 상기 제 4 FOV, 및 상기 제 5 FOV 가 적어도 부분적으로 오버랩되는, 이미징 디바이스.
  28. 제 24 항에 있어서,
    상기 제 1 카메라들의 세트, 상기 제 2 카메라들의 세트, 및 상기 제 3 카메라들의 세트가 3개 동심 링들을 형성하도록 배열되는, 이미징 디바이스.
  29. 제 24 항에 있어서,
    상기 후방 카메라는 폴딩형 광학 다중 센서 어셈블리인, 이미징 디바이스.
  30. 삭제
  31. 삭제
  32. 삭제
KR1020167035411A 2014-06-20 2015-06-19 완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템 KR101877160B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015329P 2014-06-20 2014-06-20
US62/015,329 2014-06-20
US14/743,663 2015-06-18
US14/743,663 US9843723B2 (en) 2014-06-20 2015-06-18 Parallax free multi-camera system capable of capturing full spherical images
PCT/US2015/036710 WO2015196082A1 (en) 2014-06-20 2015-06-19 Parallax free multi-camera system capable of capturing full spherical images

Publications (2)

Publication Number Publication Date
KR20170020797A KR20170020797A (ko) 2017-02-24
KR101877160B1 true KR101877160B1 (ko) 2018-08-07

Family

ID=54870827

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167034935A KR20170020777A (ko) 2014-06-20 2015-06-16 반구형 및 구형 이미징을 위한 광시야 어레이 카메라
KR1020167035411A KR101877160B1 (ko) 2014-06-20 2015-06-19 완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167034935A KR20170020777A (ko) 2014-06-20 2015-06-16 반구형 및 구형 이미징을 위한 광시야 어레이 카메라

Country Status (8)

Country Link
US (2) US9819863B2 (ko)
EP (2) EP3158726A1 (ko)
JP (2) JP2017525221A (ko)
KR (2) KR20170020777A (ko)
CN (2) CN106462050B (ko)
BR (1) BR112016029565A2 (ko)
CA (1) CA2952623A1 (ko)
WO (2) WO2015195629A1 (ko)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9549127B2 (en) * 2013-10-18 2017-01-17 Light Labs Inc. Image capture control methods and apparatus
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9392188B2 (en) * 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US9856856B2 (en) 2014-08-21 2018-01-02 Identiflight International, Llc Imaging array for bird or bat detection and identification
US10275679B2 (en) 2014-08-21 2019-04-30 Identiflight International, Llc Avian detection systems and methods
US9602702B1 (en) * 2014-09-08 2017-03-21 Sulaiman S. Albadran Video camera with multiple data input
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US9521301B2 (en) * 2014-11-03 2016-12-13 Alarm.Com Incorporated Fixed view magnetic camera
US20160248972A1 (en) * 2015-02-23 2016-08-25 Ebsco Industries, Inc Panoramic Game Camera
EP3275171A4 (en) * 2015-03-27 2018-11-21 Google LLC Cluster based photo navigation
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10275898B1 (en) * 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US9819865B2 (en) 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
US9813623B2 (en) * 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
US9906721B2 (en) * 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量系统及测量方法
US10151970B2 (en) * 2016-04-11 2018-12-11 As Vision Limited Aerial panoramic oblique photography apparatus
US10354426B2 (en) 2016-08-04 2019-07-16 Datalogic IP Tech, S.r.l. Symbol stitching imaging system
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
US20180096494A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
KR102558474B1 (ko) * 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
US10419681B2 (en) * 2016-10-26 2019-09-17 Robert Bosch Gmbh Variable field of view multi-imager
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US20180260929A1 (en) * 2017-03-08 2018-09-13 Intel Corporation Digital camera methods and devices optimized for computer vision applications
CN108574808B (zh) * 2017-03-08 2021-02-12 杭州海康威视数字技术股份有限公司 一种图像拼接方法、装置及图像处理系统
US10652460B2 (en) * 2017-03-30 2020-05-12 Canon Kabushiki Kaisha Image-capturing apparatus and image-capturing control method
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10623634B2 (en) * 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
CN107370933A (zh) * 2017-09-19 2017-11-21 信利光电股份有限公司 一种多摄像头模组
CN107509017A (zh) * 2017-09-19 2017-12-22 信利光电股份有限公司 一种多摄像头模组
CN107483790A (zh) * 2017-09-19 2017-12-15 信利光电股份有限公司 一种多摄像头模组
US10400929B2 (en) 2017-09-27 2019-09-03 Quick Fitting, Inc. Fitting device, arrangement and method
KR102436730B1 (ko) * 2017-12-06 2022-08-26 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
US11029496B2 (en) 2017-12-21 2021-06-08 Apple Inc. Folded lens system
US10728517B2 (en) * 2017-12-22 2020-07-28 Flir Systems Ab Parallax mitigation for multi-imager systems and methods
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP7081473B2 (ja) 2018-03-02 2022-06-07 株式会社リコー 撮像光学系、撮像システム及び撮像装置
US10582181B2 (en) 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
CN108710261B (zh) * 2018-06-07 2020-12-25 信利光电股份有限公司 一种摄像模组
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
CN114615399A (zh) * 2019-01-03 2022-06-10 核心光电有限公司 双重相机
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN110503621B (zh) * 2019-08-23 2022-07-01 上海圭目机器人有限公司 基于定位数据的图像全局拼接方法
KR102232366B1 (ko) * 2019-10-07 2021-03-26 (주)하이비젼시스템 렌즈모듈 액티브 얼라인 시스템 및 방법
US10969047B1 (en) 2020-01-29 2021-04-06 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11035510B1 (en) 2020-01-31 2021-06-15 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11281868B2 (en) 2020-03-10 2022-03-22 Cognex Corporation Modular vision system and methods
US11665410B2 (en) * 2020-03-10 2023-05-30 Cognex Corporation Modular vision systems and methods
US11812125B2 (en) 2020-07-01 2023-11-07 Universal City Studios Llc Anti-reflective camera housing system
KR102381272B1 (ko) * 2020-09-17 2022-03-30 삼성전기주식회사 휴대 단말기
US11145228B1 (en) * 2020-11-06 2021-10-12 Lockheed Martin Corporation Immersive display structure
US12075024B2 (en) * 2021-12-20 2024-08-27 Industrial Technology Research Institute System and method for computing relative rotation and relative translation of back-to-back cameras
WO2024062326A1 (en) * 2022-09-21 2024-03-28 Alcon Inc. Low profile optical systems for surgical procedures

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051805A1 (en) 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
US20040246333A1 (en) 2003-06-03 2004-12-09 Steuart Leonard P. (Skip) Digital 3D/360 degree camera system
WO2013154433A1 (en) 2012-04-13 2013-10-17 Cyclomedia Technology B.V. System, device, and vehicle for recording panoramic images

Family Cites Families (293)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2102987A5 (ko) 1970-09-09 1972-04-07 Hitachi Shipbuilding Eng Co
US4114171A (en) 1976-04-06 1978-09-12 Vivitar Corporation Reflex camera with internal zoom lens
US4437745A (en) 1982-09-30 1984-03-20 Stephen Hajnal Three dimensional camera system
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US4639586A (en) 1985-02-06 1987-01-27 The United States Of America As Represented By The Secretary Of The Air Force Optically phased laser transmitter
US4740780A (en) 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US5012273B1 (en) 1986-05-12 1996-10-01 Asahi Optical Co Ltd Lens shutter type of camera including zoom lens
US6031892A (en) 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5063441A (en) 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5142357A (en) 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5207000A (en) 1991-06-14 1993-05-04 Industrial Technology Research Institute Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface
US5231461A (en) 1991-12-09 1993-07-27 Hughes Danbury Optical Systems, Inc. Solar monochromator for filter calibration
US5926411A (en) 1991-12-30 1999-07-20 Ioptics Incorporated Optical random access memory
US5686960A (en) 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE4212271C1 (ko) 1992-04-11 1993-07-08 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De
US5243413A (en) 1992-09-02 1993-09-07 At&T Bell Laboratories Color parallax-free camera and display
US5313542A (en) 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
DE69312257T2 (de) 1993-02-11 1998-01-29 Agfa Gevaert Nv Strahlungsfelderkennungsverfahren
US5586063A (en) 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
JPH089424A (ja) 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JPH08194274A (ja) 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5903306A (en) 1995-08-16 1999-05-11 Westinghouse Savannah River Company Constrained space camera assembly
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US5640222A (en) 1996-03-15 1997-06-17 Paul; Eddie Method and apparatus for producing stereoscopic images
US6850279B1 (en) 1996-06-18 2005-02-01 Sony Corporation Optical image recording system, and associated processing system
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10142490A (ja) 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
WO1998047291A2 (en) 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
DE19903807A1 (de) 1998-05-05 1999-11-11 Zeiss Carl Fa Beleuchtungssystem insbesondere für die EUV-Lithographie
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6992700B1 (en) 1998-09-08 2006-01-31 Ricoh Company, Ltd. Apparatus for correction based upon detecting a camera shaking
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB2354390A (en) 1999-09-16 2001-03-21 Ibm Wide-angle image capture apparatus
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2001209037A (ja) 2000-01-26 2001-08-03 Olympus Optical Co Ltd 可変ホログラム素子及びそれらを用いた光学装置
US6823021B1 (en) 2000-10-27 2004-11-23 Greenwich Technologies Associates Method and apparatus for space division multiple access receiver
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
AU2002226873A1 (en) 2000-07-14 2002-04-08 Applied Wdm, Inc. Optical waveguide transmission devices
JP2002040584A (ja) 2000-07-28 2002-02-06 Hamamatsu Photonics Kk 高速撮像カメラ
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002277736A (ja) 2001-03-21 2002-09-25 Olympus Optical Co Ltd 撮像装置
US6421185B1 (en) 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
US6628897B2 (en) 2001-06-20 2003-09-30 Sony Corporation Camera system
US20030038814A1 (en) 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7116351B2 (en) * 2001-10-29 2006-10-03 Sony Corporation Imaging device
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003260025A (ja) 2002-03-08 2003-09-16 Olympus Optical Co Ltd カプセル型内視鏡
US6768598B2 (en) 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US6861633B2 (en) 2002-06-20 2005-03-01 The Aerospace Corporation Microelectromechanical system optical sensor providing bit image data of a viewed image
US7298392B2 (en) 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
JP2004072349A (ja) 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
JP2004080088A (ja) * 2002-08-09 2004-03-11 Sony Corp 撮像装置
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
AU2003302166A1 (en) 2003-01-02 2004-07-29 Covi Technologies, Inc. Optical block assembly
US6933493B2 (en) 2003-04-07 2005-08-23 Kingpak Technology Inc. Image sensor having a photosensitive chip mounted to a metal sheet
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP3709879B2 (ja) 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
CN1802583A (zh) 2003-06-09 2006-07-12 奥林巴斯株式会社 可变镜
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
US20050057659A1 (en) 2003-09-16 2005-03-17 Takami Hasegawa Camera image shake correcting device
US7028546B2 (en) 2003-10-21 2006-04-18 Instrumented Sensor Technology, Inc. Data recorder
US20050111106A1 (en) 2003-10-31 2005-05-26 Kazuhiro Matsumoto Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section
JPWO2005081020A1 (ja) 2004-02-19 2008-05-15 キヤノン株式会社 光学機器およびビームスプリッター
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
US8248458B2 (en) 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US7039292B1 (en) 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
DE102004045430A1 (de) 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
JP3791847B1 (ja) 2005-08-10 2006-06-28 京セラ株式会社 カメラモジュールおよび該カメラモジュールを搭載した情報端末
EP2357527B1 (en) 2004-11-15 2012-10-17 Hitachi Ltd. Stereo camera having two imaging elements mounted on a common stay
US7372996B2 (en) 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
JP4742190B2 (ja) 2005-01-13 2011-08-10 国立大学法人 奈良先端科学技術大学院大学 ３次元オブジェクト計測装置
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
US20060215054A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
JP2006279538A (ja) 2005-03-29 2006-10-12 Sony Corp 撮像装置
US20060238441A1 (en) 2005-04-25 2006-10-26 The Boeing Company Method and apparatus for displaying a stereoscopic image
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
JP5364965B2 (ja) 2005-07-26 2013-12-11 コニカミノルタ株式会社 撮像光学系、撮像レンズ装置及びデジタル機器
JP2007081473A (ja) 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
TW200721803A (en) 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
US20070164202A1 (en) 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
JP4979928B2 (ja) 2005-11-28 2012-07-18 株式会社トプコン 三次元形状演算装置及び三次元形状演算方法
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US7215479B1 (en) 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
JP4844177B2 (ja) 2006-03-07 2011-12-28 株式会社ニコン ブレ補正装置及びカメラ
JP2007274542A (ja) 2006-03-31 2007-10-18 Sony Corp 撮像装置および携帯電話機
CN101055342A (zh) 2006-04-12 2007-10-17 鸿富锦精密工业（深圳）有限公司 自动对焦镜头模组
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
US8139125B2 (en) * 2006-05-05 2012-03-20 Nokia Corporation Optical image recording device with small height and high resolution
EP2023298A4 (en) 2006-05-09 2010-07-21 Sega Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM
JP4972779B2 (ja) 2006-05-30 2012-07-11 コニカミノルタアドバンストレイヤー株式会社 光学ユニットおよび撮像装置
JP5067021B2 (ja) 2006-06-01 2012-11-07 富士ゼロックス株式会社 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材
JP4851239B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2008048293A (ja) 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
US20080058629A1 (en) * 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
DE102006044786A1 (de) 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1912098B1 (en) 2006-10-12 2012-04-25 Carl Zeiss SMT GmbH Unit magnification projection objective
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
KR100866491B1 (ko) 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
JP4917060B2 (ja) 2007-02-26 2012-04-18 Ｈｏｙａ株式会社 撮像ユニット及び携帯用電子機器
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US20080231698A1 (en) * 2007-03-20 2008-09-25 Alan Edward Kaplan Vehicle video control system
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5013078B2 (ja) 2007-04-24 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 レンズ鏡胴及び撮像装置
US20080290435A1 (en) 2007-05-21 2008-11-27 Micron Technology, Inc. Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods
JP2008294819A (ja) 2007-05-25 2008-12-04 Sony Corp 撮像装置
US20090003646A1 (en) 2007-06-29 2009-01-01 The Hong Kong University Of Science And Technology Lossless visible watermarking
US20090005112A1 (en) 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Optical imaging system configurations for handheld devices
WO2009011153A1 (ja) 2007-07-13 2009-01-22 Mitsubishi Electric Corporation 画像読取装置
JP4900118B2 (ja) 2007-07-31 2012-03-21 コニカミノルタオプト株式会社 カメラモジュールおよび電子機器
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
JP5000428B2 (ja) 2007-08-22 2012-08-15 Ｈｏｙａ株式会社 撮像装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
KR20090032261A (ko) 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP5152483B2 (ja) 2007-10-05 2013-02-27 ソニー株式会社 撮像装置
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US8447096B2 (en) 2007-10-11 2013-05-21 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
WO2009057436A1 (ja) 2007-11-01 2009-05-07 Konica Minolta Holdings, Inc. 撮像装置
JP4831514B2 (ja) 2007-11-13 2011-12-07 独立行政法人情報通信研究機構 設定パラメータ最適化装置およびそのプログラム
KR100927347B1 (ko) 2007-11-13 2009-11-24 파워옵틱스 주식회사 줌렌즈 광학계
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN100465699C (zh) 2007-12-05 2009-03-04 浙江大学 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统
KR101349589B1 (ko) 2007-12-13 2014-01-10 엘지이노텍 주식회사 카메라 모듈
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US20090185067A1 (en) 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
WO2009088930A2 (en) 2008-01-02 2009-07-16 The Regents Of The University Of California High numerical aperture telemicroscopy apparatus
US7978222B2 (en) 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
US7961398B2 (en) 2008-03-05 2011-06-14 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
CN101981915B (zh) 2008-03-26 2014-03-05 柯尼卡美能达精密光学株式会社 摄像装置
US8934034B2 (en) 2008-03-28 2015-01-13 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
CN101571666A (zh) * 2008-04-28 2009-11-04 鸿富锦精密工业（深圳）有限公司 成像设备
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
JP4435867B2 (ja) 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP5223486B2 (ja) 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
US8027579B2 (en) 2008-07-24 2011-09-27 Panasonic Corporation Camera driver
JP2010041381A (ja) 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
WO2010019757A1 (en) 2008-08-14 2010-02-18 Remotereality Corporation Three-mirror panoramic camera
US8305425B2 (en) 2008-08-22 2012-11-06 Promos Technologies, Inc. Solid-state panoramic image capture apparatus
JP2010067014A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
CN102165496B (zh) 2008-09-25 2014-08-13 皇家飞利浦电子股份有限公司 三维图像数据处理
WO2010044222A1 (ja) 2008-10-14 2010-04-22 日本電産サンキョー株式会社 撮影用光学装置
US8267601B2 (en) 2008-11-04 2012-09-18 James Cameron Platform for stereoscopy for hand-held film/video camera stabilizers
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
CN101770059B (zh) 2008-12-27 2012-06-20 鸿富锦精密工业（深圳）有限公司 相机模组
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US8326036B2 (en) 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
GB0903689D0 (en) 2009-03-03 2009-04-15 Sigmavision Ltd Vehicle tyre measurement
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100278423A1 (en) 2009-04-30 2010-11-04 Yuji Itoh Methods and systems for contrast enhancement
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8170408B2 (en) 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8194170B2 (en) 2009-06-02 2012-06-05 Algonquin College Axicon lens array
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
CN101581828B (zh) 2009-06-09 2011-06-22 苏州大学 环形孔径超薄光学成像系统
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
JP5293463B2 (ja) 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
US8294073B1 (en) 2009-10-01 2012-10-23 Raytheon Company High angular rate imaging system and related techniques
US9063345B2 (en) 2009-10-19 2015-06-23 Pixar Super light-field lens with doublet lenslet array element
JP5539818B2 (ja) 2009-10-20 2014-07-02 富士フイルム株式会社 撮像レンズおよび撮像装置
TWM399332U (en) * 2009-10-20 2011-03-01 Fujifilm Corp Photographic lens and photographic device
US8325187B2 (en) 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
US8457398B2 (en) 2009-10-27 2013-06-04 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US9030530B2 (en) 2009-12-15 2015-05-12 Thomson Licensing Stereo-image quality and disparity/depth indications
US8442392B2 (en) 2009-12-22 2013-05-14 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP5683025B2 (ja) 2010-04-19 2015-03-11 パナソニックＩｐマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
JP5593118B2 (ja) 2010-04-30 2014-09-17 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5622443B2 (ja) 2010-06-08 2014-11-12 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
WO2011155318A1 (ja) 2010-06-08 2011-12-15 日本電産サンキョー株式会社 振れ補正装置、撮影用光学装置およびレンズ駆動装置
JP5138734B2 (ja) 2010-06-15 2013-02-06 シャープ株式会社 撮像レンズ、および撮像モジュール
CN101902657B (zh) 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
TWI409577B (zh) 2010-08-20 2013-09-21 Primax Electronics Ltd 光學影像系統
US20120056987A1 (en) 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
JP5392415B2 (ja) 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
EP2622838B1 (en) 2010-10-01 2015-07-22 Contex A/s Signal intensity matching of image sensors
US9317761B2 (en) 2010-12-09 2016-04-19 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US8928988B1 (en) 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
EP2695385B8 (en) 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
EP2703869B1 (en) * 2011-04-28 2019-12-25 FUJIFILM Corporation Imaging lens and imaging device
PL2703865T3 (pl) * 2011-04-28 2020-10-19 Fujifilm Corporation Obiektyw obrazujący i urządzenie obrazujące
CN203519914U (zh) * 2011-04-28 2014-04-02 富士胶片株式会社 成像镜头和成像设备
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
WO2012164339A1 (en) 2011-05-27 2012-12-06 Nokia Corporation Image stitching
CN103609102B (zh) 2011-06-15 2016-09-28 微软技术许可有限责任公司 高分辨率多光谱图像捕捉
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8896890B2 (en) 2011-06-30 2014-11-25 Lexmark International, Inc. Image capture system having a folded optical path
JP5848052B2 (ja) 2011-07-21 2016-01-27 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8855476B2 (en) 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
BR112014009255A8 (pt) 2011-10-20 2017-06-20 Monsanto Technology Llc contador de plantas
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
JP2013117568A (ja) * 2011-12-01 2013-06-13 Olympus Corp 視差画像取得装置、携帯情報端末及び視差画像取得方法
US8582220B2 (en) 2011-12-05 2013-11-12 Himax Technologies Limited Lens module
CN202405984U (zh) 2011-12-10 2012-08-29 东莞市旭业光电科技有限公司 一种用于音圈马达的垫片
KR101975893B1 (ko) 2012-03-21 2019-09-10 엘지이노텍 주식회사 카메라 모듈
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
US20130260823A1 (en) 2012-03-31 2013-10-03 Ashutosh Y. Shukla Compact Portable Electronic Device Having Augmented Back Volume for Speaker
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
EP2677733A3 (en) 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
WO2014012603A1 (en) 2012-07-17 2014-01-23 Heptagon Micro Optics Pte. Ltd. Optical devices, in particular computational cameras, and methods for manufacturing the same
EP3168809B1 (en) 2012-08-08 2023-08-30 Dolby Laboratories Licensing Corporation Image processing for hdr images
JP6207303B2 (ja) * 2012-09-10 2017-10-04 キヤノン株式会社 制御装置、制御装置を備えるアクチュエータ、画像振れ補正装置、交換用レンズ、撮像装置、及び自動ステージ
JP6116168B2 (ja) * 2012-09-14 2017-04-19 キヤノン株式会社 情報処理装置およびその方法
JP5995624B2 (ja) * 2012-09-19 2016-09-21 キヤノン株式会社 撮像装置および交換レンズ
JP5995637B2 (ja) * 2012-10-04 2016-09-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、記憶媒体
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9659991B2 (en) * 2012-10-22 2017-05-23 Canon Kabushiki Kaisha Image capturing apparatus, manufacturing method thereof, and camera
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
JP2015036716A (ja) 2013-08-12 2015-02-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
EP2860699A1 (en) 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
CN203745777U (zh) 2014-01-10 2014-07-30 瑞声声学科技(深圳)有限公司 阵列式镜头装置
US10015391B2 (en) * 2014-02-13 2018-07-03 Sony Mobile Communications Inc. Method and system for adjusting camera settings using corneal reflection
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US20150373269A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US10070055B2 (en) * 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US20170038502A1 (en) 2015-08-06 2017-02-09 Qualcomm Incorporated Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051805A1 (en) 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
US20040246333A1 (en) 2003-06-03 2004-12-09 Steuart Leonard P. (Skip) Digital 3D/360 degree camera system
WO2013154433A1 (en) 2012-04-13 2013-10-17 Cyclomedia Technology B.V. System, device, and vehicle for recording panoramic images

Also Published As

Publication number Publication date
EP3158726A1 (en) 2017-04-26
US9819863B2 (en) 2017-11-14
WO2015195629A1 (en) 2015-12-23
KR20170020777A (ko) 2017-02-24
US20150373268A1 (en) 2015-12-24
US20150373279A1 (en) 2015-12-24
JP2017525206A (ja) 2017-08-31
CA2952623A1 (en) 2015-12-23
CN106462050B (zh) 2019-02-22
WO2015196082A1 (en) 2015-12-23
EP3158725B1 (en) 2020-07-29
CN106415392A (zh) 2017-02-15
BR112016029565A2 (pt) 2017-08-22
EP3158725A1 (en) 2017-04-26
CN106415392B (zh) 2019-06-14
KR20170020797A (ko) 2017-02-24
CN106462050A (zh) 2017-02-22
US9843723B2 (en) 2017-12-12
JP2017525221A (ja) 2017-08-31

Similar Documents

Publication Publication Date Title
KR101877160B1 (ko) 완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템
EP3158394B1 (en) Multi-camera system using folded optics free from parallax artifacts
US9854182B2 (en) Folded optic array camera using refractive prisms
KR102225429B1 (ko) 시차 및 틸트 아티팩트들이 없는 폴딩형 광학계를 이용한 멀티-카메라 시스템
US20150373269A1 (en) Parallax free thin multi-camera system capable of capturing full wide field of view images
KR20170020796A (ko) 완전한 넓은 시야 이미지들을 캡처하는 것을 가능하게 하는 시차 없는 얇은 다중 카메라 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant