KR101877160B1 - 완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템 - Google Patents
완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템 Download PDFInfo
- Publication number
- KR101877160B1 KR101877160B1 KR1020167035411A KR20167035411A KR101877160B1 KR 101877160 B1 KR101877160 B1 KR 101877160B1 KR 1020167035411 A KR1020167035411 A KR 1020167035411A KR 20167035411 A KR20167035411 A KR 20167035411A KR 101877160 B1 KR101877160 B1 KR 101877160B1
- Authority
- KR
- South Korea
- Prior art keywords
- cameras
- camera
- fov
- image
- images
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 175
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 230000015654 memory Effects 0.000 claims description 35
- 239000000758 substrate Substances 0.000 claims description 16
- 210000001747 pupil Anatomy 0.000 description 76
- 238000013461 design Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000003491 array Methods 0.000 description 9
- 230000000712 assembly Effects 0.000 description 8
- 238000000429 assembly Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H04N5/23238—
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
- G02B13/0075—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having an element with variable optical properties
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/2254—
-
- H04N5/2258—
-
- H04N5/2259—
-
- H04N5/247—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Cameras In General (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Abstract
구형 시야 이미지들을 생성하기 위한 방법 및 시스템들. 일부 실시형태들에서, 이미징 시스템은 제 1 방향의 제 1 시야 (FOV) 및 상기 제 1 FOV 를 통해 확장되는 광축을 갖는 전방 카메라, 제 1 FOV 를 통해 확장되는 광축을 갖는 후방 카메라, 전방 카메라와 후방 카메라 사이에 배치되는 상기 복수의 측면 카메라들, 후방 카메라와 복수의 측면 카메라들 사이에 배치된 후방 광 재지향 반사 미러 컴포넌트로서, 상기 후방 광 재지향 반사 미러 컴포넌트는 또한 그 후방 카메라의 광축에 수직하게 배치되는, 상기 후방 광 재지향 반사 미러 컴포넌트, 및 복수의 측면 광 재지향 반사 미러 컴포넌트들로서, 상기 복수의 측면 카메라들의 각각은 복수의 광 재지향 반사 미러 컴포넌트들 중의 하나로부터 반사되는 재지향된 광을 수신하도록 배치되는, 상기 복수의 측면 광 재지향 반사 미러 컴포넌트들을 포함한다.
Description
본 개시는 다중 카메라 시스템을 포함하는 이미징 시스템 및 방법들에 관한 것이다. 특히, 본 개시는 근 또는 완전 구형 이미지들을 캡처하기 위한 시스템 및 방법들에 관한 것이다.
많은 모바일 디바이스들은 스틸 및/또는 비디오 이미지들을 캡처하기 위해서 사용자에 의해 작동될 수도 있는 카메라들을 포함한다. 이미징 시스템들은 통상적으로 고품질의 이미지들을 캡처하도록 설계 (design) 되기 때문에, 시차가 없거나 또는 실질적으로 시차가 없도록 카메라들 또는 이미징 시스템들을 설계하는 것이 중요할 수 있다. 게다가, 이미징 시스템은 캡처된 이미지가 시차가 없거나 또는 실질적으로 시차 없는 글로벌 장면의 시야 장면의 이미지를 캡처하는 것이 요구될 수도 있다. 이미징 시스템들은 가운데 점 근처의 복수의 위치들로부터 글로벌 장면의 다양한 시야들을 캡처하는데 사용될 수도 있다. 그러나, 이러한 설계들 중 다수는 가운데 (central) 점으로부터가 아닌 다양한 위치들로부터 시야들이 발생되기 때문에 많은 양의 시차가 있는 이미지들을 수반한다. 시차가 없거나 또는 실질적으로 시차 없는 글로벌 장면의 이미지를 캡처하기 위한 솔루션이 요망된다.
개요
구형 이미지를 함께 보여주는 복수의 이미지들을 캡처하기 위한 이미징 시스템은 전방 카메라, 후방 카메라, 제 1 카메라들의 세트, 제 2 카메라들의 세트, 및 제 3 카메라들의 세트를 포함한다. 전방 카메라는 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치된다. 전방 카메라의 투영된 광축은 제 1 방향에 있다. 후방 카메라는 전방 카메라와 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트 (back re-directing reflective mirror component) 에 의해 재지향되는 광을 수신하도록 배치된다. 후방 카메라는 후방 카메라의 투영된 광축 주위에 제 2 시야 (FOV) 에서 이미지를 캡처하도록 배치된다. 후방 카메라의 투영된 광축은 제 1 방향에 있다. 제 1 카메라의 세트는 전방 카메라와 후방 카메라 사이에 다각형 형상의 배열로 배치된다. 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성된다. FOV 는 원형 형상이고 제 1 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 3 FOV 의 적어도 일부는 제 1 FOV 와 제 2 FOV 사이에 있다. 제 2 카메라의 세트는 제 1 카메라들과 후방 카메라 사이에 그리고 다각형 형상 배열로 배치된다. 제 2 카메라들은 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성된다. 제 4 FOV 는 원형 형상이고 제 2 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 4 FOV 의 적어도 일부는 제 3 FOV 와 제 2 FOV 사이에 있다. 제 3 카메라의 세트는 제 2 카메라들과 후방 카메라 사이에 그리고 다각형 형상 배열로 배치된다. 제 3 카메라들의 세트는 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된다. 제 5 FOV 는 원형 형상이고 제 3 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 5 FOV 의 적어도 일부는 제 4 FOV 와 제 2 FOV 사이에 있다. 전방 카메라, 후방 카메라, 제 1 카메라들, 제 2 카메라들 및 제 3 카메라들은, 제 1, 제 2, 제 3, 제 4, 및 제 5 FOV 에서 캡처된 이미지들이 집합적으로, 이미징 시스템의 시각 (perspective) 으로부터 봤을 때 구형 이미지를 표현하도록 구성된다.
이미징 시스템은, 전방 카메라, 후방 카메라, 복수의 측면 카메라, 후방 광 재지향 반사 미러 컴포넌트, 및 복수의 측면 광 재지향 반사 미러 컴포넌트들을 포함한다. 전방 카메라는 제 1 방향의 제 1 시야 (FOV) 및 제 1 FOV 를 통해 확장되는 광축을 갖는다. 후방 카메라는 광축을 갖는다. 후방 카메라는, 후방 카메라의 광축이 제 1 FOV 를 통해 확장되는 방향으로 정렬되도록 배치된다. 복수의 측면 카메라들은 전방 카메라와 후방 카메라 사이에 배치된다. 후방 광 재지향 반사 미러 컴포넌트는 후방 카메라와 복수의 측면 카메라들 사이에 배치된다. 후방 카메라 및 후방 광 재지향 반사 미러 컴포넌트는, 후방 카메라의 광축이 후방 광 재지향 반사 미러 컴포넌트에 포인팅되어, 후방 카메라가 후방 카메라의 광축을 따라 후방 광 재지향 반사 미러 컴포넌트에 의해 재지향되는 광을 수신하도록 배치된다. 복수의 측면 카메라들의 각각은 복수의 광 재지향 미러 컴포넌트들 중의 하나로부터 재지향된 광을 수신하도록 배치된다.
구형 시야 (FOV) 를 보여주는 이미지를 생성하는 방법으로서, 그 방법은 전방 이미지를 생성하는 단계, 후방 이미지를 생성하는 단계, 제 1 이미지들을 생성하는 단계, 제 2 이미지들을 생성하는 단계, 제 3 이미지들을 생성하는 단계, 및 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들을 수신하는 단계를 포함한다. 전방 이미지는 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치된 전방 카메라에서 생성된다. 전방 카메라의 투영된 광축은 제 1 방향에 있다. 후방 이미지는 전방 카메라와 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 재지향되는 광을 수신하도록 배치된 후방 카메라에서 생성된다. 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치된다. 제 1 이미지들은 전방 카메라와 후방 카메라 사이에 다각형 형상의 배열로 배치된 제 1 카메라들의 세트에서 생성된다. 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성된다. FOV 는 원형 형상이고 제 1 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 3 FOV 의 적어도 일부는 제 1 FOV 와 제 2 FOV 사이에 있다. 제 2 이미지들은 제 1 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 2 카메라들의 세트에서 생성된다. 제 2 카메라들은 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성된다. 제 4 FOV 는 원형 형상이고 제 2 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 4 FOV 의 적어도 일부는 제 3 FOV 와 제 2 FOV 사이에 있다. 제 3 이미지들은 제 2 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 3 카메라들의 세트에서 생성된다. 제 3 카메라들은 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된다. 제 5 FOV 는 원형 형상이며 제 3 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 5 FOV 의 적어도 일부는 제 4 FOV 와 제 2 FOV 사이에 있다. 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들은 적어도 하나의 프로세서에서 수신된다. 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는 모자이크 이미지가 적어도 하나의 프로세서로 생성된다.
이미징 디바이스는 전방 이미지를 생성하는 수단, 후방 이미지를 생성하는 수단, 제 1 이미지들을 생성하는 수단, 제 2 이미지들을 생성하는 수단, 제 3 이미지들을 생성하는 수단, 및 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들을 수신하는 수단을 포함한다. 전방 카메라에서 전방 이미지를 생성하는 수단은 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치된다. 전방 카메라의 투영된 광축은 제 1 방향에 있다. 후방 카메라에서 후방 이미지를 생성하는 수단은 전방 카메라와 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 재지향되는 광을 수신하도록 배치된다. 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치된다. 제 1 카메라들의 세트에서 제 1 이미지들을 생성하는 수단은 전방 카메라와 후방 카메라 사이에 다각형 형상의 배열로 배치된다. 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성된다. 제 3 FOV 는 원형 형상이고 제 1 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 3 FOV 의 적어도 일부는 제 1 FOV 와 제 2 FOV 사이에 있다. 제 2 카메라들의 세트에서 제 2 이미지들을 생성하는 수단은 제 1 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된다. 제 2 카메라들은 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성된다. 제 4 FOV 는 원형 형상이고 제 2 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 4 FOV 의 적어도 일부는 제 3 FOV 와 제 2 FOV 사이에 있다. 제 3 카메라들의 세트에서 제 3 이미지들을 생성하는 수단은 제 2 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된다. 제 5 FOV 는 원형 형상이며 제 3 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 5 FOV 의 적어도 일부는 제 4 FOV 와 제 2 FOV 사이에 있다. 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는 모자이크 이미지가 생성된다.
개시된 양태들은 이하에서, 개시된 양태들을 제한하는 것이 아니라 예시하기 위하여 제공된, 첨부 도면들 및 부록들과 함께 설명되고, 여기서 같은 부호는 같은 요소들을 표시한다.
도 1a 는 중앙 카메라, 제 1 카메라, 제 2 카메라, 제 3 카메라 및 후방 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1b 는 중앙 카메라 및 제 1 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1c 는 중앙 카메라, 제 1 카메라 및 제 2 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1d 는 중앙 카메라, 제 1 카메라, 제 2 카메라 및 제 3 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1e 는 도 1a 내지 도 1d 및 도 2a 내지 도 2c 에 도시된 카메라의 실시형태 및 도 1a 내지 도 1d 에 대한 각도들의 양의 (positive) 그리고 음의 (negative) 표시들을 도시한다.
도 2a 는 중앙 카메라, 제 1 동심 링의 카메라들, 제 2 동심 링의 카메라들, 제 3 동심 링의 카메라들 및 후방 카메라 (미도시) 를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 정면도를 도시한다.
도 2b 는 중앙 카메라, 제 1 동심 링의 카메라들, 제 2 동심 링의 카메라들, 제 3 동심 링의 카메라들 및 후방 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 2c 는 중앙 카메라, 제 1 동심 링의 카메라들, 제 2 동심 링의 카메라들, 제 3 동심 링의 카메라들 및 후방 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 3은 폴딩형 광학 다중 센서 어셈블리의 일 실시형태의 측단면도를 도시한다.
도 4는 이미징 디바이스의 실시형태의 블록도를 도시한다.
도 5는 타겟 이미지를 캡처하는 방법의 일 예의 블록들을 예시한다.
도 1a 는 중앙 카메라, 제 1 카메라, 제 2 카메라, 제 3 카메라 및 후방 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1b 는 중앙 카메라 및 제 1 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1c 는 중앙 카메라, 제 1 카메라 및 제 2 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1d 는 중앙 카메라, 제 1 카메라, 제 2 카메라 및 제 3 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 1e 는 도 1a 내지 도 1d 및 도 2a 내지 도 2c 에 도시된 카메라의 실시형태 및 도 1a 내지 도 1d 에 대한 각도들의 양의 (positive) 그리고 음의 (negative) 표시들을 도시한다.
도 2a 는 중앙 카메라, 제 1 동심 링의 카메라들, 제 2 동심 링의 카메라들, 제 3 동심 링의 카메라들 및 후방 카메라 (미도시) 를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 정면도를 도시한다.
도 2b 는 중앙 카메라, 제 1 동심 링의 카메라들, 제 2 동심 링의 카메라들, 제 3 동심 링의 카메라들 및 후방 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 2c 는 중앙 카메라, 제 1 동심 링의 카메라들, 제 2 동심 링의 카메라들, 제 3 동심 링의 카메라들 및 후방 카메라를 포함하는 글로벌 카메라 구성의 일 부분의 실시형태의 측면도를 도시한다.
도 3은 폴딩형 광학 다중 센서 어셈블리의 일 실시형태의 측단면도를 도시한다.
도 4는 이미징 디바이스의 실시형태의 블록도를 도시한다.
도 5는 타겟 이미지를 캡처하는 방법의 일 예의 블록들을 예시한다.
상세한 설명
본 명세서에서 개시된 구현예들은 완전 구형 이미지들을 캡처할 수 있는 복수의 카메라들의 배열을 이용하여 시차 및 틸트 아티팩트들이 없거나 또는 실질적으로 시차 및 틸트 아티팩트들이 없는 이미지들을 생성하기 위한 시스템들, 방법들 및 장치들을 제공한다. 다양한 실시예의 양태들은 캡처된 이미지들에서 시차 아티팩트들 (artifacts) 이 거의 없거나 또는 전혀 없는 것을 보여주는 복수의 카메라들 (예를 들어, 다중 카메라 시스템) 의 배열체에 관한 것이다. 복수의 카메라들의 배열체는 완전 구형 이미지들을 캡처하고, 이로써 캡처된 타깃 장면은 다수의 영역들로 분할된다. 이미지들은 복수의 카메라들이 동일한 가상의 공통 입사 동공을 갖고 있는 것처럼 보이도록 복수의 카메라들의 배열체를 설계하는 것에 의해 시차가 없거나 또는 실질적으로 시차가 없게 캡처된다. 어떤 설계들의 문제점은 그들이 동일한 가상의 공통 입사 동공을 갖지 않고 따라서 시차가 없거나 또는 다르게 말하면 시차 아티팩트들이 없지 않다는 것이다.
복수의 카메라들의 배열체에서 각각의 센서는 대응하는 광 재지향 반사 미러 컴포넌트 (이하에서 "미러" 또는 "미러 컴포넌트"로 불리기도 한다), 또는 미러 반사 표면과 동등한 표면을 사용하여 이미지 장면의 일 부분으로부터 광을 받는다. 따라서, 개개의 미러 컴포넌트 및 센서 쌍 (pair) 각각은 전체 다중 카메라 시스템의 일부만을 나타낸다. 완전한 다중 카메라 시스템은 개개의 조리개 광선들 모두의 합계에 기초하여 생성된 합성 조리개를 갖는다. 구현예들 중 어느 것에서, 모든 카메라들은 자동으로 초점을 맞추도록 구성될 수도 있으며, 자동 초점은 자동 초점 기능에 대한 명령들을 실행하는 프로세서들에 의해 제어될 수도 있다.
일부 실시 형태에서, 다중 카메라 시스템은 26 개의 카메라들을 포함하고, 각각의 카메라는 이미지의 26개 부분들이 캡처될 수 있도록 타깃 장면의 일 부분을 캡처한다. 시스템은 이미지의 26개 부분들의 전체 또는 일부를 결합하는 것에 의해 장면의 이미지를 생성하도록 구성된 프로세서를 포함한다. 26 개의 카메라들은 8개의 카메라들 각각, 전방 카메라 및 후방 카메라의 3개의 동심 링들로서 구성될 수 있다. 복수의 광 재지향 반사 미러 컴포넌트들은 중앙 카메라를 제외한 26개 카메라들 각각에 인입되는 광의 부분을 재지향시키도록 구성된다. 타깃 장면에서 인입되는 광의 부분이 복수의 광 재지향 반사 미러 컴포넌트들에 의해 다중 카메라 시스템을 둘러싸는 영역들로부터 수신될 수 있다. 일부 실시형태에서는 광 재지향 반사 미러 컴포넌트들은 복수의 개개의 컴포넌트들을 포함할 수도 있으며, 각각은 적어도 하나의 광 재지향 반사 미러 컴포넌트를 갖는다. 광 재지향 반사 미러 컴포넌트의 다수의 컴포넌트들은 함께 커플링될 수도 있거나, 다른 구조와 커플링되어 그들의 위치를 서로에 대해 설정하거나, 또는 양자 모두일 수도 있다.
파노라마 이미지들을 캡처하는 분야의 당업자는 시차 없는 이미지들 (또는 사실상 시차 없는 이미지들) 또는 시차 아티팩트 없는 이미지들 (또는 사실상 시차 아티팩트 없는 이미지들) 이란 용어의 의미를 알고 있을 수도 있다. 카메라 시스템들은 시차 없거나 또는 시차 아티팩트 없는 특성을 갖는다.
일 예시로, 두 개의 나란한 (side-by-side) 카메라들을 사용하여 입체적 (stereographic) 이미지들을 캡처하기 위해 설계된 카메라들 시스템들은 시차 없는 것이 아닌 카메라들 시스템들의 예들이다. 입체적 이미지를 만드는 하나의 방법은 두 개의 상이한 벤티지 점 (vantage point) 들로부터 이미지들을 캡처하는 것이다. 당업자는, 장면에 따라서, 최종의 스티치 (stitch) 된 이미지에서 일부 장면 콘텐츠가 복제되거나 누락됨이 없는 하나의 이미지를 얻기 위해 입체적 이미지들 양자 모두를 함께 스티치하는 것은 어렵거나 또는 불가능할 수도 있다는 것을 알고 있을 수도 있다. 그러한 아티팩트들은 시차 아티팩트들의 예들로 지칭될 수도 있다. 나아가, 당업자는 두 개의 입체적 카메라들의 벤티지 점들이 같이 움직여서 카메라들 모두가 하나의 벤티지 점으로부터 장면을 바라본다면 시차 아티팩트들이 관측가능하지 않은 방식으로 이미지들을 함께 스티치하는 것이 가능할 것임을 알고 있을 수도 있다.
여기서 시차 없는 이미지에 대해, 두 개 또는 그 이상의 이미지들이 함께 스티칭될 때, 이미지 프로세싱은 이미지들 또는 최종적으로 함께 스티칭된 이미지로부터 콘텐츠를 추가하거나 콘텐츠를 제거하는 것에 의해 이미지들을 변경하는데 사용되지 않는다.
당업자는 단일 렌즈 카메라를 취하여 입사 동공의 한가운데 점에 위치된 고정 점을 중심으로 회전시켜 모든 방향에서 이미지들을 캡처할 수 있다는 것을 깨달을 수도 있다. 이들 이미지들을 사용하여, 구형 또는 글로브의 중심으로부터 임의의 방향에서 밖으로 바라보는 것처럼 입사 동공의 한가운데 점 주위 모든 장면 콘텐츠를 보여주는 구형 이미지들을 만들어내는 것이 가능할 수도 있다. 이들 이미지들은 시차가 없거나 및/또는 시차 아티팩트들이 없는 부가된 특성을 가질 수도 있다. 예를 들어, 장면 콘텐츠가 최종 구형 이미지에서 복제되지 않거나 및 또는 장면 콘텐츠가 최종 스티치된 구형 이미지로부터 빠지지 않을 수도 있거나 및 또는 당업자에 의해 시차 아티팩트들인 것으로 고려될 수도 있는 다른 아티팩트들을 갖지 않을 수도 있는 방식으로 이미지들이 함께 스티치될 수 있음을 의미한다.
모든 가상 카메라들의 가상 입사 동공의 동일한 한가운데 점을 공유하는 가상 카메라들의 시스템을 배열하는 것이 가능하다. 용어 가상 (virtual) 은, 2개 이상의 물리적으로 현실의 카메라들이 광 재지향 반사 미러 컴포넌트들과 같은 다른 컴포넌트들과 함께 나타나도록 배열되어, 마치 그것들이 동일한 입사 동공 한가운데 점을 공유하는 것처럼 보일 수 있다는 것을 의미한다. 또한, 가상 입사 동공들의 공유된 가상 한가운데 점 근처에 서로 교차하거나, 또는 교차하는 것에 매우 근접한 각각의 가상 카메라의 가상 광축을 갖도록 모든 가상 카메라들을 배열하는 것이 가능할 수도 있다. 본원에 제시된 방법 및 시스템들은 유사한 시스템을 실현하는데 사용될 수도 있다.
물리적으로 두 개 이상의 가상 카메라들의 가상 광축이 가상 입사 동공의 가장 가운데 위치에서의 하나의 공통 점에서 교차하게 될 충분한 허용오차 (tolerance) 를 갖는 시스템들을 구축하는 것은 매우 어렵거나 또는 거의 불가능하다. 함께 스티치된 이미지들에서 시차 아티팩트들이 거의 없거나 전혀 없도록 또는, 경우에 따라, 함께 스티치된 이미지들이 최종적으로 함께 스티치된 이미지들 안의 시차 아티팩트들의 최소의 양보다 더 작게 갖는 요건들을 만족하도록, 공유된 입사 동공의 가장 가운데 점 근처 또는 주위에서 교차하거나 서로 교차할 정도로 충분히 가까운 두 개 또는 그 이상의 카메라들의 광축을 갖는 것이 카메라 시스템의 픽셀 해상도들 및/또는 렌즈들의 해상도를 고려할 때 가능할 수도 있다. 즉, 콘텐츠를 추가 또는 콘텐츠를 제거하기 위한 특별한 소프트웨어 또는 시차 아티팩트들을 제거하기 위한 다른 이미지 프로세싱의 사용 없이, 그러한 카메라들에 의해 캡처된 이미지들을 취하고 이러한 이미지들을 함께 스티치하여 이것들이 시차 아티팩트들의 최소 레벨의 요건을 만족하거나 또는 시차 없는 구형 이미지를 만들 수도 있다. 이러한 맥락에서, 충분한 허용오차를 갖는 시스템 설계에 기초하여 시차가 없거나 또는 사실상 시차가 없다는 용어를 사용할 수도 있다.
본원 명세서에서, 시차가 없거나, 시차 아티팩트들이 없거나, 사실상 시차가 없거나 또는 사실상 시차 아티팩트들이 없다는 용어가 사용되는 경우, 물리적인 현실들이 시간이 지남에 따라 동일한 위치에 물리적 아이템들을 유지하는 것 또는 심지어 허용오차를 사용하는 않고 설계된 것과 정확히 동일한 특성을 가지는 것을 어렵거나 거의 불가능하게 할 것이라는 것이 이해되어야 한다. 현실들은 시간 및 또는 환경 조건에 걸쳐, 형상, 크기, 위치, 가능한 다른 물체들에 대한 상대적 위치가 변화하는 것들이다. 그래서, 허용오차 요건들을 제공하거나 또는 가정함이 없이 아이템 또는 물건에 관해 이상적이거나 변화가 없는 것으로 말하기는 힘들다 본원 명세서에서, 사실상 시차 없는 것과 같은 용어는 현실들은 실제의 대부분의 물리적 아이템들이, 물건들이 이상적이지 않고 시간에 지남에 따라 변할지라도 어셈블리나 아이템의 의도된 목적이 달성됨을 뜻하는 허용오차를 가질 것을 요구한다는 것을 의미하고 이를 의미하는 것으로 받아들여져야 한다. 시차가 없거나, 시차 아티팩트들이 없거나, 사실상 시차가 없거나, 또는 사실상 시차 아티팩트들이 없는 것의 용어들은 관련된 문언의 유무에 관계없이 시스템, 시스템들 또는 아이템을 위한 의도된 요건들 또는 목적이 성취되도록 허용오차 요건들이 결정될 수 있다는 것을 보여줄 수도 있다.
다음의 상세한 설명에서, 특정 상세들은 예들의 철저한 이해를 제공하기 위하여 주어진다. 하지만, 예들은 이들 특정 상세들 없이 실시될 수도 있다.
도 1e 는 도 1a 내지 도 1d, 도 2b 및 도 2c 에 도시된 카메라 (20) 의 실시형태 및 도 1a 내지 도 1d 에 대한 각도들의 양의 그리고 음의 표시들을 도시한다. 카메라 (20) 는 광축 (19) 상에 위치된 입사 동공 (14) 의 한가운데 점을 포함하고 거기에서 시야 (Fov) (16) 의 정점이 광축 (19) 에 교차한다. 카메라 (20) 의 실시형태는 도 1a 내지 도 1d, 도 2a 내지 2b, 및 도 2c 전체에 걸쳐 카메라들 (112, 114e, 116e, 118e, 및 120) 로서 도시된다. 카메라 (20) 의 전방 부분은 짧은 바 (15) 로서 표현된다. 평면은 입사 동공을 포함하고 점 (14) 는 15의 전방에 위치된다. 카메라의 전방 및 입사 동공의 위치는 15 로 나타내어진다.
각도 표기들은 카메라 (20) 아래에 예시되어 있다. 양의 각도는 반시계 방향으로 포인팅되는 원형 라인에 의해 표기된다. 음의 각도는 시계 방향으로 포인팅되는 원형 라인에 의해 표기된다. 항상 양인 각도들은 시계방향 및 반시계방향 양자 모두로 포인팅하는 화살표들을 갖는 원형 라인에 의해 표기된다. 데카르트 좌표계는 좌에서 우로 가는 양의 수평 방향 X 및 하단에서 상단으로 가는 양의 수직 방향 Y 로 나타내어진다. 도 1a 내지 도 1d 는 글로벌 카메라의 부분들 (110a, 110b, 110c, 110d) 의 예시적인 계략 배열들을 제시한다. 따라서, 도 1a 내지 도 1d 에 도시된 보여진 각도 크기, 거리, 및 카메라 치수들은 축적대로인 것은 아닐 수도 있고, 글로벌 카메라의 상이한 구현들에서 달라질 수도 있다.
도 1a 는 (이 예시의 경우 명료성을 위해) 중앙 카메라 (112), 제 1 카메라 (114e), 제 2 카메라 (116e), 제 3 카메라 (118e) 및 후방 카메라 (120) 를 포함하는 글로벌 (예를 들어, 구형) 카메라 구성 (110a) 의 일 부분의 일 실시형태의 예의 측면도를 도시한다. 본원 아래에서 설명된 바처럼 예시된 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 는 제 1, 제 2 및 제 3 카메라들의 그룹 (또는 배열) 의 각각의 부분이다. 글로벌 구성 (110a) 은 또한, 제 1 카메라 (114e), 제 2 카메라 (116e), 제 3 카메라 (118e) 및 후방 카메라 (120) 에 대응하는 적어도 수개의 광 재지향 반사 미러 컴포넌트들을 포함한다. 광 재지향 반사 미러 컴포넌트 ("미러") (134) 는 제 1 카메라 (114e) 에 대응하고, 미러 (136) 는 제 2 카메라 (116e) 에 대응하고, 미러 (138) 는 제 3 카메라 (118e) 에 대응하고 미러 (140) 는 후방 카메라 (120) 에 대응한다. 미러들 (134, 136, 138, 140) 은 대응하는 카메라들 (114e, 116e, 118e, 120) 의 각각 카메라의 입사 동공들을 향해 인입 광을 반사시킨다. 이 실시형태에서, 연관된 미러를 갖지 않는 중앙 전방 카메라 (112) 를 제외하고는, 각각의 카메라에 대응하는 미러가 있다. 광은 중앙 카메라 (112) 에 의해 수신되고, 도 2a 및 도 2b 에 도시된 바처럼, 반사된 광은 제 1 세트의 8개 카메라들 (214a-h) , 제 2 세트의 8개 카메라들 (216a-h), 제 3 세트의 8개 카메라들 (218a-h) 에 의해 수신되고 글로벌 장면으로부터의 후방 카메라 (120) 가 이미지를 캡처하는데 사용되며 이에 대해서는 도 1 내지 도 5에 관하여 아래에서 보다 충분히 설명된다. 미러들의 면에서 설명되었지만, 광 재지향 반사 미러 컴포넌트들은 카메라들로 하여금 인입 광을 수신하게 하는 임의의 방식으로 광을 반사, 굴절, 또는 재지향시킬 수도 있다.
부가적으로, 일부만이 도 1a 에 도시되어 있는, 글로벌 카메라 구성 (110a) 은 복수의 실질적으로 비반사 표면들 (170a-d) 을 포함한다. 복수의 실질적으로 비반사 표면들은, 예를 들어, 다수의 미러들로부터 나오는 반사들에 의해 야기되는 이미지 아티팩트들을 일으키는 현저한 양의 광을 반사하지 않는 임의의 재료일 수 있다. 그러한 재료들의 예들은, 어두운색 플라스틱, 나무, 금속 등이다. 또 다른 실시형태에서, 복수의 실질적으로 비반사 표면들 (170a-d) 은 그 각각의 카메라들의 각각의 카메라의 시야내에 약간 있고 디지털 프로세싱은 복수의 실질적으로 비반사 표면들 (170a-d) 의 캡처된 부분들을 제거할 수 있다. 또 다른 실시형태에서, 복수의 실질적으로 비반사 표면들 (170a-d) 은 각각의 카메라들의 각각의 카메라의 시야로부터 약간 벗어나 있다.
도 1a 내지 도 1d 의 이미징 시스템은 복수의 카메라들을 포함한다. 중심 카메라 (112) 는 제 1 방향을 향하여 지향된 제 1 시야 (a) 를 갖는 위치에 위치된다. 도 1a에 도시된 바와 같이, 제 1 시야 (a) 는 중앙 카메라 (112) 가 향하는 임의의 방향일 수 있는 제 1 방향을 향하는데, 이미징 시스템이 글로벌 장면을 캡처하도록 구성되기 때문이다. 중앙 카메라 (112) 는 제 1 시야 (a) 를 통해서 확장되는 광축 (113) 을 갖는다. 제 1 시야 (a) 에서 중앙 카메라 (112) 에 의해 캡처되는 이미지는 중앙 카메라 (112) 의 투영된 광축 (113) 주위에 있으며, 중앙 카메라 (112) 의 투영된 광축 (113) 은 제 1 방향에 있다.
이미징 시스템은 또한 후방 카메라 (120) 를 포함한다. 후방 카메라 (120) 는 중앙 카메라 (112) 의 제 1 시야 (a) 를 통해 연장되는 광축 (113) 을 갖는다. 후방 카메라 (120) 는 중앙 카메라 (112) 의 광축과 일치하는 라인을 따라 배치된다. 후방 카메라 (120) 는 후방 재지향 반사 미러 컴포넌트 (140) 로부터 재지향된 인입 광을 수신하도록 배치된다. 후방 재지향 반사 미러 컴포넌트 (140) 는 중앙 카메라 (112) 와 후방 카메라 (120) 사이에 배치된다. 후방 카메라 (120) 는 후방 카메라 (120) 의 투영된 광축 (113) 주위에 제 2 시야 (FOV) (e) 에서 이미지를 캡처하도록 배치된다. 후방 카메라 (120) 의 투영된 광축 (113) 은 제 1 방향에 있다.
도 1a 에 도시된 바처럼, 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 에 의해 표현된, 이미징 시스템은 중앙 카메라 (112) 와 후방 카메라 (120) 사이에 위치된 복수의 측면 카메라들 (114e, 116e, 118e) 을 더 포함한다. 측면 카메라들 (114e, 116e, 118e) 은, 중앙 카메라 (112), 후방 카메라 (120) 및 도 1a 내지 도 1d 에 도시되지 않은 다른 측면 카메라들에 의해 캡처되지 않은 글로벌 장면의 부분들을 캡처하도록 배치된다. 측면 카메라들 (114e, 116e, 118e) 은 중앙 카메라 (112) 의 광축 (113) 으로부터 간격 띄워진다.
예시된 측면 카메라들 (114e, 116e, 118e) 각각은 카메라들의 3개의 개별 그룹들 또는 배열체들 (또는 링들) 의 각각의 카메라들이다. 측면 카메라들의 각각의 카메라의 배열체들은 중앙 카메라 (112) 의 광축과 정렬된 예시된 라인 (160a) 주위에 배치된다. 복수의 측면 카메라 (114e, 116e, 118e) 들의 각각이 실제 카메라 (112) 의 광축과 정렬된 도시된 라인 (160a) 에 대해 동심인 링을 형성하는 것과 관련하여 복수의 측면 카메라들 (114e, 116e 및 118) 의 각각은 카메라들의 “동심 링”으로 지칭될 수도 있다. 명확히 하기 위해, 각각의 링 (114e, 116e, 118e), 중심 카메라 (112) 및 후방 카메라 (120) 로부터 오직 하나의 카메라가 도 1a 및 도 1d 에 도시되어 있다. 측면 카메라 (114e) 는 8 개의 카메라들의 제 1 동심 링의 일부이고, 8 개의 카메라들의 각각은 그의 이웃하는 카메라로부터 45 도에 배치되어 카메라들의 360 도 동심 링을 형성한다. 측면 카메라 (114a-d, 114f-h) 는 도시되어 있지 않다. 유사하게, 116e 및 118e 는 카메라들의 제 1 동심 링의 카메라들에 유사하게 배치된 카메라들의 제 2 및 제 3 동심 링들의 부분이다. "링 (ring)"이라는 용어는, 예를 들어, 라인 (160a) 주위의 카메라들의 일반적인 배치를 나타내기 위해 사용되며, 링이라는 용어는 배열체를 원형인 것으로 제한하지 않는다. 용어 "동심"은 동일한 중심 또는 축을 공유하는 두 개 이상의 링들을 의미한다.
도 1a 내지 도 1d 에 도시된 바처럼, 광축 (113) 을 중심으로 한 각각의 동심 링의 반경은 상이한 것으로 보여져 있지만, 또 다른 실시형태에서, 2개 이상의 동심 링들은 광축 (113) 으로부터 동일한 반경 거리를 가질 수도 있다. 동심 링들의 카메라들 (114a-h, 116a-h) 은 다각형 형상 배열 (예를 들어, 8각형) 을 이룬다. 제 1 동심 링의 카메라들 (114a-h) 은 광축 (115) 을 따른 방향으로 제 3 시야 (b) 에서 이미지들을 캡처하도록 배열 및 구성된다. 제 3 시야 (b) 는 제 1 세트의 카메라들 (114a-h) 로부터 멀리 밖으로 향하게 투영된다. 제 3 시야 (b) 의 적어도 일 부분은 광축 (113) 을 따른 방향의 제 1 시야 (a) 와 광축 (121) 을 따른 방향의 제 2 시야 (e) 사이에 있다. 제 2 동심 링의 카메라들 (116a-h) 은 광축 (117) 을 따른 방향의 제 4 시야 (c) 에서 이미지들을 캡처하도록 배열 및 구성된다. 제 4 시야 (c) 는 제 2 세트의 카메라들 (114a-h) 로부터 멀리 밖으로 향하게 투영된다. 제 4 시야 (c) 의 적어도 일 부분은 광축 (115) 을 따른 방향의 제 3 시야 (b) 와 광축 (121) 을 따른 방향의 제 2 시야 (e) 사이에 있다. 제 3 링의 카메라들 (118a-h) 은 광축 (119) 을 따른 방향으로 제 5 시야 (d) 에서 이미지들을 캡처하도록 배열 및 구성된다. 제 5 시야 (d) 는 제 3 세트의 카메라들 (118a-h) 로부터 멀리 밖으로 향하게 투영된다. 제 5 시야 (d) 의 적어도 일 부분은 광축 (117) 을 따른 방향의 제 4 시야 (c) 와 광축 (121) 을 따른 방향의 제 2 시야 (e) 사이에 있다.
또 다른 실시형태에서, 측면 카메라들 (114e, 116e, 118e) 각각은 각각 제 1, 제 2 및 제 3 세트의 어레이 카메라들의 부분이고, 제 1, 제 2, 및 제 3 세트의 어레이 카메라들의 각각은 집합적으로, 타겟 장면의 적어도 일부를 포함하는 시야를 갖는다. 각각의 어레이 카메라는 이미지 센서를 포함한다. 제 1 세트의 어레이 카메라들의 이미지 센서들은 제 1 기판 상에 배치되고, 제 2 세트의 어레이 카메라들의 이미지 센서들은 제 2 기판 상에 배치되고 제 3 세트의 어레이 카메라들은 제 3 기판 상에 배치된다. 기판은, 예를 들어, 플라스틱, 나무 등일 수 있다. 또한, 제 1, 제 2 및 제 3 기판들은, 평행한 평면들에 배치된다.
중앙 카메라 (112), 후방 카메라 (120), 제 1 카메라들 (114a-h), 제 2 카메라들 (116a-h) 및 제 3 카메라들 (118a-h) 은, 제 1, 제 2, 제 3, 제 4, 및 제 5 시야 (a, e, b, c, d) 에서 캡처된 이미지들이 집합적으로, 이미징 시스템의 시각으로부터 봤을 때 구형 이미지를 표현하도록 구성 및 배열된다.
이미징 시스템은 후방 카메라 (120) 와 복수의 측면 카메라들 (114e, 116e, 118e) 사이에 배치된 후방 광 재지향 반사 미러 컴포넌트 (140) 를 더 포함한다. 후방 광 재지향 반사 미러 컴포넌트 (140) 는 위에서 설명된 복수의 광 재지향 반사 미러 컴포넌트들 중 일 타입의 광 재지향 반사 미러 컴포넌트이다. 후방 광 재지향 반사 미러 컴포넌트 (140) 는 또한, 후방 카메라 (120) 의 광축 (113) 에 수직으로 배치된다.
이미징 시스템은 복수의 측면 광 반사 미러 재지향 컴포넌트들 (134, 136, 138) 을 더 포함한다. 복수의 측면 카메라들 (114e, 116e, 118e) 의 각각은 복수의 광 재지향 반사 미러 컴포넌트들 (134, 136, 138) 중의 하나로부터 재지향된 광을 수신하도록 배치된다.
위의 광 재지향 반사 미러 컴포넌트들 (134, 136, 138, 140) 의 각각에서, 광 재지향 반사 미러 컴포넌트들 (134, 136, 138, 140) 은 복수의 반사체들을 포함한다.
이제 설명되는 바처럼, 글로벌 카메라 구성 (110a) 은, 글로벌 카메라 구성 (110a) 으로 하여금 시차가 없거나 또는 사실상 시차 없는 것을 가능하게 하고 공통 시각으로부터 단일 가상 시야를 갖는 것을 가능하게 하는 다양한 각도 및 거리들을 포함한다. 글로벌 카메라 구성 (110a) 은 단일 가상 시야를 갖기 때문에, 구성 (110a) 은 시차가 없거나 또는 사실상 시차가 없다.
일부 실시형태들에서, 단일 가상 시야는, 마치 카메라들 (112, 114a-h (114e가 도시됨), 116a-h (116e 가 도시됨), 118a-h (118e 가 도시됨), 및 120) 의 각각의 카메라의 가상 시야 기준점이, 그 카메라들의 일부가 단일 원점 (145) 으로부터 멀리 다양한 점들에 위치됨에도 불구하고, 카메라 (112) 의 입사 동공 한가운데 점인 단일 원점 (145) 을 갖는 것처럼, 글로벌 장면을 집합적으로 보는 복수의 시야들을 포함한다. 카메라들 (112, 114e, 116e, 118e, 및120) 만이 명료성을 위해 도시되었다. 예를 들어, 중앙 카메라 (112) 는 광축 (113) 을 따른 방향에서, 각도 a 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 실제 시야를 캡처한다. 제 1 카메라 (114e) 는 광축 (115) 을 따른 방향에서, 각도 b 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 가상 시야를 캡처한다. 제 2 카메라 (116e) 는 광축 (117) 을 따른 방향에서, 각도 c 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 가상 시야를 캡처한다. 제 3 카메라 (118e) 는 광축 (119) 을 따른 방향에서, 각도 d 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 가상 시야를 캡처한다. 후방 카메라 (120) 는 광축 (121) 을 따른 방향에서, 각도 e 에 따른 장면의 일부, 즉 단일 원점 (145) 으로부터 그의 가상 시야를 캡처한다. 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 는 카메라들의 동심의 링들의 부분이기 때문에, 집합적 가상 시야는 가상 시야의 적어도 다양한 각도들 a, b, c, d 및 e 를 포함하는 글로벌 장면을 캡처할 것이다. 완전한 글로벌 장면 이미지를 캡처하기 위하여, 모든 카메라들 (112, 114a-h, 116a-h, 118a-h, 120) 은 개별적으로 모든 실제 및 가상 시야들이 실제 및 또는 가상 이웃 시야들과 오버랩되는 것을 보장할 정도로 넓은 충분한 시야들을 가질 필요가 있다.
단일 가상 시야는, 마치 각각의 카메라들이, 카메라들의 실제 물리적 위치들이 단일 원점 (145) 으로부터 멀리 다양한 점들에 위치됨에도 불구하고, 단일 원점 (145) 으로부터 장면을 캡처하고 있는 것처럼, 보인다. 이 실시형태에서, 단일 원점 (145) 은 중앙 카메라 (112) 의 입사 동공에 위치된다. 그래서, 제 1 카메라 (114e) 의 가상 시야는, 마치 제 1 카메라 (114e) 가 중앙 카메라 (112) 의 입사 동공으로부터 시야 (b) 의 장면을 캡처하고 있는 것처럼 된다. 제 2 카메라 (116e) 의 가상 시야는, 마치 제 2 카메라 (116e) 가 중앙 카메라 (112) 의 입사 동공으로부터 시야 (c) 의 장면을 캡처하고 있는 것처럼 된다. 제 3 카메라 (118e) 의 가상 시야는, 마치 제 3 카메라 (118e) 가 중앙 카메라 (112) 의 입사 동공으로부터 시야 (d) 의 장면을 캡처하고 있는 것처럼 된다. 후방 카메라 (120) 의 가상 시야는, 마치 후방 카메라 (120) 가 중앙 카메라 (112) 의 입사 동공으로부터 시야 (e) 의 장면을 캡처하고 있는 것처럼 된다. 따라서, 중앙 카메라 (112), 제 1 카메라 (114e), 제 2 카메라 (116e), 제 3 카메라 (118e) 및 후방 카메라 (120) 의 각각은, 글로벌 장면을 캡처하기 위하여 다양한 방향들로 지향되는 중앙 카메라 (112) 의 입사 동공에 위치된 단일 원점 (145) 에서의 단일 가상 시야 기준점을 갖는다.
다른 실시형태에서, 카메라들에 대해 다양한 시야가 사용될 수도 있다. 예를 들어, 중앙 카메라 (112) 는 넓은 시야를 가질 수도 있고, 제 1 카메라 (114e) 는 좁은 시야를 가질 수도 있고, 제 2 카메라 (116e) 는 넓은 시야를 가질 수도 있고, 제 3 카메라 (118e) 는 좁은 시야를 가질 수도 있고 후방 카메라 (120) 는 넓은 시야를 가질 수도 있다. 그래서, 시차가 없거나 또는 사실상 시차 없는 이미지를 캡처하기 위해서 카메라들의 각각의 카메라의 시야들은 동일할 필요는 없다. 그러나, 일 실시형태의 예시에서 도 및 표들을 참조하여 아래에서 설명되는 것과 같이, 카메라들은 60 도의 실제 시야 및 45 도의 가상 시야를 가진다. 후술되는 실시형태에서, 시야는 본질적으로 오버랩된다. 그러나, 이미징 시스템이 시차 없거나 또는 사실상 시차 없는 이미지를 캡처하기 위해서 오버래핑이 필요한 것은 아니다.
시차 없거나 또는 사실상 시차 없는 이미징 시스템 및 가상 시야에 대한 전술한 실시형태는 다음의 각도, 거리 및 식들의 표에 열거된 다양한 입력들 및 출력들에 의해 가능해진다.
시차 아티팩트가 없는 또는 사실상 시차 아티팩트가 없는 다수의 이미지들을 취하는 한 가지 개념은 카메라의 입사 동공의 가장 가운데 점이 이미지가 캡처될 때마다 동일한 위치에 남아 있는 경우에 카메라의 광축을 피벗 (pivot) 함으로써 물체 공간에서 장면의 이미지를 캡처하는 것이다. 시차 아티팩트가 전혀 없거나 사실상 최소로 하는 파노라마 사진들을 캡처하는 기술 분야의 당업자는 이러한 방법을 알고 있을 수도 있다. 이러한 프로세스를 수행하기 위해, 도 1b 에 도시된 것과 같이, 다중 카메라 시스템 광축 (113) 을 따라서 카메라 (112) 의 광축을 정렬하고, 점 (145) 을 포함하도록 카메라 (112) 입사 동공의 가장 가운데 점을 위치시킨다. 이 위치에서 이미지가 캡처될 수 있다. 다음 1 단계는 카메라 (112) 의 광축을 시계 방향으로 45도 만큼 회전시키는 한편, 카메라 (112) 입사 동공의 가장 가운데 점에서 유지하고 도 1b 에서 도시된 페이지의 평면에 카메라 (112) 의 광축을 유지하고 그 다음에 제 2 이미지를 캡처한다. 카메라 (112) 의 시야가 실제로 각도 f2 의 2배보다 더 크다고 추가로 가정한다. 이 두 이미지들은 두 이미지들의 시야가 겹치는 장면의 유사한 물체 공간 이미지 콘텐츠를 보여야 한다. 이 방법으로 이미지를 캡처하는 경우 이 두 이미지들을 함께 병합하여 시차 아티팩트들이 없거나 또는 사실상 시차 아티팩트들이 없는 이미지를 만드는 것이 가능하다. 둘 이상의 이미지를 함께 병합하는 기술 분야의 통상의 기술자는 시차 아티팩트들이 어떻게 보일지를 이해할 수도 있으며, 시차가 없거나 또는 사실상 시차 아티팩트들이 없는 이미지를 캡처하는 목적을 이해할 수도 있다.
입사 동공 위치에 대해 카메라의 광축을 피벗시킴으로써 시차가 없거나 또는 사실상 시차 없는 이미지들을 캡처하는 것이 바람직하지 않을 수도 있다. 서로에 대해 위치가 고정된 두 개의 카메라를 사용하는 것이 바람직할 수도 있다. 이 상황에서 입사 동공들이 동일한 물리적 위치를 차지하는 두 개의 카메라를 만드는 것이 가능하지 않을 수도 있다. 대안으로서, (112) 와 같은 또 다른 카메라의 입사 동공 가운데 점을 포함하거나 거의 포함하는 입사 동공 가운데 점을 갖는 가상 카메라를 생성하기 위해 광 재지향 반사 미러 표면을 사용할 수도 있다. 이것은 표면 (134) 과 같은 광 재지향 반사 미러 표면 및 114e 와 같은 제 2 카메라를 적절하게 배치시킴으로써 수행된다. 도 1b 는 광 재지향 반사 미러 표면 (134) 이 카메라 (114e) 의 가상 카메라를 생성하는데 사용되는 그러한 시스템의 도면을 제공하며, 여기서 가상 카메라 입사 동공의 중심은 점 (145) 을 포함한다. 이 아이디어는 광 재지향 반사 미러 표면이 존재하지 않으면, 카메라 (114e) 가 그 가상 카메라가 관찰할 동일한 장면을 광 재지향 반사 미러 반사 표면으로부터 관찰하는 방식으로 광 재지향 미러 표면 (134) 을 배치시키고 카메라 (114e) 입사 동공 및 광축을 배치하는 것이다. 카메라 (114e) 가 광 재지향 반사 미러 표면의 크기 및 형상에 의존하여 가상 카메라가 관찰할 장면의 일 부분만을 관찰할 수도 있다는 것을 지적하는 것은 중요하다. 광 재지향 반사 미러 표면 (134) 이 오직 카메라 (114e) 의 시야의 일부를 차지하는 경우, 카메라 (114e) 는 오직 그의 가상 카메라가 볼 장면의 부분만을 볼 것이다.
도 1b 에 나타난 것과 같이, 길이 (152b) 및 각도 (f2, h2 및 k2) 에 대한 값을 선택하면, 표 2 의 식들을 사용하여 카메라 (114e) 입사 동공 가운데 점의 위치와 그 광축의 각도를 라인 (111) 에 대해 계산할 수 있다. 카메라 (114e) 의 입사 동공 가운데 점은 다중 카메라 시스템의 광축 (113) 으로부터 거리 (154b) 에 위치하고, 라인 (113) 에 수직인 라인 (111) 으로부터 길이 (156b) 에 위치한다. 도 1e 는, 각도의 부호에 따른 각도 회전 방향 및 길이의 부호에 따른 라인 (111 및 113) 의 교차점으로부터의 길이에 대한 방향을 나타내는 범례를 제공한다.
표 1 에서 위의 거리들, 각도들 및 식들은 이제 도 1a 를 참조하여 설명될 것이다. 도 1a 내지 도 1e 를 참조하면, 가상 입사 동공 (111) 의 평면은 가상 입사 동공 점 (145) 을 포함하고 광축 (113) 에 수직이다. 가상 입사 동공 (145) 의 가장 가운데 점은 평면 (111) 과 광축 (113) 의 교차점에 이상적으로 위치하고, 평면 (111) 은 도면을 표시하는 페이지에 수직한다. 이상적으로, 중앙 카메라 (112) 에 대한 입사 동공 및 가상 입사 동공 (145) 은 서로 일치한다. 실제 제조에서 컴포넌트들 및 배치에 있어서의 변동는 입사 동공 (145) 의 가운데 점이 광축 (113) 과 평면 (111) 의 교차점에 있지 않는 것을 초래할 수도 있다; 그리고 마찬가지로, 카메라 (112) 의 입사 동공의 실제 위치 및 정렬은 가상 입사 동공 (145) 과 정확히 일치하지 않을 수도 있으며, 이들 경우에서 우리는 "사실상" (effective) 또는 동등한 표현인 "사실상으로" (effectively) 라는 개념을 사용하여 의도된 요건들 및 또는 시스템, 시스템들 또는 아이템에 대한 목적들이 충족되도록 허용오차 요건들이 결정될 수도 있다는 것을 보여주는 것이 가능하면, 이상적인 경우 및 전술한 허용오차 내 양쪽 모두에서 시스템, 시스템들 및 또는 아이템은 의도된 요건 및/또는 목적들을 충족시키는데 동등한 것으로 고려될 수도 있다는 것을 의미한다. 따라서, 허용오차내에서 가상 입사 동공 (145) 은 카메라 (112) 의 입사 동공 및 가상 입사 동공의 가장 가운데 점과 사실상 일치하고, 중앙 카메라 (112) 입사 동공은 사실상 광축 (113) 및 평면 (111) 의 교차점에 있다.
또한, 도 1a 내지 도 1e 를 참조하면, 평면 (192) 은 광 재지향 반사 미러 표면 (140) 과 광축 (113) 사이의 교차 평면을 표현하고 광축 (113) 에 수직하다.
글로벌 카메라 구성 (110a) 에 나타낸 바처럼, 카메라 (120) 의 배치를 위한 표 1 에서의 입력은 거리 152a, 각도 f1, 각도 h1 및 각도 k1 이다. 거리 152a 는 가상 입사 동공 (111) 의 평면과 평면 (192) 사이의 거리이다. 여기서, 광 재지향 반사 미러 컴포넌트 (140) 의 바깥쪽 에지는 광 재지향 반사 미러 컴포넌트 (140) 를 따른 임의의 점일 수도 있는데, 광 재지향 반사 미러 컴포넌트 (140) 는 가상 입사 동공 (111) 의 평면에 평행하기 때문이다.
각도 f1 는 카메라 (120) 의 1/2 각도 시야 h1 와 광축 (113) 사이의 1/2 각도 시야를 표현한다. 후방 카메라 (120) 는 도 1a 내지 도 1d 에 도시된 실시형태들에 대한 표 1와 관련될 때 현재 카메라로서 지칭될 것이다. 현재 카메라의 의미는 표 1, 2, 3, 및 4 의 각각에 대해 변할 것이다. 표 1, 2, 3, 및 4 에 대하여, 본 발명자들은 h1 의 1/2 각도 시야를 갖는 카메라를 현재 카메라로 지칭할 것이다. 현재 카메라는 그것이 표 1에 관련될 때 카메라 (120) 이다. 또한, 1/2 각도 시야 f1 과 합산될 때 현재 카메라 1/2 각도 시야 h1는 도 1a 에 도시된 글로벌 카메라에 대한 180 도의 1/2 각도 시야와 동일할 것임에 주목한다.
현재 카메라와 실시형태에 사용된 모든 카메라는 각각 다수의 카메라를 포함하는 카메라 시스템일 수도 있거나 또는 전통적인 단일 배럴 (barrel) 렌즈 카메라와 상이할 수도 있는 다른 유형의 카메라일 수도 있다. 일부 실시형태에서, 사용되는 각각의 카메라 시스템은 카메라들의 어레이 또는 카메라들의 폴딩형 옵틱스 어레이로 구성될 수도 있다.
각도 h1 는 현재 카메라의 실제 시야의 1/2 을 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이다. 현재 카메라의 총 실제 시야는, 45 도인 각도 h1 의 2배이다.
도 1a 에 도시된 바처럼 각도 k1 은 광축 (113) 과 도면을 포함하는 페이지의 평면과 컴포넌트 (140) 의 광 반사 평면의 표면에 의해 형성되는 라인과 광축 (113) 사이의 각도를 나타낸다.
표 1에 나타냈지만 도 1a 에 도시되지 않은 각도 u1, u2 및 j1 는 표 1에서 발견되는 식들에 대한 중간 값들로서 주로 사용된다.
표 1에 나타냈지만 도 1a 에 도시되지 않은 거리 158a 는 표 1에서 발견되는 식들에 대한 중간 값들로서 주로 사용된다.
거리 150a 는 도 1a 를 포함하는 페이지에 의해 표현되는 평면과 광 재지향 반사 미러 컴포넌트 (140) 에 의해 형성되는 라인의 길이의 1/2 이다. 도 1a 에 도시된 140 의 길이는 150a 의 2배이고 140 의 중심을 나타내는 점은 광축 (113) 에 교차한다.
거리 160a 는 원점 (145) 에 위치된 가상 입사 동공과 현재 카메라의 입사 동공 사이의 거리의 1/2 을 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이다.
여전히 도 1a 를 참조하면, 거리 길이 156a 는 가상 입사 동공 평면 (111) 및 가상 입사 동공 평면 (111) 에 평행한 현재 카메라의 입사 동공의 평면으로부터의 좌표 위치를 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이다. 좌표계에 대한 범례는 도 1e에 도시되어 있다.
거리 길이 154a 는 광축 (113) 및 카메라 (120) 의 입사 동공으로부터 좌표 위치를 나타낸다.
각도 m1 및 n1 는 도 1a 에 도시되어 있지 않고 표 1에 나타낸 식들에 사용되는 중간 값들이다.
각도 p1 는 현재 카메라에 대한 실제 시야의 광축과 현재 카메라에 대응하는 광 재지향 반사 미러 컴포넌트의 전방 측으로부터의 각도를 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이고 대응하는 광 재지향 반사 미러 컴포넌트는 광 재지향 반사 미러 컴포넌트 (140) 이다. 광 재지향 반사 미러 컴포넌트의 전방 측은 광을 재지향시키는 측이다.
각도 q1 는 가상 입사 동공 평면 (111) 및 도 1a 를 보여주는 페이지의 평면에 의해 형성된 라인으로부터 현재 카메라에 대한 실제 시야의 광축으로의 각도를 나타낸다. 여기서, 현재 카메라는 후방 카메라 (120) 이다. 실제 시야는 실제 현실 카메라의 입사 동공으로부터 발산하는 시야를 의미한다. 이 경우에, q1 에 대한 실제 현실 카메라는 카메라 (120) 이다.
도 1b 는 중앙 카메라 (112) 및 제 1 카메라 (114e) 를 포함하는 글로벌 카메라 구성 (110b) 의 일 부분의 실시형태의 예의 측면도를 도시한다. 이 실시형태에서, 제 1 카메라 (114e) 는 현재 카메라이다. 도 1b 는 또한, 많은 상이한 시차 없는 또는 사실상 실차 없는 다중 카메라 실시형태들이 본원에 제시된 방법들을 이용하여 구상, 설계, 및/또는 실현될 수 있는 모델을 나타낸다. 표 2는 길이 152b 및 각도 f2, h2 및 k2 에 기초하여 도 1b 에 나타낸 거리 및 각도를 결정하는데 사용되는 식들을 제공한다.
위의 거리들, 각도들 및 식들은 도 1에 대하여 위에서 설명된 바와 유사한 관계를 갖는다. 표 2의 입력들의 일부는 표 1의 입력들과는 상이하다. 위의 거리들, 각도들 그리고 식들 사이의 주된 차이들은 도 1a 로부터 구별될 것이다. 도 1a 및 표 1 에서, 거리들 중 일부는 밑첨자 “a” 를 갖고 각도들 중 일부는 밑첨자 “1” 를 갖는다. 표 1의 이들 밑첨자의 거리들 및 각도들은 도 1b 및 표 2의 밑첨자의 거리 및 각도들에 유사한 관계를 갖는다. 도 1b 및 표 2 에서, 거리들 중 일부는 밑첨자 “b” 를 갖고 각도들 중 일부는 밑첨자 “2” 를 갖는다. 따라서, 도 1a 및 표 1에 대해 위에서 설명된 거리 및 각도 관계들은 유사하게, 도 1b 및 도 2 의 거리 및 각도들을 계산하는데 사용될 수 있다.
도 1b 에, 표 2의 각도 및 거리들이 예시되어 있다. 중앙 카메라 (112) 및 제 1 카메라 (114e) 가 도시되어 있다. 제 1 카메라 (114e) 의 입사 동공은 거리 154b 및 거리 156b 에 따라 가상 입사 동공 (145) 으로부터 간격 띄워진다. 거리 길이 154b 는 광축 (113) 및 제 1 카메라 (114e) 의 입사 동공 가운데 점으로부터 좌표 위치를 나타내고, 여기서 거리 154b 는 광축 (113) 에 수직하게 측정된다. 여기서, 현재 카메라는 제 1 카메라 (114e) 이다.
거리 길이 156b 는 평면 (111) 에 평행하고 제 1 카메라 (114e) 의 입사 동공 가운데 점을 포함하는 평면 및 평면 (111) 으로부터의 좌표 위치를 나타낸다. 여기서, 현재 카메라는 제 1 카메라 (114e) 이다.
여전히 도 1b 를 참조하면, 시스템 (110b) 에 대해 도 1b 에서 나타난 점 (137) 은 도 1b 를 도시하는 페이지의 평면 상에 위치되고, 광축 (113) 으로부터 거리 (150b) 에 있고 평면 (111) 및 도 1b 에 대한 페이지의 평면의 교차에 의해 형성된 라인으로부터의 거리 (152b) 에 있다. 설명을 쉽게 하기 위해 때때로 라인 (111) 을 참조할 것이며, 이것은 평면 (111) 과 도면, 예를 들어, 도 1a 내지 도 1d 중 하나를 나타내는 페이지 평면의 교차에 의해 형성된 라인으로 이해될 것이다.
평면의 광 재지향 반사 미러 표면 (134) 은 평면의 표면 (134) 과 도 1b 를 나타내는 페이지의 평면의 교차에 의해 형성되는 라인으로 나타난다. 도 1b 및 도 1a, 1c 및 1d 를 설명하기 위해서, 평면의 표면 (134) 이 페이지의 평면에 수직이라고 가정할 것이다. 그러나, 평면의 표면 (134) 이 페이지 평면에 수직일 필요는 없다는 것을 지적하는 것은 중요하다.
라인 (134) 을 참조할 때, 평면의 표면 (134) 과 페이지의 평면의 교차에 의해 형성된 라인을 참조하는 것으로 이해되어야 한다.
표 2 는, 점 (137) 도 포함하고 광축 (113) 에 평행한 라인으로부터 라인 (134) 에 시계 방향 회전 각도인 각도 k2 를 제공한다. 카메라 (112) 의 시야 에지는 170a 및 170b 로 표시된 2 개의 교차 라인으로 도시되고, 여기에서 이 두 라인들은 카메라 (112) 의 입사 동공의 가운데 점에서 교차한다. 카메라 (112) 의 1/2 각도 시야는 다중 카메라 광축 (113) 과 시야 에지 (170a 및 170b) 사이의 f2 이다.
도 1b 에 나타낸 것과 같이, 카메라 (112) 는 그것의 광축이 라인 (113) 과 일치한다. 카메라 (114e) 의 1/2 각도의 시야는 카메라 (114e) 의 광축 (115) 에 대하여 h2 이다. 카메라 (114e) 의 가상 카메라의 광축은 광 재지향 반사 미러 표면 (134) 에서 재지향되는 것으로 도시된다. 광 재지향 반사 미러 표면 (134) 이 완벽히 편평하고 도 1b 이 도시된 페이지의 평면에 수직한 평면의 표면인 것으로 가정한다. 추가적으로, 광 재지향 반사 미러 평면의 표면 (134) 이 카메라 (114e) 의 시야를 완전히 커버한다고 가정하자. 도 1b 에 도시된 것과 같이, 광축 (115) 은 평면의 광 재지향 반사 미러 표면 (134) 상의 한 점에서 교차한다. 반 시계 방향 각 p1 은 광 재지향 반사 미러 표면 (134) 으로부터 카메라 (114) 의 광축 (115) 으로 진행하는 것으로 도시된다. 미러 또는 동등한 광 반사 미러 표면으로부터의 광 반사 특성 및 도 1b 에 도시된 라인들이 도 1b 의 페이지 평면에 포함된다는 가정에 기초하여, 반시계 방향 각도들 m2 및 n2 가 p2 와 동일하다는 것을 알았다. 광선은 도 1b 를 도시하는 페이지의 평면 내에서 카메라 (114) 를 향하여 광축 (115) 을 따라 이동할 수도 있고, 광 재지향 반사 미러 등가 표면 (134) 으로부터 카메라 (114e) 의 입사 동공의 가운데 점을 향해 반사할 수도 있고, 여기서 미러와 동등한 표면들로부터의 광 반사 특성에 기초하여 각도 n2 및 p2 는 동일해야 한다. 광축 (115) 은 광 반사 표면 (134) 을 지나 가상 입사 동공 가운데 점 (145) 을 향해 확장하는 것으로 도시되어있다. 반 시계 방향 회전 각도 m2 는 삼각법에 기초하여 n2 와 동일한 것으로 보여질 수 있다.
이로부터, 평면의 광 재지향 반사 미러 표면 (134) 은 카메라 (112) 의 입사 동공의 가운데 점으로부터 카메라 (114e) 의 입사 동공 가운데 점으로 이어지는 라인과 수직하게 교차할 것이라고 보여질 수 있다. 따라서, 2 개의 라인 길이들 (160b) 은 동일한 거리로 나타날 수 있다.
평면의 광 재지향 반사 미러 표면 (134) 은 카메라 (114e) 의 시야의 일부분만을 커버하는 것이 가능하다. 이 경우, 도 1b 에 나타낸 것과 같이, 물체 공간으로부터 가운데 점 (145) 을 포함하는 가상 카메라 입사 동공을 향해 이동하는 모든 광선들이 카메라 (114e) 의 시야를 부분적으로 커버하는 광 재지향 반사 미러 표면 (134) 의 평면의 부분에서 반사되는 것은 아니다. 이러한 시각에서, 카메라 (114e) 가 절반 각도 시야 (h2) 로 정의된 시야, 광축 (115), 및 길이들 (154b 및 156b) 과 도 1e 에 도시된 범례들로 설명된 그것의 입사 동공의 위치를 갖는다는 것을 명심하는 것은 중요하다. 이 시야 내에서, 광 재지향 반사 미러 표면 (134) 의 광 반사 평면의 부분과 같은 표면은 부분적으로 그 시야 내에 있을 수도 있다. 물체 공간으로부터 카메라 (114e) 의 가상 카메라의 입사 동공을 향해 이동하고 광 재지향 반사 미러 표면 (134) 의 평면 부분에서 반사하는 광선은, 카메라들 (112 및 114e) 및 광의 재지향 미러 표면 (134) 의 평면 부분이 도 1b 에 도시된 것과 같이, 그리고 도 1e 에 도시된 범례, 표 2의 식에 따라, 그리고 입력 값들 (152b, f2, h2 및 k2) 에 따라 배치된다면, 카메라 (114e) 의 입사 동공 상으로 이동한다.
도 1c 는 중앙 카메라 (112), 제 1 카메라 (114e) 및 제 2 카메라 (116e) 를 포함하는 글로벌 카메라 구성 (110c) 의 일 부분의 실시형태의 예의 측면도를 도시한다. 이 실시형태에서, 제 2 카메라 (116e) 가 현재 카메라이다.
위의 거리들, 각도들 및 식들은 도 1a 및 도 1b 에 대하여 위에서 설명된 바와 유사한 관계를 갖는다. 표 3의 입력들의 일부는 표 1 및 2 의 입력들과는 상이하다. 위의 거리들, 각도들 그리고 식들 사이의 주된 차이들은 도 1a 로부터 구별될 것이다. 도 1a 및 표 1 에서, 거리들 중 일부는 밑첨자 “a” 를 갖고 각도들 중 일부는 밑첨자 “1” 를 갖는다. 표 1의 이들 밑첨자의 거리들 및 각도들은 도 1c 및 표 3의 밑첨자의 거리 및 각도들에 유사한 관계를 갖는다. 도 1c 및 표 3 에서, 거리들 중 일부는 밑첨자 “c” 를 갖고 각도들 중 일부는 밑첨자 “3” 을 갖는다. 따라서, 도 1a 및 표 1에 대해 위에서 설명된 거리 및 각도 관계들은 유사하게, 도 1c 및 표 3 의 거리 및 각도들을 계산하는데 사용될 수 있다.
도 1c 에, 표 3의 각도 및 거리들이 예시되어 있다. 중앙 카메라 (112), 제 1 카메라 (114e) 및 제 2 카메라 (116e) 가 도시되어 있다. 제 2 카메라 (116e) 의 입사 동공은 거리 154c 및 거리 156c 에 따라 가상 입사 동공 (145) 으로부터 간격 띄워진다. 거리 길이 154c 는 광축 (113) 으로부터 그리고 제 2 카메라 (116e) 의 입사 동공 가운데 점으로의 좌표 위치를 나타내고, 여기서 좌표계의 방향 및 배향은 도 1e 에 나타나 있다. 여기서, 현재 카메라는 제 2 카메라 (116e) 이다.
거리 길이 156c 는, 평면 (111) 에 평행하고 제 2 카메라 (116e) 의 입사 동공 가운데 점을 포함하는 평면 및 평면 (111) 으로부터의 좌표 위치를 나타낸다. 여기서, 현재 카메라는 제 2 카메라 (116e) 이다.
남아있는 거리 및 각도들은 표 3에서 찾을 수 있고 도 1c 에 예시되어 있다. 표 3 에서 발견되고 도 1c 에 예시된 거리 및 각도들의 관계는 표 1에서 발견되고 도 1a 및 표 2에서 예시되고 도 1b 에 예시된 거리 및 각도들과 상관될 수 있다.
도 1d 는 중앙 카메라 (112), 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 를 포함하는 글로벌 카메라 구성 (110d) 의 일 부분의 실시형태의 측면도를 도시한다. 이 실시형태에서, 제 3 카메라 (118e) 가 현재 카메라이다.
위의 거리들, 각도들 및 식들은 도 1a 내지 도 1c 에 대하여 위에서 설명된 바와 유사한 관계를 갖는다. 표 4의 입력들의 일부는 표 1 내지 3 의 입력들과는 상이하다. 위의 거리들, 각도들 그리고 식들 사이의 주된 차이들은 도 1a 로부터 구별될 것이다. 도 1a 및 표 1 에서, 거리들 중 일부는 밑첨자 “a” 를 갖고 각도들 중 일부는 밑첨자 “1” 를 갖는다. 표 1의 이들 밑첨자의 거리들 및 각도들은 도 1d 및 표 4의 밑첨자의 거리 및 각도들에 유사한 관계를 갖는다. 도 1d 및 표 4 에서, 거리들 중 일부는 밑첨자 d 를 갖고 각도들 중 일부는 밑첨자 4 를 갖는다. 따라서, 도 1a 및 표 1에 대해 위에서 설명된 거리 및 각도 관계들은 유사하게, 도 1d 및 도 4 의 거리 및 각도들을 계산하는데 사용될 수 있다.
도 1d 에, 표 4의 각도 및 거리들이 예시되어 있다. 중앙 카메라 (112), 제 1 카메라 (114e), 제 2 카메라 (116e) 및 제 3 카메라 (118e) 가 도시되어 있다. 제 3 카메라 (118e) 의 입사 동공은 거리 154d 및 거리 156d 에 따라 가상 입사 동공 (145) 으로부터 간격 띄워진다. 거리 길이 154d 는 광축 (113) 및 제 3 카메라 (118e) 의 입사 동공 가운데 점으로부터 좌표 위치를 나타내고, 여기서 거리 154d 는 광축 (113) 에 수직하게 측정된다. 여기서, 현재 카메라는 제 3 카메라 (118e) 이다.
거리 156d 는, 평면 (111) 에 평행하고 제 3 카메라 (118e) 의 입사 동공 가운데 점을 포함하는 평면 및 평면 (111) 으로부터의 좌표 위치를 나타낸다. 여기서, 현재 카메라는 제 3 카메라 (118e) 이다.
남아있는 거리 및 각도들은 표 4에서 찾을 수 있고 도 1d 에 예시되어 있다. 표 4 에서 발견되고 도 1d 에 예시된 거리 및 각도들의 관계는, 표 1에서 발견되고 도 1a, 표 2에서 예시되고 도 1b 및 표 3에서 예시되고 도 1c 에 예시된 거리 및 각도들과 상관될 수 있다.
다중 카메라 시스템을 설계하는 한 가지 방법에 대한 설명이 이제 설명될 것이다. 하나의 접근법은 도 1b 에 나타난 모델, 도 1e 에 나타난 범례 및 표 2 에 나타난 식들을 사용하여 다중 카메라 시스템을 개발하는 것이다. 첫 번째 결정들 중 하나는 중심 카메라 (112) 가 사용될 것인지를 결정하는 것이다. 중심 카메라 (112) 가 사용되지 않는 경우, 절반 각도의 시야 (f2) 는 0 으로 설정되어야 한다. 다음으로, 1/2 각도의 시야 (h2) 는 이러한 시스템을 설계하는 사람들이 염두에 두어야 할 다른 고려 사항들에 기초하여 선택될 수도 있다. 길이 (152b) 는 다중 카메라 시스템의 크기를 스케일링할 것이다. 설계를 개발하는 중에 한가지 목적은, 사용될 수도 있거나 사용될 카메라의 크기가 설계의 최종 구조에 피팅되는지 확인하는 것이다. 길이 (152b) 는 다중 카메라 시스템에 사용될 수도 있는 카메라 및 다른 컴포넌트들을 수용하는 적절한 길이를 찾기 위해서 설계 단계 도중에 변경될 수도 있다. 152b 에 적합한 값을 선택할 때 고려해야 할 다른 고려사항이 있을 수도 있다. 광 재지향 반사 미러 평면의 표면의 각도 (k2) 는 길이들 (154b 및 156b) 및 도 1e 상에 나타낸 범례 및 카메라 (114e) 의 광축 각도 (q2) 를 이용하여 카메라 (114e) 의 입사 동공에 대한 위치를 찾는 목적으로 변경될 수 있다. 시스템에서 각각의 카메라로부터 모든 이미지들을 함께 병합하는 것에 의해 얻는 것이 가능할 수도 있는 가장 넓은 다중 카메라 이미지를 원할 수도 있다. 이러한 경우에는 각 카메라를 모든 카메라의 시야 밖으로 유지하는 것이 바람직하다. 원하는 결합된 이미지 시야가 얻어질 때까지 이 결합된 시야로부터 다른 카메라들의 이미지들을 유지하면서 152b, f2, h2, 및 k2 에 대해 상이한 입력들을 시도해야 할 필요가 있을 수도 있다.
다중 카메라 시스템이 표 2 및 도 1b 및 도 1e 에 따라 입력들 152b, f2, h2, 및 k2 에 의해 지정되고 나면, 본 발명자들은 이 다중 카메라 시스템을 제 1 카메라 스테이지로서 표기할 수 있다. 본 발명자들은 다시 도 1b 에 도시된 모델을 사용할 수 있고 여기서 제 1 카메라 스테이지가 이번에는 중앙 카메라 (112) 에 사용될 것이다.
본 발명자들은 이제, 다시 도 1b 를 사용하여 제 2 카메라 스테이지를 설계하고 제 1 카메라 스테이지를 중앙 카메라 (112) 로서 사용한다. 본 발명자들은 제 2 카메라 스테이지에 대해 선택된 1/2 각도 f2 와 함께 작동할 높이 152b 를 선택할 필요가 있을 것이다.
이 경우에 제 2 스테이지에 대해 선택된 1/2 각도 시야 f2 는 제 1 카메라 스테이지에 의해 관찰된 실제 이미지보다 도 단위에서 (in degrees) 가 더 적을 수도 있다. f2 에 대해 무슨 값을 넣을지의 선택은 설계자의 목적 및 타깃에 의존할 것이다.
f2 에 대한 값이 선택되었다고 가정하면 질문은, 제 2 카메라 스테이지의 중앙 카메라로서 제 1 카메라 스테이지를 포함하는 제 2 카메라 스테이지를 구성하는 주위 카메라들의 h2 를 위해 무슨 1/2 각도 시야가 선택되야 하는지이다. 모든 카메라들은 서로 상이한 1/2 각도 시야를 가질 수 있지만, 제 2 카메라 스테이지의 모든 주위 카메라들 (114e) 이 동일한 1/2 각도 시야 (h2) 를 가질 것으로 가정한다. 모든 카메라들을 서로의 시야에서 벗어나게 유지하기 위해 각도들 h2 및 k2 그리고 제 1 카메라 스테이지에 피팅될 제 2 카메라 스테이지의 152b 에 대한 길이를 선택하는 것이 바람직하고 실현가능한 구조 내에 카메라들을 두는 것이 물리적으로 가능하다. 도 1a 는 이들 목적들을 설명하는데 도움이 될 것이다. 표 1 내지 4 의 입력 값들 152, f, h 및 k 이 광 재지향 반사 미러 표면 (136) 과 흑색 비반사 또는 최소 비반사 표면 (170c) 사이의 알려진 크기를 갖는 카메라 (114e) 에 대하여 선택되었다; 예를 들어, 카메라 (114e) 는 그 설계에 대한 목적들에 기초하여 표면들 (170c 및 136) 간에 피팅될 필요가 있을 수도 있다. 표면 (170c) 은 도 1a 에 도시된 바처럼, 카메라 (114e) 에 의해 관찰된 시야를 제한할 수도 있다. 카메라 (114e) 의 시야는 또한, 카메라 (114e) 의 시야의 일부만을 차지할 수도 있는 광 재지향 반사 미러 표면 (134) 에 의해 제한될 수도 있다; 예를 들어, 광 재지향 반사 미러 표면 (134) 은 카메라 (114e) 의 시야를 완전히 채우지 않을 수도 있는 카메라 (114e) 의 시야 내의 오브젝트로서 생각될 수도 있다. 제 2 카메라 스테이지의 카메라 (116e) 는 비반사 또는 최소 반사 표면 (170d) 및 광 재지향 반사 미러 표면 (136) 에 의해 제한되는 시야를 가질 수도 있다. 광 재지향 반사 미러 표면은 추가적인 기능을 제공하고, 여기서 광 재지향 반사 미러 표면 (136) 의 길이는 카메라 (114e) 가 카메라 (116e) 에 의해 관찰되지 않을 수 있도록 확장될 수도 있다. 114e 의 이미지는 크롭 아웃 (crop out) 될 수 있기 때문에, 카메라 (114e) 가 116e 의 이미지내에 있지 않게 차단할 필요가 없을 수도 있다. 카메라 (114e) 의 이미지가 카메라 (116e) 시야에 보이지 않게 차단하는 것을 바람직하게 만들 수도 있는 다른 고려사항들이 있을 수도 있다.
제 1 카메라 스테이지를 포함하는 제 2 카메라 스테이지에 대한 설계가 완료되고 나면, 다시 도 1b 및 표 2 를 사용하여 제 3 카메라 스테이지를 설계할 수 있고 여기서 본 발명자들은 도 1b 에 도시된 카메라 (112) 에 대해 중앙 카메라로서 제 2 카메라 스테이지를 사용하고 제 2 카메라 스테이지를 설계하는데 사용된 접근법을 유사한 방식으로 반복한다.
도 1a 에 도시된 실시형태에서, 앞서 위에서 설명된 위치에서 광 재지향 반사 미러 표면 (140) 및 다중 카메라 시스템 광축 (113) 과 일치되는 광축을 갖는 제 4 카메라 스테이지를 위해 단일 카메라 (120) 가 보여져 있다. 광 재지향 반사 미러 표면 (140) 위치 및 배향은 도 1b 및 1e 에 도시된 모델 및 표 1 을 사용하여 설명된다.
도 1a 에 도시된 카메라 (120) 와 같은 단일 카메라를 사용하는 것은 필요하지 않다. 카메라 (120) 는 제 1 스테이지 카메라 및 또는 제 2, 제 3 이상의 스테이지들과 같은 더 많은 스테이지들에 대해 위에서 설명된 바처럼 다중 카메라 시스템으로 구성될 수도 있다.
도 1a 의 대안의 실시형태에서, 제 1 카메라 스테이지가 뷰인 방향의 대체로 반대 방향으로 일반적으로 포인팅하는 오브젝트 공간을 보는 다수의 카메라들을 사용하는 것이 가능할 수도 있다.
제 1 카메라 스테이지, 제 2 카메라 스테이지, 제 3 카메라 스테이지 및 또는 제 4 카메라 스테이지 및 또는 더 많은 스테이지들 보다 더 많거나 또는 더 적은 카메라 스테이지들이 있을 수도 있다. 더 많거나 적은 카메라 스테이지들을 사용하는 것에 의해서, 예를 들어, 카메라 (120) 와 같은 리어 카메라를 이용하지 않을 수도 있는, 넓은 시야 카메라, 반구형 넓은 시야 카메라, 또는 반구형보다 더 넓은 울트라 시야 카메라를 고안, 설계 또는 구상가능할 수도 있다. 실제 설계는 다중 카메라 시스템을 개발하는 중 만들어진 선택들에 의존한다. 앞서 언급했듯이 카메라들 중 어느 카메라가 다른 카메라들 중 어느 것과 동일한 시야를 가질 필요는 없다. 모든 광 재지향 반사 미러 표면들은 그 광 재지향 반사 미러 표면들을 보는 클로우즈 카메라 (closes camera) 에 대하여 동일한 형상, 크기 또는 배향을 가질 필요가 있는 것은 아니다. 또한, 시차가 없거나 또는 사실상 시차 없는 이미지를 캡처할 수도 있는 것으로 설명된 다중 카메라 시스템을 갖기 위해서 모든 카메라들이 이웃하는 이미지의 시야를 완전히 오버랩할 필요는 없다.
모델 도 1b 에서 광 재지향 반사 미러 표면 (134) 에 교차하는 광축 (115) 이 보여진다. 도 1b 에서 도시된 것과 같이, 위에 설명된 교차점이 평면의 광 재지향 반사 미러 표면 (134) 상의 어떤 위치로 움직이는 경우 다중 카메라 시스템은 여전히 시차가 없거나 또는 사실상 시차가 없을 수 있다는 것이 보여질 수 있다. 위에 설명된 바처럼, 교차점은 카메라 (114e) 의 광축 (115) 이 가상 카메라의 광축과 교차하는 점이며 교차점은 평면의 광 재지향 반사 미러 표면 (134) 상에 위치한다.
다중 카메라 시차가 없거나 또는 사실상 시차 없는 카메라 시스템에서 사용되는 카메라들 각각의 카메라의 시야들이 동일할 필요는 없다.
표면 (134) 이 편평하지 않지만, 전체 카메라 시스템의 설계의 일부인 광을 반사 또는 굴절할 수 있는 방법으로 광 재지향 반사 미러 표면들이 도 1b 에서 광 재지향 미러 표면 (134) 으로 표현되는 시차가 없거나 또는 사실상 시차 없는 다중 카메라 시스템을 설계하는 것이 가능할 수도 있다.
도 2a 는 중앙 카메라 (212), 제 1 링의 카메라들 (214a-h), 제 2 동심 링의 카메라들 (216a-h), 제 3 동심 링의 카메라들 (218a-h) 및 후방 카메라 (미도시) 를 포함하는 글로벌 카메라 구성 (210a) 의 일 부분의 실시형태의 정면도를 도시한다. 명료성을 위해, 광 재지향 반사 미러 컴포넌트들 및 사실상 비반사 표면들은 도시되어 있지 않다.
각각의 동심 링들의 각각에서 카메라들의 각각은 각각의 동심 링에 대해 이웃 카메라들의 각각으로부터 45도에 위치되어 있다. 예를 들어, 카메라 (216a) 는 b 카메라들의 평면 및 a 카메라들의 평면에 대해 카메라 (216b) 로부터 45도 위치에 위치되어 있다. 카메라 (216a) 는 또한, h 카메라들의 평면 및 a 카메라들의 평면에 대해 카메라 (216h) 로부터 45도 위치에 위치되어 있다.
각각의 동심 링들의 각각에 대해 카메라들 각각은 중앙 카메라 (212) 로부터 후방 카메라로 확장되는 축 (250) 으로부터 등거리에 있다. 예를 들어, 카메라들 (216a-h) 은 모두 축 (250) 으로부터 등거리에 있다.
이 실시형태에서, 후방 카메라는 전방 카메라 뒤쪽에 위치해 있기 때문에 후방 카메라는 도시되어 있지 않다. 부가적으로, 카메라들의 위치들은 각각의 카메라의 상대적인 위치를 보여주는 예시적인 목적을 위한 것이다. 각각의 카메라는 도 1a 내지 도 1d 에 대하여 위에서 논의된 구성들에 따라 시야들을 캡처하기 위해 틸팅될 수도 있다.
이 예시에서, 제 1 동심 링, 제 2 동심 링 및 제 3 동심 링은 각각 8개의 카메라들을 갖는 것으로서 도시되어 있다. 캡처되는 글로벌 이미지의 품질을 증가시키기 위해 부가적인 카메라들이 부가될 수 있다. 캡처되는 글로벌 이미지의 품질을 증가시키기 위해 부가적인 동심 링들이 부가될 수 있다.
도 2b 는 중앙 카메라 (미도시), 제 1 동심 링의 카메라들 (214a-h) (214b-d 는 미도시), 제 2 동심 링의 카메라들 (216a-h) (216b-d 는 미도시), 제 3 동심 링의 카메라들 (218a-h) (218b-d 는 미도시) 및 후방 카메라 (220) 를 포함하는 글로벌 카메라 구성 (210b) 의 일 부분의 실시형태의 측면도를 도시한다.
각각의 동심 링들의 각각에서 카메라들의 각각은 각각의 동심 링에 대해 동일한 평면에 위치되어 있다. 예를 들어, 카메라들 (216a-h) 은 평면 (276) 을 따라 위치되어 있다. 유사하게, 카메라들 (214a-h) 은 평면 (274) 을 따라 위치되고 카메라들 (218a-h) 은 평면 (278) 을 따라 위치된다. 후방 카메라 (220) 는 평면 (280) 을 따라 위치된다. 예시적인 실시형태에서, 평면들 (274, 276 278, 280) 은 평행하거나 또는 실질적으로 평행하다. 축 (250) 은, 중앙 카메라의 광축과 동일한 가상 축인, 후방 카메라 (220) 의 광축을 예시한다.
이 실시형태에서, 카메라들의 위치들은 각각의 카메라의 상대적인 위치를 보여주는 예시적인 목적을 위한 것이다. 각각의 카메라는 도 1a 내지 도 1d 에 대하여 위에서 논의된 구성들에 따라 시야들을 캡처하기 위해 틸팅될 수도 있다.
이 예시에서, 제 1 동심 링, 제 2 동심 링 및 제 3 동심 링은 각각이 8개의 카메라들 (각각의 동심 링에 대한 카메라들 b-d 은 각각의 동심 링의 카메라들의 뒤쪽에 가려져 있다) 을 갖는 것으로 나타나 있다. 캡처되는 글로벌 이미지의 품질을 증가시키기 위해 부가적인 카메라들이 부가될 수 있다. 캡처되는 글로벌 이미지의 품질을 증가시키기 위해 부가적인 동심 링들이 부가될 수 있다.
도 2c 는 중앙 카메라 (미도시), 제 1 동심 링의 카메라들 (214a-h) (214b-d 는 미도시), 제 2 동심 링의 카메라들 (216a-h) (216b-d 는 미도시), 제 3 동심 링의 카메라들 (218a-h) (218b-d 는 미도시) 및 후방 카메라 (220) 를 포함하는 글로벌 카메라 구성 (210b) 의 일 부분의 실시형태의 측면도를 도시한다.
도 2c 가 평면 (278) 을 따라 위치된 동심 링에 대해 상이한 위치에 후방 카메라 (220) 를 도시하는 것을 제외하고는, 도 2c 는 도 2b 와 유사하다. 그 후방 카메라 (220) 의 위치는 후방 카메라 (220) 가 평면들 (274, 276, 278) 을 따른 다른 동심 링들에 대해 다양한 위치들에 위치될 수 있다는 것을 예시하기 위해 사용된다. 하지만, 시차 없거나 또는 실질적으로 시차 없는 글로벌 카메라 시스템을 유지하기 위하여, 후방 카메라 (220) 는 다른 카메라들과 동일한 가상 입사 동공 위치로부터 가상 시야를 가져야 한다. 이 가상 시야는 다양한 구현들에 의해 달성될 수 있다. 예를 들어, 하나의 구현은 후방 카메라 (220) 를 다른 카메라들과 동일한 가상 입사 동공 위치로부터 가상 시야를 갖는 카메라들의 어레이가 되게 하는 것을 포함한다. 이 타입의 카메라는 도 3에 관하여 아래에서 더 상세하게 설명된다.
구현될 수도 있는 후방 카메라 (220) 의 또 다른 예는 후방 카메라의 반대 방향을 향하도록 주위로 도 2b 의 후방 카메라 (220) 를 회전시킨다. 이 구현에서, 후방 카메라는 다른 카메라들과 동일한 가상 입사 동공 위치로부터 가상 시야를 갖지 않는다. 그래서, 이 구현은 위에서 설명된 실시형태들에서처럼 시차 없거나 또는 실질적으로 시차 없지는 않다.
이 실시형태에서, 카메라들의 위치들은 각각의 카메라의 상대적인 위치를 보여주는 예시적인 목적을 위한 것이다. 각각의 카메라는 도 1a 내지 도 1d 에 대하여 위에서 논의된 구성들에 따라 시야들을 캡처하기 위해 틸팅될 수도 있다.
이 예시에서, 제 1 동심 링, 제 2 동심 링 및 제 3 동심 링은 각각 8개의 카메라들 (각각의 동심 링에 대한 카메라들 b-d 은 각각의 동심 링의 카메라들의 뒤쪽에 가려져 있다). 부가적인 또는 더 적은 카메라들이 부가될 수 있다. 부가적인 또는 더 적은 동심 링들이 부가될 수 있다.
도 3은 폴딩형 광학 다중 센서 어셈블리 (310) 의 일시형태의 단면의 측면도를 도시한다. 폴딩형 광학 다중 센서 어셈블리 (310) 는, 다른 것들 중에서도, 자동 초점 시스템 및 기법들에 사용하기 적합하다. 폴딩형 광학 다중 센서 어셈블리 (310) 는 이미지 센서들 (332, 334), 반사 2차 광 폴딩 표면들 (328, 330), 렌즈 어셈블리들 (324, 326), 및 중앙 반사 엘리먼트 (316) 를 포함하고 이들은 모두 기판 (336) 에 장착 (또는 연결) 될 수도 있다.
이미지 센서들 (332, 334) 은, 소정의 실시형태들에서, 전하 결합 디바이스 (charge-coupled device; CCD), 상보성 금속 산화물 반도체 센서 (complementary metal oxide semiconductor sensor; CMOS), 또는 광을 수신하고 수신된 이미지에 응답하여 이미지 데이터를 생성하는 임의의 다른 이미지 센싱 디바이스를 포함할 수도 있다. 각각의 센서 (332, 334) 는 어레이에 배열된 복수의 센서들 (또는 센서 엘리먼트들) 을 포함할 수도 있다. 이미지 센서들 (332, 334) 은 스틸 사진들을 위한 이미지 데이터를 생성할 수 있고 또한 캡처된 비디오 스트림을 위한 이미지 데이터를 생성할 수도 있다. 센서들 (332 및 334) 은 개별 센서 어레이일 수도 있거나, 또는 각각은 센서 어레이들의 어레이들, 예를 들어, 센서 어레이들의 3x1 어레이를 표현할 수도 있다. 그러나, 당업자에 의해 이해되는 바와 같이, 개시된 구현들에서 센서들의 임의의 적합한 어레이가 이용될 수도 있다.
센서들 (332, 334) 이 도 3에 도시된 기판 (336) 상에 장착될 수도 있다. 일부 실시형태들에서, 모든 센서들은, 편평한 기판에 장착됨으로써 하나의 평면상에 있을 수도 있다. 기판 (336) 은 임의의 적합한 실질적으로 편평한 재료일 수도 있다. 중앙 반사 엘리먼트 (316) 및 렌즈 어셈블리들 (324, 326) 은 또한 기판 (336) 상에 장착될 수도 있다. 센서 어레이 또는 어레이들, 복수의 렌즈 어셈블리들, 및 복수의 1 차 및 2 차 반사 또는 굴절 표면을 장착하기 위한 다수의 구성들이 가능하다.
일부 실시형태들에서, 중앙 반사 엘리먼트 (316) 는 타겟 이미지 장면으로부터 광을 센서들 (332, 334) 을 향해 재지향시키는데 사용될 수도 있다. 중앙 반사 엘리먼트 (316) 는 반사 표면 (예를 들어, 미러) 또는 복수의 반사 표면들 (예를 들어, 미러들) 일 수도 있고, 인입 광을 이미지 센서들 (332, 334) 로 적당히 재지향시키기 위해 필요에 따라 형상화되거나 또는 평탄할 수도 있다. 예를 들어, 일부 실시형태들에서, 중앙 반사 엘리먼트 (316) 는 인입 광선을 렌즈 어셈블리들 (324, 326) 을 통해 센서들 (332, 334) 로 반사시키도록 형상화되고 크기인 미러일 수도 있다. 중앙 반사 엘리먼트 (316) 는 타겟 이미지를 포함하는 광을 복수의 부분들로 분할하고 각각의 부분을 상이한 센서로 지향시킬 수도 있다. 예를 들어, 중앙 반사 엘리먼트 (316) 의 제 1 반사 표면 (312) (다른 실시형태들이 반사 표면보다는 굴절 프리즘을 구현할 수도 있으므로, 1 차 광 폴딩 표면이라고도 지칭됨) 은 제 1 시야 (320) 에 대응하는 광의 일 부분을 제 1 (좌측) 센서 (332) 를 향해 전송할 수도 있는 한편, 제 2 반사 표면 (314) 은 제 2 시야 (322) 에 대응하는 광의 제 2 부분을 제 2 (우측) 센서 (125) 를 향해 전송할 수도 있다. 이미지 센서들의 시야들 (140, 145) 이 함께 적어도 타깃 이미지를 커버한다는 것을 인식해야 한다.
수신 센서들 각각이 복수의 센서들의 어레이인 일부 실시형태에서, 중심 반사 엘리먼트는 타깃 이미지 장면의 상이한 부분을 각각의 센서들을 향해 보내기 위해서 서로에 대하여 앵글링 (angling) 된 다수의 반사 표면들로 이루어질 수도 있다. 어레이 내의 각각의 센서는 실질적으로 상이한 시야를 가질 수도 있고, 일부 실시형태에서는 시야가 오버랩될 수도 있다. 중심 반사 엘리먼트의 특정 실시형태들은 렌즈 시스템을 설계할 때 자유도를 증가시키기 위해 복잡한 비평면의 표면들을 가질 수도 있다. 또한, 중심 엘리먼트가 반사 표면으로 논의되지만, 다른 실시형태들에서 중심 엘리먼트는 굴절형일 수도 있다. 예를 들어, 중심 엘리먼트는 복수의 패싯들로 구성된 프리즘일 수도 있으며, 각각의 패싯은 장면을 포함하는 광의 일부를 센서들 중 하나로 지향시킨다.
중심 반사 엘리먼트 (316) 에서 반사된 후에, 인입되는 광의 적어도 일부는 렌즈 어셈블리들 (324, 326) 각각을 통해 전파할 수도 있다. 중심 반사 엘리먼트 (316) 와 센서들 (332, 334) 와 반사 표면들 (328, 330) 사이에 하나 이상의 렌즈 어셈블리들 (324, 326) 이 제공될 수도 있다. 렌즈 어셈블리들 (324, 326) 은 각각의 센서 (332, 334) 를 향하여 지향되는 타깃 이미지의 부분을 포커싱하기 위해 사용될 수도 있다.
일부 실시형태들에서, 각각의 렌즈 어셈블리는 하나 이상의 렌즈들 및 복수의 상이한 렌즈들 위치들 중에서 렌즈를 이동시키기 위한 액추에이터 (actuator) 를 포함할 수도 있다. 액추에이터는 보이스 코일 모터 (VCM), 마이크로-전자 기계 시스템 (MEMS) 또는 형상 기억 합금 (SMa) 일 수도 있다. 렌즈 어셈블리는 액추에이터를 제어하기 위한 렌즈 드라이버를 더 포함할 수도 있다.
일부 실시형태들에서, 전통적인 자동 초점 기법들은 각각의 카메라의 렌즈 (115, 130) 와 대응하는 센서 (105, 125) 사이의 초점 거리를 변화시키는 것에 의해 구현될 수도 있다. 일부 실시형태들에서, 이것은 렌즈 배럴 (lens barrel) 을 이동시키는 것에 의해 달성될 수도 있다. 다른 실시형태들은 렌즈 어셈블리에 대한 광 재지향 반사 미러 표면의 각도를 조정하는 것에 의해 또는 중앙 광 재지향 반사 미러 표면을 위 또는 아래로 이동시키는 것에 의해 초점을 조정할 수도 있다. 소정의 실시형태들은 각각의 센서 상에 측면 광 재지향 반사 미러 표면들을 이동시키는 것에 의해 초점을 조정할 수도 있다. 그러한 실시형태들은, 어셈블리로 하여금 개별적으로 각각의 센서의 초점을 조정하는 것을 허용할 수도 있다. 또한, 일부 실시형태들은, 예를 들어 전체 어셈블리 상에 액체 렌즈와 같은 렌즈를 배치시키는 것에 의해, 전체 어셈블리의 초점을 한 번에 변화시키는 것이 가능하다. 소정의 구현들에서, 카메라 어레이의 초점을 변화시키기 위해 연산 사진술 (computational photography) 이 이용될 수도 있다.
시야들 (320, 322) 은 가상 시야가 가상 축들 (338, 340) 에 의해 정의되는 가상 영역 (342) 으로부터 인지된 가상 시야를 폴딩형 광학 다중 센서 어셈블리 (310) 에 제공한다. 가상 영역 (342) 은 센서들 (332, 334) 이 타깃 이미지의 인입되는 광을 인지하고 이에 감응하는 영역이다. 가상 시야는 실제 시야와 대조되어야 한다. 실제 시야는 검출기 (detector) 가 인입되는 광을 감응하는 각도이다. 실제 시야는, 가상 시야가 인입되는 광이 실제로 절대 도달하지 못하는 인지되는 각도라는 점에서, 가상 시야와는 다르다. 예를 들어, 도 3 에서, 인입되는 광은 반사 표면들 (312, 314) 에서 반사되기 때문에 인입되는 광은 절대로 가상 영역 (342) 에 도달하지 못한다.
다수의 측면 반사 표면들, 예를 들어, 반사 표면들 (328 및 330) 은 센서들과 대향하여 중앙 반사 엘리먼트 (316) 주위에 제공될 수 있다. 렌즈 어셈블리들을 통과한 후에, 측면 반사 표면들 (328, 330) (다른 실시형태들이 반사 표면보다는 굴절 프리즘을 구현할 수도 있으므로, 2 차 광 폴딩 표면이라고도 또한 지칭됨) 은 광을 센서들 (332, 334) 상으로 (도 3 의 배향으로 도시된 바와 같이, 하향으로) 반사시킬 수 있다. 도시된 바와 같이, 센서 (332) 는 반사 표면 (328) 아래에 배치될 수도 있고, 센서 (334) 는 반사 표면 (330) 아래에 배치될 수도 있다. 그러나, 다른 실시형태들에서, 센서들은 측면 반사 표면들 위에 있을 수도 있고, 측면 반사 표면들은 광을 상향으로 반사시키도록 구성될 수도 있다. 각각의 렌즈로부터의 광이 센서들을 향해 재지향되는 측면 반사 표면들 및 센서들의 다른 적합한 구성들이 가능하다. 소정의 실시형태들은, 측면 반사 표면들 (328, 330) 의 이동으로 하여금, 연관된 센서의 초점 또는 시야를 변화시킬 수 있게 할 수도 있다.
각각의 센서의 시야 (320, 322) 는 그 센서와 연관된 중앙 반사 엘리먼트 (316) 의 표면에 의해 물체 공간으로 지향될 수도 있다. 카메라 각각의 시야가 물체 필드의 상이한 위치들로 향해질 수 있도록 미러을 기울이기 위해 및/또는 어레이의 프리즘을 움직이기 위해 기계적 방법들이 사용될 수도 있다. 이것은, 예를 들어, 높은 동적 범위 카메라를 구현하거나, 카메라 시스템의 해상도를 높이거나, 플랜옵틱 카메라 시스템을 구현하기 위해 사용될 수도 있다. 각각의 센서들의 (또는 각각의 3x1 어레이의) 시야는 물체 공간으로 투영될 수도 있고, 각각의 센서는 그 센서의 시야에 따라 타깃 장면의 일부를 포함하는 부분 이미지를 캡처할 수도 있다. 도 3에 도시된 것과 같이, 일부 실시형태들에서, 대향하는 센서 어레이들 (332, 334) 에 대한 시야들 (320, 322) 은 소정 량 (318) 만큼 오버랩될 수도 있다. 오버랩 (318) 을 줄이고 단일 이미지를 형성하기 위해, 후술되는 것과 같이 스티칭 프로세스는 2 개의 대향하는 센서 어레이들 (332, 334) 로부터의 이미지를 결합하기 위해 사용될 수도 있다. 스티칭 프로세스의 특정 실시형태들은 부분 이미지들을 함께 스티치함에 있어서 공통 특징 (feature) 들을 식별하기 위해 오버랩 (318) 을 채용할 수도 있다. 오버래핑 이미지들을 함께 스티치한 뒤에, 스티치된 이미지는 원하는 종횡비, 예를 들어 4 : 3 또는 1 : 1 으로 크롭되어 최종 이미지를 형성할 수도 있다. 일부 실시형태들에서, 각각의 FOV에 관한 광학 엘리먼트들의 배열체는 오버랩 (318) 을 최소화하여 이미지들을 접합하는데 필요한 이미지 프로세싱이 최소로 또는 전혀 없이 다중 이미지들이 단일한 이미지로 형성되게 배열된다.
도 3 에 예시된 바와 같이, 폴딩형 광학 다중 센서 어셈블리 (310) 는 총 높이 (346) 를 갖는다. 일부 실시형태들에서, 총 높이 (346) 는 대략 4.5 mm 이하일 수 있다. 다른 실시형태들에서, 총 높이 (346) 는 대략 4.0 mm 이하일 수 있다. 예시되지 않았지만, 전체 폴딩형 광학 다중 센서 어셈블리 (310) 는 대략 4.5 mm 이하 또는 대략 4.0 mm 이하의 대응하는 내부 높이를 갖는 하우징에 제공될 수도 있다.
본 명세서에서 사용되는 바와 같이, 용어 "카메라" 는 이미지 센서, 렌즈 시스템, 및 다수의 대응하는 광 폴딩 표면들을 지칭할 수도 있다; 예를 들어, 1 차 광 폴딩 표면 (314), 렌즈 어셈블리 (326), 2 차 광 폴딩 표면 (330), 및 센서 (334) 가 도 3 에 예시되어 있다. "어레이" 또는 "어레이 카메라" 라고 지칭되는 폴딩형 광학 다중 센서 어레이는, 다양한 구성들로 복수의 이러한 카메라들을 포함할 수 있다. 어레이 구성들의 일부 실시형태들은, 2013년 3월 15일자로 출원되고 발명의 명칭이 "MULTI-CAMERA SYSTEM USING FOLDED OPTICS" 인 미국 출원 공개 제2014/0111650호에 개시되고, 그 개시물은 이로써 참조에 의해 포함된다. 본 명세서에서 설명되는 자동 초점 시스템들 및 기법들로부터 이익을 얻는 다른 어레이 카메라 구성들이 가능하다.
도 4 는 하나 이상의 카메라들 (420a-n) 에 접속된 이미지 프로세서 (426) 를 포함하는 컴포넌트들의 세트를 갖는 디바이스 (410) 의 하이-레벨 블록 다이어그램을 도시한다. 이미지 프로세서 (426) 는 또한 작업 메모리 (428), 메모리 컴포넌트 (412) 및 디바이스 프로세서 (430) 와 통신하며, 디바이스 프로세서 (430) 는 스토리지 (434) 및 전자 디스플레이 (432) 와 통신한다.
디바이스 (410) 는 핸드폰, 디지털 카메라, 태블릿 컴퓨터, 개인 휴대 정보 단말기 등일 수도 있다. 본원 명세서에 설명된 것과 같은, 감소된 두께의 이미징 시스템이 이점들을 제공하는 많은 휴대용 컴퓨팅 장치가 있다. 디바이스 (410) 는 또한 고정식 컴퓨팅 디바이스 또는 얇은 이미징 시스템이 유리한 임의의 디바이스일 수도 있다. 복수의 애플리케이션들이 디바이스 (410) 상의 사용자에게 이용가능할 수도 있다. 이러한 애플리케이션들은 전통적인 사진 및 비디오 애플리케이션들, 높은 동적 범위 이미징, 파노라마 사진 및 비디오, 또는 3D 이미지 또는 3D 비디오와 같은 입체적 이미징을 포함할 수도 있다.
이미지 캡처 디바이스 (410) 는 외부 이미지들을 캡처하기 위한 카메라들 (420a-n) 을 포함한다. 카메라들 (420a-n) 은 각각, 도 3 에 대해 위에서 논의된 바와 같이, 센서, 렌즈 어셈블리, 및 타깃 이미지의 일부를 각각의 센서로 재지향시키기 위한 1 차 및 2 차 반사 또는 굴절 표면을 포함할 수도 있다. 일반적으로, N 개의 카메라들 (420a-n) 이 이용될 수도 있고, 여기서 N ≥ 2 이다. 따라서, 타깃 이미지는 N 개의 부분들로 분할될 수도 있는데, 여기서 N 개의 카메라들의 각각의 센서는 그 센서의 시야에 따라 타깃 이미지의 하나의 부분을 캡처한다. 카메라들 (420a-n) 은 본 명세서에서 설명되는 폴딩형 광학 이미징 디바이스의 구현에 적합한 임의의 개수의 카메라들을 포함할 수도 있다는 것을 이해할 것이다. 시스템의 보다 낮은 z-높이들을 달성하기 위해, 또는 포스트-프로세싱 (post-processing) 후에 이미지의 초점을 조정하는 능력을 가능하게 할 수도 있는, 플렌옵틱 카메라의 것과 유사한 오버래핑 시야들을 갖는 것과 같은 다른 목적들의 필요성들을 충족시키기 위해, 센서들의 개수가 증가될 수도 있다. 다른 실시형태들은 2 개의 동시적인 이미지들을 캡처한 후에 이들을 함께 병합하는 능력을 가능하게 하는 하이 다이내믹 레인지 카메라들에 적합한 시야 오버랩 구성을 가질 수도 있다. 카메라들 (420a-n) 은 이미지 프로세서 (426) 에 커플링되어 캡처된 이미지들을 작업 메모리 (428), 디바이스 프로세서 (430), 전자 디스플레이 (432) 및 스토리지 (메모리) (434) 에 통신할 수도 있다.
이미지 프로세서 (426) 는, 아래에 더 상세히 설명되는 바와 같이, 고품질의 스티칭된 이미지를 출력하기 위해 타깃 이미지의 N 개의 부분들을 포함하는 수신된 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 프로세서 (426) 는 범용 프로세싱 유닛 또는 이미징 애플리케이션들을 위해 특수하게 설계된 프로세서일 수도 있다. 이미징 프로세싱 동작들의 예들로는 크롭, (예를 들어, 상이한 해상도로의) 스케일링, 이미지 스티칭, 이미지 포맷 컨버전, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간적 이미지 필터링), 렌즈 아티팩트 또는 결함 보정 등을 포함한다. 이미지 프로세서 (426) 는, 일부 실시형태들에서, 복수의 프로세서들을 포함할 수도 있다. 소정의 실시형태들은 각각의 이미지 센서에 대해 전용되는 프로세서를 가질 수도 있다. 이미지 프로세서 (426) 는 하나 이상의 전용 이미지 신호 프로세서 (ISP) 들 또는 프로세서의 소프트웨어 구현일 수도 있다.
도시된 바와 같이, 이미지 프로세서 (426) 는 메모리 (412) 및 작업 메모리 (428) 에 연결된다. 예시된 실시형태에서, 메모리 (412) 는 캡처 제어 모듈 (414), 이미지 스티칭 모듈 (416), 오퍼레이팅 시스템 (418), 및 반사체 (reflector) 제어 모듈 (419) 을 저장한다. 이들 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 디바이스 프로세서 (430) 의 이미지 프로세서 (426) 를 구성하는 명령들을 포함할 수도 있다. 작업 메모리 (428) 는 메모리 컴포넌트 (412) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하기 위해 이미지 프로세서 (426) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (428) 는 또한, 디바이스 (410) 의 동작 동안 만들어진 동적인 데이터를 저장하기 위하여 이미지 프로세서 (426) 에 의해 사용될 수도 있다.
위에 언급된 바처럼, 이미지 프로세서 (426) 는 메모리들에 저장된 여러 모듈들에 의해 구성된다. 캡처 제어 모듈 (414) 은 카메라의 확장가능 반사체 (extendible reflector) 들을 제 1 또는 제 2 포지션에 배치하기 위해 반사체 제어 모듈 (419) 을 호출하도록 이미지 프로세서 (426) 를 구성하는 명령들을 포함할 수도 있고, 카메라들 (420a-n) 의 초점 위치를 조정하도록 이미지 프로세서 (426) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (414) 은 디바이스 (410) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (414) 은 카메라들 (420a-n) 을 이용하여 타깃 이미지 장면의 원시 이미지 데이터를 캡처하도록 이미지 프로세서 (426) 를 구성하기 위한 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (414) 은 그 후에, 카메라들 (420a-n) 에 의해 캡처된 N 개의 부분 이미지들에 대해 스티칭 기법을 수행하고 스티칭되고 크롭된 타깃 이미지를 이미징 프로세서 (426) 에 출력하기 위해 이미지 스티칭 모듈 (416) 을 호출할 수도 있다. 캡처 제어 모듈 (414) 은 또한, 캡처될 장면의 프리뷰 이미지를 출력하기 위해 그리고 소정의 시간 간격들로 또는 원시 이미지 데이터에서의 장면이 변화될 때 프리뷰 이미지를 업데이트하기 위해 원시 이미지 데이터에 대해 스티칭 동작을 수행하기 위해 이미지 스티칭 모듈 (416) 을 호출할 수도 있다.
이미지 스티칭 모듈 (416) 은 캡처된 이미지 데이터에 대해 스티칭 및 크롭 기법들을 수행하도록 이미지 프로세서 (426) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, N 개의 센서들 (420a-n) 각각은 각각의 센서의 시야에 따라 타깃 이미지의 일부를 포함하는 부분 이미지를 캡처할 수도 있다. 시야들은, 위에서 그리고 아래에서 설명되는 바와 같이, 오버랩 영역들을 공유할 수도 있다. 단일 타깃 이미지를 출력하기 위해, 이미지 스티칭 모듈 (416) 은 고해상도 타깃 이미지를 생성하기 위해 다수의 N 개의 부분 이미지들을 결합하도록 이미지 프로세서 (426) 를 구성할 수도 있다. 타깃 이미지 생성은 알려져 있는 이미지 스티칭 기법들을 통해 일어날 수도 있다. 이미지 스티칭의 예들은 미국 특허 출원 제11/623,050호에서 발견될 수 있는데, 이 미국 특허 출원은 이로써 참조에 의해 포함된다.
예를 들어, 이미지 스티칭 모듈 (416) 은 N 개의 부분 이미지들의 서로에 대한 회전 및 정렬을 결정하기 위해 피처들을 매칭시키기 위해 N 개의 부분 이미지들의 에지들을 따라 오버랩 영역들을 비교하기 위한 명령들을 포함할 수도 있다. 각각의 센서의 시야의 형상 및/또는 부분 이미지들의 회전으로 인해, 결합된 이미지는 불규칙한 형상을 형성할 수도 있다. 그에 따라, N 개의 부분 이미지들을 정렬 및 결합한 후에, 이미지 스티칭 모듈 (416) 은 결합된 이미지를 원하는 형상 및 애스펙트 비, 예를 들어 4:3 직사각형 또는 1:1 정사각형으로 크롭하도록 이미지 프로세서 (426) 를 구성하는 서브루틴들을 호출할 수도 있다. 크롭된 이미지는 스토리지 (434) 에의 저장을 위해 또는 디스플레이 (432) 상의 디스플레이를 위해 디바이스 프로세서 (430) 에 전송될 수도 있다.
오퍼레이팅 시스템 모듈 (418) 은 디바이스 (410) 의 프로세싱 리소스들 및 작업 메모리 (428) 를 관리하도록 이미지 프로세서 (426) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (418) 은 카메라들 (420a-n) 과 같은 하드웨어 리소스들을 관리하기 위한 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 위에서 논의된 이미지 프로세싱 모듈들에 포함된 명령들은 이들 하드웨어 리소스들과 직접적으로 상호작용하는 것이 아니라, 그 대신에 오퍼레이팅 시스템 컴포넌트 (418) 에 위치된 표준 서브루틴들 또는 API들을 통해 상호작용할 수도 있다. 다음으로, 운영 시스템 (418) 내의 명령들은 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (418) 은 정보를 디바이스 프로세서 (430) 와 공유하도록 이미지 프로세서 (426) 를 추가로 구성할 수도 있다.
이미지 프로세서 (426) 는 예를 들어 터치-감지 디스플레이 (432) 를 사용하는 것에 의한, 이미지 캡처 모드 선택 제어들을 사용자에게 제공하여, 디바이스 (410) 의 사용자가 표준 FOV 이미지 또는 넓은 FOV 이미지 중 어느 하나에 대응하는 이미지 캡처 모드를 선택하는 것을 허용할 수 있다.
디바이스 프로세서 (430) 는 사용자에게 캡처된 이미지 또는 캡처된 이미지의 프리뷰를 표시하도록 디스플레이 (432) 를 제어하게 구성될 수도 있다. 디스플레이 (432) 는 이미징 디바이스 (410) 의 외부에 있을 수도 있고, 또는 이미징 디바이스 (410) 의 일부일 수도 있다. 디스플레이 (432) 는 또한, 이미지를 캡처하기 이전에 사용자에 대해 프리뷰 이미지를 디스플레이하는 뷰 파인더 (view finder) 를 제공하도록 구성될 수도 있거나, 또는, 사용자에 의해 최근에 캡처된 또는 메모리에 저장된 캡처된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (432) 는 LCD 또는 LED 스크린을 포함할 수도 있고, 터치 감지 기술들을 구현할 수도 있다.
디바이스 프로세서 (430) 는 데이터, 예를 들어 캡처된 이미지들을 표현하는 데이터를 스토리지 모듈 (434) 에 기입할 수도 있다. 스토리지 모듈 (434) 이 전통적인 디스크 디바이스로서 그래픽으로 표현되지만, 당업자들은 스토리지 모듈 (434) 이 임의의 스토리지 매체 디바이스로서 구성될 수도 있다는 것을 이해할 것이다. 예를 들어, 스토리지 모듈 (434) 은 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 광자기 디스크 드라이브와 같은 디스크 드라이브, 또는 플래시 메모리, RAM, ROM, 및/또는 EEPROM 과 같은 솔리드 스테이트 메모리를 포함할 수도 있다. 스토리지 모듈 (434) 은 또한 다수의 메모리 유닛들을 포함할 수 있고, 메모리 유닛들 중 임의의 하나는 이미지 캡처 디바이스 (410) 내에 있도록 구성될 수도 있거나, 또는 이미지 캡처 디바이스 (410) 외부에 있을 수도 있다. 예를 들어, 스토리지 모듈 (434) 은 이미지 캡처 디바이스 (410) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (434) 은 또한, 카메라로부터 착탈가능할 수도 있는, 캡처된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다.
도 4는 프로세서, 이미징 센서, 및 메모리를 포함하는 분리된 컴포넌트들을 갖는 디바이스를 도시하지만, 당업자는 이들 분리된 컴포넌트들이 특정 설계 목적들을 달성하기 위하여 다양한 방식으로 조합될 수도 있다는 것을 인식할 것이다. 예를 들어, 대안의 실시형태에서, 메모리 컴포넌트들은 비용을 절감하고 성능을 개선시키기 위하여 프로세서 컴포넌트들과 조합될 수도 있다. 부가적으로, 도 4 가 수 개의 모듈들을 포함하는 메모리 컴포넌트 (412) 및 작업 메모리를 포함하는 별개의 메모리 (428) 를 포함하는 2 개의 메모리 컴포넌트들을 예시하지만, 당업자는 상이한 메모리 아키텍처들을 활용하는 수 개의 실시형태들을 인지할 것이다. 예를 들어, 설계는 메모리 컴포넌트 (412) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 프로세서 명령들은 RAM 으로 로딩되어 이미지 프로세서 (426) 에 의한 실행을 용이하게 할 수도 있다. 예를 들어, 작업 메모리 (428) 는 프로세서 (426) 에 의한 실행 전에 작업 메모리 (428) 로 로딩되는 명령들을 갖는 RAM 메모리를 포함할 수도 있다.
도 5는 타겟 이미지를 캡처하는 방법 (500) 의 일 예의 블록들을 예시한다. 구형 시야 (FOV) 를 보여주는 이미지를 생성하는 방법 (500) 은 수개의 블록들을 포함한다.
블록 (505) 에서, 전방 이미지는 전방 카메라의 투영된 광축 주위에 제 1 FOV 에서 이미지를 캡처하도록 배치된 전방 카메라에서 생성된다. 전방 카메라의 투영된 광축은 제 1 방향에 있다.
블록 (510) 에서, 후방 이미지는 전방 카메라와 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트 (back re-directing reflective mirror component) 에 의해 재지향되는 광을 수신하도록 배치된 후방 카메라에서 생성된다. 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치된다.
블록 (515) 에서, 제 1 이미지들은 전방 카메라와 후방 카메라 사이에 다각형 형상의 배열로 배치된 제 1 카메라들의 세트에서 생성된다. 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성된다. 제 3 FOV 는 원형 형상이고 제 1 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 3 FOV 의 적어도 일부는 제 1 FOV 와 제 2 FOV 사이에 있다.
블록 (520) 에서, 제 2 이미지들은 제 1 카메라와 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 2 카메라들의 세트에서 생성된다. 제 2 카메라들은 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성된다. 제 4 FOV 는 원형 형상이고 제 2 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 4 FOV 의 적어도 일부는 제 3 FOV 와 제 2 FOV 사이에 있다.
블록 (525) 에서, 제 3 이미지들은, 제 2 카메라들과 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된 제 3 카메라들의 세트에서 생성된다. 제 5 FOV 는 원형 형상이며 제 3 카메라들로부터 멀리 밖으로 향하게 투영된다. 제 5 FOV 의 적어도 일부는 제 4 FOV 와 제 2 FOV 사이에 있다.
블록 (530) 에서, 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들은 적어도 하나의 프로세서에서 수신된다. 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는 모자이크 이미지가 적어도 하나의 프로세서로 생성된다. 모자이크 이미지는 구형 이미지 내의 시각 시점으로부터 봤을 때 구형 이미지를 보여주기 위해 생성된다. 모자이크 이미지를 생성하는 것은 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 함께 스티치하는 것을 포함한다.
제 1, 제 2, 제 3, 제 4, 및 제 5 FOV 가 적어도 부분적으로 오버랩된다. 제 1 카메라들의 세트, 제 2 카메라들의 세트, 및 제 3 카메라들의 세트가 3개 동심 링들을 형성하도록 배열된다. 후방 카메라는 폴딩형 광학 다중 센서 어셈블리이다.
본원에 개시된 구현들은 시차 및 틸트 아티팩트들이 없는 다수의 조리개 어레이 카메라들을 위한 시스템, 방법 및 장치를 제공한다. 당업자는 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다는 것을 인식할 것이다.
일부 실시형태들에서, 위에서 논의된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 활용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선 통신하기 위해 이용되는 일종의 전자 디바이스일 수도 있다. 무선 통신 디바이스들의 예들로는 셀룰러 전화기들, 스마트 폰들, 개인 휴대 정보 단말기 (PDA) 들, e-리더들, 게이밍 시스템들, 뮤직 플레이어들, 넷북들, 무선 모뎀들, 랩톱 컴퓨터들, 태블릿 디바이스들 등을 포함한다.
무선 통신 디바이스는 하나 이상의 이미지 센서들, 2개 이상의 이미지 신호 프로세서(들), 상술된 CNR 프로세스를 수행하기 위한 명령들 또는 모듈들을 포함하는 메모리를 포함할 수도 있다. 디바이스는 또한 데이터, 메모리로부터 명령들 및/또는 데이터를 로딩하는 프로세서, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들 예컨대 디스플레이 디바이스 및 파워 소스/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 송신기 및 수신기를 부가적으로 포함할 수도 있다. 송신기 및 수신기는 공동으로 트랜시버라고 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신 및/또는 수신하기 위한 하나 이상의 안테나들에 커플링될 수도 있다.
무선 통신 디바이스는 다른 전자 디바이스 (예를 들어, 기지국) 에 무선 연결할 수도 있다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 모바일 국, 가입자국, 사용자 장비 (UE), 원격국, 액세스 단말기, 모바일 단말기, 단말기, 사용자 단말기, 가입자 유닛 등이라고 지칭될 수도 있다. 무선 통신 디바이스들의 예들로는 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 제 3 세대 파트너십 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따라 다양한 명명법들로 설명되는 무선 통신 디바이스들 (예를 들어, 액세스 단말기, 사용자 장비 (UE), 원격 단말기 등) 을 포함할 수도 있다.
본 명세서에서 설명되는 기능들은 프로세서 판독가능 또는 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 가용 매체를 지칭한다. 제한이 아닌 예로서, 이러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 이용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체들을 포함할 수도 있다. 여기에 사용된, 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크 (laser disc), 광 디스크 (optical disc), DVD (digital versatile disc), 플로피 디스크 (floppy disk) 및 블루레이® 디스크 (Blu-ray® disc) 를 포함하며, 여기서, 디스크 (disk) 는 보통 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 컴퓨터 판독가능 매체는 유형 및 비일시적일 수도 있다는 것에 유의해야 한다. 용어 "컴퓨터 프로그램 제품" 은, 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 조합한 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 여기서 사용된 바처럼, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.
본원에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 행동들을 포함한다. 방법 단계들 및/또는 행동들은 청구항들의 범위로부터 이탈함이 없이 서로 상호교환될 수도 있다. 즉, 단계들 또는 행위들의 특정 순서가, 설명되고 있는 방법의 적절한 동작을 위해 필요하지 않으면, 특정 단계들 및/또는 행위들의 순서 및/또는 사용은 청구항들의 범위로부터 이탈함이 없이 수정될 수도 있다.
본 명세서에서 사용되는 바와 같이 용어들 "커플링하다", "커플링하는", "커플링된" 또는 단어 커플의 다른 변형들은 간접 연결 또는 직접 연결을 나타낼 수도 있다는 것에 주목해야 한다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링된" 경우, 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 연결되거나 또는 제 2 컴포넌트에 직접적으로 연결될 수도 있다. 본 명세서에서 사용되는 바와 같이, 용어 "복수" 는 2 개 이상을 표시한다. 예를 들어, 복수의 컴포넌트들은 2 개 이상의 컴포넌트들을 나타낸다.
"결정하는 것" 이라는 용어는 매우 다양한 액션들을 포괄하고, 그에 따라 "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 룩업하는 것 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 룩업하는 것), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들면, 정보를 수신하는 것), 액세스하는 것 (예컨대, 메모리에서 데이터에 액세스하는 것) 등을 포함할 수 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수 있다.
어구 "에 기초하여" 는, 다르게 분명히 명시되지 않는 한 "에만 기초하여" 를 의미하지 않는다. 즉, 어구 "에 기초하여" 는 "에만 기초하여" 및 "에 적어도 기초하여" 양자 모두를 설명한다.
전술한 설명에서, 예들의 완전한 이해를 제공하기 위해 특정 상세들이 주어진다. 하지만, 예들은 이들 특정 상세들 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들면, 전기 컴포넌트들/디바이스들은, 예들을 불필요한 상세들에서 불분명하게 하지 않기 위하여 블록도들로 보여질 수도 있다. 다른 경우들에서, 그러한 컴포넌트들, 다른 구조들 및 기법들은 예들을 더 설명하기 위하여 상세히 보여질 수도 있다.
제목들 (Headings) 은 본원에서 참조를 위해 그리고 다양한 섹션들을 로케이팅 (locating) 하는 것을 돕기 위해 포함된다. 이들 제목들은 그에 대하여 설명된 개념들의 범위를 제한하도록 의도되지 않았다. 그러한 개념들은 전체 명세서에 걸쳐 적용가능성 (applicability) 을 가질 수도 있다.
또한, 예들은 프로세스로서 설명될 수도 있고, 이는 플로우차트, 플로우 도, 유한 상태도, 구조도 또는 블록도로서 도시된다는 것에 유의한다. 플로우차트는 순차적 프로세스로서 동작들을 설명할 수도 있지만, 많은 동작들은 병행적으로, 또는 동시에 수행될 수 있고 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그의 동작들이 완료될 때 종결된다. 프로세스는 방법, 함수 (function), 프로시저 (procedure), 서브루틴 (subroutine) , 서브프로그램 (subprogram) 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응할 때, 그의 종결은 호출 함수 (calling function) 또는 메인 함수 (main function) 에 대한 함수의 리턴에 대응할 수도 있다.
개시된 구현들의 이전의 설명은 당업자가 본 발명을 제조 또는 사용할 수 있게 하도록 제공된다. 이들 구현들에 대한 다양한 변형은 당업자에게는 용이하게 명백할 것이며, 여기에 정의된 일반적인 원리는 본 발명의 사상 또는 범위를 벗어남이 없이 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 본원에 나타낸 구현들에 한정되도록 의도된 것이 아니라, 본원에 개시된 원리 및 신규한 특징들에 부합하는 최광의 범위가 허여되야 한다.
Claims (32)
- 구형 이미지를 함께 보여주는 복수의 이미지들을 캡처하기 위한 이미징 시스템으로서,
전방 카메라로서, 상기 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치되고, 상기 전방 카메라의 투영된 광축은 제 1 방향에 있는, 상기 전방 카메라;
후방 카메라로서, 상기 전방 카메라와 상기 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 재지향된 광을 수신하도록 배치되고, 상기 후방 카메라는 상기 후방 카메라의 투영된 광축 주위에 제 2 FOV 에서 이미지를 캡처하도록 배치되고, 상기 후방 카메라의 투영된 광축은 상기 제 1 방향에 있는, 상기 후방 카메라;
상기 전방 카메라와 상기 후방 카메라 사이에 다각형 형상의 배열로 배치된 제 1 카메라들의 세트로서, 상기 제 1 카메라들은 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 3 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 3 FOV 의 적어도 일부는 상기 제 1 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 1 카메라들의 세트;
상기 제 1 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 2 카메라들의 세트로서, 상기 제 2 카메라들의 세트는 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 4 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 4 FOV 의 적어도 일부는 상기 제 3 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 2 카메라들의 세트; 및
상기 제 2 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된 제 3 카메라들의 세트로서, 상기 제 5 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 5 FOV 의 적어도 일부는 상기 제 4 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 3 카메라들의 세트를 포함하고,
상기 전방 카메라, 후방 카메라, 상기 제 1 카메라들의 세트, 상기 제 2 카메라들의 세트 및 상기 제 3 카메라들의 세트는, 상기 제 1 FOV, 상기 제 2 FOV, 상기 제 3 FOV, 상기 제 4 FOV, 및 상기 제 5 FOV 에서 캡처된 이미지들이 집합적으로, 상기 이미징 시스템의 시각으로부터 봤을 때 구형 이미지를 표현하도록 구성되는, 이미징 시스템. - 제 1 항에 있어서,
메모리 컴포넌트;
상기 메모리 컴포넌트에 그리고 상기 카메라들의 각각에 커플링된 프로세서를 더 포함하고,
상기 프로세서 및 상기 메모리 컴포넌트는 집합적으로 상기 카메라들의 각각의 하나의 카메라로부터 이미지를 저장하도록 구성되고, 또한, 상기 카메라들의 각각으로부터 상기 이미지들의 적어도 일부를 포함하는 상기 구형 이미지를 생성하도록 구성되는, 이미징 시스템. - 제 1 항에 있어서,
상기 후방 재지향 반사 미러 컴포넌트는 상기 전방 카메라의 투영된 광축에 수직하게 배치되는, 이미징 시스템. - 제 1 항에 있어서,
복수의 광 재지향 반사 미러 컴포넌트들을 더 포함하고, 상기 제 1 카메라들의 세트, 상기 제 2 카메라들의 세트 및 상기 제 3 카메라들의 세트에 있는 각각의 카메라는 상기 복수의 광 재지향 반사 미러 컴포넌트들 중 하나로부터 반사되는 재지향된 광을 수신하도록 배치되는, 이미징 시스템. - 제 4 항에 있어서,
상기 복수의 광 재지향 반사 미러 컴포넌트들은 복수의 반사체들을 포함하는, 이미징 시스템. - 제 5 항에 있어서,
상기 복수의 광 재지향 반사 미러 컴포넌트들은, 제 1 평면에 배열되고 상기 제 1 광축을 포함하는 상기 이미징 시스템의 종축 주위에 배열된 광 재지향 반사 미러 컴포넌트들의 제 1 세트, 제 2 평면에 배열되고 상기 제 1 광축을 포함하는 상기 이미징 시스템의 종축 주위에 배열된 광 재지향 반사 미러 컴포넌트들의 제 2 세트, 및 제 3 평면에 배열되고 상기 제 1 광축을 포함하는 상기 이미징 시스템의 종축 주위에 배열된 광 재지향 반사 미러 컴포넌트들의 제 3 세트를 포함하고, 상기 제 1 평면, 상기 제 2 평면 및 상기 제 3 평면은 상기 전방 카메라와 상기 후방 카메라 사이에 배치되는, 이미징 시스템. - 제 1 항에 있어서,
상기 제 1 카메라들의 세트는 상기 제 2 카메라들의 세트 및 상기 제 3 카메라들의 세트로부터 간격을 띄워 배치되고, 상기 제 2 카메라들의 세트는 상기 제 1 카메라들의 세트 및 상기 제 3 카메라들의 세트로부터 간격을 띄워 배치되고, 상기 제 3 카메라들의 세트는 상기 제 1 카메라들의 세트 및 상기 제 2 카메라들의 세트로부터 간격을 띄워 배치되는, 이미징 시스템. - 제 1 항에 있어서,
상기 제 1 카메라들의 세트는 제 1 평면에 배치되고, 상기 제 2 카메라들의 세트는 제 2 평면에 배치되고, 상기 제 3 카메라들의 세트는 제 3 평면에 배치되는, 이미징 시스템. - 제 8 항에 있어서,
상기 제 1 평면, 상기 제 2 평면 및 상기 제 3 평면은 평행한, 이미징 시스템. - 제 1 항에 있어서,
상기 제 1 카메라들의 세트는 8개의 카메라들을 포함하고, 상기 제 2 카메라들의 세트는 8개의 카메라들을 포함하고, 상기 제 3 카메라들의 세트는 8개의 카메라들을 포함하는, 이미징 시스템. - 제 1 항에 있어서,
상기 제 1 카메라들의 세트는 동일하게 이격 배치되고, 상기 제 2 카메라들의 세트는 동일하게 이격 배치되고, 상기 제 3 카메라들의 세트는 동일하게 이격 배치되는, 이미징 시스템. - 이미징 시스템으로서,
제 1 방향의 제 1 시야 (FOV) 및 제 1 방향의 상기 제 1 FOV 를 통해 확장되는 광축을 갖는 전방 카메라;
광축을 갖는 후방 카메라로서, 상기 후방 카메라는 상기 후방 카메라의 광축이 상기 제 1 FOV 를 통해 확장되게 상기 제 1 방향으로 정렬되도록 배치되고, 상기 전방 카메라의 광축과 일치하는 라인을 따라 배치된, 상기 후방 카메라;
상기 전방 카메라와 상기 후방 카메라 사이에 배치되는 복수의 측면 카메라들로서, 상기 복수의 측면 카메라들은 상기 전방 카메라의 광축 주위에 그리고 상기 전방 카메라의 광축으로부터 멀어지는 방향으로 확장되는 조합된 FOV 를 갖는, 상기 복수의 측면 카메라들;
상기 후방 카메라와 복수의 측면 카메라들 사이에 배치된 후방 광 재지향 반사 미러 컴포넌트로서, 상기 후방 카메라 및 상기 후방 광 재지향 반사 미러 컴포넌트는, 상기 후방 카메라가 상기 후방 카메라의 광축을 따라 상기 후방 광 재지향 반사 미러 컴포넌트에 의해 반사되는 재지향된 광을 수신하도록 상기 후방 카메라의 광축이 상기 후방 광 재지향 반사 미러 컴포넌트에 포인팅되게 배치되는, 상기 후방 광 재지향 반사 미러 컴포넌트; 및
복수의 측면 광 재지향 반사 미러 컴포넌트들로서, 상기 복수의 측면 카메라들의 각각은 상기 복수의 광 재지향 반사 미러 컴포넌트들 중의 하나로부터 재지향된 광을 수신하도록 배치되는, 상기 복수의 측면 광 재지향 반사 미러 컴포넌트들
을 포함하는, 이미징 시스템. - 제 12 항에 있어서,
상기 복수의 측면 카메라들은 상기 전방 카메라의 광축으로부터 간격 띄워지는, 이미징 시스템. - 제 12 항에 있어서,
상기 복수의 측면 카메라들은 3개의 동심 링들을 형성하도록 배열되는, 이미징 시스템. - 제 12 항에 있어서,
상기 복수의 측면 카메라들은 제 1 세트의 어레이 카메라들, 제 2 세트의 어레이 카메라들, 및 제 3 세트의 어레이 카메라들을 포함하고, 상기 제 1 세트, 상기 제 2 세트 및 상기 제 3 세트의 어레이 카메라들 각각은 집합적으로 타겟 장면의 적어도 일부를 포함하는 FOV 를 갖는, 이미징 시스템. - 제 15 항에 있어서,
각각의 어레이 카메라는 이미지 센서를 포함하고, 상기 제 1 세트의 어레이 카메라들의 상기 이미지 센서들은 제 1 기판 상에 배치되고, 상기 제 2 세트의 어레이 카메라들의 상기 이미지 센서들은 제 2 기판 상에 배치되고, 상기 제 3 세트의 어레이 카메라들은 제 3 기판 상에 배치되는, 이미징 시스템. - 제 16 항에 있어서,
상기 제 1 기판, 상기 제 2 기판 및 상기 제 3 기판은, 평행한 평면들에 배치되는, 이미징 시스템. - 구형 시야 (FOV) 를 보여주는 이미지를 생성하는 방법으로서,
전방 카메라에서 전방 이미지를 생성하는 단계로서, 상기 전방 카메라는 상기 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치되고, 상기 전방 카메라의 투영된 광축은 제 1 방향에 있는, 상기 전방 이미지를 생성하는 단계;
후방 카메라에서 후방 이미지를 생성하는 단계로서, 상기 후방 카메라는 상기 전방 카메라와 상기 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 재지향된 광을 수신하도록 배치되고, 상기 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치되는, 상기 후방 이미지를 생성하는 단계;
상기 전방 카메라와 상기 후방 카메라 사이에 다각형 형상의 배열로 배치되는 제 1 카메라들의 세트에서 제 1 이미지들을 생성하는 단계로서, 상기 제 1 카메라들의 세트는 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 3 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 3 FOV 의 적어도 일부는 상기 제 1 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 1 이미지들을 생성하는 단계;
상기 제 1 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치된 제 2 카메라들의 세트에서 제 2 이미지들을 생성하는 단계로서, 상기 제 2 카메라들의 세트는 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 4 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 4 FOV 의 적어도 일부는 상기 제 3 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 2 이미지들을 생성하는 단계;
상기 제 2 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된 제 3 카메라들의 세트에서 제 3 이미지들을 생성하는 단계로서, 상기 제 5 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 5 FOV 의 적어도 일부는 상기 제 4 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 3 이미지들을 생성하는 단계; 및
상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들을 적어도 하나의 프로세서에서 수신하는 단계, 및 상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는 모자이크 이미지를 상기 적어도 하나의 프로세서로 생성하는 단계
를 포함하는, 이미지를 생성하는 방법. - 제 18 항에 있어서,
상기 모자이크 이미지는 구형 이미지 내의 시각 시점으로부터 봤을 때 상기 구형 이미지를 보여주기 위해 생성되는, 이미지를 생성하는 방법. - 제 18 항에 있어서,
상기 모자이크 이미지를 생성하는 단계는 상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 함께 스티치하는 단계를 포함하는, 이미지를 생성하는 방법. - 제 18 항에 있어서,
상기 제 1 FOV, 상기 제 2 FOV, 상기 제 3 FOV, 상기 제 4 FOV, 및 상기 제 5 FOV 가 적어도 부분적으로 오버랩되는, 이미지를 생성하는 방법. - 제 18 항에 있어서,
상기 제 1 카메라들의 세트, 상기 제 2 카메라들의 세트, 및 상기 제 3 카메라들의 세트가 3개 동심 링들을 형성하도록 배열되는, 이미지를 생성하는 방법. - 제 18 항에 있어서,
상기 후방 카메라는 폴딩형 광학 다중 센서 어셈블리인, 이미지를 생성하는 방법. - 이미징 디바이스로서,
전방 카메라에서 전방 이미지를 생성하는 수단으로서, 상기 전방 카메라는 상기 전방 카메라의 투영된 광축 주위에 제 1 시야 (FOV) 에서 이미지를 캡처하도록 배치되고, 상기 전방 카메라의 투영된 광축은 제 1 방향에 있는, 상기 전방 카메라에서 전방 이미지를 생성하는 수단;
후방 카메라에서 후방 이미지를 생성하는 수단으로서, 상기 후방 카메라는 상기 전방 카메라와 상기 후방 카메라 사이에 배치된 후방 재지향 반사 미러 컴포넌트에 의해 반사되는 재지향된 광을 수신하도록 배치되고, 상기 후방 카메라는 제 2 FOV 에서 이미지를 캡처하도록 배치되는, 상기 후방 카메라에서 후방 이미지를 생성하는 수단;
상기 전방 카메라와 상기 후방 카메라 사이에 다각형 형상의 배열로 배치되는 제 1 카메라들의 세트에서 제 1 이미지들을 생성하는 수단으로서, 상기 제 1 카메라들의 세트는 집합적으로 제 3 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 3 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 3 FOV 의 적어도 일부는 상기 제 1 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 1 이미지들을 생성하는 수단;
상기 제 1 카메라들과 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되는 제 2 카메라들의 세트에서 제 2 이미지들을 생성하는 수단으로서, 상기 제 2 카메라들의 세트는 집합적으로 제 4 FOV 에서 이미지들을 캡처하도록 구성되고, 상기 제 4 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 4 FOV 의 적어도 일부는 상기 제 3 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 2 이미지들을 생성하는 수단;
상기 제 2 카메라들의 세트와 상기 후방 카메라 사이에 그리고 다각형 형상의 배열로 배치되는 배치되고, 집합적으로 제 5 FOV 에서 이미지들을 캡처하도록 구성된 제 3 카메라들의 세트에서 제 3 이미지들을 생성하는 수단으로서, 상기 제 5 FOV 는 상기 전방 카메라의 투영된 광축 주위로 원형 형상이며 상기 전방 카메라의 투영된 광축으로부터 밖으로 멀어지는 방향으로 투영되고, 상기 제 5 FOV 의 적어도 일부는 상기 제 4 FOV 와 상기 제 2 FOV 사이에 있는, 상기 제 3 이미지들을 생성하는 수단; 및
상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들을 수신하고, 상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 포함하는, 모자이크 이미지를 생성하는 수단
을 포함하는, 이미징 디바이스. - 제 24 항에 있어서,
상기 모자이크 이미지는 구형 이미지 내의 시각 시점으로부터 봤을 때 상기 구형 이미지를 보여주기 위해 생성되는, 이미징 디바이스. - 제 24 항에 있어서,
상기 모자이크 이미지를 생성하는 것은 상기 전방 이미지, 후방 이미지, 제 1 이미지들, 제 2 이미지들, 및 제 3 이미지들의 적어도 일부를 함께 스티치하는 것을 포함하는, 이미징 디바이스. - 제 24 항에 있어서,
상기 제 1 FOV, 상기 제 2 FOV, 상기 제 3 FOV, 상기 제 4 FOV, 및 상기 제 5 FOV 가 적어도 부분적으로 오버랩되는, 이미징 디바이스. - 제 24 항에 있어서,
상기 제 1 카메라들의 세트, 상기 제 2 카메라들의 세트, 및 상기 제 3 카메라들의 세트가 3개 동심 링들을 형성하도록 배열되는, 이미징 디바이스. - 제 24 항에 있어서,
상기 후방 카메라는 폴딩형 광학 다중 센서 어셈블리인, 이미징 디바이스. - 삭제
- 삭제
- 삭제
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462015329P | 2014-06-20 | 2014-06-20 | |
US62/015,329 | 2014-06-20 | ||
US14/743,663 US9843723B2 (en) | 2014-06-20 | 2015-06-18 | Parallax free multi-camera system capable of capturing full spherical images |
US14/743,663 | 2015-06-18 | ||
PCT/US2015/036710 WO2015196082A1 (en) | 2014-06-20 | 2015-06-19 | Parallax free multi-camera system capable of capturing full spherical images |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170020797A KR20170020797A (ko) | 2017-02-24 |
KR101877160B1 true KR101877160B1 (ko) | 2018-08-07 |
Family
ID=54870827
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020167034935A KR20170020777A (ko) | 2014-06-20 | 2015-06-16 | 반구형 및 구형 이미징을 위한 광시야 어레이 카메라 |
KR1020167035411A KR101877160B1 (ko) | 2014-06-20 | 2015-06-19 | 완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020167034935A KR20170020777A (ko) | 2014-06-20 | 2015-06-16 | 반구형 및 구형 이미징을 위한 광시야 어레이 카메라 |
Country Status (8)
Country | Link |
---|---|
US (2) | US9819863B2 (ko) |
EP (2) | EP3158726A1 (ko) |
JP (2) | JP2017525221A (ko) |
KR (2) | KR20170020777A (ko) |
CN (2) | CN106462050B (ko) |
BR (1) | BR112016029565A2 (ko) |
CA (1) | CA2952623A1 (ko) |
WO (2) | WO2015195629A1 (ko) |
Families Citing this family (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US9325906B2 (en) * | 2013-10-18 | 2016-04-26 | The Lightco Inc. | Methods and apparatus relating to a thin camera device |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9294672B2 (en) * | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9392188B2 (en) * | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
ES2821735T3 (es) | 2014-08-21 | 2021-04-27 | Identiflight Int Llc | Sistema y procedimiento de detección de pájaros |
US9521830B2 (en) * | 2014-08-21 | 2016-12-20 | Identiflight, Llc | Bird or bat detection and identification for wind turbine risk mitigation |
US9602702B1 (en) * | 2014-09-08 | 2017-03-21 | Sulaiman S. Albadran | Video camera with multiple data input |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
US9521301B2 (en) * | 2014-11-03 | 2016-12-13 | Alarm.Com Incorporated | Fixed view magnetic camera |
US20160248972A1 (en) * | 2015-02-23 | 2016-08-25 | Ebsco Industries, Inc | Panoramic Game Camera |
KR102056417B1 (ko) * | 2015-03-27 | 2020-01-22 | 구글 엘엘씨 | 클러스터 기반의 포토 네비게이션 |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10275898B1 (en) * | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US9813623B2 (en) * | 2015-10-30 | 2017-11-07 | Essential Products, Inc. | Wide field of view camera for integration with a mobile device |
US9819865B2 (en) | 2015-10-30 | 2017-11-14 | Essential Products, Inc. | Imaging device and method for generating an undistorted wide view image |
US9906721B2 (en) * | 2015-10-30 | 2018-02-27 | Essential Products, Inc. | Apparatus and method to record a 360 degree image |
CN105627926B (zh) * | 2016-01-22 | 2017-02-08 | 尹兴 | 四像机组平面阵列特征点三维测量系统及测量方法 |
US10151970B2 (en) * | 2016-04-11 | 2018-12-11 | As Vision Limited | Aerial panoramic oblique photography apparatus |
US10354426B2 (en) | 2016-08-04 | 2019-07-16 | Datalogic IP Tech, S.r.l. | Symbol stitching imaging system |
US20180063428A1 (en) * | 2016-09-01 | 2018-03-01 | ORBI, Inc. | System and method for virtual reality image and video capture and stitching |
WO2018064502A1 (en) * | 2016-09-30 | 2018-04-05 | Visbit Inc. | View-optimized light field image and video streaming |
KR102558474B1 (ko) * | 2016-09-30 | 2023-07-25 | 삼성전자주식회사 | 이미지를 표시하기 위한 방법 및 그 전자 장치 |
US10419681B2 (en) * | 2016-10-26 | 2019-09-17 | Robert Bosch Gmbh | Variable field of view multi-imager |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
US20180260929A1 (en) * | 2017-03-08 | 2018-09-13 | Intel Corporation | Digital camera methods and devices optimized for computer vision applications |
CN108574808B (zh) * | 2017-03-08 | 2021-02-12 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法、装置及图像处理系统 |
US10652460B2 (en) * | 2017-03-30 | 2020-05-12 | Canon Kabushiki Kaisha | Image-capturing apparatus and image-capturing control method |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10623634B2 (en) | 2017-04-17 | 2020-04-14 | Intel Corporation | Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
CN107509017A (zh) * | 2017-09-19 | 2017-12-22 | 信利光电股份有限公司 | 一种多摄像头模组 |
CN107483790A (zh) * | 2017-09-19 | 2017-12-15 | 信利光电股份有限公司 | 一种多摄像头模组 |
CN107370933A (zh) * | 2017-09-19 | 2017-11-21 | 信利光电股份有限公司 | 一种多摄像头模组 |
US10400929B2 (en) | 2017-09-27 | 2019-09-03 | Quick Fitting, Inc. | Fitting device, arrangement and method |
KR102436730B1 (ko) * | 2017-12-06 | 2022-08-26 | 삼성전자주식회사 | 가상 스크린의 파라미터 추정 방법 및 장치 |
US11029496B2 (en) | 2017-12-21 | 2021-06-08 | Apple Inc. | Folded lens system |
US10728517B2 (en) * | 2017-12-22 | 2020-07-28 | Flir Systems Ab | Parallax mitigation for multi-imager systems and methods |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
JP7081473B2 (ja) | 2018-03-02 | 2022-06-07 | 株式会社リコー | 撮像光学系、撮像システム及び撮像装置 |
US10582181B2 (en) | 2018-03-27 | 2020-03-03 | Honeywell International Inc. | Panoramic vision system with parallax mitigation |
CN108710261B (zh) * | 2018-06-07 | 2020-12-25 | 信利光电股份有限公司 | 一种摄像模组 |
KR102553555B1 (ko) * | 2018-09-21 | 2023-07-10 | 엘지이노텍 주식회사 | 카메라 모듈 |
EP3738303A4 (en) * | 2019-01-03 | 2021-04-21 | Corephotonics Ltd. | MULTI-APERTURE CAMERAS WITH AT LEAST ONE TWO-STATE ZOOM CAMERA |
US11357593B2 (en) | 2019-01-10 | 2022-06-14 | Covidien Lp | Endoscopic imaging with augmented parallax |
CN110503621B (zh) * | 2019-08-23 | 2022-07-01 | 上海圭目机器人有限公司 | 基于定位数据的图像全局拼接方法 |
KR102232366B1 (ko) * | 2019-10-07 | 2021-03-26 | (주)하이비젼시스템 | 렌즈모듈 액티브 얼라인 시스템 및 방법 |
US10969047B1 (en) | 2020-01-29 | 2021-04-06 | Quick Fitting Holding Company, Llc | Electrical conduit fitting and assembly |
US11035510B1 (en) | 2020-01-31 | 2021-06-15 | Quick Fitting Holding Company, Llc | Electrical conduit fitting and assembly |
US11665410B2 (en) | 2020-03-10 | 2023-05-30 | Cognex Corporation | Modular vision systems and methods |
US11281868B2 (en) | 2020-03-10 | 2022-03-22 | Cognex Corporation | Modular vision system and methods |
US11812125B2 (en) | 2020-07-01 | 2023-11-07 | Universal City Studios Llc | Anti-reflective camera housing system |
KR102381272B1 (ko) * | 2020-09-17 | 2022-03-30 | 삼성전기주식회사 | 휴대 단말기 |
US11145228B1 (en) * | 2020-11-06 | 2021-10-12 | Lockheed Martin Corporation | Immersive display structure |
US12075024B2 (en) * | 2021-12-20 | 2024-08-27 | Industrial Technology Research Institute | System and method for computing relative rotation and relative translation of back-to-back cameras |
WO2024062326A1 (en) * | 2022-09-21 | 2024-03-28 | Alcon Inc. | Low profile optical systems for surgical procedures |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040051805A1 (en) | 2001-08-17 | 2004-03-18 | Koichi Yoshikawa | Imaging device |
US20040246333A1 (en) | 2003-06-03 | 2004-12-09 | Steuart Leonard P. (Skip) | Digital 3D/360 degree camera system |
WO2013154433A1 (en) | 2012-04-13 | 2013-10-17 | Cyclomedia Technology B.V. | System, device, and vehicle for recording panoramic images |
Family Cites Families (293)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3698803A (en) | 1970-09-09 | 1972-10-17 | Midori Kai Co Ltd | Camera for taking hemispherical motion picture |
US4114171A (en) | 1976-04-06 | 1978-09-12 | Vivitar Corporation | Reflex camera with internal zoom lens |
US4437745A (en) | 1982-09-30 | 1984-03-20 | Stephen Hajnal | Three dimensional camera system |
GB8430980D0 (en) | 1984-12-07 | 1985-01-16 | Robinson M | Generation of apparently three-dimensional images |
US4639586A (en) | 1985-02-06 | 1987-01-27 | The United States Of America As Represented By The Secretary Of The Air Force | Optically phased laser transmitter |
US4740780A (en) | 1985-06-24 | 1988-04-26 | Gec Avionics, Inc. | Head-up display for automobile |
US5214462A (en) | 1986-05-12 | 1993-05-25 | Asahi Kogaku Kogyo Kabushiki Kaisha | Lens shutter camera including zoom lens and barrier mechanisms |
US6031892A (en) | 1989-12-05 | 2000-02-29 | University Of Massachusetts Medical Center | System for quantitative radiographic imaging |
US5194959A (en) | 1989-12-21 | 1993-03-16 | Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation | Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts |
US5016109A (en) | 1990-07-02 | 1991-05-14 | Bell South Corporation | Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields |
US5063441A (en) | 1990-10-11 | 1991-11-05 | Stereographics Corporation | Stereoscopic video cameras with image sensors having variable effective position |
US5142357A (en) | 1990-10-11 | 1992-08-25 | Stereographics Corp. | Stereoscopic video camera with image sensors having variable effective position |
US5207000A (en) | 1991-06-14 | 1993-05-04 | Industrial Technology Research Institute | Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface |
US5231461A (en) | 1991-12-09 | 1993-07-27 | Hughes Danbury Optical Systems, Inc. | Solar monochromator for filter calibration |
US5926411A (en) | 1991-12-30 | 1999-07-20 | Ioptics Incorporated | Optical random access memory |
US5686960A (en) | 1992-01-14 | 1997-11-11 | Michael Sussman | Image input device having optical deflection elements for capturing multiple sub-images |
DE4212271C1 (ko) | 1992-04-11 | 1993-07-08 | Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De | |
US5243413A (en) | 1992-09-02 | 1993-09-07 | At&T Bell Laboratories | Color parallax-free camera and display |
US5313542A (en) | 1992-11-30 | 1994-05-17 | Breault Research Organization, Inc. | Apparatus and method of rapidly measuring hemispherical scattered or radiated light |
EP0610605B1 (en) | 1993-02-11 | 1997-07-16 | Agfa-Gevaert N.V. | Method of recognising an irradiation field |
US5586063A (en) | 1993-09-01 | 1996-12-17 | Hardin; Larry C. | Optical range and speed detection system |
US5614941A (en) | 1993-11-24 | 1997-03-25 | Hines; Stephen P. | Multi-image autostereoscopic imaging system |
GB2284273B (en) | 1993-11-29 | 1997-01-08 | Hadland Photonics Limited | Electronic high speed camera incorporating a beam splitter |
JPH089424A (ja) | 1994-06-20 | 1996-01-12 | Sanyo Electric Co Ltd | 立体画像撮像制御装置 |
JP3186448B2 (ja) | 1994-08-01 | 2001-07-11 | ミノルタ株式会社 | 立体テレビカメラ |
JP3458486B2 (ja) | 1994-10-25 | 2003-10-20 | 松下電器産業株式会社 | 全方位撮影装置及び全方位画像合成装置 |
KR100235343B1 (ko) | 1994-12-29 | 1999-12-15 | 전주범 | 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치 |
JPH08194274A (ja) | 1995-01-13 | 1996-07-30 | Olympus Optical Co Ltd | 立体撮像装置 |
US5606627A (en) | 1995-01-24 | 1997-02-25 | Eotek Inc. | Automated analytic stereo comparator |
US5745305A (en) | 1995-04-28 | 1998-04-28 | Lucent Technologies Inc. | Panoramic viewing apparatus |
US5990934A (en) | 1995-04-28 | 1999-11-23 | Lucent Technologies, Inc. | Method and system for panoramic viewing |
US5793527A (en) | 1995-06-30 | 1998-08-11 | Lucent Technologies Inc. | High resolution viewing system |
US5539483A (en) | 1995-06-30 | 1996-07-23 | At&T Corp. | Panoramic projection apparatus |
US5903306A (en) | 1995-08-16 | 1999-05-11 | Westinghouse Savannah River Company | Constrained space camera assembly |
US6115176A (en) | 1995-11-30 | 2000-09-05 | Lucent Technologies Inc. | Spherical viewing/projection apparatus |
US6111702A (en) | 1995-11-30 | 2000-08-29 | Lucent Technologies Inc. | Panoramic viewing system with offset virtual optical centers |
US6141034A (en) * | 1995-12-15 | 2000-10-31 | Immersive Media Co. | Immersive imaging method and apparatus |
US5640222A (en) | 1996-03-15 | 1997-06-17 | Paul; Eddie | Method and apparatus for producing stereoscopic images |
US6850279B1 (en) | 1996-06-18 | 2005-02-01 | Sony Corporation | Optical image recording system, and associated processing system |
US5721585A (en) | 1996-08-08 | 1998-02-24 | Keast; Jeffrey D. | Digital video panoramic image capture and display system |
JPH10142490A (ja) | 1996-11-15 | 1998-05-29 | Canon Inc | 環境認識装置及びカメラ |
AU6515798A (en) | 1997-04-16 | 1998-11-11 | Isight Ltd. | Video teleconferencing |
US7028899B2 (en) | 1999-06-07 | 2006-04-18 | Metrologic Instruments, Inc. | Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target |
DE19903807A1 (de) | 1998-05-05 | 1999-11-11 | Zeiss Carl Fa | Beleuchtungssystem insbesondere für die EUV-Lithographie |
US6128143A (en) | 1998-08-28 | 2000-10-03 | Lucent Technologies Inc. | Panoramic viewing system with support stand |
US6195204B1 (en) | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
US6144501A (en) | 1998-08-28 | 2000-11-07 | Lucent Technologies Inc. | Split mirrored panoramic image display |
US6141145A (en) | 1998-08-28 | 2000-10-31 | Lucent Technologies | Stereo panoramic viewing system |
US6285365B1 (en) | 1998-08-28 | 2001-09-04 | Fullview, Inc. | Icon referenced panoramic image display |
US6992700B1 (en) | 1998-09-08 | 2006-01-31 | Ricoh Company, Ltd. | Apparatus for correction based upon detecting a camera shaking |
US7271803B2 (en) * | 1999-01-08 | 2007-09-18 | Ricoh Company, Ltd. | Method and system for simulating stereographic vision |
US6611289B1 (en) | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
GB2354389A (en) | 1999-09-15 | 2001-03-21 | Sharp Kk | Stereo images with comfortable perceived depth |
GB2354390A (en) | 1999-09-16 | 2001-03-21 | Ibm | Wide-angle image capture apparatus |
US6650774B1 (en) | 1999-10-01 | 2003-11-18 | Microsoft Corporation | Locally adapted histogram equalization |
US6862364B1 (en) | 1999-10-27 | 2005-03-01 | Canon Kabushiki Kaisha | Stereo image processing for radiography |
US6782137B1 (en) | 1999-11-24 | 2004-08-24 | General Electric Company | Digital image display improvement system and method |
JP2001194114A (ja) | 2000-01-14 | 2001-07-19 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
JP2001209037A (ja) | 2000-01-26 | 2001-08-03 | Olympus Optical Co Ltd | 可変ホログラム素子及びそれらを用いた光学装置 |
US6823021B1 (en) | 2000-10-27 | 2004-11-23 | Greenwich Technologies Associates | Method and apparatus for space division multiple access receiver |
US6701081B1 (en) | 2000-06-06 | 2004-03-02 | Air Controls, Inc. | Dual camera mount for stereo imaging |
US6768509B1 (en) | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
WO2002027372A2 (en) | 2000-07-14 | 2002-04-04 | Applied Wdm, Inc. | Optical waveguide transmission devices |
JP2002040584A (ja) | 2000-07-28 | 2002-02-06 | Hamamatsu Photonics Kk | 高速撮像カメラ |
IL139995A (en) | 2000-11-29 | 2007-07-24 | Rvc Llc | System and method for spherical stereoscopic photographing |
EP1231780A3 (en) | 2001-02-07 | 2004-01-14 | Sony Corporation | Image pickup apparatus |
JP2002277736A (ja) | 2001-03-21 | 2002-09-25 | Olympus Optical Co Ltd | 撮像装置 |
US6421185B1 (en) | 2001-04-16 | 2002-07-16 | The United States Of America As Represented By The Secretary Of The Air Force | Wide field-of-view imaging system using a spatial light modulator |
US6628897B2 (en) | 2001-06-20 | 2003-09-30 | Sony Corporation | Camera system |
US20030038814A1 (en) | 2001-08-27 | 2003-02-27 | Blume Leo R. | Virtual camera system for environment capture |
US7116351B2 (en) * | 2001-10-29 | 2006-10-03 | Sony Corporation | Imaging device |
JP4198449B2 (ja) | 2002-02-22 | 2008-12-17 | 富士フイルム株式会社 | デジタルカメラ |
JP2003260025A (ja) | 2002-03-08 | 2003-09-16 | Olympus Optical Co Ltd | カプセル型内視鏡 |
US6768598B2 (en) | 2002-04-02 | 2004-07-27 | Sony Corporation | Image pickup system |
US6861633B2 (en) | 2002-06-20 | 2005-03-01 | The Aerospace Corporation | Microelectromechanical system optical sensor providing bit image data of a viewed image |
US7298392B2 (en) | 2003-06-26 | 2007-11-20 | Microsoft Corp. | Omni-directional camera design for video conferencing |
US7209161B2 (en) | 2002-07-15 | 2007-04-24 | The Boeing Company | Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras |
JP2004072349A (ja) | 2002-08-05 | 2004-03-04 | Canon Inc | 撮像装置、及びその制御方法 |
JP2004080088A (ja) * | 2002-08-09 | 2004-03-11 | Sony Corp | 撮像装置 |
US7893957B2 (en) | 2002-08-28 | 2011-02-22 | Visual Intelligence, LP | Retinal array compound camera system |
US7084904B2 (en) | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
WO2004061485A2 (en) | 2003-01-02 | 2004-07-22 | Covi Technologies, Inc. | Optical block assembly |
US6933493B2 (en) | 2003-04-07 | 2005-08-23 | Kingpak Technology Inc. | Image sensor having a photosensitive chip mounted to a metal sheet |
IL155525A0 (en) | 2003-04-21 | 2009-02-11 | Yaron Mayer | System and method for 3d photography and/or analysis of 3d images and/or display of 3d images |
JP3709879B2 (ja) | 2003-05-01 | 2005-10-26 | 日産自動車株式会社 | ステレオ画像処理装置 |
WO2004109359A1 (ja) | 2003-06-09 | 2004-12-16 | Olympus Corporation | 可変ミラー |
US6809887B1 (en) | 2003-06-13 | 2004-10-26 | Vision Technologies, Inc | Apparatus and method for acquiring uniform-resolution panoramic images |
US7495694B2 (en) | 2004-07-28 | 2009-02-24 | Microsoft Corp. | Omni-directional camera with calibration and up look angle improvements |
US20050117015A1 (en) * | 2003-06-26 | 2005-06-02 | Microsoft Corp. | Foveated panoramic camera system |
US7336299B2 (en) | 2003-07-03 | 2008-02-26 | Physical Optics Corporation | Panoramic video system with real-time distortion-free imaging |
KR100541028B1 (ko) | 2003-07-21 | 2006-01-11 | 주식회사 옵토메카 | 이미지 센서 및 그 제조 방법 |
US20050057659A1 (en) | 2003-09-16 | 2005-03-17 | Takami Hasegawa | Camera image shake correcting device |
US7028546B2 (en) | 2003-10-21 | 2006-04-18 | Instrumented Sensor Technology, Inc. | Data recorder |
US20050111106A1 (en) | 2003-10-31 | 2005-05-26 | Kazuhiro Matsumoto | Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section |
CN100504452C (zh) | 2004-02-19 | 2009-06-24 | 佳能株式会社 | 光学设备和光束分离器 |
US20050185711A1 (en) | 2004-02-20 | 2005-08-25 | Hanspeter Pfister | 3D television system and method |
GB0406730D0 (en) | 2004-03-25 | 2004-04-28 | 1 Ltd | Focussing method |
US7593057B2 (en) * | 2004-07-28 | 2009-09-22 | Microsoft Corp. | Multi-view integrated camera system with housing |
EP1784988A1 (en) | 2004-08-06 | 2007-05-16 | University of Washington | Variable fixation viewing distance scanned light displays |
EP1812968B1 (en) | 2004-08-25 | 2019-01-16 | Callahan Cellular L.L.C. | Apparatus for multiple camera devices and method of operating same |
US7039292B1 (en) | 2004-09-09 | 2006-05-02 | Rockwell Collins, Inc. | Optical system for vehicle flight control |
DE102004045430A1 (de) | 2004-09-18 | 2006-05-18 | Deutsche Telekom Ag | Vorrichtung zur Bildstabilisierung |
JP3791847B1 (ja) | 2005-08-10 | 2006-06-28 | 京セラ株式会社 | カメラモジュールおよび該カメラモジュールを搭載した情報端末 |
US20080001727A1 (en) | 2004-11-15 | 2008-01-03 | Hitachi, Ltd. | Stereo Camera |
US7372996B2 (en) | 2004-12-27 | 2008-05-13 | Trw Automotive U.S. Llc | Method and apparatus for determining the position of a vehicle seat |
JP4742190B2 (ja) | 2005-01-13 | 2011-08-10 | 国立大学法人 奈良先端科学技術大学院大学 | 3次元オブジェクト計測装置 |
US7512262B2 (en) | 2005-02-25 | 2009-03-31 | Microsoft Corporation | Stereo-based image processing |
US20060215054A1 (en) | 2005-03-23 | 2006-09-28 | Eastman Kodak Company | Wide angle camera with prism array |
JP4177826B2 (ja) | 2005-03-23 | 2008-11-05 | 株式会社東芝 | 画像処理装置および画像処理方法 |
JP2006279538A (ja) | 2005-03-29 | 2006-10-12 | Sony Corp | 撮像装置 |
US20060238441A1 (en) | 2005-04-25 | 2006-10-26 | The Boeing Company | Method and apparatus for displaying a stereoscopic image |
US20070102622A1 (en) | 2005-07-01 | 2007-05-10 | Olsen Richard I | Apparatus for multiple camera devices and method of operating same |
US20090268983A1 (en) | 2005-07-25 | 2009-10-29 | The Regents Of The University Of California | Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images |
JP5364965B2 (ja) | 2005-07-26 | 2013-12-11 | コニカミノルタ株式会社 | 撮像光学系、撮像レンズ装置及びデジタル機器 |
JP2007081473A (ja) | 2005-09-09 | 2007-03-29 | Eastman Kodak Co | 複数光学系を有する撮像装置 |
US20070085903A1 (en) | 2005-10-17 | 2007-04-19 | Via Technologies, Inc. | 3-d stereoscopic image display system |
US20070164202A1 (en) | 2005-11-16 | 2007-07-19 | Wurz David A | Large depth of field line scan camera |
JP4979928B2 (ja) | 2005-11-28 | 2012-07-18 | 株式会社トプコン | 三次元形状演算装置及び三次元形状演算方法 |
US8059185B2 (en) | 2005-12-28 | 2011-11-15 | Canon Kabushiki Kaisha | Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range |
US7215479B1 (en) | 2006-02-10 | 2007-05-08 | Micron Technology, Inc. | Integrated lens system for image sensor and method for manufacturing the same |
GB2435360B (en) | 2006-02-16 | 2009-09-23 | Imagination Tech Ltd | Method and apparatus for determining motion between video images |
JP4844177B2 (ja) | 2006-03-07 | 2011-12-28 | 株式会社ニコン | ブレ補正装置及びカメラ |
JP2007274542A (ja) | 2006-03-31 | 2007-10-18 | Sony Corp | 撮像装置および携帯電話機 |
CN101055342A (zh) | 2006-04-12 | 2007-10-17 | 鸿富锦精密工业(深圳)有限公司 | 自动对焦镜头模组 |
US8433157B2 (en) | 2006-05-04 | 2013-04-30 | Thomson Licensing | System and method for three-dimensional object reconstruction from two-dimensional images |
CN101433077B (zh) | 2006-05-05 | 2011-03-23 | 诺基亚公司 | 具有小高度和高分辨率的光学图像记录设备 |
JP4973658B2 (ja) | 2006-05-09 | 2012-07-11 | 株式会社セガ | 画像処理装置および画像処理プログラム |
JP4972779B2 (ja) | 2006-05-30 | 2012-07-11 | コニカミノルタアドバンストレイヤー株式会社 | 光学ユニットおよび撮像装置 |
JP5067021B2 (ja) | 2006-06-01 | 2012-11-07 | 富士ゼロックス株式会社 | 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材 |
JP4851239B2 (ja) | 2006-06-05 | 2012-01-11 | 株式会社トプコン | 画像処理装置及びその処理方法 |
JP2008048293A (ja) | 2006-08-18 | 2008-02-28 | Kyocera Corp | 撮像装置、およびその製造方法 |
US20080058629A1 (en) * | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
DE102006044786A1 (de) | 2006-09-14 | 2008-03-27 | Schefenacker Vision Systems Germany Gmbh | Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems |
EP1912098B1 (en) | 2006-10-12 | 2012-04-25 | Carl Zeiss SMT GmbH | Unit magnification projection objective |
US7817354B2 (en) | 2006-10-25 | 2010-10-19 | Capsovision Inc. | Panoramic imaging system |
JP5040493B2 (ja) | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
KR100866491B1 (ko) | 2007-01-30 | 2008-11-03 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP4917060B2 (ja) | 2007-02-26 | 2012-04-18 | Hoya株式会社 | 撮像ユニット及び携帯用電子機器 |
US7683962B2 (en) | 2007-03-09 | 2010-03-23 | Eastman Kodak Company | Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map |
US20080231698A1 (en) * | 2007-03-20 | 2008-09-25 | Alan Edward Kaplan | Vehicle video control system |
US8356035B1 (en) | 2007-04-10 | 2013-01-15 | Google Inc. | Association of terms with images using image similarity |
JP4582423B2 (ja) | 2007-04-20 | 2010-11-17 | 富士フイルム株式会社 | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 |
JP5013078B2 (ja) | 2007-04-24 | 2012-08-29 | コニカミノルタアドバンストレイヤー株式会社 | レンズ鏡胴及び撮像装置 |
US20080290435A1 (en) | 2007-05-21 | 2008-11-27 | Micron Technology, Inc. | Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods |
JP2008294819A (ja) | 2007-05-25 | 2008-12-04 | Sony Corp | 撮像装置 |
US20090005112A1 (en) | 2007-06-29 | 2009-01-01 | Samsung Electronics Co., Ltd. | Optical imaging system configurations for handheld devices |
US20090003646A1 (en) | 2007-06-29 | 2009-01-01 | The Hong Kong University Of Science And Technology | Lossless visible watermarking |
JPWO2009011153A1 (ja) | 2007-07-13 | 2010-09-16 | 三菱電機株式会社 | 画像読取装置 |
JP4900118B2 (ja) | 2007-07-31 | 2012-03-21 | コニカミノルタオプト株式会社 | カメラモジュールおよび電子機器 |
TWI383666B (zh) | 2007-08-21 | 2013-01-21 | Sony Taiwan Ltd | 多重鏡頭相機系統之先進式動態接圖方法 |
JP5000428B2 (ja) | 2007-08-22 | 2012-08-15 | Hoya株式会社 | 撮像装置 |
US7973834B2 (en) | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
KR20090032261A (ko) | 2007-09-27 | 2009-04-01 | 삼성전자주식회사 | 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법 |
JP5152483B2 (ja) | 2007-10-05 | 2013-02-27 | ソニー株式会社 | 撮像装置 |
EP2208354A4 (en) | 2007-10-10 | 2010-12-22 | Gerard Dirk Smits | IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING |
RU2497196C2 (ru) | 2007-10-11 | 2013-10-27 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для обработки карты глубины |
US20100259655A1 (en) | 2007-11-01 | 2010-10-14 | Konica Minolta Holdings, Inc. | Imaging device |
KR100927347B1 (ko) | 2007-11-13 | 2009-11-24 | 파워옵틱스 주식회사 | 줌렌즈 광학계 |
JP4831514B2 (ja) | 2007-11-13 | 2011-12-07 | 独立行政法人情報通信研究機構 | 設定パラメータ最適化装置およびそのプログラム |
US8791984B2 (en) | 2007-11-16 | 2014-07-29 | Scallop Imaging, Llc | Digital security camera |
CN100465699C (zh) | 2007-12-05 | 2009-03-04 | 浙江大学 | 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统 |
KR101349589B1 (ko) | 2007-12-13 | 2014-01-10 | 엘지이노텍 주식회사 | 카메라 모듈 |
US8300086B2 (en) | 2007-12-20 | 2012-10-30 | Nokia Corporation | Image processing for supporting a stereoscopic presentation |
US20090185067A1 (en) | 2007-12-21 | 2009-07-23 | Stereo Display, Inc. | Compact automatic focusing camera |
WO2009088930A2 (en) | 2008-01-02 | 2009-07-16 | The Regents Of The University Of California | High numerical aperture telemicroscopy apparatus |
US7978222B2 (en) | 2008-03-01 | 2011-07-12 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Systems and methods for image stabilization |
WO2009111642A1 (en) | 2008-03-05 | 2009-09-11 | Contrast Optical Design & Engineering, Inc. | Multiple image camera and lens system |
US20110043623A1 (en) | 2008-03-26 | 2011-02-24 | Konica Minolta Opto, Inc. | Imaging device |
JP5786149B2 (ja) | 2008-03-28 | 2015-09-30 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 |
CN101571666A (zh) | 2008-04-28 | 2009-11-04 | 鸿富锦精密工业(深圳)有限公司 | 成像设备 |
US8280194B2 (en) | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
US9001187B2 (en) | 2009-05-11 | 2015-04-07 | CapsoVision, Inc. | Capsule imaging system having a folded optical axis |
US9171221B2 (en) | 2010-07-18 | 2015-10-27 | Spatial Cam Llc | Camera to track an object |
CN102047651B (zh) | 2008-06-02 | 2013-03-13 | 松下电器产业株式会社 | 生成法线信息的图像处理装置、方法及视点变换图像生成装置 |
JP5223486B2 (ja) | 2008-06-18 | 2013-06-26 | ソニー株式会社 | 電子双眼鏡 |
KR101567107B1 (ko) | 2008-07-24 | 2015-11-06 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 카메라 구동 장치 |
JP2010041381A (ja) | 2008-08-05 | 2010-02-18 | Nikon Corp | 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム |
KR100942925B1 (ko) | 2008-08-11 | 2010-02-22 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 제어방법 |
US8451318B2 (en) | 2008-08-14 | 2013-05-28 | Remotereality Corporation | Three-mirror panoramic camera |
TWI419551B (zh) | 2008-08-22 | 2013-12-11 | 固態全景影像擷取裝置 | |
JP2010067014A (ja) | 2008-09-11 | 2010-03-25 | Ricoh Co Ltd | 画像分類装置及び画像分類方法 |
WO2010035223A1 (en) | 2008-09-25 | 2010-04-01 | Koninklijke Philips Electronics N.V. | Three dimensional image data processing |
CN102177465B (zh) | 2008-10-14 | 2014-06-18 | 日本电产三协株式会社 | 摄影用光学装置 |
US8267601B2 (en) | 2008-11-04 | 2012-09-18 | James Cameron | Platform for stereoscopy for hand-held film/video camera stabilizers |
JP4852591B2 (ja) | 2008-11-27 | 2012-01-11 | 富士フイルム株式会社 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
CN101770059B (zh) | 2008-12-27 | 2012-06-20 | 鸿富锦精密工业(深圳)有限公司 | 相机模组 |
US9395617B2 (en) | 2009-01-05 | 2016-07-19 | Applied Quantum Technologies, Inc. | Panoramic multi-scale imager and method therefor |
US8326036B2 (en) | 2009-02-20 | 2012-12-04 | Qylur Security Systems, Inc. | Automated image separation method |
GB0903689D0 (en) | 2009-03-03 | 2009-04-15 | Sigmavision Ltd | Vehicle tyre measurement |
JP5316118B2 (ja) | 2009-03-12 | 2013-10-16 | オムロン株式会社 | 3次元視覚センサ |
US20100265313A1 (en) | 2009-04-17 | 2010-10-21 | Sony Corporation | In-camera generation of high quality composite panoramic images |
US20100278423A1 (en) | 2009-04-30 | 2010-11-04 | Yuji Itoh | Methods and systems for contrast enhancement |
US8503778B2 (en) | 2009-05-14 | 2013-08-06 | National University Of Singapore | Enhancing photograph visual quality using texture and contrast data from near infra-red images |
US8170408B2 (en) | 2009-05-18 | 2012-05-01 | Invensense, Inc. | Optical image stabilization in a digital still camera or handset |
US8194170B2 (en) | 2009-06-02 | 2012-06-05 | Algonquin College | Axicon lens array |
US9124874B2 (en) | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
US8405750B2 (en) | 2009-06-08 | 2013-03-26 | Aptina Imaging Corporation | Image sensors and image reconstruction methods for capturing high dynamic range images |
CN101581828B (zh) | 2009-06-09 | 2011-06-22 | 苏州大学 | 环形孔径超薄光学成像系统 |
US9479768B2 (en) | 2009-06-09 | 2016-10-25 | Bartholomew Garibaldi Yukich | Systems and methods for creating three-dimensional image media |
JP5293463B2 (ja) | 2009-07-09 | 2013-09-18 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US8228417B1 (en) | 2009-07-15 | 2012-07-24 | Adobe Systems Incorporated | Focused plenoptic camera employing different apertures or filtering at different microlenses |
JP5450200B2 (ja) | 2009-07-17 | 2014-03-26 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム |
US8294073B1 (en) | 2009-10-01 | 2012-10-23 | Raytheon Company | High angular rate imaging system and related techniques |
US9063345B2 (en) | 2009-10-19 | 2015-06-23 | Pixar | Super light-field lens with doublet lenslet array element |
TWM399332U (en) * | 2009-10-20 | 2011-03-01 | Fujifilm Corp | Photographic lens and photographic device |
JP5539818B2 (ja) | 2009-10-20 | 2014-07-02 | 富士フイルム株式会社 | 撮像レンズおよび撮像装置 |
US8325187B2 (en) | 2009-10-22 | 2012-12-04 | Samsung Electronics Co., Ltd. | Method and device for real time 3D navigation in panoramic images and cylindrical spaces |
US8457398B2 (en) | 2009-10-27 | 2013-06-04 | Himax Media Solutions, Inc. | Image enhancement method and apparatuses utilizing the same |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
WO2011066275A2 (en) | 2009-11-25 | 2011-06-03 | Massachusetts Institute Of Technology | Actively addressable aperture light field camera |
US8400555B1 (en) | 2009-12-01 | 2013-03-19 | Adobe Systems Incorporated | Focused plenoptic camera employing microlenses with different focal lengths |
US9030530B2 (en) | 2009-12-15 | 2015-05-12 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
US8442392B2 (en) | 2009-12-22 | 2013-05-14 | Nokia Corporation | Method and apparatus for operating the automatic focus or the optical imaging stabilizing system |
US20110213664A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
WO2011132364A1 (ja) | 2010-04-19 | 2011-10-27 | パナソニック株式会社 | 立体画像撮影装置および立体画像撮影方法 |
JP5593118B2 (ja) | 2010-04-30 | 2014-09-17 | 日本電産サンキョー株式会社 | 振れ補正機能付き光学ユニット |
US20130076924A1 (en) | 2010-06-08 | 2013-03-28 | Nidec Sankyo Corporation | Shake Correction Device, Photographic Optical Device and Lens Drive Device |
JP5622443B2 (ja) | 2010-06-08 | 2014-11-12 | 日本電産サンキョー株式会社 | 振れ補正機能付き光学ユニット |
JP5138734B2 (ja) | 2010-06-15 | 2013-02-06 | シャープ株式会社 | 撮像レンズ、および撮像モジュール |
CN101902657B (zh) | 2010-07-16 | 2011-12-21 | 浙江大学 | 一种基于深度图分层的虚拟多视点图像的生成方法 |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
TWI409577B (zh) | 2010-08-20 | 2013-09-21 | Primax Electronics Ltd | 光學影像系統 |
US20120056987A1 (en) | 2010-09-03 | 2012-03-08 | Luke Fedoroff | 3d camera system and method |
JP5392415B2 (ja) | 2010-09-22 | 2014-01-22 | 富士通株式会社 | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
CN103339918B (zh) | 2010-10-01 | 2016-05-04 | 康泰克斯有限公司 | 图像传感器的信号强度匹配 |
EP2649558A4 (en) | 2010-12-09 | 2017-08-09 | Nanyang Technological University | Method and an apparatus for determining vein patterns from a colour image |
JP5716465B2 (ja) | 2011-03-09 | 2015-05-13 | ソニー株式会社 | 撮像装置 |
US9197798B2 (en) | 2011-03-25 | 2015-11-24 | Adobe Systems Incorporated | Thin plenoptic cameras using microspheres |
US9172856B2 (en) | 2011-03-29 | 2015-10-27 | Microsoft Technology Licensing, Llc | Folded imaging path camera |
US8928988B1 (en) | 2011-04-01 | 2015-01-06 | The Regents Of The University Of California | Monocentric imaging |
WO2012136388A1 (en) | 2011-04-08 | 2012-10-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Capturing panoramic or semi-panoramic 3d scenes |
PL2703865T3 (pl) * | 2011-04-28 | 2020-10-19 | Fujifilm Corporation | Obiektyw obrazujący i urządzenie obrazujące |
CN203551875U (zh) * | 2011-04-28 | 2014-04-16 | 富士胶片株式会社 | 成像镜头和成像设备 |
JP5778260B2 (ja) * | 2011-04-28 | 2015-09-16 | 富士フイルム株式会社 | 撮像レンズおよび撮像装置 |
US20120293607A1 (en) | 2011-05-17 | 2012-11-22 | Apple Inc. | Panorama Processing |
CN103597810B (zh) | 2011-05-27 | 2017-02-15 | 诺基亚技术有限公司 | 图像拼接 |
CN103609102B (zh) | 2011-06-15 | 2016-09-28 | 微软技术许可有限责任公司 | 高分辨率多光谱图像捕捉 |
TWI507807B (zh) | 2011-06-24 | 2015-11-11 | Mstar Semiconductor Inc | 自動對焦方法與裝置 |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
US8896890B2 (en) | 2011-06-30 | 2014-11-25 | Lexmark International, Inc. | Image capture system having a folded optical path |
JP5848052B2 (ja) | 2011-07-21 | 2016-01-27 | 日本電産サンキョー株式会社 | 振れ補正機能付き光学ユニット |
US8784301B2 (en) | 2011-08-12 | 2014-07-22 | Intuitive Surgical Operations, Inc. | Image capture unit and method with an extended depth of field |
US8988564B2 (en) | 2011-09-09 | 2015-03-24 | Apple Inc. | Digital camera with light splitter |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
US8855476B2 (en) | 2011-09-28 | 2014-10-07 | DigitalOptics Corporation MEMS | MEMS-based optical image stabilization |
WO2013059399A1 (en) | 2011-10-20 | 2013-04-25 | Monsanto Technology Llc | Plant stand counter |
US9692991B2 (en) | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
JP2013117568A (ja) * | 2011-12-01 | 2013-06-13 | Olympus Corp | 視差画像取得装置、携帯情報端末及び視差画像取得方法 |
US8582220B2 (en) | 2011-12-05 | 2013-11-12 | Himax Technologies Limited | Lens module |
CN202405984U (zh) | 2011-12-10 | 2012-08-29 | 东莞市旭业光电科技有限公司 | 一种用于音圈马达的垫片 |
KR101975893B1 (ko) | 2012-03-21 | 2019-09-10 | 엘지이노텍 주식회사 | 카메라 모듈 |
US9210405B2 (en) | 2012-03-22 | 2015-12-08 | Qualcomm Technologies, Inc. | System and method for real time 2D to 3D conversion of video in a digital camera |
KR101818778B1 (ko) | 2012-03-23 | 2018-01-16 | 한국전자통신연구원 | 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법 |
US20130260823A1 (en) | 2012-03-31 | 2013-10-03 | Ashutosh Y. Shukla | Compact Portable Electronic Device Having Augmented Back Volume for Speaker |
JP2013238848A (ja) | 2012-04-20 | 2013-11-28 | Hoya Corp | 撮像装置 |
EP2677733A3 (en) | 2012-06-18 | 2015-12-09 | Sony Mobile Communications AB | Array camera imaging system and method |
EP2677734A3 (en) | 2012-06-18 | 2016-01-13 | Sony Mobile Communications AB | Array camera imaging system and method |
US9134503B2 (en) | 2012-07-06 | 2015-09-15 | Apple Inc. | VCM OIS actuator module |
US9634051B2 (en) | 2012-07-17 | 2017-04-25 | Heptagon Micro Optics Pte. Ltd. | Optical devices, in particular computational cameras, and methods for manufacturing the same |
KR101448494B1 (ko) | 2012-08-08 | 2014-10-15 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | Hdr 이미지들을 위한 이미지 프로세싱 |
JP6207303B2 (ja) * | 2012-09-10 | 2017-10-04 | キヤノン株式会社 | 制御装置、制御装置を備えるアクチュエータ、画像振れ補正装置、交換用レンズ、撮像装置、及び自動ステージ |
JP6116168B2 (ja) * | 2012-09-14 | 2017-04-19 | キヤノン株式会社 | 情報処理装置およびその方法 |
JP5995624B2 (ja) * | 2012-09-19 | 2016-09-21 | キヤノン株式会社 | 撮像装置および交換レンズ |
JP5995637B2 (ja) * | 2012-10-04 | 2016-09-21 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム、記憶媒体 |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US9659991B2 (en) * | 2012-10-22 | 2017-05-23 | Canon Kabushiki Kaisha | Image capturing apparatus, manufacturing method thereof, and camera |
JP2014112302A (ja) | 2012-12-05 | 2014-06-19 | Ricoh Co Ltd | 所定領域管理システム、通信方法、及びプログラム |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
WO2014107634A2 (en) | 2013-01-05 | 2014-07-10 | Tinz Optics, Inc. | Methods and apparatus relating to the use of multipe optical chains |
US9171355B2 (en) | 2013-04-12 | 2015-10-27 | Qualcomm Incorporated | Near infrared guided image denoising |
JP2015036716A (ja) | 2013-08-12 | 2015-02-23 | ソニー株式会社 | 像ぶれ補正装置及び撮像装置 |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
EP2860699A1 (en) | 2013-10-11 | 2015-04-15 | Telefonaktiebolaget L M Ericsson (Publ) | Technique for view synthesis |
US9223118B2 (en) | 2013-10-31 | 2015-12-29 | Apple Inc. | Small form factor telephoto camera |
CN203745777U (zh) | 2014-01-10 | 2014-07-30 | 瑞声声学科技(深圳)有限公司 | 阵列式镜头装置 |
US10015391B2 (en) * | 2014-02-13 | 2018-07-03 | Sony Mobile Communications Inc. | Method and system for adjusting camera settings using corneal reflection |
US9557627B2 (en) | 2014-03-07 | 2017-01-31 | Apple Inc. | Folded camera lens systems |
US9316810B2 (en) | 2014-03-07 | 2016-04-19 | Apple Inc. | Folded telephoto camera lens system |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US20150373269A1 (en) | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Parallax free thin multi-camera system capable of capturing full wide field of view images |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
US10334158B2 (en) * | 2014-11-03 | 2019-06-25 | Robert John Gove | Autonomous media capturing |
US10070055B2 (en) * | 2015-03-25 | 2018-09-04 | Massachusetts Institute Of Technology | Devices and methods for optically multiplexed imaging |
US20170038502A1 (en) | 2015-08-06 | 2017-02-09 | Qualcomm Incorporated | Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras |
-
2015
- 2015-06-15 US US14/739,311 patent/US9819863B2/en active Active
- 2015-06-16 WO PCT/US2015/035978 patent/WO2015195629A1/en active Application Filing
- 2015-06-16 CN CN201580030449.5A patent/CN106462050B/zh active Active
- 2015-06-16 EP EP15745003.2A patent/EP3158726A1/en not_active Withdrawn
- 2015-06-16 JP JP2016573791A patent/JP2017525221A/ja active Pending
- 2015-06-16 KR KR1020167034935A patent/KR20170020777A/ko unknown
- 2015-06-18 US US14/743,663 patent/US9843723B2/en not_active Expired - Fee Related
- 2015-06-19 KR KR1020167035411A patent/KR101877160B1/ko active IP Right Grant
- 2015-06-19 JP JP2016573093A patent/JP2017525206A/ja not_active Ceased
- 2015-06-19 CN CN201580032615.5A patent/CN106415392B/zh not_active Expired - Fee Related
- 2015-06-19 CA CA2952623A patent/CA2952623A1/en not_active Abandoned
- 2015-06-19 EP EP15742421.9A patent/EP3158725B1/en active Active
- 2015-06-19 BR BR112016029565A patent/BR112016029565A2/pt not_active Application Discontinuation
- 2015-06-19 WO PCT/US2015/036710 patent/WO2015196082A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040051805A1 (en) | 2001-08-17 | 2004-03-18 | Koichi Yoshikawa | Imaging device |
US20040246333A1 (en) | 2003-06-03 | 2004-12-09 | Steuart Leonard P. (Skip) | Digital 3D/360 degree camera system |
WO2013154433A1 (en) | 2012-04-13 | 2013-10-17 | Cyclomedia Technology B.V. | System, device, and vehicle for recording panoramic images |
Also Published As
Publication number | Publication date |
---|---|
CN106415392B (zh) | 2019-06-14 |
WO2015196082A1 (en) | 2015-12-23 |
KR20170020797A (ko) | 2017-02-24 |
US9819863B2 (en) | 2017-11-14 |
EP3158725B1 (en) | 2020-07-29 |
CN106415392A (zh) | 2017-02-15 |
CN106462050A (zh) | 2017-02-22 |
KR20170020777A (ko) | 2017-02-24 |
US20150373268A1 (en) | 2015-12-24 |
JP2017525206A (ja) | 2017-08-31 |
BR112016029565A2 (pt) | 2017-08-22 |
US20150373279A1 (en) | 2015-12-24 |
WO2015195629A1 (en) | 2015-12-23 |
EP3158726A1 (en) | 2017-04-26 |
CA2952623A1 (en) | 2015-12-23 |
JP2017525221A (ja) | 2017-08-31 |
US9843723B2 (en) | 2017-12-12 |
EP3158725A1 (en) | 2017-04-26 |
CN106462050B (zh) | 2019-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101877160B1 (ko) | 완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템 | |
EP3158394B1 (en) | Multi-camera system using folded optics free from parallax artifacts | |
US9854182B2 (en) | Folded optic array camera using refractive prisms | |
KR102225429B1 (ko) | 시차 및 틸트 아티팩트들이 없는 폴딩형 광학계를 이용한 멀티-카메라 시스템 | |
US20150373269A1 (en) | Parallax free thin multi-camera system capable of capturing full wide field of view images | |
KR20170020796A (ko) | 완전한 넓은 시야 이미지들을 캡처하는 것을 가능하게 하는 시차 없는 얇은 다중 카메라 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |