KR102225429B1 - 시차 및 틸트 아티팩트들이 없는 폴딩형 광학계를 이용한 멀티-카메라 시스템 - Google Patents

Abstract

캡처된 이미지들에서 시차 아티팩트들이 거의 없거나 또는 전혀 없는 어레이 카메라로서, 어레이 카메라의 중앙 미러 프리즘 (520) 의 평면들은 시스템의 대칭의 수직축을 정의하는 정점 (A) 에서 교차할 수 있다. 정점 (A) 은 어레이에서 센서들 (510A-510D) 의 광축들에 대한 교차점의 역할을 한다. 어레이에서 각각의 센서는 중앙 미러 프리즘 (520) 의 대응하는 패싯을 이용하여 이미지 장면의 일 부분을 "보고", 이에 따라 각각의 개개의 센서/미러 쌍은 전체 어레이 카메라의 서브-조리개만을 표현한다. 완전한 어레이 카메라는 모든 개개의 조리개 광선들의 합계에 기초하여 발생된 합성 조리개를 갖는다.

Description

시차 및 틸트 아티팩트들이 없는 폴딩형 광학계를 이용한 멀티-카메라 시스템{MULTI-CAMERA SYSTEM USING FOLDED OPTICS FREE FROM PARALLAX AND TILT ARTIFACTS}

본 개시물은 멀티-카메라 어레이를 포함하는 이미징 시스템들 및 방법들에 관한 것이다. 특히, 본 개시물은 이미지 품질을 유지하거나 또는 향상시키면서 낮은-프로파일 이미징 시스템들 및 모바일 디바이스들을 가능하게 하는 시스템들 및 방법들에 관한 것이다.

모바일 폰들 및 태블릿 컴퓨팅 디바이스들과 같은, 많은 모바일 디바이스들은 정지 및/또는 비디오 이미지들을 캡처하기 위해 사용자에 의해 조작될 수도 있는 카메라들을 포함한다. 모바일 디바이스들은 일반적으로 상대적으로 작게 설계되기 때문에, 낮은-프로파일 모바일 디바이스를 유지하기 위해서는 카메라들 또는 이미징 시스템들을 가능한 한 얇게 설계하는 것이 중요할 수 있다. 폴딩형 광학 이미지 센서 어레이들 ("어레이 카메라들") 은 초점 길이를 단축하거나 또는 센서 어레이의 시야를 가로질러서 이미지의 해상도를 감소시킴이 없이, 낮은-프로파일 이미지 캡처 디바이스들의 생성을 가능하게 한다. 광을 어레이에서의 각각의 센서 방향으로 1차 및 2차 표면을 이용하여 재지향함으로써, 그리고 인입하는 광을 포커싱은는데 사용되는 렌즈 어셈블리들을 1차 및 2차 표면들 사이에 배치함으로써, 센서 어레이는 편평한 기판 상에 렌즈 어셈블리들에 수직하게 배치될 수도 있다. 더 긴 초점 길이는, 광학 줌과 같은 피쳐들을 구현하고, 그리고 더 많은 광학적 엘리먼트들을 추가하는 것과 같은, 전통적인 모바일 카메라에 의해 일반적으로 제공되는 것보다 더 많은 공간을 필요로 하는 좀더 복잡한 광학계를 통합하는 것을 가능하게 만든다.
일부 어레이 카메라들은 타깃 이미지를 포함하는 인입하는 광을 어레이에서의 센서들에 의한 캡처를 위해 다수의 부분들로 분할하기 위해 다수의 패싯들 (facets) 을 가지는 중앙 미러 또는 프리즘을 채용하며, 여기서, 각각의 패싯은 타깃 이미지로부터의 광의 일 부분을 어레이에서의 센서 방향으로 지향시킨다. 분할된 광의 각각의 부분은 각각의 센서가 이미지의 부분을 캡처하도록, 렌즈 어셈블리를 거쳐서 통과되고, 센서 바로 위 또는 아래에 배치된 표면에서 반사될 수도 있다. 센서 시야들은 캡처된 부분들을 함께 완전한 이미지로 스티칭하는 것을 돕기 위해 중첩할 수 있다.

본원에서 설명하는 폴딩형 광학 센서 어레이들 및 이미지 캡처 기법들은 초점 길이를 단축하거나 또는 센서 어레이의 시야를 가로질러서 이미지의 해상도를 감소시킴이 없이, 낮은-프로파일 이미지 캡처 디바이스들의 생성을 가능하게 하며, 여기서, 캡처된 이미지들은 시차 및 틸트 아티팩트들이 없을 수도 있다. 기존 어레이 카메라들의 도전은 어레이의 상이한 카메라들로부터 볼 때처럼, 동일한 오브젝트의 상이한 뷰들 사이의 시차 및/또는 틸트로 인한 품질 열화이다. 시차는 아티팩트들이 완전히 없는 최종 이미지로의 각각의 카메라에 의해 캡처된 이미지들의 끊김없는 스티칭을 방해한다. 카메라 뷰들은 (예를 들어, 대략 20% 만큼) 부분적으로 중첩할 수 있다. 심도 (예를 들어, 렌즈로부터 오브젝트까지의 거리) 에 의존하여, 하나의 카메라로부터의 이미지가 다른 카메라로부터의 이미지에 대해 시프트될 수 있다. 결과적인 시차 및 틸트는 이미지들이 함께 스티칭되거나 또는 융합될 때 중첩하는 시야들에 대응하는 이미지 영역에서 "이중 이미지" 고스팅을 야기할 수 있다. 설령 어레이가 센서 시야들에 어떤 중첩도 존재하지 않도록 구조화되더라도, 이러한 피쳐들이 센서 시야들 사이의 경계들을 건널 때, 시차가 이미지에서 불연속적인 피쳐들, 예컨대 라인들 및 에지들을 초래한다.
위에서 설명한 문제들은, 특히, 일부 실시형태들에서, 본원에서 설명하는 바와 같은, 시차 및 틸트 아티팩트들이 없는 (또는, 실질적으로 없는) 어레이 카메라들에 의해 해결된다. 실시형태들의 일부는 어레이에서의 센서들에 의한 캡처를 위해 타깃 이미지를 포함하는 인입하는 광을 다수의 부분들로 분할하기 위해 예를 들어, 다수의 표면들 또는 패싯들을 가지는 중앙 미러 또는 프리즘을 채용할 수도 있다. 미러 표면들 및 주위 카메라들은 캡처된 이미지에서 시차 및 틸트 아티팩트들을 초래하는 것을 회피하도록 구성될 수 있다. 예를 들어, 미러 표면들 또는 프리즘 패싯들에 의해 형성되는 평면들은 일부 실시형태들에서 어레이의 대칭의 수직축을 따를 수도 있는, 정점으로서 지칭되는, 공통 지점에서 모두 교차할 수도 있다. 카메라들은 각각의 카메라의 광축이 정점과 정렬되거나 또는 교차하도록 배치될 수 있다. 카메라의 광축은 그의 렌즈 어셈블리의 투영의 중심 및 정점 양쪽과 교차할 수 있다. 따라서, 합성 조리개 (어레이에서의 카메라들의 모든 뷰들의 합계) 는 정점을 통과하는 가상 광축을 가질 수 있다. 게다가, 각각의 카메라는 카메라 광축과 가상 광축 사이에 형성되는 각도가 대응하는 미러 표면과 가상 광축 사이에 형성되는 각도의 2배가 되도록 배치될 수 있다. 그러나, 이들 각도들은 어레이에서의 모든 카메라들에 대해 동일할 필요가 없다. 따라서, 일부 실시형태들에서, 정점은 어레이의 대칭의 수직축을 따르지 않을 수도 있다. 또, 정점과 (센서에 대응하는 렌즈 내에 위치된) 투영의 중심 사이의 거리가 어레이에서의 모든 카메라들에 대해 동일할 수 있다. 따라서, 어레이에서의 카메라들의 뷰들이 시차 및 틸트 아티팩트들이 없는 단일 이미지로 끊김없이 병합될 수 있다.
분할된 광의 각각의 부분은 각각의 센서가 이미지의 일 부분을 캡처하도록, 렌즈 어셈블리를 통해서 통과되어 센서 바로 위에 또는 아래에 배치된 옵션적인 추가 반사 표면으로부터 반사될 수도 있다. 일부 상황들에서, 어레이에서의 각각의 센서는 어레이에서의 이웃하는 센서들에 의해 캡처된 부분들과 약간 중첩하는 이미지의 일 부분을 캡처할 수도 있으며, 이들 부분들은 예를 들어, 선형 블렌딩 (blending) 또는 다른 이미지 스티칭 기법들에 의해 타깃 이미지로 조립될 수도 있다. 센서들은 일부 예들에서는, 더 넓은 시야를 캡처하기 위해, 그의 렌즈 어셈블리의 광축으로부터 중심이 벗어나게 배치될 수 있다.
일 양태는 복수의 1차 광 재지향 표면들을 포함하는 반사 컴포넌트로서, 상기 반사 컴포넌트는 복수의 1차 광 재지향 표면들의 각각에 의해 형성되는 평면들의 교차점의 로케이션에서의 정점을 포함하는, 상기 반사 컴포넌트; 및 복수의 카메라들로서, 상기 복수의 카메라들의 각각은 광축을 가지며, 상기 복수의 카메라들은 반사 컴포넌트의 1차 광 재지향 표면들 중 하나로부터 재지향된 광을 각각 수신하도록 그리고 복수의 카메라들의 각각 카메라의 광축이 반사 컴포넌트의 정점과 교차하게 정렬되도록 배열되는, 상기 복수의 카메라들을 포함하는 이미징 시스템에 관한 것이다.
다른 양태는 시차 및 틸트 아티팩트들이 실질적으로 없는 폴딩형 광학 어레이 카메라를 제조하는 방법에 관한 것으로, 상기 방법은 복수의 1차 광 재지향 표면들을 포함하는 반사 컴포넌트를 제공하는 단계로서, 상기 반사 컴포넌트는 복수의 1차 광 재지향 표면들의 각각에 의해 형성되는 평면들의 교차점의 로케이션에서의 정점을 포함하는, 상기 반사 컴포넌트를 제공하는 단계; 및 반사 컴포넌트 둘레에 배치된 복수의 카메라들의 각각의 카메라에 대해, 복수의 1차 광 재지향 표면들 중 하나로부터 타깃 이미지 장면을 표현하는 광의 일 부분을 수신하도록 렌즈 어셈블리를 배치하는 단계로서, 상기 렌즈 어셈블리는 광축을 가지는, 상기 렌즈 어셈블리를 배치하는 단계, 그리고 그 광축이 정점과 교차하게 정렬되도록 렌즈 어셈블리를 배치하는 단계를 포함한다.
다른 양태는 타깃 이미지 장면을 표현하는 광을 복수의 부분들로 분할하고 복수의 부분들의 각각을 상이한 방향으로 재지향하는 수단; 광의 복수의 부분들의 각각을 포커싱하는 수단; 및 포커싱된 후 광의 복수의 부분들의 각각을 캡처하는 수단을 포함하며; 상기 광을 분할하는 수단, 포커싱하는 수단, 및 캡처하는 수단은 광의 복수의 부분들에 기초하여 발생되는 이미지들 사이의 시차 및 틸트 아티팩트들을 감소시키거나 또는 제거하기 위해 미리 결정된 공간 관계에 따라서 배치되는, 이미지 캡처 장치에 관한 것이다.
다른 양태는 시차 및 틸트 아티팩트들이 실질적으로 없는 어레이 카메라를 형성하는 방법에 관한 것으로, 상기 방법은 대칭의 수직축을 가지는 어레이에 배치된 복수의 카메라들의 각각의 카메라에 대해, 이미지 센서에 대한 제 1 로케이션을 선택하는 단계; 1차 광 지향 표면에 의해 형성되는 평면이 정점과 교차하도록 1차 광 지향 표면에 대한 제 2 로케이션을 선택하는 단계로서, 상기 제 2 로케이션은 1차 광 지향 표면이 타깃 이미지 장면을 표현하는 광의 일 부분을 이미지 센서 방향으로 지향시키도록 선택되는, 상기 제 2 로케이션을 선택하는 단계; 및 센서와 1차 광 지향 표면 사이에 배치된 렌즈 어셈블리의 투영의 중심에 대한 제 3 로케이션을 선택하는 단계로서, 제 3 로케이션은 카메라의 광축 각도가 정점과 교차하도록 선택되는, 상기 제 3 로케이션을 선택하는 단계를 포함하며; 상기 방법은 하나 이상의 컴퓨팅 디바이스들에 의해 프로그램 방식으로 수행된다.

이하에는, 개시된 양태들이 개시된 양태들을 예시하지만 한정하지 않도록 제공된 첨부 도면들 및 부록들과 연계하여 설명될 것이며, 유사한 명칭들은 유사한 엘리먼트들을 나타낸다.
도 1a 는 폴딩형 광학 어레이 카메라의 일 실시형태의 측단면도를 예시한다.
도 1b 는 폴딩형 광학 어레이 카메라의 다른 실시형태의 측단면도를 예시한다.
도 2 는 이미지 캡처 디바이스의 일 실시형태의 블록도를 예시한다.
도 3a 내지 도 3c 는 시차 및 틸트 아티팩트들이 없는 어레이 카메라의 일 실시형태를 예시한다.
도 4 는 어레이 카메라의 하나의 센서 및 미러에 대한 설계 파라미터들의 일 예를 예시한다.
도 5a 내지 도 5c 는 시차 및 틸트 아티팩트들이 없는 어레이 카메라의 일 실시형태를 예시한다.
도 6a 내지 도 6c 는 시차 및 틸트 아티팩트들이 없는 어레이 카메라의 일 실시형태를 예시한다.
도 7a 및 도 7b 는 어레이 카메라의 하나의 센서 및 미러에 대한 설계 파라미터들의 일 예를 예시한다.
도 7c 는 도 7a 및 도 7b 의 어레이 카메라에 의해 캡처된 뷰들의 세트를 예시한다.
도 8a 는 불완전한 중앙 미러 피라미드의 일 실시형태를 예시한다.
도 8b 는 불완전한 중앙 미러 피라미드의 다른 실시형태를 예시한다.
도 9a 는 이상적인 중앙 미러 피라미드 및 도 8a 의 중앙 미러 피라미드로 캡처된 이미지 사이의 차이의 절대값의 배율 (magnification) 을 예시한다.
도 9b 는 이상적인 중앙 미러 피라미드 및 도 8b 의 중앙 미러 피라미드로 캡처된 이미지 사이의 차이의 절대값의 배율을 예시한다.
도 10 은 폴딩형 광학 이미지 캡처 프로세스의 일 실시형태를 예시한다.

I. 도입
본원에서 개시된 구현예들은 폴딩형 광학계를 가지는 어레이 카메라를 이용하여 시차 및 틸트 아티팩트들이 실질적으로 없는 이미지들을 발생시키는 시스템들, 방법들 및 장치를 제공한다. 본 발명의 양태들은 캡처된 이미지들에서 거의 없거나 전혀 없는 시차 아티팩트들을 나타내는 어레이 카메라에 관한 것이다. 예를 들어, 어레이 카메라의 중앙 미러 피라미드 또는 프리즘의 평면들은 공통 지점 ("정점" 으로 지칭됨) 에서 교차할 수 있다. 정점은 어레이에서의 카메라들의 광축들에 대한 교차점 뿐만 아니라, 가상 광축과의 교차점으로서 기능할 수 있다. 어레이에서의 각각의 카메라는 중앙 미러 프리즘의 대응하는 패싯을 이용하여 이미지 장면의 일 부분을 "보며", 따라서 각각의 개개의 카메라/미러 쌍은 단지 전체 어레이 카메라의 서브-조리개 (sub-aperture) 만을 나타낸다. 완전한 어레이 카메라는 모든 개개의 조리개 광선들 (aperture rays) 의 합계에 기초하여, 즉, 서브-조리개들에 의해 발생된 이미지들을 함께 스티칭하는 것에 기초하여 발생되는 합성 조리개를 갖는다. 각각의 카메라는 센서 및 렌즈 어셈블리를 포함할 수 있으며, 그 렌즈 어셈블리는 카메라 광축을 따라서 위치된 투영의 중심을 갖고, 각각의 카메라는 옵션적으로 센서와 렌즈 어셈블리 사이의 2차 광 재지향 표면을 포함할 수도 있다. 센서는 이미지 장면으로부터 더 많은 광을 캡처하기 위해 광축으로부터 중심이 벗어나게 배치될 수도 있다.
다음의 설명에서, 구체적인 세부 사항들이 예들의 완전한 이해를 제공하기 위해 주어진다. 그러나, 이 예들은, 이들 구체적인 세부 사항들 없이도 실시될 수도 있다.
II. 폴딩형 광학 어레이 카메라들의 개관
이제 도 1a 및 도 1b 를 참조하면, 본원에서 설명하는 오토포커스 시스템들 및 기법들과 함께 사용하기에 적합한 폴딩형 광학 멀티-센서 어셈블리 (100A, 100B) 의 예들이 이하 더욱더 자세하게 설명될 것이다. 도 1a 는, 기판 (150) 에 모두 탑재될 수도 있는, 이미지 센서들 (105, 125), 2차 광 재지향 반사 표면들 (110, 135), 렌즈 어셈블리들 (115, 130), 및 중앙 반사 표면 (120) 을 포함하는 폴딩형 광학 어레이 (100A) 의 일 예의 측단면도를 예시한다. 도 1b 는 1차 광 재지향 표면들 (122, 124) 을 위한 중앙 프리즘들 (141, 146) 및 2차 광 재지향 표면들 (135, 110) 을 형성하는 추가적인 프리즘들을 포함하는 폴딩형 광학 센서 어레이의 일 실시형태의 측단면도를 예시한다.
도 1a 를 참조하면, 이미지 센서들 (105, 125) 은 어떤 실시형태들에서, 전하 결합 소자 (CCD), 상보성 금속 산화물 반도체 센서 (CMOS), 또는 광을 수신하고 그 수신된 이미지에 응답하여 이미지 데이터를 발생시키는 임의의 다른 이미지 감지 디바이스를 포함할 수도 있다. 이미지 센서들 (105, 125) 은 정지 사진들의 이미지 데이터를 획득가능할 수도 있으며, 또한 캡처된 비디오 스트림에서의 모션에 관련한 정보를 제공할 수도 있다. 센서들 (105 및 125) 은 개개의 센서들일 수도 있거나 또는 3x1 어레이와 같은, 센서들의 어레이들을 나타낼 수도 있다. 그러나, 당업자에게 주지되어 있는 바와 같이, 센서들의 임의의 적합한 어레이가 개시된 구현예들에 사용될 수도 있다.
센서들 (105, 125) 은 도 1a 에 나타낸 바와 같이 기판 (150) 상에 탑재될 수도 있다. 일부 실시형태들에서, 모든 센서들은 편평한 기판 (150) 에 탑재됨으로써, 하나의 평면 상에 있을 수도 있다. 기판 (150) 은 임의의 적합한 실질적으로 편평한 재료일 수도 있다. 중앙 반사 표면 (120) 및 렌즈 어셈블리들 (115, 130) 이 기판 (150) 상에 또한 탑재될 수도 있다. 센서 어레이 또는 어레이들, 복수의 렌즈 어셈블리들, 및 복수의 1차 및 2차 반사 또는 굴절 표면들을 탑재하기 위한 다수의 구성들이 가능하다.
여전히 도 1a 를 참조하면, 일부 실시형태들에서, 중앙 반사 표면 (120) 은 타깃 이미지 장면으로부터의 광을 센서들 (105, 125) 방향으로 재지향하는데 사용될 수도 있다. 중앙 반사 표면 (120) 은 미러 또는 복수의 미러들일 수도 있으며, 편평하거나 또는 필요에 따라서, 인입하는 광을 이미지 센서들 (105, 125) 로 적절히 재지향하도록 형상화될 수도 있다. 예를 들어, 일부 실시형태들에서, 중앙 반사 표면 (120) 은 인입하는 광선들을 렌즈 어셈블리들 (115, 130) 를 통해서 센서들 (105, 125) 로 각각 반사하도록 치수화되고 형상화된 미러일 수도 있다. 중앙 반사 표면 (120) 은 타깃 이미지를 포함하는 광을 다수의 부분들로 분할하고 각각의 부분을 상이한 센서로 지향시킬 수도 있다. 예를 들어, 중앙 반사 표면 (120) 의 제 1 측면 (122) (또한, 다른 실시형태들이 반사 표면보다는 굴절 프리즘을 구현할 수도 있으므로, 1차 광 재지향 표면으로 지칭된다) 은 제 1 시야 (140) 에 대응하는 광의 일 부분을 좌측 센서 (105) 방향으로 전송할 수도 있으며, 한편 제 2 측면 (124) 은 제 2 시야 (145) 에 대응하는 광의 제 2 부분을 우측 센서 (125) 방향으로 전송한다. 이미지 센서들의 시야들 (140, 145) 이 함께 적어도 타깃 이미지를 커버하는 것으로 이해되어야 한다.
수신 센서들이 각각 복수의 센서들의 어레이인 일부 실시형태들에서, 중앙 반사 표면은 타깃 이미지 장면의 상이한 부분을 센서들의 각각 방향으로 전송하기 위해, 서로에 대해 앵글링된 (angled) 다수의 반사 표면들로 이루어질 수도 있다. 어레이에서의 각각의 센서는 실질적으로 상이한 시야를 가질 수도 있으며, 일부 실시형태들에서, 시야들은 중첩할 수도 있다. 중앙 반사 표면의 어떤 실시형태들은 렌즈 시스템을 설계할 때 자유도들을 증가시키기 위해 복잡한 비-평면 표면들을 가질 수도 있다. 또, 중앙 표면이 반사 표면인 것으로 설명되지만, 다른 실시형태들에서, 중앙 표면은 굴절성일 수도 있다. 예를 들어, 중앙 표면은 복수의 패싯들로 구성된 프리즘일 수도 있으며, 여기서, 각각의 패싯은 장면을 포함하는 광의 일 부분을 센서들 중 하나 방향으로 지향시킨다.
중앙 반사 표면 (120) 으로부터 반사된 후, 광은 도 1a 에 예시된 바와 같이 렌즈 어셈블리들 (115, 130) 을 통해서 전파할 수도 있다. 하나 이상의 렌즈 어셈블리들 (115, 130) 이 중앙 반사 표면 (120) 과 센서들 (105, 125) 과 반사 표면들 (110, 135) 사이에 제공될 수도 있다. 렌즈 어셈블리들 (115, 130) 은 각각의 센서 방향으로 지향되는 타깃 이미지의 부분을 포커싱하는데 사용될 수도 있다.
일부 실시형태들에서, 각각의 렌즈 어셈블리는 하나 이상의 렌즈들, 및 하우징을 통해서 복수의 상이한 렌즈 위치들 간에 렌즈를 이동시키기 위한 엑츄에이터를 포함할 수도 있다. 엑츄에이터는 보이스 코일 모터 (VCM), 마이크로-전자 기계 시스템 (MEMS), 또는 형상 기억 합금 (SMA) 일 수도 있다. 렌즈 어셈블리는 엑츄에이터를 제어하는 렌즈 드라이버를 더 포함할 수도 있다.
전통적인 자동 초점 기법들은 각각의 카메라의 렌즈 (115, 130) 와 대응하는 센서 (105, 125) 사이의 초점 길이를 변경함으로써 구현될 수도 있다. 일부 실시형태들에서, 이것은 렌즈 배럴을 이동시킴으로써 달성될 수도 있다. 다른 실시형태들은 중앙 미러을 상하로 이동시킴으로써 또는 렌즈 어셈블리에 대해 미러의 각도를 조정함으로써 초점을 조정할 수도 있다. 어떤 실시형태들은 측면 미러들을 각각의 센서 위로 이동시킴으로써 초점을 조정할 수도 있다. 이러한 실시형태들은 어셈블리로 하여금 각각의 센서의 초점을 개별적으로 조정가능하게 할 수도 있다. 또, 일부 실시형태들은, 예를 들어, 액체 렌즈와 같은 렌즈를 전체 어셈블리 위에 배치함으로써, 전체 어셈블리의 초점을 한꺼번에 변경하는 것이 가능하다. 어떤 구현예들에서, 카메라 어레이의 초점을 변경하기 위해 컴퓨터 활용 사진기술이 사용될 수도 있다.
도 1a 에 예시된 바와 같이, 반사 표면들 (110 및 135) 과 같은, 다수의 측면 반사 표면들이 센서들에 대향하는 중앙 미러 (120) 주위에 제공될 수 있다. 렌즈 어셈블리들을 통과한 후, 측면 반사 표면들 (110, 135) (또한, 다른 실시형태들이 반사 표면보다는 굴절 프리즘을 구현할 수도 있으므로, 2차 광 재지향 표면으로 지칭된다) 은 광을 (도 1a 에 도시된 바와 같은 방위에서 "하방으로") 편평한 센서들 (105, 125) 상으로 반사할 수 있다. 도시된 바와 같이, 센서 (105) 는 반사 표면 (110) 아래에 배치될 수도 있으며, 센서 (125) 는 반사 표면 (135) 아래에 배치될 수도 있다. 그러나, 다른 실시형태들에서, 센서들은 측면 반사 표면들 위에 있을 수도 있으며, 측면 반사 표면들은 광을 상방으로 반사하도록 구성될 수도 있다. 각각의 렌즈 어셈블리로부터의 광이 센서들 방향으로 재지향되는, 측면 반사 표면들 및 센서들의 다른 적합한 구성들이 가능하다. 어떤 실시형태들은 측면 반사 표면들 (110, 135) 의 이동이 연관된 센서의 초점 또는 시야를 변경가능하게 할 수도 있다.
각각의 센서의 시야 (140, 145) 는 그 센서와 연관된 중앙 미러 (120) 의 표면에 의해 오브젝트 공간으로 스티어링될 수도 있다. 각각의 카메라의 시야가 오브젝트 필드 상의 상이한 로케이션들로 스티어링될 수 있도록 미러들을 기울이거나 및/또는 어레이에서의 프리즘들을 이동시키기 위해 기계적 방법들이 채용될 수도 있다. 이것은 예를 들어, 높은 동적 범위 카메라를 구현하기 위해, 카메라 시스템의 해상도를 증가시키기 위해, 또는 플렌옵틱 (plenoptic) 카메라 시스템을 구현하기 위해 사용될 수도 있다. 각각의 센서의 (또는, 각각의 3x1 어레이의) 시야는 오브젝트 공간에 투영될 수도 있으며, 각각의 센서는 그 센서의 시야에 따라서 타깃 장면의 일 부분을 포함하는 부분 이미지를 캡처할 수도 있다. 일부 실시형태들에서, 대향하는 센서 어레이들 (105, 125) 에 대한 시야들 (140, 145) 은 어떤 양 (150) 만큼 중첩할 수도 있다. 중첩부 (150) 를 감소시키고 단일 이미지를 형성하기 위해, 아래에서 설명되는 바와 같은 스티칭 프로세스가 2개의 대향하는 센서 어레이들 (105, 125) 로부터의 이미지들을 결합하기 위해 이용될 수도 있다. 스티칭 프로세스의 어떤 실시형태들은 부분 이미지들을 함께 스티칭할 때에 공통 피쳐들을 식별하기 위한 중첩부 (150) 를 채용할 수도 있다. 중첩하는 이미지들을 함께 스티칭한 후, 스티칭된 이미지는 최종 이미지를 형성하기 위해, 원하는 종횡비, 예를 들어, 4:3 또는 1:1 로 크롭될 수도 있다.
도 1b 는 폴딩형 광학 어레이 카메라 (100B) 의 다른 실시형태의 측단면도를 예시한다. 도 1b 에 나타낸 바와 같이, 센서 어셈블리 (100B) 는, 기판 (150) 상에 각각 탑재된 이미지 센서들 (105, 125) 의 쌍, 이미지 센서들 (105, 125) 에 각각 대응하는 렌즈 어셈블리들 (115, 130), 및 이미지 센서들 (105, 125) 의 커버 유리 (106, 126) 상에 각각 배치된 2차 광 재지향 표면 (110, 135) 을 포함한다. 굴절 프리즘 (141) 의 1차 광 재지향 표면 (122) 은 타깃 이미지 장면으로부터의 광의 일 부분을 광축 (121) 을 따라서 렌즈 어셈블리 (115) 를 통해서 지향시키며, 2차 광 재지향 표면 (110) 으로부터 재지향되고, 커버 유리 (106) 를 통과하고, 그리고 센서 (105) 상에 입사한다. 굴절 프리즘 (146) 의 1차 광 재지향 표면 (124) 은 타깃 이미지 장면으로부터의 광의 일 부분을 광축 (123) 을 따라서 렌즈 어셈블리 (130) 를 통해서 지향시키며, 2차 광 재지향 표면 (135) 으로부터 재지향되고, 커버 유리 (126) 를 통과하고, 그리고 센서 (125) 상에 입사한다. 폴딩형 광학 어레이 카메라 (100B) 는 도 1a 의 어레이 카메라 (100A) 의 반사 표면들 대신, 굴절 프리즘들을 구현하는 하나의 어레이 카메라 실시형태를 예시한다. 굴절 프리즘들 (141, 146) 의 각각은 1차 광 지향 표면들 (122, 124) 이 기판에 의해 형성되는 평면 아래에 있고 타깃 이미지 장면을 표현하는 광을 수신하도록, 기판 (150) 에서의 조리개에 제공된다.
센서들 (105, 125) 은 도 1b 에 나타낸 바와 같이 기판 (150) 상에 탑재될 수도 있다. 일부 실시형태들에서, 모든 센서들은 편평한 기판 (150) 에 탑재됨으로써, 하나의 평면 상에 있을 수도 있다. 기판 (150) 은 임의의 적합한 실질적으로 편평한 재료일 수도 있다. 기판 (150) 은 인입하는 광이 기판 (150) 을 통하여 1차 광 재지향 표면들 (122, 124) 로 통과가능하게 하기 위해 위에서 설명한 바와 같은 조리개를 포함할 수 있다. 센서 어레이 또는 어레이들 뿐만 아니라, 예시된 다른 카메라 컴포넌트들을 기판 (150) 에 탑재하기 위한 다수의 구성들이 가능하다.
여전히 도 1b 를 참조하면, 1차 광 재지향 표면들 (122, 124) 은 예시된 바와 같은 프리즘 표면들일 수도 있거나, 또는 미러 또는 복수의 미러들일 수도 있으며, 편평하거나 또는 필요에 따라서 인입하는 광을 이미지 센서들 (105, 125) 로 적절히 재지향하도록 형상화될 수도 있다. 일부 실시형태들에서, 1차 광 재지향 표면들 (122, 124) 은 도 1a 에 예시된 바와 같이, 중앙 미러 피라미드 또는 프리즘으로서 형성될 수도 있다. 중앙 미러 피라미드, 프리즘, 또는 다른 광학적 컴포넌트는 타깃 이미지를 표현하는 광을 다수의 부분들로 분할하고, 각각의 부분을 상이한 센서에 지향시킬 수도 있다. 예를 들어, 1차 광 재지향 표면 (122) 은 제 1 시야에 대응하는 광의 일 부분을 좌측 센서 (105) 방향으로 전송할 수도 있으며, 한편 1차 광 재지향 표면 (124) 은 제 2 시야에 대응하는 광의 제 2 부분을 우측 센서 (125) 방향으로 전송한다. 수신 센서들이 각각 복수의 센서들의 어레이인 일부 실시형태들에서, 광 재지향 표면들은 타깃 이미지 장면의 상이한 부분을 센서들의 각각 방향으로 전송하기 위해 서로에 대해 앵글링된 다수의 반사 표면들로 이루어질 수도 있다. 카메라들의 시야들이 함께 적어도 타깃 이미지를 커버하고, 그리고 어레이의 합성 조리개에 의해 캡처된 최종 이미지를 형성하기 위해 캡처 후 정렬되고 함께 스티칭될 수 있는 것으로 이해되어야 한다.
어레이에서의 각각의 센서는 실질적으로 상이한 시야를 가질 수도 있으며, 일부 실시형태들에서, 시야들은 중첩할 수도 있다. 아래에서 좀더 자세하게 설명하는 바와 같이, 여러 1차 광 재지향 표면들 (122, 124), 렌즈 어셈블리들 (115, 130), 및 센서들 (105, 125) 사이의 공간 관계들은 상이한 시야들 사이에 발생하는 시차 및 틸트 아티팩트들을 감소시키거나 또는 제거하도록 미리 결정될 수 있다.
도 1a 및 도 1b 에 의해 예시된 바와 같이, 각각의 어레이 카메라는 전체 높이 H 를 갖는다. 일부 실시형태들에서, 전체 높이 H 는 대략 4.5 mm 이하일 수 있다. 다른 실시형태들에서, 전체 높이 H 는 대략 4.0 mm 이하일 수 있다. 예시되지는 않지만, 전체 어레이 카메라 (100A, 100B) 는 대략 4.5 mm 이하 또는 대략 4.0 mm 이하의 대응하는 내부 높이를 가지는 하우징에 제공될 수도 있다.
이러한 어레이 카메라들 (100A, 100B) 의 일부 구성들은, 어레이의 상이한 카메라들로부터 볼 때 동일한 오브젝트의 상이한 뷰들 사이의 시차 및 틸트로 인한 품질 열화에 대한 도전들을 제기하는, 센서들 및 광 재지향 표면들의 상대적인 배치에 기초하여 시차 및 틸트 아티팩트들을 겪을 수 있다. 시차 및 틸트는 각각의 카메라에 의해 캡처된 이미지들의, 아티팩트들이 완전히 없는 최종 이미지로의 끊김없는 스티칭을 방해한다. 심도 (예컨대, 렌즈로부터 오브젝트까지의 거리) 에 의존하여, 하나의 카메라로부터의 이미지는 다른 카메라로부터의 중첩하는 이미지에 대한 위치 및 각도가 시프트될 수 있다. 결과적인 시차 및 틸트는 이미지들이 함께 스티칭되거나 또는 융합될 때 중첩하는 시야들에 대응하는 이미지 영역에서 "이중 이미지" 고스팅 (ghosting) 을 야기할 수 있다. 설령 어레이가 센서 시야들에 어떤 중첩도 존재하지 않도록 구조화되더라도, 이러한 피쳐들이 센서 시야들 사이의 경계들을 넘을 때, 시차가 이미지에서 불연속적인 피쳐들, 예컨대 라인들 및 에지들을 초래한다.
본원에서 사용될 때, 용어 "카메라" 는 도 1 에 예시된 바와 같이, 이미지 센서, 렌즈 시스템, 및 다수의 대응하는 광 재지향 표면들, 예를 들어, 1차 광 재지향 표면 (124), 렌즈 어셈블리 (130), 2차 광 재지향 표면 (135), 및 센서 (125) 를 지칭한다. "어레이" 또는 "어레이 카메라" 로서 지칭되는, 폴딩형-광학 멀티-센서 어레이는 복수의 이러한 카메라들을 여러 구성들로 포함할 수 있다. 어레이 구성들의 일부 실시형태들이 "MULTI-CAMERA SYSTEM USING FOLDED OPTICS" 란 발명의 명칭으로, 2013년 3월 15일에 출원된, 미국 출원공개번호 제 2014/0111650호에 개시되어 있으며, 그 개시물이 본원에 참고로 포함된다. 본원에서 설명되는 시차 아티팩트들의 감소 또는 제거를 위한 기하학적 관계들로부터 이점을 취하는 다른 어레이 카메라 구성들이 가능하다.
도 2 는 하나 이상의 카메라들 (215a-n) 에 링크된 이미지 프로세서 (220) 를 포함하는 컴포넌트들의 세트를 가지는 디바이스 (200) 의 하이-레벨 블록도를 도시한다. 이미지 프로세서 (220) 는 또한 작업 메모리 (205), 메모리 (230), 및 디바이스 프로세서 (250) 와 통신하며, 결과적으로 스토리지 (210) 및 전자 디스플레이 (225) 와 통신한다.
디바이스 (200) 는 셀 폰, 디지털 카메라, 태블릿 컴퓨터, 개인 휴대정보 단말기, 또는 기타 등등일 수도 있다. 본원에서 설명되는 것과 같은 감소된 두께 이미징 시스템이 이점들을 제공할 많은 휴대형 컴퓨팅 디바이스들이 존재한다. 디바이스 (200) 는 또한 정지된 컴퓨팅 디바이스 또는 얇은 이미징 시스템이 유리할 임의의 디바이스일 수도 있다. 복수의 애플리케이션들이 디바이스 (200) 상에서 사용자에게 이용가능할 수도 있다. 이들 애플리케이션들은 전통적인 사진 및 비디오 애플리케이션들, 높은 동적 범위 이미징 (high dynamic range imaging), 파노라마 사진 및 비디오, 또는 입체적 이미징 예컨대, 3D 이미지들 또는 3D 비디오를 포함할 수도 있다.
이미지 캡처 디바이스 (200) 는 외부 이미지들을 캡처하기 위한 카메라들 (215a-n) 을 포함한다. 카메라들 (215a-n) 은 도 1 과 관련하여 위에서 설명한 바와 같이, 센서, 렌즈 어셈블리, 및 타깃 이미지의 일 부분을 각각의 센서로 재지향하는 1차 및 2차 반사 또는 굴절 표면을 각각 포함할 수도 있다. 일반적으로, N 개의 카메라들 (215a-n) 이 사용될 수도 있으며, 여기서, N ≥ 2 이다. 따라서, 타깃 이미지는, N 개의 카메라들의 각각의 센서가 그 센서의 시야에 따라서 타깃 이미지의 하나의 부분을 캡처하는 N 개의 부분들로 분할될 수도 있다. 카메라들 (215a-n) 이 본원에서 설명되는 폴딩형 광학 이미징 디바이스의 구현에 적합한 임의 개수의 카메라들을 포함할 수도 있음을 알 수 있을 것이다. 센서들의 개수는 도 4 에 대해 아래에서 좀더 자세히 설명되는 바와 같이, 시스템의 하부 z-높이들을 달성하기 위해, 또는 포스트-프로세싱 후 이미지의 초점을 조정하는 능력을 가능하게 할 수도 있는 플렌옵틱 카메라의 시야와 유사한 중첩하는 시야들을 가지는 것과 같은 다른 목적들의 요구들을 만족시키기 위해, 증가될 수도 있다. 다른 실시형태들은 2개의 동시적인 이미지들을 캡처한 후 그들을 함께 병합하는 능력을 가능하게 하는 높은 동적 범위 카메라들에 적합한 시야 중첩 구성을 가질 수도 있다. 카메라들 (215a-n) 은 캡처된 이미지를 디바이스 프로세서 (250) 로 송신하기 위해 이미지 프로세서 (220) 에 커플링될 수도 있다.
이미지 프로세서 (220) 는 아래에서 더 자세히 설명하는 바와 같이, 높은 품질의 스티칭된 이미지를 출력하기 위해, 타깃 이미지의 N 개의 부분들을 포함하는 수신된 이미지 데이터에 대해 여러 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 프로세서 (220) 는 범용 프로세싱 유닛 또는 이미징 애플리케이션들용으로 특별히 설계된 프로세서일 수도 있다. 이미지 프로세싱 동작들의 예들은 크로핑, (예컨대, 상이한 해상도로의) 스케일링, 이미지 스티칭, 이미지 포맷 변환, 칼라 내삽, 칼라 프로세싱, 이미지 필터링 (예컨대, 공간 이미지 필터링), 렌즈 아티팩트 또는 결함 보정, 등을 포함한다. 이미지 프로세서 (220) 는 일부 실시형태들에서, 복수의 프로세서들을 포함할 수도 있다. 어떤 실시형태들은 각각의 이미지 센서에 전용되는 프로세서를 가질 수도 있다. 이미지 프로세서 (220) 는 하나 이상의 전용 이미지 신호 프로세서들 (ISP들) 또는 프로세서의 소프트웨어 구현물일 수도 있다.
나타낸 바와 같이, 이미지 프로세서 (220) 는 메모리 (230) 및 작업 메모리 (205) 에 접속된다. 예시된 실시형태에서, 메모리 (230) 는 캡처 제어 모듈 (235), 이미지 스티칭 모듈 (240), 및 오퍼레이팅 시스템 (245) 을 저장한다. 이들 모듈들은 여러 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 디바이스 프로세서 (250) 의 이미지 프로세서 (220) 를 구성하는 명령들을 포함한다. 작업 메모리 (205) 는 메모리 (230) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하기 위해 이미지 프로세서 (220) 에 의해 사용될 수도 있다. 대안적으로, 작업 메모리 (205) 는 또한 디바이스 (200) 의 동작 동안 생성된 동적 데이터를 저장하기 위해 이미지 프로세서 (220) 에 의해 사용될 수도 있다.
위에서 언급한 바와 같이, 이미지 프로세서 (220) 는 메모리들에 저장된 여러 모듈들에 의해 구성된다. 캡처 제어 모듈 (235) 은 카메라들 (215a-n) 의 초점 위치를 조정하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (235) 은 디바이스 (200) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (235) 은 카메라들 (215a-n) 을 이용하여 타깃 이미지 장면의 미가공 이미지 데이터를 캡처하도록 이미지 프로세서 (220) 를 구성하는 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (235) 은 그후 카메라들 (215a-n) 에 의해 캡처된 N 개의 부분 이미지들에 대해 스티칭 기법을 수행하기 위해 이미지 스티칭 모듈 (240) 을 호출하고, 스티칭된 그리고 크롭된 타깃 이미지를 이미징 프로세서 (220) 로 출력할 수도 있다. 캡처 제어 모듈 (235) 은 또한 캡처될 장면의 미리보기 이미지를 출력하고 미리보기 이미지를 어떤 시간 간격들에서 또는 미가공 이미지 데이터에서의 장면이 변할 때 업데이트하기 위해, 미가공 이미지 데이터에 대해 스티칭 동작을 수행하도록 이미지 스티칭 모듈 (240) 을 호출할 수도 있다.
이미지 스티칭 모듈 (240) 은 캡처된 이미지 데이터에 대해 스티칭 및 크로핑 기법들을 수행하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, N 개의 센서들 (215a-n) 의 각각은 타깃 이미지의 일 부분을 포함하는 부분 이미지를 각각의 센서의 시야에 따라서 캡처할 수도 있다. 시야들은 위에서 그리고 아래에서 설명하는 바와 같이, 중첩의 영역들을 공유할 수도 있다. 단일 타깃 이미지를 출력하기 위해, 이미지 스티칭 모듈 (240) 은 다수의 N 개의 부분 이미지들을 결합하여 고해상도 타깃 이미지를 생성하도록 이미지 프로세서 (220) 를 구성할 수도 있다. 타깃 이미지 발생은 기지의 이미지 스티칭 기법들을 통해서 일어날 수도 있다. 이미지 스티칭의 예들은 본원에 전체적으로 참고로 포함된 미국 특허출원 번호 11/623,050 에서 발견될 수 있다.
예를 들어, 이미지 스티칭 모듈 (240) 은 N 개의 부분 이미지들의, 서로에 대한 회전 및 정렬을 결정하기 위해 중첩의 영역들을 N 개의 부분 이미지들의 에지들을 따라서 피쳐들을 매칭하기 위해 비교하기 위한 명령들을 포함할 수도 있다. 부분 이미지들의 회전 및/또는 각각의 센서의 시야의 형태로 인해, 결합된 이미지는 불규칙적인 형태를 형성할 수도 있다. 따라서, N 개의 부분 이미지들을 정렬하고 결합한 후, 이미지 스티칭 모듈 (240) 은 결합된 이미지를 원하는 형태 및 종횡비, 예를 들어, 4:3 직사각형 또는 1:1 정사각형으로 크롭하도록 이미지 프로세서 (220) 를 구성하는 서브루틴들을 호출할 수도 있다. 크롭된 이미지는 디스플레이 (225) 상의 디스플레이를 위해 또는 스토리지 (210) 에의 저장을 위해 디바이스 프로세서 (250) 로 전송될 수도 있다.
오퍼레이팅 시스템 모듈 (245) 은 작업 메모리 (205) 및 디바이스 (200) 의 프로세싱 리소스들을 관리하도록 이미지 프로세서 (220) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (245) 은 카메라들 (215a-n) 과 같은 하드웨어 리소스들을 관리하는 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 위에서 설명된 이미지 프로세싱 모듈들에 포함되는 명령들은 이들 하드웨어 리소스들과 직접 상호작용하는 것이 아니라, 대신, 오퍼레이팅 시스템 컴포넌트 (270) 에 위치된 표준 서브루틴들 또는 API들을 통해서 상호작용할 수도 있다. 오퍼레이팅 시스템 (245) 내에서의 명령들은 그후 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (245) 은 디바이스 프로세서 (250) 와 정보를 공유하도록 이미지 프로세서 (220) 를 추가로 구성할 수도 있다.
디바이스 프로세서 (250) 는 캡처된 이미지, 또는 캡처된 이미지의 미리보기를, 사용자에게 디스플레이하도록 디스플레이 (225) 를 제어하도록 구성될 수도 있다. 디스플레이 (225) 는 이미징 디바이스 (200) 의 외부에 있을 수도 있거나 또는 이미징 디바이스 (200) 의 일부일 수도 있다. 디스플레이 (225) 는 또한 이미지를 캡처하기 전에 사용을 위해 미리보기 이미지를 디스플레이하는 뷰 파인더를 제공하도록 구성될 수도 있거나, 또는 메모리에 저장된 또는 사용자에 의해 최근에 캡처된 캡처된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (225) 는 LCD 또는 LED 스크린을 포함할 수도 있으며, 터치 감지 기술들을 구현할 수도 있다.
디바이스 프로세서 (250) 는 데이터, 예를 들어, 캡처된 이미지들을 표현하는 데이터를 스토리지 모듈 (210) 에 기록할 수도 있다. 스토리지 모듈 (210) 은 전통적인 디스크 디바이스로서 도식적으로 표현되지만, 당업자들은 스토리지 모듈 (210) 이 임의의 저장 미디어 디바이스로서 구성될 수도 있음을 알 수 있을 것이다. 예를 들어, 스토리지 모듈 (210) 은 디스크 드라이브, 예컨대 플로피 디스크 드라이브, 하드 디스크 드라이브, 광 디스크 드라이브 또는 광자기 디스크 드라이브, 또는 고체 상태 메모리, 예컨대 플래시 메모리, RAM, ROM, 및/또는 EEPROM 을 포함할 수도 있다. 스토리지 모듈 (210) 은 또한 다수의 메모리 유닛들을 포함할 수 있으며, 메모리 유닛들 중 임의의 메모리 유닛은 이미지 캡처 디바이스 (200) 내에 있도록 구성될 수도 있거나, 또는 이미지 캡처 디바이스 (200) 의 외부에 있을 수도 있다. 예를 들어, 스토리지 모듈 (210) 은 이미지 캡처 디바이스 (200) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 스토리지 모듈 (210) 은 또한 카메라로부터 착탈가능할 수도 있는, 캡처된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다.
도 2 는 프로세서, 이미징 센서, 및 메모리를 포함하는 별개의 컴포넌트들을 가지는 디바이스를 도시하지만, 당업자는 이들 별개의 컴포넌트들이 특정의 설계 목적들을 달성하기 위해 다양한 방법들로 결합될 수도 있음을 알 수 있을 것이다. 예를 들어, 대안적인 실시형태에서, 메모리 컴포넌트들은 비용을 절감하고 성능을 향상시키기 위해 프로세서 컴포넌트들과 결합될 수도 있다. 일부 실시형태들에서, 디바이스는 디바이스 프로세서 (250) 및 이미지 프로세서 (220) 를 참조하여 설명된 기능을 수행할 수 있는 단일 프로세서를 포함할 수도 있다.
게다가, 도 2 는 여러 모듈들을 포함하는 메모리 컴포넌트 (230) 및 작업 메모리를 포함하는 별개의 메모리 (205) 를 포함한 2개의 메모리 컴포넌트들을 예시하지만, 당업자는 상이한 메모리 아키텍쳐들을 이용하는 여러 실시형태들을 알 수 있을 것이다. 예를 들어, 설계는 메모리 (230) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 이용할 수도 있다. 프로세서 명령들은 이미지 프로세서 (220) 에 의한 실행을 용이하게 하기 위해 RAM 에 로드될 수도 있다. 예를 들어, 작업 메모리 (205) 는 RAM 메모리를 포함할 수도 있으며, 이때, 명령들은 이미지 프로세서 (220) 에 의한 실행 전에 작업 메모리 (205) 에 로드된다.
III. 시차 및 틸트 아티팩트들이 없는 폴딩형 광학 어레이 카메라들의 개관
도 3a 및 도 3b 는 아래에서 정의된 미리 결정된 공간 관계들에 따른, 여러 컴포넌트들의 배열로 인한 시차 및 틸트 아티팩트들이 없는 어레이 카메라의 일 실시형태를 예시한다. 도 3a 및 도 3b 에 의해 예시된 바와 같이, 2개의 미러 표면들 (330, 335) 및 2개의 대응하는 센서들 (311A, 311B) 은 캡처된 이미지에서 시차 및 틸트 아티팩트들을 야기하는 것을 회피하기 위해, 미리 정의된 공간 관계에 기초하여 구성될 수 있다. 어레이의 센서 및 그의 대응하는 렌즈는 "카메라" 로서 지칭되며, 어레이에서의 모든 카메라들의 협동체 (cooperation) 는 "가상 카메라" 로서 지칭된다. 예시되지는 않지만, 각각의 카메라는 카메라의 광축에 대해 예시된 각도에 배치되지 않은 센서 방향으로 광을 재지향하기 위해 위에서 설명한 바와 같이 2차 광 재지향 표면을 가질 수도 있다. 예를 들어, 일부 실시형태들에서, 모든 센서들은 공통 평면에 배치될 수도 있다. 예시된 실시형태에서, 가상 카메라 (320) 는 가상 센서 (321), 및 가상 센서와 연관된 가상 렌즈 (322) 를 포함한다. 주지하고 있는 바와 같이, 가상 카메라 (320) 는 물리 센서들 (311A, 311B) 에 의해 캡처된 이미지들을 스티칭함으로써 발생되는 전체 어레이 (300) 의 합성 조리개 (시야 (340)) 에 대응하는 가상 센서 (321) 및 가상 렌즈 (322) 를 보이기 위해 도시되며, 가상 카메라는 어레이의 실제 구성에 물리적으로 존재하지 않는다.
각각의 카메라 (310A, 310B) 는 중앙 미러 프리즘 (350) 의 정점 A 를 주시하며, 각각의 카메라 (310A, 310B) 의 광축 (315A, 315B) 은 정점 A 를 통과한다. 카메라들 (310A, 310B) 의 각각과 연관된 렌즈들 (312A, 312B) 의 렌즈 중심들은 정점으로부터 동일한 거리에 있으며, 각각의 카메라 (310A, 310B) 는 가상 카메라 (320) 의 시야 (340) 의 절반을 본다. 수직축 (325) 에 대한 각각의 카메라 (310A, 310B) 의 광축 (315A, 315B) 의 각도는 수직축 (325) 에 대한, 그의 대응하는 미러 (330, 335) 에 의해 형성되는 평면의 각도의 2배일 수 있다. 예시된 실시형태에서, 수직축 (325) 은 어레이 (300) 의 대칭의 수직축을 표시하며, 또한 가상 광축 (예컨대, 가상 센서 (321) 및 가상 렌즈 (322) 에 의해 표시되는 가상 카메라 (320) 의 광축) 이다.
예시된 바와 같이, 미러 표면들 (330, 335) 에 의해 형성되는 평면들은 정점으로서 지칭되고 도면들에 A 로 라벨링된 공통 지점에서, 어레이의 가상 광축 (325) 을 따라서 교차한다. 카메라들 (310A, 310B) 은 각각의 카메라의 광축 (315A, 315B) 이 정점 A 와 교차하도록 배치될 수 있다. 게다가, 각각의 카메라 (310A, 310B) 는 카메라의 광축 (315A, 315B) 과 가상 광축 (325) 사이에 형성되는 각도 (각도 2α 로서 라벨링됨) 가 대응하는 미러 표면 (330, 335) 과 가상 광축 (325) 사이에 형성되는 각도 (각도 α 로서 라벨링됨) 의 2배가 되도록, 배치될 수 있다. 그러나, 이들 각도들은 어레이에서의 모든 카메라들에 대해 동일할 필요가 없다. 정점 A 와 (센서 (311B) 에 대응하는 렌즈 (312B) 내에 위치된) 투영 (313B) 의 중심 사이의 거리 D 는 어레이에서의 모든 카메라들에 대해 동일하거나 또는 본질적으로 동일할 수 있다. 어레이의 모든 카메라들 (310A, 310B) 은 가상으로, 어레이 (300) 의 가상 광축 (325) 을 따라서 상방으로 바라보는 하나의 단일 가상 카메라 (320) 로 병합한다 ("로서 기능한다" 고 읽혀진다). 이렇게 하여 각각의 개개의 카메라/렌즈/미러 조합은 단지 전체 어레이 (300) 의 서브-조리개만을 나타낸다. 가상 카메라 (320) 는 모든 개개의 조리개 광선들의 합계로 이루어지는 합성 조리개를 갖는다.
도 3c 는 어레이 (300) 에서의 하나의 카메라 (310B) 에 대한 위에서 설명한 설계 제약들의 일 예를 예시한다. 어레이 (300) 에서의 모든 카메라들 (310A, 310B) 로부터의 이미지들을 스티칭함으로써 형성된 가상 카메라 (320) 의 시야 (340) 는 시스템의 기계적 파라미터들의 최적화에 기초할 수도 있다. 그러나, 어림 추정 (rough estimate) 이 무한하게 작은 (점-사이즈) 개개의 카메라 (310B) 의 가정에 기초하여 획득될 수 있다. 가상 카메라 (320) 에 대한 최대 가능 시야 (FOV) 는 도 3c 에서의 각도들에 관련되며, 다음과 같다:
FOV = 2β
β = 90 - α
FOV = 180 - 2α
각도 β 를 넘어서는, 가상 카메라 (320) 가 "보는" 광선들이 실제 카메라 (310B) 의 물리적인 구조에 의해 가로막혀질 수 있다. 어레이 카메라들의 일부 실시형태들에서, FOV 는 더 작을 수도 있다.
게다가, 어레이 카메라는 각도 α 를 45° 미만으로 그리고 소정 값보다 높게 제한하는 일부 실시형태들에서는 얇은 (예컨대, 높이 4 mm 이하) 것이 바람직하다. 다른 실제적인 요구사항들은 α > 30° 일 수도 있다. 여러 실시형태들에서, 초점 길이 및 각도 α 는 모든 카메라들에 대해 동일할 필요가 없다.
도 4 는 (대략적으로) FOV = 60°를 초래할 수 있는, 도 3a 내지 도 3c 의 어레이 카메라 (300) 의 미러 (335) 및 하나의 센서 (311B) 에 대응하는 미러 (335) 에 입사하는 광의 여러 각도들에 대한 설계 파라미터들의 이례 및 예시적인 광선 트레이스를 예시한다. 그러나, 이것은 일 예이며 한정이 아니며 더 넓은 각도들이 현실적으로 가능하다. 실제 렌즈에 대해 유사한 결과들이 예상되는, 이상적인 렌즈 (312B) 를 가정하면, 카메라 (310B) 의 초점 길이는 대략 5 mm 이고, 조리개는 2.5 mm 이고, A 로부터 투영 (313B) 의 렌즈 (312B) 중심까지의 거리는 대략 10.9 mm 이고, A 는 (높이 H 가 어레이에 대한 전체 두께 또는 높이에 기초하여 변할 수 있지만) 베이스 (400) 로부터 대략 4 mm 높이 H 에 있고, 투영 (313B) 의 렌즈 중심은 베이스 (400) 로부터 대략 2 mm 높이에 있으며, 그리고 α=40° 이다. FOV = 60° 는 상대 조도를 계산하는 것으로 결정될 수 있으며, 미러 (335) 사이즈 및 투영 (313B) 의 렌즈 중심으로부터 미러 (335) 까지의 거리에 의해 제한될 수 있다. 대략 4 mm 의 미러 높이 H 의 제한이 어레이 카메라의 폼 팩터 한계들로 인해 증가되지 않을 수도 있지만, 미러 (335) 까지의 거리는 광선들의 일부를 가로막는 물리적인 카메라를 희생하고 감소될 수 있다. 예시된 바와 같이, 센서 (311B) 는 센서 (311B) 가 종래 광축 (315B) 을 중심으로 배치된 경우보다 더 많은, 미러에 의해 제공되는 시야로부터 광을 수집하기 위해 광축 (315B) 으로부터 중심이 벗어나게 배치될 수 있다. 다른 실시형태들에서, 센서는 상이한 위치에 그리고 광축에 대해 상이한 각도로 배치될 수도 있으며, 2차 광 재지향 표면이 광을 센서로 재지향하기 위해 포함될 수 있다. 예를 들어, 중앙 미러 피라미드의 베이스 (400) 는 기판 상에 배치될 (또는, 기판에 삽입될) 수도 있으며, 센서 (311B) (및 어레이 (300) 에서의 모든 다른 센서들) 는 기판 상에 배치될 (또는, 기판에 삽입될) 수도 있다.
도 5a 내지 도 5c 는 거의 없거나 전혀 없는 시차 및 틸트 아티팩트들을 나타내는 어레이 카메라 (500) 의 일 실시형태를 예시하며, 어레이 카메라는 4개의 서브-카메라들 (510A, 510B, 510C, 510D) 및 중앙 미러 피라미드 (520) 를 포함한다. 여기서, 카메라는 센서, 렌즈, 및 중앙 미러 피라미드 (520) 의 패싯에 대응하는 가능한 2차 광 재지향 표면을 나타내는데 사용된다. 4개의 카메라들 (510A, 510B, 510C, 510D) 의 각각은 미러 피라미드의 정점 A 를 교차하는 광축을 가지며, 각각의 카메라에 대한 투영의 렌즈 중심들은 정점으로부터 동일한 거리에 있으며, 각각의 카메라는 가상 카메라의 시야의 대략 ¼ 을 본다. 일부 실시형태들에서, 각각의 카메라 (510A, 510B, 510C, 510D) 는 정점 A 이외의 공통 지점을 교차하는 광축을 가질 수 있다. 이러한 실시형태들에서, 결과적인 이미지는 거의 없거나 전혀 없는 시차 아티팩트들을 보일 수 있지만 틸트 아티팩트들을 보일 수 있다.
중앙 미러 피라미드 (520) 는 광을 4개의 카메라들 (510A, 510B, 510C, 510D) 중 하나 방향으로 각각 지향시키고 피라미드의 정점 A 를 형성하는 4개의 반사 패싯들 또는 경면의 표면들 (525A, 525B, 525C, 525D) 을 포함할 수 있다. 각각의 카메라 (510A, 510B, 510C, 510D) 는 이미지 센서 및 렌즈 어셈블리, 및 일부 구현예에서는, 2개의 합쳐진 직사각형의 박스들로서 도면들에 나타낸, 2차 광 재지향 표면을 포함할 수 있다. 각각의 카메라 (510A, 510B, 510C, 510D) 는 미러 피라미드의 정점 A 를 통과하는 광축 (515A, 515B, 515C, 515D) 을 가질 수 있으며, 대응하는 반사 패싯들 (525A, 525B, 525C, 525D) 을 이용하여, 가상 카메라의 전체 시야의 일 부분을 볼 수 있다. 카메라들 (510A, 510B, 510C, 510D) 의 각각, 정점 A, 및 반사 패싯들 (525A, 525B, 525C, 525D) 중 대응하는 반사 패싯 사이의 공간 관계들은 시차 및 틸트 아티팩트들을 감소시키거나 또는 제거하기 위해 상기와 같이 정의될 수도 있다. 미러 피라미드로서 일반적으로 본원에서 설명되지만, 일부 실시형태들에서, 반사 패싯들은 예를 들어, 멀리 떨어진 거리에 배치되고 따라서 통합된 구조를 형성하지 않음으로써, 또는 포인팅된 (pointed) 정점 대신, 편평한 상부 표면을 가지는 반사 컴포넌트를 형성하도록 함께 배치됨으로써, 상이한 형태를 가지는 반사 컴포넌트를 형성할 수도 있다. 이와 같이, 정점 A 는 물리적인 지점이기 보다는, 패싯들의 평면들의 교차점을 나타내는 공간에서의 지점일 수도 있다.
시차 감소들을 위한 광축 정렬을 가지는 다른 어레이 카메라 설계들, 예를 들어, 중앙 미러 피라미드 (또는, 중앙 반사 컴포넌트의 다른 형태/구조) 에 더해서 4개의 미러들 또는 반사 패싯들을 이용하는 8개의 카메라 설계가 또한 가능하다. 다른 개수들의 카메라들 및 대응하는 경면의 표면들이 가능하다. 게다가, 도 1 에 대해 위에서 설명된 바와 같이, 일부 실시형태들에서, 제 2 반사 표면은 중앙 미러 피라미드로부터의 광을 센서로 반사하기 위해 이미지 센서 상부 또는 하부에 배치될 수도 있다. 따라서, 센서는 중앙 미러 피라미드 (520) 와 함께 기판 상에 탑재될 수 있으며, 어레이 카메라 설계는 어레이 카메라의 높이보다 큰 길이를 가지는 센서들을 수용할 수 있다.
도 5c 는 중앙 미러 피라미드 (520) 위에 원으로서 나타낸 가상 카메라의 시야 (530) 의 일 예를 예시한다.
도 6a 내지 도 6c 는 시차 및 틸트 아티팩트들이 없는 어레이 카메라 (600) 의 일 실시형태를 예시한다. 위에서 설명된 4-카메라 설계 (500) 와 유사하게, 8-카메라 어레이 설계 (600) 는 카메라들 (610A-610H) 의 어레이에 의해 둘러싸인 중앙 미러 피라미드 (620) 를 포함한다. 위에서 설명된 4-카메라 설계 (500) 와 비교하여, 이 8-카메라 설계 (600) 는 정점 A 에서 교차하는 평면들에 대한 도 3a 내지 도 3c 에 대해 위에서 설명된 공간 관계들의 동일한 원리를 따라서, 4개의 추가적인 미러들 (625E, 625F, 625G, 625H) 및 4개의 대응하는 추가적인 카메라들 (610E, 610F, 610G, 610H) 을 갖지만, 추가적인 미러들 (625E, 625F, 625G, 625H) 은 1차 미러들 (610A, 610B, 610C, 610D) 의 각도와 비교하여 어레이 (600) 의 수직축에 대해 상이한 각도들에 배치될 수도 있다. 4개의 추가적인 경면의 표면들 (625E, 625F, 625G, 625H) 은 그들이 원래 4개의 카메라들에 의해 캡처된 광선들의 원뿔들을 가로막지 않도록, 그들의 사용가능한 영역의 부분을 절단함으로써 형상화될 수도 있다. 4-카메라 설계와 비교하여 추가적인 미러들 및 카메라들은 그레이로 도시된다. 렌즈 중심으로부터 정점 A 까지의 거리는 모든 8개의 카메라들 (610A-610H) 에 대해 동일할 수 있다. 이것은 어레이 카메라의 일 예를 예시하려는 것이며, 상이한 개수의 카메라들/미러들 뿐만 아니라 다른 수정들을 가지는 다른 카메라들이 가능하다.
도 6c 는 중앙 미러 피라미드 (620) 위에 원으로서 나타낸, 가상 카메라의 시야 (field of view; 630) 의 일 예를 예시한다. 도 5c 와 비교하여, 예시된 원 (630) 은 4-카메라 어레이 (500) 와 비교하여 8-카메라 어레이 (600) 의 FOV 에서의 증가를 나타낸다. 필드 (field) 를 심지어 더 멀리 확장하기 위해 8개보다 많은 카메라 설계들이 가능하지만, 시스템의 복잡성이 비례해서 증가한다. 일부 실시형태들은 대략 100° 의 FOV 를 달성하도록 구성될 수도 있다.
IV. 예시적인 캡처된 이미지들의 개관
도 7a 는 4-카메라 어레이 카메라의 하나의 센서 (710) 및 미러 (720) 에 대한 설계 파라미터들의 일 예를 예시한다. 실제 렌즈에 대해 유사한 결과들이 예상되는, 이상적인 렌즈 (715) 를 가정하면, 카메라 (310B) 의 초점 길이는 대략 5 mm 이고, 조리개는 2.5 mm 이고, A 로부터 투영 (313B) 의 렌즈 (715) 중심까지의 거리는 대략 7 mm 이고, A 는 (높이 H 가 어레이에 대한 전체 두께 또는 높이에 기초하여 변할 수 있지만) 베이스 (725) 로부터 대략 4 mm 높이 H 에 있고, α=39.713° 이다. 대략 4 mm 의 미러 높이 H 의 제한은 일부 구현예들에서, 어레이 카메라의 폼 팩터 한계들로 인해 증가되지 않을 수도 있다. 예시된 바와 같이, 센서 (710) 는 센서 (710) 가 종래 광축 (730) 을 중심으로 배치된 경우보다 더 많은, 미러에 의해 제공되는 시야로부터 광을 수집하기 위해, 광축 (730) 으로부터 중심이 벗어나게 배치될 수도 있다. 다른 실시형태들에서, 센서 (710) 는 상이한 위치에 그리고 광축에 대해 상이한 각도로 배치될 수도 있으며, 2차 광 재지향 표면이 광을 센서로 재지향하도록 포함될 수 있다. 예를 들어, 중앙 미러 피라미드의 베이스 (725) 는 기판 상에 배치될 (또는, 기판에 삽입될) 수도 있으며, 센서 (710) (및 어레이에서의 모든 다른 센서들) 는 기판 상에 배치될 (또는, 기판에 삽입될) 수도 있다.
도 7b 는 여러 각도들에서 미러 (720) 에 입사하는 광에 대한 예시적인 광선 트레이스를 예시하며, 여기서, 라인들의 개수는 센서 (710) 에 도달하는, 각각의 각도에서의 광의 상대적인 양에 대응한다. 여러 각도들에 대한 광선 트레이스에서의 라인들의 개수들로 예시된 바와 같이, 내측 각도들 (예컨대, 12 도 및 24 도) 로부터보다 외부 각도들 (예컨대, -6 도, 0 도, 36 도, 및 44 도) 로부터 더 적은 광이 센서 (710) 에 도달한다.
도 7c 는 도 7a 및 도 7b 에 예시된 설계 파라미터들을 가지는 4-카메라 어레이 카메라에 의해 캡처된 뷰들의 세트를 예시한다. 4-카메라 어레이로 캡처된 이미지들의 간단한 선형 블렌딩 (blending) 은 어떤 아티팩트들도 없는 고품질 결과들을 낳을 수 있다. 전체 시야는 4개의 카메라 시야들 사이의 중첩이 최소화되면 88° 에 이를 수 있다. 예시된 시뮬레이트된 뷰들의 세트에서, 오브젝트는 카메라로부터 대략 50 mm 떨어져 있고, 카메라가 오브젝트 상에 정확히 포커싱된다. 시야들 사이의 중첩의 영역들에서 시차가 거의 없거나 전혀 없어, 이전 어레이 카메라 설계들보다 이미지 스티칭에 대해 상당한 향상들을 제공한다.
모든 이미지들이 포커싱중일 때, 초점이 맞은 오브젝트는 바람직하게는 예를 들어, 하나의 평면에서, 하나의 거리에 있어야 한다. 적합한 정렬은 임의의 시차를 제거한다. 상이한 오브젝트들에 대한 심도가 상이할 때, 그들은 모두 초점이 맞지도 모두 동시에 정렬되지도 않을 수도 있다. 설령 하나의 오브젝트가 중첩하는 뷰들에서 정렬되더라도, 상이한 심도에서의 어떤 다른 오브젝트가 정렬되지 않을 수도 있다.
일부 예들에서, 초점이 맞은 오브젝트들은 적절히 정렬될 것이지만, 동일한 장면에서 초점이 맞지 않은 오브젝트들의 이미지들 사이에 오정렬이 있을 수 있다. Zemax 에서의 광범위한 시뮬레이션은 이러한 오브젝트들에 의해, 상이한 미러들로부터의 중첩하는 뷰들 사이에 가시적인 시차가 있음을 보였다. 그러나, 2개의 이러한 이미지들의 혼합물은 더 큰 조리개로부터의 오브젝트의 실제 디포커스된 (defocused) 뷰이다. 개개의 카메라들로부터의 뷰들은 부분 (불완전한) 조리개 이미징을 나타낸다. 이러한 개개의 뷰들을 혼합한 결과는 완전 조리개 이미징이다. 어레이 카메라는 부분 뷰들의 모두로부터 합성 조리개 이미지들을 발생시킨다.
4-카메라 어레이를 가지며 50 mm 에서의 초점이 맞은 오브젝트 및 40 mm 에 포커싱된 카메라들을 가지는, 하나의 실험에서, 그 실험은 개개의 뷰들 사이의 중첩하는 영역들에서 약간의 시차를 보였다. 그러나, 뷰들의 선형 블렌딩은 여전히 최종 이미지에서 청정성 (cleanness) 및 고스팅의 부재를 보여 주었다.
도 8a 는 불완전한 중앙 미러 피라미드 (800) 의 일 실시형태를 예시한다. 어레이 카메라들에 사용되는 실제 미러들은 샤프한 에지 (sharp edge) 들에서 결합들을 어쩌면 가질 수 있다. 도 8a 의 미러은 피라미드의 에지 (805) 를 0.25 mm 만큼 차단하고 (컷오프들 (cutoffs) 을 가지는 미러 피라미드로서 지칭되는) 상부 (810) 를 0.5 mm 만큼 절단한 효과를 조사하기 위해 사용되는 불완전한 미러을 나타낸다. 차단된 에지들 (805) 및 절단된 상부 (810) 의 효과들이 도 9a 의 예시적인 이미지에 대해 설명된다.
도 8b 는 불완전한 중앙 미러 피라미드 (820) 의 다른 실시형태를 예시한다. 도 8b 의 미러은 차단된 에지들 (805) 그리고 또한 피라미드 의 상단의 벽 (815) 의 효과를 조사하기 위해 사용되는 불완전한 미러을 나타내며, 그 벽 (815) 은 대략 0.5 mm 의 높이를 가지며, 비스듬히 들어오는 어떤 광선들을 차단한다 (벽들을 가지는 미러 피라미드로 지칭된다). 차단된 에지들 (805) 및 차단된 상부 (815) 의 효과들이 도 9b 의 예시적인 이미지에 대해 설명된다.
도 9a 는 이상적인 중앙 미러 피라미드 및 도 8a 의 중앙 미러 피라미드로 캡처된 이미지 사이의 차이의 절대값의 배율을 가지는 이미지 (900) 를 예시한다. 도 8a 에 예시된 바와 같은 중앙 미러 피라미드를 이용하여 캡처된 이미지 상의 컷오프들 (cutoffs) 의 효과는 45 도 대각선들에서 이미지의 암화 (darkening) 이며 이미지의 중심에서 다이아몬드-형태로 된 영역에서 암화를 배가한다.
도 9b 는 이상적인 중앙 미러 피라미드 및 도 8b 의 중앙 미러 피라미드로 캡처된 이미지 사이의 차이의 절대값의 배율을 가지는 이미지 (905) 를 예시한다. 차이의 확대된 절대값에 의해 예시된 바와 같이, 도 8b 에 예시된 바와 같은 중앙 미러 피라미드를 이용하여 캡처된 이미지 상의 벽 (wall) 의 효과는 이미지의 중심에서 검은 십자 (black cross) 이다.
실제 및 불완전한 미러들이 캡처된 이미지들에서 암화를 야기할 수도 있지만, 이러한 암화는 불완전한 미러을 이용한 어레이에 의한 모든 이미지들 캡처에 걸쳐서 일정할 것이다. 따라서, 일부 실시형태들에서, 포스트-캡처 프로세싱 기법들이 예를 들어, 그 캡처된 이미지를 기지의 암화된 영역들의 마스크 만큼 증가시킴으로써, 미러로 인한 이미지의 기지의 암화를 교정하기 위해 사용될 수 있다. 그 결과는 마치 날카로운 에지들 및 날카로운 정점을 가지는 이상적인 미러에 의해 캡처된 것처럼 나타날 것이다. 다른 실시형태들에서, 예를 들어, 미러 에지들을 0.25 mm 보다 낫게 샤프하고 정확하도록 요구하는, 제조 제약들이 암화 아티팩트들을 피하기 위해 미러 구성에 대해 두어질 수 있다.
V. 예시적인 이미지 캡처 프로세스의 개관
도 10 은 폴딩형 광학 이미지 캡처 프로세스 (1000) 의 일 실시형태를 예시한다. 프로세스 (1000) 는 블록 (1005) 에서 시작하며, 여기서, 복수의 이미징 센서들이 제공된다. 이 블록은 센서들의 개수 및 위치를 포함한, 위에서 설명된 센서 어레이 구성들 중 임의의 구성을 제공하는 것을 포함할 수 있다.
프로세스 (1000) 는 그후 블록 (1010) 으로 이동하며, 여기서, 적어도 하나의 반사 표면이 복수의 이미징 센서들 중 대응하는 센서에 가깝게 그리고 그와의 미리 정의된 공간 관계로 탑재된다. 예를 들어, 이 블록은 2개, 4개, 또는 8개의 센서들의 주위 어레이의 중간에 중앙 미러 피라미드를 탑재하는 것을 포함할 수 있으며, 여기서, 중앙 미러 피라미드는 어레이들에서의 각각의 센서와 연관된 표면을 포함한다. 위에서 설명한 바와 같이, 미리 정의된 공간 관계는, 예를 들어, 중앙 미러 피라미드의 패싯들 또는 경면의 표면에 의해 형성되는 모든 평면들이 공통 지점 (정점) 에서 교차한다고, (여러 실시형태들에서, 상이한 미러들이 상이한 각도들로 또는 동일한 각도로 모두 배치될 수도 있지만) 각각의 미러이 정점을 통과하는 어레이의 수직축에 대해 각도 α 로 배치된다고, 각각의 미러의 대응하는 센서가 정점을 통과하는 어레이의 수직축에 대해 각도 2α 로 배치된다고, 그리고, 각각의 센서와 연관된 렌즈 어셈블리의 투영의 중심이 투영의 다른 중심들의 각각과, 정점으로부터의 동일한 거리 D 에 배치된다고 규정함으로써, 시차 및 틸트 아티팩트들이 실질적으로 없는 어레이 카메라를 제공할 수 있다. 일부 실시형태들에서, 프로세스 (1000) 의 블록들 (1005 및 1010) 은 시차 및 틸트 아티팩트들이 실질적으로 없는 어레이 카메라를 제조하는 방법으로서 구현될 수 있다.
프로세스 (1000) 는 그후 블록 (1015) 으로 이행하며, 여기서, 장면의 타깃 이미지를 포함하는 광이 적어도 하나의 반사 표면으로부터 블록들 (1005 및 1010) 에 의해 제조된 어레이 카메라의 이미징 센서들 방향으로 반사된다. 예를 들어, 광의 일 부분이 복수의 표면들의 각각으로부터 복수의 센서들의 각각 방향으로 반사될 수도 있다. 이것은 광을 각각의 센서와 연관된 렌즈 어셈블리를 통과시키는 것을 더 포함할 수도 있으며, 또한 제 2 표면으로부터의 광을 센서 상으로 반사하는 것을 포함할 수도 있다. 블록 (1015) 은 광을 렌즈 어셈블리를 이용하여 또는 반사 표면들 중 임의의 반사 표면의 이동을 통해서 포커싱하는 것을 더 포함할 수도 있다.
프로세스 (1000) 는 그후 블록 (1020) 으로 이동할 수도 있으며, 여기서, 센서들이 타깃 이미지 장면의 복수의 이미지들을 캡처한다. 예를 들어, 각각의 센서가 그 센서의 시야에 대응하는 장면의 일 부분의 이미지를 캡처할 수도 있다. 어레이 카메라를 구성할 때에 사용되는 미리 결정된 공간 관계로 인해, 시야들은 거의 없거나 전혀 없는 시차 및 틸트 아티팩트들을 보일 수도 있다. 더불어, 복수의 센서들의 시야들이 적어도 타깃 이미지를 오브젝트 공간에서 커버한다.
프로세스 (1000) 는 그후 블록 (1025) 으로 이행할 수도 있으며, 여기서, 복수의 이미지들로부터 단일 이미지를 발생시키기 위해 이미지 스티칭 방법이 수행된다. 일부 실시형태들에서, 도 2 의 이미지 스티칭 모듈 (240) 이 이 블록을 수행할 수도 있다. 이것은 기지의 이미지 스티칭 기법들을 포함할 수도 있다. 또, 시야들에서의 중첩의 임의의 영역들은 스티칭 프로세스에서 이미지들을 정렬할 때에 사용될 수도 있는 복수의 이미지들에서 중첩을 발생시킬 수도 있다. 예를 들어, 블록 (925) 은 인접한 이미지들의 중첩하는 영역에서 공통 피쳐들을 식별하고 그 공통 피쳐들을 이용하여 이미지들을 정렬하는 것을 더 포함할 수도 있다. 일부 실시형태들에서, 블록 (1025) 은 중앙 미러 피라미드에서의 결함들에 의해 초래되는 기지의 아티팩트들에 대한 보상을 포함할 수 있다.
다음으로, 프로세스 (1000) 는 블록 (1030) 으로 이행하여, 여기서, 스티칭된 이미지가 규정된 종횡비, 예를 들어, 4:3 또는 1:1 로 크롭된다. 마지막으로, 프로세스는 블록 (1035) 에서 크롭된 이미지를 저장한 후 종료한다. 예를 들어, 이미지는 도 2 의 스토리지 (210) 에 풀 해상도 최종 이미지로서 저장될 수도 있거나, 또는 타깃 장면의 미리보기 이미지로서의 디스플레이를 위해 도 2 의 작업 메모리 (205) 에 저장될 수도 있다.
VI. 구현 시스템들 및 전문용어
본원에서 개시된 구현예들은 시차 및 틸트 아티팩트들이 없는 다중 조리개 어레이 카메라들을 위한 시스템들, 방법들 및 장치를 제공한다. 당업자는 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있음을 알 수 있을 것이다.
일부 실시형태들에서, 위에서 설명된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 이용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하기 위해 사용되는 전자 디바이스의 일종일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화기들, 스마트폰들, 개인 휴대정보 단말기들 (PDA들), e-리더기들, 게이밍 시스템들, 뮤직 플레이어들, 넷북들, 무선 모뎀들, 랩탑 컴퓨터들, 태블릿 디바이스들, 등을 포함한다.
무선 통신 디바이스는 하나 이상의 이미지 센서들, 2개 이상의 이미지 신호 프로세서들, 위에서 설명된 프로세스들을 실행하기 위한 명령들 또는 모듈들을 포함하는 메모리를 포함할 수도 있다. 디바이스는 또한 데이터, 프로세서 로딩 명령들 및/또는 메모리, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들 예컨대, 디스플레이 디바이스 및 전력 소스/인터페이스로부터의 데이터를 가질 수도 있다. 무선 통신 디바이스는 송신기 및 수신기를 추가적으로 포함할 수도 있다. 송신기 및 수신기 는 송수신기로서 공통적으로 지칭될 수도 있다. 송수신기는 무선 신호들을 송신하거나 및/또는 수신하기 위해 하나 이상의 안테나들에 커플링될 수도 있다.
무선 통신 디바이스는 다른 전자 디바이스 (예컨대, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안적으로, 모바일 디바이스, 이동국, 가입자국, 사용자 장비 (UE), 원격국, 액세스 단말기, 모바일 단말기, 터미널, 사용자 단말기, 가입자 유닛, 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩탑 또는 데스크탑 컴퓨터들, 셀룰러폰들, 스마트폰들, 무선 모뎀들, e-리더기들, 태블릿 디바이스들, 게이밍 시스템들, 등을 포함한다. 무선 통신 디바이스들은 3세대 파트너쉽 프로젝트 (3GPP) 와 같은, 하나 이상의 산업 표준들에 따라서 동작할 수도 있다. 따라서, 일반 용어 "무선 통신 디바이스" 는 산업 표준들에 따른 가지각색의 명명법들로 설명되는 무선 통신 디바이스들 (예컨대, 액세스 단말기, 사용자 장비 (UE), 원격 단말기, 등) 을 포함할 수도 있다.
본원에서 설명한 기능들은 프로세서-판독가능 또는 컴퓨터-판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터-판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 가용 매체를 지칭한다. 비제한적인 예로서, 이런 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크 (laser disc), 광 디스크 (optical disc), DVD (digital versatile disc), 플로피 디스크 (floppy disk) 및 블루레이® 디스크 (Blu-ray® disc) 를 포함하며, 여기서, 디스크 (disk) 는 보통 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 컴퓨터-판독가능 매체는 유형적이고 비일시적일 수도 있다는 점에 유의해야 한다. 용어 "컴퓨터-프로그램 제품" 은 컴퓨팅 디바이스 또는 프로세서에 의해 실행되거나, 프로세싱되거나 또는 계산될 수도 있는 코드 또는 명령들 (예컨대, "프로그램") 과 결합한, 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본원에서 사용될 때, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.
소프트웨어 또는 명령들은 또한 송신 매체를 통해서 송신될 수도 있다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 무선 기술들, 예컨대 적외선, 라디오, 및 마이크로파를 이용하여 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 무선 기술들 예컨대 적외선, 라디오, 및 마이크로파가 그 송신 매체의 정의에 포함된다.
본원에서 설명한 방법들은 설명한 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구의 범위로부터 일탈함이 없이 서로 상호 교환될 수도 있다. 즉, 설명되고 있는 방법의 적합한 동작을 위해 특정의 단계들 또는 액션들의 순서가 요구되지 않는 한, 특정의 단계들 및/또는 액션들의 순서 및/또는 사용은 청구의 범위로부터 일탈함이 없이 수정될 수도 있다.
용어들 "커플링하는", "커플링", "커플링된" 또는 단어 커플 (couple) 의 다른 변형예들은 본원에서 사용될 때 간접 접속 또는 직접 접속을 나타낼 수도 있다는 점에 유의해야 한다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링"되면, 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 접속되거나 또는 제 2 컴포넌트에 직접 접속될 수도 있다. 본원에서 사용될 때, 용어 "복수의" 는 2개의 이상을 나타낸다. 예를 들어, 복수의 컴포넌트들은 2개 이상의 컴포넌트들을 표시한다.
용어 "결정하는 것" 은 매우 다양한 액션들을 포괄하며, 따라서, "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 유도하는 것, 조사하는 것, 탐색하는 것 (예컨대, 테이블, 데이터베이스 또는 또 다른 데이터 구조에서 탐색하는 것), 확인하는 것 및 기타 등등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예컨대, 정보를 수신하는 것), 액세스하는 것 (예컨대, 메모리 내 데이터에 액세스하는 것) 및 기타 등등을 포함할 수 있다. 또한, "결정하는 것" 은 분석하는 것, 선택하는 것, 선정하는 것, 설정하는 것 및 기타 등등을 포함할 수 있다.
어구 "에 기초하여" 는 명확하게 달리 규정되지 않는 한, "에 오직 기초하여" 를 의미하지 않는다. 즉, 어구 "에 기초하여" 는 "에 오직 기초하여" 및 "에 적어도 기초하여" 양쪽을 기술한다.
상기 설명에서, 구체적인 세부 사항들이 예들의 완전한 이해를 제공하기 위해 주어진다. 그러나, 예들이 이들 구체적인 세부 사항들 없이도 실시될 수도 있음을 당업자들은 이해할 수 있을 것이다. 예를 들어, 전기 컴포넌트들/디바이스들이 예들을 불필요한 세부 내용으로 흐리지 않도록 하기 위해 블록도들로 도시될 수도 있다. 다른 경우, 이러한 컴포넌트들, 다른 구조들 및 기법들은 예들을 더 설명하기 위해 자세히 도시될 수도 있다.
제목들은 본원에서 참조를 위해 그리고 여러 섹션들을 배치하는 것을 돕기 위해 포함된다. 이들 제목들은 그에 대해 설명된 컨셉들의 범위를 한정하려고 의도되지 않는다. 이러한 컨셉들은 전체 명세서에 걸쳐서 적용가능성 (applicability) 을 가질 수도 있다.
또한, 예들이 플로우차트, 흐름도, 데이터 흐름도, 구조 다이어그램 또는 블록도로 도시된 프로세스로서 설명될 수도 있다는 점에 유의한다. 플로우차트가 동작들을 순차적인 프로세스로서 설명할 수도 있지만, 동작들 중 많은 것들이 병렬로 또는 동시에 수행될 수 있으며 프로세스가 반복될 수 있다. 게다가, 동작들의 순서는 재-배열될 수도 있다. 프로세스는 그의 동작들이 완료되면 종료된다. 프로세스는 메소드 (method), 함수 (function), 프로시저, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응할 때, 프로세스의 종료는 호출 함수 또는 메인 함수로의 함수의 반환에 대응한다.
개시된 구현예들의 상기 설명은 임의의 당업자가 본 발명을 실시하고 이용할 수 있도록 제공된다. 이들 구현예들에 대한 여러 변경들은 당업자들에게 쉽게 알 수 있을 것이며, 본원에서 정의하는 일반 원리들은 본 발명의 정신 또는 범위로부터 일탈함이 없이, 다른 구현예들에 적용될 수도 있다. 따라서, 본 발명은 본원에서 나타낸 구현예들에 한정시키려는 것이 아니라, 본원에서 개시된 원리들 및 신규한 특징들에 부합하는 최광의의 범위를 부여받게 하려는 것이다.

Claims (30)

1. 이미징 시스템 (500) 으로서,
   복수의 1차 광 반사 표면들 (525A-525D) 을 포함하는 반사 컴포넌트 (520) 로서, 상기 반사 컴포넌트는 상기 복수의 1차 광 반사 표면들의 각각의 1차 광 반사 표면의 교차점의 로케이션에서의 정점 (A) 을 포함하는, 상기 반사 컴포넌트;
   복수의 카메라들 (510A-510D) 로서, 상기 복수의 카메라들의 각각의 카메라는 상기 반사 컴포넌트의 정점에 위치된 단일점과만 교차하도록 정렬된 광축 (515A-515D) 을 갖고, 상기 복수의 카메라들의 각각은 상기 복수의 1차 광 반사 표면들 중의 하나와 연관되고 상기 1차 광 반사 표면들 중의 상기 연관된 하나로부터 반사된 광을 수신하도록 배열되고, 상기 반사 컴포넌트는 상기 복수의 카메라들 중의 적어도 2개 사이에 배치되는, 상기 복수의 카메라들; 및
   상기 정점을 통과하는, 상기 복수의 카메라들의 가상 광축을 포함하고,
   상기 복수의 광 반사 표면들 중 적어도 하나는 상기 가상 광축에 대해, 상기 복수의 1차 광 반사 표면들 중 상기 적어도 하나에 의해 형성되는 평면이 제 1 각도를 형성하도록 배치되며,
   상기 복수의 1차 광 반사 표면들 중 상기 적어도 하나로부터의 광을 수신하는 상기 복수의 카메라들 중 하나의 카메라의 광축이 상기 가상 광축에 대해 제 2 각도를 형성하며, 상기 제 2 각도는 상기 제 1 각도의 값의 2배와 동일한 값을 가지는, 이미징 시스템.
2. 제 1 항에 있어서,
   상기 복수의 1차 광 반사 표면들의 각각은, 상기 복수의 1차 광 반사 표면들의 각각에 의해 형성되는 평면들이 상기 가상 광축에 대해 상기 제 1 각도를 형성하도록 배치되며,
   상기 복수의 카메라들의 각각 카메라의 광축은 상기 가상 광축에 대해 상기 제 2 각도를 형성하는, 이미징 시스템.
3. 제 1 항에 있어서,
   상기 복수의 1차 광 반사 표면들의 제 1 서브세트에 의해 형성되는 평면들은 상기 가상 광축에 대해 상기 제 1 각도를 형성하며;
   상기 복수의 카메라들의 대응하는 제 1 서브세트의 상기 광축은 상기 가상 광축에 대해 상기 제 2 각도를 형성하며;
   상기 복수의 1차 광 반사 표면들의 제 2 서브세트에 의해 형성되는 평면들은 상기 가상 광축에 대해 제 3 각도를 형성하며, 상기 제 3 각도는 상기 제 1 각도의 상기 값과는 상이한 값을 가지며; 그리고
   상기 복수의 카메라들의 대응하는 제 2 서브세트의 상기 광축은 상기 가상 광축에 대해 제 4 각도를 형성하며, 상기 제 4 각도는 상기 제 3 각도의 상기 값의 2배와 동일한 값을 가지는, 이미징 시스템.
4. 제 1 항에 있어서,
   상기 복수의 카메라들의 각각의 카메라는 렌즈 어셈블리 및 센서를 포함하며, 각각의 카메라에 대해,
   상기 카메라의 광축은 상기 렌즈 어셈블리의 투영의 중심과 교차하며,
   상기 카메라의 광축은 상기 카메라의 광축으로부터 중심이 벗어나게 배치된 상기 센서와 교차하는, 이미징 시스템.
5. 제 1 항에 있어서,
   복수의 렌즈 어셈블리들 및 복수의 이미지 센서들을 더 포함하며,
   상기 복수의 카메라들의 각각은 상기 복수의 렌즈 어셈블리들 중 하나 및 상기 복수의 이미지 센서들 중 하나를 포함하는, 이미징 시스템.
6. 제 5 항에 있어서,
   상기 복수의 렌즈 어셈블리들의 각각은 투영의 중심을 가지며,
   상기 복수의 렌즈 어셈블리들 중 적어도 2개는 상기 정점이 상기 복수의 렌즈 어셈블리들 중 적어도 2개의 각각의 투영의 중심으로부터 등거리가 되도록 배치되는, 이미징 시스템.
7. 제 5 항에 있어서,
   상기 복수의 렌즈 어셈블리들은 서로와 동일하며, 상기 복수의 렌즈 어셈블리들은 상기 정점으로부터 등거리에 배치되는, 이미징 시스템.
8. 제 5 항에 있어서,
   편평한 기판을 더 포함하며,
   상기 복수의 이미지 센서들의 각각은 상기 편평한 기판 상에 배치되는, 이미징 시스템.
9. 제 8 항에 있어서,
   복수의 2차 광 반사 표면들 (625E-625H) 을 더 포함하며,
   상기 복수의 2차 광 반사 표면들의 각각은 대응하는 상기 복수의 렌즈 어셈블리들 중 대응하는 하나의 렌즈 어셈블리로부터 인입하는 광을 수신하고 상기 인입하는 광을 상기 복수의 이미지 센서들 중 대응하는 하나의 이미지 센서 방향으로 재지향시키도록 구성되는, 이미징 시스템.
10. 제 5 항에 있어서,
    상기 복수의 2차 광 반사 표면들 각각은 굴절 프리즘의 반사 표면 중 하나를 포함하는, 이미징 시스템.
11. 제 5 항에 있어서,
    편평한 기판을 더 포함하고,
    상기 복수의 이미지 센서들의 각각은 상기 기판에 삽입되게 배치되는, 이미징 시스템.
12. 폴딩형 광학 어레이 카메라 (500) 를 제조하는 방법으로서,
    복수의 1차 광 반사 표면들 (525A-525D) 을 포함하는 반사 컴포넌트 (520) 를 제공하는 단계로서, 상기 반사 컴포넌트는 상기 복수의 1차 광 반사 표면들의 각각에 의해 형성되는 평면들의 교차점의 로케이션에서의 정점 (A) 을 포함하고, 상기 폴딩형 광학 어레이 카메라의 가상 광축은 상기 정점을 통과하는, 상기 반사 컴포넌트를 제공하는 단계;
    상기 반사 컴포넌트 주위에 복수의 카메라들 (510A-510D) 을, 상기 반사 컴포넌트가 상기 복수의 카메라들 중의 적어도 2개 사이에 배치되록, 배열하는 단계로서, 상기 배열하는 단계는 상기 복수의 카메라들의 각각의 카메라에 대해:
    상기 복수의 1차 광 반사 표면들 중 연관된 하나로부터 타깃 이미지 장면을 표현하는 광의 일 부분을 수신하도록 렌즈 어셈블리를 배치하는 단계로서, 상기 렌즈 어셈블리는 광축을 가지는, 상기 렌즈 어셈블리를 배치하는 단계, 및
    상기 광축이 상기 정점과 교차하게 정렬되도록 그리고 상기 정점에 위치된 단일점에서만 상기 복수의 카메라들 중의 다른 카메라들의 광축과 교차하도록 상기 렌즈 어셈블리를 배치하는 단계를 포함하는, 상기 배열하는 단계; 및
    상기 복수의 1차 광 반사 표면들 중의 적어도 하나를, 상기 가상 광축에 대해 상기 복수의 1차 광 반사 표면들 중의 상기 적어도 하나에 의해 형성된 평면이 제 1 각도를 형성하도록, 배치하는 단계로서, 상기 복수의 1차 광 반사 표면들 중의 상기 적어도 하나로부터 광을 수신하는 상기 복수의 카메라들 중의 하나의 카메라의 광축이 상기 가상 광축에 대해 제 2 각도를 형성하고, 상기 제 2 각도는 상기 제 1 각도의 값의 2배와 동일한 값을 갖는, 상기 배치하는 단계
    를 포함하는, 폴딩형 광학 어레이 카메라를 제조하는 방법.
13. 제 12 항에 있어서,
    상기 복수의 카메라들의 각각의 카메라에 대해, 상기 렌즈 어셈블리로부터 광을 수신하도록 이미지 센서를 배치하는 단계를 더 포함하는, 폴딩형 광학 어레이 카메라를 제조하는 방법.
14. 제 12 항에 있어서,
    상기 폴딩형 광학 어레이 카메라는 가상 카메라의 가상 광축을 포함하며,
    상기 가상 카메라는 상기 복수의 카메라들의 각각의 카메라의 시야를 결합함으로써 형성되는, 폴딩형 광학 어레이 카메라를 제조하는 방법.
15. 제 12 항에 있어서,
    편평한 기판을 제공하는 단계; 및
    상기 복수의 카메라들의 각각에 대해:
    상기 렌즈 어셈블리로부터 광을 수신하도록 배치된 이미지 센서를 제공하는 단계, 그리고
    상기 이미지 센서를 상기 편평한 기판 상에 배치하는 단계를 더 포함하는, 폴딩형 광학 어레이 카메라를 제조하는 방법.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제

Images