Nothing Special   »   [go: up one dir, main page]

JP2016500962A - フォールデッドオプティクスを用いたマルチカメラシステム - Google Patents

フォールデッドオプティクスを用いたマルチカメラシステム Download PDF

Info

Publication number
JP2016500962A
JP2016500962A JP2015537741A JP2015537741A JP2016500962A JP 2016500962 A JP2016500962 A JP 2016500962A JP 2015537741 A JP2015537741 A JP 2015537741A JP 2015537741 A JP2015537741 A JP 2015537741A JP 2016500962 A JP2016500962 A JP 2016500962A
Authority
JP
Japan
Prior art keywords
image
view
light
sensor
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015537741A
Other languages
English (en)
Other versions
JP2016500962A5 (ja
JP6692640B2 (ja
Inventor
ジョルジーブ、トドー・ジョルジーブ
オスボーン、トーマス・ベスレイ
ゴマ、サーギウ・ラドゥ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016500962A publication Critical patent/JP2016500962A/ja
Publication of JP2016500962A5 publication Critical patent/JP2016500962A5/ja
Application granted granted Critical
Publication of JP6692640B2 publication Critical patent/JP6692640B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Lens Barrels (AREA)

Abstract

シーンのターゲット画像をキャプチャするために複数の画像センサを採用する方法及びデバイスがここにおいて説明される。説明されるように、少なくとも1つの反射面又は屈折面を複数の画像センサの近くに配置することは、センサが画像シーンの一部分を各センサに誘導するために反射面又は屈折面を使用することによって個々にキャプチャすることができるよりも広い視野及びより長い焦点距離の画像をまとめてキャプチャするのを可能にする。センサによってキャプチャされたシーンの異なる部分は、重なり合うことができ、及び、ターゲット画像を生成するために整合させてクロッピングすることができる。

Description

[0001]本開示は、マルチカメラアレイを含む撮像システム及び方法に関するものである。特に、本開示は、画質を維持又は向上させつつロープロフィール撮像システム及びモバイルデバイスを可能にするシステム及び方法に関するものである。
[0002]多くのモバイルデバイス、例えば、携帯電話及びタブレットコンピューティングデバイス、は、静止画像及び/又は映像画像をキャプチャするために使用者によって操作することができるカメラを含む。モバイルデバイスは、典型的には相対的に小型であるように設計されているため、カメラ又は撮像システム(imaging system)はロープロフィール(low−profile)にモバイルデバイスを維持するために可能なかぎり薄型に設計することが重要である。様々な従来のデバイスでは、モバイルデバイスの厚さは、撮像センサを側面において回転させ及びセンサへの光線を曲げるために反射デバイスを用いることによって可能な限り薄く維持されている。しかしながら、この特定の解決方法はそれほどロバスト(robust)でない。その理由は、撮像センサの幅及びピクセルピッチがカメラの最高の解像度を決定することができるためである。
[0003]その他の従来のデバイスでは、モバイルデバイスの厚さは、撮像システムの焦点距離を短くすることによって可能な限り薄く維持される。しかしながら、システムの焦点距離が可能な限り短くなるように設計されるときには様々な問題が発生する可能性がある。例えば、システムの焦点距離と視野は反比例の関係にあるため、焦点距離を短くすることは、例えば、約60度以上の視野で、画像が自然の画像をから不自然な広い視野の画像なる程度にまで視野を拡大させるおそれがある。さらに、レンズのロールオフ(roll−off)、例えば、画像の中心と比較して画像の縁部付近の光又は輝度が失われることは、焦点距離が短くなるのに従って増大することがある。従って、モバイルデバイス内の撮像システムの焦点距離が短くされるのに応じて、望ましくないレンズのロールオフに起因して画質が劣化するおそれがある。
[0004]さらに、様々なモバイルデバイス内の撮像システムの変調伝達関数(MTF)は、画像の中央と比較して画像の縁部付近においてより低い解像度を作り出すことがあり、それは、MTFロールオフと呼ぶことができる。MTFロールオフも焦点距離と反比例の関係にあるため、モバイルデバイスにおける短くされた焦点距離は、画像の縁部における解像度を低下させるおそれがある。さらに、より短い焦点距離は、レンズの主光線の入射角を大きくするおそれがあり、それも、望ましくないアーティファクトを生み出す可能性があり、ピクセル間での増大した光と電気的漏話、及びより低いセンサMTF性能を含む。従って、画質を維持又は向上させつつモバイルデバイス内の撮像システムの厚さを薄くすることが有利であることができる。
[0005]ここにおいて説明されるフォールデッドオプティックセンサアレイ(folded optic sensor array)及び画像キャプチャ技法は、焦点距離を短くせずに及びセンサアレイの視野における画像の解像度を低下させずにロープロフィール画像キャプチャデバイスを創作することを可能にする。一次面及び二次面を用いてアレイ内の各センサ方に光を向けることによって、及び、入光を一次面と二次面との間で集束させるために使用されるレンズアセンブリを配置することによって、センサアレイは、レンズアセンブリに垂直な平らな基板上に配置することができる。より長い焦点距離は、光学ズーム、等の特徴を実装することを可能にし、及び、伝統的なモバイルカメラによって一般的に与えられるスペースよりも大きいスペースを要求するより複雑な光学を組み入れること、例えば、より多くの光学素子を追加すること、を可能にする。カメラの鋭さ(acuity)は、カメラの角解像度を意味し、カメラが遠く離れた物体をどれだけ良く解像するかを定義し、焦点距離に比例し、従って、より長いカメラから直接利益を受ける。
[0006]実施形態の一部は、ターゲット画像を備える入光をアレイ内のセンサによるキャプチャのために複数の部分に分割するために、例えば、複数の表面を有する中央鏡を採用することができる。その他の実施形態は、複数の面を有するプリズムを採用することができ、各面は、ターゲット画像を備える光の一部分をアレイ内のセンサの方に向ける。分割された光の各部分は、レンズアセンブリ内を通過させ、センサの真上又は真下に配置された表面で反射させ、各センサが画像の一部分をキャプチャするようにすることができる。幾つかの状況では、アレイ内の各センサは、アレイ内の近隣センサによってキャプチャされる部分とわずかに重なり合う画像の部分をキャプチャすることができ、これらの部分は、例えば、画像スティチング(stitching)技法によって組み立ててターゲット画像にすることができる。
[0007]一実施形態により、画像キャプチャシステムは、複数の画像センサと、複数のレンズアセンブリと、シーンの少なくとも一部分を備える光を複数のレンズアセンブリのうちの少なくとも1つ内を通すために配置された一次面と、複数の二次面と、複数の部分的な画像を組み立ててターゲット画像にするように構成された処理モジュールと、を備え、複数の画像センサの各々は、複数の視野のうちの1つを有し、複数の視野の各々は、シーンの実質的に異なる部分を備え、各レンズアセンブリは、複数の画像センサのうちの1つに対応し、二次面の各々は、光の少なくとも一部分を複数のレンズアセンブリのうちの1つから複数の画像センサのうちの1つ内に向け、複数の画像センサの各々は、複数の部分的画像のうちの1つをキャプチャし、複数の部分的画像のうちの各々は、複数の視野のうちの1つに対応する。
[0008]画像キャプチャシステムは、実質上平らな基板をさらに備えることができる。複数の画像センサ、複数のレンズアセンブリ、一次面及び二次面は、様々な適切な構成で基板上に配置することができる。一次面は、1つ以上の反射面を備えることができ、幾つかの実施形態では、ターゲット画像シーンを備える入光を向けるように構成された1つ以上の面を備えるプリズムであることができる。
[0009]他の実施形態により、ターゲット画像シーンをキャプチャするための方法が提供され、方法は、複数の画像センサを提供するステップであって、複数の画像センサの各々は、複数の視野のうちの1つを有し、複数の視野の各々は、シーンの実質的に異なる部分を有するステップと、複数のレンズアセンブリを提供するステップであって、各レンズアセンブリは、複数の画像センサのうちの1つに対応するステップと、シーンの少なくとも一部分を備える光を少なくとも1つの一次面を用いて複数のレンズアセンブリのうちの各々の方に向けるステップと、複数のレンズアセンブリの各々からの光を複数の二次面を用いて複数の画像センサのうちの対応する1つの方に向けるステップと、複数の部分的画像をキャプチャするステップであって、複数の部分的画像の各々は、複数の画像センサのうちの1つによってキャプチャされ及び複数の視野のうちの1つに対応するステップと、複数の部分的画像をターゲット画像に組み立ててるステップと、を備える。
[0010]画像キャプチャの様々な態様が、添付図面において例によって示され、ただし、例によって限定するものではない。
[0011]フォールデッドオプティックセンサアセンブリの実施形態の横断面側面図である。 [0012]図1Aのフォールデッドオプティックセンサアセンブリの投影された視野の実施形態の上から見た図である。 [0013]画像キャプチャデバイスの一実施形態のブロック図である。 [0014]フォールデッドオプティックセンサアレイの実施形態のブロック図である。 [0015]図3Aのフォールデッドオプティックセンサアレイの実施形態の透視図である。 [0016]図3A−Bのフォールデッドオプティックセンサアレイの一実施形態の概略図である。 [0017]コンポーネントの角度関係を示したフォールデッドオプティックセンサアセンブリの一実施形態の横断面側面図である。 [0018]フォールデッドオプティックセンサアレイの他の実施形態の透視図である。 [0019]フォールデッドオプティックセンサアレイのさらに他の実施形態の透視図である。 [0020]図5A−Bのフォールデッドオプティックセンサアレイの投影視野の実施形態の概略図である。 [0021]フォールデッドオプティックセンサアレイの他の実施形態の透視図である。 [0022]図6Aのフォールデッドオプティックセンサアレイの投影視野の実施形態の概略図である。 [0023]カスケード式フォールデッドオプティックセンサアレイの実施形態のブロック図である。 [0024]フォールデッドオプティックセンサアセンブリの他の実施形態の横断面側面図である。 [0025]フォールデッドオプティック画像キャプチャプロセスの実施形態を示した図である。
[0026]ここにおいて開示される実装は、モバイル撮像用途に関するシステム、方法及び装置を提供する。例えば、ここにおいて説明されるように、画質を維持又は向上させつつモバイルデバイスのフォームファクタを低減させるのが望ましいであろう。ここにおいて開示される実装は、撮像システムの視野にわたって複数の撮像センサ及び/又は複数のレンズを採用することによって撮像システムの厚さを薄くするためにモバイルデバイスにおいて使用することができる。様々な実装において、カメラ及び/又は撮像レンズのアレイを1つ以上の反射面に隣接させて提供することができる。センサのアレイは、複数の、重なり合う画像をキャプチャすることができ、それらは、高い画質及び解像度を維持しながら単一の画像を形成するために1つにスティッチ(stitch)することができる。複数のセンサを基板上に横方向に間隔をあけて、又はシステム内において互いに隣接させて配置することによって、撮像システムの全体的な高さ又は厚さを小さくすることができる。様々な実装において、開示されるシステムは、相対的に長い光学路の長さを含むいわゆるフォールデッドオプティックシステムであることができる。焦点距離を実質的に短くしないことによって、上述される画質の低下を回避することができ、その一方で、高さが低くなった撮像システムを維持することができる。
[0027]開示される概念の数多くのその他の実装が可能であることが評価されるべきである。開示された実装によって様々な利点を達成させることができる。例えば、撮像システムを含むモバイルデバイスの全体的な厚さを、モバイルデバイスで使用される従来の撮像システムと比較して薄くすることができる。さらに、センサアレイの視野全体における画像の解像度を向上させることができ及び伝統的なカメラにおいて見受けられる解像度のロールオフを回避することができる(例えば、解像度が縁部において低下することがある)。さらに、システムの視野全体における複数のレンズの使用は、視野全体における総合的な有効解像度を向上させることができる。さらに、複数のレンズの使用は、カメラの焦点距離を長くし、従って、カメラの鋭さを向上させることができる。
[0028]様々なアレンジメントにおいて、各カメラの視野は、特定の目的、例えば、後処理の後に焦点を調整する能力を可能にする、を達成させるために重なり合う(overlap)ことができる。さらに、2つの同時画像をキャプチャしてそれらを結合させるために高ダイナミックレンジカメラを実装することができる。さらに、アレイ内の各カメラのレンズとセンサとの間の焦点距離を変えることによってオートフォーカス用途を実装することができる。ここにおいて説明されるように、様々なその他の利点及び実装を達成させることができる。
[0029]これらの実施形態は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせにおいて実装できることを当業者は認識するであろう。当業者は、情報及び信号は様々な異なる技術及び技法のうちのいずれかを用いて表すことができることを理解するであろう。例えば、上記の説明全体を通じて参照されることがあるデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場、磁粒子、光学場、光学粒子、又はそれらのあらゆる組合せによって表すことができる。
[0030]以下の説明では、例に関する徹底的な理解を提供するために具体的な詳細が与えられる。しかしながら、それらの例はこれらの具体的な詳細なしで実践可能であることが当業者によって理解されるであろう。例えば、それらの例を不必要に詳細に説明して曖昧にすることがないように電気的コンポーネント/デバイスはブロック図で示すことができる。その他の例では、該コンポーネント、その他の構造及び技法は、それらの例についてさらに説明するために詳細に示すことができる。
[0031]例は、プロセスとして説明することができ、それは、フローチャート、流れ図、有限状態図、構造図、又はブロック図として描かれることが注記される。フローチャートは、動作を順次のプロセスとして描くが、動作の多くは、並行して、又は同時に行うことができ、及び、プロセスは繰り返すことができる。さらに、動作の順序は、再編することができる。プロセスは、それの動作が完了されたときに終了される。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラム、等に対応することができる。プロセスがソフトウェア関数に対応するときには、それの終了は、呼び出し関数又は主関数に戻ることに対応する。
[0032]今度は図1A−Bを参照し、典型的なフォールデッドオプティクスマルチセンサアセンブリ100がより詳細に説明される。図1Aにおいて示されるように、センサアセンブリ100は、画像センサ105、125、反射面110、135、レンズアセンブリ115、130、中央反射面120を含むことができ、すべて基板150に取り付けられる。
[0033]画像センサ105、125は、幾つかの実施形態では、電荷結合素子(CCD)、相補型金属酸化膜半導体センサ(CMOS)、又は、光を受け取り、受け取られた画像に応答して画像データを生成するあらゆるその他の画像検知デバイスを備えることができる。画像センサ105、125は、静止写真の画像データを得ることができ及びキャプチャされた映像ストリーム内での動きに関する情報も提供することができる。センサ105、125は、個々のセンサであることができ、又は、センサのアレイ、例えば、3×1アレイ、を表すことができる。しかしながら、当業者によって理解されるように、開示される実装ではあらゆる適切なセンサのアレイを使用することができる。
[0034]センサ105、125は、図1Aに示されるように基板150上に載せることができる。幾つかの実施形態では、平らな基板150に取り付けることによってすべてのセンサが1つの平面上に存在することができる。基板150は、適切な実質上平らな材料であることができる。中央反射面120及びレンズアセンブリ115、130も同様に基板150に取り付けることができる。センサアレイ又はアレイ(複数)、複数のレンズアセンブリ、及び複数の一次的及び二次的な反射面又は屈折面を取り付けるために複数の構成が可能である。
[0035]幾つかの実施形態では、中央反射面120は、ターゲット画像シーンからセンサ105、125の方に光を向けるために使用することができる。中央反射面120は、1つの鏡又は複数の鏡であることができ、及び入光を画像センサ105、125に適切に向けるために必要に応じて平らであること又は形状を有することができる。例えば、幾つかの実施形態では、中央反射面120は、入ってきた光線を、レンズアセンブリ115、130を通じてセンサ105、125に反射させるために鏡のサイズ及び形状であることができる。中央反射面120は、ターゲット画像を備える光を複数の部分に分割し、異なるセンサにおいて各部分を指向することができる。例えば、中央反射面120の第1の側122は、第1の視野140に対応する光の部分を左センサ105に送ることができ、第2の側124は、第2の視野145に対応する光の第2の部分を右センサ125方向に送る。画像センサの視野140、145がまとまって少なくともターゲット画像を網羅することが評価されるべきである。
[0036]受光センサが各々複数のセンサのアレイである幾つかの実施形態では、中央反射面は、ターゲット画像の異なる部分を各センサの方に送るために互いに角度が付けられた複数の反射面から成ることができる。アレイ内の各センサは、実質的に異なる視野を有することができ、及び、幾つかの実施形態では、視野は、重なり合うことができる。中央反射面の幾つかの実施形態は、レンズシステムを設計時に自由度を高めるために複雑な平面でない表面を有することができる。さらに、中央面は反射面として説明されるが、その他の実施形態では、中央面は、屈折型であることができる。例えば、中央面は、複数の面で構成されるプリズムであることができ、各面は、シーンを備える光の部分をセンサのうちの1つの方に向ける。
[0037]中央反射面120から反射された後は、光は、レンズアセンブリ115、130内を通すことができる。中央反射面120及びセンサ105、125及び反射面110、135の間には1つ以上のレンズアセンブリ115、130を装備することができる。レンズアセンブリ115、130は、各センサの方に向けられるターゲット画像部分を集束させるために使用することができる。
[0038]幾つかの実施形態では、各レンズアセンブリは、1つ以上のレンズと、ハウジング内の複数の異なるレンズ位置の間でレンズを移動させるためのアクチュエータと、を備えることができる。アクチュエータは、ボイスコイルモータ(VCM)、マイクロエレクトロニックメカニカルシステム(MEMS)、又は形状記憶合金(SMA)であることができる。レンズアセンブリは、アクチュエータを制御するためのレンズ駆動装置をさらに備えることができる。
[0039]伝統的なオートフォーカス技法は、レンズ115、130と各センサアセンブリの対応するセンサ105、125との間の焦点距離を変えることによって実装することができる。幾つかの実施形態では、これは、レンズバレル(lens barrel)を移動させることによって完遂させることができる。その他の実施形態は、中央鏡を上下させることによって又はレンズアセンブリに対する鏡の角度を調整することによって焦点を調整することができる。該実施形態は、アセンブリが各センサの焦点を個々に調整するのを可能にすることができる。さらに、幾つかの実施形態は、例えば、液体レンズのようなレンズをアセンブリ全体の上に置くことによって、アセンブリ全体の焦点を一度に変えることが可能である。幾つかの実施形態では、カメラアレイの焦点を変えるためにコンピュータ写真術(computational photography)を使用することができる。
[0040]センサの反対側の中央鏡120の周囲には、複数の側部反射面、例えば、反射面110及び135、を装備することができる。レンズアセンブリ内を通った後は、側部反射面110、135は、下方の平らなセンサ105、125の上に光を反射させることができる。描かれるように、センサ105は、反射面110の下方に配置することができ、センサ125は、反射面135の下方に配置することができる。しかしながら、その他の実施形態では、センサは、側部反射面の上方に存在することができ、側部反射面は、光を下方に反射させるように構成することができる。側部反射面及びセンサのその他の適切な構成が可能であり、各レンズアセンブリからの光がセンサの方に向けられる。幾つかの実施形態は、側部反射面110、135の動きが関連するセンサの焦点又は視野を変化させるのを可能にすることができる。
[0041]図1Bにおいて示されるように、各センサの視野140、145は、そのセンサと関連付けられた中央鏡120の表面によって物体スペース(object space)内に入るように操作することができる。各カメラの視野を物体フィールド上の異なる位置に移動させることができるように鏡を傾ける及び/又はアレイ内のプリズムを移動させるために機械式方法を採用することができる。これは、例えば、高ダイナミックレンジカメラを実装するために、カメラシステムの解像度を向上させるために、又はプレンオプティックス(plenoptics)カメラシステムを実装するために使用することができる。各センサの(又は各3×1アレイの)視野は、物体スペース内に投影することができ、各センサは、そのセンサの視野によるターゲットシーンの部分を備える部分的画像をキャプチャすることができる。幾つかの実施形態では、反対側のセンサアレイ105、125に関する視野140、145は、ある量150だけ重なり合うことができる。重なり合い150を低減させて単一の画像を形成するため、2つの反対側のセンサアレイ105、125からの画像を結合するために以下において説明されるスティッチングプロセスを使用することができる。スティッチングプロセスの幾つかの実施形態は、部分的画像をひとつにスティッチする際に共通の特徴を識別するために重なり合い150を採用することができる。重なり合う画像をひとつにスティッチ後は、スティッチされた画像は、最終画像を形成するために、希望されるアスペクト比、例えば、4:3又は1:1、に従ってクロッピング(crop)することができる。
[0042]図2は、1つ以上の画像センサアセンブリ215a−nにリンクされた画像プロセッサ220を含む一組のコンポーネントを有するデバイス200の高位ブロック図である。画像プロセッサ220は、ワーキングメモリ205、メモリ230、及びデバイスプロセッサ250とも通信中であり、それらは、記憶装置210及び電子ディスプレイ225と通信中である。
[0043]デバイス200は、携帯電話、タブレットコンピュータ、パーソナルデジタルアシスタント、等であることができる。ここにおいて説明されるように厚さが薄くされた撮像システムが利点を提供するポータブルコンピューティングデバイスは数多く存在する。デバイス200は、静止型のコンピューティングデバイス又は薄い撮像システムが有利であるあらゆるデバイスであることもできる。デバイス200ではユーザが複数の用途を利用可能である。これらの用途は、伝統的写真及び映像上の用途、高ダイナミックレンジ撮像、パノラマ写真及び映像、ステレオスコープ撮像、例えば、3D画像又は3D映像を含むことができる。
[0044]画像キャプチャデバイス200は、外部の画像をキャプチャするための画像センサアセンブリ215a−nを含む。画像センサアセンブリ215a−nは、各々、図1Aに関して上述されるように、センサと、レンズアセンブリと、ターゲット画像の一部分を各センサに向けるための一次的および二次的反射面又は屈折面と、を備えることができる。概して、Nの画像センサアセンブリ215a−nを使用することができ、N≧2である。従って、ターゲット画像は、Nの部分に分割することができ、Nのセンサアセンブリの各センサは、そのセンサの視野に従ってターゲット画像の一部分をキャプチャする。しかしながら、幾つかの実施形態は、1つのみの画像センサアセンブリを採用することができ、画像センサアセンブリ215a−nは、ここにおいて説明されるフォールデッドオプティック撮像デバイスの実装に適したあらゆる数の画像センサアセンブリを備えることができることが理解されるであろう。センサ数は、図4に関してより詳細に説明されるように、システムのより低いz高を達成するために、又は、その他の目的、例えば、プレンオプティックカメラの視野と重なり合うそれを有し、後処理の後に画像の焦点を調整する能力を可能にする、というニーズを満たすために増加させることができる。その他の実施形態は、高ダイナミックレンジカメラに適する視野重なり構成を有することができ、2つの同時画像をキャプチャしてそれらをひとつに結合する能力を可能にすることができる。画像センサアセンブリ215a−nは、キャプチャされた画像を画像プロセッサ220に送信するためにカメラプロセッサ220に結合することができる。
[0045]画像プロセッサ220は、以下においてより詳細に説明されるように、高質のスティッチされた画像を出力するためにターゲット画像のNの部分を備える受信された画像データに関して様々な処理を行うように構成することができる。プロセッサ220は、汎用の処理ユニット又は撮像用に特に設計されたプロセッサであることができる。画像処理動作の例は、クロッピング、スケーリング(例えば、異なる解像度)、画像スティッチング、画像形式変換、色内挿、色処理、画像フィルタリング(例えば、空間画像フィルタリング)、レンズアーティファクト又は欠陥の補正、等を含む。プロセッサ220は、幾つかの実施形態では、複数のプロセッサを備えることができる。幾つかの実施形態は、各画像センサ専用のプロセッサを有することができる。プロセッサ220は、1つ以上の専用画像信号プロセッサ(ISP)又はプロセッサのソフトウェア実装であることができる。
[0046]示されるように、画像プロセッサ220は、メモリ230及びワーキングメモリ205に接続される。例示される実施形態では、メモリ230は、キャプチャ制御モジュール235、画像スティッチングモジュール240、及びオペレーティングシステム245を格納する。これらのモジュールは、様々な画像処理及びデバイス管理タスクを行うことをデバイスプロセッサ250の画像プロセッサ220に行わせる命令を含む。ワーキングメモリ205は、メモリ230のモジュールに入っているプロセッサ命令のワーキングセットを格納するために画像プロセッサ220によって使用することができる。代替として、ワーキングメモリ205は、デバイス200の動作中に作られたダイナミックデータを格納するために画像プロセッサ220によって使用することもできる。
[0047]上記のように、画像プロセッサ220は、メモリに格納された幾つかのモジュールによって構成される。キャプチャ制御モジュール235は、撮像センサアセンブリ215a−nの焦点位置を調整することを画像プロセッサ220に行わせる命令を含むことができる。キャプチャ制御モジュール235は、デバイス200の全体的な画像キャプチャ機能を制御する命令をさらに含むことができる。例えば、キャプチャ制御モジュール235は、撮像センサアセンブリ215a−nを用いてターゲット画像シーンの生画像データをキャプチャすることを画像プロセッサ220に行わせるためのサブルーチンを呼び出す命令を含むことができる。次に、キャプチャ制御モジュール235は、センサアセンブリ215a−nによってキャプチャされたNの部分的画像に関してスティッチング技法を実行し、スティッチ及びクロップされたターゲット画像を撮像プロセッサ220に出力するために画像スティッチングモジュール240を呼び出すことができる。キャプチャ制御モジュール235は、キャプチャされるべきシーンのプレビュー画像を出力するために、及びある一定の時間間隔でプレビュー画像を更新するために、又は生画像データ内のシーンが変化したときに、生画像データに関するスティッチング動作を行うために画像スティッチングモジュール240を呼び出すこともできる。
[0048]画像スティッチングモジュール240は、キャプチャされた画像データに関するスティッチング及びクロッピング技法を実行することを画像プロセッサ220に行わせる命令を備えることができる。例えば、Nのセンサ215a−nの各々は、各センサの視野に従ったターゲット画像の部分を備える部分的画像をキャプチャすることができる。図1Bに関して上述されるように、及び図3C、4C、5B及び6Bに関して後述されるように、視野は、重なり合うエリアを共有することができる。単一のターゲット画像を出力するために、画像スティッチングモジュール240は、高解像度のターゲット画像を生成するために複数のNの部分的画像を結合することを画像プロセッサ220に行わせることができる。ターゲット画像の生成は、既知の画像スティッチング技法を通じて行うことができる。画像スティッチングの例は、米国特許出願第11/623,050号(Docket060170)において見つけることができ、それは、ここにおける引用によってそれ全体が組み入れられている。
[0049]例えば、画像スティッチングモジュール240は、互いに対するNの部分的画像の回転及び整合性を決定するために特徴をマッチングさせるためにNの部分的画像の縁に沿って重なり合うエリアを比較するための命令を含むことができる。部分的画像の回転及び/又は各センサの視野の形状に起因して、結合された画像は、イレギュラーな形状を成すことがある。従って、Nの部分的画像を整合及び結合した後は、画像スティッチングモジュール240は、希望される形状及びアスペクト比、例えば、4:3の長方形又は1:1の正方形に合わせて結合された画像をクロッピングすることを画像プロセッサ220に行わせるサブルーチンを呼び出すことができる。クロッピングされた画像は、ディスプレイ225において表示するために又は記憶装置210に格納するためにデバイスプロセッサ250に送ることができる。
「0050」オペレーティングシステムモジュール245は、デバイス200のワーキングメモリ205及び処理リソースを管理することを画像プロセッサ220に行わせる。例えば、オペレーティングシステムモジュール245は、ハードウェアリソース、例えば、撮像センサアセンブリ215a−n、を管理するためのデバイスドライバを含むことができる。従って、幾つかの実施形態では、上述される画像処理モジュールに入っている命令は、これらのハードウェアリソースと直接対話せず、その代わりに、オペレーティングシステムコンポーネント270内に配置された標準的なサブルーチン又はAPIを通じて対話することができる。オペレーティングシステム245内の命令は、これらのハードウェアコンポーネントと直接対話することができる。オペレーティングシステムモジュール245は、デバイスプロセッサ250と情報を共有することを画像プロセッサ220にさらに行わせることができる。
[0051]デバイスプロセッサ250は、キャプチャされた画像、又はキャプチャされた画像のプレビューをユーザに表示するためにディスプレイ225を制御するように構成することができる。ディスプレイ225は、撮像デバイス200の外部に存在することができ又は撮像デバイス200の一部であることができる。ディスプレイ225は、画像をキャプチャする前にプレビュー画像を表示するビューファインダを提供するように構成することもでき、又は、メモリに格納された又はユーザによって最近キャプチャされたキャプチャされた画像を表示するように構成することができる。ディスプレイ225は、LCD又はLED画面を備えることができ、及び、タッチ感応技術を実装することができる。
[0052]デバイスプロセッサ250は、データ、例えば、キャプチャされた画像を表現するデータ、を記憶モジュール210に書き込むことができる。記憶モジュール210は、伝統的なディスクデバイスとして図形で表される一方で、記憶モジュール210は、あらゆるメディアデバイスとして構成することができることを当業者は理解するであろう。例えば、記憶モジュール210は、ディスクドライブ、例えば、フロッピー(登録商標)ディスクドライブ、ハードディスクドライブ、光学ディスクドライブ又は磁気−光学ディスクドライブ、又はソリッドステートメモリ、例えば、FLASHメモリ、RAM、ROM、及び/又はEEPROM、を含むことができる。記憶モジュール210は、複数のメモリユニットも含むことができ、及び、それらのメモリユニットのうちのいずれか1つは、画像キャプチャデバイス200内に存在するように構成することができ、又は、画像キャプチャデバイス200の外部に存在することができる。例えば、記憶モジュール210は、画像キャプチャデバイス200内に格納されたシステムプログラム命令が入っているROMメモリを含むことができる。記憶モジュール210は、キャプチャされた画像を格納するように構成され、カメラから取り外すことができるメモリカード又は高速メモリを含むこともできる。
[0053]図2は、プロセッサ、撮像センサ、及びメモリを含むための別個のコンポーネントを有するデバイスを描いているが、これらの別個のコンポーネントは特定の設計目標を達成するために様々な方法で結合することができることを当業者は認識するであろう。例えば、代替実施形態においては、メモリコンポーネントは、コストを節約するために及び性能を向上させるためにプロセッサコンポーネントと結合することができる。
[0054]さらに、図2は、幾つかのモジュールを備えるメモリコンポーネント230とワーキングメモリを備える別個のメモリ205とを含む2つのメモリコンポーネントを例示するが、当業者は、異なるメモリアーキテクチャを利用する幾つかの実施形態を認識するであろう。例えば、ある設計は、メモリ230に入っているモジュールを実装するプロセッサ命令の格納のためにROM又はスタティックRAMメモリを利用することができる。プロセッサ命令は、画像プロセッサ220による実行を容易にするためにRAM内にローディングすることができる。例えば、ワーキングメモリ205は、RAMメモリを備えることができ、命令は、プロセッサ220による実行前にワーキングメモリ205内にローディングされる。
[0055]図3A−Cを参照し、フォールデッドオプティックセンサアレイ300の一実施形態がより詳細に説明される。アレイ300は、センサアセンブリの2つの3×1ロー(row)と、中央光方向変更面335、例えば、鏡、とを備える。図1Aにおいて示されるように、センサアセンブリA−Fは、各々、画像センサと、レンズアセンブリと、二次反射面と、を含むことができる。センサアレイ300構成の幾つかの実施形態は、82度の視野を有することができる。
[0056]図3A及び3Bにおいて例示されるように、センサアセンブリA305、センサアセンブリB310、及びセンサアセンブリC315は、中央鏡335の1つの側部337における第1の軸に沿って隣接して互いに平行に整合される。センサアセンブリD320、センサアセンブリE325、及びセンサアセンブリF330は、中央鏡335の反対側の側部338における第2の軸に沿って隣接して互いに平行に整合される。第1及び第2の軸は、中央鏡335の中央の対称線に平行に整合される。軸上の各センサアセンブリ間には均一のギャップが存在するとして描かれているが、このギャップの量は可変であり、幾つかの実施形態は、センサを1つのグループとしてシリコンウェハーから切断することによって、間にギャップが存在しない状態でセンサを配置することができる。
[0057]図3Bは、3つの個別の鏡面337、338及び339を表示する中央鏡335の透視図である。鏡面337は、ターゲット画像の一部分を備える光をセンサアセンブリ320の方に向ける。ターゲット画像のこの部分は、センサ320の視野に対応する。鏡面338は、ターゲット画像の他の部分をセンサアセンブリ325の方に向け、鏡面339は、ターゲット画像の第3の部分をセンサアセンブリ330の方に向ける。図3Bによって例示される図には示されていないが、中央鏡の反対側は、センサアセンブリ305、310、及び315の方に光を反射させる3つの類似の表面を備える。
[0058]アレイ300内の各センサの視野が図3Cに示される。視野360は、センサ320に対応し、視野365は、センサ325に対応し、視野370は、センサ330に対応する。中央鏡面337及び338の相対的角度に部分的に起因して、視野360及び365は、三角形の重なり部分を共有する。視野365及び370も、同じ仕様の三角形の重なり部分を共有することができる。中央鏡335は、対称線に関して対称であるため、視野345、350、及び355は、視野360、365及び370として互いに類似する関係を有することができる。視野365及び350は、長方形の重なり部分を共有する。幾つかの実施形態では、アレイ内のセンサは、例示される視野に従って複数の画像をキャプチャすることができ、ターゲット画像を生成するために複数の画像をひとつにスティッチし及びクロップして長方形の境界340にすることができる。
[0059]図4は、センサ405と、レンズシステム495と、第1の反射面480と、第2の反射面401と、を備えるフォールデッドオプティックセンサアセンブリ400の一実施形態を例示する。
[0060]フォールデッドオプティックセンサアセンブリ400において、第1の反射面480は、センサ405が取り付けられている平面に対して角度τで配置することができる。第2の反射面401は、センサ405が取り付けられている平面に対して角度τで配置することができる。センサ405は、対角の視野γ及びセンサの高さによって少なくとも部分的に決定されるセンサの高さγの視野を有することができる。レンズシステム495は、第1の反射面480からの距離445に配置することができ、レンズシステム495の受光縁部上のポイントdから反射面480上のポイントQまでの中央軸に沿って測定される。レンズシステムは、第2の反射面401からの距離430に配置することができ、レンズシステム495の送光縁部上のポイントdから反射面401上のポイントQまでの中央軸に沿って測定される。
[0061]ターゲット画像シーンを備える入射光475は、第1の反射面480の方に走行する。入射ビーム475は、表面480のポイントPに当たり、表面480から反射され、反射されたビーム470としてレンズシステム495の方に走行する。入射ビーム475は、レンズシステム495の受光縁部に対して角度αを形成し、反射されたビーム470は、レンズシステム495の受光縁部に対して角度βを形成する。入射ビーム475と反射されたビーム470との間の反射角は、変数δによって表される。
[0062]反射されたビーム470は、レンズシステム495に入り、直径465の1つ以上のレンズ内を通過する。レンズシステム495は、長さ435及び直径425を有する。レンズシステム内において、ターゲット画像は高さが460である。距離440は、レンズシステム495の縁部からのレンズダイアフラムの位置をマークする。収束レンズを採用する実施形態では、光は、焦点Rにおいて収束し、レンズシステム495の他方の側から出て行く。
[0063]レンズシステム495を出た後は、光455のビームは、第2の反射面401上に入射する。入射ビーム455は、表面480のポイントPiに当たり、表面401から反射され、反射されたビーム450としてセンサ405の方に走行する。反射されたビーム450は、レンズシステム495の送光縁部に対して角度αを形成し、入射ビーム455は、レンズシステム495の送光縁部に対して角度βiを形成する。入射ビーム455と反射されたビーム450との間の反射角は、変数δによって表される。
[0064]幾つかの2D実施形態において上記の変数間の関係は、次の方程式によって定義される。
α=π−β−δ
β=(π−γ)/2
δ=π−γ−2τ
[0065]フォールデッドオプティクスを有するシステム400の最小Z高490は、最小後側焦点距離(back focal length)によって決定される。最小後側焦点距離は、レンズシステムの直径425に関する最大値を計算するために使用することができる。レンズシステムの直径425は、センサ420までのZ距離の値及び鏡485の最上部までのZ距離の値を決定する。センサ420までのZ距離及び鏡485の最上部までのZ距離の値を合計することは、システム480に関する最小のZ高を提供する。
[0066]一実施形態においては、センサ420までのZ距離及び二次反射面430までの距離の両方が最小であり、アセンブリ400は、フォールデッドオプティックスを使用するために要求される最小後側焦点距離を有する。これは、反射されたビーム450がレンズシステム495と交差せず、センサ405がレンズシステム495及び第2の反射面401と交差しないポイントまでレンズシステム425の直径が増大されたときに生じることができる。このポイントにおいて、レンズシステム425の直径もそれの最大値に達していることができる。
[0067]フォールデッドオプティックスを有するシステム490の最小Z高は、最小後側焦点距離に関連しており、最小後側焦点距離からレンズシステム425の直径に関する最大値を計算することができる。フォールデッドオプティックスを有するレンズシステム425の後側焦点距離は、第2の反射面401に距離を及びセンサ415に距離を加えることによって計算することができる。一実施形態では、視野γは、40度で固定することができ、センサ405の高さは、1.6mmであることができ、センサ405は、1Mpxセンサであることができる。後側焦点距離は、レンズ直径465が0.5mmであるときには2mmであることができる。幾つかの実施形態では、フォールデッドオプティックセンサアレイ内のセンサ数は、より低いZ高を達成するために増やすことができる。
[0068]一実施形態では、センサ405は、1.4μmのピクセルピッチを有する5MPセンサであることができ、視野γは、65度であることができる。この実施形態の有効焦点距離は、焦点が無限大であるときには3.57mmであることができる。同様に、センサは5MPセンサと同じ物理的サイズであることができるため、1.12μmのピクセルピッチを有する8MPセンサを有する実施形態の有効焦点距離も3.57mmであることができる。これらの実施形態のシステム490のZ高は約3.9mmにすることが可能である。
[0069]図5A及び5Bは、対応する視野を有する6つのセンサフォールデッドオプティクアレイの2つの実施形態を示す。図4に関して上述されるように、これらの実施形態のセンサアセンブリは、各々、センサと、レンズシステムと、センサ上に光を誘導するように配置された反射面と、を備えることができる。これらの実施形態で論じられる中央鏡は、別々の反射面のアセンブリとして製造することができ又は複数の反射面を有する単一のプリズムとして製造することができる。
[0070]図5Aは、センサアセンブリ510、520、及び530の第1のロー及びセンサアセンブリ540、550、及び560の第2のローを中央鏡505の周囲に有するフォールデッドオプティックセンサアレイの他の実施形態を示す。各ロー内のセンサアセンブリは、回転させること又は互いに傾けることができ、このため、センサは、同じ平面内には取り付けられない。例えば、外側センサアセンブリ510、530及び540、560は、中央センサ520、550に対して約±21度回転させることができる。アセンブリの中心軸は、画像平面と平行な平面内に存在することができる。センサアセンブリ500の幾つかの実施形態は、11mm×12mm−4.5mm(W×L−Z高)であることができる。当然のことであるが、実施形態はこれらの回転に限定されず、その他の回転度が企図される。
[0071]中央鏡505は、6つの表面を備えることができ、各表面は、ターゲット画像シーンの一部分を備える光をセンサアセンブリのうちの1つの方に向けるように構成される。例えば、表面570は、センサアセンブリ540において光を向けることができ、表面580は、センサアセンブリ550において光を向けることができ、表面590は、センサアセンブリ560において光を向けることができる。一実施形態では、表面570及び590は、76×31.3度(最上部×底部)の角度を付けることができ、表面580は、76.4度×0度(最上部×底部)の角度を付けることができる。図5Aの透視図では見ることができないが、中央鏡505の側部は、センサアセンブリ510、520、及び530に対応する3つの追加の表面を備えることができる。一実施形態は、10の面を有するコンプレックスミラー(complex mirror)を備えることができ、そのうちの6つは反射面であることができる。中央鏡の幾つかの実施形態は、6つの面を有するコンプレックスミラーを備えることができ、その他の実施形態は、3つの別個の楔形の鏡を備えることができる。Nのセンサを有するその他の実施形態では、中央鏡は、Nの表面を備えることができ、Nの表面の各々は、ターゲット画像シーンの一部分を備える光をNのセンサのうちの1つの方に向けるように構成される。
[0072]図5Bは、フォールデッドオプティックセンサアレイ501の他の実施形態を示し、6つのセンサアセンブリ511、521、531、541、551、及び561が、3つの中央鏡571、581、及び591の集まりの周囲に概して円状に取り付けられる。幾つかの実施形態では、センサアセンブリ511及び541とセンサアセンブリ531及び561との間には約76度の角度が存在することができる。センサアセンブリは、同じ平面に、例えば、実質上平らな基板上に、取り付けることができる。幾つかの実施形態では、センサアセンブリ内のセンサは、取り付け面に垂直に配置することができる。各センサは、全フィールドの異なる部分を見ることができる。
[0073]中央鏡571、581、及び591も基板上に取り付けることができる。中央鏡571、581、及び591は、各々が、別個の楔形の鏡であることができる。表面571は、両方のセンサアセンブリ531及び561において光を向けることができる。表面581は、2つの別個の反射面と、センサアセンブリ551において光を向けることができる第1の表面と、センサアセンブリ521において光を向けることができる第2の表面と、を備えることができる。表面591は、センサアセンブリ531及び561の両方において光を向けることができる。センサアレイ501の幾つかの実施形態は、15mm×17mm−3.6mm(W×L−Z高)であることができる。
[0074]一実施形態では、アレイ501内のセンサは、5メガピクセルであり、1.4μmのピクセルサイズ、4:3の比、及び3.61×2.71mm(W×H)の寸法を有することができる。他の実施形態では、センサは、8メガピクセルであり、1.12μmのピクセルサイズ、4:3の比、及び3.66×2.74mm(W×H)の寸法を有することができる。各センサの視野は、40度であることができる。幾つかの実施形態におけるアレイ501の全体的サイズは、18×18−2.5mm(W×L−Z高)以下であることができる。20cm以上の物体距離において様々なセンサの視野間では5%乃至10%の重なり合いが存在することができる。角度上の重なり合い(angular overlap)は、物体距離の関数として一定であること、又は漸近的に少なくとも一定であることができる。
[0075]アレイ500、501の幾つかの実施形態は、図4において描かれるレンズシステム495と同様のレンズアセンブリを採用することができる。アレイの幾つかの実施形態におけるすべてのレンズシステムは、同じ焦点距離、レンズ直径及び長さを有することができ、それは、使用可能なセンサエリアを最大化することに関して望ましい結果をもたらすことができる。使用可能なセンサエリアを最大化することは、内側センサ及び外側センサのレンズシステムに関して異なる設計を用いることによって達成させることもできる。幾つかの実施形態では、レンズ直径は、約1.3mmであることができ、焦点距離は、約2.7mmであることができる。レンズシステムの最大の可能な長さは、約2.3mmであることができ、レンズシステムの直径(高さ)は、約1.6mmであることができる。アレイ501の全体的な視野は、83度であることができる。
[0076]図5Cは、図5A−Bのフォールデッドオプティックセンサアレイの投影された視野の実施形態を示す。センサ及び中央鏡構成は、2つのアレイ実施形態500、501の間で異なるが、それらは、同じ視野構成を共有する。視野515は、センサ510、511に対応し、視野525は、センサ520、521に対応し、視野535は、センサ530、531に対応し、視野545は、センサ540、541に対応し、視野555は、センサ550、551に対応し、視野565は、センサ560、561に対応する。
[0077]視野515及び525は、三角形の重なり合いを共有することができ、角度上の重なり合いは、X方向及びY方向において1乃至4度の間で変化する。幾つかの実施形態では、重なり合いは、4度超であることができる。例えば、幾つかの実施形態では、重なり合いは、設計として適する場合は10度以上であることができ、センサエリアの使用効率及び関連する損失に少なくとも部分的に基づく。角度上の重なり合いが3度である幾つかの実施形態では、1mの地点では、視野515及び525は、2つの重なり合う視野の全体的なキャプチャされたエリアの3.3%を備える重なり合いを有することができる。視野525及び535、視野545及び555、及び視野555及び565も、同じ仕様の三角形の重なり合いを共有することができる。さらに、視野515及び545は、4度において5.1%の三角形の重なり合いを共有することができる。視野535及び565は、同様の重なり合いを共有する。視野525及び555は、センサアレイ500、501において重なり合い、3度において3.3%を共有することができる。アレイ全体500、501の視野は、82度であることができる。重なり合う視野の幾つかの実施形態は、長方形4:3アスペクト比596に合わせてクロッピングすることができ、その結果、18.8%の損失となる。その他の実施形態は、1:1正方形アスペクト比595に合わせてクロッピングすることができ、その結果、11.3%の損失となる。
[0078]その他の実施形態では、視野515及び525は、2つの重なり合う視野の全体的なキャプチャされたエリアの6.7%を備える5.2度の重なり合いを有することができる。視野525及び535、視野545及び555、及び視野555及び565も、同じ仕様の三角形の重なり合いを共有することができる。さらに、視野515及び545は、4.9度において8.5%の三角形の重なり合いを共有することができる。示されるように、視野535及び565は、同様の重なり合いを共有する。視野525及び555は、センサアレイ500、501において重なり合い、5.3度において7.5%を共有することができる。その他の実施形態は、様々な角度においてキャプチャされたエリアのより大きい又はより小さい割合を共有することができる。重なり合う視野の幾つかの実施形態は、長方形4:3アスペクト比596に合わせてクロッピングすることができ、その結果、24.2%の損失となる。その他の実施形態は、最大の長方形に合わせてクロッピングすることができ、その結果、6.6%の損失となる。全体的な視野は、76度であることができる。しかしながら、これらの数字は、重なり合うエリアの視覚上の最適化に基づいたものであり、許容可能損失及び物体距離、等の要因に依存して変化する。
[0079]センサアレイ500の一実施形態では、中央−中央の重なり合い(525、555)は、3.7度において5%であることができ、側部−側部の重なり合いは、4度において5.1%であることができ、及び、中央−側部の重なり合いは、3.3度において3.3%であることができる。4:3長方形アスペクト比でのクロッピングは、その結果として、18.8%の損失になり、可能な限り最大の長方形でのクロッピングは、その結果として、11.3%の損失になる。センサアレイ501の一実施形態では、中央−中央の重なり合い(525、555)は、4.7度で5%であることができ、側部−側部の重なり合いは、4度で5%であることができ、及び、中央−側部の重なり合いは、2.2度で3.6%であることができる。4:3長方形アスペクト比でのクロッピングは、その結果として、19.4%の損失になり、可能な限り最大の長方形でのクロッピングは、その結果として、11.2%の損失になる。センサアレイ501の他の実施形態では、中央−中央の重なり合い(525、555)は、1.6度で2.4%であることができ、側部−側部の重なり合いは、6.2度で8%であることができ、及び、中央−側部の重なり合いは、4.3度で6.9%であることができる。4:3長方形アスペクト比でのクロッピングは、その結果として、14.2%の損失になり、可能な限り最大の長方形でのクロッピングは、その結果として、14.2%の損失になる。全体的な視野は、83度であることができる。一実施形態では、最終画像は、4:3のクロッピング後に約19メガピクセルであることができる。
[0080]システムの全体的なZ高を制限することは、その結果として、各二次鏡の制限された高さに起因してアレイ内の各センサの一部分が使用不能になるおそれがある。例えば、図4において説明されるようなセンサアセンブリを採用し、システムのZ高が2.5mmに制限されるアレイ501の一実施形態では、センサ551及び521は、54.2%の使用可能なエリアを有することができ、センサ511、531、541、及び561は、52.1%の使用可能なエリアを有することができる。使用可能なセンサの高さは、システムに関する高さ制限の下で約2mmであることができる。
[0081]図6Aは、フォールデッドオプティックセンサアレイ600の他の実施形態を示す。中央鏡505の周囲のセンサアセンブリ610、620、及び630の第1のロー及びセンサアセンブリ640、650、及び660の第2のローを有するセンサアレイ6600。各ロー内のセンサアセンブリは、回転させること又は互いに傾けることができ、このため、センサは、同じ平面内には取り付けられない。幾つかの実施形態では、画像面及び焦面は平行であることができるため、該構成は、複数の長方形画像を提供する。センサアレイ600の幾つかの実施形態は、12mm×15mm−4.6mm(W×L−Z高)であることができる。
[0082]中央鏡670は、6つの表面を備えることができ、各表面は、ターゲット画像の一部分を備える光をセンサアセンブリのうちの1つの方に向けるように構成される。中央鏡の幾つかの実施形態は、6つの面を有するコンプレックスミラーを備えることができ、その他の実施形態は、3つの別々の楔形の鏡を備えることができる。例えば、表面673は、センサアセンブリ640において光を向けることができ、表面672は、センサアセンブリ650において光を向けることができ、表面671は、センサアセンブリ560において光を向けることができ、表面674は、センサアセンブリ630において光を向けることができる。図6Aの透視図では見ることができないが、中央鏡505の反対側は、センサアセンブリ510及び520に対応する2つの追加の表面を備えることができる。Nのセンサを有するその他の実施形態では、中央鏡は、Nの表面を備えることができ、Nの表面の各々は、ターゲット画像シーンの一部分を備える光をNのセンサのうちの1つの方に向けるように構成される。
[0083]図6Bは、図6Aのフォールデッドオプティックセンサアレイ600の投影された視野の実施形態を示す。視野615は、センサ610に対応し、視野625は、センサ620に対応し、視野635は、センサ630に対応し、視野645は、センサ640に対応し、視野655は、センサ650に対応し、視野665は、センサ660に対応する。
[0084]視野615及び625は、X方向及びY方向において一定であり、Z方向において漸近的に一定である長方形の重なり合いを共有することができる。角度上の重なり合いが1.8度である幾つかの実施形態では、1mの地点では、視野615及び625は、2つの重なり合う視野の全体的なキャプチャされたエリアの4%乃至6%を備える重なり合いを有することができる。視野625及び635、視野645及び655、及び視野655及び665も、同じ仕様の長方形の重なり合いを共有することができる。中央の視野625及び655は、3.4度で5.1%の長方形の重なり合いを共有することができる。側部視野615、645、及び635及び665は、3.6度で5%の長方形の重なり合いを共有することができる。長方形4:3アスペクト比に合わせてクロッピングすることは、その結果として、15.6%の損失になり、1:1正方形アスペクト比に合わせてクロッピングすることは、その結果として、4%の損失になる。
[0085]他の実施形態では、視野615及び625の間での角度上の重なり合いは、3乃至5度であることができ、1mの地点では、視野615及び625は、2つの重なり合う視野の全体的なキャプチャエリアの4%乃至6%を備える重なり合いを有することができる。視野625及び635、視野645及び655、及び視野655及び665も、同じ仕様の長方形の重なり合いを共有することができる。中央の視野625及び655は、4乃至8度で6%乃至8%の長方形の重なり合いを共有することができる。側部の視野615及び645、及び635及び665、は、4乃至10度で6%乃至9%の長方形の重なり合いを共有することができる。長方形4:3アスペクト比680に合わせてのクロッピングは、その結果として、17.8%の損失になり、最大の長方形に合わせてのクロッピングは、その結果として、4.5%の損失になる。全体的な視野は、70乃至120度であることができる。しかしながら、これらの数字は、重なり合うエリアの視覚上の最適化に基づいたものであり、許容可能損失及び物体距離、等の要因に依存して変化する。
[0086]図7は、複数のセンサアセンブリ705及び複数の中央鏡710を有するフォールデッドオプティックセンサアレイの他の実施形態を示す。図4に関して上述されるように、各センサアセンブリは、センサと、レンズシステムと、レンズシステムからセンサ上に光を向けるように構成された反射面と、を備えることができる。この実施形態では、中央鏡710のいずれかの側において2つの3×1アレイを備えるセンサアレイが繰り返されており、このため、センサアレイの2×2のカスケードアレイが存在する。その他の実施形態は、あらゆる適切なカスケード方式のアレイ構成を採用することができる。
[0087]図8は、フォールデッドオプティックセンサアセンブリ800の他の実施形態を示す。基本的には、鏡は、上述される実施形態と比較して位置が反対にされている。例えば、ターゲット画像を備える光は、センサ810、811を囲む2つの一次反射面820、821に入射する。光は、2つのレンズアセンブリ840、841の内部に向けられ、次に、中央の二次反射面830、831において反射されて下方のセンサ810、811に当たる。センサ810、811は、個々のセンサ又はセンサのアレイを表すことができる。
[0088]図9は、フォールデッドオプティック画像キャプチャプロセス900の実施形態を示す。プロセス900は、ステップ905において開始し、複数の撮像センサアセンブリが存在する。このステップは、以前の画像に関して上述されるセンサアレイ構成のうちのいずれかを含む。センサアセンブリは、図4に関して上述されるように、センサと、レンズシステムと、レンズシステムからセンサ上に光を向けるように配置された反射面と、を含むことができる。次に、プロセス900は、ステップ910に移動し、少なくとも1つの反射面が複数の画像センサの近くに取り付けられている。例えば、このステップは、センサアレイの2つのローの間に中央鏡を取り付けることを備えることが可能であり、中央鏡は、アレイ内の各センサと関連付けられた表面を備える。
[0089]次に、プロセス900は、ステップ915に移行し、シーンのターゲット画像を備える光が少なくとも1つの反射面から反射されて撮像センサの方に向けられる。例えば、光の一部分を複数の表面の各々から反射させて複数のセンサの各々の方に向けることができる。このステップは、各センサと関連付けられたレンズアセンブリ内を光を通過させることをさらに備えることができ、及び、第2の表面からセンサ上に光を反射させることも含むことができる。ステップ915は、レンズアセンブリを用いて又はいずれかの反射面の動きを通じて光を集束させることをさらに備えることができる。
[0090]次に、プロセス900は、ステップ920に移動し、センサがターゲット画像シーンの複数の画像をキャプチャする。例えば、各センサは、そのセンサの視野に対応するシーン部分の画像をキャプチャすることができる。複数のセンサの視野は、物体スペース内の少なくともターゲット画像を網羅する。
[0091]次に、プロセス900は、ステップ925に移行し、複数の画像から単一の画像を生成するために画像スティッチング法が実行される。幾つかの実施形態では、図2の画像スティッチングモジュール240がこのステップを実行することができる。これは、既知の画像スティッチング技法を含むことができる。さらに、視野内の重なり合うエリアは、複数の画像における重なり合いを生成することができ、それは、スティッチングプロセスにおいて画像を整合させる際に使用することができる。例えば、ステップ925は、隣接する画像の重なり合うエリア内の共通の特徴を識別することと、画像を整合させるためにそれらの共通の特徴を使用することと、をさらに含むことができる。
[0092]次に、プロセス900は、ステップ930に移行し、スティッチングされた画像が、指定されたアスペクト比、例えば、4:3又は1:1に合わせてクロッピングされる。最後に、プロセスは、ステップ935においてクロッピングされた画像を格納して終了する。例えば、画像は、図2の記憶装置210に格納することができ、又は、ターゲットシーンのプレビュー画像を表示するために図2のワーキングメモリ205に格納することができる。

用語に関する明確化
[0093]ここにおいて開示される実装と関係させて説明される様々な例示的な論理ブロック、モジュール、回路、及びプロセスのステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実装可能であることを当業者はさらに評価するであろう。ハードウェアとソフトウェアのこの互換性を明確に例示するため、上記においては、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップが、それらの機能の観点で一般的に説明されている。該機能がハードウェアとして又はソフトウェアとして実装されるかは、特定の用途及び全体的システムに対する設計上の制約事項に依存する。当業者は、説明されている機能を各々の特定の用途に合わせて様々な形で実装することができるが、該実装決定は、本発明の典型的な実施形態の適用範囲からの逸脱を生じさせるものであるとは解釈されるべきではない。一部分、又は一部は、全体以下を備えることを当業者は認識するであろう。例えば、ピクセルの集合の一部分は、それらのピクセルの部分集合を意味することができる。
[0094]ここにおいて開示される実装と関係させて説明される様々な例示的な論理ブロック、モジュール、及び回路は、ここにおいて説明される機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、その他のプログラマブル論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェアコンポーネント、又はそれらのあらゆる組合せ、を用いて実装又は実行することが可能である。汎用プロセッサはマイクロプロセッサであることができるが、代替においては、プロセッサは、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサは、コンピューティングデバイスの組合せ、例えば、DSPと、1つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、DSPコアと関連する1つ以上のマイクロプロセッサとの組合せ、又はあらゆるその他の構成、として実装することも可能である。
[0095]ここにおいて開示される実装と関係させて説明される方法又はプロセスのステップは、直接ハードウェア内において、プロセッサによって実行されるソフトウェアモジュール内において、又はそれらの2つの組み合わせ内において具現化することが可能である。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、取り外し可能なディスク、CD−ROM、又は当業において既知であるその他のあらゆる形態の非一時的な記憶媒体において常駐することができる。典型的なコンピュータによって読み取り可能な記憶媒体は、プロセッサがコンピュータによって読み取り可能な記憶媒体から情報を読み出すこと及びコンピュータによって読み取り可能な記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替においては、記憶媒体は、プロセッサと一体化させることができる。プロセッサ及び記憶媒体は、ASIC内に常駐することができる。ASICは、ユーザ端末、カメラ又はデバイス内に常駐することができる。代替においては、プロセッサ及び記憶媒体は、ユーザ端末、カメラ、又はその他のデバイス内において個別コンポーネントとして常駐することができる。
[0096]見出しは、参照のために及び様々な節を探し出す一助としてここに含められる。これらの見出しは、それらに関して説明される概念の適用範囲を限定することは意図されない。該概念は、明細書全体にわたって適用可能である。
[0097]開示される実装に関する前の説明は、当業者が本発明を製造又は使用することを可能にするために提供される。これらの実装に対する様々な修正は、当業者にとって容易に明確になるであろう、及びここにおいて定められる一般原理は、本発明の精神又は適用範囲を逸脱せずにその他の実装に対しても適用することができる。以上のように、本発明は、ここにおいて示される典型的な実装に限定されることが意図されるものではなく、ここにおいて開示される原理及び新規の特徴に一致する限りにおいて最も広範な適用範囲が認められるべきである。

Claims (21)

  1. シーンのターゲット画像をキャプチャするための画像キャプチャシステムであって、
    複数の画像センサであって、前記複数の画像センサの各々は、複数の視野のうちの1つを有し、前記複数の視野の各々は、前記シーンの実質上異なる部分を備える複数の画像センサと、
    複数のレンズアセンブリであって、各レンズアセンブリは、前記複数の画像センサのうちの1つに対応する複数のレンズアセンブリと、
    前記シーンの少なくとも一部分を備える光を前記複数のレンズアセンブリのうちの少なくとも1つ内を通過させるために配置された一次面と、
    複数の二次面であって、前記二次面の各々は、前記光の少なくとも一部分を前記複数のレンズアセンブリのうちの少なくとも1つから前記複数の画像センサのうちの1つ内に向け、前記複数の画像センサのうちの各々は、複数の部分的画像のうちの1つをキャプチャし、前記複数の画像センサの各々は、複数の部分的画像のうちの1つをキャプチャし、前記複数の部分的画像の各々は、前記複数の視野のうちの1つに対応する複数の二次面と、
    前記複数の部分的画像を前記ターゲット画像に組み立てるように構成された処理モジュールと、を備える、システム。
  2. 実質上平らな基板をさらに備える請求項1に記載の画像キャプチャシステム。
  3. 前記複数のセンサは、前記基板上において互いに隣接して横方向に配置される請求項2に記載の画像キャプチャシステム。
  4. 前記複数のセンサは、前記基板上において2つのロー内に配置され、前記一次面は、前記2つのローの間に配置される請求項2に記載の画像キャプチャシステム。
  5. 前記複数のセンサは、前記基板上の前記一次面の周囲に円状に配置される請求項2に記載の画像キャプチャシステム。
  6. 前記一次面は、前記光を反射するように構成されたプリズムを備える請求項1に記載の画像キャプチャシステム。
  7. 前記プリズムは、複数の面を備え、前記複数の面の各々は、前記複数の視野のうちの1つを備える前記光の一部分を前記複数のレンズアセンブリのうちの1つの方に反射させる請求項6に記載の画像キャプチャシステム。
  8. 前記一次面は、鏡を備える請求項1に記載の画像キャプチャシステム。
  9. 前記一次面は、複数の反射面を備え、前記複数の反射面の各々は、前記複数の視野のうちの1つを備える前記光の部分を前記複数のレンズアセンブリのうちの1つの方に反射させる請求項1に記載の画像キャプチャシステム。
  10. 前記複数の二次面は、各々、反射面を備える請求項1に記載の画像キャプチャシステム。
  11. シーンのターゲット画像をキャプチャする方法であって、
    複数の画像センサを提供することであって、前記複数の画像センサの各々は、複数の視野のうちの1つを有し、前記複数の視野の各々は、前記シーンの実質上異なる部分を備えることと、
    複数のレンズアセンブリを提供することであって、各レンズアセンブリは、前記複数の画像センサのうちの1つに対応することと、
    前記シーンの少なくとも一部分を備える光を少なくとも1つの一次面を用いて前記複数のレンズアセンブリの各々の方に向けることと、
    前記複数のレンズアセンブリの各々からの前記光を複数の二次面を用いて前記複数の画像センサのうちの対応する1つの方に向けることと、
    複数の部分的画像をキャプチャすることであって、前記複数の部分的画像の各々は、前記複数の画像センサのうちの1つによってキャプチャされ及び前記複数の視野のうちの1つに対応することと、
    前記複数の部分的画像を前記ターゲット画像に組み立てることと、を備える、方法。
  12. 前記複数の部分的画像を組み立てることは、
    前記複数の部分的画像を結合して結合画像にすることと、
    前記ターゲット画像を生成するために希望されるアスペクト比に従って前記結合画像をクロッピングすることと、を備える請求項11に記載の方法。
  13. 前記複数の部分的画像を組み立てることは、
    前記複数の部分的画像における少なくとも1つの重なり合いエリアを決定することと、
    前記少なくとも1つの重なり合いエリアに少なくとも部分的に基づいて前記複数の部分的画像を整合させ、それによって前記シーンを構成する整合された画像を生成することと、を備える請求項11に記載の方法。
  14. 前記ターゲット画像を生成するために希望されるアスペクト比に従って前記整合された画像をクロッピングすることをさらに備える請求項13に記載の方法。
  15. 前記複数のレンズアセンブリを用いて前記複数の部分的画像を集束させることをさらに備える請求項11に記載の方法。
  16. 前記シーンの少なくとも一部分を備える光を前記複数のレンズアセンブリの各々の方に向けることは、少なくとも1つの反射面を用いて前記光を反射させることを備える請求項11に記載の方法。
  17. 少なくとも1つの反射面を用いて前記光を反射させることは、前記複数の視野のうちの1つを備える前記光の部分を複数の反射面を用いて前記複数のレンズアセンブリの各々の方に反射させることを備える請求項16に記載の方法。
  18. 前記シーンの少なくとも一部分を備える光を前記複数のレンズアセンブリの各々に向けることは、少なくとも1つのプリズムを用いて前記光を屈折させることを備える請求項11に記載の方法。
  19. 少なくとも1つのプリズムを用いて前記光を屈折させることは、前記プリズムの複数の面を通じて前記光を屈折させることを備え、前記複数の視野のうちの各々の1つを備える前記光の部分は、前記複数の面のうちの1つを通じて前記複数のレンズアセンブリのうちの1つの方に屈折される請求項18に記載の方法。
  20. 非一時的なコンピュータによって読み取り可能な媒体であって、プロセッサによって実行されたときに、
    複数の画像センサを用いてターゲット画像シーンの複数の部分の画像データをキャプチャすることと、
    前記ターゲット画像の前記複数の部分を結合して前記ターゲット画像にすることと、を備える方法を実行する命令を備え、前記複数の画像センサの各々は、前記シーンの少なくとも一部分を備える光を少なくとも1つの一次面から複数のレンズアセンブリのうちの1つ内を通過させ、次に、複数の二次面のうちの1つから前記光を反射させることによって決定された複数の実質上異なる視野のうちの1つを有し、前記ターゲット画像の前記複数の部分の各々は、前記複数の視野のうちの1つに対応し、
    前記第1の視野及び前記第2の視野は、前記シーンを備える光を前記第1及び第2の画像センサの方に反射又は屈折させるように構成される少なくとも1つの表面に少なくとも部分的に基づいて決定される、非一時的なコンピュータによって読み取り可能な媒体。
  21. シーンのターゲット画像をキャプチャするための画像キャプチャシステムであって、
    ターゲット画像シーンの少なくとも一部分を備える光を向けるための手段と、
    複数の部分的画像を集束するための手段であって、前記複数の部分的画像の各々は、前記シーンの実質上異なる部分を各々備える複数の視野のうちの1つに対応する手段と、
    前記複数の部分的画像をキャプチャするための手段と、
    前記複数の部分的画像を結合して前記ターゲット画像にするための手段と、を備える、システム。
JP2015537741A 2012-10-19 2013-10-10 フォールデッドオプティクスを用いたマルチカメラシステム Active JP6692640B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261716339P 2012-10-19 2012-10-19
US61/716,339 2012-10-19
US13/837,098 2013-03-15
US13/837,098 US9398264B2 (en) 2012-10-19 2013-03-15 Multi-camera system using folded optics
PCT/US2013/064381 WO2014062481A1 (en) 2012-10-19 2013-10-10 Multi-camera system using folded optics

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018144722A Division JP6700345B2 (ja) 2012-10-19 2018-08-01 フォールデッドオプティクスを用いたマルチカメラシステム

Publications (3)

Publication Number Publication Date
JP2016500962A true JP2016500962A (ja) 2016-01-14
JP2016500962A5 JP2016500962A5 (ja) 2016-11-10
JP6692640B2 JP6692640B2 (ja) 2020-05-13

Family

ID=50485000

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015537741A Active JP6692640B2 (ja) 2012-10-19 2013-10-10 フォールデッドオプティクスを用いたマルチカメラシステム
JP2018144722A Active JP6700345B2 (ja) 2012-10-19 2018-08-01 フォールデッドオプティクスを用いたマルチカメラシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018144722A Active JP6700345B2 (ja) 2012-10-19 2018-08-01 フォールデッドオプティクスを用いたマルチカメラシステム

Country Status (9)

Country Link
US (3) US9398264B2 (ja)
EP (1) EP2910011B1 (ja)
JP (2) JP6692640B2 (ja)
KR (1) KR102108597B1 (ja)
CN (2) CN110072048B (ja)
BR (1) BR112015008296B1 (ja)
ES (1) ES2714278T3 (ja)
HU (1) HUE042567T2 (ja)
WO (1) WO2014062481A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520025A (ja) * 2014-06-20 2017-07-20 クゥアルコム・インコーポレイテッドQualcomm Incorporated 屈曲光学アレイカメラのためのオートフォーカス
JP2017524968A (ja) * 2014-06-20 2017-08-31 クアルコム,インコーポレイテッド 視差アーティファクトがない屈曲光学系を使用するマルチカメラシステム
JP2017524976A (ja) * 2014-06-20 2017-08-31 クゥアルコム・インコーポレイテッドQualcomm Incorporated 視差およびチルトアーティファクトが無い屈曲光学系を使用するマルチカメラシステム
JP2019513239A (ja) * 2016-03-14 2019-05-23 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多開口撮像デバイス、撮像システムおよび物体領域を取り込む方法
JP2019522913A (ja) * 2016-05-12 2019-08-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 3dマルチ開口撮像デバイス、マルチ開口撮像デバイス、3dマルチ開口撮像デバイスの出力信号を提供するための方法、および、全体視野を捕捉するための方法
JP2022535443A (ja) * 2019-06-06 2022-08-08 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス
JP2022540061A (ja) * 2019-07-03 2022-09-14 レティノル カンパニー リミテッド 小型反射部を用いたカメラモジュール及びこれを用いた拡張現実用光学装置

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9870504B1 (en) * 2012-07-12 2018-01-16 The United States Of America, As Represented By The Secretary Of The Army Stitched image
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
CN109963059B (zh) 2012-11-28 2021-07-27 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
WO2014107634A2 (en) 2013-01-05 2014-07-10 Tinz Optics, Inc. Methods and apparatus relating to the use of multipe optical chains
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
US9377902B2 (en) * 2013-02-18 2016-06-28 Microsoft Technology Licensing, Llc Systems and methods for wedge-based imaging using flat surfaces
KR102052553B1 (ko) * 2013-05-14 2019-12-05 삼성전자주식회사 이미징 시스템 및 그것의 자동초점 방법
EP3008890A4 (en) 2013-06-13 2016-05-04 Corephotonics Ltd ZOOM OF A DIGITAL CAMERA WITH DUAL IRIS
CN107748432A (zh) 2013-07-04 2018-03-02 核心光电有限公司 小型长焦透镜套件
CN108989648B (zh) 2013-08-01 2021-01-15 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9374514B2 (en) * 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9325906B2 (en) 2013-10-18 2016-04-26 The Lightco Inc. Methods and apparatus relating to a thin camera device
US9563033B2 (en) 2013-10-18 2017-02-07 Light Labs Inc. Methods and apparatus for capturing images and/or for using captured images
CN103593647A (zh) * 2013-10-21 2014-02-19 王晓鹏 一种生物特征成像的方法与设备
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
CN103901587B (zh) * 2014-04-15 2017-04-12 中山联合光电科技有限公司 一种光学系统结构
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US20150373269A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9541740B2 (en) * 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
CA2952470A1 (en) * 2014-06-20 2015-12-23 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
CN106575366A (zh) 2014-07-04 2017-04-19 光实验室股份有限公司 关于检测和/或指示脏镜头状况的方法和装置
DE102014213371B3 (de) * 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US10110794B2 (en) * 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
WO2016061565A1 (en) 2014-10-17 2016-04-21 The Lightco Inc. Methods and apparatus for using a camera device to support multiple modes of operation
US9832381B2 (en) * 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
CN107211099A (zh) 2014-12-17 2017-09-26 光实验室股份有限公司 用于实施并使用摄像机装置的方法及设备
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
GB2535706A (en) * 2015-02-24 2016-08-31 Nokia Technologies Oy Device with an adaptive camera array
KR101914894B1 (ko) 2015-04-02 2018-11-02 코어포토닉스 리미티드 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
CN111061041B (zh) 2015-04-16 2021-02-26 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
US9667848B2 (en) 2015-04-22 2017-05-30 Qualcomm Incorporated Tiltable camera module
KR102007379B1 (ko) 2015-05-28 2019-08-05 코어포토닉스 리미티드 이중-조리개 디지털 카메라의 광학식 손떨림 방지 및 자동-초점을 위한 양-방향성 강성
EP3101890B1 (en) * 2015-06-03 2017-11-22 Axis AB A mechanism and a method for optical image stabilization
TWI641263B (zh) * 2015-06-23 2018-11-11 台灣東電化股份有限公司 電子裝置及其攝影模組
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
TWI569640B (zh) 2015-06-23 2017-02-01 台灣東電化股份有限公司 攝影模組
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
CN112672024B (zh) 2015-08-13 2022-08-02 核心光电有限公司 视频支持和切换/无切换动态控制的双孔径变焦摄影机
TWI592015B (zh) * 2015-08-14 2017-07-11 晶睿通訊股份有限公司 多鏡頭攝影機及監視系統
DE102015215836B4 (de) * 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung
DE102015215844B4 (de) * 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, tragbare Vorrichtung und Verfahren zum Herstellen einer Multiaperturabbildungsvorrichtung
DE102015215845B4 (de) * 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
DE102015215841B4 (de) 2015-08-19 2017-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multikanalabbildungsvorrichtung und Verfahren zum Herstellen derselben
DE102015215837A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Verfahren zum Herstellen derselben und Abbildungssystem
DE102015216140A1 (de) 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US11244434B2 (en) 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
KR102340778B1 (ko) * 2015-08-24 2021-12-20 엘지이노텍 주식회사 카메라 모듈
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US10070060B2 (en) 2015-09-06 2018-09-04 Corephotonics Ltd Auto focus and optical image stabilization with roll compensation in a compact folded camera
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
DE102015220566B4 (de) * 2015-10-21 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung, Verfahren zum Bereitstellen derselben und Verfahren zum Erfassen eines Gesamtgesichtsfeldes
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US9955057B2 (en) * 2015-12-21 2018-04-24 Qualcomm Incorporated Method and apparatus for computational scheimpflug camera
KR102433623B1 (ko) 2015-12-29 2022-08-18 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
US10455214B2 (en) 2016-03-03 2019-10-22 Disney Enterprises, Inc. Converting a monocular camera into a binocular stereo camera
WO2017156462A1 (en) 2016-03-11 2017-09-14 Skattward Research Llc Optical image stabilization with voice coil motor for moving image sensor
US11956544B2 (en) 2016-03-11 2024-04-09 Apple Inc. Optical image stabilization with voice coil motor for moving image sensor
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US10437023B2 (en) * 2016-03-28 2019-10-08 Apple Inc. Folded lens system with three refractive lenses
LT3236545T (lt) * 2016-04-22 2022-07-11 Universität Stuttgart Optinis modulis, lazerinio stiprintuvo sistema, būdas ir panaudojimas
US10466501B2 (en) * 2016-05-26 2019-11-05 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules including an optical system tilted with respect to a focal plane
WO2017208090A1 (en) 2016-05-30 2017-12-07 Corephotonics Ltd. Rotational ball-guided voice coil motor
US9936129B2 (en) 2016-06-15 2018-04-03 Obsidian Sensors, Inc. Generating high resolution images
CN107925728B (zh) 2016-06-19 2020-12-08 核心光电有限公司 双孔径摄影机系统中的帧同步
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
US20170374249A1 (en) * 2016-06-23 2017-12-28 Microsoft Technology Licensing, Llc Imaging device with reflective optical element
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
KR20240051317A (ko) 2016-07-07 2024-04-19 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 보이스 코일 모터
TWI616675B (zh) 2016-07-14 2018-03-01 大立光電股份有限公司 光學攝像系統組、取像裝置及電子裝置
US10297034B2 (en) * 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
CN110140078B (zh) 2016-12-28 2021-11-19 核心光电有限公司 具有延伸光折叠元件扫描范围的折叠相机结构
US10571679B2 (en) 2017-01-06 2020-02-25 Karl Storz Imaging, Inc. Endoscope incorporating multiple image sensors for increased resolution
CN113805406A (zh) 2017-01-12 2021-12-17 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
WO2018132839A1 (en) 2017-01-16 2018-07-19 Ring Inc. Audio/video recording and communication devices in network communication with additional cameras
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
JP2020512581A (ja) 2017-03-15 2020-04-23 コアフォトニクス リミテッド パノラマ走査範囲付きカメラ
US10890734B1 (en) 2017-03-29 2021-01-12 Apple Inc. Camera actuator for lens and sensor shifting
DE102017206429A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206442B4 (de) 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
US10863094B2 (en) 2017-07-17 2020-12-08 Apple Inc. Camera with image sensor shifting
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102268862B1 (ko) 2017-11-23 2021-06-24 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
CN108282610A (zh) * 2017-12-31 2018-07-13 深圳市秦墨科技有限公司 一种多目标跟拍控制方法、装置及云台
JP2019128517A (ja) * 2018-01-26 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
WO2019150188A1 (en) 2018-02-05 2019-08-08 Corephotonics Ltd. Reduced height penalty for folded camera
WO2019155289A1 (en) 2018-02-12 2019-08-15 Corephotonics Ltd. Folded camera with optical image stabilization
KR102431488B1 (ko) * 2018-03-05 2022-08-12 삼성전자주식회사 전자 장치 및 이미지 처리 방법
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
KR20200135778A (ko) 2018-04-23 2020-12-03 코어포토닉스 리미티드 연장된 2 자유도 회전 범위를 갖는 광학 경로 폴딩 요소
WO2020008419A2 (en) * 2018-07-04 2020-01-09 Corephotonics Ltd. Cameras with scanning optical path folding elements for automotive or surveillance applications
EP3652728B1 (en) 2018-08-04 2023-06-07 Corephotonics Ltd. Switchable continuous display information system above camera
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US11122205B1 (en) 2018-09-14 2021-09-14 Apple Inc. Camera actuator assembly with sensor shift flexure arrangement
CN108965833B (zh) * 2018-09-26 2024-08-06 孙振友 一种多向多清晰度图像视频采集装置
US11375092B2 (en) 2018-10-04 2022-06-28 Samsung Electronics Co., Ltd. Image sensor and image sensing method
US10924667B2 (en) * 2018-10-04 2021-02-16 Samsung Electronics Co., Ltd. Image sensor and image sensing method
IL263035B2 (en) * 2018-11-14 2023-10-01 Israel Aerospace Ind Ltd A method for increasing the field of view in a hyperspectral system
US10682955B1 (en) * 2018-12-03 2020-06-16 Beijing Voyager Technology Co., Ltd. Multicamera system for autonomous driving vehicles
EP3738303A4 (en) * 2019-01-03 2021-04-21 Corephotonics Ltd. MULTI-APERTURE CAMERAS WITH AT LEAST ONE TWO-STATE ZOOM CAMERA
US11287081B2 (en) 2019-01-07 2022-03-29 Corephotonics Ltd. Rotation mechanism with sliding joint
CN109633854B (zh) * 2019-01-08 2020-09-29 瑞声通讯科技(常州)有限公司 一种图像采集器及移动电子设备
WO2020183312A1 (en) 2019-03-09 2020-09-17 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
CN110049218A (zh) * 2019-04-19 2019-07-23 信利光电股份有限公司 柔性传感器的成像方法、装置、系统及可读存储介质
CN112585644A (zh) 2019-07-31 2021-03-30 核心光电有限公司 在相机摇摄或运动中创建背景模糊的系统及方法
KR102680342B1 (ko) * 2019-09-23 2024-07-03 삼성전자주식회사 복수의 이미지 센서들에 의해 획득되는 이미지 데이터에 기초하여 비디오 hdr 처리를 수행하기 위한 전자 장치
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
EP4049444A4 (en) 2019-12-09 2022-11-16 Corephotonics Ltd. SYSTEMS AND METHODS TO OBTAIN AN INTELLIGENT PANORAMIC IMAGE
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN111007693B (zh) * 2019-12-17 2022-05-31 广州立景创新科技有限公司 广角摄像装置
CN111225221B (zh) * 2020-01-15 2021-12-14 未来新视界文化科技(嘉善)有限公司 全景视频图像处理方法和装置
WO2021165764A1 (en) 2020-02-22 2021-08-26 Corephotonics Ltd. Split screen feature for macro photography
US11681139B2 (en) 2020-03-19 2023-06-20 Samsung Electro-Mechanics Co., Ltd. Camera module
KR20220003550A (ko) 2020-04-26 2022-01-10 코어포토닉스 리미티드 홀 바 센서 보정을 위한 온도 제어
US11006041B1 (en) 2020-05-07 2021-05-11 Qualcomm Incorporated Multiple camera system for wide angle imaging
CN114651275B (zh) 2020-05-17 2023-10-27 核心光电有限公司 全视场参考图像的图像拼接
EP3966631B1 (en) 2020-05-30 2023-01-25 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11516391B2 (en) 2020-06-18 2022-11-29 Qualcomm Incorporated Multiple camera system for wide angle imaging
EP4045960A4 (en) 2020-07-15 2022-12-14 Corephotonics Ltd. CORRECTING THE ABERRATION OF VIEWPOINTS IN A FOLDED SCANNING CAMERA
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
KR102345118B1 (ko) * 2020-07-24 2021-12-30 삼성전기주식회사 카메라 모듈 및 이를 포함하는 휴대 단말기
CN114270145B (zh) 2020-07-31 2024-05-17 核心光电有限公司 用于大行程线性位置感测的霍尔传感器-磁体几何结构
CN116679420A (zh) 2020-08-12 2023-09-01 核心光电有限公司 用于光学防抖的方法
CN112037128B (zh) * 2020-08-21 2023-11-03 苏州巨能图像检测技术有限公司 一种全景视频拼接方法
US11683573B2 (en) 2020-09-02 2023-06-20 Samsung Electronics Co., Ltd. Folded optic for multicamera device and multicamera device including the same
TWI771811B (zh) * 2020-09-18 2022-07-21 大立光電股份有限公司 電子裝置
KR102629883B1 (ko) 2020-12-26 2024-01-25 코어포토닉스 리미티드 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원
TW202422200A (zh) 2021-03-11 2024-06-01 以色列商核心光電有限公司 彈出式照相機系統
KR102638173B1 (ko) 2021-06-08 2024-02-19 코어포토닉스 리미티드 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라
TWI793851B (zh) 2021-07-16 2023-02-21 大立光電股份有限公司 具有雙通光區域的電子裝置
US20230031023A1 (en) * 2021-07-29 2023-02-02 Qualcomm Incorporated Multiple camera system
WO2024088640A1 (en) * 2022-10-28 2024-05-02 Ams International Ag Miniaturized 3d-sensing camera system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60213178A (ja) * 1984-04-06 1985-10-25 Olympus Optical Co Ltd 撮像装置
JPH06217184A (ja) * 1993-01-14 1994-08-05 Canon Inc 複眼撮像装置
JPH09214992A (ja) * 1996-02-06 1997-08-15 Asahi Optical Co Ltd 撮像装置
JP2002158913A (ja) * 2000-11-16 2002-05-31 Canon Inc 撮像装置及び撮像方法
JP2004260787A (ja) * 2002-09-09 2004-09-16 Rohm Co Ltd イメージセンサモジュール

Family Cites Families (333)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3698803A (en) 1970-09-09 1972-10-17 Midori Kai Co Ltd Camera for taking hemispherical motion picture
US4114171A (en) 1976-04-06 1978-09-12 Vivitar Corporation Reflex camera with internal zoom lens
US4437745A (en) 1982-09-30 1984-03-20 Stephen Hajnal Three dimensional camera system
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US4639586A (en) 1985-02-06 1987-01-27 The United States Of America As Represented By The Secretary Of The Air Force Optically phased laser transmitter
US4740780A (en) 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US5214462A (en) 1986-05-12 1993-05-25 Asahi Kogaku Kogyo Kabushiki Kaisha Lens shutter camera including zoom lens and barrier mechanisms
US4890314A (en) 1988-08-26 1989-12-26 Bell Communications Research, Inc. Teleconference facility with high resolution video display
US6031892A (en) 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5142357A (en) 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5063441A (en) 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5207000A (en) 1991-06-14 1993-05-04 Industrial Technology Research Institute Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface
US5231461A (en) 1991-12-09 1993-07-27 Hughes Danbury Optical Systems, Inc. Solar monochromator for filter calibration
US5926411A (en) 1991-12-30 1999-07-20 Ioptics Incorporated Optical random access memory
US5686960A (en) 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE4212271C1 (ja) 1992-04-11 1993-07-08 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De
US5243413A (en) 1992-09-02 1993-09-07 At&T Bell Laboratories Color parallax-free camera and display
US5313542A (en) 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
EP0610605B1 (en) 1993-02-11 1997-07-16 Agfa-Gevaert N.V. Method of recognising an irradiation field
US5586063A (en) 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
JPH089424A (ja) 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JPH08194274A (ja) 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
JPH0946729A (ja) 1995-08-01 1997-02-14 Olympus Optical Co Ltd 立体撮像装置
US5903306A (en) 1995-08-16 1999-05-11 Westinghouse Savannah River Company Constrained space camera assembly
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JPH09224180A (ja) * 1996-02-15 1997-08-26 Matsushita Electric Ind Co Ltd 撮像装置
US5640222A (en) 1996-03-15 1997-06-17 Paul; Eddie Method and apparatus for producing stereoscopic images
US6850279B1 (en) 1996-06-18 2005-02-01 Sony Corporation Optical image recording system, and associated processing system
ATE223583T1 (de) * 1996-06-18 2002-09-15 Herman Scherling Optisches bildaufnahmesystem und dazugehörige entwicklungsvorrichtung
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10142490A (ja) 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
AU6515798A (en) 1997-04-16 1998-11-11 Isight Ltd. Video teleconferencing
KR100219638B1 (ko) * 1997-05-27 1999-09-01 윤종용 반사형 프로젝트 장치
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
DE19903807A1 (de) 1998-05-05 1999-11-11 Zeiss Carl Fa Beleuchtungssystem insbesondere für die EUV-Lithographie
JP3745117B2 (ja) 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6992700B1 (en) 1998-09-08 2006-01-31 Ricoh Company, Ltd. Apparatus for correction based upon detecting a camera shaking
US7271803B2 (en) 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6870680B2 (en) 2001-08-17 2005-03-22 Sony Corporation Imaging device
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3587506B2 (ja) 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB2354390A (en) 1999-09-16 2001-03-21 Ibm Wide-angle image capture apparatus
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2001209037A (ja) 2000-01-26 2001-08-03 Olympus Optical Co Ltd 可変ホログラム素子及びそれらを用いた光学装置
US6823021B1 (en) 2000-10-27 2004-11-23 Greenwich Technologies Associates Method and apparatus for space division multiple access receiver
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
WO2002027372A2 (en) 2000-07-14 2002-04-04 Applied Wdm, Inc. Optical waveguide transmission devices
JP2002040584A (ja) 2000-07-28 2002-02-06 Hamamatsu Photonics Kk 高速撮像カメラ
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
GB2372659A (en) 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
JP2002277736A (ja) 2001-03-21 2002-09-25 Olympus Optical Co Ltd 撮像装置
US6421185B1 (en) 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
US6985764B2 (en) 2001-05-03 2006-01-10 Masimo Corporation Flex circuit shielded optical sensor
US6628897B2 (en) 2001-06-20 2003-09-30 Sony Corporation Camera system
US20030038814A1 (en) 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7116351B2 (en) 2001-10-29 2006-10-03 Sony Corporation Imaging device
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003260025A (ja) 2002-03-08 2003-09-16 Olympus Optical Co Ltd カプセル型内視鏡
US6768598B2 (en) 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US6861633B2 (en) 2002-06-20 2005-03-01 The Aerospace Corporation Microelectromechanical system optical sensor providing bit image data of a viewed image
US7298392B2 (en) * 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
EP1549080B1 (en) 2002-07-18 2011-03-02 Sony Corporation Imaging data processing method, imaging data processing device, and computer program
JP2004072349A (ja) 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
JP2004080088A (ja) 2002-08-09 2004-03-11 Sony Corp 撮像装置
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
JP2004170479A (ja) 2002-11-18 2004-06-17 Olympus Corp 撮像装置及びその制御方法
WO2004061485A2 (en) 2003-01-02 2004-07-22 Covi Technologies, Inc. Optical block assembly
US6933493B2 (en) 2003-04-07 2005-08-23 Kingpak Technology Inc. Image sensor having a photosensitive chip mounted to a metal sheet
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP3709879B2 (ja) 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
WO2004109359A1 (ja) 2003-06-09 2004-12-16 Olympus Corporation 可変ミラー
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
JP4233394B2 (ja) 2003-06-17 2009-03-04 オリンパス株式会社 レンズ装置及びそれを用いたデジタルカメラ
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US20050117015A1 (en) 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
US20050057659A1 (en) 2003-09-16 2005-03-17 Takami Hasegawa Camera image shake correcting device
US7028546B2 (en) 2003-10-21 2006-04-18 Instrumented Sensor Technology, Inc. Data recorder
US20050111106A1 (en) 2003-10-31 2005-05-26 Kazuhiro Matsumoto Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section
CN100504452C (zh) 2004-02-19 2009-06-24 佳能株式会社 光学设备和光束分离器
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
JP4223420B2 (ja) 2004-03-05 2009-02-12 メガビジョン株式会社 撮影装置
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
JP2005303693A (ja) 2004-04-13 2005-10-27 Auto Network Gijutsu Kenkyusho:Kk カメラ装置
US7593057B2 (en) 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
EP1784988A1 (en) 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US7039292B1 (en) 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
DE102004045430A1 (de) 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
CN100556076C (zh) 2004-10-01 2009-10-28 利兰·斯坦福青年大学托管委员会 成像装置及其方法
JP3791847B1 (ja) 2005-08-10 2006-06-28 京セラ株式会社 カメラモジュールおよび該カメラモジュールを搭載した情報端末
US20080001727A1 (en) 2004-11-15 2008-01-03 Hitachi, Ltd. Stereo Camera
US7372996B2 (en) 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
JP4742190B2 (ja) 2005-01-13 2011-08-10 国立大学法人 奈良先端科学技術大学院大学 3次元オブジェクト計測装置
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US20060215054A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
JP2006279538A (ja) 2005-03-29 2006-10-12 Sony Corp 撮像装置
US20060238441A1 (en) 2005-04-25 2006-10-26 The Boeing Company Method and apparatus for displaying a stereoscopic image
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
JP5364965B2 (ja) 2005-07-26 2013-12-11 コニカミノルタ株式会社 撮像光学系、撮像レンズ装置及びデジタル機器
KR100716829B1 (ko) * 2005-08-10 2007-05-09 삼성전기주식회사 초박형 모바일 카메라 광학 렌즈 시스템 및 이를 이용한이미지 결상 방법
JP2007081473A (ja) 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
US20070085903A1 (en) 2005-10-17 2007-04-19 Via Technologies, Inc. 3-d stereoscopic image display system
US20070164202A1 (en) 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
JP4979928B2 (ja) 2005-11-28 2012-07-18 株式会社トプコン 三次元形状演算装置及び三次元形状演算方法
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
JP4661606B2 (ja) * 2006-01-19 2011-03-30 株式会社ニコン 屈曲光学系及び電子撮像装置
US7215479B1 (en) 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
JP4844177B2 (ja) 2006-03-07 2011-12-28 株式会社ニコン ブレ補正装置及びカメラ
JP2007274542A (ja) 2006-03-31 2007-10-18 Sony Corp 撮像装置および携帯電話機
CN101055342A (zh) 2006-04-12 2007-10-17 鸿富锦精密工业(深圳)有限公司 自动对焦镜头模组
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
CN101433077B (zh) 2006-05-05 2011-03-23 诺基亚公司 具有小高度和高分辨率的光学图像记录设备
JP4973658B2 (ja) 2006-05-09 2012-07-11 株式会社セガ 画像処理装置および画像処理プログラム
US20080007617A1 (en) 2006-05-11 2008-01-10 Ritchey Kurtis J Volumetric panoramic sensor systems
JP4972779B2 (ja) 2006-05-30 2012-07-11 コニカミノルタアドバンストレイヤー株式会社 光学ユニットおよび撮像装置
JP5067021B2 (ja) 2006-06-01 2012-11-07 富士ゼロックス株式会社 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材
JP4851239B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
JP2008048293A (ja) 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
DE102006044786A1 (de) 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1912098B1 (en) 2006-10-12 2012-04-25 Carl Zeiss SMT GmbH Unit magnification projection objective
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
KR100866491B1 (ko) 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
JP4917060B2 (ja) 2007-02-26 2012-04-18 Hoya株式会社 撮像ユニット及び携帯用電子機器
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5013078B2 (ja) 2007-04-24 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 レンズ鏡胴及び撮像装置
US20080290435A1 (en) 2007-05-21 2008-11-27 Micron Technology, Inc. Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods
JP2008294819A (ja) 2007-05-25 2008-12-04 Sony Corp 撮像装置
US7860214B1 (en) 2007-06-13 2010-12-28 The United States Of America As Represented By Secretary Of Agriculture Correction of x-ray images
US20090005112A1 (en) 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Optical imaging system configurations for handheld devices
US20090003646A1 (en) 2007-06-29 2009-01-01 The Hong Kong University Of Science And Technology Lossless visible watermarking
JPWO2009011153A1 (ja) 2007-07-13 2010-09-16 三菱電機株式会社 画像読取装置
JP4900118B2 (ja) 2007-07-31 2012-03-21 コニカミノルタオプト株式会社 カメラモジュールおよび電子機器
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
JP5000428B2 (ja) 2007-08-22 2012-08-15 Hoya株式会社 撮像装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
KR20090032261A (ko) 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP5152483B2 (ja) 2007-10-05 2013-02-27 ソニー株式会社 撮像装置
EP2208354A4 (en) 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
RU2497196C2 (ru) 2007-10-11 2013-10-27 Конинклейке Филипс Электроникс Н.В. Способ и устройство для обработки карты глубины
US20100259655A1 (en) 2007-11-01 2010-10-14 Konica Minolta Holdings, Inc. Imaging device
KR100927347B1 (ko) 2007-11-13 2009-11-24 파워옵틱스 주식회사 줌렌즈 광학계
JP4831514B2 (ja) 2007-11-13 2011-12-07 独立行政法人情報通信研究機構 設定パラメータ最適化装置およびそのプログラム
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
CN100465699C (zh) 2007-12-05 2009-03-04 浙江大学 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统
KR101349589B1 (ko) 2007-12-13 2014-01-10 엘지이노텍 주식회사 카메라 모듈
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US20090185067A1 (en) 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
WO2009088930A2 (en) 2008-01-02 2009-07-16 The Regents Of The University Of California High numerical aperture telemicroscopy apparatus
US7978222B2 (en) 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
WO2009111642A1 (en) 2008-03-05 2009-09-11 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
US20110043623A1 (en) 2008-03-26 2011-02-24 Konica Minolta Opto, Inc. Imaging device
JP5786149B2 (ja) 2008-03-28 2015-09-30 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法
CN101571666A (zh) * 2008-04-28 2009-11-04 鸿富锦精密工业(深圳)有限公司 成像设备
US7864336B2 (en) 2008-04-28 2011-01-04 Agilent Technologies, Inc. Compact Littrow encoder
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
CN102047651B (zh) 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
JP5223486B2 (ja) 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
KR101567107B1 (ko) 2008-07-24 2015-11-06 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 카메라 구동 장치
JP2010041381A (ja) 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
US8451318B2 (en) 2008-08-14 2013-05-28 Remotereality Corporation Three-mirror panoramic camera
TWI419551B (zh) 2008-08-22 2013-12-11 固態全景影像擷取裝置
JP2010067014A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
WO2010035223A1 (en) 2008-09-25 2010-04-01 Koninklijke Philips Electronics N.V. Three dimensional image data processing
CN102177465B (zh) 2008-10-14 2014-06-18 日本电产三协株式会社 摄影用光学装置
US8267601B2 (en) 2008-11-04 2012-09-18 James Cameron Platform for stereoscopy for hand-held film/video camera stabilizers
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
CN101770059B (zh) 2008-12-27 2012-06-20 鸿富锦精密工业(深圳)有限公司 相机模组
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US8326036B2 (en) 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
GB0903689D0 (en) 2009-03-03 2009-04-15 Sigmavision Ltd Vehicle tyre measurement
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100278423A1 (en) 2009-04-30 2010-11-04 Yuji Itoh Methods and systems for contrast enhancement
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8170408B2 (en) 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8194170B2 (en) 2009-06-02 2012-06-05 Algonquin College Axicon lens array
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
CN101581828B (zh) 2009-06-09 2011-06-22 苏州大学 环形孔径超薄光学成像系统
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
JP5293463B2 (ja) 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
TWI389559B (zh) 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
CN101674424B (zh) * 2009-09-27 2011-04-06 北京航空航天大学 一种虚拟扩展成像的装置及方法
US8294073B1 (en) 2009-10-01 2012-10-23 Raytheon Company High angular rate imaging system and related techniques
US9063345B2 (en) 2009-10-19 2015-06-23 Pixar Super light-field lens with doublet lenslet array element
TWM399332U (en) 2009-10-20 2011-03-01 Fujifilm Corp Photographic lens and photographic device
JP5539818B2 (ja) 2009-10-20 2014-07-02 富士フイルム株式会社 撮像レンズおよび撮像装置
US8325187B2 (en) * 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
US8457398B2 (en) 2009-10-27 2013-06-04 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US9030530B2 (en) 2009-12-15 2015-05-12 Thomson Licensing Stereo-image quality and disparity/depth indications
US8442392B2 (en) 2009-12-22 2013-05-14 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9128367B2 (en) 2010-03-05 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
WO2011132364A1 (ja) 2010-04-19 2011-10-27 パナソニック株式会社 立体画像撮影装置および立体画像撮影方法
JP5593118B2 (ja) 2010-04-30 2014-09-17 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5622443B2 (ja) 2010-06-08 2014-11-12 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US20130076924A1 (en) 2010-06-08 2013-03-28 Nidec Sankyo Corporation Shake Correction Device, Photographic Optical Device and Lens Drive Device
JP5138734B2 (ja) 2010-06-15 2013-02-06 シャープ株式会社 撮像レンズ、および撮像モジュール
CN101902657B (zh) 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
TWI409577B (zh) 2010-08-20 2013-09-21 Primax Electronics Ltd 光學影像系統
US20120056987A1 (en) 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
JP5392415B2 (ja) 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
CN103339918B (zh) 2010-10-01 2016-05-04 康泰克斯有限公司 图像传感器的信号强度匹配
JP4956658B2 (ja) 2010-10-12 2012-06-20 シャープ株式会社 立体映像変換装置及び立体映像表示装置
TW201222288A (en) 2010-11-22 2012-06-01 Inst Information Industry Image retrieving system and method and computer program product thereof
EP2649558A4 (en) 2010-12-09 2017-08-09 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
US9087375B2 (en) 2011-03-28 2015-07-21 Sony Corporation Image processing device, image processing method, and program
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US8928988B1 (en) 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
WO2012136388A1 (en) 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
PL2703865T3 (pl) 2011-04-28 2020-10-19 Fujifilm Corporation Obiektyw obrazujący i urządzenie obrazujące
CN203551875U (zh) 2011-04-28 2014-04-16 富士胶片株式会社 成像镜头和成像设备
JP5778260B2 (ja) 2011-04-28 2015-09-16 富士フイルム株式会社 撮像レンズおよび撮像装置
CN103038689B (zh) 2011-05-16 2016-01-20 松下电器产业株式会社 透镜单元以及摄像装置
US20120293607A1 (en) * 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
CN103597810B (zh) 2011-05-27 2017-02-15 诺基亚技术有限公司 图像拼接
CN103609102B (zh) 2011-06-15 2016-09-28 微软技术许可有限责任公司 高分辨率多光谱图像捕捉
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8896890B2 (en) 2011-06-30 2014-11-25 Lexmark International, Inc. Image capture system having a folded optical path
JP5848052B2 (ja) 2011-07-21 2016-01-27 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US20130057655A1 (en) 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
WO2013039035A1 (ja) 2011-09-14 2013-03-21 コニカミノルタアドバンストレイヤー株式会社 撮像レンズ、撮像装置及び携帯端末並びにデジタル機器
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8855476B2 (en) 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
WO2013059399A1 (en) 2011-10-20 2013-04-25 Monsanto Technology Llc Plant stand counter
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
JP2013117568A (ja) 2011-12-01 2013-06-13 Olympus Corp 視差画像取得装置、携帯情報端末及び視差画像取得方法
CN102520505B (zh) * 2011-12-04 2015-02-25 中国科学院光电技术研究所 基于棱镜的双通光学延迟线
US8582220B2 (en) 2011-12-05 2013-11-12 Himax Technologies Limited Lens module
CN202405984U (zh) 2011-12-10 2012-08-29 东莞市旭业光电科技有限公司 一种用于音圈马达的垫片
CN102611828B (zh) 2012-01-11 2014-03-26 四川大学 一种雾天连续视频图像实时性增强处理系统
KR101975893B1 (ko) 2012-03-21 2019-09-10 엘지이노텍 주식회사 카메라 모듈
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
US20130260823A1 (en) 2012-03-31 2013-10-03 Ashutosh Y. Shukla Compact Portable Electronic Device Having Augmented Back Volume for Speaker
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN103428521A (zh) 2012-05-25 2013-12-04 北京新岸线移动多媒体技术有限公司 一种3d摄像附加镜头和3d摄像头
US9571818B2 (en) 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
EP2677733A3 (en) 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
US9634051B2 (en) 2012-07-17 2017-04-25 Heptagon Micro Optics Pte. Ltd. Optical devices, in particular computational cameras, and methods for manufacturing the same
KR101448494B1 (ko) 2012-08-08 2014-10-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 Hdr 이미지들을 위한 이미지 프로세싱
JP6207303B2 (ja) 2012-09-10 2017-10-04 キヤノン株式会社 制御装置、制御装置を備えるアクチュエータ、画像振れ補正装置、交換用レンズ、撮像装置、及び自動ステージ
JP6116168B2 (ja) 2012-09-14 2017-04-19 キヤノン株式会社 情報処理装置およびその方法
JP5995624B2 (ja) 2012-09-19 2016-09-21 キヤノン株式会社 撮像装置および交換レンズ
JP5995637B2 (ja) 2012-10-04 2016-09-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、記憶媒体
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9659991B2 (en) 2012-10-22 2017-05-23 Canon Kabushiki Kaisha Image capturing apparatus, manufacturing method thereof, and camera
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
WO2014107634A2 (en) 2013-01-05 2014-07-10 Tinz Optics, Inc. Methods and apparatus relating to the use of multipe optical chains
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
US9602806B1 (en) 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
JP2015036716A (ja) 2013-08-12 2015-02-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
EP2860699A1 (en) 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
CN203745777U (zh) 2014-01-10 2014-07-30 瑞声声学科技(深圳)有限公司 阵列式镜头装置
US10015391B2 (en) 2014-02-13 2018-07-03 Sony Mobile Communications Inc. Method and system for adjusting camera settings using corneal reflection
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US20150373269A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US10070055B2 (en) 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US10142113B2 (en) 2015-06-18 2018-11-27 Bank Of America Corporation Identifying and maintaining secure communications
US20170038502A1 (en) 2015-08-06 2017-02-09 Qualcomm Incorporated Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras
EP3189376A1 (en) 2015-09-03 2017-07-12 3M Innovative Properties Company Beam expander with a curved reflective polarizer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60213178A (ja) * 1984-04-06 1985-10-25 Olympus Optical Co Ltd 撮像装置
JPH06217184A (ja) * 1993-01-14 1994-08-05 Canon Inc 複眼撮像装置
JPH09214992A (ja) * 1996-02-06 1997-08-15 Asahi Optical Co Ltd 撮像装置
JP2002158913A (ja) * 2000-11-16 2002-05-31 Canon Inc 撮像装置及び撮像方法
JP2004260787A (ja) * 2002-09-09 2004-09-16 Rohm Co Ltd イメージセンサモジュール

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520025A (ja) * 2014-06-20 2017-07-20 クゥアルコム・インコーポレイテッドQualcomm Incorporated 屈曲光学アレイカメラのためのオートフォーカス
JP2017524968A (ja) * 2014-06-20 2017-08-31 クアルコム,インコーポレイテッド 視差アーティファクトがない屈曲光学系を使用するマルチカメラシステム
JP2017524976A (ja) * 2014-06-20 2017-08-31 クゥアルコム・インコーポレイテッドQualcomm Incorporated 視差およびチルトアーティファクトが無い屈曲光学系を使用するマルチカメラシステム
JP2019513239A (ja) * 2016-03-14 2019-05-23 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多開口撮像デバイス、撮像システムおよび物体領域を取り込む方法
JP2019522913A (ja) * 2016-05-12 2019-08-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 3dマルチ開口撮像デバイス、マルチ開口撮像デバイス、3dマルチ開口撮像デバイスの出力信号を提供するための方法、および、全体視野を捕捉するための方法
US10708570B2 (en) 2016-05-12 2020-07-07 Fraunhofer-Gesellschaft zur Föderung der angewandten Forschung e.V. 3D multi-aperture imaging devices, multi-aperture imaging device, method for providing an output signal of a 3D multi-aperture imaging device and method for capturing a total field of view
JP2022535443A (ja) * 2019-06-06 2022-08-08 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス
JP7399989B2 (ja) 2019-06-06 2023-12-18 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス
US12106500B2 (en) 2019-06-06 2024-10-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel imaging device and device having a multi-aperture imaging device
JP2022540061A (ja) * 2019-07-03 2022-09-14 レティノル カンパニー リミテッド 小型反射部を用いたカメラモジュール及びこれを用いた拡張現実用光学装置
JP7356183B2 (ja) 2019-07-03 2023-10-04 レティノル カンパニー リミテッド 小型反射部を用いたカメラモジュール及びこれを用いた拡張現実用光学装置
US12055693B2 (en) 2019-07-03 2024-08-06 Letinar Co., Ltd Camera module using small reflector, and optical device for augmented reality using same

Also Published As

Publication number Publication date
US9398264B2 (en) 2016-07-19
US9838601B2 (en) 2017-12-05
EP2910011A1 (en) 2015-08-26
CN110072048A (zh) 2019-07-30
WO2014062481A1 (en) 2014-04-24
CN104704809A (zh) 2015-06-10
CN110072048B (zh) 2021-06-18
US10165183B2 (en) 2018-12-25
CN104704809B (zh) 2019-03-01
KR102108597B1 (ko) 2020-05-07
JP2018201214A (ja) 2018-12-20
US20180084193A1 (en) 2018-03-22
EP2910011B1 (en) 2018-12-05
US20140111650A1 (en) 2014-04-24
KR20150072439A (ko) 2015-06-29
HUE042567T2 (hu) 2019-07-29
US20160295112A1 (en) 2016-10-06
JP6692640B2 (ja) 2020-05-13
ES2714278T3 (es) 2019-05-28
BR112015008296B1 (pt) 2022-03-15
BR112015008296A2 (pt) 2017-07-04
JP6700345B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
JP6700345B2 (ja) フォールデッドオプティクスを用いたマルチカメラシステム
US9854182B2 (en) Folded optic array camera using refractive prisms
US9733458B2 (en) Multi-camera system using folded optics free from parallax artifacts
KR102225429B1 (ko) 시차 및 틸트 아티팩트들이 없는 폴딩형 광학계를 이용한 멀티-카메라 시스템
US9819863B2 (en) Wide field of view array camera for hemispheric and spherical imaging
US20150373252A1 (en) Autofocus for folded optic array cameras
US20150373269A1 (en) Parallax free thin multi-camera system capable of capturing full wide field of view images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160921

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200415

R150 Certificate of patent or registration of utility model

Ref document number: 6692640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250