Nothing Special   »   [go: up one dir, main page]

JP5860304B2 - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム、並びに記憶媒体 Download PDF

Info

Publication number
JP5860304B2
JP5860304B2 JP2012037799A JP2012037799A JP5860304B2 JP 5860304 B2 JP5860304 B2 JP 5860304B2 JP 2012037799 A JP2012037799 A JP 2012037799A JP 2012037799 A JP2012037799 A JP 2012037799A JP 5860304 B2 JP5860304 B2 JP 5860304B2
Authority
JP
Japan
Prior art keywords
unit
imaging
image
area
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012037799A
Other languages
English (en)
Other versions
JP2013175826A (ja
JP2013175826A5 (ja
Inventor
前田 昌峰
昌峰 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012037799A priority Critical patent/JP5860304B2/ja
Priority to US13/760,358 priority patent/US9413953B2/en
Publication of JP2013175826A publication Critical patent/JP2013175826A/ja
Publication of JP2013175826A5 publication Critical patent/JP2013175826A5/ja
Application granted granted Critical
Publication of JP5860304B2 publication Critical patent/JP5860304B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Circuits (AREA)

Description

本発明は、複数枚の画像をつなぎ合わせて合成画像を生成する撮像技術に関する。
カメラのアングルを変えながら複数枚の画像を撮影し、各画像について左右の重なり部分を画像処理でスムーズにつなぎ合わせてパノラマ画像を得る手法がある。
また、白飛びが少ない画像と黒潰れが少ない画像を、露光条件を変えて複数枚撮影し、これらを合成することで幅広いダイナミックレンジを持つ画像を生成する手法がある。これはハイダイナミックレンジ(HDR)合成と呼ばれている。特許文献1では、上述したHDR合成によって白飛びおよび黒潰れがない画像を生成しつつ、エリアを変更して同様の撮影及び合成を続け、これらHDR画像をつなぎ合わせてパノラマ画像を生成する技術の開示がある。
特開2004−180308号公報
しかしながら、上記特許文献1では、同一アングルで複数枚の撮影を行うため、複数枚の撮影時は、三脚等によりカメラ本体を固定する必要があると共に、複数枚の撮影とカメラアングルの調整を繰り返す必要があり、煩雑な手順が必要となる。
また、アングルごとに幅広いダイナミックレンジを持つ画像を生成し、各画像をつなぐときに、画像同士の明るさを調整するようになっているが、異なる露光条件の画像をつなぐので、つなぎ目に明るさの段差が残ってしまう可能性がある。
本発明は、上記課題に鑑みてなされ、その目的は、簡便な操作で幅広いダイナミックレンジを持つパノラマ画像の撮影を可能とすると共に、つなぎ目で明るさの段差が生じないパノラマ画像が得られる技術を実現することである。
上記課題を解決し、目的を達成するため、本発明の撮像装置は、複数枚の画像をつなぎ合わせて合成画像を生成する撮像装置であって、被写体像を撮像する撮像手段と、前記撮像手段の受光部を複数のエリアに区切り、各エリアごとに前記撮像手段による露光条件を決定する決定手段と、前記決定手段により決定された露光条件で前記撮像手段により撮影されたエリアごとの複数枚の画像を、当該エリアごとにつなぎ合わせて複数枚の第1の合成画像を生成する第1の合成手段と、前記第1の合成手段により生成される複数枚の前記第1の合成画像を合成して、ダイナミックレンジが拡大された1枚の第2の合成画像を生成する第2の合成手段と、を有することを特徴とする。
本発明によれば、簡便な操作で幅広いダイナミックレンジを持つパノラマ画像の撮影を可能とすると共に、つなぎ目で明るさの段差が生じないパノラマ画像を得ることができる。
本発明に係る実施形態のデジタルカメラの構成を示すブロック図。 本実施形態のデジタルカメラのパノラマ撮影の概念を示す図。 本実施形態のデジタルカメラの角速度センサの動作を示す図。 本実施形態のデジタルカメラによるパノラマモード時の撮影動作を示すフローチャート。 本実施形態のデジタルカメラの露光条件の決定の概念図。 本実施形態のデジタルカメラの撮像素子の構成を示す図。 本実施形態のデジタルカメラの撮像素子の制御信号を例示する図。 本実施形態のデジタルカメラのパノラマ合成およびHDR合成の概念図。 本実施形態のデジタルカメラのパノラマ撮影の概念を示す図。 本実施形態のデジタルカメラの撮像素子の構成を示す図。 本実施形態のデジタルカメラの撮像素子の構成を示す図。
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
[実施形態1]以下、本発明に係る実施形態1について説明する。
<装置構成>先ず、図1を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。
図1において、撮影レンズ101は被写体像を捕捉し、撮像素子103の撮像画面上に結像させる。絞り102は撮影レンズ101から入射される被写体像の光量を所定量に制限する。本実施形態のデジタルカメラは、後述するパノラマ撮影モードにおいて、撮影レンズ101の焦点距離が35mmフィルム換算で28mmに相当する焦点距離にズーム位置が固定される。撮像素子103で結像した被写体像は、CMOSイメージセンサ等を構成する光電変換素子により電気信号に変換され、A/Dコンバータ104でデジタル信号に変換されて画像処理部105へ出力される。画像処理部105は、入力された画像信号にガンマ補正やホワイトバランス補正、ノイズリダクション処理等を施し、画像データバス106に非圧縮画像データとして出力する。
測光センサ111は、撮像画面の範囲における輝度の分布を検出し、EV値データを制御バス116に出力する。角速度センサ112は、撮影者がカメラ本体のアングルを変化させる際に発生する角速度を、カメラ光軸に直交するX(ヨー)、Y(ピッチ)方向ごとに検出し、検出した角速度データを上記X、Yの2つのチャンネルごとに制御バス116に出力する。液晶パネル107は、画像や各種情報を表示する表示部である。
第1SDRAM109は、複数フレーム分の非圧縮画像データを蓄積し、後述するパノラマ合成並びにHDR合成を行うためのワークエリアであるメモリ空間を提供する。コーデック110は、第1SDRAM109にて合成処理が終了した非圧縮画像データを静止画として圧縮符号化し、JPEGまたはRAWデータを生成する。JPEGは階調8ビットの一般的な機器で再生互換性を持つ記録方式で、RAWは階調14ビットの、画像処理部105による画像処理を施さないデータに可逆圧縮方式による符号化を施した、特定の機器のみに再生互換性を持つ記録方式である。
第2SDRAM113は、コーデック110で生成されるJPEGデータを、記録媒体114に対して書き込みまたは読み出しを行い、記録媒体114の記録速度との調停を行うためのバッファメモリ空間を提供する。また、第2SDRAM113は画像表示用のメモリ(ビデオメモリ)を兼ねている。液晶ドライバ108は、第2SDRAM113に格納されている画像表示用のデータを液晶表示信号に変換して液晶パネル107に供給する。このようにして、第2SDRAM113に書き込まれた表示用の画像データは液晶ドライバ108を介して液晶パネル107により表示される。
A/Dコンバータ104にてA/D変換され、第2SDRAM113に蓄積されたデジタル信号は液晶ドライバ108にて液晶表示信号に変換され、液晶パネル107に逐次転送されて表示される。このように液晶パネル107はスルー画像を表示可能な電子ビューファインダとして機能する。記録媒体114は、カメラ本体に対して着脱が可能な、例えばNAND型フラッシュメモリ等で構成されているメモリカードである。JPEGまたはRAWデータは、PCに接続された際にディスクドライブとして認識される、PC互換性を持つFAT(File Allocation Table)ファイルシステムに則って作成されて記録媒体114に記録される。
操作キー115は、撮影者からの各種操作を受け付ける各種スイッチであり、静止画の撮影指示を行うシャッターボタン、パノラマ撮影を行うパノラマモードと通常の静止画撮影を行う通常撮影モードのいずれかを選択するモードスイッチを含む。制御バス116は、各ブロック間の制御信号の通信を行う信号経路であり、CPU118からの制御信号を各ブロックに伝えると共に、各ブロックからのレスポンス信号や各センサからのデータ信号をCPU118に伝える。フラッシュROM119は、電気的に消去・記録可能な不揮発性メモリであって、CPU118の動作用の定数、プログラム等が格納される。ここでいう、プログラムとは、本実施形態にて後述するフローチャートを実行するためのプログラムのことである。CPU118は、カメラ全体を制御する。後述するフラッシュROM119に記録されたプログラムを実行することで、後述する実施形態の各処理を実現する。117はシステムメモリであり、RAMが用いられる。RAM117には、CPU118の動作用の定数、変数、フラッシュROM119から読み出したプログラム等を展開する。また、CPU118は液晶ドライバ108等を制御することにより表示の制御も行う。
図2は、本実施形態のデジタルカメラで横に長いパノラマ画像を撮影する際の様子を示している。シャッターボタンを押しながら、例えば左から右へ撮影者自身が回転するようにカメラのアングルを連続的に移動させながら撮影すると、重複する領域のある複数枚の画像が得られる。撮像装置はそれら得られた複数枚の画像をつなぎ合わせて1枚のパノラマ画像を生成する。
<撮影動作>次に、図3及び図4を参照して、本実施形態のデジタルカメラによるパノラマモード時の撮影動作について説明する。
図3は、本実施形態のデジタルカメラの状態と、それに応じた角速度センサ112の出力を示しており、カメラのヨー方向の回転速度がX出力、カメラのピッチ方向の回転速度がY出力として検出され、各出力の積分値を取ることで各方向の回転量が算出できる。
図4は、本実施形態のデジタルカメラによるパノラマ撮影モード時の動作を示すフローチャートである。なお、図4の処理は、CPU118が、ROM119に格納された制御プログラムを、RAM117のワークエリアに展開し、実行することで実現される。
図4において、CPU118は、モードスイッチがパノラマモードのままカメラの電源がオンされるか、撮影者の操作によってパノラマモードへ切り替えられると、処理を開始する。
まずS401では、CPU118は、シャッターボタンが半押しされているか判定し、半押しされていれば、S402にて、測光センサ111により被写体の輝度が測定される。測光センサは外光式で、カメラ本体の上面に設置され、パノラマ撮影される画角範囲と同等の輝度測定範囲を有し、測定範囲内の最大輝度および最小輝度が測定可能である。測光センサとしてはこれに限らず、撮像素子103より取り込まれた撮像画像から輝度値を測定するようにしてもよい。
S403では、CPU118は、撮影範囲における被写体の最大輝度および最小輝度を検出し、S404では、最大輝度と最小輝度の輝度差に基づいて、HDR画像を合成するために必要な、標準ダイナミックレンジ画像の必要枚数Nを算出する。ここで、必要枚数Nは最大輝度と最小輝度の輝度差に基づくものに限らず、例えば適正露出に対応する輝度と最大輝度や適正露出に対応する輝度と最小輝度などでもよい。また、必要枚数Nはユーザによって予め設定されていても良い。
S405では、CPU118は、上記必要枚数Nと同数異なって設定される露光条件の、ずらし量が算出される。図5は、S404及びS405にて、上記必要枚数Nと露光条件のずらし量を決定する概念図である。なお、EVとはExposure Value(露光指数)の略で、感度がISO100のフィルムを18%グレーに感光させる(適正露出が得られる)ことができる光量のことである。絞り値がF1.0、シャッタースピードが1秒の場合をEV=0として、フィルムを絞り値が√2倍かまたはシャッタースピード(露光時間)が半分になるごとにEV値が1ずつ増えていく。同一のEVに対する絞り値とシャッタースピードの組み合わせは1つには決まらず、図5に示すように、例えば7EVの光量に対して適正露出を得るには、F4.0・1/8秒、F2.8・1/16秒、F2.0・1/30秒などの露光条件がある。また、ダイナミックレンジの幅もEV値で表すが、例えば10EVでは、210=1024倍の輝度差がカバーできるダイナミックレンジを示す。上記必要枚数N及び露光条件ずらし量は、以下の式によって算出される。
N=((最大輝度−最小輝度)/撮像素子のダイナミックレンジ)+1
露光ずらし量=((最大輝度−最小輝度)−撮像素子のダイナミックレンジ)/(N−1)
本実施形態の撮像素子による標準ダイナミックレンジが10EVであるとして、S403にて、最大輝度が22EV、最小輝度が2EVの場合、N=3として算出される。すなわち、最大輝度と最小輝度の輝度差を撮像素子のダイナミックレンジで除算した結果に応じて、必要枚数Nが決定される。また、S405にて決定される露光条件のずらし量は、5EVとなり、S406にて決定される絞り値はF2.0となる。また、3つのエリアの露光条件を決めるためのEV値が決定され、標準の露光条件は12EV、アンダー側の露光条件は7EV、オーバ側の露光条件は17EVとなる。
S406、S407では、CPU118は、絞り値およびシャッタースピードを決定する。複数の標準ダイナミックレンジ画像を得る際に行う露光条件の変更は、シャッタースピードを変更することによって行われるため、1つの絞り値に対して、N通りのシャッタースピードが決定される。また、カメラ側で設定できる絞り値、シャッタースピードの制限の中で、最高のシャッタースピードが得られる条件が設定される。
以上の条件を鑑み、本実施形態では、絞り値がF2.0、シャッタースピードは1/30秒、1/1000秒、1/32000秒のシャッタースピードとなる。ここで、シャッタースピードは、撮像素子103の電荷蓄積時間を制御することにより、撮像素子のエリアごとに異なる設定で撮像が行われるが、この点については後述する。
S408では、CPU118は、シャッターボタンが全押しされているか判定し、全押しされていれば、S409で、撮像素子103の各エリアにおいて被写体の露光が開始され、所定の電荷蓄積時間の後、露光が終了し、撮像信号の転送が行われる。転送された撮像信号は、A/Dコンバータ104にてA/D変換され、画像処理部105にてガンマ補正やホワイトバランス補正、ノイズリダクション処理等の画像処理が施された後、第1SDRAM109に一時記憶される。
S410では、CPU118は、撮影者が撮影アングルを、パノラマ合成のための合成単位である水平に10度振ったか判定し、振られていればS411にて、撮影者がシャッターボタンを離したか判定する。S411でシャッターボタンを離しておらず、引き続きシャッターボタンが押し続けられていると判定すると、S412に進む。S412では、CPU118は、撮影開始後の撮影者による撮影アングルの振り量が、本実施形態のパノラマモードで撮影できる最大の画角である270度を超えているか判定し、超えていなければ、S409に戻る。
なお、S411にて撮影者がシャッターボタンを離すか、S412にて撮影開始後の撮影者による撮影アングルの振り量が270度に達していると判定した場合は、撮像動作は終了となる。すなわち、S413にてパノラマ画像生成処理が行われてパノラマ画像が生成され、S414にてHDR画像合成処理が行われ、最終的に記録媒体114に記録されるパノラマ画像が生成される。
その後、S415では、CPU118は、コーデック110により生成されたパノラマ画像データをJPEGまたはRAW符号化し、S416にて記録媒体114に、符号化されたパノラマ画像が記録され、S417にて一連の動作が終了する。
<露光動作(S409)>次に、図6を参照して、図4のS407にて決定されるシャッタースピードでS409にて行われる撮像素子の露光について詳細に説明する。
本実施形態の撮像素子は、横2592x縦1944ピクセル(約500万画素)で、縦方向にラインが構成されている。
図6において、601は撮像素子を概念的に示しており、N=3の場合、ライン1〜431までは、露光されるが、後述のパノラマ合成では使われない無効エリア、ライン432〜1007は電荷蓄積時間が1/32000秒で露光が行われるエリアA、ライン1008〜1583は電荷蓄積時間が1/1000秒で露光が行われるエリアB、ライン1584〜2161は電荷蓄積時間が1/30秒で露光が行われるエリアC、ライン216〜2592は、露光されるが後述のパノラマ合成では使われない無効エリアである。
602は撮像素子の内部構成、603は1画素を構成する受光素子、604は受光素子により蓄積される電荷量を画像信号として読み出す信号読み出し部をそれぞれ示している。605は画素の動作を制御するドライバであり、受光素子603により蓄積された電荷を放出(リセット)するタイミングを指示するRST信号、アサート時点の蓄積電荷量情報を得ると共に、信号読み出し部604に転送を行うタイミングを指示するTRS信号をラインごとに出力する。なお、RST信号がアサートされてから、TRS信号がアサートされるまでの時間差が、電荷蓄積時間となり、シャッタースピードに相当する。
606は、ドライバ605による画素ラインの制御のためのライン選択を行うライン選択部、607は、信号読み出し部604およびライン選択部606を制御し、1画面分の走査を行う、走査制御部である。
本実施形態では、撮像素子における走査線に該当するラインをグループ分けすることによりエリアが区切られている。
<信号波形>図7は、ドライバ605から出力されるRST信号およびTRS信号の波形を示している。ライン1〜1007では、RST信号とTRS信号の立ち上がりの時間差が1/32000秒となる。ライン1008〜1583では、RST信号とTRS信号の立ち上がりの時間差が1/1000秒となる。ライン1584〜2592では、RST信号とTRS信号の立ち上がりの時間差が1/30秒となる。これによってそれぞれのエリアで、シャッタースピードが異なるよう制御される。
<パノラマ合成及びHDR合成>次に、S413でのパノラマ合成(第1の合成)とS414でのHDR合成(第2の合成)について説明する。
図8は、パノラマ合成及びHDR合成の概念図であり、801は、撮像素子の分割エリアを示し、上述した構成により、水平アングルが10度変化するごとに撮影が行われ、合計29枚の撮影が行われている。一方、それぞれの分割エリアは、縦1944x横576画素となり、前述のように、撮影レンズ101の焦点距離は35mmフィルム換算で28mm相当の焦点距離となっているので、横方向の画角は約15度となる。よって、各エリアで撮像した画像は、15度ごとに、両端5度のオーバラップを持って撮影される。パノラマ合成では、このオーバラップ部分を利用して、つなぎ目が目立たないよう、フィルタ処理等でぼかし処理等を行いながら、3組のパノラマ合成画像(第1の合成画像)が生成される。
802は、エリアAで撮像された画像を合成したパノラマ画像、803は、エリアBで撮像された画像を合成したパノラマ画像、804は、エリアCで撮像された画像を合成したパノラマ画像である。それぞれのパノラマ画像は、10ビット階調で構成されている。
パノラマ合成後に行われるHDR合成では、まずエリアAで撮像された画像を合成したパノラマ画像802について、露光ずらし量である5EV分、明度を上げる。また、エリアCで撮像された画像を合成したパノラマ画像804について、露光ずらし量である5EV分、明度を下げる。その後、エリアBで撮像された画像を合成したパノラマ画像803に対して、白飛びまたは黒潰れのない部分をつなぎ合わせて、10ビットより広い階調を持つHDR画像(第2の合成画像)を生成する。このHDR画像に対してコントラスト圧縮を行い、JPEG符号化による記録では8ビット階調に丸め処理、RAW符号化による記録では14ビット階調に丸め処理を行った後に、前述の所定の画像処理および符号化を行い、記録媒体114に記録する。
以上のように、本実施形態では、撮像素子の受光部をアングルの移動方向に並ぶ複数のエリアに区切り、各エリアごとに撮像素子による露光条件を決定する。そして、アングルを移動させながら、決定された露光条件で撮像素子により撮像されたエリアごとの複数枚の画像を、当該エリアごとにつなぎ合わせて複数枚のパノラマ画像を生成する。さらに、生成された複数枚のパノラマ画像を合成して、ダイナミックレンジが拡大された1枚のパノラマ画像を生成する。これにより、従来のパノラマ撮影と同様の操作で幅広いダイナミックレンジを持つパノラマ画像の撮影を可能とすると共に、パノラマ画像のつなぎ目で、明るさの段差が生じないパノラマ撮影が可能となる。
また本実施形態のデジタルカメラでは、図6に示すように、縦方向にライン配列がある撮像素子を用いたが、図10に示すように、横方向にライン配列があるものを用いてもよい。なお、図10に示す撮像素子1001の内部構成1002において、1003〜1007はそれぞれ、図6の受光素子603、信号読み出し部604、ドライバ605、ライン選択部606、走査制御部607と同等の機能を有する。横方向にライン配列がある撮像素子を用いて、横方向にパノラマ撮影を行う場合は、図9に示すように、カメラを縦位置に構えたまま、アングルを横方向に振る操作を行えばよい。これにより、横方向にライン配列がある一般的な撮像素子を用いることができると共に、完成したパノラマ画像の上下方向の画角が広くなるという効果がある。
さらに、本実施形態では、撮像素子のエリアごとに異なる露光条件を、電荷蓄積時間の違いにより設定しているが、撮像素子103の前方に、図11に示すような可動式の減光フィルタ1102〜1104を設け、減光フィルタの濃度または枚数により各エリアに到達する光の量を異ならせて露光条件を設定してもよい。さらに、露光条件を、エリアの幅を変更したり、エリアごとのゲインを変更して設定してもよい。これにより、撮像素子に対して、同一のシャッタースピードが選択できるので、前述のカメラ側で設定できる絞り値やシャッタースピードの制限を受けにくくなり、撮影者によるシャッタースピードの選択の幅が広がるという効果がある。
[他の実施形態]本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (8)

  1. 複数枚の画像をつなぎ合わせて合成画像を生成する撮像装置であって、
    被写体像を撮像する撮像手段と、
    前記撮像手段の受光部を複数のエリアに区切り、各エリアごとに前記撮像手段による露光条件を決定する決定手段と、
    前記決定手段により決定された露光条件で前記撮像手段により撮影されたエリアごとの複数枚の画像を、当該エリアごとにつなぎ合わせて複数枚の第1の合成画像を生成する第1の合成手段と、
    前記第1の合成手段により生成される複数枚の前記第1の合成画像を合成して、ダイナミックレンジが拡大された1枚の第2の合成画像を生成する第2の合成手段と、を有することを特徴とする撮像装置。
  2. 被写体の輝度を測光する測光手段をさらに有し、
    前記決定手段は、前記測光手段により得られる被写体の輝度から、撮影範囲の最大輝度と最小輝度の差を検出し、当該検出した輝度差を、前記撮像手段が有するダイナミックレンジで除算した結果に応じて、前記エリアの数を決定することを特徴とする請求項1に記載の撮像装置。
  3. 前記露光条件は、前記撮像手段に入る光量を制限するための絞りの絞り値と前記撮像手段による電荷蓄積時間とに応じて決定され、
    前記決定手段は、前記エリアごとに前記電荷蓄積時間を異ならせた露光条件を設定することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記エリアは、前記撮像手段における走査線に該当するラインをグループ分けすることにより区切られることを特徴とする請求項3に記載の撮像装置。
  5. 前記決定手段は、前記撮像手段の受光部の、前記エリアに相当する位置に、可動式の減光フィルタを設け、当該減光フィルタの濃度または枚数により前記エリアに到達する光の量を異ならせた露光条件を設定することを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。
  6. 被写体像を撮像する撮像手段を有し、複数枚の画像をつなぎ合わせて合成画像を生成する撮像装置の制御方法であって、
    前記撮像手段の受光部を複数のエリアに区切り、各エリアごとに前記撮像手段による露光条件を決定する決定工程と、
    前記決定工程により決定された露光条件で前記撮像手段により撮影されたエリアごとの複数枚の画像を、当該エリアごとにつなぎ合わせて複数枚の第1の合成画像を生成する第1の合成工程と、
    前記第1の合成工程により生成された複数枚の前記第1の合成画像を合成して、ダイナミックレンジが拡大された1枚の第2の合成画像を生成する第2の合成工程と、を有することを特徴とする制御方法。
  7. コンピュータを、請求項1ないし5のいずれか1項に記載された撮像装置の各手段として機能させるプログラム。
  8. コンピュータを、請求項1ないし5のいずれか1項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。
JP2012037799A 2012-02-23 2012-02-23 撮像装置及びその制御方法、プログラム、並びに記憶媒体 Active JP5860304B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012037799A JP5860304B2 (ja) 2012-02-23 2012-02-23 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US13/760,358 US9413953B2 (en) 2012-02-23 2013-02-06 Image capturing apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012037799A JP5860304B2 (ja) 2012-02-23 2012-02-23 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Publications (3)

Publication Number Publication Date
JP2013175826A JP2013175826A (ja) 2013-09-05
JP2013175826A5 JP2013175826A5 (ja) 2015-03-12
JP5860304B2 true JP5860304B2 (ja) 2016-02-16

Family

ID=49002434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012037799A Active JP5860304B2 (ja) 2012-02-23 2012-02-23 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Country Status (2)

Country Link
US (1) US9413953B2 (ja)
JP (1) JP5860304B2 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN103501416B (zh) 2008-05-20 2017-04-12 派力肯成像公司 成像系统
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN103004180A (zh) 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN103765864B (zh) 2011-05-11 2017-07-04 派力肯影像公司 用于传送和接收阵列照相机图像数据的系统和方法
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9129183B2 (en) 2011-09-28 2015-09-08 Pelican Imaging Corporation Systems and methods for encoding light field image files
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
EP2873028A4 (en) 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) * 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
EP2922288A1 (en) 2014-03-18 2015-09-23 Thomson Licensing Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
WO2016119126A1 (zh) * 2015-01-27 2016-08-04 华为技术有限公司 一种全景拍摄曝光方法及装置
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN110741627B (zh) * 2017-06-21 2021-10-29 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
JP7210872B2 (ja) * 2017-07-19 2023-01-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
EP3454547A1 (en) * 2017-09-11 2019-03-13 Canon Kabushiki Kaisha Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium
CN109005334B (zh) * 2018-06-15 2020-07-03 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质
CN114600165A (zh) 2019-09-17 2022-06-07 波士顿偏振测定公司 用于使用偏振提示表面建模的系统和方法
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス,インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
JP7283488B2 (ja) * 2021-01-06 2023-05-30 株式会社ニコン 撮像素子及び電子機器
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
KR20220128800A (ko) * 2021-03-15 2022-09-22 에스케이하이닉스 주식회사 파노라마 이미지 생성 장치 및 방법
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165004A (ja) * 1997-08-12 1999-03-05 Sony Corp パノラマ撮像システム
US20040100565A1 (en) 2002-11-22 2004-05-27 Eastman Kodak Company Method and system for generating images used in extended range panorama composition
JP4792976B2 (ja) * 2006-01-10 2011-10-12 セイコーエプソン株式会社 撮像装置
US7634157B1 (en) * 2006-03-23 2009-12-15 Flir Systems, Inc. Infrared and near-infrared camera hyperframing
US20070242141A1 (en) * 2006-04-14 2007-10-18 Sony Corporation And Sony Electronics Inc. Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
JP5655667B2 (ja) * 2011-03-31 2015-01-21 カシオ計算機株式会社 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US9172889B2 (en) * 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images

Also Published As

Publication number Publication date
JP2013175826A (ja) 2013-09-05
US9413953B2 (en) 2016-08-09
US20130222533A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
JP5860304B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
JP5434361B2 (ja) 画像処理装置及び画像処理方法
KR100799214B1 (ko) 촬상 장치 및 촬영 방법
JP5009880B2 (ja) 撮像装置及び撮像方法
CN105993164B (zh) 固态图像传感器、电子设备和自动聚焦方法
JP5326758B2 (ja) カメラ、画像処理装置、および画像処理プログラム
JP2006238311A (ja) 撮影装置及びプログラム
JP6025342B2 (ja) 撮像装置及びその制御方法
KR20170011555A (ko) 디지털 촬영 장치 및 그 방법
JP7247609B2 (ja) 撮像装置、撮像方法およびプログラム
CN108881731B (zh) 全景拍摄方法、装置和成像设备
JP2006050233A (ja) 撮像装置、画像処理装置、画像処理方法およびプログラム
JP4760496B2 (ja) 画像データ生成装置、画像データ生成方法
JP2014068080A (ja) 撮像装置及び撮像方法
JP2009033289A (ja) 撮像装置及び撮像方法
JP5747595B2 (ja) 露出制御装置及びカメラ
JP2006135501A (ja) 撮像装置
JP5029765B2 (ja) 画像データ生成装置、画像データ生成方法
JP4687619B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2008227839A (ja) 撮像装置
JP2017022596A (ja) 画像処理装置、その制御方法及びプログラム
JP2018151415A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP4964830B2 (ja) 全方位撮像装置及び全方位画像の撮像制御方法
JP4012471B2 (ja) デジタルカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151218

R151 Written notification of patent or utility model registration

Ref document number: 5860304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151