JP2010041381A - 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム - Google Patents
電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム Download PDFInfo
- Publication number
- JP2010041381A JP2010041381A JP2008201781A JP2008201781A JP2010041381A JP 2010041381 A JP2010041381 A JP 2010041381A JP 2008201781 A JP2008201781 A JP 2008201781A JP 2008201781 A JP2008201781 A JP 2008201781A JP 2010041381 A JP2010041381 A JP 2010041381A
- Authority
- JP
- Japan
- Prior art keywords
- image
- electronic camera
- pair
- images
- imaging lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 81
- 230000003287 optical effect Effects 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims description 60
- 238000012937 correction Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 14
- 230000004907 flux Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Adjustment Of Camera Lenses (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】 撮像光学系をより簡素な構成としつつ、撮像時に煩雑な操作を要することなくステレオ画像を取得するための手段を提供する。
【解決手段】 電子カメラは、撮像レンズと、レンズ駆動部と、撮像素子と、制御部とを備える。レンズ駆動部は、撮像レンズの光軸に対して垂直な平面内で撮像レンズをシフトさせる。撮像素子は、撮像レンズを通過した光束による像を撮像する。制御部は、各々の画像の撮像時に撮像レンズの位置を相違させて、視差を有する一対の画像を取得する。
【選択図】 図1
【解決手段】 電子カメラは、撮像レンズと、レンズ駆動部と、撮像素子と、制御部とを備える。レンズ駆動部は、撮像レンズの光軸に対して垂直な平面内で撮像レンズをシフトさせる。撮像素子は、撮像レンズを通過した光束による像を撮像する。制御部は、各々の画像の撮像時に撮像レンズの位置を相違させて、視差を有する一対の画像を取得する。
【選択図】 図1
Description
本発明は、ステレオ画像の取得に適した電子カメラとその周辺技術に関する。
従来から、ステレオ画像(立体視画像)を取得する電子カメラについては数多くの提案がなされている。一例として、特許文献1には、撮像光学系に含まれるミラーをシフトさせることによって、視差のある複数の画像を取得するカメラの構成が開示されている。
特開2003−5311号公報
しかし、上記の特許文献1の構成では、ステレオ画像を得るために撮像光学系にミラーが必要となる点で改善の余地があった。
そこで、本発明は、撮像光学系をより簡素な構成としつつ、撮像時に煩雑な操作を要することなくステレオ画像を取得するための手段を提供することを目的とする。
一の態様の電子カメラは、撮像レンズと、レンズ駆動部と、撮像素子と、制御部とを備える。レンズ駆動部は、撮像レンズの光軸に対して垂直な平面内で撮像レンズをシフトさせる。撮像素子は、撮像レンズを通過した光束による像を撮像する。制御部は、各々の画像の撮像時に撮像レンズの位置を相違させて、視差を有する一対の画像を取得する。
上記の一の態様において、撮像レンズは、移動により像のブレを光学的に補正するブレ補正レンズを含んでいてもよい。また、レンズ駆動部は、ブレ補正レンズをシフトさせるようにしてもよい。
上記の一の態様の電子カメラは、被写体距離演算部と、画像処理部とをさらに備えていてもよい。被写体距離演算部は、一対の画像における被写体の位置のズレ量と撮像レンズのシフト量とを用いて被写体の被写体距離を求める。また、画像処理部は、各々の被写体距離に基づいて、被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する。
また、電子カメラは、撮像レンズの光軸の角度変化を検出するブレ検出部をさらに備えていてもよい。そして、画像処理部は、一対の画像を取得する間に生じた角度変化を加味して、投影画像での被写体の位置を求めるようにしてもよい。
上記の一の態様の電子カメラは、撮像素子の位置をシフトさせる撮像素子シフト部をさらに備えていてもよい。また、制御部は、各々の画像の撮像時に撮像素子の位置を相違させて、一対の画像を取得するようにしてもよい。
上記の一の態様の電子カメラは、被写体距離を検出する被写体距離検出部をさらに備えていてもよい。また、制御部は、一対の画像を取得したときの被写体距離に応じて、上記の投影画像を生成するか否かを判断してもよい。
上記の一の態様の電子カメラは、撮像レンズの光軸の角度変化を検出するブレ検出部をさらに備えていてもよい。また、制御部は、一対の画像を取得する間に生じた角度変化の大きさに応じて、上記の投影画像を生成するか否かを判断してもよい。
上記の一の態様の電子カメラは、一対の画像のデータと、一対の画像を取得したときの撮像レンズのシフト量を示すデータとを外部の装置に出力するデータ出力部をさらに備えていてもよい。
なお、電子カメラと画像処理装置とを用いて上記の投影画像を生成するステレオ画像生成方法およびステレオ画像生成システムも、本発明の具体的態様として有効である。
本発明によれば、撮像レンズのシフトによって視差を有する一対の画像を容易に取得できる。
<一の実施形態の構成>
図1は、一の実施形態における電子カメラの構成例を示すブロック図である。この一の実施形態の電子カメラは、撮影モードの1つとしてステレオ画像撮影モードを有している。ステレオ画像撮影モードでの電子カメラは、撮像光学系の光軸に対して垂直方向にレンズをシフトさせて、視差を有する一対の画像を撮像する。
図1は、一の実施形態における電子カメラの構成例を示すブロック図である。この一の実施形態の電子カメラは、撮影モードの1つとしてステレオ画像撮影モードを有している。ステレオ画像撮影モードでの電子カメラは、撮像光学系の光軸に対して垂直方向にレンズをシフトさせて、視差を有する一対の画像を撮像する。
一の実施形態の電子カメラは、撮像光学系11と、第1レンズ駆動部12と、第2レンズ駆動部13と、ブレ検出部14と、第3レンズ駆動部15と、撮像素子16と、撮像素子シフト部17と、AFE18と、CPU19と、第1メモリ20および第2メモリ21と、記録I/F22と、外部I/F23と、無線通信モジュール24と、モニタ25と、操作部26とを有している。なお、第1レンズ駆動部12、第2レンズ駆動部13、ブレ検出部14、第3レンズ駆動部15、撮像素子シフト部17、AFE18、第1メモリ20、第2メモリ21、記録I/F22、外部I/F23、無線通信モジュール24、モニタ25および操作部26は、それぞれCPU19と接続されている。
撮像光学系11は、ズームレンズ11a、フォーカシングレンズ11b、ブレ補正レンズ11cを含む複数のレンズ群で構成されている。ズームレンズ11aは、撮影倍率を光学的に変更するためのレンズである。ズームレンズ11aのレンズ位置は、第1レンズ駆動部12によって光軸方向に調整される。また、第1レンズ駆動部12は、ズームレンズ11aの光軸方向の位置を検出するエンコーダを内蔵している。なお、ズームレンズ11aのレンズ位置の情報はCPU19に入力される。
フォーカシングレンズ11bは、焦点調節を行うためのレンズである。このフォーカシングレンズ11bのレンズ位置は、第2レンズ駆動部13によって光軸方向に調整される。また、第2レンズ駆動部13は、フォーカシングレンズ11bの光軸方向の位置を検出するエンコーダを内蔵している。なお、フォーカシングレンズ11bのレンズ位置の情報はCPU19に入力される。
ブレ補正レンズ11cは、レンズの移動によって、手ブレによる像のブレを光学的に補正するレンズである。このブレ補正レンズ11cは、撮像光学系11の光軸に対して垂直な平面内で揺動可能に構成されている。
ブレ検出部14は、撮像光学系11の光軸の角度変化を検出する。このブレ検出部14は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを有している。上記の各々の角速度センサには、例えば回転によるコリオリ力を検出する圧電振動式角速度センサなどが用いられる。なお、ブレ検出部14が検出する角速度の値はCPU19に入力される。
第3レンズ駆動部15は、CPU19の制御に基づいてブレ補正レンズ11cを揺動させる。この第3レンズ駆動部15は、ブレ補正レンズ11cを縦方向に揺動させる縦揺動機構と、ブレ補正レンズ11cを横方向に揺動させる横揺動機構とで構成されている。
撮像素子16は、撮像光学系11を通過した光束による結像を撮像してアナログの画像信号を生成する。この撮像素子16の出力はAFE18に接続されている。ここで、撮影モードでの撮像素子16は、後述のレリーズ釦の全押し操作に応答して記録用の静止画像を撮像する。また、撮影モードでの撮像素子16は、撮影待機時にも所定間隔毎に観測用の画像(スルー画像)を連続的に撮像する。なお、時系列に取得されたスルー画像は、モニタ25での動画表示やCPU19による各種の演算処理に使用される。
撮像素子シフト部17は、撮像光学系11の光軸に対して垂直な平面内で撮像素子16を移動させて、手ブレによる像のブレを光学的に補正する。この撮像素子シフト部17は、撮像素子16を縦方向に揺動させる縦揺動機構と、撮像素子16を横方向に揺動させる横揺動機構とで構成されている。
AFE18は、撮像素子16の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このAFE18は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のA/D変換を行う。なお、AFE18の出力する画像信号はCPU19に入力される。
CPU19は、電子カメラの各部の動作を統括的に制御するプロセッサである。一例として、CPU19は、スルー画像に基づくオートフォーカス(AF)演算および自動露出(AE)演算をそれぞれ公知のアルゴリズムで実行する。また、CPU19は、第3レンズ駆動部15を介してブレ補正レンズ11cをシフトさせるとともに、撮像素子シフト部17を介して撮像素子16をシフトさせる。
また、CPU19は、被写体距離演算部27と、画像処理部28とを有している。被写体距離演算部27は、ステレオ画像撮影モードにおいて、一対の画像における被写体の位置のズレ量に基づいて各被写体の被写体距離を幾何学的に求める。
一方、画像処理部28は、処理対象の画像のデータに対して、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理を実行する。また、画像処理部28は、ステレオ画像撮影モードにおいて、被写体距離演算部27が求めた被写体距離に基づいて、被写体をそれぞれ仮想的な投影面上に投影した投影画像を生成する。
第1メモリ20は、揮発性の記憶媒体(例えばSDRAMなど)で構成される。この第1メモリ20は、画像処理の前工程や後工程で画像のデータなどを一時的に記憶する。
第2メモリ21は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第2メモリ21には、CPU19が実行するプログラムや、各種のテーブルのデータが記憶される。第2メモリ21に記憶されるテーブルには、ズームレンズ11aのレンズ位置と焦点距離との対応関係を示す焦点距離テーブルや、フォーカシングレンズ11bのレンズ位置と被写体距離との対応関係を示す被写体距離テーブルや、ステレオ画像撮影モードで用いられる判定テーブルが含まれる。
ここで、図2を参照しつつ判定テーブルの内容を説明する。判定テーブルは、焦点距離および被写体距離の組み合わせと、ステレオ画像撮影モードでの処理の種類との対応関係を示している。上記のステレオ画像撮影モードでの処理は、「(1)撮像した画像をそのまま使用する」、「(2):投影画像を生成する」、「(3):撮影を禁止する」の3種類に分けられる。なお、図2では、上記の処理の種類を括弧付きの数字で表記する。
図2の判定テーブルの内容は、上記の一対の画像で生じる視差の大きさに応じて設定されている。例えば、上記の一対の画像に十分な視差が生じるときには、判定テーブルにおいて上記(1)の処理が選択されるように設定されている。また、上記の一対の画像において視差が少ないときには、判定テーブルにおいて上記(2)の処理が選択されるように設定されている。さらに、上記の一対の画像において視差が生じないとみなせるときには、判定テーブルにおいて上記(3)の処理が選択されるように設定されている。
ここで、レンズを光軸に対して垂直な方向に移動させるときに、焦点距離の値のみを大きくすると画像間での視差は大きくなる。また、レンズを光軸に対して垂直な方向に移動させるときに、被写体距離の値のみを大きくすると画像間での視差は小さくなる。
そのため、図2の例において、焦点距離が最も長くかつ被写体距離が最も短い場合(例えばマクロ撮影の場合)には、判定テーブルにおいて上記(1)の処理が選択される。また、上記(1)の処理が選択される場合よりも被写体距離を長くするか、あるいは焦点距離を短くすると、判定テーブルでは上記(2)の処理が選択されるようになる。さらに、上記(2)の処理が選択される場合よりも被写体距離を長くするか、あるいは焦点距離を短くすると、判定テーブルでは上記(3)の処理が選択されるようになる。したがって、図2の例において、焦点距離が最も短くかつ被写体距離が最も長い場合には、判定テーブルにおいて上記(3)の処理が選択される。
図1に戻って、記録I/F22は、外付けの記憶媒体29が着脱可能に接続されるコネクタを有している。そして、記録I/F22は、コネクタを介して接続された記憶媒体29に対して、データの書き込み/読み込みを行う。上記の記憶媒体29は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記憶媒体29の一例としてメモリカードを図示する。
外部I/F23は、USB(Universal Serial Bus)などのシリアル通信規格の接続端子を有している。そして、外部I/F23は、接続端子を介して接続された外部の装置(コンピュータなど)とのデータ送受信を上記の通信規格に準拠して制御する。
無線通信モジュール24は、アンテナを介して外部の装置(コンピュータなど)との無線によるデータ送受信を実行する。一の実施形態での無線通信モジュール24は、例えばIEEE802.11などの公知の通信規格に準拠して無線通信を行う。
モニタ25は、CPU19の指示に応じて各種画像を表示する。例えば、モニタ25は、CPU19の制御によって、上記のスルー画像によるファインダ像の動画表示や、後述のステレオ画像の再生表示を行うことができる。
操作部26は、ユーザーからの操作を受け付ける複数のスイッチを有している。一の実施形態の操作部26には、レリーズ釦、モードダイヤル、十字キー、決定釦、が含まれる。
レリーズ釦は、半押し操作による撮影前のAF動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。また、モードダイヤルは、電子カメラの動作モードの切替入力をユーザーから受け付ける。また、十字キーおよび決定釦は、電子カメラでの各種設定の操作をユーザーから受け付ける。一例として、CPU19は、十字キーおよび決定釦を介して、撮影時における投影画像の生成処理のオン/オフの設定を切り替える(なお、撮像時における投影画像の生成処理については後述する)。
<一の実施形態での動作説明>
以下、図3の流れ図を参照しつつ、一の実施形態における電子カメラのステレオ画像撮影モードでの動作例を説明する。ステレオ画像撮影モードにおける電子カメラの動作は、CPU19の実行するプログラムによって制御される。なお、ステレオ画像撮影モードでのCPU19は、ブレ検出部14によって撮像光学系11の光軸の角度変化をモニタ25するとともに、第3レンズ駆動部15および撮像素子シフト部17によるブレ補正処理を停止する。
以下、図3の流れ図を参照しつつ、一の実施形態における電子カメラのステレオ画像撮影モードでの動作例を説明する。ステレオ画像撮影モードにおける電子カメラの動作は、CPU19の実行するプログラムによって制御される。なお、ステレオ画像撮影モードでのCPU19は、ブレ検出部14によって撮像光学系11の光軸の角度変化をモニタ25するとともに、第3レンズ駆動部15および撮像素子シフト部17によるブレ補正処理を停止する。
ここで、電子カメラがステレオ画像撮影モードで起動すると、CPU19は、撮像素子16を駆動させてスルー画像の撮像を開始する。そして、CPU19は、スルー画像に基づくファインダ像の動画表示をモニタ25で行う。これにより、ユーザーは、モニタ25の画像を参照しつつ、撮影構図を決定するためのフレーミングを行うことができる。その後、ユーザーがレリーズ釦の半押しを行うと、CPU19は、図3に示す一連の処理を開始する。
ステップS101:CPU19は、スルー画像を用いて公知のコントラスト検出によるAFを実行する。その後、CPU19は、AF制御を停止してフォーカシングレンズ11bの焦点位置を固定する。
ステップS102:CPU19は、スルー画像を用いて公知のAE演算を実行する。その後、CPU19は、撮影時の絞りおよびシャッタ秒時の設定を上記のAE演算で求めた値で固定する。
ステップS103:CPU19は、撮像光学系11の各レンズ位置から焦点距離および被写体距離をそれぞれ検出する。具体的には、CPU19は、第1レンズ駆動部12からズームレンズ11aのレンズ位置の情報を取得するとともに、第2メモリ21の焦点距離テーブルを参照して焦点距離を求める。また、CPU19は、第2レンズ駆動部13からフォーカシングレンズ11bのレンズ位置の情報を取得するとともに、第2メモリ21の被写体距離テーブルを参照して、合焦している被写体までの被写体距離を求める。
ステップS104:CPU19は、焦点距離および被写体距離の組み合わせ(S103)に基づいて、第2メモリ21の判定テーブルからステレオ画像撮影モードでの処理の種類を求める。そして、CPU19は、判定テーブルから求めた処理の種類を示すフラグを第1メモリ20または第2メモリ21に記録する。
ステップS105:CPU19は、フラグ(S104)を参照して、判定テーブルが示す処理の種類が「(3):撮影を禁止する」であるか否かを判断する。上記要件を満たす場合(YES側)にはS106に移行する。一方、上記要件を満たさない場合(NO側)にはS107に移行する。
ステップS106:CPU19は、モニタ25に警告表示(例えば「ステレオ画像を生成できません。」などのメッセージ)を出力する。そして、CPU19は、図3の流れ図の処理を終了する。
ステップS107:CPU19は、レリーズ釦の全押し操作を受け付けたか否かを判定する。上記要件を満たす場合(YES側)にはS109に移行する。一方、上記要件を満たさない場合(NO側)にはS108に移行する。
ステップS108:CPU19は、レリーズ釦の半押し操作が解除されたか否かを判定する。上記要件を満たす場合(YES側)には、CPU19は図3の流れ図の処理を終了する。一方、上記要件を満たさない場合(NO側)には、CPU19はS107に戻って上記動作を繰り返す。
ステップS109:CPU19は、第3レンズ駆動部15および撮像素子シフト部17を動作させて、ブレ補正レンズ11cおよび撮像素子16の位置がそれぞれ中央よりも左寄りとなるように水平にシフトさせる。このとき、CPU19は、ブレ補正レンズ11cの光軸のシフト量と同じだけ撮像素子16を左にシフトさせる。なお、一の実施形態でのブレ補正レンズ11cおよび撮像素子16の移動方向は、電子カメラの構え方(正位置での撮影、縦位置での撮影など)に応じてCPU19が設定する。
ステップS110:CPU19は、ブレ検出部14から検出される角速度の積分値を初期化するとともに、角速度の積分動作を開始する。なお、このS110でのCPU19の処理は、後述のS111の撮像動作とほぼ同時に行われる。
ステップS111:CPU19は、撮像素子16を駆動させて1フレーム目の画像(第1画像)を撮像する(図4、図5(a)参照)。S111で撮像された第1画像のデータは、画像処理部28で所定の画像処理が施された後に第1メモリ20にバッファリングされる。
ステップS112:CPU19は、第3レンズ駆動部15および撮像素子シフト部17を動作させて、ブレ補正レンズ11cおよび撮像素子16の位置がそれぞれ中央よりも右寄りとなるように水平にシフトさせる。このとき、CPU19は、ブレ補正レンズ11cの光軸のシフト量と同じだけ撮像素子16を右にシフトさせる。
ステップS113:CPU19は、撮像素子16を駆動させて2フレーム目の画像(第2画像)を撮像する(図4、図5(b)参照)。S113で撮像された第2画像のデータは、画像処理部28で所定の画像処理が施された後に第1メモリ20にバッファリングされる。
なお、図5に、第1画像および第2画像の例をそれぞれ模式的に示す。第1画像および第2画像は同一の被写体を撮影した画像であるが、各々のブレ補正レンズ11cの位置が光軸と垂直な方向に異なることから画像間に視差が生じることとなる。
ステップS114:CPU19は、S110から開始された角速度の積分動作を終了して、各々の角速度の積分値を取得する。これにより、CPU19は、第1画像および第2画像(S111、S113)を取得する間に生じた撮像光学系11の光軸の角度変化を検出することができる。
ステップS115:CPU19は、撮像光学系11の光軸の角度変化の大きさ(S114で検出したもの)が閾値より大きいか否かを判定する。これにより、第1画像および第2画像を取得する間に生じた角度変化の大きさに応じて、投影画像を生成するか否かがCPU19により判断される。上記要件を満たす場合(YES側)にはS117に移行する。一方、上記要件を満たさない場合(NO側)にはS116に移行する。
ステップS116:CPU19は、フラグ(S104)を参照して、判定テーブルが示す処理の種類が「(2):投影画像を生成する」であるか否かを判断する。これにより、第1画像および第2画像を取得したときの被写体距離や焦点距離に応じて、投影画像を生成するか否かがCPU19によって判断される。
上記要件を満たす場合(YES側)にはS117に移行する。一方、上記要件を満たさない場合(NO側)にはS119に移行する。なお、S116のNO側の場合には、CPU19は投影画像を生成せずに、第1画像および第2画像をそのままステレオペア用の画像とする。
ステップS117:CPU19は、撮像時における投影画像の生成処理がオンに設定されているか否かを判定する。上記要件を満たす場合(YES側)にはS118に移行する。一方、上記要件を満たさない場合(NO側)にはS120に移行する。
ステップS118:被写体距離演算部27および画像処理部28は、CPU19の指示に応じて、一対の画像(S111、S113)を用いてステレオペア用の投影画像を生成する。一の実施形態では、投影画像はステレオペアの右目用の画像となる。そして、ステレオペアの左目用の画像には第1画像がそのまま用いられるものとする。
具体的には、S118での被写体距離演算部27および画像処理部28は、以下の(イ)から(ニ)の処理をそれぞれ実行する。
(イ)画像処理部28は、第1画像および第2画像に対して、それぞれ特徴点の抽出処理を行う。一例として、画像処理部28は、第1画像および第2画像に対して公知のエッジ抽出処理を施すとともに、各画像におけるエッジの交点(コーナー)を特徴点とする。
(ロ)画像処理部28は、それぞれ上記(イ)で抽出した第1画像の特徴点と第2画像の特徴点との対応付けを行う。例えば、画像処理部28は、各特徴点についてそれぞれ特徴量を求めるとともに、画像間で特徴量が近似する特徴点を対応付けする。なお、特徴点の特徴量としては、一例として特徴点の近傍画素の情報(輝度や色差のヒストグラムなど)を用いることができる。
(ハ)被写体距離演算部27は、上記(ロ)で対応付けした各特徴点での被写体距離をそれぞれ求める。ここで、第1画像および第2画像での特徴点の位置のズレ量は被写体距離が小さければ大きくなる。そのため、被写体距離演算部27は、第1画像および第2画像でのブレ補正レンズ11cおよび撮像素子16のシフト量(レンズの光軸間距離)と、第1画像および第2画像での特徴点の位置のズレ量とから、その特徴点に対応する被写体距離を幾何学的に求める。
なお、図6に示すように、第1画像および第2画像を取得する間に撮像光学系11の光軸に角度変化があると、上記の角度変化のない場合と比べて第2画像での特徴点の位置にズレが生じるので、被写体距離の演算精度が低下してしまう。そのため、被写体距離演算部27は、上記(ハ)での被写体距離の演算のときに、上記の角度変化を加味して各特徴点の位置のズレ量を補正する。
(ニ)画像処理部28は、各々の特徴点の被写体距離に基づいて、第1画像からステレオペア用の投影画像を生成する。一例として、まず、画像処理部28は、上記(イ)で抽出したエッジによって第1画像を複数の領域に分割する。次に、画像処理部28は、上記(ハ)で求めた特徴点の被写体距離を用いて各分割領域の被写体距離を決定する。
そして、画像処理部28は、第1画像を撮像した撮像面の左側に仮想的な投影面(図4参照)を設定するとともに、各分割領域の被写体距離に基づいて、第1画像の各分割領域の画素を上記の投影面にそれぞれ投影した状態を求める。なお、各分割領域の被写体距離には撮像光学系11の光軸の角度変化が加味されているので、画像処理部28は投影画像での被写体の位置を精度よく求めることができる。これにより、左目用の投影画像が生成される。
ここで、投影画像において分割領域の画像が重複する場合には、画像処理部28は奥行側の分割領域の画像をカットして至近側の分割領域の画像を優先する。また、投影画像において画像の空白部分が生じる場合には、画像処理部28は、第1画像で対応位置にある分割領域よりも奥行側に位置する分割領域の画像に基づいて空白部分を補完する。例えば、画像処理部28は、空白部分と隣接する分割領域のうちで、被写体距離がより短い分割領域の画像で空白部分を補間する。あるいは、画像処理部28は、隣接する分割領域の画像を被写体距離に応じた比率でランダムに混ぜ合わせて空白部分の画像を補完してもよい。
ステップS119:CPU19は、ステレオペア用の一対の画像のデータをステレオ画像用フォーマットに変換する。一例として、CPU19は、ステレオペア用の2つの画像を左右に並べて1フレームのステレオ画像とする。このとき、CPU19は、ステレオペア画像の鑑賞法(平行法または交差法)に応じて2つの画像の左右位置を決定する。その後、CPU19は、上記のステレオ画像のデータを記憶媒体29に記録して、図3の流れ図の処理を終了する。
ステップS120:CPU19は、後処理工程でステレオ画像を生成するためのステレオ画像作成ファイルを生成する。このステレオ画像作成ファイルには、(a)第1画像および第2画像のデータと、(b)撮像時における撮像光学系11の設定情報(レンズの焦点距離および被写体距離の情報)と、(c)第1画像および第2画像を取得する間に生じた撮像光学系11の光軸の角度変化の情報と、(d)第1画像および第2画像でのレンズの光軸間距離の情報と、が含まれる。その後、CPU19は、上記のステレオ画像作成ファイルを記憶媒体29に記録して、図3の流れ図の処理を終了する。
なお、電子カメラは、上記のステレオ画像作成ファイル(S120)を記録I/F22から読み込むとともに、被写体距離演算部27および画像処理部28にS118と同様の処理を実行させることで、S119と同様のステレオ画像を事後的に生成することができる(個々の処理の内容は上記のステップと重複するので説明を省略する)。
以下、一の実施形態での作用効果を述べる。一の実施形態の電子カメラは、撮像光学系11の光軸に対して垂直な平面内でブレ補正レンズ11cをシフトさせて第1画像および第2画像を撮像するとともに、これらの視差を有する一対の画像からステレオ画像を生成する。そのため、一の実施形態では、一般的なブレ補正光学系の構成によってステレオ画像を容易に取得できる。また、一の実施形態では撮像素子16の位置もシフトさせることで、ステレオ画像での撮影範囲をより広く確保できる。
また、一の実施形態の電子カメラは、第1画像および第2画像から各被写体の被写体距離を求めるとともに、被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する。これにより、一の実施形態では、例えば、比較的遠方の被写体を撮影する場合のようにレンズの移動では大きな視差を得られない場合にも、立体視に適した見栄えのよいステレオ画像を生成できる。また、一の実施形態では、第1画像および第2画像を取得する間に生じた角度変化を加味して投影画像を生成するので、撮影時に手ブレしていても立体視に適した見栄えのよいステレオ画像を生成できる。
また、一の実施形態の電子カメラは、ステレオ画像作成ファイルから後処理工程でステレオ画像を生成できる。この場合には、撮影現場で時間のかかる画像処理を行う必要がなくなるので、撮影時におけるユーザーの利便性がより向上する。
<実施形態の補足事項>
(1)上記実施形態では電子カメラを画像処理装置として、ステレオ画像作成ファイルから後処理工程でステレオ画像を生成する例を説明した。しかし、ステレオ画像作成ファイルから後処理工程でステレオ画像を生成する画像処理装置は、電子カメラに限定されるものではない。例えば、ソフトウエアによってパーソナルコンピュータを上記の被写体距離演算部27および画像処理部28として機能させて、ステレオ画像作成ファイルからステレオ画像を生成するようにしてもよい。なお、電子カメラおよび画像処理装置でのステレオ画像作成ファイルの転送は、記憶媒体29の授受や、外部I/F23または無線通信モジュール24を介したデータ通信によって行えばよい。
(1)上記実施形態では電子カメラを画像処理装置として、ステレオ画像作成ファイルから後処理工程でステレオ画像を生成する例を説明した。しかし、ステレオ画像作成ファイルから後処理工程でステレオ画像を生成する画像処理装置は、電子カメラに限定されるものではない。例えば、ソフトウエアによってパーソナルコンピュータを上記の被写体距離演算部27および画像処理部28として機能させて、ステレオ画像作成ファイルからステレオ画像を生成するようにしてもよい。なお、電子カメラおよび画像処理装置でのステレオ画像作成ファイルの転送は、記憶媒体29の授受や、外部I/F23または無線通信モジュール24を介したデータ通信によって行えばよい。
(2)上記実施形態において、CPU19は撮像光学系11から検出した被写体距離に応じて撮影時の光軸の移動量を調節してもよい。例えば、CPU19は、合焦している被写体までの距離が長い場合には光軸の移動量を大きくしてもよい。また、CPU19は、合焦している被写体までの距離が短い場合には光軸の移動量を小さくしてもよい。
(3)上記実施形態では、レンズとともに撮像素子16の位置もシフトさせる例を説明したが、撮像素子16をシフトさせる機構がない電子カメラにも本発明を適用できることはいうまでもない。また、上記実施形態において、撮像素子およびレンズを1つのブロックとしてまとめて光軸に対して垂直にシフトさせるようにしてもよい。
(4)上記実施形態のS119でのステレオ画像はあくまで一例にすぎず、本発明では他の公知のステレオ画像を生成することも勿論可能である。例えば、液晶シャッタに対応して、左目用画像と右目用画像とが交互に表示されるステレオ画像のデータをCPU19が生成してもよい。また、2つの画像が赤青で色の異なるアナグリフ画像をステレオ画像としてCPU19が生成してもよい。さらに、左目用画像と右目用画像とが縦方向の縞状に交互に配置された立体テレビ用のステレオ画像をCPU19が生成してもよい。
(5)上記実施形態では、静止画像のステレオ画像を生成する例を説明したが、本発明はステレオ画像の動画を生成する場合にも適用できる。なお、動画撮影を行う場合には、CPU19は右目用画像と左目用画像とを別々のファイルで保存してもよい。また、動画撮影を行う場合には、CPU19は右目用画像と左目用画像とを1つのファイルに交互に保存してもよい。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
11…撮像光学系、11a…ズームレンズ、11b…フォーカシングレンズ、11c…ブレ補正レンズ、12…第1レンズ駆動部、13…第2レンズ駆動部、14…ブレ検出部、15…第3レンズ駆動部、16…撮像素子、17…撮像素子シフト部、18…AFE、19…CPU、20…第1メモリ、21…第2メモリ、22…記録I/F、23…外部I/F、24…無線通信モジュール、25…モニタ、26…操作部、27…被写体距離演算部、28…画像処理部、29…記憶媒体
Claims (10)
- 撮像レンズと、
前記撮像レンズの光軸に対して垂直な平面内で前記撮像レンズをシフトさせるレンズ駆動部と、
前記撮像レンズを通過した光束による像を撮像する撮像素子と、
各々の画像の撮像時に前記撮像レンズの位置を相違させて、視差を有する一対の画像を取得する制御部と、
を備えることを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記撮像レンズは、移動により像のブレを光学的に補正するブレ補正レンズを含み、
前記レンズ駆動部は、前記ブレ補正レンズをシフトさせることを特徴とする電子カメラ。 - 請求項2に記載の電子カメラにおいて、
前記一対の画像における被写体の位置のズレ量と前記撮像レンズのシフト量とを用いて前記被写体の被写体距離を求める被写体距離演算部と、
各々の前記被写体距離に基づいて、前記被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する画像処理部と、をさらに備えることを特徴とする電子カメラ。 - 請求項3に記載の電子カメラにおいて、
前記撮像レンズの光軸の角度変化を検出するブレ検出部をさらに備え、
前記画像処理部は、前記一対の画像を取得する間に生じた前記角度変化を加味して、前記投影画像での被写体の位置を求めることを特徴とする電子カメラ。 - 請求項1から請求項4のいずれか1項に記載の電子カメラにおいて、
前記撮像素子の位置をシフトさせる撮像素子シフト部をさらに備え、
前記制御部は、各々の画像の撮像時に前記撮像素子の位置を相違させて、前記一対の画像を取得することを特徴とする電子カメラ。 - 請求項3に記載の電子カメラにおいて、
被写体距離を検出する被写体距離検出部をさらに備え、
前記制御部は、前記一対の画像を取得したときの前記被写体距離に応じて、前記投影画像を生成するか否かを判断することを特徴とする電子カメラ。 - 請求項3に記載の電子カメラにおいて、
前記撮像レンズの光軸の角度変化を検出するブレ検出部をさらに備え、
前記制御部は、前記一対の画像を取得する間に生じた前記角度変化の大きさに応じて、前記投影画像を生成するか否かを判断することを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記一対の画像のデータと、前記一対の画像を取得したときの前記撮像レンズのシフト量を示すデータとを外部の装置に出力するデータ出力部をさらに備えることを特徴とする電子カメラ。 - 各々の画像の撮像時に撮像レンズの位置を相違させて、視差を有する一対の画像を電子カメラで取得する撮像ステップと、
前記一対の画像のデータと、前記一対の画像を取得したときの前記撮像レンズのシフト量を示すデータとを画像処理装置が前記電子カメラから取得するデータ読込ステップと、
前記画像処理装置が、前記一対の画像における被写体の位置のズレ量と前記撮像レンズのシフト量とを用いて前記被写体の被写体距離を求める被写体距離演算ステップと、
前記画像処理装置が、各々の前記被写体距離に基づいて、前記被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する投影画像生成ステップと、
を含むことを特徴とするステレオ画像生成方法。 - 電子カメラと、画像処理装置とを備えたステレオ画像生成システムであって、
前記電子カメラは、
撮像レンズと、
前記撮像レンズの光軸に対して垂直な平面内で前記撮像レンズをシフトさせるレンズ駆動部と、
前記撮像レンズを通過した光束による像を撮像する撮像素子と、
各々の画像の撮像時に前記撮像レンズの位置を相違させて、視差を有する一対の画像を取得する制御部と、
前記一対の画像のデータと、前記一対の画像を取得したときの前記撮像レンズのシフト量を示すデータとを前記画像処理装置に出力するデータ出力部と、を含み、
前記画像処理装置は、
前記一対の画像における被写体の位置のズレ量と前記撮像レンズのシフト量とを用いて前記被写体の被写体距離を求める被写体距離演算部と、
各々の前記被写体距離に基づいて、前記被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する画像処理部と、を含むことを特徴とするステレオ画像生成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008201781A JP2010041381A (ja) | 2008-08-05 | 2008-08-05 | 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008201781A JP2010041381A (ja) | 2008-08-05 | 2008-08-05 | 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010041381A true JP2010041381A (ja) | 2010-02-18 |
Family
ID=42013448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008201781A Withdrawn JP2010041381A (ja) | 2008-08-05 | 2008-08-05 | 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010041381A (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011151872A1 (en) * | 2010-05-31 | 2011-12-08 | Olympus Visual Communications Corp. | 3-dimensional image data generating method |
US20120162453A1 (en) * | 2010-12-22 | 2012-06-28 | Olympus Corporation | Image pickup apparatus |
JP2013250360A (ja) * | 2012-05-31 | 2013-12-12 | Casio Comput Co Ltd | 撮像装置、撮像方法及びプログラム |
US8743181B2 (en) | 2011-03-04 | 2014-06-03 | Olympus Corporation | Image pickup apparatus |
US9106899B2 (en) | 2010-12-13 | 2015-08-11 | Olympus Corporation | Image pickup apparatus |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
JP2016122198A (ja) * | 2010-08-09 | 2016-07-07 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 立体カメラのためのオートフォーカス |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US10084958B2 (en) | 2014-06-20 | 2018-09-25 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
-
2008
- 2008-08-05 JP JP2008201781A patent/JP2010041381A/ja not_active Withdrawn
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011250352A (ja) * | 2010-05-31 | 2011-12-08 | Olympus Visual Communications Corp | 3次元画像データ生成方法 |
WO2011151872A1 (en) * | 2010-05-31 | 2011-12-08 | Olympus Visual Communications Corp. | 3-dimensional image data generating method |
JP2016122198A (ja) * | 2010-08-09 | 2016-07-07 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 立体カメラのためのオートフォーカス |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
US9106899B2 (en) | 2010-12-13 | 2015-08-11 | Olympus Corporation | Image pickup apparatus |
US20120162453A1 (en) * | 2010-12-22 | 2012-06-28 | Olympus Corporation | Image pickup apparatus |
US8743181B2 (en) | 2011-03-04 | 2014-06-03 | Olympus Corporation | Image pickup apparatus |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
CN103458164A (zh) * | 2012-05-31 | 2013-12-18 | 卡西欧计算机株式会社 | 摄像装置以及摄像方法 |
CN103458164B (zh) * | 2012-05-31 | 2017-03-01 | 卡西欧计算机株式会社 | 单眼式摄像装置以及摄像方法 |
JP2013250360A (ja) * | 2012-05-31 | 2013-12-12 | Casio Comput Co Ltd | 撮像装置、撮像方法及びプログラム |
US9621873B2 (en) | 2012-05-31 | 2017-04-11 | Casio Computer Co., Ltd. | Apparatus including function to generate stereoscopic image, and method and storage medium for the same |
US10165183B2 (en) | 2012-10-19 | 2018-12-25 | Qualcomm Incorporated | Multi-camera system using folded optics |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US9838601B2 (en) | 2012-10-19 | 2017-12-05 | Qualcomm Incorporated | Multi-camera system using folded optics |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9860434B2 (en) | 2014-04-04 | 2018-01-02 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9973680B2 (en) | 2014-04-04 | 2018-05-15 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9854182B2 (en) | 2014-06-20 | 2017-12-26 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9843723B2 (en) | 2014-06-20 | 2017-12-12 | Qualcomm Incorporated | Parallax free multi-camera system capable of capturing full spherical images |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US10084958B2 (en) | 2014-06-20 | 2018-09-25 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9733458B2 (en) | 2014-06-20 | 2017-08-15 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010041381A (ja) | 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム | |
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
JP4625515B2 (ja) | 3次元撮影装置および方法並びにプログラム | |
JP4497211B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP4483930B2 (ja) | 撮像装置、その制御方法およびプログラム | |
US9258545B2 (en) | Stereoscopic imaging apparatus | |
JP4895312B2 (ja) | 3次元表示装置および方法並びにプログラム | |
JP2010068182A (ja) | 3次元撮影装置および方法並びにプログラム | |
JP2012186612A (ja) | 撮像装置 | |
JP2009069170A (ja) | 撮影装置および撮影装置の制御方法 | |
JP5832353B2 (ja) | 撮像装置 | |
JP2009036985A (ja) | 撮影装置および撮影装置の制御方法 | |
JP2016126164A (ja) | 撮像装置及び撮像方法 | |
JP2010114712A (ja) | 複眼撮影装置およびその制御方法並びにプログラム | |
JP2009159092A (ja) | 撮像装置及びその制御方法 | |
JP2007104248A (ja) | 電子カメラおよびプログラム | |
JP2010114549A (ja) | 3次元表示装置および方法並びにプログラム | |
JP2008191391A (ja) | 焦点調節装置、カメラ | |
JP2014066904A (ja) | 撮像装置、画像処理装置、画像処理サーバおよび表示装置 | |
JP2010171769A (ja) | 電子カメラ | |
JP2009048123A (ja) | 撮影装置および撮影装置の制御方法 | |
JP2009086036A (ja) | 撮影装置および撮影装置の制御方法 | |
JP5853510B2 (ja) | 撮像装置 | |
JP5040669B2 (ja) | 撮像装置 | |
JP2009229983A (ja) | 拡大表示機能付きカメラおよびカメラの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111101 |