JP3907891B2 - 画像撮像装置及び画像処理装置 - Google Patents
画像撮像装置及び画像処理装置 Download PDFInfo
- Publication number
- JP3907891B2 JP3907891B2 JP32170199A JP32170199A JP3907891B2 JP 3907891 B2 JP3907891 B2 JP 3907891B2 JP 32170199 A JP32170199 A JP 32170199A JP 32170199 A JP32170199 A JP 32170199A JP 3907891 B2 JP3907891 B2 JP 3907891B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- unit
- depth
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。特に本発明は、視差画像に基づいて被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。
【０００２】
【従来の技術】
被写体の位置情報を得るために、人間の両眼立体視の機能を真似て、カメラを２台並べて、異なる２つの視点から被写体を見た場合の視差画像を撮影し、被写体の奥行き値を測定するステレオ撮影の技法が古くからある。視点位置の違いから、被写体の像の位置が視差画像上でずれることを検出し、像の位置ずれとカメラのレンズの焦点距離に基づいて、３角測量の原理によりカメラから被写体までの距離を測定する。また、特許２６１１１７３号公報（登録日平成９年２月２７日）には少なくとも３つの撮像装置を用いて移動物の位置を測定する方法が開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、カメラを２台並べても、レンズの視野角の限界のため、視点の移動方向に視差の死角領域が発生し、広い視野にわたる被写体の奥行き情報を高い精度で得ることができないという問題を生じていた。また、特許２６１１１７３号公報に開示された方法では、移動物の位置座標を確定するために、少なくとも３つの撮像装置による撮影を必須とするため、装置が大掛かりになり、計算にかかる処理コストが大きくなるという問題がある。
【０００４】
そこで本発明は、上記の課題を解決するために、広い視野にわたって被写体の奥行きに関する情報を取得することのできる画像撮像装置、画像処理装置、画像処理方法、及び記録媒体を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、同一直線上にない３以上の異なる視点位置から被写体を見た場合に得られる被写体の３以上の視差画像を撮像する撮像部と、３以上の視差画像の任意の２枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、位置ずれ検出部が検出した複数の位置ずれに基づいて、被写体の特定領域の奥行きを算出する奥行き算出部とを備えたことを特徴とする。
【０００６】
奥行き算出部は、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行き値を算出してもよい。
【０００７】
奥行き算出部は、被写体の特定領域を３以上の視点位置の略中心の位置から見た場合の方位によって、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行き値を算出してもよい。
【０００８】
奥行き算出部は、被写体の特定領域が、３以上の視点位置の特定の２つの視点位置を結ぶ直線の方向に近いほど、特定の２つの視点位置から見た場合の特定の２枚の視差画像において検出される位置ずれの考慮の割合を小さくし、被写体の特定領域が、特定の２つの視点位置を結ぶ線分の中点を通り線分と垂直に交わる平面に近いほど、特定の２枚の視差画像において検出される位置ずれの考慮の割合を大きくして、被写体の特定領域の奥行き値を算出してもよい。
【０００９】
奥行き算出部は、被写体の特定領域の方位角が、３以上の視点位置の特定の２つの視点位置間の中点から見た場合に、３０°より小さくなる場合に、特定の２つの視点位置から見た場合の特定の２枚の視差画像において検出される位置ずれに基づいて、被写体の特定領域の奥行き値を算出してもよい。
【００１０】
視点位置は３箇所であり、３箇所の視点位置間を結ぶ３角形が略正３角形であってもよい。
【００１１】
撮像部は、同一直線上にない３以上の視点位置に視野角の広い３以上の光学レンズを設け、３以上の光学レンズによって被写体の３以上の視差画像を撮像してもよい。光学レンズの設置位置は３箇所であり、３箇所の設置位置を結ぶ３角形が略正３角形であってもよい。
【００１２】
撮像部は、視野角の広い光学レンズを有し、光学レンズを同一直線上にない３以上の視点位置に移動させる駆動部をさらに備え、撮像部は、駆動部が光学レンズを３以上の視点位置に移動させた場合に、被写体の３以上の視差画像を撮像してもよい。駆動部は、光学レンズの移動軌跡が円形になるように移動させ、円形の移動軌跡上の３以上の点を３以上の視点位置としてもよい。光学レンズの円形の移動軌跡上の３点を視点位置とし、３点の視点位置を結ぶ３角形が略正三角形であってもよい。
【００１３】
撮像部は、２つの異なる視点位置に２つの視野角の広い光学レンズを設け、２つの光学レンズのいずれか一方を２つの異なる視点位置を結ぶ直線上にはない他の視点位置に移動させる駆動部をさらに備え、撮像部は、２つの光学レンズによって被写体の視差画像を撮像し、駆動部が２つの光学レンズのいずれか一方を移動させた場合に、被写体の視差画像を撮像することによって３以上の視差画像を撮像してもよい。駆動部は、２つの光学レンズのいずれか一方を直線移動させた点を第３の視点位置とし、２つの光学レンズの移動前の２つの視点位置と第３の視点位置とを結ぶ３角形が略正３角形であってもよい。
【００１４】
３以上の視点位置における光学レンズの光軸方向は同一であってもよい。光学レンズは魚眼レンズであり、奥行き算出部は、撮像部が魚眼レンズによって撮像する被写体の全方位の領域について奥行きを算出してもよい。
【００１５】
本発明の第２の形態においては、被写体の奥行きに関する情報を取得する画像処理装置であって、同一線上にない３以上の異なる視点位置から被写体を見た場合に得られる被写体の３以上の視差画像を入力する入力部と、３以上の視差画像の任意の２枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行きを算出する奥行き算出部とを備えたことを特徴とする。
【００１６】
奥行き算出部が算出した被写体の特定領域の奥行きに基づいて、入力部が入力する被写体の画像の座標変換を行うことにより画像を変換する画像変換部をさらに備えてもよい。
【００１７】
入力部が入力する被写体の画像が魚眼レンズによって被写体を撮像した全方位画像である場合に、画像変換部は、座標変換によって、全方位画像を透視投影画像に変換してもよい。画像変換部は、座標変換によって、被写体の正投影画像を生成してもよい。
【００１８】
本発明の第３の形態においては、被写体の奥行きに関する情報を取得する画像処理方法であって、同一線上にない３以上の異なる視点位置から被写体を見た場合に得られる被写体の３以上の視差画像を入力し、３以上の視差画像の任意の２枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出し、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行きを算出することを特徴とする。
【００１９】
本発明の第４の形態においては、被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、同一線上にない３以上の異なる視点位置から被写体を見た場合に得られる被写体の３以上の視差画像を入力させる入力モジュールと、３以上の視差画像の任意の２枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出させる位置ずれ検出モジュールと、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行きを算出させる奥行き情報算出モジュールとを備えたことを特徴とする。
【００２０】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２１】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２２】
（実施形態１）
本発明の第１の実施形態を説明する。図１は、画像撮像装置の一例としてのデジタルカメラ１０の構成図である。デジタルカメラ１０には、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が含まれる。デジタルカメラ１０は、主に撮像ユニット２０、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、および操作ユニット１１０を含む。
【００２３】
撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット２０はまず、映像を取り込んで処理を施す撮影レンズ２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、固体撮像素子の一例であるＣＣＤ３０、および撮像信号処理部３２を含む。撮影レンズ２２は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００２４】
デジタルカメラ１０は一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタ速度が制御できる。
【００２５】
ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、その結果得られたデジタルの画像データ（以下単に「デジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００２６】
撮像ユニット２０はさらに、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤを内装してもよく、その場合、後述のメインＣＰＵ６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００２７】
撮像制御ユニット４０は、レンズ駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。レンズ駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部４２とフォーカス駆動部４４を制御して撮影レンズ２２のズーム倍率とピントの調整を行う。また撮像系ＣＰＵ５０は、視差画像を撮像するために、レンズ駆動部４２を制御して撮影レンズ２２の位置を移動させる。
【００２８】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタ速度を決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００２９】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２６の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００３０】
処理ユニット６０は、デジタルカメラ１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００３１】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００３２】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００３３】
ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００３４】
処理ユニット６０はさらにエンコーダ７２をもつ。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００３５】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００３６】
通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００３７】
表示ユニット１００は、ＬＣＤモニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００３８】
操作ユニット１１０は、ユーザーがデジタルカメラ１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、デジタルカメラ１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００３９】
以上の構成による主な動作は以下のとおりである。まずデジタルカメラ１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００４０】
カメラが撮影モードにあるとき、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。半押し状態が検出されたとき、メインＣＰＵ６２は測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット４０が動作し、撮影レンズ２２のピント、絞りなどの調整が行われる。調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データはメインバス８２へ出力される。デジタル画像データは一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００４１】
一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。
【００４２】
本実施形態において、撮像ユニット２０は、同一直線上にない３以上の異なる視点位置から被写体の視差画像を撮像する。図２は、撮像ユニット２０の撮影レンズ２２の構成の一例である。これは撮影レンズ２２をデジタルカメラ１０の正面から見た図である。撮影レンズ２２は異なる視点位置に配置された３つの撮影レンズ２２ａ、２２ｂ、２２ｃである。死角を作らずに広い視野にわたって被写体を撮影するために、３つの撮影レンズ２２ａ、２２ｂ、２２ｃが配置される位置は、正３角形の頂点であることが好ましい。
【００４３】
撮影レンズ２２は、視野角の広い光学レンズであることが好ましく、広角レンズまたは魚眼レンズ等であってもよい。魚眼レンズは視野角が１８０度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。また、撮影レンズ２２は、同一の光軸を有する複数の光学レンズによって構成された光学レンズ系であってもよい。
【００４４】
撮像ユニット２０のＣＣＤ３０は、各々の撮影レンズ２２ａ、２２ｂ、２２ｃに対して別個に設けられ、それぞれの撮影レンズ２２ａ、２２ｂ、２２ｃが結像する被写体の像を受光してもよい。また、３つの撮影レンズ２２ａ、２２ｂ、２２ｃが結像する被写体の像を受光できる共通のＣＣＤ３０を１つ設けてもよい。
【００４５】
本実施形態のＣＣＤ３０は、固体撮像素子の一例である。固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。固体撮像素子は、撮影レンズ２２によって結像された光を受光し、光電変換作用によって電荷を蓄積する。蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。
【００４６】
固体撮像素子は、基本的に、外部から入射する光を受光して光電変換を行うための受光素子部を含む半導体素子と、半導体素子を収納するパッケージと、受光素子部への光の入射を可能にするため、パッケージの半導体素子と対向する位置に配置された透明保護部材と、透明保護部材の外側表面あるいは内側において、透明保護部材よりも高い遮光性を有する遮光部材から構成されていることが好ましい。これにより、撮像される画像の品質を向上させることができる。さらに透明保護部はマイクロレンズの機能を持つことにより、結像される画像の解像度を向上させてもよい。受光素子部と透明保護部の間に、または、透明保護部の上または透明保護部中にカラーフィルタを設け、カラーの画像を撮像できるようにしてもよい。
【００４７】
本実施形態のＣＣＤ３０は、視差画像における視差を正確に検出できるように、解像度が十分に高い電荷結合素子（ＣＣＤ）１次元イメージセンサ（リニアセンサ）又は２次元イメージセンサ（エリアセンサ）イメージセンサであることが望ましい。固体撮像素子としてＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリコン）密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【００４８】
さらに、撮影レンズ２２は視差撮影用の光学レンズ系以外に本撮影用の光学レンズ系を有し、本撮影用の光学レンズ系と視差撮影用の撮影レンズ系が、被写体の画像及び視差画像をそれぞれ異なる２つのＣＣＤ３０に撮像してもよい。本撮影用の光学レンズ系は、標準の光学レンズであってもよく、視野角の広い広角レンズまたは魚眼レンズであってもよい。本撮影用の光学レンズ系が像を受光させるＣＣＤ３０と、視差撮影用の光学レンズ系が像を受光させるＣＣＤ３０とで、ＣＣＤの解像度や感度が異なっていてもよい。
【００４９】
図３は、撮像ユニット２０の撮影レンズ２２の構成の他の例である。撮影レンズ２２が１つ設けられ、レンズ駆動部４２が撮影レンズ２２を移動させて、被写体を異なる視点から見た場合の視差画像をＣＣＤ３０に撮像する。死角を作らずに広い視野にわたって被写体を撮影するために、レンズ駆動部４２は、撮影レンズ２２を正３角形の頂点の位置に移動させることが好ましい。
【００５０】
図４は、撮像ユニット２０の撮影レンズ２２の構成の他の例である。撮影レンズ２２が１つ設けられ、レンズ駆動部４２が撮影レンズ２２を円軌道を描くように移動させ、円軌道上の適当な位置で停止し、被写体を異なる視点から見た場合の視差画像をＣＣＤ３０に撮像する。死角を作らずに広い視野にわたって被写体を撮影するためには、撮影レンズ２２の停止位置は円軌道に内接する正３角形の３つの頂点の位置にあれば十分である。したがって、レンズ駆動部４２は、撮影レンズ２２を円軌道上を移動させ、円軌道に内接する正３角形の頂点の位置で停止させ、視差画像を撮像することが好ましい。撮影レンズ２２の移動軌跡が円軌道であることは、レンズ駆動部４２のステッピングモータ等の駆動機構を構成する上で好ましい。
【００５１】
図５は、撮像ユニット２０の撮影レンズ２２の構成の他の例である。撮影レンズ２２は異なる視点位置に配置された２つの撮影レンズ２２ａ、２２ｂである。２つの撮影レンズ２２ａ、２２ｂは被写体を２つの異なる視点から見た場合の視差画像をＣＣＤ３０に撮像する。レンズ駆動部４２は撮影レンズ２２ａ、２２ｂのいずれか一方を移動させて、被写体を第３の視点から見た場合の視差画像をＣＣＤ３０に撮像する。死角を作らずに被写体を撮影するために、撮影レンズ２２ａ、２２ｂのいずれか一方の移動後の位置は、移動前の撮影レンズ２２ａ、２２ｂの位置を結ぶ直線上にはないことが好ましい。さらに、死角を作らずに広い視野にわたって被写体を撮影するために、レンズ駆動部４２は、撮影レンズ２２ａ、２２ｂのいずれか一方を移動させて、３つの視点位置が正３角形の頂点の位置になることがより好ましい。撮影レンズ２２ａ、２２ｂのいずれか一方を移動させる移動軌跡は直線であることは、レンズ駆動部４２のステッピングモータ等の駆動機構を構成する上で好ましい。
【００５２】
本実施形態の処理ユニット６０は、撮像ユニット２０が撮像した被写体の視差画像に基づいて、被写体の奥行き情報を獲得する。図６は、処理ユニット６０の機能ブロック図である。処理ユニット６０は、視差画像記憶部３０２と、位置ずれ検出部３０４と、奥行き算出部３０８と、記録部３１０とを有する。
【００５３】
視差画像記憶部３０２は、撮像ユニット２０が３以上の異なる視点位置から撮像した被写体の３以上の視差画像を記憶する。位置ずれ検出部３０４は、視差画像記憶部３０２が記憶する３以上の視差画像の任意の２枚の視差画像において、被写体の特定領域の像の位置が視差によってずれる量を検出する。任意の２枚の視差画像の組み合わせに応じて、複数の位置ずれ量が検出される。
【００５４】
奥行き算出部３０８は、位置ずれ検出部３０４が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。奥行き値の計算方法は後述する。位置ずれ検出部３０４及び奥行き算出部３０８によって、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き値が算出される。
【００５５】
奥行き算出部３０８は算出した被写体の奥行き情報を撮像制御ユニット４０へ入力し、撮像制御ユニット４０は、被写体の奥行き情報に基づいて、フォーカス駆動部４４、絞り駆動部４６及びシャッタ駆動部４８を制御して、フォーカス、絞り、シャッター速度を調整してもよい。
【００５６】
記録部３１０は、奥行き算出部３０８が算出した被写体の奥行き情報、及び視差画像記憶部３０２が記憶する被写体の視差画像をオプション装置７６に記録させる。
【００５７】
処理ユニット６０の位置ずれ検出部３０４及び奥行き算出部３０８の機能は一例として、図１のメインＣＰＵ６２と、メインメモリ６８や不揮発性メモリ６６に格納またはロードされたプログラムとの連携によって実現することができる。メインＣＰＵ６２が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。処理ユニット６０の視差画像記憶部３０２が記憶すべき視差画像データは、メインメモリ６８または不揮発性メモリ６６に記憶させることができる。また視差画像データは圧縮伸張処理部７８によって圧縮されてもよい。処理ユニット６０の記録部３１０の機能は一例として、オプション装置制御部７４によって実現することができる。また、ユーザの指示を受け付ける操作ユニット１１０が被写体の画像の特定領域を処理ユニット６０に指示し、奥行き算出部３０８は、ユーザが指定する特定領域について奥行き値を算出してもよい。デジタルカメラ１０において処理ユニット６０の上述の機能を実現する設計には相当の自由度がある。
【００５８】
次に、撮影レンズ２２の最も望ましい形態である、視野角の広い光学レンズの一例としての魚眼レンズのレンズ特性を説明する。図７は、魚眼レンズ３２０が結像する被写体の点の入射角θと、全方位画像３２２における被写体の点の像の位置との関係を説明する図である。魚眼レンズ３２０の中心はｘｙ平面の原点の位置にある。被写体の点の方位は、被写体の点から魚眼レンズ３２０への入射光が魚眼レンズ３２０の光軸となす入射角θで表される。全方位画像３２２の中心はＸＹ平面の原点の位置にある。被写体の点の全方位画像３２２上での位置を、ＸＹ平面の原点からの距離ｒで表す。この距離ｒは像高とも呼ばれる。魚眼レンズの焦点距離をｆとすると、被写体の点の位置ｒと入射角θの間には、ｒ＝ｆ・θの関係がある。
【００５９】
このように、魚眼レンズは、視野角が１８０度であり、被写体の全方位の画像を撮像面に結像することができる。特に、被写体の点の位置ｒと入射角θの間に成り立つレンズ特性を示す関係式がｒ＝ｆ・θとなる魚眼レンズは「ｆθレンズ」と呼ばれ、広く用いられている。撮影レンズ２２として、ｆθレンズの代わりに、レンズ特性を示す関係式がｒ＝ｆ・ｓｉｎθとなる「ｆｓｉｎθレンズ」と呼ばれる魚眼レンズを用いてもよい。また、一般に位置ｒが入射角θに対して単調に増加し、被写体の全方位の領域の点が、有限の位置ｒに撮像される魚眼レンズであればよく、必ずしもｆθレンズ、ｆｓｉｎθレンズの特性を示す魚眼レンズでなくてもよい。魚眼レンズは視野角が１８０度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。しかし、撮影レンズ２２は、視野角が十分に広く、広い視野にわたって被写体を撮像することができる光学レンズであれば、必ずしも魚眼レンズである必要はなく、視野角の広い広角レンズを用いてもよい。
【００６０】
図８は、２つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。魚眼レンズ３２４及び３２６は、それぞれ点Ｌ、Ｒの位置を視点位置とするように置かれている。点Ｌと点Ｒは距離２ｄだけ離れている。線３２８及び３３０はそれぞれ魚眼レンズ３２４及び３２６の光軸である。点Ｌ、Ｒの中点を点Ｏとする。被写体の奥行き値は、点Ｏからの距離によって定義する。被写体の点Ａの奥行き値は、線分ＯＡの長さＺである。また線分ＯＡが、点Ｏから引いた垂線３２９となす角をθとする。角θは点Ｏから点Ａを見た場合の点Ａの方位角である。
【００６１】
線分ＬＡが魚眼レンズ３２４の光軸３２８となす角、すなわち点Ａの魚眼レンズ３２４への入射角をθ１とし、線分ＲＡが魚眼レンズ３２６の光軸３３０となす角、すなわち点Ａの魚眼レンズ３２６への入射角をθ２とする。入射角θ１は視点Ｌから点Ａを見た場合の点Ａの方位、入射角θ２は視点Ｒから点Ａを見た場合の点Ａの方位である。視点が異なるために、点Ａの方位に差θ１−θ２が生じる。これを視差角と呼ぶ。線分ＬＡと線分ＲＡのなす角をθＡとすると、θＡ＝θ１−θ２であるから、便宜上、θＡを、点Ａを異なる視点Ｌ、Ｒから見た場合の視差角と考えてもよい。
【００６２】
魚眼レンズ３２２及び３２４がｆθレンズである場合、像高ｒと入射角θの間にｒ＝ｆ・θの関係が成立するので、視点Ｌ、Ｒから点Ａを見た場合の像高ｒＬ、ｒＲの差と、入射角θ１、θ２の差との間には、次の比例関係
【００６３】
ｒＬ−ｒＲ＝ｆ・（θ１−θ２）
が成り立つ。
【００６４】
したがって、魚眼レンズ３２４及び３２６で写した視差画像において、点Ａの像高の差ｒＬ−ｒＲを検出すると、魚眼レンズの焦点距離ｆが既知である場合、入射角の差θ１−θ２を計算することができ、視差角θＡを算出できる。
【００６５】
次に、視差角θＡと奥行き値Ｚ、方位角θの間に成り立つ関係式を導く。角ＬＡＯをθＬ、角ＲＡＯをθＲとおく。３角形ＬＡＨ及び３角形ＲＡＨに注目すると、
【００６６】
ｔａｎ（θ＋θＬ）＝（Ｚ・ｓｉｎθ＋ｄ）／（Ｚ・ｃｏｓθ）
ｔａｎ（θ−θＲ）＝（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃｏｓθ）
が成り立つ。
【００６７】
したがって、視差角θＡは、
と書ける。
【００６８】
図９は、視差角θＡの式（１）のグラフである。視点間距離２ｄ、及び奥行き値Ｚをある値に固定して、方位角θの値を変えて、視差角θＡの値をグラフにした。方位角θ＝０のとき、視差角θＡは最大である。方位角θ＝π／２のとき、視差角θＡは０になる。
【００６９】
図９のグラフから明らかなように、魚眼レンズの並びの横方向に近い領域にある被写体に対しては、視差角が非常に小さくなるため、視差画像上での像の位置のずれは極めて小さくなる。図１０は、被写体の視差角の大きさの違いを説明する図である。点Ａ、Ｂのように、方位角θが０に近い領域にある被写体の点については視差角θＡ、θＢが十分に大きく、視差画像上での像の位置のずれを検出することは容易である。点Ａよりも点Ｂの方が視差角が大きいから、位置ずれも大きい。これは点Ｏからの距離が近い被写体ほど、視差画像上での像の位置ずれが大きいことを意味する。点Ｃ、Ｄのように、方位角θがπ／２に近い領域にある被写体の点については視差角θＣ、θＤは小さく、視差画像上での像の位置のずれを検出することは困難になる。点Ｃよりも点Ｄの方が視差角がさらに小さくなっており、点Ｏからの距離が遠い被写体ほど、視差画像上での像の位置ずれが小さくなる。
【００７０】
図１１は、位置ずれ量の違いを天球上で説明する図である。天球は視野の無限遠方であり、図では上半球のみ示す。魚眼レンズ３２４、３２６の視点Ｌ、Ｒを結ぶ線分の中点は天球の中心Ｏである。中心Ｏを通り、直線ＬＲに垂直な平面を半円３５０とする。また、視点Ｌ、Ｒを結ぶ直線と天球が交わる点を点３５２及び３５４とする。
【００７１】
天球において、被写体の点を中心Ｏから見た場合の方位角θは、被写体の点と中心Ｏを結ぶ直線が半円３５０となす角である。方位角θが０（ゼロ）となる領域では、位置ずれが最も強く現れる。この領域は半円３５０である。
【００７２】
一方、中心Ｏから見た場合の方位角θがπ／２すなわち直角である領域では、位置ずれが完全に消失する。この領域は、点３５２と視点Ｒを結ぶ線分、及び点３５４と視点Ｌを結ぶ線分上の点である。
【００７３】
位置ずれ量は、視点Ｌ、Ｒを結ぶ直線、すなわちｘ軸の周りで対称である。半円３５０と平行な面で天球を切った場合の断面を考えると、この断面は半円であり、半円の円周上の点は同一の位置ずれ量を持つ。したがって、位置ずれ量は、ｘ軸を通る任意の平面で天球を切った断面で、議論することができる。ｘ軸を通る平面の一例として天球の地平面であるｘｙ平面を考える。
【００７４】
図１２は、位置ずれ量の違いを天球の地平面で説明する図である。被写体の点Ａが方位角θの方位にあるとして、３角形ＯＡＨをｘ軸の周りに回転してできる円錐を考える。このように、ある方位角θが決められたとき、円錐の頂点を中心Ｏとし、円錐角がπ／２−θである円錐が規定される。
【００７５】
方位角θがπ／２に近い場合、円錐内の点はｘ軸の近傍の領域にある。この円錐内の点については、位置ずれはほとんど消失する。一方、方位角θが０に近い場合、円錐角がπ／２であり、円錐内にはｙ軸近傍の点を除くほとんどの点を含むようになる。円錐外にあるｙ軸近傍の点については、位置ずれが強く現れる。
【００７６】
このように魚眼レンズの並びの横方向には、視差画像において位置のずれが小さくなる領域が存在する。この領域を「死角」領域と呼ぶ。死角領域では、位置ずれ量によって、被写体の奥行き値を求めることは困難である。したがって、視野角の広い魚眼レンズを用いたとしても、２つの視差画像から被写体の全方位にわたる奥行き値を求めることはできず、２つの視点を結ぶ方向には奥行き値を求めることが困難な死角領域が存在する。そこで本発明では、同一直線上にない３以上の異なる視点位置から被写体の３以上の視差画像を撮像することによって、死角領域における奥行き値の算出を可能にする。
【００７７】
図１３は、３つの視点から見た場合の位置ずれの関係を天球上で説明する図である。魚眼レンズ３２４、３２５及び３２６が正３角形の頂点の位置にあり、それぞれの視点をＳ、Ｕ、Ｔとする。正３角形ＳＴＵの重心は天球の中心Ｏである。中心Ｏを通り、直線ＳＴに垂直な平面を半円３６５とする。同様に、中心Ｏを通り、直線ＴＵに垂直な平面を半円３６４、中心Ｏを通り、直線ＵＳに垂直な平面を半円３６６とする。半円３６４、３６５、３６６は天球上の点３７０で交わる。
【００７８】
視点位置Ｓ、Ｔから見た場合に、半円３６５上で位置ずれが最も強く現れる。視点位置Ｔ、Ｕから見た場合に、半円３６４上で位置ずれが最も強く現れる。視点位置Ｕ、Ｓから見た場合に、半円３６６上で位置ずれが最も強く現れる。したがって、３つの半円３６４、３６５、３６６の方向に近い方向にある被写体の領域については、３つの視点位置Ｓ、Ｔ、Ｕのいずれか２つの視点位置から見た場合の位置ずれ量によって、奥行き値を算出することができる。２つの視点位置から見た場合に死角領域に当たる被写体の領域であっても、他の２つの視点位置から見た場合には位置ずれが強く現れる領域になるため、３つの異なる視点位置を設けることにより、死角領域をなくすことができる。尚、３つの半円３６４、３６５、３６６が交わる点３７０では、３つの位置ずれ量を用いて奥行き値を求めることができるので、最も精度が高くなる。
【００７９】
図１４は、３つの位置ずれの関係を天球の地平面で説明する図である。領域I及びIVの方向にある被写体の領域では、視点位置Ｓ、Ｔから見た場合の位置ずれが最も強く現れる。同様に、領域II及びV方向にある被写体の領域では、視点位置Ｔ、Ｕから見た場合の位置ずれが最も強く現れる。領域III及びVIの方向にある被写体の領域では、視点位置Ｕ、Ｓから見た場合の位置ずれが最も強く現れる。
【００８０】
このように、２つの視点位置から見た場合の２つの視差画像においては、奥行き値の算出が困難な死角領域であっても、第３の視点位置から見た視差画像を組み合わせることにより、死角領域を解消して被写体の全方位の奥行き値の算出が可能になる。
【００８１】
３以上の視差画像の任意の２枚の視差画像の組み合わせから、被写体の特定領域について複数の位置ずれが検出される。複数の位置ずれ量を組み合わせて、被写体の特定領域の奥行き値を算出する方法にはいくつもの変形が考えられる。まず、奥行き値を求めたい被写体の特定領域の方位によって、位置ずれが最も強く現れる視点位置の組み合わせを選び、その視点位置の組み合わせにおいて検出される位置ずれ量を用いて、被写体の特定領域の奥行き値を求める方法を述べる。
【００８２】
処理ユニット６０の機能ブロックとして、図６に図示した機能ブロック以外に、視差画像領域選択部３０３を備える。図１５は、視差画像領域選択部３０３の機能説明図である。視差画像記憶部３０２は、一例として図１３及び図１４に示した３つの視点位置Ｓ、Ｔ、Ｕから見た場合の３つの視差画像Ｓ、Ｔ、及びＵを記憶する。視差画像領域選択部３０３は、視差画像記憶部３０２が記憶する視差画像Ｓ、Ｔ、及びＵを、図１４で示した被写体の領域I、II、III、IV、V、VIに分割する。領域I、II、III、IV、V、VIのそれぞれにおいて、位置ずれが最も強く現れる視差画像の組み合わせを選択する。たとえば、領域Iでは視差画像ＳI、ＴIの組み合わせを選択し、領域IIでは視差画像ＴII、ＵIIの組み合わせを選択する。位置ずれ検出部３０４は、各領域I、II、III、IV、V、VIについて、選択された視差画像の組み合わせからその領域内の被写体の位置ずれ量を検出する。奥行き算出部３０８は、各領域I、II、III、IV、V、VI毎に求められた位置ずれ量に基づいて、その領域の被写体の奥行き値の分布を求める。
【００８３】
図１５のように被写体の特定領域の方位によって、位置ずれを検出する視点位置の組み合わせを選ぶのではなく、任意の２つの視点位置の組み合わせにおいて検出される複数の位置ずれ量を考慮して、被写体の特定領域の奥行き値を算出してもよい。その場合、視点位置の組み合わせの各々から検出される位置ずれ量を考慮に入れる割合を決め、その割合に基づいて各位置ずれ量を加味して奥行き値を算出してもよい。具体的には、複数の位置ずれ量から算出されるそれぞれの奥行き値について重み付け平均を計算することにより、被写体の特定領域の奥行き値を算出してもよい。
【００８４】
たとえば、被写体の特定領域の方位角θの絶対値がπ／６より小さくなるような特定の２つの視点位置の組み合わせにおいては、その特定の２つの視点位置から見た場合の位置ずれを最も大きな割合で考慮し、他の２つの視点位置の組み合わせから得られる位置ずれを小さな割合で考慮して、被写体の特定領域の奥行き値を算出してもよい。図１６は、３つの視点位置から被写体を見た場合の３つの視差角の変化を示すグラフである。図９の視差角の３つのグラフを、位相を変えて組み合わせた。方位角θの絶対値がπ／６より小さい範囲では、１つの視差角が他の２つの視差角よりも大きく、位置ずれの検出精度が高い。したがって、検出精度の最も高い位置ずれから算出される奥行き値の重み付けを最大にし、他の２つの精度が低い位置ずれから算出される奥行き値の重み付けを小さくして、３つの奥行き値の重み付け平均を計算し、被写体の特定領域の奥行き値を算出する。
【００８５】
また、視差画像に写された被写体の特定領域の奥行き値を求める際、３以上の視差画像の任意の２枚の視差画像における位置ずれをすべて求め、複数の位置ずれの中から最も検出精度が高い位置ずれを用いて、奥行き値を計算してもよい。特に重なりのある被写体を撮影した場合は、方位だけでなく、被写体の奥行き分布によって、位置ずれの検出精度が高くなる視差画像の組み合わせが変わることがある。そのため、被写体の特定領域の方位だけから、位置ずれを求めるのに使う視差画像の組み合わせを決めるのではなく、被写体の特定領域毎に、どの特定の視差画像の組み合わせにおける位置ずれ量を用いるかを決めたり、任意の２枚の視差画像における複数の位置ずれを考慮する割合を決めることがより好ましい。
【００８６】
視差角の式（１）を詳しく解析すると、位置ずれ量の検出精度が一定となる被写体の領域は、被写体の方位だけでは決まらず、被写体の奥行き値にも依存することがわかる。したがって、より正確には、被写体の方位が同じでも、被写体までの距離が違えば、位置ずれ量の検出精度が異なる。そのため、求めたい被写体の特定領域の奥行き値によって、任意の２枚の視差画像における複数の位置ずれ量を考慮する割合を変える必要が生じる。視差画像に写された被写体の特定領域の奥行き値を求める際、任意の２枚の視差画像における複数の位置ずれ量を検出して、最も検出精度の高い位置ずれ量を優先して用いて、特定領域の仮の奥行き値を算出する。その後、特定領域の方位と仮の奥行き値に基づいて、任意の２枚の視差画像における複数の位置ずれ量の考慮の割合を決めて、奥行き値を再度求め直すことがより好ましい。
【００８７】
このように、任意の２枚の視差画像における複数の位置ずれ量を用いて、被写体の奥行き値を求める計算方法にはいくつもの変形が考えられるが、いずれにしても検出精度の点で有利になるように複数の位置ずれを組み合わせて、被写体の特定領域の奥行き値を求めることに本質的な特徴があり、複数の位置ずれの組み合わせ方、計算方法には相当の自由度がある。
【００８８】
また、３つの魚眼レンズの配置の仕方にも自由度がある。図１３では３つの魚眼レンズが天球の地平面において正３角形の頂点に配置され、各魚眼レンズの光軸は正３角形に垂直な方向であった。しかし魚眼レンズの配置の仕方はこれに限られない。図１７は、３つの視点位置から見た場合の位置ずれの関係を天球上で説明する図である。魚眼レンズ３２４、３２５及び３２６が天球の地平面に対して垂直な正３角形の頂点の位置にあり、正３角形の重心は天球の中心Ｏを通る。魚眼レンズ３２４、３２５及び３２６のそれぞれの視点はＳ、Ｕ、Ｔであり、各魚眼レンズの光軸は、正３角形ＳＴＵが作る平面内にある。中心Ｏを通り、直線ＳＴに垂直な平面を半円３６５とする。同様に、中心Ｏを通り、直線ＴＵに垂直な平面を半円３６４、中心Ｏを通り、直線ＵＳに垂直な平面を半円３６６とする。半円３６４、３６５、３６６は天球の地平面の点３７２で交わる。
【００８９】
視点位置Ｓ、Ｔから見た場合には、半円３６５上で位置ずれが最も強く現れ、視点位置Ｔ、Ｕから見た場合には、半円３６４上で位置ずれが最も強く現れ、視点位置Ｕ、Ｓから見た場合に、半円３６６上で位置ずれが最も強く現れる。したがって、３つの半円３６４、３６５、３６６の方向に近い方向にある被写体の領域については、３つの視点位置Ｓ、Ｔ、Ｕのいずれか２つの視点位置から見た場合の位置ずれ量によって、奥行き値を算出することができる。また、３つの半円３６４、３６５、３６６が交わる点３７０では、３つの位置ずれ量を用いて奥行き値を求めることができるので、最も精度が高くなる。このように３つの魚眼レンズを配置する位置には自由度がある。死角を解消するために、３つの視点位置が同一直線上にないこと、さらに好ましくは３つの視点位置を結ぶ３角形が正３角形であることが望ましい。
【００９０】
図１８は、被写体の奥行き値の算出処理のフローチャートである。撮像ユニット２０が同一直線上にない３以上の異なる視点位置から撮像した３以上の被写体の視差画像を入力する（Ｓ１００）。視差画像に写された被写体の特定領域を選択する（Ｓ１０２）。特定領域の選択は、視差画像の領域を適当に分割し、自動的に分割された領域を順次選択してもよく、ユーザが操作ユニット１１０を用いて指定した被写体の領域を選択してもよい。位置ずれ検出部３０４は、任意の２枚の視差画像における被写体の特定領域の像の複数の位置ずれ量を検出する（Ｓ１０４）。奥行き算出部３０８は、特定領域の像の複数の位置ずれ量を用いて、特定領域の奥行き値を算出する（Ｓ１０８）。
【００９１】
図１９は、奥行き値算出処理Ｓ１０８のフローチャートである。被写体の特定領域の方位角θに基づいて、複数の位置ずれ量を考慮する割合γを決める（Ｓ２００）。特定の２つの視点位置の中点から見た場合の方位角θが０に近い場合に、その特定の２つの視点位置から見た場合の２つの視差画像における位置ずれを考慮する割合を大きくし、他の２つの視差画像の組み合わせにおける位置ずれを考慮する割合を小さくする。次に、２つの視差画像の組み合わせの各々における位置ずれ量に基づいて、式（１）を用いて特定領域の奥行き値Ｚｉ（ｉ＝１、２、…）を算出する（Ｓ２０２）。複数の位置ずれを考慮する割合γに基づいて、奥行き値Ｚｉ（ｉ＝１、２、…）を合成して、特定領域の奥行き値Ｚを算出する。奥行き値Ｚｉ（ｉ＝１、２、…）を合成して奥行き値Ｚを算出する方法として、たとえば、割合γでＺｉ（ｉ＝１、２、…）の重み付け平均を計算してＺとする。
【００９２】
奥行き値算出処理Ｓ１０８には、いくつかの変形が考えられる。図２０は、奥行き値算出処理Ｓ１０８の変形例のフローチャートである。被写体の特定領域について、任意の２枚の視差画像における複数の位置ずれの検出精度を比較して、複数の位置ずれの考慮の割合γを決める（Ｓ２０１）。それ以降のＳ２０２及びＳ２０６の処理は図１９と同じである。この変形例では、被写体の特定領域の方位角θで割合γを決めるのではなく、任意の２枚の視差画像における特定領域の複数の位置ずれの検出精度の良い方の考慮の度合いを大きくするように割合γを決める。
【００９３】
図２１は、奥行き値算出処理Ｓ１０８の他の変形例のフローチャートである。被写体の特定領域について、任意の２枚の視差画像における複数の位置ずれ量の検出精度を比較し、最も検出精度の良い位置ずれ量に基づいて、特定領域の仮の奥行き値ＺＫを算出する（Ｓ２１０）。特定領域の方位角θと仮の奥行き値ＺＫに基づいて、複数の位置ずれを考慮する割合γを決める（Ｓ２１２）。それ以降のＳ２０２及びＳ２０６の処理は図１９と同じである。この変形例では、割合γを、視差角θと仮の奥行き値ＺＫから決める点が異なる。
【００９４】
図２２は、被写体の奥行き値の他の算出処理のフローチャートである。撮像ユニット２０が同一直線上にない３以上の異なる視点位置から撮像した３以上の被写体の視差画像を入力する（Ｓ１００）。視差画像に写された被写体の特定領域を選択する（Ｓ１０２）。特定領域の選択は、視差画像の領域を適当に分割し、自動的に分割された領域を順次選択してもよく、ユーザが操作ユニット１１０を用いて指定した被写体の領域を選択してもよい。位置ずれ検出部３０４は、被写体の特定領域の方位角θがπ／６より小さくなるような特定の２枚の視差画像を選択し（Ｓ１２４）、その特定の２枚の視差画像における特定領域の像の位置ずれを検出する（Ｓ１２６）。奥行き算出部３０８は、特定の２枚の視差画像において検出された特定領域の像の位置ずれ量を用いて、特定領域の奥行き値を算出する（Ｓ１２８）。
【００９５】
位置ずれ量の検出の精度や処理コストは、撮像ユニット２０のＣＣＤ３０の解像度や画像処理を行う処理ユニット６０のメインＣＰＵ６２、不揮発性メモリ６６、メインメモリ６８、メインバス８２等の処理性能等、ハードウエア性能に依存する面と、被写体の特定領域を抽出し、位置ずれを検出する画像処理手法のアルゴリズム性能等、システムの機能構成に依存する面がある。そのため、一概に、任意の２枚の視差画像における複数の位置ずれの考慮の割合を、式（１）から理論的に導出される検出精度から決めるとは限らない。
【００９６】
このように、複数の位置ずれ量を用いて、被写体の奥行き値を求める計算方法には、被写体の領域の方位角、被写体の奥行きの推定値、位置ずれ量の検出精度や処理コスト、ハードウエア性能やシステムの機能構成等に基づいて、いくつものバリエーションが考えられる。いずれにしても、本実施形態の画像撮像装置によれば、被写体の領域の方位によって複数の位置ずれのいずれかの検出精度が低くなる場合や、いずれかの方位の位置ずれの検出の処理コストが高くなる場合に、他方の位置ずれ量によって補完することで、被写体の全方位の領域の奥行き情報を高い精度で効率良く算出できる。
【００９７】
以上述べたように、本実施形態の画像撮像装置によれば、３以上の視点位置から視野角の広いレンズを用いて被写体の３以上の視差画像を撮影し、被写体の像の複数の位置ずれ量を検出し、複数の位置ずれ量を用いて被写体の奥行き値を求めることができる。被写体の領域の方位によって、２つの視点位置から見た視差画像の位置ずれ量だけでは検出精度が落ちる場合でも、第３の視点位置から見た視差画像を組み合わせることにより、位置ずれの検出精度を上げることができるため、広い視野にわたって被写体の奥行き情報を高い精度で効率よく算出することができる。
【００９８】
また、本実施形態の画像撮像装置は、監視用カメラとして利用することもできる。従来の監視用カメラは、全方位の画像を得るために、カメラを駆動させなければならなかった。本実施形態の画像撮像装置を監視カメラとして用いた場合、カメラを駆動させなくても、全方位の被写体を撮影し、奥行き情報を算出することができる。得られた奥行き情報から、人物等の主要被写体を容易に抽出することができるため、銀行や小売店に設置して、防犯に利用することができる。
【００９９】
（実施形態２）
本発明の第２の実施形態を説明する。図２３は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム２００の構成図である。本実施形態のラボシステム２００は、入力部２１０と、処理部２２０と、記録部２４０と、出力部２５０とを有する。
【０１００】
入力部２１０は、被写体の画像データを入力する。画像データとして、被写体を異なる視点から見た場合の視差画像を入力する。デジタルカメラ等で撮影された対象物のデジタル画像を入力する場合、入力部２１０には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。また、フロッピーディスク、ＭＯ、ＣＤ−ＲＯＭ等から画像データを読み取る場合は、入力部２１０として、それぞれフロッピードライブ、ＭＯドライブ、ＣＤドライブ等が用いられてもよい。
【０１０１】
処理部２２０は、入力部２１０が入力した視差画像を記憶し、被写体の奥行き情報を算出する。処理部２２０は算出した奥行き情報を視差画像とともに記録部２４０に出力する。また処理部２２０は算出した奥行き情報をもとに、被写体の画像を処理して、記録部２４０と出力部２５０に出力してもよい。
【０１０２】
記録部２４０は、処理部２２０が出力した奥行き情報または画像データを着脱自在な記録媒体に記録する。記録媒体として、書き込み可能なＣＤ−ＲＯＭ、ＤＶＤ等の光記録媒体や、ＭＯ等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。記録部２４０として、ＣＤ−Ｒドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピードライブ等が用いられる。また、記録部２４０は、フラッシュメモリ、メモリカード等の半導体メモリに奥行き情報または画像データを記録してもよい。
【０１０３】
出力部２５０は、処理部２２０が出力した被写体の処理された画像データを画像として出力する。例えば画像を画面表示する場合、出力部２５０には画像を表示するモニタが用いられる。また例えば画像を印刷する場合、出力部２５０にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。
【０１０４】
図２４は、処理部２２０の機能構成図である。処理部２２０は、視差画像記憶部３０２と、位置ずれ検出部３０４と、奥行き算出部３０８と、画像変換部３１２とを有する。
【０１０５】
視差画像記憶部３０２は、入力部２１０が入力した被写体の３以上の視差画像のデータをＲＡＭ等の半導体メモリまたはハードディスク等の磁気記録媒体に記憶する。位置ずれ検出部３０４は、視差画像記憶部３０２が記憶する３以上の視差画像の任意の２枚の視差画像の組み合わせにおいて、被写体の特定領域の像の位置が視差によってずれる量を検出する。奥行き算出部３０８は、位置ずれ検出部３０４が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。
【０１０６】
位置ずれ検出部３０４及び奥行き算出部３０８が、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き情報を算出する処理については、第１の実施形態と同じであるから、説明を省略する。
【０１０７】
画像変換部３１２は、奥行き算出部３０８が算出した被写体の奥行き情報に基づいて、被写体の画像を処理する。画像変換部３１２は、被写体の奥行き情報、視差画像、または処理された画像を記憶部２４０と出力部２５０に出力する。
【０１０８】
画像変換部３１２は、被写体の奥行き情報に基づいて魚眼レンズで撮影された被写体の全方位画像を透視投影画像に変形してもよい。図２５は、全方位画像から透視投影画像への変換を説明する図である。魚眼レンズで撮影された被写体の全方位画像３５６上の点または領域について、奥行き値が算出されているので、座標変換を行うことにより、その点または領域を透視投影画像３５８上に写像することができる。透視投影画像３５８は、通常の標準レンズで被写体を撮影したときの画像である。
【０１０９】
画像変換部３１２は、被写体の奥行き情報に基づいて、魚眼レンズで撮影された被写体の全方位画像から、被写体の正面図、側面図、上面図等の正投影図法の画像を生成してもよい。図２６は、魚眼レンズで撮影された部屋の間取りの模式図である。魚眼レンズにより部屋の天井付近から部屋の全方位を撮影している。図２７は、全方位画像を座標変換して得られた部屋の平面図である。部屋の全方位の奥行き情報を利用することにより、全方位画像はこのような平面図に変換することができる。図２８は、全方位画像を座標変換して得られた部屋の側面図である。このように、画像変換部３１２は、被写体の全方位の奥行き情報に基づいて、被写体の全方位画像から、被写体の正面図、側面図、上面図等の正投影画像を生成し、設計図等の作成に役立てることができる。このような画像変換処理は、建築や都市計画の場面で広く使われる。
【０１１０】
本実施形態の画像処理装置によれば、視野角の広いレンズで撮影された被写体の視差画像を入力して、広い視野にわたる被写体の奥行き情報を算出することができる。また算出された奥行き情報に基づいて、画像処理を行い、ＣＡＤ等の図面データを作成することができる。また、全方位の奥行き情報のある画像データは、ＣＧ（コンピュータグラフィックス）やシミュレーションに利用することができる。
【０１１１】
（実施形態３）
次に、本発明の第３の実施形態を説明する。図２９は、画像処理装置の構成図である。本実施形態の画像処理装置の基本的な構成及び動作は、第２の実施形態の画像処理装置と同様である。本実施形態では、画像処理装置の処理部２２０として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第２の実施形態と異なる。
【０１１２】
図２９を参照しながら、本実施形態の処理部２２０のハードウエア構成を説明する。ＣＰＵ２３０はＲＯＭ２３２及びＲＡＭ２３４に格納されたプログラムに基づいて動作する。キーボード、マウス等の入力装置２３１を介して利用者によりデータが入力される。ハードディスク２３３は、画像等のデータ、及びＣＰＵ２３０を動作させるプログラムを格納する。ＣＤ−ＲＯＭドライブ２３５はＣＤ−ＲＯＭ２９０からデータ又はプログラムを読み取り、ＲＡＭ２３４、ハードディスク２３３及びＣＰＵ２３０の少なくともいずれかに提供する。
【０１１３】
ＣＰＵ２３０が実行するプログラムの機能構成は、第２の実施形態の画像処理装置の処理部２２０の機能構成と同じであり、視差画像記憶モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、画像変換モジュールとを有する。
【０１１４】
視差画像記憶モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第２の実施形態の画像処理装置の処理部２２０における、視差画像記憶部３０２、位置ずれ検出部３０４、奥行き算出部３０８、及び画像変換部３１２の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。
【０１１５】
上記のプログラムは記録媒体から直接ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。あるいは、上記のプログラムは記録媒体からハードディスク２３３にインストールされ、ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。
【０１１６】
記録媒体としては、ＣＤ−ＲＯＭ２９０の他にも、ハードディスク、ＲＯＭやＲＡＭ等のメモリ、ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクやミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。
【０１１７】
上記のプログラムは、単一の記録媒体に格納されてもよいし、複数の記録媒体に分割されて格納されてもよい。また、上記プログラムは記録媒体に圧縮されて格納されてもよい。圧縮されたプログラムは伸張され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。さらに、圧縮されたプログラムはＣＰＵ２３０によって伸張され、ハードディスク２３３等にインストールされた後、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【０１１８】
さらに、記録媒体の一例としてのＣＤ−ＲＯＭ２９０は、通信ネットワークを介して、ホストコンピュータによって提供される上記のプログラムを格納してもよい。記録媒体に格納された上記のプログラムは、ホストコンピュータのハードディスクに格納され、通信ネットワークを介してホストコンピュータから当該コンピュータに送信され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【０１１９】
上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【０１２０】
（実施形態４）
次に、本発明の第４の実施形態を説明する。本実施形態の画像撮像装置の一例は、カメラを内蔵したノート型コンピュータやカメラを内蔵した携帯型電子端末等の電子機器等である。これらの場合、ノート型コンピュータや携帯型電子端末の電子計算機部分は主に図２９に示した処理部２２０として機能する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置の処理ユニット６０を、図２９に示した処理部２２０のハードウエア構成に換えたものである。本実施形態の画像撮像装置の基本的な構成及び動作は、第１の実施形態の画像撮像装置と同様である。
【０１２１】
本実施形態の処理部２２０のハードウエア構成は、第３の実施形態の処理部２２０のハードウエア構成と同じであるから説明を省略する。ＣＰＵ２３０が実行するプログラムの機能構成は、第１の実施形態の画像撮像装置の処理ユニット６０の機能構成と同じであり、視差画像記憶モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、記録モジュールとを有する。
【０１２２】
視差画像記憶モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第１の実施形態の画像撮像装置の処理部２２０における、視差画像記憶部３０２、位置ずれ検出部３０４、奥行き算出部３０８、及び記録部３１０の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像撮像装置の動作の一部又は全ての機能を格納することができる。
【０１２３】
上記のプログラムを格納した記録媒体は、本出願の画像撮像装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【０１２４】
以上述べたように、本発明の画像撮像装置及び画像処理装置によれば、３以上の視点位置から見た被写体の３以上の視差画像から、被写体の特定領域の像の位置ずれを複数個検出することができ、複数の位置ずれ量を用いて被写体の奥行き値を求めることができる。２つの視点位置から見た場合の２つの視差画像においては、奥行き値の算出が困難な死角領域であっても、第３の視点位置から見た視差画像を組み合わせることにより、死角領域を解消することができ、広い視野にわたって被写体の奥行き情報を高い精度で算出することができる。
【０１２５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２６】
【発明の効果】
上記説明から明らかなように、本発明によれば広い視野にわたって被写体の奥行きに関する情報を高い精度で取得することができる。
【図面の簡単な説明】
【図１】 画像撮像装置の一例としてのデジタルカメラ１０の構成図である。
【図２】 撮像ユニット２０の撮影レンズ２２の構成の一例である。
【図３】 撮像ユニット２０の撮影レンズ２２の構成の他の例である。
【図４】 撮像ユニット２０の撮影レンズ２２の構成の他の例である。
【図５】 撮像ユニット２０の撮影レンズ２２の構成の他の例である。
【図６】 処理ユニット６０の機能ブロック図である。
【図７】 魚眼レンズ３２０が結像する被写体の点の入射角θと、全方位画像３２２における被写体の点の像の位置との関係を説明する図である。
【図８】 ２つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。
【図９】 視差角θＡの式（１）のグラフである。
【図１０】 被写体の視差角の大きさの違いを説明する図である。
【図１１】 位置ずれ量の違いを天球上で説明する図である。
【図１２】 位置ずれ量の違いを天球の地平面で説明する図である。
【図１３】 ３つの視点から見た場合の位置ずれの関係を天球上で説明する図である。
【図１４】 ３つの位置ずれの関係を天球の地平面で説明する図である。
【図１５】 視差画像領域選択部３０３の機能説明図である。
【図１６】 ３つの視点位置から被写体を見た場合の３つの視差角の変化を示すグラフである。
【図１７】 ３つの視点位置から見た場合の位置ずれの関係を天球上で説明する図である。
【図１８】 被写体の奥行き値の算出処理のフローチャートである。
【図１９】 奥行き値算出処理Ｓ１０８のフローチャートである。
【図２０】 奥行き値算出処理Ｓ１０８の変形例のフローチャートである。
【図２１】 奥行き値算出処理Ｓ１０８の他の変形例のフローチャートである。
【図２２】 被写体の奥行き値の他の算出処理のフローチャートである。
【図２３】 画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム２００の構成図である。
【図２４】 処理部２２０の機能構成図である。
【図２５】 全方位画像から透視投影画像への変換を説明する図である。
【図２６】 魚眼レンズで撮影された部屋の間取りの模式図である。
【図２７】 全方位画像を座標変換して得られた部屋の平面図である。
【図２８】 全方位画像を座標変換して得られた部屋の正投影画像である。
【図２９】 画像処理装置の構成図である。
【符号の説明】
１０ デジタルカメラ ２０ 撮像ユニット
４０ 撮像制御ユニット ６０ 処理ユニット
１００ 表示ユニット １１０ 操作ユニット
２００ 画像処理装置 ２１０ 入力部
２２０ 処理部 ２４０ 記録部
２５０ 出力部 ２９０ 記録媒体
３０２ 視差画像記憶部 ３０３ 視差画像領域選択部
３０４ 位置ずれ検出部 ３０８ 奥行き算出部
３１０ 記録部 ３１２ 画像変換部
３２４、３２５、３２６ 魚眼レンズ
【発明の属する技術分野】
本発明は、被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。特に本発明は、視差画像に基づいて被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。
【０００２】
【従来の技術】
被写体の位置情報を得るために、人間の両眼立体視の機能を真似て、カメラを２台並べて、異なる２つの視点から被写体を見た場合の視差画像を撮影し、被写体の奥行き値を測定するステレオ撮影の技法が古くからある。視点位置の違いから、被写体の像の位置が視差画像上でずれることを検出し、像の位置ずれとカメラのレンズの焦点距離に基づいて、３角測量の原理によりカメラから被写体までの距離を測定する。また、特許２６１１１７３号公報（登録日平成９年２月２７日）には少なくとも３つの撮像装置を用いて移動物の位置を測定する方法が開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、カメラを２台並べても、レンズの視野角の限界のため、視点の移動方向に視差の死角領域が発生し、広い視野にわたる被写体の奥行き情報を高い精度で得ることができないという問題を生じていた。また、特許２６１１１７３号公報に開示された方法では、移動物の位置座標を確定するために、少なくとも３つの撮像装置による撮影を必須とするため、装置が大掛かりになり、計算にかかる処理コストが大きくなるという問題がある。
【０００４】
そこで本発明は、上記の課題を解決するために、広い視野にわたって被写体の奥行きに関する情報を取得することのできる画像撮像装置、画像処理装置、画像処理方法、及び記録媒体を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、同一直線上にない３以上の異なる視点位置から被写体を見た場合に得られる被写体の３以上の視差画像を撮像する撮像部と、３以上の視差画像の任意の２枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、位置ずれ検出部が検出した複数の位置ずれに基づいて、被写体の特定領域の奥行きを算出する奥行き算出部とを備えたことを特徴とする。
【０００６】
奥行き算出部は、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行き値を算出してもよい。
【０００７】
奥行き算出部は、被写体の特定領域を３以上の視点位置の略中心の位置から見た場合の方位によって、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行き値を算出してもよい。
【０００８】
奥行き算出部は、被写体の特定領域が、３以上の視点位置の特定の２つの視点位置を結ぶ直線の方向に近いほど、特定の２つの視点位置から見た場合の特定の２枚の視差画像において検出される位置ずれの考慮の割合を小さくし、被写体の特定領域が、特定の２つの視点位置を結ぶ線分の中点を通り線分と垂直に交わる平面に近いほど、特定の２枚の視差画像において検出される位置ずれの考慮の割合を大きくして、被写体の特定領域の奥行き値を算出してもよい。
【０００９】
奥行き算出部は、被写体の特定領域の方位角が、３以上の視点位置の特定の２つの視点位置間の中点から見た場合に、３０°より小さくなる場合に、特定の２つの視点位置から見た場合の特定の２枚の視差画像において検出される位置ずれに基づいて、被写体の特定領域の奥行き値を算出してもよい。
【００１０】
視点位置は３箇所であり、３箇所の視点位置間を結ぶ３角形が略正３角形であってもよい。
【００１１】
撮像部は、同一直線上にない３以上の視点位置に視野角の広い３以上の光学レンズを設け、３以上の光学レンズによって被写体の３以上の視差画像を撮像してもよい。光学レンズの設置位置は３箇所であり、３箇所の設置位置を結ぶ３角形が略正３角形であってもよい。
【００１２】
撮像部は、視野角の広い光学レンズを有し、光学レンズを同一直線上にない３以上の視点位置に移動させる駆動部をさらに備え、撮像部は、駆動部が光学レンズを３以上の視点位置に移動させた場合に、被写体の３以上の視差画像を撮像してもよい。駆動部は、光学レンズの移動軌跡が円形になるように移動させ、円形の移動軌跡上の３以上の点を３以上の視点位置としてもよい。光学レンズの円形の移動軌跡上の３点を視点位置とし、３点の視点位置を結ぶ３角形が略正三角形であってもよい。
【００１３】
撮像部は、２つの異なる視点位置に２つの視野角の広い光学レンズを設け、２つの光学レンズのいずれか一方を２つの異なる視点位置を結ぶ直線上にはない他の視点位置に移動させる駆動部をさらに備え、撮像部は、２つの光学レンズによって被写体の視差画像を撮像し、駆動部が２つの光学レンズのいずれか一方を移動させた場合に、被写体の視差画像を撮像することによって３以上の視差画像を撮像してもよい。駆動部は、２つの光学レンズのいずれか一方を直線移動させた点を第３の視点位置とし、２つの光学レンズの移動前の２つの視点位置と第３の視点位置とを結ぶ３角形が略正３角形であってもよい。
【００１４】
３以上の視点位置における光学レンズの光軸方向は同一であってもよい。光学レンズは魚眼レンズであり、奥行き算出部は、撮像部が魚眼レンズによって撮像する被写体の全方位の領域について奥行きを算出してもよい。
【００１５】
本発明の第２の形態においては、被写体の奥行きに関する情報を取得する画像処理装置であって、同一線上にない３以上の異なる視点位置から被写体を見た場合に得られる被写体の３以上の視差画像を入力する入力部と、３以上の視差画像の任意の２枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行きを算出する奥行き算出部とを備えたことを特徴とする。
【００１６】
奥行き算出部が算出した被写体の特定領域の奥行きに基づいて、入力部が入力する被写体の画像の座標変換を行うことにより画像を変換する画像変換部をさらに備えてもよい。
【００１７】
入力部が入力する被写体の画像が魚眼レンズによって被写体を撮像した全方位画像である場合に、画像変換部は、座標変換によって、全方位画像を透視投影画像に変換してもよい。画像変換部は、座標変換によって、被写体の正投影画像を生成してもよい。
【００１８】
本発明の第３の形態においては、被写体の奥行きに関する情報を取得する画像処理方法であって、同一線上にない３以上の異なる視点位置から被写体を見た場合に得られる被写体の３以上の視差画像を入力し、３以上の視差画像の任意の２枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出し、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行きを算出することを特徴とする。
【００１９】
本発明の第４の形態においては、被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、同一線上にない３以上の異なる視点位置から被写体を見た場合に得られる被写体の３以上の視差画像を入力させる入力モジュールと、３以上の視差画像の任意の２枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出させる位置ずれ検出モジュールと、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行きを算出させる奥行き情報算出モジュールとを備えたことを特徴とする。
【００２０】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２１】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２２】
（実施形態１）
本発明の第１の実施形態を説明する。図１は、画像撮像装置の一例としてのデジタルカメラ１０の構成図である。デジタルカメラ１０には、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が含まれる。デジタルカメラ１０は、主に撮像ユニット２０、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、および操作ユニット１１０を含む。
【００２３】
撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット２０はまず、映像を取り込んで処理を施す撮影レンズ２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、固体撮像素子の一例であるＣＣＤ３０、および撮像信号処理部３２を含む。撮影レンズ２２は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００２４】
デジタルカメラ１０は一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタ速度が制御できる。
【００２５】
ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、その結果得られたデジタルの画像データ（以下単に「デジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００２６】
撮像ユニット２０はさらに、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤを内装してもよく、その場合、後述のメインＣＰＵ６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００２７】
撮像制御ユニット４０は、レンズ駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。レンズ駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部４２とフォーカス駆動部４４を制御して撮影レンズ２２のズーム倍率とピントの調整を行う。また撮像系ＣＰＵ５０は、視差画像を撮像するために、レンズ駆動部４２を制御して撮影レンズ２２の位置を移動させる。
【００２８】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタ速度を決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００２９】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２６の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００３０】
処理ユニット６０は、デジタルカメラ１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００３１】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００３２】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００３３】
ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００３４】
処理ユニット６０はさらにエンコーダ７２をもつ。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００３５】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００３６】
通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００３７】
表示ユニット１００は、ＬＣＤモニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００３８】
操作ユニット１１０は、ユーザーがデジタルカメラ１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、デジタルカメラ１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００３９】
以上の構成による主な動作は以下のとおりである。まずデジタルカメラ１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００４０】
カメラが撮影モードにあるとき、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。半押し状態が検出されたとき、メインＣＰＵ６２は測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット４０が動作し、撮影レンズ２２のピント、絞りなどの調整が行われる。調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データはメインバス８２へ出力される。デジタル画像データは一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００４１】
一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。
【００４２】
本実施形態において、撮像ユニット２０は、同一直線上にない３以上の異なる視点位置から被写体の視差画像を撮像する。図２は、撮像ユニット２０の撮影レンズ２２の構成の一例である。これは撮影レンズ２２をデジタルカメラ１０の正面から見た図である。撮影レンズ２２は異なる視点位置に配置された３つの撮影レンズ２２ａ、２２ｂ、２２ｃである。死角を作らずに広い視野にわたって被写体を撮影するために、３つの撮影レンズ２２ａ、２２ｂ、２２ｃが配置される位置は、正３角形の頂点であることが好ましい。
【００４３】
撮影レンズ２２は、視野角の広い光学レンズであることが好ましく、広角レンズまたは魚眼レンズ等であってもよい。魚眼レンズは視野角が１８０度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。また、撮影レンズ２２は、同一の光軸を有する複数の光学レンズによって構成された光学レンズ系であってもよい。
【００４４】
撮像ユニット２０のＣＣＤ３０は、各々の撮影レンズ２２ａ、２２ｂ、２２ｃに対して別個に設けられ、それぞれの撮影レンズ２２ａ、２２ｂ、２２ｃが結像する被写体の像を受光してもよい。また、３つの撮影レンズ２２ａ、２２ｂ、２２ｃが結像する被写体の像を受光できる共通のＣＣＤ３０を１つ設けてもよい。
【００４５】
本実施形態のＣＣＤ３０は、固体撮像素子の一例である。固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。固体撮像素子は、撮影レンズ２２によって結像された光を受光し、光電変換作用によって電荷を蓄積する。蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。
【００４６】
固体撮像素子は、基本的に、外部から入射する光を受光して光電変換を行うための受光素子部を含む半導体素子と、半導体素子を収納するパッケージと、受光素子部への光の入射を可能にするため、パッケージの半導体素子と対向する位置に配置された透明保護部材と、透明保護部材の外側表面あるいは内側において、透明保護部材よりも高い遮光性を有する遮光部材から構成されていることが好ましい。これにより、撮像される画像の品質を向上させることができる。さらに透明保護部はマイクロレンズの機能を持つことにより、結像される画像の解像度を向上させてもよい。受光素子部と透明保護部の間に、または、透明保護部の上または透明保護部中にカラーフィルタを設け、カラーの画像を撮像できるようにしてもよい。
【００４７】
本実施形態のＣＣＤ３０は、視差画像における視差を正確に検出できるように、解像度が十分に高い電荷結合素子（ＣＣＤ）１次元イメージセンサ（リニアセンサ）又は２次元イメージセンサ（エリアセンサ）イメージセンサであることが望ましい。固体撮像素子としてＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリコン）密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【００４８】
さらに、撮影レンズ２２は視差撮影用の光学レンズ系以外に本撮影用の光学レンズ系を有し、本撮影用の光学レンズ系と視差撮影用の撮影レンズ系が、被写体の画像及び視差画像をそれぞれ異なる２つのＣＣＤ３０に撮像してもよい。本撮影用の光学レンズ系は、標準の光学レンズであってもよく、視野角の広い広角レンズまたは魚眼レンズであってもよい。本撮影用の光学レンズ系が像を受光させるＣＣＤ３０と、視差撮影用の光学レンズ系が像を受光させるＣＣＤ３０とで、ＣＣＤの解像度や感度が異なっていてもよい。
【００４９】
図３は、撮像ユニット２０の撮影レンズ２２の構成の他の例である。撮影レンズ２２が１つ設けられ、レンズ駆動部４２が撮影レンズ２２を移動させて、被写体を異なる視点から見た場合の視差画像をＣＣＤ３０に撮像する。死角を作らずに広い視野にわたって被写体を撮影するために、レンズ駆動部４２は、撮影レンズ２２を正３角形の頂点の位置に移動させることが好ましい。
【００５０】
図４は、撮像ユニット２０の撮影レンズ２２の構成の他の例である。撮影レンズ２２が１つ設けられ、レンズ駆動部４２が撮影レンズ２２を円軌道を描くように移動させ、円軌道上の適当な位置で停止し、被写体を異なる視点から見た場合の視差画像をＣＣＤ３０に撮像する。死角を作らずに広い視野にわたって被写体を撮影するためには、撮影レンズ２２の停止位置は円軌道に内接する正３角形の３つの頂点の位置にあれば十分である。したがって、レンズ駆動部４２は、撮影レンズ２２を円軌道上を移動させ、円軌道に内接する正３角形の頂点の位置で停止させ、視差画像を撮像することが好ましい。撮影レンズ２２の移動軌跡が円軌道であることは、レンズ駆動部４２のステッピングモータ等の駆動機構を構成する上で好ましい。
【００５１】
図５は、撮像ユニット２０の撮影レンズ２２の構成の他の例である。撮影レンズ２２は異なる視点位置に配置された２つの撮影レンズ２２ａ、２２ｂである。２つの撮影レンズ２２ａ、２２ｂは被写体を２つの異なる視点から見た場合の視差画像をＣＣＤ３０に撮像する。レンズ駆動部４２は撮影レンズ２２ａ、２２ｂのいずれか一方を移動させて、被写体を第３の視点から見た場合の視差画像をＣＣＤ３０に撮像する。死角を作らずに被写体を撮影するために、撮影レンズ２２ａ、２２ｂのいずれか一方の移動後の位置は、移動前の撮影レンズ２２ａ、２２ｂの位置を結ぶ直線上にはないことが好ましい。さらに、死角を作らずに広い視野にわたって被写体を撮影するために、レンズ駆動部４２は、撮影レンズ２２ａ、２２ｂのいずれか一方を移動させて、３つの視点位置が正３角形の頂点の位置になることがより好ましい。撮影レンズ２２ａ、２２ｂのいずれか一方を移動させる移動軌跡は直線であることは、レンズ駆動部４２のステッピングモータ等の駆動機構を構成する上で好ましい。
【００５２】
本実施形態の処理ユニット６０は、撮像ユニット２０が撮像した被写体の視差画像に基づいて、被写体の奥行き情報を獲得する。図６は、処理ユニット６０の機能ブロック図である。処理ユニット６０は、視差画像記憶部３０２と、位置ずれ検出部３０４と、奥行き算出部３０８と、記録部３１０とを有する。
【００５３】
視差画像記憶部３０２は、撮像ユニット２０が３以上の異なる視点位置から撮像した被写体の３以上の視差画像を記憶する。位置ずれ検出部３０４は、視差画像記憶部３０２が記憶する３以上の視差画像の任意の２枚の視差画像において、被写体の特定領域の像の位置が視差によってずれる量を検出する。任意の２枚の視差画像の組み合わせに応じて、複数の位置ずれ量が検出される。
【００５４】
奥行き算出部３０８は、位置ずれ検出部３０４が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。奥行き値の計算方法は後述する。位置ずれ検出部３０４及び奥行き算出部３０８によって、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き値が算出される。
【００５５】
奥行き算出部３０８は算出した被写体の奥行き情報を撮像制御ユニット４０へ入力し、撮像制御ユニット４０は、被写体の奥行き情報に基づいて、フォーカス駆動部４４、絞り駆動部４６及びシャッタ駆動部４８を制御して、フォーカス、絞り、シャッター速度を調整してもよい。
【００５６】
記録部３１０は、奥行き算出部３０８が算出した被写体の奥行き情報、及び視差画像記憶部３０２が記憶する被写体の視差画像をオプション装置７６に記録させる。
【００５７】
処理ユニット６０の位置ずれ検出部３０４及び奥行き算出部３０８の機能は一例として、図１のメインＣＰＵ６２と、メインメモリ６８や不揮発性メモリ６６に格納またはロードされたプログラムとの連携によって実現することができる。メインＣＰＵ６２が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。処理ユニット６０の視差画像記憶部３０２が記憶すべき視差画像データは、メインメモリ６８または不揮発性メモリ６６に記憶させることができる。また視差画像データは圧縮伸張処理部７８によって圧縮されてもよい。処理ユニット６０の記録部３１０の機能は一例として、オプション装置制御部７４によって実現することができる。また、ユーザの指示を受け付ける操作ユニット１１０が被写体の画像の特定領域を処理ユニット６０に指示し、奥行き算出部３０８は、ユーザが指定する特定領域について奥行き値を算出してもよい。デジタルカメラ１０において処理ユニット６０の上述の機能を実現する設計には相当の自由度がある。
【００５８】
次に、撮影レンズ２２の最も望ましい形態である、視野角の広い光学レンズの一例としての魚眼レンズのレンズ特性を説明する。図７は、魚眼レンズ３２０が結像する被写体の点の入射角θと、全方位画像３２２における被写体の点の像の位置との関係を説明する図である。魚眼レンズ３２０の中心はｘｙ平面の原点の位置にある。被写体の点の方位は、被写体の点から魚眼レンズ３２０への入射光が魚眼レンズ３２０の光軸となす入射角θで表される。全方位画像３２２の中心はＸＹ平面の原点の位置にある。被写体の点の全方位画像３２２上での位置を、ＸＹ平面の原点からの距離ｒで表す。この距離ｒは像高とも呼ばれる。魚眼レンズの焦点距離をｆとすると、被写体の点の位置ｒと入射角θの間には、ｒ＝ｆ・θの関係がある。
【００５９】
このように、魚眼レンズは、視野角が１８０度であり、被写体の全方位の画像を撮像面に結像することができる。特に、被写体の点の位置ｒと入射角θの間に成り立つレンズ特性を示す関係式がｒ＝ｆ・θとなる魚眼レンズは「ｆθレンズ」と呼ばれ、広く用いられている。撮影レンズ２２として、ｆθレンズの代わりに、レンズ特性を示す関係式がｒ＝ｆ・ｓｉｎθとなる「ｆｓｉｎθレンズ」と呼ばれる魚眼レンズを用いてもよい。また、一般に位置ｒが入射角θに対して単調に増加し、被写体の全方位の領域の点が、有限の位置ｒに撮像される魚眼レンズであればよく、必ずしもｆθレンズ、ｆｓｉｎθレンズの特性を示す魚眼レンズでなくてもよい。魚眼レンズは視野角が１８０度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。しかし、撮影レンズ２２は、視野角が十分に広く、広い視野にわたって被写体を撮像することができる光学レンズであれば、必ずしも魚眼レンズである必要はなく、視野角の広い広角レンズを用いてもよい。
【００６０】
図８は、２つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。魚眼レンズ３２４及び３２６は、それぞれ点Ｌ、Ｒの位置を視点位置とするように置かれている。点Ｌと点Ｒは距離２ｄだけ離れている。線３２８及び３３０はそれぞれ魚眼レンズ３２４及び３２６の光軸である。点Ｌ、Ｒの中点を点Ｏとする。被写体の奥行き値は、点Ｏからの距離によって定義する。被写体の点Ａの奥行き値は、線分ＯＡの長さＺである。また線分ＯＡが、点Ｏから引いた垂線３２９となす角をθとする。角θは点Ｏから点Ａを見た場合の点Ａの方位角である。
【００６１】
線分ＬＡが魚眼レンズ３２４の光軸３２８となす角、すなわち点Ａの魚眼レンズ３２４への入射角をθ１とし、線分ＲＡが魚眼レンズ３２６の光軸３３０となす角、すなわち点Ａの魚眼レンズ３２６への入射角をθ２とする。入射角θ１は視点Ｌから点Ａを見た場合の点Ａの方位、入射角θ２は視点Ｒから点Ａを見た場合の点Ａの方位である。視点が異なるために、点Ａの方位に差θ１−θ２が生じる。これを視差角と呼ぶ。線分ＬＡと線分ＲＡのなす角をθＡとすると、θＡ＝θ１−θ２であるから、便宜上、θＡを、点Ａを異なる視点Ｌ、Ｒから見た場合の視差角と考えてもよい。
【００６２】
魚眼レンズ３２２及び３２４がｆθレンズである場合、像高ｒと入射角θの間にｒ＝ｆ・θの関係が成立するので、視点Ｌ、Ｒから点Ａを見た場合の像高ｒＬ、ｒＲの差と、入射角θ１、θ２の差との間には、次の比例関係
【００６３】
ｒＬ−ｒＲ＝ｆ・（θ１−θ２）
が成り立つ。
【００６４】
したがって、魚眼レンズ３２４及び３２６で写した視差画像において、点Ａの像高の差ｒＬ−ｒＲを検出すると、魚眼レンズの焦点距離ｆが既知である場合、入射角の差θ１−θ２を計算することができ、視差角θＡを算出できる。
【００６５】
次に、視差角θＡと奥行き値Ｚ、方位角θの間に成り立つ関係式を導く。角ＬＡＯをθＬ、角ＲＡＯをθＲとおく。３角形ＬＡＨ及び３角形ＲＡＨに注目すると、
【００６６】
ｔａｎ（θ＋θＬ）＝（Ｚ・ｓｉｎθ＋ｄ）／（Ｚ・ｃｏｓθ）
ｔａｎ（θ−θＲ）＝（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃｏｓθ）
が成り立つ。
【００６７】
したがって、視差角θＡは、
【００６８】
図９は、視差角θＡの式（１）のグラフである。視点間距離２ｄ、及び奥行き値Ｚをある値に固定して、方位角θの値を変えて、視差角θＡの値をグラフにした。方位角θ＝０のとき、視差角θＡは最大である。方位角θ＝π／２のとき、視差角θＡは０になる。
【００６９】
図９のグラフから明らかなように、魚眼レンズの並びの横方向に近い領域にある被写体に対しては、視差角が非常に小さくなるため、視差画像上での像の位置のずれは極めて小さくなる。図１０は、被写体の視差角の大きさの違いを説明する図である。点Ａ、Ｂのように、方位角θが０に近い領域にある被写体の点については視差角θＡ、θＢが十分に大きく、視差画像上での像の位置のずれを検出することは容易である。点Ａよりも点Ｂの方が視差角が大きいから、位置ずれも大きい。これは点Ｏからの距離が近い被写体ほど、視差画像上での像の位置ずれが大きいことを意味する。点Ｃ、Ｄのように、方位角θがπ／２に近い領域にある被写体の点については視差角θＣ、θＤは小さく、視差画像上での像の位置のずれを検出することは困難になる。点Ｃよりも点Ｄの方が視差角がさらに小さくなっており、点Ｏからの距離が遠い被写体ほど、視差画像上での像の位置ずれが小さくなる。
【００７０】
図１１は、位置ずれ量の違いを天球上で説明する図である。天球は視野の無限遠方であり、図では上半球のみ示す。魚眼レンズ３２４、３２６の視点Ｌ、Ｒを結ぶ線分の中点は天球の中心Ｏである。中心Ｏを通り、直線ＬＲに垂直な平面を半円３５０とする。また、視点Ｌ、Ｒを結ぶ直線と天球が交わる点を点３５２及び３５４とする。
【００７１】
天球において、被写体の点を中心Ｏから見た場合の方位角θは、被写体の点と中心Ｏを結ぶ直線が半円３５０となす角である。方位角θが０（ゼロ）となる領域では、位置ずれが最も強く現れる。この領域は半円３５０である。
【００７２】
一方、中心Ｏから見た場合の方位角θがπ／２すなわち直角である領域では、位置ずれが完全に消失する。この領域は、点３５２と視点Ｒを結ぶ線分、及び点３５４と視点Ｌを結ぶ線分上の点である。
【００７３】
位置ずれ量は、視点Ｌ、Ｒを結ぶ直線、すなわちｘ軸の周りで対称である。半円３５０と平行な面で天球を切った場合の断面を考えると、この断面は半円であり、半円の円周上の点は同一の位置ずれ量を持つ。したがって、位置ずれ量は、ｘ軸を通る任意の平面で天球を切った断面で、議論することができる。ｘ軸を通る平面の一例として天球の地平面であるｘｙ平面を考える。
【００７４】
図１２は、位置ずれ量の違いを天球の地平面で説明する図である。被写体の点Ａが方位角θの方位にあるとして、３角形ＯＡＨをｘ軸の周りに回転してできる円錐を考える。このように、ある方位角θが決められたとき、円錐の頂点を中心Ｏとし、円錐角がπ／２−θである円錐が規定される。
【００７５】
方位角θがπ／２に近い場合、円錐内の点はｘ軸の近傍の領域にある。この円錐内の点については、位置ずれはほとんど消失する。一方、方位角θが０に近い場合、円錐角がπ／２であり、円錐内にはｙ軸近傍の点を除くほとんどの点を含むようになる。円錐外にあるｙ軸近傍の点については、位置ずれが強く現れる。
【００７６】
このように魚眼レンズの並びの横方向には、視差画像において位置のずれが小さくなる領域が存在する。この領域を「死角」領域と呼ぶ。死角領域では、位置ずれ量によって、被写体の奥行き値を求めることは困難である。したがって、視野角の広い魚眼レンズを用いたとしても、２つの視差画像から被写体の全方位にわたる奥行き値を求めることはできず、２つの視点を結ぶ方向には奥行き値を求めることが困難な死角領域が存在する。そこで本発明では、同一直線上にない３以上の異なる視点位置から被写体の３以上の視差画像を撮像することによって、死角領域における奥行き値の算出を可能にする。
【００７７】
図１３は、３つの視点から見た場合の位置ずれの関係を天球上で説明する図である。魚眼レンズ３２４、３２５及び３２６が正３角形の頂点の位置にあり、それぞれの視点をＳ、Ｕ、Ｔとする。正３角形ＳＴＵの重心は天球の中心Ｏである。中心Ｏを通り、直線ＳＴに垂直な平面を半円３６５とする。同様に、中心Ｏを通り、直線ＴＵに垂直な平面を半円３６４、中心Ｏを通り、直線ＵＳに垂直な平面を半円３６６とする。半円３６４、３６５、３６６は天球上の点３７０で交わる。
【００７８】
視点位置Ｓ、Ｔから見た場合に、半円３６５上で位置ずれが最も強く現れる。視点位置Ｔ、Ｕから見た場合に、半円３６４上で位置ずれが最も強く現れる。視点位置Ｕ、Ｓから見た場合に、半円３６６上で位置ずれが最も強く現れる。したがって、３つの半円３６４、３６５、３６６の方向に近い方向にある被写体の領域については、３つの視点位置Ｓ、Ｔ、Ｕのいずれか２つの視点位置から見た場合の位置ずれ量によって、奥行き値を算出することができる。２つの視点位置から見た場合に死角領域に当たる被写体の領域であっても、他の２つの視点位置から見た場合には位置ずれが強く現れる領域になるため、３つの異なる視点位置を設けることにより、死角領域をなくすことができる。尚、３つの半円３６４、３６５、３６６が交わる点３７０では、３つの位置ずれ量を用いて奥行き値を求めることができるので、最も精度が高くなる。
【００７９】
図１４は、３つの位置ずれの関係を天球の地平面で説明する図である。領域I及びIVの方向にある被写体の領域では、視点位置Ｓ、Ｔから見た場合の位置ずれが最も強く現れる。同様に、領域II及びV方向にある被写体の領域では、視点位置Ｔ、Ｕから見た場合の位置ずれが最も強く現れる。領域III及びVIの方向にある被写体の領域では、視点位置Ｕ、Ｓから見た場合の位置ずれが最も強く現れる。
【００８０】
このように、２つの視点位置から見た場合の２つの視差画像においては、奥行き値の算出が困難な死角領域であっても、第３の視点位置から見た視差画像を組み合わせることにより、死角領域を解消して被写体の全方位の奥行き値の算出が可能になる。
【００８１】
３以上の視差画像の任意の２枚の視差画像の組み合わせから、被写体の特定領域について複数の位置ずれが検出される。複数の位置ずれ量を組み合わせて、被写体の特定領域の奥行き値を算出する方法にはいくつもの変形が考えられる。まず、奥行き値を求めたい被写体の特定領域の方位によって、位置ずれが最も強く現れる視点位置の組み合わせを選び、その視点位置の組み合わせにおいて検出される位置ずれ量を用いて、被写体の特定領域の奥行き値を求める方法を述べる。
【００８２】
処理ユニット６０の機能ブロックとして、図６に図示した機能ブロック以外に、視差画像領域選択部３０３を備える。図１５は、視差画像領域選択部３０３の機能説明図である。視差画像記憶部３０２は、一例として図１３及び図１４に示した３つの視点位置Ｓ、Ｔ、Ｕから見た場合の３つの視差画像Ｓ、Ｔ、及びＵを記憶する。視差画像領域選択部３０３は、視差画像記憶部３０２が記憶する視差画像Ｓ、Ｔ、及びＵを、図１４で示した被写体の領域I、II、III、IV、V、VIに分割する。領域I、II、III、IV、V、VIのそれぞれにおいて、位置ずれが最も強く現れる視差画像の組み合わせを選択する。たとえば、領域Iでは視差画像ＳI、ＴIの組み合わせを選択し、領域IIでは視差画像ＴII、ＵIIの組み合わせを選択する。位置ずれ検出部３０４は、各領域I、II、III、IV、V、VIについて、選択された視差画像の組み合わせからその領域内の被写体の位置ずれ量を検出する。奥行き算出部３０８は、各領域I、II、III、IV、V、VI毎に求められた位置ずれ量に基づいて、その領域の被写体の奥行き値の分布を求める。
【００８３】
図１５のように被写体の特定領域の方位によって、位置ずれを検出する視点位置の組み合わせを選ぶのではなく、任意の２つの視点位置の組み合わせにおいて検出される複数の位置ずれ量を考慮して、被写体の特定領域の奥行き値を算出してもよい。その場合、視点位置の組み合わせの各々から検出される位置ずれ量を考慮に入れる割合を決め、その割合に基づいて各位置ずれ量を加味して奥行き値を算出してもよい。具体的には、複数の位置ずれ量から算出されるそれぞれの奥行き値について重み付け平均を計算することにより、被写体の特定領域の奥行き値を算出してもよい。
【００８４】
たとえば、被写体の特定領域の方位角θの絶対値がπ／６より小さくなるような特定の２つの視点位置の組み合わせにおいては、その特定の２つの視点位置から見た場合の位置ずれを最も大きな割合で考慮し、他の２つの視点位置の組み合わせから得られる位置ずれを小さな割合で考慮して、被写体の特定領域の奥行き値を算出してもよい。図１６は、３つの視点位置から被写体を見た場合の３つの視差角の変化を示すグラフである。図９の視差角の３つのグラフを、位相を変えて組み合わせた。方位角θの絶対値がπ／６より小さい範囲では、１つの視差角が他の２つの視差角よりも大きく、位置ずれの検出精度が高い。したがって、検出精度の最も高い位置ずれから算出される奥行き値の重み付けを最大にし、他の２つの精度が低い位置ずれから算出される奥行き値の重み付けを小さくして、３つの奥行き値の重み付け平均を計算し、被写体の特定領域の奥行き値を算出する。
【００８５】
また、視差画像に写された被写体の特定領域の奥行き値を求める際、３以上の視差画像の任意の２枚の視差画像における位置ずれをすべて求め、複数の位置ずれの中から最も検出精度が高い位置ずれを用いて、奥行き値を計算してもよい。特に重なりのある被写体を撮影した場合は、方位だけでなく、被写体の奥行き分布によって、位置ずれの検出精度が高くなる視差画像の組み合わせが変わることがある。そのため、被写体の特定領域の方位だけから、位置ずれを求めるのに使う視差画像の組み合わせを決めるのではなく、被写体の特定領域毎に、どの特定の視差画像の組み合わせにおける位置ずれ量を用いるかを決めたり、任意の２枚の視差画像における複数の位置ずれを考慮する割合を決めることがより好ましい。
【００８６】
視差角の式（１）を詳しく解析すると、位置ずれ量の検出精度が一定となる被写体の領域は、被写体の方位だけでは決まらず、被写体の奥行き値にも依存することがわかる。したがって、より正確には、被写体の方位が同じでも、被写体までの距離が違えば、位置ずれ量の検出精度が異なる。そのため、求めたい被写体の特定領域の奥行き値によって、任意の２枚の視差画像における複数の位置ずれ量を考慮する割合を変える必要が生じる。視差画像に写された被写体の特定領域の奥行き値を求める際、任意の２枚の視差画像における複数の位置ずれ量を検出して、最も検出精度の高い位置ずれ量を優先して用いて、特定領域の仮の奥行き値を算出する。その後、特定領域の方位と仮の奥行き値に基づいて、任意の２枚の視差画像における複数の位置ずれ量の考慮の割合を決めて、奥行き値を再度求め直すことがより好ましい。
【００８７】
このように、任意の２枚の視差画像における複数の位置ずれ量を用いて、被写体の奥行き値を求める計算方法にはいくつもの変形が考えられるが、いずれにしても検出精度の点で有利になるように複数の位置ずれを組み合わせて、被写体の特定領域の奥行き値を求めることに本質的な特徴があり、複数の位置ずれの組み合わせ方、計算方法には相当の自由度がある。
【００８８】
また、３つの魚眼レンズの配置の仕方にも自由度がある。図１３では３つの魚眼レンズが天球の地平面において正３角形の頂点に配置され、各魚眼レンズの光軸は正３角形に垂直な方向であった。しかし魚眼レンズの配置の仕方はこれに限られない。図１７は、３つの視点位置から見た場合の位置ずれの関係を天球上で説明する図である。魚眼レンズ３２４、３２５及び３２６が天球の地平面に対して垂直な正３角形の頂点の位置にあり、正３角形の重心は天球の中心Ｏを通る。魚眼レンズ３２４、３２５及び３２６のそれぞれの視点はＳ、Ｕ、Ｔであり、各魚眼レンズの光軸は、正３角形ＳＴＵが作る平面内にある。中心Ｏを通り、直線ＳＴに垂直な平面を半円３６５とする。同様に、中心Ｏを通り、直線ＴＵに垂直な平面を半円３６４、中心Ｏを通り、直線ＵＳに垂直な平面を半円３６６とする。半円３６４、３６５、３６６は天球の地平面の点３７２で交わる。
【００８９】
視点位置Ｓ、Ｔから見た場合には、半円３６５上で位置ずれが最も強く現れ、視点位置Ｔ、Ｕから見た場合には、半円３６４上で位置ずれが最も強く現れ、視点位置Ｕ、Ｓから見た場合に、半円３６６上で位置ずれが最も強く現れる。したがって、３つの半円３６４、３６５、３６６の方向に近い方向にある被写体の領域については、３つの視点位置Ｓ、Ｔ、Ｕのいずれか２つの視点位置から見た場合の位置ずれ量によって、奥行き値を算出することができる。また、３つの半円３６４、３６５、３６６が交わる点３７０では、３つの位置ずれ量を用いて奥行き値を求めることができるので、最も精度が高くなる。このように３つの魚眼レンズを配置する位置には自由度がある。死角を解消するために、３つの視点位置が同一直線上にないこと、さらに好ましくは３つの視点位置を結ぶ３角形が正３角形であることが望ましい。
【００９０】
図１８は、被写体の奥行き値の算出処理のフローチャートである。撮像ユニット２０が同一直線上にない３以上の異なる視点位置から撮像した３以上の被写体の視差画像を入力する（Ｓ１００）。視差画像に写された被写体の特定領域を選択する（Ｓ１０２）。特定領域の選択は、視差画像の領域を適当に分割し、自動的に分割された領域を順次選択してもよく、ユーザが操作ユニット１１０を用いて指定した被写体の領域を選択してもよい。位置ずれ検出部３０４は、任意の２枚の視差画像における被写体の特定領域の像の複数の位置ずれ量を検出する（Ｓ１０４）。奥行き算出部３０８は、特定領域の像の複数の位置ずれ量を用いて、特定領域の奥行き値を算出する（Ｓ１０８）。
【００９１】
図１９は、奥行き値算出処理Ｓ１０８のフローチャートである。被写体の特定領域の方位角θに基づいて、複数の位置ずれ量を考慮する割合γを決める（Ｓ２００）。特定の２つの視点位置の中点から見た場合の方位角θが０に近い場合に、その特定の２つの視点位置から見た場合の２つの視差画像における位置ずれを考慮する割合を大きくし、他の２つの視差画像の組み合わせにおける位置ずれを考慮する割合を小さくする。次に、２つの視差画像の組み合わせの各々における位置ずれ量に基づいて、式（１）を用いて特定領域の奥行き値Ｚｉ（ｉ＝１、２、…）を算出する（Ｓ２０２）。複数の位置ずれを考慮する割合γに基づいて、奥行き値Ｚｉ（ｉ＝１、２、…）を合成して、特定領域の奥行き値Ｚを算出する。奥行き値Ｚｉ（ｉ＝１、２、…）を合成して奥行き値Ｚを算出する方法として、たとえば、割合γでＺｉ（ｉ＝１、２、…）の重み付け平均を計算してＺとする。
【００９２】
奥行き値算出処理Ｓ１０８には、いくつかの変形が考えられる。図２０は、奥行き値算出処理Ｓ１０８の変形例のフローチャートである。被写体の特定領域について、任意の２枚の視差画像における複数の位置ずれの検出精度を比較して、複数の位置ずれの考慮の割合γを決める（Ｓ２０１）。それ以降のＳ２０２及びＳ２０６の処理は図１９と同じである。この変形例では、被写体の特定領域の方位角θで割合γを決めるのではなく、任意の２枚の視差画像における特定領域の複数の位置ずれの検出精度の良い方の考慮の度合いを大きくするように割合γを決める。
【００９３】
図２１は、奥行き値算出処理Ｓ１０８の他の変形例のフローチャートである。被写体の特定領域について、任意の２枚の視差画像における複数の位置ずれ量の検出精度を比較し、最も検出精度の良い位置ずれ量に基づいて、特定領域の仮の奥行き値ＺＫを算出する（Ｓ２１０）。特定領域の方位角θと仮の奥行き値ＺＫに基づいて、複数の位置ずれを考慮する割合γを決める（Ｓ２１２）。それ以降のＳ２０２及びＳ２０６の処理は図１９と同じである。この変形例では、割合γを、視差角θと仮の奥行き値ＺＫから決める点が異なる。
【００９４】
図２２は、被写体の奥行き値の他の算出処理のフローチャートである。撮像ユニット２０が同一直線上にない３以上の異なる視点位置から撮像した３以上の被写体の視差画像を入力する（Ｓ１００）。視差画像に写された被写体の特定領域を選択する（Ｓ１０２）。特定領域の選択は、視差画像の領域を適当に分割し、自動的に分割された領域を順次選択してもよく、ユーザが操作ユニット１１０を用いて指定した被写体の領域を選択してもよい。位置ずれ検出部３０４は、被写体の特定領域の方位角θがπ／６より小さくなるような特定の２枚の視差画像を選択し（Ｓ１２４）、その特定の２枚の視差画像における特定領域の像の位置ずれを検出する（Ｓ１２６）。奥行き算出部３０８は、特定の２枚の視差画像において検出された特定領域の像の位置ずれ量を用いて、特定領域の奥行き値を算出する（Ｓ１２８）。
【００９５】
位置ずれ量の検出の精度や処理コストは、撮像ユニット２０のＣＣＤ３０の解像度や画像処理を行う処理ユニット６０のメインＣＰＵ６２、不揮発性メモリ６６、メインメモリ６８、メインバス８２等の処理性能等、ハードウエア性能に依存する面と、被写体の特定領域を抽出し、位置ずれを検出する画像処理手法のアルゴリズム性能等、システムの機能構成に依存する面がある。そのため、一概に、任意の２枚の視差画像における複数の位置ずれの考慮の割合を、式（１）から理論的に導出される検出精度から決めるとは限らない。
【００９６】
このように、複数の位置ずれ量を用いて、被写体の奥行き値を求める計算方法には、被写体の領域の方位角、被写体の奥行きの推定値、位置ずれ量の検出精度や処理コスト、ハードウエア性能やシステムの機能構成等に基づいて、いくつものバリエーションが考えられる。いずれにしても、本実施形態の画像撮像装置によれば、被写体の領域の方位によって複数の位置ずれのいずれかの検出精度が低くなる場合や、いずれかの方位の位置ずれの検出の処理コストが高くなる場合に、他方の位置ずれ量によって補完することで、被写体の全方位の領域の奥行き情報を高い精度で効率良く算出できる。
【００９７】
以上述べたように、本実施形態の画像撮像装置によれば、３以上の視点位置から視野角の広いレンズを用いて被写体の３以上の視差画像を撮影し、被写体の像の複数の位置ずれ量を検出し、複数の位置ずれ量を用いて被写体の奥行き値を求めることができる。被写体の領域の方位によって、２つの視点位置から見た視差画像の位置ずれ量だけでは検出精度が落ちる場合でも、第３の視点位置から見た視差画像を組み合わせることにより、位置ずれの検出精度を上げることができるため、広い視野にわたって被写体の奥行き情報を高い精度で効率よく算出することができる。
【００９８】
また、本実施形態の画像撮像装置は、監視用カメラとして利用することもできる。従来の監視用カメラは、全方位の画像を得るために、カメラを駆動させなければならなかった。本実施形態の画像撮像装置を監視カメラとして用いた場合、カメラを駆動させなくても、全方位の被写体を撮影し、奥行き情報を算出することができる。得られた奥行き情報から、人物等の主要被写体を容易に抽出することができるため、銀行や小売店に設置して、防犯に利用することができる。
【００９９】
（実施形態２）
本発明の第２の実施形態を説明する。図２３は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム２００の構成図である。本実施形態のラボシステム２００は、入力部２１０と、処理部２２０と、記録部２４０と、出力部２５０とを有する。
【０１００】
入力部２１０は、被写体の画像データを入力する。画像データとして、被写体を異なる視点から見た場合の視差画像を入力する。デジタルカメラ等で撮影された対象物のデジタル画像を入力する場合、入力部２１０には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。また、フロッピーディスク、ＭＯ、ＣＤ−ＲＯＭ等から画像データを読み取る場合は、入力部２１０として、それぞれフロッピードライブ、ＭＯドライブ、ＣＤドライブ等が用いられてもよい。
【０１０１】
処理部２２０は、入力部２１０が入力した視差画像を記憶し、被写体の奥行き情報を算出する。処理部２２０は算出した奥行き情報を視差画像とともに記録部２４０に出力する。また処理部２２０は算出した奥行き情報をもとに、被写体の画像を処理して、記録部２４０と出力部２５０に出力してもよい。
【０１０２】
記録部２４０は、処理部２２０が出力した奥行き情報または画像データを着脱自在な記録媒体に記録する。記録媒体として、書き込み可能なＣＤ−ＲＯＭ、ＤＶＤ等の光記録媒体や、ＭＯ等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。記録部２４０として、ＣＤ−Ｒドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピードライブ等が用いられる。また、記録部２４０は、フラッシュメモリ、メモリカード等の半導体メモリに奥行き情報または画像データを記録してもよい。
【０１０３】
出力部２５０は、処理部２２０が出力した被写体の処理された画像データを画像として出力する。例えば画像を画面表示する場合、出力部２５０には画像を表示するモニタが用いられる。また例えば画像を印刷する場合、出力部２５０にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。
【０１０４】
図２４は、処理部２２０の機能構成図である。処理部２２０は、視差画像記憶部３０２と、位置ずれ検出部３０４と、奥行き算出部３０８と、画像変換部３１２とを有する。
【０１０５】
視差画像記憶部３０２は、入力部２１０が入力した被写体の３以上の視差画像のデータをＲＡＭ等の半導体メモリまたはハードディスク等の磁気記録媒体に記憶する。位置ずれ検出部３０４は、視差画像記憶部３０２が記憶する３以上の視差画像の任意の２枚の視差画像の組み合わせにおいて、被写体の特定領域の像の位置が視差によってずれる量を検出する。奥行き算出部３０８は、位置ずれ検出部３０４が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。
【０１０６】
位置ずれ検出部３０４及び奥行き算出部３０８が、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き情報を算出する処理については、第１の実施形態と同じであるから、説明を省略する。
【０１０７】
画像変換部３１２は、奥行き算出部３０８が算出した被写体の奥行き情報に基づいて、被写体の画像を処理する。画像変換部３１２は、被写体の奥行き情報、視差画像、または処理された画像を記憶部２４０と出力部２５０に出力する。
【０１０８】
画像変換部３１２は、被写体の奥行き情報に基づいて魚眼レンズで撮影された被写体の全方位画像を透視投影画像に変形してもよい。図２５は、全方位画像から透視投影画像への変換を説明する図である。魚眼レンズで撮影された被写体の全方位画像３５６上の点または領域について、奥行き値が算出されているので、座標変換を行うことにより、その点または領域を透視投影画像３５８上に写像することができる。透視投影画像３５８は、通常の標準レンズで被写体を撮影したときの画像である。
【０１０９】
画像変換部３１２は、被写体の奥行き情報に基づいて、魚眼レンズで撮影された被写体の全方位画像から、被写体の正面図、側面図、上面図等の正投影図法の画像を生成してもよい。図２６は、魚眼レンズで撮影された部屋の間取りの模式図である。魚眼レンズにより部屋の天井付近から部屋の全方位を撮影している。図２７は、全方位画像を座標変換して得られた部屋の平面図である。部屋の全方位の奥行き情報を利用することにより、全方位画像はこのような平面図に変換することができる。図２８は、全方位画像を座標変換して得られた部屋の側面図である。このように、画像変換部３１２は、被写体の全方位の奥行き情報に基づいて、被写体の全方位画像から、被写体の正面図、側面図、上面図等の正投影画像を生成し、設計図等の作成に役立てることができる。このような画像変換処理は、建築や都市計画の場面で広く使われる。
【０１１０】
本実施形態の画像処理装置によれば、視野角の広いレンズで撮影された被写体の視差画像を入力して、広い視野にわたる被写体の奥行き情報を算出することができる。また算出された奥行き情報に基づいて、画像処理を行い、ＣＡＤ等の図面データを作成することができる。また、全方位の奥行き情報のある画像データは、ＣＧ（コンピュータグラフィックス）やシミュレーションに利用することができる。
【０１１１】
（実施形態３）
次に、本発明の第３の実施形態を説明する。図２９は、画像処理装置の構成図である。本実施形態の画像処理装置の基本的な構成及び動作は、第２の実施形態の画像処理装置と同様である。本実施形態では、画像処理装置の処理部２２０として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第２の実施形態と異なる。
【０１１２】
図２９を参照しながら、本実施形態の処理部２２０のハードウエア構成を説明する。ＣＰＵ２３０はＲＯＭ２３２及びＲＡＭ２３４に格納されたプログラムに基づいて動作する。キーボード、マウス等の入力装置２３１を介して利用者によりデータが入力される。ハードディスク２３３は、画像等のデータ、及びＣＰＵ２３０を動作させるプログラムを格納する。ＣＤ−ＲＯＭドライブ２３５はＣＤ−ＲＯＭ２９０からデータ又はプログラムを読み取り、ＲＡＭ２３４、ハードディスク２３３及びＣＰＵ２３０の少なくともいずれかに提供する。
【０１１３】
ＣＰＵ２３０が実行するプログラムの機能構成は、第２の実施形態の画像処理装置の処理部２２０の機能構成と同じであり、視差画像記憶モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、画像変換モジュールとを有する。
【０１１４】
視差画像記憶モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第２の実施形態の画像処理装置の処理部２２０における、視差画像記憶部３０２、位置ずれ検出部３０４、奥行き算出部３０８、及び画像変換部３１２の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。
【０１１５】
上記のプログラムは記録媒体から直接ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。あるいは、上記のプログラムは記録媒体からハードディスク２３３にインストールされ、ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。
【０１１６】
記録媒体としては、ＣＤ−ＲＯＭ２９０の他にも、ハードディスク、ＲＯＭやＲＡＭ等のメモリ、ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクやミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。
【０１１７】
上記のプログラムは、単一の記録媒体に格納されてもよいし、複数の記録媒体に分割されて格納されてもよい。また、上記プログラムは記録媒体に圧縮されて格納されてもよい。圧縮されたプログラムは伸張され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。さらに、圧縮されたプログラムはＣＰＵ２３０によって伸張され、ハードディスク２３３等にインストールされた後、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【０１１８】
さらに、記録媒体の一例としてのＣＤ−ＲＯＭ２９０は、通信ネットワークを介して、ホストコンピュータによって提供される上記のプログラムを格納してもよい。記録媒体に格納された上記のプログラムは、ホストコンピュータのハードディスクに格納され、通信ネットワークを介してホストコンピュータから当該コンピュータに送信され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【０１１９】
上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【０１２０】
（実施形態４）
次に、本発明の第４の実施形態を説明する。本実施形態の画像撮像装置の一例は、カメラを内蔵したノート型コンピュータやカメラを内蔵した携帯型電子端末等の電子機器等である。これらの場合、ノート型コンピュータや携帯型電子端末の電子計算機部分は主に図２９に示した処理部２２０として機能する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置の処理ユニット６０を、図２９に示した処理部２２０のハードウエア構成に換えたものである。本実施形態の画像撮像装置の基本的な構成及び動作は、第１の実施形態の画像撮像装置と同様である。
【０１２１】
本実施形態の処理部２２０のハードウエア構成は、第３の実施形態の処理部２２０のハードウエア構成と同じであるから説明を省略する。ＣＰＵ２３０が実行するプログラムの機能構成は、第１の実施形態の画像撮像装置の処理ユニット６０の機能構成と同じであり、視差画像記憶モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、記録モジュールとを有する。
【０１２２】
視差画像記憶モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第１の実施形態の画像撮像装置の処理部２２０における、視差画像記憶部３０２、位置ずれ検出部３０４、奥行き算出部３０８、及び記録部３１０の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像撮像装置の動作の一部又は全ての機能を格納することができる。
【０１２３】
上記のプログラムを格納した記録媒体は、本出願の画像撮像装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【０１２４】
以上述べたように、本発明の画像撮像装置及び画像処理装置によれば、３以上の視点位置から見た被写体の３以上の視差画像から、被写体の特定領域の像の位置ずれを複数個検出することができ、複数の位置ずれ量を用いて被写体の奥行き値を求めることができる。２つの視点位置から見た場合の２つの視差画像においては、奥行き値の算出が困難な死角領域であっても、第３の視点位置から見た視差画像を組み合わせることにより、死角領域を解消することができ、広い視野にわたって被写体の奥行き情報を高い精度で算出することができる。
【０１２５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２６】
【発明の効果】
上記説明から明らかなように、本発明によれば広い視野にわたって被写体の奥行きに関する情報を高い精度で取得することができる。
【図面の簡単な説明】
【図１】 画像撮像装置の一例としてのデジタルカメラ１０の構成図である。
【図２】 撮像ユニット２０の撮影レンズ２２の構成の一例である。
【図３】 撮像ユニット２０の撮影レンズ２２の構成の他の例である。
【図４】 撮像ユニット２０の撮影レンズ２２の構成の他の例である。
【図５】 撮像ユニット２０の撮影レンズ２２の構成の他の例である。
【図６】 処理ユニット６０の機能ブロック図である。
【図７】 魚眼レンズ３２０が結像する被写体の点の入射角θと、全方位画像３２２における被写体の点の像の位置との関係を説明する図である。
【図８】 ２つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。
【図９】 視差角θＡの式（１）のグラフである。
【図１０】 被写体の視差角の大きさの違いを説明する図である。
【図１１】 位置ずれ量の違いを天球上で説明する図である。
【図１２】 位置ずれ量の違いを天球の地平面で説明する図である。
【図１３】 ３つの視点から見た場合の位置ずれの関係を天球上で説明する図である。
【図１４】 ３つの位置ずれの関係を天球の地平面で説明する図である。
【図１５】 視差画像領域選択部３０３の機能説明図である。
【図１６】 ３つの視点位置から被写体を見た場合の３つの視差角の変化を示すグラフである。
【図１７】 ３つの視点位置から見た場合の位置ずれの関係を天球上で説明する図である。
【図１８】 被写体の奥行き値の算出処理のフローチャートである。
【図１９】 奥行き値算出処理Ｓ１０８のフローチャートである。
【図２０】 奥行き値算出処理Ｓ１０８の変形例のフローチャートである。
【図２１】 奥行き値算出処理Ｓ１０８の他の変形例のフローチャートである。
【図２２】 被写体の奥行き値の他の算出処理のフローチャートである。
【図２３】 画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム２００の構成図である。
【図２４】 処理部２２０の機能構成図である。
【図２５】 全方位画像から透視投影画像への変換を説明する図である。
【図２６】 魚眼レンズで撮影された部屋の間取りの模式図である。
【図２７】 全方位画像を座標変換して得られた部屋の平面図である。
【図２８】 全方位画像を座標変換して得られた部屋の正投影画像である。
【図２９】 画像処理装置の構成図である。
【符号の説明】
１０ デジタルカメラ ２０ 撮像ユニット
４０ 撮像制御ユニット ６０ 処理ユニット
１００ 表示ユニット １１０ 操作ユニット
２００ 画像処理装置 ２１０ 入力部
２２０ 処理部 ２４０ 記録部
２５０ 出力部 ２９０ 記録媒体
３０２ 視差画像記憶部 ３０３ 視差画像領域選択部
３０４ 位置ずれ検出部 ３０８ 奥行き算出部
３１０ 記録部 ３１２ 画像変換部
３２４、３２５、３２６ 魚眼レンズ
Claims (33)
- 被写体の奥行きに関する情報を取得する画像撮像装置であって、
同一直線上にない３以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の３以上の視差画像を撮像する撮像部と、
前記３以上の視差画像の任意の２枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、
前記位置ずれ検出部が検出した前記複数の位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
を備え、
前記奥行き算出部は、前記被写体の前記特定領域を前記３以上の視点位置の略中心の位置から見た場合の方位によって、前記複数の位置ずれを考慮する割合を変えて、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする画像撮像装置。 - 前記奥行き算出部は、前記被写体の前記特定領域が、前記３以上の視点位置の特定の２つの視点位置を結ぶ直線の方向に近いほど、前記特定の２つの視点位置から見た場合の特定の２枚の視差画像において検出される前記位置ずれの考慮の割合を小さくし、前記被写体の前記特定領域が、前記特定の２つの視点位置を結ぶ線分の中点を通り前記線分と垂直に交わる平面に近いほど、前記特定の２枚の視差画像において検出される前記位置ずれの考慮の割合を大きくして、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項１に記載の画像撮像装置。
- 前記奥行き算出部は、前記被写体の前記特定領域の方位角が、前記３以上の視点位置の特定の２つの視点位置間の中点から見た場合に、３０°より小さくなる場合に、前記特定の２つの視点位置から見た場合の特定の２枚の視差画像において検出される前記位置ずれに基づいて、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項１に記載の画像撮像装置。
- 前記視点位置は３箇所であり、前記３箇所の視点位置間を結ぶ３角形が略正３角形であることを特徴とする請求項１に記載の画像撮像装置。
- 前記撮像部は、同一直線上にない３以上の視点位置に視野角の広い３以上の光学レンズを設け、前記３以上の光学レンズによって前記被写体の前記３以上の視差画像を撮像することを特徴とする請求項１に記載の画像撮像装置。
- 前記光学レンズの設置位置は３箇所であり、前記３箇所の設置位置を結ぶ３角形が略正３角形であることを特徴とする請求項５に記載の画像撮像装置。
- 前記撮像部は、視野角の広い光学レンズを有し、前記光学レンズを同一直線上にない３以上の視点位置に移動させる駆動部をさらに備え、前記撮像部は、前記駆動部が前記光学レンズを前記３以上の視点位置に移動させた場合に、前記被写体の前記３以上の視差画像を撮像することを特徴とする請求項１に記載の画像撮像装置。
- 前記駆動部は、前記光学レンズの移動軌跡が円形になるように移動させ、前記円形の移動軌跡上の３以上の点を前記３以上の視点位置とすることを特徴とする請求項７に記載の画像撮像装置。
- 前記光学レンズの前記円形の移動軌跡上の３点を視点位置とし、前記３点の視点位置を結ぶ３角形が略正三角形であることを特徴とする請求項８に記載の画像撮像装置。
- 前記撮像部は、２つの異なる視点位置に２つの視野角の広い光学レンズを設け、前記２つの光学レンズのいずれか一方を前記２つの異なる視点位置を結ぶ直線上にはない他の視点位置に移動させる駆動部をさらに備え、前記撮像部は、前記２つの光学レンズによって前記被写体の前記視差画像を撮像し、前記駆動部が前記２つの光学レンズのいずれか一方を移動させた場合に、前記被写体の前記視差画像を撮像することによって前記３以上の視差画像を撮像することを特徴とする請求項１に記載の画像撮像装置。
- 前記駆動部は、前記２つの光学レンズのいずれか一方を直線移動させた点を第３の視点位置とし、前記２つの光学レンズの移動前の２つの視点位置と前記第３の視点位置とを結ぶ３角形が略正３角形であることを特徴とする請求項１０に記載の画像撮像装置。
- 前記３以上の視点位置における前記光学レンズの光軸方向は同一であることを特徴とする請求項５、請求項７、または請求項１０に記載の画像撮像装置。
- 前記光学レンズは魚眼レンズであり、前記奥行き算出部は、前記撮像部が前記魚眼レンズによって撮像する前記被写体の全方位の領域について前記奥行きを算出することを特徴とする請求項５、請求項７、または請求項１０に記載の画像撮像装置。
- 前記撮像部は、
前記視差画像を撮像するための視差撮影用の光学レンズ系と、
被写体の画像を撮像するための本撮影用の光学レンズ系と
を有し、
前記視差撮影用の光学レンズ系が像を受光させるＣＣＤと、前記本撮影用の光学レンズ系が像を受光させるＣＣＤとで、解像度又は感度が異なることを特徴とする請求項１に記載の画像撮像装置。 - 被写体の奥行きに関する情報を取得する画像撮像装置であって、
同一直線上にない３以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の３以上の視差画像を撮像する撮像部と、
前記３以上の視差画像の任意の２枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、
前記位置ずれ検出部が検出した前記複数の位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
を備え、
前記撮像部は、視野角の広い光学レンズを有し、前記光学レンズを同一直線上にない３以上の視点位置に移動させる駆動部をさらに備え、前記撮像部は、前記駆動部が前記光学レンズを前記３以上の視点位置に移動させた場合に、前記被写体の前記３以上の視差画像を撮像することを特徴とする画像撮像装置。 - 前記駆動部は、前記光学レンズの移動軌跡が円形になるように移動させ、前記円形の移動軌跡上の３以上の点を前記３以上の視点位置とすることを特徴とする請求項１５に記載の画像撮像装置。
- 前記光学レンズの前記円形の移動軌跡上の３点を視点位置とし、前記３点の視点位置を結ぶ３角形が略正三角形であることを特徴とする請求項１６に記載の画像撮像装置。
- 前記撮像部は、
前記視差画像を撮像するための視差撮影用の光学レンズ系と、
被写体の画像を撮像するための本撮影用の光学レンズ系と
を有し、
前記視差撮影用の光学レンズ系が像を受光させるＣＣＤと、前記本撮影用の光学レンズ系が像を受光させるＣＣＤとで、解像度又は感度が異なることを特徴とする請求項１５に記載の画像撮像装置。 - 被写体の奥行きに関する情報を取得する画像撮像装置であって、
同一直線上にない３以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の３以上の視差画像を撮像する撮像部と、
前記３以上の視差画像の任意の２枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、
前記位置ずれ検出部が検出した前記複数の位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
を備え、
前記撮像部は、２つの異なる視点位置に２つの視野角の広い光学レンズを設け、前記２つの光学レンズのいずれか一方を前記２つの異なる視点位置を結ぶ直線上にはない他の視点位置に移動させる駆動部をさらに備え、前記撮像部は、前記２つの光学レンズによって前記被写体の前記視差画像を撮像し、前記駆動部が前記２つの光学レンズのいずれか一方を移動させた場合に、前記被写体の前記視差画像を撮像することによって前記３以上の視差画像を撮像することを特徴とする画像撮像装置。 - 前記駆動部は、前記２つの光学レンズのいずれか一方を直線移動させた点を第３の視点位置とし、前記２つの光学レンズの移動前の２つの視点位置と前記第３の視点位置とを結ぶ３角形が略正３角形であることを特徴とする請求項１９に記載の画像撮像装置。
- 前記３以上の視点位置における前記光学レンズの光軸方向は同一であることを特徴とする請求項１９に記載の画像撮像装置。
- 前記光学レンズは魚眼レンズであり、前記奥行き算出部は、前記撮像部が前記魚眼レンズによって撮像する前記被写体の全方位の領域について前記奥行きを算出することを特徴とする請求項１９に記載の画像撮像装置。
- 前記撮像部は、
前記視差画像を撮像するための視差撮影用の光学レンズ系と、
被写体の画像を撮像するための本撮影用の光学レンズ系と
を有し、
前記視差撮影用の光学レンズ系が像を受光させるＣＣＤと、前記本撮影用の光学レンズ系が像を受光させるＣＣＤとで、解像度又は感度が異なることを特徴とする請求項１５に記載の画像撮像装置。 - 被写体の奥行きに関する情報を取得する画像処理装置であって、
同一線上にない３以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の３以上の視差画像を入力する入力部と、
前記３以上の視差画像の任意の２枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、
前記被写体の前記特定領域を前記３以上の視点位置の略中心の位置から見た場合の方位によって、前記複数の位置ずれを考慮する割合を変えて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
を備えたことを特徴とする画像処理装置。 - 前記奥行き算出部が算出した前記被写体の前記特定領域の前記奥行きに基づいて、前記入力部が入力する前記被写体の画像の座標変換を行うことにより前記画像を変換する画像変換部をさらに備えたことを特徴とする請求項２４に記載の画像処理装置。
- 前記入力部が入力する前記被写体の前記画像が魚眼レンズによって前記被写体を撮像した全方位画像である場合に、前記画像変換部は、前記座標変換によって、前記全方位画像を透視投影画像に変換することを特徴とする請求項２５に記載の画像処理装置。
- 前記画像変換部は、前記座標変換によって、前記被写体の正投影画像を生成することを特徴とする請求項２５に記載の画像処理装置。
- 被写体の奥行きに関する情報を取得する画像処理方法であって、
同一線上にない３以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の３以上の視差画像を入力し、
前記３以上の視差画像の任意の２枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出し、
前記被写体の前記特定領域を前記３以上の視点位置の略中心の位置から見た場合の方位によって、前記複数の位置ずれを考慮する割合を変えて、前記被写体の前記特定領域の奥行きを算出する
ことを特徴とする画像処理方法。 - 算出された前記被写体の前記特定領域の前記奥行きに基づいて、入力される前記被写体の画像の座標変換を行うことにより前記画像を変換することを特徴とする請求項２８に記載の画像処理方法。
- 入力される前記被写体の前記画像が魚眼レンズによって前記被写体を撮像した全方位画像である場合に、前記座標変換によって、前記全方位画像を透視投影画像に変換することを特徴とする請求項２９に記載の画像処理方法。
- 被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、
同一線上にない３以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の３以上の視差画像を入力させる入力モジュールと、
前記３以上の視差画像の任意の２枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出させる位置ずれ検出モジュールと、
前記被写体の前記特定領域を前記３以上の視点位置の略中心の位置から見た場合の方位によって、前記複数の位置ずれを考慮する割合を変えて、前記被写体の前記特定領域の奥行きを算出させる奥行き情報算出モジュールと
を備えたことを特徴とする記録媒体。 - 前記奥行き算出モジュールが算出させた前記被写体の前記特定領域の前記奥行きに基づいて、前記入力モジュールが入力させる前記被写体の画像の座標変換を行うことにより前記画像を変換する画像変換モジュールをさらに備えたことを特徴とする請求項３１に記載の記録媒体。
- 前記入力モジュールが入力させる前記被写体の前記画像が魚眼レンズによって前記被写体を撮像した全方位画像である場合に、前記画像変換モジュールは、前記座標変換によって、前記全方位画像を透視投影画像に変換することを特徴とする請求項３２に記載の記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32170199A JP3907891B2 (ja) | 1999-11-11 | 1999-11-11 | 画像撮像装置及び画像処理装置 |
| US09/708,582 US6876762B1 (en) | 1999-11-11 | 2000-11-09 | Apparatus for imaging and image processing and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32170199A JP3907891B2 (ja) | 1999-11-11 | 1999-11-11 | 画像撮像装置及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001141423A JP2001141423A (ja) | 2001-05-25 |
| JP3907891B2 true JP3907891B2 (ja) | 2007-04-18 |
Family
ID=18135471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32170199A Expired - Lifetime JP3907891B2 (ja) | 1999-11-11 | 1999-11-11 | 画像撮像装置及び画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6876762B1 (ja) |
| JP (1) | JP3907891B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020141635A1 (en) * | 2001-01-24 | 2002-10-03 | Swift David C. | Method and system for adjusting stereoscopic image to optimize viewing for image zooming |
| JP3698420B2 (ja) * | 2001-06-12 | 2005-09-21 | シャープ株式会社 | 画像監視装置及び画像監視方法及び画像監視処理プログラム |
| WO2004008744A1 (ja) * | 2002-07-12 | 2004-01-22 | Iwane Laboratories, Ltd. | 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 |
| US7518649B2 (en) * | 2003-09-04 | 2009-04-14 | Canon Kabushiki Kaisha | Image pickup apparatus and control method therefor, and control program |
| JP4383833B2 (ja) * | 2003-11-17 | 2009-12-16 | 東芝モバイルディスプレイ株式会社 | 表示装置 |
| FR2864878B1 (fr) * | 2004-01-06 | 2006-04-14 | Thomson Licensing Sa | Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede |
| JP4554954B2 (ja) * | 2004-02-19 | 2010-09-29 | 康史 八木 | 全方位撮像システム |
| TWI269206B (en) * | 2004-05-05 | 2006-12-21 | Sunplus Technology Co Ltd | Setting device for changing the resolution of the track of a multi-step mouse |
| JP4243692B2 (ja) * | 2005-03-16 | 2009-03-25 | 国立大学法人東京工業大学 | 立体形状検出装置及び立体形状検出方法 |
| JP4825971B2 (ja) * | 2005-07-14 | 2011-11-30 | 国立大学法人岩手大学 | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 |
| JP4523538B2 (ja) * | 2005-11-25 | 2010-08-11 | 株式会社 日立ディスプレイズ | 立体映像撮影表示装置 |
| JP4698540B2 (ja) * | 2006-09-19 | 2011-06-08 | Ｎｅｃアクセステクニカ株式会社 | 目標物判別システム、目標物判別方法および目標物判別制御プログラム |
| JP5011528B2 (ja) * | 2006-10-06 | 2012-08-29 | 国立大学法人岩手大学 | ３次元距離計測センサおよび３次元距離計測方法 |
| JP4748257B2 (ja) * | 2008-08-04 | 2011-08-17 | ソニー株式会社 | 生体認証装置 |
| JP5275760B2 (ja) * | 2008-11-14 | 2013-08-28 | 三洋電機株式会社 | 立体画像表示システム |
| EP2719160A2 (en) | 2011-06-06 | 2014-04-16 | 3Shape A/S | Dual-resolution 3d scanner |
| JP5769149B2 (ja) * | 2011-07-20 | 2015-08-26 | 国際航業株式会社 | モバイルマッピングシステム、及びこれを用いた沿道対象物の計測方法と、位置特定プログラム |
| DE102014104027B4 (de) * | 2014-03-24 | 2020-10-29 | Sick Ag | Optoelektronische Vorrichtung und Verfahren zur Erfassung von Objektinformationen |
| JP6611531B2 (ja) * | 2015-09-16 | 2019-11-27 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、およびプログラム |
| JP6662449B2 (ja) | 2016-03-09 | 2020-03-11 | 株式会社ニコン | 検出装置、検出システム、検出方法、及び検出プログラム |
| DE102017215810A1 (de) * | 2017-09-07 | 2019-03-07 | Siemens Aktiengesellschaft | Multikamerasystem für ein Fahrzeug |
| DE102017128698A1 (de) * | 2017-12-04 | 2019-06-06 | Innogy Innovation Gmbh | Verfahren und System zur Bestimmung einer Position eines Objektes |
| CN116385370A (zh) * | 2023-02-28 | 2023-07-04 | 深圳市睿联技术股份有限公司 | 鱼眼图像处理方法、装置、电子设备和存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2523369B2 (ja) * | 1989-03-14 | 1996-08-07 | 国際電信電話株式会社 | 動画像の動き検出方法及びその装置 |
| JP2611173B2 (ja) * | 1992-06-11 | 1997-05-21 | 運輸省船舶技術研究所長 | 魚眼レンズを用いた測位方法およびその装置 |
| US5621866A (en) * | 1992-07-24 | 1997-04-15 | Fujitsu Limited | Image processing apparatus having improved frame buffer with Z buffer and SAM port |
| US6008945A (en) * | 1996-09-19 | 1999-12-28 | Fergason; James L. | Display system using conjugate optics and accommodation features and method of displaying and viewing an image |
| JPH11175762A (ja) * | 1997-12-08 | 1999-07-02 | Katsushi Ikeuchi | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 |
| JPH11242745A (ja) * | 1998-02-25 | 1999-09-07 | Victor Co Of Japan Ltd | 顔画像の計測・処理方法 |
| JP3862402B2 (ja) * | 1998-02-27 | 2006-12-27 | シャープ株式会社 | ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 |
| US6525699B1 (en) * | 1998-05-21 | 2003-02-25 | Nippon Telegraph And Telephone Corporation | Three-dimensional representation method and an apparatus thereof |
| JP3668019B2 (ja) * | 1998-10-27 | 2005-07-06 | 株式会社ソニー・コンピュータエンタテインメント | 記録媒体、画像処理装置および画像処理方法 |
-
1999
- 1999-11-11 JP JP32170199A patent/JP3907891B2/ja not_active Expired - Lifetime
-
2000
- 2000-11-09 US US09/708,582 patent/US6876762B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001141423A (ja) | 2001-05-25 |
| US6876762B1 (en) | 2005-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3907891B2 (ja) | 画像撮像装置及び画像処理装置 | |
| JP4981124B2 (ja) | 改良型プレノプティック・カメラ | |
| EP1185112B1 (en) | Apparatus for parallax image capturing and parallax image processing | |
| JP2001141422A (ja) | 画像撮像装置及び画像処理装置 | |
| JP4448844B2 (ja) | 複眼撮像装置 | |
| CN102037717B (zh) | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 | |
| US9185317B2 (en) | Image capturing apparatus capable of storing focus detection data | |
| US8810713B2 (en) | Image pickup apparatus and image pickup device for performing auto-focusing | |
| US20120026297A1 (en) | Imaging apparatus and imaging method | |
| EP2227896A1 (en) | Fast computational camera based with two arrays of lenses | |
| JP4533735B2 (ja) | 立体画像撮影装置 | |
| JP5846172B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
| JP2009047912A (ja) | 立体画像撮影装置 | |
| JP2003018445A (ja) | 画像撮像装置 | |
| JP6222205B2 (ja) | 画像処理装置 | |
| JP5796611B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
| JP2019053758A (ja) | 画像処理装置 | |
| JP4162842B2 (ja) | 画像撮像装置及び画像撮像方法 | |
| US9743007B2 (en) | Lens module array, image sensing device and fusing method for digital zoomed images | |
| JP2010245691A (ja) | 複眼撮像装置 | |
| TW202043842A (zh) | 包含用於累積圖像資訊的多孔徑成像裝置的裝置 | |
| JP4282920B2 (ja) | 視差画像撮像装置及び視差画像処理装置 | |
| JP6079838B2 (ja) | 画像処理装置、プログラム、画像処理方法および撮像システム | |
| JP6439845B2 (ja) | 画像処理装置 | |
| JP2003018479A (ja) | 画像処理装置および画像処理方法ならびに画像撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040917 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061011 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3907891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140126 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |