JP4282920B2 - 視差画像撮像装置及び視差画像処理装置 - Google Patents
視差画像撮像装置及び視差画像処理装置 Download PDFInfo
- Publication number
- JP4282920B2 JP4282920B2 JP2001253598A JP2001253598A JP4282920B2 JP 4282920 B2 JP4282920 B2 JP 4282920B2 JP 2001253598 A JP2001253598 A JP 2001253598A JP 2001253598 A JP2001253598 A JP 2001253598A JP 4282920 B2 JP4282920 B2 JP 4282920B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- viewpoint position
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像撮像方法、記録媒体、およびプログラムに関する。特に本発明は、視差画像に基づいて被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像撮像方法、記録媒体、およびプログラムに関する。
【0002】
【従来の技術】
被写体の位置情報を得るために、人間の両眼立体視の機能を真似て、カメラを2台並べて、異なる2つの視点から被写体を見た場合の視差画像を撮影し、被写体の奥行き値を測定するステレオ撮影の技法が古くからある。視点位置の違いから、被写体の像の位置が視差画像上でずれることを検出し、像の位置ずれとカメラのレンズの焦点距離に基づいて、3角測量の原理によりカメラから被写体までの距離を測定する。また、特許2611173号公報(登録日平成9年2月27日)には少なくとも3つの撮像装置を用いて移動物の位置を測定する方法が開示されている。
【0004】
【発明が解決しようとする課題】
本発明は、被写体の奥行き値を効率よく算出することができる画像撮像装置、画像処理装置、画像撮像方法、およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【0005】
【課題を解決するための手段】
即ち、本発明の第1の形態によると、被写体の奥行きに関する情報を取得する画像撮像装置は、複数の視点位置から被写体を撮像する撮像部と、撮像部に複数の視点位置から異なるタイミングで被写体を撮像させ、複数の視点位置の少なくとも1つの視点位置において2回以上被写体を撮像させる制御部とを備える。
【0006】
撮像部は、異なる複数の位置に設けられた複数の撮像ユニットを有し、制御部は、複数の撮像ユニットに異なるタイミングで被写体を撮像させ、複数の撮像ユニットの少なくとも1つの撮像ユニットに2回以上被写体を撮像させてもよい。撮像部の視点位置を複数の位置に移動させる視点位置移動部をさらに備え、制御部は、視点位置移動部に撮像部の視点位置を移動させつつ、視点位置で撮像部に被写体を順次撮像させ、複数の視点位置の少なくとも1つの視点位置において2回以上被写体を撮像させてもよい。
【0007】
画像撮像装置は、1つの視点位置で2回以上撮像することで得られた2枚以上の画像と1つの視点位置と異なる視点位置で撮像した画像に基づき被写体の特定領域の奥行きを算出してもよい。
【0008】
画像撮像装置は、1つの視点位置で2回以上撮像することで得られた2枚以上の画像と異なる視点位置で撮像した画像に基づき被写体の特定領域の像の位置のずれを検出する位置ずれ検出部をさらに備え、奥行き算出部は、位置ずれ検出部が検出した位置ずれに基づいて、被写体の特定領域の奥行きを算出してもよい。
【0009】
画像撮像装置は、1つの視点位置における2以上の画像に基づき、異なる視点位置での撮像と同時刻において1つの視点位置から撮像されたと仮定した場合の被写体の特定領域の像を推定する推定画像生成部をさらに備え、位置ずれ検出部は、異なる視点位置から見た被写体の特定領域の像と、推定された被写体の特定領域の像との位置のずれを検出してもよい。
【0010】
画像撮像装置は、撮像部が被写体を撮像する時刻を設定する時刻設定部をさらに備え、推定画像生成部は、1つの視点位置で複数回撮像した場合における各撮像時刻と、各画像における被写体中の特定領域の像の位置とに基づき、1つの視点位置における所定の時刻の像の位置を推定してもよい。
【0011】
撮像部は、外界の映像を結像する結像部と結像部を透過した光の透過範囲を制限する少なくとも1つの開口を有する光制限部を有し、視点位置移動部は、光制限部を動かすことにより開口を複数の位置に移動させて複数の位置を実現してもよい。
【0012】
撮像部は、結像部と結像部を透過した光の透過範囲を制限する複数の開口を有する光制限部を有し、視点位置移動部は、複数の開口の少なくとも1つを閉じることにより複数の位置を実現してもよい。
【0013】
視点位置移動部は、少なくとも同一直線上に並ばない3つの視点位置に、撮像部を移動させてもよい。撮像部は、少なくとも同一直線上に並ばない3つの位置に、複数の撮像ユニットを有してもよい。
【0014】
視点位置移動部は、撮像部を菱形の各頂点と中心の5つの位置に移動させてもよい。
【0015】
撮像部は、複数の撮像ユニットを、少なくとも菱形の各頂点と中心の5つの位置に有してもよい。撮像部は、2つの視点位置から被写体を撮像し、制御部は、撮像部に2つの視点位置から被写体を交互に3回以上撮像させてもよい。
【0016】
被写体の奥行きに関する情報を取得する画像処理装置であって、複数の異なる視点位置から異なるタイミングで順次被写体を撮像した画像であって、少なくとも同一の視点位置から撮像した2以上の画像を含む複数の画像を入力する入力部と、同一視点位置における2以上の画像に基づき、同一視点位置と異なる視点位置での撮像と同時刻において同一視点位置から撮像されたと仮定した場合の被写体の特定領域の像を推定する推定画像生成部と、同一視点位置と異なる視点位置から見た被写体の特定領域の像と、推定された被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、位置ずれ検出部が検出した位置ずれに基づいて、被写体の特定領域の奥行きを算出する奥行き算出部とを備えたことを特徴とする。
【0017】
推定画像生成部は、同一視点位置で複数回撮像した時刻と、被写体の特定領域の像の位置とに基づき、同一視点位置と異なる視点位置での撮像と同時刻に、同一視点位置から被写体の特定領域の像を見た場合の像の位置を推定してもよい。
【0018】
推定画像生成部は、同一視点位置で複数回撮像した被写体の特定領域の像の位置と大きさとに基づき、同一視点位置と異なる視点位置での撮像と同時刻に、同一視点位置から被写体の特定領域の像を見た場合の像の位置を推定してもよい。
【0019】
推定画像生成部は、同一視点位置で撮像された2枚以上の画像における被写体の像の位置又は大きさに変化がある領域と、被写体の像の位置及び大きさに変化がない領域とに分け、変化のない領域について推定画像を推定する場合に、同一視点位置で撮像された2枚以上の画像の1枚を推定画像としてもよい。
【0020】
入力部は、異なる2つの視点位置から交互に被写体を撮像した複数の画像を入力し、推定画像生成部は、一方の視点位置から撮像された一の画像と、一の画像より前のタイミングで一方の視点位置から撮像された画像とを用いて、第1の推定処理を行い、さらに、第1の推定処理の後に、一の画像より後のタイミングで一方の視点位置から撮像された画像と、一の画像とを用いて、第2の推定処理を行い、位置ずれ検出部は、第1の推定処理と第2の推定処理の間に、一の画像と、他方の視点位置から撮像した画像とを用いて、位置のずれを検出してもよい。
【0021】
被写体の奥行きに関する情報を取得する画像撮像方法であって、第1の視点位置における第1の時刻での被写体の第1の画像を撮像し、第2の視点位置における第2の時刻での被写体の第2の画像を撮像し、第1の視点位置における第3の時刻での被写体の第3の画像を撮像し、第1の画像と第3の画像に基づいて第1の視差位置における第2の時刻での被写体の特定領域の像を推定し、推定した被写体の特定領域の像と第2の画像における被写体の特定領域の像の位置のずれを検出し、位置ずれに基づいて、被写体の特定領域の奥行きを算出することを特徴とする。
【0022】
被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、複数の異なる視点位置から順次被写体を撮像した画像であって、少なくとも同一の視点位置から撮像した2以上の画像を含む複数の画像を入力する入力モジュールと、同一視点位置における2以上の画像に基づき、同一視点位置と異なる視点位置での撮像と同時刻において同一視点位置から撮像されたと仮定した場合の被写体の特定領域の像を推定する推定画像生成モジュールと、同一視点位置と異なる視点位置から見た被写体の特定領域の像と、推定された被写体の特定領域の像との位置のずれを検出する位置ずれ検出モジュールと、位置ずれ検出部が検出した位置ずれに基づいて、被写体の特定領域の奥行きを算出する奥行き算出モジュールとを備えたことを特徴とする。
【0023】
被写体の奥行きに関する情報を取得するコンピュータ用のプログラムは、複数の異なる視点位置から順次前記被写体を撮像した画像であって、少なくとも1つの同一の視点位置から撮像した2以上の画像を含む複数の画像を入力する入力モジュールと、同一視点位置における2以上の画像に基づき、同一視点位置と異なる視点位置での撮像と同時刻において同一視点位置から撮像されたと仮定した場合の被写体の特定領域の像を推定する推定画像生成モジュールと、同一視点位置と異なる視点位置から見た被写体の特定領域の像と、推定された被写体の特定領域の像との位置のずれを検出する位置ずれ検出モジュールと、位置ずれ検出部が検出した位置ずれに基づいて、被写体の特定領域の奥行きを算出する奥行き算出モジュールとを備える。
【0024】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【0025】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0026】
(実施形態1) 本発明の第1の実施形態を説明する。図1は、撮像装置200の機能説明図である。撮像装置200は、制御部202と、視点位置移動部204と、時刻設定部206と、撮像部208とを有する。制御部202、視点位置移動部204、時刻設定部206、撮像部208は、それぞれ後述する撮像系CPU50、レンズ駆動部42、シャッタ駆動部48、撮像ユニット20としてデジタルカメラ10の中で実現されてもよい。以下デジタルカメラ10で詳しく述べる。
【0027】
図2は、画像撮像装置の一例としてのデジタルカメラ10の構成図である。デジタルカメラ10には、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が含まれる。デジタルカメラ10は、主に撮像ユニット20、撮像制御ユニット40、処理ユニット60、表示ユニット100、および操作ユニット110を含む。
【0028】
撮像ユニット20は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット20はまず、映像を取り込んで処理を施す撮影レンズ22、絞り24、シャッタ26、光学LPF(ローパスフィルタ)28、固体撮像素子の一例であるCCD30、および撮像信号処理部32を含む。撮影レンズ22は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がCCD30の受光面上に結像する。結像した被写体像の光量に応じ、CCD30の各センサエレメント(図示せず)に電荷が蓄積される(以下その電荷を「蓄積電荷」という)。蓄積電荷は、リードゲートパルスによってシフトレジスタ(図示せず)に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【0029】
デジタルカメラ10は一般に電子シャッタ機能を有するので、シャッタ26のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、CCD30にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタ速度が制御できる。
【0030】
CCD30から出力される電圧信号、すなわちアナログ信号は撮像信号処理部32でR、G、B成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部32はガンマ補正を行い、必要なタイミングでR、G、B信号を順次A/D変換し、その結果得られたデジタルの画像データ(以下単に「デジタル画像データ」とよぶ)を処理ユニット60へ出力する。
【0031】
撮像ユニット20はさらに、ファインダ34とストロボ36を有する。ファインダ34には図示しないLCDを内装してもよく、その場合、後述のメインCPU62等からの各種情報をファインダ34内に表示できる。ストロボ36は、コンデンサ(図示せず)に蓄えられたエネルギが放電管36aに供給されたときそれが発光することで機能する。
【0032】
撮像制御ユニット40は、レンズ駆動部42、フォーカス駆動部44、絞り駆動部46、シャッタ駆動部48、それらを制御する撮像系CPU50、測距センサ52、および測光センサ54をもつ。レンズ駆動部42などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ114の押下に応じ、測距センサ52は被写体までの距離を測定し、測光センサ54は被写体輝度を測定する。測定された距離のデータ(以下単に「測距データ」という)および被写体輝度のデータ(以下単に「測光データ」という)は撮像系CPU50へ送られる。撮像系CPU50は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部42とフォーカス駆動部44を制御して撮影レンズ22のズーム倍率とピントの調整を行う。また撮像系CPU50は、視差画像を撮像するために、レンズ駆動部42を制御して撮影レンズ22の位置を移動させる。
【0033】
撮像系CPU50は、1画像フレームのRGBのデジタル信号積算値、すなわちAE情報に基づいて絞り値とシャッタ速度を決定し、またシャッタを駆動させるタイミングを決定する。決定された値にしたがい、絞り駆動部46とシャッタ駆動部48がそれぞれ絞り量の調整とシャッタ26の開閉を行う。
【0034】
撮像系CPU50はまた、測光データに基づいてストロボ36の発光を制御し、同時に絞り26の絞り量を調整する。ユーザが映像の取込を指示したとき、CCD30が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部32へ出力される。
【0035】
処理ユニット60は、デジタルカメラ10全体、とくに処理ユニット60自身を制御するメインCPU62と、これによって制御されるメモリ制御部64、YC処理部70、オプション装置制御部74、圧縮伸張処理部78、通信I/F部80を有する。メインCPU62は、シリアル通信などにより、撮像系CPU50との間で必要な情報をやりとりする。メインCPU62の動作クロックは、クロック発生器88から与えられる。クロック発生器88は、撮像系CPU50、表示ユニット100に対してもそれぞれ異なる周波数のクロックを提供する。
【0036】
メインCPU62には、キャラクタ生成部84とタイマ86が併設されている。タイマ86は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインCPU62に与えられる。キャラクタ生成部84は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【0037】
メモリ制御部64は、不揮発性メモリ66とメインメモリ68を制御する。不揮発性メモリ66は、EEPROM(電気的消去およびプログラム可能なROM)やFLASHメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ10の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ66には、場合によりメインCPU62のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ68は一般にDRAMのように比較的安価で容量の大きなメモリで構成される。メインメモリ68は、撮像ユニット20から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ66とメインメモリ68は、処理ユニット60内外の各部とメインバス82を介してデータのやりとりを行う。
【0038】
YC処理部70は、デジタル画像データにYC変換を施し、輝度信号Yと色差(クロマ)信号B−Y、R−Yを生成する。輝度信号と色差信号はメモリ制御部64によってメインメモリ68に一旦格納される。圧縮伸張処理部78はメインメモリ68から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ(以下単に「圧縮データ」という)は、オプション装置制御部74を介してオプション装置76の一種であるメモリカードへ書き込まれる。
【0039】
処理ユニット60はさらにエンコーダ72をもつ。エンコーダ72は輝度信号と色差信号を入力し、これらをビデオ信号(NTSCやPAL信号)に変換してビデオ出力端子90から出力する。オプション装置76に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部74を介して圧縮伸張処理部78へ与えられる。つづいて、圧縮伸張処理部78で必要な伸張処理が施されたデータはエンコーダ72によってビデオ信号へ変換される。
【0040】
オプション装置制御部74は、オプション装置76に認められる信号仕様およびメインバス82のバス仕様にしたがい、メインバス82とオプション装置76の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ10は、オプション装置76として前述のメモリカードのほかに、例えばPCMCIA準拠の標準的なI/Oカードをサポートしてもよい。その場合、オプション装置制御部74は、PCMCIA用バス制御LSIなどで構成してもよい。
【0041】
通信I/F部80は、デジタルカメラ10がサポートする通信仕様、たとえばUSB、RS−232C、イーサネット、Bluetooth、IrDAなどの仕様に応じたプロトコル変換等の制御を行う。通信I/F部80は、必要に応じてドライバICを含み、ネットワークを含む外部機器とコネクタ92を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のI/Fによるデータ授受を行う構成としてもよい。
【0042】
表示ユニット100は、LCDモニタ102とLCDパネル104を有する。それらはLCDドライバであるモニタドライバ106、パネルドライバ108によってそれぞれ制御される。LCDモニタ102は、例えば2インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。LCDパネル104は例えば小さな白黒LCDでカメラ上面に設けられ、画質(FINE/NORMAL/BASICなど)、ストロボ発光/発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【0043】
操作ユニット110は、ユーザーがデジタルカメラ10の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ112は、デジタルカメラ10の電源のオンオフを決める。レリーズスイッチ114は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでAFおよびAEがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ68、オプション装置76等に記録される。操作ユニット110はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図2において機能設定部116と総称されている。操作ユニット110で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定/保存」、「表示切換」等がある。ズームスイッチ118は、ズーム倍率を決める。
【0044】
以上の構成による主な動作は以下のとおりである。まずデジタルカメラ10のパワースイッチ112がオンされ、カメラ各部に電力が供給される。メインCPU62は、機能設定部116の状態を読み込むことで、デジタルカメラ10が撮影モードにあるか再生モードにあるかを判断する。
【0045】
カメラが撮影モードにあるとき、メインCPU62はレリーズスイッチ114の半押し状態を監視する。半押し状態が検出されたとき、メインCPU62は測光センサ54および測距センサ52からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット40が動作し、撮影レンズ22のピント、絞りなどの調整が行われる。調整が完了すると、LCDモニタ102に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ114の全押し状態を監視する。レリーズスイッチ114が全押しされると、所定のシャッタ時間をおいてシャッタ26が閉じられ、CCD30の蓄積電荷が撮像信号処理部32へ掃き出される。撮像信号処理部32による処理の結果生成されたデジタル画像データはメインバス82へ出力される。デジタル画像データは一旦メインメモリ68へ格納され、この後YC処理部70と圧縮伸張処理部78で処理を受け、オプション装置制御部74を経由してオプション装置76へ記録される。記録された画像は、フリーズされた状態でしばらくLCDモニタ102に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【0046】
一方、デジタルカメラ10が再生モードの場合、メインCPU62は、メモリ制御部64を介してメインメモリ68から最後に撮影した画像を読み出し、これを表示ユニット100のLCDモニタ102へ表示する。この状態でユーザーが機能設定部116にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、LCDモニタ102へ表示される。
【0047】
本実施形態において、撮像ユニット20は、2以上の異なる視点位置から被写体の視差画像を撮像する。
【0048】
図3は、撮像ユニット20の撮影レンズ22の構成の一例である。これは撮影レンズ22をデジタルカメラ10の正面から見た図である。撮影レンズ22が1つ設けられ、レンズ駆動部42が撮影レンズ22を視点位置22R、22Lに移動させて、被写体を異なる視点から見た場合の視差画像をCCD30に撮像する。
【0049】
また、レンズ駆動部42が撮像ユニット20全体を移動させることにより異なる視点位置での撮像を実現してもよい。このようにレンズ等撮像ユニットの一部又は撮像ユニット全体を移動させて異なる視点位置で撮像するモーションステレオ法は、二台以上のカメラを用いる複眼ステレオ法による撮像より、装置が簡単で小さく、経済的であり、また撮像装置のピント等撮像条件の調整が容易である。
【0050】
撮像ユニット20のCCD30は、各々の視点位置に対して別個に設けられ、撮像レンズ22が、それぞれの視点位置で結像する被写体の像を受光してもよい。また、2つの視点位置で結像する被写体の像を受光できる共通のCCD30を1つ設けてもよい。
【0051】
本実施形態のCCD30は、固体撮像素子の一例である。固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。固体撮像素子は、撮影レンズ22によって結像された光を受光し、光電変換作用によって電荷を蓄積する。蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。
【0052】
固体撮像素子は、基本的に、外部から入射する光を受光して光電変換を行うための受光素子部を含む半導体素子と、半導体素子を収納するパッケージと、受光素子部への光の入射を可能にするため、パッケージの半導体素子と対向する位置に配置された透明保護部材と、透明保護部材の外側表面あるいは内側において、透明保護部材よりも高い遮光性を有する遮光部材から構成されていることが好ましい。これにより、撮像される画像の品質を向上させることができる。さらに透明保護部はマイクロレンズの機能を持つことにより、結像される画像の解像度を向上させてもよい。受光素子部と透明保護部の間に、または、透明保護部の上または透明保護部中にカラーフィルタを設け、カラーの画像を撮像できるようにしてもよい。
【0053】
本実施形態のCCD30は、視差画像における視差を正確に検出できるように、解像度が十分に高い電荷結合素子(CCD)1次元イメージセンサ(リニアセンサ)又は2次元イメージセンサ(エリアセンサ)イメージセンサであることが望ましい。固体撮像素子としてCCD以外に、MOSイメージセンサ、CdS−Se密着型イメージセンサ、a−Si(アモルファスシリコン)密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【0054】
さらに、撮影レンズ22は視差撮影用の光学レンズ系以外に本撮影用の光学レンズ系を有し、本撮影用の光学レンズ系と視差撮影用の撮影レンズ系が、被写体の画像及び視差画像をそれぞれ異なる2つのCCD30に撮像してもよい。本撮影用の光学レンズ系は、標準の光学レンズであってもよく、視野角の広い広角レンズまたは魚眼レンズであってもよい。本撮影用の光学レンズ系が像を受光させるCCD30と、視差撮影用の光学レンズ系が像を受光させるCCD30とで、CCDの解像度や感度が異なっていてもよい。
【0055】
本実施形態の処理ユニット60は、撮像ユニット20が撮像した被写体の視差画像に基づいて、被写体の奥行き情報を獲得する。
【0056】
図4は、処理ユニット60の機能ブロック図である。処理ユニット60は、視差画像記憶部302と、推定画像生成部303と、位置ずれ検出部304と、奥行き算出部308と、記録部310とを有する。
【0057】
視差画像記憶部302は、撮像ユニット20が基準視点位置で2回、参照視点位置で1回撮像した3以上の画像とこれらの画像が撮像された時刻とを記憶する。時刻とは、撮像の相対的時刻でよく、撮像の時間間隔等でよい。推定画像生成部303は、視差画像記憶部302が記憶する3以上の画像の中から基準視点位置で撮像された画像を選び、基準視点位置で撮像された2以上の画像より、参照視点位置で撮像した時刻の基準視点位置からの推定画像を生成する。推定画像の生成方法は後述する。位置ずれ検出部304は、参照視点位置で撮像された画像と推定画像とにおいて被写体の特定領域の像の位置が視差によってずれる量を検出する。
【0058】
奥行き算出部308は、位置ずれ検出部304が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。奥行き値の計算方法は三角測量の原理に基づく。位置ずれ検出部304及び奥行き算出部308によって、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き値が算出される。
【0059】
奥行き算出部308は算出した被写体の奥行き情報を撮像制御ユニット40へ入力し、撮像制御ユニット40は、被写体の奥行き情報に基づいて、フォーカス駆動部44、絞り駆動部46及びシャッタ駆動部48を制御して、フォーカス、絞り、シャッタ速度を調整してもよい。
【0060】
記録部310は、奥行き算出部308が算出した被写体の奥行き情報、及び視差画像記憶部302が記憶する被写体の視差画像をオプション装置76に記録させる。
【0061】
処理ユニット60の推定画像生成部303、位置ずれ検出部304、及び奥行き算出部308の機能は一例として、図2のメインCPU62と、メインメモリ68や不揮発性メモリ66に格納またはロードされたプログラムとの連携によって実現することができる。メインCPU62が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。処理ユニット60の視差画像記憶部302が記憶すべき視差画像データは、メインメモリ68または不揮発性メモリ66に記憶させることができる。また視差画像データは圧縮伸張処理部78によって圧縮されてもよい。処理ユニット60の記録部310の機能は一例として、オプション装置制御部74によって実現することができる。また、ユーザの指示を受け付ける操作ユニット110が被写体の画像の特定領域を処理ユニット60に指示し、奥行き算出部308は、ユーザが指定する特定領域について奥行き値を算出してもよい。デジタルカメラ10において処理ユニット60の上述の機能を実現する設計には相当の自由度がある。
【0062】
図5は、本実施形態の撮像フローの一例を説明する図である。撮像系CPU50は、前記したように決定されたシャッタスピードに基づき撮像の時間間隔T秒を決定し、レンズ駆動部42、シャッタ駆動部48、撮像ユニット20に決定した時間間隔T秒を伝える(S100)。レンズ駆動部42は、レンズ22を視点位置22Lに移動させ、シャッタ駆動部48と撮像ユニット20は、連携により被写体を撮像し、画像L1を得る(S102)。レンズ駆動部42は、レンズ22を視点位置22Rに移動させ、シャッタ駆動部48と撮像ユニット20は、連携により前回の撮像からT秒後に被写体を撮像し、画像R2を得る(S104)。レンズ駆動部42は、レンズ22を視点位置22Lに移動させ、シャッタ駆動部48と撮像ユニット20は、連携により前回の撮像からT秒後に被写体を撮像し、画像L3を得る(S106)。
【0063】
視差画像記憶部302は、画像L1、画像R2及び画像L3の画像データと時間間隔Tのデータを受け取り、記憶する(S107)。推定画像生成部303は、画像L1と画像L3とに基づき、画像R2が撮像された時刻の視点位置22Lからの推定画像L2を推定する(S110)。位置ずれ検出部304は、画像R2と推定画像L2における被写体の特定領域の像の視差による位置ずれ量を検出する(S112)。奥行き算出部308は、位置ずれ量から被写体の特定領域の奥行き値を三角測量の原理に基づき算出する(S114)。記録部310は、受け取った奥行き値を記憶する(S116)。この撮像方法によると、動きのある被写体に対しても、モーションステレオ法で有効な被写体の奥行き値を知ることができる。
【0064】
図6は、被写体の像の中で、被写体の動きが無視できる領域と無視できない領域とに分ける処理フローである。視差画像記憶部302は、画像L1、画像R2及び画像L3の画像データと時間間隔Tのデータを受け取り、記憶する(S107)。推定画像生成部303は、画像の特定領域を選択する(S108)。推定画像生成部303は、画像L1と画像L3の画像における被写体の特定領域の像の位置及び大きさの違いが予め設定した値以下であるか判断する(S109)。位置又は大きさの違いが設定した値より大きい場合、図5の場合と同様に推定画像L2を生成し(S110)、画像R2と推定画像L2における被写体の特定領域の視差による位置ずれ量を検出し(S112)、位置ずれ量から奥行き値を算出し(S114)、記録部310は奥行き値を記憶する(S116)。一方、位置及び大きさの違いが設定した値より小さい場合、位置ずれ検出部304は画像L1と画像R2における前記特定領域の像の位置ずれを検出し(S113)、奥行き算出部308は、位置ずれ量から被写体の特定領域の奥行き値を三角測量の原理に基づき算出し(S114)、記録部310は、受け取った奥行き値を記憶する(S116)。この処理によると、動きのほとんど無い特定領域では、画像推定の処理を省くことができる。
【0065】
また、画像L1と画像L3を複数の区画に分けて、画像L1と画像L3の対応する区画の中の像が一致するかどうかで区画を分け、一致しない区画では、図5の場合と同様に推定画像L2を生成し(S110)、画像R2と推定画像L2における被写体の特定領域の視差による位置ずれ量を検出し(S112)、位置ずれ量から奥行き値を算出し(S114)、記録奥行き値を記憶する(S116)。一致する区画では、位置ずれ検出部304は画像L1と画像R2における前記特定領域の像の位置ずれを検出し(S113)、奥行き算出部308は、位置ずれ量から被写体の特定領域の奥行き値を三角測量の原理に基づき算出し(S114)、記録部310は、受け取った奥行き値を記憶する(S116)。この処理によると、動きのほとんど無い区画では、画像推定の処理を省くことができる。
【0066】
推定画像生成方法について詳しく説明する。画像処理するときは被写体を細かい領域に分けて領域毎に処理する。領域毎に奥行き値および動き量が異なるからである。
【0067】
図7は、人物の鼻を特定領域とし推定画像生成方法の一例をあらわしたものである。撮像の時間間隔は十分短いため被写体の動きによる位置変化は時間に対して線形であると近似することができる。前記図5の撮像フローのように等しい時間間隔で撮像した場合、A、Bにおける画像L1ハナと画像L3ハナの中から対応する特徴点を設定し、画像L1ハナの特徴点と、対応する画像L3ハナの特徴点とを1:1に内分する点が対応する推定画像L2ハナの特徴点となる。撮像の時間間隔が異なる場合も内分点、外分点の計算で同様に算出できる。なお同一視点位置で3回以上撮像してもよく、この場合被写体の動きによる位置変化は多項式近似してよく、これによるとさらによい近似になることは言うまでもない。
【0068】
図8は、人物の鼻を特定領域とした推定画像生成方法の他の例をあらわしたものである。Aのように画像L1ハナと画像L3ハナから特徴点の内分点、外分点を算出することにより視点位置22Lからの被写体の特定領域の推定画像群Lを推定できる。この推定画像群Lの中から、Bの画像R2ハナの像の大きさが一致するものを画像R2ハナに対応する推定画像L2ハナとする。この推定方法によると、撮像の時刻の情報が無くても推定できる。また、被写体の動きが、直線に近ければ加速していてもよい近似となる。図7で説明した推定方法を補完するために用いてもよい。
【0069】
図9は、撮像ユニット20の撮影レンズ22の構成の他の例で、撮像ユニット20を正面から見たものである。レンズ駆動部42は、撮像ユニット20の視点位置(例えば撮影レンズ22)を少なくとも同一直線上に並ばない3つの視点位置に移動させるのが好ましい。特に本図で例示する形態では、レンズ駆動部42は、撮像ユニット20の視点位置を菱形の中心と各頂点の位置に移動させる。すなわち、視点位置は、菱形の中心と各頂点の位置22a、22b、22c、22d、22eである。レンズ駆動部42は、撮像ユニット20の視点位置を正方形の中心と各頂点の位置に移動させてもよい。被写体が、画像の中心から右又は左に大きくずれた場合、22aと22cの組み合わせでは視差による位置のずれが小さくなり奥行き値の算出が困難な「死角」ができる。この場合、22aと22bを組み合わせるとよい。死角を作らずに広い視野にわたって被写体を撮像し視差による位置ずれを検出するためには、このように5つの視点位置を設定すると効果的である。撮影レンズ22が1つ設けられ、レンズ駆動部42が撮影レンズ22を移動させて、被写体を異なる視点から見た場合の視差画像をCCD30に撮像する。2つの視点位置から見た場合の2つの視差画像においては、奥行き値の算出が困難な死角領域であっても、第3の視点位置から見た視差画像を組み合わせることにより、死角領域を解消することができ、広い視野にわたって被写体の奥行き情報を高い精度で算出することができる。
【0070】
図10は、撮像ユニット20が視点位置を変える他の例である。絞り24は、光制限部の一例である。レンズ22は固定で、絞り駆動部46が絞り24の開口25をレンズ瞳面に平行に移動させる。図11のように、絞り24を回転させて開口25の位置を変えてもよい。また、複数の開口を液晶光シャッタで開閉させることにより開口25の位置を変えてもよい。このように開口の位置を変えることで複数の視点位置での撮像を可能にする。被写体のなかでピントの合うピント面上にある領域の像は開口25を移動させても前記像の位置は変化しないが、ピントの合っていないいわゆるぼけた像は開口25を移動させると、それにともない移動する。またぼけた像の移動量はピント面からの距離にともない大きくなり、このことを利用して奥行き値を得る。この場合、絞り24を移動させるだけでよく、撮像ユニット20全体やレンズ22を移動させる場合に較べ可動部が小さく軽量であるため、移動のシステムが簡単になり制御も容易になる。また、視点位置の移動に要する時間も短縮でき撮像間隔を短くできるので推定画像の推定精度もよくなる。
【0071】
以上述べたように、本実施形態の画像撮像装置によれば、3次元方向に動いている被写体であっても、動き成分をキャンセルした視差画像のペアを作ることができる。モーションステレオ法は、小さな装置で経済的に視差画像が撮れるという利点があったが、それぞれの視差画像は順次撮像された物であるため、撮像の時刻が異なり、動いている被写体に対しては有効では無かった。本実施形態によると、同一視点位置からの複数の画像を用いて特定時刻の推定画像を推定し、他の視点位置の画像とそれと同時に撮像されたと見なせる推定画像とを組み合わせることにより、同時刻の視差画像のペアをモーションステレオ法で作ることができ、有効な奥行き値を求めることができる。
【0072】
(実施形態2) 本発明の第2の実施形態を説明する。図12は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム350の構成図である。本実施形態のラボシステム350は、入力部352と、処理部354と、記録部356と、出力部358とを有する。
【0073】
入力部352は、被写体の画像データを入力する。画像データとして、被写体を異なる視点から見た場合の画像を入力する。デジタルカメラ等で撮影された対象物のデジタル画像を入力する場合、入力部352には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。また、フロッピーディスク、MO、CD−ROM等から画像データを読み取る場合は、入力部210として、それぞれフロッピードライブ、MOドライブ、CDドライブ等が用いられてもよい。
【0074】
処理部354は、入力部352が入力した画像を記憶し、被写体の奥行き情報を算出する。処理部354は算出した奥行き情報を画像とともに記録部356に出力する。また処理部354は算出した奥行き情報をもとに、被写体の画像を処理して、記録部356と出力部358に出力してもよい。
【0075】
記録部356は、処理部354が出力した奥行き情報または画像データを着脱自在な記録媒体に記録する。記録媒体として、書き込み可能なCD−ROM、DVD等の光記録媒体や、MO等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。記録部356として、CD−Rドライブ、DVDドライブ、MOドライブ、フロッピードライブ等が用いられる。また、記録部356は、フラッシュメモリ、メモリカード等の半導体メモリに奥行き情報または画像データを記録してもよい。
【0076】
出力部358は、処理部354が出力した被写体の処理された画像データを画像として出力する。例えば画像を画面表示する場合、出力部358には画像を表示するモニタが用いられる。また例えば画像を印刷する場合、出力部358にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。
【0077】
図13は、処理部354の機能構成図である。処理部354は、視差画像記憶部302と、推定画像生成部303と、位置ずれ検出部304と、奥行き算出部308と、画像変換部312とを有する。
【0078】
視差画像記憶部302は、入力部352が入力した被写体の3以上の画像のデータをRAM等の半導体メモリまたはハードディスク等の磁気記録媒体に記憶する。推定画像生成部303は、同一視点位置で複数回撮像された2以上の画像に基づき、所定の時刻の前記同一視点位置からの被写体の特定領域の像を推定する。位置ずれ検出部304は、推定画像生成に用いられる視点位置以外の視点位置において撮像された被写体の特定領域の像と推定画像の組み合わせにおいて、被写体の特定領域の像の位置が視差によってずれる量を検出する。奥行き算出部308は、位置ずれ検出部304が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。
【0079】
推定画像生成部303、位置ずれ検出部304及び奥行き算出部308が、画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き情報を算出する処理については、第1の実施形態と同じであるから、説明を省略する。
【0080】
画像変換部312は、奥行き算出部308が算出した被写体の奥行き情報に基づいて、被写体の画像を処理する。画像変換部312は、被写体の奥行き情報、視差画像、または処理された画像を記憶部356と出力部358に出力する。
【0081】
本実施形態の画像処理装置によれば、動いている被写体の視差画像を入力して、被写体の奥行き情報を算出することができる。また算出された奥行き情報に基づいて、画像処理を行い、CAD等の図面データを作成することができる。さらに撮像の時間間隔を入力すれば、特定領域毎に動きの速さと方向が算出できる。
【0082】
(実施形態3) 次に、本発明の第3の実施形態を説明する。図14は、画像処理装置の構成図である。本実施形態の画像処理装置の基本的な構成及び動作は、第2の実施形態の画像処理装置と同様である。本実施形態では、画像処理装置の処理部354として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第2の実施形態と異なる。
【0083】
図14を参照しながら、本実施形態の処理部354のハードウエア構成を説明する。CPU230はROM232及びRAM234に格納されたプログラムに基づいて動作する。キーボード、マウス等の入力装置231を介して利用者によりデータが入力される。ハードディスク233は、画像等のデータ、及びCPU230を動作させるプログラムを格納する。CD−ROMドライブ235はCD−ROM290からデータ又はプログラムを読み取り、RAM234、ハードディスク233及びCPU230の少なくともいずれかに提供する。
【0084】
CPU230が実行するプログラムの機能構成は、第2の実施形態の画像処理装置の処理部354の機能構成と同じであり、視差画像記憶モジュールと、推定画像生成モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、画像変換モジュールとを有する。
【0085】
視差画像記憶モジュール、推定画像生成モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、CPU230に行わせる処理は、それぞれ、第2の実施形態の画像処理装置の処理部354における、視差画像記憶部302、推定画像生成部303、位置ずれ検出部304、奥行き算出部308、及び画像変換部312の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、CD−ROM290等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのCD−ROM290には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。
【0086】
上記のプログラムは記録媒体から直接RAM234に読み出されてCPU230により実行されてもよい。あるいは、上記のプログラムは記録媒体からハードディスク233にインストールされ、RAM234に読み出されてCPU230により実行されてもよい。
【0087】
記録媒体としては、CD−ROM290の他にも、ハードディスク、ROMやRAM等のメモリ、DVDやPD等の光学記録媒体、フロッピーディスクやミニディスク(MD)等の磁気記録媒体、MO等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。
【0088】
上記のプログラムは、単一の記録媒体に格納されてもよいし、複数の記録媒体に分割されて格納されてもよい。また、上記プログラムは記録媒体に圧縮されて格納されてもよい。圧縮されたプログラムは伸張され、RAM234等の別の記録媒体に読み出され、実行されてもよい。さらに、圧縮されたプログラムはCPU230によって伸張され、ハードディスク233等にインストールされた後、RAM234等の別の記録媒体に読み出され、実行されてもよい。
【0089】
さらに、記録媒体の一例としてのCD−ROM290は、通信ネットワークを介して、ホストコンピュータによって提供される上記のプログラムを格納してもよい。記録媒体に格納された上記のプログラムは、ホストコンピュータのハードディスクに格納され、通信ネットワークを介してホストコンピュータから当該コンピュータに送信され、RAM234等の別の記録媒体に読み出され、実行されてもよい。
【0090】
上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【0091】
(実施形態4) 次に、本発明の第4の実施形態を説明する。本実施形態の画像撮像装置の一例は、カメラを内蔵したノート型コンピュータやカメラを内蔵した携帯型電子端末等の電子機器等である。これらの場合、ノート型コンピュータや携帯型電子端末の電子計算機部分は主に図14に示した処理部354として機能する。本実施形態の画像撮像装置は、第1の実施形態の画像撮像装置の処理ユニット60を、図14に示した処理部354のハードウエア構成に換えたものである。本実施形態の画像撮像装置の基本的な構成及び動作は、第1の実施形態の画像撮像装置と同様である。
【0092】
本実施形態の処理部354のハードウエア構成は、第3の実施形態の処理部354のハードウエア構成と同じであるから説明を省略する。CPU230が実行するプログラムの機能構成は、第1の実施形態の画像撮像装置の処理ユニット60の機能構成と同じであり、視差画像記憶モジュールと、推定画像生成モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、記録モジュールとを有する。
【0093】
視差画像記憶モジュール、推定画像生成モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、CPU230に行わせる処理は、それぞれ、第2の実施形態の画像撮像装置の処理部354における、視差画像記憶部302、推定画像生成部303、位置ずれ検出部304、奥行き算出部308、及び記録部310の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、CD−ROM290等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのCD−ROM290には、本出願で説明した画像撮像装置の動作の一部又は全ての機能を格納することができる。
【0094】
上記のプログラムを格納した記録媒体は、本出願の画像撮像装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【0095】
以上述べたように、本発明の画像撮像装置及び画像処理装置によれば、動いている被写体に対しても、2以上の異なる視点位置から撮像した被写体の画像であって、同一視点位置で撮像した2以上の画像を含む複数の画像から、動きによる位置ずれを除いた視差画像のペアを推定でき、被写体の特定領域の像の位置ずれを検出することができ、位置ずれ量を用いて被写体の奥行き値を求めることができる。
【0096】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0097】
例えば、第1の実施形態では、撮像部が複数の視点位置から異なるタイミングで被写体を撮像することを実現する1つの方法として、1つの撮像ユニット20の視点位置を移動させて、複数の視点位置から被写体を順次撮像する形態について説明したが、他の方法として、複数の撮像ユニット20を異なる複数の位置に予め設け、複数の撮像ユニット20に異なるタイミングで被写体を順次撮像させてもよい。なお、この場合の撮像ユニット20とは、物理的に異なる光学系を有する撮像機器のことであり、例えば、複数の撮像ユニット20は、光学系(撮影レンズ22等)および受光素子(CCD)等をそれぞれ別個に有し、撮像信号処理部32やストロボ36等を共有する。
【0098】
図15は、複数の撮像ユニット20を備えた撮像部を被写体側から見た図である。撮像部は、異なる複数の位置に設けられた複数の撮像ユニット20を有する。すなわち、撮像部は、異なる複数の位置に撮像ユニット20を設けることにより、複数の視点位置からの被写体の撮像を実現する。制御部202は、時刻設定部206と共に、複数の撮像ユニット20が被写体を撮像するタイミングを制御し、複数の撮像ユニット20に異なるタイミングで順次被写体を撮像させる。この際、制御部202は、少なくとも1つの撮像ユニット20に2回以上被写体を撮像させる。撮像部は、少なくとも同一直線上に並ばない3つの位置に、複数の撮像ユニット20を有するのが好ましい。より好ましくは、撮像部は、菱形の各頂点と中心の5つの位置に撮像ユニット20を有する。撮像部は、正方形の各頂点と中心の5つの位置に撮像ユニット20を有してもよい。
【0099】
また、画像撮像装置は、2つの視点位置から交互に被写体を撮像し、連続する3つの画像を用いて、被写体の奥行き情報を算出してもよい。この場合、画像撮像装置は、時系列で連続的に奥行き情報を算出でき、例えば、立体動画像を生成することができる。
【0100】
図16は、立体モデリングシステム500の機能ブロックを示す。立体モデリングシステム500も、本発明に係る画像撮像装置の一例である。立体モデリングシステム500は、被写体の奥行き情報を時系列に連続して算出し、立体動画像を生成する。立体モデリングシステム500は、制御部502と、時刻設定部506と、撮像部508と、視差画像記憶部510と、2つの推定画像生成部512と、位置ずれ検出部514と、奥行き算出部516と、出力部518とを備える。特に、本例では、立体モデリングシステム500は、推定画像生成部512として推定画像生成部512Lおよび推定画像生成部512Rを備える。更に、撮像部508は、2つの撮像ユニット20、すなわち、撮像ユニット20Lと撮像ユニット20Rとを有する。撮像ユニット20Lと撮像ユニット20Rは、異なる位置に設定される。
【0101】
視差画像記憶部510、推定画像生成部512、位置ずれ検出部514、奥行き算出部516、および撮像ユニット20は、それぞれ、第1の実施形態で説明した、視差画像記憶部302、推定画像生成部303、位置ずれ検出部304、奥行き算出部308、および撮像ユニット20と同様の機能を有する。また、制御部502は、撮像ユニット20Lと撮像ユニット20Rに交互に被写体を撮像するように、撮像のタイミングを決定し、時刻設定部506に出力する。時刻設定部506は、制御部502が決定したタイミングに従い、撮像するタイミングを撮像部508に出力する。撮像部508は、受け取ったタイミングに従い、撮像ユニット20Lと撮像ユニット20Rとに交互に撮像させ、撮像した視差画像を視差画像記憶部510に出力する。
【0102】
視差画像記憶部510は、受け取った視差画像を、推定画像生成部512と位置ずれ検出部514に出力する。特に、本例の視差画像記憶部510は、撮像ユニット20Lが撮像した視差画像を推定画像生成部512Lに出力し、撮像ユニット20Rが撮像した視差画像を推定画像生成部512Rに出力する。推定画像生成部512Lおよび推定画像生成部512Rは、それぞれ、異なるタイミングで撮像した画像を用いて、推定画像を生成し、位置ずれ検出部514に出力する。
【0103】
位置ずれ検出部は、第1の実施形態と同様に、一方の撮像ユニット20で撮像した視差画像と、対応する推定画像(一方の撮像ユニット20が撮像した時刻に、他方の撮像ユニット20の視点位置からみえるであろう視差画像)とを用いて、位置ずれ量を検出し、奥行き算出部516に出力する。奥行き算出部516は、第1の実施形態と同様に、位置ずれ量を用いて、被写体の奥行き値を算出し、出力部518に出力する。出力部518は、受け取った奥行き値を用いて、被写体の立体モデルを生成する。出力部518は、撮像した時間順に立体モデルを出力することにより、動画像として出力してもよい。
【0104】
図17は、立体モデリングシステム500の処理フローを示す。制御部502は、時刻設定部506と協働して、撮像ユニット20Lおよび撮像ユニット20Rに所定の時間間隔で交互に撮像するよう指示する。本例では、制御部502および時刻設定部506が撮像を指示するタイミングは、順に、第1のタイミング、第2のタイミング、第3のタイミングというように続いていき、第1のタイミングでは、撮像ユニット20Lが被写体を撮像し、第2のタイミングでは、撮像ユニット20Rが被写体を撮像し、その後も同様に交互に撮像する。撮像部508は、制御部502および時刻設定部506からの指示に従い、第1のタイミングで撮像ユニット20Lに被写体を撮像させて、画像L1を取得し、視差画像記憶部510に出力する(S200)。同様に、第2のタイミングでは、撮像ユニット20Rに被写体を撮像させて、画像R2を取得し、視差画像記憶部510に出力する(S204)。続いて、第3のタイミングで撮像ユニット20Lが画像L3を取得し、視差画像記憶部510に出力する(S208)。視差画像記憶部510は、画像L1および画像L3を推定画像生成部512Lに出力すると、推定画像生成部512Lは、画像L1と画像L3を用いて、第2のタイミングに撮像ユニット20Lから見えるであろう画像、すなわち、推定画像L2を生成し、位置ずれ検出部514に出力する(S212)。更に、視差画像記憶部510は、画像R2を位置ずれ検出部514に出力すると(S216)、位置ずれ検出部514は、推定画像L2と画像R2の位置ずれ量を検出し、続いて、奥行き算出部516は、検出した位置ずれ量を用いて、第2のタイミングにおける被写体の奥行き量を算出し、出力部518に出力する(S220)。
【0105】
次に、撮像ユニット20Rが、第4のタイミングで画像R4を撮像すると(S224)、推定画像生成部512Rは、視差画像記憶部510を経由して取得した、画像R2と画像R4を用いて、第3のタイミングの推定画像R3を生成し、位置ずれ検出部514に出力する(S228)。位置ずれ検出部514は、更に、視差画像記憶部510から画像L3を受け取ると(S232)、画像L3と推定画像R3の位置ずれ量を検出し、続いて、奥行き算出部516は、検出した位置ずれ量を用いて、第3のタイミングにおける被写体の奥行き量を算出し、出力部518に出力する(S236)。次に、撮像ユニット20Lが、第5のタイミングで画像L5を撮像すると(S240)、推定画像生成部512Lは、視差画像記憶部510を経由して取得した、画像L3と画像L5を用いて、第4のタイミングの推定画像L4を生成し、位置ずれ検出部514に出力する(S244)。位置ずれ検出部514は、更に、視差画像記憶部510から画像R4を受け取ると(S248)、画像R4と推定画像L4の位置ずれ量を検出し、続いて、奥行き算出部516は、検出した位置ずれ量を用いて、第4のタイミングにおける被写体の奥行き量を算出し、出力部518に出力する(S252)。
【0106】
次に、撮像ユニット20Rが、第6のタイミングで画像R6を撮像すると(S254)、推定画像生成部512Rは、視差画像記憶部510を経由して取得した、画像R4と画像R6を用いて、第5のタイミングの推定画像R5を生成し、位置ずれ検出部514に出力する(S256)。位置ずれ検出部514は、更に、視差画像記憶部510から画像L5を受け取ると(S260)、画像L5と推定画像R5の位置ずれ量を検出し、続いて、奥行き算出部516は、検出した位置ずれ量を用いて、第5のタイミングにおける被写体の奥行き量を算出し、出力部518に出力する(S264)。以下、同様に各タイミング毎に被写体の奥行き量を算出することにより、出力部518は、所望する時刻の立体モデルを表示させることができる。更に、出力部518は、立体モデルを時刻順に動画として表示してもよい。また、立体モデリングシステム500は、処理装置であるプロセッサを、推定画像生成部512L、推定画像生成部512R、および位置ずれ検出部514にそれぞれ割り当てて処理してもよい。このように、被写体を2つの視点位置から交互に撮像し、連続するタイミングで撮像した3つの画像を用いることにより、撮像から奥行き値算出までのタイムラグを最小にすると共に、被写体の奥行き値を効率よく算出することができる。
【0107】
【発明の効果】
上記説明から明らかなように、本発明によれば動きのある被写体の奥行きに関する情報を取得することのできる。
【図面の簡単な説明】
【図1】撮像装置200の機能説明図である。
【図2】撮像装置の一例としてのデジタルカメラ10の構成図である。
【図3】撮像装置200の撮像レンズ22の構成の一例である。
【図4】処理ユニット60の機能説明図である。
【図5】撮像のフローチャートである。
【図6】画像処理のフローチャートである。
【図7】撮像の時刻に基づく画像推定方法の一例である。
【図8】特定領域の大きさに基づく画像推定方法の一例である。
【図9】撮像装置200の撮像レンズ22の構成の他の例である。
【図10】撮像装置200の撮像レンズ22の構成の他の例である。
【図11】絞り24の構成の一例である。
【図12】画像処理装置の一例である。
【図13】処理部354の機能説明図である。
【図14】画像処理装置の他の例である。
【図15】 複数の撮像ユニット20を備えた撮像部を被写体側から見た図である。
【図16】 立体モデリングシステム500の機能ブロック図である。
【図17】 立体モデリングシステム500の処理のフローチャートである。
【符号の説明】
10 デジタルカメラ
20 撮像ユニット
22 レンズ
24 絞り
25 開口
30 CCD
40 撮像制御ユニット
42 レンズ駆動部
46 絞り駆動部
60 処理ユニット
100 表示ユニット
110 操作ユニット
200 撮像装置
202、502 制御部
204 視点位置移動部
206、506 時刻設定部
208、508 撮像部
232 ROM
235 記録媒体
302、510 視差画像記憶部
303、512 推定画像生成部
304、514 位置ずれ検出部
308、516 奥行き算出部
310 記憶部
350 ラボシステム
352 入力部
354 処理部
356 記録部
358、518 出力部
500 立体モデリングシステム
Claims (27)
- 被写体の奥行きに関する情報を取得する画像撮像装置であって、
複数の視点位置から前記被写体を撮像する撮像部と、
前記撮像部に前記複数の視点位置から異なるタイミングで前記被写体を撮像させ、前記複数の視点位置の少なくとも1つの視点位置において2回以上前記被写体を撮像させる制御部と、
前記1つの視点位置における2以上の画像に基づき、異なる視点位置での撮像と同時刻において前記1つの視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
前記異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
を備え、
前記推定画像生成部は、前記1つの視点位置で複数回撮像した場合における前記被写体の特定領域の各像の位置と大きさとに基づき、前記1つの視点位置と異なる視点位置での撮像と同時刻に、前記1つの視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する画像撮像装置。 - 被写体の奥行きに関する情報を取得する画像撮像装置であって、
複数の視点位置から前記被写体を撮像する撮像部と、
前記撮像部に前記複数の視点位置から異なるタイミングで前記被写体を撮像させ、前記複数の視点位置の少なくとも1つの視点位置において2回以上前記被写体を撮像させる制御部と、
前記1つの視点位置における2以上の画像に基づき、異なる視点位置での撮像と同時刻において前記1つの視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
前記異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
を備え、
前記推定画像生成部は、前記1つの視点位置で撮像された2枚以上の画像における前記被写体の像の位置又は大きさに変化がある領域と、前記被写体の像の位置及び大きさに変化がない領域とに分け、前記変化のない領域について前記推定画像を推定する場合に、前記1つの視点位置で撮像された2枚以上の画像の1枚を推定画像とする画像撮像装置。 - 前記撮像部は、
異なる複数の位置に設けられた複数の撮像ユニット
を有し、
前記制御部は、前記複数の撮像ユニットに異なるタイミングで前記被写体を撮像させ、前記複数の撮像ユニットの少なくとも1つの前記撮像ユニットに2回以上前記被写体を撮像させる
請求項1または請求項2に記載の画像撮像装置。 - 前記撮像部は、少なくとも同一直線上に並ばない3つの位置に、前記複数の撮像ユニットを有する
請求項3に記載の画像撮像装置。 - 前記撮像部は、前記複数の撮像ユニットを、少なくとも菱形の各頂点と中心の5つの位置に有する
請求項4に記載の画像撮像装置。 - 前記撮像部の視点位置を複数の位置に移動させる視点位置移動部
をさらに備え、
前記制御部は、前記視点位置移動部に前記撮像部の前記視点位置を移動させつつ、前記複数の視点位置から異なるタイミングで前記撮像部に前記被写体を順次撮像させ、前記複数の視点位置の少なくとも1つの視点位置において2回以上前記被写体を撮像させる
請求項1または請求項2に記載の画像撮像装置。 - 前記撮像部は、
外界の映像を結像する結像部と、前記結像部を透過した光の透過範囲を制限する少なくとも1つの開口を有する光制限部と、
を有し、
前記視点位置移動部は、前記光制限部を動かすことにより前記開口を複数の位置に移動させて前記複数の位置を実現する
請求項6に記載の画像撮像装置。 - 前記撮像部は、
外界の映像を結像する結像部と、前記結像部を透過した光の透過範囲を制限する複数の開口を有する光制限部と、
を有し、
前記視点位置移動部は、前記複数の開口の少なくとも1つを閉じることにより前記複数の位置を実現する
請求項6に記載の画像撮像装置。 - 前記視点位置移動部は、少なくとも同一直線上に並ばない3つの視点位置に、前記撮像部を移動させる
請求項6に記載の画像撮像装置。 - 前記視点位置移動部は、前記撮像部を菱形の各頂点と中心の5つの位置に移動させる
請求項9に記載の画像撮像装置。 - 被写体の奥行きに関する情報を取得する画像撮像装置であって、
複数の視点位置から前記被写体を撮像する撮像部であって、レンズと、前記レンズを透過した光の透過範囲を制限する開口を含む光制限部とを有する撮像部と、
前記レンズを固定したまま、前記開口を複数の位置に移動させて、前記撮像部の視点位置を複数の位置に移動させる視点位置移動部と、
前記視点位置移動部に前記撮像部の前記視点位置を移動させつつ、前記複数の視点位置から異なるタイミングで前記撮像部に前記被写体を順次撮像させ、前記複数の視点位置の少なくとも1つの視点位置において2回以上前記被写体を撮像させる制御部と、
前記1つの視点位置における2以上の画像に基づき、異なる視点位置での撮像と同時刻において前記1つの視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
前記異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
を備える画像撮像装置。 - 前記視点位置移動部は、少なくとも同一直線上に並ばない3つの視点位置に、前記撮像部を移動させる
請求項11に記載の画像撮像装置。 - 前記視点位置移動部は、前記撮像部を菱形の各頂点と中心の5つの位置に移動させる
請求項12に記載の画像撮像装置。 - 前記撮像部は、2つの前記視点位置から前記被写体を撮像し、
前記制御部は、前記撮像部に前記2つの視点位置から前記被写体を交互に3回以上撮像させる
請求項1乃至請求項13のいずれかに記載の画像撮像装置。 - 前記画像撮像装置は、前記撮像部が前記被写体を撮像する時刻を設定する時刻設定部をさらに備え、前記推定画像生成部は、前記1つの視点位置で複数回撮像した場合における各撮像時刻と、各画像における前記被写体中の特定領域の像の位置とに基づき、前記1つの視点位置における所定の時刻の前記像の位置を推定する
請求項1乃至請求項14のいずれかに記載の画像撮像装置。 - 被写体の奥行きに関する情報を取得する画像処理装置であって、
複数の異なる視点位置から異なるタイミングで順次前記被写体を撮像した画像であって、少なくとも1つの同一視点位置から撮像した2以上の画像を含む複数の画像を入力する入力部と、
前記同一視点位置における2以上の画像に基づき、前記同一視点位置と異なる視点位置での撮像と同時刻において前記同一視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
前記同一視点位置と異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
を備え、
前記推定画像生成部は、前記同一視点位置で複数回撮像した場合における前記被写体の特定領域の各像の位置と大きさとに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する画像処理装置。 - 被写体の奥行きに関する情報を取得する画像処理装置であって、
複数の異なる視点位置から異なるタイミングで順次前記被写体を撮像した画像であって、少なくとも1つの同一視点位置から撮像した2以上の画像を含む複数の画像を入力する入力部と、
前記同一視点位置における2以上の画像に基づき、前記同一視点位置と異なる視点位置での撮像と同時刻において前記同一視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
前記同一視点位置と異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
を備え、
前記推定画像生成部は、前記同一視点位置で撮像された2枚以上の画像における前記被写体の像の位置又は大きさに変化がある領域と、前記被写体の像の位置及び大きさに変化がない領域とに分け、前記変化のない領域について前記推定画像を推定する場合に、前記同一視点位置で撮像された2枚以上の画像の1枚を推定画像とする
画像処理装置。 - 前記推定画像生成部は、前記同一視点位置で複数回撮像した場合における各撮像時刻と、各画像における前記被写体中の特定領域の像の位置とに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
請求項16または請求項17に記載の画像処理装置。 - 前記入力部は、異なる2つの前記視点位置から交互に前記被写体を撮像した複数の画像を入力し、
前記推定画像生成部は、一方の視点位置から撮像された一の画像と、前記一の画像より前のタイミングで前記一方の視点位置から撮像された画像とを用いて、第1の推定処理を行い、さらに、前記第1の推定処理の後に、前記一の画像より後のタイミングで前記一方の視点位置から撮像された画像と、前記一の画像とを用いて、第2の推定処理を行い、
前記位置ずれ検出部は、前記第1の推定処理と前記第2の推定処理の間に、前記第1の推定処理で生成された推定画像と、他方の視点位置から撮像した画像とを用いて、前記位置のずれを検出する
請求項16乃至請求項18のいずれかに記載の画像処理装置。 - 被写体の奥行きに関する情報を取得する画像撮像方法であって、
第1の視点位置における第1の時刻での前記被写体の第1の画像を撮像する段階と、
第2の視点位置における第2の時刻での前記被写体の第2の画像を撮像する段階と、
第1の視点位置における第3の時刻での前記被写体の第3の画像を撮像する段階と、
前記第1の画像と第3の画像に基づいて第1の視点位置における第2の時刻での前記被写体の特定領域の像を推定する推定画像生成段階と、
前記推定した前記被写体の特定領域の像と第2の画像における前記被写体の特定領域の像の位置のずれを検出する位置ずれ検出段階と、
前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する段階と
を備え、
前記推定画像生成段階は、同一視点位置で複数回撮像した場合における前記被写体の特定領域の各像の位置と大きさとに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
画像撮像方法。 - 被写体の奥行きに関する情報を取得する画像撮像方法であって、
第1の視点位置における第1の時刻での前記被写体の第1の画像を撮像する段階と、
第2の視点位置における第2の時刻での前記被写体の第2の画像を撮像する段階と、
第1の視点位置における第3の時刻での前記被写体の第3の画像を撮像する段階と、
前記第1の画像と第3の画像に基づいて第1の視差位置における第2の時刻での前記被写体の特定領域の像を推定する推定画像生成段階と、
前記推定した前記被写体の特定領域の像と第2の画像における前記被写体の特定領域の像の位置のずれを検出する位置ずれ検出段階と、
前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する段階と
を備え、
前記推定画像生成段階は、同一視点位置で撮像された2枚以上の画像における前記被写体の像の位置又は大きさに変化がある領域と、前記被写体の像の位置及び大きさに変化がない領域とに分け、前記変化のない領域について前記推定画像を推定する場合に、前記同一視点位置で撮像された2枚以上の画像の1枚を推定画像とする
画像撮像方法。 - 前記推定画像生成段階は、同一視点位置で複数回撮像した場合における各撮像時刻と、各画像における前記被写体中の特定領域の像の位置とに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
請求項20または請求項21に記載の画像撮像方法。 - 前記推定画像生成段階は、一方の視点位置から撮像された一の画像と、前記一の画像より前のタイミングで前記一方の視点位置から撮像された画像とを用いて、第1の推定処理を行い、さらに、前記第1の推定処理の後に、前記一の画像より後のタイミングで前記一方の視点位置から撮像された画像と、前記一の画像とを用いて、第2の推定処理を行い、
前記位置ずれ検出段階は、前記第1の推定処理と前記第2の推定処理の間に、前記第1の推定処理で生成された推定画像と、他方の視点位置から撮像した画像とを用いて、前記位置のずれを検出する
請求項20乃至請求項22のいずれかに記載の画像撮像方法。 - 被写体の奥行きに関する情報を取得するコンピュータ用のプログラムであって、前記コンピュータを、
複数の異なる視点位置から異なるタイミングで順次前記被写体を撮像した画像であって、少なくとも1つの同一視点位置から撮像した2以上の画像を含む複数の画像を入力する入力手段、
前記同一視点位置における2以上の画像に基づき、前記同一視点位置と異なる視点位置での撮像と同時刻において前記同一視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成手段、
前記同一視点位置と異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出手段、及び
前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出手段
として機能させ、
前記推定画像生成手段は、前記同一視点位置で複数回撮像した場合における前記被写体の特定領域の各像の位置と大きさとに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
プログラム。 - 被写体の奥行きに関する情報を取得するコンピュータ用のプログラムであって、前記プログラムを、
複数の異なる視点位置から異なるタイミングで順次前記被写体を撮像した画像であって、少なくとも1つの同一視点位置から撮像した2以上の画像を含む複数の画像を入力する入力手段、
前記同一視点位置における2以上の画像に基づき、前記同一視点位置と異なる視点位置での撮像と同時刻において前記同一視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成手段、
前記同一視点位置と異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出手段、及び
前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出手段
として機能させ、
前記推定画像生成手段は、前記同一視点位置で撮像された2枚以上の画像における前記被写体の像の位置又は大きさに変化がある領域と、前記被写体の像の位置及び大きさに変化がない領域とに分け、前記変化のない領域について前記推定画像を推定する場合に、前記同一視点位置で撮像された2枚以上の画像の1枚を推定画像とする
プログラム。 - 前記推定画像生成手段は、前記同一視点位置で複数回撮像した場合における各撮像時刻と、各画像における前記被写体中の特定領域の像の位置とに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
請求項24または請求項25に記載のプログラム。 - 前記入力手段は、異なる2つの前記視点位置から交互に前記被写体を撮像した複数の画像を入力し、
前記推定画像生成手段は、一方の視点位置から撮像された一の画像と、前記一の画像より前のタイミングで前記一方の視点位置から撮像された画像とを用いて、第1の推定処理を行い、さらに、前記第1の推定処理の後に、前記一の画像より後のタイミングで前記一方の視点位置から撮像された画像と、前記一の画像とを用いて、第2の推定処理を行い、
前記位置ずれ検出手段は、前記第1の推定処理と前記第2の推定処理の間に、前記第1の推定処理で生成された推定画像と、他方の視点位置から撮像した画像とを用いて、前記位置のずれを検出する
請求項24から請求項26のいずれかに記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001253598A JP4282920B2 (ja) | 2000-08-25 | 2001-08-23 | 視差画像撮像装置及び視差画像処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000-256432 | 2000-08-25 | ||
JP2000256432 | 2000-08-25 | ||
JP2001253598A JP4282920B2 (ja) | 2000-08-25 | 2001-08-23 | 視差画像撮像装置及び視差画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002159024A JP2002159024A (ja) | 2002-05-31 |
JP4282920B2 true JP4282920B2 (ja) | 2009-06-24 |
Family
ID=26598531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001253598A Expired - Lifetime JP4282920B2 (ja) | 2000-08-25 | 2001-08-23 | 視差画像撮像装置及び視差画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4282920B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4072674B2 (ja) | 2002-09-06 | 2008-04-09 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
US20060125920A1 (en) * | 2004-12-10 | 2006-06-15 | Microsoft Corporation | Matching un-synchronized image portions |
JP4160572B2 (ja) | 2005-03-31 | 2008-10-01 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
JP5734776B2 (ja) * | 2011-07-15 | 2015-06-17 | 株式会社東芝 | カメラモジュール |
-
2001
- 2001-08-23 JP JP2001253598A patent/JP4282920B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002159024A (ja) | 2002-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1185112B1 (en) | Apparatus for parallax image capturing and parallax image processing | |
JP3907891B2 (ja) | 画像撮像装置及び画像処理装置 | |
JP4533735B2 (ja) | 立体画像撮影装置 | |
EP2212731B1 (en) | Image sensing apparatus | |
US8593531B2 (en) | Imaging device, image processing method, and computer program | |
JP4763827B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム | |
JP2001141422A (ja) | 画像撮像装置及び画像処理装置 | |
JP2010230879A (ja) | 複眼カメラ装置 | |
JP4070909B2 (ja) | 電子カメラのホワイトバランス制御量算出装置 | |
JP2001346095A (ja) | デジタルスチルカメラ | |
JP4282920B2 (ja) | 視差画像撮像装置及び視差画像処理装置 | |
JP2010114577A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法及び画像処理方法 | |
JP3353737B2 (ja) | 3次元情報入力カメラ | |
JP4162842B2 (ja) | 画像撮像装置及び画像撮像方法 | |
JP2007318644A (ja) | 撮影装置、その制御方法及びそのプログラム | |
JP5366693B2 (ja) | 撮像装置、撮像装置の制御方法、及びコンピュータプログラム | |
JPH11258491A (ja) | 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP3358584B2 (ja) | 3次元情報入力カメラ | |
JP2004145022A (ja) | デジタルカメラ | |
JP3275873B2 (ja) | 3次元情報入力カメラ | |
CN105282412A (zh) | 具多个摄影模式的摄像装置 | |
JP3269484B2 (ja) | 3次元情報入力カメラ | |
JP4318873B2 (ja) | 距離情報取得装置、距離情報取得方法、プログラム、及び撮像装置 | |
JP2005044915A (ja) | 撮像素子および撮像装置 | |
JP2007226141A (ja) | 撮影装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060110 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4282920 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |