JP2963990B1

JP2963990B1 - 距離計測装置及び方法並びに画像復元装置及び方法

Info

Publication number: JP2963990B1
Application number: JP15866398A
Authority: JP
Inventors: 慎作日浦; 隆司松山
Original assignee: 京都大学長
Priority date: 1998-05-25
Filing date: 1998-05-25
Publication date: 1999-10-18
Anticipated expiration: 2018-05-25
Also published as: JPH11337313A

Abstract

【要約】【課題】安定かつ高精度に対象の距離計測を行う。【解決手段】開口マスク１は、ぼけ量の解析が容易と
なるように構造化された符号化開口（瞳）形状として二
つのピンホール６及び７を有する。演算部は、ＣＣＤ
７，８，９から取り込んだ画像に基づいて、合焦位置を
推定する。開口マスク１及びレンズ系２は、ＣＣＤ７，
８，９によって得られる３枚の画像について、その間の
像倍率が等しくなるテレセントリック光学系を構成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対象の距離計測を
行う距離計測装置及び方法に関するものである。

【０００２】また、本発明は、このような対象の距離計
測に基づいて合焦画像を復元する画像復元装置及び方法
に関するものである。

【０００３】

【従来の技術】従来、レンズと像面の位置関係によって
生じるぼけと被写体までの距離の関係を用いて距離を計
測する方法が多数提案されており、そのうちの代表的な
ものとしては、１．オートフォーカスカメラ等で用いられている方法。２．レンズ焦点法。３．合焦位置を直接求める代わりに距離に対する画像の
ぼけ量の関係を用いた方法。４．可視光を用いて３次元形状を計測する方法。があ
る。

【０００４】オートフォーカスカメラ等で用いられてい
る方法は、瞳分割のために通常の撮像素子の代わりに専
用の光学系を用いている。レンズ焦点法では、通常の撮
像素子を用いており、この場合、レンズのフォーカス位
置を駆動しながら得た画像から最もよく合焦していると
きの画像を求め、そのときのフォーカス位置から距離を
求める。

【０００５】合焦位置を直接求める代わりに距離に対す
る画像のぼけ量の関係を用いた方法のうち、コロンビア
大学のネイヤーによって提案されたものでは、テレセン
トリック光学系と二重フォーカスカメラを用いている。
さらに、可視光を用いて３次元形状を計測する方法は、
大阪市立大学の山田等によって提案されたものであり、
従来Ｘ線撮像技術で用いられてきた符号化開口法を拡張
したものである。

【０００６】

【発明が解決しようとする課題】しかしながら、オート
フォーカスカメラ等で用いられている方法では、瞳分割
のために通常の撮像素子ではなく専用の光学系を用いる
必要があるので、画面中の１点又は数点に対する距離し
か求めることができない。レンズ焦点法では、逐次的な
レンズ駆動が必要となり、これを用いて動物体の計測や
リアルタイム計測を行うことは困難である。

【０００７】ネイヤーによって提案された方法によれ
ば、単なる円形開口のレンズを用いているために、レン
ズ収差のモデリング、ＣＣＤ（電荷結合素子）の精密な
位置合わせ、得られた画像からのノイズ除去が必要とな
る。また、ぼけの大きさも比較的小さいものに制限され
るので、遠距離物体の計測や奥行き精度の確保が困難で
ある。

【０００８】山田等によって提案された方法は、光学的
には従来の符号化開口法を何ら拡張しておらず、現存す
るＣＣＤの面積やノイズ性能を考慮すると十分な性能を
得ることが困難である。特に、遠距離物体の計測は非常
に困難であり、ミリメートルオーダの微小な物体しか計
測することができない。

【０００９】本発明の第１の目的は、上記不都合を生ず
ることなく安定かつ高精度に対象の距離計測を行うこと
ができる距離計測装置及び方法を提供することである。

【００１０】本発明の第２の目的は、上記不都合を生ず
ることなく完全な合焦画像を復元する画像復元装置及び
方法を提供することである。

【００１１】

【課題を解決するための手段】本発明のうち請求項１記
載の距離計測装置は、ぼけ量の解析が容易となるように
構造化した光通過手段と、この光通過手段を通過した光
を収束するレンズ系と、このレンズ系によって収束され
た光を二つ以上の光に分離し、これら分離した光から、
互いに相違する合焦位置の画像をそれぞれ取り込む画像
取込み手段と、これら画像を用いて対象の距離を演算す
る距離演算手段とを具え、前記光通過手段及びレンズ系
によってテレセントリック光学系を構成したことを特徴
とするものである。

【００１２】対象の距離を計測するに当たり、得られた
画像に含まれるぼけを比較・解析し、その量から合焦位
置を求める必要がある。画像の撮影に用いる通常のカメ
ラでは、滑らかで自然なぼけを得るために光通過手段は
円形又はそれに近い形状の開口を有することが多い。し
かしながら、このような形状では、ぼけ量を正確に推定
することができない。特に、空間周波数の高周波領域の
情報が失われることによって距離分解能が低下するとと
もに、距離計測後の原画像の復元も困難となる。したが
って、光通過手段をぼけ量の解析が容易となるように構
造化する。これによって、ぼけによる情報損失を最小限
に抑制し、高精度な距離計測が可能になる。また、現存
するＣＣＤの面積やノイズ性能を考慮しても十分な性能
を得ることが容易になるとともに、遠距離物体の計測も
容易となる。なお、本明細書中、瞳形状とは、収縮性開
口、すなわち、絞りのみでなく、収縮性を有しない任意
の形状の開口も意味するものとする。

【００１３】また、瞳分割のために専用の光学系を用い
る必要がないので、画面中の１点又は数点に対する距離
しか求めることができないという不都合がない。

【００１４】画像取出し手段は、光通過手段を通過した
光を、各々がほぼ同一光量の二つ以上の光に分離し、分
離した光から、互いに相違する奥行きを有する対象に関
する画像をそれぞれ取り出す。これによって、表面テレ
テクスチャの種類に依存しない解析が可能になり、か
つ、逐次的なレンズ駆動を必要とせず、動物体の計測や
リアルタイム計測を容易に行うことができる。

【００１５】さらに、光通過手段及びレンズ系によって
テレセントリック光学系を構成しているので、画像取出
し手段によって取り出される複数の画像間の像倍率が等
しくなる。通常の光学系では、光通過手段を主点の近辺
に配置するために、像面の位置に応じて画像上の像の大
きさに差異が生じる。それに対して、テレセントリック
光学系では、前焦点面に光通過手段を配置することによ
って、光通過手段を光通過手段の中央を通過する光束は
全て像面に対して垂直に入射する。このために、像面の
位置変化は画像のぼけのみを生じ、像倍率は変化しな
い。したがって、レンズ収差のモデリング、ＣＣＤの精
密な位置合わせ、得られた画像からのノイズ除去が必要
でない。また、ぼけの大きさも比較的小さいものに制限
されず、遠距離物体の計測や奥行き精度の確保が容易と
なる。

【００１６】結果として、このような光通過手段及びレ
ンズ系によってテレセントリック光学系を構成すること
によって、上記不都合を生ずることなく安定かつ高精度
に対象の距離計測を行うことができる。

【００１７】本発明のうち請求項２記載の距離計測装置
は、前記光通過手段は二つのピンホールを有することを
特徴とするものである。

【００１８】光通過手段が二つのピンホールを有するこ
とによって、解析を一層容易にし、計算時間を短縮する
ことができる。

【００１９】本発明のうち請求項３記載の距離計測装置
は、前記画像取込み手段は、分光特性を除去するために
全ての面が再蒸着されるとともに前記収束された光が第
１の面に入射される第１のプリズムと、分光特性を除去
するために全ての面が再蒸着されるとともに前記第１の
プリズムの第２の面に第１の面を接合した第２のプリズ
ムと、分光特性を除去するために全ての面が再蒸着され
るとともに前記第２のプリズムの第２の面に第１の面を
接合した第３のプリズムと、前記第１のプリズムの第２
の面及び第１の面によって反射された光が入射される第
１の固体撮像素子と、前記第２のプリズムの第２の面及
び第１の面によって反射された光が入射される第２の固
体撮像素子と、前記第１、第２及び第３のプリズムを通
過する光が入射される第３の固体撮像素子とを具え、こ
れら第１、第２及び第３の固体撮像素子の光学的配置が
互いに相違するようにしたことを特徴とするものであ
る。

【００２０】このような画像取出し手段によって、物体
の計測の際に逐次的なレンズ駆動を必要とせず、動物体
の計測やリアルタイム計測を容易に行うことができる。
また、このような画像取出し手段を、通常の３−ＣＣＤ
方式カラーカメラの分光プリズムブロックを加工し、各
ＣＣＤの光学的配置が互いに相違するようにするだけで
得ることができる。

【００２１】本発明のうち請求項４記載の距離計測装置
は、前記距離演算手段は、生成に基づく解析法を用いて
合焦位置を求め、この合焦位置及び前記レンズ系の焦点
距離に基づいて前記対象の距離を演算するようにしたこ
とを特徴とするものである。

【００２２】距離演算手段は、生成に基づく解析法を用
いて合焦位置を求める。すなわち、種々の合焦位置に関
する関数値を予め計算し、画像から得られた値と比較
し、両者の差が最も小さいときの合焦位置を推定値とす
る。画像から直接合焦位置を求めるのは困難であるが、
このように生成に基づく解析法を用いることによって合
焦位置を容易に推定することができる。このようにして
得られた合焦位置とレンズ系の焦点距離とを用いると、
ガウスの結像公式に基づいて対象の距離を演算すること
ができる。これについては後に説明する。

【００２３】本発明のうち請求項５記載の距離計測方法
は、ぼけ量の解析が容易となるように構造化した光通過
手段及びこの光通過手段を通過した光を収束するレンズ
系によって構成されたテレセントリック光学系を通過し
た光を、二つ以上の光に分離し、これら分離した光か
ら、互いに相違する合焦位置の画像をそれぞれ取り込
み、これら画像を用いて対象の距離を演算することを特
徴とするものである。

【００２４】このようにテレセントリック光学系を用い
ることによって、上記不都合を生ずることなく安定かつ
高精度に対象の距離計測を行うことができる。

【００２５】本発明のうち請求項６記載の距離計測方法
は、前記光通過手段は二つのピンホールを有することを
特徴とするものである。

【００２６】光通過手段が二つのピンホールを有するこ
とによって、解析を一層容易にし、計算時間を短縮する
ことができる。

【００２７】本発明のうち請求項７記載の距離計測方法
は、前記テレセントリック光学系を通過した光を三つの
光に分離し、これら分離した光を、光学的配置が互いに
相違する第１、第２及び第３の固体撮像素子にそれぞれ
入射させることを特徴とするものである。

【００２８】この場合、物体の計測の際に逐次的なレン
ズ駆動を必要とせず、動物体の計測やリアルタイム計測
を容易に行うことができる。

【００２９】本発明のうち請求項８記載の距離計測方法
は、前記対象の距離を演算するに際し、生成に基づく解
析法を用いて合焦位置を求め、この合焦位置及び前記レ
ンズ系の焦点距離に基づいて前記対象の距離を演算する
ことを特徴とするものである。

【００３０】このように生成に基づく解析法を用いるこ
とによって合焦位置を容易に推定することができ、した
がって、対象の距離を容易に演算することができる。

【００３１】本発明のうち請求項９記載の画像復元装置
は、ぼけ量の解析が容易となるように構造化した光通過
手段と、この光通過手段を通過した光を収束するレンズ
系と、このレンズ系によって収束された光を二つ以上の
光に分離し、これら分離した光から、互いに相違する合
焦位置の画像をそれぞれ取り込む画像取込み手段と、こ
れら画像を用いて対象の距離を演算する距離演算手段
と、合焦画像を復元する合焦画像復元手段とを具え、前
記光通過手段及びレンズ系によってテレセントリック光
学系を構成したことを特徴とするものである。

【００３２】これによって高精度な距離計測が可能にな
り、その結果、ぼけのない完全な合焦画像の安定な復元
が可能となる。

【００３３】本発明のうち請求項１０記載の画像復元装
置は、前記光通過手段は二つのピンホールを有すること
を特徴とするものである。

【００３４】光通過手段が二つのピンホールを有するこ
とによって、解析を一層容易にし、計算時間を短縮する
ことができる。

【００３５】本発明のうち請求項１１記載の画像復元装
置は、前記画像取込み手段は、分光特性を除去するため
に全ての面が再蒸着されるとともに前記収束された光が
第１の面に入射される第１のプリズムと、分光特性を除
去するために全ての面が再蒸着されるとともに前記第１
のプリズムの第２の面に第１の面を接合した第２のプリ
ズムと、分光特性を除去するために全ての面が再蒸着さ
れるとともに前記第２のプリズムの第２の面に第１の面
を接合した第３のプリズムと、前記第１のプリズムの第
２の面及び第１の面によって反射された光が入射される
第１の固体撮像素子と、前記第２のプリズムの第２の面
及び第１の面によって反射された光が入射される第２の
固体撮像素子と、前記第１、第２及び第３のプリズムを
通過する光が入射される第３の固体撮像素子とを具え、
これら第１、第２及び第３の固体撮像素子の光学的配置
が互いに相違するようにしたことを特徴とするものであ
る。

【００３６】このような画像取出し手段によって、物体
の計測の際に逐次的なレンズ駆動を必要とせず、動物体
の計測やリアルタイム計測を容易に行うことができる。
また、このような画像取出し手段を、通常の３−ＣＣＤ
方式カラーカメラの分光プリズムブロックを加工し、各
ＣＣＤの光学的配置が互いに相違するようにするだけで
得ることができる。

【００３７】本発明のうち請求項１２記載の画像復元装
置は、前記距離演算手段は、生成に基づく解析法を用い
て合焦位置を求め、この合焦位置及び前記レンズ系の焦
点距離に基づいて前記対象の距離を演算するようにした
ことを特徴とするものである。

【００３８】このように生成に基づく解析法を用いるこ
とによって合焦位置を容易に推定することができ、した
がって、対象の距離を容易に演算することができる。

【００３９】本発明のうち請求項１３記載の画像復元装
置は、前記合焦画像復元手段は、前記合焦位置からぼけ
を含まない原画像の空間周波数スペクトルを求め、これ
をフーリエ逆変換することによって合焦画像を復元する
ようにしたことを特徴とするものである。

【００４０】合焦画像復元手段は、合焦位置からぼけを
含まない原画像の空間周波数スペクトルを求め、これを
フーリエ逆変換することによって原画像を復元する。し
たがって、単に合焦領域を統合しているのではなく、信
号処理的に画像を複合しているので、画像取込み手段に
よって取り出された画像のうちのいずれもが合焦してい
ない場合でも、全焦画像を得ることができる。

【００４１】本発明のうち請求項１４記載の画像復元方
法は、ぼけ量の解析が容易となるように構造化した光通
過手段及びこの光通過手段を通過した光を収束するレン
ズ系によって構成されたテレセントリック光学系を通過
した光を、二つ以上の光に分離し、これら分離した光か
ら、互いに相違する合焦位置の画像をそれぞれ取り込
み、これら画像を用いて対象の距離を演算するとともに
合焦画像を復元することを特徴とするものである。

【００４２】これによって高精度な距離計測が可能にな
り、その結果、ぼけのない完全な合焦画像の安定な復元
が可能となる。

【００４３】本発明のうち請求項１５記載の画像復元方
法は、前記光通過手段は二つのピンホールを有すること
を特徴とするものである。

【００４４】光通過手段が二つのピンホールを有するこ
とによって、解析を一層容易にし、計算時間を短縮する
ことができる。

【００４５】本発明のうち請求項１６記載の画像復元方
法は、前記テレセントリック光学系を通過した光を三つ
の光に分離し、これら分離した光を、光学的配置が互い
に相違する第１、第２及び第３の固体撮像素子にそれぞ
れ入射させることを特徴とするものである。

【００４６】この場合、物体の計測の際に逐次的なレン
ズ駆動を必要とせず、動物体の計測やリアルタイム計測
を容易に行うことができる。

【００４７】本発明のうち請求項１７記載の画像復元方
法は、前記対象の距離を演算するに際し、生成に基づく
解析法を用いて合焦位置を求め、この合焦位置及び前記
レンズ系の焦点距離に基づいて前記対象の距離を演算す
ることを特徴とするものである。

【００４８】このように生成に基づく解析法を用いるこ
とによって合焦位置を容易に推定することができ、した
がって、対象の距離を容易に演算することができる。

【００４９】本発明のうち請求項１８記載の画像復元方
法は、前記原画像を復元するに際し、前記合焦位置から
ぼけを含まない合焦画像の空間周波数スペクトルを求
め、これをフーリエ逆変換して前記合焦画像を復元する
ことを特徴とするものである。

【００５０】したがって、取り出された画像のうちのい
ずれもが合焦していない場合でも、全焦画像を得ること
ができる。

【００５１】

【発明の実施の形態】本発明による距離計測装置及び方
法並びに画像復元装置及び方法を、図面を参照して詳細
に説明する。図１は、本発明による距離計測装置を示す
図である。この距離計測装置は、光通過手段としての開
口マスク１と、開口マスク１から入射された光を収束す
るレンズ系２と、光学的配置が互いに相違するようにし
たＣＣＤ３，４，５と、図示しない距離演算手段として
の演算部とを具える。

【００５２】開口マスク１は、ぼけ量の解析が容易とな
るように構造化された符号化開口形状（瞳形状）を有す
る。具体的には二つのピンホール６及び７を有する。レ
ンズ系２は、凸レンズ８、凹レンズ９及び凸レンズ１０
を有する。

【００５３】図示しない演算部は、ＣＣＤ７，８，９か
ら取り込んだ画像に基づいて、合焦位置を推定する。こ
の動作については後に詳細に説明する。

【００５４】開口マスク１及びレンズ系２は、ＣＣＤ
７，８，９によって得られる３枚の画像について、その
間の像倍率が等しくなるテレセントリック光学系を構成
する。通常の光学系の場合、図２Ａに示すように、絞り
１１をレンズ系１２の主点の近辺に配置するために、Ｃ
ＣＤ１３及び１４の位置変化に応じて倍率が変化する。
それに対して、テレセントリック光学系の場合、図２Ｂ
に示すように、絞り１５をレンズ系１６の前焦面に配置
することによって、絞り１５の中央を通過する光束は全
てＣＣＤ１７及び１８に対して垂直に入射する。このた
めに、ＣＣＤ１７及び１８、すなわち、像面の位置変化
は画像のぼけのみを生じ、像倍率は変化しない。これに
よって、対象までの距離が一定の場合、ぼけ減少は位置
不変のカーネルの折り畳み演算として表現することが可
能となり、解析が簡単化される。

【００５５】このような距離計測装置を用いて距離を計
測するためには、得られた画像に含まれるぼけを比較・
解析し、その量から合焦位置を求める必要がある。画像
の撮影に用いる通常のカメラでは、滑らかで自然なぼけ
を得るために、瞳形状は円形又はそれに近い形状の開口
を有することが多い。しかしながら、このような瞳形状
では、ぼけの発生に従い高周波成分のゲインが単調に減
少するだけであり、その量的な解析からぼけの大きさを
推定せざるを得ない。また、高周波成分が失われること
によって原画像の復元も困難になる。したがって、瞳形
状を、解析が容易となるように構造化し、それに適合す
る解析手法を開発する必要が生じる。

【００５６】瞳形状としては、以下のような条件を満た
すものが求められる。１．周波数特性の構造から容易にぼけの大きさが求めら
れること。２．ぼけの大きさに関係なく高周波領域のゲインが全体
的に落ち込まないこと。３．十分な光量が通過するような開口面積を有するこ
と。ここで重要なことは、複数配置した撮像面から互いに相
違するぼけ量を有する画像が得られるので、局所的には
構造化された瞳形状のゲイン特性に零点が含まれていて
もよいことである。むしろ零点を周期的に設けるなどゲ
イン特性を構造化することによってぼけ量の解析にパタ
ーン照合などの手法を用いることが可能となり、距離計
測の精度を大幅に向上させることができる。

【００５７】図３は、距離計測装置に用いられる多重フ
ォーカスカメラの一部を示す図である。この多重フォー
カスカメラは、図示しない符号化開口マスクと、図１の
レンズ系２に対応するレンズ１９と、プリズム２０，２
１，２２と、図１のＣＣＤ３，４，５に対応するＣＣＤ
２３，２４，２５とを具える。これらプリズム２０，２
１，２２の全ての面は、分光特性を除去するために再蒸
着されている。この場合、ＣＣＤ２３，２４，２５の光
学的配置が互いに相違するように、プリズム２０の第１
面２６からＣＣＤ２３までの光路長を、プリズム２０の
第１面２６からＣＣＤ２４までの光路長に比べて１ｍｍ
短くするとともに、プリズム２０の第１面２６からＣＣ
Ｄ２５までの光路長を、プリズム２０の第１面２６から
ＣＣＤ２４までの光路長に比べて１ｍｍ長くする。

【００５８】プリズム２０の第２面２７にプリズム２１
の第１面２８を接合するとともに、プリズム２１の第２
面２９にプリズム２２の第１面３０を接合し、ＣＣＤ２
３，２４，２５への入射光をそれぞれ、レンズ１９から
プリズム２０の第１面２６への入射光の１／３とする。

【００５９】このように各ＣＣＤ２３，２４，２５を像
面と垂直方向にずらすことによって、合焦位置の互いに
相違する３枚の画像を同時に取り込むことができる。ま
た、このような多重フォーカスカメラを、通常の３−Ｃ
ＣＤ方式カラーカメラの分光プリズムブロックを加工
し、各ＣＣＤの光学的配置が互いに相違するようにする
だけで得ることができる。

【００６０】これまで、多重フォーカスカメラにテレセ
ントリック光学系及び符号化開口（瞳形状）を統合した
手法は全く提案されていない。しかしながら、これらの
三つを同時に用いることによって初めて、後に説明する
ような高性能を得ることができる。

【００６１】次に、多重フォーカスカメラによって得ら
れた３枚の画像を解析することによって、対象上の各点
（これらをｘｙ座標系で表す。）までの距離を計測する
手法を、理解を容易にするために図２Ｂ及び４を用いて
説明する。なお、図４において、光通過手段を、二つの
ピンホール３１，３２を有する開口マスク３３で示し、
レンズ系を凸レンズ３４で示し、画像取出し手段をＣＣ
Ｄ３５，３６，３７で示す。なお、テレセントリック光
学系を構成するために、開口マスク３３を凸レンズ３４
の前焦点面に配置する。

【００６２】図２Ｂに示すテレセントリック光学系にお
いて、絞り１５を絞り込み、これに中心光束のみを通過
させたときに得られるぼけを含まない画像をｓ（ｘ，
ｙ）とする。この画像ｓ（ｘ，ｙ）は、撮像面の位置に
関係なく同一である。また、絞り１５の瞳形状をａ
（ｘ，ｙ）とし、得られる画像をｉ（ｘ，ｙ）とする
と、これらの関係は以下の式で表される。

【数１】

【００６３】このように、フォーカシングによる画像の
変化が単に原画像に対するぼけカーネルの畳み込みで表
現されている点が、通常の光学系の代わりにテレセント
リック光学系を用いる数学的な根拠である。ここで、ぼ
けカーネルは瞳形状と相似の図形であり、その比率ｋ_m
（ｍ＝１，２，３）は、レンズ３４から対象の点Ｐまで
の距離をｕとし、レンズ３４の焦点距離をｆとし、レン
ズ３４の合焦位置をｖとし、レンズから各ＣＣＤまでの
位置をｗ_mとすると、比率ｋ_mは、図４から以下のよう
に表すことができる。

【数２】

【００６４】ここで、ガウスの結像公式

【数３】を用いて距離ｕを消去すると、比率ｋ_mは、

【数４】で表される。〔数４〕から、比率ｋ_mは、合焦位置ｖと
各ＣＣＤの位置ｗ_mの差に線形な値であることがわか
る。当然、合焦位置ｖが求められると、距離ｕは〔数
３〕から求められる。合焦状態、すなわち、ｖ＝ｗ_mの
ときはｋ_m＝０となり、この際、ぼけカーネルはデルタ
関数となる。当然、ｉ_m（ｘ，ｙ）＝ｓ（ｘ，ｙ）、す
なわち、ぼけのない画像が観測される。

【００６５】〔数１〕で表されるぼけの成形過程は、瞳
形状に無関係に成立する性質である。ここで、瞳形状ａ
（ｘ，ｙ）を設定すると、観測された画像ｉ_m（ｘ，
ｙ）から合焦位置ｖと完全合焦画像ｓ（ｘ，ｙ）を求め
ることができる。

【００６６】図４に図示した瞳形状に起因するぼけカー
ネルは、

【数５】によって表される。ここで、δ（ｘ）はDirac のδ関数
である。これを〔数１〕に代入すると、

【数６】となる。これをｘ軸方向に１次元フーリエ変換すると、

【数７】のようになる。すなわち、二つのピンホールを有する距
離計測装置によるぼけの周波数特性のゲインはｃｏｓ関
数の絶対値で表され、その周期はぼけ量によって決定さ
れる。

【００６７】また、〔数７〕が実関数であることから、
位相成分は０又はπのいずれかである。これらから二つ
のピンホールを有する距離計測装置は、上記条件１及び
２を満足することがわかる。ぼけ画像が複数枚得られる
ので、これらから求めたスペクトル分布に適切な重み付
けを行うことによって、距離計測及び後に説明する完全
合焦画像復元の双方において零点の存在も問題にならな
い。

【００６８】なお、通常の円形開口の場合には、ぼけ量
が増加するに従って周波数特性の高周波成分を低減させ
るローパスフィルタの機能を有するが、瞳形状を構造化
することによって、ぼけの周波数特性を構造化できるこ
とがわかる。

【００６９】このような距離計測装置では、複数の互い
に相違するぼけ量に関する画像が同時に得られる。これ
らのｘに関する１次元フーリエ変換をそれぞれＩ
_m（ｓ，ｙ）とすると、

【数８】となる。ここで、各像面の位置をｗ_mとし、Ｓ（ｓ，
ｙ）を、（ぼけを含まない）完全合焦点の空間周波数ス
ペクトルとする。これは未知であるが全ての画像面に関
して共通である。したがって、〔数８〕を互いに除算す
ることによってこの項を消去する。例えば、Ｉ_m（ｓ，
ｙ）を分子にとるとともにＩ_n（ｓ，ｙ）（ｎを、ｍと
は異なる１〜３のうちのいずれかの整数とする。）を分
母にとる場合には、

【数９】を最小にするｖを求めればよい。しかしながら、第１項
は、複素数の値である入力画像のフーリエ変換から求め
られる値であり、これを用いて合焦位置ｖを直接求める
のは困難であるので、生成に基づく解析法を用いる。こ
の処理の流れを図５に示す。先ず、入力画像Ｉ₁，
Ｉ₂，Ｉ₃の各々の１走査ライン上から処理すべき画像
を取り出し、ブラックマンウィンドウ処理を行う。次
に、ｘに関する１次フーリエ変換を行い、得られたスペ
クトルの除算を、隣接する画像面間について空間周波数
ｓごとに行う。

【００７０】この場合、３枚の画像面を有するので、分
母分子を入れ替えた全ての組合せ、すなわち、ｒ₁₂ｒ₂₁
ｒ₂₃ｒ₃₂の総和を求める。〔数９〕は除算を含むが、実
際には重み付け和を計算することで周波数応答の零点に
関する問題を解決している。重み付けには、分母に用い
るＩ_n（ｓ，ｙ）の絶対値を利用している。また、重み
付け係数の和が閾値に達しない場合、その領域には十分
なテクスチャが含まれていないので、距離計測が不可能
であると判定する。当然、距離ｕは、生成に基づく解析
法によって求めた合焦位置ｖと〔数３〕から求められ
る。

【００７１】図６に、〔数９〕の第２項に互いに相違す
る合焦位置ｖ₁，ｖ₂を代入した場合の差の総和を示
す。図示したように、ｖ₁＝ｖ₂の周辺で非常に急峻な
谷状の評価値が得られ、それ以外の位置では均等な残差
であることから、高精度に距離算出を行うことが可能で
あることがわかる。

【００７２】本実施の形態によれば、多重フォーカスカ
メラを用いることによって、機械的な駆動部分を有する
ことなく実時間計測が可能になる。また、開口マスク
が、ぼけ量の解析が容易となるように光を通過させる構
造を有するので、瞳形状に起因するぽけ減少を効率的に
処理することができる。さらに、開口マスク及びレンズ
系によってテレセントリック光学系を構成する、すなわ
ち、開口マスクをレンズ系の前焦点面に配置することに
よって、上記不都合を生ずることなく安定かつ高精度に
対象の距離計測を行うことができる。

【００７３】次に、距離計測装置を用いた画像復元装置
について説明する。この場合、画像復元装置は、図１に
図示したような距離計測装置の構成要素（演算部を含
む。）の他に、合焦画像を復元する合焦画像復元手段と
しての画像復元部（図示せず）を有する。

【００７４】実際に画像を入力するためには、開口面積
は有限の値である必要がある。しかしながら、これまで
の説明ではピンホールの直径を無視しており、各ピンホ
ールの直径に起因するぼけの効果は含まれていない。そ
こで、実際の計算ではこの効果を考慮して、〔数７〕で
表されるぼけ画像のスペクトル応答にｓｉｎｃ関数を乗
じ、

【数１０】としている。ここで、βを、ピンホールの直径によって
決定される値とし、これは、αより著しく小さいので、
ｓｉｎｃ関数の周期はｃｏｓ関数の周期より小さい。ま
た、β＝０としたときは、理想的なピンホールの場合で
ある。計算に用いるβの値を、αと合わせて瞳形状の寸
法から求めた。〔数９〕の第２項を予めテーブル化して
おくことによって高速化を図っているので、この計算は
テンプレート生成時に行えばよい。

【００７５】完全合焦画像を復元するためには、求めら
れた距離ｖを用いて、

【数１１】を求め、そのフーリエ逆変換を行えばよい。当然、全て
のｍについてＳ（ｓ，ｙ）は共通であるので、〔数１
１〕の分母の絶対値を重み付けとしてｍに関する平均を
求めることによって、ぼけの周波数応答に零点が含まれ
る場合にも正しく完全合焦画像が復元される。

【００７６】次に、実際の計測によって得られた距離マ
ップと、ぼけを含まない完全合焦画像とを示す。図７〜
９は、距離計測装置によって得られた３枚の画像であ
る。これらから、互いに相違するぼけ量に関する画像が
得られていることがわかる。背景の文字については、こ
れらのどの画像も完全に合焦していないことがわかる。
図１０は、既に説明したようにして復元された完全合焦
画像である。

【００７７】図１１は、計算によって得られた対象の３
次元形状及び完全合焦画像である。これによれば、背景
の平面の部分と、手前の時計の立体的な形状と、その間
の距離が計測されていることがわかる。距離マップのう
ち、白く抜けている部分は、全ての対象に手掛かりとな
る模様等が全く含まれていない部分である。

【００７８】図１２及び１３は、入力画像のうち中央の
ＣＣＤによって撮影された画像の一部を拡大したもの及
び完全合焦画像の一部を拡大したものをそれぞれ示す。
写真Ｆでは、手前の時計と背景の文字の双方をはっきり
と見ることができる。単に合焦領域を統合しているので
はなく、信号処理的に画像を復元しているため、入力画
像のいずれもが合焦していない場合でも完全合焦画像を
得ることができる。平面に同様の文字テクステチャを配
した対象について計測した実験では約１．１ｍｍ離れた
対象に対して奥行き値の標準偏差は約１．２ｍｍであっ
た。また、計算時間は、ＤＥＣＡｌｐｈａ４００Ｍ
Ｈｚを使用して距離計算に約３０秒、完全合焦画像の復
元に約２０秒を要した。

【００７９】本実施の形態によれば、像の情報が失われ
にくく、ぼけのない完全な合焦画像の安定な復元が可能
となる。

【００８０】次に、本発明による画像復元装置を距離画
像センサに適用した場合について説明する。このような
画像復元装置は、通常のテレビカメラと同様に対象を撮
影することによって、対象の３次元形状と、ぼけを含ま
ない全焦点画像を得ることを目的とする。図１４Ａに示
すように、矢印Ａ方向にフォーカシングを行う通常のカ
メラ３８によって撮影された合焦面３９に関する画像４
０は、対象４１の奥行きに関する情報がぼけ４２として
対象４１の像に内包されており、このぼけ４２を画像４
０から分離することは困難である。

【００８１】それに対して、本発明による画像復元装置
を適用した距離画像センサ４３は、図１４Ｂに示すよう
に、対象４４の全焦点画像４５と距離画像４６とを分離
して取り出すことができる。本来、距離画像４６は、測
量・計測分野や工業的自動化などに利用されてきたが、
同時に全焦点画像４５を取得することによって、コンピ
ュータグラフィックス（ＣＧ）画像と実写画像を合成し
たＣＧ合成画像４７や立体視テレビジョン等のマルチメ
ディア分野での応用が特に期待される。

【００８２】このような距離画像センサ４３の場合、機
械的駆動部分なしに計測を行うことによって、計測に要
する時間は、通常のカメラ３８と同等の約１／３０秒に
なる。これによって動物体の計測を可能にする。また、
レーザ光等の投影を一切行わずに計測を行うことによっ
て、一般生活環境や屋外環境においても計測を可能とす
る。これらは、マルチメディア分野で利用する際に必要
な性能である。

【００８３】本発明は上記実施の形態に限定されるもの
ではなく、幾多の変更及び変形が可能である。例えば、
上記実施の形態では、光通過手段が、二つのピンホール
を有する場合についてのみ説明したが、ぼけ量の解析が
容易となるように他の任意の構造を有するようにしても
よい。

【００８４】また、レンズ系として、凸レンズ、凹レン
ズ及び凸レンズを順に配置した場合及び単一の凸レンズ
で構成した場合についてのみ説明したが、他の任意のレ
ンズ系を用いることもできる。

【００８５】また、入射光を三つに分離する場合につい
て説明したが、それ以外の複数の光に分離する場合にも
適用することができる。上記実施の形態で説明したＣＣ
Ｄの光学的配置以外のものを採用することもできる。

【００８６】さらに、本発明による画像復元装置を距離
画像センサに適用した場合について説明したが、これ
を、工業用レンジファインダ、立体視用テレビカメラ、
防犯監視システム等の３次元画像計測を行う工業分野及
び画像メディア分野に適用することができる。工業用レ
ンジファインダは、部品等の位置・向きの計測や種類の
認識を行うものであり、ロボットによる部品の把持等に
利用される。立体視用テレビカメラによれば、得られた
距離画像を計算機によって処理することで立体視に必要
な両眼視差画像を生成することができる。防犯監視シス
テムによれば、人物の像のみならず、空間中の人物の位
置や動作を認識することができる。

【図面の簡単な説明】

【図１】本発明による距離計測装置を示す図である。

【図２】通常の光学系及びテレセントリック光学系を示
す図である。

【図３】本発明による距離計測装置に用いられる多重フ
ォーカスカメラの一部を示す図である。

【図４】二つのピンホールを有するテレセントリック光
学系を示す。

【図５】距離推定処理の流れを示す図である。

【図６】互いに相違する合焦位置ｖ₁，ｖ₂に対する周
波数特性の残差の総和を示す図である。

【図７】距離計測装置によって得られた第１の画像であ
る。

【図８】距離計測装置によって得られた第２の画像であ
る。

【図９】距離計測装置によって得られた第３の画像であ
る。

【図１０】復元された完全合焦画像である。

【図１１】計算によって得られた対象の３次元形状及び
完全合焦画像である。

【図１２】入力画像のうち中央のＣＣＤによって撮影さ
れた画像の一部を拡大したものである。

【図１３】完全合焦画像の一部を拡大したものである。

【図１４】通常のカメラ及び本発明による画像復元装置
を適用した距離画像センサについて説明するための図で
ある。

【符号の説明】

１，３３開口マスク２，１２，１６レンズ系３，４，５，２３，２４，２５，３５，３６，３７Ｃ
ＣＤ６，７，３１，３２ピンホール８，１０，３４凸レンズ９凹レンズ１９レンズ２０，２１，２２プリズム２６，２８，３０第１面２７，２９第２面３８通常のカメラ３９合焦面４０画像４１，４４対象４２ぼけ４３距離画像センサ４５全焦点画像４６距離画像４７ＣＧ合成画像ｆレンズ３４の焦点距離Ｉ₁，Ｉ₂，Ｉ₃ 入力画像Ｐ対象の点ｕレンズ３４から対象の点Ｐまでの距離ｖレンズ３４の合焦位置ｗ₁，ｗ₂，ｗ₃ レンズ３４から各ＣＣＤまでの位置

Claims

(57)【特許請求の範囲】

【請求項１】ぼけ量の解析が容易となるように構造化
した光通過手段と、この光通過手段を通過した光を収束するレンズ系と、このレンズ系によって収束された光を二つ以上の光に分
離し、これら分離した光から、互いに相違する合焦位置
の画像をそれぞれ取り込む画像取込み手段と、これら画
像を用いて対象の距離を演算する距離演算手段とを具
え、前記光通過手段及びレンズ系によってテレセントリック
光学系を構成したことを特徴とする距離計測装置。
【請求項２】前記光通過手段は二つのピンホールを有
することを特徴とする請求項１記載の距離計測装置。
【請求項３】前記画像取込み手段は、分光特性を除去するために全ての面が再蒸着されるとと
もに前記収束された光が第１の面に入射される第１のプ
リズムと、分光特性を除去するために全ての面が再蒸着されるとと
もに前記第１のプリズムの第２の面に第１の面を接合し
た第２のプリズムと、分光特性を除去するために全ての面が再蒸着されるとと
もに前記第２のプリズムの第２の面に第１の面を接合し
た第３のプリズムと、前記第１のプリズムの第２の面及び第１の面によって反
射された光が入射される第１の固体撮像素子と、前記第２のプリズムの第２の面及び第１の面によって反
射された光が入射される第２の固体撮像素子と、前記第１、第２及び第３のプリズムを通過する光が入射
される第３の固体撮像素子とを具え、これら第１、第２及び第３の固体撮像素子の光学的配置
が互いに相違するようにしたことを特徴とする請求項１
又は２記載の距離計測装置。
【請求項４】前記距離演算手段は、生成に基づく解析
法を用いて合焦位置を求め、この合焦位置及び前記レン
ズ系の焦点距離に基づいて前記対象の距離を演算するよ
うにしたことを特徴とする請求項１から３のうちのいず
れかに記載の距離計測装置。
【請求項５】ぼけ量の解析が容易となるように構造化
した光通過手段及びこの光通過手段を通過した光を収束
するレンズ系によって構成されたテレセントリック光学
系を通過した光を、二つ以上の光に分離し、これら分離した光から、互いに相違する合焦位置の画像
をそれぞれ取り込み、これら画像を用いて対象の距離を
演算することを特徴とする距離計測方法。
【請求項６】前記光通過手段は二つのピンホールを有
することを特徴とする請求項５記載の距離計測方法。
【請求項７】前記テレセントリック光学系を通過した
光を三つの光に分離し、これら分離した光を、光学的配置が互いに相違する第
１、第２及び第３の固体撮像素子にそれぞれ入射させる
ことを特徴とする請求項５又は６記載の距離計測方法。
【請求項８】前記対象の距離を演算するに際し、生成
に基づく解析法を用いて合焦位置を求め、この合焦位置
及び前記レンズ系の焦点距離に基づいて前記対象の距離
を演算することを特徴とする請求項５から７のうちのい
ずれかに記載の距離計測方法。
【請求項９】ぼけ量の解析が容易となるように構造化
した光通過手段と、この光通過手段を通過した光を収束するレンズ系と、このレンズ系によって収束された光を二つ以上の光に分
離し、これら分離した光から、互いに相違する合焦位置
の画像をそれぞれ取り込む画像取込み手段と、これら画
像を用いて対象の距離を演算する距離演算手段と、合焦画像を復元する合焦画像復元手段とを具え、前記光通過手段及びレンズ系によってテレセントリック
光学系を構成したことを特徴とする画像復元装置。
【請求項１０】前記光通過手段は二つのピンホールを
有することを特徴とする請求項９記載の画像復元装置。
【請求項１１】前記画像取込み手段は、分光特性を除去するために全ての面が再蒸着されるとと
もに前記収束された光が第１の面に入射される第１のプ
リズムと、分光特性を除去するために全ての面が再蒸着されるとと
もに前記第１のプリズムの第２の面に第１の面を接合し
た第２のプリズムと、分光特性を除去するために全ての面が再蒸着されるとと
もに前記第２のプリズムの第２の面に第１の面を接合し
た第３のプリズムと、前記第１のプリズムの第２の面及び第１の面によって反
射された光が入射される第１の固体撮像素子と、前記第２のプリズムの第２の面及び第１の面によって反
射された光が入射される第２の固体撮像素子と、前記第１、第２及び第３のプリズムを通過する光が入射
される第３の固体撮像素子とを具え、これら第１、第２及び第３の固体撮像素子の光学的配置
が互いに相違するようにしたことを特徴とする請求項９
又は１０記載の画像復元装置。
【請求項１２】前記距離演算手段は、生成に基づく解
析法を用いて合焦位置を求め、この合焦位置及び前記レ
ンズ系の焦点距離に基づいて前記対象の距離を演算する
ようにしたことを特徴とする請求項９から１１のうちの
いずれかに記載の画像復元装置。
【請求項１３】前記合焦画像復元手段は、前記合焦位
置からぼけを含まない原画像の空間周波数スペクトルを
求め、これをフーリエ逆変換することによって合焦画像
を復元するようにしたことを特徴とする請求項１２記載
の画像復元装置。
【請求項１４】ぼけ量の解析が容易となるように構造
化した光通過手段及びこの光通過手段を通過した光を収
束するレンズ系によって構成されたテレセントリック光
学系を通過した光を、二つ以上の光に分離し、これら分離した光から、互いに相違する合焦位置の画像
をそれぞれ取り込み、これら画像を用いて対象の距離を
演算するとともに合焦画像を復元することを特徴とする
画像復元方法。
【請求項１５】前記光通過手段は二つのピンホールを
有することを特徴とする請求項１４記載の画像復元方
法。
【請求項１６】前記テレセントリック光学系を通過し
た光を三つの光に分離し、これら分離した光を、光学的配置が互いに相違する第
１、第２及び第３の固体撮像素子にそれぞれ入射させる
ことを特徴とする請求項１４又は１５記載の画像復元方
法。
【請求項１７】前記対象の距離を演算するに際し、生
成に基づく解析法を用いて合焦位置を求め、この合焦位
置及び前記レンズ系の焦点距離に基づいて前記対象の距
離を演算することを特徴とする請求項１４から１６のう
ちのいずれかに記載の画像復元方法。
【請求項１８】前記原画像を復元するに際し、前記合
焦位置からぼけを含まない合焦画像の空間周波数スペク
トルを求め、これをフーリエ逆変換して前記合焦画像を
復元することを特徴とする請求項１７記載の画像復元方
法。