JP6587185B2 - 距離画像生成装置及び距離画像生成方法 - Google Patents

Description

本発明は、被写体に向けて信号光が照射され、被写体に到着した信号光が被写体で反射し、その反射光を受光した際に生じる、信号光と反射光との時間差に基づいて、被写体の距離情報を取得するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の距離画像生成装置及び方法に関するものである。

近年、被写体の測距情報を有する画像（以下、距離画像）を生成する装置や手法は、機器の小型化や一般消費者向け商品の出現により、従来利用されていたゲームやアミューズメント分野における利用に留まらず、医療や広告等の多分野への用途・技術展開に注目が集まっている。

距離画像を生成するための被写体の測距手法には、複数のカメラを用いて撮像した画像の視差に基づいて距離画像を生成する方法や、既知のランダムドットパターンを被写体に照射し、ドットパターンの歪みに基づいて距離画像を生成する方法等、幾つか存在し、それらの方法の一例として赤外光やレーザー光を被写体に向けて照射し、被写体に到達し反射して受光するまでの計測時間に基づいて、被写体までの距離を算出（測距）するＴＯＦ方式が挙げられる。

被写体の測距精度が高ければ、制御の自由度が増すことは明白である。ＴＯＦ方式は被写体で反射した光を露光して得た信号量を利用するため、撮像点から被写体までの距離や、被写体の表面反射率に応じて、照射する信号光の発光調整や受光する反射光の露出調整等を適宜施すことにより、受光信号の飽和やＳ／Ｎ比の悪化防止に伴う測距精度の向上及び高精度の距離画像の生成が期待できる。

ある従来技術によれば、精度の高い合成距離画像の生成に際し、露出の異なる複数枚の距離画像を取得し、それら複数画像の画素毎を比較して合成距離画像を生成する（特許文献１参照）。

他の従来技術によれば、取得した距離画像の距離値の分布特性に基づき、被写体の測距に必要な最低限の発光量（消費電力）に調整する（特許文献２参照）。

特開２０１２−２２５８０７号公報 特開２０１１−１７９９９７号公報

特許文献１の距離画像合成方法は、精度の高い合成距離画像の生成に際し、露出の異なる複数枚の距離画像を取得し、それら複数画像の画素毎を比較して合成距離画像を生成するため、画素数増加に伴う生成時間の増加は避け難く、生成には時間を要するという問題があった。

特許文献２の光量調整方法は、取得した距離画像の距離値の分布特性に基づき、被写体の測距に必要な最低限の発光量（消費電力）に調整するため、精度の高い距離情報を取得することは困難である。加えて、複数の異なる距離（奥行き）に被写体が存在する場合、最低限の発光量に設定するため全ての被写体の距離情報は取得できないという問題があった。

本発明は上記の問題に鑑みたものであり、その目的は、被写体位置に応じて信号光の照射及び反射光の露出を制御し、かつ精度の高い距離情報を短時間で取得することを実現することにある。すなわち、１つ以上の被写体を対象とした距離画像に関し、高精度に距離画像を生成することを目的とする。

上記目的を達成するために、本発明の一態様にかかる距離画像生成装置は、光源から被写体に向けて信号光を照射する光照射部と、前記光照射部から照射された前記信号光が被写体において反射して生じた反射光を受光し、信号量を取得する受光部と、照射の開始時間と受光の開始時間との時間差に基づいて被写体までの距離値を算出しかつ距離画像を生成する距離画像生成部と、前記距離画像生成部が算出した前記距離値の分布特性を解析する距離値分布解析部と、前記光照射部の前記信号光の出力を調整する照射制御部と、前記受光部の受光を調整する露出制御部と、前記分布特性に基づいて前記出力と前記受光とに関する調整値を算出し、前記照射制御部と前記露出制御部とを制御する信号調整部とを備え、前記光照射部は前記信号光を被写体に向けて照射し、前記受光部は複数の前記信号量を異なるタイミングで取得し、距離画像生成部は前記複数の信号量の比率に基づいて、被写体までの前記距離値を算出し、被写体の前記距離画像を生成すべく照射する前記信号光は、第１の信号光と第２の信号光とがあり、前記第１の信号光は、前記第２の信号光の出力と受光に関する前記調整値を算出するための信号光であり、前記第２の信号光は、前記距離画像を生成するための信号光であり、前記信号調整部は、前記第１の信号光の照射及び受光で得られた前記分布特性に基づいて、前記第２の信号光につき前記照射制御部と前記露出制御部との少なくとも１つを制御する。

例えば、信号調整部は、前記調整値として、第１の信号光の照射及び受光で得られた距離値の分布特性に基づいて、第２の信号光の照射強度、照射時間、照射回数、露光不要時間、露光開始時間、露光時間、及び露光回数のうち少なくとも１つを調整することにより前記照射制御部と前記露出制御部を制御する。

本発明によれば、１つ以上の被写体を対象とした距離画像に関し、高精度に距離画像を生成することができる。

図１は、本発明の第一の実施の形態及び第二の実施の形態に係る距離画像生成装置の構成を示すブロック図である。 図２は、信号量をＳ０、Ｓ１の順に取得し、各信号量は１回取得した際における、ＴＯＦ方式のタイミングチャート図の一例である。 図３は、信号量をＳ０、Ｓ１、ＢＧの順に取得し、各信号量は１回取得した際における、ＴＯＦ方式のタイミングチャート図の一例である。 図４は、信号量をＳ１、Ｓ０、ＢＧの順に取得し、各信号量は１回取得した際における、ＴＯＦ方式のタイミングチャート図の一例である。 図５Ａは、信号量をＳ０、Ｓ１の順に取得し、各信号量はＮ回（Ｎ：自然数）取得した際における、ＴＯＦ方式のタイミングチャート図の一例である。 図５Ｂは、図５Ａに続くタイミングチャート図である。 図５Ｃは、図５Ｂに続くタイミングチャート図である。 図６Ａは、信号量をＳ０、Ｓ１、ＢＧの順に取得し、各信号量はＮ回（Ｎ：自然数）取得した際における、ＴＯＦ方式のタイミングチャート図の一例である。 図６Ｂは、図６Ａに続くタイミングチャート図である。 図６Ｃは、図６Ｂに続くタイミングチャート図である。 図６Ｄは、図６Ｃに続くタイミングチャート図である。 図７Ａは、信号量をＳ１、Ｓ０、ＢＧの順に取得し、各信号量をＮ回（Ｎ：自然数）取得した際における、ＴＯＦ方式のタイミングチャート図の一例である。 図７Ｂは、図７Ａに続くタイミングチャート図である。 図７Ｃは、図７Ｂに続くタイミングチャート図である。 図８は、本発明の第一の実施の形態及び第二の実施の形態における処理手順のフローチャート図である。 図９は、被写体の測距の一例を示した図である。 図１０は、被写体測距タイミングチャート図の一例である。 図１１は、生成した距離画像の一例を示した図である。 図１２Ａは、被写体の距離値の分布特性の一例を示した図である。 図１２Ｂは、被写体の距離値の分布特性の一例を示した図である。 図１３は、本発明の第一の実施の形態における、第２の信号光（調整光）を用いて信号量をＳ０、Ｓ１の順に取得し、各信号量は１回取得した際におけるタイミングチャート図の一例である。 図１４は、第２の信号光（調整光）を用いて信号量をＳ０、Ｓ１、ＢＧの順に取得し、各信号量は１回取得した際における、タイミングチャート図の一例である。 図１５は、第２の信号光（調整光）を用いて信号量をＳ１、Ｓ０、ＢＧの順に取得し、各信号量は１回取得した際における、タイミングチャート図の一例である。 図１６は、図８とは異なる処理手順のフローチャート図の一例である。 図１７は、第２の信号光（測距光）の再調整を、第１の信号光（調整光）と第２の信号光（測距光）とを交互に照射して実施した際のフローチャート図の一例である。 図１８は、第２の信号光（測距光）の再調整を、一定時間経過後に第１の信号光（調整光）を照射して実施した際のフローチャート図の一例である。 図１９は、第２の信号光（測距光）の再調整を、第１の信号光（調整光）で算出した距離値の分布特性と、第２の信号光（測距光）で算出した距離値の分布特性との比較結果に基づいて実施した際のフローチャート図の一例である。 図２０は、第１の信号光（調整光）を用いて距離値の分布特性の算出時に信号が飽和した場合に第１の信号光（調整光）の照射を調整した際のフローチャート図の一例である。 図２１は、本発明の第二の実施の形態における、第２の信号光（調整光）を用いて信号量をＳ０、Ｓ１の順に取得し、各信号量は１回取得した際における、タイミングチャート図の一例である。 図２２は、第２の信号光（調整光）を用いて信号量をＳ０、Ｓ１、ＢＧの順に取得し、各信号量は１回取得した際における、タイミングチャート図の一例である。 図２３は、第２の信号光（調整光）を用いて信号量をＳ１、Ｓ０、ＢＧの順に取得し、各信号量は１回取得した際における、タイミングチャート図の一例である。

以下、本発明を実施するための形態について、図面を用いて詳細に説明する。ただし、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の掲載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。

（第一の実施の形態）
図１は、本発明の一実施の形態に係る距離画像生成装置１００の概略構成を示すブロック図である。図１に示す距離画像生成装置１００は、ＴＯＦ方式を用いた距離画像生成装置であり、被写体に向けて信号光を照射し、信号量を算出する光照射部１０１と、信号光が被写体で反射して生じた反射光を受光する受光部１０２と、照射光と反射光との時間差に基づいて距離画像生成装置１００から被写体までの距離を算出し、算出した距離を距離値として各画素に有する距離画像を生成する距離画像生成部１０３と、距離値の分布特性を解析する距離値分布解析部１０４と、発光と露出との調整値を決定する信号調整部１０５と、発光を調整する照射制御部１０６と、露出を調整する露出制御部１０７とを備えている。信号調整部は、信号光の照射及び受光で得られた分布特性に基づいて、照射制御部１０６と露出制御部１０７との少なくとも１つを制御する。

光照射部１０１で照射する光として赤外光やレーザー等が挙げられる。受光部１０２で用いるイメージセンサとして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等が挙げられる。

距離値分布解析部１０４にて解析した分布特性に示される信号量の最大値、平均値、閾値の設定、極大値等で調整値を決定する方法や、信号調整部１０５に信号量調整テーブルを持たせ、分布特性の結果に対応し、調整値を決定する方法等が挙げられる。

照射制御部１０６を調整するパラメータの例として、照射する信号光の強度、照射する信号光の発光時間、照射する信号光の照射回数等が挙げられる。露出制御部１０７を調整するパラメータの例として、露光する時間、露光するタイミング等が挙げられる。またパラメータの調整方法の例として、イメージセンサのシャッター速度の変更、絞り機構の使用、光透過率を変更可能なフィルタを用いる等が挙げられる。

本発明では、ＴＯＦ方式を用いて被写体までの距離値を算出し、算出した距離値の分布特性に基づいて、信号光を調整することを特徴とする。説明の便宜上、第１の信号光と第２の信号光という２種類の信号光を用いて説明する。第１の信号光は、第２の信号光の発光及び露光の調整に用いる信号光であり、第２の信号光は被写体位置や数に応じた、精度の高い距離画像を生成するために用いる信号光である。

まず、ＴＯＦ方式を用いた被写体の測距方法について説明する。ＴＯＦ方式とは、光照射部１０１より被写体に対して光（照射光）を照射し、被写体で反射された光（反射光）が受光部１０２に到着する際、照射光が被写体に到着し、更に照射光が被写体で反射し、その反射光が受光部１０２に到着するまでの時間を検出して、距離画像生成装置１００から被写体までの距離を算出（測距）する方式である。距離画像生成装置１００から被写体までの距離Ｌは、光速をｃ（約３．０×１０８ｍ／ｓ）、照射してから反射光が到達するまでの時間をΔＴとすると、Ｌ＝（ｃ×ΔＴ）／２で表すことができる。

本発明の適用を想定している具体的な駆動方法に関して、図２のタイミングチャートを用いて説明する。図２は、照射光２０１、反射光２０２及び露光２０３のタイミングチャートの一例である。

照射光２０１のタイミングチャートに示すとおり、時刻Ｔ１は、第１の照射開始時刻、時刻Ｔ３は、第１の照射終了時刻であり、時刻Ｔ１〜時刻Ｔ３は、第１の発光時間である。時刻Ｔ６は、第２の照射開始時刻、時刻Ｔ８は、第２の照射終了時刻であり、時刻Ｔ６〜時刻Ｔ８は、第２の発光時間である。第１の発光時間と第２の発光時間とは等しい長さＴであることを想定しているが、この限りではない。

反射光２０２のタイミングチャートに示すとおり、時刻Ｔ２は、第１の反射開始時刻、時刻Ｔ４は、第１の反射終了時刻であり、時刻Ｔ２〜時刻Ｔ４は、第１の反射時間である。時刻Ｔ７は、第２の反射開始時刻、時刻Ｔ９は第２の反射終了時刻であり、時刻Ｔ７〜時刻Ｔ９は、第２の反射時間である。発光時間と反射時間とは等しい長さＴであることを想定しているが、この限りではない。

露光２０３のタイミングチャートに示すとおり、時刻Ｔ１は、第１の露光開始時刻、時刻Ｔ５は、第１の露光終了時刻であり、時刻Ｔ１〜時刻Ｔ５は、第１の露光時間（反射光の全光量露光時間）である。時刻Ｔ８は、第２の露光開始時刻、時刻Ｔ１０は、第２の露光終了時刻であり、時刻Ｔ８〜時刻Ｔ１０は第２の露光時間（反射光の遅延光量露光時間）である。第１の露光時間及び第２の露光時間は等しく、露光時間は発光時間Ｔの２倍である２Ｔを想定しているが、この限りではない。

また、露光２０３のタイミングチャートに示すとおり、時刻Ｔ２〜時刻Ｔ４は、第１の反射光の受光時間であり、この時間に得られた信号量（全光量露光で得られた信号量）を“信号量Ｓ０”とする。また時刻Ｔ８〜時刻Ｔ９は、第２の反射光の受光時間であり、この時間に得られた信号量（遅延光量露光で得られた信号量）を“信号量Ｓ１”とする。

なお、露光とは、被写体に向けて照射した信号光が対象距離範囲以内にある被写体より反射されたすべての反射光を受光部で蓄積することをいい、受光とは、被写体に向けて照射した信号光が対象距離範囲以内のある距離において被写体で反射された反射光を受光部で蓄積することをいう。

第１の露光開始時刻は、第１の照射開始時刻と同じタイミングであり、第２の露光開始時刻は、第２の照射終了時刻と同じタイミングであることを想定しているが、この限りではない。

このように第１の照射、反射、露光によって得られた信号量Ｓ０と、第２の照射、反射、露光によって得られた信号量Ｓ１とを用いた被写体までの距離Ｌの算出方法を、計算式を用いて説明する。

照射時間（発光時間）をＴ、信号照射から被写体に到達し反射して受光するまでの時間をΔＴ、光速をｃ、信号光の比例定数をＫとすると、光源から被写体までの距離Ｌは、数式（１）〜数式（４）から導かれる数式（５）のように表すことができる。

図３は、照射光３０１、反射光３０２及び露光３０３のタイミングチャートの一例である。信号量Ｓ０及び信号量Ｓ１には照射光とは無関係に、周辺光によって生じる信号量も含むため、図３のタイミングチャートに示すとおり、未照射期間（時刻Ｔ１１〜時刻Ｔ１２）の信号量ＢＧを取得し、数式（６）に示すとおり、信号量Ｓ０及び信号量Ｓ１から信号量ＢＧを差し引いて、被写体までの距離Ｌを算出することも想定される。

図４は、照射光４０１、反射光４０２及び露光４０３のタイミングチャートの一例である。図４のタイミングチャートで示すとおり、信号量Ｓ１の露光開始時刻を第１の照射開始時刻よりも早くし、信号光を取得する際は、数式（７）〜数式（１１）から導かれる数式（１２）に示すとおりの算出式で、被写体までの距離Ｌを算出することも想定される。周辺光によって生じる信号量を考慮する際の算出式は、数式（１３）に示すとおりである。

このように、光速ｃ及び発光時間Ｔは既知の値であるため、信号量Ｓ０と信号量Ｓ１を取得できれば、被写体までの距離Ｌを算出可能である。

また、数式（５）及び数式（６）の取得方法において、各信号量（Ｓ０、Ｓ１、ＢＧ）を複数回取得し、合計値を用いることも考えられる。

数式（５）の取得方法に関して、複数回取得した際の挙動を図５Ａ〜図５Ｃに示したタイミングチャートを用いて説明する。図５Ａ〜図５Ｃは、照射光５０１、反射光５０２及び露光５０３のタイミングチャートの一例である。図５Ａ〜図５Ｃは、各信号量の取得に際し、信号光をＮ回（Ｎ：自然数）照射した際の挙動を表している。時刻Ｔ１から時刻Ｔ２０までは信号量Ｓ０の受光期間であり、時刻Ｔ２１から時刻Ｔ４０までは信号量Ｓ１の受光期間である。距離値算出に用いる信号量Ｓ０は、時刻Ｔ２〜時刻Ｔ４で得られた信号量Ｓ０、時刻Ｔ７〜時刻Ｔ９で得られた信号量Ｓ０、時刻Ｔ１２〜時刻Ｔ１４で得られた信号量Ｓ０、時刻Ｔ１７〜時刻Ｔ１９で得られた信号量Ｓ０等の合計値である。すなわち、Ｎ回取得した信号量Ｓ０の合計値である。距離値算出に用いる信号量Ｓ１は、時刻Ｔ２３〜時刻Ｔ２４で得られた信号量Ｓ１、時刻Ｔ２８〜時刻Ｔ２９で得られた信号量Ｓ１、時刻Ｔ３３〜時刻Ｔ３４で得られた信号量Ｓ１、時刻Ｔ３８〜時刻Ｔ３９で得られた信号量Ｓ１等の合計値である。すなわち、Ｎ回取得した信号量Ｓ１の合計値である。このように、図５Ａ〜図５Ｃに示したような挙動に基づいて得られた、第１の信号光（調整光）の信号量Ｓ０及びＳ１を数式（５）に適用することも想定している。

また、信号量Ｓ０及び信号量Ｓ１に含まれる、周辺光によって生じる信号量を考慮する際のタイミングチャートを図６Ａ〜図６Ｄに示す。図６Ａ〜図６Ｄは、照射光６０１、反射光６０２及び露光６０３のタイミングチャートの一例である。図６Ａ〜図６Ｄは、各信号量の取得に際し、信号光をＮ回（Ｎ：自然数）照射した際の挙動を表している。時刻Ｔ１から時刻Ｔ４０までの挙動は、図５Ａ〜図５Ｃと同様であるため説明は割愛する。時刻Ｔ４１から時刻Ｔ４８までは信号量ＢＧの受光期間である。距離値算出に用いる信号量ＢＧは、時刻Ｔ４１〜時刻Ｔ４２で得られた信号量ＢＧ、時刻Ｔ４３〜時刻Ｔ４４で得られた信号量ＢＧ、時刻Ｔ４５〜時刻Ｔ４６で得られた信号量ＢＧ、時刻Ｔ４７〜時刻Ｔ４８で得られた信号量ＢＧ等の合計値である。すなわち、Ｎ回取得した信号量ＢＧの合計値である。このように、図６Ａ〜図６Ｄに示したような挙動に基づいて得られた、第１の信号光（調整光）の信号量Ｓ０、Ｓ１及びＢＧを数式（６）に適用することも想定している。

更に、図４のタイミングチャートを用いて説明した、信号量Ｓ１の露光開始時刻を第１の照射開始時刻よりも早くした場合において、信号量を複数回取得することも考えられる（図７Ａ〜図７Ｃ）。図７Ａ〜図７Ｃは、照射光７０１、反射光７０２及び露光７０３のタイミングチャートの一例である。その際の算出式は数式（１２）及び数式（１３）である。

次に、図８〜図１５を用いて、第一の実施の形態に係る距離画像生成装置１００の処理動作の流れについて、図９で示したような被写体９０３の図１１で示したような距離画像を生成する具体的な一例を用いて説明する。図８は、第一の実施の形態に係る距離画像生成装置１００における処理動作の流れを示すフローチャートである。

光照射部１０１から被写体に向けて第１の信号光（調整光）を照射し、調整光が被写体で反射して生じた反射光を受光部１０２で受光し、各信号量（Ｓ０、Ｓ１、ＢＧ）を取得する（Ｓ８０１）。

そして、各信号量を取得する処理を、Ｎ回（Ｎ：自然数）繰り返す（Ｓ８０２）。信号光の照射と受光及び信号量の取得に関するタイミングチャートを図１０に示す。図１０は、照射光１００１、反射光１００２及び露光１００３のタイミングチャートの一例である。図１０はＮ＝１の動作であり、信号量はＳ０とＳ１を取得した際の挙動である。

受光部１０２は複数の受光素子で構成されており、素子毎に信号量を取得できる。そのため、距離画像生成部１０３は受光部１０２で得られた複数の信号量に基づいて、距離情報（距離値）を算出し、（Ｓ８０３）、更に図１１に示すような複数の距離値で構成された距離画像１１００を生成する。

距離値分布解析部１０４は、距離画像生成部１０３で生成した距離画像をもとに、図１２Ａおよび図１２Ｂで示すような距離値の分布特性を算出し、保存する（Ｓ８０４）。

距離値分布解析部１０４が算出した距離値の分布特性に基づいて、信号調整部１０５は、照射制御部１０６及び露出制御部１０７の調整値を算出する（Ｓ８０５）。具体的には、分布特性の結果に基づいて最近距離（Ｎ）を算出し、最近距離（Ｎ）に基づいて露光不要時間（Δα）を算出し、露光不要時間（Δα）に基づいて露光開始時間（ＥＸＳ）を算出し、露光不要時間（Δα）に基づいて照射回数（ＥＣ）と露光回数（ＥＸＣ）とを算出する。

調整値の決定方法として、分布特性に示される信号量の最大値、平均値、閾値の設定、極大値等で決定する方法や、信号調整部１０５に信号量調整テーブルを持たせ、分布特性の結果に対応し、調整値を決定する方法が挙げられる。

以下、各調整値に関して具体的に説明する。

最近距離（Ｎ）は、被写体が存在すると考えられる最も近い奥行き距離である。最近距離（Ｎ）はカメラ等の撮像装置から被写体までの距離に応じて変化する。すなわち、被写体が近距離に存在すれば最近距離（Ｎ）は小さくなる。

露光不要時間（Δα）は、被写体が存在しない奥行き距離範囲に関しては、露光を実施しない時間帯である。露光不要時間（Δα）は、光速ｃと被写体が存在しない奥行き距離範囲とに基づいて算出する。例えば、分布特性の算出結果に基づいて、奥行き距離範囲０〜１．１１ｍには被写体が存在しないと判断された場合、光速ｃは３．０×１０８ｍ／ｓであり、露光不要時間（Δα）は、１．１１＝（３．０×１０８×Δα）／２、という式から、露光不要時間（Δα）＝７．４ｎｓと算出できる。

露光開始時間（ＥＸＳ）は、反射光の露光開始時間であり、露光不要時間（Δα）に基づいて算出される。露光不要時間（Δα）が長くなれば、露光開始時間（ＥＸＳ）は遅くなり、露光不要時間（Δα）が短くなれば、露光開始時間（ＥＸＳ）は早くなる。

照射回数（ＥＣ）は、各信号量の取得回数であり、露光不要時間（Δα）に基づいて算出される。露光不要時間（Δα）を設けることで、不要な露光を防ぐことになるが弊害として、取得する信号量が減少し、Ｓ／Ｎ比の悪化につながる。そのため、照射回数（ＥＣ）を設けて各信号量の取得回数を操作することで、Ｓ／Ｎ比の悪化を防止する。

露光回数（ＥＸＣ）は、反射光の露光回数であり、露光不要時間（Δα）に基づいて算出される。また、露光回数（ＥＸＣ）は照射回数（ＥＣ）の２倍である。

このように露光不要時間（Δα）と露光開始時間（ＥＸＳ）とを設けて必要な反射光のみを受光し、信号量の分解能向上を図る。更に照射回数（ＥＣ）と露光回数（ＥＸＣ）とを設けて取得する信号量の減少に伴うＳ／Ｎ比の悪化を防ぐ。

信号調整部１０５で決定された調整値に基づいて、信号調整部１０５は照射制御部１０６及び露出制御部１０７を制御し、第２の信号光（測距光）の照射と受光を調整する（Ｓ８０６）。照射回数（ＥＣ）は、照射制御部１０６の調整値であり、露光開始時間（ＥＸＳ）と露光回数（ＥＸＣ）は、露出制御部１０７の調整値である。また、上記の調整値に加えて、照射強度（Ｅ）を信号量が飽和する限界に調整してもよい。

次に、第２の信号光（測距光）を用いた、被写体の測距に関して説明する。

第２の信号光（測距光）の調整後、光照射部１０１から第２の信号光（測距光）を被写体に向けて照射し、第１の信号光（調整光）と同様、受光部１０２で反射光を露光し、信号量を取得する（Ｓ８０７）。

第２の信号光（測距光）を用いた具体的な駆動方法に関して、図１３のタイミングチャートを用いて説明する。図１３は、照射光１３０１、反射光１３０２及び露光１３０３のタイミングチャートの一例である。図１３は照射回数（ＥＣ）＝１と判定された際の挙動を表した図であるが、Ｎ回照射の挙動も同様の考えである。

照射光１３０１のタイミングチャートに示すとおり、時刻Ｔ１は、第１の照射開始時刻、時刻Ｔ４は、第１の照射終了時刻であり、時刻Ｔ１〜時刻Ｔ４は、第１の発光時間である。時刻Ｔ８は、第２の照射開始時刻、時刻Ｔ１１は、第２の照射終了時刻であり、時刻Ｔ８〜時刻Ｔ１１は、第２の発光時間である。第１の発光時間と第２の発光時間とは等しい長さＴであることを想定しているが、この限りではない。

反射光１３０２のタイミングチャートに示すとおり、時刻Ｔ３は、第１の反射開始時刻、時刻Ｔ６は、第１の反射終了時刻であり、時刻Ｔ３〜時刻Ｔ６は、第１の反射時間である。時刻Ｔ１０は、第２の反射開始時刻、時刻Ｔ１３は、第２の反射終了時刻であり、時刻Ｔ１０〜時刻Ｔ１３は、第２の反射時間である。発光時間と反射時間とは等しい長さＴであることを想定しているが、この限りではない。

露光１３０３のタイミングチャートに示すとおり、時刻Ｔ２は、第３の露光開始時刻、時刻Ｔ４は、第３の露光終了時刻であり、時刻Ｔ２〜時刻Ｔ４は、第３の露光時間（１回目の信号量Ｓ０の露光時間）である。時刻Ｔ５は、第４の露光開始時刻、時刻Ｔ７は、第４の露光終了時刻であり、時刻Ｔ５〜時刻Ｔ７は第４の露光時間（２回目の信号量Ｓ０の露光時間）である。時刻Ｔ１２は、第５の露光開始時刻、時刻Ｔ１４は、第５の露光終了時刻であり、時刻Ｔ１２〜時刻Ｔ１４は、第５の露光時間（１回目の信号量Ｓ１の露光時間）である。時刻Ｔ１５は、第６の露光開始時刻、時刻Ｔ１６は、第６の露光終了時刻であり、時刻Ｔ１５〜時刻Ｔ１６は第６の露光時間（２回目の信号量Ｓ１の露光時間）である。第３の露光時間〜第６の露光時間は互いに等しい長さＴであることを想定しているが、この限りではない。

また、露光１３０３のタイミングチャートに示すとおり、時刻Ｔ３〜時刻Ｔ４は、第３の反射光の受光時間であり、時刻Ｔ５〜時刻Ｔ６は第４の反射光の受光時間であり、第３の反射光の受光時間と第４の反射光の受光時間に得られた信号量の総和を数式（１）から数式（１３）のＳ０と置き換える。また時刻Ｔ１２〜時刻Ｔ１３は、第５の反射光の受光時間）であり、また時刻Ｔ１５〜時刻Ｔ１６は、第６の反射光の受光時間であり、第５の反射光の受光時間と第６の反射光の受光時間に得られた信号量の総和を数式（１）から数式（１３）のＳ１と置き換える。

なお、第３の露光時間および第４の露光時間は、図２における第１の露光時間に相当する。また、第５の露光時間および第６の露光時間は、図２における第２の露光時間に相当する。

また、時刻Ｔ１〜時刻Ｔ２、時刻Ｔ４〜時刻Ｔ５、時刻Ｔ８〜時刻Ｔ９、時刻Ｔ１１〜時刻Ｔ１２、時刻Ｔ１４〜時刻Ｔ１５は、露光不要時間（Δα）であり、時間はそれぞれ等しい長さＴであることを想定しているが、この限りではない。

第３の露光開始時刻（時刻Ｔ２）は、第１の照射開始時刻（時刻Ｔ１）から、露光不要時間（Δα）経過後のタイミングであり、第４の露光開始時刻（時刻Ｔ５）は、第１の照射終了時刻（時刻Ｔ４）から、露光不要時間（Δα）経過後のタイミングであり、第５の露光開始時刻（時刻Ｔ１２）は、第２の照射終了時刻（時刻Ｔ１１）から、露光不要時間（Δα）経過後のタイミングであり、第６の露光開始時刻（時刻Ｔ１５）は、第５の露光終了時刻（時刻Ｔ１４）から、露光不要時間（Δα）経過後のタイミングであることを想定しているが、この限りではない。

上記で説明した処理をＮ回（照射回数（ＥＣ）で設定された回数）繰り返し、各信号量を取得する（Ｓ８０８）。

次に、取得した信号量に基づいて距離値を算出する（Ｓ８０９）。図１３に示したタイミングチャートを一例として、距離値の算出に関し、数式を用いて説明する。発光時間をＴ、光速をｃ、信号の照射から被写体に到達し反射して受光するまでの時間をΔＴ、露光不要時間をΔα、ΔＴとΔαとの差分時間をΔβ（Δβ＝ΔＴ−Δα）、ＴとΔＴとの差分時間をΔγ（Δγ＝Ｔ−ΔＴ）とすると、被写体までの距離Ｌは、数式（１４）〜数式（２２）から導かれる数式（２３）のように表せる。

また、第１の信号光（調整光）と同様、第２の信号光（測距光）の照射に基づいて取得した、信号量Ｓ０及び信号量Ｓ１には、周辺の物体が環境光によって反射した信号量も含まれるため、未照射時間に取得した信号量ＢＧを、信号量Ｓ０及び信号量Ｓ１から差し引いての距離算出も可能であり、その際のタイミングチャートは図１４であり、数式（２４）のように表せる。図１４は、照射光１４０１、反射光１４０２及び露光１４０３のタイミングチャートの一例である。

更に、信号量Ｓ１の露光開始時刻を第１の照射開始時刻よりも早くして、信号量を取得する方法に適応した際の挙動を図１５のタイミングチャートで示す。図１５は、照射光１５０１、反射光１５０２及び露光１５０３のタイミングチャートの一例である。図１５においては、数式（２５）〜数式（３４）から導かれる数式（３５）のようにして、被写体までの距離Ｌを算出できる。また、周辺からの光によって生じる信号量を考慮する際の算出式は、数式（３６）に示すとおりである。数式で用いている変数は、数式（１４）〜数式（２４）と同様である。

上記の数式において、発光時間Ｔ及び露光不要時間（Δα）は既知の値であるため、第１の信号光（調整光）と同様、信号量Ｓ０、信号量Ｓ１及び信号量ＢＧを取得することで、距離画像生成部１０３は被写体までの距離Ｌの算出及び距離画像の生成が可能となる（Ｓ８０９、Ｓ８１０）。

また、図１６に示したフローチャート（Ｓ１６０１〜Ｓ１６１０）のように、第２の信号光（測距光）を用いた距離画像の生成を繰り返す方法も考えられる（Ｓ１６０７〜Ｓ１６１０の処理を繰り返す）。

図１７〜図１９を用いて、第２の信号光（測距光）の再調整を説明する。

距離画像生成装置１００や被写体９０３の動きに対応するには、第２の信号光（測距光）の再調整が必要である。第２の信号光（測距光）の再調整を行う際は、照射制御部１０６及び露出制御部１０７を用いて、光照射部１０１と受光部１０２を第１の信号光（調整光）と同様の値に設定する。再調整を実施するタイミング決定方法は、いくつか挙げられる。

方法１：図１７のＳ１７０１〜Ｓ１７１１のように、第１の信号光（調整光）と第２の信号光（測距光）を交互に照射し、第２の信号光（測距光）を再調整する。図８を用いて説明した方法と同様、第１の信号光（調整光）で得た結果を用いて、第２の信号光（測距光）の照射と露出を調整した後、第２の信号光（測距光）を用いて距離画像を生成する（Ｓ１７０１〜Ｓ１７１０）。その後、照射と露出を第１の信号光（調整光）に戻し（Ｓ１７１１）、第１の信号光（調整光）を用いて、第２の信号光（測距光）の調整を再度実施する。

方法２：図１８のＳ１８０１〜Ｓ１８１２のように、一定時間毎に第１の信号光（調整光）を照射し、第２の信号光（測距光）を再調整する。図８を用いて説明した方法と同様、第１の信号光（調整光）で得た結果を用いて、第２の信号光（測距光）の照射と露出を調整する（Ｓ１８０１〜Ｓ１８０６）。第２の信号光（測距光）の調整終了からカウントを開始し、調整後、一定時間経過していなければ第２の信号光（測距光）を用いて距離画像を繰り返し生成し（Ｓ１８０８〜Ｓ１８１１）、一定時間経過後ならば、照射と露出を第１の信号光（調整光）に戻し（Ｓ１８１２）、第１の信号光（調整光）を用いて、第２の信号光（測距光）の調整を再度実施する。

方法３：図１９のＳ１９０１〜Ｓ１９１４のように、第１の信号光（調整光）を用いて算出した分布特性と、第２の信号光（測距光）を用いて算出した分布特性とを比較し、２つの分布特性が逸脱した際に、第２の信号光（測距光）を再調整する。図８を用いて説明した方法と同様、第１の信号光（調整光）を用いて距離値の分布特性を算出し（Ｓ１９０１〜Ｓ１９０４）、その後、算出した分布特性を保存する（Ｓ１９０５）。そして、第２の信号光（測距光）を調整し、第２の信号光（測距光）を用いて距離値の分布特性を算出する（Ｓ１９０６〜Ｓ１９１１）。第１の信号光（調整光）で算出した分布特性と、第２の信号光（測距光）で算出した分布特性とを比較し（Ｓ１９１２）、２つのヒストグラムが大きく異ならない場合は距離画像を生成し（Ｓ１９１３）、大きく異なる場合は、照射と露出を第１の信号光（調整光）に戻し（Ｓ１９１４）、第１の信号光（調整光）を用いて、第２の信号光（測距光）の調整を再度実施する。例えば、図１２Ａを第１の信号光で算出した分布特性を示し、図１２Ｂを第２の信号光で算出した分布特性を示している場合、ここでは、距離１０−１１間、距離１１−１２間の頻度が図１２Ａより図１２Ｂで増加しており、別の被写体が入り込んだと考えられる。上記のような場合、所定の値を設定し、特定の距離間の頻度の差が所定の値を超えた場合を、分布特性の差が大きく異なる場合とすることができる。あるいは、最大頻度が距離８−９間から９−１１間に変化した場合、被写体が移動したと考えられる。

上記３つの方法は、独立して実施することも、組み合わせて実施することも可能である。

最後に、第１の信号光（調整光）を用いた分布特性の算出に関し、信号量が飽和した際の挙動を説明する。

図２０のＳ２００１〜Ｓ２０１３のように、図８を用いて説明した方法と同様、第１の信号光（調整光）を用いて距離値の分布特性を算出し（Ｓ２００１〜Ｓ２００４）、信号が飽和しているか確認する（Ｓ２００５）。なお、飽和しているかどうかは、受光部から出力される信号が最大値で出力されているかどうかにより判断する。なぜなら受光部から出力される信号は受光部で受光できる最大電荷以下で最大値となるよう設定されているためである。もし、信号が飽和しているのならば第１の信号光（調整光）の照射強度を下げ（Ｓ２００６）、再び第１の信号光（測距光）を用いて分布特性を算出する。また、照射強度の調整回数が一定数以上ならば、被写体の反射率が異常に高いと判定し終了する（Ｓ２００７）。第１の信号光（調整光）を用いた距離値に、信号が飽和していなければ第２の信号光（測距光）の調整を実施し、調整した第２の信号光（測距光）を用いて距離画像を生成する（Ｓ２００８〜Ｓ２０１３）。

また、上記の説明に第２の信号光（測距光）の再調整の方法を組み合わせてもよい。

以上のような処理を実施することにより、被写体位置に応じた被写体の測距と精度の高い距離画像の生成を行うことができる。

（第二の実施の形態）
第二の実施の形態に関して、以下に図を用いて説明する。なお、第一の実施の形態と重複する箇所の説明は割愛する。

第二の実施の形態と第一の実施の形態で異なる点は、図１中の信号調整部１０５で算出する調整値の数であり、ＴＯＦ方式を用いた被写体の測距方法、第１の信号光（調整光）と第２の信号光（測距光）とを用いて被写体の測距（距離画像の生成）を行う点は、第一の実施の形態と同様である。

次に、具体的な処理手順に関して説明する。まず、第一の実施の形態で説明済みの方法と同様であり、図８の処理手順に準ずる。被写体に向けて光照射部１０１から第１の信号光（調整光）を照射し、被写体で反射した第１の信号光（調整光）の反射光を受光部１０２で受光し、信号量Ｓ０及び信号量Ｓ１（必要に応じて更に信号量ＢＧ）をＮ回（Ｎ：自然数）取得し、取得した信号量に基づいて距離画像生成部１０３で距離画像を生成し、距離画像に基づいて距離値分布解析部１０４で距離値の分布特性を算出し、算出された分布特性に基づいて、信号調整部１０５は照射制御部１０６及び露出制御部１０７の調整値を算出する。

距離値分布解析部１０４が算出した距離値の分布特性に基づいて、信号調整部１０５は、照射制御部１０６及び露出制御部１０７の調整値を算出する。具体的には、分布特性に基づいて最遠距離（Ｆ）と最近距離（Ｎ）とを算出し、最遠距離（Ｆ）に基づいて照射強度（Ｅ）を算出し、最近距離（Ｎ）に基づいて露光不要時間（Δα）を算出し、露光不要時間（Δα）に基づいて露光開始時間（ＥＸＳ）を算出し、最遠距離（Ｆ）と最近距離（Ｎ）とに基づいて照射時間（Ｔ）を算出し、照射時間（Ｔ）に基づいて露光時間（ＥＸＴ）を算出し、照射強度（Ｅ）と照射時間（Ｔ）とに基づいて照射回数（ＥＣ）と露光回数（ＥＸＣ）とを算出する。

調整値の決定方法は第一の実施の形態と同様、分布特性に示される信号量の最大値、平均値、閾値の設定、極大値等で決定する方法や、信号調整部１０５に信号量調整テーブルを持たせ、分布特性の結果に応じ、調整値を決定する方法が挙げられる。

以下、各調整値に関して説明する。

最遠距離（Ｆ）は、被写体が存在すると考えられる最も遠い奥行き距離であり、一方、最近距離（Ｎ）は、被写体が存在すると考えられる最も近い奥行き距離である。最遠距離（Ｆ）と最近距離（Ｎ）とはカメラ等の撮像装置から被写体までの距離に応じて変化する。すなわち、被写体が近距離に存在すれば最近距離（Ｎ）は小さく、被写体が遠距離に存在すれば最遠距離（Ｆ）は大きくなる。

照射強度（Ｅ）は、照射する信号光の強さであり、最遠距離（Ｆ）に基づいて算出される。被写体が遠距離に存在する場合は、最遠距離（Ｆ）が大きくなるため、照射強度（Ｅ）も大きくし、Ｓ／Ｎ比の低下を防ぐ。また、被写体が近距離に存在する場合は、最遠距離（Ｆ）が小さくなるため、照射強度（Ｅ）は小さくし、取得する反射光の信号量飽和を防ぐ。照射強度（Ｅ）は飽和する限界値に調整することを想定している。

露光不要時間（Δα）は、反射光の露光タイミングを調整する時間であり、最近距離（Ｎ）に基づいて算出される。最近距離（Ｎ）が近いほど、露光不要時間（Δα）は短くなり、最近距離（Ｎ）が遠いほど、露光不要時間（Δα）は長くなる。

露光開始時間（ＥＸＳ）は、反射光の露光開始時間であり、露光不要時間（Δα）に基づいて算出される。露光不要時間（Δα）が長くなれば、露光開始時間（ＥＸＳ）は遅くなり、露光不要時間（Δα）が短くなれば、露光開始時間（ＥＸＳ）は早くなる。

照射時間（Ｔ）は、照射する信号光の照射時間であり、最遠距離（Ｆ）と最近距離（Ｎ）との差分の絶対値に基づいて算出される。最遠距離（Ｆ）と最近距離（Ｎ）との差分値が小さく、照射時間（Ｔ）が短い場合は、測距の奥行き距離範囲が狭い状態である。一方、最遠距離（Ｆ）と最近距離（Ｎ）との差分値が大きく、照射時間（Ｔ）が長い場合は、測距の奥行き距離範囲が広い状態である。

露光時間（ＥＸＴ）は、被写体に向けて照射した信号光が被写体で反射した反射光を露光する時間である。露光時間（ＥＸＴ）は、照射時間（Ｔ）が長ければ長くなり、照射時間（Ｔ）が短ければ短くなる。また、露光時間（ＥＸＴ）は照射時間（Ｔ）の２倍である。

照射回数（ＥＣ）は、各信号量の取得回数であり、照射強度（Ｅ）と照射時間（Ｔ）とに基づいて算出される。照射強度（Ｅ）及び照射時間（Ｔ）の調整に伴い不要な露光を防ぐことになるが、弊害として、取得する信号量が減少し、Ｓ／Ｎ比の悪化につながる。そのため、照射回数（ＥＣ）を設けて各信号量の取得回数を操作することで、Ｓ／Ｎ比の悪化を防止する。

総照射量は照射強度（Ｅ）と照射時間（Ｔ）と照射回数（ＥＣ）の積であり、総照射量は被写体の反射率で変動するため、例えば、総照射量が受光量最大となる画素が飽和する限界値近傍になるように調整する。

露光回数（ＥＸＣ）は、反射光の露光回数であり、照射強度（Ｅ）と照射時間（Ｔ）とに基づいて算出される。また、露光回数（ＥＸＣ）は照射回数（ＥＣ）と同じ数である。

上記の調整値を用いて、第２の信号光（測距光）を調整する。照射強度（Ｅ）の強弱、照射時間（Ｔ）の長短、照射回数（ＥＣ）の増減は、照射制御部１０６の調整値であり、露光時間（ＥＸＴ）の長短、露光開始時間（露光開始時刻）（ＥＸＳ）、露光回数（ＥＸＣ）の増減は、露出制御部１０７の調整値である。

このように、距離値の分布特性に基づき、被写体が存在する奥行き距離を把握し、該当距離における反射光のみを露光することで、取得する信号量を削減することが可能である。一方、信号量の減少に伴いＳ／Ｎ比が低下し、距離値の精度悪化を招くため、それを考慮に入れ、照射強度（Ｅ）、照射時間（Ｔ）、照射回数（ＥＣ）を決定する必要がある。また、第１の信号光（調整光）で取得した距離値の分布特性によっては、第１の信号光（調整光）と第２の信号光（測距光）とが同一の照射強度（Ｅ）、照射時間（Ｔ）、照射回数（ＥＣ）、露光時間（ＥＸＴ）、露光開始時間（ＥＸＳ）、露光回数（ＥＸＣ）となる場合もある。

なお、上記の調整値は、単独で調整しても組み合わせて調整しても良い。

次に、第２の信号光（測距光）を用いた、被写体の測距に関して説明する。

第一の実施の形態と同様、調整の済んだ第２の信号光（測距光）を光照射部１０１から被写体に向けて照射し、被写体で反射した第２の信号光（測距光）の反射光を、受光部１０２で受光し、受光した信号量に基づいて、距離画像生成部１０３で被写体の距離画像を算出する。

第２の信号光（測距光）を用いた具体的な駆動方法に関して、図２１のタイミングチャートを用いて説明する。図２１は、照射光２１０１、反射光２１０２及び露光２１０３のタイミングチャートの一例である。図２１は照射回数（ＥＣ）＝露光回数（ＥＸＣ）＝１と判定された際の挙動を表した図であるが、Ｎ回（Ｎ：自然数）照射の挙動も同様の考えである。

照射光２１０１のタイミングチャートに示すとおり、時刻Ｔ１は、第１の照射開始時刻、時刻Ｔ３は、第１の照射終了時刻であり、時刻Ｔ１〜時刻Ｔ３は、第１の発光時間である。時刻Ｔ７は、第２の照射開始時刻、時刻Ｔ９は、第２の照射終了時刻であり、時刻Ｔ７〜時刻Ｔ９は、第２の発光時間である。第１の発光時間及び第２の発光時間は等しい長さＴであることを想定しているが、この限りではない。

反射光２１０２のタイミングチャートに示すとおり、時刻Ｔ４は、第１の反射開始時刻、時刻Ｔ５は、第１の反射終了時刻であり、時刻Ｔ４〜時刻Ｔ５は、第１の反射時間である。時刻Ｔ１０は、第２の反射開始時刻、時刻Ｔ１２は、第２の反射終了時刻であり、時刻Ｔ１０〜時刻Ｔ１２は、第２の反射時間である。発光時間と反射時間とは等しい長さＴであることを想定しているが、この限りではない。

露光２１０３のタイミングチャートに示すとおり、時刻Ｔ２は、第１の露光開始時刻、時刻Ｔ６は、第１の露光終了時刻であり、時刻Ｔ２〜時刻Ｔ６は、第１の露光時間（信号光Ｓ０の受光時間）である。時刻Ｔ１１は、第２の露光開始時刻、時刻Ｔ１４は、第２の露光終了時刻であり、時刻Ｔ１１〜時刻Ｔ１４は第２の露光時間（信号光Ｓ１の受光時間）である。第１の露光時間と第２の露光時間とは等しい長さＴであることを想定しているが、この限りではない。

また、露光２１０３に示すとおり、時刻Ｔ２〜時刻Ｔ６は、第１の反射光の受光時間（信号光Ｓ０の受光時間）であり、第１の反射光の受光時間に得られた信号量をＳ０とする。また時刻Ｔ１１〜時刻Ｔ１４は、第２の反射光の受光時間（信号光Ｓ１の受光時間）であり、第２の反射光の受光時間に得られた信号量をＳ１とする。

また、時刻Ｔ１〜時刻Ｔ２、時刻Ｔ９〜時刻Ｔ１１は、露光不要時間（Δα）であり、それぞれの時間は等しいがこの限りではない。

第１の露光開始時刻（時刻Ｔ２）は、第１の照射開始時刻（時刻Ｔ１）から、露光不要時間（Δα）経過後のタイミングであり、第２の露光開始時刻（時刻Ｔ１１）は、第２の照射終了時刻（時刻Ｔ９）から、露光不要時間（Δα）経過後のタイミングであることを想定しているが、この限りではない。

次に、第２の信号光（測距光）で露光不要時間Δαを設けた際の、距離値の算出について説明する。発光時間をＴ，光速をｃ、信号光の照射から被写体に到達し反射して受光するまでの時間をΔＴ、露光不要時間をΔα、ΔＴとΔαとの差分時間をΔβ（Δβ＝ΔＴ−Δα）とすると被写体までの距離Ｌは、数式（３７）〜数式（４３）から導かれる数式（４４）のように表せる。

また、第１の信号光（調整光）と同様、信号量Ｓ０及び信号量Ｓ１には周囲に存在する物体の環境光に基づく反射光も信号量に含まれるため、未照射時間に取得した信号量ＢＧを、信号量Ｓ０及び信号量Ｓ１から差し引いて距離を算出することも可能であり、その際のタイミングチャートは図２２に示すとおりである。図２２は、照射光２２０１、反射光２２０２及び露光２２０３のタイミングチャートの一例である。その際の被写体までの距離Ｌは数式（４５）のように表せる。

図２３は、照射光２３０１、反射光２３０２及び露光２３０３のタイミングチャートの一例である。図２３のタイミングチャートで示すとおり、信号量Ｓ１の露光開始時刻を第１の照射開始時刻よりも早くし、信号光を取得する際は、数式（４６）〜数式（５５）から導かれる数式（５６）に示すとおりの算出式で、被写体までの距離Ｌを算出することも想定される。周辺光によって生じる信号量を考慮する際の算出式は数式（５７）に示すとおりである。

このように、被写体までの距離値Ｌの算出に必要な値は、信号量（Ｓ０、Ｓ１及びＢＧ）、発光時間Ｔ、露光不要時間Δαであり、発光時間Ｔ及び露光不要時間Δαは既知の値であるため、第１の信号光（調整光）と同様、信号量（Ｓ０、Ｓ１及びＢＧ）を取得することで、被写体の測距及び距離画像の生成が可能となる。

また、第一の実施の形態と同様、第２の信号光（測距光）の再調整と、第１の信号光（調整光）を用いた分布特性の算出において信号量が飽和時の挙動を、第二の実施の形態の処理に加えることも可能である。これらの説明は、第一の実施の形態で説明済みであるため割愛する。

以上のような処理を実施することによって、被写体位置に応じた被写体の測距と精度の高い距離画像の生成を行うことができる。

さて、本発明は、第一の実施の形態及び第二の実施の形態における各部を備える距離画像生成装置として提供することができるばかりでなく、距離画像生成装置が具備する各部を各ステップとする距離画像生成方法をコンピュータに実行させるプログラムを提供することも可能である。そして、このプログラムは、ＵＳＢ等に代表される記憶媒体やインターネットを介して流通させることができる。

なお、上記の説明で示される実施の形態が、単なる一例であるのは当然である。すなわち、権利が請求される対象の概念は、上記に示される実施の形態が抽象化された上位概念である。そして、この上位概念は、一例である上記に示された実施の形態により実施（実装、実現）されてもよいし、上記に示された実施の形態とは一部又は全部が異なる他の実施の形態により実施（実装、実現）されてもよいのは当然である。

本発明の距離画像生成装置は、第１の信号光（調整光）を用いて取得した距離画像に基づいて算出した距離値の分布特性に基づいて、第２の信号光（測距光）の照射と露出を調整することで、高精度の距離画像の生成を実現することができ、ジェスチャ認識、物体認識を必要とするデジタルＡＶ機器、ゲーム機といった様々な機器に用いることが可能である。上述した機器に留まらず、本発明の距離画像生成装置は、必要な距離情報の分布特性を取得することが可能な距離画像生成装置であれば、適用することが可能である。

１００ 距離画像生成装置
１０１ 光照射部
１０２ 受光部
１０３ 距離画像生成部
１０４ 距離値分布解析部
１０５ 信号調整部
１０６ 照射制御部
１０７ 露出制御部
９０３ 被写体
１１００ 生成した距離画像

Claims (10)

1. 光源から被写体に向けて信号光を照射する光照射部と、
   前記光照射部から照射された前記信号光が被写体において反射して生じた反射光を受光し、信号量を取得する受光部と、
   照射の開始時間と受光の開始時間との時間差に基づいて被写体までの距離値を算出しかつ距離画像を生成する距離画像生成部と、
   前記距離画像生成部が算出した前記距離値の分布特性を解析する距離値分布解析部と、
   前記光照射部の前記信号光の出力を調整する照射制御部と、
   前記受光部の受光を調整する露出制御部と、
   前記分布特性に基づいて前記出力と前記受光とに関する調整値を算出し、前記照射制御部と前記露出制御部とを制御する信号調整部とを備え、
   前記光照射部は前記信号光を被写体に向けて照射し、前記受光部は複数の前記信号量を異なるタイミングで取得し、距離画像生成部は前記複数の信号量の比率に基づいて、被写体までの前記距離値を算出し、
   被写体の前記距離画像を生成すべく照射する前記信号光は、第１の信号光と第２の信号光とがあり、前記第１の信号光は、前記第２の信号光の出力と受光に関する前記調整値を算出するための信号光であり、前記第２の信号光は、前記距離画像を生成するための信号光であり、
   前記信号調整部は、前記第１の信号光の照射及び受光で得られた前記分布特性に基づいて、被写体が存在しない奥行き距離範囲に対し露光を実施しない時間帯である露光不要時間を算出し、前記露光不要時間に基づいて前記第２の信号光の露光開始時間及び露光時間を調整することにより前記露出制御部を制御する
   ことを特徴とする距離画像生成装置。
2. 請求項１記載の距離画像生成装置において、
   前記信号調整部は、前記調整値として、前記第１の信号光の照射及び受光で得られた前記分布特性に基づいて、前記第２の信号光の照射強度、照射時間、照射回数、及び露光回数のうち少なくとも１つを調整することにより前記照射制御部と前記露出制御部を制御する
   ことを特徴とする距離画像生成装置。
3. 請求項２に記載の距離画像生成装置において、
   前記複数の信号量の、各信号量の算出において、前記信号光の被写体に向けた照射、前記反射光の受光、及び前記信号量の算出を繰り返して得た信号量の総和を、前記距離画像生成部は、前記距離値の算出に用いる
   ことを特徴とする距離画像生成装置。
4. 請求項３記載の距離画像生成装置において、
   前記信号調整部は、前記分布特性に示される信号量の最大値、平均値、極大値、閾値のいずれかに基づいて前記調整値を決定し、又は前記信号調整部が予め持っている調整値の組合せテーブルに基づいて前記調整値を決定する
   ことを特徴とする距離画像生成装置。
5. 請求項４記載の距離画像生成装置において、
   前記信号調整部は、一定時間毎に前記第１の信号光で算出した前記分布特性を前記距離値分布解析部に保存し、当該分布特性と前記第２の信号光を用いて算出した前記分布特性とを比較した差が設定した閾値を超えた際に、前記第２の信号光の再調整を実施する
   ことを特徴とする距離画像生成装置。
6. 光照射部は光源から被写体に向けて第１の信号光を照射し、受光部は照射された前記第１の信号光が被写体において反射して生じた反射光を受光し、受光による第１の信号量を異なるタイミングで画素ごとに取得する第１の受光ステップと、
   前記第１の信号量の比率に基づいて、被写体までの第１の距離値を算出しかつ第１の距離画像を生成する第１の距離画像生成ステップと、
   前記第１の距離画像生成ステップで算出した前記第１の距離値の分布特性を解析する距離値分布解析ステップと、
   前記第１の分布特性に基づいて第２の信号光の出力と受光とに関する調整値を算出し、前記第２の信号光の出力と受光に関する調整値のうち少なくとも１つを調整する信号調整ステップと、
   前記第２の信号光の出力に関する調整値を調整する照射制御ステップと、
   前記第２の信号光の受光に関する調整値を調整する露出制御ステップと、
   少なくとも前記第１の信号光を照射した後、前記光照射部は前記光源から被写体に向けて前記第２の信号光を照射し、前記受光部は照射された前記第２の信号光が被写体において反射して生じた反射光を受光し、受光による第２の信号量を異なるタイミングで画素ごとに取得する第２の受光ステップと、
   前記第２の信号量の比率に基づいて、被写体までの第２の距離値を算出しかつ第２の距離画像を生成する第２の距離画像生成ステップとを含み、
   前記信号調整ステップにおいて、前記第１の信号光の照射及び受光で得られた前記分布特性に基づいて、被写体が存在しない奥行き距離範囲に対し露光を実施しない時間帯である露光不要時間を算出し、前記露光不要時間に基づいて前記第２の信号光の露光開始時間及び露光時間を調整する
   ことを特徴とする距離画像生成方法。
7. 請求項６記載の距離画像生成方法において、
   前記信号調整ステップでは、前記調整値として、前記第１の信号光の照射及び受光で得られた前記分布特性に基づいて、前記第２の信号光の照射強度、照射時間、照射回数、及び露光回数のうち少なくとも１つを調整する
   ことを特徴とする距離画像生成方法。
8. 請求項６記載の距離画像生成方法において、
   前記距離画像生成ステップでは、前記複数の信号量の、各信号量の算出において、前記信号光の被写体に向けた照射、前記反射光の受光、及び前記信号量の算出を繰り返して得た信号量の総和を、前記距離値の算出に用いる
   ことを特徴とする距離画像生成方法。
9. 請求項８記載の距離画像生成方法において、
   前記信号調整ステップでは、前記第１の分布特性に示される信号量の最大値、平均値、極大値、閾値のいずれかで前記調整値を決定し、又は前記信号調整ステップにおいて予め調整値の組合せテーブルに基づいて前記調整値を決定する
   ことを特徴とする距離画像生成方法。
10. 請求項９記載の距離画像生成方法において、
    前記信号調整ステップでは、一定時間毎に前記第１の信号光で算出した前記第１の分布特性を前記距離値分布解析ステップにて保存し、前記第１の分布特性と前記第２の信号光を用いて算出した第２の分布特性とを比較し、その差が設定した閾値を超えた際に、前記受光ステップと、前記距離画像生成ステップと、前記距離値分布解析ステップと、前記信号調整ステップとを再度実施する
    ことを特徴とする距離画像生成方法。

Images