JP2009192499A - 距離画像生成装置 - Google Patents

Abstract

【課題】より精度の高い距離画像を生成することができる距離画像生成装置を提供する。
【解決手段】対象空間に変調した光を照射する発光源と、前記発光源から照射され対象空間内の対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記発光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段と、を備えた撮像素子と、前記複数の電荷蓄積部に蓄積された電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成部と、前記光電変換素子が受光する前記反射光の振幅と、前記距離画像生成部により生成された距離画像の画素値とに基づいて所定演算を行い、画素値が反射率に相関する反射係数である反射率画像を生成する反射率画像生成部と、を備える。
【選択図】図５

Description

本発明は、距離画像生成装置に係り、特により精度の高い距離画像を生成することができる距離画像生成装置に関する。

従来、距離画像センサ（ＣＣＤタイプやＣＭＯＳタイプがある）を用いていわゆる距離画像を生成する装置が知られている（例えば特許文献１）。

この特許文献１に記載の距離画像生成装置は、所定の発光周波数で強度変調された光を空間に放射する発光源、発光源が放射した光の反射光を受光し受光強度に対応する信号レベルの受光信号を出力する複数個の光電変換部を備える距離画像センサとしてのイメージセンサ等を備えている。この特許文献１に記載の距離画像生成装置においては、変調周期内に反射光を受光して電荷に変換し、この変換した電荷に基づいて所定演算を行うことにより、変調光と反射光との位相差を算出し、距離画像を生成している。
特開２００４−３２６８２号公報

しかしながら、特許文献１に記載の距離画像生成装置においては、発光源の光量が一定であるため、距離画像の精度に大きな影響を及ぼす可能性がある。

例えば、変調光源が暗すぎる場合、変調光源以外の背景光に比べ変調光源からの変調光の比率が極端に少なくなることによってＳＮ比が下がり、計測距離の誤差が多くなる。また、変調光源が明るすぎる場合は、撮像素子に蓄積する電荷が飽和してしまい、距離計測が行えなくなる。

また、光は光源からの距離の二乗に反比例して減衰するため、例えば室内のような比較的対象物までの距離が近く、計測距離範囲が限られている場合は、変調光源の光量が一定であっても測定結果に大きな変動が起こることは少ない。しかし、屋外、例えば車両前方の距離を測定するような場合、対象物は道路や風景、歩行者、先行車、対向車などであり、それらの距離は数メートルから無限遠にまで変化する。ゆえに、近距離の対象物と遠距離の対象物でそれぞれ変調光源の最適な光量は異なると考えられるため、変調光源の光量が動的に変化することが望ましい。

さらに、同じ距離に存在する対象物の距離を計測する場合であっても、対象物の反射率によって反射光の強度が変わるため、変調光源の光量を変化させたほうが望ましい。

本発明は、このような事情に鑑みてなされたものであり、より精度の高い距離画像を生成することができる距離画像生成装置を提供することを目的とする。

本発明は上記課題を解決するために、請求項１に記載の発明は、対象空間に変調した光を照射する発光源と、前記発光源から照射され対象空間内の対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記発光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段と、を備えた撮像素子と、前記複数の電荷蓄積部に蓄積された電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成部と、前記光電変換素子が受光する前記反射光の振幅と、前記距離画像生成部により生成された距離画像の画素値とに基づいて所定演算を行い、画素値が反射率に相関する反射係数である反射率画像を生成する反射率画像生成部と、を備えることを特徴とする。

請求項１に記載の発明によれば、より精度の高い距離画像を生成する等のために利用することが可能な反射率画像を生成することが可能となる。

請求項２に記載の発明は、請求項１に記載の発明において、前記距離画像生成部によって生成された反射率画像に基づいて、前記発光源の光量を制御する光量制御部をさらに備えたことを特徴とする。

請求項２に記載の発明によれば、光量制御部により反射率画像に基づいて発光源の光量を制御（増減等）するので、対象物の反射率に応じた最適の光量に制御することが可能となる。このため、対象物の反射率にかかわらず該対象物で反射して戻ってくる反射光の光量を最適に保つことが可能となる。従って、より精度の高い距離画像を生成することが可能となる（距離検出精度の向上）。また、発光源の光量が常に一定ではないので、余計な発光電力を抑えることも可能となる（特に光量が減少する方向に制御される場合）。

また、撮像している画像内の対象物の反射率をリアルタイムで求めることが可能となる。さらに、反射率画像と距離画像を同時に生成することが可能となる。

請求項３は、請求項２に記載の発明において、前記発光源は、対象空間に変調した光を照射する複数の発光体を備えており、前記複数の発光体は、複数の領域に分割されており、前記反射率画像は、前記複数の領域にそれぞれ対応する複数の領域に分割されており、前記光量制御部は、前記分割された反射率画像の領域ごとに、該領域に対応する領域に存在する発光体の光量を制御することを特徴とする。

請求項３に記載の発明によれば、光量制御部により発光源の光量を、分割された反射率画像の領域ごとに最適に制御するので、さらに精度の高い距離画像を生成することが可能となる（距離検出精度のさらなる向上）。また、発光源の光量が常に一定ではないので、余計な発光電力を抑えることも可能となる（特に光量が減少する方向に調整される場合）。

請求項４は、請求項３に記載の発明において、前記光量制御部は、前記分割された反射率画像の領域のうち予め定められた閾値よりも低い反射係数を含む領域については、該領域に対応する領域に存在する発光体の光量を上げ、前記分割された反射率画像の領域のうち予め定められた閾値よりも高い反射係数を含む領域については、該領域に対応する領域に存在する発光体の光量を下げることを特徴とする。

これは、光量制御部による制御例である。

請求項４に記載の発明によれば、前記分割された反射率画像の領域のうち予め定められた閾値よりも低い反射係数を含む領域については、該領域に対応する領域に存在する発光体の光量を上げる。これにより、反射率が低い対象物からの反射光を増加させることが可能となり、距離測定に誤差が生じることを防止又は低減することが可能となる。

また、請求項４に記載の発明によれば、前記分割された反射率画像の領域のうち予め定められた閾値よりも高い反射係数を含む領域については、該領域に対応する領域に存在する発光体の光量を下げる。これにより、反射率が高い対象物からの反射光を減少させることが可能となり、撮像素子（の電荷蓄積部）が飽和するのを防止又は低減することが可能となる。

すなわち、請求項４に記載の発明によれば、対象物の反射率にかかわらず該対象物で反射した変調光の光量を最適に保つことが可能となるので、より精度の高い距離画像を生成することが可能となる（距離検出精度の向上）。

本発明によれば、より精度の高い距離画像を生成することができる距離画像生成装置を提供することが可能となる。

〔第一実施形態〕
以下、本発明の第一実施形態である距離画像生成装置について図面を参照しながら説明する。

〔距離画像生成装置の構成〕
まず、第一実施形態である距離画像生成装置の構成について説明する。

図１は、第一実施形態である距離画像生成装置のブロック図である。

図１に示すように、本実施形態の距離画像生成装置１は、光飛行時間型距離画像センサ１０（以下、距離画像センサ１０という）を備えている。距離画像センサ１０は、光源１１、撮像素子１５、制御部１６、距離画像生成部１７、反射率画像生成部１８、光量制御部１９等を備えている。

光源１１は、対象空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）を照射する発光源であり、ＬＥＤ等の高速変調が可能なデバイスが用いられる。

撮像素子１５は、光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光１４を受光して電荷に変換する複数の光電変換素子（画素ともいう）、この光電変換素子ごとに設けられた複数の電荷蓄積部、及び、光源１１の変調に同期して、光電変換素子により変換された電荷を複数の電荷蓄積部に振り分ける手段等を備えている（いずれも図示せず）。

制御部１６は、光源１１と撮像素子１５を同期制御するためのものであり、撮像素子１５は、制御部１６の同期信号に従って、光電変換素子により変換された電荷を複数の電荷蓄積部に高速に振り分ける。

距離画像生成部１７は、振り分けられた電荷に基づいて所定演算を行い、発光源との位相差を算出し、画素値が距離値である距離画像を生成する。

反射率画像生成部１８は、撮像素子１５の光電変換素子が受光する反射光（光源１１から照射され対象空間内の対象物で反射した反射光）の振幅と、距離画像生成部１７により生成された距離画像の画素値（距離値）とに基づいて所定演算を行い、画素値が反射率（
正確には反射率に相関する反射係数）である反射率画像を生成する。

光量制御部１９は、距離画像生成部１７によって生成された反射率画像に基づいて、光源１１の光量を制御する。

〔距離画像及び反射率画像を生成する原理〕
次に、距離画像を生成する原理について説明する。

図２は、距離画像を生成する原理を説明するための図である。図２中、正弦波２１は光源１１の変調光を表しており、正弦波２２は撮像素子１５の入射光を表している。正弦波２１と正弦波２２との位相差φは、対象物までの光の飛行時間によって生じる遅延を表している。

図２では、光源１１の変調の１周期を４つの期間に分けて４つの電荷蓄積部に電荷を振り分けている。それぞれの期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積する電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、位相差φは、次の式で表される。

光の速度は既知であるから、この位相差φを求めることで対象物までの距離が求まり、画素値が距離値である距離画像を生成することが可能となる。

なお、一般的な画像データとして用いる電荷量平均Ａは、次の式で表される。

また、対象物で反射した変調光成分の振幅量Ｂは、次の式で表される。

一般的に発光源の変調周波数は数十ＭＨｚであり、よって変調の１周期は数十ｎｓ程度である。そのため、距離画像を得るためには数百〜数十万周期の電荷蓄積時間を要する。

さらに、式１より、距離Ｌは、次の式で表される。

ここで、ｃは光速、Ｆｓは変調光の周波数である。

また、一般に対象物の反射率Ｒは、次の式で表される。

図３は、大きさが同じで反射率が異なる同距離に配置された二つの物体３１、３２を示している。二つの物体３１、３２は大きさが同じで同距離に配置されているため、物体３１、３２表面の単位面積あたりに照射される光束は等しい。しかし、二つの物体３１、３２は反射率が異なるため、撮像素子１５に反射して戻ってくる反射光の光量が異なる。このため、反射率が低い物体３２は、物体３１に比べ輝度が暗く見える。

図４は、光源１１から対象空間に照射された光と、光源１１から照射され対象空間内の図３に示した二つの物体３１、３２で反射して戻ってきた反射光との関係を表す図である。

物体３１、３２は同距離に配置されているため、光源１１から対象空間に照射された光４０と、光源１１から照射され対象空間内の図３に示した二つの物体３１、３２で反射して戻ってきた反射光４１、４２の位相差は同じであるが、光量（振幅）が異なる。また、単位面積あたりに照射される光束は距離の二乗に反比例する。

このため、物体３１、３２までの距離Ｌと、光源１１から照射され対象空間内の二つの物体３１、３２で反射して戻ってきた反射光の振幅Ｂを用いれば、物体３１、３２の反射率を求めることが可能である。この反射率（正確には反射率に相関する反射係数）は、絶対的な値ではなく、相対的な値である。この反射率は、次の式で表される。

〔距離画像生成装置１の動作〕
次に、上記構成の距離画像生成装置１の動作について図面を参照しながら説明する。

〔距離画像生成装置１における反射率画像生成処理〕
図５は、距離画像生成装置１における反射率画像生成処理を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。

まず、光源１１は、制御部１６の同期信号に従って、対象空間に変調した光を照射する。撮像素子１５は、その光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光を受光し、光電変換素子により電荷に変換し、制御部１６の同期信号に従って、その変換された電荷を複数の電荷蓄積部に振り分ける。以上の処理を光の蓄積時間が終了（経過）するまで継続する（ステップＳ１）。

距離画像生成部１７は、この振り分けられた電荷（例えばＣ１、Ｃ２、Ｃ３、Ｃ４）を複数の電荷蓄積部から読み出し（ステップＳ２）、該読み出した電荷（例えばＣ１、Ｃ２、Ｃ３、Ｃ４）に基づいて所定演算（上記式１、式４の演算）を行い、光源１１との位相差φを算出し、画素値が距離値である距離画像Ｐ１（一画素分）を生成する（ステップＳ３）。距離画像生成部１７は、このステップＳ２及びＳ３の処理を全ての画素に対して実行する。これにより、画素値が距離値である距離画像Ｐ１（一フレーム分）を生成する。距離画像生成部１７は、以上の処理を繰り返す。

一方、反射率画像生成部１８は、距離画像生成部１７のステップＳ２及びＳ３の処理と並行して所定演算（上記式３の演算）を行い、撮像素子１５（の光電変換素子）が受光する反射光（光源１１から照射され対象空間内の対象物で反射した反射光。例えば図４中正弦波４１又は４２）の振幅Ｂを算出する（ステップＳ４）。反射率画像生成部１８は、距離画像生成部１７により生成された距離画像の画素値（距離値）とステップＳ４で算出された振幅Ｂに基づいて所定演算（上記式６）を行い、画素値が反射率（正確には、反射率に相関する反射係数）である反射率画像Ｐ２（一画素分）を生成する（ステップＳ５）。反射率画像生成部１８は、このステップＳ４及びＳ５の処理を全ての画素に対して実行する。これにより、画素値が反射率である反射率画像Ｐ２（一フレーム分）を生成する。反射率画像生成部１８は、以上の処理を繰り返す。なお、距離画像と反射率画像の生成の割合は、距離画像１枚に対して反射率画像１枚の割合や、距離画像２枚に対して反射率画像１枚の割合のように、適宜の割合で生成することが可能である。

以上のように、距離画像生成装置１における反射率画像生成処理によれば、より精度の高い距離画像を生成する等のために利用することが可能な反射率画像Ｐ２を生成することが可能となる。

〔光量制御部１９の動作例１〕
次に、上記のように生成された反射率画像Ｐ２を用いて、光源１１の光量を制御する処理について説明する。

光量制御部１９は、上記のように距離画像生成部１７によって生成された反射率画像Ｐ２に基づいて、光源１１の光量を制御する。

例えば、光量制御部１９は、反射率画像Ｐ２が予め定められた閾値よりも低い反射率の対象物を含む場合、光源１１の光量を上げる。これにより、反射率が低い対象物からの反射光を増加させることが可能となり、距離測定に誤差が生じることを防止又は低減することが可能となる。

また、光量制御部１９は、反射率画像Ｐ２が予め定められた閾値よりも高い反射率の対象物を含む場合、光源１１の光量を下げる。これにより、反射率が高い対象物からの反射光を減少させることが可能となり、撮像素子１５（の電荷蓄積部）が飽和するのを防止又は低減することが可能となる。

すなわち、光量制御部１９の動作例１によれば、光量制御部１９により反射率画像Ｐ２に基づいて光源１１の光量を制御（増減等）するので、対象物の反射率に応じた最適の光量に制御することが可能となる。このため、対象物の反射率にかかわらず該対象物で反射して戻ってくる反射光の光量を最適に保つことが可能となる。従って、より精度の高い距離画像を生成することが可能となる（距離検出精度の向上）。また、光源１１の光量が常に一定ではないので、余計な発光電力を抑えることも可能となる（特に光量が減少する方向に調整される場合）。また、撮像している画像内の対象物の反射率をリアルタイムで求めることが可能となる。さらに、反射率画像と距離画像を同時に生成することが可能となる。

〔光量制御部１９の動作例２〕
上記動作例１では、光源１１は１つであるか複数であるかは問わないが光源１１全体の光量を制御する例について説明した。

本動作例２では、図６に示すように、光源１１は、対象空間に変調した光を照射する複数の発光体１１ａ、１１ａ・・・を備えており、これらの複数の発光体１１ａ、１１ａ・・・は、複数の領域６１〜６９に分割されている。また、図７に示すように、距離画像生成部１７によって生成された反射率画像Ｐ２は、複数の領域６１〜６９にそれぞれ対応する複数の領域７１〜７９に分割されている。光量制御部１９は、その分割された反射率画像Ｐ２の領域７１〜７９ごとに、該領域（領域７１〜７９のうちのいずれかの領域）に対応する領域（領域６１〜６９のうちのいずれかの領域）に存在する発光体１１ａの光量を制御する。

図８は、光量制御部１９の動作例２を説明するためのフローチャートである。

まず、光量制御部１９は、距離画像生成部１７によって生成された反射率画像Ｐ２の領域７１〜７９ごとに、該領域の反射率画像を取得し（ステップＳ１０）、該取得した反射率画像が予め定められた閾値（下限閾値）よりも低い反射率（反射係数）の画素を含むか否かを判定する（ステップＳ１１、Ｓ１２）。そして、該閾値（下限閾値）よりも低い反射率（反射係数）の画素を含む場合（ステップＳ１１：Ｙｅｓ、ステップＳ１２：Ｙｅｓ）、該領域に対応する領域に存在する発光体１１ａの光量を上げる（ステップＳ１３）。これにより、反射率が低い対象物からの反射光を増加させることが可能となり、距離測定に誤差が生じることを防止又は低減することが可能となる。

また、光量制御部１９は、反射率画像Ｐ２の領域７１〜７９ごとに、該領域（領域７１〜７９のうちのいずれかの領域）の反射率画像が予め定められた閾値（上限閾値）よりも高い反射率（反射係数）の画素を含むか否かを判定する（ステップＳ１１、Ｓ１４）。そして、該閾値（上限閾値）よりも高い反射率（反射係数）の画素を含む場合（ステップＳ１１：Ｙｅｓ、ステップＳ１２：Ｎｏ、ステップＳ１４：Ｙｅｓ）、該領域に対応する領域に存在する発光体１１ａの光量を下げる（ステップＳ１５）。これにより、反射率が高い対象物からの反射光を減少させることが可能となり、撮像素子（の電荷蓄積部）が飽和するのを防止又は低減することが可能となる。

すなわち、光量制御部１９の動作例２によれば、光量制御部１９により反射率画像Ｐ２に基づいて光源１１の光量を制御（増減等）するので、分割された反射率画像の領域７１〜７９に対応する領域６１〜６９ごとに対象物の反射率に応じた最適の光量に制御することが可能となる。このため、対象物の反射率にかかわらず該対象物で反射して戻ってくる反射光の光量を、領域６１〜６９ごとに最適に保つことが可能となる。従って、さらに精度の高い距離画像を生成することが可能となる（距離検出精度のさらなる向上）。また、光源１１の光量が常に一定ではないので、余計な発光電力を抑えることも可能となる（特に光量が減少する方向に調整される場合）。また、撮像している画像内の対象物の反射率をリアルタイムで求めることが可能となる。さらに、反射率画像と距離画像を同時に生成することが可能となる。

以上説明したように、本実施形態の距離画像生成装置１によれば、より精度の高い距離画像を生成する等のために利用することが可能な反射率画像を生成することが可能となる。

また、本実施形態の距離画像生成装置１によれば、光量制御部１９により反射率画像Ｐ２に基づいて光源１１の光量を制御（増減等）するので、対象物（物体３１、３２等）の反射率に応じた最適の光量に制御することが可能となる。このため、対象物の反射率にかかわらず該対象物で反射して戻ってくる反射光の光量を最適に保つことが可能となる。従って、より精度の高い距離画像を生成することが可能となる（距離検出精度の向上）。また、光源１１の光量が常に一定ではないので、余計な発光電力を抑えることも可能となる（特に光量が減少する方向に制御される場合）。

次に、変形例について説明する。

上記実施形態では、分割エリアが９つの例について説明したが本発明はこれに限定されない。分割エリアは９つよりも多くてもよいし、９つより少なくてもよい。また、光源１１の分割領域と撮像素子の分割領域の対応がとれていれば、光源１１の分割数と反射率画像の分割数が異なっていても良い。

上記実施形態では、反射率画像Ｐ２（分割された領域の反射率画像Ｐ２も同様）が予め定められた閾値よりも低い反射率の対象物及び予め定められた閾値よりも高い反射率の対象物の両方を含む場合（つまり、反射率画像Ｐ２（分割された領域の反射率画像Ｐ２も同様）が両方の対象物を含む場合）には、例えば、対象物の面積（画素の数）が多い方と予め定められた閾値（下限閾値又は上限閾値）とを比較して処理することが考えられる（例えば図８、ステップＳ１１、Ｓ１２、Ｓ１４）。あるいは、両方の対象物の画素を平均したものと予め定められた閾値（下限値又は上限値）とを比較して処理することも考えられる（例えば図８、ステップＳ１１、Ｓ１２、Ｓ１４）。

上記実施形態はあらゆる点で単なる例示にすぎない。これらの記載によって本発明は限定的に解釈されるものではない。本発明はその精神または主要な特徴から逸脱することなく他の様々な形で実施することができる。

本発明の第一実施形態である距離画像生成装置のブロック図である。 距離画像を生成する原理を説明するための図である。 反射率画像を生成する原理を説明するための図である。 反射率が異なると、位相差は同じであるが、振幅が変化することを説明するための図である。 距離画像生成装置１における反射率画像生成処理を説明するためのフローチャートである。 光量制御部１９の動作例２に用いられる光源１１の例である。 反射率画像Ｐ２のイメージを説明するための図である。 光量制御部１９の動作例２を説明するためのフローチャートである。

符号の説明

１…距離画像生成装置、１０…光飛行時間型距離画像センサ（距離画像センサ）、１１…光源、１１ａ…発光体、１４…入射光、１５…撮像素子、１６…制御部、１７…距離画像生成部、１８…反射率画像生成部、１９…光量制御部、６１〜６９…分割エリア、７１〜７９…光電変換素子エリア、φ…位相差

Claims (4)

1. 対象空間に変調した光を照射する発光源と、
   前記発光源から照射され対象空間内の対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記発光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段と、を備えた撮像素子と、
   前記複数の電荷蓄積部に蓄積された電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成部と、
   前記光電変換素子が受光する前記反射光の振幅と、前記距離画像生成部により生成された距離画像の画素値とに基づいて所定演算を行い、画素値が反射率に相関する反射係数である反射率画像を生成する反射率画像生成部と、
   を備えることを特徴とする距離画像生成装置。
2. 前記距離画像生成部によって生成された反射率画像に基づいて、前記発光源の光量を制御する光量制御部をさらに備えたことを特徴とする請求項１に記載の距離画像生成装置。
3. 前記発光源は、対象空間に変調した光を照射する複数の発光体を備えており、
   前記複数の発光体は、複数の領域に分割されており、
   前記反射率画像は、前記複数の領域にそれぞれ対応する複数の領域に分割されており、
   前記光量制御部は、前記分割された反射率画像の領域ごとに、該領域に対応する領域に存在する発光体の光量を制御することを特徴とする請求項２に記載の距離画像生成装置。
4. 前記光量制御部は、
   前記分割された反射率画像の領域のうち予め定められた閾値よりも低い反射係数を含む領域については、該領域に対応する領域に存在する発光体の光量を上げ、
   前記分割された反射率画像の領域のうち予め定められた閾値よりも高い反射係数を含む領域については、該領域に対応する領域に存在する発光体の光量を下げることを特徴とする請求項３に記載の距離画像生成装置。

Images