JP6404985B1 - 距離画像の異常を検出する撮像装置 - Google Patents

Abstract

【課題】距離画像の異常を検出する撮像装置を提供する。
【解決手段】撮像装置２１の画像処理装置２２は、光の飛行時間に基づいて第１のカメラ２３および第２のカメラ２４の出力信号から第１の距離画像および第２の距離画像を生成する距離画像生成部３１，３２を含む。画像処理装置２２は、カメラ２３，２４の出力信号からステレオ画像を生成するステレオ画像生成部５３を含む。画像処理装置２２は、ステレオ画像と距離画像とを比較し、第１の距離画像および第２の距離画像のうち少なくとも一方の異常を検出する画像比較部４２を含む。
【選択図】図２

Description

本発明は、距離画像の異常を検出する撮像装置に関する。

カメラにて画像を撮像し、得られた画像に基づいて対象物の３次元的な位置を検出する撮像装置が知られている。３次元的な位置を検出する撮像装置としては、光源から光を発した後に、対象物の表面にて反射した光を画素センサで受光する装置が知られている。撮像装置は、光源から発した光が対象物の表面にて反射して画素センサに戻るまでの時間を測定する。撮像装置は、測定した時間と光の速さとに基づいて、対象物までの距離を算出することができる。この撮像装置の方式は、光飛行時間方式と呼ばれている。

特表２００９−５１６１５７号公報においては、照明装置と、第１画像を記録する第１画像記録ユニットと、第２画像を記録する第２画素記録ユニットとを備える空間領域をモニターする装置が開示されている。第１画素記録ユニットは、空間領域を撮像する画素センサを含み、第２画像記録ユニットは、空間領域を撮像する画素センサを備える。この装置は、第１画像と第２画像とを比較することにより、少なくとも一つの画素上に撮像される空間領域の点について、間違った距離値を識別することが開示されている。

特表２００９−５１６１５７号公報

光飛行時間方式にて撮像した距離画像には、カメラから対象物までの距離の情報が含まれる。ところが、カメラまたは光源の経年変化により、対象物までの距離に誤差が生じる場合があった。この結果、撮像装置が対象物の位置を検出する場合に、位置の誤差が生じる場合があった。

または、撮像装置は、周りの環境の温度の影響を受けるという特性を有する。特に、対象物に光を照射する光源は、周りの温度の影響を受ける。光源は、温度が変化すると発光する時期が所定の時期からずれる場合がある。このために、撮像装置は、温度が変化すると、正確な距離を測定できなくなる場合がある。

このように、撮像装置にて生成される距離画像には誤差が含まれる場合が有るために、撮像装置は、距離画像の異常を検出できることが好ましい。

本開示の一態様の撮像装置は、画像を撮像する第１の撮像部と、第１の撮像部に対して予め定められた位置に配置され、画像を撮像する第２の撮像部とを備える。撮像装置は、第１の撮像部が撮像する領域に向けて光を発する第１の光源と、第２の撮像部が撮像する領域に向けて光を発する第２の光源とを備える。撮像装置は、第１の撮像部の出力信号および第２の撮像部の出力信号の処理を行う画像処理部を備える。画像処理部は、光の飛行時間に基づいて第１の撮像部の出力信号から距離情報を含む第１の距離画像を生成する第１の距離画像生成部と、光の飛行時間に基づいて第２の撮像部の出力信号から距離情報を含む第２の距離画像を生成する第２の距離画像生成部とを含む。画像処理部は、第１の撮像部の出力信号から第１の２次元画像を生成する第１の２次元画像生成部と、第２の撮像部の出力信号から第２の２次元画像を生成する第２の２次元画像生成部とを含む。画像処理部は、第１の２次元画像および第２の２次元画像に基づいて距離情報を含むステレオ画像を生成するステレオ画像生成部を含む。画像処理部は、ステレオ画像と、第１の距離画像および第２の距離画像のうち少なくとも一方とを比較し、第１の距離画像および第２の距離画像のうち少なくとも一方の異常を検出する画像比較部を含む。

本開示の一態様によれば、距離画像の異常を検出する撮像装置を提供することができる。

実施の形態におけるロボットシステムの概略平面図である。 実施の形態におけるロボットシステムのブロック図である。 距離画像における距離の誤差を説明するための２台のカメラおよび対象物の概略平面図である。 異常が生じた距離画像を検出し、距離画像を較正する制御のフローチャートである。 距離画像の較正を行った後の２台のカメラおよび対象物の概略平面図である。 ２台のカメラおよび他の対象物の概略平面図である。 実施の形態における合成画像生成部のブロック図である。

図１から図７を参照して、実施の形態における撮像装置について説明する。本実施の形態の形態の撮像装置は、カメラから撮像する物または人までの距離の情報を含む距離画像を撮像することができる。また、本実施の形態の撮像装置は、予め定められた作業を行うロボットを備えるロボットシステムに配置されている。

図１は、本実施の形態におけるロボットシステムの概略図である。図２に、本実施の形態のロボットシステムのブロック図を示す。図１および図２を参照して、本実施の形態のロボットシステムは、予め定められた作業を行うロボット１１と、ロボット１１を制御するロボット制御装置１２とを備える。

ロボット１１には、エンドエフェクタとしてのハンド１３が連結されている。本実施の形態のロボット１１は、作業台１４においてワークに対して作業を行う。ロボット１１が行う作業には、ワークの並べ替え、およびワークの搬送等が含まれる。または、ロボットは任意の作業を行うことができる。例えば、ロボットが行う作業には、溶接および塗装等が含まれる。エンドエフェクタは、ロボットが行う作業に応じた装置が選定される。

ロボット制御装置１２は、例えば、バスを介して互いに接続されたＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、およびＲＯＭ（Read Only Memory）等を備える演算処理装置（デジタルコンピュータ）にて構成されている。ロボット制御装置１２は、ロボット１１およびハンド１３に対して動作指令を送出する。

ロボット１１の周りには、ロボット１１が作業する領域として作業領域が設定される。作業領域は、安全のために設定される。例えば、作業領域は、ロボット１１が作業を行う時に作業者または搬送車がロボット１１に接触しないように設定されている。本実施の形態においては、作業領域を区画する柵１５が配置されている。柵１５には、入口部１５ａが形成されている。作業者１６は、入口部１５ａから柵１５にて囲まれる作業領域に進入することができる。ロボット１１が駆動している期間中には、作業者１６が柵１５の内部に進入しないことが好ましい。

本実施の形態におけるロボットシステムは、撮像装置２１を備える。撮像装置２１は、ロボット１１が駆動している期間中に、作業者１６が作業領域に進入したことを検出する。また、撮像装置２１は、作業者１６が作業領域から出たことを検出する。本実施の形態のロボット制御装置１２は、作業者１６が作業領域に進入した場合に、ロボット１１およびハンド１３を停止する制御を実施する。

図３に、本実施の形態におけるカメラ、光源、および撮像の対象となる物の概略平面図を示す。図１から図３を参照して、本実施の形態における撮像装置２１は、作業者１６が入口部１５ａから柵１５にて囲まれる領域に進入したことを検出する。撮像装置２１は、予め定められた領域の画像を撮像する第１の撮像部としての第１のカメラ２３と、予め定められた領域の画像を撮像する第２の撮像部としての第２のカメラ２４とを備える。第１のカメラ２３および第２のカメラ２４は、架台２７に固定されている。

本実施の形態における撮像装置２１では、距離画像の測定誤差が大きくなったり、カメラが故障したりすることを考慮して、２台のカメラ２３，２４が配置されている。すなわち、本実施の形態における撮像装置２１は、１台のカメラに不調が生じた時の安全性を考慮して、複数台のカメラ２３，２４を備える。

第１のカメラ２３と第２のカメラ２４との相対位置は、予め定められている。すなわち、第２のカメラ２４は、第１のカメラ２３に対して予め定められた位置に配置されている。第１のカメラ２３および第２のカメラ２４は、架台２７の支持部材２８に固定されている。第１のカメラ２３および第２のカメラ２４は、予め定められた共通の領域を撮像できるように配置されている。第１のカメラ２３および第２のカメラ２４は、撮像範囲２３ａと撮像範囲２４ａとが重複するように配置されている。

本実施の形態における第１のカメラ２３および第２のカメラ２４は、撮像範囲２３ａ，２４ａの範囲内に入口部１５ａが含まれるように配置されている。すなわち、第１のカメラ２３および第２のカメラ２４は、入口部１５ａを通る作業者１６を撮像できる位置に配置されている。

撮像装置２１は、第１のカメラ２３が撮像する領域に向けて光を発する第１の光源２５を備える。第１の光源２５は、第１のカメラ２３が撮像する時に発光する。撮像装置２１は、第２のカメラ２４が撮像する領域に向けて光を発する第２の光源２６を備える。第２の光源２６は、第２のカメラ２４が撮像する時に発光する。

第１のカメラ２３および第２のカメラ２４は、光飛行時間方式により距離画像を撮像するカメラであり、ＴＯＦ（Time of Flight）カメラとも称される。それぞれの第１のカメラ２３および第２のカメラ２４は、画素センサを含んでいる。画素センサとしては、距離画像および２次元画像を撮像できる任意の画素センサを採用することができる。例えば、画素センサとして、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いることができる。

撮像装置２１は、第１のカメラ２３の出力信号および第２のカメラ２４の出力信号の処理を行う画像処理部としての画像処理装置２２を備える。画像処理装置２２は、ＣＰＵ、ＲＯＭ、およびＲＡＭ等を含む演算処理装置にて構成することができる。

画像処理装置２２は、カメラ２３，２４の画像を処理するときの情報を記憶する記憶部３７を含む。記憶部３７は、例えば、距離画像を判定するときの判定値を記憶する。画像処理装置２２は、カメラ２３，２４の画像に関する情報を表示する表示部３８を含む。表示部３８は、液晶表示パネル等により構成されている。表示部３８は、撮像された距離画像またはステレオ画像等の画像を表示することができる。また、表示部３８は、警告および判定値などを表示することができる。

画像処理装置２２は、第１のカメラ２３、第２のカメラ２４、第１の光源２５、および第２の光源２６を制御する撮像制御部３３を備える。撮像制御部３３は、第１のカメラ２３および第２のカメラ２４に撮像する指令を送出する。撮像制御部３３は、第１のカメラ２３にて撮像する時に複数回の光を発光するように第１の光源２５を制御する。また、撮像制御部３３は、第２のカメラ２４にて撮像する時に複数回の光を発光するように、第２の光源２６を制御する。

画像処理装置２２は、光の飛行時間に基づいて第１のカメラ２３の出力信号から第１の距離画像を生成する第１の距離画像生成部３１を含む。距離画像には、カメラから撮像した対象物までの距離の情報が含まれる。画像処理装置２２は、光の飛行時間に基づいて第２のカメラ２４の出力信号から第２の距離画像を生成する第２の距離画像生成部３２を含む。距離画像生成部３１，３２は、光の伝播時間を算出し、カメラ２３，２４から画像に写っている対象物までの距離を算出する。距離画像生成部３１，３２は、光源２５，２６から発した光がカメラ２３，２４に戻るまでの時間を計測する。距離画像生成部３１，３２は、例えば光の位相差を検出し、光が対象物に反射して戻るまでの時間を算出する。距離画像生成部３１，３２は、第１のカメラ２３の画素センサおよび第２のカメラ２４の画素センサにて生成された信号を受信して、それぞれのカメラに対応する距離画像を作成する。また、距離画像生成部３１，３２は、画像に含まれる任意の点までの距離に基づいて、この点の位置を算出することができる。

画像処理装置２２は、第１のカメラ２３および第２のカメラ２４にて撮像をした距離画像の処理を行う演算処理部３５を含む。演算処理部３５は、第１の距離画像および第２の距離画像に基づいて、作業者１６が作業領域に進入したことを検出する進入検出部４１を含む。進入検出部４１は、それぞれの距離画像において、作業者１６の位置を検出する。第１の距離画像および第２の距離画像の少なくとも一方において作業者１６が作業領域の内部に移動した場合に、進入検出部４１は、作業者１６が作業領域に進入したと判断する。なお、進入検出部４１は、第１の距離画像および第２の距離画像を用いて、任意の制御により作業者の進入を判別することができる。

作業者１６が作業領域に進入した場合に、進入検出部４１は、ロボット制御装置１２に作業者の進入を通知する信号を送信する。ロボット制御装置１２は、ロボット１１およびハンド１３の駆動を停止する。または、ロボット制御装置１２は、ロボット１１およびハンド１３の動作速度を遅くする制御を実施しても構わない。

また、進入検出部４１は、作業者１６が作業領域から退出したことを検出することができる。本実施の形態の進入検出部４１は、第１の距離画像および第２の距離画像の両方の距離画像において、作業者１６が作業領域の外側に移動した場合に、作業者１６が作業領域から退出したと判断する。なお、進入検出部４１は、第１の距離画像および第２の距離画像を用いて、任意の制御により作業者１６が作業領域の外側に出たことを検出することができる。

進入検出部４１は、ロボット制御装置１２に作業者の退出を通知する信号を送信する。ロボット制御装置１２は、ロボット１１およびハンド１３の駆動を再開する。または、ロボット制御装置１２は、ロボット１１およびハンド１３の動作速度を元の速度まで戻す制御を実施しても構わない。なお、作業者１６が柵１５の入口部１５ａから出た場合に、作業者１６がロボット制御装置１２の所定のボタンを押圧することにより、ロボット制御装置１２に作業者１６の退出を通知しても構わない。

このように、本実施の形態の画像処理装置２２は、画像に含まれる物や人の位置を検出することができる。または、画像処理装置２２は、予め定められた領域に物や人が存在するか否かを検出することができる。

図３を参照して、第１のカメラ２３は、撮像範囲２３ａの領域に存在する物または人を撮像することができる。第２のカメラ２４は、撮像範囲２４ａの内部に存在する物または人を撮像することができる。ここでの例では、対象物６２について説明する。距離画像生成部３１，３２は、カメラ２３，２４にて撮像される距離画像に基づいて、カメラ２３，２４から対象物６２までの距離を検出することができる。

ところが、カメラ２３，２４および光源２５，２６は、周りの温度の影響を受ける場合がある。このような温度による影響は、温度ドリフトと称される。また、カメラ２３，２４が経年劣化して、対象物６２までの距離を正しく検出できない場合がある。図３に示す例では、第１のカメラ２３による第１の距離画像では、対象物６２までの距離を正確に検出することができる。一方で、第２のカメラ２４による第２の距離画像では、第２のカメラ２４の経年劣化のために、対象物６２までの距離を正確に測定することができない。第２の距離画像では、第２のカメラ２４から対象物６２までの距離を短く測定している。この結果、第２の距離画像では、対象物６２が位置６３に配置されているように検出される。

図２を参照して、本実施の形態の画像処理装置２２は、第１の距離画像および第２の距離画像のうち少なくとも一方の異常を検出するように形成されている。また、本実施の形態の第１のカメラ２３および第２のカメラ２４は、それぞれの画素センサの画素における濃淡の信号を出力することができる。画像処理装置２２は、第１のカメラ２３の出力信号から第１の２次元画像を生成する第１の２次元画像生成部５１と、第２のカメラ２４の出力信号から第２の２次元画像を生成する第２の２次元画像生成部５２とを含む。本実施の形態では、第１のカメラ２３と第２のカメラ２４との相対位置が予め定められている。そして、相対位置および２つの２次元画像に基づいて、距離情報を含むステレオ画像を生成することができる。画像処理装置２２は、第１の２次元画像および第２の２次元画像に基づいて、ステレオ画像を生成するステレオ画像生成部５３を含む。ステレオ画像は、画像に含まれる部分の距離の情報を含む距離画像である。

演算処理部３５は、複数の画像を比較する画像比較部４２を含む。光飛行時間方式による距離画像では、温度ドリフト等が生じる。しかしながら、ステレオ画像では、温度ドリフトおよびカメラの経年変化等の影響を受けにくく、対象物までの正確な距離を算出することができる。本実施の形態では、ステレオ画像に含まれる距離の情報を、正確な距離の情報として用いる。画像比較部４２は、ステレオ画像と第１の距離画像とを比較することにより、第１の距離画像が異常であるか否か判別する。また、画像比較部４２は、ステレオ画像と第２の距離画像とを比較することにより、第２の距離画像が異常であるか否かを判別する。

演算処理部３５は、第１の距離画像生成部３１および第２の距離画像生成部３２のうち少なくとも一方に、画像の較正の指令を送出する較正指令部４４を含む。較正指令部４４は、異常が生じている距離画像を生成する距離画像生成部に較正の指令を送出する。

図４に、本実施の形態の撮像装置において、距離画像の異常を検出する制御のフローチャートを示す。図４に示す制御は任意の時期に行うことができる。または、図４に示す制御は、予め定められた時間間隔ごとに行うことができる。

図２および図４を参照して、ステップ８１において、第１のカメラ２３および第２のカメラ２４は、画像を撮像する。撮像制御部３３は、第１の光源２５および第１のカメラ２３を制御して撮像する。この後に、撮像制御部３３は、第２の光源２６および第２のカメラ２４を制御して撮像する。ステップ８２において、第１の距離画像生成部３１は、第１のカメラ２３の出力信号に基づいて、第１の距離画像を生成する。第２の距離画像生成部３２は、第２のカメラ２４の出力信号に基づいて第２の距離画像を生成する。

次に、ステップ８３において、距離画像生成部３１，３２は、距離画像に含まれる予め定められた測定点の位置を算出する。図１および図３を参照して、本実施の形態では、距離画像の異常を検出するための測定点としてマーカ６１が配置されている。本実施の形態のマーカ６１は動かない。マーカ６１は、カメラ２３，２４の撮像範囲２３ａ，２４ａの内部に配置されている。

図２および図４を参照して、距離画像生成部３１，３２は、それぞれの距離画像に基づいてマーカ６１の位置を算出する。距離画像には、カメラ２３，２４から測定点までの距離の情報が含まれる。距離画像生成部３１，３２は、カメラ２３，２４から測定点までの距離と、カメラ２３，２４の位置とに基づいて、測定点の位置を算出することができる。測定点の位置は、予め定められた座標系にて設定することができる。第１の距離画像生成部３１は、第１の距離画像に基づいてマーカ６１の位置を検出する。また、第２の距離画像生成部３２は、第２の距離画像に基づいてマーカ６１の位置を検出する。

ステップ８４において、演算処理部３５の画像比較部４２は、第１の距離画像に基づくマーカ６１の位置と、第２の距離画像に基づくマーカ６１の位置とを比較する。画像比較部４２は、第１の距離画像に基づく測定点の位置と、第２の距離画像に基づく測定点の位置との距離を算出する。第１の距離画像に基づくマーカ６１の位置と、第２の距離画像に基づくマーカ６１の位置との距離が判定値以内である場合に、画像比較部４２は、第１の距離画像および第２の距離画像は正常であると判別することができる。この場合には、この制御を終了する。

一方で、第１の距離画像に基づくマーカ６１の位置と、第２の距離画像に基づくマーカ６１の位置との距離が判定値よりも大きい場合に、画像比較部４２は、第１の距離画像および第２の距離画像のうち少なくも一方に異常が生じていると判別する。この場合に、制御はステップ８５に移行する。次に、画像処理装置２２は、第１のカメラ２３の出力信号および第２のカメラ２４の出力信号に基づいて、ステレオ画像を生成する。

ステップ８５において、撮像制御部３３は、２次元画像を撮像するように第１のカメラ２３および第２のカメラ２４を制御する。第１の２次元画像生成部５１は、第１のカメラ２３の画素の濃淡の出力信号に基づいて第１の２次元画像を生成する。第２の２次元画像生成部５２は、第２のカメラ２４の画素の濃淡の出力信号に基づいて第２の２次元画像を生成する。この様に、２次元画像生成部５１，５２は、カメラ２３，２４に含まれる画素センサの出力を用いて、濃淡を有する２次元の画像をそれぞれ生成する。

ステップ８６において、ステレオ画像生成部５３は、第１の２次元画像および第２の２次元画像を用いてステレオ画像を生成する。ステレオ画像生成部５３は、２台のカメラ２３，２４の位置および２つの２次元画像における視差に基づいて、ステレオ画像を生成する。ステレオ画像は、画像に含まれる対象物までの距離の情報を含む距離画像である。ステップ８７において、ステレオ画像生成部５３は、ステレオ画像に含まれるマーカ６１までの距離と、カメラ２３，２４の位置とに基づいて、マーカ６１の位置を算出する。検出されたマーカ６１の位置は、正しい位置として用いられる。

なお、ステレオ画像の生成においては、ステップ８５において画像を新たに撮像せずに、ステップ８２において撮像した時のカメラ２３，２４の出力信号を用いても構わない。

ステップ８８において、画像比較部４２は、第１の距離画像および第２の距離画像のうち異常が生じている距離画像を特定する。画像比較部４２は、ステレオ画像におけるマーカ６１の位置と、第１の距離画像におけるマーカ６１の位置とを比較する。それぞれの画像におけるマーカ６１の位置同士の距離が予め定められた判定値以内の場合に、画像比較部４２は、第１の距離画像は正常であると判定する。それぞれの画像におけるマーカ６１の位置同士の距離が予め定められた判定値よりも大きい場合に、画像比較部４２は、第１の距離画像は異常であると判定する。このように、画像比較部４２は、距離画像をステレオ画像と比較して、異常を含む距離画像を特定する。

また、画像比較部４２は、ステレオ画像におけるマーカ６１の位置と、第２の距離画像におけるマーカ６１の位置とを比較する。それぞれの画像におけるマーカ６１の位置同士の距離が判定値以内であれば、画像比較部４２は、第２の距離画像は正常であると判定することができる。一方で、それぞれの画像におけるマーカ６１の位置同士の距離が予め定められた判定値よりも大きい場合に、画像比較部４２は、第２の距離画像が異常であると判定することができる。

次に、ステップ８９において、較正指令部４４は、異常が生じている距離画像を生成した距離画像生成部３１，３２に対して、距離画像を較正する指令を送出する。較正指令部４４は、距離画像に基づくマーカ６１の位置をステレオ画像に基づくマーカ６１の位置に合せるように較正する指令を送出する。

光飛行時間方式により計測された距離の誤差は、光源２５，２６の発光時期の誤差などに起因する。距離画像に含まれる各部分に対して一様に距離の誤差を発生する。このために、全ての画素に対応した距離を、一つの補正方法により補正することができる。例えば、全ての画素において検出された距離に対して一定の補正値を加算したり減算したりすることができる。このように、距離画像生成部３１，３２は、距離画像を較正することができる。

図５に、距離画像の較正を行った後の２台のカメラおよび対象物の概略平面図を示す。この例では、第２のカメラ２４にて撮像した第２の距離画像が較正されている。すなわち、較正指令部４４は、第２の距離画像生成部３２に較正の指令を送出している。第１のカメラ２３の画像から特定される対象物６２の位置と、第２のカメラ２４の画像から特定される対象物６２の位置とが一致している。

本実施の形態における画像処理装置２２は、ステレオ画像と第１の距離画像とを比較し、ステレオ画像と第２の距離画像とを比較している。そして、画像処理装置２２は、第１の距離画像および第２の距離画像のうち少なくとも一方で異常を検出することができる。上記の例では、第２の距離画像に異常が生じている場合を例示しているが、この形態に限られず、第１の距離画像および第２の距離画像の両方に異常が生じていても構わない。この場合には、較正指令部４４は、第１の距離画像生成部３１および第２の距離画像生成部３２に対して、距離画像を較正する指令を送出することができる。

また、画像比較部４２は、第１の距離画像および第２の距離画像のうち一方をステレオ画像と比較しても構わない。例えば、第１のカメラが第２のカメラよりも非常に古い場合に、第１のカメラによる第１の距離画像をステレオ画像と比較し、第１のカメラの経年劣化を検出しても構わない。この場合に、ステレオ画像と第２の距離画像とは比較しなくても構わない。

また、上記の制御においては、画像比較部４２は、ステレオ画像と距離画像とを比較する前に、第１の距離画像と第２の距離画像とを比較している。画像比較部４２は、第１の距離画像および第２の距離画像において、異常が生じているか否かを判別する。そして、画像比較部４２は、第１の距離画像または第２の距離画像に異常が生じていることを検出した後に、ステレオ画像に基づいて異常が生じている距離画像を特定している。

第１の距離画像および第２の距離画像において、両方の距離画像に同時に経年劣化等の異常が生じる場合は少ない。このために、画像比較部４２は、第１の距離画像と第２の距離画像とに予め定められた差異が生じた場合に、いずれかの距離画像に異常が生じていると判断することができる。この制御を行うことにより、距離画像に異常が生じている場合に限り、ステレオ画像を作成することができる。距離画像に異常が生じているか否かを判断する制御を行うときに、ステレオ画像を毎回生成する必要がなく、処理時間を短くすることができる。

なお、画像比較部４２は、第１の距離画像と第２の距離画像とを比較せずに、ステレオ画像と第１の距離画像を比較し、更に、ステレオ画像と第２の距離画像とを比較しても構わない。すなわち、画像比較部４２は、第１の距離画像と第２の距離画像とを比較する制御を実施せずに、ステレオ画像と２つの距離画像とを比較して、異常が生じている距離画像を特定しても構わない。

ところで、ステレオ画像生成部５３は、ステレオ画像を作成する際に、第１の２次元画像の所定の部分について、第２の２次元画像の対応する位置を特定する制御を実施する。例えば、ステレオ画像生成部５３は、第１の２次元画像における入口部１５ａが、第２の２次元画像のどの部分に対応するかを特定する制御を実施する。この後に視差が算出される。この対応箇所を特定する制御は、画素における輝度を用いて行うことができる。例えば、対応箇所を特定する制御は、複数の画素における輝度の変化について、マッチング評価関数を用いて行うことができる。対応箇所を特定する制御では計算量が多くなり、画像処理装置２２の負荷が大きくなる。

本実施の形態では、ステレオ画像生成部５３は、第１の距離画像または第２の距離画像に含まれる距離の情報から、カメラから所定の部分までの距離を取得することができる。対応箇所を特定する制御において、カメラから所定の部分までの距離が分かるために、対応箇所を探索する範囲を小さくすることができる。ステレオ画像生成部５３は、狭い範囲にて対応箇所を特定する制御を実施することができる。この結果、画像処理装置２２の処理の負荷を小さくすることができる。

更に、本実施の形態においては、第１のカメラ２３が撮像する領域および第２のカメラ２４が撮像する領域の内部に、位置の測定を行う測定点としてマーカ６１が予め設定されている。画像比較部４２は、マーカ６１において、第１の距離画像と第２の距離画像とを比較している。また、画像比較部４２は、マーカ６１において、ステレオ画像と第１の距離画像および第２の距離画像のうち少なくとも一方とを比較することにより、距離画像の異常を検出している。

このように、画像の一部分である測定点を予め設定することにより、ステレオ画像生成部５３は、測定点の周りの領域のステレオ画像を生成すれば良い。また、ステレオ画像を作成する時に、ステレオ画像生成部５３は、測定点の周りの領域において、第１の２次元画像と第２の２次元画像との位置の対応付けを実施すれば良い。

更に、測定点の位置は、第１の距離画像に基づく測定点の位置および第２の距離画像に基づく測定点の位置の少なくとも一方から推定することができる。このために、ステレオ画像生成部５３は、推定された位置を用いて、測定点に関する対応箇所を特定する制御を実施することができる。この結果、測定点の位置の算出において、画像処理装置２２の負荷を軽減することができる。なお、ステレオ画像生成部５３は、対応付けを行った後にマーカ６１の視差を算出することができる。ステレオ画像生成部５３は、視差に基づいてマーカ６１までの距離を算出することができる。

また、画像比較部は、予め設定された測定点以外の部分において、任意の部分の位置を比較することにより、距離画像の異常を判別しても構わない。例えば、画像比較部は、ステレオ画像において対象物の輪郭が明確な部分を選定する。画像比較部は、距離画像において選定した部分に対応する部分を特定する。そして、画像比較部は、その部分を用いて距離画像の異常の判別を行っても構わない。

光飛行時間方式による距離の誤差は、前述の通りに、取得する画像に対して一様に発生する。すなわち、距離画像の一部分の距離の精度が悪いような局所的な誤差は発生しない。このために、距離画像の異常を判別する画像の一部分を予め設定しておくことが好ましい。また、画像の一部分としては、動かない部分を選定することが好ましい。

ところで、本実施の形態の画像処理装置２２は、第１のカメラ２３の出力信号および第２のカメラ２４の出力信号から距離画像を生成する。さらに、画像処理装置２２は、第１のカメラ２３の出力信号および第２のカメラ２４の出力信号に基づいて、ステレオ画像を生成する機能を有する。本実施の形態の画像処理装置２２は、これらの機能を用いて、ステレオ画像と、第１の距離画像または第２の距離画像の一方の距離画像とを合成する。距離画像とステレオ画像とを組み合わせることにより、距離に関する情報が正確な画像を生成することができる。

図６に、２台のカメラおよび対象物の概略平面図を示す。対象物６５は、カメラ２３，２４から見たときに、線状の部分６５ａ，６５ｂ，６５ｃと、面状の部分６５ｄ，６５ｅ，６５ｆ，６５ｇとを有する。面状の部分６５ｄ，６５ｅ，６５ｆ，６５ｇは、撮像した画像において面になる部分である。線状の部分６５ａ，６５ｂ，６５ｃは、撮像した画像において輪郭線等の線になる部分である。また、線状の部分には、輪郭線以外に面状の部分に記載された模様等が含まれる。

光飛行時間方式にて取得された距離画像においては、対象物６５にて反射した光を取得するために、面状の部分６５ｄ，６５ｅ，６５ｆ，６５ｇは正確な距離（位置）を検出することができる。ところが、線状の部分６５ａ，６５ｂ，６５ｃでは、検出される距離（位置）が不正確になる場合がある。例えば、線状の部分６５ａ，６５ｂ，６５ｃでは、一つの画素に相当する撮像範囲において極端な高さの違いが生まれる。このような場合、複数の高さの中間値に近い値が検出されたり、全く異なる高さの値が検出されたりする場合がある。

これに対して、ステレオ画像では、線状の部分６５ａ，６５ｂ，６５ｃの距離（位置）が正確に検出されるが、面状の部分６５ｄ，６５ｅ，６５ｆ，６５ｇでは検出される距離（位置）が不正確になる場合がある。例えば、面状の部分６５ｇは、滑らかに曲がる面であるために、面状の部分６５ｇの内部では視差が生じない。このために、距離（位置）が取得できなくなる場合がある。

本実施の形態における画像処理装置２２は、ステレオ画像における線状の部分と、距離画像における面状の部分とを合成した距離画像を生成する。図２を参照して、演算処理部３５は、ステレオ画像と、第１の距離画像または第２の距離画像の一方の距離画像とを合成する合成画像生成部４３を含む。

図７に、合成画像生成部のブロック図を示す。合成画像生成部４３は、ステレオ画像から線状の部分を選定する線状部分選定部４６を含む。線状部分選定部４６は、ステレオ画像から線状に延びる部分を抽出する。合成画像生成部４３は、第１の距離画像または第２の距離画像の一方の距離画像から面状の部分を選定する面状部分選定部４７を含む。第１の距離画像および第２の距離画像のうち、選定する距離画像は予め定めておくことができる。撮像した画像において、線状の部分以外は面状の部分になる。このために、例えば、面状部分選定部４７は、線状部分選定部４６にて選定された部分以外の部分を選定することができる。

合成画像生成部４３は、線状部分選定部４６にて選定された線状の部分および面状部分選定部４７にて選定された面状の部分を合成した距離画像を生成する合成部４８を含む。合成部４８は、線状の部分にステレオ画像を採用し、面状の部分に距離画像を採用して、ステレオ画像と距離画像とを合成することができる。合成部４８により生成された画像は、面状の部分および線状の部分の両方の部分において、優れた距離の情報を含む距離画像になる。このような合成画像は、例えば、画像処理装置２２の表示部３８に表示することができる。または、画像処理装置２２は、他の装置に合成画像を送信しても構わない。

本実施の形態の撮像装置は、第１のカメラに対して第１の光源が配置され、第２のカメラに対して第２の光源が配置されているが、この形態に限られない。第１の光源および第２の光源は、一体的に形成されていても構わない。すなわち、第１のカメラと連動し、更に、第２のカメラと連動する共通の光源が配置されていても構わない。この場合に、共通の光源は、第１のカメラにて撮像する時に発光し、第２のカメラにて撮像する時に発光する。もしくは、共通の光源の発光に対して第１のカメラおよび第２のカメラにて同時に撮像しても構わない。

本実施の形態の撮像装置は、ロボットシステムに配置されているが、この形態に限られない。撮像装置は、物または人との距離を測定したり、物または人の位置を検出したりする任意の装置に配置することができる。例えば、建物に進入する人を検出する撮像装置および自動車の衝突を回避するための撮像装置等に、本実施の形態の撮像装置を適用することができる。

上述の制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、特許請求の範囲に示される実施の形態の変更が含まれている。

２１ 撮像装置
２２ 画像処理装置
２３ 第１のカメラ
２４ 第２のカメラ
２５ 第１の光源
２６ 第２の光源
３１ 第１の距離画像生成部
３２ 第２の距離画像生成部
３５ 演算処理部
４２ 画像比較部
４３ 合成画像生成部
４４ 較正指令部
５１ 第１の２次元画像生成部
５２ 第２の２次元画像生成部
５３ ステレオ画像生成部
４６ 線状部分選定部
４７ 面状部分選定部
４８ 合成部
６１ マーカ
６２，６５ 対象物
６５ａ，６５ｂ，６５ｃ 線状の部分
６５ｄ，６５ｅ，６５ｆ，６５ｇ 面状の部分

Claims (5)

1. 画像を撮像する第１の撮像部と、
   第１の撮像部に対して予め定められた位置に配置され、画像を撮像する第２の撮像部と、
   第１の撮像部が撮像する領域に向けて光を発する第１の光源と、
   第２の撮像部が撮像する領域に向けて光を発する第２の光源と、
   第１の撮像部の出力信号および第２の撮像部の出力信号の処理を行う画像処理部とを備え、
   前記画像処理部は、光の飛行時間に基づいて第１の撮像部の出力信号から距離情報を含む第１の距離画像を生成する第１の距離画像生成部と、
   光の飛行時間に基づいて第２の撮像部の出力信号から距離情報を含む第２の距離画像を生成する第２の距離画像生成部と、
   第１の撮像部の出力信号から第１の２次元画像を生成する第１の２次元画像生成部と、 第２の撮像部の出力信号から第２の２次元画像を生成する第２の２次元画像生成部と、
   第１の２次元画像および第２の２次元画像に基づいて距離情報を含むステレオ画像を生成するステレオ画像生成部と、
   ステレオ画像と、第１の距離画像および第２の距離画像のうち少なくとも一方とを比較し、第１の距離画像および第２の距離画像のうち少なくとも一方の異常を検出する画像比較部と、を含むことを特徴とする、撮像装置。
2. 第１の撮像部および第２の撮像部が撮像する領域において、位置の測定を行う測定点が予め設定されており、
   前記画像比較部は、前記測定点において、ステレオ画像と、第１の距離画像および第２の距離画像のうち少なくとも一方とを比較することにより前記異常を検出する、請求項１に記載の撮像装置。
3. 前記画像比較部は、第１の距離画像と第２の距離画像とを比較することにより、第１の距離画像または第２の距離画像に前記異常が生じていることを検出し、ステレオ画像に基づいて前記異常が生じている距離画像を特定する、請求項１または２に記載の撮像装置。
4. 前記画像処理部は、第１の距離画像生成部または第２の距離画像生成部に画像を較正する指令を送出する較正指令部を含み、
   前記較正指令部は、前記異常が生じている距離画像を生成する距離画像生成部に対して、ステレオ画像に合わせるように距離画像を較正する指令を送出する、請求項１から３のいずれか一項に記載の撮像装置。
5. 前記画像処理部は、ステレオ画像と、第１の距離画像または第２の距離画像の距離画像とを合成する合成画像生成部を含み、
   前記合成画像生成部は、ステレオ画像から線状の部分を選定する線状部分選定部と、前記一方の距離画像から面状の部分を選定する面状部分選定部と、線状部分選定部により選定された線状の部分および面状部分選定部により選定された面状の部分を合成した距離画像を生成する合成部とを含む、請求項１から４のいずれか一項に記載の撮像装置。

Images