JP2007024731A - Distance measuring device, distance measuring method and distance measuring program - Google Patents
Distance measuring device, distance measuring method and distance measuring program Download PDFInfo
- Publication number
- JP2007024731A JP2007024731A JP2005209087A JP2005209087A JP2007024731A JP 2007024731 A JP2007024731 A JP 2007024731A JP 2005209087 A JP2005209087 A JP 2005209087A JP 2005209087 A JP2005209087 A JP 2005209087A JP 2007024731 A JP2007024731 A JP 2007024731A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- detection
- imaging
- image signal
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
この発明は、検出範囲内に位置する物体までの距離を検出する距離計測装置、距離計測方法および距離計測プログラムに関する。 The present invention relates to a distance measuring device, a distance measuring method, and a distance measuring program for detecting a distance to an object located within a detection range.
近年、車両の大衆化にともない、車両に搭載される各種装置が実用化されている。このような車両搭載用装置として、自車両と先行車両との車間距離を計測し、計測した車間距離に基づいて、警報出力などの各種処理を行なう距離計測装置がある。 In recent years, with the popularization of vehicles, various devices mounted on vehicles have been put into practical use. As such a vehicle-mounted device, there is a distance measuring device that measures an inter-vehicle distance between the host vehicle and a preceding vehicle and performs various processes such as alarm output based on the measured inter-vehicle distance.
従来から、このような距離計測装置として、レーダを備えた距離計測装置が提案されている(特許文献1参照)。このレーダ距離計測装置は、たとえば前方向に対してレーザ光等の発信波を発し、先行車両等の障害物からの反射波を検知することによって障害物の有無および障害物までの距離を検出している。 Conventionally, as such a distance measuring device, a distance measuring device including a radar has been proposed (see Patent Document 1). This radar distance measuring device detects the presence or absence of an obstacle and the distance to the obstacle by emitting a transmitted wave such as a laser beam in the forward direction and detecting a reflected wave from the obstacle such as a preceding vehicle. ing.
しかしながら、従来のレーダ距離計測装置では、距離が検出されない箇所が多く、検出範囲内の全ての検出点における距離情報を取得することができないという問題があった。たとえば、何も存在しない領域に発信波が発せられた場合には、レーダは反射波を受信することができない。また、物体の構成材料によっては発信波が吸収されてしまい、レーダは反射波を受信することができない。このため、従来のレーダ距離計測装置では、物体が存在しない領域や発信波を吸収する材料を備えた物体が位置する箇所などにおける距離情報を取得することができず、検出範囲内の全ての検出点における距離情報を出力することができなかった。 However, in the conventional radar distance measuring device, there are many places where the distance is not detected, and there is a problem that it is impossible to acquire distance information at all the detection points in the detection range. For example, when a transmitted wave is emitted in an area where nothing exists, the radar cannot receive a reflected wave. Also, the transmitted wave is absorbed depending on the constituent material of the object, and the radar cannot receive the reflected wave. For this reason, the conventional radar distance measuring device cannot acquire distance information in a region where no object is present or where an object with a material that absorbs a transmitted wave is located, and all the detections within the detection range The distance information at the point could not be output.
この発明は、上記した従来技術の欠点に鑑みてなされたものであり、レーダを備えた距離計測装置において、検出範囲内の全ての検出点に対して正確な距離情報を取得することができる距離計測装置を提供することを目的とする。 The present invention has been made in view of the above-described drawbacks of the prior art, and in a distance measurement device equipped with a radar, a distance at which accurate distance information can be acquired for all detection points in the detection range. It aims at providing a measuring device.
上述した課題を解決し、目的を達成するために、この発明にかかる距離計測装置は、検出範囲内に位置する物体までの距離を検出するレーダを備えた距離計測装置において、少なくとも前記検出範囲を含む撮像視野を有し、前記撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、前記レーダからの検出結果から非検出点を検出し、該非検出点に前記演算手段における演算値を補充した前記検出結果を距離情報として出力する補完手段と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, a distance measurement device according to the present invention is a distance measurement device including a radar that detects a distance to an object located within a detection range, and at least the detection range is defined. An imaging unit that includes an imaging field of view, and that generates an image signal group corresponding to the imaging field; an arithmetic unit that calculates a distance to an object located in the imaging field based on the image signal group; and the radar Complementing means for detecting a non-detection point from the detection result from, and outputting the detection result obtained by supplementing the non-detection point with a calculation value in the calculation means as distance information.
また、この発明にかかる距離計測装置は、前記補完手段は、前記演算手段に対して前記非検出点に対応する領域の距離演算を指示し、前記演算手段は、前記補完手段の演算指示に基づいて距離演算を行なうことを特徴とする。 In the distance measuring device according to the present invention, the complementing unit instructs the computing unit to compute the distance of the region corresponding to the non-detection point, and the computing unit is based on the computing instruction of the complementing unit. The distance calculation is performed.
また、この発明にかかる距離計測装置は、前記撮像手段は、第1の光路を介して撮像した第1の前記画像信号群と、第2の光路を介して撮像した第2の前記画像信号群とを生成し、前記演算手段は、前記第2の画像信号群の中から前記第1の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする。 Further, in the distance measuring device according to the present invention, the imaging means has the first image signal group imaged through the first optical path and the second image signal group imaged through the second optical path. And the arithmetic means detects an image signal that matches an arbitrary image signal of the first image signal group from the second image signal group, and the arbitrary image in the detected image signal A distance to an object located in the imaging field of view is calculated based on a movement amount from the signal.
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の光学系と、一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。 The distance measuring device according to the present invention is characterized in that the imaging means includes a pair of optical systems and a pair of imaging elements that convert optical signals output from the pair of optical systems into electrical signals. To do.
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えたことを特徴とする。 In the distance measuring device according to the present invention, the imaging means has a pair of light guide optical systems and an imaging region corresponding to each light guide optical system, and takes each optical signal guided by each light guide optical system. And an image pickup device for converting into an electric signal in the region.
また、この発明にかかる距離計測装置は、当該距離計測装置は、車両に搭載されることを特徴とする。 The distance measuring device according to the present invention is characterized in that the distance measuring device is mounted on a vehicle.
また、この発明にかかる距離計測方法は、検出範囲内に位置する物体までの距離を検出する検出方法において、前記検出範囲内に位置する物体までの距離を検出する検出ステップと、少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像ステップと、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、前記検出ステップにおける検出結果から非検出点を検出し、該非検出点に前記演算ステップにおける演算値を補充する補完ステップと、を含むことを特徴とする。 Further, the distance measurement method according to the present invention is a detection method for detecting a distance to an object located within a detection range, a detection step for detecting a distance to an object located within the detection range, and at least the detection range. An imaging step for generating an image signal group corresponding to an imaging field including the inside, a calculation step for calculating a distance to an object located in the imaging field based on the image signal group, and a detection result in the detection step And a complementing step of detecting a non-detection point and supplementing the non-detection point with a calculation value in the calculation step.
また、この発明にかかる距離計測プログラムは、検出範囲内に位置する物体までの距離を検出する検出プログラムにおいて、前記検出範囲内に位置する物体までの距離を検出する検出手順と、少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像手順と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、前記検出手順における検出結果から非検出点を検出し、該非検出点に前記演算手順における演算値を補充する補完手順と、を含むことを特徴とする。 The distance measurement program according to the present invention is a detection program for detecting a distance to an object located within a detection range, a detection procedure for detecting a distance to an object located within the detection range, and at least the detection range. From an imaging procedure for generating an image signal group corresponding to an imaging field including the inside, a calculation procedure for calculating a distance to an object located in the imaging field based on the image signal group, and a detection result in the detection procedure And a complementary procedure for detecting a non-detection point and replenishing the non-detection point with a calculation value in the calculation procedure.
本発明にかかる距離計測装置によれば、検出手段の検出結果から非検出点を検出し該非検出点に演算手段における演算値を補充した検出結果を距離情報として出力する補完手段を備えることによって、検出手段の検出範囲内の全ての検出点に対して正確な距離情報を出力することができる。このため、本発明にかかる距離計測装置が出力する距離情報を用いることによって、各種安全運転支援処理を正確に行なうことができる。 According to the distance measuring device of the present invention, by including a complementing unit that detects a non-detection point from the detection result of the detection unit and outputs a detection result obtained by supplementing the non-detection point with a calculation value in the calculation unit as distance information, Accurate distance information can be output for all detection points within the detection range of the detection means. For this reason, various safe driving support processes can be accurately performed by using the distance information output by the distance measuring device according to the present invention.
以下、図面を参照して、この発明の実施の形態である距離計測装置について説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。 Hereinafter, a distance measuring apparatus according to an embodiment of the present invention will be described with reference to the drawings. Note that the present invention is not limited to the embodiments. In the description of the drawings, the same parts are denoted by the same reference numerals.
まず、実施の形態にかかる距離計測装置について、車両に搭載され、検出範囲内の距離情報を出力する距離計測装置を例として説明する。この距離計測装置が出力する距離情報に基づいて、他の装置などによる各種安全運転支援処理が行なわれる。本実施の形態にかかる距離計測装置は、レーダの検出結果から非検出点を検出し、この非検出点に距離演算部が演算した演算値を補充して距離情報として出力する補完部を備える。図1は、本実施の形態にかかる距離計測装置の概略構成を示すブロック図である。 First, a distance measuring device according to an embodiment will be described by taking a distance measuring device mounted on a vehicle and outputting distance information within a detection range as an example. Based on the distance information output from the distance measuring device, various safe driving support processes are performed by other devices. The distance measuring apparatus according to the present embodiment includes a complementing unit that detects a non-detection point from a radar detection result, supplements the non-detection point with a calculation value calculated by the distance calculation unit, and outputs the result as distance information. FIG. 1 is a block diagram showing a schematic configuration of a distance measuring apparatus according to the present embodiment.
図1に示すように、本実施の形態にかかる距離計測装置1は、少なくともレーダ60の検出範囲を含む撮像視野を有し、この撮像視野に対応する画像信号群を作成する撮像部10と、撮像部10が生成した画像信号群をもとに撮像視野内に位置する物体までの距離を演算する距離演算部20と、距離計測装置1を構成する各構成部の各処理および各動作を制御する制御部30と、距離情報を含む各種情報を出力する出力部40と、距離情報を含む各種情報を記憶する記憶部50と、所定の検出範囲内に位置する物体までの距離を検出するレーダ60とを備える。撮像部10と、距離演算部20と、出力部40と、記憶部50と、レーダ60とは、制御部30に電気的に接続される。
As shown in FIG. 1, the distance measuring device 1 according to the present embodiment has an imaging field including at least a detection range of the
撮像部10は、右カメラ11aと、右カメラ11aと左カメラ11bとを備える。右カメラ11aおよび左カメラ11bは、それぞれの撮像視野に対応した画像信号群を出力する。右カメラ11aおよび左カメラ11bは、それぞれ、レンズ12a,12bと、撮像素子13a,13bと、アナログ/デジタル(A/D)変換部14a,14bと、フレームメモリ15a,15bとを備える。レンズ12a,12bは、所定の視野角から入射する光を集光する。レンズ12a,12bにそれぞれ対応して配置される撮像素子13a,13bは、CCDまたはCMOSなどによって実現され、レンズ12a,12bを透過した光を検知してアナログ画像信号に変換する。A/D変換部14a,14bは、撮像素子13a,13bから出力されたアナログ画像信号をデジタル画像信号に変換する。フレームメモリ15a,15bは、A/D変換部14a,14bから出力されたデジタル画像信号を記憶し、1枚の撮像画像に対応するデジタル画像信号群を、撮像視野に対応する画像信号群として随時出力する。
The
距離演算部20は、撮像部10から出力された画像信号群を処理し撮像視野内に位置する物体までの距離を演算する演算部21と、撮像部10から出力された画像信号群を記憶するメモリ22とを備える。距離演算部20は、補完部31の演算指示にしたがって、レーダ60における非検出点に対応する領域の距離演算を行なう。
The
演算部21は、ステレオ法を用いて、撮像部10から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する。演算部21は、右カメラ11aから出力された右画像信号群の中から、左カメラ11bから出力された左画像信号群中における任意の画像信号と整合する画像信号を検出し、検出した画像信号における任意の画像信号からの移動量Iをもとに、三角測量の原理によって距離を演算する。演算部21は、以下の(1)式を用いて、撮像部10から対象物体である車両Cまでの距離Rを求める。(1)式において、fはレンズ12a,12bの焦点距離であり、Lはレンズ12a,12bの光軸間の幅である。また、移動量Iは、移動した画素の数と画素ピッチとをもとに求めてもよい。
R=f・L/I・・・(1)
演算部21は、非検出点に対応する領域に含まれる各画像信号に対応した距離Rを演算し、演算値と撮像視野内における位置情報とをそれぞれ対応させた演算データ52を制御部30に出力する。
The
R = f · L / I (1)
The
制御部30は、記憶部50に記憶された処理プログラムを実行するCPUなどによって実現され、撮像部10と距離演算部20と出力部40と記憶部50とレーダ60との各処理または動作を制御する。制御部30は、これらの各構成部位に入出力される情報について所定の入出力制御を行うとともに、これらの情報に対して所定の情報処理を行う。
The
制御部30は、補完部31を備える。補完部31は、レーダ60からの検出結果から非検出点を検出し、この非検出点に距離演算部20における演算値を補充した検出結果を距離情報として出力する。また、補完部31は、距離演算部30に対して、検出結果における非検出点に対応する領域の距離演算を指示する。
The
出力部40は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどによって実現され、距離情報に加え撮像部10が撮像した画像などの各種表示情報を表示出力する。また、出力部40は、スピーカをさらに備え、距離情報のほか、先行する車両Cと接近した旨を報知する警告音声などの各種音声情報を出力する。
The
記憶部50は、処理プログラム等の各種情報が予め記憶されたROMと、各処理の演算パラメータ、各種構成部位から出力された各種情報、書込情報、あるいは音声情報等を記憶するRAMとを備える。記憶部50は、レーダ60から出力された検出データ51、距離演算部20から出力された演算データ52および補完部31から出力された距離データ53を記憶する。
The
レーダ60は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信して、発信状態および受信状態をもとに、レーダ60から発信波を反射した物体までの距離と、この物体が位置する方向とを検出する。レーダ60は、発信波の送信角度、反射波の入射角度、反射波の受信強度、発信波を送信してから反射波を受信するまでの時間、反射波の周波数変化などをもとに、距離計測装置1から発信波を反射した物体までの距離を検出する。レーダ60は、検出範囲内に位置する物体までの検出距離値と、検出範囲内における位置情報とを対応させた検出データ51を制御部30に出力する。レーダ60は、発信波として、レーザ光、赤外線またはミリ波を送信する。レーダ60は、発信波を反射する物体が存在しない領域や発信波を吸収する部材を備えた物体が存在する領域に対して発信波を発信した場合、反射波を受信することがない。このため、このような領域は、検出データ51において、距離を検出することができない非検出点となる。
The
つぎに、距離計測装置1の動作のうち、制御部30が距離データ53を出力するまでの処理動作について説明する。図2は、距離計測装置1において、制御部30が距離データ53の出力を完了するまでの処理手順を示すフローチャートである。
Next, processing operations until the
図2に示すように、まず、制御部30は、レーダ60に対して、検出範囲内に位置する物体までの距離を検出する検出処理の指示を行なう(ステップS102)。レーダ60は、制御部30の検出処理の指示にしたがい、検出範囲内に位置する物体までの距離を検出し、検出データ51を制御部30に出力する。制御部30は、レーダ60からの検出データ51を受信し(ステップS104)、補完部31は、受信した検出データ51の中に、レーダ60の検出範囲内における非検出点を検出する(ステップS106)。つぎに、補完部31は、受信した検出結果に非検出点があるか否かを判断する(ステップS108)。補完部31は、非検出点があると判断した場合には(ステップS108:Yes)、非検出点に距離演算部20の演算値を補充する補完処理を行ない(ステップS110)、非検出点に距離演算部20の演算値を補充した検出結果を距離情報として出力する(ステップS112)。一方、補完部31は、非検出点がないと判断した場合には(ステップS108:No)、受信した検出データ51を距離データ53として出力する(ステップS112)。
As shown in FIG. 2, first, the
つぎに、図2に示す補完処理について説明する。図3は、図2に示す補完処理の処理手順を示すフローチャートである。図3に示すように、制御部30は、撮像部10に対して撮像処理を指示する(ステップS122)。次いで、補完部31は、距離演算部20に対して、検出した非検出点に対応する領域の距離演算を指示する(ステップS124)。距離演算部20は、補完部31の演算指示にしたがって、非検出点に対応する領域の距離を演算する距離演算処理を行ない(ステップS126)、各演算値を演算データ52として制御部30に出力する。補完部31は、距離演算部20から出力された演算データ52を用いて、距離演算部20が演算した演算値を検出データ51における非検出点に補充し(ステップS128)、補完処理を終了する。
Next, the complementing process shown in FIG. 2 will be described. FIG. 3 is a flowchart showing a processing procedure of the complement processing shown in FIG. As illustrated in FIG. 3, the
つぎに、図2および図3に示す各処理手順について具体的に説明する。図4は、図1に示す検出データ51の一例を示す図である。図4に示す検出データ51aでは、レーダ60が、検出範囲内に位置する物体までの距離を検出した箇所をレーダ検出点「●」として示し、検出しなかった箇所をレーダ非検出点「×」として示す。
Next, each processing procedure shown in FIGS. 2 and 3 will be described in detail. FIG. 4 is a diagram illustrating an example of the
補完部31は、検出情報51aから、レーダ非検出点を検出した場合(ステップS108:Yes)、撮像部10に撮像処理を指示した(ステップS122)後、レーダ非検出点に対応する領域、たとえば図4の領域S1の距離演算を距離演算部20に対して指示する(ステップS124)。
When the complementing
距離演算部20は、補完部31の指示にしたがって、図5に示すように、右カメラ11aから出力された右画像信号群16aと左カメラ11bから出力された左画像信号群16bとをもとに、領域S1における距離演算を行なう(ステップS126)。左画像信号群16bにおいて領域S1に対応する画像信号が161bである場合には、演算部21は、まず、右画像信号群16aにおいて画像信号161bと対応する箇所に位置する画像信号161aと、画像信号群161bとを比較し、画像信号161aと画像信号161bとが整合するか否かを検討する。演算部21は、画像信号161aと画像信号161bとが整合しないと判断した場合には、図5の右方向に順次移動しながら、画像信号161bと整合する画像信号を探索する。演算部21が、右画像信号群16aにおいて、画像信号161bと整合する画像信号165aを検出した場合には、画像信号161aから画像信号165aまでの移動量I1を求め、(1)式を用いて領域S1における距離を演算する。このように、距離演算部20は、レーダ60の検出データ51における非検出点に対応する領域に対してのみ距離演算を行い、この領域に対応して演算したそれぞれの演算値を演算データ52として制御部30に出力する。
As shown in FIG. 5, the
つぎに、補完部31が、距離演算部21が演算した演算値を検出データ51における非検出点に補充する処理(ステップS128)について、図6を用いて説明する。ここで、図6では、図4と同様に、レーダ60が、検出範囲内に位置する物体までの距離を検出した箇所をレーダ検出点「●」として示し、検出しなかった箇所をレーダ非検出点「×」として示すとともに、距離演算部20が距離を演算した領域を演算点「○」として示す。
Next, a process (step S128) in which the
図6に示すように、まず、距離演算部20から、検出データ51aの非検出点に対応した領域における距離を演算した演算データ52aが出力される。つぎに、補完部31は、レーダ60から出力された検出データ51aにおける非検出点に、距離演算部20から出力された演算データ52aにおける演算値を補充することによって、距離データ53aを作成する。この結果、距離計測装置1では、検出範囲内の全ての検出点に対応した距離情報を出力することができる。
As shown in FIG. 6, first, the calculation data 52 a obtained by calculating the distance in the region corresponding to the non-detection point of the
従来の距離計測装置では、発信波を発信した全ての箇所に対する距離を検出することができなかった。たとえば、従来の距離計測装置では、図7に示すように、先行する車両Cのガラス部分にレーダから発信波が送信された場合、この発信波がガラスに吸収されてしまい、レーダは反射波を受信できなかった。このため、従来の距離計測装置では、この領域に対応する距離情報は非検出点63とされ、自車両と車両Cとの間の距離を出力できなかった。したがって、従来の距離計測装置では、車両Cが自車両と近接していた場合であっても警告音声を出力することができず、先行する車両Cが近接している旨を自車両の運転者に対して報知することができなかった。この結果、従来の距離計測装置では、安全運転支援を正確に行なうことができないという弊害があった。
In the conventional distance measuring device, it was not possible to detect the distances to all the places where the transmitted wave was transmitted. For example, in a conventional distance measuring device, as shown in FIG. 7, when a transmitted wave is transmitted from a radar to a glass portion of a preceding vehicle C, the transmitted wave is absorbed by the glass, and the radar generates a reflected wave. Could not receive. For this reason, in the conventional distance measuring device, the distance information corresponding to this region is set as the
これに対し、本実施の形態にかかる距離計測装置1では、補完部31が、検出データ51における非検出を検出し、距離演算部20が演算した演算値を非検出点に補充した距離データ53を出力する。すなわち、距離計測装置1は、発信波を発信した全ての箇所に対する距離情報を出力することが可能となる。たとえば、図8に示すように、先行する車両Cのガラス部分に対応する領域の距離がレーダ60によって検出されず、非検出点とされた場合であっても、補完部31は、この非検出点に距離演算部20による演算値23を補充している。このため、距離計測装置1では、レーダ60による距離検出が不可能である位置に車両Cが位置しており、この車両Cが自車両に近接していた場合であっても、演算値23をもとに出力部40から警告音声を出力して、運転者に対して先行する車両Cが近接している旨を報知することができる。したがって、本実施の形態にかかる距離計測装置1によれば、安全運転支援を正確に行なうことができる。
On the other hand, in the distance measurement device 1 according to the present embodiment, the
また、本実施の形態では、距離演算部20は、補完部31が指示した領域に対してのみ距離演算処理を行なう。すなわち、距離演算部20は、撮像部10から出力された画像信号群の全ての画像信号に対して、距離演算処理を行なう必要がない。このため、本実施の形態では、全画像信号に対して距離演算処理を行なった場合と比較して、距離演算部20における距離演算処理に要する時間を短縮することができる。この結果、距離計測装置1によれば、レーダ60に距離検出の指示を行なってから補完部31が距離情報を出力するまでに要する処理時間の短縮化を図ることができ、正確な距離情報を迅速に取得することが可能となる。
Further, in the present embodiment, the
なお、本実施の形態では、撮像部10において撮像された画像情報群における位置関係とレーダ60における検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、距離計測装置1は、形状が既知の物体に対して、撮像部10における撮像処理およびレーダ60における検出処理を行い、撮像部10における既知の物体の位置およびレーダ60における既知の物体の位置を求める。その後、距離計測装置1では、最小2乗法などを用いて、撮像部10における既知の物体の位置およびレーダ60における既知の物体の位置の関係を求め、撮像部10において撮像された画像情報群における位置関係とレーダ60における検出範囲における位置関係とを整合する。
In the present embodiment, the matching between the positional relationship in the image information group captured by the
また、距離計測装置1では、撮像部10の撮像原点とレーダ60の検出原点とがずれている場合があっても、撮像点および検出点から距離計測装置1までの距離が十分に離れていた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部10において撮像された画像情報群における位置関係とレーダ60における検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。
Further, in the distance measuring device 1, even when the imaging origin of the
また、実施の形態にかかる距離計測装置1の説明において参照した図4乃至図6は、レーダ60における検出範囲と撮像部10における撮像範囲とを重ね合わせた図であり、各レーダ検出点およびレーダ非検出点のいずれかに画像信号が対応する場合について説明したが、必ずしも、撮像部10から出力された各画像信号の位置がレーダ検出点およびレーダに適合するとは限らない。この場合には、演算部21は、演算対象となる領域近傍に位置する複数の画像信号をもとに、一次補間法などを用いて演算対象となる領域をそれぞれ補間し、この補間値を用いて演算すればよい。
4 to 6 referred to in the description of the distance measuring apparatus 1 according to the embodiment are diagrams in which the detection range in the
また、本実施の形態では、レーダ60を備えた距離計測装置1について説明したが、レーダ60に代えて、赤外光または可視光を送信する半導体レーザ素子、発光ダイオードまたはレーザダイオード等の光源と、物体からの反射光を受信するフォトセンサ等の受光素子などによって実現された検出器を備えた距離計測装置であってもよいし、光波、マイクロ波、ミリ波、超音波等を利用して反射波の遅れから距離を計測するレーダ型検出器を備えた距離計測装置であってもよい。
In the present embodiment, the distance measuring apparatus 1 including the
また、本実施の形態における撮像部として、一対のレンズ12a,12bのそれぞれに対応する一対の撮像素子13a,13bを備えた撮像部10について説明したが、これに限らず、図9に示すように、一対の導光学系と、各導光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子を備えた撮像部110としてもよい(たとえば、本出願人による特開平8−171151参照)。図9に示すように、撮像部110は、一対のミラー111a,111bと、ミラー111a,111bのそれぞれに対応するミラー112a,112bと、レンズ112cと、レンズ112cによって集光された光をアナログ画像信号に変換する撮像素子113と、撮像素子113から出力されたアナログ画像信号をデジタル画像信号に変更するA/D変換部114と、デジタル信号を記憶するフレームメモリ115とを備える。ミラー111a,111bは、車両Cなどの被写体からの光を受光し、ミラー112a,112bは、ミラー111a,111bが受光した光をレンズ112cに反射する。このため、撮像素子113上には、各光学系に対応する画像がそれぞれ結像される。したがって、撮像部110は、図10に示すように、画像116aと画像116bとを含む画像116を出力する。このような画像116a,116bをもとに、距離演算部20において、各画像信号に対応する距離値を演算することが可能である。
Moreover, although the
また、本実施の形態として、撮像部10として右カメラ11aと左カメラ11bとの複数のカメラを備えた距離計測装置1について説明したが、必ずしも複数のカメラを備える必要はなく、単数のカメラを撮像部10として備えた距離計測装置に適用してもよい。この場合、距離演算部20は、撮像部から出力された画像信号群をもとに、たとえば、シェイプフロムフォーカス法、シェイプフロムデフォーカス法、シェイプフロムモーション法またはシェイプフロムシェーディング法を用いて撮像視野内の距離を演算する。ここで、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。
Moreover, although the distance measuring apparatus 1 provided with the some camera of the
また、本実施の形態として、車両に搭載される距離計測装置について説明したが、これに限らず、他の移動体に搭載される距離計測装置に対して適用してもよい。また、移動体に搭載される距離計測装置に限らず、たとえば、所定位置に固定した状態で検出範囲内の距離計測を行なう距離計測装置に適用してもよい。 Moreover, although the distance measuring device mounted on the vehicle has been described as the present embodiment, the present invention is not limited thereto, and may be applied to a distance measuring device mounted on another moving body. Further, the present invention is not limited to the distance measuring device mounted on the moving body, and may be applied to a distance measuring device that measures the distance within the detection range in a state of being fixed at a predetermined position, for example.
1 距離計測装置
10、110 撮像部
11a 右カメラ
11b 左カメラ
12a、12b、112c レンズ
13a、13b、113 撮像素子
14a、14b、114 A/D変換部
15a、15b、115 フレームメモリ
16a 右画像信号群
16b 左画像信号群
17 画像
20 距離演算部
21 演算部
22 メモリ
23 演算点
30 制御部
31 補完部
40 出力部
50 記憶部
51、51a 検出データ
52、52a 演算データ
53、53a 距離データ
60 レーダ
63 非検出点
161a、165a、161b 画像信号
111a、111b、112a、112b ミラー
116、116a、116b 画像
C 車両
DESCRIPTION OF SYMBOLS 1 Distance measuring device 10,110 Image pick-up
Claims (8)
少なくとも前記検出範囲を含む撮像視野を有し前記撮像視野に対応する画像信号群を生成する撮像手段と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、
前記検出手段からの検出結果から非検出点を検出し、該非検出点に前記演算手段における演算値を補充した前記検出結果を距離情報として出力する補完手段と、
を備えたことを特徴とする距離計測装置。 Detection means for detecting a distance to an object located within the detection range;
An imaging unit having an imaging field including at least the detection range and generating an image signal group corresponding to the imaging field;
A computing means for computing a distance to an object located in the imaging field based on the image signal group;
Complementing means for detecting a non-detection point from the detection result from the detection means, and outputting the detection result obtained by supplementing the non-detection point with a calculation value in the calculation means as distance information;
A distance measuring device comprising:
前記演算手段は、前記補完手段の演算指示に基づいて距離演算を行なうことを特徴とする請求項1に記載の距離計測装置。 The complement means instructs the calculation means to calculate the distance of the area corresponding to the non-detection point,
The distance measuring apparatus according to claim 1, wherein the calculation unit performs a distance calculation based on a calculation instruction of the complementing unit.
前記演算手段は、前記第2の画像信号群の中から前記第1の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする請求項1または2に記載の距離計測装置。 The imaging means generates a first group of image signals captured through a first optical path and a second group of image signals captured through a second optical path;
The calculation means detects an image signal that matches an arbitrary image signal of the first image signal group from the second image signal group, and a movement amount of the detected image signal from the arbitrary image signal The distance measuring device according to claim 1, wherein a distance to an object located in the imaging field of view is calculated based on the distance.
一対の光学系と、
一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を備えたことを特徴とする請求項1〜3のいずれか一つに記載の距離計測装置。 The imaging means includes
A pair of optical systems;
A pair of image sensors that convert optical signals output by the pair of optical systems into electrical signals;
The distance measuring device according to any one of claims 1 to 3, further comprising:
一対の導光光学系と、
各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
を備えたことを特徴とする請求項1〜3のいずれか一つに記載の距離計測装置。 The imaging means includes
A pair of light guiding optical systems;
An imaging device that has an imaging region corresponding to each light guide optical system and converts an optical signal guided by each light guide optical system into an electrical signal in each imaging region;
The distance measuring device according to any one of claims 1 to 3, further comprising:
前記検出範囲内に位置する物体までの距離を検出する検出ステップと、
少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像ステップと、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、
前記検出ステップにおける検出結果から非検出点を検出し、該非検出点に前記演算ステップにおける演算値を補充する補完ステップと、
を含むことを特徴とする距離計測方法。 In a distance measurement method for detecting the distance to an object located within the detection range,
A detection step of detecting a distance to an object located within the detection range;
An imaging step of generating an image signal group corresponding to an imaging field including at least the detection range;
A calculation step of calculating a distance to an object located in the imaging field based on the image signal group;
A complementary step of detecting a non-detection point from the detection result in the detection step, and supplementing the non-detection point with a calculation value in the calculation step;
A distance measurement method comprising:
前記検出範囲内に位置する物体までの距離を検出する検出手順と、
少なくとも前記検出範囲内を含む撮像視野に対応する画像信号群を生成する撮像手順と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、
前記検出手順における検出結果から非検出点を検出し、該非検出点に前記演算手順における演算値を補充する補完手順と、
を含むことを特徴とする距離計測プログラム。
In a distance measurement program that detects the distance to an object located within the detection range,
A detection procedure for detecting a distance to an object located within the detection range;
An imaging procedure for generating an image signal group corresponding to an imaging visual field including at least the detection range;
A calculation procedure for calculating a distance to an object located in the imaging field based on the image signal group,
A complementary procedure for detecting a non-detection point from the detection result in the detection procedure, and supplementing the non-detection point with a calculation value in the calculation procedure;
The distance measurement program characterized by including.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005209087A JP2007024731A (en) | 2005-07-19 | 2005-07-19 | Distance measuring device, distance measuring method and distance measuring program |
EP06732595A EP1887382A1 (en) | 2005-05-19 | 2006-05-15 | Distance measuring apparatus, distance measuring method and distance measuring program |
PCT/JP2006/309664 WO2006123615A1 (en) | 2005-05-19 | 2006-05-15 | Distance measuring apparatus, distance measuring method and distance measuring program |
US11/985,991 US7656508B2 (en) | 2005-05-19 | 2007-11-19 | Distance measuring apparatus, distance measuring method, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005209087A JP2007024731A (en) | 2005-07-19 | 2005-07-19 | Distance measuring device, distance measuring method and distance measuring program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007024731A true JP2007024731A (en) | 2007-02-01 |
Family
ID=37785686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005209087A Withdrawn JP2007024731A (en) | 2005-05-19 | 2005-07-19 | Distance measuring device, distance measuring method and distance measuring program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007024731A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016090785A (en) * | 2014-11-04 | 2016-05-23 | キヤノン株式会社 | Imaging equipment and control method thereof |
JP2017142218A (en) * | 2016-02-12 | 2017-08-17 | 三菱電機株式会社 | Passive positioning system and multisensor system |
CN113551878A (en) * | 2021-06-24 | 2021-10-26 | 中国科学院合肥物质科学研究院 | Laser beam quality measuring device based on optical fiber array |
-
2005
- 2005-07-19 JP JP2005209087A patent/JP2007024731A/en not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016090785A (en) * | 2014-11-04 | 2016-05-23 | キヤノン株式会社 | Imaging equipment and control method thereof |
JP2017142218A (en) * | 2016-02-12 | 2017-08-17 | 三菱電機株式会社 | Passive positioning system and multisensor system |
CN113551878A (en) * | 2021-06-24 | 2021-10-26 | 中国科学院合肥物质科学研究院 | Laser beam quality measuring device based on optical fiber array |
CN113551878B (en) * | 2021-06-24 | 2024-04-02 | 中国科学院合肥物质科学研究院 | Laser beam quality measuring device based on optical fiber array |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100352423B1 (en) | Vehicle distance measuring device | |
US7656508B2 (en) | Distance measuring apparatus, distance measuring method, and computer program product | |
EP2910971B1 (en) | Object recognition apparatus and object recognition method | |
US9891432B2 (en) | Object detection device and sensing apparatus | |
JP6528447B2 (en) | Disparity calculation system and distance measuring device | |
US9046599B2 (en) | Object detection apparatus and method | |
US8416397B2 (en) | Device for a motor vehicle used for the three-dimensional detection of a scene inside or outside said motor vehicle | |
JP2020003236A (en) | Distance measurement device, moving body, distance measurement method, and distance measurement system | |
JP5280768B2 (en) | Vehicle periphery monitoring device | |
US6741082B2 (en) | Distance information obtaining apparatus and distance information obtaining method | |
US20120236287A1 (en) | External environment visualization apparatus and method | |
JP2007188354A (en) | Forward solid object recognition system for vehicle | |
JP2022115975A (en) | Electromagnetic wave detection device and information acquisition system | |
JP2006322795A (en) | Image processing device, image processing method and image processing program | |
JP2006323693A (en) | Processor, and method and program for processing image | |
CN108061902A (en) | A kind of method and device of detecting object | |
JP2007024731A (en) | Distance measuring device, distance measuring method and distance measuring program | |
CN115720619A (en) | Measuring apparatus | |
JP2007240275A (en) | Range finder/imaging device, range finding method/imaging method, range finding program/imaging program and recording medium | |
JP2006322856A (en) | Distance measuring device, distance measuring method and distance measuring program | |
JP2006322852A (en) | Ranging device, ranging technique, and ranging program | |
JP2007240276A (en) | Distance measuring device/imaging device, distance measuring method/imaging method, distance measuring program/imaging program, and storage medium | |
JP2019158616A (en) | Distance measuring system, distance measurement method, on-vehicle unit, and vehicle | |
WO2021205787A1 (en) | Ranging device and program | |
KR101853652B1 (en) | Around view genegation method and apparatus performing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081007 |