JP2010066221A - Range image data generating device for vehicle - Google Patents
Range image data generating device for vehicle Download PDFInfo
- Publication number
- JP2010066221A JP2010066221A JP2008235130A JP2008235130A JP2010066221A JP 2010066221 A JP2010066221 A JP 2010066221A JP 2008235130 A JP2008235130 A JP 2008235130A JP 2008235130 A JP2008235130 A JP 2008235130A JP 2010066221 A JP2010066221 A JP 2010066221A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- imaging
- image data
- light
- target distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Geophysics And Detection Of Objects (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、車両用距離画像データ生成装置の技術分野に属する。 The present invention belongs to the technical field of a vehicle distance image data generation device.
特許文献1には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。 However, in the above prior art, objects other than the target distance cannot be detected. That is, there is a problem that the situation is intermittently grasped and the situation ahead of the host vehicle cannot be grasped continuously.
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供することにある。 An object of the present invention is to provide a vehicular distance image data generation apparatus that can continuously grasp the situation ahead of the host vehicle.
上記目的を達成するため、本発明の車両用距離画像データ生成装置では、自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記投光手段は、点灯個数を変更自在な複数の発光体を備え、前記タイミング制御手段は、前記ターゲット距離に基づいて、前記投光手段の点灯個数を変更させることを特徴とする。 In order to achieve the above object, in the vehicle distance image data generation device of the present invention, a light projecting unit that projects pulsed light in front of the host vehicle at a predetermined cycle, and an imaging timing set according to the target distance. Imaging means for imaging reflected light returning from the distance, timing control means for controlling the imaging timing so that the target distance changes continuously, and a plurality of imagings with different target distances obtained by the imaging means Distance image data generating means for generating distance image data representing the distance to the object for each pixel based on the luminance of the same pixel in the image, and the light projecting means is a plurality of light emission whose number of lighting can be changed The timing control means changes the number of lighting of the light projecting means based on the target distance.
よって、本発明にあっては、自車両前方の状況を連続的に把握できる。 Therefore, in this invention, the situation ahead of the own vehicle can be grasped | ascertained continuously.
以下、本発明の車両用距離画像データ生成装置を実現するための最良の形態を、図面に基づく実施例により説明する。 DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The best mode for realizing a vehicular distance image data generating apparatus according to the present invention will be described below with reference to the drawings.
まず、構成を説明する。
図1は、本発明の車両用距離画像データ生成装置を適用した実施例1の障害物検出装置1の構成を示すブロック図であり、実施例1の障害物検出装置1は、距離画像データ生成装置2と、物体認識処理部3と、判断部4とを備えている。
First, the configuration will be described.
FIG. 1 is a block diagram illustrating a configuration of an obstacle detection apparatus 1 according to a first embodiment to which the vehicle distance image data generation apparatus according to the present invention is applied. A device 2, an object recognition processing unit 3, and a determination unit 4 are provided.
距離画像データ生成装置2は、投光器(投光手段)5と、対物レンズ6と、光倍増部7と、高速度カメラ(撮像手段)8と、タイミングコントローラ(タイミング制御手段)9と、画像処理部(距離画像データ生成手段)10とを備えている。
投光器5は、車両の前端部に配置した近赤外線LED5a(レンズと発光部を構成する)であり、タイミングコントローラ9から出力されるパルス信号に応じて、所定の投光時間tL(例えば、5ns)の間、パルス光を出力する。パルス信号の周期は、投光器5の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。投光器5の詳細については後述する。
対物レンズ6は、物体からの反射光を受光するためのもので、投光器5と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
The distance image data generation device 2 includes a projector (projecting unit) 5, an objective lens 6, a light doubling unit 7, a high-speed camera (imaging unit) 8, a timing controller (timing control unit) 9, and image processing. Unit (distance image data generating means) 10.
The projector 5 is a near-infrared LED 5a (which constitutes a lens and a light emitting unit) disposed at the front end of the vehicle, and according to a pulse signal output from the timing controller 9, a predetermined projection time tL (for example, 5 ns). During this period, pulse light is output. The cycle of the pulse signal is the projection cycle tP of the projector 5, and the projection cycle tP is, for example, an interval of 1/100 s or less. Details of the projector 5 will be described later.
The objective lens 6 is for receiving reflected light from an object, and is disposed adjacent to the projector 5. For example, the optical system is set to have an angle of view capable of capturing a predetermined range in front of the host vehicle.
光倍増部7は、ゲート7aとイメージインテンシファイア7bとを備えている。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。ここで、実施例1では、ゲート7aの開時間(ゲート時間)tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア(ターゲット距離)の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例1では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度(約3×108m/s)×ゲート時間(5ns)から、1.5mとなる。
The light multiplication unit 7 includes a gate 7a and an image intensifier 7b.
The gate 7a opens and closes in response to an opening / closing command signal from the timing controller 9. Here, in Example 1, the opening time (gate time) tG of the gate 7a is set to 5 ns, which is the same as the light projection time tL. Here, the gate time tG corresponds to the imaging target width of the imaging area (target distance). The longer the gate time tG, the longer the imaging target width of the imaging area. In the first embodiment, since the gate time tG = 5 ns, the imaging target width is 1.5 m from the speed of light (about 3 × 10 8 m / s) × gate time (5 ns).
イメージインテンシファイア7bは、極微弱な光(物体からの反射光等)を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア7bの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ8のイメージセンサに導かれる。
高速度カメラ8は、タイミングコントローラ9からの指令信号に応じて、光倍増部7から発せられた像を撮像し、撮像画像(カラー画像)を画像処理部10へ出力する。実施例1では、解像度640×480(横:縦)、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
The image intensifier 7b temporarily converts extremely weak light (reflected light from an object, etc.) into electrons and then electrically amplifies it, and returns it to a fluorescent image again to double the amount of light and to produce an image with contrast. It is a viewing device. Photoelectrons launched from the photocathode of the image intensifier 7b by a photoelectric phenomenon are accelerated at a high voltage of the order of kV, and are emitted into the phosphor screen on the anode side, thereby emitting fluorescence having a photon number of 100 times or more. The fluorescence generated on the phosphor screen is guided to the image sensor of the high-speed camera 8 by the fiber optic plate without being scattered while maintaining the same positional relationship.
The high-speed camera 8 captures an image emitted from the light doubling unit 7 in response to a command signal from the timing controller 9 and outputs a captured image (color image) to the image processing unit 10. In the first embodiment, a camera having a resolution of 640 × 480 (horizontal: vertical), a luminance value of 1 to 255 (256 levels), and 100 fps or more is used.
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器5の投光開始時点からゲート7aを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離(撮像対象距離)を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離=光速度(約3×108m/s)×ディレイ時間tD/2
図2に、1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す。
The timing controller 9 is the time from the light projection start time of the projector 5 until the gate 7a is opened so that the captured image captured by the high-speed camera 8 is the timing of the reflected light returning from the target imaging area. The imaging timing is controlled by setting a certain delay time tD and outputting an open / close command signal corresponding to the delay time. That is, the delay time tD is a value that determines the distance from the host vehicle to the imaging area (imaging target distance), and the relationship between the delay time tD and the imaging target distance is as follows.
Imaging distance = speed of light (approx. 3 x 10 8 m / s) x delay time tD / 2
FIG. 2 shows a temporal relationship between the operation of the projector 5 (light projection operation) and the operation of the gate 7a (camera gate operation) when imaging one imaging area.
タイミングコントローラ9は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔(例えば、10ns)ずつ長くすることで、高速度カメラ8の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ9は、ゲート7aが開く直前に高速度カメラ8の撮像動作を開始させ、ゲート7aが完全に閉じた後に撮像動作を終了させる。但し、実施例1では、タイミングコントローラ9は、撮像対象距離(ターゲット距離)に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート7aの開閉動作で構成されるようにする。そのため、設定された所定回数が複数回の場合は、複数回の投光動作とゲート7aの開閉動作後に撮像動作を終了させることになる。 The timing controller 9 increases the imaging range of the high-speed camera 8 by increasing the delay time tD by a predetermined interval (for example, 10 ns) so that the imaging area continuously moves from the front side of the vehicle to the front side. Change to the side. The timing controller 9 starts the imaging operation of the high-speed camera 8 immediately before the gate 7a is opened, and ends the imaging operation after the gate 7a is completely closed. However, in the first embodiment, the timing controller 9 sets the number of multiple exposures in advance according to the imaging target distance (target distance), reads this data, and performs imaging at a certain imaging target distance a predetermined number of times. And the opening / closing operation of the gate 7a. Therefore, when the predetermined number of times set is a plurality of times, the imaging operation is terminated after a plurality of light projection operations and the opening / closing operation of the gate 7a.
また、実施例1では、図3に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量(B2-B1)を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。 Further, in the first embodiment, as illustrated in FIG. 3, when the imaging target distance is continuously changed from B1 → B2 → B3 →..., The imaging target distance is increased more than the imaging target width A of the imaging area. By increasing the amount (B2-B1), the increase amount of the imaging target distance is set so that a part of the imaging area changes while overlapping.
図4は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一の画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個(1〜n)であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図4の特性に近くなる。 FIG. 4 is a schematic diagram showing temporal luminance changes when the amount of increase in the imaging target distance is reduced to the limit, in other words, when imaging is performed with an infinite increase in the imaging area. By overlapping each other, the luminance value of the same pixel in a plurality of consecutive captured images gradually increases, and after the peak, the luminance value gradually decreases. In practice, the number of imaging areas is limited (1 to n), but by overlapping a part of continuous imaging areas, the temporal luminance change becomes close to the characteristics of FIG.
タイミングコントローラ9は、1フレーム分、すなわち、設定された所定範囲(エリア1、エリア2、…、エリアn)の撮像画像が全て撮像された場合、画像処理部10に対し画像処理指令信号を出力する。 The timing controller 9 outputs an image processing command signal to the image processing unit 10 when all the captured images for one frame, that is, the set predetermined range (area 1, area 2,..., Area n) are captured. To do.
画像処理部10は、高速度カメラ8により撮像された1フレーム分の撮像画像(撮像画素)から、距離情報を色や輝度等で表す距離画像データを生成し、生成した距離画像データを物体認識処理部3へ出力する。 The image processing unit 10 generates distance image data representing distance information by color, luminance, and the like from one frame of captured images (imaging pixels) captured by the high-speed camera 8, and object recognition is performed on the generated distance image data. Output to the processing unit 3.
物体認識処理部3は、距離画像データに含まれる物体に対して、画像処理、例えば、ラベリング、パターンマッチング等により距離画像データに含まれる物体を特定する。
判断部4は、物体認識処理部3により特定された物体(人、自動車、標識等)と自車両との関係(距離、相対速度等)に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
The object recognition processing unit 3 identifies an object included in the distance image data by performing image processing, for example, labeling, pattern matching, or the like on the object included in the distance image data.
Based on the relationship (distance, relative speed, etc.) between the object (person, car, sign, etc.) identified by the object recognition processing unit 3 and the host vehicle, the determination unit 4 presents information to the driver by an alarm, Determine whether vehicle control such as automatic braking is necessary.
図5は実施例1の距離画像データ生成装置の投光器の説明図である。
投光器5に設けられる近赤外線LED5aは、所定配光角度のレンズ51が取り付けられ、図5に示すように複数配置される。実施例1では、点灯個数を24個とし、全体を千鳥配置としている。
FIG. 5 is an explanatory diagram of a projector of the distance image data generation device according to the first embodiment.
The near-infrared LED 5a provided in the projector 5 is provided with a lens 51 having a predetermined light distribution angle, and a plurality of near-infrared LEDs 5a are arranged as shown in FIG. In the first embodiment, the number of lighting is 24, and the whole is in a staggered arrangement.
[距離画像データ生成制御処理]
図6は、実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
[Distance image data generation control processing]
FIG. 6 is a flowchart illustrating the flow of the distance image data generation control process executed by the image processing unit 10 according to the first embodiment. Each step will be described below. This process is repeatedly executed at a predetermined calculation cycle.
ステップS1では、画像処理部10が、投光器5による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを後の輝度判断のために記憶し、ステップS2へ移行する。このデータは、距離画像データ生成の際に用いるものとする。 In step S1, the image processing unit 10 stores the luminance value data having the lowest luminance of the captured image obtained by imaging the front of the host vehicle without performing the light projection by the projector 5 for later luminance determination, and proceeds to step S2. To do. This data is used when generating the distance image data.
ステップS2では、画像処理部10が、撮像画像を入力し、ステップS3へと移行する。なお、実施例1においては、入力される撮像画像は、撮像する距離範囲に応じて予め設定された多重露光回数により複数回撮像された画像で、且つ撮像する距離範囲と多重露光に基づいて予め設定された点灯個数の投光で撮像された画像となる。詳細は後述する。 In step S2, the image processing unit 10 inputs a captured image, and proceeds to step S3. In the first embodiment, the input captured image is an image that has been captured a plurality of times with a preset number of multiple exposures according to the distance range to be captured, and is previously based on the distance range to be captured and the multiple exposure. The image is captured by the set number of lightings. Details will be described later.
ステップS3では、画像処理部10が、1フレーム分(エリア1、エリア2、…、エリアn)の画像入力が終了したか否かを判定する。YESの場合にはステップS4へ移行し、NOの場合にはステップS2へ移行する。 In step S3, the image processing unit 10 determines whether image input for one frame (area 1, area 2,..., Area n) has been completed. If YES, the process proceeds to step S4. If NO, the process proceeds to step S2.
ステップS4では、色や輝度により距離情報を伴う画像として、距離画像データを生成し、リターンへ移行する。 In step S4, distance image data is generated as an image with distance information by color and brightness, and the process proceeds to return.
[投光距離制御処理]
図7は、実施例1のタイミングコントローラ9で実行される投光器5の投光距離制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。
[Projection distance control processing]
FIG. 7 is a flowchart showing the flow of the projection distance control process of the projector 5 executed by the timing controller 9 of the first embodiment, and each step will be described below.
ステップS11では、タイミングコントローラ9が、今回投光する撮像対象距離を取得、あるいは決定する。 In step S11, the timing controller 9 acquires or determines the imaging target distance to be projected this time.
ステップS12では、タイミングコントローラ9が多重露光回数の決定処理として、今回投光する撮像対象距離に基づいて多重露光回数を決定する。 In step S12, the timing controller 9 determines the number of multiple exposures based on the imaging target distance projected this time as the multiple exposure number determination process.
ステップS13では、タイミングコントローラ9が点灯個数の決定処理として、今回投光する撮像対象距離に基づいて点灯個数を決定する。 In step S13, the timing controller 9 determines the lighting number based on the imaging target distance to be projected this time as the lighting number determination process.
ステップS14では、タイミングコントローラ9が投光制御処理として、ステップS12,S13で決定した多重露光回数を用いて投光器5を制御し、投光を行わせる。 In step S14, the timing controller 9 controls the projector 5 using the number of times of multiple exposure determined in steps S12 and S13 as light projection control processing, and performs light projection.
ステップS15では、1フレーム分の撮像が終了したかどうかを判断し、終了したならば処理を終了し、終了していないならばステップS11へ戻る。
なお、説明上、フローチャートを示して説明したが、実際に制御されるタイミングは非常に短い時間間隔で行われるため、図7で説明した撮像対象距離に対する多重露光回数と、撮像対象距離と多重露光回数に基づく点灯個数は、予めデータ化するなどにし、タイミングコントローラ9が充分な速度の制御出力ができることが望ましい。
In step S15, it is determined whether or not imaging for one frame has been completed. If completed, the process ends. If not completed, the process returns to step S11.
For the sake of explanation, the flow chart has been described, but since the actual control timing is performed at a very short time interval, the number of times of multiple exposure with respect to the imaging target distance described in FIG. It is desirable that the lighting number based on the number of times is converted into data in advance, and the timing controller 9 can output a control signal at a sufficient speed.
次に、作用を説明する。
[距離画像データ生成作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器5から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
Next, the operation will be described.
[Distance image data generation function]
The timing controller 9 controls the imaging timing of the high-speed camera 8 by setting the delay time tD so that the captured image captured by the high-speed camera 8 becomes the timing of the reflected light returning from the target imaging area. To do. When an object is present in the target imaging area, the time for the light emitted from the projector 5 to return from the imaging area is the time for the light to reciprocate the distance between the host vehicle and the imaging area (imaging target distance). Therefore, the delay time tD can be obtained from the imaging target distance and the speed of light.
上記方法で得られた高速度カメラ8の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。 In the captured image of the high-speed camera 8 obtained by the above method, when an object exists in the imaging area, the luminance value data of the pixel corresponding to the position of the object is affected by the reflected light, and the luminance of other pixels Indicates a value higher than the value data. Thereby, based on the luminance value data of each pixel, the distance from the object existing in the targeted imaging area can be obtained.
さらに、実施例1では、ディレイ時間tDを変化させながら撮像エリア1〜nの撮像画像を取得する。続いて、同じ画素位置の前後の距離の輝度値データを比較し、最も高い輝度値データを当該画素で検出する物体の距離とし、撮像範囲(640×480)の距離の情報を持つデータ(距離画像データ)を生成する。 Furthermore, in the first embodiment, captured images of the imaging areas 1 to n are acquired while changing the delay time tD. Subsequently, the brightness value data of the distance before and after the same pixel position is compared, the highest brightness value data is set as the distance of the object detected by the pixel, and the data (distance with distance information of the imaging range (640 × 480)) Image data).
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる(SN比が小さい)ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識(物体の特定)を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。 Conventional distance detection methods using laser radars and stereo cameras are susceptible to rain, fog, snow, etc., and the noise level with respect to the signal level is large (the SN ratio is small), so the reliability in bad weather is low. . When using a millimeter wave radar that is not easily affected by bad weather, the reliability of distance detection is high, but it is difficult to perform object recognition (object identification) from the millimeter wave radar signal. Is required. Further, since the camera image becomes unclear during bad weather, it is difficult to perform accurate object recognition.
これに対し、実施例1では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
On the other hand, in the first embodiment, only reflected waves returning from the target imaging area are reflected in the captured image, so that the light bent due to the influence of rain, fog, snow, or the like, that is, the noise mixing level is kept low. High signal-to-noise ratio can be obtained. That is, high distance detection accuracy can be obtained regardless of bad weather or night.
And since the distance of the object detected from an image is known from the produced | generated distance image data, when performing object recognition using methods, such as pattern matching after that, the distance with an object can be grasped | ascertained instantaneously.
さらに、実施例1では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。 Furthermore, in the first embodiment, the captured area is continuously changed to acquire a plurality of captured images, and the captured images are compared to detect the distance of each pixel. In addition, it can be grasped over a wide range. For example, even in a situation where a pedestrian has jumped between the host vehicle and the preceding vehicle, the distance between the preceding vehicle and the pedestrian can be grasped at the same time. Control can be performed.
図8は、自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例1では、1つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図9に示すように、歩行者の位置でピークを取る三角形の特性を示す。
FIG. 8 shows a situation where four pedestrians A to D exist at different positions in front of the host vehicle, and the relationship between the distance between the host vehicle and each pedestrian is A <B <C <D. .
At this time, in the first embodiment, a part of the imaging area is overlapped so that the reflected light from one object is reflected on the pixels constituting the object of the captured image in the plurality of imaging areas in which the reflected light is continuous. For this reason, the temporal luminance change of the pixels constituting the object corresponding to each pedestrian shows a triangular characteristic that takes a peak at the position of the pedestrian, as shown in FIG.
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、1つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図10に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。 Since the distance image data is data used for alarms and vehicle control, it is impossible to set an imaging area infinitely finely as long as a certain calculation speed is required. By making the reflected light from the plurality of captured images included, as shown in FIG. 10, the temporal luminance change of the pixel is approximated to the above characteristics, and the imaging area corresponding to the peak of the triangular portion is The detection accuracy can be increased by setting the distance of the object in the pixel.
[多重露光による輝度補正]
実施例1の距離画像データ生成装置2では、撮像対象距離を徐々に遠くしながら複数の撮像画像を取得しているため、遠くの撮像エリアに存在する物体からの反射光は、近くの撮像エリアに存在する物体の反射光よりも弱くなる。このため、各撮像エリアで撮像時間(ゲート時間tG)を一定とした場合、遠い撮像エリアほど撮像画像が暗くなってしまう。
[Brightness correction by multiple exposure]
In the distance image data generation device 2 according to the first embodiment, a plurality of captured images are acquired while gradually increasing the imaging target distance. Therefore, reflected light from an object existing in a far imaging area is reflected in a nearby imaging area. It becomes weaker than the reflected light of the object existing in the. For this reason, when the imaging time (gate time tG) is constant in each imaging area, the captured image becomes darker as the imaging area is farther.
一方、画像処理部10では、複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成しているため、撮像画像間で上述した撮像対象距離の違いによる輝度差が生じると、同一画素の輝度を比較する際、正確な比較を行うことができない。 On the other hand, the image processing unit 10 generates the distance image data representing the distance to the object for each pixel based on the luminance of the same pixel in the plurality of captured images. If a luminance difference due to a difference occurs, an accurate comparison cannot be performed when comparing the luminance of the same pixel.
これに対し、実施例1では、物体が存在する撮像エリアにおける撮像画像の輝度ピーク値(輝度の最大値)が目標輝度となるよう、撮像対象距離に対して多重露光回数を設定し、記憶させる。そして、タイミングコントローラ9が、設定された多重露光回数に従って1画像に対して投光動作とゲート7aの開閉動作の複数組を行う。つまり、本実施例1の多重露光回数とは、高速度カメラ8で撮像する1画像に対して、タイミングコントローラ9の制御により行われる、投光器5の投光動作と、上記説明のように投光動作と対になる(ディレイ時間tDによる)ゲート7aの開閉動作の繰り返し回数を意味する。 On the other hand, in the first embodiment, the number of multiple exposures is set and stored for the imaging target distance so that the luminance peak value (maximum luminance value) of the captured image in the imaging area where the object exists becomes the target luminance. . Then, the timing controller 9 performs a plurality of sets of a light projecting operation and an opening / closing operation of the gate 7a on one image according to the set number of multiple exposures. In other words, the number of multiple exposures in the first embodiment refers to the light projecting operation of the light projector 5 performed by the control of the timing controller 9 for one image captured by the high-speed camera 8, and the light projection as described above. This means the number of repetitions of the opening / closing operation of the gate 7a (by the delay time tD) paired with the operation.
このため、撮像対象距離の異なる各撮像画像の輝度レンジ幅(輝度最小値と輝度最大値との差)を撮像エリアにかかわらず均一化し、予め良好な処理ができるように設定された目標輝度に近づけることができる(図11参照)。 For this reason, the luminance range width (difference between the minimum luminance value and the maximum luminance value) of each captured image with different imaging target distances is made uniform regardless of the imaging area, and the target luminance is set in advance so that good processing can be performed. It can approach (refer FIG. 11).
[点灯個数の制御作用]
図12は実施例1の距離画像データ生成装置における撮像対象距離と輝度の関係を示すグラフ図である。図13は実施例1の距離画像データ生成装置における多重露光回数の切換え時の撮像対象距離と輝度の説明図である。図14は実施例1の距離画像データ生成装置における撮像対象距離方向の撮像画像と輝度の説明図である。
実施例1では、上記説明のように多重露光制御により、撮像対象距離が遠い場合でも充分な輝度が得られるようにしている。この制御は図11に示すように結果的に撮像で得られる画像の輝度が目標輝度に近づけるように行われる。
[Controlling the number of lighting]
FIG. 12 is a graph illustrating the relationship between the imaging target distance and the luminance in the distance image data generation device according to the first embodiment. FIG. 13 is an explanatory diagram of an imaging target distance and luminance at the time of switching the number of times of multiple exposure in the distance image data generation device of the first embodiment. FIG. 14 is an explanatory diagram of a captured image and luminance in the imaging target distance direction in the distance image data generation device of the first embodiment.
In the first embodiment, sufficient luminance can be obtained even when the imaging target distance is long by the multiple exposure control as described above. As shown in FIG. 11, this control is performed so that the luminance of the image obtained by imaging as a result approaches the target luminance.
これにより、撮像対象距離の異なる各撮像画像の輝度レンジ幅(輝度最小値と輝度最大値との差)を撮像エリアにかかわらず均一化する。この多重露光制御で制御される多重露光回数に対して、撮像対象距離を変更しながら撮像されるエリアスキャンの段数(単位)は図3、図10に示すように撮像対象(障害物)の検知から決められる。そのため多重露光回数とエリアスキャンの段数(単位)は一致せず、エリアスキャンの段数(単位)の方が多い。そのため、撮像対象距離の複数回の撮像に対して同じ多重露光回数で撮像されることになる。 Thereby, the luminance range width (difference between the minimum luminance value and the maximum luminance value) of each captured image having different imaging target distances is made uniform regardless of the imaging area. With respect to the number of times of multiple exposure controlled by this multiple exposure control, the number of area scan stages (units) to be imaged while changing the distance to be imaged is detected as shown in FIGS. 3 and 10. It is decided from. For this reason, the number of multiple exposures and the number (unit) of area scans do not match, and the number of area scans (unit) is larger. For this reason, imaging is performed with the same number of multiple exposures for a plurality of times of imaging at the imaging target distance.
図13は、撮像距離がA〜Fのように撮像されていくのに対して、画像中の同一画素の輝度値が対象物の反射により変化する様子を示す。この図13において、多重露光回数の切り換わり点(撮像距離C)では、例えば多重露光回数が1回増える前(例えば露光回数1回とし、符号201で示す)の場合の輝度値203と1回増えた後(例えば露光回数2回とし、符号202で示す)の輝度値204では、得られる輝度値が異なる。この輝度値の差は誤差となる。
また、図12に示すように、比較的距離が近い範囲では、輝度値が充分に得られることから、多重露光の切り換わりが少なくなる。そのために、この誤差は大きくなる。また、多重露光制御の作用が少なく働く区間である。
FIG. 13 shows how the luminance value of the same pixel in the image changes due to the reflection of the object while the imaging distance is captured as A to F. In FIG. 13, at the switching point (imaging distance C) of the number of multiple exposures, for example, the luminance value 203 and one time before the number of multiple exposures is increased by 1 (for example, the number of exposures is 1 and indicated by reference numeral 201). After the increase (for example, the number of exposures is 2 and indicated by reference numeral 202), the obtained brightness value is different. This difference in luminance value becomes an error.
In addition, as shown in FIG. 12, since a sufficient luminance value is obtained in a relatively short distance range, switching between multiple exposures is reduced. Therefore, this error becomes large. Further, this is a section where the effect of the multiple exposure control is small.
このように多重露光回数の切り換わりによる誤差が、図3、図10で示したようなピーク値を決定する撮像対象距離で影響すると、図14に示すように、理想的には、撮像距離Cにおける輝度値C1でピークとなるものが、撮像距離Dにおける輝度値D1でピークとなることを生じてしまう。 When the error due to switching of the number of multiple exposures affects the imaging target distance for determining the peak value as shown in FIGS. 3 and 10, ideally, as shown in FIG. What becomes the peak at the luminance value C1 at the peak of the luminance value D1 at the imaging distance D occurs.
実施例1では、投光器5が24個の近赤外線LED5aを備え、1〜24個がその点灯個数を可変にする。この制御はタイミングコントローラ9のステップS13の処理に基づいて行われる。
この点灯個数制御では、撮像対象距離と、多重露光回数に基づいて、点灯個数を変更する制御が行われる。
In the first embodiment, the projector 5 includes 24 near-infrared LEDs 5a, and 1 to 24 vary the number of lighting. This control is performed based on the process of step S13 of the timing controller 9.
In this lighting number control, control for changing the lighting number is performed based on the imaging target distance and the number of multiple exposures.
例えば、図13に示すような多重露光回数の切り換わり時点において、撮像対象距離の変更に対して、多重露光回数が変わらないよう設定されている場合に、点灯個数が変更するように制御する。
図12に示すように、撮像対象距離に対して得たい画素(画像)の輝度が図12の目標値101となるのに対して、多重露光回数の制御のみでは、図12の線102に示すように回数切り換わりの誤差を持つものとなる。これに対して、さらに多重露光回数の変更と点灯個数の変更を組合せることによって、図12に線103で示すように、多重露光回数の制御のみの線102の切り換わり誤差を抑制し精度を向上させ、より目標値の線101に近づける。
よって、撮像された画像を処理して生成される距離画像がさらに正確なものとなる。
For example, when the multiple exposure count is switched as shown in FIG. 13, if the multiple exposure count is set so as not to change with respect to the change of the imaging target distance, the number of lighting is controlled to change.
As shown in FIG. 12, the luminance of the pixel (image) desired to be obtained with respect to the imaging target distance is the target value 101 in FIG. 12, whereas only the control of the number of times of multiple exposure is shown by a line 102 in FIG. Thus, it has an error in switching the number of times. On the other hand, by combining the change in the number of multiple exposures and the change in the number of lighting, as shown by the line 103 in FIG. To improve and bring it closer to the target value line 101.
Therefore, the distance image generated by processing the captured image becomes more accurate.
次に、効果を説明する。
実施例1の距離画像データ生成装置2にあっては、以下に列挙する効果を奏する。
Next, the effect will be described.
The distance image data generation device 2 according to the first embodiment has the following effects.
(1)自車両前方に所定周期でパルス光を投光する投光器5と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア7b及び高速度カメラ8と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ9と、イメージインテンシファイア7b及び高速度カメラ8により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10を備え、投光器5は、点灯個数を変更自在な複数の近赤外線LED5aを備え、タイミングコントローラ9は、ターゲット距離に基づいて、投光器5の近赤外線LED5aの点灯個数を変更させるため、自車両前方の状況を連続的に把握でき、さらに、距離画像の精度を向上させることができる。 (1) A projector 5 that projects pulsed light in front of the host vehicle at a predetermined period, an image intensifier 7b that captures reflected light returning from the target distance at an imaging timing set according to the target distance, and a high speed The same pixel in a plurality of captured images with different target distances obtained by the camera 8, the timing controller 9 that controls the imaging timing so that the target distance changes continuously, the image intensifier 7b, and the high-speed camera 8 The image processing unit 10 that generates distance image data representing the distance to the object for each pixel based on the luminance is provided. The projector 5 includes a plurality of near-infrared LEDs 5a whose lighting numbers can be freely changed. The timing controller 9 includes: Based on the target distance, in order to change the number of lights of the near-infrared LED 5a of the projector 5, The square status of can continuously grasp, it is possible to further improve the accuracy of the distance image.
(2)上記(1)において、タイミングコントローラ9は、一つのターゲット距離の撮像画像が、投光器5による複数回の投光と、イメージインテンシファイア7b及び高速度カメラ8による撮像タイミングでの複数回の撮像で生成され、且つターゲット距離が遠くなるに従って、投光及び撮像の回数を増やす多重露光制御を行うため、撮像対象距離の異なる各撮像画像の輝度レンジ幅を撮像エリアにかかわらず均一化し、予め良好な処理ができるように設定された目標輝度に近づけることができる。 (2) In the above (1), the timing controller 9 determines that a captured image of one target distance is projected a plurality of times by the projector 5 and a plurality of times at the imaging timing by the image intensifier 7b and the high-speed camera 8. In order to perform multiple exposure control to increase the number of light projections and imaging as the target distance increases, the brightness range width of each captured image with different imaging target distances is made uniform regardless of the imaging area, It is possible to approach the target brightness set in advance so that good processing can be performed.
(3)上記(2)において、タイミングコントローラ9は、多重露光制御により、ターゲット距離が遠くなるに従って、投光及び撮像の回数を増加する切換段数に対して、切換段数を増加させるターゲット距離で、投光手段の点灯個数を増加させる点灯個数制御を行うため、多重露光の切換段数を増加させるようにでき、多重露光の切換時の誤差を抑制でき、より距離画像の精度を向上することができる。 (3) In the above (2), the timing controller 9 has a target distance that increases the number of switching stages with respect to the number of switching stages that increases the number of times of light projection and imaging as the target distance increases by multiple exposure control. Since the lighting number control for increasing the lighting number of the light projecting means is performed, the number of switching steps of the multiple exposure can be increased, the error at the time of switching the multiple exposure can be suppressed, and the accuracy of the distance image can be further improved. .
(4)上記(2)又は(3)において、タイミングコントローラ9は、多重露光制御が、ターゲット距離が近いことにより、投光及び撮像の回数に変更がないターゲット距離で、投光器5の点灯個数を変更させる点灯個数制御を行うため、近距離部分を含め、距離画像のターゲット距離範囲全体で、各撮像画像の輝度レンジ幅を撮像エリアにかかわらず均一化し、予め良好な処理ができるように設定された目標輝度に近づけることができる。
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
(4) In the above (2) or (3), the timing controller 9 determines the number of lighting of the light projector 5 at the target distance in which the multiple exposure control is not changed in the number of times of light projection and imaging because the target distance is close. In order to control the number of lighting to be changed, the brightness range width of each captured image is made uniform regardless of the imaging area in the entire target distance range of the distance image, including the near distance part, and is set in advance so that good processing can be performed. The target brightness can be approached.
The best mode for carrying out the present invention has been described above based on the embodiment. However, the specific configuration of the present invention is not limited to the configuration of the embodiment, and it relates to each claim of the claims. Design changes and additions are allowed without departing from the spirit of the invention.
例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、1フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。
投光器5の近赤外線LED5aの数は、実施例1と異なる個数であってもよい。
実施例1では、多重露光の切換数より、投光器5の点灯個数の切換数を多くしているが、投光器5の点灯個数の切換数が多重露光の切換数より少なくしてもよい。その場合には、実施例1より均一化の効果は小さくなるが、多重露光のみのものより、距離画像の精度を向上させることができる。
For example, the light projection period, the light projection time, the gate time, the imaging target width, the amount of change in the imaging target distance, and the number of imaging areas in one frame are appropriately set according to the performance of the imaging means and the performance of the distance image data generation means can do.
The number of near-infrared LEDs 5a in the projector 5 may be different from that in the first embodiment.
In the first embodiment, the switching number of the lighting number of the projector 5 is made larger than the switching number of the multiple exposure, but the switching number of the lighting number of the projector 5 may be smaller than the switching number of the multiple exposure. In that case, the effect of uniformization becomes smaller than that of the first embodiment, but the accuracy of the distance image can be improved as compared with the case of only the multiple exposure.
1 障害物検出装置
2 距離画像データ生成装置
3 物体認識処理部
4 判断部
5 投光器(投光手段)
5a 近赤外線LED
51 レンズ
6 対物レンズ
7 光増倍部
7a ゲート
7b イメージインテンシファイア
8 高速度カメラ(撮像手段)
9 タイミングコントローラ(タイミング制御手段)
10 画像処理部(距離画像データ生成手段)
101 (ターゲット距離に対する明るさの目標値を示す)線
102 (多重露光制御を行った場合のターゲット距離に対する明るさを示す)線
103 (多重露光制御に加えて点灯個数制御を行った場合のターゲット距離に対する明るさを示す)線
201 (露光回数1回の状態を示す)説明部分
202 (露光回数2回の状態を示す)説明部分
DESCRIPTION OF SYMBOLS 1 Obstacle detection apparatus 2 Distance image data generation apparatus 3 Object recognition process part 4 Judgment part 5 Light projector (light projection means)
5a Near-infrared LED
51 Lens 6 Objective lens 7 Photomultiplier 7a Gate 7b Image intensifier 8 High-speed camera (imaging means)
9 Timing controller (timing control means)
10 Image processing unit (distance image data generating means)
101 (indicating target value of brightness with respect to target distance) line 102 (indicating brightness with respect to target distance when multiple exposure control is performed) line 103 (target when performing lighting number control in addition to multiple exposure control) Line 201 (indicating brightness with respect to distance) Explanation portion 202 (showing a state with one exposure) Description portion 202 (showing a state with two exposures)
Claims (4)
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記投光手段は、点灯個数を変更自在な複数の発光体を備え、
前記タイミング制御手段は、前記ターゲット距離に基づいて、前記投光手段の点灯個数を変更させる、
ことを特徴とする車両用距離画像データ生成装置。 Light projecting means for projecting pulsed light in front of the host vehicle at a predetermined period;
Imaging means for imaging reflected light returning from the target distance at an imaging timing set according to the target distance;
Timing control means for controlling the imaging timing so that the target distance changes continuously;
Distance image data generation means for generating distance image data representing a distance to an object for each pixel based on the luminance of the same pixel in a plurality of captured images with different target distances obtained by the imaging means;
With
The light projecting means includes a plurality of light emitters whose lighting numbers can be freely changed,
The timing control means changes the number of lighting of the light projecting means based on the target distance.
A vehicular distance image data generating apparatus characterized by the above.
前記タイミング制御手段は、
一つのターゲット距離の撮像画像が、前記投光手段による複数回の投光と、前記撮像手段による前記撮像タイミングでの複数回の撮像で生成され、且つターゲット距離が遠くなるに従って、投光及び撮像の回数を増やす多重露光制御を行う、
ことを特徴とする車両用距離画像データ生成装置。 The vehicle distance image data generation device according to claim 1,
The timing control means includes
A captured image of one target distance is generated by a plurality of times of light projection by the light projecting unit and a plurality of times of image capturing at the image capturing timing by the image capturing unit, and as the target distance becomes longer, light projection and image capturing are performed. Multiple exposure control to increase the number of times,
A vehicular distance image data generating apparatus characterized by the above.
前記タイミング制御手段は、
前記多重露光制御により、ターゲット距離が遠くなるに従って、投光及び撮像の回数を増加する切換段数に対して、前記切換段数を増加させるターゲット距離で、前記投光手段の点灯個数を増加させる点灯個数制御を行う、
ことを特徴とする車両用距離画像データ生成装置。 In the vehicular distance image data generating device according to claim 2,
The timing control means includes
By the multiple exposure control, as the target distance increases, the number of lightings for increasing the number of lighting of the light projecting means at the target distance for increasing the number of switching steps with respect to the number of switching steps for increasing the number of times of light projection and imaging. Do control,
A vehicular distance image data generating apparatus characterized by the above.
前記タイミング制御手段は、
前記多重露光制御が、ターゲット距離が近いことにより、投光及び撮像の回数に変更がないターゲット距離で、前記投光手段の点灯個数を変更させる点灯個数制御を行う、
ことを特徴とする車両用距離画像データ生成装置。 In the vehicular distance image data generating device according to claim 2 or 3,
The timing control means includes
The multiple exposure control performs lighting number control for changing the number of lighting of the light projecting means at a target distance where there is no change in the number of times of light projection and imaging because the target distance is close.
A vehicular distance image data generating apparatus characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008235130A JP2010066221A (en) | 2008-09-12 | 2008-09-12 | Range image data generating device for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008235130A JP2010066221A (en) | 2008-09-12 | 2008-09-12 | Range image data generating device for vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010066221A true JP2010066221A (en) | 2010-03-25 |
Family
ID=42191918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008235130A Pending JP2010066221A (en) | 2008-09-12 | 2008-09-12 | Range image data generating device for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010066221A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011203186A (en) * | 2010-03-26 | 2011-10-13 | Toshiba Corp | Target tracking apparatus |
WO2017110417A1 (en) * | 2015-12-21 | 2017-06-29 | 株式会社小糸製作所 | Image acquisition device for vehicles, control device, vehicle provided with image acquisition device for vehicles and control device, and image acquisition method for vehicles |
WO2017110413A1 (en) * | 2015-12-21 | 2017-06-29 | 株式会社小糸製作所 | Image acquisition device for vehicles, control device, vehicle provided with image acquisition device for vehicles and control device, and image acquisition method for vehicles |
WO2019181518A1 (en) * | 2018-03-20 | 2019-09-26 | パナソニックIpマネジメント株式会社 | Distance measuring device, distance measuring system, distance measuring method, and program |
WO2020085028A1 (en) * | 2018-10-26 | 2020-04-30 | パナソニックIpマネジメント株式会社 | Image recognition device and image recognition method |
US11187805B2 (en) | 2015-12-21 | 2021-11-30 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
US11204425B2 (en) | 2015-12-21 | 2021-12-21 | Koito Manufacturing Co., Ltd. | Image acquisition device for vehicles and vehicle provided with same |
JP2023002588A (en) * | 2018-02-09 | 2023-01-10 | パナソニックIpマネジメント株式会社 | Camera system and vehicle travel control system |
-
2008
- 2008-09-12 JP JP2008235130A patent/JP2010066221A/en active Pending
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011203186A (en) * | 2010-03-26 | 2011-10-13 | Toshiba Corp | Target tracking apparatus |
US11194023B2 (en) | 2015-12-21 | 2021-12-07 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
WO2017110417A1 (en) * | 2015-12-21 | 2017-06-29 | 株式会社小糸製作所 | Image acquisition device for vehicles, control device, vehicle provided with image acquisition device for vehicles and control device, and image acquisition method for vehicles |
WO2017110413A1 (en) * | 2015-12-21 | 2017-06-29 | 株式会社小糸製作所 | Image acquisition device for vehicles, control device, vehicle provided with image acquisition device for vehicles and control device, and image acquisition method for vehicles |
CN108431631A (en) * | 2015-12-21 | 2018-08-21 | 株式会社小糸制作所 | Vehicle image acquiring device, control device, include vehicle image acquiring device or control device vehicle and vehicle image acquiring method |
JPWO2017110417A1 (en) * | 2015-12-21 | 2018-10-04 | 株式会社小糸製作所 | Vehicular image acquisition device, control device, vehicle image acquisition device or vehicle equipped with control device, and vehicle image acquisition method |
JPWO2017110413A1 (en) * | 2015-12-21 | 2018-10-04 | 株式会社小糸製作所 | Vehicular image acquisition device, control device, vehicle image acquisition device or vehicle equipped with control device, and vehicle image acquisition method |
US11249172B2 (en) | 2015-12-21 | 2022-02-15 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
US11204425B2 (en) | 2015-12-21 | 2021-12-21 | Koito Manufacturing Co., Ltd. | Image acquisition device for vehicles and vehicle provided with same |
US11187805B2 (en) | 2015-12-21 | 2021-11-30 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
JP7411968B2 (en) | 2018-02-09 | 2024-01-12 | パナソニックIpマネジメント株式会社 | Camera system and vehicle driving control system |
JP2023002588A (en) * | 2018-02-09 | 2023-01-10 | パナソニックIpマネジメント株式会社 | Camera system and vehicle travel control system |
JP7042453B2 (en) | 2018-03-20 | 2022-03-28 | パナソニックIpマネジメント株式会社 | Distance measuring device, distance measuring system, distance measuring method, and program |
JPWO2019181518A1 (en) * | 2018-03-20 | 2021-02-18 | パナソニックIpマネジメント株式会社 | Distance measuring device, distance measuring system, distance measuring method, and program |
CN111886517A (en) * | 2018-03-20 | 2020-11-03 | 松下知识产权经营株式会社 | Distance measuring device, distance measuring system, distance measuring method, and program |
WO2019181518A1 (en) * | 2018-03-20 | 2019-09-26 | パナソニックIpマネジメント株式会社 | Distance measuring device, distance measuring system, distance measuring method, and program |
CN111886517B (en) * | 2018-03-20 | 2024-03-08 | 松下知识产权经营株式会社 | Distance measuring device, distance measuring system, distance measuring method, and program |
US12013459B2 (en) | 2018-03-20 | 2024-06-18 | Panasonic Intellectual Property Management Co., Ltd. | Distance measuring device, distance measuring system, distance measuring method, and program |
JPWO2020085028A1 (en) * | 2018-10-26 | 2021-09-30 | パナソニックIpマネジメント株式会社 | Image recognition device and image recognition method |
WO2020085028A1 (en) * | 2018-10-26 | 2020-04-30 | パナソニックIpマネジメント株式会社 | Image recognition device and image recognition method |
JP7345101B2 (en) | 2018-10-26 | 2023-09-15 | パナソニックIpマネジメント株式会社 | Image recognition device and image recognition method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009257983A (en) | Device and method for generating distance image data for vehicle | |
JP2010170449A (en) | Device and method for creating range image data for vehicle | |
JP2009257981A (en) | Device for generating distance image data for vehicle | |
JP6851985B2 (en) | Vehicle and vehicle image acquisition method equipped with vehicle image acquisition device, control device, vehicle image acquisition device or control device | |
JP2010066221A (en) | Range image data generating device for vehicle | |
WO2017110413A1 (en) | Image acquisition device for vehicles, control device, vehicle provided with image acquisition device for vehicles and control device, and image acquisition method for vehicles | |
JP2010061304A (en) | Vehicular distance image data generation device | |
US11040649B2 (en) | Vehicular sensor and vehicle provided with same | |
US11204425B2 (en) | Image acquisition device for vehicles and vehicle provided with same | |
JP2010121995A (en) | Device for generating distance image data for vehicle | |
JP6851986B2 (en) | Vehicle and vehicle image acquisition method equipped with vehicle image acquisition device, control device, vehicle image acquisition device or control device | |
JP2010054461A (en) | Device for generating distance image data for vehicle | |
JP2009257982A (en) | Device for generating distance image data for vehicle | |
US10953813B2 (en) | Image acquisition device to be used by vehicle and vehicle provided with same | |
JP2010071704A (en) | Device and method for generating distance image data for vehicle | |
JP2010212042A (en) | Led lighting device | |
JP2009258015A (en) | Apparatus and method for generating range image data for vehicle | |
JP2009282906A (en) | Range image data generation device for vehicle | |
JP2010145255A (en) | Apparatus and method for creating vehicle-use distance image data | |
JP2009281895A (en) | Range image data generating device for vehicle and method for generating range image data | |
JP2009259070A (en) | Device for generating distance image data for vehicle | |
US12135394B2 (en) | Gating camera | |
WO2023074902A1 (en) | Active sensor, object identification system, and vehicular lamp |