Nothing Special   »   [go: up one dir, main page]

WO2017170799A1 - 物体認識装置及び物体認識方法 - Google Patents

物体認識装置及び物体認識方法 Download PDF

Info

Publication number
WO2017170799A1
WO2017170799A1 PCT/JP2017/013118 JP2017013118W WO2017170799A1 WO 2017170799 A1 WO2017170799 A1 WO 2017170799A1 JP 2017013118 W JP2017013118 W JP 2017013118W WO 2017170799 A1 WO2017170799 A1 WO 2017170799A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
radar
target
target information
image
Prior art date
Application number
PCT/JP2017/013118
Other languages
English (en)
French (fr)
Inventor
洋平 増井
唯史 酒井
前田　貴史
剛 名波
実 中通
Original Assignee
株式会社デンソー
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー, トヨタ自動車株式会社 filed Critical 株式会社デンソー
Priority to US16/089,141 priority Critical patent/US11346922B2/en
Publication of WO2017170799A1 publication Critical patent/WO2017170799A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Definitions

  • the present disclosure relates to an object recognition device and an object recognition method, and more particularly to an object recognition device and an object recognition method applied to a vehicle in which a radar device and an imaging device are mounted as object detection sensors.
  • Patent Document 1 discloses that the amount of movement of an object per predetermined time is calculated by radar ranging and image processing, and if the two movement amounts do not match, the detected object is not judged as an obstacle. ing.
  • the ranging accuracy differs between the radar device and the imaging device, and the radar device is superior in ranging accuracy, but the image recognition by the imaging device has a characteristic that the ranging performance is inferior. Particularly in the distance, a decrease in the accuracy of image recognition tends to appear due to a decrease in the number of pixels. Therefore, as in Patent Document 1, when the object detected by the radar device and the object detected by the imaging device are separately recognized, and the same object determination is performed by comparing the behaviors of the recognized targets, There is a concern that it is difficult to determine a distant target due to a decrease in accuracy of image recognition.
  • An object is to provide an object recognition apparatus and an object recognition method capable of performing the above.
  • This disclosure employs the following means in order to solve the above problems.
  • an object recognition device that recognizes an object existing around a host vehicle using a radar device and an imaging device, the object being detected by the radar device and the imaging device.
  • the radar target information which is information of the object detected by the radar device
  • the image target information which is information of the object detected by the imaging device
  • An information combining unit that generates information
  • an identical object determining unit that determines that the object detected by the radar device and the object detected by the imaging device are the same object based on a temporal change of the combined target information And comprising.
  • the object detected by the radar device and the imaging device based on the temporal change of the combined target information obtained by combining the information related to the object detected by the radar device and the information related to the object detected by the imaging device.
  • the same object determination is performed as to whether or not the detected object is the same object.
  • There is a difference in the temporal change of the combined target information between the case where the combined target information is generated by the correct combination and the case where the combined target information is generated by the incorrect combination due to the change in the positional relationship of the target.
  • the influence of the reduction in the accuracy of image recognition can be compensated by the detection performance of the radar device. Therefore, it is possible to accurately perform the same object determination while suppressing the influence of a decrease in the accuracy of image recognition as much as possible.
  • FIG. 1 is a block diagram showing a schematic configuration of a driving support system
  • FIG. 2 is a diagram showing the FSN vehicle width when correct coupling is performed
  • FIG. 3 is a diagram showing the change over time of the FSN vehicle width when mis-bonding occurs.
  • FIG. 4 is a flowchart showing the processing procedure of the filter calculation process.
  • FIG. 5 is a diagram showing the relationship between the distance to the preceding vehicle, the FSN vehicle width, and the vehicle width true value.
  • FIG. 6 is a diagram showing a change with time of the combined target information in another embodiment.
  • the driving support system 10 of the present embodiment shown in FIG. 1 is mounted on a vehicle, recognizes an object existing around the host vehicle, and executes various driving supports based on the recognition result of the object.
  • an auto cruise control system ACC
  • PCS system
  • the driving support system 10 includes an object recognition device 20, various sensors, and a driving support device 40.
  • the object recognition device 20 is a computer having a CPU, a ROM, a RAM, an I / O, and the like, and the CPU recognizes an object existing around the host vehicle by executing a program installed in the ROM. To achieve each function.
  • the object recognition device 20 is connected to a radar device 31 and an imaging device 32, which are object detection sensors, and inputs object detection results from these sensors.
  • the radar device 31 is a detection device that detects an object by transmitting an electromagnetic wave as a transmission wave and receiving the reflected wave.
  • a known millimeter wave that uses a high-frequency signal in the millimeter wave band as a transmission wave. It consists of radar.
  • the radar device 31 is attached to the front end portion of the host vehicle, and scans a region extending over a range of a predetermined radar angle toward the front of the vehicle around the optical axis with a radar signal.
  • ranging data is created based on the time from when an electromagnetic wave is transmitted toward the front of the vehicle until the reflected wave is received, and the created ranging data is sequentially output to the object recognition device 20.
  • the distance measurement data includes information on the direction in which the object exists, the distance to the object, and the relative speed of the object.
  • the imaging device 32 is an in-vehicle camera, and is composed of, for example, a monocular camera such as a CCD camera, a CMOS image sensor, or a near infrared camera.
  • the imaging device 32 is attached to a predetermined height in the center of the vehicle in the vehicle width direction, and images an area that extends in a predetermined angle range toward the front of the vehicle from an overhead viewpoint. Further, the imaging device 32 sequentially outputs the captured image data to the object recognition device 20.
  • the object recognition device 20 sequentially inputs the distance measurement data of the radar device 31 and the image data of the imaging device 32, and recognizes the object using the input data.
  • the object recognition device 20 includes a radar target detection unit 21, an image target detection unit 22, and a fusion calculation unit 23.
  • the radar target detection unit 21 identifies an object detected based on the distance measurement data as a radar target, and applies the position information of the identified radar target to the xy plane, so that the relative position of the radar target with respect to the host vehicle is detected. Is identified.
  • the vehicle width direction of the host vehicle is the x-axis
  • the vehicle length direction is the y-axis.
  • a radar search area is set as an area representing the position of the radar target in an area including the detection point of the radar target.
  • the radar search area is set as an area having an error assumed based on the detection characteristics of the radar device 31.
  • the image target detection unit 22 identifies an object detected by analyzing the image data as an image target, and applies the position information of the identified image target to the xy plane, so that the image target for the host vehicle is detected. Specify the relative position.
  • the image target detection unit 22 performs pattern matching on the image target using a predetermined pattern, and detects the type of the object detected by the imaging device 32, for example, one of a vehicle, a pedestrian, and a bicycle. Is identified. Further, the image target detection unit 22 generates azimuth angle information of the object with respect to the host vehicle based on the position of the image target in the left-right direction in the image.
  • an image target angle that is an angle formed by a line segment connecting the reference point P0 representing the position of the host vehicle and the detection point of the image target and the vehicle length direction of the host vehicle, and the image target Including the azimuth width.
  • the image target detection unit 22 sets an image search area as an area representing the position of the image target using the image target angle, the distance from the reference point P0, and the detection point of the image target.
  • the image search area is set as an area having an error assumed based on the detection characteristics of the imaging device 32.
  • the fusion calculation unit 23 detects the radar input from the radar target detection unit 21 when the object detected by the radar device 31 and the object detected by the imaging device 32 are determined to be the same object based on a predetermined condition.
  • the radar target information, which is target information, and the image target information, which is image target information input from the image target detection unit 22, are combined (fused) to generate a fusion target.
  • the generated fusion target information is output to the driving support device 40.
  • the distance to the fusion target is specified by the distance to the radar target, and the horizontal position and width of the fusion target are specified by the horizontal position and azimuth angle of the image target.
  • the lateral position is a relative position in the vehicle width direction (x axis) with respect to the reference point P0.
  • the fusion calculation unit 23 functions as an information combination unit and an identical object determination unit.
  • the driving support device 40 inputs the fusion target information generated by the fusion calculation unit 23, and controls, for example, a brake device, a steering device, a seat belt driving device, an alarm device, and the like based on the input information.
  • Various controls for support are executed. If the fusion target cannot be identified even though at least one of the radar target and the image target is identified, it is necessary for driving support based on the information on the radar target or the image target. Various controls may be performed. Further, the driving assistance for the identified target may not be performed.
  • FIG. 2 shows a case where an image target and a radar target are correctly combined
  • FIG. 3 shows a case where a misconnection has occurred.
  • P1 represents a radar target detection point
  • ⁇ represents an image target angle
  • W ⁇ represents an image detection width of the preceding vehicle 51 in the x-axis direction.
  • the image target angle ⁇ is an angle formed by a line segment connecting the center position Q1 in the vehicle width direction at the rear end portion of the preceding vehicle 51 and the reference point P0 and the y axis.
  • the image detection width W ⁇ corresponds to the azimuth width of the vehicle width of the preceding vehicle 51, and is represented by an angle in the circumferential direction around the reference point P0 from the left end position to the right end position of the preceding vehicle 51.
  • the vehicle width of the preceding vehicle 51 is described below using an image target angle ⁇ and an image detection width W ⁇ that are detection results of the imaging device 32 and a vertical distance d to the preceding vehicle 51 that is a detection result of the radar device 31. It is represented by Formula (1).
  • the longitudinal distance d is a component in the vehicle length direction at a distance connecting the host vehicle 50 and the preceding vehicle 51.
  • FIG. 3 shows a state in which the host vehicle 50 is closer to the preceding vehicle 51 and another vehicle 52 than in FIG. 3A.
  • the positional relationship between the three of the host vehicle 50, the preceding vehicle 51, and another vehicle 52 changes, and thereby the FSN vehicle width Wr calculated by the above equation (1) changes with time. Specifically, as shown in FIG. 3, the FSN vehicle width Wr becomes shorter as the host vehicle 50 approaches the preceding vehicle 51 and another vehicle 52.
  • the object recognition apparatus 20 when the object recognition apparatus 20 detects an object with the radar apparatus 31 and the imaging apparatus 32, the object recognition apparatus 20 combines the radar target information and the image target information to thereby detect the radar. Combined target information is generated as a parameter used for the same object determination of the target and the image target. Then, based on the time-dependent change of the generated combined target information, it is determined whether the radar target and the image target represent the same object.
  • the object recognition device 20 uses the vertical distance d, which is distance information to the object, as radar target information, and the image object, which is azimuth angle information of the object with respect to the host vehicle 50, as image target information.
  • the FSN vehicle width Wr is obtained as the combined target information from the vertical distance d, the image target angle ⁇ , and the image detection width W ⁇ by the above equation (1). Then, the object recognition device 20 performs the same object determination by monitoring the FSN vehicle width Wr.
  • step S101 image target information is acquired from the image target detection unit 22, and in step S102, radar target information is acquired from the radar target detection unit 21.
  • step S103 a combination of an image target and a radar target as a combination candidate is extracted from the image target included in the image target information and the radar target included in the radar target information.
  • extraction is performed based on the positional relationship between the image target and the radar target. Specifically, a combination in which an overlapping portion exists between the radar search region set by the radar target detection unit 21 and the image search region set by the image target detection unit 22 is extracted.
  • step S104 the process proceeds to step S104 on the condition that the combination candidate is extracted, and the instantaneous value Wr1 of the FSN vehicle width Wr is calculated by the above equation (1) using the information of the image target and the radar target of the combination candidate.
  • step S105 the FSN vehicle width Wr is filtered to calculate a filter value Wr2.
  • This filtering process is a smoothing process using the current instantaneous value Wr1 and the instantaneous value of the FSN vehicle width Wr up to the previous time.
  • FIG. 5 shows the relationship between the distance from the host vehicle 50 to the preceding vehicle 51, the FSN vehicle width Wr, and the true value of the vehicle width of the preceding vehicle 51.
  • the FSN vehicle width Wr changes according to the distance from the host vehicle 50 to the preceding vehicle 51, and the FSN vehicle width Wr becomes smaller than the actual vehicle width (true value) as the distance to the preceding vehicle 51 becomes shorter.
  • the filter value Wr2 has a smaller variation than the instantaneous value Wr1 due to a time delay.
  • step S106 it is determined whether or not the difference ⁇ Wr is greater than or equal to the determination value Tw in step S106 of FIG. If ⁇ Wr ⁇ Tw, the counter Cw for determination of coupling is decremented in step S107, and if ⁇ Wr ⁇ Tw, the counter Cw is incremented in step S108.
  • the counter Cw is set for each combination of combination candidates, and is decremented and incremented for each combination candidate.
  • step S109 If it is determined in step S109 that the counter Cw is equal to or greater than the threshold value Tc, the process proceeds to step S110, where it is determined that the image target and radar target of the combination candidate represent the same object, and the image target is detected. Combining information with radar target information. On the other hand, if the counter Cw is less than the threshold value Tc, the process is terminated without permitting the connection. While the combined candidate image target and radar target are detected, the corresponding counter Cw is decremented and incremented, and at least one of the combined candidate image target and radar target is not detected. Thus, the corresponding counter Cw is discarded.
  • the combined target information changes over time. Differences appear. Focusing on this point, the same target determination is made as to whether or not the radar target and the image target represent the same object based on the temporal change of the combined target information. According to such a configuration, it is possible to clearly distinguish whether the object detected by the radar device 31 and the object detected by the imaging device 32 are the same object.
  • the same object determination is performed using information obtained by the combination of the radar device 31 and the imaging device 32, the influence of a decrease in the accuracy of image recognition can be compensated by the detection performance of the radar device 31. As a result, it is possible to perform the same object determination with high accuracy while suppressing the influence of a decrease in accuracy of image recognition as much as possible.
  • the radar apparatus 31 has a high distance measurement accuracy, whereas the image recognition by the image pickup apparatus 32 has a characteristic that the distance measurement performance is inferior. Particularly in the distance, a decrease in the accuracy of image recognition tends to appear due to a decrease in the number of pixels.
  • the detection accuracy of the imaging device 32 in the vehicle width direction is sufficiently high. Focusing on this point, the vertical distance d, which is the distance information to the object, is used as the radar target information, and the image target angle ⁇ , which is the azimuth information of the object with respect to the host vehicle 50, and the image detection are used as the image target information.
  • the width W ⁇ is used, and the combined target information is generated using the vertical distance d, the image target angle ⁇ , and the image detection width W ⁇ .
  • the physical value of the preceding vehicle 51 is determined only by the positional relationship between the host vehicle 50 and the preceding vehicle 51, the physical value that should be unchanged, such as the vehicle width, does not change over time.
  • the physical value, which should be unchanged changes due to the change in the positional relationship between the three of the own vehicle 50, the preceding vehicle 51, and another vehicle 52. Focusing on this point, the same object determination can be performed with high accuracy by using the vehicle width, which is an essentially unchanged physical value, as the combined target information, and tracking the temporal change of the FSN vehicle width Wr.
  • the difference ⁇ Wr between the instantaneous value Wr1 and the filter value Wr2 is used as an index representing the temporal change of the combined target information, and the image target and the radar target represent the same object based on the difference ⁇ Wr.
  • the index used for the same object determination is not limited to this. For example, when the amount of decrease in the instantaneous value Wr1 from the start of tracking becomes equal to or greater than a predetermined value, it may be determined that a miscoupling has occurred.
  • the instantaneous value of the combined target information generated by combining the radar target information and the image target information increases. Cheap.
  • the same object determination may be performed based on the variation rate of the combined target information using the variation rate of the combined target information as an index representing the temporal change of the combined target information. Specifically, for example, when a difference between the current value of the instantaneous value Wr1 or the filter value Wr2 of the fusion vehicle width and the previous value (current value ⁇ previous value) is calculated, and the calculated difference becomes equal to or greater than the determination value It is determined that a misconnection has occurred.
  • FIG. 6 is a diagram illustrating an embodiment in which the same object determination is performed based on the temporal change of the lateral position of the object.
  • P2 is the lateral position of the preceding vehicle 51 (hereinafter referred to as FSN lateral position) obtained using the vertical distance d detected by the radar device 31 and the image target angle ⁇ detected by the imaging device 32.
  • FSN lateral position the lateral position of the preceding vehicle 51
  • the center position Q ⁇ b> 1 at the rear end of the vehicle is the lateral position of the preceding vehicle 51.
  • the image target angle ⁇ is an angle formed by a line segment P0-Q1 connecting the reference point P0 and the center position Q1 and the vehicle length direction (y-axis) of the host vehicle 50.
  • FIG. 6B shows a state in which the host vehicle 50 is closer to the preceding vehicle 51 and another vehicle 52 than in FIG.
  • the FSN lateral position P2 (instantaneous value) is obtained from the vertical distance d of the radar target and the image target angle ⁇ of the image target, and the current value changes more than a predetermined value from the previous value to the reference point P0 side.
  • the counter Cw for determining the connection is decremented, and the counter Cw is incremented if it does not change over a predetermined value. Then, on the condition that the counter Cw is equal to or greater than the threshold value, the combination target image target and the radar target are determined to represent the same object, and the image target information and the radar target information are combined. To do.
  • the difference ⁇ Wr increases as the distance between the host vehicle 50 and the object approaches (see FIG. 5). Therefore, the determination value Tw used for comparison with the difference ⁇ Wr may be a variable value. For example, the determination value Tw may be set larger as the distance between the host vehicle 50 and the object gets closer.
  • each said component is conceptual and is not limited to the said embodiment.
  • the functions of one component may be realized by being distributed to a plurality of components, or the functions of a plurality of components may be realized by one component.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

物体認識装置２０は、レーダ装置３１と撮像装置３２とを用いて、自車両の周囲に存在する物体を認識する。物体認識装置２０は、前記レーダ装置及び前記撮像装置で物体が検知されている場合に、前記レーダ装置で検知した物体の情報であるレーダ物標情報と、前記撮像装置で検知した物体の情報である画像物標情報とを結合して結合物標情報を生成する情報結合部と、前記結合物標情報の経時変化に基づいて、前記撮像装置で検知した物体と前記レーダ装置で検知した物体とが同一物体であることを判定する同一物判定部と、を備える。

Description

物体認識装置及び物体認識方法 関連出願の相互参照
　本出願は、２０１６年３月３１日に出願された日本出願番号２０１６－０７２８０４号に基づくもので、ここにその記載内容を援用する。
　本開示は、物体認識装置及び物体認識方法に関し、詳しくは、物体検知センサとしてレーダ装置及び撮像装置が搭載された車両に適用される物体認識装置及び物体認識方法に関する。
　従来、ミリ波レーダやレーザレーダ等のレーダ装置により検知した物体と、画像カメラ等の撮像装置により検知した物体とが同一物体であるか否かの判定を行うことにより、車両の周囲に存在する物体の認識精度を向上させる技術が種々提案されている（例えば、特許文献１参照）。特許文献１には、物体の所定時間あたりの移動量をレーダ測距及び画像処理でそれぞれ算出し、２つの移動量が整合しない場合には、検知した物体を障害物と判断しないことが開示されている。
特開２００３－２５２１４７号公報
　レーダ装置と撮像装置では測距精度が異なり、レーダ装置は測距精度の点で優れているのに対し、撮像装置による画像認識では測距性能が劣るといった特性がある。特に遠方については、画素数の減少によって画像認識の精度の低下が現れやすい。そのため、上記特許文献１のように、レーダ装置により検知した物体と、撮像装置により検知した物体とを別々に認識し、それら認識した物標の挙動を対比することによって同一物判定を行う場合、遠方の物標について、画像認識の精度の低下に起因して判定が困難になることが懸念される。
　本開示は上記課題に鑑みなされたものであり、画像認識の精度低下の影響をできるだけ抑制しつつ、レーダ装置で検知した物体と撮像装置で検知した物体との同一物判定を精度良く実施することができる物体認識装置及び物体認識方法を提供することを一つの目的とする。
　本開示は、上記課題を解決するために、以下の手段を採用した。
　本開示の第一の態様において、レーダ装置と撮像装置とを用いて自車両の周囲に存在する物体を認識する物体認識装置であって、前記レーダ装置及び前記撮像装置で前記物体が検知されている場合に、前記レーダ装置で検知した物体の情報であるレーダ物標情報と、前記撮像装置で検知した物体の情報である画像物標情報とを結合して、前記物体の情報として結合物標情報を生成する情報結合部と、前記結合物標情報の経時変化に基づいて、前記レーダ装置で検知した物体と前記撮像装置で検知した物体とが同一物体であることを判定する同一物判定部と、を備える。
　上記構成では、レーダ装置で検知した物体に関する情報と、撮像装置で検知した物体に関する情報とを結合して得られる結合物標情報の経時変化に基づいて、レーダ装置で検知した物体と撮像装置で検知した物体とが同一物体であるか否かの同一物判定を実施する。正しい結合によって結合物標情報を生成した場合と、誤結合によって結合物標情報を生成した場合とでは、物標の位置関係の変動によって結合物標情報の経時変化に違いが現れる。この点に着目し、上記構成とすることにより、レーダ装置で検知した物体と、撮像装置で検知した物体とが同一物体であるかそうでないかを区別することができる。また、レーダ装置と撮像装置との組み合わせによって得られる情報を用いることから、画像認識の精度低下の影響をレーダ装置の検知性能で補うことができる。これにより、画像認識の精度低下の影響をできるだけ抑制しつつ、同一物判定を精度良く実施することができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、運転支援システムの概略構成を示すブロック図であり、 図２は、正しい結合を行った場合のＦＳＮ車幅を表す図であり、 図３は、誤結合が発生している場合のＦＳＮ車幅の経時変化を表す図であり、 図４は、フィルタ演算処理の処理手順を示すフローチャートであり、 図５は、先行車両までの距離とＦＳＮ車幅と車幅真値との関係を示す図であり、 図６は、他の実施形態における結合物標情報の経時変化を表す図である。
　以下、実施形態を図面に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
　図１に示す本実施形態の運転支援システム１０は、車両に搭載され、自車両の周囲に存在する物体を認識するとともに、その物体の認識結果に基づいて各種の運転支援を実行する。これにより、例えば自車両と同一車線上を走行する車両に追従して走行するオートクルーズコントロールシステム（ＡＣＣ）や、物体との衝突を回避又は衝突被害を軽減するための各種制御を行うプリクラッシュセーフティシステム（ＰＣＳ）等として機能する。運転支援システム１０は、図１に示すように、物体認識装置２０と各種センサと運転支援装置４０とを備えている。
　物体認識装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を備えたコンピュータであり、ＣＰＵが、ＲＯＭにインストールされているプログラムを実行することで、自車両の周囲に存在する物体を認識するための各機能を実現する。物体認識装置２０は、物体検知センサであるレーダ装置３１及び撮像装置３２にそれぞれ接続されており、これらセンサから物体の検知結果を入力する。
　レーダ装置３１は、送信波として電磁波を送信し、その反射波を受信することで物体を検知する探知装置であり、本実施形態では、ミリ波帯の高周波信号を送信波とする公知のミリ波レーダで構成されている。レーダ装置３１は、自車両の前端部に取り付けられており、光軸を中心に車両前方に向かって所定のレーダ角度の範囲に亘って広がる領域をレーダ信号により走査する。また、車両前方に向けて電磁波を送信してから反射波を受信するまでの時間に基づき測距データを作成し、その作成した測距データを物体認識装置２０に逐次出力する。測距データには、物体が存在する方位、物体までの距離及び物体の相対速度に関する情報が含まれている。
　撮像装置３２は車載カメラであり、例えばＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等の単眼カメラで構成されている。撮像装置３２は、車両の車幅方向中央の所定高さに取り付けられており、車両前方へ向けて所定角度範囲で広がる領域を俯瞰視点から撮影する。また、撮像装置３２は、その撮影した画像データを物体認識装置２０に逐次出力する。
　物体認識装置２０は、レーダ装置３１の測距データ及び撮像装置３２の画像データを逐次入力し、その入力したデータを用いて物体を認識する。物体認識装置２０は、レーダ物標検知部２１と、画像物標検知部２２と、フュージョン演算部２３とを備えている。
　レーダ物標検知部２１は、測距データに基づき検知された物体をレーダ物標として識別し、識別したレーダ物標の位置情報をｘｙ平面に当てはめることにより、自車両に対するレーダ物標の相対位置を特定する。なお、本実施形態では、自車両の車幅方向をｘ軸とし、車長方向をｙ軸としている。また、レーダ物標の検知点を含む領域に、レーダ物標の位置を表す領域としてレーダ探索領域を設定する。レーダ探索領域は、レーダ装置３１の検知特性に基づき想定される誤差を持たせた領域として設定される。
　画像物標検知部２２は、画像データを解析することによって検知された物体を画像物標として識別し、識別した画像物標の位置情報をｘｙ平面に当てはめることにより、自車両に対する画像物標の相対位置を特定する。また、画像物標検知部２２は、画像物標に対して、予め定められたパターンを用いてパターンマッチングを行い、撮像装置３２が検知した物体の種別、例えば車両、歩行者及び自転車のいずれかであるかを識別する。さらに、画像物標検知部２２は、画像中における画像物標の左右方向の位置に基づいて、自車両に対する物体の方位角情報を生成する。方位角情報としては、自車両の位置を表す基準点Ｐ０と画像物標の検知点とを結ぶ線分と、自車両の車長方向とがなす角度である画像物標角度、及び画像物標の方位幅を含む。画像物標検知部２２は、画像物標角度、基準点Ｐ０からの距離及び画像物標の検知点を用いて、画像物標の位置を表す領域として画像探索領域を設定する。画像探索領域は、撮像装置３２の検知特性に基づき想定される誤差を持たせた領域として設定される。
　フュージョン演算部２３は、レーダ装置３１で検知した物体と、撮像装置３２で検知した物体とが所定の条件に基づき同一物体であると判定される場合に、レーダ物標検知部２１から入力したレーダ物標の情報であるレーダ物標情報と、画像物標検知部２２から入力した画像物標の情報である画像物標情報とを結合（フュージョン）してフュージョン物標を生成する。また、生成したフュージョン物標の情報を運転支援装置４０に出力する。フュージョン物標情報の生成について、例えば、レーダ物標までの距離によってフュージョン物標までの距離を特定するとともに、画像物標の横位置及び方位角によってフュージョン物標の横位置や横幅を特定する。なお、横位置は、基準点Ｐ０に対する車幅方向（ｘ軸）の相対位置である。本実施形態では、フュージョン演算部２３が情報結合部及び同一物判定部として機能する。
　運転支援装置４０は、フュージョン演算部２３で生成したフュージョン物標情報を入力し、入力した情報に基づいて、例えばブレーキ装置やステアリング装置、シートベルト駆動装置、警報装置等を制御することで、運転支援のための各種制御を実行する。なお、レーダ物標及び画像物標の少なくともいずれかが識別されているにも関わらず、フュージョン物標を識別できない場合には、レーダ物標又は画像物標の情報に基づいて運転支援のための各種制御を行ってもよい。また、識別された物標を対象とした運転支援については実施しないものとしてもよい。
　ところで、レーダ物標情報と画像物標情報との結合に際し、実際には別の物体についての情報を同一物体の情報であるとして誤って結合した場合、物体の認識精度が低下してしまう。また、こうした誤結合により得られたフュージョン物標に基づき、先行車両に対する追従走行制御や衝突回避制御等の運転支援を実施した場合、運転支援を適切に実施できないことが懸念される。
　ここで、カメラ物標とレーダ物標との誤結合が発生した場合には、自車両の周囲に存在する物体と自車両との位置関係が変化することによって、レーダ物標情報と画像物標情報とを組み合わせて生成した物理値が、実際には不変であるものについても変動が生じることに着目した。この点について、図２及び図３を用いて説明する。図２は、画像物標とレーダ物標とが正しく結合される場合を示し、図３は、誤結合が発生した場合を示している。
　なお、図２及び図３中、Ｐ１はレーダ物標の検知点を示し、φは画像物標角度を示し、Ｗφは、先行車両５１のｘ軸方向の画像検知幅を示している。画像物標角度φは、先行車両５１の後端部における車幅方向の中央位置Ｑ１と基準点Ｐ０を結ぶ線分と、ｙ軸とがなす角度である。画像検知幅Ｗφは、先行車両５１の車両幅の方位幅に相当し、先行車両５１の左端位置から右端位置までの基準点Ｐ０を中心とした円周方向の角度で表される。
　先行車両５１の車幅は、撮像装置３２の検知結果である画像物標角度φ及び画像検知幅Ｗφと、レーダ装置３１の検知結果である先行車両５１までの縦距離ｄとを用いて、下記式（１）で表される。
　Ｗｒ＝ｄ×（tan（φ＋Ｗφ／２）－tan（φ－Ｗφ／２））　　　…（１）
画像物標とレーダ物標とが同一物体を表している場合には、自車両５０と先行車両５１の２台の位置関係によって先行車両５１の物理値が定められる。そのため、上記式（１）を用いて算出される車幅（以下、ＦＳＮ車幅Ｗｒという。）は経時変化せず、一定値をとる。なお、縦距離ｄは、自車両５０と先行車両５１とを結ぶ距離における車長方向の成分である。
　続いて、画像物標とレーダ物標との誤結合が発生した場合を考える。図３では、自車両５０と先行車両５１との間に別の車両５２が存在しており、レーダ装置３１が別の車両５２を検知している場合を想定している。なお、図３の（ｂ）は、図３の（ａ）よりも、自車両５０が先行車両５１及び別の車両５２に接近した状態を示している。
　誤結合が発生した場合、自車両５０、先行車両５１及び別の車両５２の３台の位置関係が変わり、これにより、上記式（１）によって算出されるＦＳＮ車幅Ｗｒが経時変化する。具体的には、図３に示すように、自車両５０が先行車両５１及び別の車両５２に近付くほど、ＦＳＮ車幅Ｗｒは短くなる。
　この点に着目し、本実施形態では、物体認識装置２０は、レーダ装置３１及び撮像装置３２で物体を検知している場合、レーダ物標情報と画像物標情報とを結合することにより、レーダ物標と画像物標との同一物判定に用いるパラメータとして結合物標情報を生成する。そして、その生成した結合物標情報の経時変化に基づいて、レーダ物標と画像物標とが同一物体を表すものか否かを判定する。特に本実施形態では、物体認識装置２０は、レーダ物標情報として、物体までの距離情報である縦距離ｄを用い、画像物標情報として、自車両５０に対する物体の方位角情報である画像物標角度φ及び画像検知幅Ｗφを用い、縦距離ｄ、画像物標角度φ及び画像検知幅Ｗφから、上記式（１）により結合物標情報としてＦＳＮ車幅Ｗｒを求める。そして、物体認識装置２０は、ＦＳＮ車幅Ｗｒを監視することによって同一物判定を実施している。
　次に、本実施形態のフュージョン演算処理の処理手順について、図４のフローチャートを用いて説明する。なお、図４の処理は、レーダ装置３１及び撮像装置３２の両方で物体が検知されている場合に、物体認識装置２０のフュージョン演算部２３で所定の制御周期毎に実行される。
　図４において、ステップＳ１０１では、画像物標検知部２２から画像物標情報を取得し、ステップＳ１０２では、レーダ物標検知部２１からレーダ物標情報を取得する。続くステップＳ１０３では、画像物標情報に含まれる画像物標、及びレーダ物標情報に含まれるレーダ物標の中から、結合候補となる画像物標とレーダ物標との組み合わせを抽出する。ここでは、画像物標とレーダ物標との位置関係に基づき抽出する。具体的には、レーダ物標検知部２１で設定したレーダ探索領域と、画像物標検知部２２で設定した画像探索領域とに重複部分が存在している組み合わせを抽出する。
　結合候補が抽出されたことを条件にステップＳ１０４へ進み、その結合候補の画像物標及びレーダ物標の情報を用いて、上記式（１）によりＦＳＮ車幅Ｗｒの瞬時値Ｗｒ１を算出する。また、ステップＳ１０５では、ＦＳＮ車幅Ｗｒに対してフィルタ処理を行い、フィルタ値Ｗｒ２を算出する。このフィルタ処理は、今回の瞬時値Ｗｒ１と、前回までのＦＳＮ車幅Ｗｒの瞬時値とを用いた平滑化処理である。
　図５に、自車両５０から先行車両５１までの距離と、ＦＳＮ車幅Ｗｒと、先行車両５１の車幅の真値との関係を示す。ＦＳＮ車幅Ｗｒは、自車両５０から先行車両５１までの距離に応じて変化し、先行車両５１までの距離が短くなるほど、ＦＳＮ車幅Ｗｒは実際の車幅（真値）よりも小さくなる。またフィルタ値Ｗｒ２は、時間遅れが生じることで瞬時値Ｗｒ１よりも変動が小さい。本実施形態では、フィルタ値Ｗｒ２から瞬時値Ｗｒ１を差し引いて差分ΔＷｒ（ΔＷｒ＝Ｗｒ２－Ｗｒ１）を求め、この差分ΔＷｒを結合物標情報の経時変化を表す指標として用いる。そして、差分ΔＷｒが判定値Ｔｗ以上である場合に誤結合の可能性が高いと判定する。
　すなわち、図４のステップＳ１０６で差分ΔＷｒが判定値Ｔｗ以上であるか否かを判定する。ΔＷｒ≧Ｔｗであれば、ステップＳ１０７で結合判定用のカウンタＣｗをデクリメントし、ΔＷｒ＜Ｔｗであれば、ステップＳ１０８でカウンタＣｗをインクリメントする。なお、カウンタＣｗは、結合候補の組み合わせごとに設定され、結合候補ごとにデクリメント及びインクリメントが行われる。
　そして、ステップＳ１０９でカウンタＣｗが閾値Ｔｃ以上であると判定されるとステップＳ１１０へ進み、その結合候補の画像物標とレーダ物標について、同一物体を表しているものと判断し、画像物標情報とレーダ物標情報とを結合する。一方、カウンタＣｗが閾値Ｔｃ未満である場合には結合を許可せずに本処理を終了する。結合候補の画像物標及びレーダ物標が検知されている間は、対応するカウンタＣｗのデクリメント及びインクリメントが行われ、結合候補の画像物標及びレーダ物標のうち少なくとも一方が検知されなくなった時点で、対応するカウンタＣｗは破棄される。
　以上詳述した本実施形態によれば、次の優れた効果が得られる。
　結合候補として抽出したレーダ物標と画像物標とにつき、正しい結合によって結合物標情報を生成した場合と、誤結合によって結合物標情報を生成した場合とでは、結合物標情報の経時変化に違いが現れる。この点に着目し、結合物標情報の経時変化に基づいて、レーダ物標と画像物標とが同一物体を表すものであるか否かの同一物判定を実施する構成とした。こうした構成によれば、レーダ装置３１で検知した物体と、撮像装置３２で検知した物体とが同一物体であるか否かを明確に区別することができる。
　また、レーダ装置３１と撮像装置３２との組み合わせによって得られる情報を用いて同一物判定を実施することから、画像認識の精度低下の影響をレーダ装置３１の検知性能で補うことができる。その結果、画像認識の精度低下の影響をできるだけ抑制しつつ、同一物判定を精度良く実施することができる。
　センサ特性として、レーダ装置３１は測距精度が高いのに対し、撮像装置３２による画像認識では測距性能が劣るといった特性がある。特に遠方については、画素数の減少によって画像認識の精度の低下が現れやすい。その一方で、撮像装置３２の車幅方向の検知精度は充分に高い。この点に着目し、レーダ物標情報として、物体までの距離情報である縦距離ｄを用い、画像物標情報として、自車両５０に対する物体の方位角情報である画像物標角度φ及び画像検知幅Ｗφを用い、縦距離ｄ、画像物標角度φ及び画像検知幅Ｗφを用いて結合物標情報を生成する構成とした。こうした構成とすることで、画像認識では画素数の減少によって画像認識の精度の低下が現れやすい遠方の物標についても、信頼性の高い情報を得ることができる。また、こうした信頼性の高い情報を用いて同一物判定を実施することにより判定精度を高めることができる。
　自車両５０と先行車両５１との二者の位置関係のみで先行車両５１の物理値が定まる状況では、例えば車両幅のように、不変であるはずの物理値は経時的な変化を生じない。これに対し、誤結合が起きている場合には、自車両５０と先行車両５１と別の車両５２との三者の位置関係の変動によって、不変であるはずの物理値に変動が生じる。この点に着目し、結合物標情報として、本来不変な物理値である車両幅を用い、ＦＳＮ車幅Ｗｒの経時変化を追跡することにより、同一物判定を精度良く実施することができる。
　（他の実施形態）
　本開示は上記の実施形態に限定されず、例えば以下のように実施されてもよい。
　・上記実施形態では、結合物標情報の経時変化を表す指標として、瞬時値Ｗｒ１とフィルタ値Ｗｒ２との差分ΔＷｒを用い、差分ΔＷｒに基づいて画像物標とレーダ物標とが同一物体を表しているか否かを判定する構成としたが、同一物判定に用いる指標はこれに限定されない。例えば、トラッキング開始からの瞬時値Ｗｒ１の減少量が所定値以上となった場合に誤結合が発生しているものと判定してもよい。
　・相対速度が異なるレーダ物標と画像物標とを誤結合させた場合、レーダ物標情報と画像物標情報とを結合して生成した結合物標情報につき、その瞬時値の変動が大きくなりやすい。この点に鑑み、結合物標情報の経時変化を表す指標として、結合物標情報の変動割合を用い、結合物標情報の変動割合に基づいて同一物判定を実施してもよい。具体的には、例えば、フュージョン車幅の瞬時値Ｗｒ１又はフィルタ値Ｗｒ２の今回値と前回値との差分（今回値－前回値）を算出し、その算出した差分が判定値以上となった場合に誤結合が発生しているものと判定する。
　・上記実施形態では、結合物標情報として車両幅を用いて同一物判定を実施したが、結合物標情報として、自車両の車幅方向における物体の位置情報である横位置を用いて同一物判定を実施してもよい。図６は、物体の横位置の経時変化に基づき同一物判定を実施する形態を説明する図である。図６中、Ｐ２は、レーダ装置３１で検知した縦距離ｄと、撮像装置３２で検知した画像物標角度φとを用いて求めた先行車両５１の横位置（以下、ＦＳＮ横位置という。）を表す。なお、図６では、車両後端部の中央位置Ｑ１を先行車両５１の横位置としている。画像物標角度φは、基準点Ｐ０と中央位置Ｑ１とを結ぶ線分Ｐ０－Ｑ１と、自車両５０の車長方向（ｙ軸）とがなす角度である。図６の（ｂ）は、図６（ａ）よりも、自車両５０が先行車両５１及び別の車両５２に接近した状態を示している。
　レーダ物標情報と画像物標情報との結合が正しく行われている場合、ＦＳＮ横位置Ｐ２（Ｐ２＝ｄtanφ）は、自車両５０が先行車両５１に近付くにつれて、車両進行方向に沿って真っ直ぐに自車両５０に向かってくる。これに対し、レーダ物標と画像物標との誤結合が生じている場合には、図６に示すように、ＦＳＮ横位置Ｐ２は、真値よりも基準点Ｐ０側となる。また、自車両５０が先行車両５１に近付くにつれて、ＦＳＮ横位置Ｐ２は基準点Ｐ０側に現れ、図６（ｂ）に矢印Ａで示すように、自車両５０に近付いてくる。つまり、ＦＳＮ横位置Ｐ２は、車両進行方向とは異なる方向に推移する。したがって、ＦＳＮ横位置Ｐ２の経時変化によって、レーダ物標と画像物標との同一物判定を精度良く行うことができる。具体的には、レーダ物標の縦距離ｄと画像物標の画像物標角度φとからＦＳＮ横位置Ｐ２（瞬時値）を求め、今回値が前回値よりも基準点Ｐ０側に所定以上変化した場合に、結合判定用のカウンタＣｗをデクリメントし、所定以上変化しなければカウンタＣｗをインクリメントする。そして、カウンタＣｗが閾値以上となったことを条件に、結合候補の画像物標とレーダ物標とは同一物体を表しているものと判断し、画像物標情報とレーダ物標情報とを結合する。
　・差分ΔＷｒは、自車両５０と物体との距離が近付くにつれて大きくなる（図５参照）。したがって、差分ΔＷｒとの比較に用いる判定値Ｔｗを可変値としてもよい。例えば、自車両５０と物体との距離が近付くほど、判定値Ｔｗを大きく設定する構成としてもよい。
　・上記の各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、一つの構成要素が有する機能を複数の構成要素に分散して実現したり、複数の構成要素が有する機能を一つの構成要素で実現したりしてもよい。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (5)

  1. 　レーダ装置（３１）と撮像装置（３２）とを用いて自車両（５０）の周囲に存在する物体（５１）を認識する物体認識装置（２０）であって、
    　前記レーダ装置及び前記撮像装置で前記物体が検知されている場合に、前記レーダ装置で検知した物体の情報であるレーダ物標情報と、前記撮像装置で検知した物体の情報である画像物標情報とを結合して、前記物体の情報として結合物標情報を生成する情報結合部と、
    　前記結合物標情報の経時変化に基づいて、前記レーダ装置で検知した物体と前記撮像装置で検知した物体とが同一物体であることを判定する同一物判定部と、
    を備える物体認識装置。
  2. 　前記情報結合部は、前記レーダ物標情報として前記物体までの距離情報を用い、前記画像物標情報として前記自車両に対する前記物体の方位角情報を用い、前記距離情報と前記方位角情報とを結合して前記結合物標情報を生成する、請求項１に記載の物体認識装置。
  3. 　前記物体は車両であり、
    　前記結合物標情報は車両幅である、請求項１又は２に記載の物体認識装置。
  4. 　前記結合物標情報は、前記自車両の車幅方向における前記物体の位置情報である、請求項１又は２に記載の物体認識装置。
  5. 　レーダ装置（３１）と撮像装置（３２）とを用いて自車両（５０）の周囲に存在する物体（５１）を認識する物体認識方法であって、
    　前記レーダ装置及び前記撮像装置で前記物体を検知している場合に、前記レーダ装置で検知した物体の情報であるレーダ物標情報と、前記撮像装置で検知した物体の情報である画像物標情報とを結合して、前記物体の情報として結合物標情報を生成するステップと、
    　前記結合物標情報の経時変化に基づいて、前記レーダ装置で検知した物体と前記撮像装置で検知した物体とが同一物体であることを判定するステップと、
    を含む物体認識方法。
PCT/JP2017/013118 2016-03-31 2017-03-29 物体認識装置及び物体認識方法 WO2017170799A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/089,141 US11346922B2 (en) 2016-03-31 2017-03-29 Object recognition apparatus and object recognition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016072804A JP6600271B2 (ja) 2016-03-31 2016-03-31 物体認識装置及び物体認識方法
JP2016-072804 2016-03-31

Publications (1)

Publication Number Publication Date
WO2017170799A1 true WO2017170799A1 (ja) 2017-10-05

Family

ID=59964736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013118 WO2017170799A1 (ja) 2016-03-31 2017-03-29 物体認識装置及び物体認識方法

Country Status (3)

Country Link
US (1) US11346922B2 (ja)
JP (1) JP6600271B2 (ja)
WO (1) WO2017170799A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187093A1 (ja) * 2018-03-30 2019-10-03 三菱電機株式会社 物体同定装置
CN110940959A (zh) * 2019-12-13 2020-03-31 中国电子科技集团公司第五十四研究所 一种用于低分辨雷达地面目标的人车分类识别方法
JP2021500670A (ja) * 2017-10-23 2021-01-07 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ ディープニューラルネットワークを作成するための方法、装置及びコンピュータプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7133752B2 (ja) * 2018-03-28 2022-09-09 株式会社アドヴィックス 走行制御装置
US11073610B2 (en) * 2019-01-31 2021-07-27 International Business Machines Corporation Portable imager
JP7474689B2 (ja) 2020-12-04 2024-04-25 日産自動車株式会社 物体検出方法及び物体検出装置
WO2023189076A1 (ja) * 2022-03-28 2023-10-05 ｉ－ＰＲＯ株式会社 監視システム及び監視方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992021116A1 (en) * 1991-05-23 1992-11-26 Imatronic Limited Vehicle collision avoidance
JP2004153627A (ja) * 2002-10-31 2004-05-27 Nissan Motor Co Ltd 車両用外界認識装置
JP2006048435A (ja) * 2004-08-05 2006-02-16 Nissan Motor Co Ltd 車両用画像処理装置
JP2007232411A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物体検出装置
JP2010501952A (ja) * 2007-04-19 2010-01-21 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 運転者支援システム、および対象物の妥当性を確定する方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005147A (en) * 1988-12-30 1991-04-02 The United States Of America As Represented By The Administrator, The National Aeronautics And Space Administration Method and apparatus for sensor fusion
IL111435A (en) * 1994-10-28 1997-09-30 Israel State Surveillance system including a radar device and electro-optical sensor stations
US5943476A (en) * 1996-06-13 1999-08-24 August Design, Inc. Method and apparatus for remotely sensing orientation and position of objects
JP4019736B2 (ja) 2002-02-26 2007-12-12 トヨタ自動車株式会社 車両用障害物検出装置
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
JP4193765B2 (ja) * 2004-01-28 2008-12-10 トヨタ自動車株式会社 車両用走行支援装置
JP2007279892A (ja) * 2006-04-04 2007-10-25 Honda Motor Co Ltd 衝突予知システムの制御装置、衝突予知方法および乗員保護システム
JP5012270B2 (ja) * 2007-07-10 2012-08-29 トヨタ自動車株式会社 物体検出装置
JP5120139B2 (ja) * 2008-08-08 2013-01-16 トヨタ自動車株式会社 物体検出装置
US8818703B2 (en) * 2009-01-29 2014-08-26 Toyota Jidosha Kabushiki Kaisha Object recognition device and object recognition method
DE102012203909A1 (de) * 2012-03-13 2013-09-19 Robert Bosch Gmbh Filterverfahren und Filtervorrichtung für Sensordaten
US8917321B1 (en) * 2012-07-10 2014-12-23 Honda Motor Co., Ltd. Failure-determination apparatus
US9152526B2 (en) * 2012-11-16 2015-10-06 GM Global Technology Operations LLC Method and apparatus for state of health estimation of object sensing fusion system
JP6190758B2 (ja) * 2014-05-21 2017-08-30 本田技研工業株式会社 物体認識装置及び車両
JP6361366B2 (ja) * 2014-08-18 2018-07-25 株式会社デンソー 物体認識装置
JP6303956B2 (ja) * 2014-09-24 2018-04-04 株式会社デンソー 軸ずれ量推定装置
JP6084192B2 (ja) * 2014-10-15 2017-02-22 本田技研工業株式会社 物体認識装置
US10890648B2 (en) * 2014-10-24 2021-01-12 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
US20170242117A1 (en) * 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
US10989791B2 (en) * 2016-12-05 2021-04-27 Trackman A/S Device, system, and method for tracking an object using radar data and imager data
US10037472B1 (en) * 2017-03-21 2018-07-31 Delphi Technologies, Inc. Automated vehicle object detection system with camera image and radar data fusion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992021116A1 (en) * 1991-05-23 1992-11-26 Imatronic Limited Vehicle collision avoidance
JP2004153627A (ja) * 2002-10-31 2004-05-27 Nissan Motor Co Ltd 車両用外界認識装置
JP2006048435A (ja) * 2004-08-05 2006-02-16 Nissan Motor Co Ltd 車両用画像処理装置
JP2007232411A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物体検出装置
JP2010501952A (ja) * 2007-04-19 2010-01-21 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 運転者支援システム、および対象物の妥当性を確定する方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021500670A (ja) * 2017-10-23 2021-01-07 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ ディープニューラルネットワークを作成するための方法、装置及びコンピュータプログラム
JP7044873B2 (ja) 2017-10-23 2022-03-30 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング ディープニューラルネットワークを作成するための方法、装置及びコンピュータプログラム
US11531888B2 (en) 2017-10-23 2022-12-20 Robert Bosch Gmbh Method, device and computer program for creating a deep neural network
WO2019187093A1 (ja) * 2018-03-30 2019-10-03 三菱電機株式会社 物体同定装置
JPWO2019187093A1 (ja) * 2018-03-30 2020-07-27 三菱電機株式会社 物体同定装置
CN110940959A (zh) * 2019-12-13 2020-03-31 中国电子科技集团公司第五十四研究所 一种用于低分辨雷达地面目标的人车分类识别方法
CN110940959B (zh) * 2019-12-13 2022-05-24 中国电子科技集团公司第五十四研究所 一种用于低分辨雷达地面目标的人车分类识别方法

Also Published As

Publication number Publication date
JP6600271B2 (ja) 2019-10-30
JP2017181450A (ja) 2017-10-05
US20200300969A1 (en) 2020-09-24
US11346922B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
JP6600271B2 (ja) 物体認識装置及び物体認識方法
WO2017170798A1 (ja) 物体認識装置及び物体認識方法
JP5862785B2 (ja) 衝突判定装置及び衝突判定方法
CN110232836B (zh) 物体识别装置以及车辆行驶控制系统
JP6536521B2 (ja) 物体検知装置及び物体検知方法
JP7018277B2 (ja) 物体検出装置、物体検出方法及び車両制御システム
US9470790B2 (en) Collision determination device and collision determination method
JP6361366B2 (ja) 物体認識装置
JP6561704B2 (ja) 運転支援装置、及び運転支援方法
JP6477453B2 (ja) 物体検知装置、物体検知方法
JP6011625B2 (ja) 速度算出装置及び速度算出方法並びに衝突判定装置
JP5979232B2 (ja) 衝突判定装置及び衝突判定方法
JP6669090B2 (ja) 車両制御装置
JP6380232B2 (ja) 物体検出装置、及び物体検出方法
JP2006011570A (ja) カメラキャリブレーション方法及びカメラキャリブレーション装置
JP6429360B2 (ja) 物体検出装置
WO2017183668A1 (ja) 車両制御装置、車両制御方法
WO2011036807A1 (ja) 物体検出装置及び物体検出方法
EP3139346B1 (en) Vision system for a motor vehicle and method of controlling a vision system
WO2017163736A1 (ja) 移動軌跡検出装置、移動物体検出装置、移動軌跡検出方法
JP5717416B2 (ja) 運転支援制御装置
US20220366702A1 (en) Object detection device
WO2021070880A1 (ja) 制御装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17775333

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17775333

Country of ref document: EP

Kind code of ref document: A1