Nothing Special   »   [go: up one dir, main page]

WO2024201901A1 - 運転支援装置、運転支援方法、およびプログラム - Google Patents

運転支援装置、運転支援方法、およびプログラム Download PDF

Info

Publication number
WO2024201901A1
WO2024201901A1 PCT/JP2023/013213 JP2023013213W WO2024201901A1 WO 2024201901 A1 WO2024201901 A1 WO 2024201901A1 JP 2023013213 W JP2023013213 W JP 2023013213W WO 2024201901 A1 WO2024201901 A1 WO 2024201901A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
traffic
traffic participants
group
Prior art date
Application number
PCT/JP2023/013213
Other languages
English (en)
French (fr)
Inventor
美砂子 吉村
康輔 中西
重信 三枝
貴晃 別府
コウケツ オウ
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to PCT/JP2023/013213 priority Critical patent/WO2024201901A1/ja
Publication of WO2024201901A1 publication Critical patent/WO2024201901A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a driving assistance device, a driving assistance method, and a program.
  • driving assistance technology must individually determine whether the driver has seen each of them, which can lead to a processing load and time.
  • one of the objectives of this application is to provide a driving assistance device, a driving assistance method, and a program that can more efficiently determine whether a driver has visually confirmed surrounding traffic participants. This will ultimately contribute to the development of a sustainable transportation system.
  • a driving assistance device includes a recognition unit that recognizes the surrounding situation of a vehicle, an estimation unit that estimates the line of sight of a driver of the vehicle, and a judgment unit that judges whether the driver has visually recognized traffic participants around the vehicle recognized by the recognition unit based on the line of sight, wherein the recognition unit recognizes the traffic participants present within a predetermined range as a single group when a predetermined number or more of traffic participants with a specific attribute are present within a predetermined range, and the judgment unit judges that the driver has visually recognized traffic participants included in the group when at least a portion of the traffic participants included in the group are present in the driver's line of sight.
  • the determination unit determines whether or not the driver has visually recognized the traffic participant based on the driver's line of sight.
  • the predetermined range is adjusted according to the distance from the vehicle to the traffic participant with the specific attribute.
  • a prediction unit is further provided that predicts future behavior of traffic participants recognized by the recognition unit, and when there are traffic participants recognized as a group by the recognition unit, the prediction unit predicts future behavior for each of the groups.
  • a notification unit is further provided that notifies the driver when there is a traffic participant that the driver does not see.
  • a driving assistance method is a driving assistance method in which a computer recognizes the surroundings of a vehicle, estimates the line of sight of the driver of the vehicle, and determines whether the driver has visually recognized traffic participants around the recognized vehicle based on the line of sight. If a predetermined number or more of the traffic participants with a specific attribute are present within a predetermined range, the traffic participants present within the predetermined range are recognized as a group, and if at least some of the traffic participants included in the group are present in the line of sight of the driver, the computer determines that the driver has visually recognized the traffic participants included in the group.
  • a program causes a computer to recognize the surroundings of a vehicle, estimate the line of sight of the driver of the vehicle, and determine whether the driver has visually recognized traffic participants around the recognized vehicle based on the line of sight. If a predetermined number or more of traffic participants with a particular attribute are present within a predetermined range, the traffic participants present within the predetermined range are recognized as a group, and if at least some of the traffic participants included in the group are present in the driver's line of sight, the program determines that the driver has visually recognized the traffic participants included in the group.
  • FIG. 1 is a configuration diagram of a vehicle system 1 that utilizes a driving assistance device according to a first embodiment.
  • 10A and 10B are diagrams for explaining the content of visual recognition determination in the first embodiment;
  • FIG. 13 is a diagram for explaining adjustment of a predetermined range.
  • 4 is a flowchart illustrating an example of a process performed by the driving assistance device 100 of the first embodiment.
  • FIG. 11 is a diagram for explaining the content of visual recognition determination in the second embodiment.
  • 13A to 13C are diagrams for explaining adjustment of a fourth predetermined distance with respect to a line of sight direction SD2.
  • FIG. 11 is a diagram for explaining estimation of a risk value.
  • 10 is a flowchart illustrating an example of a process performed by a driving assistance device 100 according to a second embodiment.
  • First Embodiment [Overall configuration] 1 is a configuration diagram of a vehicle system 1 that utilizes a driving assistance device according to a first embodiment.
  • vehicle M The vehicle (hereinafter referred to as vehicle M) on which the vehicle system 1 is mounted is, for example, a two-wheeled, three-wheeled, or four-wheeled vehicle, and its drive source is an internal combustion engine such as a diesel engine or a gasoline engine, an electric motor, or a combination of these.
  • the electric motor operates using electric power generated by a generator connected to the internal combustion engine, or discharged electric power from a secondary battery or a fuel cell.
  • the vehicle system 1 includes, for example, a camera 10, a radar device 12, a LIDAR (Light Detection And Ranging) 14, a sonar 15, an object recognition device 16, a communication device 20, an HMI (Human Machine Interface) 30, a vehicle sensor 40, a driver monitor camera 50, a driving operator 80, a driving assistance device 100, a driving force output device 200, a brake device 210, and a steering device 220.
  • These devices and equipment are connected to each other by multiple communication lines such as a CAN (Controller Area Network) communication line, a serial communication line, a wireless communication network, etc.
  • CAN Controller Area Network
  • serial communication line a wireless communication network
  • the camera 10, the radar device 12, the LIDAR 14, and the sonar 15 are examples of a “detection device DD".
  • the detection device DD may include an object recognition device 16.
  • the HMI 30 and the HMI control unit 160 described below are examples of a "notification unit.”
  • the camera 10 is a digital camera that uses a solid-state imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the camera 10 is attached to any location of the vehicle M in which the vehicle system 1 is mounted.
  • the camera 10 is attached to the top of the front windshield or the back of the rearview mirror.
  • the camera 10 is attached to the top of the rear windshield.
  • the camera 10 is attached to the right or left side of the vehicle body or a door mirror.
  • the camera 10 for example, periodically and repeatedly captures images of the surroundings of the vehicle M.
  • the camera 10 may be a stereo camera.
  • the radar device 12 emits radio waves such as millimeter waves around the vehicle M and detects radio waves reflected by objects (reflected waves) to detect at least the position (distance and direction) of the object.
  • the radar device 12 is attached to any location on the vehicle M.
  • the radar device 12 may detect the position and speed of an object using the FM-CW (Frequency Modulated Continuous Wave) method.
  • FM-CW Frequency Modulated Continuous Wave
  • the LIDAR 14 irradiates light (or electromagnetic waves with a wavelength close to that of light) around the vehicle M and measures the scattered light.
  • the LIDAR 14 detects the distance to the target based on the time between emitting and receiving the light.
  • the irradiated light is, for example, pulsed laser light.
  • the LIDAR 14 is attached to any location on the vehicle M.
  • the LIDAR 14 detects the distance from the vehicle M to the target by scanning horizontally and vertically relative to the traveling direction of the vehicle M.
  • Sonar 15 emits ultrasonic waves around vehicle M and detects the distance or position of an object by detecting reflection or scattering by an object within a specified distance from vehicle M. Sonar 15 is installed, for example, at the front and rear ends of vehicle M, on the bumper, etc.
  • the object recognition device 16 performs sensor fusion processing on the detection results from some or all of the detection devices DD (camera 10, radar device 12, LIDAR 14, and sonar 15) to recognize the position, type, speed, etc. of the object.
  • the object recognition device 16 outputs the recognition results to the driving assistance device 100.
  • the object recognition device 16 may output the detection results of the detection devices DD directly to the driving assistance device 100. Note that the function of the object recognition device 16 may be incorporated into the driving assistance device 100, and the object recognition device 16 may be omitted from the vehicle system 1.
  • the communication device 20 communicates with, for example, other vehicles in the vicinity of the vehicle M, the terminal device of the driver using the vehicle M, or various server devices, using networks such as a cellular network, a Wi-Fi network, Bluetooth (registered trademark), DSRC (Dedicated Short Range Communication), LAN (Local Area Network), WAN (Wide Area Network), or the Internet.
  • networks such as a cellular network, a Wi-Fi network, Bluetooth (registered trademark), DSRC (Dedicated Short Range Communication), LAN (Local Area Network), WAN (Wide Area Network), or the Internet.
  • the HMI 30 presents various information to vehicle occupants and accepts input operations by the occupants.
  • the HMI 30 includes, for example, a display unit 32 and a speaker 34.
  • the display unit 32 may be, for example, a meter display unit in front of the driver's seat, a display device provided in the center of the instrument panel, or a head-up display (HUD).
  • the speaker 34 may be, for example, an audio output device provided in the passenger compartment of the vehicle M.
  • the HMI 30 may include a buzzer, a touch panel, a switch, keys, a microphone, etc.
  • the vehicle sensor 40 includes a vehicle speed sensor that detects the speed of the vehicle M, an acceleration sensor that detects acceleration, a yaw rate sensor that detects the yaw rate (e.g., the rotational angular velocity around a vertical axis passing through the center of gravity of the vehicle M), and a direction sensor that detects the orientation of the vehicle M.
  • the vehicle sensor 40 may also be provided with a position sensor that detects the position of the vehicle M.
  • the position sensor is, for example, a sensor that acquires position information (longitude and latitude information) from a GPS (Global Positioning System) device.
  • the position sensor may also be a sensor that acquires position information using a GNSS (Global Navigation Satellite System) receiver.
  • GNSS Global Navigation Satellite System
  • the driver monitor camera 50 is, for example, a digital camera that uses a solid-state imaging element such as a CCD or CMOS.
  • the driver monitor camera 50 is attached to any location on the vehicle M in a position and orientation that allows it to capture an image of the head of the driver seated in the driver's seat of the vehicle M from the front (in an orientation that captures the face).
  • the driver monitor camera 50 is attached to the instrument panel, the top of the front windshield, the rearview mirror, the steering wheel, etc. of the vehicle M.
  • the driver monitor camera 50 periodically and repeatedly captures images including the driver.
  • the driving operators 80 include, for example, a steering wheel, an accelerator pedal, a brake pedal, a shift lever, and other operators.
  • the driving operators 80 are fitted with sensors that detect the amount of operation or the presence or absence of operation, and the detection results are output to the driving assistance device 100, or to some or all of the driving force output device 200, the brake device 210, and the steering device 220.
  • the steering wheel is an example of an "operator that accepts steering operation by the driver.”
  • the operator does not necessarily have to be annular, and may be in the form of an irregular steering wheel, a joystick, a button, etc.
  • the driving operators 80 output to the driving assistance device 100 the steering angle and steering torque amount when the driver of the vehicle M steers the steering wheel in a specified direction, and information indicating that the driver has grasped the steering wheel.
  • the driving assistance device 100 is a device that assists the driver in driving the vehicle M.
  • the driving assistance device 100 includes, for example, a recognition unit 110, an estimation unit 120, a prediction unit 130, a judgment unit 140, a driving control unit 150, an HMI control unit 160, and a memory unit 180.
  • the recognition unit 110, the estimation unit 120, the prediction unit 130, the judgment unit 140, the driving control unit 150, and the HMI control unit 160 are each realized by, for example, a hardware processor such as a CPU (Central Processing Unit) executing a program (software).
  • a hardware processor such as a CPU (Central Processing Unit) executing a program (software).
  • some or all of these components may be realized by hardware (including circuitry) such as an LSI (Large Scale Integration), an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a GPU (Graphics Processing Unit), or may be realized by a combination of software and hardware.
  • the program may be stored in advance in a storage device (storage device with a non-transient storage medium) such as an HDD or flash memory of the driving assistance device 100, or may be stored in a removable storage medium such as a DVD or CD-ROM, and installed in the HDD or flash memory of the driving assistance device 100 by attaching the storage medium (non-transient storage medium) to a drive device.
  • the memory unit 180 may be realized by the various storage devices mentioned above, or an EEPROM (Electrically Erasable Programmable Read Only Memory), a ROM (Read Only Memory), or a RAM (Random Access Memory), etc.
  • the memory unit 180 stores, for example, information, programs, and various other information necessary for executing various controls in the embodiment.
  • the memory unit 180 may also include map information 182.
  • the map information 182 is, for example, information that represents the road shape by links indicating roads in a specified section and nodes connected by the links.
  • the map information 182 may also include POI (Point Of Interest) information depending on the location information, and may also include information on road shapes and road structures, etc.
  • POI Point Of Interest
  • the road shape includes, for example, branches and junctions, tunnels (entrances, exits), curved roads (entrances, exits), curvature, radius of curvature, number of lanes, width, gradient, etc. of roads or road dividing lines (hereinafter referred to as "dividing lines").
  • Information on road structures may include, for example, information on the type, position, orientation with respect to the extension direction of the road, size, shape, color, etc. of the road structure.
  • the dividing line may be one type, and lane marks and curbs belonging to the dividing line, median strips, and walls (including fences, etc.) installed along the extension direction of the road may each be different types.
  • the map information 182 may be updated at any time by the communication device 20 communicating with other devices.
  • the recognition unit 110 recognizes the surrounding situation of the vehicle M based on information input from some or all of the detection devices DD, or information input via the object recognition device 16. For example, the recognition unit 110 recognizes the position, size, shape, speed, acceleration, and other conditions of objects present in the vicinity of the vehicle M (within a first predetermined distance).
  • the position of the object may be recognized as a position in an absolute coordinate system (vehicle coordinate system) with a representative point of the vehicle M (center of gravity, center of drive shaft, etc.) as the origin.
  • the position of the object may be represented by a representative point such as the center of gravity, corner, or tip of the object in the traveling direction, or may be represented by a represented area.
  • the "state" of the object may include the acceleration or jerk of the object, or the "behavioral state” (for example, whether or not the object is changing lanes or is about to change lanes).
  • the recognition unit 110 also recognizes the attributes of an object by matching feature information such as the size, shape, color, and speed of the object with attribute patterns that are previously associated with the feature information.
  • the attribute of an object may be, for example, the type of vehicle, pedestrian, utility pole, etc., or a type for identifying each vehicle as a four-wheeled vehicle, two-wheeled vehicle, bicycle, electric kickboard, etc.
  • the recognition unit 110 recognizes a pedestrian, it may recognize whether the pedestrian is an adult, a child, an elderly person, etc., as separate attributes based on the size (e.g., height), shape, amount of movement, etc.
  • the recognition unit 110 may also recognize objects that are traffic participants based on attributes, etc. Traffic participants are not limited to pedestrians on the road on which the vehicle M is traveling, but may also include other moving objects such as bicycles, motorbikes, and automobiles. In addition, when a predetermined number or more of traffic participants with a specific attribute are present within a predetermined range, the recognition unit 110 may cluster the traffic participants with the specific attribute that are present within a predetermined range into a single group.
  • the recognition unit 110 also recognizes the road conditions around the vehicle M based on information input from some or all of the detection devices DD, or information input via the object recognition device 16.
  • the road conditions include the positions of the dividing lines that divide the road, the positions of the road boundaries, and the conditions of the areas from the dividing lines to the road boundaries (e.g., roadside strips, shoulders).
  • the recognition unit 110 may also recognize the distance between a recognized object and a dividing line, the distance between an object and a road boundary, and the like.
  • the recognition unit 110 may also recognize the lane in which the vehicle M is traveling and adjacent lanes.
  • the recognition unit 110 may also refer to the map information 182 stored in the memory unit 180 based on the position information of the vehicle M obtained from the position sensor of the vehicle sensor 40, and recognize the conditions of the road on which the vehicle M is traveling (e.g., the position of the lane markings) from the map information 182.
  • the recognition unit 110 may also recognize the road conditions around the vehicle M by comparing the recognition results from the above-mentioned detection device DD, etc. with the recognition results obtained from the map information 182.
  • the estimation unit 120 detects the positional relationship between the driver's head and eyes, the combination of the reference point and the moving point in the eyes, etc., from the image of the driver monitor camera 50, for example, using a method such as template matching. The estimation unit 120 then estimates the face direction based on the relative position of the eyes with respect to the head. The estimation unit 120 also estimates the driver's gaze direction based on the position of the moving point with respect to the reference point. For example, if the reference point is the inner corner of the eye, the moving point is the iris. If the reference point is the corneal reflection area, the moving point is the pupil. The estimation unit 120 may also estimate the gaze point based on the gaze direction.
  • the estimation unit 120 may also estimate the driver's visual field range (a predetermined range around the gaze direction as the center) based on the gaze direction.
  • the visual field range is, for example, a range that extends in the gaze direction with the position of the driver's eyes (or the intermediate position of both eyes) of the vehicle M, or the center position of the driver's face or head as the apex, and widens at a predetermined angle as it gets farther away from the driver.
  • the prediction unit 130 predicts the future (after a first predetermined time has elapsed) behavior (e.g., position, speed, direction of movement) of the traffic participant recognized by the recognition unit 110.
  • the prediction unit 130 may predict the future behavior based on the amount of movement (e.g., speed) and direction of movement of the same traffic participant up to the last moment, or may predict the future behavior based on a behavior pattern that is preset according to the attributes of the traffic participant and the shape of the road.
  • a behavior pattern is, for example, a pattern in which if the attribute is a bicycle, there is a high possibility that the traffic participant will continue moving in the same direction, or a traffic participant will slow down before an intersection.
  • the prediction unit 130 predicts future behavior on a group-by-group basis. In this case, the prediction unit 130 predicts the future position of the group based on, for example, the average speed and average position of the traffic participants included in one group. Furthermore, the prediction unit 130 may weight the speed and position of a traffic participant that is closer to the vehicle M among multiple traffic participants included in one group, with a higher weight. This allows the speed and position of traffic participants that are closer to the vehicle M to be given a higher priority, and the future speed and position of the group to be predicted, allowing for more appropriate visibility determination and notification to the driver, etc. The prediction unit 130 may also predict the future position and speed of the vehicle M based on the position and speed VM of the vehicle M.
  • the determination unit 140 determines whether or not the driver has visually recognized traffic participants in the vicinity of the vehicle M recognized by the recognition unit 110, based on the line of sight direction of the driver of the vehicle M estimated by the estimation unit 120. In addition, when multiple traffic participants are recognized as a group by the recognition unit 110, the determination unit 140 determines whether or not the driver has visually recognized the traffic participants based on the group. Details of the processing by the determination unit 140 will be described later.
  • the driving control unit 150 automatically controls one or both of the steering and acceleration/deceleration of the vehicle M based on the recognition result by the recognition unit 110 and the judgment result by the judgment unit 140 to perform driving control.
  • the driving control unit 150 may perform driving assistance corresponding to the received operation content.
  • the driving assistance performed by the driving control unit 150 may include various driving controls such as ACC (Adaptive Cruise Control), LKAS (Lane Keeping Assistance System), LCA (Lane Change Assist), FCW (Forward Collision Warning), and CMBS (Collision Mitigation Braking System).
  • the HMI control unit 160 acquires information received by the HMI 30, or causes the HMI 30 to output predetermined information, thereby notifying the occupants (driver, etc.) of the vehicle M.
  • the predetermined information includes, for example, the recognition result by the recognition unit 110 and the judgment result by the judgment unit 140.
  • the predetermined information may also include information related to the running of the vehicle M, such as information related to the state of the vehicle M and driving assistance information.
  • the information related to the state of the vehicle M includes, for example, information such as the speed of the vehicle M, engine speed, and shift position.
  • the driving assistance information includes, for example, information (attention information) for informing the driver that an object (traffic participant, etc.) exists around the vehicle M, and information for assisting the driver in steering and speed control to avoid contact between the vehicle M and the object.
  • the predetermined information may also include information not related to the running control of the vehicle M, such as television programs and other content (for example, audio and video) received by the communication device 20, etc.
  • the predetermined information may also include, for example, information related to the current position and destination of the vehicle M, and the remaining amount of fuel.
  • the HMI control unit 160 may generate an image including the above-mentioned predetermined information and display the generated image on the display unit 32 of the HMI 30, or may generate a sound (including an alarm sound, etc.) indicating the predetermined information and output the generated sound from the speaker 34 of the HMI 30.
  • the driving force output device 200 outputs a driving force (torque) to the drive wheels for driving the vehicle M.
  • the driving force output device 200 comprises, for example, a combination of an internal combustion engine, an electric motor, a transmission, etc. mounted on the vehicle M, and an ECU (Electronic Control Unit) that controls these.
  • the ECU controls the above configuration according to information input from the driving control unit 150 or information input from the accelerator pedal of the driving operator 80.
  • the brake device 210 includes, for example, a brake caliper, a cylinder that transmits hydraulic pressure to the brake caliper, an electric motor that generates hydraulic pressure in the cylinder, and a brake ECU.
  • the brake ECU controls the electric motor according to information input from the driving control unit 150 or information input from the brake pedal of the driving operator 80, so that a brake torque corresponding to the braking operation is output to each wheel.
  • the brake device 210 may include a backup mechanism that transmits hydraulic pressure generated by the operation of the brake pedal to the cylinder via a master cylinder. Note that the brake device 210 is not limited to the configuration described above, and may be an electronically controlled hydraulic brake device that controls an actuator according to information input from the driving control unit 150 to transmit hydraulic pressure from the master cylinder to the cylinder.
  • the steering device 220 includes, for example, a steering ECU and an electric motor.
  • the electric motor changes the direction of the steered wheels by, for example, applying a force to a rack and pinion mechanism.
  • the steering ECU drives the electric motor to change the direction of the steered wheels according to information input from the driving control unit 150 or information input from the steering wheel of the driving operator 80.
  • FIG. 2 is a diagram for explaining the contents of the visual recognition determination in the first embodiment.
  • a vehicle M driven by a driver P1 is assumed to be traveling in a lane L1 at a speed VM along the extension direction (the X-axis direction in the drawing) (hereinafter, the lane L1 may be referred to as a "traveling lane L1").
  • the traveling lane L1 is divided by dividing lines LL and RL.
  • the attributes of the traffic participants OB1 to OB5 are pedestrians, and the attributes of the traffic participants OB6 to OB7 are bicycles. It is assumed that the traffic participants OB1 to OB7 are moving in the direction of the arrows shown in FIG. 2 at speeds VOB1 to VOB7, respectively.
  • the recognition unit 110 recognizes the position and speed VM of the vehicle M relative to the driving lane L1.
  • the recognition unit 110 also recognizes the positions and speeds VOB1 to VOB7 of the traffic participants OB1 to OB7 that are present in the vicinity of the vehicle M (for example, in the direction of travel (forward) of the vehicle M and within a first predetermined distance).
  • the recognition unit 110 also recognizes the attributes of the traffic participants OB1 to OB7.
  • the recognition unit 110 recognizes (clusters) each traffic participant as one group.
  • the specific attribute is, for example, an attribute of the same type.
  • the specific attribute may also be an attribute (e.g., pedestrian) that has a small amount of movement (speed is less than a threshold) in a predetermined time (second predetermined time) and is likely to approach the vehicle M.
  • the specific attribute may also include, in addition to the above-mentioned conditions, that the error in the traveling direction of the traffic participant is less than a threshold, or that the increase in the relative position between the traffic participants in a predetermined time (third predetermined time) is less than a predetermined amount.
  • the above-mentioned amount of movement, traveling direction, and increase in the relative position may include the future behavior prediction result predicted by the prediction unit 130.
  • the predetermined number may also be a fixed value (e.g., 2), or may be variably set according to the total number of traffic participants recognized by the recognition unit 110, road conditions, the speed of the vehicle M or the traffic participants, the distance between the vehicle M and the traffic participants, etc.
  • the recognition unit 110 recognizes traffic participants OB1 to OB3 who have the same attribute of pedestrians and who are present within a specified range as one group GR1.
  • the recognition unit 110 also recognizes traffic participants who have the same attribute of bicycles and who are present within a specified range as one group GR2. Note that in the example of Figure 2, traffic participants OB5 and OB6 are present within the specified range but have different attributes, so they are not recognized as one group.
  • traffic participants OB4 and OB5 have the same attribute (pedestrian) and are within a specified range, but are traveling in opposite directions (the error in their traveling directions is equal to or greater than a threshold (first threshold)), and there is a high possibility that their respective positions will be outside the specified range in the near future. Therefore, the recognition unit 110 may not recognize traffic participants OB4 and OB5 as one group, for example, if the future positions of the traffic participants OB4 and OB5 predicted by the prediction unit 130 (after a first specified time) will be outside the specified range. In the following, it is described that traffic participants OB4 and OB5 are not recognized as one group by the recognition unit (each is recognized as an individual traffic participant).
  • the determination unit 140 determines whether the driver P1 of the vehicle M has visually recognized the traffic participants OB1 to OB7, for example, based on the line of sight direction of the driver P1 of the vehicle M and the positions of the traffic participants OB1 to OB7 recognized by the recognition unit 110. For example, the determination unit 140 projects the line of sight direction SD1 of the driver P1 of the vehicle M onto the image plane of the image captured by the camera 10 (hereinafter, the camera image) based on the position of the vehicle M, the position of the driver P1 in the cabin, the position of the camera 10 mounted on the vehicle M, etc., and determines that the driver P1 has visually recognized the traffic participant when the traffic participant is present in the projected line of sight direction SD1.
  • a traffic participant is present in the projected line of sight direction SD1 when, for example, at least a part of the gaze point or field of view on the image plane based on the projected line of sight direction SD1 is included in (overlaps with) the area of the traffic participant on the image plane. Furthermore, if no traffic participant is present in the projected line of sight direction SD1, the determination unit 140 determines that no traffic participant is visually recognized.
  • the determination unit 140 may determine that a traffic participant has been visually recognized when the traffic participant is continuously present in the line of sight direction SD1 for a predetermined time (fourth predetermined time) or more. This makes it possible to prevent the driver P1 from erroneously determining that a traffic participant that he or she may have missed has been visually recognized.
  • the determination unit 140 determines that the driver P1 has visually recognized all of the traffic participants in the group when at least some of the traffic participants in the group are present in the line of sight SD1 of the driver P1. In addition, the determination unit 140 determines that the driver P1 has not visually recognized all of the traffic participants in the group when at least some of the traffic participants in the group are not present in the line of sight SD1 of the driver P1.
  • the determination unit 140 determines that the driver P1 has visually recognized all of the traffic participants OB1 to OB3 included in group GR1. Also, in the example of Figure 2, the determination unit 140 determines that the driver P1 has not visually recognized traffic participants OB4 to OB7.
  • the HMI control unit 160 When there is a traffic participant OB4-OB7 that is determined not to be visible to the driver P1 and whose relative distance from vehicle M is less than a predetermined distance (second predetermined distance), or when there is a traffic participant whose time to contact (TTC) with vehicle M is less than a threshold, the HMI control unit 160 notifies the driver P1 by having the HMI 30 output information indicating the presence of the traffic participant around vehicle M, the direction in which the traffic participant is located from vehicle M, information indicating the attributes of the traffic participant, information to call attention, etc., in the form of images, audio, etc.
  • the time to contact (TTC) is a value calculated, for example, by dividing the relative speed from the relative distance between vehicle M and the traffic participant.
  • the HMI control unit 160 may make the above-mentioned notification-related determination based on the position and speed of the group. For example, in the example of FIG. 2, the above-mentioned notification-related determination is made based on the position (e.g., the average position of traffic participants OB6 and OB7) and speed (e.g., the average speed of speeds VOB6 and VOB7) of group GR2 to which traffic participants OB6 and OB7 belong.
  • position e.g., the average position of traffic participants OB6 and OB7
  • speed e.g., the average speed of speeds VOB6 and VOB7
  • the HMI control unit 160 may notify information regarding driving operations for the vehicle M to avoid contact with the traffic participant. Furthermore, the HMI control unit 160 may end the notification if it is determined that the driver P1 has seen the traffic participant after the notification. Furthermore, the determination unit 140 may determine whether or not the driver will see the traffic participant in the near future based on the future position of the traffic participant (or a group) predicted by the prediction unit 130 and the line of sight of the driver P1. If it is determined that the driver will see the traffic participant in the near future, the HMI control unit 160 may control not to notify the traffic participant.
  • the driving control unit 150 may execute driving control to avoid contact between vehicle M and the traffic participant (or group) by controlling one or both of the steering and speed of vehicle M. In this case, the driving control unit 150 may execute driving control to avoid contact based on the future behavior prediction result of the traffic participant (or group) predicted by the prediction unit 130.
  • the above-mentioned predetermined range in the first embodiment may be adjusted, for example, according to the distance from the vehicle M to a traffic participant with a specific attribute (a traffic participant for which it is determined whether or not to include the traffic participant in a group).
  • Figure 3 is a diagram for explaining the adjustment of the predetermined range.
  • the example in Figure 3 shows the vehicle M on the lane L1 shown in Figure 2 and traffic participants OB1 to OB3.
  • the field of view range widens at a predetermined angle as it gets farther away from the driver P1, and conversely, the field of view range narrows when the distance to the gaze point VP1 is close. Therefore, the closer the distance to the traffic participant, the narrower the field of view range (predetermined range) the recognition unit 110 is. Alternatively, conversely, the farther the distance to the traffic participant, the wider the predetermined range for recognizing the traffic participant as a group.
  • the recognition unit 110 reduces the specified area recognized as one group, recognizes traffic participants OB2 and OB3 as one group GR1#, and recognizes traffic participant OB1 by excluding it from group GR1#. This makes it possible to recognize multiple traffic participants as a group within a range according to the field of view, and makes it possible to further suppress erroneous visual recognition judgments.
  • the recognition unit 110 may also reduce the number of traffic participants included in one group as the distance from the vehicle M becomes closer, and may further not recognize the traffic participants as a group if the distance from the vehicle M to the traffic participants is shorter than a predetermined distance (a third predetermined distance).
  • a predetermined distance a third predetermined distance
  • FIG. 4 is a flowchart showing an example of the process performed by the driving support device 100 of the first embodiment. Note that, of the processes performed by the driving support device 100, the following mainly focuses on the visibility determination process in the first embodiment.
  • the process of this flowchart may be repeatedly executed at a predetermined timing or period, for example.
  • the recognition unit 110 recognizes the surrounding situation of the vehicle M (step S100).
  • the determination unit 140 determines whether or not there is a traffic participant in the traveling direction (e.g., ahead) of the vehicle M (step S110). If it is determined that there is a traffic participant, the determination unit 140 determines whether or not there is a predetermined number or more of traffic participants with a specific attribute within a predetermined range (step S130). If it is determined that there is a predetermined number or more of traffic participants with a specific attribute within a predetermined range, the recognition unit 110 recognizes the predetermined number of traffic participants as a group (step S140). Also, if it is determined in the processing of step S130 that there is not a predetermined number or more of traffic participants with a specific attribute within a predetermined range, the recognition unit 110 recognizes the recognized traffic participants as individual traffic participants (step S150).
  • the estimation unit 120 estimates the line of sight of the driver of the vehicle M (step S160).
  • the determination unit 140 determines whether or not the traffic participants have been visually recognized based on the driver's line of sight direction and the traffic participants recognized by the recognition unit 110 (step S170). In the process of step S170, if the recognition unit 110 recognizes a predetermined number (multiple) of traffic participants as one group, the determination unit 140 determines whether or not at least some (one person) of the traffic participants included in one group have been visually recognized. If it is determined that they have not been visually recognized, the HMI control unit 160 generates an image or sound to notify the presence of the traffic participants and outputs it to the HMI 30 to notify the driver (step S180). This ends the process of this flowchart.
  • step S110 determines whether traffic participants are present, or if it is determined in the process of step S170 that a traffic participant has been visually confirmed.
  • the driving assistance device 100 includes a recognition unit 110 that recognizes the surrounding conditions of the vehicle M, an estimation unit 120 that estimates the line of sight of the driver of the vehicle M, and a determination unit 140 that determines whether the driver has visually recognized traffic participants around the vehicle M recognized by the recognition unit 110 based on the line of sight.
  • the recognition unit 110 recognizes the traffic participants present within the predetermined range as one group, and when at least a portion of the traffic participants included in the group are present in the driver's line of sight, the determination unit 140 determines that the driver has visually recognized the traffic participants included in the group, thereby more efficiently determining whether the driver has visually recognized the surrounding traffic participants.
  • the first embodiment it is not necessary to perform visibility determination for each traffic participant, and multiple traffic participants can be clustered into a group without communicating with the traffic participants. This reduces the processing load related to visibility determination and shortens the processing time. Furthermore, according to the first embodiment, it is possible to more appropriately notify the driver of a vehicle of the presence of traffic participants in the vicinity.
  • a second embodiment of the driving assistance device 100 will be described.
  • a configuration similar to that of the vehicle system 1 (driving assistance device 100) shown in Fig. 1 can be applied. Therefore, in the second embodiment, a configuration similar to that of the vehicle system 1 shown in Fig. 1 is used, and the description will be centered mainly on the differences from the first embodiment, and other descriptions will be omitted.
  • FIG. 5 is a diagram for explaining the content of visual recognition determination in the second embodiment.
  • traffic participants OB11 to OB13 are present in front of a vehicle M that is driven by a driver P1 and travels at a speed VM along a lane L1 in the extension direction.
  • the traffic participants OB11 to OB13 are moving in the arrow directions shown in Figure 5 at speeds VOB11 to VOB13, respectively.
  • the determination unit 140 determines that the traffic participant OB13 has been visually recognized. In this case, if another traffic participant is present within a fourth predetermined distance based on the position of the traffic participant OB13 (for example, the gaze point VP2 projected by the line of sight SD2 onto the screen plane of the camera image or the center position of the image area of the traffic participant OB13), the determination unit 140 determines that the other traffic participant has also been visually recognized. In the example of FIG. 5, an area AR1 within a fourth predetermined distance from the position of the traffic participant OB13 is shown.
  • the determination unit 140 determines that the other traffic participants OB11 to OB12 present in the area AR1 have also been visually recognized. This makes it unnecessary to determine whether or not each traffic participant has been visually recognized, and allows for efficient visual recognition determination, reducing the processing load and shortening the processing time.
  • the fourth specified distance may be adjusted according to the line of sight SD2 of the driver P1, etc.
  • FIG. 6 is a diagram for explaining the adjustment of the fourth specified distance with respect to the line of sight SD2.
  • the fourth specified distance is made different between the direction extending in the line of sight SD2 of the driver P1 and the direction perpendicular to the line of sight SD2.
  • an object near the extension direction of the line of sight SD2 (gazing point VP2) has high visibility, and the further away from the line of sight SD2 (the larger the viewing angle), the lower the visibility of the object.
  • the fourth specified distance is adjusted so that it is longer the closer the direction from the reference position (for example, the position of the viewed traffic participant OB13) is to the direction extending in the line of sight SD2, and shorter the closer it is to the direction perpendicular to the line of sight SD.
  • the area AR1 in which the fourth predetermined distance has been adjusted is shown as an ellipse with a major axis A1 and a minor axis A2 centered on the position of the traffic participant OB13 located in the line of sight direction SD2, but this is not limited to this, and the distance in front of and behind the traffic participant OB3 or the distance on the left and right may be varied based on, for example, the road shape and the position on the road and speed VOB13 of the viewed traffic participant OB13.
  • the outer periphery of the area AR1 may be formed in a non-curved shape rather than a curved shape. This makes it possible to determine that another traffic participant located in a position where the driver P1 is predicted to have a higher visibility has been viewed all at once.
  • the determination unit 140 when the determination unit 140 determines that one of multiple traffic participants has been visually recognized, it also determines that the surrounding traffic participants (within a fourth specified distance) have been visually recognized. However, when the risk value of another traffic participant present within the fourth specified distance is equal to or greater than a threshold, it may determine that the other traffic participant has not been visually recognized.
  • the risk value is, for example, an index value indicating the degree of possibility of contact with the vehicle M based on the amount of movement of the traffic participant and the behavior prediction result. Note that, in the second embodiment, the risk value is estimated by the estimation unit 120.
  • FIG. 7 is a diagram for explaining the estimation of risk values.
  • traffic participants OB11 to OB14 are present in the travel lane L1 of vehicle M, in the direction of travel (forward) of vehicle M.
  • other traffic participants OB11, OB12, and OB14 are present within an area AR1 of a fourth predetermined distance based on traffic participant OB13, which is present in the line of sight SD2 of driver P1.
  • the estimation unit 120 estimates the risk value of each of the other traffic participants OB11, OB12, and OB14. For example, the estimation unit 120 estimates the risk value according to the amount of movement based on the speed VOB of the other traffic participant. In this case, the estimation unit 120 increases the risk value as the amount of movement increases. Furthermore, the estimation unit 120 may estimate the risk value based on the future amount of movement based on the behavior prediction result of the prediction unit 130 in addition to the current speed (amount of movement) of the traffic participant.
  • the estimation unit 120 may also estimate a risk value according to the attributes of the traffic participant. In this case, the estimation unit 120 may set a higher risk value when the traffic participant's attribute is a child than when the traffic participant is an adult. The estimation unit 120 may set a higher risk value when the traffic participant's attribute is a bicycle than when the traffic participant is a pedestrian. The estimation unit 120 may set a higher risk value the closer the traffic participant is to the center of the lane L1 of the vehicle M. The estimation unit 120 may also set a higher risk value for a traffic participant with a high probability of contact based on the predicted future position of the vehicle M predicted by the prediction unit 130 and the predicted future behavior of the traffic participant. The estimation unit 120 may estimate a final risk value by combining some of the setting conditions for each of the risk values described above.
  • traffic participant OB14 is a child and is located near the center of the lane, so the risk value is equal to or greater than the threshold, while the risk values of traffic participants OB11 and OB12 are less than the threshold.
  • the determination unit 140 determines that the driver P1 has visually recognized traffic participant OB13 in the example of FIG. 7, it determines that the driver P1 has also visually recognized traffic participants OB11 and OB12, who are located within a fourth predetermined distance (within area AR1) from traffic participant OB13, but does not visually recognize traffic participant OB14.
  • the HMI control unit 160 If the relative distance between the vehicle M and a traffic participant that is determined not to be visible to the driver P1 is within a predetermined distance (fifth predetermined distance), or if the time to contact (TTC) for that traffic participant is less than a threshold (third threshold), the HMI control unit 160 notifies the driver P1 by having the HMI 30 output information (image or sound) indicating the presence of the traffic participant.
  • the driving control unit 150 may control one or both of the steering and speed of vehicle M to perform driving control to avoid contact between vehicle M and the traffic participant (or group).
  • Fig. 8 is a flowchart showing an example of the process performed by the driving support device 100 of the second embodiment. Note that the following description will mainly focus on the visibility determination process in the second embodiment. The process of this flowchart may be repeatedly executed at a predetermined timing or period, for example.
  • the recognition unit 110 recognizes the surrounding situation of the vehicle M (step S200).
  • the determination unit 140 determines whether or not a traffic participant exists in the traveling direction (e.g., ahead) of the vehicle M (step S210). If it is determined that a traffic participant exists in the traveling direction of the vehicle M, the estimation unit 120 estimates the viewing direction of the driver of the vehicle M (step S220). Next, the determination unit 140 determines whether or not the traffic participant has been visually recognized based on the estimated viewing direction of the driver and the position of the traffic participant difference (step S230).
  • the determination unit 140 determines whether or not there is another traffic participant existing within a predetermined distance (fourth predetermined distance) from the traffic participant (step S240). If it is determined that there is another traffic participant, it is determined that the driver has also recognized the other traffic participant (step S250).
  • the HMI control unit 160 notifies the driver by having the HMI 30 output information indicating the presence of a traffic participant (step S260). This ends the process of this flowchart. If it is determined in the process of step S210 that there is no traffic participant, or if it is determined in the process of step S240 that there is no other traffic participant within the fourth predetermined distance from the traffic participant, the process of this flowchart ends.
  • the driving assistance device 100 includes a recognition unit 110 that recognizes the surrounding conditions of the vehicle M, an estimation unit 120 that estimates the line of sight direction of the driver of the vehicle M, and a determination unit 140 that determines whether the driver has visually recognized traffic participants in the vicinity of the vehicle M recognized by the recognition unit 110 based on the line of sight direction.
  • the determination unit 140 can more efficiently determine whether the driver has visually recognized surrounding traffic participants by determining that the driver has also visually recognized another traffic participant that is present within a fourth predetermined distance from the traffic participant that is determined to have been visually recognized by the driver.
  • the second embodiment by adjusting the above-mentioned predetermined distance according to the driver's line of sight, it is possible to determine that another traffic participant who is present near the visually recognized traffic participant and is likely to be visually recognized. This makes it possible to improve the accuracy of the visual recognition determination process, as well as reduce the processing load and the processing time. Furthermore, according to the second embodiment, it is possible to more appropriately notify the vehicle driver of the presence of traffic participants in the vicinity.
  • first and second embodiments described above may be combined with a part or the whole of the other embodiments.
  • the visual recognition determination in the first embodiment (first visual recognition determination) and the visual recognition determination in the second embodiment (second visual recognition determination) may be switched depending on the attributes of the traffic participants present in the vicinity.
  • the first and second visual recognition determinations may be switched depending on the speed of the traffic participants, the number of traffic participants recognized by the recognition unit 110, and road conditions.
  • the HMI control unit 160 may be configured to issue a notification when there is a traffic participant who is determined not to be visible to the driver and whose speed is equal to or higher than a predetermined speed. This allows priority notification of traffic participants who are more likely to come into contact.
  • the determination unit 140 may set an area AR1 within a predetermined distance based on a traffic participant that is determined to have been viewed by the driver as a viewed area. In this case, the determination unit 140 determines that a traffic participant who subsequently enters the area AR1 has also been viewed during the period from when the area AR1 was set as a viewed area until a predetermined time has elapsed. In addition, if the traffic participant that is the reference for the viewed area moves, the position of the area AR1 may also move to follow the traffic participant. This makes it possible to process a traffic participant who newly enters the viewed area (area AR1) as viewed, rather than a single traffic participant. In the above example, the setting of the viewed area may be canceled after a predetermined time has elapsed since the area AR1 was set as a viewed area.
  • a storage medium for storing computer-readable instructions
  • a processor coupled to the storage medium;
  • the processor executes the computer-readable instructions to: Recognize the vehicle's surroundings, Estimating a gaze direction of a driver of the vehicle; determining whether the driver has visually recognized a traffic participant around the vehicle recognized by the recognition unit based on the line of sight; When a predetermined number or more of traffic participants having a particular attribute are present within a predetermined range, the traffic participants present within the predetermined range are recognized as one group; When at least a part of the traffic participants included in the group is present in the line of sight of the driver, it is determined that the driver has visually recognized the traffic participants included in the group.
  • Driving assistance device When at least a part of the traffic participants included in the group is present in the line of sight of the driver, it is determined that the driver has visually recognized the traffic participants included in the group.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

実施形態の運転支援装置は、車両の周辺状況を認識する認識部と、前記車両の運転者の視線方向を推定する推定部と、前記視線方向に基づいて前記認識部により認識された前記車両の周辺の交通参加者を前記運転者が視認したか否かを判定する判定部と、を備え、前記認識部は、前記交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する前記交通参加者を一つの群として認識し、前記判定部は、前記運転者の視線方向に前記群に含まれる交通参加者の少なくとも一部が存在する場合に、前記運転者が前記群に含まれる交通参加者を視認したと判定する、運転支援装置である。

Description

運転支援装置、運転支援方法、およびプログラム
　本発明は、運転支援装置、運転支援方法、およびプログラムに関する。
　近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて運転支援技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。これに関連して、従来では、運転者の視線方向から対象物までの距離又は角度に応じて、安全確認対象物に対する運転者の視認度に基づいて安全確認の喚起又は車両の運転状態の制御を行ったり、物標の領域の複数の判定点と視野範囲との重複度合いに基づいて運転者が物標を認識しているか否かを判定したり、歩行者用通信装置から複数の歩行者により形成される歩行者群に属しているか否かという歩行者情報を受信して歩行者注意情報を提示する技術が知られている（例えば、特許文献１～３参照）。
国際公開第２００８／０２９８０２号 特開２０２０－２０１６７０号公報 国際公開第２０１３／０８０２４９号
　ところで、運転支援技術においては、車両の周囲に複数の交通参加者が存在する場合に、それぞれの交通参加者に対して運転者が視認したか否かを個別に判定するため、処理負荷や処理時間がかかる可能性があることが課題である。
　本願は上記課題の解決のため、運転者が周囲の交通参加者を視認したか否かを、より効率的に判定することができる運転支援装置、運転支援方法、およびプログラムを提供することを目的の一つとしたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。
　この発明に係る運転支援装置、運転支援方法、およびプログラムは、以下の構成を採用した。
　（１）：この発明の一態様に係る運転支援装置は、車両の周辺状況を認識する認識部と、前記車両の運転者の視線方向を推定する推定部と、前記視線方向に基づいて前記認識部により認識された前記車両の周辺の交通参加者を前記運転者が視認したか否かを判定する判定部と、を備え、前記認識部は、前記交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する前記交通参加者を一つの群として認識し、前記判定部は、前記運転者の視線方向に前記群に含まれる交通参加者の少なくとも一部が存在する場合に、前記運転者が前記群に含まれる交通参加者を視認したと判定する、運転支援装置である。
　（２）：上記（１）の態様において、前記判定部は、前記認識部により認識された交通参加者のうち一つの群として認識されていない交通参加者が存在する場合に、前記運転者の視線方向に基づいて前記運転者が前記交通参加者を視認したか否かを判定するものである。
　（３）：上記（１）の態様において、前記所定範囲内は、前記車両から前記特定の属性の交通参加者までの距離に応じて調整されるものである。
　（４）：上記（１）の態様において、前記認識部により認識された交通参加者の将来の行動を予測する予測部を更に備え、前記予測部は、前記認識部により前記群として認識された交通参加者が存在する場合に、前記群ごとに将来の行動を予測するものである。
　（５）：上記（１）の態様において、前記運転者が視認していない交通参加者が存在する場合に前記運転者に通知を行う通知部を更に備えるものである。
　（６）：この発明の一態様に係る運転支援方法は、コンピュータが、車両の周辺状況を認識し、前記車両の運転者の視線方向を推定し、前記視線方向に基づいて、認識した前記車両の周辺の交通参加者を前記運転者が視認したか否かを判定し、前記交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する前記交通参加者を一つの群として認識し、前記運転者の視線方向に前記群に含まれる交通参加者の少なくとも一部が存在する場合に、前記運転者が前記群に含まれる交通参加者を視認したと判定する、運転支援方法である。
　（７）：この発明の一態様に係るプログラムは、コンピュータに、車両の周辺状況を認識させ、前記車両の運転者の視線方向を推定させ、前記視線方向に基づいて、認識された前記車両の周辺の交通参加者を前記運転者が視認したか否かを判定させ、前記交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する前記交通参加者を一つの群として認識させ、前記運転者の視線方向に前記群に含まれる交通参加者の少なくとも一部が存在する場合に、前記運転者が前記群に含まれる交通参加者を視認したと判定させる、プログラムである。
　上記（１）～（７）の態様によれば、運転者が周囲の交通参加者を視認したか否かを、より効率的に判定することができる。
第１の実施形態に係る運転支援装置を利用した車両システム１の構成図である。 第１の実施形態における視認判定の内容について説明するための図である。 所定範囲が調整されることについて説明するための図である。 第１の実施形態の運転支援装置１００による処理の一例を示すフローチャートである。 第２の実施形態における視認判定の内容について説明するための図である。 視線方向ＳＤ２に対する第４所定距離の調整について説明するための図である。 リスク値の推定について説明するための図である。 第２の実施形態の運転支援装置１００による処理の一例を示すフローチャートである。
　以下、図面を参照し、本発明の運転支援装置、運転支援方法、およびプログラムの実施形態について説明する。なお、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。
　（第１の実施形態）
　［全体構成］
　図１は、第１の実施形態に係る運転支援装置を利用した車両システム１の構成図である。車両システム１が搭載される車両（以下、車両Ｍと称する）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
　車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection And Ranging）１４と、ソナー１５と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ドライバモニタカメラ５０と、運転操作子８０と、運転支援装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。カメラ１０、レーダ装置１２、ＬＩＤＡＲ１４、およびソナー１５は、「検知デバイスＤＤ」の一例である。検知デバイスＤＤには、物体認識装置１６が含まれてもよい。ＨＭＩ３０および後述するＨＭＩ制御部１６０は、「通知部」の一例である。
　カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両Ｍの任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。また、車両Ｍの後方を撮像する場合、カメラ１０は、リアウィンドシールド上部等に取り付けられる。また、車両Ｍの右側方または左側方を撮像する場合、カメラ１０は、車体やドアミラーの右側面または左側面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。
　レーダ装置１２は、車両Ｍの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。
　ＬＩＤＡＲ１４は、車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、車両Ｍの任意の箇所に取り付けられる。なお、ＬＩＤＡＲ１４は、車両Ｍの進行方向に対して横方向及び縦方向にスキャンすることにより、車両Ｍから対象までの距離を検出する。
　ソナー１５は、車両Ｍの周辺に超音波を放射し、車両Ｍから所定距離以内に存在する物体による反射又は散乱を検出することによって、当該物体までの距離又は位置等を検知する。ソナー１５は、例えば、車両Ｍの前端部および後端部に設けられバンパー等に設置される。
　物体認識装置１６は、検知デバイスＤＤ（カメラ１０、レーダ装置１２、ＬＩＤＡＲ１４、およびソナー１５）のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置１６は、認識結果を運転支援装置１００に出力する。物体認識装置１６は、検知デバイスＤＤの検出結果をそのまま運転支援装置１００に出力してよい。なお、物体認識装置１６の機能を運転支援装置１００に組み込み、車両システム１から物体認識装置１６が省略されてもよい。
　通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等のネットワークを利用して、例えば、車両Ｍの周辺に存在する他車両、車両Ｍを利用する運転者の端末装置、或いは各種サーバ装置と通信する。
　ＨＭＩ３０は、車両の乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、例えば、表示部３２およびスピーカ３４を含む。表示部３２は、例えば、運転席の前方のメータ表示部やインストルメントパネルの中央部に設けられたディスプレイ装置、またはヘッドアップディスプレイ（ＨＵＤ）であってよい。スピーカ３４は、例えば、車両Ｍの車室内に設けられた音声出力装置であってよい。ＨＭＩ３０は、表示部３２およびスピーカ３４に加えて、ブザー、タッチパネル、スイッチ、キー、マイク等を含んでもよい。
　車両センサ４０は、車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、ヨーレート（例えば、車両Ｍの重心点を通る鉛直軸回りの回転角速度）を検出するヨーレートセンサ、車両Ｍの向きを検出する方位センサ等を含む。また、車両センサ４０は、車両Ｍの位置を検出する位置センサが設けられていてもよい。位置センサは、例えば、ＧＰＳ（Global Positioning System）装置から位置情報（経度・緯度情報）を取得するセンサである。また、位置センサは、ＧＮＳＳ（Global Navigation Satellite System）受信機を用いて位置情報を取得するセンサであってもよい。
　ドライバモニタカメラ５０は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。ドライバモニタカメラ５０は、車両Ｍの運転席に着座した運転者の頭部を正面から（顔面を撮像する向きで）撮像可能な位置および向きで、車両Ｍにおける任意の箇所に取り付けられる。例えば、ドライバモニタカメラ５０は、車両Ｍのインストルメントパネルやフロンドウインドシールドの上部、ルームミラー、ステアリングホイール等に取り付けられる。ドライバモニタカメラ５０は、周期的に繰り返し運転者を含む画像を撮像する。
　運転操作子８０は、例えば、ステアリングホイールの他、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、運転支援装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。ステアリングホイールは、「運転者による操舵操作を受け付ける操作子」の一例である。操作子は、必ずしも環状である必要は無く、異形ステアリングやジョイスティック、ボタン等の形態であってもよい。また、運転操作子８０は、車両Ｍの運転者がステアリングホイールを所定方向に操舵させたときの操舵角や操舵トルク量、および運転者がステアリングホイールを把持した検知したことを示す情報等を運転支援装置１００に出力する。
　運転支援装置１００は、運転者による車両Ｍの運転を支援する装置である。運転支援装置１００は、例えば、認識部１１０と、推定部１２０と、予測部１３０と、判定部１４０と、運転制御部１５０と、ＨＭＩ制御部１６０と、記憶部１８０とを備える。認識部１１０、推定部１２０、予測部１３０、判定部１４０、運転制御部１５０、およびＨＭＩ制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転支援装置１００のＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで運転支援装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。
　記憶部１８０は、上記の各種記憶装置、或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部１８０には、例えば、実施形態における各種制御を実行するために必要な情報、プログラム、その他の各種情報等が格納される。また、記憶部１８０には、地図情報１８２が含まれてよい。地図情報１８２は、例えば、所定区間の道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。また、地図情報１８２は、位置情報に応じて、ＰＯＩ（Point Of Interest）情報を含んでもよく、道路形状や道路構造物に関する情報等を含んでもよい。道路形状には、例えば分岐や合流、トンネル（入口、出口）、カーブ路（入口、出口）、道路または道路区画線（以下、「区画線」と称する）の曲率、曲率半径、車線数、幅員、勾配等が含まれる。道路構造物に関する情報には、例えば道路構造物の種別、位置、道路の延伸方向に対する向き、大きさ、形状、色等の情報が含まれてよい。道路構造物の種別において、例えば、区画線を１つの種別としてもよく、区画線に属するレーンマークや縁石、中央分離帯、道路の延伸方向に沿って設置される壁（フェンス等も含む）のそれぞれを異なる種別としてもよい。地図情報１８２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。
　認識部１１０は、検知デバイスＤＤのうち一部または全部から入力された情報、または物体認識装置１６を介して入力された情報に基づいて、車両Ｍの周辺状況を認識する。例えば、認識部１１０は、車両Ｍの周辺（第１所定距離以内）に存在する物体の位置、大きさ、形状、速度、加速度等の状態を認識する。物体の位置は、例えば、車両Ｍの代表点（重心や駆動軸中心等）を原点とした絶対座標系（車両座標系）の位置として認識されてよい。物体の位置は、その物体の重心やコーナー、進行方向の先端部等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、例えば、物体が他車両等の移動体である場合には、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。
　また、認識部１１０は、物体の大きさや形状、色、速度等の特徴情報と、予め特徴情報に対応付けられた属性パターンとのマッチング等により、物体の属性を認識する。物体の属性とは、例えば、車両、歩行者、電柱等の種別であってもよく、車両ごとに四輪車両、二輪自動車、自転車、電動キックボード等を識別するための種別であってもよい。また、認識部１１０は、歩行者を認識した場合に、その大きさ（例えば、身長）や形状、移動量等から、その歩行者が大人であるか、子供であるか、高齢者であるか等をそれぞれ別属性として認識してもよい。
　また、認識部１１０は、属性等に基づき交通参加者である物体を認識してもよい。交通参加者とは、例えば、車両Ｍが走行する道路上に存在する歩行者に限定されることはなく、自転車やバイク、自動車等のその他の移動体を含む。また、認識部１１０は、交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する特定の属性の交通参加者を一つの群（グループ）としてクラスタリングしてもよい。
　また、認識部１１０は、検知デバイスＤＤのうち一部または全部から入力された情報、または物体認識装置１６を介して入力された情報に基づいて、車両Ｍの周辺の道路状況を認識する。道路状況には、道路を区画する区画線の位置や、道路境界の位置、区画線から道路境界までの領域（例えば、路側帯、路肩）の状況等である。また、認識部１１０は、認識された物体と区画線との距離や、物体と道路境界との距離等を認識してもよい。また、認識部１１０は、車両Ｍの走行車線や隣接車線を認識してもよい。
　また、認識部１１０は、車両センサ４０の位置センサから得られる車両Ｍの位置情報に基づいて、記憶部１８０に格納された地図情報１８２を参照し、地図情報１８２から車両Ｍが走行する道路の状況（例えば、区画線の位置）等を認識してもよい。また、認識部１１０は、上述した検知デバイスＤＤ等による認識結果と、地図情報１８２から得られる認識結果とを照合して車両Ｍの周辺の道路状況を認識してもよい。
　推定部１２０は、例えば、テンプレートマッチング等の手法を用いて、ドライバモニタカメラ５０の画像から運転者の頭部と目の位置関係、目における基準点と動点の組み合わせ等を検出する。そして、推定部１２０は、頭部に対する目の相対位置に基づいて顔の向きを推定する。また、推定部１２０は、基準点に対する動点の位置に基づいて、運転者の視線方向を推定する。例えば、基準点が目頭である場合、動点は虹彩となる。また、基準点が角膜反射領域である場合、動点は瞳孔となる。また、推定部１２０は、視線方向に基づいて注視点を推定してもよい。また、推定部１２０は、視線方向に基づいて、運転者の視野範囲（視線方向を中心とした周辺の所定範囲）を推定してもよい。視野範囲とは、例えば、車両Ｍの運転者の目の位置（または両目の中間位置）、或いは運転者の顔や頭部の中心位置を頂点として視線方向に延出し、運転者から遠くなるのにつれて所定角度で広がる範囲である。
　予測部１３０は、認識部１１０により認識された交通参加者の将来（第１所定時間経過後）の行動（例えば、位置、速度、移動方向）を予測する。例えば、予測部１３０は、同一の交通参加者の直前までの移動量（例えば、速度）や移動方向等に基づいて将来の行動を予測してもよく、交通参加者の属性や道路形状等に応じて予め設定された行動パターンに基づいて将来の行動を予測してもよい。行動パターンとは、例えば、属性が自転車であれば今までの進行方向に継続して進む可能性が高いとか、交差点の手前の交通参加者は減速する等のパターンである。
　また、予測部１３０は、認識部１１０により複数の交通参加者が一つの群として認識されている場合には、群単位で将来の行動を予測する。この場合、予測部１３０は、例えば、一つの群に含まれる交通参加者の平均速度や平均位置に基づいて将来の群の位置を予測する。また、予測部１３０は、一つの群に含まれる複数の交通参加者のうち、車両Ｍからの距離が近い交通参加者ほど、その交通参加者の速度や位置の重みを大きくしてもよい。これにより、車両Ｍに、より近い交通参加者の速度や位置の優先度を高くして、群の将来の速度や位置が予測されるため、より適切に視認判定や運転者への通知等を行うことができる。また、予測部１３０は、車両Ｍの位置および速度ＶＭに基づき、車両Ｍの将来の位置や速度を予測してもよい。
　判定部１４０は、推定部１２０により推定された車両Ｍの運転者の視線方向に基づいて、認識部１１０により認識された車両Ｍの周辺の交通参加者を運転者が視認したか否かを判定する。また、判定部１４０は、認識部１１０によって複数の交通参加者が一つの群として認識されている場合には、群を基準に交通参加者を視認したか否かを判定する。判定部１４０による処理の詳細については後述する。
　運転制御部１５０は、認識部１１０による認識結果や判定部１４０による判定結果に基づいて、自動的に、車両Ｍの操舵または加減速のうち、一方または双方を制御して運転制御を実行する。また、運転制御部１５０は、ＨＭＩ３０により各種運転支援のうち少なくとも一つを実行する操作が受け付けられた場合に、受け付けられた操作内容に対応する運転支援を実行してもよい。運転制御部１５０により実行される運転支援には、例えば、ＡＣＣ（Adaptive Cruise Control）や、ＬＫＡＳ（Lane Keeping Assistance System）、ＬＣＡ（Lane Change Assist）、ＦＣＷ（Forward Collision Warning）、ＣＭＢＳ（Collision Mitigation Braking System）といった種々の運転制御が含まれてよい。
　ＨＭＩ制御部１６０は、ＨＭＩ３０により受け付けられた情報を取得したり、ＨＭＩ３０により所定の情報を出力させて、車両Ｍの乗員（運転者等）に通知等を行う。所定の情報には、例えば、認識部１１０による認識結果は、判定部１４０による判定結果等が含まれる。また、所定の情報には、車両Ｍの状態に関する情報や運転支援情報等の車両Ｍの走行に関連のある情報が含まれてよい。車両Ｍの状態に関する情報には、例えば、車両Ｍの速度、エンジン回転数、シフト位置等の情報が含まれる。また、運転支援情報には、例えば、車両Ｍの周辺に物体（交通参加者等）が存在することを知られるための情報（注意喚起情報）や、車両Ｍと物体との接触を回避するための運転者による操舵操作や速度操作を支援する情報等が含まれる。また、所定の情報には、通信装置２０等が受信したテレビ番組、他のコンテンツ（例えば、音声、映像）等の車両Ｍの走行制御に関連しない情報が含まれてもよい。また、所定の情報には、例えば車両Ｍの現在位置や目的地、燃料の残量に関する情報が含まれてよい。
　例えば、ＨＭＩ制御部１６０は、上述した所定の情報を含む画像を生成し、生成した画像をＨＭＩ３０の表示部３２に表示させてもよく、所定の情報を示す音声（警報音等も含む）を生成し、生成した音声をＨＭＩ３０のスピーカ３４から出力させてもよい。
　走行駆動力出力装置２００は、車両Ｍが走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、車両Ｍに搭載された内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、運転制御部１５０から入力される情報、或いは運転操作子８０のアクセルペダルから入力される情報に従って、上記の構成を制御する。
　ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、運転制御部１５０から入力される情報、或いは運転操作子８０のブレーキペダルから入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、ブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、運転制御部１５０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
　ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、運転制御部１５０から入力される情報、或いは運転操作子８０のステアリングホイールから入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
　［第１の実施形態における交通参加者の視認判定］
　次に、第１の実施形態における交通参加者の視認判定について、図を用いて説明する。図２は、第１の実施形態における視認判定の内容について説明するための図である。図２の例において、運転者Ｐ１が運転する車両Ｍは、車線Ｌ１を速度ＶＭで延伸方向（図中Ｘ軸方向）に沿って走行しているものとする（以下、車線Ｌ１を「走行車線Ｌ１」と称する場合がある）。走行車線Ｌ１は、区画線ＬＬおよびＲＬで区画されている。また、図２の例において、車両Ｍの周辺には交通参加者ＯＢ１～ＯＢ７が存在するものとする。交通参加者ＯＢ１～ＯＢ５の属性は歩行者であり、交通参加者ＯＢ６～ＯＢ７の属性は自転車である。交通参加者ＯＢ１～ＯＢ７は、それぞれ速度ＶＯＢ１～ＶＯＢ７で図２に示す矢印の方向に移動しているものとする。
　図２の例において、認識部１１０は、走行車線Ｌ１に対する車両Ｍの位置や速度ＶＭを認識する。また、認識部１１０は、車両Ｍの周辺（例えば、車両Ｍの進行方向（前方）であって、且つ第１所定距離以内）に存在する交通参加者ＯＢ１～ＯＢ７の位置や速度ＶＯＢ１～ＶＯＢ７を認識する。また、認識部１１０は、交通参加者ＯＢ１～ＯＢ７の属性を認識する。
　また、認識部１１０は、認識された交通参加者ＯＢ１～ＯＢ７のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、それぞれの交通参加者を一つの群として認識（クラスタリング）する。特定の属性とは、例えば種別が同一の属性である。また、特定の属性とは、所定時間（第２所定時間）における移動量が少なく（速度が閾値未満であり）、車両Ｍと接近する可能性が高い属性（例えば、歩行者）であってもよい。また、特定の属性とは、上述した条件に加えて、交通参加者の進行方向の誤差が閾値未満であること、または、交通参加者同士の所定時間（第３所定時間）における相対位置の増加量が所定量未満であること等が含まれてよい。なお、上述の移動量、進行方向、相対位置の増加量には、予測部１３０により予測された将来の行動予測結果が含まれてよい。また、所定数とは、固定値（例えば、２）でもよく、認識部１１０により認識された交通参加者の合計人数や、道路状況、車両Ｍまたは交通参加者の速度、車両Ｍと交通参加者との距離等に応じて可変に設定されてよい。
　図２の例において、認識部１１０は、属性が歩行者で同一であり、且つ所定範囲内に存在する交通参加者ＯＢ１～ＯＢ３を一つの群ＧＲ１として認識する。また、認識部１１０は、属性が自転車で同一であり、且つ所定範囲内に存在する交通参加者を一つの群ＧＲ２として認識する。なお、図２の例において、交通参加者ＯＢ５とＯＢ６とは所定範囲内に存在するが属性が異なるため一つの群として認識しない。
　また、図２の例において、交通参加者ＯＢ４とＯＢ５とは同一の属性（歩行者）であり、且つ所定範囲内に存在するが、進行方向が逆向き（お互いの進行方向の誤差が閾値（第１閾値）以上）であり、それぞれの位置が近い将来に所定範囲外となる可能性が高い。そのため、認識部１１０は、例えば、予測部１３０により予測された将来（第１所定時間後）の交通参加者ＯＢ４とＯＢ５との位置が所定範囲外となる場合には、一つの群として認識しないようにしてもよい。以下では、交通参加者ＯＢ４とＯＢ５は、認識部により一つの群として認識されなかった（それぞれが個々の交通参加者として認識される）ものとして説明する。
　判定部１４０は、例えば、車両Ｍの運転者Ｐ１の視線方向と、認識部１１０により認識された交通参加者ＯＢ１～ＯＢ７の位置とに基づいて、運転者Ｐ１が交通参加者ＯＢ１～ＯＢ７を視認したか否かを判定する。例えば、判定部１４０は、車両Ｍの位置や車室内の運転者Ｐ１の位置、車両Ｍに搭載されたカメラ１０の位置等に基づいて、カメラ１０により撮像された画像（以下、カメラ画像）の画像平面上に、車両Ｍの運転者Ｐ１の視線方向ＳＤ１を射影し、射影した視線方向ＳＤ１に交通参加者が存在する場合に、その交通参加者を運転者Ｐ１が視認したと判定する。射影した視線方向ＳＤ１に交通参加者が存在する場合とは、例えば、射影した視線方向ＳＤ１に基づく画像平面上の注視点または視野範囲の少なくとも一部が、画像平面上の交通参加者の領域に含まれる（重なる）場合である。また、判定部１４０は、射影した視線方向ＳＤ１に交通参加者が存在しない場合に、交通参加者を視認していないと判定する。
　なお、判定部１４０は、視線方向ＳＤ１に交通参加者が存在する時間が連続して所定時間（第４所定時間）以上である場合に視認したと判定してもよい。これにより、運転者Ｐ１が見逃した可能性がある交通参加者を視認したと誤判定することを抑制することができる。
　また、認識部１１０により所定数の交通参加者が一つの群として認識されている場合、判定部１４０は、運転者Ｐ１の視線方向ＳＤ１に群に含まれる交通参加者の少なくとも一部が存在する場合に、運転者Ｐ１がその群に含まれる全ての交通参加者を視認したと判定する。また、判定部１４０は、運転者Ｐ１の視線方向ＳＤ１に群に含まれる交通参加者の少なくとも一部が存在しない場合に、その群に含まれる全ての交通参加者を視認していないと判定する。
　図２の例において、車両Ｍの運転者Ｐ１の視線方向ＳＤ１（注視点ＶＰ１）には、群ＧＲ１に含まれる３人の交通参加者ＯＢ１～ＯＢ３のうち、交通参加者ＯＢ２が存在している。したがって、判定部１４０は、群ＧＲ１に含まれる交通参加者ＯＢ１～ＯＢ３の全てを運転者Ｐ１が視認したと判定する。また、図２の例において、判定部１４０は、交通参加者ＯＢ４～ＯＢ７については運転者Ｐ１が視認していないと判定する。
　ＨＭＩ制御部１６０は、運転者Ｐ１が視認していないと判定された交通参加者ＯＢ４～ＯＢ７のうち、車両Ｍとの相対距離が所定距離（第２所定距離）未満となった交通参加者が存在する場合、或いは、車両Ｍとの接触余裕時間ＴＴＣが閾値未満である交通参加者が存在する場合に、車両Ｍの周囲に交通参加者が存在することを示す情報や、車両Ｍから見てその交通参加者が存在する方向、交通参加者の属性等を示す情報、注意喚起を促す情報等を、画像や音声等でＨＭＩ３０に出力させて運転者Ｐ１に通知する。接触余裕時間ＴＴＣは、例えば、車両Ｍと交通参加者との相対距離から相対速度を除算することで算出される値である。
　また、ＨＭＩ制御部１６０は、認識部１１０により複数の交通参加者が一つの群として認識されている場合に、群の位置や速度に基づいて上述した通知に関する判定を行ってもよい。例えば、図２の例では、交通参加者ＯＢ６およびＯＢ７が属する群ＧＲ２の位置（例えば、交通参加者ＯＢ６およびＯＢ７の平均位置）や速度（例えば、速度ＶＯＢ６およびＶＯＢ７の平均速度）に基づいて上述した通知に関する判定が実行される。
　また、ＨＭＩ制御部１６０は、上記の通知に加えて（または代えて）、車両Ｍが交通参加者との接触を回避するための運転操作に関する情報を通知してもよい。また、ＨＭＩ制御部１６０は、通知後に運転者Ｐ１がその交通参加者を視認したと判定された場合に通知を終了する。また、判定部１４０は、予測部１３０により予測された交通参加者（または一つの群）の将来の位置と、運転者Ｐ１の視線方向とに基づいて、運転者が交通参加者を近い将来に視認するか否かを判定してもよい。近い将来に視認すると判定された場合、ＨＭＩ制御部１６０は、その交通参加者に対する通知を行わないように制御してもよい。
　また、運転制御部１５０は、車両Ｍとの相対距離が第２所定距離未満となった交通参加者が存在する場合、或いは、車両Ｍとの接触余裕時間ＴＴＣが閾値（第２閾値）未満である交通参加者が存在する場合に、車両Ｍの操舵または速度のうち、一方または双方を制御して、車両Ｍと交通参加者（または群）との接触を回避する運転制御を実行してもよい。この場合、運転制御部１５０は、予測部１３０により予測された交通参加者（または群）の将来の行動予測結果に基づいて接触を回避する運転制御を実行してもよい。
　このように、車両Ｍの周辺に、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、一つの群として認識し、群衆単位で視認判定を行うことで、視野範囲に含まれると予測される交通参加者に対して個々に視認判定を行うことがなく、より効率的な視認判定が実現できる。また、視認判定の処理負荷を軽減できると共に、処理時間が短縮できるため、より適切なタイミングで運転者Ｐ１が見落としている交通参加者等の情報を運転者Ｐ１に通知することができる。
　なお、第１の実施形態における上述した所定範囲は、例えば、車両Ｍから特定の属性の交通参加者（群に含めるか否かを判断する交通参加者）までの距離に応じて調整されてよい。図３は、所定範囲が調整されることについて説明するための図である。図３の例では、図２で示した車線Ｌ１上に存在する車両Ｍと、交通参加者ＯＢ１～ＯＢ３を示している。視野範囲は、運転者Ｐ１から遠くなるのにつれて所定角度で広がるため、逆に注視点ＶＰ１までの距離が近いと視野範囲も狭くなる。したがって、認識部１１０は、交通参加者との距離が近くなるほど、一つの群として認識する範囲（所定範囲）を狭くする。または逆に、交通参加者との距離が遠くなるほど、一つの群として認識する所定範囲を広くしてもよい。
　例えば、図３の例では、車両Ｍと、車両Ｍに最も近い交通参加者ＯＢ２との走行車線Ｌ１の延伸方向に対する距離Ｄ２が、図２示す距離Ｄ１よりも短くなっている。言い換えると、運転者Ｐ１から交通参加者ＯＢ２までの距離は、図２に示す状況よりも短くなっている。そのため、認識部１１０は、一つの群として認識する所定領域を小さくし、交通参加者ＯＢ２、ＯＢ３を一つの群ＧＲ１＃として認識し、交通参加者ＯＢ１を群ＧＲ１＃から除外して認識する。これにより、視野範囲に応じた範囲で複数の交通参加者を群として認識することができ、視認を誤判定することを、より抑制することができる。
　また、認識部１１０は、車両Ｍからの距離が近いほど、一つの群に含まれる交通参加者の数を少なくしてもよく、更に車両Ｍから交通参加者までの距離が所定距離（第３所定距離）より短い場合に、群として認識しないようにしてもよい。これにより、車両Ｍから近い群ほど少人数または群として認識せずに個々の交通参加者を対象に視認判定が行われるため、車両Ｍに近い交通参加者ほど、視認判定の精度を向上させることができ、通知等による適切な運転支援を行うことができる。
　［処理フロー］
　以下、第１の実施形態の運転支援装置１００による一連の処理の流れを、フローチャートを用いて説明する。図４は、第１の実施形態の運転支援装置１００による処理の一例を示すフローチャートである。なお、以下では、運転支援装置１００により実行される処理のうち、主に第１の実施形態における視認判定処理を中心として説明する。本フローチャートの処理は、例えば、所定のタイミングまたは周期で繰り返し実行されてよい。
　図４の例において、認識部１１０は、車両Ｍの周辺状況を認識する（ステップＳ１００）。次に、判定部１４０は、車両Ｍの進行方向（例えば、前方）に交通参加者が存在するか否かを判定する（ステップＳ１１０）。交通参加者が存在すると判定した場合、判定部１４０は、特定の属性の交通参加者が所定範囲内に所定数以上存在するか否かを判定する（ステップＳ１３０）。特定の属性の交通参加者が所定範囲内に所定数以上存在すると判定した場合、認識部１１０は、所定数の交通参加者を一つの群（グループ）として認識する（ステップＳ１４０）。また、ステップＳ１３０の処理において、特定の属性の交通参加者が所定範囲内に所定数以上存在しないと判定した場合、認識部１１０は、認識した交通参加者を個々の交通参加者として認識する（ステップＳ１５０）。
　ステップＳ１４０またはＳ１５０の処理後、推定部１２０は、車両Ｍの運転者の視線方向を推定する（ステップＳ１６０）。次に、判定部１４０は、運転者の視線方向と、認識部１１０により認識された交通参加者とに基づいて交通参加者を視認したか否かを判定する（ステップＳ１７０）。なお、ステップＳ１７０の処理において、認識部１１０により所定数（複数）の交通参加者が一つの群として認識されている場合、判定部１４０は、一つの群に含まれる交通参加者のうち、少なくとも一部（一人）を視認したか否かを判定する。視認していないと判定した場合、ＨＭＩ制御部１６０は、交通参加者の存在を通知するための画像や音声を生成してＨＭＩ３０に出力し、運転者に通知する（ステップＳ１８０）。これにより、本フローチャートの処理は、終了する。
　また、ステップＳ１１０の処理において、交通参加者が存在しないと判定された場合、または、ステップＳ１７０の処理において、交通参加者を視認したと判定した場合、本フローチャートの処理は、終了する。
　以上説明した第１の実施形態によれば、運転支援装置１００において、車両Ｍの周辺状況を認識する認識部１１０と、車両Ｍの運転者の視線方向を推定する推定部１２０と、視線方向に基づいて認識部１１０により認識された車両Ｍの周辺の交通参加者を運転者が視認したか否かを判定する判定部１４０と、を備え、認識部１１０は、交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する前記交通参加者を一つの群として認識し、判定部１４０は、運転者の視線方向に群に含まれる交通参加者の少なくとも一部が存在する場合に、運転者が群に含まれる交通参加者を視認したと判定することにより、運転者が周囲の交通参加者を視認したか否かを、より効率的に判定することができる。
　例えば、第１の実施形態によれば、交通参加者ごとに視認判定を行う必要がなく、更に交通参加者と通信することなく、複数の交通参加者を群としてクラスタリングすることができる。これにより、視認判定に係る処理負荷を軽減させると共に、処理時間を短縮できる。また、第１の実施形態によれば、周囲に存在する交通参加者の存在を、より適切に車両の運転者に通知することができる。
　（第２の実施形態）
　次に、運転支援装置１００の第２の実施形態について説明する。第２の実施形態では、図１に示す車両システム１（運転支援装置１００）と同様の構成を適用できる。したがって、第２の実施形態では、図１に示す車両システム１の構成と同様の構成を用いるものとし、主に第１の実施形態との相違点を中心として説明し、それ以外の説明は省略するものとする。
　［第２の実施形態における交通参加者の視認判定］
　第２の実施形態において、判定部１４０は、認識部１１０により認識された交通参加者のうち、運転者が視認したと判定した交通参加者が存在する場合に、その交通参加者から所定距離（第４所定距離）以内に存在する別の交通参加者も運転者が視認したと判定する。図５は、第２の実施形態における視認判定の内容について説明するための図である。図５の例では、運転者Ｐ１の運転により車線Ｌ１を延伸方向に沿って速度ＶＭで走行する車両Ｍの前方に交通参加者ＯＢ１１～ＯＢ１３が存在している。交通参加者ＯＢ１１～ＯＢ１３は、それぞれ速度ＶＯＢ１１～ＶＯＢ１３で図５に示す矢印方向に移動している。
　図５の例に示すように、車両Ｍの運転者Ｐ１の視線方向ＳＤ２に交通参加者ＯＢ１３が存在する場合、判定部１４０は、交通参加者ＯＢ１３を視認したと判定する。この場合、判定部１４０は、交通参加者ＯＢ１３の位置（例えば、カメラ画像の画面平面上に視線方向ＳＤ２を射影した注視点ＶＰ２または交通参加者ＯＢ１３の画像領域の中心位置）を基準として第４所定距離以内に別の交通参加者が存在する場合に、その別の交通参加者も視認したと判定する。図５の例では、交通参加者ＯＢ１３の位置から第４所定距離以内の領域ＡＲ１が示されている。判定部１４０は、領域ＡＲ１内に存在する別の交通参加者ＯＢ１１～ＯＢ１２も視認したと判定する。これにより、交通参加者ごとに視認したか否かを判定する必要がなく、効率的に視認判定を行うことができ、処理負荷を軽減させると共に処理時間を短縮できる。
　なお、第４所定距離は、運転者Ｐ１の視線方向ＳＤ２等に応じて調整されてよい。図６は、視線方向ＳＤ２に対する第４所定距離の調整について説明するための図である。例えば、第４所定距離は、運転者Ｐ１の視線方向ＳＤ２に延伸する方向と、視線方向ＳＤ２に直交する方向とで異ならせる。例えば、視線方向ＳＤ２（注視点ＶＰ２）の延伸方向付近の物体は視認度が高くなり、視線方向ＳＤ２から離れるほど（視野角度が大きくなるほど）、その物体の視認度は低くなる。したがって、第４所定距離は、基準位置（例えば、視認された交通参加者ＯＢ１３の位置）からの方向が、視線方向ＳＤ２に延伸する方向に近いほど長く、視線方向ＳＤの直交方向に近いほど短くなるように調整される。
　図６の例では、第４所定距離が調整された領域ＡＲ１が、視線方向ＳＤ２に位置する交通参加者ＯＢ１３の位置を中心として長径Ａ１、短径Ａ２とする楕円形状で示されているが、これに限定されるものではなく、例えば道路形状や視認された交通参加者ＯＢ１３の道路上の位置および速度ＶＯＢ１３に基づいて、交通参加者ＯＢ３の前後の距離を異ならせたり、左右の距離を異ならせてもよい。更に、領域ＡＲ１の外周が曲線状ではなく、非曲線状に形成されてよい。これにより、運転者Ｐ１の視認度がより高いと予測される位置に存在する別の交通参加者をまとめて視認したと判定することができる。
　また、第２の実施形態において、判定部１４０は、複数の交通参加者のうち一人の交通参加者を視認したと判定した場合には、その周囲（第４所定距離以内）の交通参加者も視認したと判定したが、第４所定距離以内に存在する別の交通参加者のリスク値が閾値以上である場合には、その別の交通参加者を視認していないと判定してもよい。リスク値とは、例えば、交通参加者の移動量や行動予測結果に基づく車両Ｍとの接触可能性の高さを示す指標値である。なお、第２の実施形態において、リスク値は、推定部１２０で推定される。
　図７は、リスク値の推定について説明するための図である。図７の例では、車両Ｍの走行車線Ｌ１内であって、車両Ｍの進行方向（前方）に交通参加者ＯＢ１１～ＯＢ１４が存在する。また、図７の例では、運転者Ｐ１の視線方向ＳＤ２に存在する交通参加者ＯＢ１３を基準とした第４所定距離の領域ＡＲ１内に別の交通参加者ＯＢ１１、ＯＢ１２、ＯＢ１４が存在するものとする。
　この場合、推定部１２０は、別の交通参加者ＯＢ１１、ＯＢ１２、ＯＢ１４のそれぞれのリスク値を推定する。例えば、推定部１２０は、別の交通参加者の速度ＶＯＢ等の基づく移動量に応じてリスク値を推定する。この場合、推定部１２０は、移動量が大きいほどリスク値を大きくする。また、推定部１２０は、交通参加者の現在の速度（移動量）に加えて、予測部１３０の行動予測結果に基づく将来の移動量も含めてリスク値を推定してもよい。
　また、推定部１２０は、交通参加者の属性に応じてリスク値を推定してもよい。この場合、推定部１２０は、交通参加者の属性が子供である場合には、大人である場合に比べてリスク値を高くする。また、推定部１２０は、交通参加者の属性が自転車である場合には、歩行者である場合よりもリスク値を高くする。なお、推定部１２０は、交通参加者が車両Ｍの走行車線Ｌ１の中央付近に近いほど、リスク値を高くしてもよい。また、推定部１２０は、予測部１３０により予測された将来の車両Ｍの予測位置と、交通参加者の将来の行動予測結果とに基づき、接触可能性が高い交通参加者のリスク値を大きくしてもよい。推定部１２０は、上述したそれぞれのリスク値の設定条件の幾つかを組み合わせて最終的なリスク値を推定してもよい。
　図７の例において、交通参加者ＯＢ１４は子供であり、車線中央に近い位置に存在するためリスク値が閾値以上となり、交通参加者ＯＢ１１およびＯＢ１２のリスク値が閾値未満であるものとする。この場合、判定部１４０は、図７の例において、運転者Ｐ１が交通参加者ＯＢ１３を視認したと判定した場合に、交通参加者かＯＢ１３から第４所定距離内（領域ＡＲ１内）に存在する交通参加者ＯＢ１１およびＯＢ１２も視認したものとして判定し、交通参加者ＯＢ１４については視認していないと判定する。
　ＨＭＩ制御部１６０は、運転者Ｐ１が視認していないと判定された交通参加者と車両Ｍとの相対距離が所定距離（第５所定距離）以内である場合、または、その交通参加者に対する接触余裕時間ＴＴＣが閾値（第３閾値）未満である場合に、交通参加者が存在することを示す情報（画像や音声）をＨＭＩ３０に出力させて運転者Ｐ１に通知を行う。
　また、運転制御部１５０は、車両Ｍとの相対距離が第５所定距離未満となった交通参加者が存在する場合、或いは、車両Ｍとの接触余裕時間ＴＴＣが第３閾値未満である交通参加者が存在する場合に、車両Ｍの操舵または速度のうち、一方または双方を制御して、車両Ｍと交通参加者（または群）との接触を回避する運転制御を実行してもよい。
　［処理フロー］
　以下、第２の実施形態の運転支援装置１００による一連の処理の流れを、フローチャートを用いて説明する。図８は、第２の実施形態の運転支援装置１００による処理の一例を示すフローチャートである。なお、以下では、主に第２の実施形態における視認判定処理を中心として説明する。本フローチャートの処理は、例えば、所定のタイミングまたは周期で繰り返し実行されてよい。
　図８の例において、認識部１１０は、車両Ｍの周辺状況を認識する（ステップＳ２００）。次に、判定部１４０は、車両Ｍの進行方向（例えば、前方）に交通参加者が存在するか否かを判定する（ステップＳ２１０）。車両Ｍの進行方向に交通参加者が存在すると判定した場合、推定部１２０は、車両Ｍの運転者の視認方向を推定する（ステップＳ２２０）。次に、判定部１４０は、推定された運転者の視認方向と交通参加差の位置等に基づき交通参加者を視認したか否かを判定する（ステップＳ２３０）。交通参加者を視認したと判定した場合、判定部１４０は、交通参加者から所定距離（第４所定距離）以内に存在する別の交通参加者が存在するか否かを判定する（ステップＳ２４０）。別の交通参加者が存在すると判定された場合、運転者が別の交通参加者も認識したと判定する（ステップＳ２５０）。
　また、ステップＳ２３０の処理において、交通参加者を視認していないと判定された場合、ＨＭＩ制御部１６０は、交通参加者が存在することを示す情報をＨＭＩ３０に出力させて運転者に通知を行う（ステップＳ２６０）。これにより、本フローチャートの処理は、終了する。また、ステップＳ２１０の処理において、交通参加者が存在しない場合、または、ステップＳ２４０の処理において、交通参加者から第４所定距離以内に存在する別の交通参加者が存在しないと判定された場合、本フローチャートの処理は、終了する。
　以上説明した第２の実施形態によれば、運転支援装置１００において、車両Ｍの周辺状況を認識する認識部１１０と、車両Ｍの運転者の視線方向を推定する推定部１２０と、視線方向に基づいて認識部１１０により認識された車両Ｍの周辺の交通参加者を運転者が視認したか否かを判定する判定部１４０と、を備え、判定部１４０は、交通参加者のうち運転者が視認したと判定される交通参加者から第４所定距離以内に存在する別の交通参加者も運転者が視認したと判定することにより、運転者が周囲の交通参加者を視認したか否かを、より効率的に判定することができる。
　例えば、第２の実施形態によれば、運転者の視線方向に応じて上述した所定距離を調整することで、視認した交通参加者付近に存在し、視認している可能性が高い別の交通参加者を視認していると判定することができる。これにより、視認判定処理の精度を向上させることができる共に、処理負荷の軽減や処理時間の短縮を実現できる。また、第２の実施形態によれば、周囲に存在する交通参加者の存在を、より適切に車両の運転者に通知することができる。
　［変形例］
　上述した第１および第２の実施形態のそれぞれは、他の実施形態の一部または全部を組み合わせてもよい。例えば、周辺に存在する交通参加者の属性に応じて第１の実施形態における視認判定（第１の視認判定）と、第２の実施形態における視認判定（第２の視認判定）とを切り替えてもよい。また、交通参加者の速度や認識部１１０により認識された交通参加者の数、道路状況に応じて第１と第２の視認判定を切り替えてもよい。
　また、上述した第１および第２の実施形態において、交通参加者が停止している場合または所定速度未満で移動している場合には、既に交通参加者が車両Ｍに気付いて立ち止まっている、または減速している可能性が高く、交通参加者が所定速度以上で移動している場合と比較して車両Ｍと接触する可能性が低い。そのため、ＨＭＩ制御部１６０は、運転者が視認していないと判定された交通参加者のうち、速度が所定速度以上の交通参加者が存在する場合に、通知を行うようにしてもよい。これにより、接触する可能性が高い交通参加者を優先して通知することができる。
　また、第２の実施形態において、判定部１４０は、運転者が視認したと判定される交通参加者を基準として所定距離以内の領域ＡＲ１を視認済み領域として設定してもよい。この場合、判定部１４０は、視認済み領域として設定してから所定時間が経過するまでの間、その領域ＡＲ１に後から進入した交通参加者も視認したと判定する。また、視認済み領域の基準となっている交通参加者が移動した場合、領域ＡＲ１の位置も交通参加者に追従して移動させてよい。これにより、交通参加者単体ではなく、視認済みエリア（領域ＡＲ１）に新たに進入した交通参加者を視認済みとして処理することができる。また、上記の例において、領域ＡＲ１が視認済み領域として設定されてから所定時間が経過した後は、視認済み領域の設定を解除してもよい。
　上記説明した実施形態は、以下のように表現することができる。
　コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
　前記記憶媒体に接続されたプロセッサと、を備え、
　前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）、
　車両の周辺状況を認識し、
　前記車両の運転者の視線方向を推定し、
　前記視線方向に基づいて前記認識部により認識された前記車両の周辺の交通参加者を前記運転者が視認したか否かを判定し、
　前記交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する前記交通参加者を一つの群として認識し、
　前記運転者の視線方向に前記群に含まれる交通参加者の少なくとも一部が存在する場合に、前記運転者が前記群に含まれる交通参加者を視認したと判定する、
　運転支援装置。
　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
　１　　　車両システム
　１０　　カメラ
　１２　　レーダ装置
　１４　　ＬＩＤＡＲ
　１５　　ソナー
　１６　　物体認識装置
　２０　　通信装置
　３０　　ＨＭＩ
　３２　　表示部
　３４　　スピーカ
　４０　　車両センサ
　５０　　ドライバモニタカメラ
　８０　　運転操作子
　１００　運転支援装置
　１１０　認識部
　１２０　推定部
　１３０　予測部
　１４０　判定部
　１５０　運転制御部
　１６０　ＨＭＩ制御部
　１８０　記憶部
　Ｍ　　　車両

Claims (7)

  1. 　車両の周辺状況を認識する認識部と、
    　前記車両の運転者の視線方向を推定する推定部と、
    　前記視線方向に基づいて前記認識部により認識された前記車両の周辺の交通参加者を前記運転者が視認したか否かを判定する判定部と、を備え、
    　前記認識部は、前記交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する前記交通参加者を一つの群として認識し、
    　前記判定部は、前記運転者の視線方向に前記群に含まれる交通参加者の少なくとも一部が存在する場合に、前記運転者が前記群に含まれる交通参加者を視認したと判定する、
    　運転支援装置。
  2. 　前記判定部は、前記認識部により認識された交通参加者のうち一つの群として認識されていない交通参加者が存在する場合に、前記運転者の視線方向に基づいて前記運転者が前記交通参加者を視認したか否かを判定する、
    　請求項１に記載の運転支援装置。
  3. 　前記所定範囲内は、前記車両から前記特定の属性の交通参加者までの距離に応じて調整される、
    　請求項１に記載の運転支援装置。
  4. 　前記認識部により認識された交通参加者の将来の行動を予測する予測部を更に備え、
    　前記予測部は、前記認識部により前記群として認識された交通参加者が存在する場合に、前記群ごとに将来の行動を予測する、
    　請求項１に記載の運転支援装置。
  5. 　前記運転者が視認していない交通参加者が存在する場合に前記運転者に通知を行う通知部を更に備える、
    　請求項１に記載の運転支援装置。
  6. 　コンピュータが、
    　車両の周辺状況を認識し、
    　前記車両の運転者の視線方向を推定し、
    　前記視線方向に基づいて、認識した前記車両の周辺の交通参加者を前記運転者が視認したか否かを判定し、
    　前記交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する前記交通参加者を一つの群として認識し、
    　前記運転者の視線方向に前記群に含まれる交通参加者の少なくとも一部が存在する場合に、前記運転者が前記群に含まれる交通参加者を視認したと判定する、
    　運転支援方法。
  7. 　コンピュータに、
    　車両の周辺状況を認識させ、
    　前記車両の運転者の視線方向を推定させ、
    　前記視線方向に基づいて、認識された前記車両の周辺の交通参加者を前記運転者が視認したか否かを判定させ、
    　前記交通参加者のうち、特定の属性の交通参加者が所定範囲内に所定数以上存在する場合に、所定範囲内に存在する前記交通参加者を一つの群として認識させ、
    　前記運転者の視線方向に前記群に含まれる交通参加者の少なくとも一部が存在する場合に、前記運転者が前記群に含まれる交通参加者を視認したと判定させる、
    　プログラム。
PCT/JP2023/013213 2023-03-30 2023-03-30 運転支援装置、運転支援方法、およびプログラム WO2024201901A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/013213 WO2024201901A1 (ja) 2023-03-30 2023-03-30 運転支援装置、運転支援方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/013213 WO2024201901A1 (ja) 2023-03-30 2023-03-30 運転支援装置、運転支援方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024201901A1 true WO2024201901A1 (ja) 2024-10-03

Family

ID=92904356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013213 WO2024201901A1 (ja) 2023-03-30 2023-03-30 運転支援装置、運転支援方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2024201901A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216003A (ja) * 2010-04-01 2011-10-27 Toyota Motor Corp 障害物認識装置
JP2020166542A (ja) * 2019-03-29 2020-10-08 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援方法、運転支援プログラム及び車両

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216003A (ja) * 2010-04-01 2011-10-27 Toyota Motor Corp 障害物認識装置
JP2020166542A (ja) * 2019-03-29 2020-10-08 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援方法、運転支援プログラム及び車両

Similar Documents

Publication Publication Date Title
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
CN111824126B (zh) 车辆控制系统
CN109421799B (zh) 车辆控制装置、车辆控制方法及存储介质
US11180163B2 (en) Vehicle control system
CN111824127B (zh) 车辆控制系统
US20200307573A1 (en) Vehicle control system
JP7075908B2 (ja) 車両制御システム
JP4517393B2 (ja) 運転支援装置
JP2013171439A (ja) 運転支援装置
JP7489415B2 (ja) 運転支援装置、運転支援方法、およびプログラム
WO2024201901A1 (ja) 運転支援装置、運転支援方法、およびプログラム
WO2024201906A1 (ja) 運転支援装置、運転支援方法、およびプログラム
JP7184694B2 (ja) 車両制御システム
WO2024189761A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240109550A1 (en) Control device, control method, and storage medium
JP7489420B2 (ja) 運転支援装置、運転支援方法、およびプログラム
JP7489419B2 (ja) 運転支援装置、運転支援方法、およびプログラム
US20240326806A1 (en) Vehicle control device, vehicle control method, and storage medium
WO2024189766A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7461989B2 (ja) 運転支援装置、運転支援方法、およびプログラム
CN115123140B (zh) 车辆用座椅安全带装置、张力控制方法及存储介质
US12142057B2 (en) Information recording device, information recording method, and storage medium
US20240109554A1 (en) Control device, control method, and storage medium
WO2024201900A1 (ja) 運転支援装置、運転支援方法、およびプログラム
US20230322231A1 (en) Vehicle control device, vehicle control method, and storage medium