Nothing Special   »   [go: up one dir, main page]

WO2015071924A1 - 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム - Google Patents

運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム Download PDF

Info

Publication number
WO2015071924A1
WO2015071924A1 PCT/JP2013/006638 JP2013006638W WO2015071924A1 WO 2015071924 A1 WO2015071924 A1 WO 2015071924A1 JP 2013006638 W JP2013006638 W JP 2013006638W WO 2015071924 A1 WO2015071924 A1 WO 2015071924A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
driving support
driving
driving assistance
posting
Prior art date
Application number
PCT/JP2013/006638
Other languages
English (en)
French (fr)
Inventor
尚之 対馬
村山　修
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2013/006638 priority Critical patent/WO2015071924A1/ja
Priority to US15/029,564 priority patent/US10315516B2/en
Priority to EP13897512.3A priority patent/EP3070698B1/en
Priority to JP2015547278A priority patent/JP6203281B2/ja
Priority to CN201380080870.8A priority patent/CN105723431B/zh
Publication of WO2015071924A1 publication Critical patent/WO2015071924A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523—Matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a driving support image generation device, a driving support image display device, a driving support image display system, and a driving support image generation program that support driving by displaying a posting on or around a road on a display unit in the vehicle. It is about.
  • Traffic signs indicating information such as speed limit and parking prohibition are posted on the road.
  • a vehicle occupant visually recognizes this traffic sign, but it is necessary to shift the line of sight to the traffic sign, and the occupant often misses the traffic sign.
  • a passenger overlooks such a traffic sign he / she can obtain an image of the scenery ahead of the road with a camera installed on the vehicle and recognize the traffic sign from the acquired image.
  • a technique for displaying on a display unit has been devised (for example, Patent Document 1).
  • Patent Document 1 only displays the latest traffic sign image captured by the camera on the display unit. Therefore, in the technique described in Patent Document 1, images of a plurality of traffic signs cannot be confirmed retroactively, which is inconvenient. In particular, when multiple signs are posted continuously while the vehicle is running, the next traffic sign is displayed before confirming the displayed traffic sign because the traffic sign is displayed continuously. It was necessary to check again.
  • the present invention provides a driving support image generation device, a driving support image display device, a driving support image display system, and a driving device capable of confirming a posting such as a traffic sign in the past.
  • An object is to provide a support image generation program.
  • the driving support image generation device of the present invention stores a driving support image storage unit that stores a plurality of driving support images indicating the posting contents of the posted items on the road or around the road, and is stored in the driving support image storage unit.
  • An image generation unit that selects one or a plurality of driving support images based on a preset priority order from the driving support images, and generates an image to be displayed on a display unit in the vehicle using the selected driving support images; It is characterized by providing.
  • the driving support image display device of the present invention is a driving support image display device that includes a display unit that displays a driving support image indicating the posting content of a posting posted on or around a road, wherein the display unit includes the display unit An image including a driving assistance image indicating the contents of one or a plurality of postings selected based on a preset priority order among a plurality of postings posted on or around the road on which the vehicle has passed is displayed. It is characterized by doing.
  • the driving assistance image display system of the present invention is an imaging device that captures images posted on a road or around the road, and a driving that stores a plurality of driving assistance images indicating posted contents of the postings imaged by the imaging device.
  • One or a plurality of driving assistance images are selected based on a preset priority order from driving assistance images stored in the assistance image storage unit and the driving assistance image storage unit, and are displayed based on the selected driving assistance images.
  • An image generation unit that generates an image
  • a driving assistance image display device that includes a display unit in a vehicle that displays the image generated by the image generation unit.
  • the driving support image generation program of the present invention is a process for storing the driving support image in a driving support image storage unit that stores a plurality of driving support images indicating the posting contents of the postings posted on the road or around the road, One or a plurality of driving assistance images are selected from driving assistance images stored in the driving assistance image storage unit based on a preset priority order, and are displayed on a display unit in the vehicle using the selected driving assistance images.
  • An image generation process for generating an image is executed by a computer.
  • the driving support image generation device can display a plurality of driving support images indicating the contents of the posted items, The driving support image can be confirmed retroactively.
  • FIG. 1 is a configuration diagram of a driving assistance image display system according to Embodiment 1.
  • FIG. It is a block diagram of the driving assistance image display system which concerns on Embodiment 1, and is a figure which shows the structure of a driving assistance image generation part in detail. It is a figure explaining the pattern matching of the posting thing recognition process part which concerns on Embodiment 1.
  • FIG. 3 is an example of a selection screen according to the first embodiment. It is an example which displays time on the selection screen concerning Embodiment 1.
  • FIG. 4 is an operation flowchart of the driving assistance image display system according to the first embodiment.
  • Embodiment 3 is an example of a captured image captured by the imaging apparatus according to Embodiment 1; It is an example of the driving assistance image which the posting thing recognition process part which concerns on Embodiment 1 cut out. It is a block diagram of the driving assistance image display system which concerns on Embodiment 3, and is a figure which shows the structure of a driving assistance image generation part in detail. 12 is an operation flowchart of the driving assistance image display system according to the third embodiment. It is an example of the table which matched the identification information which the posting thing content determination part 44 which concerns on Embodiment 3 has, and the content of a posting. 10 is an example of a selection screen according to the third embodiment.
  • FIG. 18 is an example of a selection screen generated by the image generation unit according to the sixth embodiment. It is another example of the selection screen which the image generation part which concerns on Embodiment 6 produces
  • Embodiment 1 FIG.
  • the configuration of the driving assistance image display system according to Embodiment 1 of the present invention will be described with reference to FIG.
  • the driving support image display system includes an imaging device 1, a navigation device 2, a display unit 3, a driving support image generation unit 4, and an operation input unit 5.
  • the imaging device 1, the navigation device 2, the display unit 3, the driving support image generation unit 4, and the operation input unit 5 are connected by a vehicle-mounted LAN 6 in a wired or wireless manner.
  • the display unit 3 and the driving support image generation unit 4 constitute a driving support image display device.
  • the imaging device 1 is a camera attached to the front outside of the vehicle, captures a landscape image including a posting on or around the road, and acquires it as an image.
  • the posting means display information such as a traffic sign installed on or around the road on which the vehicle travels, a signboard of a store, or characters painted on the road.
  • the bulletin board may be an electronic bulletin board that is posted on a road and displays information such as traffic congestion and chain regulation to the passenger.
  • the imaging device 1 captures a posting at a predetermined time interval, and outputs information related to the captured image to the driving assistance image generation unit 4 described later.
  • the imaging device 1 is not limited to capturing a landscape image including a posting at a predetermined time interval, and may be configured to capture an image when the posting appears in the imaging range of the imaging device 1. Good. Further, the mounting position of the imaging device 1 is set to the front outside of the vehicle as shown in FIG. 1, but it may be a position where the posting can be captured, and may be provided so as to capture the outside of the vehicle from inside the vehicle. . In the following description, a landscape image including a posting acquired by the imaging device 1 is a captured image.
  • the navigation device 2 includes position specifying means (not shown) for specifying the position of the vehicle by GPS (Global Positioning system) and the like, and guide means (not shown) for guiding the vehicle to a set destination or waypoint. In addition, the vehicle is guided to the destination and waypoint by setting the destination and waypoint by the passenger.
  • the driving assistance image generation unit 4 to be described later can acquire information on the destination, waypoint, and vehicle position from the navigation device 2.
  • the display unit 3 is an instrument panel on which instruments indicating information necessary for vehicle travel, such as a vehicle speedometer, tachometer, and fuel meter, are arranged. Image information from the driving support image generation unit 4 to be described later is displayed. In response, the corresponding image is displayed.
  • mechanical meters have been the mainstream for instrument panels, but in recent years, replacement from mechanical to non-mechanical displays has been progressing due to lower prices and larger screens of liquid crystal display devices and the like.
  • the instrument panel has a higher degree of freedom of content to be displayed, and can display a driving support image and a selection screen, which will be described later, and is particularly convenient.
  • the display part 3 is not restricted to an instrument panel, What is necessary is just what can display an image.
  • the display unit 3 may be a monitor that displays the guidance display of the navigation device 2, a head-up display installed in front of the windshield of the vehicle, and a mobile terminal such as a smartphone.
  • the driving support image generation unit 4 cuts out a posting from the captured image acquired by the imaging device 1 and generates an image of the posting (hereinafter referred to as a driving support image) to be displayed on the display unit 3.
  • a driving support image an image of the posting
  • a screen for the passenger to select a driving support image to be displayed on the display unit 3 (hereinafter referred to as a selection screen) is generated.
  • the operation input unit 5 is an input unit that a passenger operates to display the selection screen and the driving support image generated by the driving support image generation unit 4 on the display unit 3.
  • the operation input unit 5 may be, for example, a selection button, an instrument panel, or a touch panel such as a display of the navigation device 2 as long as it can instruct the display of the selection screen and the driving assistance image by the operation of the passenger.
  • the in-vehicle LAN 6 connects the imaging device 1, the navigation device 2, the display unit 3, the driving support image generation unit 4, and the operation input unit 5 with a wired or wireless connection.
  • the imaging device 1, the navigation device 2, the display unit 3, the driving support image generation unit 4, and the operation input unit 5 exchange information via the in-vehicle LAN 6.
  • FIG. 2 is a configuration diagram of the driving assistance image display system according to the first embodiment, and shows a detailed configuration of the driving assistance image generation unit.
  • the driving support image generation unit 4 includes a posted object recognition processing unit 41, a driving support image storage unit 42, and an image generation unit 43.
  • the posted object recognition processing unit 41 and the image generation unit 43 shown in FIG. 2 may be configured by hardware, or can be realized by causing a computer to execute a predetermined program.
  • the posted object recognition processing unit 41 recognizes the posted object from the captured image acquired by the imaging device 1, and cuts out the area recognized as the posted object.
  • a method such as pattern matching is used for the recognition of the posting.
  • the posting recognition unit 41 recognizes the posting by registering information related to the posting in advance and collating the captured image acquired from the imaging apparatus 1 with the shape and color of the registered posting. To do. For example, when a picked-up image including a blue and rectangular posting as shown in FIG. 3 is picked up by the image pickup apparatus 1, the posting recognition processing unit 41 selects a blue and rectangular one from the previously registered posting pattern. Search for.
  • the posted object recognition processing unit 41 recognizes the captured image in blue and rectangular as a posted object. When the posted object is recognized, the posted object recognition processing unit 41 cuts out the area recognized as the posted object.
  • the driving support image storage unit 42 stores the driving support image information and the identification information extracted by the posted object recognition processing unit 41 in the driving support image storage unit 42 in association with each other.
  • the identification information is information for identifying the stored driving assistance image, for example, vehicle position information obtained from the navigation device 2. Further, the identification information is not limited to vehicle position information, but may be information such as the time at which the image was taken, the content of the imaged bulletin, the image quality of the imaged bulletin, whether or not the passenger recognized the bulletin. Thereafter, in the process of the driving support image display system, when exchanging information on the driving support image, the driving support image can be identified by this identification information. In the present embodiment, the identification information is vehicle position information.
  • the image generation unit 43 generates a selection screen based on a preset display mode and causes the display unit 3 to display the selection screen.
  • the display mode is an operation procedure programmed in advance in the image generation unit 43, and determines a priority order of images to be displayed on a selection screen among a plurality of driving support images stored in the driving support image storage unit 42. .
  • the passenger can change the display mode of the image generation unit 43 by operating the operation input unit 5.
  • the image generation unit 43 displays the driving assistance images in the order in which the position where the bulletin is imaged is close to the current location.
  • the driving support image itself may be displayed on the selection screen, or identification information of the driving support image such as time may be displayed.
  • the passenger selects the identification information corresponding to the driving support image to be displayed.
  • FIG. 4 shows an example in which a driving support image is displayed on the selection screen based on the display mode.
  • the display mode is “in order of the position where the bulletin is imaged is close to the current location”
  • the first image displayed is the driving support image A where the position where the bulletin is imaged is closest to the current location.
  • the driving assistance images to be displayed can be switched. For example, when the selection button 31b is operated, the driving support image B next to the current location can be displayed. Subsequently, the driving support images C and D can be sequentially displayed by operating the selection button 31b. If the selection button 31a is operated, it returns to the previous driving assistance image.
  • the selection button 31 is operated by operating the cursor displayed on the selection screen of the display unit 3 with the operation input unit 5.
  • the operation input unit 5 is a touch panel provided on the display unit 3
  • the driving support image can be switched by the passenger pressing the selection button 31 of the display unit 3 directly with a finger.
  • FIG. 5 shows an example in which the time, which is identification information associated with the driving assistance image based on the display mode, is displayed on the selection screen.
  • the display mode is “in order of the position where the bulletin is imaged is close to the current location”
  • the first image displayed is the time when the bulletin closest to the current location was imaged.
  • the passenger can select the time corresponding to the driving assistance image to be displayed by operating the selection buttons 31a and 31b. For example, if you want to display a driving assistance image at a point where the passenger has passed 30 minutes ago, you can select the time 30 minutes before the current time, and drive the post imaged 30 minutes ago. Support images can be displayed.
  • a selectable display that is displayed according to the display mode, such as the driving support image of FIG.
  • the selection display is an icon or image for selecting a driving assistance image displayed on the display unit 3 by the passenger, and is displayed on the selection screen.
  • the driving support image generation unit 4 causes the display unit 3 to display a corresponding driving support image.
  • the selection display is, for example, the driving support image itself, the identification information itself, characters corresponding to the identification information, or the like, as long as the passenger can identify the desired driving support image.
  • the selection display when the identification information associated with the driving support image is the position information of the vehicle, for example, the name of an intersection may be used.
  • information related to the name of the intersection may be received from the navigation device 2 as the vehicle position information and stored in the driving assistance image storage unit 42 in association with the identification information. If the intersection name is selected and displayed, even if the vehicle travels from A station and passes the A station, the name of the intersection such as “A station square” is displayed as the selected display. The passenger can easily confirm the wrong road.
  • FIG. 6 is an operation flowchart of the driving assistance image display system according to the first embodiment.
  • FIG. 7 is an example of a captured image captured by the imaging apparatus according to the first embodiment.
  • FIG. 8 is an example of a driving assistance image cut out by the posted object recognition processing unit according to the first embodiment.
  • the display mode set in the image generation unit 43 by the passenger is in the order in which the positions where the posted images are captured are close to the current location.
  • the selection display displayed on the selection screen will be described using an example in which the driving support image itself is used.
  • the imaging device 1 captures images posted on the road or around the road.
  • the imaging device 1 captures a posting and obtains a captured image illustrated in FIG.
  • the shaded area in FIG. 7 is a background other than the posted object area.
  • the inside of the broken line part of FIG. 7 shows a posting.
  • the imaging device 1 outputs information on the captured image to the driving support image generation unit 4.
  • the posted object recognition processing unit 41 acquires information of the captured image from the imaging apparatus 1, and recognizes the posted object by pattern matching. In addition, the posted object recognition processing unit 41 cuts out the area (in the broken line part of FIG. 7) of the posted object recognized as the posted object by pattern matching, and obtains a driving support image (FIG. 8). The posted object recognition processing unit 41 acquires information on the captured image and also receives information on the position of the vehicle when the posted object is imaged from the navigation device 2 (hereinafter referred to as position information at the time of imaging).
  • the posted object recognition processing unit 41 stores the information of the driving support image obtained by cutting out in the driving support image storage unit 42 in association with the position information at the time of imaging.
  • the image generating unit 43 confirms whether there is a selection screen display instruction from the operation input unit 5. If there is an instruction to display the selection screen, the process proceeds to ST5 and generation of the selection screen is started. If there is no display instruction, steps ST1 to ST3 are repeated. In the following description, it is assumed that the driving support image generation unit 4 repeats ST1 to ST3 a plurality of times and stores a plurality of driving support images in the driving support image storage unit 42.
  • the image generation unit 43 acquires the vehicle position information (hereinafter referred to as generation position information) when generating the selection screen from the navigation device 2, and starts creating the selection screen.
  • generation position information the vehicle position information
  • the image generation unit 43 sequentially reads out the driving support images based on the set display mode, and generates a selection screen.
  • the display mode is “in order of the position where the bulletin is imaged is close to the current location”. Therefore, the image generation unit 43 compares the generation position information with the identification information indicating the imaging position information, reads the driving support image closest to the generation position information, and generates a selection display as shown in FIG. Then, a selection screen on which this selection display is arranged is generated.
  • the image generation unit 43 displays the generated selection screen on the display unit 3.
  • the passenger can replace the driving support image displayed on the selection screen by operating the selection button 31a and the selection button 31b.
  • the image generation unit 43 selects a driving assistance image in which identification information that is second closest to the generation position information is associated, Generate the selection screen again.
  • the operation of the selection button 31 is performed by the operation input unit 5.
  • ST5 and ST6 are repeatedly executed for each operation of the passenger's selection button 31.
  • the image generation unit 43 receives a driving support image display instruction and selects a driving support image corresponding to the selection display from the driving support image storage unit 42. Are read out and displayed on the display unit 3.
  • the driving assistance image display system stores a plurality of driving assistance images indicating postings, selects a driving assistance image based on the display mode, and generates a selection screen. It is possible to retrospectively check the posted items that the passenger missed, and to easily search the driver assistance image necessary for the passenger.
  • Embodiment 2 The second embodiment will be described below with reference to FIGS.
  • the driving assistance image display system according to the second embodiment is characterized in that the selection screen is generated using the position information of the destination or waypoint set in the navigation device 2 as the position information of the vehicle.
  • the configuration of the driving support image according to the second embodiment is the same as the configuration illustrated in FIGS. 1 and 2, and a description thereof is omitted.
  • the image generation unit 43 acquires the location information of the destination or waypoint set in the navigation device 2 instead of the location information at the time of generation.
  • the image generation unit 43 preferentially acquires the driving support image in which the acquired imaging position information close to the destination or waypoint is associated as identification information from the driving support image storage unit 42, and generates a selection screen. To do.
  • the driving support image display system can easily provide the driver with a driving support image indicating an intersection or the like that should have been turned when the vehicle has passed the destination. You can search.
  • FIG. 9 the configuration of the driving assistance image display system according to the second embodiment of the present invention will be described with reference to FIGS. 9 to 14.
  • portions corresponding to the configuration of the driving assistance image display system of Embodiment 1 are denoted by the same reference numerals as those in FIGS. 1 and 2, and description thereof is omitted.
  • the driving assistance image display system is characterized in that a selection screen is generated based on the content of the posting.
  • FIG. 9 is a configuration diagram of the driving assistance image display system according to the third embodiment, and shows a detailed configuration of the driving assistance image generation unit.
  • the driving support image generation unit 4 includes a posting content determination unit 44. 9 may be configured by hardware or can be realized by causing a computer to execute a predetermined program.
  • the posting content determination unit 44 determines the content of the driving support image cut out from the captured image by the posting recognition processing unit 41, and associates the identification information corresponding to the determined content of the posting with the driving support image. It memorize
  • the identification information indicates an identification number determined in advance based on the content of the posted material.
  • the contents of the posting are classifications such as traffic signs and store signs.
  • the contents of the posting may be further classified, for example, traffic signs indicating safety-related contents, traffic signs indicating speed restrictions, traffic signs indicating a route in a specific area, traffic signs indicating traffic jam information, chains It may be classified as a traffic sign indicating a restriction.
  • the posted matter content determination unit 44 has character recognition means (not shown), and recognizes characters in the posted matter and classifies the content.
  • character recognition means not shown
  • OCR Optical character recognition
  • the posting content determination part 44 demonstrated as what recognizes a character as a determination method of the content of a posting, it is not restricted to this, What is necessary is just to use the method which can determine the content of a posting.
  • pattern matching for specifying a posted item may be used by registering information related to the posted item in advance and collating the shape and color of the registered posted item with the driving support image.
  • the image generation unit 43 generates a selection screen based on the content of the posting determined by the posting content determination unit 44.
  • FIG. 10 is an operation flowchart of the driving assistance image display system according to the third embodiment.
  • FIG. 11 is an example of a table in which the identification information included in the posting content determination unit 44 according to Embodiment 3 is associated with the content of the posting.
  • FIG. 12 shows an example of a selection screen according to the third embodiment.
  • FIG. 13 shows an example of a selection screen generated by the image generation unit according to the third embodiment, in which the selection display is emphasized.
  • FIG. 11 is an example of a table in which the identification information included in the posting content determination unit 44 according to Embodiment 3 is associated with the content of the posting.
  • FIG. 12 shows an example of a selection screen according to the third embodiment.
  • FIG. 13 shows an example of a selection screen generated by the image generation unit according to the third embodiment, in which the selection display is emphasized.
  • FIG. 14 is an example of a selection screen generated by the image generation unit according to the third embodiment, and is a diagram that preferentially displays a posting that violates the laws and regulations.
  • steps corresponding to the operations of the driving assistance image display system according to Embodiment 1 are denoted by the same reference numerals as those in FIG. 6 and description thereof is omitted.
  • the display mode is set in the image generation unit 43 so that “posts related to safety are preferentially displayed”.
  • the posting content determination unit 44 acquires the driving assistance image generated in ST1 and ST2 from the posting recognition processing unit 41.
  • the posted content determination unit 44 determines the content of the acquired driving support image using character recognition or pattern matching.
  • the posted matter content determination unit 44 associates the driving support image whose content is recognized in ST31 with identification information corresponding to the content of the driving support image (posted item) and stores it in the driving support image storage unit 42. .
  • the posting content determination unit 44 previously classifies the content of the posting and stores a table in which the same identification information is associated with the same type of content, that is, the posting of the same category, based on this table. Determine identification information.
  • the content of the posting related to safety is associated with the row of identification information “1”.
  • the posting content determination unit 44 determines the content of the driving support image, and if it is determined that the posting support means “chain regulation”, the driving support image is associated with the identification information “1” to support driving.
  • the posting content determination unit 44 determines that the driving support image means “no right turn”, in ST32, the posting recognition processing unit 44 associates the driving support image with the identification information “2”. And stored in the driving support image storage unit 42.
  • the image generation unit 43 when there is an instruction to display a driving assistance image in ST4, the image generation unit 43 generates a selection screen.
  • the image generation unit 43 displays the driving support image associated with the identification information “1” indicating the safety-related posting because the display mode is “display with priority on the safety-related posting”.
  • the image generation unit 43 generates a selection screen using the driving support image obtained by the search.
  • the driving assistance image display system displays a selection screen, and the passenger operates the selection button 31 on this selection screen to display a desired driving assistance image.
  • the selection screen can preferentially display a driving assistance image related to safety.
  • FIG. 12A is a driving assistance image of a posting showing that it is slippery.
  • the image generation unit 43 includes a plurality of driving assistance images related to safety. It is also possible to display from the one closest to the current position of the vehicle. That is, it can be implemented in combination with the driving assistance image display system according to the first embodiment.
  • the driving assistance image display system may be configured such that only the selection screen related to safety is displayed on the selection screen and the others are not displayed.
  • the image generation unit 43 displays the selection display to be preferentially displayed on the selection screen based on the display mode, but in addition to changing the order.
  • a selection screen in which the driving support image is highlighted based on the set display mode may be generated.
  • a frame that emphasizes a driving assistance image related to safety in the selection screen may be synthesized.
  • the highlighting is not limited to a frame, but may be any display that can enhance the driving support image such as blinking of the driving support image, change of contrast, enlargement, and attachment of characters such as “danger”.
  • the image generation unit 43 is selected from an in-vehicle device (not shown) such as a speedometer when a display mode that prioritizes driving support images related to laws and regulations is selected.
  • Information related to the speed of the host vehicle may be acquired, and information that violates the speed regulation may be preferentially displayed.
  • the posting content determination unit 44 compares the content of the posting with information from an on-vehicle device such as a speedometer, and when it is in violation, the identification information indicating the violation is indicated as the driving support indicating the regulation speed of 50 km.
  • the image generation unit 43 searches for the driving support image determined to be in violation based on the identification information, and as shown in FIG. 14, the selection corresponding to the driving support image indicating the restriction speed 50 km in the upper left upper portion of the selection screen. Highlight the display.
  • the content of the posting may be image quality.
  • the posting content determination unit 44 includes an image quality determination unit (not shown) that determines that the image quality is poor when the image quality of the driving support image is equal to or less than a certain threshold, and when the image quality is determined to be poor.
  • the identification information indicating that the image is a driving support image with poor image quality is associated.
  • the image generation unit 43 can preferentially display a selection display of a driving assistance image with good image quality. With this configuration, it is possible to preferentially display the selection display of a driving assistance image with good image quality, and it is not necessary for the passenger himself to determine the image quality.
  • the driving support image display system displays the selection display indicating the driving support image on the selection screen, but is not limited thereto, and displays the selection display indicating the content of the driving support image. You may do it.
  • the type of the posting such as “guidance sign” and “regulation sign” may be displayed, or the contents of the posting such as “attention to falling rock” and “slow down” may be directly indicated.
  • the driving support image display system since the driving support image display system according to Embodiment 3 generates the selection screen based on the content of the posted material, the driving support necessary for the passenger when confirming the posted material retroactively. Image display can be preferentially displayed, and the search burden on the passenger can be reduced.
  • FIG. 15 is a configuration diagram of the driving assistance image display system according to the fourth embodiment, and shows a detailed configuration of the driving assistance image generation unit.
  • FIG. 16 is an operation flowchart of the driving assistance image display system according to the fourth embodiment.
  • the driving support image display system includes a line-of-sight detection determination device 7 that determines whether or not a posted object is recognized by detecting the line of sight of a passenger.
  • the line-of-sight detection determination device 7 includes a camera that is installed inside the vehicle and detects line-of-sight information indicating the direction of the line of sight of the passenger.
  • the line-of-sight detection determination device 7 constantly monitors the line-of-sight information and determines whether or not the passenger has recognized the posting.
  • the line-of-sight detection determination device 7 is connected to the imaging device 1, the navigation device 2, the display unit 3, and the driving support image generation unit 4 shown in FIG.
  • the line-of-sight detection determination device 7 is set with a predetermined time, and the passenger recognizes the posted object when the line of sight of the passenger is directed in the direction in which the posted object is located. It is determined that When it is determined that the occupant has not recognized the posting, the line-of-sight detection determination device 7 outputs recognition determination information indicating that the occupant has not recognized the posting to the posting recognition processing unit 41. .
  • FIG. 16 steps corresponding to the operations of the driving assistance image display system according to Embodiments 1 to 3 are denoted by the same reference numerals as those in FIGS. 6 and 10 and description thereof is omitted.
  • the line-of-sight detection determination device 7 determines whether or not the passenger has recognized the posting imaged in ST1. In ST1 and ST2, the line-of-sight detection determination unit 7 detects the line-of-sight information of the passenger. The line-of-sight detection determination device 7 outputs recognition determination information to the posted object recognition processing unit 41 when it is determined that the passenger does not recognize the posted image captured by the imaging device 1.
  • the driving support image generation unit 4 executes the process of ST511 when receiving an operation for displaying the selection screen from the operation input unit 5 in ST4.
  • the image generation unit 43 preferentially acquires the driving support image associated with the identification information indicating that the passenger does not recognize the posting from the driving support image storage unit 42, and generates the selection screen. To do.
  • the line-of-sight detection determining device 7 outputs the recognition determination information to the posted object recognition processing unit 41 when it is determined that the occupant has not recognized the imaged posted object.
  • the detection determination device 7 outputs the recognition determination information to the image generation unit 43 and the image generation unit 43 receives the recognition determination information, the selection screen may be generated.
  • the driving assistance image display system preferentially displays the postings that are not recognized by the passenger on the selection screen, so the passenger confirms the postings retroactively. In this case, it is possible to easily check the posted items that have been missed.
  • Embodiment 5 FIG.
  • the driving assistance image display system according to Embodiment 5 displays one or more driving assistance images with the highest priority without generating a selection screen.
  • FIG. 17 is an operation flowchart of the driving assistance image display system according to the fifth embodiment.
  • portions corresponding to the operations of the driving assistance image display system of the first embodiment are denoted by the same reference numerals as in FIGS. 6, 10, and 16, and description thereof is omitted.
  • the configuration of the driving support image display system according to the fifth embodiment is the same as that shown in FIGS. 1, 2, 9, and 15, and the description thereof is omitted.
  • the image generation unit 43 confirms whether there is an instruction to display a driving support image from the operation input unit 5. If there is an instruction to display the driving support image, the process proceeds to ST7 and the driving support image is read according to the set display mode and displayed on the display unit 3. In the operation of displaying the driving support image, the image generation unit 43 may read and display the driving support image for each display instruction in the order according to the display mode, or read the driving support image collectively in advance and display the display instruction. You may make it display sequentially for every.
  • the image generation unit 43 may be configured to automatically display a driving assistance image regardless of the display instruction of ST4111. For example, when the regulation information is violated, an image of a posting related to the regulation information is displayed as a driving support image.
  • the driving assistance image display system displays the driving assistance image with the highest priority in accordance with the display mode without displaying the selection screen. It can be omitted.
  • FIG. 18 is an example of a selection screen generated by the image generation unit according to the sixth embodiment.
  • FIG. 19 is another example of the selection screen generated by the image generation unit according to the sixth embodiment.
  • one selection display or driving assistance image is displayed on the display unit 3, but a plurality of selection displays or driving assistance images are simultaneously displayed. It can also be configured to display.
  • the image generation unit 43 may generate a selection screen on which a plurality of selection displays are displayed simultaneously as shown in FIG. Also in this case, the image generation unit 43 generates the selection display in the order based on the display mode. For example, when the display mode is the order in which the postings are captured, the images are displayed in the order of upper left, upper right, right center, left center, lower left, and lower right in FIG. Note that the order is not limited to this, and can be appropriately changed such as displaying in the order of upper right, upper left, right center, left center, lower right, and lower left.
  • the image generation unit 43 displays one category of postings, but may display a plurality of categories of postings simultaneously.
  • the image generation unit 43 may display “postings regarding intersections” and “postings regarding safety and regulations” as categories to be displayed on the display unit 3.
  • “postings regarding intersections” are displayed on the left half of the selection screen, and “postings regarding safety and regulations” are displayed on the right half of the selection screen.
  • a display for example, “intersection”, “safety and regulation” for selecting the category of the posting material to be displayed may be provided, and only the posting material of the selected category may be displayed on the display unit 3.
  • the user wants to check a bulletin related to safety and regulation that the passenger has missed, only the bulletin related to safety and regulation can be preferentially displayed by selecting “safety and regulation”.
  • a plurality of display units 3 may be provided to simultaneously display a selection screen for each posting of different categories.
  • the image generation unit 43 causes one display unit 3 to display a driving support image on “postings regarding intersections” and causes the other display unit 3 to display “postings regarding safety and regulations”. You can also
  • the image generation unit 43 according to the present embodiment is also applicable to the driving assistance image display system according to the fifth embodiment that displays the driving assistance image with the highest priority without displaying the selection screen.
  • the operation input unit 5 is used to select the display mode for determining the priority order of the driving assistance images displayed by the passenger.
  • the selection may be made by the voice of the passenger. Further, the display may be automatically switched periodically.
  • the driving assistance image is stored in the driving assistance image storage unit 42 for each imaging by the imaging device 1.
  • the driving support image storage unit 42 There is no need to store driving support images in the support image storage unit 42.
  • the driving support image generation system reads the driving support image based on the position information of the vehicle received from the navigation device 2 and displays the selection screen or the driving support image when the vehicle passes the same point again. It may be configured. By comprising in this way, the operation
  • the driving assistance image display system may receive information on driving assistance images captured by other vehicles, instead of reading out driving assistance images of the host vehicle.
  • driving assistance information is transmitted by storing information of driving assistance images that have been captured and cut out in the past by other vehicles including the driving assistance image display system according to Embodiments 1 to 6 to an external server.
  • the image generation unit 4 can access the server via a roadside device or the like installed on the road and acquire information on the driving support image.
  • the posted object recognition processing unit 41 obtains the driving assistance image obtained by cutting the captured image as it is.
  • the driving support image may be created from scratch by CG (Computer Graphics) corresponding to the imaged posting.
  • CG Computer Graphics
  • the driving support image generation unit 4 stores a storage unit (not shown) that stores in advance a CG image corresponding to a posting or a part of a CG image corresponding to a part of the posting.
  • the CG image of the posting corresponding to the posting imaged by the imaging device 1 is generated.
  • the posted object recognition processing unit 41 recognizes the posted object from the captured image captured by the imaging device 1, and the CG image corresponding to the recognized posted object is stored in the driving support image storage unit 42. Just remember.
  • the driving support image display system does not generate a driving support image based on the captured image, but an image showing the contents of the postings stored in advance together with the map data.
  • the information may be used.
  • the use of the captured image allows the latest accurate information to be displayed as the driving support image even when the content of the actual posting is changed or when a new posting is posted.
  • the postings posted on or around the road are newly posted in accordance with the new construction of the road, but if an image obtained by imaging the newly posted posting is used, it is stored together with the map data in advance. Even when there is no image information indicating the content of the posted material, the latest driving support image can be obtained.
  • the driving support image generation unit 4 is provided in the vehicle, but is not limited thereto, and is provided in a server or the like provided in a specific place outside the vehicle. It may be.
  • the display unit 3 provided in the vehicle may receive the driving support image generated by the driving support image generation unit 4 provided on the server side by wireless communication.
  • the display unit 3 may be configured to be connected to a communication unit such as a smartphone by wire or wirelessly and to communicate with the server via the smartphone.
  • the configuration characteristic of the driving support image display system according to Embodiments 1 to 6 can be mounted on one and the same driving support image display system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　本発明の運転支援画像生成装置は、道路又は道路周辺に掲示された掲示物の掲示内容を示す複数の運転支援画像を記憶する運転支援画像記憶部と、運転支援画像記憶部に記憶された運転支援画像から予め設定された優先順序に基づき１つ又は複数の運転支援画像を選択し、選択した運転支援画像を用いて車両内の表示部に表示させる画像を生成する画像生成部と、を備える。

Description

運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム
　本発明は、道路上又は道路周辺の掲示物を車内の表示部に表示することで運転を支援する運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラムに関するものである。
　道路には、制限速度や駐車禁止等の情報を示す交通標識が掲示されている。この交通標識を車両の搭乗者は目視によって認識するが、視線を交通標識に移す必要があり、搭乗者は交通標識を見逃すことがしばしばある。搭乗者がこのような交通標識を見落とした場合に見落とした交通標識を確認できるように、車両に設置されたカメラによって道路の前方風景の画像を取得し、取得した画像から交通標識を認識して表示部に表示する技術が考案されている（例えば、特許文献１）。
特公平４－５２３９号公報
　しかしながら、特許文献１に記載された技術は、カメラによって撮像した直近の交通標識の画像を表示部に表示するのみである。したがって、特許文献１に記載された技術では、複数の交通標識の画像を過去に遡って確認することはできず、不便なものとなっていた。特に、車両の走行中に複数の標識が連続して掲示されていた場合、連続して交通標識が表示されるため、表示される交通標識を確認する前に次の交通標識が表示されることとなり、再度確認する必要性もあった。
　本発明は、上記のような課題を解決するため、交通標識等の掲示物を過去に遡って確認することが可能な運転支援画像生成装置、運転支援画表示装置、運転支援画像表示システム及び運転支援画像生成プログラムを提供することを目的とする。
　本発明の運転支援画像生成装置は、道路又は道路周辺に掲示された掲示物の掲示内容を示す複数の運転支援画像を記憶する運転支援画像記憶部と、前記運転支援画像記憶部に記憶された運転支援画像から予め設定された優先順序に基づき１つ又は複数の運転支援画像を選択し、選択した前記運転支援画像を用いて車両内の表示部に表示させる画像を生成する画像生成部と、を備えることを特徴とする。
　本発明の運転支援画像表示装置は、道路又は道路周辺に掲示された掲示物の掲示内容を示す運転支援画像を表示する表示部を備える運転支援画像表示装置であって、前記表示部は、前記車両が通過した道路又は道路周辺に掲示された複数の掲示物のうち、予め設定された優先順序に基づいて選択された１つ又は複数の掲示物の内容を示す運転支援画像を含む画像を表示することを特徴とする。
　本発明の運転支援画像表示システムは、道路又は道路周辺に掲示された掲示物を撮像する撮像装置と、前記撮像装置により撮像された掲示物の掲示内容を示す複数の運転支援画像を記憶する運転支援画像記憶部、前記運転支援画像記憶部に記憶された運転支援画像から予め設定された優先順序に基づき１つ又は複数の運転支援画像を選択し、選択した前記運転支援画像に基づいて表示させる画像を生成する画像生成部、前記画像生成部で生成された画像を表示する車両内の表示部を備える運転支援画像表示装置と、を備えることを特徴とする。
　本発明の運転支援画像生成プログラムは、道路又は道路周辺に掲示された掲示物の掲示内容を示す複数の運転支援画像を記憶する運転支援画像記憶部に前記運転支援画像を記憶させる処理と、前記運転支援画像記憶部に記憶された運転支援画像から予め設定された優先順序に基づき１つ又は複数の運転支援画像を選択し、選択した前記運転支援画像を用いて車両内の表示部に表示させる画像を生成する画像生成処理と、をコンピュータに実行させることを特徴とする。
　本発明に係る運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラムは、掲示物の内容を示す運転支援画像を複数表示可能とするので、搭乗者は運転支援画像を過去に遡って確認することができる。
実施の形態１に係る運転支援画像表示システムの構成図である。 実施の形態１に係る運転支援画像表示システムの構成図であり、運転支援画像生成部の構成を詳細に示す図である。 実施の形態１に係る掲示物認識処理部のパターンマッチングを説明する図である。 実施の形態１に係る選択画面の例である。 実施の形態１に係る選択画面に時刻を表示する例である。 実施の形態１に係る運転支援画像表示システムの動作フローチャートである。 実施の形態１に係る撮像装置が撮像する撮像画像の例である。 実施の形態１に係る掲示物認識処理部が切り出した運転支援画像の例である。 実施の形態３に係る運転支援画像表示システムの構成図であり、運転支援画像生成部の構成を詳細に示す図である。 実施の形態３に係る運転支援画像表示システムの動作フローチャートである。 実施の形態３に係る掲示物内容判定部４４が有する識別情報と掲示物の内容とを対応づけたテーブルの例である。 実施の形態３に係る選択画面の例である。 実施の形態３に係る画像生成部が生成する選択画面の例であって、選択表示を強調する例である。 実施の形態３に係る画像生成部が生成する選択画面の例であって、法規制に違反した掲示物を優先して表示する図である。 実施の形態４に係る運転支援画像表示システムの構成図であり、運転支援画像生成部の構成を詳細に示す図である。 実施の形態４に係る運転支援画像表示システムの動作フローチャートである。 実施の形態５に係る運転支援画像表示システムの動作フローチャートである。 図１８は実施の形態６係る画像生成部が生成する選択画面の例である。 実施の形態６に係る画像生成部が生成する選択画面の他の例である。
実施の形態１．
　以下、図１を用いて、本発明の実施の形態１に係る運転支援画像表示システムの構成について説明する。
　実施の形態１に係る運転支援画像表示システムは、撮像装置１、ナビゲーション装置２、表示部３、運転支援画像生成部４、操作入力部５を備える。撮像装置１とナビゲーション装置２と表示部３と運転支援画像生成部４と操作入力部５とは、車載ＬＡＮ６によって有線又は無線で接続される。なお、表示部３と運転支援画像生成部４とで運転支援画像表示装置が構成される。
　撮像装置１は、車両の前方外部に取り付けられたカメラであり、道路上又は道路周辺の掲示物を含む風景画像を撮像し、画像として取得する。ここで、掲示物とは、車両が走行する道路上又は道路周辺に設置された交通標識、店の看板、又は道路上にペイントされた文字等の情報を表示するものである。例えば、掲示物は、道路に掲示され、交通渋滞やチェーン規制等の情報を搭乗者に表示する電光掲示板でもよい。撮像装置１は、掲示物を予め決められた時間間隔で撮像し、撮像した画像に関する情報を後述する運転支援画像生成部４に出力する。なお、撮像装置１は、予め決められた時間間隔で掲示物を含む風景画像を撮像するものに限られず、掲示物が撮像装置１の撮像範囲に現れた場合に撮像するように構成してもよい。また、撮像装置１の取り付け位置は、図１のように車両の前方外部としたが、掲示物を撮像できる位置であればよく、車両内部から車両外部を撮像するように設けられていてもよい。以下の説明において、撮像装置１によって取得した掲示物を含む風景の画像を撮像画像とする。
　ナビゲーション装置２は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　ｓｙｓｔｅｍ）等により車両の位置を特定する位置特定手段（図示せず）と、設定された目的地又は経由地まで車両を案内する案内手段（図示せず）を備え、搭乗者によって目的地及び経由地が設定されることで、車両を目的地及び経由地まで案内する。後述する運転支援画像生成部４は、ナビゲーション装置２から目的地、経由地、車両の位置に関する情報を取得することができる。
　表示部３は、車両のスピードメーター、タコメーター、燃料計など、車両の走行に必要な情報を示す計器類が配置されるインストルメントパネルであり、後述する運転支援画像生成部４から画像の情報を受けて、対応する画像を表示する。インストルメントパネルは、これまで機械式のメータが主流であったが、近年、液晶表示装置等の低価格化、大画面化により、機械式から非機械式のディスプレイへの置き換えが進んでいる。これにより、インストルメントパネルは、表示する内容の自由度が増し、後述する運転支援画像及び選択画面を表示することが可能となり、特に利便性が高まっている。なお、表示部３は、インストルメントパネルに限られず、画像を表示できるものであればよい。例えば、表示部３は、ナビゲーション装置２の案内表示を表示するモニター、車両のフロントガラス手前に設置されるヘッドアップディスプレイ、及びスマートフォン等の携帯端末でもよい。
　運転支援画像生成部４は、撮像装置１で取得した撮像画像から掲示物を切り出し、表示部３に表示する掲示物の画像（以下、運転支援画像とする）を生成する。また、表示部３に表示する運転支援画像を搭乗者が選択するための画面（以下、選択画面とする）を生成する。
　操作入力部５は、運転支援画像生成部４で生成された選択画面及び運転支援画像を表示部３へ表示させるために搭乗者が操作する入力部である。操作入力部５は、例えば、選択ボタン、インストルメントパネル又はナビゲーション装置２のディスプレイ等のタッチパネルでもよく、搭乗者の操作によって選択画面及び運転支援画像の表示を指示できるものであればよい。
　車載ＬＡＮ６は、撮像装置１、ナビゲーション装置２、表示部３、運転支援画像生成部４、操作入力部５とを有線又は無線で接続する。撮像装置１、ナビゲーション装置２、表示部３、運転支援画像生成部４、操作入力部５は車載ＬＡＮ６を介して情報のやりとりを行う。
　ここで、図２を用いて運転支援画像生成部４の構成について詳細に説明する。図２は実施の形態１に係る運転支援画像表示システムの構成図であり、運転支援画像生成部の構成を詳細に示す図である。
　運転支援画像生成部４は、掲示物認識処理部４１、運転支援画像記憶部４２、画像生成部４３を備える。なお、図２に示す掲示物認識処理部４１、画像生成部４３は、ハードウェアによって構成されても良いし、コンピュータに所定のプログラムを実行させることによっても実現できる。
　掲示物認識処理部４１は、撮像装置１で取得した撮像画像から掲示物を認識し、この掲示物と認識した領域を切り出す。掲示物の認識には、パターンマッチング等の方法を用いる。具体的には、掲示物認識処理部４１は、予め掲示物に関する情報が登録され、撮像装置１から取得した撮像画像と登録された掲示物の形状及び色を照合することによって、掲示物を認識する。例えば、図３に示すような青色で長方形の掲示物を含む撮像画像が撮像装置１により撮像された場合、掲示物認識処理部４１は、予め登録した掲示物のパターンから青色かつ長方形のものを検索する。掲示物認識処理部４１は、検索の結果、青色かつ長方形に該当するパターンが抽出された場合に、撮像画像の青色で長方形のものを掲示物と認識する。掲示物を認識した場合、掲示物認識処理部４１は、掲示物と認識した領域を切り出す。
　運転支援画像記憶部４２は、掲示物認識処理部４１で切り出した運転支援画像の情報と識別情報とを対応づけて運転支援画像記憶部４２に記憶する。識別情報は、記憶した運転支援画像を識別する情報であり、例えば、ナビゲーション装置２から得られる車両の位置情報である。また、識別情報は、車両の位置情報に限られず、撮像時の時刻、撮像した掲示物の内容、撮像した掲示物の画質、搭乗者が掲示物を認識したか否かの情報等でもよい。以降、運転支援画像表示システムの処理において、運転支援画像の情報のやりとりを行う場合、この識別情報で運転支援画像を識別できるものとする。本実施の形態においては、識別情報を車両の位置情報とする。
　画像生成部４３は、予め設定された表示モードに基づいて選択画面を生成し、表示部３に表示させる。表示モードとは、予め画像生成部４３にプログラムされた動作手順であり、運転支援画像記憶部４２に複数記憶された運転支援画像のうち選択画面に表示させる画像の優先順序を決定するものである。搭乗者は、操作入力部５を操作することにより画像生成部４３の表示モードを変更することができる。
　例えば、搭乗者により「掲示物を撮像した位置が現在地に近い順」に表示する表示モードが選択された場合、画像生成部４３は、掲示物を撮像した位置が現在地に近い順に運転支援画像を表示するための選択画面を生成する。選択画面には、運転支援画像そのものが表示されても良いし、時刻等の運転支援画像の識別情報が表示されても良い。識別情報が表示される場合、搭乗者は表示したい運転支援画像に対応する識別情報を選択する。
　図４は、表示モードに基づいて選択画面に運転支援画像が表示される例を示す。表示モードが「掲示物を撮像した位置が現在地に近い順」であれば、最初に表示される画像は、掲示物を撮像した位置が現在地に一番近い運転支援画像Ａである。搭乗者が選択ボタン３１ａ、３１ｂを操作することにより、表示する運転支援画像を入れ替えることができる。例えば、選択ボタン３１ｂが操作されることにより、次に現在地に近い運転支援画像Ｂを表示することができる。続いて、選択ボタン３１ｂの操作により、運転支援画像Ｃ、Ｄを順次表示することが可能である。選択ボタン３１ａを操作すれば、前の運転支援画像に戻る。なお、操作入力部５が車両のハンドル等に設けられた機械式のボタンである場合、表示部３の選択画面に表示されるカーソルなどを操作入力部５により操作して選択ボタン３１を操作する。一方、操作入力部５が表示部３に設けられたタッチパネルである場合、直接表示部３の選択ボタン３１を搭乗者が指で押すことで運転支援画像を入れ替えることができる。
　図５は、表示モードに基づいて運転支援画像に対応づけられた識別情報である時刻が選択画面に表示される例を示す。表示モードが「掲示物を撮像した位置が現在地に近い順」であれば、最初に表示される画像は、現在地に一番近い掲示物を撮像した時刻である。この場合にも、搭乗者は選択ボタン３１ａ、３１ｂを操作することにより、表示させたい運転支援画像に対応する時刻を選択することができる。例えば、搭乗者が３０分前に通過した地点における運転支援画像を表示させたいと考えた場合、現在時刻から３０分前の時刻を選択することによって、３０分前に撮像された掲示物の運転支援画像を表示させることができる。図４の運転支援画像、図５の時刻のように、表示モードに従って表示される選択可能な表示を選択表示という。すなわち、選択表示は、搭乗者が表示部３に表示する運転支援画像を選択するためのアイコン又は画像であって、選択画面上に表示されるものである。搭乗者が選択表示を選択することによって、運転支援画像生成部４は対応する運転支援画像を表示部３に表示させる。選択表示は、例えば、運転支援画像そのもの、識別情報そのもの、識別情報に対応する文字等であり、搭乗者が所望の運転支援画像を識別することが可能なものであればよい。
　選択表示としては、運転支援画像に対応づけられた識別情報が車両の位置情報である場合、例えば、交差点の名称等を用いてもよい。この場合、ナビゲーション装置２から車両の位置情報として交差点の名称に関する情報を受けて、識別情報として対応づけて運転支援画像記憶部４２に記憶しておけばよい。交差点名を選択表示とすれば、車両がＡ駅を目的地として走行しており、Ａ駅を通り過ぎたような場合においても、交差点の名称等「Ａ駅前」等が選択表示として表示されるので、搭乗者は間違えた道を容易に確認することができる。
　以下、図６から図８を用いて実施の形態１に係る運転支援画像表示システムの動作（ＳＴ２以降については実施の形態１に係るプログラムの処理手順）を説明する。図６は実施の形態１に係る運転支援画像表示システムの動作フローチャートである。図７は実施の形態１に係る撮像装置が撮像する撮像画像の例である。図８は実施の形態１に係る掲示物認識処理部が切り出した運転支援画像の例である。以下の説明において、搭乗者により画像生成部４３に設定された表示モードは、掲示物を撮像した位置が現在地に近い順であるものとする。また、選択画面に表示される選択表示は、運転支援画像そのものである例を用いて説明する。
　図６のＳＴ１において、撮像装置１は道路又は道路周辺に掲示された掲示物を撮像する。本実施の形態に係る運転支援画像表示システムの動作の説明において、撮像装置１は、掲示物を撮像し、図７に例示する撮像画像を得たものとする。図７の斜線部は、掲示物の領域以外の背景である。また、図７の破線部内は、掲示物を示す。撮像装置１は撮像した撮像画像の情報を運転支援画像生成部４へ出力する。
　ＳＴ２において、掲示物認識処理部４１は、撮像装置１から撮像画像の情報を取得し、掲示物をパターンマッチングにより認識する。また、掲示物認識処理部４１は、パターンマッチングにより掲示物と認識した掲示物の領域（図７の破線部内）を切り出し、運転支援画像（図８）を得る。また、掲示物認識処理部４１は、撮像画像の情報を取得するとともに、ナビゲーション装置２から掲示物を撮像した際の車両の位置に関する情報（以下、撮像時位置情報とする）を受ける。
　ＳＴ３において、掲示物認識処理部４１は、切り出して得られた運転支援画像の情報を撮像時位置情報と対応づけて運転支援画像記憶部４２に記憶する。
　ＳＴ４において、画像生成部４３は、操作入力部５から選択画面の表示指示があるか確認する。選択画面の表示指示があった場合、ＳＴ５に進み選択画面の生成を開始する。また、表示指示がない場合、再度ＳＴ１からＳＴ３までを繰り返し実行する。以降の説明において、運転支援画像生成部４は、ＳＴ１からＳＴ３を複数回繰り返し、運転支援画像記憶部４２に運転支援画像を複数記憶しているものとする。
　ＳＴ５において、画像生成部４３は、選択画面を生成する際の車両の位置情報（以下、生成時位置情報とする）をナビゲーション装置２から取得し、選択画面の作成を開始する。
　また、画像生成部４３は、設定された表示モードに基づいて、運転支援画像を順次読み出し、選択画面を生成する。この例の場合、表示モードは、「掲示物を撮像した位置が現在地に近い順」である。したがって、画像生成部４３は、生成時位置情報と撮像時位置情報を示す識別情報とを比較し、生成時位置情報に１番近い運転支援画像を読み出し、図４に示すような選択表示を生成し、この選択表示を配置した選択画面を生成する。
　ＳＴ６において、画像生成部４３は、生成した選択画面を表示部３に表示する。このとき、搭乗者は、選択ボタン３１ａ、選択ボタン３１ｂの操作より選択画面に表示される運転支援画像を入れ替えることができる。例えば、搭乗者が図４に示す選択ボタン３１ｂを１回操作した場合、画像生成部４３は、生成時位置情報に対して２番目に近い識別情報が対応づけられた運転支援画像を選択し、再度、選択画面を生成する。なお、選択ボタン３１の操作は、操作入力部５により行う。搭乗者の選択ボタン３１の操作毎にＳＴ５、６は繰り返し実行される。
　ＳＴ７において、搭乗者により選択画面の選択表示が選択された場合、画像生成部４３は、運転支援画像の表示指示を受けて、運転支援画像記憶部４２から選択表示に対応する運転支援画像を選択して読み出し、表示部３に表示させる。
　以上のように、実施の形態１に係る運転支援画像表示システムは、掲示物を示す運転支援画像を複数記憶し、表示モードに基づいて運転支援画像を選択し、選択画面を生成するので、搭乗者が見逃した掲示物を過去に遡って確認することができるとともに、搭乗者に必要な運転支援画像を容易に検索させることができる。
実施の形態２
　以下、実施の形態２について、図２、図６を用いて説明する。実施の形態２に係る運転支援画像表示システムは、車両の位置情報としてナビゲーション装置２に設定された目的地又は経由地の位置情報を用いて選択画面を生成することを特徴とする。なお、実施の形態２に係る運転支援画像の構成は、図１及び図２に示した構成と同様のものとして、説明を省略する。
　画像生成部４３は、図６のＳＴ５において、生成時位置情報に代えてナビゲーション装置２に設定された目的地又は経由地の位置情報を取得する。
　また、画像生成部４３は、取得した目的地又は経由地に近い撮像時位置情報が識別情報として対応づけられた運転支援画像を運転支援画像記憶部４２から優先して取得し、選択画面を生成する。
　以上のように実施の形態２に係る運転支援画像表示システムは、車両が目的地を通り過ぎてしまったような場合に、本来曲がるべきであった交差点等を示す運転支援画像を搭乗者に容易に検索させることができる。
実施の形態３．
　以下、図９から図１４を用いて、本発明の実施の形態２に係る運転支援画像表示システムの構成について説明する。なお、図９の説明において、実施の形態１の運転支援画像表示システムの構成に相当する部分には図１及び図２と同一符号を付してその説明を省略する。
　実施の形態３に係る運転支援画像表示システムは、掲示物の内容に基づいて、選択画面を生成することを特徴とする。
　以下、図９を用いて実施の形態３に係る運転支援画像表示システムの構成について説明する。図９は実施の形態３に係る運転支援画像表示システムの構成図であり、運転支援画像生成部の構成を詳細に示す図である。
　本実施の形態において、運転支援画像生成部４は掲示物内容判定部４４を備える。なお、図９に示す掲示物内容判定部４４は、ハードウェアによって構成されても良いし、コンピュータに所定のプログラムを実行させることによっても実現できる。
　掲示物内容判定部４４は、掲示物認識処理部４１で撮像画像から切り出された運転支援画像の内容を判定し、判定した掲示物の内容に対応した識別情報と運転支援画像とを対応づけて運転支援画像記憶部４２に記憶する。本実施の形態において、識別情報は、掲示物の内容に基づいて予め決められた識別番号を示すものである。例えば、掲示物の内容は、交通標識、店の看板等の分類である。また、掲示物の内容はさらに細かく分類したものでもよく、例えば、安全に関する内容を示す交通標識、速度規制を示す交通標識、特定の地域の道筋を示す交通標識、渋滞情報を示す交通標識、チェーン規制を示す交通標識等に分類されるものでもよい。
　ここで、掲示物内容判定部４４が掲示物の内容を判定する判定方法について説明する。掲示物内容判定部４４は、文字認識手段（図示せず）を有し、掲示物の文字を認識して内容を分類する。文字の認識には、例えば、予め記憶された文字のパターンとの照合により文字を特定するＯＣＲ（Ｏｐｔｉｃａｌ　ｃｈａｒａｃｔｅｒ　ｒｅｃｏｇｎｉｔｉｏｎ）等の技術を用いる。
　なお、掲示物内容判定部４４は、掲示物の内容の判定方法として文字を認識するものとして説明したが、これに限られず、掲示物の内容を判定することが可能な方法を用いればよい。例えば、予め掲示物に関する情報を登録しておき、運転支援画像と登録された掲示物の形状及び色を照合することによって、掲示物を特定するパターンマッチングを用いてもよい。
　画像生成部４３は、掲示物内容判定部４４で判定された掲示物の内容に基づいて、選択画面を生成する。
　次に、図１０から図１４を用いて、実施の形態３に係る運転支援画像表示システムの動作（ＳＴ２以降については実施の形態３に係るプログラムの処理手順）について説明する。図１０は実施の形態３に係る運転支援画像表示システムの動作フローチャートである。図１１は、実施の形態３に係る掲示物内容判定部４４が有する識別情報と掲示物の内容とを対応づけたテーブルの例である。図１２は実施の形態３に係る選択画面の例である。図１３は実施の形態３に係る画像生成部が生成する選択画面の例であって、選択表示を強調する例である。図１４は実施の形態３に係る画像生成部が生成する選択画面の例であって、法規制に違反した掲示物を優先して表示する図である。以下、図１０の説明において、実施の形態１に係る運転支援画像表示システムの動作に相当するステップには、図６と同一符号を付してその説明を省略する。また、画像生成部４３には、表示モードとして「安全に関する掲示物を優先して表示」するように設定されているものとする。
　ＳＴ３１において、掲示物内容判定部４４は、ＳＴ１、ＳＴ２にて生成された運転支援画像を掲示物認識処理部４１から取得する。また、掲示物内容判定部４４は、取得した運転支援画像の内容を文字の認識又はパターンマッチング等を用いて判定する。
　ＳＴ３２において、掲示物内容判定部４４は、ＳＴ３１で内容を認識した運転支援画像に、この運転支援画像（掲示物）の内容に対応した識別情報を対応づけて運転支援画像記憶部４２に記憶する。例えば、掲示物内容判定部４４は、予め掲示物の内容を分類し、同じ種類の内容、すなわち同じカテゴリーの掲示物に同じ識別情報を対応づけたテーブルを記憶しており、このテーブルに基づいて、識別情報を決定する。例えば、図１１において、識別情報「１」の行には、安全に関わる掲示物の内容が対応づけられている。掲示物内容判定部４４は、運転支援画像の内容を判定し、「チェーン規制」を意味する掲示物であると判定した場合には、運転支援画像を識別情報「１」と対応づけて運転支援画像記憶部４２に記憶する。また、図１１の識別情報「２」の行には規制情報に関わる掲示物の内容が対応づけられている。仮に、ＳＴ３１において、掲示物内容判定部４４により運転支援画像が「右折禁止」を意味すると判定された場合、ＳＴ３２では掲示物認識処理部４４によって運転支援画像を識別情報「２」と対応づけて、運転支援画像記憶部４２に記憶する。
　ＳＴ５１において、ＳＴ４で運転支援画像の表示指示があった場合、画像生成部４３は、選択画面を生成する。この例において、画像生成部４３は、表示モードが「安全に関する掲示物を優先して表示」であるため、安全に関する掲示物を示す識別情報「１」が対応づけられた運転支援画像を運転支援画像記憶部４２から検索する。画像生成部４３は、検索により得られた運転支援画像を用いて選択画面を生成する。
　ＳＴ６、７において運転支援画像表示システムは、選択画面を表示し、この選択画面において搭乗者が選択ボタン３１を操作することによって、所望の運転支援画像を表示する。例えば、図１２Ａに示すように、選択画面は優先的に安全に関する運転支援画像を表示することができる。図１２Ａは滑りやすいことを示す掲示物の運転支援画像である。
　なお、本実施の形態に係る運転支援画像記憶部４２に記憶された運転支援画像の中に、安全に関する運転支援画像が複数ある場合、画像生成部４３は、複数の安全に関する運転支援画像のうち、車両の現在位置に一番近いものから表示するように構成することも可能である。すなわち、実施の形態１に係る運転支援画像表示システムと組み合わせて実施することが可能である。
　また、本実施の形態に係る運転支援画像表示システムは、選択画面に安全に関する選択画面のみ表示し、その他を表示しないように構成してもよい。
　さらに、本実施の形態に係る運転支援画像表示システムにおいて、画像生成部４３は、優先的に表示する選択表示を表示モードに基づいて選択画面に表示することとしたが、順序を変えることに加えて、設定された表示モードに基づいて運転支援画像の強調表示を行った選択画面を生成するように構成してもよい。例えば、図１３に示すように、選択画面のうち安全に関する運転支援画像を強調する枠を合成してもよい。また、強調表示は、枠をつけることに限られず、運転支援画像の点滅、コントラストの変更、拡大、「危険」等の文字の添付等、運転支援画像を強調できるものであればよい。
　また、本実施の形態に係る運転支援画像表示システムにおいて、画像生成部４３は、法規制に関する運転支援画像を優先する表示モードが選択された場合、スピードメーター等の車載機器（図示せず）から自車の速度等に関する情報を取得し、速度規制に違反するものに関して優先的に表示するようにしてもよい。例えば、規制速度が５０ｋｍを示す掲示物が掲示された道路において、自車が８０ｋｍで走っていたとする。この場合に、掲示物内容判定部４４は、掲示物の内容と、スピードメーター等の車載機器からの情報を比較し、違反している場合に違反を示す識別情報を規制速度５０ｋｍを示す運転支援画像に対応づける。画像生成部４３は違反していると判断された運転支援画像を識別情報に基づいて検索し、図１４に示すように、選択画面の左上上方に規制速度５０ｋｍを示す運転支援画像に対応する選択表示を強調して表示する。
　さらに、本実施の形態に係る運転支援画像表示システムにおいて、掲示物の内容は画質でもよい。例えば、掲示物内容判定部４４は、運転支援画像の画質が一定の閾値以下である場合に画質が悪いと判定する画質判定手段（図示せず）を備え、画質が悪いと判定された場合に、画質が悪い運転支援画像であることを示す識別情報を対応づける。画像生成部４３は、画質の良い運転支援画像の選択表示を優先的に表示させることが可能である。このように構成することで、画質が良い運転支援画像の選択表示を優先的に表示することができ、搭乗者自身で画質を判別する必要が無くなる。
　また、本実施の形態に係る運転支援画像表示システムは、選択画面に運転支援画像を示す選択表示を表示するものとしたが、これに限られず、運転支援画像の内容を示す選択表示を表示するようにしてもよい。例えば、「案内標識」、「規制標識」等の掲示物の種類を表示してもよいし、「落石注意」、「徐行」等掲示物の内容を直接示すものでもよい。
　以上のように、実施の形態３に係る運転支援画像表示システムは、掲示物の内容に基づいて選択画面を生成するため、過去に遡って掲示物を確認する際に搭乗者に必要な運転支援画像表示を優先的に表示することができ、搭乗者の検索負担を軽減することができる。
実施の形態４．
　以下、図１５、図１６を用いて、実施の形態４に係る運転支援画像表示システムについて説明する。図１５は実施の形態４に係る運転支援画像表示システムの構成図であり、運転支援画像生成部の構成を詳細に示す図である。図１６は実施の形態４に係る運転支援画像表示システムの動作フローチャートである。
　実施の形態４に係る運転支援画像表示システムは、搭乗者の視線を検出して掲示物を認識したか否かを判定する視線検出判定装置７を備えることを特徴とする。
　以下、図１５を用いて、実施の形態４に係る運転支援画像表示システムの構成について説明する。なお、図１５の説明において、実施の形態１から実施の形態３の運転支援画像表示システムの構成に相当する部分には図２、図９、と同一符号を付してその説明を省略する。
　視線検出判定装置７は、車両の内部に設置され、搭乗者の視線の方向を示す視線情報を検出するカメラを備える。また、視線検出判定装置７は、視線情報を常に監視し、搭乗者が掲示物を認識したか否かを判定する。視線検出判定装置７は、図１に示した撮像装置１、ナビゲーション装置２、表示部３、運転支援画像生成部４と車載ＬＡＮ６を介して有線又は無線で接続される。
　視線検出判定装置７は、予め決められた時間が設定されており、搭乗者の視線がこの決められた時間、掲示物の位置する方向に向けられている場合に、搭乗者が掲示物を認識したと判定する。視線検出判定装置７は、搭乗者が掲示物を認識していないと判定した場合には、搭乗者が掲示物を認識していないことを示す認識判定情報を掲示物認識処理部４１に出力する。
　次に、図１６を用いて、運転支援画像表示システムの動作（ＳＴ２以降については実施の形態４に係るプログラムの処理手順）について説明する。図１６の説明において、実施の形態１から実施の形態３に係る運転支援画像表示システムの動作に相当するステップには、図６、図１０と同一符号を付してその説明を省略する。
　ＳＴ２１１において、視線検出判定装置７は、ＳＴ１で撮像された掲示物を搭乗者が認識したか否かの判定を行う。なお、ＳＴ１及びＳＴ２において、視線検出判定部７は搭乗者の視線情報を検出しているものとする。また、視線検出判定装置７は、撮像装置１により撮像された掲示物を搭乗者が認識していないと判定した場合、認識判定情報を掲示物認識処理部４１に出力する。
　ＳＴ３１１において、掲示物認識処理部４１は視線検出判定装置７から認識判定情報を受けた場合、搭乗者が掲示物を認識していないことを示す識別情報と運転支援画像とを対応づけて運転支援画像記憶部４２に記憶する。
　運転支援画像生成部４は、ＳＴ４で操作入力部５から選択画面を表示する操作を受けた場合に、ＳＴ５１１の処理を実行する。
　ＳＴ５１１において、画像生成部４３は、運転支援画像記憶部４２から搭乗者が掲示物を認識していないことを示す識別情報が対応づけられた運転支援画像を優先的に取得し、選択画面を生成する。
　上記の説明においては、視線検出判定装置７は、搭乗者が撮像された掲示物を認識していないと判定した場合、認識判定情報を掲示物認識処理部４１に出力するものとしたが、視線検出判定装置７が画像生成部４３に認識判定情報を出力し、画像生成部４３が認識判定情報を受けた場合に、選択画面を生成するように構成してもよい。このように構成することで、搭乗者が掲示物を見逃した場合に搭乗者の操作によらず運転支援画像を自動で表示させることができる。
　以上のように、実施の形態４に係る運転支援画像表示システムは、搭乗者が認識していない掲示物を優先的に選択画面に表示するので、搭乗者が過去に遡って掲示物を確認する際に、見逃した掲示物を容易に確認することができる。
実施の形態５．
　実施の形態５に係る運転支援画像表示システムは、選択画面を生成することなく、最優先の１つ又は複数の運転支援画像を表示することを特徴とする。
　以下、図１７を用いて実施の形態５に係る運転支援画像表示システムの動作（ＳＴ２以降については実施の形態５に係るプログラムの処理手順）について説明する。図１７は実施の形態５に係る運転支援画像表示システムの動作フローチャートである。図１７の説明において、実施の形態１の運転支援画像表示システムの動作に相当する部分には図６、図１０、及び図１６と同一符号を付してその説明を省略する。また、実施の形態５の運転支援画像表示システムの構成については、図１、図２、図９、図１５と同様のものとして説明を省略する。
　ＳＴ４１１１において、画像生成部４３は、操作入力部５から運転支援画像の表示指示があるか確認する。運転支援画像の表示指示があった場合、ＳＴ７に進み設定された表示モードに従い運転支援画像を読み出して、表示部３に表示する。運転支援画像を表示する動作において、画像生成部４３は、表示モードに従った順序で表示指示毎に運転支援画像を読み出して表示してもよいし、予め運転支援画像をまとめて読み出し、表示指示毎に順次表示させるようにしてもよい。
　また、画像生成部４３は、ＳＴ４１１１の表示指示によらず、自動で運転支援画像を表示するように構成してもよい。例えば、規制情報に違反している場合に、その規制情報に関わる掲示物の画像を運転支援画像として表示する。
　以上のように、実施の形態５に係る運転支援画像表示システムは、選択画面を表示することなく、表示モードに従って最優先の運転支援画像を表示するので、搭乗者が選択画面を操作する手間を省くことができる。
実施の形態６．
　実施の形態６では、実施の形態１から実施の形態５に係る運転支援画像表示システムの表示態様について、図１８、図１９を用いて説明する。図１８は実施の形態６係る画像生成部が生成する選択画面の例である。図１９は実施の形態６に係る画像生成部が生成する選択画面の他の例である。
　実施の形態１から実施の形態５に係る運転支援画像表示システムの説明では、表示部３に１つの選択表示又は運転支援画像を表示するものとしたが、複数の選択表示又は運転支援画像を同時に表示するように構成することも可能である。
　例えば、画像生成部４３は、図１８に示すように、複数の選択表示を同時に表示した選択画面を生成してもよい。この場合にも、画像生成部４３は、表示モードに基づいた順序で選択表示を生成する。例えば、表示モードが掲示物を撮像した順序である場合、図１８の左上、右上、右中央、左中央、左下、右下の順で表示される。なお、順序はこれに限られず、右上、左上、右中央、左中央、右下、左下の順に表示するなど、適宜変更可能である。
　また、図１８の説明において、画像生成部４３は、１つのカテゴリーの掲示物を表示させるものとしたが、複数のカテゴリーの掲示物を同時に表示させるようにしてもよい。例えば、画像生成部４３は、表示部３に表示させるカテゴリーとして「交差点に関する掲示物」と「安全及び規制に関する掲示物」を表示させてもよい。具体的には、図１９に示すように、選択画面の左半分に「交差点に関する掲示物」を表示し、選択画面の右半分に「安全及び規制に関する掲示物」を表示する。また、表示させる掲示物のカテゴリーを選択するための表示（例えば「交差点」「安全及び規制」）を設け、選択されたカテゴリーの掲示物のみを表示部３に表示するようにしてもよい。例えば、搭乗者が見逃した安全及び規制に関する掲示物を確認したいときに、「安全及び規制」を選択することによって、安全及び規制に関する掲示物のみを優先的に表示することができる。
　このように、異なるカテゴリーの掲示物を同時に表示する場合、表示部３を複数設けて、異なるカテゴリーの掲示物ごとに選択画面を同時に表示してもよい。例えば、画像生成部４３は、一方の表示部３に、「交差点に関する掲示物」に運転支援画像を表示させ、もう一方の表示部３には、「安全及び規制に関する掲示物」して表示させることもできる。
　また、本実施の形態に係る画像生成部４３は、選択画面を表示せずに最優先の運転支援画像を表示する実施の形態５に係る運転支援画像表示システムにも、適用可能である。
　なお、実施の形態１から実施の形態６に係る運転支援画像表示システムにおいて、搭乗者が表示する運転支援画像の優先順序を決める表示モードを、操作入力部５を用いて選択するようにしたが、搭乗者の声で選択するようにしてもよい。また、周期的に自動で表示を切り替えるようにしてもよい。
　なお、実施の形態１から実施の形態６に係る運転支援画像表示システムにおいて、撮像装置１により撮像毎に運転支援画像を運転支援画像記憶部４２に記憶するものとしたが、必ずしも撮像毎に運転支援画像記憶部４２に運転支援画像を記憶する必要はない。例えば、過去に一度通過した地点における運転支援画像が既に運転支援画像記憶部４２に記憶されていることも考えられる。この場合、運転支援画像生成システムは、車両が再度同じ地点を通過した場合に、ナビゲーション装置２から受ける車両の位置情報に基づいて運転支援画像を読み出し、選択画面又は運転支援画像を表示するように構成してもよい。このように構成することで、撮像装置１によって掲示物を撮像する動作を省略することができ、装置の負担を軽減することができる。
　また、実施の形態１から実施の形態６に係る運転支援画像表示システムは、自車両の運転支援画像を読み出すことに代えて、他の車両が撮像した運転支援画像の情報を受信してもよい。例えば、実施の形態１から実施の形態６に係る運転支援画像表示システムを備える他の車両が過去に撮像して切り出した運転支援画像の情報を外部サーバに送信して記憶することで、運転支援画像生成部４は、道路に設置された路側器等を介してサーバにアクセスし、運転支援画像の情報を取得することができる。
　さらに、実施の形態１から実施の形態６に係る運転支援画像生成部４の説明においては、掲示物認識処理部４１は、撮像画像をそのまま切り出した運転支援画像を得るものとしたが、これに限られず、撮像した掲示物に対応するＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）によって運転支援画像を一から作成してもよい。ＣＧによって運転支援画像を作成する場合、運転支援画像生成部４は、予め掲示物に対応するＣＧ画像又は掲示物の一部に対応するＣＧ画像のパーツを記憶する記憶部（図示せず）を備え、撮像装置１によって撮像した掲示物に対応する掲示物のＣＧ画像を生成する。運転支援画像をＣＧにより作成する場合、掲示物認識処理部４１は撮像装置１により撮像された撮像画像から掲示物を認識し、認識した掲示物に対応するＣＧ画像を運転支援画像記憶部４２に記憶しておけばよい。
　また、実施の形態１から実施の形態６に係る運転支援画像表示システムは、撮像画像に基づいて運転支援画像を生成するのではなく、予め地図データと共に記憶されている掲示物の内容を示す画像の情報を用いても良い。
　なお、撮像画像を用いれば、実際の掲示物の内容が変更された場合又は新たな掲示物が掲示された場合にも、最新の正確な情報を運転支援画像として表示することができる。例えば、道路上又は道路周辺に掲示された掲示物は、道路の新設に合わせて新たに掲示されるが、新たに掲示された掲示物を撮像した画像を用いれば、予め地図データと共に記憶されている掲示物の内容を示す画像の情報が無い場合にも、最新の運転支援画像を得ることができる。
　なお、実施の形態１から実施の形態６に係る運転支援画像生成部４は、車両に備えられるものとしたが、これに限られず、車両外の特定の場所に設けられたサーバ等に備えられていてもよい。例えば、車両に備えられた表示部３は、サーバ側に備えられた運転支援画像生成部４により生成された運転支援画像を無線通信により受信するようにしてもよい。また、表示部３は、スマートフォン等の通信手段と有線又は無線で接続され、このスマートフォンを介してサーバと通信するように構成されてもよい。
　また、実施の形態１から実施の形態６に係る運転支援画像表示システムの特徴とする構成は、１つの同じ運転支援画像表示システムに搭載することが可能である。
１　撮像装置、２　ナビゲーション装置、３　表示部、４　運転支援画像生成部、５　操作入力部、６　車載ＬＡＮ、７　視線検出判定装置、４１　掲示物認識処理部、４２　運転支援画像記憶部、４３　画像生成部、４４　掲示物内容判定部

Claims (16)

  1. 　道路又は道路周辺に掲示された掲示物の掲示内容を示す複数の運転支援画像を記憶する運転支援画像記憶部と、
    　前記運転支援画像記憶部に記憶された運転支援画像から予め設定された優先順序に基づき１つ又は複数の運転支援画像を選択し、選択した前記運転支援画像を用いて車両内の表示部に表示させる画像を生成する画像生成部と、
    　を備える運転支援画像生成装置。
  2. 　前記運転支援画像記憶部は、前記運転支援画像と車両の位置に関する情報とを対応づけて記憶し、
    　前記画像生成部は、前記車両の位置に関する情報に基づいて、前記運転支援画像記憶部に記憶された前記複数の運転支援画像のうち、前記画像の生成に用いる運転支援画像を選択することを特徴とする請求項１に記載の運転支援画像生成装置。
  3. 　前記掲示物の内容を判定する掲示物内容判定部を備え、
    　前記運転支援画像記憶部は、前記運転支援画像と前記掲示物内容判定部により判定された掲示物の内容を示す情報とを対応づけて記憶し、
    　前記画像生成部は、前記掲示物の内容に基づいて、前記運転支援画像記憶部に記憶された前記複数の運転支援画像のうち、前記画像の生成に用いる運転支援画像を選択すること　を特徴とする請求項１に記載の運転支援画像生成装置。
  4. 　前記画像生成部は、前記運転支援画像記憶部に記憶された前記複数の運転支援画像のうち、異なる種類の内容を有する掲示物の運転支援画像を複数選択し、選択した複数の運転支援画像に基づいて、前記種類毎に前記画像を生成することを特徴とする請求項３に記載の運転支援画像生成装置。
  5. 　車両の搭乗者が前記掲示物を認識したか否かを判定する視線検出判定装置を備え、
    　前記運転支援画像記憶部は、前記視線検出判定装置により掲示物が前記車両の搭乗者に認識されていないことを示す情報とを対応づけて記憶し、
    　前記画像生成部は、前記運転支援画像記憶部に記憶された運転支援画像のうち、前記掲示物が認識されていないことを示す情報が対応づけられた前記運転支援画像を優先して選択することを特徴とする請求項１に記載の運転支援画像生成装置。
  6. 　前記画像生成部は、選択した前記運転支援画像又は前記運転支援画像に対応する識別情報を用いて、表示する運転支援画像を搭乗者が選択するための選択表示を生成することを特徴とする請求項１に記載の運転支援画像生成装置。
  7. 　前記画像生成部は、前記運転支援画像記憶部に記憶された運転支援画像を複数選択し、選択した複数の運転支援画像を同時に表示する画像を生成することを特徴とする請求項１に記載の運転支援画像生成装置。
  8. 　道路又は道路周辺に掲示された掲示物の掲示内容を示す運転支援画像を表示する表示部を備える運転支援画像表示装置であって、
    　前記表示部は、
    　車両が通過した道路又は道路周辺に掲示された複数の掲示物のうち、予め設定された優先順序に基づいて選択された１つ又は複数の掲示物の内容を示す運転支援画像を含む画像を表示することを特徴とする運転支援画像表示装置。
  9. 　前記表示部は、車両の位置に応じて設定される優先順序に基づいて画像を表示することを特徴とする請求項８に記載の運転支援画像表示装置。
  10. 　前記表示部は、前記掲示物の内容に応じて設定される優先順序に基づいて画像を表示することを特徴とする請求項８に記載の運転支援画像表示装置。
  11. 　前記表示部は、異なる種類の内容を有する掲示物の運転支援画像を前記種類毎に前記画像として表示することを特徴とする請求項１０に記載の運転支援画像表示装置。
  12. 　前記表示部は、
    　車両の搭乗者が前記掲示物を認識していない場合に、
    前記優先順序に基づき選択された１つ又は複数の掲示物の内容を示す運転支援画像を含む画像を表示することを特徴とする請求項８に記載の運転支援画像表示装置。
  13. 　前記表示部は、表示する運転支援画像を搭乗者が選択するための選択画面を表示することを特徴とする請求項８に記載の運転支援画像表示装置。
  14. 　前記表示部は、複数の運転支援画像を同時に表示することを特徴とする請求項８に記載の運転支援画像表示装置。
  15. 　道路又は道路周辺に掲示された掲示物を撮像する撮像装置と、
    　前記撮像装置により撮像された掲示物の掲示内容を示す複数の運転支援画像を記憶する運転支援画像記憶部、前記運転支援画像記憶部に記憶された運転支援画像から予め設定された優先順序に基づき１つ又は複数の運転支援画像を選択し、選択した前記運転支援画像に基づいて表示させる画像を生成する画像生成部、前記画像生成部で生成された画像を表示する車両内の表示部を備える運転支援画像表示装置と、
    　を備えることを特徴とする運転支援画像表示システム。
  16. 　道路又は道路周辺に掲示された掲示物の掲示内容を示す複数の運転支援画像を記憶する運転支援画像記憶部に前記運転支援画像を記憶させる処理と、
    　前記運転支援画像記憶部に記憶された運転支援画像から予め設定された優先順序に基づき１つ又は複数の運転支援画像を選択し、選択した前記運転支援画像を用いて車両内の表示部に表示させる画像を生成する画像生成処理と、
    　をコンピュータに実行させる運転支援画像生成プログラム。
PCT/JP2013/006638 2013-11-12 2013-11-12 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム WO2015071924A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2013/006638 WO2015071924A1 (ja) 2013-11-12 2013-11-12 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム
US15/029,564 US10315516B2 (en) 2013-11-12 2013-11-12 Driving-support-image generation device, driving-support-image display device, driving-support-image display system, and driving-support-image generation program
EP13897512.3A EP3070698B1 (en) 2013-11-12 2013-11-12 Driving-support-image generation device, driving-support-image display device, driving-support-image display system, and driving-support-image generation program
JP2015547278A JP6203281B2 (ja) 2013-11-12 2013-11-12 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム
CN201380080870.8A CN105723431B (zh) 2013-11-12 2013-11-12 驾驶辅助图像生成装置、显示装置、显示系统及生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/006638 WO2015071924A1 (ja) 2013-11-12 2013-11-12 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム

Publications (1)

Publication Number Publication Date
WO2015071924A1 true WO2015071924A1 (ja) 2015-05-21

Family

ID=53056896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006638 WO2015071924A1 (ja) 2013-11-12 2013-11-12 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム

Country Status (5)

Country Link
US (1) US10315516B2 (ja)
EP (1) EP3070698B1 (ja)
JP (1) JP6203281B2 (ja)
CN (1) CN105723431B (ja)
WO (1) WO2015071924A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018201115A (ja) * 2017-05-26 2018-12-20 アイシン精機株式会社 周辺監視装置
JP2020102027A (ja) * 2018-12-21 2020-07-02 トヨタ自動車株式会社 制御装置、車両、画像表示システム、及び画像表示方法
JP7560434B2 (ja) 2021-10-19 2024-10-02 本田技研工業株式会社 走行制御システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503612A (ja) * 2016-12-22 2020-01-30 ニッサン ノース アメリカ，インク 自律走行車両サービスシステム
US10094679B1 (en) * 2017-06-02 2018-10-09 International Business Machines Corporation Generating a navigation route referencing digital signage
CN107274701B (zh) * 2017-08-14 2020-06-30 绍兴市亚索新能源科技有限公司 一种用于汽车的山体坠物智能规避方法及其系统
JP2019104315A (ja) * 2017-12-11 2019-06-27 トヨタ紡織株式会社 乗物のモニター装置
JP7293648B2 (ja) * 2018-12-21 2023-06-20 トヨタ自動車株式会社 運転支援装置、車両、運転支援システム、及び運転支援方法
CN114450893B (zh) * 2019-10-03 2023-09-19 住友电气工业株式会社 车载装置、车载通信系统及通信管理方法
JP6976378B2 (ja) * 2020-05-12 2021-12-08 株式会社エイチアイ 情報処理方法、プログラム及び車載装置
CN112885087A (zh) * 2021-01-22 2021-06-01 北京嘀嘀无限科技发展有限公司 确定路况信息的方法、装置、设备和介质和程序产品
IT202200022725A1 (it) * 2022-11-04 2024-05-04 Ferrari Spa Dispositivo di visualizzazione contenuti per veicolo stradale provvisto di sistema di misurazione del tempo

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH045239B2 (ja) 1983-01-11 1992-01-30
JP2003337040A (ja) * 2002-05-17 2003-11-28 Alpine Electronics Inc 三次元地図表示方法
JP2004171159A (ja) * 2002-11-18 2004-06-17 Nec Corp 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
JP2007041961A (ja) * 2005-08-04 2007-02-15 Alpine Electronics Inc 標識提示装置及び標識提示方法
JP2007183764A (ja) * 2006-01-05 2007-07-19 Hitachi Ltd 車載装置
JP2007225282A (ja) * 2004-03-31 2007-09-06 Pioneer Electronic Corp 情報提示装置、情報提示プログラム及び情報提示方法等
JP2007240198A (ja) * 2006-03-06 2007-09-20 Aisin Aw Co Ltd ナビゲーション装置
JP2009110394A (ja) * 2007-10-31 2009-05-21 Equos Research Co Ltd 道路標識表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489303B1 (en) * 2001-02-22 2009-02-10 Pryor Timothy R Reconfigurable instrument panels
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
US20080147253A1 (en) * 1997-10-22 2008-06-19 Intelligent Technologies International, Inc. Vehicular Anticipatory Sensor System
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
US20020130953A1 (en) * 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
BR0307760A (pt) * 2002-02-19 2006-04-04 Volvo Technology Corp sistema e método para a monitoração e o gerenciamento de gargas de atenção do motorista
US20050146607A1 (en) * 2004-01-06 2005-07-07 Romeo Linn Object Approaching Detection Anti Blind e-Mirrors System
KR100716977B1 (ko) * 2004-07-23 2007-05-10 삼성전자주식회사 디지털 영상 기기
DE102004042382B4 (de) 2004-09-02 2013-03-07 Robert Bosch Gmbh Verfahren und System zum Hinweis auf Verkehrszeichen
JP4539361B2 (ja) * 2005-02-16 2010-09-08 アイシン精機株式会社 移動体通信装置
JP4639880B2 (ja) * 2005-03-23 2011-02-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
WO2007069489A1 (ja) * 2005-12-12 2007-06-21 Matsushita Electric Industrial Co., Ltd. 安全走行支援装置
JP4855158B2 (ja) * 2006-07-05 2012-01-18 本田技研工業株式会社 運転支援装置
CN101553709A (zh) * 2006-12-11 2009-10-07 三菱电机株式会社 导航装置
JP5053776B2 (ja) 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP2010055157A (ja) * 2008-08-26 2010-03-11 Panasonic Corp 交差点状況認識システム
JP5361541B2 (ja) * 2009-06-02 2013-12-04 三菱電機株式会社 標識認識装置
DE102010039634B4 (de) * 2010-08-23 2013-05-08 Ford Global Technologies, Llc Anordnung und Verfahren zur Verkehrszeichenerkennung
US9564049B2 (en) * 2012-08-24 2017-02-07 Traffic Emergency Displays, Inc. Electronic traffic alert system
US20140327772A1 (en) * 2013-05-03 2014-11-06 Magna Electrics Inc. Vehicle vision system with traffic sign comprehension
DE102013016244A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH045239B2 (ja) 1983-01-11 1992-01-30
JP2003337040A (ja) * 2002-05-17 2003-11-28 Alpine Electronics Inc 三次元地図表示方法
JP2004171159A (ja) * 2002-11-18 2004-06-17 Nec Corp 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
JP2007225282A (ja) * 2004-03-31 2007-09-06 Pioneer Electronic Corp 情報提示装置、情報提示プログラム及び情報提示方法等
JP2007041961A (ja) * 2005-08-04 2007-02-15 Alpine Electronics Inc 標識提示装置及び標識提示方法
JP2007183764A (ja) * 2006-01-05 2007-07-19 Hitachi Ltd 車載装置
JP2007240198A (ja) * 2006-03-06 2007-09-20 Aisin Aw Co Ltd ナビゲーション装置
JP2009110394A (ja) * 2007-10-31 2009-05-21 Equos Research Co Ltd 道路標識表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3070698A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018201115A (ja) * 2017-05-26 2018-12-20 アイシン精機株式会社 周辺監視装置
JP2020102027A (ja) * 2018-12-21 2020-07-02 トヨタ自動車株式会社 制御装置、車両、画像表示システム、及び画像表示方法
US11468692B2 (en) 2018-12-21 2022-10-11 Toyota Jidosha Kabushiki Kaisha Control device, vehicle, image display system, and image display method
JP7176398B2 (ja) 2018-12-21 2022-11-22 トヨタ自動車株式会社 制御装置、車両、画像表示システム、及び画像表示方法
JP7560434B2 (ja) 2021-10-19 2024-10-02 本田技研工業株式会社 走行制御システム

Also Published As

Publication number Publication date
EP3070698A1 (en) 2016-09-21
JPWO2015071924A1 (ja) 2017-03-09
CN105723431B (zh) 2019-02-05
CN105723431A (zh) 2016-06-29
EP3070698B1 (en) 2019-07-17
EP3070698A4 (en) 2017-07-26
US20160272065A1 (en) 2016-09-22
JP6203281B2 (ja) 2017-09-27
US10315516B2 (en) 2019-06-11

Similar Documents

Publication Publication Date Title
JP6203281B2 (ja) 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム
US7783422B2 (en) Navigation device and method of navigating vehicle
EP2728313B1 (en) Method of displaying objects on a navigation map
US10061994B2 (en) Driving-support-image generation device, driving-support-image display device, driving-support-image display system, and driving-support-image generation program
US8612151B2 (en) Apparatus for and method of junction view display
JP6012729B2 (ja) ナビゲーション装置
JP6323074B2 (ja) 表示物情報表示装置
WO2016152873A1 (ja) 自動運転支援装置、制御方法、プログラム及び記憶媒体
JP2022060256A (ja) 表示装置、制御方法、プログラム及び記憶媒体
CN106997677A (zh) 车辆用标识显示装置和方法
CA3001771A1 (en) A method for the altered pictorial representation of positions of the locations of selected destination points in electronic maps
JP2008064483A (ja) 車両用ナビゲーション装置、方法およびプログラム
EP3855122A1 (en) Navigation system, navigation display method, and navigation display program
JP4800252B2 (ja) 車載装置及び交通情報提示方法
JP2004340826A (ja) ナビゲーション装置
JP2008082818A (ja) ナビゲーションシステムおよびナビゲーション装置
JP2007333654A (ja) ナビゲーション装置
JP2019101634A (ja) 情報提示制御装置、情報提示制御方法及びプログラム
NL2011232A (nl) Werkwijze en inrichting voor het bepalen van een weergave van bijschriftelementen van een digitale kaart alsook werkwijze en inrichting voor het weergeven van een digitale kaart.
JP2015081770A (ja) 経路案内システム及び経路案内装置
JP2007163437A (ja) ナビゲーション装置及び経路案内方法
JP2014149225A (ja) ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラム、案内装置、案内方法、及び案内プログラム
JP6398846B2 (ja) 表示装置および表示方法
TWI361402B (ja)
JP2023155372A (ja) 情報提示制御装置、情報提示制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13897512

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015547278

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2013897512

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15029564

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE