Nothing Special   »   [go: up one dir, main page]

WO2018070298A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2018070298A1
WO2018070298A1 PCT/JP2017/035945 JP2017035945W WO2018070298A1 WO 2018070298 A1 WO2018070298 A1 WO 2018070298A1 JP 2017035945 W JP2017035945 W JP 2017035945W WO 2018070298 A1 WO2018070298 A1 WO 2018070298A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
transmittance
display
shape data
data
Prior art date
Application number
PCT/JP2017/035945
Other languages
English (en)
French (fr)
Inventor
渡邊　一矢
陽司 乾
欣司 山本
崇 平槙
拓也 橋川
哲也 丸岡
久保田　尚孝
木村　修
いつ子 福島
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US16/340,496 priority Critical patent/US20190244324A1/en
Publication of WO2018070298A1 publication Critical patent/WO2018070298A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic

Definitions

  • Embodiments of the present invention relate to a display control device.
  • an imaging device installed in a vehicle images the surrounding environment of the vehicle and displays an image as an imaging result.
  • the present invention has been made in view of the above, and provides a display control device capable of recognizing the surrounding environment even when vehicle shape data is superimposed.
  • the display control apparatus of the embodiment includes an acquisition unit that acquires captured image data from an imaging unit that captures the periphery of the vehicle, a storage unit that stores vehicle shape data representing the three-dimensional shape of the vehicle, and captured image data
  • the transmittance of a part of the vehicle shape data is changed to that of another area different from the part of the area.
  • a display processing unit that displays the image with different transmittance. Therefore, the driver can check the surroundings of the vehicle according to the situation in some areas and other areas.
  • the display control device of the embodiment as an example, the display processing unit, the vehicle shape data, the transmittance of the region in which any one or more of the bumper and the wheel, which is a partial region, is represented, Display differently from the transmittance of other areas. Therefore, the driver can check the area around one or more of the bumper and the wheel, and can check the situation around the vehicle.
  • the display processing unit may change from a region where wheels, which are a part of the vehicle shape data, to a region where a roof, which is another region, is represented.
  • the display for increasing the transmittance or the display for decreasing the transmittance is performed. Therefore, the driver can check the vicinity of the vehicle and the state of the vehicle.
  • the display control device of the embodiment stores the shape of the interior of the vehicle as vehicle shape data, and the display processing unit displays the vehicle shape data superimposed on the display data.
  • the display is performed such that the transmittance varies from the floor toward the ceiling in the interior. Therefore, the driver can confirm the periphery of the vehicle and the inside of the vehicle.
  • the display processing unit has a vehicle shape when the viewpoint is present inside the vehicle shape data and when the viewpoint is present outside the vehicle shape data. Different ways of transmitting data. Therefore, since display according to the situation of the viewpoint can be realized, the driver can check the situation around the vehicle more appropriately.
  • the acquisition unit further acquires steering angle data indicating steering performed by the driver of the vehicle
  • the display processing unit converts the vehicle shape data into display data.
  • the transmittance of the region in the side direction in which the vehicle that is a part of the vehicle is turned is changed to the other region. Is displayed differently from the transmittance of the region in the opposite direction, which is the opposite direction to the side direction in which the vehicle turns. Therefore, since the display according to the driver's steering can be realized, the driver can check the situation around the vehicle more appropriately.
  • the acquisition unit further acquires detection data from a detection unit that detects an object around the vehicle
  • the display processing unit further acquires the vehicle based on the detection data.
  • the transmittance of the region corresponding to the part close to the object which is a part of the region and the transmittance of the other region are displayed differently. Therefore, since the driver can grasp the positional relationship between the vehicle and the object, it is possible to confirm an appropriate situation around the vehicle.
  • FIG. 1 is a perspective view illustrating an example of a state in which a part of a passenger compartment of a vehicle on which the display control device according to the embodiment is mounted is seen through.
  • FIG. 2 is a plan view (bird's eye view) illustrating an example of a vehicle on which the display control device according to the embodiment is mounted.
  • FIG. 3 is a block diagram illustrating an example of a configuration of a display control system including the display control device according to the embodiment.
  • FIG. 4 is a block diagram illustrating a functional configuration of the ECU as the display control apparatus according to the embodiment.
  • FIG. 5 is a diagram illustrating vehicle shape data stored in the vehicle shape data storage unit of the embodiment.
  • FIG. 6 is a diagram exemplifying vehicle shape data when a region corresponding to a height of 2 m or more of the vehicle is completely transmitted.
  • FIG. 7 is a diagram illustrating vehicle shape data when a region corresponding to a height of 1 m or more of the vehicle is completely transmitted.
  • FIG. 8 is a diagram illustrating vehicle shape data in a case where the rear region is completely transmitted from a predetermined position of the vehicle.
  • FIG. 9 is a diagram illustrating vehicle shape data when a region corresponding to a height of 1 m or less of the vehicle is completely transmitted.
  • FIG. 10 is an exemplary schematic diagram illustrating projection of captured image data on a virtual projection plane in the image composition unit of the embodiment.
  • FIG. 10 is an exemplary schematic diagram illustrating projection of captured image data on a virtual projection plane in the image composition unit of the embodiment.
  • FIG. 11 is a schematic and exemplary side view showing vehicle shape data and a virtual projection plane.
  • FIG. 12 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit of the embodiment.
  • FIG. 13 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit of the embodiment.
  • FIG. 14 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit of the embodiment.
  • FIG. 15 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit of the embodiment.
  • FIG. 16 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit of the embodiment.
  • FIG. 17 is a flowchart illustrating a procedure of first display processing in the ECU of the embodiment.
  • FIG. 18 is a flowchart illustrating a procedure of second display processing in the ECU of the embodiment.
  • FIG. 19 is a flowchart illustrating a procedure of third display processing in the ECU according to the embodiment.
  • FIG. 20 is a diagram illustrating a ground contact point between the wheel and the ground, which is a reference for the height of the vehicle according to the embodiment.
  • FIG. 21 is a diagram illustrating a horizontal plane serving as a reference for the height of the vehicle according to the first modification.
  • FIG. 22 is a diagram illustrating a display screen displayed by the display processing unit according to the modification.
  • the vehicle 1 equipped with a display control device may be, for example, an automobile using an internal combustion engine (not shown) as a drive source, that is, an internal combustion engine automobile, or an electric motor (not shown). It may be a vehicle as a drive source, that is, an electric vehicle, a fuel cell vehicle, or the like. Moreover, the hybrid vehicle which uses both of them as a drive source may be sufficient, and the vehicle provided with the other drive source may be sufficient. Further, the vehicle 1 can be mounted with various transmissions, and various devices necessary for driving the internal combustion engine and the electric motor, such as systems and components, can be mounted.
  • the driving method is not limited to the four-wheel driving method, and may be a front wheel driving method or a rear wheel driving method, for example.
  • the vehicle body 2 constitutes a passenger compartment 2a in which a passenger (not shown) gets.
  • a steering section 4 an acceleration operation section 5, a braking operation section 6, a shift operation section 7 and the like are provided in a state facing the driver's seat 2b as a passenger.
  • the steering unit 4 is, for example, a steering wheel protruding from the dashboard 24,
  • the acceleration operation unit 5 is, for example, an accelerator pedal positioned under the driver's feet
  • the braking operation unit 6 is, for example, a driver's foot It is a brake pedal located under the foot
  • the speed change operation unit 7 is, for example, a shift lever protruding from the center console.
  • the steering unit 4, the acceleration operation unit 5, the braking operation unit 6, the speed change operation unit 7 and the like are not limited to these.
  • a display device 8 and an audio output device 9 are provided in the passenger compartment 2a.
  • the display device 8 is, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display).
  • the audio output device 9 is, for example, a speaker.
  • the display device 8 is covered with a transparent operation input unit 10 such as a touch panel. The occupant can visually recognize an image displayed on the display screen of the display device 8 via the operation input unit 10. In addition, the occupant can execute an operation input by touching, pushing, or moving the operation input unit 10 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 8. .
  • the display device 8, the audio output device 9, the operation input unit 10, and the like are provided, for example, in the monitor device 11 that is located in the vehicle width direction of the dashboard 24, that is, the central portion in the left-right direction.
  • the monitor device 11 can have an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button.
  • a sound output device (not shown) can be provided at another position in the passenger compartment 2a different from the monitor device 11, and sound is output from the sound output device 9 of the monitor device 11 and other sound output devices. be able to.
  • the monitor device 11 can be used also as, for example, a navigation system or an audio system.
  • the vehicle 1 is, for example, a four-wheeled vehicle, and has two left and right front wheels 3F and two right and left rear wheels 3R. All of these four wheels 3 can be configured to be steerable.
  • the vehicle 1 includes a steering system 13 that steers at least two wheels 3.
  • the steering system 13 includes an actuator 13a and a torque sensor 13b.
  • the steering system 13 is electrically controlled by an ECU 14 (electronic control unit) or the like to operate the actuator 13a.
  • the steering system 13 is, for example, an electric power steering system, an SBW (steer by wire) system, or the like.
  • the steering system 13 adds torque, that is, assist torque to the steering unit 4 by the actuator 13a to supplement the steering force, or steers the wheel 3 by the actuator 13a.
  • the actuator 13a may steer one wheel 3 or may steer a plurality of wheels 3.
  • the torque sensor 13b detects the torque which a driver
  • the vehicle body 2 is provided with, for example, four imaging units 15a to 15d as the plurality of imaging units 15.
  • the imaging unit 15 is a digital camera that incorporates an imaging element such as a CCD (charge coupled device) or a CIS (CMOS image sensor).
  • the imaging unit 15 can output moving image data (captured image data) at a predetermined frame rate.
  • Each of the imaging units 15 includes a wide-angle lens or a fish-eye lens, and can capture a range of, for example, 140 ° to 220 ° in the horizontal direction. Further, the optical axis of the imaging unit 15 may be set obliquely downward.
  • the imaging unit 15 sequentially captures the external environment around the vehicle 1 including the road surface on which the vehicle 1 is movable and surrounding objects (obstacles, rocks, dents, puddles, dredging, etc.), and as captured image data. Output.
  • the imaging unit 15a is located, for example, at the rear end 2e of the vehicle body 2 and is provided on a wall portion below the rear window of the rear hatch door 2h.
  • the imaging unit 15b is located, for example, at the right end 2f of the vehicle body 2 and provided on the right door mirror 2g.
  • the imaging unit 15c is located, for example, on the front side of the vehicle body 2, that is, the front end 2c in the vehicle front-rear direction, and is provided on a front bumper, a front grill, or the like.
  • the imaging unit 15d is located, for example, at the left end 2d of the vehicle body 2 and is provided on the left door mirror 2g.
  • ECU14 which comprises the display control system 100 performs arithmetic processing and image processing based on the picked-up image data obtained by the several image pick-up part 15, produces
  • the ECU 14 displays the acquired image data on the display device 8 so that, for example, the peripheral monitoring information that allows the vehicle 1 to perform a safety check on the right side or the left side of the vehicle 1 or a safety check on the surroundings of the vehicle 1 can be performed. I will provide a.
  • the display control system 100 in addition to the ECU 14, the monitor device 11, the steering system 13, etc., the brake system 18, the steering angle sensor 19, the accelerator sensor 20, the shift A sensor 21, a wheel speed sensor 22, an acceleration sensor 26, and the like are electrically connected via an in-vehicle network 23 as an electric communication line.
  • the in-vehicle network 23 is configured as a CAN (controller area network), for example.
  • the ECU 14 can control the steering system 13, the brake system 18, and the like by sending a control signal through the in-vehicle network 23.
  • the ECU 14 also detects detection results of the torque sensor 13b, the brake sensor 18b, the rudder angle sensor 19, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, the acceleration sensor 26, and the like via the in-vehicle network 23, and an operation input unit.
  • An operation signal such as 10 can be received.
  • the ECU 14 includes, for example, a CPU 14a (central processing unit), a ROM 14b (read only memory), a RAM 14c (random access memory), a display control unit 14d, an audio control unit 14e, an SSD 14f (solid state drive, flash memory), and the like. ing.
  • the CPU 14a reads a program stored (installed) in a non-volatile storage device such as the ROM 14b, and executes arithmetic processing according to the program. For example, the CPU 14a executes image processing related to an image displayed on the display device 8.
  • the CPU 14a performs arithmetic processing or image processing on the captured image data captured by the imaging unit 15 to detect whether or not there is a specific region to be noted on the predicted course of the vehicle 1, For example, the user (driver or passenger) is notified of the presence of a specific region by changing the display mode of a course indicator (predicted course line) indicating the estimated travel direction of the vehicle 1.
  • a course indicator predicted course line
  • the RAM 14c temporarily stores various types of data used in computations by the CPU 14a.
  • the display control unit 14d mainly performs image processing using the captured image data obtained by the imaging unit 15 and image processing of image data displayed on the display device 8 (as an example) in the arithmetic processing performed by the ECU 14. Executes image composition).
  • the voice control unit 14 e mainly executes processing of voice data output from the voice output device 9 among the calculation processes in the ECU 14.
  • the SSD 14f is a rewritable nonvolatile storage unit, and can store data even when the ECU 14 is powered off.
  • the CPU 14a, the ROM 14b, the RAM 14c, and the like can be integrated in the same package.
  • the ECU 14 may have a configuration in which another logic operation processor, a logic circuit, or the like such as a DSP (digital signal processor) is used instead of the CPU 14a.
  • a DSP digital signal processor
  • an HDD hard disk drive
  • the SSD 14f and the HDD may be provided separately from the peripheral monitoring ECU 14.
  • the brake system 18 is, for example, an ABS (anti-lock brake system) that suppresses the locking of the brake, a skid prevention device (ESC: electronic stability control) that suppresses the skidding of the vehicle 1 during cornering, and enhances the braking force ( Electric brake system that executes brake assist), BBW (brake by wire), etc.
  • the brake system 18 applies a braking force to the wheels 3 and thus to the vehicle 1 via the actuator 18a.
  • the brake system 18 can execute various controls by detecting brake lock, idle rotation of the wheels 3, signs of skidding, and the like from the difference in rotation between the left and right wheels 3.
  • the brake sensor 18b is a sensor that detects the position of the movable part of the braking operation unit 6, for example.
  • the brake sensor 18b can detect the position of a brake pedal as a movable part.
  • the brake sensor 18b includes a displacement sensor.
  • the steering angle sensor 19 is a sensor that detects the steering amount of the steering unit 4 such as a steering wheel.
  • the rudder angle sensor 19 is configured using, for example, a hall element.
  • the ECU 14 obtains the steering amount of the steering unit 4 by the driver, the steering amount of each wheel 3 during automatic steering, and the like from the steering angle sensor 19 and executes various controls.
  • the rudder angle sensor 19 detects the rotation angle of the rotating part included in the steering unit 4.
  • the rudder angle sensor 19 is an example of an angle sensor.
  • the accelerator sensor 20 is a sensor that detects the position of the movable part of the acceleration operation part 5, for example.
  • the accelerator sensor 20 can detect the position of an accelerator pedal as a movable part.
  • the accelerator sensor 20 includes a displacement sensor.
  • the shift sensor 21 is, for example, a sensor that detects the position of the movable part of the speed change operation unit 7.
  • the shift sensor 21 can detect the position of a lever, arm, button, or the like as a movable part.
  • the shift sensor 21 may include a displacement sensor or may be configured as a switch.
  • the wheel speed sensor 22 is a sensor that detects the amount of rotation of the wheel 3 and the number of rotations per unit time.
  • the wheel speed sensor 22 outputs a wheel speed pulse number indicating the detected rotation speed as a sensor value.
  • the wheel speed sensor 22 may be configured using, for example, a hall element.
  • the ECU 14 calculates the amount of movement of the vehicle 1 based on the sensor value acquired from the wheel speed sensor 22 and executes various controls. Note that the wheel speed sensor 22 may be provided in the brake system 18. In that case, the ECU 14 acquires the detection result of the wheel speed sensor 22 via the brake system 18.
  • the acceleration sensor 26 is provided in the vehicle 1, for example. Based on the signal from the acceleration sensor 26, the ECU 14 calculates the front-rear direction inclination (pitch angle) and the left-right direction inclination (roll angle) of the vehicle 1.
  • the pitch angle is an angle that indicates the inclination of the vehicle 1 around the left-right axis. When the vehicle 1 is present on a horizontal surface (ground, road surface), the pitch angle is 0 degree.
  • the roll angle is an angle indicating the inclination around the longitudinal axis of the vehicle 1, and the roll angle is 0 degree when the vehicle 1 is present on a horizontal surface (ground, road surface).
  • the acceleration sensor 26 conventionally mounted in ESC is used. Note that the present embodiment does not limit the acceleration sensor 26 and may be any sensor that can detect the longitudinal and lateral accelerations of the vehicle 1.
  • the CPU 14a included in the ECU 14 displays the environment around the vehicle 1 based on the captured image data as described above.
  • the CPU 14a includes various modules as shown in FIG.
  • the CPU 14a includes, for example, an acquisition unit 401, a determination unit 402, a transmittance processing unit 403, an image composition unit 404, a viewpoint image generation unit 405, and a display processing unit 406. These modules can be realized by reading a program installed and stored in a storage device such as the ROM 14b and executing it.
  • the SSD 14f includes, for example, a vehicle shape data storage unit 451 that stores vehicle shape data representing the three-dimensional shape of the vehicle 1.
  • vehicle shape data stored in the vehicle shape data storage unit 451 also holds the shape of the interior of the vehicle 1.
  • the acquisition unit 401 includes an image acquisition unit 411, an operation acquisition unit 412, and a detection acquisition unit 413, and acquires information necessary for displaying the surroundings of the vehicle 1.
  • the acquisition unit 401 includes an image acquisition unit 411, an operation acquisition unit 412, and a detection acquisition unit 413. Information necessary for displaying the surroundings of the vehicle 1 (for example, predetermined data acquired from the outside, Captured image data) is acquired.
  • the operation acquisition unit 412 acquires operation data representing an operation performed by the driver via the operation input unit 10.
  • As the operation data for example, an operation for enlarging / reducing the screen displayed on the display device 8 or an operation for changing the viewpoint of the screen displayed on the display device 8 can be considered.
  • the operation acquisition unit 412 further acquires operation data indicating the shift operation and steering angle data indicating the steering performed by the driver of the vehicle 1. Furthermore, the operation acquisition unit 412 also acquires operation data indicating a blinker lighting operation performed by the driver of the vehicle 1.
  • the detection acquisition unit 413 acquires detection data from a detection unit that detects objects around the vehicle 1.
  • the imaging units 15a to 15d are stereo cameras, and by using the stereo camera, an object around the vehicle 1 is detected, or a sonar or laser (not shown) is used. It can be considered that an object around the vehicle 1 is detected.
  • the determination unit 402 determines whether to switch the transmittance of the vehicle shape data representing the vehicle 1 based on the information acquired by the acquisition unit 401.
  • the determination unit 402 determines whether to switch the transmittance of the vehicle shape data representing the vehicle 1 based on the operation data acquired by the operation acquisition unit 412. For example, when the reduction / enlargement operation is performed by the driver, the determination unit 402 determines that switching to the transmittance corresponding to the reduction / enlargement operation should be performed.
  • the determination unit 402 determines whether to switch the transmittance of the vehicle shape data representing the vehicle 1 based on the operation data acquired by the operation acquisition unit 412. For example, when the driver performs a reduction operation or an enlargement operation, the determination unit 402 determines that the transmission should be switched to the transmittance corresponding to the reduction operation or the enlargement operation.
  • the determination unit 402 determines whether to switch the transmittance of the vehicle shape data representing the vehicle 1 based on the detection data acquired by the detection acquisition unit 413. Specifically, the determination unit 402 determines whether or not the distance between the obstacle detected by the detection data acquired by the detection acquisition unit 413 and the vehicle 1 is within a predetermined value. Then, the determination unit 402 determines whether or not to switch the transmittance of the vehicle shape data representing the vehicle 1 based on the result. For example, when an obstacle is detected within a predetermined distance in the traveling direction of the vehicle 1 based on the detection data, it is conceivable that the obstacle can be easily visually recognized by increasing the transmittance of the vehicle shape data.
  • the predetermined distance is set according to the embodiment.
  • the transmittance processing unit 403 performs a transmittance change process on the vehicle shape data stored in the vehicle shape data storage unit 451 based on the determination result of the determination unit 402. At that time, the color of the vehicle shape data may be changed. For example, the color of the area closest to the obstacle may be changed so that the driver can recognize that the obstacle is approaching.
  • the display processing unit 406 of the present embodiment displays the vehicle shape data, based on the detection data, the transmittance of the region of the vehicle shape data corresponding to the part close to the detected object of the vehicle 1 is calculated.
  • the transmittance of other regions may be displayed differently.
  • the transmittance processing unit 403 is a part of the vehicle 1 that is close to (is in the vicinity of) the detected obstacle.
  • the transmittance of a part of the vehicle shape data corresponding to is made higher than the transmittance of the other regions. Thereby, it becomes easy to visually recognize an obstacle.
  • the display processing unit 406 of the present embodiment can display the transmittance of a part of the vehicle shape data different from the transmittance of another area different from the part of the area.
  • This partial area may be any area as long as it is an area in the vehicle shape data.
  • the partial region may be a region corresponding to a part of the vehicle 1 near the detected object, or may be a bumper or a wheel included in the vehicle shape data.
  • the vehicle shape data may be displayed with different transmittances, with the region where the wheel is represented as a partial region and the region where the roof is represented as another region.
  • the transmittance may be gradually changed from one region toward another region.
  • the partial area and other areas of the present embodiment may be an area corresponding to one part of the vehicle 1, an area extending over a plurality of parts, or an area corresponding to a part in the part. good.
  • FIG. 5 is a diagram illustrating vehicle shape data stored in the vehicle shape data storage unit 451 of this embodiment.
  • the vehicle shape data shown in FIG. 5 makes it possible to adjust the direction of wheels and the like according to the steering angle of the vehicle 1.
  • the transmittance processing unit 403 performs a transmission process on the vehicle shape data so that the switched transmittance is obtained when the transmittance is switched according to the determination result of the determination unit 402.
  • the transmittance can be set to any value from 0% to 100%.
  • the transmittance processing unit 403 switches the transmittance according to the determination result of the determination unit 402
  • the transmission of the vehicle shape data is performed according to the distance between the obstacle detected from the detection data and the vehicle 1.
  • the rate may be switched.
  • the display processing unit 406 can realize display of vehicle shape data in which the transmittance is switched according to the distance.
  • the determination unit 402 may determine how to switch the transmittance based on the operation data.
  • the transmittance may be switched according to the time during which the vehicle shape data is touched. For example, when it is determined that the touching time is long, the transmittance processing unit 403 may perform the transmission processing so as to increase the transmittance. Furthermore, as the number of touches detected by the determination unit 402 increases, the transmittance processing unit 403 may perform the transmission process so as to increase the transmittance. As another example, the transmittance processing unit 403 may switch the transmittance according to the strength of the touch detected by the determination unit 402.
  • the transmittance processing unit 403 performs other processing on the arbitrary region. Processing such as increasing (or decreasing) the transmittance from that region may be performed.
  • the transmittance processing unit 403 is not limited to performing the transmission processing with the same transmittance for the entire vehicle shape data.
  • the transmittance may be different for each region of the vehicle shape data. For example, it is conceivable that the transmittance of a region where wheels or the like close to the ground are arranged in the vehicle shape data is lowered, and the transmittance is increased in a region far from the ground.
  • FIG. 6 is a diagram illustrating vehicle shape data when a region corresponding to a height of 2 m or more of the vehicle 1 is completely transmitted. As shown in FIG. 6, the region corresponding to the height of 2 m or more of the vehicle 1 is completely transmitted, the transmittance below the height of 2 m of the vehicle 1 is not completely transmitted, and the transmittance is lowered toward the bottom. As described above, the display range around the vehicle 1 can be expanded by completely transmitting the region corresponding to the height of 2 m or more while recognizing the situation between the wheel and the ground.
  • FIG. 7 is a diagram illustrating vehicle shape data when a region corresponding to a height of 1 m or more of the vehicle 1 is completely transmitted. As shown in FIG. 7, the vehicle 1 may be completely transmitted depending on whether or not the height of the vehicle 1 is 1 m or more.
  • the reference of the completely transmitting height shown in FIGS. 6 and 7 can be arbitrarily set according to the height of the vehicle 1 and the situation around the vehicle 1.
  • the transmittance processing unit 403 may perform the transmission processing in which the transmittance is increased in the vehicle shape data from the region where the wheel is represented toward the region where the roof (ceiling) is represented. .
  • the display processing unit 406 displays the vehicle shape data subjected to such a transmission process, thereby displaying the situation between the ground and the vehicle 1 and completely transmitting the vicinity of the roof of the vehicle 1. The situation around the vehicle 1 can be visually confirmed.
  • transmit completely is not restrict
  • FIG. 8 is a diagram exemplifying vehicle shape data when the rear region of the vehicle 1 is completely transmitted from a predetermined position.
  • the situation of the ground contact surface of the wheel can be recognized. Since the rear side of the vehicle 1 is not necessary for confirming the situation in the traveling direction, a wider area around the vehicle 1 can be displayed by transmitting the vehicle 1.
  • the transmittance processing unit 403 may switch the region to be transmitted. For example, when the determination unit 402 determines that the traveling direction has been switched from forward to backward, the transmittance processing unit 403 starts from a predetermined position of the vehicle 1 from a complete transmission of a region behind the predetermined position of the vehicle 1. Switch to full transparency in the front area. Thereby, the permeation
  • FIG. 9 is a diagram exemplifying vehicle shape data when the predetermined height T1 is 1 m and the region corresponding to the height 1 m or less of the vehicle 1 is completely transmitted. In the example shown in FIG. 9, the transmittance of 1 m or higher of the vehicle 1 is not completely transmitted, and the transmittance is lowered toward the top.
  • the display processing unit 406 of the present embodiment has an area where the roof (which is another area) is represented from an area where the wheel (which is a partial area) is represented in the vehicle shape data. As it goes to the display, it is possible to perform display for increasing the transmittance or display for decreasing the transmittance.
  • the image composition unit 404 synthesizes a plurality of captured image data acquired by the image acquisition unit 411, that is, a plurality of captured image data captured by the plurality of imaging units 15, and a boundary portion thereof. By doing so, one shot image data is generated.
  • the image composition unit 404 synthesizes a plurality of captured image data so that the captured image data is projected onto a virtual projection plane surrounding the vehicle 1.
  • FIG. 10 is an exemplary schematic diagram illustrating projection of the captured image data 1001 on the virtual projection plane 1002 in the image composition unit 404.
  • the virtual projection plane 1002 has a bottom surface 1002b along the ground Gr, and a bottom surface 1002b, that is, a side surface 1002a rising from the ground Gr.
  • the ground Gr is a horizontal plane orthogonal to the vertical direction Z of the vehicle 1 and is also a tire contact surface.
  • the bottom surface 1002b is a substantially circular flat surface and is a horizontal surface with the vehicle 1 as a reference.
  • the side surface 1002a is a curved surface in contact with the bottom surface 1002b.
  • the shape of the vertical virtual cross section of the vehicle 1 passing through the center Gc of the vehicle 1 on the side surface 1002a is, for example, elliptical or parabolic.
  • the side surface 1002a is configured as, for example, a rotation surface around the center line CL that passes through the center Gc of the vehicle 1 and extends in the vertical direction of the vehicle 1, and surrounds the periphery of the vehicle 1.
  • the image composition unit 404 generates composite image data obtained by projecting the captured image data 1001 onto the virtual projection plane 1002.
  • the viewpoint image generation unit 405 includes a superimposition unit 421 and a reduction / enlargement unit 422, and generates viewpoint image data viewed from a predetermined virtual viewpoint from composite image data projected on the virtual projection plane 1002.
  • this embodiment demonstrated the example which produces
  • FIG. 11 is a schematic and exemplary side view showing the vehicle shape data 1103 and the virtual projection plane 1002.
  • the superimposing unit 421 superimposes the vehicle shape data 1103 after the transmission processing by the transmittance processing unit 403 on the virtual projection plane 1002.
  • the viewpoint image generation unit 405 converts the composite image data projected on the virtual projection plane 1002 into viewpoint image data in which the gazing point 1102 is viewed from the viewpoint 1101. Note that the gazing point 1102 is a center point of the display area of the viewpoint image data.
  • the viewpoint 1101 can be arbitrarily set by the user. Further, the viewpoint is not limited to the outside of the vehicle shape data 1103, and may be set inside the vehicle shape data 1103.
  • the viewpoint image generation unit 405 generates viewpoint image data from the viewpoint set according to the operation data acquired by the operation acquisition unit 412.
  • the reduction / enlargement unit 422 performs a process of moving the viewpoint 1101 closer to or away from the vehicle shape data 1103 according to the operation data, so that the vehicle shape displayed in the viewpoint image data generated by the viewpoint image generation unit 405 is displayed. Reduction / enlargement processing of the data 1103 is performed.
  • the gaze point 1102 can be arbitrarily set by the user. For example, when an enlargement operation is performed according to the operation data acquired by the operation acquisition unit 412, the reduction / enlargement unit 422 moves the gazing point 1102 indicating the center point of the display to a predetermined coordinate. Processing may be performed. For example, when the user performs an enlargement operation, the user considers that the user wants to see the situation of the wheel and the ground Gr, and the reduction / enlargement unit 422 causes the gazing point 1102 to reach the contact point between the wheel and the ground Gr. Process to move.
  • this embodiment demonstrated the case where the coordinate used as the movement destination of the gazing point 1102 was a contact point of a wheel and the ground Gr, it does not restrict the position of the coordinate of the movement destination, and depends on the embodiment. Appropriate coordinates are set.
  • the display processing unit 406 when the display processing unit 406 performs an enlarged display based on the operation data, the display processing unit 406 switches from the transmittance before the operation to be enlarged (for example, the current transmittance) to a higher transmittance, and sets a gaze point in advance.
  • the viewpoint image data to be moved to the specified coordinates is displayed.
  • the gazing point By moving the gazing point to the coordinates that the driver wants to confirm, the vehicle shape data corresponding to the driver's operation and the surroundings of the vehicle can be displayed, so the convenience can be improved.
  • the display processing unit 406 performs display processing of the viewpoint image data generated by the viewpoint image generation unit 405.
  • the viewpoint image data is displayed on the display device 8
  • the present invention is not limited to the example in which the viewpoint image data is displayed on the display device 8, and for example, the viewpoint image is displayed on a HUD (head-up display). Data may be displayed.
  • FIG. 12 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit 406.
  • the vehicle shape data 1201 when processed by the transmittance processing unit 403 at a transmittance of 0% is superimposed.
  • the vehicle shape data 1201 shown in FIG. 12 the vehicle shape data 1201 is transmitted, and the situation on the opposite side cannot be confirmed.
  • the display processing unit 406 of the present embodiment has viewpoint image data obtained by superimposing vehicle shape data on the composite image data representing the periphery of the vehicle based on the captured image data according to the current position of the vehicle 1. Is displayed, a part of the vehicle shape data is displayed with a different transmittance from the other areas. Next, a display example of viewpoint image data in which a part of the vehicle shape data has a different transmittance from the other areas will be described.
  • this embodiment demonstrates the case where it superimposes according to the current position of the vehicle 1 when superimposing vehicle shape data, you may superimpose on another position.
  • the vehicle shape data may be superimposed on a position on the predicted course of the vehicle 1 or may be superimposed on a past position of the vehicle 1.
  • FIG. 13 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit 406.
  • the transmittance processing unit 403 processes a predetermined height T1 or more with the transmittance K1, and processes below the predetermined height T1 with the transmittance K2 (K1> Assume that vehicle shape data 1301 of K2> 0%) is superimposed.
  • the transmittance of the vehicle shape data below the predetermined height is low, the positional relationship between the vehicle 1 and the ground can be recognized. Further, since the light is transmitted at the transmittance K2, the situation on the opposite side of the vehicle 1 can be recognized to some extent.
  • the transmittance of the vehicle shape data above the predetermined height T1 is high, the situation on the opposite side of the vehicle 1 can be confirmed in more detail. As a result, the driver can recognize the situation in a wider area.
  • FIG. 14 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit 406.
  • vehicle shape data when the region 1401 corresponding to the wheel is processed with 0% transmittance and the region other than the wheel is processed with 100% transmittance is superimposed by the transmittance processing unit 403.
  • the transmittance processing unit 403. As an example.
  • the display can be considered, for example, when the display operation of only the wheel is performed by the driver.
  • the determination unit 402 determines that 100% of the area other than the wheel region is transmitted based on the operation data indicating the wheel display.
  • the transmittance processing unit 403 performs the above-described transmission processing according to the determination result.
  • this embodiment demonstrated the case where only a wheel was displayed, the structure displayed is not restrict
  • the region corresponding to the wheel is set to 0% transmittance and the transmittance of the other region is set to 100% has been described.
  • the transmittance of the region corresponding to the wheel ⁇ the transmittance of the other region. Any rate is acceptable.
  • the display processing unit 406 of the present embodiment uses the transmittance of the region corresponding to one or more of the bumper and the wheel (which is a partial region) and the transmittance of the other region of the vehicle 1. It is possible to display the vehicle shape data that has been subjected to the transmission processing so as to be lower than the vehicle shape data.
  • the transmission processing is performed so that the transmittance of the region corresponding to one or more of the bumper and the wheel (which is a partial region) is lower than the transmittance of the other region.
  • the transmission processing may be performed so as to be higher than the transmittance of other regions.
  • the present embodiment is not limited to performing the above-described transparent processing based on operation data.
  • the transmittance processing unit 403 as shown in FIG. Transmission processing may be performed so that any one or more of the bumpers have a lower transmittance than the other regions.
  • the operation data and the detection data are used.
  • permeability was demonstrated.
  • the data for switching the transmittance is not limited to the operation data and the detection data, and may be predetermined data acquired from the outside.
  • the image composition unit 404 synthesizes captured image data captured by the image capturing unit 15 in the past as composite image data.
  • captured image data captured 2 m before the current position by the vehicle 1 can be considered.
  • Such captured image data may be used as captured image data obtained by capturing the situation under the floor of the vehicle 1.
  • the area 1402 is not limited to displaying past captured image data, but may be simply filled with a predetermined color.
  • FIG. 15 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit 406.
  • the vehicle shape data 1501 when processed by the transmittance processing unit 403 with a transmittance of 100% excluding the line of the vehicle shape data is superimposed. Thereby, since vehicle shape data is permeate
  • the display shown in FIG. 15 may be, for example, a case where “display only vehicle lines” is selected by the user.
  • FIG. 16 is a diagram illustrating an example of viewpoint image data displayed by the display processing unit 406.
  • the viewpoint is arranged in the vehicle shape data.
  • the periphery of the vehicle 1 is displayed through the interior that is included in the vehicle shape data.
  • the display shown in FIG. 16 may be, for example, a case where a viewpoint operation is performed by the user.
  • the transmittance is higher in the region lower than the predetermined height T2 than in the region higher than the predetermined height T2. That is, when displaying from the inside of the vehicle 1, the transmittance K3 of the region 1611 lower than the predetermined height T2 is increased in order to recognize the state of objects existing on the ground. On the other hand, the region 1612 higher than the predetermined height T2 can be grasped inside the vehicle by reducing the transmittance K4 (transmittance K3> transmittance K4).
  • the display processing unit 406 displays viewpoint image data for displaying the periphery of the vehicle from the viewpoint through the interior of the vehicle.
  • viewpoint image data displayed, the surroundings of the vehicle 1 are transmitted by the transmittance processing unit 403 through vehicle shape data that has been subjected to transmission processing for decreasing the transmittance in the interior from the bottom to the ceiling.
  • the display processing unit 406 displays the viewpoint image data in which is displayed.
  • permeability processing part 403 performs the permeation
  • permeability becomes high as it goes to a ceiling from under a floor.
  • the permeation process may be performed.
  • the display processing unit 406 allows the vehicle shape data to be transmitted in a case where the viewpoint is located inside the vehicle shape data and a case where the viewpoint is located outside the vehicle shape data. I decided to make them different.
  • the determination unit 402 determines, based on the operation data acquired by the operation acquisition unit 412, whether or not the viewpoint is inside the vehicle shape data (vehicle 1) by an operation performed by the user.
  • the transmittance processing unit 403 has a transmittance K3 that is lower than the predetermined height T2> a region that is higher than the predetermined height T2.
  • the transmission process is performed after setting the transmission factor K4.
  • the transmittance processing unit 403 has a transmittance K2 of a region lower than the predetermined height T1 ⁇ the predetermined height T1. Transmission processing is performed after setting the transmittance K1 of the high region.
  • the transmission process switching control is performed according to whether the viewpoint is inside the vehicle shape data (vehicle 1).
  • the transmittance processing unit 403 determines a transmission region based on information such as vehicle speed information, shift operation data, and blinker acquired by the acquisition unit 401. You may switch. For example, when the determination unit 402 determines that the traveling direction has been switched by the shift operation, the transmittance processing unit 403 may perform processing to transmit the region on the traveling direction side.
  • the transmittance processing unit 403 determines that the driver has performed the right steering or the left steering based on the steering angle data or the operation data indicating the blinker lighting operation. Then, a transmission process is performed in which a part of the vehicle shape data in the side direction in which the vehicle 1 is bent has a higher transmittance than other areas in the direction opposite to the side in which the vehicle 1 is bent.
  • the display processing unit 406 displays the vehicle shape data having high transmittance on the side in which the vehicle 1 bends, so that it is easy to check the surroundings on the direction in which the vehicle 1 is turned through the vehicle shape data.
  • this embodiment demonstrated the example which performs the permeation
  • the determination unit 402 may switch the displayed screen when detecting a touch in a predetermined area based on the operation data. For example, when the determination unit 402 determines that the blind spot area is touched in the vehicle shape data displayed on the display device 8, the display processing unit 406 displays, for example, 2 m of the vehicle 1 as an underfloor image of the vehicle 1. You may control to display the image data imaged when it exists behind (past) as an underfloor image of the vehicle 1.
  • the display processing unit 406 displays a luminance value in the vicinity of the arbitrary region. You may perform the display process which raises and makes it look bright, and is illuminated with what is called a virtual light.
  • FIG. 17 is a flowchart showing a procedure of the above-described processing in the ECU 14 of the present embodiment.
  • the image acquisition unit 411 acquires captured image data from the imaging units 15a to 15d that capture the periphery of the vehicle 1 (S1701).
  • the image composition unit 404 synthesizes a plurality of captured image data acquired by the image acquisition unit 411 to generate one composite image data (S1702).
  • the transmittance processing unit 403 reads the vehicle shape data stored in the vehicle shape data storage unit 451 of the SSD 14f (S1703).
  • the transmittance processing unit 403 performs a transmission process on the vehicle shape data with a predetermined transmittance (S1704).
  • the predetermined transmittance is set to a predetermined value according to the initial values of the viewpoint and the gazing point.
  • the superimposing unit 421 superimposes the vehicle shape data after the transmission process on the composite image data (S1705).
  • the viewpoint image generation unit 405 generates viewpoint image data from the composite image data on which the vehicle shape data is superimposed based on the initial values of the viewpoint and the gazing point (S1706).
  • the display processing unit 406 displays the viewpoint image data on the display device 8 (S1707).
  • the determination unit 402 determines whether or not the user has performed a change operation of the transmittance or a switching operation of the transparent configuration based on the operation data acquired by the operation acquisition unit 412. Is determined (S1708).
  • the transmittance processing unit 403 When it is determined that the operation for changing the transmittance or the operation for switching the configuration to be transmitted has been performed (S1708: Yes), the transmittance processing unit 403 follows the change processing of the transmittance changed for the vehicle shape data and the switching operation. Then, the entire vehicle shape data or the transmission process (for example, the configuration other than the wheels and the bumper) is transmitted (S1709). Thereafter, the processing is performed from S1705.
  • FIG. 18 is a flowchart showing the above-described processing procedure in the ECU 14 of the present embodiment.
  • the detection acquisition part 413 acquires detection data from a sonar, a laser, etc. (S1809).
  • the determination unit 402 determines whether the distance between the vehicle 1 and the obstacle present in the traveling direction of the vehicle 1 is within a predetermined value based on the detection data (S1810).
  • the transmittance processing unit 403 When it is determined that the distance between the vehicle 1 and the obstacle existing in the traveling direction of the vehicle 1 is within a predetermined value (S1810: Yes), the transmittance processing unit 403 approaches the entire vehicle shape data or the obstacle. For a region that is present, processing for switching to a transmittance higher than the transmittance that was set before detection and transmission processing for the entire vehicle shape data or a region that is close to an obstacle are performed (S1811). Thereafter, processing is performed from S1805.
  • the predetermined value may be, for example, a distance that is invisible to the driver on the vehicle 1 because an obstacle has entered within the blind spot area due to the vehicle body. It is sufficient that an appropriate value is determined.
  • This embodiment is not limited to changing the transmittance when the transmittance is directly manipulated by the user, and the transmittance may be changed according to other operations. Therefore, a case where the transmittance is changed according to the reduction / enlargement rate will be described. That is, when it is desired to display the vehicle in an enlarged manner, it is assumed that the relationship between the vehicle 1 and the ground is to be confirmed. To reduce the transmittance and to display the vehicle in a reduced size, it is desired to check the surroundings of the vehicle 1. For example, the transmittance may be increased.
  • the vehicle shape data is switched according to the positional relationship between the object around the vehicle 1 and the vehicle 1, so that the vehicle according to the current situation Since the shape data and the periphery of the vehicle 1 can be displayed, the convenience can be improved.
  • FIG. 19 is a flowchart showing a procedure of the above-described processing in the ECU 14 of the present embodiment.
  • the determination unit 402 makes the viewpoint closer to the vehicle shape data based on the operation data acquired by the operation acquisition unit 412 (in other words, the viewpoint close to the vehicle shape data). It is determined whether or not an operation of moving away is performed (S1908).
  • the transmittance processing unit 403 switches the vehicle shape data to a transmittance corresponding to the reduction / enlargement rate, and the vehicle shape data transmission processing. Is performed (S1909). It is assumed that the correspondence between the reduction / enlargement ratio and the transmittance is set in advance. Thereafter, processing is performed from S1905.
  • the reduction / enlargement unit 422 sets the gaze point and the position of the viewpoint according to the reduction / enlargement rate. Then, the viewpoint image generation unit 405 generates viewpoint image data based on the set gazing point and viewpoint.
  • the viewpoint image generation unit 405 may perform a process in which the gazing point moves to a predetermined position according to the enlargement ratio. That is, when the user performs an enlargement operation, it may be difficult to set up to the position of the point of interest. Furthermore, when performing an enlargement operation, there are many requests to see the situation between the vehicle and the ground. Therefore, in the present embodiment, when an enlargement operation is performed, control is performed so that the point of sight moves to the contact point between the wheel and the ground according to the enlargement process. Thereby, the operation until the user wants to confirm the location can be facilitated.
  • the display processing unit 406 of the present embodiment when the display processing unit 406 of the present embodiment performs enlarged display based on the operation data, the vehicle shape data that has been switched to the high transmittance from the transmittance before the operation to be enlarged is superimposed. View viewpoint image data.
  • the display processing unit 406 when the display processing unit 406 performs reduction display based on the operation data, the display processing unit 406 displays the viewpoint image data on which the vehicle shape data switched from the transmittance before the operation to reduce to the low transmittance is superimposed. .
  • the transmittance is switched in accordance with the enlargement operation or the reduction operation by the driver, so that the vehicle shape data corresponding to the operation of the driver and the surroundings of the vehicle are changed. Since display is possible, convenience can be improved.
  • the ground contact point between the wheel and the ground is the reference position
  • the distance in the vertical direction from the reference position is the vehicle height.
  • the vehicle corresponds to the height T3 or higher.
  • the upper region of the shape data has a transmittance of 80%, wheels, bumpers, and the like are displayed so as to be visible.
  • the transmission processing unit 403 is not subjected to the transmission process. You may instruct.
  • FIG. 21 is a diagram illustrating an example in which the vertical distance from the horizontal plane is the height of the vehicle, with the horizontal plane where the vehicle 1 exists as a reference.
  • the detection acquisition unit 413 detects the inclination of the vehicle 1 based on the acceleration information acquired from the acceleration sensor 26.
  • the transmittance processing unit 403 estimates the position of the horizontal plane where the vehicle 1 is in contact with the ground.
  • permeability process part 403 performs the permeation
  • the transmittance T is set to 80% from the height T3 from the horizontal plane, in the example shown in FIG. 21, in the situation where the vehicle 1 rides on the rock, the front area of the vehicle shape data including wheels and bumpers is transmitted. The rate is 80%.
  • FIG. 22 is a diagram illustrating a display screen displayed by the display processing unit 406 according to the modification.
  • the vehicle 1 rides on a rock when the transmittance is set to 80% from the height T3 from the horizontal plane, the front area of the vehicle shape data including wheels and bumpers is almost transmitted. Take an example.
  • the embodiment and the modification described above are not limited to an example in which the current situation is displayed.
  • the display processing unit 406 may display a screen representing the past situation of the vehicle 1 based on a user operation.
  • the image processing unit 404 uses the captured image data combined in the past, and the transmittance processing unit 403 performs the transmission processing after changing the color of the vehicle shape data.
  • the transmission process is the same as that in the above-described embodiment.
  • the color of the vehicle shape data is a color representing the past, such as gray or sepia. Thereby, the user can confirm that the past situation is displayed.
  • Modification 3 The third modification is an example in which transmission processing is performed (increase the transmittance) during enlargement, reduction, or rotation.
  • the determination unit 402 determines that the driver is performing an enlargement, reduction, or rotation operation.
  • the transmittance processing unit 403 performs the transmission processing with a transmittance (for example, complete transmission) higher than the transmittance before the operation indicating enlargement, reduction, or rotation.
  • the display processing unit 406 is displayed while the driver is performing an operation of enlarging, reducing, or rotating (it is only necessary to perform an operation of moving the vehicle shape data).
  • the viewpoint image data on which the vehicle shape data switched from the transmittance before the enlargement, reduction or rotation operation to the high transmittance is superimposed is displayed.
  • processing may be performed so as to move the point of gaze to a predetermined position according to the enlargement processing.
  • the display processing unit 406 of the third modification can be switched from the current transmittance to a high transmittance when the vehicle shape data is moved according to the operation data (for example, by an operation such as enlargement / reduction / rotation).
  • the viewpoint image data on which the vehicle shape data is superimposed is displayed.
  • Modification 4 In the embodiment and the modification described above, the example in which the viewpoint image data is displayed on the display device 8 has been described. However, the embodiment and the modification described above are not limited to the example displayed on the display device 8. Therefore, in this modification, an example that can be displayed on a HUD (head-up display) will be described. In the fourth modification, the transmittance is changed according to the display destination of the viewpoint image data.
  • the determination unit 402 determines whether or not the display destination has been switched.
  • the transmittance processing unit 403 performs a transmission process based on the determination result. That is, since the contrast is different between the display device 8 and the HUD, the transmission process is performed with a transmittance that is easy for the user to see according to the display destination. Note that the transmittance for each display destination is set to an appropriate value according to the display performance of the display device 8 or the HUD.
  • the display processing unit 406 according to the modification 4 displays the viewpoint image data on which the vehicle shape data whose transmittance is switched according to the display destination is superimposed. Thereby, since the transmittance is switched according to the display destination, visual recognition becomes easy.
  • a part of the vehicle shape data is displayed with the transmittance different from that of the other areas, so that the driver can display the situation of the part of the area or the other area. Confirmation and visual recognition of the periphery of the vehicle 1 can both be achieved. In this way, the driver can check the situation of the vehicle 1 and can easily check the situation around the vehicle 1.
  • the vehicle shape data and the periphery of the vehicle can be displayed according to the current situation by switching the transmittance of the vehicle shape data based on the acquired data. , Can improve convenience.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

実施形態の表示制御装置は、車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、車両の三次元形状を表す車両形状データを記憶する記憶部と、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両形状データを重畳して表示する際に、車両形状データの一部の領域の透過率を、一部の領域と異なる他の領域の透過率と異ならせて表示する表示処理部と、を備える。

Description

表示制御装置
　本発明の実施形態は、表示制御装置に関する。
　従来、車両に設置された撮像装置で車両の周辺環境を撮像し、撮像結果である画像を表示する技術が提案されている。
　周辺環境を表示する際に、車室や車両を周辺環境が撮像された画像データに重畳して表示する技術がある。
特開２０１４－１９７８１８号公報
　従来技術においては、周辺環境が示された画像データに、車室画像を重畳する際に、周辺環境を把握させるために、車室の領域毎に透過率を変更する技術が提案されている。しかしながら、車両の三次元形状を表す車両形状データを、周辺環境が示された画像データに重畳する場合を考慮したものではない。
　本発明は、上記に鑑みてなされたものであって、車両形状データが重畳された場合においても、周辺環境を認識できる表示制御装置を提供する。
　実施形態の表示制御装置は、一例として、車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、車両の三次元形状を表す車両形状データを記憶する記憶部と、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両形状データを重畳して表示する際に、車両形状データの一部の領域の透過率を、一部の領域と異なる他の領域の透過率と異ならせて表示する表示処理部と、を備える。よって、運転者は、一部の領域と他の領域との状況に応じた、車両の周辺の確認を実現できる。
　また、実施形態の表示制御装置は、一例として、表示処理部は、車両形状データのうち、一部の領域であるバンパー及び車輪のうちいずれか一つ以上が表された領域の透過率を、他の領域の透過率と異ならせて表示する。よって、運転者は、バンパー及び車輪のうちいずれか一つ以上が表された領域を確認すると共に、車両の周辺の状況を確認できる。
　また、実施形態の表示制御装置は、一例として、表示処理部は、車両形状データのうち、一部の領域である車輪が表された領域から、他の領域であるルーフが表された領域に向かうに従って、透過率を高くする表示を行う又は透過率を低くする表示を行う、よって、運転者は、車両の周辺と、車両の状況と、を確認できる。
　また、実施形態の表示制御装置は、一例として、記憶部は、車両形状データとして、車両の内装の形状を記憶し、表示処理部は、車両形状データを表示データに重畳して表示する際、視点を車両形状データの内部に存在させて、車両の内装と車両の周辺を表示する場合に、内装のうち床から天井に向かうに従って、透過率を異ならせる表示を行う。よって、運転者は、車両の周囲と、車両の内部と、を確認できる。
　また、実施形態の表示制御装置は、一例として、表示処理部は、視点を車両形状データの内部に存在させた場合と、視点を車両形状データの外部に存在させた場合と、で、車両形状データの透過させる態様を異ならせる。よって、視点の状況に応じた表示が実現できるため、運転者はより適切な車両の周辺の状況の確認ができる。
　また、実施形態の表示制御装置は、一例として、取得部は、さらに、車両の運転者により行われた操舵を示した舵角データを取得し、表示処理部は、車両形状データを表示データに重畳して表示する際、舵角データに基づいて運転者が右操舵又は左操舵を行ったと判断した場合に、一部の領域である車両が曲がる側方向の領域の透過率を、他の領域である車両が曲がる側方向と反対方向である反対側方向の領域の透過率と異ならせて表示する。よって、運転者の操舵に応じた表示が実現できるため、運転者はより適切な車両の周辺の状況の確認ができる。
　また、実施形態の表示制御装置は、一例として、取得部は、さらに、車両の周辺の物体を検出する検出部から検出データを取得し、表示処理部は、さらに、検出データに基づいて、車両のうち、一部の領域である物体に近い部位に対応する領域の透過率と、他の領域の透過率と、を異ならせて表示する。よって、運転者は、車両と物体との位置関係を把握できるため、適切な車両の周辺の状況の確認ができる。
図１は、実施形態にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる表示制御装置を搭載する車両の一例が示された平面図（鳥瞰図）である。 図３は、実施形態にかかる表示制御装置を有する表示制御システムの構成の一例を示すブロック図である。 図４は、実施形態にかかる表示制御装置としてのＥＣＵの機能的構成を示すブロック図である。 図５は、実施形態の車両形状データ記憶部に記憶された車両形状データを例示した図である。 図６は、車両の高さ２ｍ以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。 図７は、車両の高さ１ｍ以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。 図８は、車両の所定位置から後方の領域について完全透過させた場合の車両形状データを例示した図である。 図９は、車両の高さ１ｍ以下に対応する領域について完全透過させた場合の車両形状データを例示した図である。 図１０は、実施形態の画像合成部における撮影画像データを仮想投影面への投影を示す例示的かつ模式的な説明図である。 図１１は、車両形状データと仮想投影面とを示す模式的かつ例示的な側面図である。 図１２は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。 図１３は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。 図１４は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。 図１５は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。 図１６は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。 図１７は、実施形態のＥＣＵにおける第１の表示処理の手順を示すフローチャートである。 図１８は、実施形態のＥＣＵにおける第２の表示処理の手順を示すフローチャートである。 図１９は、実施形態のＥＣＵにおける第３の表示処理の手順を示すフローチャートである。 図２０は、実施形態の車両の高さの基準となる、車輪と地面の接地点を例示した図である。 図２１は、変形例１の車両の高さの基準となる、水平面を例示した図である。 図２２は、変形例の表示処理部が表示する表示画面を例示した図である。
　以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
　本実施形態において、表示制御装置（表示制御システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。駆動方式としては、４つある車輪３すべてに駆動力を伝え、４輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。
　図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
　また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electroluminescent　display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
　また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic　control　unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer　by　wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
　また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面やその周辺の物体（障害物、岩、窪み、水たまり、轍等）を含む車両１の周辺の外部環境を逐次撮影し、撮像画像データとして出力する。
　撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。表示制御システム１００を構成するＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したり、特定の領域のみ強調されるような画像データを生成したりする。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換（視点変換）することができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の右側方や左側方の安全確認、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。
　また、図３に例示されるように、表示制御システム１００（表示制御装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller　area　network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
　ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central　processing　unit）や、ＲＯＭ１４ｂ（read　only　memory）、ＲＡＭ１４ｃ（random　access　memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid　state　drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データに演算処理や画像処理を実行して、車両１の予測進路上に、注意すべき特定領域が存在するか否かを検出したり、注意すべき特定領域の存在を例えば、車両１の進行推定方向を示す進路指標（予測進路線）の表示態様を変化させることでユーザ（運転者や搭乗者）に報知したりする。
　ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合であってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard　disk　drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視用のＥＣＵ１４とは別に設けられてもよい。
　ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock　brake　system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic　stability　control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake　by　wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
　舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
　アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
　シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
　車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。
　加速度センサ２６は、例えば車両１に設けられている。ＥＣＵ１４は、加速度センサ２６からの信号に基づき、車両１の前後方向の傾き（ピッチ角）や左右方向の傾き（ロール角）を算出する。ピッチ角は、車両１の左右軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ピッチ角が０度となる。また、ロール角は、車両１の前後軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ロール角が０度となる。つまり、車両１が、水平な路面に存在するか否か、傾斜面（上り勾配の路面または下り勾配の路面）に存在するか否か等が検出できる。なお、車両１がＥＳＣを搭載する場合、ＥＳＣに従来から搭載されている加速度センサ２６を用いる。なお、本実施形態は、加速度センサ２６を制限するものではなく、車両１の前後左右方向の加速度を検出可能なセンサであればよい。
　なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
　ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したように撮像画像データに基づいた車両１周辺の環境を表示する。この機能を実現するために、ＣＰＵ１４ａは、図４に示すような種々のモジュールを含んでいる。ＣＰＵ１４ａは、例えば、取得部４０１と、判定部４０２と、透過率処理部４０３と、画像合成部４０４と、視点画像生成部４０５と、表示処理部４０６と、を含んでいる。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
　また、ＳＳＤ１４ｆには、例えば、車両１の三次元形状を表した車両形状データを記憶する車両形状データ記憶部４５１を備えている。また、車両形状データ記憶部４５１に記憶された車両形状データは、車両１の外部形状の他に、車両１の内装の形状も保持している。
　取得部４０１は、画像取得部４１１と、操作取得部４１２と、検出取得部４１３と、を含み、車両１の周囲を表示するために必要な情報を取得する。
　取得部４０１は、画像取得部４１１と、操作取得部４１２と、検出取得部４１３と、を含み、車両１の周囲を表示するために必要な情報（例えば、外部から取得した所定のデータや、撮像画像データ）を取得する。
　操作取得部４１２は、操作入力部１０を介して、運転者が行った操作を表した操作データを取得する。操作データとしては、例えば、表示装置８に表示された画面の拡大・縮小操作や、表示装置８に表示された画面について視点の変更操作等が考えられる。操作取得部４１２は、さらに、シフト操作を示した操作データや、車両１の運転者により行われた操舵を示した舵角データも取得する。さらには、操作取得部４１２は、車両１の運転者により行われたウィンカーの点灯操作を示した操作データも取得する。
　検出取得部４１３は、車両１の周辺の物体を検出する検出部から検出データを取得する。本実施形態では、検出部の例として、撮像部１５ａ～１５ｄがステレオカメラであって、当該ステレオカメラを用いることで車両１の周辺の物体を検出したり、（図示しない）ソナーやレーザ等を用いて、車両１の周辺の物体を検出することが考えられる。
　判定部４０２は、取得部４０１が取得した情報に基づいて、車両１を表した車両形状データの透過率を切り替えるか否かを判定する。
　例えば、判定部４０２は、操作取得部４１２が取得した操作データに基づいて、車両１を表した車両形状データの透過率を切り替えるか否かを判定する。例えば、判定部４０２は、運転者により縮小・拡大操作が行われた場合に、縮小・拡大操作に対応する、透過率に切り替えるべきと判定する。
　例えば、判定部４０２は、操作取得部４１２が取得した操作データに基づいて、車両１を表した車両形状データの透過率を切り替えるか否かを判定する。例えば、判定部４０２は、運転者により縮小する操作又は拡大する操作が行われた場合に、縮小する操作又は拡大する操作に対応する、透過率に切り替えるべきと判定する。
　他の例としては、判定部４０２は、検出取得部４１３が取得した検出データに基づいて、車両１を表した車両形状データの透過率を切り替えるか否かを判定する。具体的には、判定部４０２は、検出取得部４１３が取得した検出データにより検出された障害物と、車両１と、の間の距離が所定値以内であるか否かを判定する。そして、判定部４０２は、当該結果に基づいて、車両１を表した車両形状データの透過率を切り替えるか否かを判定する。例えば、検出データにより車両１の進行方向に障害物が所定の距離以内に検出された場合に、車両形状データの透過率を上昇させることで、障害物を視認しやすくすることが考えられる。なお、所定の距離は、実施の態様に応じて設定されるものとする。
　透過率処理部４０３は、判定部４０２の判定結果に基づいて、車両形状データ記憶部４５１に記憶された車両形状データに対して、透過率の変更処理等を行う。その際に車両形状データの色を変更しても良い。例えば、障害物に最も近傍の領域の色を変更して、運転者に障害物が近づいていることを認識させるようにしても良い。
　本実施形態の表示処理部４０６は、車両形状データを表示する際に、検出データに基づいて、車両１のうち、検知された物体に近い部位に対応する車両形状データの領域の透過率を、他の領域の透過率と、を異ならせて表示してもよい。例えば、判定部４０２が、障害物と車両１との間の距離が所定値以内と判定された場合に、透過率処理部４０３は、検知された障害物に近い（近傍）の車両１の部位に対応する、車両形状データの一部の領域の透過率を、他の領域の透過率より高くする。これにより、障害物を視認することが容易になる。なお、本実施形態は、検知された障害物近傍の車両１の部位に対応する、車両形状データの一部の領域の透過率を、他の領域の透過率より高くする例について説明したが、他の領域の透過率より低くしても良い。
　このように、本実施形態の表示処理部４０６は、車両形状データのうち一部の領域の透過率を、一部の領域と異なる他の領域の透過率と異ならせて表示することもできる。この一部の領域は、車両形状データ内の領域であれば、どのような領域であっても良い。例えば、一部の領域は、検知された物体近傍の車両１の部位に対応する領域でもよいし、車両形状データに含まれるバンパーや車輪であっても良い。他の例としては、車両形状データのうち、車輪が表された領域を一部の領域として、ルーフが表された領域を他の領域として、透過率を異ならせて表示しても良い。さらに本実施形態は、一部の領域から他の領域に向かうに従って透過率を徐々に変更しても良い。さらに、本実施形態の一部の領域及び他の領域は、車両１の一つのパーツに対応する領域、又は複数のパーツにまたがっている領域でも良いし、パーツ内の一部に対応する領域でも良い。
　図５は、本実施形態の車両形状データ記憶部４５１に記憶された車両形状データを例示した図である。図５に示される車両形状データは、車両１の舵角に応じて車輪等の向きを調整可能とする。
　透過率処理部４０３は、判定部４０２の判定結果に従って透過率を切り替える場合に、切り替えられた透過率になるような透過処理を、車両形状データに対して行う。なお、透過率は０％～１００％まで任意の値を設定可能とする。
　例えば、透過率処理部４０３は、判定部４０２の判定結果に従って透過率を切り替える場合に、検出データにより検出された障害物と、車両１と、の間の距離に応じて、車両形状データの透過率を切り替えても良い。これにより、表示処理部４０６は、当該距離に応じて透過率が切り替えられた車両形状データの表示を実現できる。
　例えば、判定部４０２は、操作データに基づいて、透過率をどのように切り替えるか判定しても良い。操作入力部１０がタッチパネルを備えている場合に、車両形状データをタッチしている時間に応じて、透過率を切り替えても良い。例えば、タッチしている時間が長いと判定された場合に、透過率処理部４０３は、透過率を高くするように透過処理をしてもよい。さらには、判定部４０２が検出したタッチした回数の増加に従って、透過率処理部４０３は、透過率を高くするように透過処理をしてもよい。他の例として、判定部４０２が検出したタッチの強弱に従って、透過率処理部４０３は、透過率を切り替えても良い。
　さらには、判定部４０２は、操作データに基づいて、車両形状データのうち、任意の領域がタッチされていると判定された場合に、透過率処理部４０３は、任意の領域に対して、他の領域より透過率を高くする（又は低くする）などの処理を行っても良い。
　また、透過率処理部４０３は、車両形状データ全体について同一の透過率で透過処理を行うことに制限するものではない。車両形状データの領域毎に透過率を異ならせても良い。例えば、車両形状データのうち地面に近接する車輪等が配置されている領域の透過率を低くし、地面から離れた領域ほど透過率を高くすることが考えられる。
　図６は、車両１の高さ２ｍ以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。図６に示されるように、車両１の高さ２ｍ以上に対応する領域について完全透過させ、車両１の高さ２ｍより下を完全透過させず、下に向かうに従って透過率を低くする。このように、車輪と地面との状況を認識させつつ、高さ２ｍ以上に対応する領域を完全透過させることで、車両１の周囲の表示範囲を拡大させることができる。
　図７は、車両１の高さ１ｍ以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。図７に示されるように、車両１の高さ１ｍ以上か否かに応じて完全透過させても良い。図６及び図７に示される、完全透過させる高さの基準は、車両１の高さや、車両１の周辺の状況に応じて、任意に設定可能とする。
　このように、透過率処理部４０３は、車両形状データのうち、車輪が表された領域から、ルーフ（天井）が表された領域に向かうに従って、透過率を高くする透過処理を行ってもよい。これにより、表示処理部４０６が、このような透過処理が行われた車両形状データを表示することで、地面と車両１との状況を表示しつつ、車両１のルーフ近傍を完全透過させることで、車両１の周囲の状況の視認が可能となる。また、完全透過させるか否かの基準は、車両１の高さに制限するものではない。
　図８は、車両１の所定位置から後方の領域について完全透過させた場合の車両形状データを例示した図である。車両１の所定位置から前方の領域を表示することで、車両１と、進行方向に存在する物体との位置関係の他に、車輪の接地面の状況を認識できる。車両１の後方は、進行方向の状況の確認には不要なため、透過させることで、車両１の周囲のより広い領域の表示が実現できる。
　図８に示される例では、車両１が前方に進行する場合とする。判定部４０２が、操作取得部４１２により取得された操作データに従って、シフト操作が行われたと判定した場合に、透過率処理部４０３は、透過させる領域を切り替えても良い。例えば、判定部４０２により、進行方向が前進から後退に切り替えられたと判定された場合に、透過率処理部４０３は、車両１の所定位置から後方の領域の完全透過から、車両１の所定位置から前方の領域の完全透過に切り替える。これにより、進行方向に応じた透過処理を実現できる。
　また、図６及び図７においては、所定の高さＴ１以上を完全透過させる例について説明したが、所定の高さＴ１以下を完全透過させても良い。図９は、所定の高さＴ１が１ｍの場合であって、車両１の高さ１ｍ以下に対応する領域について完全透過させた場合の車両形状データを例示した図である。図９に示される例では、車両１の高さ１ｍ以上を完全透過させず、上に向かうに従って透過率を低くしている。
　これら車両形状データを、車両１の周辺を撮影した撮像画像データに重畳することになる。これにより、例えば、本実施形態の表示処理部４０６は、車両形状データのうち、（一部の領域である）車輪が表された領域から、（他の領域である）ルーフが表された領域に向かうに従って、透過率を高くする表示を行う又は透過率を低くする表示を行うことができる。
　図４に戻り、画像合成部４０４は、画像取得部４１１で取得された複数の撮影画像のデータ、すなわち、複数の撮像部１５で撮影された複数の撮影画像データを、それらの境界部分を合成することで繋ぎ、一つの撮影画像データを生成する。
　画像合成部４０４は、撮影画像データを、車両１の周囲を取り囲む仮想投影面に投影するように、複数の撮像画像データを合成する。
　図１０は、画像合成部４０４における撮影画像データ１００１を仮想投影面１００２への投影を示す例示的かつ模式的な説明図である。図１０の例では、仮想投影面１００２は、地面Ｇｒに沿った底面１００２ｂと、底面１００２ｂすなわち地面Ｇｒから立ち上がった側面１００２ａと、を有している。地面Ｇｒは、車両１の上下方向Ｚと直交する水平面であり、タイヤの接地面でもある。底面１００２ｂは、略円形の平坦面であり、車両１を基準とする水平面である。側面１００２ａは、底面１００２ｂと接した曲面である。
　図１０に示されるように、側面１００２ａの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面１００２ａは、例えば、車両１の中心Ｇｃを通り車両１の上下方向に沿う中心線ＣＬ周りの回転面として構成され、車両１の周囲を取り囲んでいる。画像合成部４０４は、撮影画像データ１００１を、仮想投影面１００２に投影した合成画像データを生成する。
　視点画像生成部４０５は、重畳部４２１と、縮小・拡大部４２２と、を備え、仮想投影面１００２に投影された合成画像データから、所定の仮想視点から見た、視点画像データを生成する。なお、本実施形態は、合成画像を生成した後、所定の視点から見た視点画像データを生成する例について説明したが、これら処理を一度に行うルックアップテーブルを用いて、視点画像データのみを生成しても良い。
　図１１は、車両形状データ１１０３と、仮想投影面１００２とを示す模式的かつ例示的な側面図である。図１１に示されるように、重畳部４２１は、仮想投影面１００２上に、透過率処理部４０３により透過処理がされた後の車両形状データ１１０３を重畳する。そして、視点画像生成部４０５は、仮想投影面１００２に投影された合成画像データを、視点１１０１から注視点１１０２を見た視点画像データに変換する。なお、注視点１１０２は、視点画像データの表示領域の中心のなる点となる。
　視点１１０１は、ユーザが任意に設定可能とする。また、視点は、車両形状データ１１０３の外部に制限するものではなく、車両形状データ１１０３の内部に設定しても良い。本実施形態においては、視点画像生成部４０５は、操作取得部４１２が取得する操作データに従って設定された視点からの視点画像データを生成する。
　縮小・拡大部４２２は、操作データに従って、視点１１０１を車両形状データ１１０３に近づけさせたり、遠ざけたりする処理を行うことで、視点画像生成部４０５により生成される視点画像データに表示される車両形状データ１１０３の縮小・拡大処理を行う。
　また、注視点１１０２も、ユーザが任意で設定可能とする。例えば、操作取得部４１２が取得する操作データに従って拡大する操作が行われた場合に、縮小・拡大部４２２は、表示の中心となる点を示した注視点１１０２を予め定められた座標まで移動させる処理を行っても良い。例えば、ユーザが拡大操作を行った場合に、ユーザは車輪と地面Ｇｒの状況を見たいものとみなして、縮小・拡大部４２２は、注視点１１０２が車輪と地面Ｇｒとの接地点まで注視点を移動させる処理を行う。なお、本実施形態は、注視点１１０２の移動先となる座標が、車輪と地面Ｇｒとの接地点の場合について説明したが、移動先の座標の位置を制限するものではなく、実施態様に応じて適切な座標が設定される。
　これにより、表示処理部４０６は、操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率（例えば、現在の透過率）から高い透過率に切り替えると共に、注視点を予め定められた座標に移動させる視点画像データの表示を行うこととなる。運転者が確認したいと考えられる座標まで注視点が移動することで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。
　表示処理部４０６は、視点画像生成部４０５により生成された視点画像データの表示処理を行う。本実施形態では、表示装置８に視点画像データを表示する例について説明するが、表示装置８に視点画像データを表示する例に制限するものではなく、例えば、ＨＵＤ（ヘッドアップディスプレイ）に視点画像データを表示しても良い。
　図１２は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１２に示される例では、透過率処理部４０３により透過率０％で処理された場合の車両形状データ１２０１が重畳された例とする。図１２に示される車両形状データ１２０１においては、車両形状データ１２０１を透過させて、反対側の状況は確認できない例とする。
　これに対して、本実施形態の表示処理部４０６は、撮像画像データに基づいた車両の周辺を表した合成画像データに対して、車両１の現在の位置に従って車両形状データを重畳した視点画像データを表示する際に、車両形状データの一部の領域を、他の領域と透過率を異ならせた表示を行う。次に、車両形状データの一部の領域を、他の領域と透過率を異ならせた視点画像データの表示例について説明する。なお、本実施形態は、車両形状データを重畳する際に、車両１の現在の位置に従って重畳する場合について説明するが、他の位置に重畳しても良い。例えば、車両形状データを、車両１の予測進路上の位置に重畳しても良いし、車両１の過去の位置に重畳しても良い。
　次に、判定部４０２によって、車両１の所定の高さＴ１以上を透過させると判定された場合に、表示処理部４０６により表示される視点画像データについて説明する。
　図１３は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１３に示される例では、透過率処理部４０３により所定の高さＴ１以上を透過率Ｋ１で処理され、当該所定の高さＴ１より下を透過率Ｋ２で処理された場合（なお、Ｋ１＞Ｋ２＞０％）の車両形状データ１３０１が重畳された例とする。このように、所定の高さより下の車両形状データの透過率が低いため、車両１と地面の位置関係を認識できる。また、透過率Ｋ２で透過されるため、車両１の反対側の状況もある程度認識できる。一方、所定の高さＴ１より上の車両形状データの透過率が高いため、車両１の反対側の状況をより詳細に確認できる。これにより、運転者は、より広い領域の状況を認識することができる。
　また、透過率を異ならせる他の手法としては、車両１の構成毎に、透過率を異ならせても良い。図１４は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１４に示される例では、透過率処理部４０３により、車輪に対応する領域１４０１を透過率０％で処理され、車輪以外の領域を透過率１００％で処理された場合の車両形状データが重畳された例とする。
　当該表示は、例えば、運転者により、車輪のみの表示の操作が行われた場合が考えられる。判定部４０２が、車輪の表示が示された操作データに基づいて、車輪の領域以外を１００％透過させると判定する。そして、透過率処理部４０３が当該判定結果に従って、上述した透過処理を行う。なお、本実施形態では、車輪のみ表示する場合について説明したが、車両１の構成のうち、表示される構成を車輪のみに制限するものではなく、バンパー等を車輪と共に表示しても良い。なお、本実施形態は、車輪に対応する領域を透過率０％とし、他の領域の透過率を１００％とした場合について説明したが、車輪に対応する領域の透過率＜他の領域の透過率であればよい。
　このように、本実施形態の表示処理部４０６は、（一部の領域である）バンパー及び車輪のうちいずれか一つ以上に対応する領域の透過率を、車両１の他の領域の透過率と比べて低くなるように透過処理された車両形状データを表示することができる。なお、本実施形態は、（一部の領域である）バンパー及び車輪のうちいずれか一つ以上に対応する領域の透過率を、他の領域の透過率と比べて低くなるよう透過処理を行う場合について説明したが、他の領域の透過率と比べて高くなるよう透過処理を行っても良い。
　また、本実施形態は操作データに基づいて、上述した透過処理を行うことに制限するものではない。例えば、判定部４０２が、検出取得部４１３により取得された検出データに基づいて、オフロード走行していると判定した場合に、透過率処理部４０３が、図１４に示されるように、車輪及びバンパーのうちいずれか一つ以上が他の領域より低い透過率になるように、透過処理を行っても良い。
　本実施形態においては、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両の現在の位置に従って車両形状データを重畳して表示する際に、操作データや検出データに基づいて透過率を切り替える例について説明した。しかしながら、透過率を切り替えるためのデータを、操作データや検出データに制限するものではなく、外部から取得した所定のデータであればよい。
　ところで、領域１４０２は、現在の車両１の撮像部１５では撮像できない。そこで、本実施形態においては、画像合成部４０４が、過去に撮像部１５により撮像された撮像画像データを、合成画像データとして合成することとした。過去に撮像部１５により撮像された撮像画像データとしては、車両１が現在の位置の２ｍ手前で撮像した撮像画像データが考えられる。このような撮像画像データを、車両１の床下の状況を撮影した撮像画像データとして用いても良い。また、領域１４０２について、過去の撮像画像データを表示することに制限するものではなく、単に所定の色で塗りつぶすようにしても良い。
　図１５は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１５に示される例では、透過率処理部４０３により、車両形状データの線を除いて透過率１００％で処理された場合の車両形状データ１５０１が重畳された例とする。これにより、車両形状データを透過しているため、車両１の周囲の状況を確認できる。図１５に示される表示は、例えば、ユーザにより“車両の線のみ表示”が選択された場合などが考えられる。
　図１３～図１５で示される例では、視点を車両（車両形状データ）の外に配置した場合について説明した。しかしながら、本実施形態は、視点を車両（車両形状データ）の外に配置した場合に制限するものではない。
　図１６は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１６に示される例では、車両形状データの中に視点を配置した例とする。このため、車両形状データに含まれている、内装を介して、車両１の周囲が表示される。図１６に示される表示は、例えば、ユーザにより視点操作が行われた場合などが考えられる。
　図１６に示される例では、車両形状データによる車両１の内装表示においては、所定の高さＴ２より低い領域を、当該所定の高さＴ２より高い領域より、透過率を高くすることとした。つまり、車両１の内部から表示する場合には、地面に存在する物の状況を認識させるために、所定の高さＴ２より低い領域１６１１の透過率Ｋ３を高くすることとした。一方、所定の高さＴ２より高い領域１６１２については、透過率Ｋ４を低くすることで、車両内部であることを把握できるようにした（透過率Ｋ３＞透過率Ｋ４）。
　つまり、表示処理部４０６は、視点を車両形状データの内部に移動させる操作が行われた場合に、当該視点から車両の内装を介して、車両の周辺を表示する視点画像データを表示する。このような視点画像データを表示する場合、透過率処理部４０３により、内装において、床下から天井に向かうに従って、透過率を低くする透過処理が行われた車両形状データを介して、車両１の周囲が表された視点画像データを、表示処理部４０６が表示することとした。なお、本実施形態は、透過率処理部４０３が、内装において、床下から天井に向かうに従って、透過率を低くする透過処理を行う例について説明したが、床下から天井に向かうに従って、透過率を高くする透過処理を行っても良い。
　このように、本実施形態の表示処理部４０６は、視点が車両形状データの内部に位置する場合と、視点が車両形状データの外部に位置する場合と、では、車両形状データの透過させる態様を異ならせることとした。
　判定部４０２は、操作取得部４１２が取得した操作データに基づいて、ユーザにより行われた操作により、視点が車両形状データ（車両１）の内部か否かを判定する。透過率処理部４０３は、判定部４０２により、視点が車両形状データ（車両１）の内部と判定した場合に、所定の高さＴ２より低い領域の透過率Ｋ３＞所定の高さＴ２より高い領域の透過率Ｋ４と設定した上で、透過処理を行う。一方、透過率処理部４０３は、判定部４０２により、視点が車両形状データ（車両１）の外部と判定した場合に、所定の高さＴ１より低い領域の透過率Ｋ２＜所定の高さＴ１より高い領域の透過率Ｋ１と設定した上で、透過処理を行う。このように、本実施形態では、視点が車両形状データ（車両１）の内部か否かに応じて、透過処理の切り替え制御を行うこととした。
　さらには、透過率処理部４０３は、視点が車両形状データ（車両１）の内部の場合に、取得部４０１が取得した車速情報、シフト操作データ、ウィンカー等の情報に基づいて、透過する領域を切り替えても良い。例えば、透過率処理部４０３は、判定部４０２により、シフト操作で進行方向が切り替えられたと判定された場合に、進行方向側の領域を透過するよう処理してもよい。
　他の例としては、判定部４０２が、舵角データやウィンカーの点灯操作を示した操作データに基づいて、運転者が右操舵又は左操舵を行ったと判定した場合に、透過率処理部４０３は、車両１が曲がる側方向の、車両形状データの一部の領域を、曲がる側方向と反対側方向の他の領域より透過率を高くする透過処理を行う。表示処理部４０６は、車両１が曲がる方向側の透過率が高い車両形状データを表示することで、当該車両形状データを介して、曲がる方向側の周囲を確認することが容易となる。
　なお、本実施形態は、車両１が曲がる側方向の一部の領域の透過率を、反対側方向の他の領域の透過率より高くする透過処理を行う例について説明したが、曲がる側方向の一部の領域と、反対側方向の他の領域と、の透過率を異ならせるだけで良い。例えば、曲がる側方向の一部の領域の透過率を、反対側方向の他の領域の透過率より低くする透過処理を行ってもよい。
　さらには、判定部４０２は、操作データに基づいて、所定の領域のタッチを検出した場合に、表示される画面を切り替えても良い。例えば、判定部４０２は、表示装置８に表示されている車両形状データのうち、死角領域をタッチしたと判定した場合に、表示処理部４０６は、車両１の床下画像として、例えば車両１が２ｍ後ろの存在している時（過去）に撮像した画像データを、車両１の床下画像として表示するように制御しても良い。
　さらには、判定部４０２は、操作データに基づいて、車両形状データのうち、任意の領域がタッチされていると判定された場合に、表示処理部４０６は、任意の領域を付近の輝度値を上昇させて、明るく見せる、所謂仮想ライトにより照らされたような表示処理を行っても良い。
　次に、本実施形態のＥＣＵ１４における第１の表示処理について説明する。図１７は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。
　まず、画像取得部４１１は、車両１の周辺を撮像する撮像部１５ａ～１５ｄから、撮像画像データを取得する（Ｓ１７０１）。
　次に、画像合成部４０４は、画像取得部４１１で取得された複数の撮影画像データを合成して、一つの合成画像データを生成する（Ｓ１７０２）。
　透過率処理部４０３は、ＳＳＤ１４ｆの車両形状データ記憶部４５１に記憶された車両形状データを読み取る（Ｓ１７０３）。
　透過率処理部４０３は、所定の透過率で車両形状データに対して透過処理を行う（Ｓ１７０４）。なお、所定の透過率は、視点及び注視点の初期値に応じた所定の値が設定されているものとする。
　次に、重畳部４２１が、透過処理後の車両形状データを、合成画像データに重畳する（Ｓ１７０５）。
　次に、視点画像生成部４０５が、視点及び注視点の初期値に基づいて、車両形状データが重畳された合成画像データから、視点画像データを生成する（Ｓ１７０６）。
　そして、表示処理部４０６が、視点画像データを、表示装置８に表示する（Ｓ１７０７）。
　次に、判定部４０２は、視点画像データが表示された後、操作取得部４１２が取得した操作データに基づいて、ユーザからの透過率の変更操作や透過させる構成の切替操作がなされたか否かを判定する（Ｓ１７０８）。
　透過率の変更操作や透過させる構成の切替操作がなされたと判定した場合（Ｓ１７０８：Ｙｅｓ）、透過率処理部４０３は、車両形状データに対して変更された透過率の切り替え処理、及び切り替え操作に従って、車両形状データ全体、又は透過させる構成（例えば車輪やバンパー以外の構成）の透過処理を行う（Ｓ１７０９）。その後、Ｓ１７０５から処理を行う。
　一方、透過率の変更操作や透過させる構成の切替操作がなされなかったと判定した場合（Ｓ１７０８：Ｎｏ）、処理を終了する。
　図１７で示される処理手順においては、ユーザに行われた操作に従って、透過する構成や、透過率を切り替える例について説明した。しかしながら、透過率の切り替え等は、ユーザに行われた操作に基づくものに制限されない。そこで、車両１と障害物の距離に応じて透過率等を切り替える場合について説明する。
　次に、本実施形態のＥＣＵ１４における第２の表示処理について説明する。図１８は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。
　図１８に示されるフローチャートにおいて、Ｓ１８０１～Ｓ１８０７までの処理は、図１７に示されるフローチャートのＳ１７０１～Ｓ１７０７までの処理と同様として、説明を省略する。
　そして、検出取得部４１３が、ソナーやレーザ等から検出データを取得する（Ｓ１８０９）。
　判定部４０２は、検出データに基づいて、車両１と、車両１の進行方向に存在する障害物と、の距離が所定値以内か否かを判定する（Ｓ１８１０）。
　車両１と、車両１の進行方向に存在する障害物と、の距離が所定値以内と判定した場合（Ｓ１８１０：Ｙｅｓ）、透過率処理部４０３は、車両形状データ全体、又は障害物に近接している領域について、検出前に設定されていた透過率より高い透過率に切り替える処理、及び、車両形状データ全体又は障害物に近接している領域の透過処理を行う（Ｓ１８１１）。その後、Ｓ１８０５から処理を行う。なお、所定値は、例えば、車体による死角領域以内に障害物が入ったため、車両１に搭乗している運転者から見えなくなる距離を、所定値とすることが考えられるが、実施の態様に応じて適切な値が定められれば良い。
　一方、車両１と、車両１の進行方向に存在する障害物と、の距離が所定値以内ではないと判定した場合（Ｓ１８１０：Ｎｏ）、処理を終了する。
　本実施形態は、ユーザによって直接透過率を操作された場合に透過率を変更することに制限するものではなく、他の操作に応じて透過率を変更しても良い。そこで、縮小・拡大率に応じて、透過率を変更する場合について説明する。つまり、車両を拡大して表示したい場合には、車両１と地面との関係を確認したいものとして、透過率を低減させ、車両を縮小して表示したい場合には、車両１の周囲を確認したいものとして、透過率を上昇させる等が考えられる。
　本実施形態は、上述した処理を行うことで、車両１の周辺の物体と車両１との位置関係に応じて車両形状データの透過率の切り替えを行うことで、現在の状況に応じた、車両形状データと車両１の周辺との表示ができるため、利便性を向上させることができる。
　次に、本実施形態のＥＣＵ１４における第３の表示処理について説明する。図１９は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。
　図１９に示されるフローチャートにおいて、Ｓ１９０１～Ｓ１９０７までの処理は、図１７に示されるフローチャートのＳ１７０１～Ｓ１７０７までの処理と同様として、説明を省略する。
　次に、判定部４０２は、視点画像データが表示された後、操作取得部４１２が取得した操作データに基づいて、ユーザからの縮小・拡大操作（換言すれば、視点を車両形状データに近づけさせる又は遠ざける操作）がなされたか否かを判定する（Ｓ１９０８）。
　縮小・拡大操作がなされたと判定した場合（Ｓ１９０８：Ｙｅｓ）、透過率処理部４０３は、車両形状データに対して、縮小・拡大率に対応した透過率に切り替え処理、及び車両形状データの透過処理を行う（Ｓ１９０９）。縮小・拡大率と、透過率と、の対応関係は予め設定されているものとする。その後、Ｓ１９０５から処理を行う。
　その後、Ｓ１９０６において、視点画像データを生成する際に、縮小・拡大部４２２が、縮小・拡大率に応じた注視点及び視点の位置を設定する。そして、視点画像生成部４０５は設定された注視点及び視点に基づいた、視点画像データを生成する。
　また、拡大処理が行われる場合に、視点画像生成部４０５は、拡大率に従って、注視点が予め定められた位置まで移動するような処理を行っても良い。つまり、ユーザが拡大操作を行う場合には、注視点の位置まで設定するのが難しい場合がある。さらには、拡大操作を行う場合には、車両と地面との間の状況を見たいという要望が多い。そこで、本実施形態では、拡大操作が行われる場合に、拡大処理に従って、車輪と地面との接地点まで注視点が移動するよう制御を行うこととした。これにより、ユーザが確認したい場所を表示するまでの操作を容易にできる。
　一方、Ｓ１９０８において、縮小・拡大操作がなされなかったと判定した場合（Ｓ１９０８：Ｎｏ）、処理を終了する。
　このように、本実施形態の表示処理部４０６は、操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率から、高い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。一方、表示処理部４０６は、操作データに基づいて縮小表示をする場合に、縮小する操作の前の透過率から、低い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。
　本実施形態は、上述した処理を行うことで、運転者による拡大操作又は縮小操作に応じて透過率の切り替えを行うことで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。
　上述した実施形態では、図２０に示されるように、車輪と地面の接地点を基準位置として、当該基準位置から垂直方向の距離を、車両の高さとした例について説明した。例えば、基準位置からの高さＴ３（車輪やバンパーより高い位置とする）以上を、透過率８０％とし、それ以下を透過率０％と設定した場合には、高さＴ３以上に対応する車両形状データの上部領域が透過率８０％となる一方で、車輪やバンパー等は、視認できるように表示される。
　また、本実施形態においては、例えば、判定部４０２が、撮像部１５により撮像された撮像画像データが異常と判定した場合には、透過率処理部４０３に対して、透過処理を行わないように指示しても良い。
（変形例１）
　図２１は、車両１が存在している水平面を基準とし、水平面からの垂直方向の距離を、車両の高さとする例を示した図である。図２１に示される例では、検出取得部４１３は、加速度センサ２６から取得した加速度情報に基づいて、車両１の傾きを検出する。そして透過率処理部４０３が、車両１の傾きに基づいて、車両１が接地している水平面の位置を推測する。そして、透過率処理部４０３が、水平面からの高さに基づいて、車両形状データの透過処理を行う。水平面から高さＴ３から透過率８０％と設定した場合には、図２１に示される例において、車両１が岩に乗り上げた状況では、車輪やバンパーを含んだ車両形状データの前方領域が、透過率８０％となる。
　図２２は、変形例の表示処理部４０６が表示する表示画面を例示した図である。図２２に示される例では、水平面から高さＴ３から透過率８０％と設定した際に、車両１が岩に乗り上げた時に、車輪やバンパーを含んだ車両形状データの前方領域がほぼ透過された例とする。
　図２２に示されるように、車両１が岩に乗り上げた場合には、車輪やバンパーを含んだ車両形状データの前方領域がほぼ透過されているため、地面の状況を容易に認識できる。
（変形例２）
　上述した実施形態及び変形例においては、現在の状況を表示する際の処理について説明した。しかしながら、実施形態及び変形例は、現在の状況を表示する例に制限するものではない。例えば、ユーザの操作に基づいて、表示処理部４０６が、車両１の過去の状況を表した画面を表示しても良い。その際に、画像合成部４０４が過去に合成した撮像画像データを用いると共に、透過率処理部４０３は、車両形状データの色を異ならせた上で、透過処理を行うこととする。なお、透過処理は、上述した実施形態と同様とする。車両形状データの色としては、例えばグレーやセピア色など、過去であることを表す色とする。これにより、ユーザは、過去の状況が表示されていることを確認できる。
（変形例３）
　変形例３では、拡大、縮小、又は回転時に透過処理を行う（透過率を高くする）例とする。変形例３においては、操作取得部４１２が、拡大、縮小又は回転を示す操作データを取得した場合に、判定部４０２が、運転者が、拡大、縮小、又は回転操作を行っていると判定している間、透過率処理部４０３は、拡大、縮小又は回転を示す操作を行う前の透過率より高い透過率（例えば完全透過）で透過処理を行うものとする。
　つまり、本変形例では、運転者が拡大、縮小又は回転する操作を行っている間（なお、車両形状データを動かしている操作を行っている間であればよい）、表示処理部４０６は、当該拡大、縮小又は回転操作前の透過率から高い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。この際に、上述した実施形態と同様に、拡大処理に従って、注視点を予め定められた位置まで移動するように処理を行っても良い。
　これにより、ユーザに対して、操作が行われていることを直感的に認識できると共に、車両１の周囲を確認して、より適切な表示を行うための操作性を実現できる。
　このように、変形例３の表示処理部４０６は、操作データに従って車両形状データを動かす（例えば、拡縮・回転などの操作による）表示を行う場合に、現在の透過率から高い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。
（変形例４）
　上述した実施形態及び変形例では、表示装置８に視点画像データを表示する例について説明した。しかしながら、上述した実施形態及び変形例は、表示装置８に表示する例に制限するものではない。そこで、本変形例では、ＨＵＤ（ヘッドアップディスプレイ）にも表示可能な例について説明する。本変形例４においては、視点画像データの表示先に応じて、透過率を変更する。
　例えば、操作取得部４１２が、表示先の切り替え等の操作データを取得した場合に、判定部４０２は、表示先が切り替えられたか否かの判定を行う。そして、透過率処理部４０３は、判定結果に基づいて、透過処理を行う。つまり、表示装置８とＨＵＤとではコントラストが異なるため、表示先に応じて、ユーザが見やすい透過率で透過処理を行う。なお、表示先毎の透過率は、表示装置８やＨＵＤの表示性能に応じて、適切な値が設定されるものとする。
　このように、変形例４の表示処理部４０６は、表示先に応じて透過率が切り替えられた車両形状データを重畳した視点画像データを表示することとした。これにより表示先に応じて透過率が切り替えられるため、視認が容易になる。
　上述した実施形態及び変形例においては、車両形状データの一部の領域を、他の領域と透過率を異ならせて表示することで、運転者は、一部の領域又は他の領域の状況を確認と、車両１の周辺の視認と、を両立することができる。このように、運転者は、車両１の状況の確認できるとともに、車両１の周辺の状況を容易に確認できる。
　上述した実施形態及び変形例においては、取得したデータに基づいて、車両形状データの透過率の切り替えを行うことで、現在の状況に応じた、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (7)

  1. 　車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、
    　前記車両の三次元形状を表す車両形状データを記憶する記憶部と、
    　前記撮像画像データに基づいた前記車両の周辺を表した表示データに対して、前記車両形状データを重畳して表示する際に、前記車両形状データの一部の領域の透過率を、前記一部の領域と異なる他の領域の透過率と異ならせて表示する表示処理部と、
    　を備える表示制御装置。
  2. 　前記表示処理部は、前記車両形状データのうち、前記一部の領域であるバンパー及び車輪のうちいずれか一つ以上が表された領域の透過率を、前記他の領域の透過率と異ならせて表示する、
    　請求項１に記載の表示制御装置。
  3. 　前記表示処理部は、前記車両形状データのうち、前記一部の領域である車輪が表された領域から、前記他の領域であるルーフが表された領域に向かうに従って、透過率を高くする表示を行う又は前記透過率を低くする表示を行う、
    　請求項１に記載の表示制御装置。
  4. 　前記記憶部は、前記車両形状データとして、前記車両の内装の形状を記憶し、
    　前記表示処理部は、前記車両形状データを前記表示データに重畳して表示する際、視点を前記車両形状データの内部に存在させて、前記車両の内装と前記車両の周辺を表示する場合に、前記内装のうち床から天井に向かうに従って、透過率を異ならせる表示を行う、
    　請求項１又は３に記載の表示制御装置。
  5. 　前記表示処理部は、前記視点を前記車両形状データの内部に存在させた場合と、前記視点を前記車両形状データの外部に存在させた場合と、で、前記車両形状データの透過させる態様を異ならせる、
    　請求項４に記載の表示制御装置。
  6. 　前記取得部は、さらに、前記車両の運転者により行われた操舵を示した舵角データを取得し、
    　前記表示処理部は、前記車両形状データを前記表示データに重畳して表示する際、前記舵角データに基づいて運転者が右操舵又は左操舵を行ったと判断した場合に、前記一部の領域である前記車両が曲がる側方向の領域の透過率を、前記他の領域である前記車両が曲がる側方向と反対方向である反対側方向の領域の透過率と異ならせて表示する、
    　請求項１に記載の表示制御装置。
  7. 　前記取得部は、さらに、前記車両の周辺の物体を検出する検出部から検出データを取得し、
    　前記表示処理部は、さらに、前記検出データに基づいて、前記車両のうち、前記一部の領域である前記物体に近い部位に対応する領域の透過率と、前記他の領域の透過率と、を異ならせて表示する、
    　請求項１に記載の表示制御装置。
PCT/JP2017/035945 2016-10-11 2017-10-03 表示制御装置 WO2018070298A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/340,496 US20190244324A1 (en) 2016-10-11 2017-10-03 Display control apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-200093 2016-10-11
JP2016200093A JP2018063294A (ja) 2016-10-11 2016-10-11 表示制御装置

Publications (1)

Publication Number Publication Date
WO2018070298A1 true WO2018070298A1 (ja) 2018-04-19

Family

ID=61905416

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035945 WO2018070298A1 (ja) 2016-10-11 2017-10-03 表示制御装置

Country Status (3)

Country Link
US (1) US20190244324A1 (ja)
JP (1) JP2018063294A (ja)
WO (1) WO2018070298A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3623196A1 (en) * 2018-09-12 2020-03-18 Yazaki Corporation Vehicle display device

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600234B2 (en) * 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP7060418B2 (ja) 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP7219099B2 (ja) * 2019-01-23 2023-02-07 株式会社小松製作所 作業機械のためのシステム及び方法
EP4131945A4 (en) 2020-03-31 2023-04-19 Honda Motor Co., Ltd. IMAGE PROCESSING DEVICE, VEHICLE, IMAGE PROCESSING METHOD AND PROGRAM
JP7491194B2 (ja) 2020-11-23 2024-05-28 株式会社デンソー 周辺画像生成装置、表示制御方法
JP7523196B2 (ja) * 2020-12-16 2024-07-26 株式会社デンソー 周辺画像表示装置
CN115917496A (zh) * 2021-06-02 2023-04-04 日产自动车株式会社 车辆用显示装置和车辆用显示方法
JP2023023873A (ja) * 2021-08-06 2023-02-16 トヨタ自動車株式会社 車両周辺監視装置
WO2024057060A1 (en) * 2022-09-13 2024-03-21 Vinai Artificial Intelligence Application And Research Joint Stock Company Surround view monitoring system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011001642A1 (ja) * 2009-06-29 2011-01-06 パナソニック株式会社 車載用映像表示装置
JP2011004201A (ja) * 2009-06-19 2011-01-06 Konica Minolta Opto Inc 周辺表示装置
JP2013162328A (ja) * 2012-02-06 2013-08-19 Fujitsu Ten Ltd 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP2014068308A (ja) * 2012-09-27 2014-04-17 Fujitsu Ten Ltd 画像生成装置、画像表示システム、および、画像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5551955B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置、方法、及びプログラム
US8633929B2 (en) * 2010-08-30 2014-01-21 Apteryx, Inc. System and method of rendering interior surfaces of 3D volumes to be viewed from an external viewpoint
EP2660104B1 (en) * 2010-12-30 2015-09-23 Wise Automotive Corporation Apparatus and method for displaying a blind spot
JP6148887B2 (ja) * 2013-03-29 2017-06-14 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6524922B2 (ja) * 2016-01-12 2019-06-05 株式会社デンソー 運転支援装置、運転支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011004201A (ja) * 2009-06-19 2011-01-06 Konica Minolta Opto Inc 周辺表示装置
WO2011001642A1 (ja) * 2009-06-29 2011-01-06 パナソニック株式会社 車載用映像表示装置
JP2013162328A (ja) * 2012-02-06 2013-08-19 Fujitsu Ten Ltd 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP2014068308A (ja) * 2012-09-27 2014-04-17 Fujitsu Ten Ltd 画像生成装置、画像表示システム、および、画像生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3623196A1 (en) * 2018-09-12 2020-03-18 Yazaki Corporation Vehicle display device
US11238621B2 (en) 2018-09-12 2022-02-01 Yazaki Corporation Vehicle display device

Also Published As

Publication number Publication date
US20190244324A1 (en) 2019-08-08
JP2018063294A (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
WO2018070298A1 (ja) 表示制御装置
JP6806156B2 (ja) 周辺監視装置
JP6897340B2 (ja) 周辺監視装置
EP2974909B1 (en) Periphery surveillance apparatus and program
JP6015314B2 (ja) 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
JP5995931B2 (ja) 駐車支援装置、駐車支援方法及び制御プログラム
JP7222254B2 (ja) 周辺表示制御装置
JP2018144526A (ja) 周辺監視装置
WO2018061261A1 (ja) 表示制御装置
CN107925746B (zh) 周边监控装置
WO2018150642A1 (ja) 周辺監視装置
CN110997409B (zh) 周边监控装置
CN112492262A (zh) 图像处理装置
WO2019053922A1 (ja) 画像処理装置
JP2017094922A (ja) 周辺監視装置
US11475676B2 (en) Periphery monitoring device
JP2019054439A (ja) 画像処理装置
JP2019036831A (ja) 周辺監視装置
JP2018186432A (ja) 表示制御装置
JP2019036832A (ja) 周辺監視装置
JP2018191242A (ja) 周辺監視装置
JP6601097B2 (ja) 表示制御装置
JP2018186387A (ja) 表示制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860813

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17860813

Country of ref document: EP

Kind code of ref document: A1