Nothing Special   »   [go: up one dir, main page]

WO2018159016A1 - 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム - Google Patents

俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム Download PDF

Info

Publication number
WO2018159016A1
WO2018159016A1 PCT/JP2017/039368 JP2017039368W WO2018159016A1 WO 2018159016 A1 WO2018159016 A1 WO 2018159016A1 JP 2017039368 W JP2017039368 W JP 2017039368W WO 2018159016 A1 WO2018159016 A1 WO 2018159016A1
Authority
WO
WIPO (PCT)
Prior art keywords
overhead
obstacle
vehicle
video
overhead view
Prior art date
Application number
PCT/JP2017/039368
Other languages
English (en)
French (fr)
Inventor
友喜 桜木
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Priority to EP17898618.8A priority Critical patent/EP3547677B1/en
Publication of WO2018159016A1 publication Critical patent/WO2018159016A1/ja
Priority to US16/424,704 priority patent/US10715734B2/en
Priority to US16/889,977 priority patent/US11032479B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an overhead video generation device, an overhead video generation system, an overhead video generation method, and a program.
  • a technique is known in which a plurality of cameras installed around the vehicle are photographed around the vehicle, a viewpoint conversion process is performed on the plurality of photographed images, and a combined overhead image is displayed on a monitor.
  • Overhead video is composed of multiple video images, so part of the subject is not displayed at the composite boundary, which is the connection between the images, or is temporarily not displayed when an obstacle crosses the composite boundary.
  • a technique for creating a bird's-eye view image based on information from the obstacle movement direction prediction unit so that the boundary between the obstacle and the images of a plurality of cameras does not overlap is known (for example, see Patent Document 1).
  • the composite boundary in the overhead view video also dynamically changes. Since the synthesis boundary in the overhead view video changes dynamically, the display of the overhead view video may be complicated. Thus, there is room for improvement in displaying the detected obstacle in a bird's-eye view image.
  • the present invention has been made in view of the above, and an object thereof is to appropriately display detected obstacles.
  • an overhead video generation apparatus includes a video data acquisition unit that acquires video data from a plurality of cameras that capture the periphery of a vehicle, and the video data acquisition From the video obtained by the unit, a viewpoint conversion process is performed on the video, and an overhead video generation unit that generates an overhead video with a virtual viewpoint above the vehicle, and a detection unit that detects obstacles around the vehicle.
  • An obstacle information acquisition unit that acquires information and identifies a position on the overhead video of the detected obstacle
  • a display control unit that displays the overhead video on a display unit
  • the overhead video generation unit includes: When the position of the obstacle specified by the obstacle information acquisition unit is a position overlapping a composite boundary of a plurality of videos in the overhead view video, an overhead view video in which the position of the virtual viewpoint of the overhead view video is changed is generated.
  • An overhead image generation system includes the above-described overhead image generation device, the camera, the detection unit, and the display unit.
  • An overhead view video generation method includes a video data acquisition step for acquiring video data from a plurality of cameras that capture the surroundings of a vehicle, and a viewpoint conversion process for the video acquired in the video data acquisition step for synthesis. Then, an overhead view image generation step for generating an overhead view image with a virtual viewpoint above the vehicle, and information from a detection unit that detects obstacles around the vehicle are acquired, and the detected obstacle view is displayed on the overhead view image.
  • the overhead view video in which the position of the virtual viewpoint of the overhead view video is changed is generated.
  • the program according to the present invention includes a video data acquisition step for acquiring video data from a plurality of cameras that capture the surroundings of a vehicle, and a viewpoint conversion process performed on the video acquired in the video data acquisition step to synthesize the video data, Acquires information from an overhead video generation step for generating an overhead video with a virtual viewpoint above the vehicle and a detection unit that detects obstacles around the vehicle, and specifies the position of the detected obstacle on the overhead video An obstacle information acquisition step, and a display control step for displaying the overhead view video on a display unit, wherein the overhead view image generation step includes the position of the obstacle specified in the obstacle information acquisition step in the overhead view video.
  • the overhead video generation device When the position overlaps with a composite boundary of a plurality of videos, the overhead video generation device generates the overhead video by changing the position of the virtual viewpoint of the overhead video It is executed by a computer to operate Te.
  • FIG. 1 is a block diagram illustrating a configuration example of an overhead video generation system according to the first embodiment.
  • FIG. 2 is a schematic diagram illustrating an example of the position of the virtual viewpoint in the overhead view video generation system according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the first embodiment.
  • FIG. 4 is a schematic diagram illustrating another example of the position of the virtual viewpoint in the overhead view video generation system according to the first embodiment.
  • FIG. 5 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the first embodiment.
  • FIG. 6 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the first embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of an overhead video generation system according to the first embodiment.
  • FIG. 2 is a schematic diagram illustrating an example of the position of the virtual viewpoint in the overhead view video generation system according to the first embodiment.
  • FIG. 3 is a
  • FIG. 7 is a flowchart showing a flow of processing in the overhead view video generation system according to the first embodiment.
  • FIG. 8 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the first embodiment.
  • FIG. 9 is a diagram illustrating another example of the overhead view video generated by the overhead view video generation system according to the first embodiment.
  • FIG. 10 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the second embodiment.
  • FIG. 11 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the third embodiment.
  • FIG. 12 is a flowchart showing the flow of processing in the overhead video generation device of the overhead video generation system according to the fourth embodiment.
  • FIG. 13 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the fourth embodiment.
  • FIG. 14 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the fourth embodiment.
  • FIG. 15 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the fourth embodiment.
  • the front-rear direction is a direction parallel to the traveling direction when the vehicle is traveling straight, and the front side from the driver's seat toward the windshield is “front” in the front-rear direction, and the side from the windshield toward the driver's seat is “After” the direction.
  • the front-rear direction is the X-axis direction.
  • the left-right direction is a direction that is horizontally orthogonal to the front-rear direction. To the windshield, the left hand side is “left” and the right hand side is “right”.
  • the left-right direction is the Y-axis direction.
  • the vertical direction is a direction orthogonal to the front-rear direction and the left-right direction.
  • the vertical direction is the Z-axis direction.
  • front-rear direction, the left-right direction, and the vertical direction are orthogonal in three dimensions.
  • front and rear, left and right, and top and bottom are front and rear, left and right, and top and bottom in a state where the overhead view video generation system 1 is mounted on a vehicle.
  • FIG. 1 is a block diagram illustrating a configuration example of an overhead video generation system according to the first embodiment.
  • the overhead image generation system 1 is mounted on the vehicle V.
  • the overhead image generation system 1 may be a portable device that can be used in the vehicle V.
  • the overhead video generation system 1 includes a front camera 11, a rear camera 12, a left side camera 13, a right side camera 14, a sensor group (detection unit) 20, a display panel (display unit) 30, and an overhead video generation.
  • Device 40 The overhead video generation system 1 includes a front camera 11, a rear camera 12, a left side camera 13, a right side camera 14, a sensor group (detection unit) 20, a display panel (display unit) 30, and an overhead video generation.
  • a front camera 11 a rear camera 12
  • a left side camera 13 a right side camera 14
  • a sensor group detection unit
  • display panel display unit
  • FIG. 2 is a schematic diagram illustrating an example of the position of the virtual viewpoint in the overhead view video generation system according to the first embodiment.
  • the front camera 11 is disposed in front of the vehicle V and captures a periphery around the front of the vehicle V. For example, the front camera 11 captures an imaging range A1 of about 180 °.
  • the front camera 11 outputs the captured video to the video data acquisition unit 42 of the overhead video generation device 40.
  • the rear camera 12 is arranged behind the vehicle V and photographs the periphery around the rear of the vehicle V. For example, the rear camera 12 captures an imaging range A2 of about 180 °. The rear camera 12 outputs the captured video to the video data acquisition unit 42 of the overhead video generation device 40.
  • the left side camera 13 is arranged on the left side of the vehicle V and photographs the periphery around the left side of the vehicle V.
  • the left side camera 13 captures an imaging range A3 of about 180 °, for example.
  • the left side camera 13 outputs the captured video to the video data acquisition unit 42 of the overhead video generation device 40.
  • the right-side camera 14 is arranged on the right side of the vehicle V and photographs the periphery around the right side of the vehicle V.
  • the right side camera 14 captures an imaging range A4 (not shown) of about 180 °, for example.
  • the right-side camera 14 outputs the captured video to the video data acquisition unit 42 of the overhead view video generation device 40.
  • Such a front camera 11, rear camera 12, left side camera 13, and right side camera 14 photograph all directions of the vehicle V.
  • the sensor group 20 detects an obstacle Q around the vehicle V.
  • the sensor group 20 can detect the obstacle Q in a range including the display range of the overhead view video.
  • the sensor group 20 includes a front sensor, a rear sensor, a left side sensor, and a right side sensor.
  • the sensor group 20 is capable of sensing from a distance of several tens of meters to several hundreds of meters depending on the sensing method.
  • the sensor group 20 detects an obstacle Q at a distance of about 5 m from the vehicle V.
  • various methods such as an infrared sensor, an ultrasonic sensor, a millimeter wave sensor, a sensor based on image recognition, and the like can be applied.
  • the front sensor is disposed in front of the vehicle V and detects an obstacle Q existing in a range centered on the front of the vehicle V.
  • the front sensor detects an object having a height from the ground that may come into contact with the vehicle V when the vehicle V is moving forward.
  • the front sensor detects an obstacle Q at a distance of about 5 m from the vehicle V, for example.
  • the detection range of the front sensor overlaps with the shooting range A1 of the front camera 11.
  • the detection range of the front sensor may overlap with a part of the detection range of the left side sensor and the right side sensor.
  • the front sensor is composed of a combination of a plurality of sensors. Thereby, the direction of the obstacle Q is subdivided and detected.
  • the front sensor outputs the obstacle information of the detected obstacle Q to the obstacle information acquisition unit 43 of the overhead view video generation device 40.
  • the rear sensor is arranged behind the vehicle V and detects an obstacle Q existing in a range centered on the rear of the vehicle V.
  • the rear sensor detects an object having a height from the ground that may come into contact with the vehicle V when the vehicle V is moving backward.
  • the rear sensor detects an obstacle Q at a distance of about 5 m from the vehicle V, for example.
  • the detection range of the rear sensor overlaps with the shooting range A2 of the rear camera 12.
  • the detection range of the rear sensor may overlap with a part of the detection range of the left side sensor and the right side sensor.
  • the rear sensor is composed of a combination of a plurality of sensors. Thereby, the direction of the obstacle Q is subdivided and detected.
  • the rear sensor outputs the obstacle information of the detected obstacle Q to the obstacle information acquisition unit 43 of the overhead view video generation device 40.
  • the left side sensor is arranged on the left side of the vehicle V and detects an obstacle Q existing in a range centering on the left side of the vehicle V.
  • the left side sensor detects an object having a height from the ground that may come into contact with the vehicle V when the vehicle V is moving forward or backward while steering.
  • the left side sensor detects an obstacle Q at a distance of about 5 m from the vehicle V, for example.
  • the detection range of the left side sensor overlaps with the shooting range A3 of the left side camera 13.
  • the detection range of the left side sensor may overlap with a part of the detection range of the front sensor and the rear sensor.
  • the left side sensor is composed of a combination of a plurality of sensors. Thereby, the direction of the obstacle Q is subdivided and detected.
  • the left side sensor outputs the detected obstacle information of the obstacle Q to the obstacle information acquisition unit 43 of the overhead view video generation device 40.
  • the right side sensor is arranged on the right side of the vehicle V and detects an obstacle Q existing in a range centered on the right side of the vehicle V.
  • the right side sensor detects an object having a height from the ground that may come into contact with the vehicle V when the vehicle V is moving forward or backward while steering.
  • the right side sensor detects an obstacle Q at a distance of about 5 m from the vehicle V, for example.
  • the detection range of the right side sensor overlaps the shooting range A4 of the right side camera 14.
  • the detection range of the right side sensor may overlap with a part of the detection range of the front sensor and the rear sensor.
  • the right side sensor is composed of a combination of a plurality of sensors. Thereby, the direction of the obstacle Q is subdivided and detected.
  • the right side sensor outputs the detected obstacle information of the obstacle Q to the obstacle information acquisition unit 43 of the overhead view video generation device 40.
  • the display panel 30 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminescence) display.
  • the display panel 30 displays the overhead view video 100 (see FIG. 3) and the overhead view video 100A (see FIG. 6) based on the video signal output from the overhead view video generation device 40 of the overhead view video generation system 1.
  • the display panel 30 may be dedicated to the overhead view video generation system 1 or may be used jointly with other systems including a navigation system, for example.
  • the display panel 30 is disposed at a position that is easily visible to the driver.
  • the display panel 30 may be divided into a plurality of display ranges when the shape of the display panel 30 is a horizontally long rectangle.
  • the display panel 30 has a display range for displaying the bird's-eye view video 100 and a display range for displaying a navigation screen or an audio screen arranged on the side of the display range of the bird's-eye view video 100.
  • the display range for displaying the bird's-eye view video 100 is a vertically long rectangular shape.
  • the overhead view video generation device 40 includes a control unit 41 and a storage unit 49.
  • the control unit 41 is an arithmetic processing unit configured with, for example, a CPU (Central Processing Unit).
  • the control unit 41 loads the program stored in the storage unit 49 into the memory and executes instructions included in the program.
  • the control unit 41 includes a video data acquisition unit 42, an obstacle information acquisition unit 43, a vehicle information acquisition unit 44, an overhead video generation unit 45, and a display control unit 48.
  • the video data acquisition unit 42 acquires peripheral video data obtained by photographing the periphery of the vehicle V. More specifically, the video data acquisition unit 42 acquires peripheral video data output by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The video data acquisition unit 42 outputs the acquired peripheral video data to the overhead video generation unit 45.
  • the obstacle information acquisition unit 43 acquires the obstacle information of the obstacle Q detected in the vicinity of the vehicle V, and specifies the position of the detected obstacle Q on the overhead view video. More specifically, the obstacle information acquisition unit 43 acquires the obstacle information output by the sensor group 20. In the present embodiment, the obstacle information acquisition unit 43 acquires obstacle information including the distance to the detected obstacle Q. The obstacle information acquisition unit 43 specifies the position of the obstacle Q on the bird's-eye view video from the sensor that detects the obstacle Q included in the acquired obstacle information and the distance to the obstacle Q. The obstacle information acquisition unit 43 outputs the acquired obstacle information and the position of the identified obstacle Q to the overhead image generation unit 45.
  • the vehicle information acquisition unit 44 acquires vehicle information serving as a trigger for displaying the bird's-eye view video 100 such as gear operation information of the vehicle V from a CAN (Controller Area Network) or various sensors that sense the state of the vehicle V. .
  • vehicle information includes information indicating the traveling direction of the vehicle V.
  • the vehicle information acquisition unit 44 outputs the acquired vehicle information to the overhead view video generation unit 45.
  • the overhead view video generation unit 45 generates the overhead view video 100 with the virtual viewpoint P above the vehicle V by performing viewpoint conversion processing on the peripheral video data acquired by the video data acquisition unit 42 and combining it.
  • the virtual viewpoint P will be described with reference to FIG.
  • the virtual viewpoint P is located above the center of the vehicle V.
  • the virtual viewpoint P is a viewpoint that looks down at the vehicle V from directly above.
  • the center of the vehicle V is the center in the vehicle width direction of the vehicle V and the center in the front-rear direction.
  • “Directly above the vehicle V” is a position on the vertical line of the reference plane of the vehicle V.
  • the reference plane is a plane that is horizontal to the road surface when the vehicle V is positioned on a horizontal and flat road surface.
  • the position of the virtual viewpoint P is assumed to be (x, y, z).
  • FIG. 3 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the first embodiment.
  • the bird's-eye view image 100 includes a front image 101, a rear image 102, a left side image 103, and a right side image 104.
  • the display area of the front image 101 and the display area of the rear image 102 are the same area.
  • the display area of the left side image 103 and the display area of the right side image 104 are the same.
  • a host vehicle icon 200 indicating the vehicle V is displayed.
  • the host vehicle icon 200 indicates a form in which the vehicle V is looked down from directly above.
  • FIG. 3 a composite boundary B1 between the front video 101 and the left video 103, a composite boundary B2 between the front video 101 and the right video 104, a composite boundary B3 between the rear video 102 and the left video 103,
  • an oblique broken line indicating the composite boundary B4 of the rear image 102 and the right-side image 104 is illustrated for explanation, the broken line is displayed in the overhead image 100 actually displayed on the display panel 30. May not be displayed. The same applies to the other figures.
  • the composite boundary B when it is not necessary to particularly distinguish the composite boundary B1, the composite boundary B2, the composite boundary B3, and the composite boundary B4, the composite boundary B will be described.
  • the composite boundary B1 extends from the left front end of the host vehicle icon 200 toward the left front.
  • the composite boundary B1 extends from the left front end portion of the host vehicle icon 200 to the long side portion 100a.
  • the composite boundary B2 extends from the right front end of the host vehicle icon 200 toward the right front.
  • the composite boundary B2 extends from the right front end portion of the host vehicle icon 200 to the long side portion 100b.
  • the composite boundary B3 extends from the left rear end of the host vehicle icon 200 toward the left rear.
  • the composite boundary B3 extends from the left rear end portion of the host vehicle icon 200 to the long side portion 100a.
  • the composite boundary B4 extends from the right rear end of the host vehicle icon 200 toward the right rear.
  • the composite boundary B4 extends from the right rear end portion of the host vehicle icon 200 to the long side portion 100b.
  • the overhead image generation unit 45 When the position of the obstacle Q identified by the obstacle information acquisition unit 43 is a position that overlaps a composite boundary B that is a boundary of a plurality of images in the overhead image 100, the overhead image generation unit 45 is a virtual viewpoint of the overhead image 100.
  • An overhead image 100A having a virtual viewpoint PA by changing the position of P is generated.
  • the overhead view video generation unit 45 when the position of the obstacle Q is a position that overlaps the composite boundary B when the obstacle Q is represented in the overhead view video 100, the overhead view video generation unit 45 generates the overhead view video 100A as the virtual viewpoint PA. .
  • the overhead image generation unit 45 generates the overhead image 100A as the virtual viewpoint PA even when the position of the obstacle Q is located in the vicinity of the composite boundary B when the obstacle Q is represented in the overhead image 100. May be.
  • the position that overlaps the composite boundary B is a position that overlaps with a range in which the correct form is not displayed due to the display of the subject being hidden or distorted by image processing when a plurality of images are combined.
  • the position that overlaps the composite boundary B is, for example, a position that overlaps a range that spreads in a band shape around the composite boundary B.
  • the position in the vicinity of the composite boundary B is a position on the traveling direction side from the position overlapping the composite boundary B.
  • the position in the vicinity of the composite boundary B is a position where the vehicle V is predicted to become a position overlapping the composite boundary B as it travels.
  • the overhead image generation unit 45 is configured such that the position of the obstacle Q specified by the obstacle information acquisition unit 43 is the composition boundary B in the traveling direction in the overhead image 100 (hereinafter referred to as “composition boundary B in the traveling direction”). .) Is generated, the overhead view video 100A is generated by changing the position of the virtual viewpoint P to the virtual viewpoint PA corresponding to the traveling direction of the vehicle V. More specifically, the bird's-eye view video generation unit 45 changes the position of the virtual viewpoint P to the virtual viewpoint PA on the traveling direction side of the vehicle V when the position of the obstacle Q overlaps the composite boundary B in the traveling direction. Generate.
  • the position of the virtual viewpoint PA is represented by (xA, y, z).
  • the overhead view image generation unit 45 determines the position of the virtual viewpoint P as the virtual viewpoint PA on the rear side of the vehicle V when the position of the obstacle Q overlaps the composite boundary B3 or the composite boundary B4.
  • the overhead view video 100A changed to is generated.
  • the overhead view video generation unit 45 determines the position of the virtual viewpoint P as the virtual viewpoint PA on the front side of the vehicle V when the position of the obstacle Q overlaps the composite boundary B1 or the composite boundary B2.
  • the overhead view video 100A changed to is generated.
  • the overhead view video generation unit 45 includes a viewpoint conversion processing unit 451, a cut-out processing unit 452, and a composition processing unit 453.
  • the viewpoint conversion processing unit 451 performs viewpoint conversion processing on the surrounding video data acquired by the video data acquisition unit 42 so that the vehicle V is looked down from the upper virtual viewpoint P. More specifically, the viewpoint conversion processing unit 451 generates a video on which the viewpoint conversion processing has been performed based on peripheral video data captured by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14.
  • the method of viewpoint conversion processing may be any known method and is not limited.
  • the viewpoint conversion processing unit 451 outputs the peripheral video data that has undergone the viewpoint conversion processing to the clipping processing unit 452.
  • the viewpoint conversion processing unit 451 changes the virtual viewpoint P of the overhead view video 100.
  • An image that has undergone viewpoint conversion processing is generated as a PA.
  • the viewpoint conversion processing unit 451 outputs the peripheral video data that has undergone the viewpoint conversion processing to the clipping processing unit 452.
  • the viewpoint conversion processing unit 451 changes the position of the virtual viewpoint P so that an image having a wider display range in the images of a plurality of cameras is displayed including the obstacle Q.
  • the position of the virtual viewpoint P is changed.
  • the viewpoint conversion processing unit 451 determines the position of the virtual viewpoint P according to the traveling direction of the vehicle V when the position of the obstacle Q specified by the obstacle information acquiring unit 43 overlaps the composite boundary B in the traveling direction.
  • the image is generated by performing the viewpoint conversion process by changing the position. More specifically, the viewpoint conversion processing unit 451 changes the position of the virtual viewpoint P to the traveling direction side of the vehicle V and performs the viewpoint conversion processing when the position of the obstacle Q overlaps the composite boundary B in the traveling direction. Is generated.
  • the viewpoint conversion processing unit 451 determines the position of the virtual viewpoint P as the virtual viewpoint PA on the rear side of the vehicle V when the position of the obstacle Q overlaps the combined boundary B3 or the combined boundary B4. To generate an image that has been subjected to the viewpoint conversion process.
  • FIG. 4 is a schematic diagram illustrating another example of the position of the virtual viewpoint in the overhead view video generation system according to the first embodiment.
  • the virtual viewpoint PA is located behind the vehicle V.
  • the virtual viewpoint PA is a viewpoint in which the vehicle V is looked down obliquely from the rear upper side.
  • the viewpoint conversion processing unit 451 determines the position of the virtual viewpoint P as the virtual viewpoint PA on the front side of the vehicle V when the position of the obstacle Q overlaps the combined boundary B1 or the combined boundary B2. To generate an image that has been subjected to the viewpoint conversion process.
  • the cut-out processing unit 452 performs cut-out processing for cutting out a predetermined range of video from the peripheral video data that has undergone viewpoint conversion processing.
  • the cutout processing unit 452 cuts out the front cutout range from the peripheral video data from the front camera 11 that has undergone the viewpoint conversion process.
  • the cutout processing unit 452 cuts out the rear cutout range from the peripheral video data from the rear camera 12 that has performed the viewpoint conversion process.
  • the cut-out processing unit 452 cuts out the left-side cut-out range from the peripheral video data from the left-side camera 13 that has undergone the viewpoint conversion process.
  • the cut-out processing unit 452 cuts out the right-side cut-out range from the peripheral video data from the right-side camera 14 that has undergone the viewpoint conversion process.
  • the cutout processing unit 452 outputs the video data of the video that has undergone the cutout processing to the composition processing unit 453.
  • the front cutout range is a range in front of the front end of the vehicle V and surrounded by the composite boundary B1 and the composite boundary B2.
  • the rear cutout range is a range from the rear end of the vehicle V to the rear and is a range surrounded by the composite boundary B3 and the composite boundary B4.
  • the left-side cut-out range is a range from the left side of the vehicle V to the left and is surrounded by the composite boundary B1 and the composite boundary B3.
  • the right side cut-out range is a range from the right side of the vehicle V to the right and is surrounded by the composite boundary B2 and the composite boundary B4.
  • the position of the synthesis boundary B of the overhead video is uniquely defined for each virtual viewpoint position. Therefore, the front cutout range, the rear cutout range, the left side cutout range, and the right side cutout range are based on the position of the composite boundary B corresponding to the position of the virtual viewpoint of the video that has been cut out. Determined.
  • the position of the synthesis boundary B of the overhead view video for each virtual viewpoint position is stored in the storage unit 49 in advance. In the present embodiment, the position of the synthesis boundary B of the overhead view video 100 as the virtual viewpoint P and the position of the synthesis boundary BA of the overhead view video 100A as the virtual viewpoint PA are stored.
  • the composition processing unit 453 generates a bird's-eye view image 100 and a bird's-eye view image 100A by combining a plurality of images cut out by the cut-out processing unit 452.
  • the composition processing unit 453 outputs the generated overhead view video 100 and overhead view video 100A to the display control unit 48.
  • FIG. 5 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the first embodiment.
  • an obstacle Q indicating the obstacle Q is displayed in the rear image 102.
  • FIG. 6 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the first embodiment.
  • the host vehicle icon 210 shows a form in which the vehicle V is looked down from behind. It is preferable that the host vehicle icon 210 has a display form in which a blind spot caused by the host vehicle icon 210 does not occur.
  • the host vehicle icon 210 may be translucent.
  • the host vehicle icon 210 may have a frame shape indicating the outer shape.
  • the display area of the front image 101A is narrower than the display area of the front image 101.
  • the display area of the rear image 102A is wider on the both sides at the front side than the display area of the rear image 102.
  • the display area of the rear image 102A is wider than the display area of the front image 101A.
  • the display area of the left side video 103A and the display area of the right side video 104A are wider on the front side than the display area of the left side video 103 and the display area of the right side video 104.
  • the composite boundary B1A extends forward from the left front end of the host vehicle icon 210.
  • the composite boundary B1A extends from the left front end portion of the host vehicle icon 210 to the short side portion 100Ac.
  • the composite boundary B2A extends forward from the right front end of the host vehicle icon 210.
  • the composite boundary B2A extends from the right front end portion of the host vehicle icon 210 to the short side portion 100Ac.
  • the composite boundary B3A extends horizontally from the left rear end of the host vehicle icon 210 toward the left.
  • the composite boundary B3A extends from the left rear end portion of the host vehicle icon 210 to the long side portion 100Aa.
  • the composite boundary B4A extends horizontally from the right rear end of the host vehicle icon 210 toward the right.
  • the composite boundary B4A extends from the right rear end portion of the host vehicle icon 210 to the long side portion 100Ab.
  • the peripheral video data from the rear camera 12 is less distorted than the peripheral video data from the left camera 13 and the right camera 14.
  • the synthesis boundary B3A and the synthesis boundary B4A are set so as to widen the display area of the peripheral video data from the rear camera 12.
  • the synthesis boundary B1A and the synthesis boundary B2A are set so as to widen the display area of the peripheral video data from the left side camera 13 and the right side camera 14.
  • the display control unit 48 displays the overhead view video 100 and the overhead view video 100 ⁇ / b> A on the display panel 30.
  • the storage unit 49 stores data required for various processes in the overhead view video generation device 40 and various processing results.
  • the storage unit 49 is, for example, a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • FIG. 7 is a flowchart showing a flow of processing in the overhead view video generation system according to the first embodiment.
  • control unit 41 When the overhead view video generation system 1 is activated, the control unit 41 causes the video data acquisition unit 42 to acquire peripheral video data.
  • the control unit 41 causes the obstacle information acquisition unit 43 to acquire obstacle information.
  • the control unit 41 determines whether or not to start the overhead view video display (step S11). In the present embodiment, the control unit 41 determines whether to start bird's-eye view video display based on the presence or absence of a reverse trigger.
  • the reverse trigger means that, for example, the shift position is “reverse”. Alternatively, the reverse trigger means that the traveling direction of the vehicle V is the rear of the vehicle V.
  • the control unit 41 determines not to start the overhead view video display (No in step S11), and executes the process of step S11 again.
  • the control unit 41 determines to start the overhead view video display (Yes in Step S11), and proceeds to Step S12.
  • the trigger for starting the bird's-eye view video display is not limited to the reverse trigger, and any trigger such as a user operation, an obstacle detection result, or a stop is applied.
  • the control unit 41 determines whether an obstacle Q has been detected (step S12). More specifically, the control unit 41 determines whether or not the obstacle information acquisition unit 43 has acquired the obstacle information of the obstacle Q that satisfies the predetermined condition. When it is determined that the obstacle information acquisition unit 43 has acquired the obstacle information (Yes in step S12), the control unit 41 proceeds to step S13. When it is determined that the obstacle information acquisition unit 43 has not acquired the obstacle information (No in step S12), the control unit 41 proceeds to step S16.
  • the predetermined condition is a condition for detecting the obstacle Q.
  • the predetermined condition is that the obstacle Q is positioned in the traveling direction of the vehicle V.
  • the obstacle Q is located in the traveling direction of the vehicle V.
  • the control unit 41 detects that the obstacle Q in the sensor group 20 that detects the obstacle Q behind the vehicle V satisfies the predetermined condition. Determine and detect as an obstacle Q.
  • the control part 41 acquires the positional information on the obstacle Q with respect to the vehicle V (step S13). More specifically, the control unit 41 acquires the position of the obstacle Q on the overhead image based on the obstacle information acquired by the obstacle information acquisition unit 43. The control unit 41 proceeds to step S14.
  • the control unit 41 determines whether or not the obstacle Q is located on the synthesis boundary B of the overhead view video (step S14). More specifically, the control unit 41 determines whether or not the obstacle Q is on the combined boundary B in the traveling direction based on the position information of the obstacle Q acquired in step S13. If the control unit 41 determines that the obstacle Q is at a position overlapping the composite boundary B of the overhead view image 100 (Yes in step S14), the control unit 41 proceeds to step S15. When the control unit 41 determines that the obstacle Q is not at a position that overlaps the composite boundary B of the overhead view video 100 (No in step S14), the control unit 41 proceeds to step S16.
  • the control unit 41 changes the virtual viewpoint position (step S15). More specifically, the control unit 41 causes the overhead view video generation unit 45 to change the position of the virtual viewpoint P of the overhead view video 100 to generate the overhead view video 100A as the virtual viewpoint PA, and display it on the display panel 30. The control unit 41 proceeds to step S17.
  • control unit 41 uses the overhead view video generation unit 45 to generate the overhead view image 100A in which the position of the virtual viewpoint P is changed to the virtual viewpoint PA on the traveling direction side of the vehicle V according to the traveling direction of the vehicle V.
  • the control unit 41 generates and displays the overhead view video 100 (step S16). More specifically, the control unit 41 causes the overhead view video generation unit 45 to perform a viewpoint conversion process so that the vehicle V is looked down from the surrounding video data acquired by the video data acquisition unit 42 to generate the overhead view video 100, and the display panel 30. The control unit 41 proceeds to step S17.
  • the control unit 41 determines whether or not to end the overhead view video display (step S17). More specifically, the control unit 41 determines whether or not to end the bird's-eye view video display based on the presence or absence of a reverse end trigger.
  • the reverse end trigger means, for example, that the shift position has changed from “reverse” to another position.
  • the control unit 41 determines to end the bird's-eye view video display (Yes in step S17), and ends the process. If there is no reverse end trigger, the control unit 41 determines not to end the overhead view video display (No in step S17), returns to step S12, and continues the process.
  • FIG. 8 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the first embodiment.
  • FIG. 9 is a diagram illustrating another example of the overhead view video generated by the overhead view video generation system according to the first embodiment.
  • the obstacle Q is located on the left rear side from the rear end portion of the vehicle V.
  • step S11 when the shift position is set to “reverse”, it is determined in step S11 that the overhead view video display is started.
  • step S12 the obstacle Q located behind the vehicle V is detected.
  • step S ⁇ b> 13 it is acquired that the position of the obstacle Q is rear left from the rear end portion of the vehicle V.
  • step S14 it is determined that the obstacle Q is not located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 16 an overhead video 100 with a virtual viewpoint P as shown in FIG. 5 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • step S12 the obstacle Q is detected, and in step S13, the position of the obstacle Q approaching the vehicle V is acquired.
  • step S14 it is determined that the obstacle Q is located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 15 an overhead video 100 ⁇ / b> A having a virtual viewpoint PA as shown in FIG. 6 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • the obstacle Q is displayed behind the composite boundary B3A.
  • step S13 it is acquired that the position of the obstacle Q is on the left side close to the rear end of the vehicle V.
  • step S14 it is determined that the obstacle Q is not located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 16 an overhead video 100 with a virtual viewpoint P as shown in FIG. 8 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • the position of the synthesis boundary B is the same position as the synthesis boundary B of the overhead image 100 shown in FIG. 5.
  • the obstacle Q is displayed in front of the composite boundary B3.
  • step S13 it is acquired that the position of the obstacle Q is left front from the rear end of the vehicle V.
  • step S14 it is determined that the obstacle Q is not located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 16 an overhead video 100 with a virtual viewpoint P as shown in FIG. 9 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • the position of the synthesis boundary B is the same position as the synthesis boundary B of the overhead view image 100 shown in FIG.
  • the obstacle Q is displayed further forward than the composite boundary B3.
  • the obstacle Q becomes a position straddling the composite boundary B1 of the bird's-eye view image 100.
  • the composite boundary B1 is not in the traveling direction, the process for changing the position of the virtual viewpoint is not executed.
  • the overhead view video generation system 1 generates the overhead view video 100A in which the position of the virtual viewpoint P is changed to the position on the traveling direction side of the vehicle V when the position of the obstacle Q overlaps the composite boundary B in the traveling direction. To do.
  • the position of the virtual viewpoint when the position of the obstacle Q overlaps with the composite boundary B in the traveling direction, the position of the virtual viewpoint is changed to the position on the traveling direction side of the vehicle V according to the traveling direction of the vehicle V.
  • the overhead view video 100A of the virtual viewpoint PA is generated.
  • this embodiment can display the bird's-eye view image in which the obstacle Q does not overlap the composite boundary B by shifting the position of the virtual viewpoint when the obstacle Q overlaps the composite boundary B in the traveling direction. Thereby, it can suppress that the shape of the obstruction Q is distorted because the obstruction Q is located on the synthetic
  • this embodiment can display the obstacle Q appropriately in the bird's-eye view video.
  • the present embodiment can improve the visibility of the obstacle Q in the overhead view video. In the present embodiment, the obstacle Q around the vehicle can be appropriately confirmed.
  • This embodiment generates a bird's-eye view video by changing the position of the virtual viewpoint so that the display range for displaying the direction in which the obstacle Q is detected in the bird's-eye view video is widened. For example, when the obstacle Q is detected behind, the display area of the rear image 102A of the overhead image 100A corresponding to the direction in which the obstacle Q is detected is wider than the display area of the rear image 102 of the overhead image 100. To do. Thereby, this embodiment can display the bird's-eye view image 100A in which the obstacle Q and its surroundings are not overlapped with the composite boundary B in a wider range. Thus, this embodiment can display the obstacle Q and its periphery appropriately in a bird's-eye view image. In the present embodiment, the obstacle Q around the vehicle and the surroundings can be appropriately confirmed.
  • the present embodiment by changing the position of the virtual viewpoint according to the traveling direction of the vehicle V, it is possible to display an overhead view image that makes it easier to recognize the obstacle Q.
  • the present embodiment generates an overhead image 100A in which the position of the virtual viewpoint P is changed to a position on the traveling direction side of the vehicle V.
  • this embodiment can display the bird's-eye view image 100A that the vehicle V is approaching with the obstacle Q as a reference.
  • this embodiment can display the bird's-eye view image 100A of the viewpoint in which the vehicle V is guided while standing in the traveling direction of the vehicle V.
  • this embodiment can make it the display which can recognize the approach state of the vehicle V with respect to the obstruction Q more easily.
  • this embodiment can display the obstacle Q appropriately in the bird's-eye view video.
  • the overhead view video 100A of the virtual viewpoint PA when the position of the obstacle Q overlaps the composite boundary B in the traveling direction, the overhead view video 100A of the virtual viewpoint PA is generated and displayed. And this embodiment produces
  • the overhead view image 100A of the virtual viewpoint PA is generated and displayed only while the position of the obstacle Q overlaps the composite boundary B in the traveling direction. For this reason, in the present embodiment, the position of the virtual viewpoint is not frequently changed, and it is possible to prevent the overhead view video display from becoming complicated.
  • the own vehicle icon changes.
  • the driver can easily recognize that the position of the virtual viewpoint has been changed.
  • FIG. 10 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the second embodiment.
  • the overhead image generation system 1 has the same basic configuration as the overhead image generation system 1 of the first embodiment.
  • components similar to those in the overhead view video generation system 1 are denoted by the same reference numerals or corresponding reference numerals, and detailed description thereof is omitted.
  • the overhead view video generation system 1 of the present embodiment differs from the overhead view video generation system 1 of the first embodiment in the processing in the overhead view video generation unit 45.
  • the bird's-eye view image generation unit 45 determines the position of the virtual viewpoint P on the side opposite to the traveling direction of the vehicle V when the position of the obstacle Q specified by the obstacle information acquisition unit 43 overlaps the composite boundary B in the traveling direction.
  • the bird's-eye view video 100B changed to PB is generated.
  • the position of the virtual viewpoint PB is represented by (xB, y, z).
  • the overhead view video generation unit 45 determines the position of the virtual viewpoint P as the virtual viewpoint PB on the front side of the vehicle V when the position of the obstacle Q overlaps the composite boundary B3 or the composite boundary B4.
  • the overhead view video 100B changed to is generated.
  • the overhead view video generation unit 45 determines the position of the virtual viewpoint P as the virtual viewpoint PB on the rear side of the vehicle V when the position of the obstacle Q overlaps the composite boundary B1 or the composite boundary B2.
  • the overhead view video 100B changed to is generated.
  • the viewpoint conversion processing unit 451 changes the position of the virtual viewpoint P to the side opposite to the traveling direction of the vehicle V when the position of the obstacle Q overlaps the composite boundary B in the traveling direction, and performs the viewpoint conversion processing. Generate.
  • the viewpoint conversion processing unit 451 determines that the position of the virtual viewpoint P is the virtual viewpoint PB on the front side of the vehicle V when the position of the obstacle Q overlaps the combined boundary B3 or the combined boundary B4. To generate an image that has been subjected to the viewpoint conversion process.
  • the viewpoint conversion processing unit 451 determines that the position of the virtual viewpoint P is the virtual viewpoint PB on the rear side of the vehicle V when the position of the obstacle Q overlaps the combined boundary B1 or the combined boundary B2. To generate an image that has been subjected to the viewpoint conversion process.
  • the bird's-eye view video generation device 40 performs processing according to the flowchart shown in FIG.
  • the process in step S15 is different from the first embodiment, and the processes in steps S11 to S14, step S16, and step S17 are the same as those in the first embodiment.
  • the control unit 41 changes the virtual viewpoint position (step S15). More specifically, the control unit 41 causes the overhead view video generation unit 45 to change the position of the virtual viewpoint P of the overhead view video 100 to the side opposite to the traveling direction of the vehicle V and generate the overhead view video 100B as the virtual viewpoint PB. And displayed on the display panel 30. The control unit 41 proceeds to step S17.
  • step S11 when the shift position is set to “reverse”, it is determined in step S11 that the overhead view video display is started.
  • step S12 the obstacle Q located behind the vehicle V is detected.
  • step S ⁇ b> 13 it is acquired that the position of the obstacle Q is rear left from the rear end portion of the vehicle V.
  • step S14 it is determined that the obstacle Q is not located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 16 an overhead video 100 with a virtual viewpoint P as shown in FIG. 5 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • step S12 the obstacle Q is detected, and in step S13, the position of the obstacle Q approaching the vehicle V is acquired.
  • step S14 it is determined that the obstacle Q is located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 15 an overhead video 100 ⁇ / b> B having a virtual viewpoint PB as shown in FIG. 10 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • the generated overhead image 100B will be described with reference to FIG.
  • the host vehicle icon 220 shows a form in which the vehicle V is looked down from the front.
  • the obstacle Q is displayed in front of the composite boundary B3B.
  • the display area of the front image 101B is wider on the rear side than the display area of the front image 101 at both ends.
  • the display area of the front image 101B is wider than the display area of the rear image 102B.
  • the display area of the rear image 102B is narrower than the display area of the rear image 102.
  • the display area of the left side image 103B and the display area of the right side image 104B are wider on the rear side than the display area of the left side image 103 and the display area of the right side image 104.
  • the composite boundary B1B extends horizontally from the left front end of the host vehicle icon 220 toward the left.
  • the composite boundary B1B extends from the left front end portion of the host vehicle icon 220 to the long side portion 100Ba.
  • the composite boundary B2B extends horizontally from the right front end of the host vehicle icon 220 toward the right.
  • the composite boundary B2B extends from the right front end portion of the host vehicle icon 220 to the long side portion 100Bb.
  • the composite boundary B3B extends rearward from the left rear end of the host vehicle icon 220.
  • the composite boundary B3B extends from the left rear end portion of the host vehicle icon 220 to the short side portion 100Bd.
  • the composite boundary B4B extends rearward from the right rear end of the host vehicle icon 220.
  • the composite boundary B4B extends from the right rear end of the host vehicle icon 220 to the short side 100Bd.
  • the synthesis boundary B3B and the synthesis boundary B4B are set so as to widen the display area of the peripheral video data from the left side camera 13 and the right side camera 14.
  • the synthesis boundary B1B and the synthesis boundary B2B are set so as to widen the display area of the peripheral video data from the left side camera 13 and the right side camera 14.
  • step S13 it is acquired that the position of the obstacle Q is on the left side close to the rear end of the vehicle V.
  • step S14 it is determined that the obstacle Q is not located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 16 an overhead video 100 with a virtual viewpoint P as shown in FIG. 8 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • step S13 it is acquired that the position of the obstacle Q is left front from the rear end of the vehicle V.
  • step S14 it is determined that the obstacle Q is not located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 16 an overhead video 100 with a virtual viewpoint P as shown in FIG. 9 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • the overhead view video 100B of the virtual viewpoint PB whose position is changed to the opposite side to the traveling direction of the vehicle V is generated.
  • this embodiment can display the bird's-eye view image in which the obstacle Q does not overlap the composite boundary B by shifting the position of the virtual viewpoint when the obstacle Q overlaps the composite boundary B in the traveling direction.
  • this embodiment can display the obstacle Q appropriately in the bird's-eye view video.
  • the present embodiment can improve the visibility of the obstacle Q in the overhead view video.
  • the obstacle Q around the vehicle can be appropriately confirmed.
  • the overhead view image 100B in which the position of the virtual viewpoint P is changed to the side opposite to the traveling direction of the vehicle V is generated.
  • this embodiment can display the bird's-eye view image 100B of the viewpoint which stood on the opposite side to the advancing direction of the vehicle V and guided the vehicle V.
  • this embodiment can make it the display which can recognize the approach state of the vehicle V with respect to the obstruction Q more easily.
  • this embodiment can display the obstacle Q appropriately in the bird's-eye view video.
  • FIG. 11 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the third embodiment.
  • the overhead view video generation system 1 of the present embodiment differs from the overhead view video generation system 1 of the first embodiment in the processing in the overhead view video generation unit 45.
  • the overhead view video generation unit 45 intersects the position of the virtual viewpoint P with the traveling direction of the vehicle V, for example, The overhead view video 100C changed to the side is generated.
  • the bird's-eye view image generation unit 45 determines the position of the virtual viewpoint P on the left or right virtual viewpoint of the vehicle V when the position of the obstacle Q overlaps the composite boundary B3 or the composite boundary B4.
  • the overhead view image 100C changed to the PC is generated.
  • the virtual viewpoint PC is preferably on the side where the obstacle Q is detected.
  • the position of the virtual viewpoint PC is represented by (x, yC, z).
  • the overhead view video generation unit 45 determines the position of the virtual viewpoint P on the left or right virtual viewpoint of the vehicle V when the position of the obstacle Q overlaps the combined boundary B1 or the combined boundary B2.
  • the overhead view image 100C changed to the PC is generated.
  • the viewpoint conversion processing unit 451 changes the position of the virtual viewpoint P in the direction intersecting the traveling direction of the vehicle V when the position of the obstacle Q overlaps the composite boundary B in the traveling direction, and displays the video that has been subjected to the viewpoint conversion processing. Generate.
  • the viewpoint conversion processing unit 451 determines the position of the virtual viewpoint P on the left or right virtual viewpoint of the vehicle V when the position of the obstacle Q overlaps with the combined boundary B3 or the combined boundary B4. Change to a PC to generate a video that has undergone viewpoint conversion processing.
  • the viewpoint conversion processing unit 451 determines the position of the virtual viewpoint P on the left or right virtual viewpoint of the vehicle V when the position of the obstacle Q overlaps with the combined boundary B1 or the combined boundary B2. Change to a PC to generate a video that has undergone viewpoint conversion processing.
  • the bird's-eye view video generation device 40 performs processing according to the flowchart shown in FIG.
  • the process in step S15 is different from the first embodiment, and the processes in steps S11 to S14, step S16, and step S17 are the same as those in the first embodiment.
  • the control unit 41 changes the virtual viewpoint position (step S15). More specifically, the control unit 41 causes the overhead view video generation unit 45 to change the position of the virtual viewpoint P of the overhead view video 100 to a direction crossing the traveling direction of the vehicle V to generate the overhead view video 100C as the virtual viewpoint PC. And displayed on the display panel 30. The control unit 41 proceeds to step S17.
  • step S11 when the shift position is set to “reverse”, it is determined in step S11 that the overhead view video display is started.
  • step S12 the obstacle Q located behind the vehicle V is detected.
  • step S ⁇ b> 13 it is acquired that the position of the obstacle Q is rear left from the rear end portion of the vehicle V.
  • step S14 it is determined that the obstacle Q is not located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 16 an overhead video 100 with a virtual viewpoint P as shown in FIG. 5 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • step S12 the obstacle Q is detected, and in step S13, the position of the obstacle Q approaching the vehicle V is acquired.
  • step S14 it is determined that the obstacle Q is located on the composite boundary B3 of the overhead view video 100.
  • step S ⁇ b> 15 an overhead video 100 ⁇ / b> C as a virtual viewpoint PC as shown in FIG. 11 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • the generated overhead view video 100C will be described with reference to FIG.
  • the own vehicle icon 230 shows a form in which the vehicle V is looked down from the left side.
  • the obstacle Q is displayed in front of the composite boundary B3C.
  • the display area of the front image 101C and the display area of the rear image 102C are narrower than the display area of the front side image 101 and the display area of the rear side image 102.
  • the display area of the left side image 103C is wider in the front-rear direction than the display area of the left side image 103.
  • the display area of the left side image 103C is larger than the display area of the right side image 104C.
  • the display area of the right side image 104C is the same as the display area of the right side image 104.
  • the composite boundary B1C extends forward from the left front end of the host vehicle icon 230.
  • the composite boundary B1C extends from the left front end portion of the host vehicle icon 230 to the short side portion 100Cc.
  • the composite boundary B2C extends from the right front end of the host vehicle icon 230 toward the right.
  • the composite boundary B2C extends from the right front end portion of the host vehicle icon 230 to the long side portion 100Cb.
  • the composite boundary B3C extends backward from the left rear end of the host vehicle icon 230.
  • the composite boundary B3C extends from the left rear end portion of the host vehicle icon 230 to the short side portion 100Cd.
  • the composite boundary B4C extends from the right rear end of the host vehicle icon 230 toward the right.
  • the composite boundary B4C extends from the right rear end portion of the host vehicle icon 230 to the long side portion 100Cb.
  • the synthesis boundary B3C is set so as to widen the display area of the peripheral video data from the left side camera 13.
  • the synthesis boundary B1C is set so as to widen the display area of the peripheral video data from the left-side camera 13.
  • step S13 it is acquired that the position of the obstacle Q is on the left side close to the rear end of the vehicle V.
  • step S14 it is determined that the obstacle Q is not located on the composite boundary B3 in the overhead view video 100.
  • step S ⁇ b> 16 an overhead video 100 with a virtual viewpoint P as shown in FIG. 8 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • step S13 it is acquired that the position of the obstacle Q is left front from the rear end of the vehicle V.
  • step S14 it is determined that the obstacle Q is not located on the composite boundary B3 in the overhead view image 100C.
  • step S ⁇ b> 16 an overhead video 100 with a virtual viewpoint P as shown in FIG. 9 is generated and displayed on the display panel 30.
  • step S17 it is determined that the overhead video display is not finished, and the process returns to step S12.
  • the overhead view image 100C of the virtual viewpoint PC whose position is changed in the direction intersecting the traveling direction of the vehicle V is generated.
  • this embodiment can display the bird's-eye view image in which the obstacle Q does not overlap the composite boundary B by shifting the position of the virtual viewpoint when the obstacle Q overlaps the composite boundary B in the traveling direction.
  • this embodiment can suppress that the shape of the obstruction Q is distorted because the obstruction Q is located on the synthetic
  • this embodiment can display the obstacle Q appropriately in the bird's-eye view video.
  • the present embodiment can improve the visibility of the obstacle Q in the overhead view video.
  • the obstacle Q around the vehicle can be appropriately confirmed.
  • an overhead image 100C is generated in which the position of the virtual viewpoint P is changed in a direction intersecting with the traveling direction of the vehicle V.
  • this embodiment can display the bird's-eye view image 100C of the virtual viewpoint PC that guides the vehicle V while standing on the side of the vehicle.
  • this embodiment can make it the display which can recognize the approach state of the vehicle V with respect to the obstruction Q more easily.
  • the driver can appropriately check the obstacle Q around the vehicle.
  • FIG. 12 is a flowchart showing the flow of processing in the overhead video generation device of the overhead video generation system according to the fourth embodiment.
  • FIG. 13 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the fourth embodiment.
  • FIG. 14 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the fourth embodiment.
  • FIG. 15 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the fourth embodiment.
  • the overhead view video generation system 1 of the present embodiment differs from the overhead view video generation system 1 of the second embodiment in the processing in the overhead view video generation unit 45. In this embodiment, it corresponds to the case where a plurality of obstacles Q1 and obstacles Q2 are detected.
  • step S21, S26, S27 performs the process similar to step S11, S16, step S17 of 1st embodiment.
  • the control unit 41 determines whether or not the obstacle Q has been detected (step S22). More specifically, the control unit 41 determines whether or not the obstacle information acquisition unit 43 has acquired the obstacle information of the obstacle Q that satisfies the predetermined condition. In the present embodiment, it is assumed that a plurality of obstacles Q satisfy a predetermined condition. When it determines with the control part 41 having detected the obstruction Q (it is Yes at step S22), it progresses to step S23. When it determines with the control part 41 not detecting the obstruction Q (it is No at step S22), it progresses to step S26.
  • the control unit 41 acquires the position information of the obstacle Q (step S23). More specifically, the control unit 41 acquires the positions of all the obstacles Q on the overhead view video based on the obstacle information acquired by the obstacle information acquisition unit 43. The control unit 41 proceeds to step S24.
  • the control unit 41 determines whether or not there is an obstacle Q located on the synthesis boundary B of the overhead view video (step S24). More specifically, the control unit 41 determines whether or not there is an obstacle Q at a position overlapping the composite boundary B in the traveling direction in the overhead view image 100 with respect to the position information of the obstacle Q acquired in step S23. The control unit 41 determines whether there is an obstacle Q at a position where it is predicted to overlap the composite boundary B in the traveling direction in addition to the obstacle Q at the position overlapping the composite boundary B in the traveling direction.
  • the obstacle Q at a position predicted to overlap with the composite boundary B in the traveling direction is an obstacle Q at a position predicted to overlap with the composite boundary B as the vehicle V moves in the traveling direction. is there. Thereby, the frequency
  • step S24 If the control unit 41 determines that there is an obstacle Q at a position overlapping the composite boundary B of the overhead view video 100 (Yes in step S24), the control unit 41 proceeds to step S25. When the control unit 41 determines that there is no obstacle Q at a position overlapping the composite boundary B of the overhead view video 100 (No in step S24), the control unit 41 proceeds to step S26.
  • the control unit 41 changes the virtual viewpoint position (step S25). More specifically, the control unit 41 causes the overhead view video generation unit 45 to change the position of the virtual viewpoint P of the overhead view video 100 to generate the overhead view video 100A as the virtual viewpoint PA, and display it on the display panel 30. The control unit 41 proceeds to step S27.
  • step S21 when the shift position is set to “reverse”, it is determined in step S21 that the overhead view video display is started.
  • step S22 two obstacles Q1 and Q2 located behind the vehicle V are detected.
  • step S23 it is acquired that the position of the obstacle Q1 is a position on the composite boundary B3 in the overhead view video.
  • step S24 it is determined that the obstacle Q1 is located on the synthesis boundary B3 of the overhead view video 100.
  • step S25 a bird's-eye view image 100A having a virtual viewpoint PA as shown in FIG. 13 is generated and displayed on the display panel 30.
  • step S27 it is determined that the overhead video display is not finished, and the process returns to step S22.
  • the position of the synthesis boundary B is the same position as the synthesis boundary B of the overhead image 100A shown in FIG.
  • the obstacle Q1 and the obstacle Q2 are located behind the composite boundary B3A.
  • step S22 obstacles Q1 and Q2 are detected, and in step S23, the position of the obstacle Q1 is acquired as not being a position on the composite boundary B3 in the overhead view video.
  • the position of the obstacle Q2 is not a position on the composite boundary B3 in the overhead view image, but when the vehicle V moves in the traveling direction, it is predicted that the position of the obstacle Q2 becomes a position on the composite boundary B3.
  • step S24 it is determined that the obstacle Q2 is predicted to be located on the composite boundary B3 of the overhead view video 100A.
  • step S25 a bird's-eye view image 100A having a virtual viewpoint PA as shown in FIG. 14 is generated and displayed on the display panel 30.
  • step S27 it is determined that the overhead video display is not finished, and the process returns to step S22.
  • the position of the composite boundary B is the same position as the composite boundary BA of the overhead image 100A shown in FIG.
  • the obstacle Q1 is located in front of the composite boundary B3A.
  • the obstacle Q2 is located behind the composite boundary B3A.
  • step S23 it is acquired that the positions of the two obstacles Q1 and Q2 are on the left front side from the rear end of the vehicle V.
  • step S24 it is determined that the two obstacles Q1 and Q2 are not located on the composite boundary B3 of the overhead view video 100A.
  • step S ⁇ b> 26 a bird's-eye view image 100 with a virtual viewpoint P as shown in FIG. 15 is generated and displayed on the display panel 30.
  • step S27 it is determined that the overhead video display is not finished, and the process returns to step S22.
  • the position of the synthesis boundary B is the same position as the synthesis boundary B of the overhead image 100A shown in FIG.
  • the obstacle Q1 and the obstacle Q2 are located in front of the composite boundary B3.
  • the overhead image generation system 1 is predicted to be positioned in the traveling direction of the vehicle V and positioned on the composite boundary B as the vehicle V moves when a plurality of obstacles Q are detected. While there is an obstacle Q to be played, an overhead image 100A with a changed virtual viewpoint is generated.
  • the obstacle when a plurality of obstacles Q are detected, the obstacle is predicted to be located on the composite boundary B due to the movement of the vehicle V and the vehicle V moving. While there is Q, the overhead view video 100A with the virtual viewpoint changed is generated. Thereby, this embodiment can suppress changing a virtual viewpoint frequently. Thus, this embodiment can make it possible to appropriately check the obstacle Q around the vehicle.
  • the constituent elements of the overhead view video generation system 1 shown in the figure are functionally conceptual, and need not be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or a part of them is functionally or physically distributed or integrated in arbitrary units according to the processing load or usage status of each device. May be.
  • the configuration of the overhead view video generation system 1 is realized by, for example, a program loaded in a memory as software.
  • the above embodiment has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the predetermined condition is that the obstacle Q is positioned in the traveling direction of the vehicle V, it is not limited to this.
  • the predetermined condition may be, for example, the possibility of interference with the vehicle V.
  • the possibility of interference with the vehicle V means, for example, that it is located in the traveling direction of the vehicle V and has a height from the ground where there is a possibility of coming into contact with the vehicle V.
  • the predetermined condition may be, for example, an area that is smaller than a range that is located in the traveling direction of the vehicle V and spreads in a band shape with a predetermined width around the composite boundary B. Even if the obstacle having an area larger than the range extending in a band with a predetermined width around the composite boundary B does not change the virtual viewpoint, at least a part of the obstacle protrudes from the image processed range. This is because the whole is not hidden.
  • the predetermined condition may be, for example, that the vehicle V is located in the traveling direction and the distance from the vehicle V is the shortest. Thereby, it is possible to display an overhead view image that makes it easy to confirm an obstacle Q that needs to be confirmed more preferentially, such as being closest, among the detected obstacles Q.
  • control unit 41 may determine whether or not to start the bird's-eye view video display based on, for example, whether or not an operation for starting the bird's-eye view video display is detected on the operation unit.
  • the overhead view video in which the position of the virtual viewpoint is changed may be generated by shifting the center of the own vehicle icon from the center of the overhead view video so that the display area in the direction in which the obstacle Q is detected is widened.
  • the obstacle Q is not located on the composite boundary even if the vehicle V further travels backward. Instead of returning, it is possible to keep the bird's-eye view video 100B as the virtual viewpoint PB.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得部42と、映像データ取得部42が取得した映像に視点変換処理を行い合成することで、車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成部45と、車両の周囲の障害物を検出するセンサ群20からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得部43と、俯瞰映像を表示部に表示させる表示制御部48と、を備え、俯瞰映像生成部45は、障害物情報取得部43が特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する。

Description

俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
 本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。
 車両の周囲に設置された複数のカメラで車両周辺を撮影し、撮影した複数の映像に視点変換処理を行い合成した俯瞰映像をモニタに表示させる技術が知られている。俯瞰映像は、複数の映像が合成されているため、映像同士のつなぎ目である合成境界において、被撮影物の一部分が表示されなくなったり、障害物が合成境界を跨ぐ際に一時的に表示されなくなったりすることがある。
 障害物移動方向予測部からの情報を基に、障害物と複数カメラの画像の境界が重ならないように俯瞰画像を作成する技術が知られている(例えば、特許文献1参照)。
国際公開第2011/036892号
 車両が移動すると、障害物の位置も相対的に移動する。これにより、上記の技術では、俯瞰映像における合成境界も動的に変化する。俯瞰映像における合成境界が動的に変化するため、俯瞰映像の表示が煩雑となるおそれがある。このように、検出した障害物を俯瞰映像で表示することには改善の余地がある。
 本発明は、上記に鑑みてなされたものであって、検出した障害物を適切に表示することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成部と、前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得部と、前記俯瞰映像を表示部に表示させる表示制御部と、を備え、前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する。
 本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記カメラと、前記検出部と、前記表示部との少なくともいずれかと、を備える。
 本発明に係る俯瞰映像生成方法は、車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得ステップと、前記俯瞰映像を表示部に表示させる表示制御ステップと、を含み、前記俯瞰映像生成ステップは、前記障害物情報取得ステップで特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する。
 本発明に係るプログラムは、車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得ステップと、前記俯瞰映像を表示部に表示させる表示制御ステップと、を含み、前記俯瞰映像生成ステップは、前記障害物情報取得ステップで特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成することを俯瞰映像生成装置として動作するコンピュータに実行させる。
 本発明によれば、障害物を適切に表示することができるという効果を奏する。
図1は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図2は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。 図3は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。 図4は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。 図5は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図6は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図7は、第一実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。 図8は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図9は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図10は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。 図11は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。 図12は、第四実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図13は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。 図14は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図15は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。
 以下に添付図面を参照して、本発明に係る俯瞰映像生成装置40、俯瞰映像生成システム1、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
 以下の説明においては、前後方向とは、車両直進時の進行方向と平行な方向であり、運転席からウインドシールドに向かう側を前後方向の「前」、ウインドシールドから運転席に向かう側を前後方向の「後」とする。前後方向を、X軸方向とする。左右方向とは、前後方向に対して水平に直交する方向である。ウインドシールドへ向かって、左手側が「左」、右手側が「右」である。左右方向を、Y軸方向とする。上下方向とは、前後方向および左右方向に対して直交する方向である。上下方向を、Z軸方向とする。したがって、前後方向、左右方向および鉛直方向は、3次元で直交する。以下の説明における前後、左右、上下は、俯瞰映像生成システム1を車両に搭載した状態での前後、左右、上下である。
[第一実施形態]
 図1は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム1は、車両Vに搭載されている。俯瞰映像生成システム1は、車両Vに載置されているものに加えて、可搬型で車両Vにおいて利用可能な装置であってもよい。
 図1を用いて、俯瞰映像生成システム1について説明する。俯瞰映像生成システム1は、前方カメラ11と、後方カメラ12と、左側方カメラ13と、右側方カメラ14と、センサ群(検出部)20と、表示パネル(表示部)30と、俯瞰映像生成装置40とを有する。
 図2を用いて、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とについて説明する。図2は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。前方カメラ11は、車両Vの前方に配置され、車両Vの前方を中心とした周辺を撮影する。前方カメラ11は、例えば、180°程度の撮影範囲A1を撮影する。前方カメラ11は、撮影した映像を俯瞰映像生成装置40の映像データ取得部42へ出力する。
 後方カメラ12は、車両Vの後方に配置され、車両Vの後方を中心とした周辺を撮影する。後方カメラ12は、例えば、180°程度の撮影範囲A2を撮影する。後方カメラ12は、撮影した映像を俯瞰映像生成装置40の映像データ取得部42へ出力する。
 左側方カメラ13は、車両Vの左側方に配置され、車両Vの左側方を中心とした周辺を撮影する。左側方カメラ13は、例えば、180°程度の撮影範囲A3を撮影する。左側方カメラ13は、撮影した映像を俯瞰映像生成装置40の映像データ取得部42へ出力する。
 右側方カメラ14は、車両Vの右側方に配置され、車両Vの右側方を中心とした周辺を撮影する。右側方カメラ14は、例えば、180°程度の図示しない撮影範囲A4を撮影する。右側方カメラ14は、撮影した映像を俯瞰映像生成装置40の映像データ取得部42へ出力する。
 このような前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで、車両Vの全方位を撮影する。
 図1に戻って、センサ群20は、車両Vの周辺の障害物Qを検出する。センサ群20は、俯瞰映像の表示範囲を含む範囲の障害物Qを検出可能である。本実施形態では、センサ群20は、前方センサと、後方センサと、左側方センサと、右側方センサとを含む。センサ群20は、センシング方式によっては数十mから数百mの距離までのセンシングが可能であるが、本目的に用いる場合は車両Vから5m程度までの距離の障害物Qを検出する。センサ群20は、例えば、赤外線センサ、超音波センサ、ミリ波センサ、画像認識によるセンサ等、複数方式のセンサの組合せなど様々な方式が適用可能である。
 前方センサは、車両Vの前方に配置され、車両Vの前方を中心とした範囲に存在する障害物Qを検出する。前方センサは、車両Vが前進しているときに車両Vと接触するおそれがある、地上から高さを有するものを検出する。前方センサは、例えば、車両Vから5m程度までの距離の障害物Qを検出する。前方センサの検出範囲は、前方カメラ11の撮影範囲A1と重複する。前方センサの検出範囲は、左側方センサおよび右側方センサの検出範囲の一部と重複していてもよい。前方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Qの方向を細分化して検出する。前方センサは、検出した障害物Qの障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。
 後方センサは、車両Vの後方に配置され、車両Vの後方を中心とした範囲に存在する障害物Qを検出する。後方センサは、車両Vが後退しているときに車両Vと接触するおそれがある、地上から高さを有するものを検出する。後方センサは、例えば、車両Vから5m程度までの距離の障害物Qを検出する。後方センサの検出範囲は、後方カメラ12の撮影範囲A2と重複する。後方センサの検出範囲は、左側方センサおよび右側方センサの検出範囲の一部と重複していてもよい。後方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Qの方向を細分化して検出する。後方センサは、検出した障害物Qの障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。
 左側方センサは、車両Vの左側方に配置され、車両Vの左側方を中心とした範囲に存在する障害物Qを検出する。左側方センサは、車両Vが操舵しながら前進または後退しているときに車両Vと接触するおそれがある、地上から高さを有するものを検出する。左側方センサは、例えば、車両Vから5m程度までの距離の障害物Qを検出する。左側方センサの検出範囲は、左側方カメラ13の撮影範囲A3と重複する。左側方センサの検出範囲は、前方センサおよび後方センサの検出範囲の一部と重複していてもよい。左側方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Qの方向を細分化して検出する。左側方センサは、検出した障害物Qの障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。
 右側方センサは、車両Vの右側方に配置され、車両Vの右側方を中心とした範囲に存在する障害物Qを検出する。右側方センサは、車両Vが操舵しながら前進または後退しているときに車両Vと接触するおそれがある、地上から高さを有するものを検出する。右側方センサは、例えば、車両Vから5m程度までの距離の障害物Qを検出する。右側方センサの検出範囲は、右側方カメラ14の撮影範囲A4と重複する。右側方センサの検出範囲は、前方センサおよび後方センサの検出範囲の一部と重複していてもよい。右側方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Qの方向を細分化して検出する。右側方センサは、検出した障害物Qの障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。
 表示パネル30は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイを含むディスプレイである。表示パネル30は、俯瞰映像生成システム1の俯瞰映像生成装置40から出力された映像信号に基づいて、俯瞰映像100(図3参照)、俯瞰映像100A(図6参照)を表示する。表示パネル30は、俯瞰映像生成システム1に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル30は、運転者から視認容易な位置に配置されている。
 表示パネル30は、表示パネル30の形状が横長の矩形である場合、複数の表示範囲に分割されていてもよい。例えば、表示パネル30は、俯瞰映像100を表示する表示範囲と、俯瞰映像100の表示範囲の側方に配置された、ナビゲーション画面やオーディオ画面を表示する表示範囲とを有する。俯瞰映像100を表示する表示範囲は、縦長の矩形状である。
 俯瞰映像生成装置40は、制御部41と、記憶部49とを有する。
 制御部41は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。制御部41は、記憶部49に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部41は、映像データ取得部42と、障害物情報取得部43と、車両情報取得部44と、俯瞰映像生成部45と、表示制御部48とを有する。
 映像データ取得部42は、車両Vの周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部42は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とが出力した周辺映像データを取得する。映像データ取得部42は、取得した周辺映像データを俯瞰映像生成部45に出力する。
 障害物情報取得部43は、車両Vの周辺において検出した障害物Qの障害物情報を取得し、検出した障害物Qの俯瞰映像上の位置を特定する。より詳しくは、障害物情報取得部43は、センサ群20が出力した障害物情報を取得する。本実施形態では、障害物情報取得部43は、検出した障害物Qまでの距離を含む障害物情報を取得する。障害物情報取得部43は、取得した障害物情報に含まれる、障害物Qを検出したセンサと、障害物Qまでの距離とから、障害物Qの俯瞰映像上の位置を特定する。障害物情報取得部43は、取得した障害物情報と特定した障害物Qの位置とを俯瞰映像生成部45に出力する。
 車両情報取得部44は、車両Vのギア操作情報など、俯瞰映像100を表示させるためのトリガとなる車両情報を、CAN(Controller Area Network)や車両Vの状態をセンシングする各種センサなどから取得する。本実施形態では、車両情報は、車両Vの進行方向を示す情報を含む。車両情報取得部44は、取得した車両情報を俯瞰映像生成部45に出力する。
 俯瞰映像生成部45は、映像データ取得部42が取得した周辺映像データに視点変換処理を行い合成することで、車両Vの上方を仮想視点Pとした俯瞰映像100を生成する。
 図2を用いて、仮想視点Pについて説明する。仮想視点Pは、車両Vの中央の上方に位置している。仮想視点Pは、車両Vを真上から見下すような視点である。車両Vの中央とは、車両Vの車幅方向の中央、かつ、前後方向の中央である。車両Vの真上とは、車両Vの基準面の垂線上の位置である。基準面とは、車両Vが水平かつ平坦な路面上に位置しているときに路面と水平な平面である。仮想視点Pの位置を、(x,y,z)とする。
 図3を用いて、生成された俯瞰映像100について説明する。図3は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像100は、前方映像101と後方映像102と左側方映像103と右側方映像104とを含む。前方映像101の表示面積と後方映像102の表示面積とは同じ広さである。左側方映像103の表示面積と右側方映像104の表示面積とは同じ広さである。俯瞰映像100の中央部は、車両Vを示す自車両アイコン200が表示されている。自車両アイコン200は、車両Vを真上から見下した形態を示す。
 図3においては、前方映像101と左側方映像103との合成境界B1と、前方映像101と右側方映像104との合成境界B2と、後方映像102と左側方映像103との合成境界B3と、後方映像102と右側方映像104との合成境界B4とを示す斜めの破線を説明のために図示しているが、実際に表示パネル30に表示される俯瞰映像100には当該破線は表示されても表示されなくてもよい。他の図も同様である。以下の説明において、合成境界B1と合成境界B2と合成境界B3と合成境界B4とを特に区別する必要がないときは、合成境界Bとして説明する。
 合成境界B1は、自車両アイコン200の左前端部から左前方に向かって延びている。合成境界B1は、自車両アイコン200の左前端部から長辺部100aへ延びている。合成境界B2は、自車両アイコン200の右前端部から右前方に向かって延びている。合成境界B2は、自車両アイコン200の右前端部から長辺部100bへ延びている。合成境界B3は、自車両アイコン200の左後端部から左後方に向かって延びている。合成境界B3は、自車両アイコン200の左後端部から長辺部100aへ延びている。合成境界B4は、自車両アイコン200の右後端部から右後方に向かって延びている。合成境界B4は、自車両アイコン200の右後端部から長辺部100bへ延びている。
 俯瞰映像生成部45は、障害物情報取得部43が特定した障害物Qの位置が、俯瞰映像100における複数の映像の境界である合成境界Bに重なる位置である場合、俯瞰映像100の仮想視点Pの位置を変更して仮想視点PAとした俯瞰映像100Aを生成する。言い換えると、俯瞰映像生成部45は、障害物Qの位置が、障害物Qを俯瞰映像100に表したときに合成境界Bに重なる位置である場合、仮想視点PAとした俯瞰映像100Aを生成する。さらに、俯瞰映像生成部45は、障害物Qの位置が、障害物Qを俯瞰映像100に表したときに合成境界Bの近傍に位置する場合にも、仮想視点PAとした俯瞰映像100Aを生成してもよい。
 合成境界Bに重なる位置とは、複数の映像を合成したときに、画像処理によって被撮影物が非表示となったり歪んだりして、正しい形態が表示されなくなる範囲と重複する位置である。合成境界Bに重なる位置とは、例えば、合成境界Bを中心に帯状に広がる範囲に重なる位置である。
 合成境界Bの近傍の位置とは、合成境界Bに重なる位置より進行方向側の位置である。合成境界Bの近傍の位置とは、車両Vが進行することで合成境界Bに重なる位置となることが予測される位置である。
 本実施形態では、俯瞰映像生成部45は、障害物情報取得部43が特定した障害物Qの位置が、俯瞰映像100における進行方向の合成境界B(以下、「進行方向の合成境界B」という。)に重なる場合、仮想視点Pの位置を車両Vの進行方向に応じた仮想視点PAに変更した俯瞰映像100Aを生成する。より詳しくは、俯瞰映像生成部45は、障害物Qの位置が進行方向の合成境界Bに重なるとき、仮想視点Pの位置を車両Vの進行方向側の仮想視点PAに変更した俯瞰映像100Aを生成する。仮想視点PAの位置は、(xA,y,z)で表される。
 例えば、車両Vが後退しているとき、俯瞰映像生成部45は、障害物Qの位置が合成境界B3または合成境界B4に重なるとき、仮想視点Pの位置を車両Vの後方側の仮想視点PAに変更した俯瞰映像100Aを生成する。
 例えば、車両Vが前進しているとき、俯瞰映像生成部45は、障害物Qの位置が合成境界B1または合成境界B2に重なるとき、仮想視点Pの位置を車両Vの前方側の仮想視点PAに変更した俯瞰映像100Aを生成する。
 俯瞰映像生成部45は、視点変換処理部451と、切出処理部452と、合成処理部453とを有する。
 視点変換処理部451は、映像データ取得部42で取得した周辺映像データに対して、車両Vを上方の仮想視点Pから見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部451は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部451は、視点変換処理を行った周辺映像データを切出処理部452に出力する。
 視点変換処理部451は、障害物情報取得部43が特定した障害物Qの位置が俯瞰映像100の合成境界Bに重なる位置である場合、俯瞰映像100の仮想視点Pの位置を変更した仮想視点PAとして視点変換処理を行った映像を生成する。視点変換処理部451は、視点変換処理を行った周辺映像データを切出処理部452に出力する。
 本実施形態では、視点変換処理部451は、仮想視点Pの位置を変更することで、複数のカメラの映像においてより表示範囲が広くなる映像に障害物Qが含まれて表示されるように、仮想視点Pの位置を変更する。
 本実施形態では、視点変換処理部451は、障害物情報取得部43が特定した障害物Qの位置が進行方向の合成境界Bに重なる場合、仮想視点Pの位置を車両Vの進行方向に応じた位置に変更して視点変換処理を行った映像を生成する。より詳しくは、視点変換処理部451は、障害物Qの位置が進行方向の合成境界Bに重なるとき、仮想視点Pの位置を車両Vの進行方向側に変更して視点変換処理を行った映像を生成する。
 例えば、車両Vが後退しているとき、視点変換処理部451は、障害物Qの位置が合成境界B3または合成境界B4に重なるとき、仮想視点Pの位置を車両Vの後方側の仮想視点PAに変更して視点変換処理を行った映像を生成する。
 図4を用いて、仮想視点PAについて説明する。図4は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。本実施形態では、仮想視点PAは、車両Vの後上方に位置している。仮想視点PAは、車両Vを後上から斜めに見下すような視点である。
 例えば、車両Vが前進しているとき、視点変換処理部451は、障害物Qの位置が合成境界B1または合成境界B2に重なるとき、仮想視点Pの位置を車両Vの前方側の仮想視点PAに変更して視点変換処理を行った映像を生成する。
 切出処理部452は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。切出処理部452は、視点変換処理を行った前方カメラ11からの周辺映像データから、前方切出範囲を切出す。切出処理部452は、視点変換処理を行った後方カメラ12からの周辺映像データから、後方切出範囲を切出す。切出処理部452は、視点変換処理を行った左側方カメラ13からの周辺映像データから、左側方切出範囲を切出す。切出処理部452は、視点変換処理を行った右側方カメラ14からの周辺映像データから、右側方切出範囲を切出す。切出処理部452は、切出処理を行った映像の映像データを合成処理部453に出力する。
 前方切出範囲は、車両Vの前端部から前方の範囲で、合成境界B1と合成境界B2とで囲まれた範囲である。後方切出範囲は、車両Vの後端部から後方の範囲で、合成境界B3と合成境界B4とで囲まれた範囲である。左側方切出範囲は、車両Vの左側部から左方の範囲で、合成境界B1と合成境界B3とで囲まれた範囲である。右側方切出範囲は、車両Vの右側部から右方の範囲で、合成境界B2と合成境界B4とで囲まれた範囲である。
 仮想視点の位置ごとに俯瞰映像の合成境界Bの位置が一意に定義される。このため、前方切出範囲と後方切出範囲と左側方切出範囲と右側方切出範囲とは、切出処理を行った映像の仮想視点の位置に応じた合成境界Bの位置に基づいて定まる。仮想視点の位置ごとの俯瞰映像の合成境界Bの位置は、あらかじめ記憶部49に記憶されている。本実施形態では、仮想視点Pとした俯瞰映像100の合成境界Bの位置と、仮想視点PAとした俯瞰映像100Aの合成境界BAの位置とが記憶されている。
 合成処理部453は、切出処理部452で切出した複数の映像を合成し俯瞰映像100、俯瞰映像100Aを生成する。合成処理部453は、生成した俯瞰映像100、俯瞰映像100Aを表示制御部48に出力する。
 図5を用いて、生成された俯瞰映像100について説明する。図5は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。後方映像102には、障害物Qを示す障害物Qが表示されている。
 図6を用いて、生成された俯瞰映像100Aについて説明する。図6は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。自車両アイコン210は、車両Vを後方から見下ろした形態を示している。自車両アイコン210は、自車両アイコン210による死角が生じないような表示形態とすることが好ましい。例えば、自車両アイコン210は、半透過としてもよい。例えば、自車両アイコン210は、外形を示す枠状としてもよい。前方映像101Aの表示面積は、前方映像101の表示面積に対して狭い。後方映像102Aの表示面積は、両側端部において、後方映像102の表示面積に対して前側に広い。後方映像102Aの表示面積は、前方映像101Aの表示面積に対して広い。左側方映像103Aの表示面積と右側方映像104Aの表示面積とは、左側方映像103の表示面積と右側方映像104の表示面積に対して前側に広い。
 合成境界B1Aは、自車両アイコン210の左前端部から前方に向かって延びている。合成境界B1Aは、自車両アイコン210の左前端部から短辺部100Acへ延びている。合成境界B2Aは、自車両アイコン210の右前端部から前方に向かって延びている。合成境界B2Aは、自車両アイコン210の右前端部から短辺部100Acへ延びている。合成境界B3Aは、自車両アイコン210の左後端部から左方に向かって水平に延びている。合成境界B3Aは、自車両アイコン210の左後端部から長辺部100Aaへ延びている。合成境界B4Aは、自車両アイコン210の右後端部から右方に向かって水平に延びている。合成境界B4Aは、自車両アイコン210の右後端部から長辺部100Abへ延びている。
 合成境界B3Aと合成境界B4A近傍においては、左側方カメラ13と右側方カメラ14からの周辺映像データより、後方カメラ12からの周辺映像データの方が歪が少ない。このため、合成境界B3Aと合成境界B4Aとは、後方カメラ12からの周辺映像データの表示面積を広くするように設定されている。
 合成境界B1Aと合成境界B2A近傍においては、前方カメラ11からの周辺映像データより、左側方カメラ13と右側方カメラ14からの周辺映像データの方が歪が少ない。このため、合成境界B1Aと合成境界B2Aとは、左側方カメラ13と右側方カメラ14からの周辺映像データの表示面積を広くするように設定されている。
 図1に戻って、表示制御部48は、俯瞰映像100、俯瞰映像100Aを表示パネル30に表示させる。
 記憶部49は、俯瞰映像生成装置40における各種処理に要するデータおよび各種処理結果を記憶する。記憶部49は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
 次に、図7を用いて、俯瞰映像生成システム1の俯瞰映像生成装置40における処理の流れについて説明する。図7は、第一実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。
 俯瞰映像生成システム1が起動されると、制御部41は、映像データ取得部42で周辺映像データを取得させる。制御部41は、障害物情報取得部43で障害物情報を取得させる。
 制御部41は、俯瞰映像表示を開始するか否かを判定する(ステップS11)。本実施形態では、制御部41は、後退トリガの有無に基づいて、俯瞰映像表示を開始するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両Vの進行方向が車両Vの後方となったことをいう。制御部41は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し(ステップS11でNo)、ステップS11の処理を再度実行する。制御部41は、後退トリガがある場合、俯瞰映像表示を開始すると判定し(ステップS11でYes)、ステップS12に進む。俯瞰映像表示を開始させるトリガは、後退トリガに限らず、ユーザ操作、障害物検出結果、停止時など任意のトリガが適用される。
 制御部41は、障害物Qを検出したか否かを判定する(ステップS12)。より詳しくは、制御部41は、障害物情報取得部43で、所定条件を満たす障害物Qの障害物情報が取得されたか否かを判定する。制御部41は、障害物情報取得部43で障害物情報が取得されたと判定した場合(ステップS12でYes)、ステップS13に進む。制御部41は、障害物情報取得部43で障害物情報が取得されていないと判定した場合(ステップS12でNo)、ステップS16に進む。
 所定条件とは、障害物Qとして検出する条件である。本実施形態では、所定条件は、障害物Qが車両Vの進行方向に位置すること、である。障害物Qが車両Vの進行方向に位置する場合、所定条件を満たすと判定し、障害物Qとして検出する。例えば、車両Vが後退しているとき、障害物Qが車両Vの後端より後方に位置する場合、所定条件を満たすと判定し、障害物Qとして検出する。より詳しくは、制御部41は、車両Vが後退しているとき、センサ群20のうち、車両Vの後方の障害物Qを検出するセンサが障害物Qを検出した場合、所定条件を満たすと判定し、障害物Qとして検出する。
 制御部41は、車両Vに対する障害物Qの位置情報を取得する(ステップS13)。より詳しくは、制御部41は、障害物情報取得部43で取得した障害物情報に基づいて、障害物Qの俯瞰映像上の位置を取得する。制御部41は、ステップS14に進む。
 制御部41は、障害物Qは俯瞰映像の合成境界B上に位置しているか否かを判定する(ステップS14)。より詳しくは、制御部41は、ステップS13で取得した障害物Qの位置情報に基づいて、障害物Qが進行方向の合成境界B上であるか否かを判定する。制御部41は、障害物Qが俯瞰映像100の合成境界Bに重なる位置であると判定した場合(ステップS14でYes)、ステップS15に進む。制御部41は、障害物Qが俯瞰映像100の合成境界Bに重なる位置ではないと判定した場合(ステップS14でNo)、ステップS16に進む。
 制御部41は、仮想視点位置を変更する(ステップS15)。より詳しくは、制御部41は、俯瞰映像生成部45で、俯瞰映像100の仮想視点Pの位置を変更して仮想視点PAとした俯瞰映像100Aを生成させ、表示パネル30に表示させる。制御部41は、ステップS17に進む。
 本実施形態では、制御部41は、俯瞰映像生成部45で、仮想視点Pの位置を車両Vの進行方向に応じて、車両Vの進行方向側の仮想視点PAに変更した俯瞰映像100Aを生成させる。
 制御部41は、俯瞰映像100を生成し表示する(ステップS16)。より詳しくは、制御部41は、俯瞰映像生成部45で、映像データ取得部42で取得した周辺映像データから車両Vを上方から見下ろすように視点変換処理を行い俯瞰映像100を生成させ、表示パネル30に表示させる。制御部41は、ステップS17に進む。
 制御部41は、俯瞰映像表示を終了するか否かを判定する(ステップS17)。より詳しくは、制御部41は、後退終了トリガの有無に基づいて、俯瞰映像表示を終了するか否かを判定する。後退終了トリガとは、例えば、シフトポジションが「リバース」から他のポジションとなったことをいう。制御部41は、後退終了トリガがある場合、俯瞰映像表示を終了すると判定し(ステップS17でYes)、処理を終了する。制御部41は、後退終了トリガがない場合、俯瞰映像表示を終了しないと判定し(ステップS17でNo)、ステップS12に戻って処理を継続する。
 つづいて、図5、図6、図8、図9を用いて、車両Vが後方に進むとき、障害物Qが後方に検出された場合について説明する。図8は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図9は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。障害物Qは、車両Vの後端部より左後方に位置している。
 まず、シフトポジションが「リバース」とされると、ステップS11において、俯瞰映像表示を開始すると判定される。
 ステップS12において、車両Vの後方に位置する障害物Qが検出される。ステップS13において、障害物Qの位置が車両Vの後端部より左後方であると取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していないと判定される。ステップS16において、図5に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 そして、ステップS12において、障害物Qが検出され、ステップS13において、車両Vに近づいた障害物Qの位置が取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していると判定される。ステップS15において、図6に示すような、仮想視点PAとした俯瞰映像100Aが生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 図6に示す俯瞰映像100Aにおいては、障害物Qは、合成境界B3Aより後方に表示されている。
 そして、ステップS13において、障害物Qの位置が車両Vの後端部に近い左側方であると取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していないと判定される。ステップS16において、図8に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 図8に示す俯瞰映像100においては、合成境界Bの位置は、図5に示す俯瞰映像100の合成境界Bと同じ位置である。障害物Qは、合成境界B3より前方に表示されている。
 そして、ステップS13において、障害物Qの位置が車両Vの後端部より左前方であると取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していないと判定される。ステップS16において、図9に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 図9に示す俯瞰映像100においては、合成境界Bの位置は、図5に示す俯瞰映像100の合成境界Bと同じ位置である。障害物Qは、合成境界B3よりさらに前方に表示されている。
 この後、車両Vがさらに後退すると、障害物Qが俯瞰映像100の合成境界B1を跨ぐ位置になるが、合成境界B1は進行方向ではないため、仮想視点の位置の変更処理は実行されない。
 このような処理が、俯瞰映像表示が終了されるまで繰り返される。
 このようにして、俯瞰映像生成システム1は、障害物Qの位置が進行方向の合成境界Bに重なる場合、仮想視点Pの位置を車両Vの進行方向側の位置に変更した俯瞰映像100Aを生成する。
 上述したように、本実施形態は、障害物Qの位置が進行方向の合成境界Bに重なる場合、仮想視点の位置を車両Vの進行方向に応じて、車両Vの進行方向側の位置に変更した仮想視点PAの俯瞰映像100Aを生成する。これにより、本実施形態は、障害物Qが進行方向の合成境界Bに重なる場合、仮想視点の位置をずらして、障害物Qが合成境界Bに重ならない俯瞰映像を表示することができる。これにより、障害物Qが合成境界B上に位置することで、障害物Qの形状が歪んだり、障害物Qが非表示となるようなことを抑制することができる。このように、本実施形態は、俯瞰映像において障害物Qを適切に表示することができる。本実施形態は、俯瞰映像における障害物Qの視認性を向上することができる。本実施形態は、車両周辺の障害物Qを適切に確認可能にすることができる。
 本実施形態は、俯瞰映像における障害物Qを検出した方向を表示する表示範囲が広くなるように、仮想視点の位置を変更して俯瞰映像を生成する。例えば、障害物Qが後方に検出された場合、障害物Qを検出した方向に対応する、俯瞰映像100Aの後方映像102Aの表示面積を、俯瞰映像100の後方映像102の表示面積に比べて広くする。これにより、本実施形態は、障害物Qとその周辺をより広い範囲で合成境界Bに重ならないようにした俯瞰映像100Aを表示することができる。このように、本実施形態は、俯瞰映像において障害物Qとその周辺を適切に表示することができる。本実施形態は、車両周辺の障害物Qとその周囲を適切に確認可能にすることができる。
 しかも、本実施形態は、仮想視点の位置を車両Vの進行方向に応じて変更することで、障害物Qをより認識しやすい俯瞰映像を表示することができる。具体的には、本実施形態は、仮想視点Pの位置を車両Vの進行方向側の位置に変更した俯瞰映像100Aを生成する。これにより、本実施形態は、障害物Qを基準として、車両Vが近づいてくるような俯瞰映像100Aを表示することができる。言い換えると、本実施形態は、車両Vの進行方向に立って車両Vを誘導したような視点の俯瞰映像100Aを表示することができる。これにより、本実施形態は、障害物Qに対する車両Vの接近状態をより認識しやすい表示とすることができる。このように、本実施形態は、俯瞰映像において障害物Qを適切に表示することができる。
 本実施形態は、障害物Qの位置が進行方向の合成境界Bに重なる場合、仮想視点PAの俯瞰映像100Aを生成表示する。そして、本実施形態は、障害物Qの位置が進行方向の合成境界Bに重なる位置から外れた場合、仮想視点Pの俯瞰映像100を生成表示する。このように、本実施形態は、障害物Qの位置が進行方向の合成境界Bに重なる間だけ、仮想視点PAの俯瞰映像100Aを生成表示する。このため、本実施形態は、仮想視点の位置が頻繁に変更されることがなく、俯瞰映像の表示が煩雑になることを抑制することができる。
 本実施形態は、仮想視点の位置が変更されると、自車両アイコンが変化する。これにより、運転者は、仮想視点の位置が変更されていることを容易に認識することができる。
[第二実施形態]
 図10を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図10は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像生成システム1は、基本的な構成は第一実施形態の俯瞰映像生成システム1と同様である。以下の説明においては、俯瞰映像生成システム1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成部45における処理が、第一実施形態の俯瞰映像生成システム1と異なる。
 俯瞰映像生成部45は、障害物情報取得部43が特定した障害物Qの位置が進行方向の合成境界Bに重なるとき、仮想視点Pの位置を車両Vの進行方向とは反対側の仮想視点PBに変更した俯瞰映像100Bを生成する。仮想視点PBの位置は、(xB,y,z)で表される。
 例えば、車両Vが後退しているとき、俯瞰映像生成部45は、障害物Qの位置が合成境界B3または合成境界B4に重なるとき、仮想視点Pの位置を車両Vの前方側の仮想視点PBに変更した俯瞰映像100Bを生成する。
 例えば、車両Vが前進しているとき、俯瞰映像生成部45は、障害物Qの位置が合成境界B1または合成境界B2に重なるとき、仮想視点Pの位置を車両Vの後方側の仮想視点PBに変更した俯瞰映像100Bを生成する。
 視点変換処理部451は、障害物Qの位置が進行方向の合成境界Bに重なるとき、仮想視点Pの位置を車両Vの進行方向とは反対側に変更して視点変換処理を行った映像を生成する。
 例えば、車両Vが後退しているとき、視点変換処理部451は、障害物Qの位置が合成境界B3または合成境界B4に重なるとき、仮想視点Pの位置を車両Vの前方側の仮想視点PBに変更して視点変換処理を行った映像を生成する。
 例えば、車両Vが前進しているとき、視点変換処理部451は、障害物Qの位置が合成境界B1または合成境界B2に重なるとき、仮想視点Pの位置を車両Vの後方側の仮想視点PBに変更して視点変換処理を行った映像を生成する。
 次に、俯瞰映像生成システム1の俯瞰映像生成装置40における処理の流れについて説明する。俯瞰映像生成装置40は、図7に示すフローチャートに沿った処理を行う。本実施形態は、ステップS15における処理が第一実施形態と異なり、ステップS11~ステップS14、ステップS16、ステップS17の処理は第一実施形態と同様の処理を行う。
 制御部41は、仮想視点位置を変更する(ステップS15)。より詳しくは、制御部41は、俯瞰映像生成部45で、俯瞰映像100の仮想視点Pの位置を車両Vの進行方向とは反対側に変更して仮想視点PBとした俯瞰映像100Bを生成させ、表示パネル30に表示させる。制御部41は、ステップS17に進む。
 図10を用いて、第一実施形態と同様に、車両Vが後方に進むとき、障害物Qが後方に検出された場合について説明する。
 まず、シフトポジションが「リバース」とされると、ステップS11において、俯瞰映像表示を開始すると判定される。
 ステップS12において、車両Vの後方に位置する障害物Qが検出される。ステップS13において、障害物Qの位置が車両Vの後端部より左後方であると取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していないと判定される。ステップS16において、図5に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 そして、ステップS12において、障害物Qが検出され、ステップS13において、車両Vに近づいた障害物Qの位置が取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していると判定される。ステップS15において、図10に示すような、仮想視点PBとした俯瞰映像100Bが生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 図10を用いて、生成された俯瞰映像100Bについて説明する。自車両アイコン220は、車両Vを前方から見下ろした形態を示している。障害物Qは、合成境界B3Bより前方に表示されている。
 前方映像101Bの表示面積は、両側端部において、前方映像101の表示面積に対して後側に広い。前方映像101Bの表示面積は、後方映像102Bの表示面積に対して広い。後方映像102Bの表示面積は、後方映像102の表示面積に対して狭い。左側方映像103Bの表示面積と右側方映像104Bの表示面積とは、左側方映像103の表示面積と右側方映像104の表示面積に対して後側に広い。
 合成境界B1Bは、自車両アイコン220の左前端部から左方に向かって水平に延びている。合成境界B1Bは、自車両アイコン220の左前端部から長辺部100Baへ延びている。合成境界B2Bは、自車両アイコン220の右前端部から右方に向かって水平に延びている。合成境界B2Bは、自車両アイコン220の右前端部から長辺部100Bbへ延びている。合成境界B3Bは、自車両アイコン220の左後端部から後方に向かって延びている。合成境界B3Bは、自車両アイコン220の左後端部から短辺部100Bdへ延びている。合成境界B4Bは、自車両アイコン220の右後端部から後方に向かって延びている。合成境界B4Bは、自車両アイコン220の右後端部から短辺部100Bdへ延びている。
 合成境界B3Bと合成境界B4B近傍においては、後方カメラ12からの周辺映像データより、左側方カメラ13と右側方カメラ14からの周辺映像データの方が歪が少ない。このため、合成境界B3Bと合成境界B4Bとは、左側方カメラ13と右側方カメラ14からの周辺映像データの表示面積を広くするように設定されている。
 合成境界B1Bと合成境界B2B近傍においては、左側方カメラ13と右側方カメラ14からの周辺映像データより、前方カメラ11からの周辺映像データの方が歪が少ない。このため、合成境界B1Bと合成境界B2Bとは、左側方カメラ13と右側方カメラ14からの周辺映像データの表示面積を広くするように設定されている。
 そして、ステップS13において、障害物Qの位置が車両Vの後端部に近い左側方であると取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していないと判定される。ステップS16において、図8に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 そして、ステップS13において、障害物Qの位置が車両Vの後端部より左前方であると取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していないと判定される。ステップS16において、図9に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 このような処理が、俯瞰映像表示が終了されるまで繰り返される。
 上述したように、本実施形態は、障害物Qの位置が進行方向の合成境界Bに重なる場合、車両Vの進行方向と反対側に位置を変更した仮想視点PBの俯瞰映像100Bを生成する。これにより、本実施形態は、障害物Qが進行方向の合成境界Bに重なる場合、仮想視点の位置をずらして、障害物Qが合成境界Bに重ならない俯瞰映像を表示することができる。これにより、障害物Qが合成境界B上に位置することで、障害物Qの形状が歪んだり、障害物Qが非表示となるようなことを抑制することができる。このように、本実施形態は、俯瞰映像において障害物Qを適切に表示することができる。本実施形態は、俯瞰映像における障害物Qの視認性を向上することができる。本実施形態は、車両周辺の障害物Qを適切に確認可能にすることができる。
 しかも、本実施形態は、仮想視点Pの位置を車両Vの進行方向と反対側に変更した俯瞰映像100Bを生成する。これにより、本実施形態は、車両Vの進行方向と反対側に立って車両Vを誘導したような視点の俯瞰映像100Bを表示することができる。これにより、本実施形態は、障害物Qに対する車両Vの接近状態をより認識しやすい表示とすることができる。このように、本実施形態は、俯瞰映像において障害物Qを適切に表示することができる。
[第三実施形態]
 図11を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図11は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成部45における処理が、第一実施形態の俯瞰映像生成システム1と異なる。
 俯瞰映像生成部45は、障害物情報取得部43が特定した障害物Qの位置が進行方向の合成境界Bに重なるとき、仮想視点Pの位置を車両Vの進行方向と交差する方向、例えば、側方に変更した俯瞰映像100Cを生成する。
 例えば、車両Vが後退しているとき、俯瞰映像生成部45は、障害物Qの位置が合成境界B3または合成境界B4に重なるとき、仮想視点Pの位置を車両Vの左側または右側の仮想視点PCに変更した俯瞰映像100Cを生成する。仮想視点PCは、障害物Qが検出された側とすることが好ましい。仮想視点PCの位置は、(x,yC,z)で表される。
 例えば、車両Vが前進しているとき、俯瞰映像生成部45は、障害物Qの位置が合成境界B1または合成境界B2に重なるとき、仮想視点Pの位置を車両Vの左側または右側の仮想視点PCに変更した俯瞰映像100Cを生成する。
 視点変換処理部451は、障害物Qの位置が進行方向の合成境界Bに重なるとき、仮想視点Pの位置を車両Vの進行方向と交差する方向に変更して視点変換処理を行った映像を生成する。
 例えば、車両Vが後退しているとき、視点変換処理部451は、障害物Qの位置が合成境界B3または合成境界B4に重なるとき、仮想視点Pの位置を車両Vの左側または右側の仮想視点PCに変更して視点変換処理を行った映像を生成する。
 例えば、車両Vが前進しているとき、視点変換処理部451は、障害物Qの位置が合成境界B1または合成境界B2に重なるとき、仮想視点Pの位置を車両Vの左側または右側の仮想視点PCに変更して視点変換処理を行った映像を生成する。
 次に、俯瞰映像生成システム1の俯瞰映像生成装置40における処理の流れについて説明する。俯瞰映像生成装置40は、図7に示すフローチャートに沿った処理を行う。本実施形態は、ステップS15における処理が第一実施形態と異なり、ステップS11~ステップS14、ステップS16、ステップS17の処理は第一実施形態と同様の処理を行う。
 制御部41は、仮想視点位置を変更する(ステップS15)。より詳しくは、制御部41は、俯瞰映像生成部45で、俯瞰映像100の仮想視点Pの位置を車両Vの進行方向と交差する方向に変更して仮想視点PCとした俯瞰映像100Cを生成させ、表示パネル30に表示させる。制御部41は、ステップS17に進む。
 図11を用いて、第一実施形態と同様に、車両Vが後方に進むとき、障害物Qが後方に検出された場合について説明する。
 まず、シフトポジションが「リバース」とされると、ステップS11において、俯瞰映像表示を開始すると判定される。
 ステップS12において、車両Vの後方に位置する障害物Qが検出される。ステップS13において、障害物Qの位置が車両Vの後端部より左後方であると取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していないと判定される。ステップS16において、図5に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 そして、ステップS12において、障害物Qが検出され、ステップS13において、車両Vに近づいた障害物Qの位置が取得される。ステップS14において、障害物Qは俯瞰映像100の合成境界B3上に位置していると判定される。ステップS15において、図11に示すような、仮想視点PCとした俯瞰映像100Cが生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 図11を用いて、生成された俯瞰映像100Cについて説明する。自車両アイコン230は、車両Vを左側方から見下ろした形態を示している。障害物Qは、合成境界B3Cより前方に表示されている。
 前方映像101Cの表示面積と後方映像102Cの表示面積とは、前側方映像101の表示面積と後側方映像102の表示面積とに対して狭い。左側方映像103Cの表示面積は、左側方映像103の表示面積に対して前後方向に広い。左側方映像103Cの表示面積は、右側方映像104Cの表示面積に対して広い。右側方映像104Cの表示面積は、右側方映像104の表示面積と同じである。
 合成境界B1Cは、自車両アイコン230の左前端部から前方に向かって延びている。合成境界B1Cは、自車両アイコン230の左前端部から短辺部100Ccへ延びている。合成境界B2Cは、自車両アイコン230の右前端部から右方に向かって延びている。合成境界B2Cは、自車両アイコン230の右前端部から長辺部100Cbへ延びている。合成境界B3Cは、自車両アイコン230の左後端部から後方に向かって延びている。合成境界B3Cは、自車両アイコン230の左後端部から短辺部100Cdへ延びている。合成境界B4Cは、自車両アイコン230の右後端部から右方に向かって延びている。合成境界B4Cは、自車両アイコン230の右後端部から長辺部100Cbへ延びている。
 合成境界B3C近傍においては、後方カメラ12からの周辺映像データより、左側方カメラ13からの周辺映像データの方が歪が少ない。このため、合成境界B3Cは、左側方カメラ13からの周辺映像データの表示面積を広くするように設定されている。
 合成境界B1C近傍においては、前方カメラ11からの周辺映像データより、左側方カメラ13からの周辺映像データの方が歪が少ない。このため、合成境界B1Cは、左側方カメラ13からの周辺映像データの表示面積を広くするように設定されている。
 そして、ステップS13において、障害物Qの位置が車両Vの後端部に近い左側方であると取得される。ステップS14において、障害物Qは俯瞰映像100における合成境界B3上に位置していないと判定される。ステップS16において、図8に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 そして、ステップS13において、障害物Qの位置が車両Vの後端部より左前方であると取得される。ステップS14において、障害物Qは俯瞰映像100Cにおける合成境界B3上に位置していないと判定される。ステップS16において、図9に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS17において、俯瞰映像表示終了ではないと判定されて、ステップS12に戻る。
 このような処理が、俯瞰映像表示が終了されるまで繰り返される。
 上述したように、本実施形態は、障害物Qの位置が進行方向の合成境界Bに重なる場合、車両Vの進行方向と交差する方向に位置を変更した仮想視点PCの俯瞰映像100Cを生成する。これにより、本実施形態は、障害物Qが進行方向の合成境界Bに重なる場合、仮想視点の位置をずらして、障害物Qが合成境界Bに重ならない俯瞰映像を表示することができる。これにより、障害物Qが合成境界B上に位置することで、障害物Qの形状が歪んだり、障害物Qが非表示となるようなことを抑制することができる。このように、本実施形態は、俯瞰映像において障害物Qを適切に表示することができる。本実施形態は、俯瞰映像における障害物Qの視認性を向上することができる。本実施形態は、車両周辺の障害物Qを適切に確認可能にすることができる。
 しかも、本実施形態は、仮想視点Pの位置を車両Vの進行方向と交差する方向に変更した俯瞰映像100Cを生成する。これにより、本実施形態は、車両の側方に立って車両Vを誘導するような仮想視点PCの俯瞰映像100Cを表示することができる。これにより、本実施形態は、障害物Qに対する車両Vの接近状態をより認識しやすい表示とすることができる。このように、本実施形態によれば、運転者は、車両周辺の障害物Qを適切に確認することができる。
[第四実施形態]
 図12ないし図15を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図12は、第四実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。図13は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図14は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図15は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成部45における処理が、第二実施形態の俯瞰映像生成システム1と異なる。本実施形態では、複数の障害物Q1、障害物Q2が検出された場合に対応している。
 俯瞰映像生成システム1の俯瞰映像生成装置40における処理の流れについて説明する。ステップS21、S26、S27の処理は、第一実施形態のステップS11、S16、ステップS17と同様の処理を行う。
 制御部41は、障害物Qを検出したか否かを判定する(ステップS22)。より詳しくは、制御部41は、障害物情報取得部43で、所定条件を満たす障害物Qの障害物情報が取得されたか否かを判定する。本実施形態では、複数の障害物Qが所定条件を満たすものとする。制御部41は、障害物Qを検出したと判定した場合(ステップS22でYes)、ステップS23に進む。制御部41は、障害物Qを検出していないと判定した場合(ステップS22でNo)、ステップS26に進む。
 制御部41は、障害物Qの位置情報を取得する(ステップS23)。より詳しくは、制御部41は、障害物情報取得部43で取得した障害物情報に基づいて、すべての障害物Qの俯瞰映像上における位置を取得する。制御部41は、ステップS24に進む。
 制御部41は、俯瞰映像の合成境界B上に位置している障害物Qがあるか否かを判定する(ステップS24)。より詳しくは、制御部41は、ステップS23で取得した障害物Qの位置情報について、俯瞰映像100において、進行方向の合成境界Bに重なる位置の障害物Qがあるか否かを判定する。制御部41は、進行方向の合成境界Bに重なる位置の障害物Qに加えて、進行方向の合成境界Bに重なることが予測される位置の障害物Qがあるか否かを判定する。進行方向の合成境界Bに重なることが予測される位置の障害物Qとは、車両Vが進行方向に移動することで、合成境界Bに重なることが予測される位置の障害物Qのことである。これにより、仮想視点の位置を変更する回数を抑制する。
 制御部41は、俯瞰映像100の合成境界Bに重なる位置の障害物Qがあると判定した場合(ステップS24でYes)、ステップS25に進む。制御部41は、俯瞰映像100の合成境界Bに重なる位置の障害物Qがないと判定した場合(ステップS24でNo)、ステップS26に進む。
 制御部41は、仮想視点位置を変更する(ステップS25)。より詳しくは、制御部41は、俯瞰映像生成部45で、俯瞰映像100の仮想視点Pの位置を変更して仮想視点PAとした俯瞰映像100Aを生成させ、表示パネル30に表示させる。制御部41は、ステップS27に進む。
 図13ないし図15を用いて、車両Vが後方に進むとき、二つの障害物Q1、障害物Q2が後方に検出された場合について説明する。複数の障害物Q1、障害物Q2は、車両Vの後端部より左後方に位置しているものとする。
 まず、シフトポジションが「リバース」とされると、ステップS21において、俯瞰映像表示を開始すると判定される。
 そして、ステップS22において、車両Vの後方に位置する二つの障害物Q1、障害物Q2が検出される。ステップS23において、障害物Q1の位置が俯瞰映像における合成境界B3上の位置であると取得される。ステップS24において、障害物Q1は俯瞰映像100の合成境界B3上に位置していると判定される。ステップS25において、図13に示すような、仮想視点PAとした俯瞰映像100Aが生成されて表示パネル30に表示される。ステップS27において、俯瞰映像表示終了ではないと判定されて、ステップS22に戻る。
 図13に示す俯瞰映像100Aにおいては、合成境界Bの位置は、図6に示す俯瞰映像100Aの合成境界Bと同じ位置である。障害物Q1、障害物Q2は、合成境界B3Aより後方に位置している。
 そして、ステップS22において、障害物Q1およびQ2が検出されステップS23において、障害物Q1の位置は俯瞰映像における合成境界B3上の位置ではないと取得される。また、障害物Q2の位置は、俯瞰映像における合成境界B3上の位置ではないが、車両Vが進行方向に移動すると、合成境界B3上の位置になることが予測される。これにより、ステップS24において、障害物Q2は俯瞰映像100Aの合成境界B3上に位置することが予測されると判定される。ステップS25において、図14に示すような、仮想視点PAとした俯瞰映像100Aが生成されて表示パネル30に表示される。ステップS27において、俯瞰映像表示終了ではないと判定されて、ステップS22に戻る。
 図14に示す俯瞰映像100Aにおいては、合成境界Bの位置は、図13に示す俯瞰映像100Aの合成境界BAと同じ位置である。障害物Q1は、合成境界B3Aより前方に位置している。障害物Q2は、合成境界B3Aより後方に位置している。
 そして、ステップS23において、二つの障害物Q1、障害物Q2の位置が車両Vの後端部より左前方であると取得される。ステップS24において、二つの障害物Q1、障害物Q2は俯瞰映像100Aの合成境界B3上に位置していないと判定される。ステップS26において、図15に示すような、仮想視点Pとした俯瞰映像100が生成されて表示パネル30に表示される。ステップS27において、俯瞰映像表示終了ではないと判定されて、ステップS22に戻る。
 図15に示す俯瞰映像100においては、合成境界Bの位置は、図6に示す俯瞰映像100Aの合成境界Bと同じ位置である。障害物Q1、障害物Q2は、合成境界B3より前方に位置している。
 このような処理が、俯瞰映像表示が終了されるまで繰り返される。
 このようにして、俯瞰映像生成システム1は、複数の障害物Qが検出された場合、車両Vの進行方向に位置し、車両Vの移動に伴って合成境界B上に位置することになると予測される障害物Qがある間は、仮想視点を変更した俯瞰映像100Aを生成する。
 上述したように、本実施形態は、複数の障害物Qを検出した場合、車両Vの進行方向に位置し、車両Vの移動により、合成境界B上に位置することになると予測される障害物Qがある間は、仮想視点を変更した俯瞰映像100Aを生成する。これにより、本実施形態は、仮想視点を頻繁に変更することを抑制することができる。このように、本実施形態は、車両周辺の障害物Qを適切に確認可能にすることができる。
 さて、これまで本発明に係る俯瞰映像生成システム1について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
 図示した俯瞰映像生成システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
 俯瞰映像生成システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
 上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
 所定条件は、障害物Qが車両Vの進行方向に位置すること、として説明したが、これに限定されない。所定条件は、例えば、車両Vに干渉するおそれがあること、としてもよい。車両Vに干渉するおそれがあるとは、例えば、車両Vの進行方向に位置し、かつ、車両Vと接触するおそれのある地面からの高さを有することである。
 または、所定条件は、例えば、車両Vの進行方向に位置し、かつ、合成境界Bを中心に所定の幅で帯状に広がる範囲より小さな面積であること、としてもよい。合成境界Bを中心に所定の幅で帯状に広がる範囲より大きな面積を有する障害物は、仮想視点を変更しなかったとしても、画像処理される範囲から少なくとも一部がはみ出すので、被撮影物の全体が非表示となることがないためである。
 または、所定条件は、例えば、車両Vの進行方向に位置し、かつ、車両Vとの距離が最も小さい、としてもよい。これにより、複数検出された障害物Qの中から、例えば最も近接しているなど、より優先的に確認する必要がある障害物Qを確認しやすい俯瞰映像を表示することができる。
 制御部41は、ステップS11において、例えば、操作部に対する、俯瞰映像表示開始の操作の検出の有無で、俯瞰映像表示を開始するか否かを判定してもよい。
 仮想視点の位置を変更した俯瞰映像は、障害物Qを検出した方向の表示面積が広くなるように、自車両アイコンの中央を俯瞰映像の中心からずらした俯瞰映像を生成してもよい。
 第二実施形態において、仮想視点PBとした俯瞰映像100Bを生成表示した後、車両Vがさらに後方に進んでも、障害物Qは合成境界上に位置しないので、仮想視点Pとした俯瞰映像100に戻さずに、仮想視点PBとした俯瞰映像100Bとしたままとしてもよい。
 1   俯瞰映像生成システム
 11  前方カメラ
 12  後方カメラ
 13  左側方カメラ
 14  右側方カメラ
 20  センサ群(検出部)
 30  表示パネル(表示部)
 40  俯瞰映像生成装置
 41  制御部
 42  映像データ取得部
 43  障害物情報取得部
 44  車両情報取得部
 45  俯瞰映像生成部
 451 視点変換処理部
 452 切出処理部
 453 合成処理部
 48  表示制御部
 49  記憶部
 100 俯瞰映像
 200 自車両アイコン
 P   仮想視点

Claims (9)

  1.  車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得部と、
     前記映像データ取得部が取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成部と、
     前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得部と、
     前記俯瞰映像を表示部に表示させる表示制御部と、
     を備え、
     前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する、俯瞰映像生成装置。
  2.  前記俯瞰映像生成部は、仮想視点の位置を変更することで、前記複数のカメラの映像において仮想視点の位置を変更する前より表示範囲が広くなる映像に前記障害物が含まれて表示されるように、前記俯瞰映像の仮想視点の位置を変更する、
     請求項1に記載の俯瞰映像生成装置。
  3.  前記車両の進行方向を取得する車両情報取得部をさらに備え、
     前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が前記車両の進行方向にある合成境界に重なる場合は、前記俯瞰映像の仮想視点の位置を前記車両の進行方向に対応した位置に変更した俯瞰映像を生成する、
     請求項1または2に記載の俯瞰映像生成装置。
  4.  前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が前記車両の進行方向にある合成境界に重なるとき、前記俯瞰映像の仮想視点の位置を前記車両の進行方向側の位置に変更した俯瞰映像を生成する、
     請求項3に記載の俯瞰映像生成装置。
  5.  前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が前記車両の進行方向にある合成境界に重なるとき、前記俯瞰映像の仮想視点の位置を前記車両の進行方向とは反対側の位置に変更した俯瞰映像を生成する、
     請求項3に記載の俯瞰映像生成装置。
  6.  前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が前記車両の進行方向にある合成境界に重なるとき、前記俯瞰映像の仮想視点の位置を前記車両の進行方向と交差する方向に位置を変更した俯瞰映像を生成する、
     請求項3に記載の俯瞰映像生成装置。
  7.  請求項1から6のいずれか一項に記載の俯瞰映像生成装置と、
     前記カメラと、前記検出部と、前記表示部との少なくともいずれかと、を備える、
     俯瞰映像生成システム。
  8.  車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得ステップと、
     前記映像データ取得ステップで取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成ステップと、
     前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得ステップと、
     前記俯瞰映像を表示部に表示させる表示制御ステップと、
     を含み、
     前記俯瞰映像生成ステップは、前記障害物情報取得ステップで特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する、
     俯瞰映像生成方法。
  9.  車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得ステップと、
     前記映像データ取得ステップで取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成ステップと、
     前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得ステップと、
     前記俯瞰映像を表示部に表示させる表示制御ステップと、
     を含み、
     前記俯瞰映像生成ステップは、前記障害物情報取得ステップで特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する、
     ことを俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。
PCT/JP2017/039368 2017-02-28 2017-10-31 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム WO2018159016A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17898618.8A EP3547677B1 (en) 2017-02-28 2017-10-31 Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program
US16/424,704 US10715734B2 (en) 2017-02-28 2019-05-29 Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium
US16/889,977 US11032479B2 (en) 2017-02-28 2020-06-02 Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-036658 2017-02-28
JP2017036658A JP6730613B2 (ja) 2017-02-28 2017-02-28 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/424,704 Continuation US10715734B2 (en) 2017-02-28 2019-05-29 Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2018159016A1 true WO2018159016A1 (ja) 2018-09-07

Family

ID=63370661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039368 WO2018159016A1 (ja) 2017-02-28 2017-10-31 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Country Status (4)

Country Link
US (2) US10715734B2 (ja)
EP (1) EP3547677B1 (ja)
JP (1) JP6730613B2 (ja)
WO (1) WO2018159016A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368641A (zh) * 2020-02-11 2020-07-03 北京百度网讯科技有限公司 障碍物筛选方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6998360B2 (ja) * 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム
CN113411488A (zh) * 2020-03-17 2021-09-17 长沙智能驾驶研究院有限公司 全景图像生成方法、装置、存储介质及计算机设备
EP4320013A1 (en) * 2021-04-07 2024-02-14 Stoneridge, Inc. Vehicle display including an offset camera view
JP2023063070A (ja) * 2021-10-22 2023-05-09 トヨタ自動車株式会社 車両用走行支援装置
CN117074049B (zh) * 2023-10-19 2024-01-02 中汽传媒(天津)有限公司 一种基于虚实结合的智能驾驶车路云测试系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
WO2011036892A1 (ja) 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2013026801A (ja) * 2011-07-20 2013-02-04 Aisin Seiki Co Ltd 車両周辺監視システム
WO2015194501A1 (ja) * 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4883977B2 (ja) * 2005-10-05 2012-02-22 アルパイン株式会社 車両用画像表示装置
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5195776B2 (ja) * 2010-01-25 2013-05-15 株式会社デンソー 車両周辺監視装置
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
US9728228B2 (en) * 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
WO2011036892A1 (ja) 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2013026801A (ja) * 2011-07-20 2013-02-04 Aisin Seiki Co Ltd 車両周辺監視システム
WO2015194501A1 (ja) * 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3547677A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368641A (zh) * 2020-02-11 2020-07-03 北京百度网讯科技有限公司 障碍物筛选方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20190281229A1 (en) 2019-09-12
JP6730613B2 (ja) 2020-07-29
EP3547677A4 (en) 2019-10-23
US20200296298A1 (en) 2020-09-17
US10715734B2 (en) 2020-07-14
EP3547677B1 (en) 2020-07-29
JP2018142884A (ja) 2018-09-13
US11032479B2 (en) 2021-06-08
EP3547677A1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
CN107097721B (zh) 驾驶辅助装置
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP6730614B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
US10855934B2 (en) Generating bird's-eye view images
JP5875232B2 (ja) 物体検出装置、および、物体検出方法
JP2005311868A (ja) 車両周辺視認装置
US10609337B2 (en) Image processing apparatus
WO2017110144A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2020068515A (ja) 画像処理装置
JP2005186648A (ja) 車両用周囲視認装置および表示制御装置
CN107004250B (zh) 图像生成装置及图像生成方法
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
US10475154B2 (en) Machine surround view system and method for generating 3-dimensional composite surround view using same
JP6724821B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6760129B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP5943207B2 (ja) 車両の駐車操作支援用映像表示装置
JP2009214790A (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP5722643B2 (ja) 物体検出装置、および、物体検出方法
JP2005324593A (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP2020182217A (ja) 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP2017114237A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018050180A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2009153156A (ja) 画像処理装置並びに視界支援装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898618

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017898618

Country of ref document: EP

Effective date: 20190627

NENP Non-entry into the national phase

Ref country code: DE