Nothing Special   »   [go: up one dir, main page]

CN111034188A - 周边监控装置 - Google Patents

周边监控装置 Download PDF

Info

Publication number
CN111034188A
CN111034188A CN201880051666.6A CN201880051666A CN111034188A CN 111034188 A CN111034188 A CN 111034188A CN 201880051666 A CN201880051666 A CN 201880051666A CN 111034188 A CN111034188 A CN 111034188A
Authority
CN
China
Prior art keywords
vehicle
image
virtual viewpoint
display
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880051666.6A
Other languages
English (en)
Other versions
CN111034188B (zh
Inventor
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN111034188A publication Critical patent/CN111034188A/zh
Application granted granted Critical
Publication of CN111034188B publication Critical patent/CN111034188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

实施方式的周边监控装置，作为一个示例，包括生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，虚拟空间包括将由搭载于车辆的拍摄部拍摄该车辆周围而获得的拍摄图像粘贴在车辆周围的三维面上而成的模型、以及三维车辆图像；以及输出部，其向显示部输出显示用图像，在经由操作输入部给出了移动虚拟视点的指示时，生成部使虚拟视点的高度与包含在车辆图像的车宽方向上的方向分量的移动连动地发生变化。

Description

周边监控装置
技术领域
本发明的实施方式涉及一种周边监控装置。
背景技术
目前，提案有这样的周边监控装置：在基于由拍摄部拍摄车辆周围而获得的拍摄图像，来显示从虚拟视点观察的车辆周围的虚拟视点图像时，使虚拟视点的视觉方向连续发生变化。
专利文献1:日本特开2016-213841号公报
发明内容
然而，在使虚拟视点的视觉方向连续发生变化的技术中，由于是显示从固定在车辆内的虚拟视点观察的车辆周围的虚拟视点图像，因此很难掌握车辆与障碍物之间的客观的位置关系，在通过狭窄道路等时，利用虚拟视点图像，则很难知道车辆是否与障碍物接触。
实施方式的周边监控装置，作为一个示例，包括：生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，虚拟空间包括将由搭载于车辆的拍摄部拍摄该车辆周围而获得的拍摄图像粘贴在车辆周围的三维面上而成的模型、以及三维车辆图像；以及输出部，其向显示部输出显示用图像。此外，在经由操作输入部给出了移动虚拟视点的指示时，生成部使虚拟视点的高度与包含在车辆图像的车宽方向上的方向分量的移动连动地发生变化。因此，本实施方式的周边监控装置，作为一个示例，能够容易显示从车辆乘坐人员所想要的视点位置观察的显示用图像。
此外，实施方式的周边监控装置，作为一个示例，包括：生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，虚拟空间包括将由搭载于车辆的拍摄部拍摄该车辆周围而获得的拍摄图像粘贴在车辆周围的三维面上而成的模型、以及三维车辆图像；以及输出部，其向显示部输出显示用图像，在经由操作输入部给出了朝任意方向移动虚拟视点的指示时。此外，生成部使虚拟视点移动至在水平方向上与任意方向的水平方向分量对应的水平方向位置，且在高度方向上与在水平方向上的水平方向位置对应的高度。因此，本实施方式的周边监控装置，作为一个示例，能够容易显示从车辆乘坐人员所想要的视点位置观察的显示用图像。
此外，实施方式的周边监控装置，作为一个示例，包括：生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，虚拟空间包括将由搭载于车辆的拍摄部拍摄该车辆周围而获得的拍摄图像粘贴在车辆周围的三维面上而成的模型、以及三维车辆图像；以及输出部，其向显示部输出显示用图像。此外，在经由操作输入部给出了在水平方向上朝在预设轨迹上的任意位置移动虚拟视点的指示时，生成部使虚拟视点的高度与朝任意位置的移动连动地发生变化。因此，本实施方式的周边监控装置，作为一个示例，能够容易显示从车辆乘坐人员所想要的视点位置观察的显示用图像。
此外，在实施方式的周边监控装置中，生成部随着虚拟视点从车辆图像的车宽方向上的车辆图像的中央远离，使虚拟视点的高度降低。因此，本实施方式的周边监控装置，作为一个示例，能够容易显示从车辆乘坐人员所想要的视点位置观察的显示用图像。
此外，在实施方式的周边监控装置中，生成部随着虚拟视点从车辆图像的车宽方向上的车辆图像的中央远离，使虚拟视点的在车辆图像的前后方向上的位置朝车辆图像的行进方向移动。因此，本实施方式的周边监控装置，作为一个示例，能够容易显示更接近车辆乘坐人员想要观察的方向的方向的显示用图像。
此外，在实施方式的周边监控装置中，在虚拟视点的高度为第1高度时，生成部将车辆图像的透过率设为第1透过率，在虚拟视点的高度为比第1高度低的第2高度时，生成部将车辆图像的透过率设为比第1透过率低的第2透过率。因此，本实施方式的周边监控装置，作为一个示例，通过简单操作，能够容易显示易于确认作为车辆乘坐人员移动了虚拟视点的目的的信息的显示用图像。
此外，在实施方式的周边监控装置中，生成部随着虚拟视点从车辆图像的车宽方向上的车辆图像的中央远离，使显示用图像的视野角度缩小。因此，本实施方式的周边监控装置，作为一个示例，能够容易显示车辆乘坐人员想要观察的视野角度的显示用图像。
此外，在实施方式的周边监控装置中，生成部使虚拟视点的在车辆图像的车宽方向上的位置与注视点的在车辆图像的车宽方向上的位置一致。因此，本实施方式的周边监控装置，作为一个示例，在想要避免与车辆侧方的障碍物接触时，通过少的操作，能够容易显示车辆乘坐人员想要观察的显示用图像。
附图说明
图1为表示搭载实施方式1涉及的周边监控装置的车辆的一个示例的立体图，其中以透视状态表示车室的一部分。
图2为表示实施方式1涉及的车辆的一个示例的俯视图。
图3为表示实施方式1涉及的车辆的功能结构的一个示例的框图。
图4为表示实施方式1涉及的车辆具有的ECU的功能结构的一个示例的框图。
图5为表示实施方式1涉及的由车辆进行的显示用图像的显示处理的流程的一个示例的流程图。
图6为说明实施方式1涉及的用于由车辆进行的显示用图像的生成的摄像头成像模型的一个示例的图。
图7为说明实施方式1涉及的用于由车辆进行的显示用图像的生成的摄像头成像模型的一个示例的图。
图8为说明实施方式1涉及的用于由车辆进行的显示用图像的生成的摄像头成像模型及车辆图像的一个示例的图。
图9为说明实施方式1涉及的车辆的虚拟视点的移动处理的一个示例的图。
图10为说明实施方式1涉及的车辆的虚拟视点的移动处理的一个示例的图。
图11为表示实施方式1涉及的车辆所生成的显示用图像的一个示例的图。
图12为表示实施方式1涉及的车辆所生成的显示用图像的一个示例的图。
图13为表示实施方式1涉及的车辆所生成的显示用图像的一个示例的图。
图14为表示实施方式1涉及的车辆所生成的显示用图像的一个示例的图。
图15为说明实施方式2涉及的车辆的注视点的移动处理的一个示例的图。
图16为表示实施方式2涉及的车辆所生成的显示用图像的一个示例的图。
图17为表示实施方式2涉及的车辆所生成的显示用图像的一个示例的图。
图18为表示实施方式2涉及的车辆所生成的显示用图像的一个示例的图。
具体实施方式
以下对本发明的示例性的实施方式进行公开。以下示出的实施方式的结构、以及由该结构带来的作用、结果和效果仅是一个示例。本发明也可以通过以下实施方式中公开的结构以外的结构实现，并能够获得基于基本结构的各种效果及衍生的效果中的至少一种。
在本实施方式中，搭载周边监控装置(周边监控系统)的车辆，可以是以内燃机(发动机)作为驱动源的汽车(内燃机车)，也可以是以电动机(马达)作为驱动源的汽车(电动汽车、燃料电池汽车等)，也可以是以上述双方作为驱动源的汽车(混合动力车)。此外，车辆可以搭载各种变速装置和用于驱动内燃机或电动机所需要的各种装置(系统、部件等)。此外，车辆中有关车轮驱动的装置的方式、数目、排布等可以有多种设定。
实施方式1
图1为表示搭载实施方式1涉及的周边监控装置的车辆的一个示例的立体图，其中以透视状态表示车室的一部分。如图1所示，车辆1包括：车身2、转向部4、加速操作部5、制动操作部6、变速操作部7、以及监控装置11。车身2具有供乘坐人员乘坐的车室2a。在车室2a内，以朝向作为乘坐人员的驾驶员的座椅2b的状态，设置有转向部4、加速操作部5、制动操作部6、以及变速操作部7等。转向部4例如是从仪表板24突出的方向盘。加速操作部5例如是位于驾驶员脚下的加速踏板。制动操作部6例如是位于驾驶员脚下的制动踏板。变速操作部7例如是从中央控制台突出的变速杆。
监控装置11例如可以设置在位于仪表板24的车宽方向(即左右方向)上的中央部。监控装置11例如可以具有导航系统或音响系统等功能。监控装置11具有显示装置8、语音输出装置9、以及操作输入部10。此外，监控装置11可以具有开关、旋钮、控制杆、以及按钮等各种操作输入部。
显示装置8由LCD(Liquid Crystal Display，液晶显示器)或OELD(OrganicElectroluminescent Display，有机电致发光显示器)等构成，基于图像数据能够显示各种图像。语音输出装置9由扬声器等构成，基于语音数据输出各种语音。在车室2a内，语音输出装置9也可以设置于除监控装置11以外的其它位置。
操作输入部10由触控面板等构成，能够由乘坐人员输入各种信息。此外，操作输入部10设置于显示装置8的显示画面上，以能够使显示在显示装置8的图像透过。因此，操作输入部10能够使乘坐人员目视确认显示在显示装置8的显示画面的图像。操作输入部10通过检测乘坐人员在显示装置8的显示画面上的触摸操作，来接收由乘坐人员输入的各种信息。
图2为表示实施方式1涉及的车辆的一个示例的俯视图。如图1及图2所示，车辆1是四轮汽车等，具有左右两个前轮3F及左右两个后轮3R。四个车轮3全部或一部分能够转向。
车辆1搭载多个拍摄部15。在本实施方式中，车辆1例如搭载四个拍摄部15a～15d。拍摄部15是具有CCD(Charge Coupled Device，电荷耦合器件)或CIS(CMOS Image Sensor，互补金属氧化物半导体图像传感器)等拍摄元件的数码摄像头。拍摄部15可以以规定的帧率拍摄车辆1周围。而且，拍摄部15输出拍摄车辆1周围而获得的拍摄图像。拍摄部15分别具有广角镜头或鱼眼镜头，在水平方向上，能够拍摄例如140°～220°的范围。此外，拍摄部15的光轴可以设定为朝向斜下方。
具体而言，拍摄部15a例如位于车身2后侧的端部2e，设置于后备箱的门2h上的后窗的下方的壁部。而且，拍摄部15a能够拍摄车辆1周围中的该车辆1的后方区域。拍摄部15b例如位于车身2右侧的端部2f，设置于右侧的车门后视镜2g。而且，拍摄部15b能够拍摄车辆1周围中的该车辆1的侧方区域。拍摄部15c例如位于车身2的前侧即车辆1前后方向上的前方侧的端部2c，设置于前保险杠或前格栅等。而且，拍摄部15c能够拍摄车辆1周围中的该车辆1的前方区域。拍摄部15d例如位于车身2的左侧即车宽方向上的左侧的端部2d，设置于左侧的车门后视镜2g。而且，拍摄部15d能够拍摄车辆1周围中的该车辆1的侧方区域。
图3为表示实施方式1涉及的车辆的功能结构的一个示例的框图。如图3所示，车辆1具有转向系统13、制动系统18、转向角传感器19、加速传感器20、档位传感器21、轮速传感器22、车内网络23、以及ECU(Electronic Control Unit，电子控制单元)14。监控装置11、转向系统13、制动系统18、转向角传感器19、加速传感器20、档位传感器21、轮速传感器22、以及ECU14通过作为电信线路的车内网络23电连接。车内网络23由CAN(Controller AreaNetwork，控制器区域网络)等构成。
转向系统13是电动助力转向系统或SBW(Steer By Wire，线控转向)系统等。转向系统13具有致动器13a及扭矩传感器13b。并且，转向系统13由ECU14等电控制，使致动器13a工作，并使其对转向部4施加扭矩来补充转向力，以使车轮3进行转向。扭矩传感器13b检测驾驶人员施加给转向部4的扭矩，并将该检测结果发送给ECU14。
制动系统18包括控制车辆1的制动器抱死的ABS(Anti-lock Brake System，防抱死制动系统)、抑制转弯时车辆1的侧滑的防止侧滑装置(ESC：Electronic StabilityControl，电子稳定控制)、增强制动力来进行制动辅助的电动制动系统、BBW(Brake ByWire，线控制动)等。制动系统18具有致动器18a以及制动传感器18b。制动系统18由ECU14等进行电控制，以使其通过致动器18a，对车轮3施加制动力。制动系统18根据左右的车轮3的旋转差等检测出制动器抱死、车轮3的空转、以及侧滑的征兆等，并进行用于抑制制动器抱死、车轮3的空转、以及侧滑的控制。制动传感器18b是检测作为制动操作部6的可动部的制动踏板的位置的位移传感器，其将制动踏板位置的检测结果发送给ECU14。
转向角传感器19是检测方向盘等转向部4的转向量的传感器。在本实施方式中，转向角传感器19由霍尔元件等构成，其检测转向部4的旋转部分的旋转角度作为转向量，并将该检测结果发送给ECU14。加速传感器20是检测作为加速操作部5的可动部的加速踏板的位置的传感器，其将该检测结果发送给ECU14。
档位传感器21是检测变速操作部7的可动部(杆、臂、按钮等)的位置的传感器，其将该检测结果发送给ECU14。轮速传感器22具有霍尔元件等，是检测车轮3的旋转量及单位时间的车轮3的转数的位移传感器，其将该检测结果发送给ECU14。
ECU14基于由拍摄部15拍摄车辆1周围而获得的拍摄图像，生成从虚拟视点观察车辆1周围的注视点的图像，并将该生成的图像显示在显示装置8上。ECU14由计算机等构成，通过硬件与软件的协作，来管理车辆1的所有控制。具体而言，ECU14具有：CPU(CentralProcessing Unit，中央处理单元)14a、ROM(Read Only Memory，只读存储器)14b、RAM(Random Access Memory，随机存取存储器)14c、显示控制部14d、音频控制部14e、以及SSD(Solid State Drive)14f。CPU14a、ROM14b和RAM14c可以设置于同一电路基板内。
CPU14a读取在ROM14b等非易失性存储装置中存储的程序，并按照该程序进行各种运算处理。例如，CPU14a进行对显示在显示装置8上的图像数据的图像处理、与在车辆1周围存在的障碍物之间的距离的运算等。
ROM14b存储各种程序以及执行该程序所需的参数等。RAM14c临时存储CPU14a上的运算所使用的各种数据。显示控制部14d在ECU14上的运算处理中，主要执行对从拍摄部15获取并输出给CPU14a的图像数据的图像处理、将从CPU14a所获取的图像数据转换成显示在显示装置8的显示用图像等。音频控制部14e在ECU14上的运算处理中，主要执行从CPU14a获取并输出给语音输出装置9的音频的处理。SSD14f是能够擦写的非易失性存储装置，即使在ECU14的电源断开的情况下也继续存储从CPU14a获取的数据。
图4为表示实施方式1涉及的车辆具有的ECU的功能结构的一个示例的框图。如图4所示，ECU14具有显示用图像生成部401以及显示用图像输出部402。例如，搭载于电路基板的CPU14a等的处理器通过执行存储于ROM14b或SSD14f等存储介质内的周边监控用程序，ECU14实现显示用图像生成部401以及显示用图像输出部402的功能。显示用图像生成部401以及显示用图像输出部402的一部分或全部可以由电路等硬件构成。
显示用图像生成部401从拍摄部15获取由拍摄部15拍摄车辆1周围而获得的拍摄图像。在本实施方式中，显示用图像生成部401获取由拍摄部15在某一时刻(以下，称为先前时刻)的车辆1的位置(以下，称为先前位置)拍摄车辆1周围而获得的拍摄图像。接着，显示用图像生成部401基于所获取的拍摄图像，生成能够目视确认车辆1与在该车辆1周围存在的障碍物之间的位置关系的显示用图像。
具体而言，作为显示用图像，显示用图像生成部401基于所获取的拍摄图像，生成从虚拟视点观察在车辆1周围的空间设置三维车辆图像的虚拟空间内的注视点的图像，该虚拟视点为经由操作输入部10所输入的视点。这里，虚拟空间是指，车辆1周围的空间，且为对该空间内的在先前时刻以后的时刻(例如，当前时刻)的车辆1的位置(例如，当前位置)设置了车辆图像的空间。此外，车辆图像为能够透视虚拟空间的车辆1的三维图像。
在本实施方式中，作为车辆1周围的空间，显示用图像生成部401通过将所获取的拍摄图像粘贴在车辆1周围的三维面(以下，称为摄像头成像模型)，来生成包括该摄像头成像模型的空间。接着，作为虚拟空间，显示用图像生成部401生成对所生成的空间内的车辆1的当前位置配置了车辆图像的空间。之后，作为显示用图像，显示用图像生成部401生成从经由操作输入部10所输入的虚拟视点观察所生成的虚拟空间内的注视点的图像。
这时，在经由操作输入部10给出了在车辆图像的车宽方向上移动虚拟视点的指示时，显示用图像生成部401使虚拟视点的高度与虚拟视点的在车辆图像的车宽方向上的移动连动地发生变化。换言之，显示用图像生成部401使虚拟视点的在车辆图像的上下方向上的位置与虚拟视点的在车辆图像的车宽方向上的移动连动地发生变化。具体而言，显示用图像生成部401随着虚拟视点从车辆图像的车宽方向上的中央远离，使该虚拟视点的高度降低。显示用图像输出部402将由显示用图像生成部401生成的显示用图像输出给显示装置8。
由此，仅使虚拟视点在车辆图像的车宽方向上移动，就能够使虚拟视点的高度也发生变化，以显示从车辆1乘坐人员所想要的视点位置观察的显示用图像，由此能够容易显示从车辆1乘坐人员所想要的视点位置观察的显示用图像。在本实施方式中，在给出了移动虚拟视点的指示时，显示用图像生成部401使虚拟视点的高度与虚拟视点的在车辆图像的车宽方向上的移动连动地发生变化，但只要是在给出了移动虚拟视点的指示时，使虚拟视点的高度与包含车辆图像的车宽方向的方向分量的移动连动地发生变化即可，不限于上述方式。例如，显示用图像生成部401可以使虚拟视点的高度与包含车辆图像的车宽方向的方向分量及车辆图像的前后方向的方向分量的移动连动地发生变化。
在本实施方式中，显示用图像生成部401随着虚拟视点在车辆图像的车宽方向上从该车辆图像的中央远离，使虚拟视点的高度降低，但只要是使虚拟视点的高度与虚拟视点的在车辆图像的车宽方向上的移动连动地发生变化即可。例如，显示用图像生成部401可以随着虚拟视点在车辆图像的车宽方向上从该车辆图像的中央远离，使虚拟视点的高度提高，也可以根据虚拟视点的在车辆图像的车宽方向上的位置变化，使虚拟视点的高度周期性地发生变化。此外，在本实施方式中，显示用图像生成部401使虚拟视点在车辆图像的外部移动。由此，显示用图像生成部401能够禁止虚拟视点移动至车辆图像的内部。
此外，在本实施方式中，在经由操作输入部10给出了除了在车辆图像的车宽方向上移动虚拟视点的指示外还给出了在高度度方向(车辆图像的上下方向)上移动虚拟视点的指示时，显示用图像生成部401也能够与虚拟视点的在车辆图像的车宽方向上的移动连动地，使虚拟视点在虚拟视点的高度方向上移动至经由操作输入部10被指示了的高度。进一步而言，在本实施方式中，在给出了在车辆图像的车宽方向上移动虚拟视点的指示时，显示用图像生成部401使虚拟视点的高度与虚拟视点的在车辆图像的车宽方向上的移动连动地发生变化，但是在给出了在车辆图像的前后方向上移动虚拟视点的指示时，也能够使虚拟视点的高度与虚拟视点的在车辆图像的前后方向上的移动连动地发生变化。
接着，参照图5，对本实施方式涉及的由车辆1进行的显示用图像的显示处理的流程的一个示例进行说明。图5为表示实施方式1涉及的由车辆进行的显示用图像的显示处理的流程的一个示例的流程图。
在本实施方式中，显示用图像生成部401获取用于指示显示用图像的显示的显示指示(步骤S501)。在获取了显示指示时(步骤S502中的“是”)，显示用图像生成部401获取由拍摄部15在先前位置拍摄车辆1的周围而获得的拍摄图像(步骤S503)。例如，显示用图像生成部401获取由拍摄部15在比当前时刻早预设时间(例如，几秒)的先前时刻的车辆1的先前位置(或者，比车辆1的当前位置后退预设距离(例如，2m)的先前位置)处，拍摄车辆1的周围而获得的拍摄图像。
接着，显示用图像生成部401基于所获取的拍摄图像，生成从经由操作输入部10所输入虚拟视点观察虚拟空间内的注视点的显示用图像(步骤S504)。在本实施方式中，显示用图像生成部401基于由拍摄部15在先前位置拍摄车辆1的周围而获得的拍摄图像生成显示用图像，但只要是基于由拍摄部15拍摄车辆1周围而获得的拍摄图像生成显示用图像即可。例如，显示用图像生成部401可以基于由拍摄部15在当前位置拍摄车辆1周围而获得的拍摄图像生成显示用图像。
显示用图像输出部402将由显示用图像生成部401所生成的显示用图像输出给显示装置8，以使显示装置8显示显示用图像(步骤S505)。之后，显示用图像生成部401获取用于指示显示用图像的显示结束的结束指示(步骤S506)。在获取了结束指示时(步骤S507中的“是”)，显示用图像输出部402停止对显示装置8的显示用图像的输出，并且使显示装置8结束显示用图像的显示(步骤S508)。
另一方面，在未获取结束指示时(步骤S507中的“否”)，显示用图像生成部401判断是否经由操作输入部10给出了在车辆图像的车宽方向上移动虚拟视点的指示(步骤S509)。在未给出在车辆图像的车宽方向上移动虚拟视点的指示，而经过了预设时间时(步骤S509中的“否”)，显示用图像输出部402停止对显示装置8的显示用图像的输出，并且使显示装置8结束显示用图像的显示(步骤S508)。
在给出了在车辆图像的车宽方向上移动虚拟视点的指示时(步骤S509中的“是”)，显示用图像生成部401使该虚拟视点的高度与虚拟视点的在车辆图像的车宽方向上的移动连动地发生变化(步骤S510)。之后，显示用图像生成部401返回步骤S504，并重新生成从移动后的虚拟视点观察虚拟空间内的注视点的显示用图像。
接着，参照图6～8，对本实施方式涉及的由车辆1进行的显示用图像的生成处理的一个示例进行说明。图6、图7为说明实施方式1涉及的用于由车辆进行的显示用图像的生成的摄像头成像模型的一个示例的图。在图6及图7中，将与车辆1的轮胎的接地面(路面)平行的1个方向设为Z方向，将与车辆1的轮胎的接地面平行且与Z方向正交的方向设为X方向，将相对于接地面垂直的方向设为Y方向。图8为说明实施方式1涉及的用于由车辆进行的显示用图像的生成的摄像头成像模型及车辆图像的一个示例的图。
在本实施方式中，如图6及图7所示，显示用图像生成部401预先生成包含第1面S1及第2面S2的摄像头成像模型S。在本实施方式中，第1面S1为对应于车辆1所在的路面的平坦面。例如，第1面S1为椭圆形的平坦面。第2面S2为以第1面S1为基准，随着从第1面S1的外侧(外缘)远离而从该第1面S1朝Y方向逐渐竖起的曲面。例如，第2面S2为从第1面S1的外侧朝Y方向呈椭圆状或放射线状地竖起的曲面。即，作为摄像头成像模型S，显示用图像生成部401生成碗状或圆筒状的三维面。
在本实施方式中，作为摄像头成像模型S，显示用图像生成部401生成作为具有平坦的第1面S1及曲面的第2面S2的三维面的粘贴面，但只要是作为摄像头成像模型S生成三维粘贴面，不限于此。例如，作为摄像头成像模型S，显示用图像生成部401可以生成具有平坦的第1面S1及从该第1面S1的外侧相对于该第1面S1垂直地竖起或逐渐竖起的面即第2面S2的三维粘贴面。
接着，显示用图像生成部401将由拍摄部15在先前位置P1拍摄车辆1周围而获得的拍摄图像粘贴于摄像头成像模型S。在本实施方式中，显示用图像生成部401预先建立将以下两种坐标进行对应关联的坐标表：用以先前位置P1为原点的全局坐标系表示的摄像头成像模型S内的点(以下，称为粘贴点)的坐标(以下，称为三维坐标)、和在该三维坐标的粘贴点粘贴的、拍摄图像内的点(以下，称为摄像头成像点)的坐标(以下，称为摄像头成像坐标)。而且，显示用图像生成部401将拍摄图像内的摄像头成像点粘贴到在坐标表中与该摄像头成像点的摄像头成像坐标对应的三维坐标的粘贴点上。在本实施方式中，显示用图像生成部401在每次车辆1的内燃机或马达启动时建立该坐标表。
之后，显示用图像生成部401将粘贴有拍摄图像的摄像头成像模型S配置在车辆1的周围空间内。进一步地，如图8所示，显示用图像生成部401生成相对于在配置了摄像头成像模型S的空间内的车辆1的当前位置P2配置车辆图像CG的空间作为虚拟空间A。生成虚拟空间A后，如图6所示，显示用图像生成部401将从在该虚拟空间A内的车辆图像CG的前端相对于第1面S1垂直下降了的点设定为注视点P3。接着，如图8所示，显示用图像生成部401生成从操作输入部10输入的虚拟视点P4观察注视点P3的显示用图像。由此，能够同时目视确认包含在显示用图像内的障碍物图像及立体的车辆图像CG，由此能够容易掌握车辆1与障碍物之间的位置关系。
此外，在将包含粘贴有由广角摄像头(例如，视角为180°的摄像头)在先前位置P1拍摄车辆1周围(例如，车辆1的前方)而获得的拍摄图像的摄像头成像模型S的虚拟空间A的图像直接显示在显示装置8时，包含于拍摄图像的车辆1的图像(例如，车辆1的前保险杠的图像)会映入显示用图像内，而车辆1的乘坐人员有可能感到不适。相对于此，在本实施方式中，显示用图像生成部401从车辆1的先前位置P1朝车辆1的外侧隔开间隙而设置摄像头成像模型S，从而能够防止包含于拍摄图像的车辆1的图像映入显示用图像内，由此能够防止车辆1的乘坐人员感到不适。
接着，参照图9及图10，对本实施方式涉及的车辆1的虚拟视点的移动处理的一个示例进行说明。图9及图10为说明实施方式1涉及的车辆的虚拟视点的移动处理的一个示例的图。
在本实施方式中，在经由操作输入部10给出了在车辆图像CG的车宽方向上移动虚拟视点P4的指示时，显示用图像生成部401使虚拟视点P4的高度与虚拟视点P4的在车辆图像CG的车宽方向上的移动连动地发生变化。例如，在给出了在车辆图像CG的车宽方向上从该车辆图像CG的中央C朝左侧移动虚拟视点P4的指示时，如图9及图10所示，显示用图像生成部401使虚拟视点P4朝位置X1移动，该位置X1在车辆图像CG的车宽方向上位于中央C的左侧且其高度比在虚拟视点P4位于中央C时的该虚拟视点P4的高度(车辆图像CG的上方)低。
之后，再次给出了在车辆图像CG的车宽方向上从中央C朝左侧移动虚拟视点P4的指示时，如图9及图10所示，显示用图像生成部401使虚拟视点P4朝位置X2移动，该位置X2在车辆图像CG的车宽方向上相对于中央C位于更靠左侧且其高度比位置X1的高度低。由此，仅在车辆图像CG的车宽方向上移动虚拟视点P4，就能够使虚拟视点P4的高度也发生变化，以显示从车辆1乘坐人员所想要的视点位置观察的显示用图像，由此能够容易显示从车辆1乘坐人员所想要的视点位置观察的显示用图像。
此外，在本实施方式中，在经由操作输入部10给出了在车辆图像CG的车宽方向上移动虚拟视点P4的指示时，显示用图像生成部401与虚拟视点P4的在车辆图像CG的车宽方向上的移动连动地使虚拟视点P4在车辆图像CG的前后方向上移动。在本实施方式中，显示用图像生成部401随着虚拟视点P4在车辆图像CG的车宽方向上从中央C远离，使虚拟视点P4在车辆图像CG的前后方向上朝该车辆图像CG的行进方向移动。例如，如图9所示，显示用图像生成部401使虚拟视点P4以从车辆图像CG的上方观察时呈放射线状的方式移动。由此，也能够使虚拟视点P4的在车辆图像CG的前后方向上的位置发生变化，以显示车辆1乘坐人员想要观察的方向的显示用图像，由此能够容易显示更接近车辆1乘坐人员想要观察的方向的方向的显示用图像。
此外，在本实施方式中，显示用图像生成部401可以根据车辆1的行驶状态，判断是否使虚拟视点P4与虚拟视点P4的在车辆图像CG的车宽方向的移动连动地在车辆图像CG的前后方向上移动。具体而言，在由档位传感器21检测出变速操作部7切换到低速用齿轮等即检测出车辆1的越野行驶时，显示用图像生成部401使虚拟视点P4与虚拟视点P4的在车辆图像CG的车宽方向上的移动连动地在车辆图像CG的前后方向上朝该车辆图像CG的行进方向移动。
另一方面，在由档位传感器21检测出变速操作部7切换到高速用齿轮等即检测出车辆1行驶在公路时，显示用图像生成部401不使虚拟视点P4与虚拟视点P4的在车辆图像CG的车宽方向上的移动连动地在车辆图像CG的前后方向上移动，或者使虚拟视点P4在车辆图像CG的前后方向上朝该车辆图像CG的行进方向的移动量比车辆1进行越野行驶时少。
此外，在本实施方式中，显示用图像生成部401可以使注视点P3在车辆图像CG的车宽方向上朝与虚拟视点P4所移动的方向相同的方向移动。由此，能够使注视点P3与虚拟视点P4的移动连动地接近于车辆1乘坐人员想要确认的位置，进而作为显示用图像能够生成车辆1乘坐人员想要确认的图像。
例如，在给出了在车辆图像CG的车宽方向上从中央C朝左侧移动虚拟视点P4的指示时，显示用图像生成部401与虚拟视点P4的在车辆图像CG的车宽方向上从中央C朝左侧的移动连动地使注视点P3在车辆图像CG的车宽方向上从中央C朝左侧移动。在本实施方式中，显示用图像生成部401使注视点P3在车辆图像CG的车宽方向上朝与虚拟视点P4所移动的方向相同的方向移动，但不限于此，可以使注视点P3在车辆图像CG的车宽方向上朝与虚拟视点P4所移动的方向相反的方向移动。
此外，在本实施方式中，在使虚拟视点P4移动时，显示用图像生成部401使注视点P3在车辆图像CG的车宽方向上的移动量比虚拟视点P4在车辆图像CG的车宽方向上的移动量少。由此，在确认在车辆1附近存在的障碍物与车辆1之间的位置关系时，能够防止注视点P3大幅移动，进而能够使注视点P3移动至能更容易确认车辆1乘坐人员想要观察的位置的位置，而不会使在车辆1附近存在的障碍物从显示用图像的视野角度偏离。
接着，参照图11～图14，对本实施方式涉及的车辆1所生成的显示用图像的一个示例进行说明。图11～图14为表示实施方式1涉及的车辆所生成的显示用图像的一个示例的图。
例如，如图11所示，在给出移动虚拟视点P4的指示前，显示用图像生成部401生成从在车辆图像CG的车宽方向中央C且在该车辆图像CG上方的虚拟视点P4观察注视点P3的显示用图像G。而且，如图11所示，显示用图像生成部401生成的显示用图像G包含：向左按钮B1，其能够给出在车辆图像CG的车宽方向上朝左侧移动虚拟视点P4的指示；向右按钮B2，其能够给出在车辆图像CG的车宽方向上朝右侧移动虚拟视点P4的指示；缩小按钮B3，其能够给出放大视野角度的指示；以及放大按钮B4，其能够给出缩小视野角度的指示。此外，向左按钮B1及向右按钮B2能够反映虚拟视点P4的移动即可，其配置、朝向、及形状不限于图11所示的示例，例如，可以朝倾斜方向，也可以是曲线。
而且，在向左按钮B1被操作时，如图12所示，显示用图像生成部401生成从移动至位置X1(参见图9及图10)的虚拟视点P4观察注视点P3的显示用图像G。在向左按钮B1进一步被操作时，如图13所示，显示用图像生成部401生成从移动至位置X2(参见图9及图10)的虚拟视点P4观察注视点P3的显示用图像G。之后，在向左按钮B1再次被操作时，显示用图像生成部401使虚拟视点P4移动至如下位置：在车辆图像CG的车宽方向上比位置X2靠左侧、在车辆图像CG的前后方向上比位置X2靠车辆图像CG的行进方向侧、并且比位置X2的高度下降了预设高度的位置。而且，如图14所示，显示用图像生成部401生成从移动后的虚拟视点P4观察注视点P3的显示用图像G。
由此，仅使虚拟视点P4在车辆图像CG的车宽方向上移动，就能够使虚拟视点P4的高度也发生变化，以使显示用图像G更接近从车辆1乘坐人员所想要的视点位置观察的图像，由此能够容易显示从车辆1乘坐人员所想要的视点位置观察的显示用图像G。
此外，在缩小按钮B3被操作时，显示用图像生成部401使显示用图像G的视野角度放大。另一方面，在放大按钮B4被操作时，显示用图像生成部401使显示用图像G的视野角度缩小。由此车辆1乘坐人员能够将任意视野角度的显示用图像G显示在显示装置8上。
此外，显示用图像生成部401可以随着虚拟视点P4在车辆图像CG的车宽方向上从中央C远离，使显示用图像G的视野角度缩小。由此仅使虚拟视点P4在车辆图像CG的车宽方向上移动，就能够使视野角度发生变化，以使显示用图像G接近车辆1乘坐人员想要观察的视野角度的图像，由此能够容易显示车辆1乘坐人员想要观察的视野角度的显示用图像G。此外，显示用图像生成部401也可以随着虚拟视点P4在车辆图像CG的车宽方向上从中央C远离，使显示用图像G的视野角度放大。
此外，通过在触控面板(操作输入部10的一个示例)上的滑动等操作给出了朝任意方向移动虚拟视点P4的指示时，显示用图像生成部401使虚拟视点P4移动至以下位置：该位置的水平方向位置与该任意方向的水平方向分量对应，且其高度与该水平方向位置对应。此外，显示用图像生成部401除向左按钮B1及向右按钮B2外，作为用于指示任意方向的GUI(Graphical User Interface)，还可以使如下按钮包含于显示用图像G：向前按钮，其能够给出朝车辆图像CG的前方移动虚拟视点P4的指示、以及向后按钮，其能够给出朝车辆图像CG的后方移动虚拟视点P4的指示。进一步地，在经由操作输入部10给出了在水平方向上朝预设轨迹上的任意位置移动虚拟视点P4的指示时，显示用图像生成部401可以使虚拟视点P4的高度与该朝任意位置的移动连动地发生变化。
如上所述，根据实施方式1涉及的车辆1，仅使虚拟视点在车辆图像的车宽方向上移动，就能够使虚拟视点的高度也发生变化，以显示从车辆1的乘坐人员所想要的视点位置观察的显示用图像，由此能够容易显示从车辆1的乘坐人员所想要的视点位置观察的显示用图像。
实施方式2
本实施方式为使虚拟视点在车辆图像的车宽方向上的位置与注视点在该车宽方向上的位置一致的示例。在以下说明中，省略与实施方式1相同的结构的说明。
图15为说明实施方式2涉及的车辆的注视点的移动处理的一个示例的图。如图15所示，在经由操作输入部10给出了从车辆图像CG的车宽方向的中央C朝左侧的位置X1移动虚拟视点P4的指示时，显示用图像生成部401使虚拟视点P4移动至位置X1。跟随于此，如图15所示，显示用图像生成部401使注视点P3从车辆图像CG的车宽方向的中央C朝左侧移动与虚拟视点P4在车辆图像CG的车宽方向上的移动量相同的移动量。
此外，如图15所示，在经由操作输入部10给出了从车辆图像CG的车宽方向的中央C朝左侧的位置X2移动虚拟视点P4的指示时，显示用图像生成部401使虚拟视点P4朝位置X2移动。跟随于此，如图15所示，显示用图像生成部401使注视点P3从车辆图像CG的车宽方向的中央C朝左侧移动与虚拟视点P4在车辆图像CG的车宽方向上的移动量相同的移动量。
即，显示用图像生成部401使在配置于虚拟空间A内的车辆图像CG的车宽方向上的虚拟视点P4的位置与注视点P3的位置一致。由此，如图15所示，能够容易掌握车辆图像CG与位于该车辆图像CG前方的障碍物之间的位置关系，由此在通过狭窄道路时及使车辆1靠近路肩时等想要避免与位于车辆1侧方的障碍物接触时，以少次操作能够显示车辆1乘坐人员想要观察的显示用图像。此外，由于能够使注视点P3与虚拟视点P4的连接线相对于车辆图像CG的前后方向平行，因此能够显示容易判断车辆图像CG是否与其侧部的障碍物接触的显示用图像。
在本实施方式中，如图15所示，显示用图像生成部401在车辆图像CG具有的前后方向的端部中，以与车辆图像CG的行进方向的相反侧的端部作为基准，使虚拟视点P4在与车辆图像CG的行进方向的相反侧移动，但不限于此。例如，显示用图像生成部401也可以在车辆图像CG具有的前后方向的端部中，以与车辆图像CG的行进方向的相反侧的端部作为基准，使虚拟视点P4在车辆图像CG的行进方向侧移动。
例如，在检测出车辆1的越野行驶时，显示用图像生成部401在车辆图像CG具有的前后方向的端部中，以与车辆图像CG的行进方向的相反侧的端部作为基准，使虚拟视点P4在与车辆图像CG的行进方向侧移动(参见图9)。另一方面，在检测出车辆1行驶在公路时，显示用图像生成部401在车辆图像CG具有的前后方向的端部中，以与车辆图像CG的行进方向的相反侧的端部作为基准，使虚拟视点P4在与车辆图像CG的行进方向的相反侧移动。
图16～图18为表示实施方式2涉及的车辆所生成的显示用图像的一个示例的图。例如，在给出移动虚拟视点P4的指示之前，如图16所示，显示用图像生成部401生成从在车辆图像CG的车宽方向的中央且位于该车辆图像CG上方的默认虚拟视点P4观察注视点P3的显示用图像G。由此，在想要使虚拟视点P4移动至车辆图像CG侧部时，能够减少虚拟视点P4的移动量，因此能够使虚拟视点P4在短时间内移动至所要的位置。
而且，在向左按钮B1被操作时，显示用图像生成部401使虚拟视点P4移动至在车辆图像CG的车宽方向上默认虚拟视点P4的左侧且低于默认虚拟视点P4的位置，同时使注视点P3移动至在车辆图像CG的车宽方向上与移动后的虚拟视点P4相同位置。进一步地，如图17所示，显示用图像生成部401生成从移动后的虚拟视点P4观察移动后的注视点P3的显示用图像G。
在本实施方式中，在向左按钮B1或向右按钮B2开始被操作后至该按钮的操作被解除为止，显示用图像生成部401使虚拟视点P4在车辆图像CG的车宽方向上朝通过该按钮的操作指示的移动方向继续移动。由此，无需进行多次用于指示虚拟视点P4移动的操作直到虚拟视点P4在车辆图像CG的车宽方向上移动至所要位置为止，因此以简单的操作能够使虚拟视点P4移动至所要位置。
此外，显示用图像生成部401根据虚拟视点P4的高度变化改变车辆图像CG的透过率。具体而言，如图16所示，在虚拟视点P4的高度为第1高度(例如，车辆图像CG的上方)时，显示用图像生成部401将车辆图像CG的透过率设为第1透过率。在本实施方式中，第1透过率为经由车辆图像CG能够透视虚拟空间的透过率。另一方面，如图17所示，在虚拟视点P4的高度为相比于第1高度低的第2高度(例如，车辆图像CG的车顶的高度)时，显示用图像生成部401将车辆图像CG的透过率设为第2透过率。在本实施方式中，第2透过率为相比于第1透过率低的透过率，且为经由车辆图像CG能够透视虚拟空间的透过率。
进一步地，如图18所示，在虚拟视点P4的高度为比第2高度低的第3高度(例如，比车辆图像CG的车顶低的高度)时，显示用图像生成部401将车辆图像CG的透过率设为第3透过率。在本实施方式中，第3透过率为比第2透过率低的透过率，且为经由车辆图像CG不可透视虚拟空间的透过率。即，显示用图像生成部401随着虚拟视点P4的高度降低而使车辆图像CG的透过率降低。
由此，在使虚拟视点P4移动至车辆图像CG的上方时，以张望车辆图像CG及该车辆图像CG周围为目的使虚拟视点P4移动的可能性高，因此提高车辆图像CG的透过率，以便能够经由车辆图像CG容易张望该车辆图像CG周围。另一方面，在使虚拟视点P4移动至车辆图像CG侧部时，以目视确认车辆图像CG与其周围障碍物之间的位置关系为目使虚拟视点P4移动的可能性高，因此降低车辆图像CG的透过率，以便容易目视确认车辆图像CG与其周围的障碍物之间的位置关系。
因此，仅使虚拟视点P4在车辆图像CG的车宽方向上移动，就能够将车辆图像CG的透过率改变成可容易确认作为车辆1乘坐人员移动了虚拟视点P4的目的的信息的透过率，由此以简单操作能够显示可容易确认作为车辆1乘坐人员移动了虚拟视点P4的目的的信息的显示用图像G。在本实施方式中，显示用图像生成部401随着虚拟视点P4的高度降低，使车辆图像CG的透过率降低，但不限于此，也可以是随着虚拟视点P4的高度降低，使车辆图像CG的透过率提高。
进一步地，显示用图像生成部401可根据车辆1的行驶状态改变车辆图像CG的透过率。具体而言，在由档位传感器21检测出变速操作部7切换到低速用齿轮等即检测出车辆1的越野行驶时，显示用图像生成部401将车辆图像CG的透过率设为通过该车辆图像CG可透视虚拟空间的透过率。另一方面，在由档位传感器21检测出变速操作部7切换到高速用齿轮等即检测出车辆1行驶在公路时，显示用图像生成部401将车辆图像CG的透过率设为通过该车辆图像CG不可透视虚拟空间的透过率。
如上所述，根据实施方式2涉及的车辆1，能够容易掌握车辆图像与位于该车辆图像侧方的障碍物之间的位置关系，由此在通过狭窄道路时及使车辆1靠近路肩时等想要避免与位于车辆1侧方的障碍物接触时，能够以少次操作显示车辆1乘坐人员想要观察的显示用图像。

Claims (8)

1.一种周边监控装置，其特征在于，包括：
生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，所述虚拟空间包括将由搭载于车辆的拍摄部拍摄该车辆周围而获得的拍摄图像粘贴在所述车辆周围的三维面上而成的模型、以及三维车辆图像；以及
输出部，其向显示部输出所述显示用图像，
在经由操作输入部给出了移动所述虚拟视点的指示时，所述生成部使所述虚拟视点的高度与包含在所述车辆图像的车宽方向上的方向分量的移动连动地发生变化。
2.一种周边监控装置，其特征在于，包括：
生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，所述虚拟空间包括将由搭载于车辆的拍摄部拍摄该车辆周围而获得的拍摄图像粘贴在所述车辆周围的三维面上而成的模型、以及三维车辆图像；以及
输出部，其向显示部输出所述显示用图像，
在经由操作输入部给出了朝任意方向移动所述虚拟视点的指示时，所述生成部使所述虚拟视点移动至在水平方向上与所述任意方向的水平方向分量对应的水平方向位置，且在高度方向上与在水平方向上的所述水平方向位置对应的高度。
3.一种周边监控装置，其特征在于，包括：
生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，所述虚拟空间包括将由搭载于车辆的拍摄部拍摄该车辆周围而获得的拍摄图像粘贴在所述车辆周围的三维面上而成的模型、以及三维车辆图像；以及
输出部，其向显示部输出所述显示用图像，
在经由操作输入部给出了在水平方向上朝在预设轨迹上的任意位置移动所述虚拟视点的指示时，所述生成部使所述虚拟视点的高度与朝所述任意位置的移动连动地发生变化。
4.根据权利要求1至3中任一项所述的周边监控装置，其特征在于，
所述生成部随着所述虚拟视点从所述车辆图像的车宽方向上的所述车辆图像的中央远离，使所述虚拟视点的高度降低。
5.根据权利要求1至4中任一项所述的周边监控装置，其特征在于，
所述生成部随着所述虚拟视点从所述车辆图像的车宽方向上的所述车辆图像的中央远离，使所述虚拟视点的在所述车辆图像的前后方向上的位置朝所述车辆图像的行进方向移动。
6.根据权利要求1至5中任一项所述的周边监控装置，其特征在于，
在所述虚拟视点的高度为第1高度时，所述生成部将所述车辆图像的透过率设为第1透过率，在所述虚拟视点的高度为比所述第1高度低的第2高度时，所述生成部将所述车辆图像的透过率设为比所述第1透过率低的第2透过率。
7.根据权利要求1至6中任一项所述的周边监控装置，其特征在于，
所述生成部随着所述虚拟视点从所述车辆图像的车宽方向上的所述车辆图像的中央远离，使所述显示用图像的视野角度缩小。
8.根据权利要求1至7中任一项所述的周边监控装置，其特征在于，
所述生成部使所述虚拟视点的在所述车辆图像的车宽方向上的位置与注视点的在所述车辆图像的车宽方向上的位置一致。
CN201880051666.6A 2017-08-14 2018-03-05 周边监控装置 Active CN111034188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-156633 2017-08-14
JP2017156633A JP7056034B2 (ja) 2017-08-14 2017-08-14 周辺監視装置
PCT/JP2018/008409 WO2019035229A1 (ja) 2017-08-14 2018-03-05 周辺監視装置

Publications (2)

Publication Number Publication Date
CN111034188A true CN111034188A (zh) 2020-04-17
CN111034188B CN111034188B (zh) 2021-07-27

Family

ID=65362227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880051666.6A Active CN111034188B (zh) 2017-08-14 2018-03-05 周边监控装置

Country Status (4)

Country Link
US (1) US11091096B2 (zh)
JP (1) JP7056034B2 (zh)
CN (1) CN111034188B (zh)
WO (1) WO2019035229A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210179086A1 (en) * 2019-12-13 2021-06-17 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
JP2012025327A (ja) * 2010-07-27 2012-02-09 Fujitsu Ten Ltd 画像表示システム、画像処理装置及び画像表示方法
US20120068840A1 (en) * 2009-05-29 2012-03-22 Fujitsu Ten Limited Image generating apparatus and image display system
JP2013191969A (ja) * 2012-03-13 2013-09-26 Fujitsu Ten Ltd 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム
WO2017061230A1 (ja) * 2015-10-08 2017-04-13 日産自動車株式会社 表示支援装置及び表示支援方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5627253B2 (ja) 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5658507B2 (ja) 2010-08-06 2015-01-28 富士通テン株式会社 画像表示システム、画像生成装置、及び、画像表示方法
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
EP3352670B8 (en) * 2015-09-23 2024-07-03 Stryker Corporation Method and system for assessing healing of tissue
JP6370833B2 (ja) 2016-05-16 2018-08-08 株式会社デンソーテン 画像生成装置、画像表示システム及び画像生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
US20120068840A1 (en) * 2009-05-29 2012-03-22 Fujitsu Ten Limited Image generating apparatus and image display system
JP2012025327A (ja) * 2010-07-27 2012-02-09 Fujitsu Ten Ltd 画像表示システム、画像処理装置及び画像表示方法
JP2013191969A (ja) * 2012-03-13 2013-09-26 Fujitsu Ten Ltd 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム
WO2017061230A1 (ja) * 2015-10-08 2017-04-13 日産自動車株式会社 表示支援装置及び表示支援方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210179086A1 (en) * 2019-12-13 2021-06-17 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device
US11697408B2 (en) * 2019-12-13 2023-07-11 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device

Also Published As

Publication number Publication date
JP2019036831A (ja) 2019-03-07
CN111034188B (zh) 2021-07-27
JP7056034B2 (ja) 2022-04-19
US11091096B2 (en) 2021-08-17
WO2019035229A1 (ja) 2019-02-21
US20200156542A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
JP6115104B2 (ja) 車両の制御装置、及び制御方法
US20170032681A1 (en) Parking assistance device
CN110997409B (zh) 周边监控装置
WO2018070298A1 (ja) 表示制御装置
CN111066319B (zh) 图像处理装置
JP2020120327A (ja) 周辺表示制御装置
WO2018150642A1 (ja) 周辺監視装置
CN110877573A (zh) 车辆周边显示装置
WO2019058585A1 (ja) 表示制御装置
WO2018061261A1 (ja) 表示制御装置
JP2019054439A (ja) 画像処理装置
CN110884426A (zh) 显示控制装置
CN111034188B (zh) 周边监控装置
JP6962035B2 (ja) 周辺監視装置
JP6965563B2 (ja) 周辺監視装置
CN110999282A (zh) 周边监控装置
JP6930202B2 (ja) 表示制御装置
CN109311423B (zh) 驾驶辅助装置
JP7259914B2 (ja) 周辺監視装置
JP7400326B2 (ja) 駐車支援装置、駐車支援方法、および、駐車支援プログラム
JP2018191061A (ja) 周辺監視装置
JP2018186387A (ja) 表示制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant