Nothing Special   »   [go: up one dir, main page]

JP6958147B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP6958147B2
JP6958147B2 JP2017172137A JP2017172137A JP6958147B2 JP 6958147 B2 JP6958147 B2 JP 6958147B2 JP 2017172137 A JP2017172137 A JP 2017172137A JP 2017172137 A JP2017172137 A JP 2017172137A JP 6958147 B2 JP6958147 B2 JP 6958147B2
Authority
JP
Japan
Prior art keywords
image
vehicle
composite image
composite
vanishing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017172137A
Other languages
English (en)
Other versions
JP2019047463A (ja
Inventor
五朗 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017172137A priority Critical patent/JP6958147B2/ja
Priority to CN201810841737.4A priority patent/CN109474803A/zh
Priority to US16/112,891 priority patent/US11146740B2/en
Priority to DE102018121657.2A priority patent/DE102018121657B4/de
Publication of JP2019047463A publication Critical patent/JP2019047463A/ja
Application granted granted Critical
Publication of JP6958147B2 publication Critical patent/JP6958147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両に搭載された複数のカメラが撮像した画像を合成し、合成した画像を表示可能な画像表示装置の技術分野に関する。
このような画像表示装置の一例が特許文献1に記載されている。具体的には、特許文献1には、撮影中心が車両の後方から左側に位置する左カメラが撮像した左画像と、撮影中心が車両の後方から右側に位置する右カメラが撮像した右画像と、撮影中心が車両からまっすぐ後方に位置する後方カメラが撮像した後方画像とを合成し、合成した画像を表示可能な画像表示装置が記載されている。
その他、本願発明に関連する先行技術文献として、特許文献2があげられる。
特開2013−141120号公報 特開2001−055100号公報
特許文献1に記載された画像表示装置は、左画像及び右画像と後方画像とのつなぎ目が滑らかになるように合成画像を生成している。このような合成画像が表示されると、乗員は、当該合成画像から、当該合成画像に写っている物体(例えば、他の車両)と乗員が搭乗している自車両との間の距離感を直感的に把握しづらいという技術的問題が生ずる。つまり、合成画像に写っている物体が、車両から相対的に離れているのか(例えば、車両の後方に未だ位置しているのか)又は車両に相対的に近接しているのか(例えば、既に車両の側方に位置しているのか)を乗員が把握しづらいという技術的問題が生ずる。
本発明は、車両に搭載された複数の撮像手段が夫々撮像した複数の画像を合成して合成画像を生成する画像表示装置であって、合成画像に写っている物体と車両との間の距離感を乗員が相対的に把握しやすい合成画像を生成することが可能な画像表示装置を提供することを課題とする。
本発明の画像表示装置の一態様は、車両の後方を撮像可能な第1撮像手段と、車両の後側方を撮像可能な第2撮像手段と、前記第1撮像手段によって撮像された第1画像と前記第2撮像手段によって撮像された第2画像とが隣り合わせになった合成画像であって、且つ、前記合成画像中における前記第1画像の消失点が前記合成画像中における前記第2画像の消失点と異なる前記合成画像を生成する合成手段と、前記合成画像を表示する表示手段とを備える。
図1は、本実施形態の車両の構成を示すブロック図である。 図2は、本実施形態の車両における後方カメラ、左後側方カメラ及び右後側方カメラの夫々の設置位置及び撮像範囲を示す平面図である。 図3(a)は、本実施形態の画像合成処理で生成される合成画像を示す平面図であり、図3(b)は、本実施形態の画像合成処理で生成される合成画像中における、後方カメラ画像の消失点と左後側方カメラ画像及び右後側方カメラ画像の夫々の消失点との間の位置関係を示す平面図である。 図4(a)は、比較例の画像合成処理で生成される合成画像中における、後方カメラ画像の消失点と左後側方カメラ画像及び右後側方カメラ画像の夫々の消失点との間の位置関係を示す平面図であり、図4(b)は、比較例の画像合成処理で生成される合成画像を示す平面図である。 図5(a)は、後方車両が自車両から相対的に離れている様子を示す平面図であり、図5(b)は、後方車両が自車両から相対的に離れている場合に本実施形態の画像合成処理で生成される合成画像を示す平面図であり、図5(c)は、後方車両が自車両から相対的に離れている場合に比較例の画像合成処理で生成される合成画像を示す平面図である。 図6(a)は、後方車両が自車両に相対的に近接している様子を示す平面図であり、図6(b)は、後方車両が自車両に相対的に近接している場合に本実施形態の画像合成処理で生成される合成画像を示す平面図であり、図6(c)は、後方車両が自車両に相対的に近接している場合に比較例の画像合成処理で生成される合成画像を示す平面図である。 図7(a)は、後方車両が自車両から相対的に離れている場合に画像合成処理の第1変形例で生成される合成画像を示す平面図であり、図7(b)は、後方車両が自車両に相対的に近接している場合に画像合成処理の第1変形例で生成される合成画像を示す平面図である。 図8(a)は、後方車両が自車両から相対的に離れている場合に画像合成処理の第3変形例で生成される合成画像を示す平面図であり、図8(b)は、後方車両が自車両に相対的に近接している場合に画像合成処理の第3変形例で生成される合成画像を示す平面図である。 図9(a)は、後方車両が車両から相対的に離れている場合に画像合成処理の第4変形例で生成される合成画像を示す平面図であり、図9(b)は、後方車両が車両に相対的に近接している場合に画像合成処理の第4変形例で生成される合成画像を示す平面図であり、図9(c)は、後方車両が車両から相対的に離れている場合に画像合成処理の第4変形例で設定される消失点を示す平面図であり、図9(d)は、後方車両が車両に相対的に近接している場合に画像合成処理の第4変形例で設定される消失点を示す平面図である。
以下、図面を参照しながら、画像表示装置の実施形態について説明する。以下では、画像表示装置の実施形態が搭載された車両1を用いて説明を進める。
(1)車両1の構成
初めに、図1及び図2を参照しながら、本実施形態の車両1の構成について説明する。図1は、本実施形態の車両1の構成を示すブロック図である。図2は、本実施形態の車両1における後方カメラ11B、左後側方カメラ11BL及び右後側方カメラ11BRの設置位置及び撮像範囲を示す平面図である。尚、以下の説明では、右、左及び後方は、特段の注記がない場合は、夫々、車両1の進行方向に対する右、左及び後方を意味するものとする。
図1に示すように、車両1は、後述する付記における「第1撮像手段」の一具体例である後方カメラ11Bと、後述する付記における「第2撮像手段」の一具体例である左後側方カメラ11BLと、後述する付記における「第2撮像手段」の一具体例である右後側方カメラ11BRと、後述する付記における「合成手段」の一具体例であるECU(Electrical Control Unit)12と、後述する付記における「表示手段」の一具体例であるディスプレイ13とを備える。
後方カメラ11Bは、図2に示すように、車両1の後方に位置する(つまり、車両1よりも後方に位置する)後方領域を撮像する撮像機器である。後方領域は、車両1の車室内にバックミラーが設置されていると仮定した場合において、当該バックミラーに写りこむ領域の少なくとも一部に含む領域である。つまり、本実施形態では、後方カメラ11Bは、車両1の車室内に設置されるバックミラーに代わる、いわゆる電子ミラーの一部を構成する。車両1の後方領域を撮像するために、後方カメラ11Bの撮影中心は、車両1から真っ直ぐ後方に位置している。つまり、後方カメラ11Bが備えるレンズ等の光学系の光軸は、車両1から真っ直ぐ後方に向かって延びる。
左後側方カメラ11BLは、図2に示すように、車両1の左後側方に位置する(つまり、車両1よりも左後側方に位置する)左後側方領域を撮像する撮像機器である。左後側方領域は、車両1の左側にある左ドアにドアミラーが設置されていると仮定した場合において、左ドアが閉状態にある状況下で当該左ドアに設置されたドアミラーに写りこむ領域の少なくとも一部に含む領域である。つまり、本実施形態では、左後側方カメラ11BLは、車両1の左ドアに設置されるドアミラーに代わる、いわゆる電子ミラーの一部を構成する。車両1の左後側方領域を撮像するために、左後側方カメラ11BLの撮影中心は、車両1の後方から左側に位置している。言い換えれば、左後側方カメラ11BLの撮影中心は、後方カメラ11Bの撮影中心よりも左側に位置している。つまり、左後側方カメラ11BLが備えるレンズ等の光学系の光軸は、上述した後方カメラ11Bが備える光学系の光軸よりも左側の空間において、後方に向かって延びる。尚、左後側方領域は、後方領域と部分的に重複していてもよい。
右後側方カメラ11BRは、図2に示すように、車両1の右後側方に位置する(つまり、車両1よりも右後側方に位置する)右後側方領域を撮像する撮像機器である。右後側方領域は、車両1の右側にある右ドアにドアミラーが設置されていると仮定した場合において、右ドアが閉状態にある状況下で当該右ドアに設置されたドアミラーに写りこむ領域の少なくとも一部に含む領域である。つまり、本実施形態では、右後側方カメラ11BRは、車両1の右ドアに設置されるドアミラーに代わる、いわゆる電子ミラーの一部を構成する。車両1の右後側方領域を撮像するために、右後側方カメラ11BRの撮影中心は、車両1の後方から右側に位置している。言い換えれば、右後側方カメラ11BRの撮影中心は、後方カメラ11Bの撮影中心よりも右側に位置している。つまり、右後側方カメラ11BRが備えるレンズ等の光学系の光軸は、上述した後方カメラ11Bが備える光学系の光軸よりも右側の空間において、後方に向かって延びる。尚、右後側方領域は、後方領域と部分的に重複していてもよい。
ECU12は、車両1の全体の動作を制御する。本実施形態では特に、ECU12は、後方カメラ11Bが撮像した画像(つまり、後方領域の状況を示す画像であり、以下、“後方カメラ画像111B”と称する)、左後側方カメラ11BLが撮像した画像(つまり、左後側方領域の状況を示す画像であり、以下、“左後側方カメラ画像111BL”と称する)、及び右後側方カメラ11BRが撮像した画像(右後側方領域の状況を示す画像であり、以下、“右後側方カメラ画像111BR”と称する)をディスプレイ14に表示するための表示動作を行う。表示動作を行うために、ECU12は、ECU12の内部に論理的に実現される処理ブロックとして、画像取得部121と、画像合成部122とを備える。画像取得部121は、後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRを取得する。画像合成部122は、後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRを合成する画像合成処理を行うことで、合成画像を生成する。画像合成処理は、後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一つの視点を変換する視点変換処理を含んでいてもよい。画像合成処理は、後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一つを拡大又は縮小する拡大縮小処理を含んでいてもよい。画像合成処理は、後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一つから所望の画像部分を切り出す画像切出処理を含んでいてもよい。更に、画像合成部122は、生成した合成画像を表示するように、ディスプレイ13を制御する。尚、ディスプレイ13は、車両1の車室内に設置されており、車室内にいる車両1の乗員に対して合成画像を表示する。
ここで、本実施形態の画像合成処理について、図3(a)及び図3(b)を参照しながらより詳細に説明する。図3(a)は、合成画像を示す平面図であり、図3(b)は、合成画像中における後方カメラ画像111Bの消失点P1と、合成画像中における左後側方カメラ画像111BL及び右後側方カメラ画像111BRの夫々の消失点P2との間の位置関係を示す平面図である。
図3(a)に示すように、画像合成部122は、後方領域の左側(合成画像中の車両1の進行方向を基準とする左側を意味する、以下特別な表記がない限りは同じ)に左後側方領域が位置し、且つ、後方領域の右側(合成画像中の車両1の進行方向を基準とする右側を意味する、以下特別な表記がない限りは同じ)に右後側方領域が位置する合成画像を生成する。つまり、画像合成部122は、後方カメラ画像111Bの左側に左後側方カメラ画像111BLが隣接し、且つ、後方カメラ画像111Bの右側に右後側方カメラ画像111BRが隣接する合成画像を生成する。尚、乗員が実際に視認する合成画像中では、後方領域の右側(つまり、乗員から見て右側)に左後側方領域が位置し、且つ、後方領域の左側(つまり、乗員から見て左側)に右後側方領域が位置している。つまり、乗員が実際に視認する合成画像中では、後方カメラ画像111Bの右側(つまり、乗員から見て右側)に左後側方カメラ画像111BLが隣接し、且つ、後方カメラ画像111Bの左側(つまり、乗員から見て左側)に右後側方カメラ画像111BRが位置している。
更に、図3(b)に示すように、画像合成部122は、合成画像中における後方カメラ画像111Bの消失点P1と、合成画像中における左後側方カメラ画像111BL及び右後側方カメラ画像111BRの夫々の消失点P2とが異なる合成画像を生成する。図3(b)に示す例では、消失点P2は、消失点P1よりも後方(車両1の進行方向を基準とする後方を意味する、以下同じ)に位置している。つまり、消失点P2は、消失点P1よりも合成画像の奥側(つまり、遠い側)に位置している。
(2)技術的効果
続いて、本実施形態の画像合成処理の技術的効果について説明する。上述したように消失点P1と消失点P2とが異なるように合成画像が生成された結果、図3(a)に示すように、合成画像中で、後方カメラ画像111Bの奥行感と、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの奥行感とが異なるものとなる。具体的には、後方カメラ画像111Bの奥行感よりも、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの奥行感が強調される。つまり、合成画像中で、後方カメラ画像111Bの表示態様と、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの表示態様とが異なるものとなる。その結果、乗員は、合成画像中において、後方カメラ画像111Bと左後側方カメラ画像111BL及び右後側方カメラ画像111BRの夫々との間の境界を相対的に容易に把握することができる。
このため、乗員は、合成画像に写っている(つまり、後方領域、左後側方領域又は右後側方領域に位置する)後方車両(或いは、車両以外の任意の物体、以下同じ)が、合成画像中の後方カメラ画像111Bに対応する部分に写っているのか又は合成画像中の左後側方カメラ画像111BL又は右後側方カメラ画像111BRに対応する部分に写っているのかを相対的に容易に把握することができる。その結果、乗員は、合成画像中で後方車両が後方カメラ画像111Bに対応する部分に写っている場合には、合成画像に写っている後方車両が、車両1から相対的に離れている(例えば、車両1から相対的に遠い後方領域に未だ位置している)と相対的に容易に把握することができる。一方で、乗員は、合成画像中で後方車両が左後側方カメラ画像111BL又は右後側方カメラ画像111BRに対応する部分に写っている場合には、合成画像に写っている後方車両が、車両1に相対的に近接している(例えば、車両1に相対的に近い左後側方領域又は右後側方領域に位置している)と相対的に容易に把握することができる。つまり、乗員は、合成画像に写っている後方車両が、車両1から相対的に離れているのか(例えば、車両1から相対的に遠い後方領域に未だ位置しているのか)又は車両1に相対的に近接しているのか(例えば、車両1に相対的に近い左後側方領域又は右後側方領域に位置しているのか)を相対的に容易に把握することができる。つまり、乗員は、合成画像から、合成画像に写っている後方車両と乗員が搭乗している車両1との間の距離感を直感的に把握しやすくなる。
一方で、図4(a)は、比較例の画像合成処理によって生成される合成画像中での消失点P1及びP2を示している。図4(a)に示すように、比較例の画像合成処理は、合成画像中における後方カメラ画像111Bの消失点P1と、合成画像中における左後側方カメラ画像111BL及び右後側方カメラ画像111BRの夫々の消失点P2とが一致する合成画像を生成する。尚、比較例の消失点P1及びP2の位置は、本実施形態の消失点P1の位置と一致しているものとする。その結果、図4(b)に示すように、合成画像中で、後方カメラ画像111Bの奥行感と、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの奥行感とが同じになる。つまり、合成画像中で、後方カメラ画像111Bの表示態様と、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの表示態様とが同じになる。その結果、乗員は、合成画像中において、後方カメラ画像111Bと左後側方カメラ画像111BL及び右後側方カメラ画像111BRの夫々との間の境界を容易に(言い換えれば、直感的に)把握することができない。
このため、乗員は、合成画像に写っている後方車両が、合成画像中の後方カメラ画像111Bに対応する部分に写っているのか又は合成画像中の左後側方カメラ画像111BL又は右後側方カメラ画像111BRに対応する部分に写っているのかを容易に把握することが困難である。その結果、乗員は、合成画像に写っている後方車両が、車両1から相対的に離れているのか又は車両1に相対的に近接しているのかを容易に把握することができない。つまり、乗員は、合成画像から、合成画像に写っている後方車両と乗員が搭乗している車両1との間の距離感を直感的に把握することができない。
ここで、本実施形態の合成画像から後方車両と車両1との間の距離感を把握することの容易さについて、図5(a)から図5(c)及び図6(a)から図6(c)を参照しながらより詳細に説明する。図5(a)は、後方車両が車両1から相対的に離れている様子を示す平面図であり、図5(b)は、後方車両が車両1から相対的に離れている場合に本実施形態の画像合成処理で生成される合成画像を示す平面図であり、図5(c)は、後方車両が車両1から相対的に離れている場合に比較例の画像合成処理で生成される合成画像を示す平面図である。図6(a)は、後方車両が車両1に相対的に近接している様子を示す平面図であり、図6(b)は、後方車両が車両1に相対的に近接している場合に本実施形態の画像合成処理で生成される合成画像を示す平面図であり、図6(c)は、後方車両が車両1に相対的に近接している場合に比較例の画像合成処理で生成される合成画像を示す平面図である。
後方車両が車両1から相対的に離れている場合には、図5(a)に示すように、後方車両の大部分は、車両1から相対的に遠い後方領域に位置する可能性が高い。従って、図5(b)及び図5(c)に示すように、後方車両は、後方カメラ画像111Bに写っている可能性が高い。その後、後方車両が車両1に近づくように走行すると、図6(a)に示すように、後方車両の大部分は、車両1に相対的に近い右後側方領域(或いは、左後側方領域)に位置する可能性が高い。従って、図6(b)及び図6(c)に示すように、後方車両は、右後側方カメラ画像111BRに写っている可能性が高い。この場合、本実施形態では、消失点P1が消失点P2とは異なるがゆえに、図6(b)に示すように、右後側方カメラ画像111BRに写っている後方車両の一部の表示態様と、後方カメラ画像111Bに写っている後方車両の他の一部の表示態様とは、明確に異なる。このため、乗員は、合成画像から、後方車両が車両1に相対的に近接していることを相対的に容易に把握することができる。一方で、比較例では、消失点P1が消失点P2と同じであるがゆえに、図6(c)に示すように、右後側方カメラ画像111BRに写っている後方車両の一部の表示態様と、後方カメラ画像111Bに写っている後方車両の他の一部の表示態様とは同じである。このため、乗員は、合成画像から、後方車両が車両1に相対的に近接していることを容易に把握することができない。このように、本実施形態では、比較例と比較して、乗員は、合成画像から、合成画像に写っている後方車両(特に、車両1が走行している走行車線に隣接する走行車線を走行してくる後方車両)と乗員が搭乗している車両1との間の距離感を直感的に把握しやすくなる。
加えて、本実施形態では、合成画像中において、消失点P2が消失点P1よりも合成画像の奥側(つまり、遠い側)に位置している。つまり、後方カメラ画像111Bの奥行感よりも、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの奥行感が強調される。その結果、図5(b)及び図6(b)に示すように、乗員の視覚特性上、実際にバックミラー及びドアミラーを用いて車両1の周囲の状況を把握する際に乗員が見ている景色に相対的に類似した合成画像が表示される。このため、乗員は、合成画像に写っている後方車両と車両1との間の距離感をより一層直感的に把握することができる。
但し、画像合成部122は、消失点P2が消失点P1よりも合成画像の手前側(つまり、近い側)に位置している合成画像を生成してもよい。つまり、画像合成部122は、消失点P2が消失点P1よりも前方(具体的には、車両1の進行方向を基準とする前方を意味する)に位置している合成画像を生成してもよい。この場合であっても、合成画像中で、後方カメラ画像111Bの奥行感と、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの奥行感とが異なるものとなることに変わりはない。つまり、乗員は、合成画像中において、後方カメラ画像111Bと左後側方カメラ画像111BL及び右後側方カメラ画像111BRの夫々との間の境界を相対的に容易に把握することができることに変わりはない。従って、乗員は、合成画像から、合成画像に写っている後方車両と乗員が搭乗している車両1との間の距離感を直感的に把握しやすくなることに変わりはない。
(2)画像合成処理の変形例
続いて、画像合成処理の変形例について説明する。
(2−1)第1変形例
はじめに、図7(a)及び図7(b)を参照しながら、画像合成処理の第1変形例について説明する。図7(a)は、後方車両が車両1から相対的に離れている場合に画像合成処理の第1変形例で生成される合成画像を示す平面図であり、図7(b)は、後方車両が車両1に相対的に近接している場合に画像合成処理の第1変形例で生成される合成画像を示す平面図である。
図7(a)及び図7(b)に示すように、第1変形例においても、画像合成部122は、上述した合成画像(つまり、消失点P1と消失点P2とが異なるように後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRが合成された合成画像)を生成する。
第1変形例では特に、画像合成部122は、合成画像中での後方カメラ画像111Bと左後側方カメラ画像111BLとの間の境界を示す境界画像112Lを含む合成画像を生成する。境界画像111Lは、後方カメラ画像111Bと左後側方カメラ画像111BLとの間の境界を視覚的に示すことができればどのような画像であってもよい。図7(a)及び図7(b)に示す例では、境界画像112Lは、後方カメラ画像111Bと左後側方カメラ画像111BLとの間の境界に沿って延びる線状の(言い換えれば、棒状の)画像である。
加えて、画像合成部122は、合成画像中での後方カメラ画像111Bと右後側方カメラ画像111BRとの間の境界を示す境界画像112Rを含む合成画像を生成する。境界画像111Rは、後方カメラ画像111Bと右後側方カメラ画像111BRとの間の境界を視覚的に示すことができればどのような画像であってもよい。図7(a)及び図7(b)に示す例では、境界画像112Rは、後方カメラ画像111Bと右後側方カメラ画像111BRLとの間の境界に沿って延びる線状の(言い換えれば、棒状の)画像である。
このような境界画像112L及び112Rを含む合成画像が表示される結果、乗員は、合成画像中において、後方カメラ画像111Bと左後側方カメラ画像111BL及び右後側方カメラ画像111BRの夫々との間の境界をより一層容易に(或いは、確実に)把握することができる。このため、乗員は、合成画像から、合成画像に写っている後方車両と乗員が搭乗している車両1との間の距離感をより一層把握しやすくなる。
(2−2)第2変形例
続いて、画像合成処理の第2変形例について説明する。第2変形例では、画像合成部122は、第1変形例と同様に、境界画像112L及び112Rを含む合成画像を生成する。但し、第2変形例では、画像合成部122は、所定条件が成立する場合に境界画像112L及び112Rの少なくとも一方を含む合成画像を生成し、所定条件が成立しない場合に境界画像112L及び112Rを含まない合成画像を生成してもよい。その結果、常に境界画像112L及び112Rを含む合成画像が生成される場合と比較して、常に境界画像112L及び112Rが表示されることを煩わしく感じる乗員に対して、煩わしさが低減された合成画像を表示可能となる。
所定条件の一例として、合成画像に写っている後方車両と車両1との間の距離に関する距離条件があげられる。例えば、後方車両と車両1との間の距離が第1閾値よりも小さいという距離条件の第1例が、所定条件として用いられてもよい。この場合、左後側方領域に位置する後方車両と車両1との間の距離が第1閾値よりも小さい場合には、画像合成部122は、少なくとも境界画像112Lを含む合成画像を生成する。他方で、右後側方領域に位置する後方車両と車両1との間の距離が第1閾値よりも小さい場合には、画像合成部122は、少なくとも境界画像112Rを含む合成画像を生成する。
距離条件の第1例が所定条件として用いられる場合、後方車両と車両1との間の距離が第1閾値よりも小さい場合には、画像合成部122は、境界画像112L及び112Rの少なくとも一方を含む合成画像が生成する。一方で、後方車両と車両1との間の距離が第1閾値よりも小さくない場合には、画像合成部122は、境界画像112L及び112Rを含まない合成画像が生成する。その結果、乗員は、合成画像中に境界画像112L及び112Rの少なくとも一方が表示されている場合には、後方車両が車両1に相対的に近接していると把握することができる。一方で、乗員は、合成画像中に境界画像112L及び112Rが表示されていない場合には、後方車両が車両1から相対的に離れていると把握することができる。このため、乗員は、合成画像に写っている後方車両と車両1との間の距離感をより一層容易に把握することができる。
更に、合成画像に写っている後方車両が車両1に相対的に近接している(つまり、後方車両と車両1との間の距離が第1閾値よりも小さい)場合には、乗員は、後方車両により注意を払うべきである。距離条件の第1例が所定条件として用いられる場合、後方車両が車両1に相対的に近接している場合に境界画像112L及び112Rの少なくとも一方が表示されるがゆえに、乗員は、視覚的に目立つ境界画像112L及び112Rの少なくとも一方を視認することで、後方車両が車両1の後方領域から左後側方領域又は右後側方領域へと移動しており、車両1に相対的に近接していることを、相対的に容易に把握することができる。つまり、乗員は、視覚的に目立つ境界画像112L及び112Rの少なくとも一方を視認することで、車両1に相対的に近接している後方車両により注意を払うことができる。特に、後方車両が車両1に相対的に近接している場合には、合成画像中では、後方車両は、後方カメラ画像111Bと左後側方カメラ画像111BL又は右後側方カメラ画像111BRとの間の境界に相対的に近い位置に又は当該境界に跨って写っている可能性が高い。このため、このような場合に境界画像112L及び112Lの少なくとも一方が表示されると、乗員は、境界画像112L及び112Rの少なくとも一方と共に後方車両の存在を相対的に確実に把握することができる。このため、乗員は、車両1に相対的に近接している後方車両により注意を払うことができる。
尚、第2変形例では、画像合成部122は、画像合成処理を行うために後方車両と車両1との間の距離を参照する。このため、車両1は、後方車両と車両1との間の距離を検出するための検出装置を備えていることが好ましい。検出装置の一例として、レーダやライダー等があげられる。或いは、画像合成部122は、後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一つを画像処理すすることで、後方車両と車両1との間の距離を算出してもよい。画像合成処理を行うために後方車両と車両1との間の距離を参照する後述する第3変形例及び第4変形例においても同様である。
(2−3)第3変形例
続いて、図8(a)及び図8(b)を参照しながら、画像合成処理の第3変形例について説明する。図8(a)は、後方車両が車両1から相対的に離れている場合に画像合成処理の第3変形例で生成される合成画像を示す平面図であり、図8(b)は、後方車両が車両1に相対的に近接している場合に画像合成処理の第3変形例で生成される合成画像を示す平面図である。
図8(a)及び図8(b)に示すように、第3変形例においても、画像合成部122は、上述した合成画像(つまり、消失点P1と消失点P2とが異なるように後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRが合成された合成画像)を生成する。
第3変形例では特に、画像合成部122は、合成画像に写っている後方車両と車両1との間の距離に応じて合成画像中で後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一つが表示される領域の割合が変わるように合成画像を生成する。
例えば、画像合成部122は、後方車両と車両1との間の距離が小さくなるほど、合成画像中で後方カメラ画像111Bが表示される領域の割合が小さくなるように、合成画像を生成してもよい。言い換えれば、画像合成部122は、後方車両と車両1との間の距離が小さくなるほど、合成画像中で左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一方が表示される領域の割合が大きくなるように、合成画像を生成してもよい。より具体的には、画像合成部122は、左後側方領域に位置する後方車両と車両1との間の距離が小さくなるほど、合成画像中で左後側方カメラ画像111BLが表示される領域の割合が大きくなるように、合成画像を生成してもよい。一方で、画像合成部122は、右後側方領域に位置する後方車両と車両1との間の距離が小さくなるほど、合成画像中で右後側方カメラ画像111BRが表示される領域の割合が大きくなるように、合成画像を生成してもよい。
或いは、例えば、画像合成部122は、後方車両と車両1との間の距離が第2閾値よりも小さくなる場合には、後方車両と車両1との間の距離が第2閾値よりも小さくならない場合と比較して、合成画像中で後方カメラ画像111Bが表示される領域の割合が小さくなるように、合成画像を生成してもよい。言い換えれば、画像合成部122は、後方車両と車両1との間の距離が第2閾値よりも小さくなる場合には、後方車両と車両1との間の距離が第2閾値よりも小さくならない場合と比較して、合成画像中で左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一方が表示される領域の割合が大きくなるように、合成画像を生成してもよい。より具体的には、画像合成部122は、左後側方領域に位置する後方車両と車両1との間の距離が第2閾値よりも小さくなる場合には、左後側方領域に位置する後方車両と車両1との間の距離が第2閾値よりも小さくならない場合と比較して、合成画像中で左後側方カメラ画像111BLが表示される領域の割合が大きくなるように、合成画像を生成してもよい。一方で、画像合成部122は、右後側方領域に位置する後方車両と車両1との間の距離が第2閾値よりも小さくなる場合には、右後側方領域に位置する後方車両と車両1との間の距離が第2閾値よりも小さくならない場合と比較して、合成画像中で右後側方カメラ画像111BRが表示される領域の割合が大きくなるように、合成画像を生成してもよい。尚、第2閾値は、上述した第2変形例で用いた第1閾値と同じであってもよいし、異なっていてもよい。
このような第3変形例によれば、乗員は、合成画像中で後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一つが表示される領域の割合に基づいて、後方車両と車両1との間の距離感をより一層容易に把握することができる。例えば、乗員は、合成画像中で左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一方が表示される領域が相対的に広い(或いは、後方カメラ画像111Bが表示される領域が相対的に狭い)場合には、後方車両が車両1に相対的に近接していると把握することができる。一方で、乗員は、合成画像中で左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一方が表示される領域が相対的に狭い(或いは、後方カメラ画像111Bが表示される領域が相対的に広い)場合には、後方車両が車両1から相対的に離れていると把握することができる。
更に、後方車両が車両1に相対的に近接している場合には、後方車両が車両1から相対的に離れている場合と比較して、乗員は、後方車両により一層注意を払うことが好ましい。この点を考慮して、第3変形例では、後方車両が車両1に相対的に近接している場合には、乗員が後方車両をより一層確実に把握できるように、後方車両が写っている可能性が相対的に高い左後側方カメラ画像111BL及び右後側方カメラ画像111BRの少なくとも一方が表示される領域の割合を大きくしている。その結果、乗員は、車両1に相対的に近接している後方車両により一層の注意を払うことができる。
(2−4)第4変形例
続いて、図9(a)から図9(d)を参照しながら、画像合成処理の第4変形例について説明する。図9(a)は、後方車両が車両1から相対的に離れている場合に画像合成処理の第4変形例で生成される合成画像を示す平面図であり、図9(b)は、後方車両が車両1に相対的に近接している場合に画像合成処理の第4変形例で生成される合成画像を示す平面図であり、図9(c)は、後方車両が車両1から相対的に離れている場合に画像合成処理の第4変形例で設定される消失点P1及びP2を示す平面図であり、図9(d)は、後方車両が車両1に相対的に近接している場合に画像合成処理の第4変形例で設定される消失点P1及びP2を示す平面図である。
図9(a)及び図9(b)に示すように、第4変形例においても、画像合成部122は、上述した合成画像(つまり、消失点P1と消失点P2とが異なるように後方カメラ画像111B、左後側方カメラ画像111BL及び右後側方カメラ画像111BRが合成された合成画像)を生成する。
第4変形例では特に、図9(c)及び図9(d)に示すように、画像合成部122は、合成画像に写っている後方車両と車両1との間の距離に応じて消失点P1及びP2の少なくとも一方が変わるように合成画像を生成する。
例えば、画像合成部122は、後方車両と車両1との間の距離が小さくなるほど、消失点P1と消失点P2とが離れるように、合成画像を生成してもよい。尚、図9(c)は、後方車両と車両1との間の距離がそれほど小さくないがゆえに、消失点P1と消失点P2とがそれほど離れていない様子を示す。図9(d)は、後方車両と車両1との間の距離が相応に小さいがゆえに、消失点P1と消失点P2とが相応に離れている様子を示す。図9(c)及び図9(d)に示す例では、画像合成部122は、消失点P2を変更(つまり、移動)している。しかしながら、画像合成部122は、消失点P2に加えて又は代えて、消失点P1を変更(つまり、移動)してもよい。
或いは、例えば、画像合成部122は、後方車両と車両1との間の距離が第3閾値よりも小さくなる場合には、後方車両と車両1との間の距離が第3閾値よりも小さくならない場合と比較して、消失点P2と消失点P1とがより離れるように、合成画像を生成してもよい。尚、図9(c)は、後方車両と車両1との間の距離が第3閾値よりも小さくないがゆえに、消失点P1と消失点P2とがそれほど離れていない様子を示す。図9(d)は、後方車両と車両1との間の距離が第3閾値よりも小さいがゆえに、消失点P1と消失点P2とが相応に離れている様子を示す。尚、第3閾値は、上述した第2変形例で用いた第1閾値及び上述した第3変形例で用いた第2閾値と同じであってもよいし、異なっていてもよい。
このような第4変形例によれば、乗員は、合成画像中における消失点P1及びP2の少なくとも一方に基づいて、合成画像に写っている後方車両と車両1との間の距離感をより一層容易に把握することができる。つまり、乗員は、合成画像中における後方カメラ画像111Bの表示態様(例えば、奥行感)と、合成画像中における左後側方カメラ画像111BL及び右後側方カメラ画像111BRの夫々の表示態様(例えば、奥行感)との違いに基づいて、合成画像に写っている後方車両と車両1との間の距離感をより一層容易に把握することができる。
更に、第4変形例によれば、後方車両が車両1に近接するほど消失点P1と消失点P2とが離れていく。或いは、後方車両が車両に相対的に近接している場合には、消失点P1と消失点P2とがより離れている。このため、後方車両が車両1に近接すると、乗員は、後方カメラ画像111Bと左後側方カメラ画像111BL及び右後側方カメラ画像111BRの夫々との境界を把握しやすくなる。その結果、合成画像中に写っている後方車両が車両1に近接するがゆえに乗員が当該後方車両により一層注意を払うべき状況下で、乗員は、合成画像に写っている後方車両が、合成画像中の後方カメラ画像111Bに対応する部分に写っているのか又は合成画像中の左後側方カメラ画像111BL又は右後側方カメラ画像111BRに対応する部分に写っているのかを把握しやすくなる。つまり、乗員は、合成画像から、合成画像に写っている後方車両と車両1との間の距離感をより一層把握しやすくなる。
尚、第4変形例では、画像合成部122は、後方車両と車両1との間の距離が小さくなるほど、消失点P2が合成画像中の奥側に位置するように、消失点P2を変更してもよい。尚、図9(d)に示す消失点P2(つまり、後方車両と車両1との間の距離が相対的に小さい場合の消失点P2)は、図9(c)に示す消失点P2(つまり、後方車両と車両1との間の距離が相対的に大きい場合の消失点P2)よりも合成画像中の奥側に位置している。このような合成画像が生成されると、図9(a)及び図9(b)に示すように、合成画像に写っている後方車両が車両1に近接するほど、当該後方車両が車両1の側方に位置していることを強調可能な合成画像が表示される。このため、乗員は、合成画像に写っている後方車両と車両1との間の距離感をより一層容易に把握することができる。
(3)付記
以上説明した実施形態に関して、更に以下の付記を開示する。
(付記1)
付記1に記載の画像表示装置は、車両の後方を撮像可能な第1撮像手段と、車両の後側方を撮像可能な第2撮像手段と、前記第1撮像手段によって撮像された第1画像と前記第2撮像手段によって撮像された第2画像とが隣り合わせになった合成画像であって、且つ、前記合成画像中における前記第1画像の消失点が前記合成画像中における前記第2画像の消失点と異なる前記合成画像を生成する合成手段と、前記合成画像を表示する表示手段とを備えることを特徴とする画像表示装置である。
付記1に記載の画像表示装置によれば、合成画像中における第1画像の消失点が合成画像中における第2画像の消失点と異なるがゆえに、合成画像中における第1画像の消失点が合成画像中における第2画像の消失点とが同じになる(つまり、第1画像と第2画像とのつなぎ目が滑らかになる)場合と比較して、乗員は、第1画像と第2画像との境界を明確に把握することができる。このため、乗員は、合成画像に写っている物体(例えば、他の車両)が、合成画像中の第1画像に対応する部分に写っているのか又は合成画像中の第2画像に対応する部分に写っているのかを相対的に容易に把握することができる。その結果、乗員は、合成画像に写っている物体が、車両から相対的に離れているのか(例えば、車両の後方に未だ位置しているのか)又は車両に相対的に近接しているのか(例えば、既に車両の後方から側方に位置している又は近づきつつあるのか)を相対的に容易に把握することができる。つまり、乗員は、合成画像から、合成画像に写っている物体と乗員が搭乗している車両との間の距離感を直感的に把握しやすくなる。
(付記2)
付記2に記載の画像表示装置は、前記合成手段は、前記合成画像中における前記第1画像の消失点よりも、前記合成画像中における前記第2画像の消失点が前記合成画像中の奥側に位置する前記合成画像を生成することを特徴とする付記1に記載の画像表示装置である。
付記2に記載の画像表示装置によれば、乗員の視覚特性上、実際にバックミラー及びドアミラーを用いて車両1の周囲の状況を把握する際に乗員が見ている景色と相対的に類似した合成画像が生成される。このため、乗員は、合成画像に写っている物体と乗員が搭乗している車両との間の距離感をより一層直感的に把握することができる。このため、付記2に記載の画像表示装置は、上述した効果を適切に享受可能である。
(付記3)
付記3に記載の画像表示装置は、前記合成手段は、前記第1画像と前記第2画像との境界を示す境界画像を含む前記合成画像を生成することを特徴とする付記1又は2に記載の画像表示装置である。
付記3に記載の画像表示装置によれば、乗員は、第1画像と第2画像との境界をより一層明確に把握することができる。このため、付記3に記載の画像表示装置は、上述した効果を適切に享受可能である。
(付記4)
付記4に記載の画像表示装置は、前記合成手段は、(i)前記車両と前記合成画像に写っている物体との間の距離が所定閾値よりも大きい場合には、前記境界画像を含まない前記合成画像を生成し、(ii)前記距離が前記所定閾値よりも小さい場合には、前記境界画像を含む前記合成画像を生成することを特徴とする付記3に記載の画像表示装置である。
付記4に記載の画像表示装置によれば、乗員は、合成画像中に境界画像が表示されている場合には、合成画像に写っている物体が車両に相対的に近接していると把握することができる。一方で、乗員は、合成画像中に境界画像が表示されていない場合には、合成画像に写っている物体が車両から相対的に離れていると把握することができる。このため、乗員は、合成画像に写っている物体と乗員が搭乗している車両との間の距離感をより一層容易に把握することができる。
更に、合成画像に写っている物体が車両に相対的に近接している場合に乗員は当該物体により注意を払うべきであるところ、乗員は、合成画像に写っている物体が車両から相対的に離れている場合には合成画像に含まれない境界画像を視認して、車両に相対的に近接している物体により一層の注意を払うことができる。
(付記5)
付記5に記載の画像表示装置は、前記合成手段は、前記車両と前記合成画像に写っている物体との間の距離に応じて前記合成画像中で前記第1及び第2画像が夫々表示される領域の割合を変更して前記合成画像を生成することを特徴とする付記1から4のいずれか一項に記載の画像表示装置である。
付記5に記載の画像表示装置によれば、乗員は、合成画像中で第1及び第2画像が夫々表示される領域の割合に基づいて、合成画像に写っている物体と乗員が搭乗している車両との間の距離感をより一層容易に把握することができる。
(付記6)
付記6に記載の画像表示装置は、前記合成手段は、前記距離が小さくなるほど前記合成画像中で前記第2画像が表示される領域の割合を大きくすることを特徴とする付記5に記載の画像表示装置である。
付記6に記載の画像表示装置によれば、乗員は、合成画像中で第2画像が表示される領域が相対的に広い場合には、合成画像に写っている物体が車両に相対的に近接していると把握することができる。一方で、乗員は、合成画像中で第2画像が表示される領域が相対的に狭い場合には、合成画像に写っている物体が車両から相対的に離れていると把握することができる。このため、乗員は、合成画像に写っている物体と乗員が搭乗している車両との間の距離感をより一層容易に把握することができる。
更に、合成画像に写っている物体が車両に相対的に近接している場合には、合成画像に写っている物体が車両から相対的に離れている場合と比較して、乗員は、合成画像中に写っている物体により一層注意を払うことが好ましい。この点を考慮して、付記6に記載の画像表示装置は、合成画像に写っている物体が車両に相対的に近接している場合には、乗員が物体をより一層確実に把握できるように、物体が写っている可能性が相対的に高い第2画像が表示される領域の割合を大きくしている。その結果、乗員は、車両に相対的に近接している物体により一層の注意を払うことができる。
(付記7)
付記7に記載の画像表示装置は、前記合成手段は、前記車両と前記合成画像に写っている物体との間の距離に応じて前記合成画像中における前記第1及び第2画像の少なくとも一方の消失点を変更して前記合成画像を生成することを特徴とする付記1から6のいずれか一項に記載の画像表示装置である。
付記7に記載の画像表示装置によれば、乗員は、合成画像中における第1及び第2画像の少なくとも一方の消失点(つまり、合成画像中における第1及び第2画像の奥行感等を含む表示態様)に基づいて、合成画像に写っている物体と乗員が搭乗している車両との間の距離感をより一層容易に把握することができる。
(付記8)
付記8に記載の画像表示装置は、前記合成手段は、前記距離が小さくなるほど前記合成画像中における前記第1画像の消失点と前記第2画像の消失点とが離れるように前記第1及び第2画像の少なくとも一方の消失点を変更することを特徴とする付記7に記載の画像表示装置である。
付記8に記載の画像表示装置によれば、合成画像に写っている物体が車両に近接するほど第1画像の消失点と第2画像の消失点とが離れていく。このため、合成画像に写っている物体が車両に近接するほど、乗員は、第1画像と第2画像との境界を把握しやすくなる。その結果、合成画像中に写っている物体が車両に近接するがゆえに乗員が当該物体により一層注意を払うべき状況下で、乗員は、合成画像に写っている物体が、合成画像中の第1画像に対応する部分に写っているのか又は合成画像中の第2画像に対応する部分に写っているのかを把握しやすくなる。つまり、乗員は、合成画像から、合成画像に写っている物体と乗員が搭乗している車両との間の距離感をより一層把握しやすくなる。
(付記9)
付記9に記載の画像表示装置は、前記合成手段は、前記距離が小さくなるほど前記合成画像中における前記第2画像の消失点が前記合成画像中の奥側に位置するように前記第2画像の消失点を変更することを特徴とする付記7又は8に記載の画像表示装置である。
付記9に記載の画像表示装置によれば、合成画像に写っている物体が車両に近接するほど、当該物体が車両の側方に位置していることを強調可能な合成画像が表示される。このため、乗員は、合成画像に写っている物体と乗員が搭乗している車両との間の距離感をより一層容易に把握することができる。
更には、合成画像に写っている物体が車両に近接するほど第2画像の消失点が合成画像の奥側に位置することになる結果として、第1画像の消失点と第2画像の消失点とが離れていく。このため、付記9に記載の画像表示装置は、付記8に記載の画像表示装置が享受可能な効果も享受可能である。
本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像表示装置もまた本発明の技術思想に含まれる。
1 車両
11B 後方カメラ
11BL 左後側方カメラ
11BR 右後側方カメラ
12 ECU
121 画像取得部
122 画像合成部
13 ディスプレイ
111B 後方カメラ画像
111BL 左後側方カメラ画像
111BR 右後側方カメラ画像

Claims (8)

  1. 車両の後方を撮像可能な第1撮像手段と、
    車両の後側方を撮像可能な第2撮像手段と、
    前記第1撮像手段によって撮像された第1画像と前記第2撮像手段によって撮像された第2画像とが隣り合わせになった合成画像であって、且つ、前記合成画像中における前記第1画像の消失点が前記合成画像中における前記第2画像の消失点と異なる前記合成画像を生成する合成手段と、
    前記合成画像を表示する表示手段と
    を備え
    前記合成手段は、前記合成画像中における前記第1画像の消失点よりも、前記合成画像中における前記第2画像の消失点が前記合成画像中の上方に位置する前記合成画像を生成することを特徴とする画像表示装置。
  2. 前記合成手段は、前記第1画像と前記第2画像との境界を示す境界画像を含む前記合成画像を生成する
    ことを特徴とする請求項1に記載の画像表示装置。
  3. 前記合成手段は、(i)前記車両と前記合成画像に写っている物体との間の距離が所定閾値よりも大きい場合には、前記境界画像を含まない前記合成画像を生成し、(ii)前記距離が前記所定閾値よりも小さい場合には、前記境界画像を含む前記合成画像を生成する
    ことを特徴とする請求項に記載の画像表示装置。
  4. 前記合成手段は、前記車両と前記合成画像に写っている物体との間の距離に応じて前記合成画像中で前記第1及び第2画像が夫々表示される領域の割合を変更して前記合成画像を生成する
    ことを特徴とする請求項1からのいずれか一項に記載の画像表示装置。
  5. 前記合成手段は、前記距離が小さくなるほど前記合成画像中で前記第2画像が表示される領域の割合を大きくする
    ことを特徴とする請求項に記載の画像表示装置。
  6. 前記合成手段は、前記車両と前記合成画像に写っている物体との間の距離に応じて前記合成画像中における前記第1及び第2画像の少なくとも一方の消失点を変更して前記合成画像を生成する
    ことを特徴とする請求項1からのいずれか一項に記載の画像表示装置。
  7. 前記合成手段は、前記距離が小さくなるほど前記合成画像中における前記第1画像の消失点と前記第2画像の消失点とが離れるように前記第1及び第2画像の少なくとも一方の消失点を変更する
    ことを特徴とする請求項に記載の画像表示装置。
  8. 前記合成手段は、前記距離が小さくなるほど前記合成画像中における前記第2画像の消失点が前記合成画像中の上方に位置するように前記第2画像の消失点を変更する
    ことを特徴とする請求項又はに記載の画像表示装置。
JP2017172137A 2017-09-07 2017-09-07 画像表示装置 Active JP6958147B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017172137A JP6958147B2 (ja) 2017-09-07 2017-09-07 画像表示装置
CN201810841737.4A CN109474803A (zh) 2017-09-07 2018-07-27 图像显示装置
US16/112,891 US11146740B2 (en) 2017-09-07 2018-08-27 Image display apparatus
DE102018121657.2A DE102018121657B4 (de) 2017-09-07 2018-09-05 Bildanzeigevorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017172137A JP6958147B2 (ja) 2017-09-07 2017-09-07 画像表示装置

Publications (2)

Publication Number Publication Date
JP2019047463A JP2019047463A (ja) 2019-03-22
JP6958147B2 true JP6958147B2 (ja) 2021-11-02

Family

ID=65364174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017172137A Active JP6958147B2 (ja) 2017-09-07 2017-09-07 画像表示装置

Country Status (4)

Country Link
US (1) US11146740B2 (ja)
JP (1) JP6958147B2 (ja)
CN (1) CN109474803A (ja)
DE (1) DE102018121657B4 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
DE102019110871A1 (de) * 2019-04-26 2020-10-29 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug
JP7314885B2 (ja) * 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置
TWI767707B (zh) * 2021-05-17 2022-06-11 友達光電股份有限公司 顯示裝置及顯示方法
JP2022189119A (ja) * 2021-06-10 2022-12-22 トヨタ自動車株式会社 車両用表示装置、表示方法及びプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JP3298851B2 (ja) 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US6593690B1 (en) 1999-09-03 2003-07-15 3M Innovative Properties Company Large area organic electronic devices having conducting polymer buffer layers and methods of making same
KR100466458B1 (ko) * 1999-09-20 2005-01-14 마츠시타 덴끼 산교 가부시키가이샤 운전지원장치
JP2005328181A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 周囲確認装置
JP4762698B2 (ja) * 2005-11-30 2011-08-31 アルパイン株式会社 車両周辺画像表示装置
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5320970B2 (ja) * 2008-10-15 2013-10-23 日産自動車株式会社 車両用表示装置および表示方法
JP5102795B2 (ja) * 2009-03-13 2012-12-19 パナソニック株式会社 運転支援表示装置
JP5223811B2 (ja) 2009-08-06 2013-06-26 株式会社日本自動車部品総合研究所 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
US9834153B2 (en) * 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
JP5811804B2 (ja) * 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
JP2013141120A (ja) 2012-01-04 2013-07-18 Toyota Motor Corp 画像表示装置
DE102012001835B4 (de) 2012-01-31 2023-03-02 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
JP5904093B2 (ja) * 2012-10-30 2016-04-13 株式会社デンソー 車載画像生成装置
DE102014006153A1 (de) 2014-04-25 2015-10-29 Man Truck & Bus Ag Verfahren zur Bilddarstellung eines indirekten Sichtfeldes im Fahrzeugumfeld eines Fahrzeugs, insbesondere eines Nutzfahrzeugs, mit einem Kamera-Monitor-System
AU2015275735B2 (en) * 2014-06-19 2019-05-09 Iveco S.P.A. Back vision system for assisting vehicle driving
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP6384188B2 (ja) * 2014-08-12 2018-09-05 ソニー株式会社 車両用表示装置と表示制御方法および後方モニタリングシステム
JP2016063352A (ja) * 2014-09-17 2016-04-25 パナソニックIpマネジメント株式会社 車載用表示装置
KR102087588B1 (ko) * 2015-03-19 2020-03-11 젠텍스 코포레이션 카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱
JP6586849B2 (ja) * 2015-10-01 2019-10-09 日産自動車株式会社 情報表示装置及び情報表示方法

Also Published As

Publication number Publication date
DE102018121657A1 (de) 2019-03-07
JP2019047463A (ja) 2019-03-22
CN109474803A (zh) 2019-03-15
DE102018121657B4 (de) 2023-11-16
US20190075250A1 (en) 2019-03-07
US11146740B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
JP6958147B2 (ja) 画像表示装置
CN110027552B (zh) 图像显示装置
EP1916846B1 (en) Device and method for monitoring vehicle surroundings
JP4325705B2 (ja) 表示システム及びプログラム
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
WO2012096058A1 (ja) 画像生成装置
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP7069692B2 (ja) 画像表示装置
KR102135857B1 (ko) 화상 표시 장치
EP3539827B1 (en) Image display apparatus
JP2011065520A (ja) 運転支援装置
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法
JP2006224927A (ja) 車両周辺視認装置
JP6411100B2 (ja) 車両周囲画像生成装置および車両周囲画像生成方法
CN115668911A (zh) 显示控制装置、车辆及显示控制方法
JP2018074503A (ja) 車両用視認装置及び車両用視認画像表示方法
CN115668909A (zh) 显示控制装置、车辆及显示控制方法
WO2020213111A1 (ja) 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法
JP4893421B2 (ja) 車両用の死角画像表示装置
JP7492802B2 (ja) 表示制御装置、車両及び表示制御方法
JP7155600B2 (ja) 画像表示装置
JP2009153156A (ja) 画像処理装置並びに視界支援装置及び方法
JP2012134825A (ja) 画像表示システム、画像処理装置及び画像表示方法
JP2005328237A (ja) 車両周辺視認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R151 Written notification of patent or utility model registration

Ref document number: 6958147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151