Nothing Special   »   [go: up one dir, main page]

JP6730177B2 - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
JP6730177B2
JP6730177B2 JP2016255247A JP2016255247A JP6730177B2 JP 6730177 B2 JP6730177 B2 JP 6730177B2 JP 2016255247 A JP2016255247 A JP 2016255247A JP 2016255247 A JP2016255247 A JP 2016255247A JP 6730177 B2 JP6730177 B2 JP 6730177B2
Authority
JP
Japan
Prior art keywords
vehicle
image
unit
bird
superimposing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016255247A
Other languages
English (en)
Other versions
JP2018107754A (ja
Inventor
友希子 畠山
友希子 畠山
幸栄 清
幸栄 清
環 武内
環 武内
理恵 土生田
理恵 土生田
彬翔 元廣
彬翔 元廣
佐藤　智之
智之 佐藤
康平 前島
康平 前島
敦俊 坂口
敦俊 坂口
将寛 高橋
将寛 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Toyota Motor Corp
Original Assignee
Denso Ten Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd, Toyota Motor Corp filed Critical Denso Ten Ltd
Priority to JP2016255247A priority Critical patent/JP6730177B2/ja
Priority to US15/834,705 priority patent/US10611308B2/en
Priority to DE102017130664.1A priority patent/DE102017130664A1/de
Priority to CN201711448939.4A priority patent/CN108259879B/zh
Publication of JP2018107754A publication Critical patent/JP2018107754A/ja
Application granted granted Critical
Publication of JP6730177B2 publication Critical patent/JP6730177B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像生成装置および画像生成方法に関する。
従来、車両のカメラ画像に基づいて車両の周辺を俯瞰した俯瞰画像を合成する画像生成装置がある。画像生成装置は、俯瞰画像において、車両が存在する路面位置に車両の三次元形状を示す画像を重畳することで、車両を仮想的に表示している（たとえば、特許文献１参照）。
特開２０１６−１９２７７２号公報
しかしながら、従来技術のように、車両を三次元形状で示した場合、仮想視点の位置によっては、車両の運転者が俯瞰画像において車幅を把握しづらくなるおそれがあった。
本発明は、上記に鑑みてなされたものであって、車幅を正確に把握させることができる画像生成装置および画像生成方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像生成装置は、合成部と、重畳部とを備える。合成部は、車両に設けられた撮像部によって撮像された撮像画像に基づき、前記車両の側方の少なくとも一部を含むように前記車両の進行方向を見る仮想視点の俯瞰画像を合成する。重畳部は、前記合成部によって合成された前記俯瞰画像における前記車両の路面位置に前記車両を平面化した平面画像を重畳する。
本発明によれば、車幅を正確に把握させることができる。
図１Ａは、実施形態に係る画像生成方法の概要を示す図である。 図１Ｂは、実施形態に係る画像生成方法の概要を示す図である。 図２は、実施形態に係る画像生成装置の構成を示すブロック図である。 図３は、撮像部の配置例を示す図である。 図４Ａは、合成部の処理内容を示す図である。 図４Ｂは、合成部の処理内容を示す図である。 図５は、俯瞰画像における撮像部の死角領域を示す図である。 図６Ａは、物体検出部の検知範囲を示す図である。 図６Ｂは、物体検出部の検知範囲を示す図である。 図７は、実施形態に係る画像生成装置が実行する生成処理の処理手順を示すフローチャートである。 図８Ａは、変形例に係る合成部による透過処理を示す図である。 図８Ｂは、変形例に係る合成部による透過処理を示す図である。
以下、添付図面を参照して、本願の開示する画像生成装置および画像生成方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像生成方法の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る画像生成方法の概要を示す図である。図１Ａには、壁Ｗに挟まれた狭路を車両Ｃが走行している状況を示している。車両Ｃには、実施形態に係る画像生成方法を実行する画像生成装置１が搭載される。
また、図１Ｂには、仮想視点ＶＰから見る俯瞰画像Ｐを示している。仮想視点ＶＰとは、俯瞰画像Ｐにおける仮想的な視点であり、視点位置および視線方向の情報を含む。
俯瞰画像Ｐは、仮想視点ＶＰから見下ろす合成画像であり、車両Ｃに設けられた撮像部１３ａ〜１３ｄ（図３参照）によって撮像された撮像画像に基づいて合成される。例えば、図１Ｂには、車両Ｃの側方の少なくとも一部を含むように車両Ｃの進行方向を見る俯瞰画像Ｐを示している。すなわち、俯瞰画像Ｐは、車両Ｃの進行方向を三次元的（３Ｄ；three-dimensional）に立体視した画像である。
ここで、従来の画像生成方法について説明する。従来の画像生成方法では、合成した俯瞰画像において、車両が存在する路面位置に車両の三次元形状を示す画像を重畳させることで、運転者が車両の位置を把握できるようにしていた。
しかしながら、従来のように、車両を三次元形状で示した場合、例えば車両の一方の側面を見る仮想視点の俯瞰画像では、車両の反対側の側面位置を把握しづらいため、俯瞰画像において車幅を正確に把握できないおそれがあった。
そこで、実施形態に係る画像生成方法では、俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳する。つまり、実施形態に係る画像生成方法では、車両Ｃの画像を平面化することで、仮想視点ＶＰの視点位置によらず、常に、車両Ｃの両側の側面位置が２本の線で表される。なお、平面画像ＣＰとは、車両Ｃを二次元的（２Ｄ；two-dimensional）に平面状とした画像である。
したがって、実施形態に係る画像生成方法では、車両Ｃの運転者が車両Ｃの両側の側面位置を把握しやすくなるため、車幅を正確に把握することができる。また、車両Ｃを平面化した平面画像ＣＰを表示するので、運転者は俯瞰画像Ｐにおける車両Ｃの位置を直感的に把握しつつ、車幅を把握することができる。
なお、実施形態に係る画像生成装置１では、仮想視点ＶＰを車両Ｃの内部に設定することができるが、かかる点については、図４Ａおよび図４Ｂを用いて後述する。
また、実施形態に係る画像生成装置１では、平面画像ＣＰを撮像部１３ａ〜１３ｄの死角領域Ｒに収めるように重畳するが、かかる点については、図５を用いて後述する。
次に、図２を参照して、実施形態に係る画像生成装置１の構成について詳細に説明する。図２は、実施形態に係る画像生成装置１の構成を示すブロック図である。図２に示すように、実施形態に係る画像生成装置１は、超音波センサ１０ａ〜１０ｄと、入力装置１１と、車速センサ１２と、撮像部１３ａ〜１３ｄと、表示装置５０とに接続される。まず、画像生成装置１以外の構成について説明する。
超音波センサ１０ａ〜１０ｄは、送信した送信波が物体に反射した反射波を受信し、受信結果を画像生成装置１へ出力する。なお、超音波センサ１０ａ〜１０ｄの配置例および検知範囲Ｓａ〜Ｓｈについては、図６Ａおよび図６Ｂを用いて後述する。
入力装置１１は、例えばタッチパネルディスプレイや切替ボタンとった入力デバイスであり、例えば、車両Ｃの運転者が仮想視点ＶＰの視点位置を切り替える切替操作を入力するための入力デバイスである。車速センサ１２は、車両Ｃにおける車軸の回転数に応じたパルス信号を発生し、パルス信号を画像生成装置１へ出力する。
撮像部１３ａ〜１３ｄは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えた車載カメラである。また、撮像部１３ａ〜１３ｄは、魚眼レンズ等の広角レンズを備えており、車両Ｃの周囲を広範囲に撮像することが可能である。
ここで、図３を用いて、撮像部１３ａ〜１３ｄの車両Ｃにおける配置例について説明する。図３は、撮像部１３ａ〜１３ｄの配置例を示す図である。複数の撮像部１３ａ〜１３ｄは、それぞれ車両Ｃの前方、後方、右方および左方にそれぞれ配置される。
撮像部１３ａは、車両Ｃの前方を撮像し、撮像部１３ｂは、車両Ｃの左側方を撮像し、撮像部１３ｃは、車両Ｃの右側方を撮像し、撮像部１３ｄは、車両Ｃの後方を撮像する。これにより、車両Ｃのあらゆる方向の様子を撮像することができる。
なお、図３に示す配置例では、車両Ｃの路面位置に対応する車両Ｃの直下の領域（いわゆる、車両Ｃと路面との間の影ができる領域）は、撮像部１３ａ〜１３ｄの死角領域Ｒとなるが、かかる点については、図５を用いて後述する。
図２に戻って表示装置５０について説明する。表示装置５０は、例えば液晶パネルを備えたナビゲーション装置であり、画像生成装置１から出力される情報を表示する。なお、表示装置５０と入力装置１１とは、別体で構成されたが、例えば、表示装置５０および入力装置１１の機能を有する一つの電子装置として一体的に構成されてもよい。
次に、実施形態に係る画像生成装置１について説明する。実施形態に係る画像生成装置１は、制御部２と、記憶部３とを備える。制御部２は、物体検出部２１と、受付部２２と、速度算出部２３と、合成部２４と、重畳部２５とを備える。記憶部３は、重畳画像情報３１を記憶する。
ここで、画像生成装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の物体検出部２１、受付部２２、速度算出部２３、合成部２４および重畳部２５として機能する。
また、制御部２の物体検出部２１、受付部２２、速度算出部２３、合成部２４および重畳部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。
また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、重畳画像情報３１や、各種プログラムの情報等を記憶することができる。なお、画像生成装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
制御部２は、撮像画像に基づいて俯瞰画像Ｐを合成するとともに、合成した俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳し、表示装置５０に表示させる。
物体検出部２１は、車両Ｃの周辺に存在する物体を検出する。具体的には、物体検出部２１は、超音波センサ１０ａ〜１０ｄ（いわゆるクリアランスソナー）から出力される反射波の受信結果に基づいて物体を検出する。
物体検出部２１は、検出した物体を合成部２４および重畳部２５へ出力する。なお、物体検出部２１は、クリアランスソナーに限定されず、例えばミリ波等を用いたレーダ装置によって物体を検出してもよい。あるいは、物体検出部２１は、撮像部１３ａ〜１３ｄの撮像画像に基づいて物体を検出することとしてもよい。
受付部２２は、例えば車両Ｃの運転者が入力装置１１に対して行う仮想視点ＶＰの切替操作を受け付ける。かかる切替操作は、仮想視点ＶＰの視点位置および視線方向のパラメータを決定する操作である。受付部２２は、受け付けた切替操作の情報を合成部２４へ出力する。
視点位置は、例えば３次元空間における座標位置で表現することができる。また、仮想視点ＶＰの視線方向は、角度αおよび角度β（図４Ａおよび図４Ｂ参照）として表現することができる。
速度算出部２３は、車速センサ１２のパルス信号に基づいて車両Ｃの走行速度を算出する。なお、速度算出部２３は、車速センサ１２に限らず、例えば撮像部１０の撮像画像に基づいて車両Ｃの走行速度を算出することとしてもよい。
合成部２４は、撮像部１３ａ〜１３ｄによって撮像された撮像画像に基づいて仮想視点ＶＰの視点位置から所定の視線方向を見る俯瞰画像Ｐを合成する。具体的には、合成部２４は、撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された入力画像のうち任意の仮想視点ＶＰから見て所定の視野角に含まれる領域の画像を俯瞰画像Ｐとする。
例えば、合成部２４は、撮像画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、撮像画像に含まれるデータを、所定の投影面の対応する位置に投影することができる。
かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両Ｃの位置であり、車両Ｃの位置の外側（例えば、お椀の底部分以外の部分）は、車両Ｃの周囲の領域に相当する。所定の投影面は、曲面でなく平面であってもよい。
例えば、合成部２４は、車両Ｃの側方の少なくとも一部を含むように車両Ｃの進行方向を見た仮想視点ＶＰの俯瞰画像Ｐを合成する。かかる点について図４Ａおよび図４Ｂを用いて説明する。
図４Ａおよび図４Ｂは、合成部２４の処理内容を示す図である。図４Ａには、初期位置となる仮想視点ＶＰ１と、視点切替後の仮想視点ＶＰ２と、仮想視点ＶＰ２の設定可能範囲１００とを示している。また、仮想視点ＶＰ１の視線方向は、鉛直方向とする。
ここで、仮想視点ＶＰ１から鉛直方向を見た場合の俯瞰画像Ｐが最初に表示され、その後、車両Ｃの運転者が入力装置１１に対して設定可能範囲１００内のいずれかの位置を指定することで仮想視点ＶＰの視点位置が切り替わる。
図４Ａに示すように、設定可能範囲１００は、初期位置となる仮想視点ＶＰ１よりも路面に近い位置に設定される。また、設定可能範囲１００は、車両Ｃの高さ、全長、幅長（図４Ｂ）によって構成される三次元空間の範囲である。
つまり、合成部２４は、車両Ｃの内部を仮想視点ＶＰ２とする俯瞰画像Ｐを生成する。これにより、仮想視点ＶＰ２の俯瞰画像Ｐは、仮想視点ＶＰ１の俯瞰画像Ｐに比べて拡大表示（ズーム表示）されるため、車両Ｃの運転者が車両Ｃと壁Ｗ等の障害物とのクリアランスを容易に把握することができる。
なお、仮想視点ＶＰ２の視点位置は、設定可能範囲１００のうち車両Ｃの運転者の視点位置に近いことが好ましい。これにより、実際に車両Ｃの運転者が見る景色に近い俯瞰画像Ｐを表示できるため、運転者が俯瞰画像Ｐを違和感なく受け入れることができる。
つづいて、合成部２４は、受付部２２が受け付けた角度αおよび角度βに基づいて仮想視点ＶＰ２の視線方向を設定する。具体的には、合成部２４は、まず、仮想視点ＶＰ２の鉛直方向（仮想視点ＶＰ１の視線方向に相当）から車両Ｃの進行方向側へ角度α回転させることで、仮想視点ＶＰ２の視線方向を設定する。
言い換えれば、合成部２４は、車両Ｃの進行方向とは反対側から進行方向を見るように仮想視点ＶＰ２の視線方向を設定する。これにより、例えば車両Ｃの進行方向に障害物等が存在する場合に、俯瞰画像Ｐから障害物を把握することができる。
つづいて、図４Ｂに示すように、合成部２４は、車幅方向側への視線方向を設定する。具体的には、合成部２４は、車両Ｃの進行方向と平行な向きから角度β（正または負の値）分だけ回転させる。
角度βは、０度以上、９０度以下の範囲（０≦β≦９０）で設定可能である。角度βがゼロ度の場合、俯瞰画像Ｐにおいて、車両Ｃの両側方の一部が視認できる。また、角度βが例えば＋９０度の場合、俯瞰画像Ｐにおいて、車両Ｃの左側方および進行方向の左側の一部が視認できる。
これにより、壁Ｗ等の障害物が存在する側の車両Ｃの側方を重点的に示した俯瞰画像Ｐが合成されるため、車両Ｃと壁Ｗとのクリアランスを容易に把握することができる。
なお、合成部２４は、運転者の手動操作によって角度αを設定したが、仮想視点ＶＰ２の位置に応じた最適な角度αを予め記憶しておき自動で設定してもよい。また、合成部２４は、車両Ｃの走行速度に応じて角度αを設定してもよい。
具体的には、合成部２４は、車両Ｃの走行速度が速い程、角度αを大きくする。これは、車両Ｃの運転者が、走行速度が速い程、進行方向のより遠方を見る必要があるためである。
これにより、車両Ｃの運転者は、例えば進行方向に存在する障害物を俯瞰画像Ｐから早期に把握できるため、障害物に対して余裕をもって対応することができる。
また、合成部２４は、車両Ｃの旋回角度に応じて角度βを自動で設定してもよい。具体的には、合成部２４は、旋回している側へ視線方向を傾けるとともに、例えば舵角センサ等から検出される旋回角度を角度βとして視線方向を回転させる。
これにより、車両Ｃが例えば狭路の曲がり角を曲がる際に、自転車等の巻き込みおよび車両Ｃの側面を壁Ｗで擦る等の状況を少なくできるため、車両Ｃの安全性をより向上させることができる。
なお、図４Ａでは、車両Ｃの内部を仮想視点ＶＰ２の設定可能範囲１００としたが、仮想視点ＶＰ１より路面に近い位置であれば、車両Ｃの外部を設定可能範囲１００としてもよい。
図２に戻って、制御部２についての説明をつづける。制御部２の重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳する。
具体的には、重畳部２５は、記憶部３に記憶された重畳画像情報３１に基づいて平面画像ＣＰを生成する。重畳画像情報３１は、車両Ｃをあらゆる視点位置および視線方向の仮想視点ＶＰから見た平面画像ＣＰを含んだ情報である。重畳画像情報３１の平面画像ＣＰは、例えばクロマキー合成によって予め生成可能である。
つまり、重畳部２５は、合成部２４によって設定された仮想視点ＶＰ２の視点位置および視線方向に対応する平面画像ＣＰを重畳画像情報３１の中から選択する。
なお、重畳部２５は、重畳画像情報３１の中から平面画像ＣＰを選択したが、これに限らず重畳部２５が仮想視点ＶＰ２の視点位置および視線方向に基づいて平面画像ＣＰを随時生成してもよい。
つづいて、重畳部２５は、俯瞰画像Ｐにおける撮像部１３ａ〜１３ｄの死角領域Ｒに収まるように平面画像ＣＰを重畳する。かかる点について、図５を用いて説明する。
図５は、俯瞰画像Ｐにおける撮像部１３ａ〜１３ｄの死角領域Ｒを示す図である。死角領域Ｒとは、撮像部１３ａ〜１３ｄの撮像画像に含まれない領域である。撮像部１３ａ〜１３ｄの配置（図３参照）の場合、車両Ｃの直下（いわゆる、車両Ｃと路面との間の影ができる領域）が死角領域Ｒとなる。
つまり、死角領域Ｒは、車両Ｃの全長、幅長と略同じである。また、図５に示すように、俯瞰画像Ｐにおける死角領域Ｒは、上底Ｗ１、下底Ｗ２、高さＨによって構成される台形状となる。上底Ｗ１、下底Ｗ２、高さＨは、仮想視点ＶＰ２の視点位置および視線方向に応じて設定される。
具体的には、仮に、仮想視点ＶＰ２の視線方向が一定である場合、視点位置が高い程、死角領域Ｒの上底Ｗ１、下底Ｗ２、高さＨは、短くなる。また、視点位置が進行方向側に向かう程、高さＨは、短くなる。また、仮に、仮想視点ＶＰ２の視点位置が一定である場合、視線方向の角度αが大きい程、高さＨおよび上底Ｗ１が短くなる。
つまり、重畳部２５は、仮想視点ＶＰ２に基づいて平面画像ＣＰを死角領域Ｒの形状と略同じ形状になるように変形させる。これにより、車両Ｃを平面画像ＣＰによって視覚的に認識できるため、車両Ｃと壁Ｗ等の障害物とのクリアランスを容易に把握することができる。
なお、重畳部２５は、物体検出部２１の検知範囲Ｓを示す検知範囲画像を俯瞰画像Ｐに重畳してもよい。かかる点について、図６Ａおよび図６Ｂを用いて説明する。
図６Ａおよび図６Ｂは、物体検出部２１に接続される超音波センサ１０ａ〜１０ｄの検知範囲Ｓａ〜Ｓｈを示す図である。図６Ａには、車両Ｃを鉛直方向に見下ろした場合の超音波センサ１０ａ〜１０ｄの検知範囲Ｓａ〜Ｓｈを示し、図６Ｂには、検知範囲Ｓａ〜Ｓｄの外周を検知範囲Ｓとして示している。
図６Ａに示すように、例えば、超音波センサ１０ａ，１０ｂは、車両Ｃの前方側（例えばバンパー裏）に設けられ、超音波センサ１０ａが検知範囲Ｓａ，Ｓｂを有し、超音波センサ１０ｂが検知範囲Ｓｃ，Ｓｄを有する。
また、例えば、超音波センサ１０ｃ，１０ｄは、車両Ｃの後方側（例えばバンパー裏）に設けられ、超音波センサ１０ｃが検知範囲Ｓｅ，Ｓｆを有し、超音波センサ１０ｄが検知範囲Ｓｇ，Ｓｈを有する。
また、各検知範囲Ｓａ〜Ｓｈは、所定距離毎に複数の領域（図６Ａでは４つ）に区画され、検出した物体の位置に応じた領域が検出位置として物体検出部２１に通知される。さらに、検知範囲Ｓｂ，Ｓｃ，Ｓｆ，Ｓｇには、区画された領域の外側に付加領域が設けられる。これは、進行方向に存在する物体を早期に捉えるために設けられる。
例えば、図６Ｂに示すように、重畳部２５は、仮想視点ＶＰ２の視点位置および視線方向に基づいて検知範囲Ｓａ〜Ｓｈを変形させた検知範囲Ｓの検知範囲画像を生成する。具体的には、重畳部２５は、車両Ｃの先端形状（例えばバンパー形状）に合うように変形する。
つまり、重畳部２５は、俯瞰画像Ｐにおいて、検知範囲Ｓａ〜Ｓｈが車両Ｃの先端から等しい距離になるように変形した検知範囲Ｓを重畳することで、検知範囲Ｓに対する違和感を生じにくくすることができるとともに、車両Ｃの運転者が壁Ｗ等の障害物の存在および障害物までの距離を確実に把握することができる。
次に、図７を用いて、実施形態に係る画像生成装置１が実行する生成処理の処理手順について説明する。図７は、実施形態に係る画像生成装置１が実行する生成処理の処理手順を示すフローチャートである。
図７に示すように、まず、受付部２２は、車両Ｃの搭乗者が行う俯瞰画像Ｐの視点の切替操作を受け付ける（ステップＳ１０１）。つづいて、合成部２４は、車両Ｃに設けられた撮像部１３ａ〜１３ｄによって撮像された撮像画像に基づき、車両Ｃの側方の少なくとも一部を含むように車両Ｃの進行方向を見た仮想視点ＶＰの俯瞰画像Ｐを合成する（ステップＳ１０２）。
つづいて、重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置である死角領域Ｒに車両Ｃを平面化した平面画像ＣＰを重畳する（ステップＳ１０３）。つづいて、合成部２４は、車両Ｃの側方に壁Ｗ等の障害物が存在するか否かを判定する（ステップＳ１０４）。なお、障害物の有無は、例えば物体検出部２１によって検出可能である。
合成部２４は、車両Ｃの側方に壁Ｗ等の障害物が存在すると判定した場合（ステップＳ１０４，Ｙｅｓ）、車両Ｃの位置がＴ字路等の曲がり角の手前であるか否かを判定する（ステップＳ１０５）。なお、ステップＳ１０５以降の具体的な処理内容については、図８Ａおよび図８Ｂを用いて後述する。
合成部２４は、車両Ｃが曲がり角の手前である場合（ステップＳ１０５，Ｙｅｓ）、俯瞰画像Ｐにおける壁Ｗ（障害物）が存在する領域のうち進行方向側の一部を透過させた俯瞰画像Ｐを合成する（ステップＳ１０６）。
つづいて、重畳部２５は、俯瞰画像Ｐに平面画像ＣＰを重畳させた合成画像を表示装置５０に出力することで表示させ（ステップＳ１０７）、処理を終了する。
一方、ステップＳ１０４において、合成部２４は、車両Ｃの側方に壁Ｗ等の障害物が存在しないと判定した場合（ステップＳ１０４，Ｎｏ）、処理をステップＳ１０７に移行する。
また、ステップＳ１０５において、合成部２４は、車両Ｃの位置が曲がり角の手前でないと判定した場合（ステップＳ１０５，Ｎｏ）、処理をステップＳ１０７に移行する。
上述してきたように、実施形態に係る画像生成装置１は、合成部２４と、重畳部２５とを備える。合成部２４は、車両Ｃに設けられた撮像部１３ａ〜１３ｄによって撮像された撮像画像に基づき、車両Ｃの側方の少なくとも一部を含むように車両Ｃの進行方向を見る仮想視点ＶＰの俯瞰画像Ｐを合成する。重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳する。これにより、壁Ｗ等の障害物と車両Ｃとの位置関係を容易に把握することができる。すなわち、立体的な俯瞰画像Ｐに車両Ｃを平面化した平面画像ＣＰを合成することで、車両Ｃを立体的な画像で表示した場合に比較して、俯瞰画像Ｐのうち特に車両Ｃ周辺を容易に把握することができる。
上述した実施形態では、合成部２４は、車両Ｃの運転者が実際に見える範囲の俯瞰画像Ｐを合成するが、例えば、俯瞰画像Ｐにおいて進行方向側の一部を透過させることで、車両Ｃの運転者が実際には見えない範囲を見えるようにした俯瞰画像Ｐを合成してもよい。かかる点について図８Ａおよび図８Ｂを用いて説明する。
図８Ａおよび図８Ｂは、変形例に係る合成部２４の処理内容を示す図である。図８Ａでは、車両Ｃが狭路の曲がり角の手前を走行し、曲がった先には物体２００が存在する状況を示している。なお、車両Ｃの運転者は、物体２００を視認できないものとする。
かかる場合、撮像部１３ａの撮像画像には、物体２００が含まれ、撮像部１３ｂの撮像画像には、物体２００が含まれない。通常、合成部２４は、車両Ｃの内部を仮想視点ＶＰとすると、俯瞰画像Ｐには、壁Ｗが含まれ、物体２００が含まれない。
そこで、変形例に係る合成部２４では、壁Ｗの一部を透過させて壁Ｗの裏側にある物体２００を運転者が視認できるようにした。具体的には、図８Ｂに示すように、合成部２４は、障害物である壁Ｗの一部を透過させた俯瞰画像Ｐを合成することで、俯瞰画像Ｐに物体２００が含まれるようにした。
例えば、合成部２４は、車両Ｃの側方に障害物である壁Ｗが存在する場合に、俯瞰画像Ｐにおける障害物が存在する領域のうち進行方向側の一部を透過させた俯瞰画像Ｐを合成する。より具体的には、合成部２４は、撮像部１３ａ〜１３ｄの撮像画像を投影面にマッピングする場合に、仮想視点ＶＰから見て物体２００と壁Ｗとが重なる領域を透過させる。
例えば、合成部２４は、撮像部１３ｂの撮像画像に含まれる壁Ｗの領域の透過率を高くする。これにより、図８Ｂに示すように、俯瞰画像Ｐにおいて、障害物である壁Ｗを透過させ、かつ、物体２００を含ませることができる。したがって、車両Ｃの運転者は、壁Ｗと車両Ｃとのクリアランスを把握しつつ、壁Ｗの裏側に存在する物体２００を早期に捉えることができる。
なお、図８Ａおよび図８Ｂでは、合成部２４は、車両Ｃの前方に曲がり角が存在する場合に、俯瞰画像Ｐの一部の領域を透過させたが、曲り角の状況に限定されるものではなく、壁Ｗ等の障害物の裏側を視認する必要がある状況であればよい。
また、上述した実施形態では、合成部２４は、受付部２２が例えば車両Ｃの運転者から手動で仮想視点ＶＰの切替操作を受け付けた場合に、俯瞰画像Ｐを合成したが、自動で仮想視点ＶＰに切り替えてもよい。
例えば、合成部２４は、撮像部１３ａ〜１３ｄの撮像画像に基づいて道路幅を特定し、特定した道路幅が所定距離以下まで狭くなった場合に、仮想視点ＶＰの俯瞰画像Ｐを合成してもよい。これにより、車両Ｃの運転者が切替操作をしなくてよいため、狭路での運転に集中することができる。
また、上述した実施形態では、重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳するとした。しかし、重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを立体化した平面画像ＣＰを重畳し、車両Ｃが所定の走行位置又は所定の走行状態の場合に、立体的な平面画像ＣＰに代えて平面的な平面画像ＣＰを重畳してもよい。
すなわち、車両Ｃが所定の走行位置又は所定の走行状態の場合に、立体的な平面画像ＣＰに代えて平面的な平面画像ＣＰを重畳してもよい。すなわち、重畳部２５は、車両Ｃが狭路の曲がり角に位置した場合又は接近した場合に、立体的な平面画像ＣＰに代えて平面的な平面画像ＣＰを俯瞰画像Ｐに重畳してもよい。
また、重畳部２５は、車両Ｃの速度が低下して所定の低速度になった場合に、立体的な平面画像ＣＰに代えて平面的な平面画像ＣＰを俯瞰画像Ｐに重畳してもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
１ 画像生成装置
２ 制御部
３ 記憶部
１３ａ〜１３ｄ 撮像部
２１ 物体検出部
２２ 受付部
２３ 速度算出部
２４ 合成部
２５ 重畳部
Ｃ 車両
Ｐ 俯瞰画像
Ｒ 死角領域
Ｗ 壁
ＣＰ 平面画像
ＶＰ 仮想視点

Claims (3)

  1. 車両に設けられた撮像部によって撮像された撮像画像に基づき、前記車両の内部に設定され、前記車両の側方の少なくとも一部を含むように前記車両の進行方向を見る仮想視点の俯瞰画像を合成する合成部と、
    前記合成部によって合成された前記俯瞰画像における前記車両の路面位置に前記車両を２次元的に平面状とし、前記車両の外観を示す平面画像を重畳する重畳部と、を備え、
    前記重畳部は、
    前記俯瞰画像における前記撮像部の死角領域に収まるように前記平面画像を重畳すること
    を特徴とする画像生成装置。
  2. 前記車両の周辺に存在する物体を検出する物体検出部をさらに備え、
    前記重畳部は、
    前記物体検出部の検知範囲を示す検知範囲画像を前記俯瞰画像に重畳すること
    を特徴とする請求項１に記載の画像生成装置。
  3. 車両に設けられた撮像部によって撮像された撮像画像に基づき、前記車両の内部に設定され、前記車両の側方の少なくとも一部を含むように前記車両の進行方向を見る仮想視点の俯瞰画像を合成する合成工程と、
    前記合成工程によって合成された前記俯瞰画像における前記車両の路面位置に前記車両を２次元的に平面状とし、前記車両の外観を示す平面画像を重畳する重畳工程と、を含み、
    前記重畳工程は、
    前記俯瞰画像における前記撮像部の死角領域に収まるように前記平面画像を重畳すること
    を特徴とする画像生成方法。
JP2016255247A 2016-12-28 2016-12-28 画像生成装置および画像生成方法 Active JP6730177B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016255247A JP6730177B2 (ja) 2016-12-28 2016-12-28 画像生成装置および画像生成方法
US15/834,705 US10611308B2 (en) 2016-12-28 2017-12-07 Image generation device and image generation method
DE102017130664.1A DE102017130664A1 (de) 2016-12-28 2017-12-20 Bilderzeugungseinrichtung und bilderzeugungsverfahren
CN201711448939.4A CN108259879B (zh) 2016-12-28 2017-12-27 图像生成装置及图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016255247A JP6730177B2 (ja) 2016-12-28 2016-12-28 画像生成装置および画像生成方法

Publications (2)

Publication Number Publication Date
JP2018107754A JP2018107754A (ja) 2018-07-05
JP6730177B2 true JP6730177B2 (ja) 2020-07-29

Family

ID=62510436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016255247A Active JP6730177B2 (ja) 2016-12-28 2016-12-28 画像生成装置および画像生成方法

Country Status (4)

Country Link
US (1) US10611308B2 (ja)
JP (1) JP6730177B2 (ja)
CN (1) CN108259879B (ja)
DE (1) DE102017130664A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8534419B2 (en) 2008-10-16 2013-09-17 Zephyros, Inc. Composite sound absorber
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP7021134B2 (ja) 2019-01-25 2022-02-16 トヨタ自動車株式会社 車両周辺モニタ装置
JP7176421B2 (ja) 2019-01-25 2022-11-22 トヨタ自動車株式会社 駐車支援装置
JP7323413B2 (ja) 2019-10-11 2023-08-08 トヨタ自動車株式会社 駐車支援装置
JP7328116B2 (ja) 2019-10-11 2023-08-16 トヨタ自動車株式会社 駐車支援装置
EP4131945A4 (en) * 2020-03-31 2023-04-19 Honda Motor Co., Ltd. Image processing device, vehicle, image processing method, and program
JP7522389B2 (ja) 2021-01-27 2024-07-25 トヨタ自動車株式会社 駐車支援装置
JP2024082046A (ja) 2022-12-07 2024-06-19 トヨタ自動車株式会社 駐車支援装置
JP2024103257A (ja) 2023-01-20 2024-08-01 トヨタ自動車株式会社 駐車支援装置
JP2024108823A (ja) 2023-01-31 2024-08-13 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3620647B2 (ja) * 2000-05-24 2005-02-16 松下電器産業株式会社 描画装置
DE10317044A1 (de) * 2003-04-11 2004-10-21 Daimlerchrysler Ag Freiraumüberwachung bei Kraftfahrzeugen
JP2005020502A (ja) * 2003-06-27 2005-01-20 Nippon Seiki Co Ltd 車両用監視装置
JP4579145B2 (ja) * 2005-11-30 2010-11-10 アルパイン株式会社 車両周辺画像表示装置
JP2007180803A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2007274377A (ja) 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP4731392B2 (ja) * 2006-04-26 2011-07-20 アルパイン株式会社 車載周辺状況提示装置
US8131542B2 (en) * 2007-06-08 2012-03-06 Honda Motor Co., Ltd. Sound source separation system which converges a separation matrix using a dynamic update amount based on a cost function
JP2009101718A (ja) * 2007-10-19 2009-05-14 Toyota Industries Corp 映像表示装置及び映像表示方法
WO2009144994A1 (ja) 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP5118605B2 (ja) * 2008-10-30 2013-01-16 クラリオン株式会社 車両周辺画像表示システム
JP2010183234A (ja) * 2009-02-04 2010-08-19 Panasonic Corp 描画装置
CN102105811B (zh) * 2009-02-19 2013-10-16 松下电器产业株式会社 物体位置推定系统、物体位置推定装置、物体位置推定方法及物体位置推定程序
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
JP2012188057A (ja) * 2011-03-14 2012-10-04 Panasonic Corp 表示装置
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
JP2012244600A (ja) 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
JP5533903B2 (ja) * 2012-01-27 2014-06-25 トヨタ自動車株式会社 車両制御装置
JP5981237B2 (ja) * 2012-06-15 2016-08-31 トヨタ自動車株式会社 運転支援装置
CN103593836A (zh) * 2012-08-14 2014-02-19 无锡维森智能传感技术有限公司 一种摄像头参数计算方法及相机确定车体姿态的方法
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6148887B2 (ja) * 2013-03-29 2017-06-14 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6136565B2 (ja) * 2013-05-23 2017-05-31 日産自動車株式会社 車両用表示装置
WO2017110144A1 (ja) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6524922B2 (ja) * 2016-01-12 2019-06-05 株式会社デンソー 運転支援装置、運転支援方法
JP6261654B2 (ja) 2016-05-31 2018-01-17 株式会社デンソーテン 表示装置、表示方法及びプログラム

Also Published As

Publication number Publication date
US10611308B2 (en) 2020-04-07
JP2018107754A (ja) 2018-07-05
US20180178724A1 (en) 2018-06-28
CN108259879A (zh) 2018-07-06
DE102017130664A1 (de) 2018-06-28
CN108259879B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
JP6730177B2 (ja) 画像生成装置および画像生成方法
US12214510B2 (en) Display apparatus
CN104442567B (zh) 交通工具图像显示系统中的物体突显和传感
US20140114534A1 (en) Dynamic rearview mirror display features
JP5500877B2 (ja) 車載用画像表示装置および画像のトリミング方法
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP5911775B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JP6699370B2 (ja) 車両用画像処理装置
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP7283059B2 (ja) 周辺監視装置
JPWO2011036892A1 (ja) 運転支援表示装置
JP2010251939A (ja) 車両周囲画像表示システム
JP2007104373A (ja) 車両用画像表示装置
CN103987582A (zh) 驾驶辅助装置
JP6723820B2 (ja) 画像生成装置、画像表示システムおよび画像表示方法
JP2004240480A (ja) 運転支援装置
JP2014129093A (ja) 車両用周辺監視装置
WO2018030491A1 (ja) 周辺監査装置
JP2008148114A (ja) 運転支援装置
JP6258000B2 (ja) 画像表示システム、画像表示方法及びプログラム
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
JP6501805B2 (ja) 画像処理装置および画像処理方法
JP2011028634A (ja) 車両用画像表示装置
US20200231099A1 (en) Image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190627

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200204

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6730177

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250