Nothing Special   »   [go: up one dir, main page]

JP5871006B2 - 画像表示装置及び画像表示方法 - Google Patents

画像表示装置及び画像表示方法 Download PDF

Info

Publication number
JP5871006B2
JP5871006B2 JP2013535752A JP2013535752A JP5871006B2 JP 5871006 B2 JP5871006 B2 JP 5871006B2 JP 2013535752 A JP2013535752 A JP 2013535752A JP 2013535752 A JP2013535752 A JP 2013535752A JP 5871006 B2 JP5871006 B2 JP 5871006B2
Authority
JP
Japan
Prior art keywords
image
screen
side screen
image display
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013535752A
Other languages
English (en)
Other versions
JPWO2013046407A1 (ja
Inventor
有華 祖父江
有華 祖父江
竜路 岡村
竜路 岡村
愛 森本
愛 森本
悠 日栄
悠 日栄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JPWO2013046407A1 publication Critical patent/JPWO2013046407A1/ja
Application granted granted Critical
Publication of JP5871006B2 publication Critical patent/JP5871006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明の一実施形態は、車両の周辺画像を表示する画像表示装置及び画像表示方法に関する。
微低速走行時において、自車両による死角及び壁や隣接する他車両等の遮蔽物による死角によって、ドライバーが見たい場所が目視によって見えない場合がある。そこで、自車両による死角や遮蔽物による死角をカメラで撮影し、撮影した画像をディスプレイとを用いて表示する装置が提案されている。例えば、特許文献1の装置では、180°の視角を有する広角カメラで撮影した画像について、通常時は180°の視角中の120°の範囲をディスプレイに表示して駐車支援画像とする。障害物が検出されたときは、この装置は180°の広角の範囲をディスプレイに表示して駐車支援画像とする。
特開2009−65483号公報
ところで、上記技術では180°の広角の範囲の画像は、障害物の検出時にしか表示されない。そのため、車両に障害物が接近しているにも関わらず、障害物が検出されなかったときは、180°の広角の範囲の画像は表示されない。また、上記技術では、障害物が検出されたときにしか、ドライバーは180°の広角の範囲の画像を確認することができない。そのため、ドライバーにとって見易く判り易い画像を表示するという点で改善の余地がある。
本発明の一実施形態は、このような実情を考慮してなされたものであり、ドライバーにとって、より見易く、より判り易い画像を表示することができる画像表示装置及び画像表示方法を提供することにある。
本発明の一実施形態は、車両の周辺画像を取得する画像取得ユニットと、画像取得ユニットが取得した周辺画像を表示する画像表示ユニットとを備え、画像表示ユニットは、周辺画像を左側方画面、中央画面及び右側方画面に分割して表示し、左側方画面及び右側方画面に表示される周辺画像の歪みを補正する歪み補正を施し、左側方画面及び右側方画面の形状を歪み補正に応じた形状とする画像表示装置である。
この構成によれば、車両の周辺画像を取得する画像取得ユニットと、画像取得ユニットが取得した周辺画像を表示する画像表示ユニットとを備えた運転支援表示装置において、画像表示ユニットは、周辺画像を左側方画面、中央画面及び右側方画面に分割して表示するため、ドライバーはどこを表示しているのかが判り易くなる。また、画像表示ユニットは、左側方画面、中央画面及び右側方画面で同じ画像を表示しなくなるため、ドライバーは周辺画像中の物体と自車両との距離が判り易くなる。また、画像表示ユニットは、左側方画面及び右側方画面に表示される周辺画像の歪みを補正する歪み補正を施すため、ドライバーは歪曲を補正した見易い周辺画像を見ることができる。また、画像表示ユニットは、左側方画面及び右側方画面の形状を歪み補正に応じた形状とするため、ドライバーは周辺画像中の物体がどこから接近しているのかが判り易くなる。
この場合、画像表示ユニットは、左側方画面及び右側方画面に表示される周辺画像の広角レンズの収差による歪みを補正する歪み補正を施し、左側方画面の左側方及び右側方画面の右側方ほど左側方画面及び右側方画面の上下の幅を狭くし、左側方画面の外周は左側上方を向いた部分を有する形状とし、右側方画面の外周は右側上方を向いた部分を有する形状とすることができる。
この構成によれば、画像表示ユニットは左側方画面及び右側方画面に表示される周辺画像の広角レンズの収差による歪みを補正する歪み補正を施し、左側方画面の左側方及び右側方画面の右側方ほど左側方画面及び右側方画面の上下の幅を狭くし、左側方画面の外周は左側上方を向いた部分を有する形状とし、右側方画面の外周は右側上方を向いた部分を有する形状とする。このため、広角レンズの収差により遠方に向かって小さくなる歪みが補正された周辺画像は、例えば左右上方に向いた辺を有する台形である。そのため、ドライバーは周辺画像がどこを写しているのかが判り易くなる。また、ドライバーは、周辺画像中の物体がどこから接近して来るのかが判り易くなる。
また、画像表示ユニットは、左側方画面及び右側方画面に表示される周辺画像の広角レンズの収差による歪みを補正する歪み補正を施し、左側方画面及び右側方画面の大きさを中央画面の大きさよりも小さくすることができる。
この構成によれば、画像表示ユニットは、左側方画面及び右側方画面に表示される周辺画像の広角レンズの収差による歪みを補正する歪み補正を施し、左側方画面及び右側方画面の大きさを中央画面の大きさよりも小さくする。このため、広角レンズの収差により遠方に向かって小さくなる歪みが補正された周辺画像は、左側方画面及び右側方画面の大きさが中央画面よりも小さいことで、ドライバーは周辺画像がどこを写しているのかが判り易くなる。また、ドライバーは、周辺画像中の物体がどこから接近して来るのかが判り易くなる。さらに、単に左側方画面及び右側方画面の大きさを小さくするだけであるため、装置の処理負荷を軽減することができる。
また、画像表示ユニットは、左側方画面、中央画面及び右側方画面それぞれの間に間隔を空けて表示することができる。
この構成によれば、画像表示ユニットは、左側方画面、中央画面及び右側方画面それぞれの間に間隔を空けて表示する。このため、ドライバーは、左側方画面、中央画面及び右側方画面それぞれが分割されていることが判り易い。
また、画像表示ユニットは、左側方画面及び右側方画面のいずれかの周辺画像に写った物体が車両に接近するときは、物体の接近を示す運転支援表示を表示することができる。
この構成によれば、画像表示ユニットは、左側方画面及び右側方画面のいずれかの周辺画像に写った物体が車両に接近するときは、物体の接近を示す運転支援表示を表示する。このため、ドライバーは中央画面を注視していたとしても、側方から接近する物体に気付き易い。
また、本発明の一実施形態は、車両の周辺画像を取得する画像取得工程と、画像取得工程で取得した周辺画像を表示する画像表示工程とを含み、画像表示工程は、周辺画像を左側方画面、中央画面及び右側方画面に分割して表示し、左側方画面及び右側方画面に表示される周辺画像の歪みを補正する歪み補正を施し、左側方画面及び右側方画面の形状を歪み補正に応じた形状とする画像表示方法である。
本発明の一実施形態によれば、ドライバーにとって、より見易く、より判り易い画像を表示することができる。
実施形態の運転支援表示装置の構成を示すブロック図である。 実施形態の運転支援表示装置が適用される状況を示す平面図である。 実施形態の運転支援表示装置の基本的な動作を示すフローチャートである。 後方広角カメラが撮像した未処理の元画像を示す図である。 実施形態の運転支援表示システムの作動時において接近してくる移動物が存在しないときの表示画像を示す図である。 実施形態の運転支援表示システムの作動時において接近してくる移動物が存在するときの表示画像を示す図である。 実施形態の運転支援表示システムの非作動時において接近してくる移動物が存在しないときの表示画像を示す図である。 実施形態の運転支援表示システムの非作動時において接近してくる移動物が存在するときの表示画像を示す図である。 実施形態の運転支援表示装置のオプティカルフローのエリアに物体が存在するときの状況を示す平面図である。 実施形態の運転支援表示装置のオプティカルフローのエリアに物体が存在するときの運転支援の対象を示す平面図である。 実施形態の運転支援表示装置のパターンマッチングのエリアに物体が存在するときの状況を示す平面図である。 実施形態の運転支援表示装置のパターンマッチングのエリアに物体が存在するときの運転支援の対象を示す平面図である。 実施形態の運転支援表示装置の各支援エリア及び各対象物に応じた動作を示すフローチャートである。 実施形態の運転支援表示装置のオプティカルフローのエリアに移動物が存在し、パターンマッチングのエリアに人が存在するときの表示画像を示す図である。 実施形態の運転支援表示装置のパターンマッチングのエリアに人が存在するときの表示画像を示す図である。 別の実施形態の表示画像を示す図である。 別の実施形態の表示画像を示す図である。
以下、図面を参照して本発明の実施形態に係る画像表示装置及び画像表示方法について説明する。図1に示すように、本実施形態の画像表示装置は運転支援表示装置1として構成されている。運転支援表示装置1は、後方広角カメラ11、車速センサ12、操舵角センサ13、ECU20及びディスプレイ30を備えている。本実施形態の運転支援表示装置1は、車両に備えられ、車両の後方の画像をドライバーに提供するものである。
後方広角カメラ11は、車両の後方の画像を撮影するための1台のカメラである。後方広角カメラ11は、視角が180°程度の広角カメラである。車速センサ12は、車両の車速を検出するセンサである。例えば車速センサ12は、車両の車軸の回転速度を検出することにより、車両の車速を検出する。操舵角センサ13は、車両の操舵角を検出するセンサである。シフト位置センサは、車両のトランスミッションのシフト位置が後退(Reverse:R)の位置にあるか否かを検出するセンサである。
ECU(Electronic Control Unit)20は、運転支援表示1を統括的に制御する。ECU20は、CPU(Central Processing Unit]、ROM(Read Only Memory)、RAM(Random Access Memory)などからなる電子制御ユニットである。ECU2では、ROMに記憶されているアプリケーションプログラムをRAMにダウンロードし、CPUで実行することで、画像表示に係る各種演算処理を実行する。
ECU20は、その機能ごとに分類した場合には、移動物体検出部21、移動物軌道検出部22、移動物体位置・相対速度検出部23、危険度推定部24及び表示制御部25を有している。
移動物体検出部21は、後述するように、画像と所定のパターンとの照合を行うことにより画像に写った物体を検出するパターンマッチングによる方法と、画像中の点が時間の経過とともに動く方向と速さとを解析することにより画像に写った物体を検出するオプティカルフローによる方法とにより、後方広角カメラ11により撮影された画像中の物体を検出する。なお、後述するように、パターンマッチングにより物体を検出する場合には、移動物体検出部21は静止物体を検出することもできる。
移動物軌道検出部22は、移動物体検出部21により検出された画像中の物体の位置及び動きと、車速センサ12及び操舵角センサ13により検出された車両の動きとから、画像中の物体の軌道を検出する。
移動物体位置・相対速度検出部23は、移動物軌道検出部22により検出された画像中の物体の軌道に基づいて、画像中の物体の位置及び車両との相対速度を検出する。
危険度推定部24は、移動物体位置・相対速度検出部23により検出された画像中の物体の位置及び相対速度に基づいて、画像中の物体の危険度を推定する。
表示制御部25は、後述するように、移動物体位置・相対速度検出部23により検出された物体の位置及び相対速度と、危険度推定部24により推定された危険度と、車速センサ12、操舵角センサ13及びシフト位置センサ14により検出された車両の状態とから、ドライバーの運転を支援するための運転支援表示をディスプレイ30に表示する。
ディスプレイ30は、後方広角カメラ11により撮影された後方画像を表示する。ディスプレイ30は、例えば、運転席近傍に設けられるモニタや、フロントガラス等に画像を表示するヘッドアップディスプレイを使用することができる。
なお、本実施形態では、運転支援表示装置1は、後方広角カメラ11により撮影された画像に対する画像認識により車両近傍の物体を検出する。しかし、車両近傍の物体を検出するために、別途、レーダ、ライダ、ソナー等のセンサを備えていても良い。
以下、本実施形態の運転支援表示装置1の動作について説明する。図2に示すように、本実施形態の運転支援表示装置1は、自車両100が後退しつつ駐車位置から道路に出る場合、及び自車両100が後退しつつ駐車位置に駐車する場合に、自車両100の後方を見ることが難しいドライバーの運転を支援するために適用される。運転支援表示装置1は、後方広角カメラ11の撮像範囲である支援エリアA内の他車両V等を検出し、ドライバーに報知する。
まず、本実施形態の運転支援表示装置1の基本的な動作について説明する。図3に示すように、本実施形態の運転支援表示装置1は、シフト位置センサ14が自車両100のトランスミッションのシフト位置が後退の位置にある間に作動状態となる(S101)。
運転支援表示装置1のECU20の表示制御部25は、車速センサ12及び操舵角センサ13の検出値が運転支援表示装置1の運転支援システムの内で側方からの移動物を報知するシステムの作動条件であるか否かを判定する(S102)。
移動物を検出する方法としては、レーダ、ライダ、ソナー及び画像認識等があるが、センサの性能や画像認識の精度により、自車両100の速度や操舵角等の条件によっては誤検知又は未検知等の恐れがある。誤検出及び未検出はドライバーが運転支援表示装置1の運転支援システムに不信を抱く。そのため、本実施形態では、側方からの移動物を報知する運転支援システムを速度や舵角が所定の閾値以上になった場合は非作動とする。
例えば図2に示す状況のように自車両100が発進するときにのみ、運転支援表示装置1が自車両100側方の移動物体をドライバーに報知する場合は、速度が0km/h近傍である場合又は速度が0.1〜3km/h以下又は4km/h以下である場合を自車両100側方の移動物体をドライバーに報知する運転支援システムの作動条件にできる。
側方の移動物体を報知する運転支援システムの作動条件である場合は(S102)、表示制御部25はディスプレイ30に、後方広角カメラ11により撮影された画像を3分割して表示する(S103)。図4の表示画面200に示すように、後方広角カメラ11により撮影された元の画像は180°の視角を有する。画像の左右端部は広角レンズの収差により、左右端部に向かうほど小さく上方に見える歪みが生じている。
本実施形態では、図5に示すように、表示画面200に、後方広角カメラ11により撮影された画像を左右の後側方画面204及び中央の後方画面202に3分割して表示する。左右の後側方画面204及び中央の後方画面202の間は、後方広角カメラ11により撮影された画像が分割されていることがドライバーに判り易いように所定の間隔が隔てられている。この場合の間隔は、2〜10mm程度とすることができる。
表示制御部25は、左右の後側方画面204の画像に対して広角レンズの収差による歪みを補正する歪み補正を施す。表示制御部25は、左右の後側方画面204に施した歪み補正に対応して、左右の後側方画面204を画面の左右に垂直な対辺を有する台形に表示する。表示制御部25は、左の後側方画面204の左側方及び右の後側方画面204の右側方ほど、後側方画面204の上下の幅が狭くなるように表示する。また、表示制御部25は、左の後側方画面204の上下の辺は左上方を向き、右の後側方画面204の上下の辺は右上方を向くように表示する。
表示制御部25は、中央の後方画面202を長方形となるように表示する。表示制御部25は、左右の後側方画面204及び中央の後方画面202の画像が自車両100のどの位置の画像であるのかを示す表示範囲シンボル206を表示する。また、表示制御部25は、自車両100の後退時にドライバーが運転の基準とするための車幅ライン208を中央の後方画面202に表示する。これにより、左右の後側方画面204及び中央の後方画面202の画像はそれぞれ異なる画像となる。
運転支援表示装置1のECU20の移動物体検出部21が後述するオプティカルフローの手法により、他車両V等の移動物体を検出したときは(S104)、表示制御部25は、図6に示すように、他車両Vが自車両100に接近してくる側の後側方画面204及び後方画面202の一部を他車両Vが接近してくる方向から囲む移動物接近検出枠210を表示する(S105)。移動物接近検出枠210が囲む範囲は、後側方画面204及び後方画面202の画像中におけるオプティカルフローによる検知範囲を示している。なお、本実施形態では、自車両100近傍に歩行者等の静止物体が存在する場合もドライバーに報知するがその際の動作については後述する。
車速又は舵角が所定の閾値を越えており、側方の移動物体を報知する運転支援システムの作動条件を満たさないときは(S102)、表示制御部25は運転支援システムの一部を作動させず、図7に示すように中央の後方画面202のみを表示する(S106)。この場合、図8に示すように、ドライバーは、他車両V等の物体が自車両100近傍に接近してきたことは、後方画面202により確認可能である。そのため、側方の移動物体を報知する運転支援システムの非作動時であっても、自車両100の後退時の運転を支援するモニタとして運転支援表示装置1を利用することができる。さらに、側方の移動物体を報知する運転支援システムの非作動時であっても、後述するパターンマッチングによる手法により、中央の後方画面202の画像中の歩行者等は検出され、ドライバーに報知される。
以下、本実施形態の運転支援表示装置1の物体を検出する動作について説明する。図9に示すように、本実施形態では、後側方画面204に表示される範囲であるオプティカルフロー支援エリアAopでは、画像中の点が時間の経過とともに動く方向と速さとを解析することにより画像に写った物体を検出するオプティカルフローによる物体の検出が行われる。一方、後方画面202に表示される範囲であるパターンマッチング支援エリアApmでは、画像と所定のパターンとの照合を行うことにより画像に写った物体を検出するパターンマッチングによる物体の検出が行われる。
図9の例では、オプティカルフロー支援エリアAopから自車両100に他車両Vが接近しており、運転支援表示装置1のECU20の移動物体検出部21は、オプティカルフローにより、他車両Vを検出する。図10の例では、オプティカルフロー支援エリアAopから自車両100に他車両V及び歩行者Pが接近しており、移動物体検出部21は、オプティカルフローにより、他車両V及び歩行者Pを検出する。いずれの例でも、オプティカルフロー支援エリアAopでは、遠方から接近する移動物体を検出可能である。オプティカルフロー支援エリアAopでは静止物体は検出不可能である。しかし、自車両100近傍でなければ、静止物体が自車両100に接触する可能性は無いため、オプティカルフロー支援エリアAopでは、移動物体のみをオプティカルフローによる方法により検出する。
図11の例では、パターンマッチング支援エリアApmから自車両100に歩行者Pが接近しており、運転支援表示装置1のECU20の移動物体検出部21は、パターンマッチングにより、歩行者Pを検出する。図12の例では、パターンマッチング支援エリアApmから自車両100に移動中の歩行者P及び静止中の歩行者Pが存在しており、移動物体検出部21は、パターンマッチングにより、歩行者Pそれぞれを検出する。いずれの例でも、パターンマッチング支援エリアApmでは、自車両100近傍の移動物体及び静止物体を検出可能である。パターンマッチング支援エリアApmでは、自車両100が移動する範囲であり、静止物体が自車両100に接触する可能性があるため、静止物体も検出する必要がある。パターンマッチング支援エリアApmでは、移動物体検出部21は、照合するためのパターンとして主に人のパターンと画像中の物体との照合を行う。なお、自車両100近傍についてはソナーによって静止物体を検出することでも対応可能である。
図13に示すように、運転支援表示装置1のECU20の移動物体検出部21がオプティカルフロー支援エリアAop内であり且つ支援エリアA内に他車両V又は人等の移動物体が接近していることを検出した場合であって(S201)、移動物体検出部21がパターンマッチング支援エリアApm内であり且つ支援エリアA内に歩行者P等の物体が存在していることを検出した場合(S202)、ECU20の危険度推定部24は、物体の位置及び相対速度から危険度を推定する(S203)。ECU20の表示制御部25は、危険度を基に図14に示すような他車両Vが接近する側の後側方画面204の一部を囲む移動物接近検出枠210と歩行者Pを囲む歩行者検出枠212とを後方画面202及び後側方画面204に点滅させつつ表示する(S204)。
危険度推定部24は、物体の位置が自車両100から近いほど、当該物体の危険度を高く推定する。危険度推定部24は、物体の自車両100との相対速度が大きいほど、当該物体の危険度を高く推定する。表示制御部25は、危険度推定部24が推定した危険度が高いほど、移動物接近検出枠210及び歩行者検出枠212を表示する時期を早くする。表示制御部25は、危険度推定部24が推定した危険度が高いほど、移動物接近検出枠210及び歩行者検出枠212を点滅させる間隔を短くする。
あるいは、表示制御部25は、危険度推定部24が推定した危険度が高いほど、移動物接近検出枠210及び歩行者検出枠212の輝度が高くなるように表示することができる。あるいは、表示制御部25は、危険度推定部24が推定した危険度が高いほど、移動物接近検出枠210及び歩行者検出枠212の色を変化させて表示することができる。例えば、表示制御部25は、危険度推定部24が推定した危険度が高くなるほど、青色、黄色から赤色に変化させて表示することができる。
移動物体検出部21がオプティカルフロー支援エリアAop内であり且つ支援エリアA内に他車両V又は人等の移動物体が接近していることを検出した場合であって(S201)、移動物体検出部21がパターンマッチング支援エリアApm内であり且つ支援エリアA内に歩行者P等の物体が存在していることを検出していない場合(S202)、危険度推定部24は、物体の位置及び相対速度から危険度を推定する(S205)。表示制御部25は、上述したように危険度を基にして、図6に示すような他車両Vが接近する側の後側方画面204の一部を囲む移動物接近検出枠210を後側方画面204に点滅させつつ表示する(S206)。
移動物体検出部21がオプティカルフロー支援エリアAop内であり且つ支援エリアA内に他車両V又は人等の移動物体が接近していることを検出した場合であって(S201)、移動物体検出部21がパターンマッチング支援エリアApm内であり且つ支援エリアA内に歩行者P等の物体が存在していることを検出した場合(S207)、危険度推定部24は、物体の位置及び相対速度から危険度を推定する(S208)。表示制御部25は、上述したように危険度を基にして、図15に示すような他車両Vが接近する側の後側方画面204の一部を囲む移動物接近検出枠210と歩行者Pを囲む歩行者検出枠212とを後方画面202及び後側方画面204に点滅させつつ表示する(S204)。
本実施形態によれば、後方広角カメラ11と、後方広角カメラ11が撮影した後方画像を表示するECU20及びディスプレイ30とを備えた運転支援表示装置1において、ECU20の表示制御部25及びディスプレイ30は、後方画像を左右の後側方画面204及び中央の後方画面202に分割して表示するため、ドライバーはどこを表示しているのかが判り易くなる。また、表示制御部25及びディスプレイ30は、左右の後側方画面204及び中央の後方画面202で同じ画像を表示しなくなるため、ドライバーは後方画像中の物体と自車両100との距離が判り易くなる。また、表示制御部25は、左右の後側方画面204に表示される後方画像の歪みを補正する歪み補正を施すため、ドライバーは歪曲を補正した見易い後方画像を見ることができる。また、表示制御部25は、左右の後側方画面204の形状を歪み補正に応じた形状とするため、ドライバーは後方画像中の物体がどこから接近しているのかが判り易くなる。
また、表示制御部25は、左右の後側方画面204に表示される周辺画像の広角レンズの収差による歪みを補正する歪み補正を施し、左の後側方画面204の左側方及び右の後側方画面204の右側方ほど後側方画面204の上下の幅を狭くし、左の後側方画面204の上下の辺は左側上方を向いた形状とし、右の後側方画面204の上下の辺は右側上方を向いた部分を有する台形とする。このため、そのため、ドライバーは後方画像がどこを写しているのかが判り易くなる。また、ドライバーは、後方画像中の物体がどこから接近して来るのかが判り易くなる。
また、表示制御部25は、左右の後側方画面204及び中央の後方画面202それぞれの間に間隔を空けて表示する。このため、ドライバーは、左右の後側方画面204及び中央の後方画面202それぞれが分割されていることが判り易い。
また、表示制御部25は、左右の側方画面204のいずれかの後方画像に写った物体が自車両100に接近するときは、物体の接近を示す移動物接近検出枠210を表示する。このため、ドライバーは中央の後方画面202を注視していたとしても、側方から接近する物体に気付き易い。
すなわち、本実施形態では、中央の後方画面202を大きくすることにより、表示画面200をバックガイドモニターとして使用しやすい。後方画面202を大きくし、後側方画面204を小さく表示することにより、側方から接近する物体は画面で小さくなる。しかし、ドライバーが中央の後方画面202を注視していたとしても、ドライバーは側方から接近する物体を移動物接近検出枠210により気付き易い。また、本実施形態では、画面を通常から広角へ切り替える煩わしさがない。
また、本実施形態によれば、後方広角カメラ11と、後方広角カメラ11が撮影した後方画像を表示するECU20及びディスプレイ30とを備えた運転支援表示装置1において、ECU20の表示制御部25及びディスプレイ30は、後方画像を複数の画面に分割して表示しつつ、自車両100のドライバーの運転を支援する移動物接近検出枠210及び歩行者検出枠212を表示することが可能であり、移動物接近検出枠210を表示するときと、移動物接近検出枠210を表示しないときとで、表示する画面の数を変更する。このため、ドライバーは、移動物接近検出枠210を表示するシステムの作動時と非作動時とをより認識し易くなる。
また、表示制御部25は、後方画像を左右の後側方画面204及び中央の後方画面202に分割して表示することが可能であり、移動物接近検出枠210及び歩行者検出枠212を表示するときは、左右の後側方画面204及び中央の後方画面202を表示し、移動物接近検出枠210を表示しないときは、中央の後方画面202のみを表示する。このため、ドライバーは、移動物接近検出枠210を表示するシステムの作動時と非作動時とを認識し易い。また、移動物接近検出枠210を表示するシステムの非作動時にも、中央の後方画面202は表示されるため、中央の後方画面202を後方監視のために用いることができる。
また、表示制御部25は、左右の後側方画面204に写った物体が自車両100に接近するときに物体の接近を示す移動物接近検出枠210を表示する。このため、ドライバーは中央画面を注視していたとしても、側方から接近する物体に気付き易い。
また、表示制御部25は、自車両100の速度及び舵角のいずれかが所定の閾値以上のときは、移動物接近検出枠210を表示しない。物体の接近を検知する手法としては、レーダ、ライダ、ソナー及び画像認識等があるが、車両の速度や舵角が大きい場合は誤検知や未検知等の恐れがある。誤検知や未検知はドライバーのシステムへの不信にもつながる。そのため、自車両100の速度及び舵角が閾値以上のときに移動物接近検出枠210を表示しないことにより、自車両100に接近する物体の誤検知や未検知を防止することができる。
また、本実施形態によれば、後方広角カメラ11と、後方広角カメラ11が撮影した後方画像を表示するECU20及びディスプレイ30とを備えた運転支援表示装置1において、ECU20の表示制御部25及びディスプレイ30は、後方画像を左右の後側方画面204及び中央の後方画面202に分割して表示し、中央の後方画面202の画像について、画像と所定のパターンとの照合を行うことにより画像に写った物体を検出し、左右の後側方画面204の画像について、画像中の点が時間の経過とともに動く方向と速さとを解析することにより画像に写った物体を検出し、検出された物体の存在を示す移動物接近検出枠210又は歩行者検出枠212を表示する。このため、自車両100正面近傍で停止している人、自車両100が移動しているときに自車両100正面近傍に存在する人等を画像と所定のパターンとの照合を行うパターンマッチングの手法で検出し、検出した人等の存在をドライバーに報知することができる。また、自車両100側方の遠方から接近してくる人及び車両等を画像中の点が時間の経過とともに動く方向と速さとを解析するオプティカルフローの手法により検出し、検出した人及び車両等の存在をドライバーに報知することができる。したがって、物体の位置、速度及び種類に応じてより適切に物体を検出して表示することができる。
また、表示制御部25は、中央の後方画面202の画像に写った歩行者Pを検出したときは、歩行者Pを囲む歩行者検出枠212を表示し、左右の後側方画面204いずれかの画像に写った物体を検出したときは、物体が検出された左右の後側方画面204いずれかの少なくとも一部を囲む移動物接近検出枠210を表示する。これにより、ドライバーは、中央の後方画面202と、左右の後側方画面204とで物体を検出する手法が異なることを認識することができる。つまり、中央の後方画面202と、左右の後側方画面204とで枠の囲み方を変えることで、中央の後方画面では人しか検出しないことをドライバーに知らせることができる。
ドライバーは、側方は主に発進時に確認し、後方中央は発進時及び移動時に確認することが多い。移動時の場合、より素早く物体を確認する必要があるため、物体を歩行者検出枠212で囲むことによって、物体の位置も認識することができる。
尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施形態での運転支援表示装置1の処理負荷が高い場合は、図16に示すように、後側方画面204’の大きさを歪み補正に合せて小さくするだけでも良い。上述したように、移動物を検知したことをドライバーに報知する移動物接近検出枠210は、物体を検出した範囲によって変更する。後側方画面204’内の場合は後側方画面204’のみに移動物接近検出枠210を表示しても良い。
また、上記実施形態では、運転支援システムの非作動時に後側方画面204を消去した。しかし、運転支援システムの非作動時に後側方画面204を消去してしまうと、ドライバーによっては後側方画面204を見たいにも関わらず見れないと感じる場合もある。このため、図17に示すように、運転支援システムの非作動時に、後側方画面204を表示しつつ、後側方画面204に非作動表示ライン214を表示することもできる。
上記の本発明の一実施形態の画像表示装置及び画像表示方法によれば、ドライバーにとって、より見易く、より判り易い画像を表示することができる。
1 運転支援表示装置
11 後方広角カメラ
12 車速センサ
13 操舵角センサ
14 シフト位置センサ
20 ECU
21 移動物体検出部
22 移動物軌道検出部
23 移動物体位置・相対速度検出部
24 危険度推定部
25 表示制御部
30 ディスプレイ
100 自車両
200 表示画面
202 後方画面
204,204’ 後側方画面
206 表示範囲シンボル
208 車幅ライン
210 移動物接近検出枠
212 歩行者検出枠
214 非作動表示ライン
A…支援エリア
Aop…オプティカルフロー支援エリア
Apm…パターンマッチング支援エリア
V…他車両
P…歩行者

Claims (6)

  1. 車両の周辺画像を取得する画像取得ユニットと、
    前記画像取得ユニットが取得した前記周辺画像を表示する画像表示ユニットと、
    を備え、
    前記画像表示ユニットは、
    前記周辺画像を左側方画面、中央画面及び右側方画面に分割して表示し、
    前記左側方画面及び前記右側方画面に表示される前記周辺画像の歪みを補正する歪み補正を施し、
    前記左側方画面及び前記右側方画面の形状を前記歪み補正に応じた形状とする、画像表示装置。
  2. 前記画像表示ユニットは、
    前記左側方画面及び前記右側方画面に表示される前記周辺画像の広角レンズの収差による歪みを補正する前記歪み補正を施し、
    前記左側方画面の左側方及び前記右側方画面の右側方ほど前記左側方画面及び前記右側方画面の上下方向の長さを狭くし、前記左側方画面の外周は左側上方を向いた部分を有する形状とし、前記右側方画面の外周は右側上方を向いた部分を有する形状とする、請求項1に記載の画像表示装置。
  3. 前記画像表示ユニットは、
    前記左側方画面及び前記右側方画面に表示される前記周辺画像の広角レンズの収差による歪みを補正する前記歪み補正を施し、
    前記左側方画面及び前記右側方画面の大きさを前記中央画面の大きさよりも小さくする、請求項1に記載の画像表示装置。
  4. 前記画像表示ユニットは、前記左側方画面、前記中央画面及び前記右側方画面それぞれの間に間隔を空けて表示する、請求項1〜3のいずれか1項に記載の画像表示装置。
  5. 前記画像表示ユニットは、前記左側方画面及び前記右側方画面のいずれかの前記周辺画像に写った物体が前記車両に接近するときは、前記物体の接近を示す運転支援表示を表示する、請求項1〜4のいずれか1項に記載の画像表示装置。
  6. 車両の周辺画像を取得する画像取得工程と、
    前記画像取得工程で取得した前記周辺画像を表示する画像表示工程と、
    を含み、
    前記画像表示工程は、
    前記周辺画像を左側方画面、中央画面及び右側方画面に分割して表示し、
    前記左側方画面及び前記右側方画面に表示される前記周辺画像の歪みを補正する歪み補正を施し、
    前記左側方画面及び前記右側方画面の形状を前記歪み補正に応じた形状とする、画像表示方法。
JP2013535752A 2011-09-29 2011-09-29 画像表示装置及び画像表示方法 Active JP5871006B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/072467 WO2013046407A1 (ja) 2011-09-29 2011-09-29 画像表示装置及び画像表示方法

Publications (2)

Publication Number Publication Date
JPWO2013046407A1 JPWO2013046407A1 (ja) 2015-03-26
JP5871006B2 true JP5871006B2 (ja) 2016-03-01

Family

ID=47994514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013535752A Active JP5871006B2 (ja) 2011-09-29 2011-09-29 画像表示装置及び画像表示方法

Country Status (5)

Country Link
US (1) US9299260B2 (ja)
EP (1) EP2763404B1 (ja)
JP (1) JP5871006B2 (ja)
CN (1) CN103843326A (ja)
WO (1) WO2013046407A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
DE112013005126T5 (de) 2012-10-23 2015-07-16 Tk Holdings Inc. Lenkrad-Lichtbalken
JP6266238B2 (ja) * 2013-07-03 2018-01-24 クラリオン株式会社 接近物検出システム、及び車両
US9098753B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
US9873446B2 (en) 2014-07-23 2018-01-23 Tk Holdings, Inc. Steering grip light bar systems
US9580012B2 (en) * 2015-03-02 2017-02-28 Tk Holdings Inc. Vehicle object detection and notification system
US10036843B2 (en) 2015-04-24 2018-07-31 Joyson Safety Systems Acquisition Llc Steering wheel light bar
DE102015011536A1 (de) * 2015-09-02 2017-03-02 Man Truck & Bus Ag Spiegelersatzsystem als Kamera-Monitor-System (KMS) eines Kraftfahrzeugs, insbesondere eines Nutzfahrzeugs
JP6344417B2 (ja) * 2016-03-18 2018-06-20 トヨタ自動車株式会社 車両用表示装置
TWI613106B (zh) * 2016-05-05 2018-02-01 威盛電子股份有限公司 車輛周圍影像處理方法及裝置
JP6788447B2 (ja) * 2016-09-12 2020-11-25 日立オートモティブシステムズ株式会社 映像出力システム
US10696217B2 (en) 2017-01-04 2020-06-30 Joyson Safety Systems Acquisition Vehicle illumination systems and methods
WO2019173750A1 (en) 2018-03-08 2019-09-12 Joyson Safety Systems Acquisition Llc Vehicle illumination systems and methods
DE112018006294B4 (de) * 2018-03-12 2023-10-05 Hitachi Astemo, Ltd. Fahrzeugsteuervorrichtung
JP7440235B2 (ja) * 2019-09-26 2024-02-28 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法
US11615542B2 (en) * 2019-11-14 2023-03-28 Panasonic Avionics Corporation Automatic perspective correction for in-flight entertainment (IFE) monitors
US20230082856A1 (en) * 2021-09-14 2023-03-16 Daniel Lutes Rear View Camera Assembly
JP7500527B2 (ja) * 2021-09-24 2024-06-17 キヤノン株式会社 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
CN116916156B (zh) * 2023-08-16 2023-12-05 深圳金语科技有限公司 一种监视系统分视野显示方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JPH09202180A (ja) * 1996-01-29 1997-08-05 Niles Parts Co Ltd 車載カメラ装置
JP4195966B2 (ja) 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
JP3977368B2 (ja) * 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
FR2884338B1 (fr) * 2005-04-11 2007-10-19 Valeo Vision Sa Procede, dispositif et camera pour la detection d'objets a partir d'images numeriques
JP2007221199A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ表示装置及び画像処理装置
JP4793307B2 (ja) * 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP4985250B2 (ja) 2007-09-06 2012-07-25 株式会社デンソー 駐車支援装置
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
JP2010109483A (ja) 2008-10-28 2010-05-13 Honda Motor Co Ltd 車両周辺表示方法
CN101425181B (zh) * 2008-12-15 2012-05-09 浙江大学 一种全景视觉辅助泊车系统的标定方法
JP5049304B2 (ja) * 2009-01-29 2012-10-17 本田技研工業株式会社 車両の周辺を画像表示するための装置

Also Published As

Publication number Publication date
JPWO2013046407A1 (ja) 2015-03-26
US9299260B2 (en) 2016-03-29
EP2763404A1 (en) 2014-08-06
US20140232538A1 (en) 2014-08-21
WO2013046407A1 (ja) 2013-04-04
EP2763404B1 (en) 2019-11-13
EP2763404A4 (en) 2015-12-30
CN103843326A (zh) 2014-06-04

Similar Documents

Publication Publication Date Title
JP5871006B2 (ja) 画像表示装置及び画像表示方法
JP5895941B2 (ja) 画像表示装置及び画像表示方法
JP5741173B2 (ja) 画像表示装置、及び、画像表示方法
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
JP6205640B2 (ja) 車両用警告装置
EP2775467A1 (en) Obstacle alert device
CN107004250B (zh) 图像生成装置及图像生成方法
JP5445719B2 (ja) 画像表示装置及び画像表示方法
JP2011150475A (ja) 周辺監視装置
JP2013161440A (ja) 車両周辺監視装置
JP6166188B2 (ja) 撮像システム、および撮像システムの制御方法
JP2009246808A (ja) 車両用周辺監視装置
US20210339678A1 (en) Information presentation device, information presentation control method, and non-transitory computer-readable recording medium
JP4799236B2 (ja) 車載表示システム
JP2023160390A (ja) 標識情報表示システム及び、標識情報表示方法
JP5529097B2 (ja) 車両の運転支援装置
JP2005217482A (ja) 車両周辺監視方法および装置
JP2006182108A (ja) 車両周辺監視装置
JP4598011B2 (ja) 車両用表示装置
JP4876938B2 (ja) 運転支援装置、方法およびプログラム
JP2009110065A (ja) 運転支援装置
JP5459324B2 (ja) 車両周辺監視装置
JP2011113120A (ja) 車両用周辺監視装置
CN118306314A (zh) Svm俯视图像处理方法和装置
JP2022074395A (ja) 車両用表示制御システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151228

R151 Written notification of patent or utility model registration

Ref document number: 5871006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151