JP5861293B2 - Video display device for vehicle - Google Patents
Video display device for vehicle Download PDFInfo
- Publication number
- JP5861293B2 JP5861293B2 JP2011158800A JP2011158800A JP5861293B2 JP 5861293 B2 JP5861293 B2 JP 5861293B2 JP 2011158800 A JP2011158800 A JP 2011158800A JP 2011158800 A JP2011158800 A JP 2011158800A JP 5861293 B2 JP5861293 B2 JP 5861293B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- depth degree
- image display
- display device
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、車輌周囲の映像を立体映像として運転者に表示する車輌用映像表示装置に関するものである。 The present invention relates to a vehicle video display device that displays a video around a vehicle as a stereoscopic video to a driver.
自動車の後方或いは側方に設けられた2台のカメラによって撮像した画像を、車室内に設けられた液晶表示画面に立体映像として表示する技術が知られている(例えば特許文献1参照)。 2. Description of the Related Art A technique for displaying an image captured by two cameras provided at the rear or side of an automobile as a three-dimensional image on a liquid crystal display screen provided in the vehicle interior is known (see, for example, Patent Document 1).
運転者は運転シーンに応じて注目すべき対象を自然に変えているが、立体映像の中には視差が大き過ぎて融像できない部分も含まれている。上記の技術では、モニタと運転者との位置関係に立体映像の奥行き度を対応させているだけなので、運転シーンによっては注目すべき物体を立体映像から視認できない場合があり、十分な状況認識性能を確保できないおそれがあるという問題がある。 The driver naturally changes the target to be noticed according to the driving scene, but the stereoscopic image includes a portion where the parallax is too large to be fused. In the above technology, only the depth of the stereoscopic image is associated with the positional relationship between the monitor and the driver, so depending on the driving scene, the object to be noticed may not be visible from the stereoscopic image, and sufficient situation recognition performance is achieved. There is a problem that it may not be possible to secure.
本発明が解決しようとする課題は、立体映像による状況認識性能の向上を図ることが可能な車輌用映像表示装置を提供することである。 The problem to be solved by the present invention is to provide a vehicular video display device capable of improving the situation recognition performance by stereoscopic video.
本発明は、立体映像表示手段に表示する立体映像の奥行き度を、車輌の運転シーンに基づいて調整することによって上記課題を解決する。 The present invention solves the above problem by adjusting the depth of a stereoscopic image displayed on the stereoscopic image display means based on the driving scene of the vehicle.
本発明によれば、運転シーンに応じて奥行き度が最適化された立体映像を運転者に対して表示することが可能となるので、立体映像による状況認識性能の向上を図ることができる。 According to the present invention, since it is possible to display a stereoscopic video having an optimized depth according to the driving scene to the driver, it is possible to improve the situation recognition performance based on the stereoscopic video.
以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は本実施形態における車輌用映像表示装置の構成を示すブロック図、図2は2つの映像間の視差を説明するための図、図3は立体映像におけるカメラ、近傍面、スクリーン面、及び遠方面の関係を示す斜視図、図4は図3の例における立体映像を示す図、図5(a)〜図5(c)はそれぞれの運転シーンにおける最適な提示範囲の例を示す側面図である。 FIG. 1 is a block diagram illustrating a configuration of a vehicle image display device according to the present embodiment, FIG. 2 is a diagram for explaining parallax between two images, FIG. 3 is a camera, a near surface, a screen surface, FIG. 4 is a diagram showing a stereoscopic image in the example of FIG. 3, and FIGS. 5 (a) to 5 (c) are side views showing examples of optimum presentation ranges in each driving scene. It is.
本実施形態における車輌用映像表示装置1は、自動車1の前方又は後方の映像を立体映像として運転者に表示する装置であり、図1に示すように、2組のカメラ21L/R,22L/Rと、3Dモニタ30と、ナビゲーション装置40と、物体検出センサ50と、映像制御部60と、を備えている。
The vehicle
一対の前方カメラ21L,21R(以下単に、前方カメラ21とも称する。)は、CCDイメージセンサ、MOSセンサ、又はCID等の複数の光電変換素子が二次元に配置された光電変換モジュールを備えている。この前方カメラ21は、自動車1の先端に設けられおり、自動車1の前方を撮像することが可能となっている。なお、左側のカメラ21Lが、立体映像を形成するための左眼用の映像を撮像し、右側のカメラ21Rが右眼用の映像を撮像する。
The pair of
なお、いわゆる平行法を採用する場合には、光軸が実質的に平行になるように2つのカメラ20L,20Rを平行に並べて配置する。一方、いわゆる交差法を採用する場合(以下単にカメラ交差法と称する。)には、カメラの光軸が相互に交差するようにカメラ20L,20Rを互いに傾けて設置する。また、それぞれのカメラにおいて撮像素子に対してレンズをずらすことで、カメラの光軸を相互に交差させる場合(以下単にレンズ交差法と称する。図8(a)及び図8(b)参照)には、2つのカメラ20R,20Lを平行に並べて設置する。また、後述する多視点方式を採用する場合には、自動車1の先端や後端に3以上のカメラをそれぞれ設ける。
When the so-called parallel method is employed, the two
自動車1の後端にも、前方カメラ21と同様の一対の後方カメラ22L,22R(以下単に、後方カメラ22とも称する。)が設けられており、自動車1の後方を撮像することが可能となっている。
A pair of
3Dモニタ30は、自動車1の車室内に設けられ、運転者の左右眼に対して映像を分割して提示することが可能な裸眼型或いはメガネ型の三次元ディスプレイであり、2台のカメラ21(又は22)によって撮像された映像を立体映像として表示することが可能となっている。
The
裸眼型の3Dディスプレイの具体例としては、例えば、パララックスバリア(Parallax Barrier)方式、レンチキュラ(Lenticular)方式、CLD(Chromatic Light Deflector)方式等を例示することができる。また、メガネ型の3Dディスプレイの具体例としては、例えば、液晶シャッタ方式や偏光フィルタ方式等を例示することができる。 Specific examples of the naked-eye type 3D display include a parallax barrier method, a lenticular method, a CLD (Chromatic Light Deflector) method, and the like. As specific examples of the glasses-type 3D display, for example, a liquid crystal shutter method, a polarizing filter method, and the like can be exemplified.
なお、前方カメラ21によって撮像された映像と、後方カメラ22によって撮像された画像を同時に表示するために3Dモニタ30を複数設けてもよいし、一つの3Dモニタ30に前方及び後方の立体映像を表示してもよい。
Note that a plurality of
ナビゲーション装置40は、自車輌1の現在位置やナビゲーション情報に基づいて、運転者に地理的な情報等を提示する装置である。自車輌1の現在位置は、例えば、GPS(Global Positioning System)衛星から受信した位置情報(測位データ)等の情報に基づいて特定される。一方、ナビゲーション情報は、例えば、ナビゲーション装置40と一体化されたハードディスク装置等の記憶装置に格納されている。
The
このナビゲーション情報は、経路検索や経路案内に用いられる情報であり、主に「ノードデータ」と「道路データ」から構成されている。ナビゲーション情報において、各道路は、交差・分岐・合流等の地点に対応するノードによって分割されており、個々のノード間の接続が道路リンクとして規定される。そのため、個々のノードを介して道路リンクを接続することにより、一連の道路形状が規定される。 This navigation information is information used for route search and route guidance, and is mainly composed of “node data” and “road data”. In the navigation information, each road is divided by nodes corresponding to points such as intersections, branches, and merges, and connections between individual nodes are defined as road links. For this reason, a series of road shapes is defined by connecting road links via individual nodes.
「ノードデータ」は、個々のノード毎に、ノードを識別する識別番号(ノードID)、緯度及び経度を用いた絶対位置情報、ノードに接続する道路リンクの固有番号(リンクID)等が互いに関連付けられたデータである。 In “node data”, an identification number (node ID) for identifying a node, absolute position information using latitude and longitude, a unique number (link ID) of a road link connected to the node, and the like are associated with each other. Data.
一方、「道路データ」は、個々の道路リンク毎に、道路リンクを識別する固有番号(リンクID)、道路リンクに該当する道路の長さ、幅、勾配、路面状態、曲率半径、種別(高速道路、自動車専用道路、一般道路)等が関連付けられたデータである。 On the other hand, the “road data” includes, for each road link, a unique number (link ID) for identifying the road link, the length, width, gradient, road surface state, curvature radius, type (high speed) corresponding to the road link. Road, automobile-only road, general road), and the like.
物体検出センサ50は、例えば、レーザレンジファインダや超音波センサから構成されており、自動車1の先端及び後端に配置され、自動車1の前方や後方に存在する他車輌等の物体までの距離等を検出することが可能となっている。なお、ステレオカメラや、他車輌との通信等によって他車輌までの距離を検出してもよい。
The
映像制御装置60は、CPU、RAM、ROM、及び入出力インタフェース等を備えたコンピュータから構成されており、本実施形態では、キャプチャ部61と、シーン推定部62と、奥行き度調整部63と、変換部64と、を備えている。なお、キャプチャ部61、シーン推定部62、奥行き度調整部63、及びは、変換部64は、映像制御装置60がプログラムを実行することによって、それぞれの機能が実現されている。
The
キャプチャ部61は、前方カメラ21や後方カメラ22によって撮像された映像を映像制御装置60内に取り込む。
The
シーン推定部62は、ナビゲーション装置40、物体検出センサ50、或いは、自動車1の挙動や運転者による自動車1の操作を検出するセンサ等からの情報に基づいて、自動車1の運転シーンを推定する。なお、自動車1の挙動や運転者による自動車1の操作を検出するセンサとしては、車速、加速度、操舵角、アクセルやブレーキの操作量、ウィンカの操作、シフトポジション等を検出するセンサを例示することができる。
The
本実施形態では、運転シーンは、道路の種別と、自動車1の走行状態と、に基づいて設定されている。道路の種別は、例えば、ナビゲーション装置40から提供される情報に基づいて判断することができ、その具体例としては、「高速道路」や「一般道路」等を例示することができる。
In the present embodiment, the driving scene is set based on the type of road and the running state of the
一方、自動車1の走行状態としては、例えば、「発進」、「停止」、「直進」、「旋回」、「後退」、「合流」、「車線変更」、「追い越し」等を例示することができる。
On the other hand, examples of the running state of the
シーン推定部62による具体的な推定方法の一例を示すと、例えば、自動車1の車速が0から増加を開始したら、シーン推定部62は、自動車1が「発進」していると推定する。一方、自動車1の減速度が大きく且つ車速が0に近づいている場合には、シーン推定部62は、自動車1が「停止」していると推定する。
An example of a specific estimation method by the
また、例えば、自動車1の車速が所定値以上であり、且つ、操舵角がほぼゼロである場合には、シーン推定部62は、自動車1が「直進」していると推定する。一方、自動車1の操舵角がプラス或いはマイナスの値となったら、シーン推定部62は、自動車1が「旋回」していると推定する。また、例えば、自動車1のシフトポジションとしてバックギアを検出すれば、シーン推定部62は、例えば駐車等により自動車1が「後退」していると推定する。
Further, for example, when the vehicle speed of the
さらに、「合流」については、シーン推定部62はナビゲーション装置40から提供される情報に基づいて判断する。また、例えば、ナビゲーション装置40からの情報によると自動車1は複数車線を有する直線路を走行しているにも関わらず、ウィンカの操作を検出した場合には、シーン推定部62は、自動車1が「車線変更」していると推定する。また、例えば、物体検出センサ50等によって他車輌に対する接近を検出し且つウィンカの操作を検出した場合には、シーン推定部62は、自動車1が「追い越し」を行っていると推定する。なお、シーン推定部62による運転シーンの具体的な推定方法は、上記に限定されない。
Furthermore, regarding “joining”, the
奥行き度調整部63は、シーン推定部62によって推定された運転シーンに基づいて、立体映像の奥行き度を調整する。
The depth
ところで、人間は、左眼用と右眼用の2つの映像を融像することで一つの立体映像として認識するが、当該映像における視差が許容範囲を超えている部分については、人間は2つの映像を融像することができず、その部分から詳細な情報を入手することができない。 By the way, a human recognizes it as one stereoscopic video by fusing two videos for the left eye and the right eye. For a part where the parallax in the video exceeds the allowable range, the human The video cannot be fused, and detailed information cannot be obtained from that part.
例えば、図2に示す例では、物体100を2つのカメラ20L,20Rで撮像した場合、左眼用カメラ20Lでは、レンズ202Lを透過した物体100の像は、撮像素子201Lにおいて中心から左側に距離p1だけ離れた位置に結像される。これに対し、右眼用カメラ20Rでは、レンズ202Rを透過した物体100の像は、撮像素子201Rにおいて中心から右側に距離p2だけ離れた位置に結像される。この際の視差は、下記の(1)式で算出されるΔpを、3Dモニタ30上でのピクセル数に換算することで算出される。
For example, in the example shown in FIG. 2, when the
Δp=p1−p2 …(1) Δp = p 1 −p 2 (1)
この視差が許容範囲内である場合には、人間は2つのカメラ20L,20Rによって撮像された2つの映像を融像することができる。これに対し、視差が許容範囲外である場合には、人間は2つの映像を融像することができず、2つの映像は複視されてしまう。
When this parallax is within an allowable range, a human can fuse two images captured by the two
そこで、本実施形態では、図3に示すように、立体映像における飛び出し側の視差(いわゆる負の視差)が最大許容値となる近傍面NPと、引っ込み側の視差(いわゆる正の視差)が最大許容値となる遠方面FPと、を運転シーンに応じて変更することで、立体映像の奥行き度を最適に調節する。この視差の最大許容値は、運転者と3Dモニタ30との位置関係(特に視距離)や、3Dモニタ30の画面サイズ等に基づいて予め設定されている。
Therefore, in the present embodiment, as shown in FIG. 3, the near surface NP where the pop-up-side parallax (so-called negative parallax) in the stereoscopic image has the maximum allowable value and the retraction-side parallax (so-called positive parallax) are maximum. The depth of the stereoscopic video is optimally adjusted by changing the far plane FP that is an allowable value according to the driving scene. The maximum parallax allowable value is set in advance based on the positional relationship (particularly the viewing distance) between the driver and the
なお、視差が所定値(例えば、人間の両眼の間隔(瞳孔間隔(IPD)、一般的に60〜65[mm]程度)の所定倍)よりも大きくなると、実際の物体のサイズと、立体映像における当該物体のサイズとの間に違和感が生じる場合があるため、上記の視差の最大許容値の設定の際にはこの違和感も考慮することが好ましい。 Note that when the parallax becomes larger than a predetermined value (for example, a predetermined multiple of the distance between human eyes (pupil distance (IPD), generally about 60 to 65 [mm])) Since a sense of incongruity may occur with the size of the object in the video, it is preferable to consider this sense of discomfort when setting the maximum allowable parallax.
図3に示す例の場合には、図4に示すように、近傍面NPよりも手前に位置する物体101や、遠方面FPよりも奥に位置する物体106,107は、視野が大き過ぎて融像することができない。これに対し、近傍面NPと遠方面FPとの間に位置する物体102〜105は、視差が許容範囲内であるので融像することができる。なお、図3及び図4における符号SPは、視差が実質的にゼロとなるスクリーン面SP(Screen Plane又はFocal Plane)である。
In the case of the example shown in FIG. 3, as shown in FIG. 4, the field of view of the
本実施形態では、奥行き度調整部63は、シーン推定部62から運転シーンを受信すると、当該運転シーンに対応した提示範囲PWを下記の表1及び表2から読み込み、当該提示範囲PWが近傍面NPと遠方面FPとの間に包含されるように近傍面NPと遠方面FPを設定する。具体的には、奥行き度調整部63は、提示範囲PWにおける最近値に近傍面NPを設定すると共に、当該提示範囲PWにおける最遠値に遠方面FPを設定する。これにより、スクリーン面SPは、提示範囲PWのほぼ中央に設定される。下記の表1及び2における提示範囲PWは、自車輌1からの距離を示しており、下記の表1は、自動車1の前方側の提示範囲PWを示し、下記の表2は、自動車の後方側の提示範囲PWを示している。なお、表1及び表2における運転シーンやその提示範囲の具体的な数値は一例に過ぎない。
In the present embodiment, when the depth
例えば、運転シーンとして「一般道路/高速道路−発進」(シーンNo.1)が推定された場合には、奥行き度調整部63は、表1及び表2に基づいて、図5(a)に示すように、自車輌1の前方及び後方のいずれの立体映像についても、近傍面NPを10[m]に設定すると共に、遠方面FPを50[m]に設定する。
For example, when “general road / highway—start” (scene No. 1) is estimated as the driving scene, the depth
一方、例えば、運転シーンとして「高速道路−直進」(シーンNo.5)が推定された場合には、奥行き度調整部63は、表1に基づいて、図5(b)に示すように、自車輌1の前方の立体映像について、近傍面NPを50[m]に設定すると共に、遠方面FPを150[m]に設定する。なお、この場合には、車輌後方の立体映像は3Dモニタ30に表示されない。
On the other hand, for example, when “highway—go straight” (scene No. 5) is estimated as the driving scene, the depth
また、例えば、運転シーンとして「高速道路−合流」(シーンNo.8)が推定された場合には、奥行き度調整部63は、表2に基づいて、図5(c)に示すように、自車輌1の後方の立体映像について、近傍面NPを100[m]に設定すると共に、遠方面FPを200[m]に設定する。なお、この場合には、車輌前方の立体映像は3Dモニタ30に表示されない。
Further, for example, when “highway-merging” (scene No. 8) is estimated as the driving scene, the depth
すなわち、本実施形態では、運転者が運転シーンにおいて注目すべき範囲を融像することが可能となるように、近傍面NPと遠方面FPとで規定される提示範囲PWを運転シーンに応じてシフトさせる。なお、いわゆる平行法を採用している場合には、後述の図6の手法によってクロスポイントが移動しない限り、スクリーン面SPが無限遠点となるため、近傍面NPのみを設定すればよい。 That is, in the present embodiment, the presentation range PW defined by the near plane NP and the far plane FP is set according to the driving scene so that the driver can fuse the range to be noted in the driving scene. Shift. Note that when the so-called parallel method is employed, the screen surface SP is an infinite point unless the cross point is moved by the method shown in FIG.
ここで、近傍面NPと遠方面FPとで規定される提示範囲PWをシフトさせる具体的な手法としては、図6〜図10に示すものを例示することができる。図6〜図10は本実施形態における立体映像の奥行き度の調整方法の具体例を示す図である。 Here, as a specific method of shifting the presentation range PW defined by the near plane NP and the far plane FP, those shown in FIGS. 6 to 10 can be exemplified. 6 to 10 are diagrams showing specific examples of the method for adjusting the depth degree of the stereoscopic video in the present embodiment.
例えば、図6に示す例では、左眼映像150Lと右眼用の映像150Rを部分的に表示することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整する。
For example, in the example shown in FIG. 6, the left-
具体的には、同図に示すように、左眼用の映像150Lの左側の一部151Lを削除すると共に、右眼用の映像150Rの右側一部151Rを削除することで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、左眼用の映像の右側の一部を削除すると共に、右眼用の映像の左側の一部を削除することで、提示範囲PWを自車輌1に近づけることができる。
Specifically, as shown in the figure, the left-
こうした画像処理は、映像制御装置60が所定のプログラムを実行することで遂行することができるので、車輌用映像表示装置1の低コスト化を図ることができる。なお、この手法は、平行法、カメラ交差法、及びレンズ交差法のいずれにも採用することができる。
Such image processing can be performed by the
一方、図7に示す例では、カメラ20L,20Rの間隔を変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整する。
On the other hand, in the example illustrated in FIG. 7, by changing the interval between the
具体的には、同図に示すように、2つのカメラ20L,20Rの間隔を広げることで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、2つのカメラ20L,20Rの間隔を狭めることで、提示範囲PWを自車輌1に近づけることができる。なお、カメラ20L,20Rの間隔を変更する具体的な手段としては、例えば、モータにより駆動するボールネジ機構等を例示することができる。
Specifically, as shown in the figure, the presentation range PW can be moved away from the
この場合には、カメラ20L,20Rの撮像素子の画素数を維持することができるため、運転者に対して繊細な立体映像を呈示することができる。なお、この手法も、平行法、カメラ交差法、及びレンズ交差法のいずれにも採用することができる。
In this case, since the number of pixels of the image sensors of the
また、図8(a)及び図8(b)に示すように、上述のレンズ交差法を採用している場合には、カメラ20L,20Rのレンズ202L,202Rの間隔を変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。
Further, as shown in FIGS. 8A and 8B, when the above-described lens crossing method is adopted, the distance between the
具体的には、同図に示すように、2つのレンズ202L,202Rの間隔を広げることで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、2つのレンズ202L,202Rの間隔を狭めることで、提示範囲PWを自車輌1に近づけることができる。
Specifically, as shown in the figure, the presentation range PW can be moved away from the
なお、レンズ202L,202Rの間隔を変更する具体的な手段としては、例えば、モータにより駆動するボールネジ機構等を例示することができる。また、レンズ202L,202Rに対して撮像素子201L,201Rを相対移動させることで、提示範囲PWを変更してもよい。
As specific means for changing the distance between the
図8に示す例の場合には、レンズ202L,202Rの間隔を連続的に変更することができるので、運転者に違和感を与えることなく立体映像の奥行き度を調整することができる。
In the case of the example shown in FIG. 8, since the distance between the
また、3つ以上(図9に示す例では8つ)のカメラ20A〜20Hを用いた多視点(マルチビュー又はインテグラルイメージング)方式を採用している場合には、左眼用のカメラと右眼用のカメラの組合せを切り替えることで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。
In addition, when a multi-viewpoint (multi-view or integral imaging) method using three or more (eight in the example shown in FIG. 9)
例えば、図9に示すように、中央の2つのカメラ20D,20Eを使用している場合、左眼用のカメラをカメラ20Dからその左隣のカメラ20Cに切り替えると共に、右眼用のカメラをカメラ20Eからその右隣のカメラ20Fに切り替えることで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、外側のカメラから内側のカメラに切り替えるほど、提示範囲PWを自車輌1に近づけることができる。
For example, as shown in FIG. 9, when two
この場合には、左眼用映像と右眼映像における視差を制御するための機械的な可動部が存在しないため、立体映像の奥行き度を高速に調整することができる。なお、この多視点方式は、平行法、カメラ交差法、及びレンズ交差法のいずれの場合でも採用することができる。 In this case, since there is no mechanical movable part for controlling the parallax between the left-eye video and the right-eye video, the depth degree of the stereoscopic video can be adjusted at high speed. This multi-viewpoint method can be employed in any of the parallel method, the camera crossing method, and the lens crossing method.
また、図10に示すように、上述のカメラ交差法を採用している場合には、当該カメラ20L、20Rの傾きを変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。
Further, as shown in FIG. 10, when the above-described camera intersection method is adopted, the parallax between the left-eye video and the right-eye video is controlled by changing the tilt of the
具体的には、同図に示すように、2つのカメラ20L,20Rの傾きを緩くすることで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、カメラ20L,20Rの傾きを強くすることで、提示範囲PWを自車輌1に近づけることができる。
Specifically, as shown in the figure, the presentation range PW can be moved away from the
以上のように、本実施形態では、運転シーンに応じて奥行き度が最適化された立体映像が表示されるので、運転者は運転シーンにおいて重要な範囲を視認することが可能となり、立体映像による状況認識性能の向上を図ることができる。 As described above, in the present embodiment, since the stereoscopic video with the depth degree optimized according to the driving scene is displayed, the driver can visually recognize an important range in the driving scene. The situation recognition performance can be improved.
なお、図11(a)及び図11(b)に示すように、運転シーンと自動車1の車速とに応じて、提示範囲PWを設定してもよい。図11(a)は、運転シーンとして「高速道路−直進」(シーンNo.5)が推定された場合の提示範囲PWと車速との関係を示すグラフであり、図11(b)は、運転シーンとして「一般道路/高速道路−発進」(シーンNo.1)が推定された場合の提示範囲PWと車速の関係を示すグラフである。
In addition, as shown to Fig.11 (a) and FIG.11 (b), according to a driving | running scene and the vehicle speed of the
奥行き度調整部63は、図11(a)や図11(b)に示すようなマップを運転シーンに応じて参照して、車速センサ70(図1参照)から得られた車速に応じて、提示範囲PWを補正する。具体的には、図11(a)や図11(b)に示すようなマップに対応した運転シーンの場合には、奥行き度調整部63は、車速が高くなるに従って提示範囲PWを自車輌1から遠ざけるように補正する。このように、運転シーンと自車輌1の車速に基づいて立体映像の奥行き度を調整することで、立体映像の奥行き度が一層最適化されるので、立体映像による状況認識性能がさらに向上する。
The depth
なお、特に図示しないが、上記の表1及び表2に示す全ての運転シーンに対して、図11(a)や図11(b)に示すようなグラフを設定してもよいし、一部の運転シーンについては車速に対して提示範囲PWを固定してもよい。 Although not particularly illustrated, graphs as shown in FIG. 11 (a) and FIG. 11 (b) may be set for all driving scenes shown in Tables 1 and 2 above, or a part thereof. For the driving scene, the presentation range PW may be fixed with respect to the vehicle speed.
また、図12に示すように、自車輌1の周囲に存在する複数の他車輌の平均距離に応じて、提示範囲PWを変化させてもよい。図12は、他車輌の平均距離に基づいて提示範囲を補正したグラフである。
Further, as shown in FIG. 12, the presentation range PW may be changed according to the average distance of a plurality of other vehicles existing around the
この自車輌1の周囲に存在する複数の他車輌の平均距離Dは、下記の(2)〜(4)式によって算出され、図12に示すように、現在の車速(図12に示す例では100[km/h])におけるスクリーン面SPが平均距離Dとなるように、その車速付近における提示範囲PWを補正する。
The average distance D of a plurality of other vehicles existing around the
D=Σ(dn×wn/W) …(2)
wn=Δvn×1/Δsn …(3)
W=Σwn …(4)
D = Σ (d n × w n / W) (2)
w n = Δv n × 1 / Δs n (3)
W = Σw n (4)
但し、上記の(2)〜(4)式において、dnは、自車輌から個々の他車輌までの距離であり、Δvnは、自車輌に対する個々の他車輌の相対速度であり、Δsnは、自車輌に対する個々の他車輌の横変位である。なお、dn,Δvn,Δsnは、物体検出センサ50や車速センサ等の検出信号に基づいて算出される。
However, in the above (2) to (4), d n is the distance from the own vehicle to each other vehicles, Delta] v n is the relative velocity of each other vehicles for its own vehicle, Delta] s n Is the lateral displacement of each other vehicle relative to the host vehicle. Note that d n , Δv n , and Δs n are calculated based on detection signals from the
具体的に図13に示す合流シーンを例にとって平均距離Dの算出方法について説明する。図13は自車輌が本線に合流する例における車輌間の位置関係を示す図である。 Specifically, a method for calculating the average distance D will be described taking the merge scene shown in FIG. 13 as an example. FIG. 13 is a diagram showing a positional relationship between vehicles in an example where the own vehicle joins the main line.
図13に示す例では、自車輌1が速度v0で走行している車線121の隣の車線122を他車輌111が速度v1で走行し、さらにその隣の車線123を別の他車輌112が速度v2で走行している。このような例では、複数の他車輌111,112の平均距離は、下記の(5)〜(10)によって算出される。
In the example shown in FIG. 13, the
Δv1=v1−v0 …(5)式
Δv2=v2−v0 …(6)式
w1=Δv1×1/s1 …(7)式
w2=Δv2×1/s2 …(8)式
W=w1+w2 …(9)式
D=d1×w1/W+d2×w2/W …(10)式
Δv 1 = v 1 −v 0 (5) Equation Δv 2 = v 2 −v 0 (6) Equation w 1 = Δv 1 × 1 / s 1 (7) Equation w 2 = Δv 2 × 1 / s 2 (8) Formula W = w 1 + w 2 (9) Formula D = d 1 × w 1 / W + d 2 × w 2 / W (10)
但し、上記の(5)〜(10)式において、s1は自車輌1に対する他車輌111のX方向の距離(横変位)であり、s2は自車輌1に対する他車輌112のX方向の距離(横変位)であり、d1は自車輌1に対する他車輌111のY方向の距離であり、d2は自車輌1に対する他車輌112のY方向の距離である。
However, in the above formulas (5) to (10), s 1 is a distance (lateral displacement) of the
このように、自車輌1に対する他車輌111,112の距離に基づいて、立体映像の奥行き度を補正することで、運転者に対して注意すべき物体を強調することができ、立体映像による状況認識性能がさらに向上する。なお、こうした物体強調は、運転シーンの切替直後に実行することが好ましい。
In this way, by correcting the depth degree of the stereoscopic image based on the distance between the
なお、運転者が注目したい車輌を複数の他車輌113,114の中から選択可能としてもよい。図14は車輌後方を表示する立体映像において注目したい他車輌を選択する画面の例を示す図である。この場合には、図14に示すように、例えば、ステアリングホイールやリモコン等に設けられた選択スイッチ80(図1参照)を操作して、3Dモニタ30上でウィンドウ枠141を移動させて注目したい他車輌113を囲むことで、当該他車輌113を選択する。そして、奥行き度調整部63は、特に図示しないが、現在の車速におけるスクリーン面SPが、選択された他車輌113の距離となるように、提示範囲PWを補正する。なお、注目したい他車輌の選択方法は特に上記に限定されない。
The vehicle that the driver wants to pay attention to may be selected from a plurality of
このように、運転者が選択した物体113の自車輌1に対する距離に基づいて、立体映像の奥行き度を補正することで、複数の物体の中でも特に注意が必要な物体に対する状況認識性能を高めることができる。
In this way, by correcting the depth degree of the stereoscopic video based on the distance of the
奥行き度調整部63によって運転シーンに応じて奥行き度が調整された立体映像は、変換部64によって3Dモニタ30に適合した信号パターンに変換された後に3Dモニタ30に出力され、3Dモニタ30はその立体映像を運転者に対して表示する。
The stereoscopic image whose depth degree is adjusted according to the driving scene by the depth
例えば、3Dモニタが2視点のパララックスバリア方式である場合には、変換部64は、左眼用映像と右眼用映像が垂直1ライン毎に交互に出力されるような信号パターンに変換する。
For example, when the 3D monitor is a two-viewpoint parallax barrier system, the
この際、本実施形態では、奥行き度調整部63によって立体映像の奥行き度が運転シーンに応じて最適化されている。例えば、高速道路において直進走行している場合には近傍領域よりも遠方領域の情報が重要であるが、本実施形態では、図15(a)に示すように、遠方に存在する他車輌115,116や案内標識131が融像可能であり、これらから正確に情報を入手することができる。
At this time, in the present embodiment, the depth degree of the stereoscopic image is optimized by the depth
これに対し、奥行き度調整部63によって立体映像の奥行き度を調整しない場合には、図15(b)に示すように、自車輌から近傍領域は融像することができるが、遠方領域については融像することができず複視されてしまい、高速道路の直進走行に重要な情報が十分に入手できない場合がある。
On the other hand, when the depth degree of the stereoscopic image is not adjusted by the depth
なお、図15(a)は本実施形態において立体映像の奥行き度を運転シーンに応じて調整した画像の例を示す図、図15(b)は立体映像の奥行き度を調整せずに表示した画像の例を示す図である。 FIG. 15A is a diagram illustrating an example of an image in which the depth of the stereoscopic video is adjusted according to the driving scene in the present embodiment, and FIG. 15B is displayed without adjusting the depth of the stereoscopic video. It is a figure which shows the example of an image.
以上のように、本実施形態では、3Dモニタ30に表示される立体映像の奥行き度を、奥行き度調整部63によって運転シーンに基づいて調整する。これにより、運転シーンに応じて奥行き度が最適化された立体映像を運転者に対して表示することが可能となるので、立体映像による状況認識性能を向上させることができる。
As described above, in the present embodiment, the depth degree of the stereoscopic image displayed on the
また、本実施形態では、「一般道路」や「高速道路」を含む道路種別と、「発進」、「停止」、「直進」、「旋回」、「後退」、「合流」、「車線変更」、及び「追い越し」を含む走行状態と、に基づいて運転シーンを設定している。このため、それぞれのシーンで重要な提示範囲PWを設定することができ、立体映像による状況認識性能を向上させることができる。 In this embodiment, the road type including “general road” and “highway”, “start”, “stop”, “straight”, “turn”, “reverse”, “join”, “lane change” , And a driving state including “overtaking” is set. For this reason, the important presentation range PW can be set in each scene, and the situation recognition performance by a stereoscopic image can be improved.
本実施形態におけるカメラ21,22が本発明における撮像手段の一例に相当し、本実施形態における3Dモニタ30が本発明における立体映像表示手段の一例に相当し、本実施形態におけるシーン推定部62が本発明におけるシーン推定手段の一例に相当し、本実施形態における奥行き度調整部63が本発明における奥行き度調整手段の一例に相当し、本実施形態における物体検出センサ50が本発明における物体検出手段の一例に相当し、本実施形態における選択スイッチ80が本発明における物体選択手段の一例に相当し、本実施形態におけるレンズ202L,202Rが本発明における集光手段の一例に相当する。
The
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
1…自動車(自車輌)
10…車輌用映像表示装置
21L,21R,22L,22R…カメラ
30…3Dモニタ
40…ナビゲーション装置
50…物体検出センサ
60…映像制御装置
61…キャプチャ部
62…シーン推定部
63…奥行き度変換部
64…変換部
70…車速センサ
80…選択スイッチ
NP…近傍面
SP…スクリーン面
FP…遠方面
PW…提示範囲
1 ... Automobile (own vehicle)
DESCRIPTION OF SYMBOLS 10 ... Vehicle
Claims (8)
前記撮像手段により撮像された映像を立体映像として表示する立体映像表示手段と、
前記車輌の運転シーンを推定するシーン推定手段と、
前記運転シーンに基づいて、前記立体映像表示手段に表示する立体映像の奥行き度を調整する奥行き度調整手段と、を備えており、
前記運転シーンは、道路の種別と前記車輌の走行状態とに基づいて設定されており、
前記道路種別は、一般道路、及び高速道路を含み、
前記車輌の走行状態は、発進、停止、直進、旋回、後退、合流、車線変更、及び追い越しを含むことを特徴とする車輌用映像表示装置。 At least two imaging means mounted on a vehicle for imaging the surroundings of the vehicle;
Stereoscopic video display means for displaying the video imaged by the imaging means as a stereoscopic video;
Scene estimation means for estimating a driving scene of the vehicle;
Depth degree adjusting means for adjusting the depth degree of the stereoscopic video displayed on the stereoscopic video display means based on the driving scene,
The driving scene is set based on the type of road and the running state of the vehicle,
The road types include general roads and highways,
The vehicle image display device characterized in that the running state of the vehicle includes start, stop, straight ahead, turn, reverse, merge, lane change, and overtaking.
前記撮像手段により撮像された映像を立体映像として表示する立体映像表示手段と、
前記車輌の運転シーンを推定するシーン推定手段と、
前記運転シーンに基づいて、前記立体映像表示手段に表示する立体映像の奥行き度を調整する奥行き度調整手段と、を備えており、
前記奥行き度調整手段は、前記運転シーンと前記車輌の速度と、に基づいて、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。 At least two imaging means mounted on a vehicle for imaging the surroundings of the vehicle;
Stereoscopic video display means for displaying the video imaged by the imaging means as a stereoscopic video;
Scene estimation means for estimating a driving scene of the vehicle;
Depth degree adjusting means for adjusting the depth degree of the stereoscopic video displayed on the stereoscopic video display means based on the driving scene,
The vehicle image display apparatus, wherein the depth degree adjusting means adjusts the depth degree of the stereoscopic image based on the driving scene and the speed of the vehicle.
前記車輌の周囲に存在する物体を検出する物体検出手段を備え、
前記奥行き度調整手段は、前記車輌に対する前記物体の距離に基づいて、前記立体映像の奥行き度を補正することを特徴とする車輌用映像表示装置。 The vehicle image display device according to claim 1 or 2 ,
An object detection means for detecting an object present around the vehicle;
The depth adjustment means, based on the distance of the object relative to the vehicle tanks, vehicle image display apparatus and correcting the depth degree of the three-dimensional image.
前記物体検出手段によって検出された物体の中から一つの物体を選択する物体選択手段を備え、
前記奥行き度調整手段は、前記物体選択手段によって選択された物体の前記車輌に対する距離に基づいて、前記立体映像の奥行き度を補正することを特徴とする車輌用映像表示装置。 The vehicle image display device according to claim 3 ,
Comprising object selection means for selecting one object from the objects detected by the object detection means;
The vehicle image display device, wherein the depth degree adjustment unit corrects the depth degree of the stereoscopic image based on a distance of the object selected by the object selection unit with respect to the vehicle.
前記奥行き度調整手段は、前記撮像手段から得られた映像を部分的に表示することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。 The vehicle image display device according to any one of claims 1 to 4 ,
The vehicle image display device characterized in that the depth degree adjusting means adjusts the depth degree of the stereoscopic video by partially displaying the video obtained from the imaging means.
前記奥行き度調整手段は、2つの前記撮像手段が有する集光手段の間の距離を変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。 The vehicle image display device according to any one of claims 1 to 4 ,
The vehicle image display apparatus, wherein the depth degree adjusting means adjusts the depth degree of the stereoscopic image by changing a distance between the light collecting means included in the two imaging means.
前記奥行き度調整手段は、3以上の前記撮像手段の中から選択される2つの前記撮像手段の組合せを変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。 The vehicle image display device according to any one of claims 1 to 4 ,
The vehicle image display characterized in that the depth degree adjusting means adjusts the depth degree of the three-dimensional image by changing a combination of two imaging means selected from among the three or more imaging means. apparatus.
前記奥行き度調整手段は、2つの前記撮像手段の間の距離を変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。 The vehicle image display device according to any one of claims 1 to 4 ,
The vehicle image display device characterized in that the depth degree adjusting means adjusts the depth degree of the stereoscopic image by changing a distance between the two imaging means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011158800A JP5861293B2 (en) | 2011-07-20 | 2011-07-20 | Video display device for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011158800A JP5861293B2 (en) | 2011-07-20 | 2011-07-20 | Video display device for vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013026770A JP2013026770A (en) | 2013-02-04 |
JP5861293B2 true JP5861293B2 (en) | 2016-02-16 |
Family
ID=47784656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011158800A Active JP5861293B2 (en) | 2011-07-20 | 2011-07-20 | Video display device for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5861293B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102329110B1 (en) * | 2015-05-30 | 2021-11-18 | 레이아 인코포레이티드 | Vehicle monitoring system |
KR102462502B1 (en) * | 2016-08-16 | 2022-11-02 | 삼성전자주식회사 | Automated driving method based on stereo camera and apparatus thereof |
US20190241070A1 (en) * | 2016-10-28 | 2019-08-08 | Mitsubishi Electric Corporation | Display control device and display control method |
JP6910457B2 (en) * | 2017-10-11 | 2021-07-28 | 三菱電機株式会社 | Display control device and display control method |
KR102770428B1 (en) * | 2018-05-04 | 2025-02-24 | 하만인터내셔날인더스트리스인코포레이티드 | Mirrorless head-up display |
JP2020187762A (en) * | 2020-07-02 | 2020-11-19 | レイア、インコーポレイテッドLeia Inc. | Vehicle monitoring system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3089306B2 (en) * | 1993-08-26 | 2000-09-18 | 松下電器産業株式会社 | Stereoscopic imaging and display device |
JP2002008040A (en) * | 2000-06-16 | 2002-01-11 | Matsushita Electric Ind Co Ltd | Three-dimensional information detection device and three-dimensional information detection method |
JP2004248212A (en) * | 2003-02-17 | 2004-09-02 | Kazunari Era | Stereoscopic image display apparatus |
WO2004084559A1 (en) * | 2003-03-20 | 2004-09-30 | Seijiro Tomita | Video display for vehicle |
JP4715325B2 (en) * | 2005-06-20 | 2011-07-06 | 株式会社デンソー | Information display device |
JP4695664B2 (en) * | 2008-03-26 | 2011-06-08 | 富士フイルム株式会社 | 3D image processing apparatus, method, and program |
JP2011087019A (en) * | 2009-10-13 | 2011-04-28 | Nikon Corp | Reproducing device, reproducing method and program |
-
2011
- 2011-07-20 JP JP2011158800A patent/JP5861293B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013026770A (en) | 2013-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10082670B2 (en) | Display device for vehicle | |
CN108473054B (en) | Head-up display device | |
CN106537892B (en) | Image pickup device and vehicle | |
JP5861293B2 (en) | Video display device for vehicle | |
EP2071491B1 (en) | Stereo camera device | |
JP6149543B2 (en) | Head-up display device | |
US5883739A (en) | Information display device for vehicle | |
US20160086305A1 (en) | Head-up display apparatus for vehicle | |
US20180286095A1 (en) | Display Assistance Device and Display Assistance Method | |
US11703326B2 (en) | Stereo camera apparatus, vehicle, and parallax calculation method | |
WO2011007484A1 (en) | Driving support device, driving support method, and program | |
JP6599058B2 (en) | Display control device, display system, and display control method | |
JP2012527681A (en) | Lane departure detection method and apparatus using vehicle periphery image | |
JPWO2017138297A1 (en) | Image display apparatus and image display method | |
JPWO2018142610A1 (en) | Stereoscopic display and head-up display | |
JP6945933B2 (en) | Display system | |
JP4784572B2 (en) | Driving support method and driving support device | |
JP7674119B2 (en) | Driving assistance device and recording medium | |
WO2019224922A1 (en) | Head-up display control device, head-up display system, and head-up display control method | |
JP2018007038A (en) | Electronic device, automobile, imaging device, and image recording device | |
CN112052716A (en) | Identification device, identification method, and storage medium | |
JP6890998B2 (en) | Image sensor, image sensor and moving object | |
JP3883033B2 (en) | Vehicle display device | |
JP3870409B2 (en) | Vehicle display device | |
JP3877127B2 (en) | Vehicle display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5861293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |