Nothing Special   »   [go: up one dir, main page]

JP5861293B2 - Video display device for vehicle - Google Patents

Video display device for vehicle Download PDF

Info

Publication number
JP5861293B2
JP5861293B2 JP2011158800A JP2011158800A JP5861293B2 JP 5861293 B2 JP5861293 B2 JP 5861293B2 JP 2011158800 A JP2011158800 A JP 2011158800A JP 2011158800 A JP2011158800 A JP 2011158800A JP 5861293 B2 JP5861293 B2 JP 5861293B2
Authority
JP
Japan
Prior art keywords
vehicle
depth degree
image display
display device
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011158800A
Other languages
Japanese (ja)
Other versions
JP2013026770A (en
Inventor
ルチアン ギョルゲ
ルチアン ギョルゲ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2011158800A priority Critical patent/JP5861293B2/en
Publication of JP2013026770A publication Critical patent/JP2013026770A/en
Application granted granted Critical
Publication of JP5861293B2 publication Critical patent/JP5861293B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、車輌周囲の映像を立体映像として運転者に表示する車輌用映像表示装置に関するものである。   The present invention relates to a vehicle video display device that displays a video around a vehicle as a stereoscopic video to a driver.

自動車の後方或いは側方に設けられた2台のカメラによって撮像した画像を、車室内に設けられた液晶表示画面に立体映像として表示する技術が知られている(例えば特許文献1参照)。   2. Description of the Related Art A technique for displaying an image captured by two cameras provided at the rear or side of an automobile as a three-dimensional image on a liquid crystal display screen provided in the vehicle interior is known (see, for example, Patent Document 1).

国際公開第2004/084559号International Publication No. 2004/084559

運転者は運転シーンに応じて注目すべき対象を自然に変えているが、立体映像の中には視差が大き過ぎて融像できない部分も含まれている。上記の技術では、モニタと運転者との位置関係に立体映像の奥行き度を対応させているだけなので、運転シーンによっては注目すべき物体を立体映像から視認できない場合があり、十分な状況認識性能を確保できないおそれがあるという問題がある。   The driver naturally changes the target to be noticed according to the driving scene, but the stereoscopic image includes a portion where the parallax is too large to be fused. In the above technology, only the depth of the stereoscopic image is associated with the positional relationship between the monitor and the driver, so depending on the driving scene, the object to be noticed may not be visible from the stereoscopic image, and sufficient situation recognition performance is achieved. There is a problem that it may not be possible to secure.

本発明が解決しようとする課題は、立体映像による状況認識性能の向上を図ることが可能な車輌用映像表示装置を提供することである。   The problem to be solved by the present invention is to provide a vehicular video display device capable of improving the situation recognition performance by stereoscopic video.

本発明は、立体映像表示手段に表示する立体映像の奥行き度を、車輌の運転シーンに基づいて調整することによって上記課題を解決する。   The present invention solves the above problem by adjusting the depth of a stereoscopic image displayed on the stereoscopic image display means based on the driving scene of the vehicle.

本発明によれば、運転シーンに応じて奥行き度が最適化された立体映像を運転者に対して表示することが可能となるので、立体映像による状況認識性能の向上を図ることができる。   According to the present invention, since it is possible to display a stereoscopic video having an optimized depth according to the driving scene to the driver, it is possible to improve the situation recognition performance based on the stereoscopic video.

図1は、本発明の実施形態における車輌用映像表示装置の全体構成を示すブロック図である。FIG. 1 is a block diagram showing an overall configuration of a vehicle video display apparatus according to an embodiment of the present invention. 図2は、左眼用と右眼用の2つの映像間の視差を説明するための図である。FIG. 2 is a diagram for explaining the parallax between two images for the left eye and the right eye. 図3は、立体映像におけるカメラ、近傍面、スクリーン面、及び遠方面の関係を示す斜視図である。FIG. 3 is a perspective view showing a relationship among a camera, a near surface, a screen surface, and a far surface in a stereoscopic image. 図4は、図3の立体映像を示す図である。FIG. 4 is a diagram illustrating the stereoscopic image of FIG. 図5(a)〜図5(c)は、それぞれの運転シーンにおける最適な提示範囲の例を示す側面図である。Fig.5 (a)-FIG.5 (c) are side views which show the example of the optimal presentation range in each driving scene. 図6は、本発明の実施形態における立体映像の奥行き度の調整手法の第1の例を示す図である。FIG. 6 is a diagram illustrating a first example of a method for adjusting the depth degree of a stereoscopic video according to an embodiment of the present invention. 図7は、本発明の実施形態における立体映像の奥行き度の調整手法の第2の例を示す図である。FIG. 7 is a diagram illustrating a second example of a method for adjusting the depth degree of a stereoscopic video according to the embodiment of the present invention. 図8(a)及び図8(b)は、本発明の実施形態における立体映像の奥行き度の調整手法の第3の例を示す図である。FIG. 8A and FIG. 8B are diagrams illustrating a third example of the method for adjusting the depth degree of a stereoscopic video according to the embodiment of the present invention. 図9は、本発明の実施形態における立体映像の奥行き度の調整手法の第4の例を示す図である。FIG. 9 is a diagram illustrating a fourth example of the adjustment method of the depth degree of the stereoscopic video according to the embodiment of the present invention. 図10は、本発明の実施形態における立体映像の奥行き度の調整手法の第5の例を示す図である。FIG. 10 is a diagram illustrating a fifth example of a method for adjusting the depth degree of a stereoscopic video according to the embodiment of the present invention. 図11(a)及び図11(b)は、本発明の実施形態における提示範囲と車速の関係をグラフの一例である。FIG. 11A and FIG. 11B are examples of graphs showing the relationship between the presentation range and the vehicle speed in the embodiment of the present invention. 図12は、本発明の実施形態において、他車輌の平均距離に基づいて提示範囲を補正したグラフの一例である。FIG. 12 is an example of a graph in which the presentation range is corrected based on the average distance of other vehicles in the embodiment of the present invention. 図13は、自車輌が本線に合流する例における車輌間の位置関係を示す平面図である。FIG. 13 is a plan view showing a positional relationship between vehicles in an example where the own vehicle joins the main line. 図14は、車輌後方を表示する立体映像において注目したい他車輌を選択する画面の例を示す図である。FIG. 14 is a diagram illustrating an example of a screen for selecting another vehicle to be focused on in the stereoscopic image displaying the rear of the vehicle. 図15(a)は、本発明に実施形態において立体映像の奥行き度を運転シーンに応じて最適化した画像の例を示す図であり、図15(b)は、立体映像の奥行き度を調整せずに表示した画像の例を示す図である。FIG. 15A is a diagram illustrating an example of an image in which the depth of a stereoscopic video is optimized according to the driving scene in the embodiment of the present invention, and FIG. 15B is an adjustment of the depth of a stereoscopic video. It is a figure which shows the example of the image displayed without performing.

以下、本発明の実施形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は本実施形態における車輌用映像表示装置の構成を示すブロック図、図2は2つの映像間の視差を説明するための図、図3は立体映像におけるカメラ、近傍面、スクリーン面、及び遠方面の関係を示す斜視図、図4は図3の例における立体映像を示す図、図5(a)〜図5(c)はそれぞれの運転シーンにおける最適な提示範囲の例を示す側面図である。   FIG. 1 is a block diagram illustrating a configuration of a vehicle image display device according to the present embodiment, FIG. 2 is a diagram for explaining parallax between two images, FIG. 3 is a camera, a near surface, a screen surface, FIG. 4 is a diagram showing a stereoscopic image in the example of FIG. 3, and FIGS. 5 (a) to 5 (c) are side views showing examples of optimum presentation ranges in each driving scene. It is.

本実施形態における車輌用映像表示装置1は、自動車1の前方又は後方の映像を立体映像として運転者に表示する装置であり、図1に示すように、2組のカメラ21L/R,22L/Rと、3Dモニタ30と、ナビゲーション装置40と、物体検出センサ50と、映像制御部60と、を備えている。   The vehicle image display device 1 in the present embodiment is a device that displays a front or rear image of the automobile 1 as a stereoscopic image to the driver, and as shown in FIG. 1, two sets of cameras 21L / R, 22L / R, a 3D monitor 30, a navigation device 40, an object detection sensor 50, and a video control unit 60 are provided.

一対の前方カメラ21L,21R(以下単に、前方カメラ21とも称する。)は、CCDイメージセンサ、MOSセンサ、又はCID等の複数の光電変換素子が二次元に配置された光電変換モジュールを備えている。この前方カメラ21は、自動車1の先端に設けられおり、自動車1の前方を撮像することが可能となっている。なお、左側のカメラ21Lが、立体映像を形成するための左眼用の映像を撮像し、右側のカメラ21Rが右眼用の映像を撮像する。   The pair of front cameras 21L and 21R (hereinafter also simply referred to as the front camera 21) includes a photoelectric conversion module in which a plurality of photoelectric conversion elements such as a CCD image sensor, a MOS sensor, or a CID are two-dimensionally arranged. . The front camera 21 is provided at the front end of the automobile 1 and can capture the front of the automobile 1. Note that the left camera 21L captures a left-eye image for forming a stereoscopic image, and the right camera 21R captures a right-eye image.

なお、いわゆる平行法を採用する場合には、光軸が実質的に平行になるように2つのカメラ20L,20Rを平行に並べて配置する。一方、いわゆる交差法を採用する場合(以下単にカメラ交差法と称する。)には、カメラの光軸が相互に交差するようにカメラ20L,20Rを互いに傾けて設置する。また、それぞれのカメラにおいて撮像素子に対してレンズをずらすことで、カメラの光軸を相互に交差させる場合(以下単にレンズ交差法と称する。図8(a)及び図8(b)参照)には、2つのカメラ20R,20Lを平行に並べて設置する。また、後述する多視点方式を採用する場合には、自動車1の先端や後端に3以上のカメラをそれぞれ設ける。   When the so-called parallel method is employed, the two cameras 20L and 20R are arranged in parallel so that the optical axes are substantially parallel. On the other hand, when the so-called crossing method is employed (hereinafter simply referred to as the camera crossing method), the cameras 20L and 20R are inclined with respect to each other so that the optical axes of the cameras cross each other. Further, when the optical axes of the cameras intersect each other by shifting the lens with respect to the image sensor in each camera (hereinafter simply referred to as the lens intersection method; see FIGS. 8A and 8B). Installs two cameras 20R and 20L side by side in parallel. Further, when the multi-viewpoint method described later is adopted, three or more cameras are provided at the front end and the rear end of the automobile 1, respectively.

自動車1の後端にも、前方カメラ21と同様の一対の後方カメラ22L,22R(以下単に、後方カメラ22とも称する。)が設けられており、自動車1の後方を撮像することが可能となっている。   A pair of rear cameras 22 </ b> L and 22 </ b> R (hereinafter also simply referred to as rear camera 22) similar to the front camera 21 are provided at the rear end of the automobile 1, and the rear of the automobile 1 can be imaged. ing.

3Dモニタ30は、自動車1の車室内に設けられ、運転者の左右眼に対して映像を分割して提示することが可能な裸眼型或いはメガネ型の三次元ディスプレイであり、2台のカメラ21(又は22)によって撮像された映像を立体映像として表示することが可能となっている。   The 3D monitor 30 is a three-dimensional display of a naked eye type or glasses type that is provided in the passenger compartment of the automobile 1 and can divide and present an image to the left and right eyes of the driver. The video imaged in (or 22) can be displayed as a stereoscopic video image.

裸眼型の3Dディスプレイの具体例としては、例えば、パララックスバリア(Parallax Barrier)方式、レンチキュラ(Lenticular)方式、CLD(Chromatic Light Deflector)方式等を例示することができる。また、メガネ型の3Dディスプレイの具体例としては、例えば、液晶シャッタ方式や偏光フィルタ方式等を例示することができる。   Specific examples of the naked-eye type 3D display include a parallax barrier method, a lenticular method, a CLD (Chromatic Light Deflector) method, and the like. As specific examples of the glasses-type 3D display, for example, a liquid crystal shutter method, a polarizing filter method, and the like can be exemplified.

なお、前方カメラ21によって撮像された映像と、後方カメラ22によって撮像された画像を同時に表示するために3Dモニタ30を複数設けてもよいし、一つの3Dモニタ30に前方及び後方の立体映像を表示してもよい。   Note that a plurality of 3D monitors 30 may be provided to simultaneously display the image captured by the front camera 21 and the image captured by the rear camera 22, and the front and rear stereoscopic images may be displayed on one 3D monitor 30. It may be displayed.

ナビゲーション装置40は、自車輌1の現在位置やナビゲーション情報に基づいて、運転者に地理的な情報等を提示する装置である。自車輌1の現在位置は、例えば、GPS(Global Positioning System)衛星から受信した位置情報(測位データ)等の情報に基づいて特定される。一方、ナビゲーション情報は、例えば、ナビゲーション装置40と一体化されたハードディスク装置等の記憶装置に格納されている。   The navigation device 40 is a device that presents geographical information and the like to the driver based on the current position of the host vehicle 1 and navigation information. The current position of the host vehicle 1 is specified based on information such as position information (positioning data) received from a GPS (Global Positioning System) satellite, for example. On the other hand, the navigation information is stored in a storage device such as a hard disk device integrated with the navigation device 40, for example.

このナビゲーション情報は、経路検索や経路案内に用いられる情報であり、主に「ノードデータ」と「道路データ」から構成されている。ナビゲーション情報において、各道路は、交差・分岐・合流等の地点に対応するノードによって分割されており、個々のノード間の接続が道路リンクとして規定される。そのため、個々のノードを介して道路リンクを接続することにより、一連の道路形状が規定される。   This navigation information is information used for route search and route guidance, and is mainly composed of “node data” and “road data”. In the navigation information, each road is divided by nodes corresponding to points such as intersections, branches, and merges, and connections between individual nodes are defined as road links. For this reason, a series of road shapes is defined by connecting road links via individual nodes.

「ノードデータ」は、個々のノード毎に、ノードを識別する識別番号(ノードID)、緯度及び経度を用いた絶対位置情報、ノードに接続する道路リンクの固有番号(リンクID)等が互いに関連付けられたデータである。   In “node data”, an identification number (node ID) for identifying a node, absolute position information using latitude and longitude, a unique number (link ID) of a road link connected to the node, and the like are associated with each other. Data.

一方、「道路データ」は、個々の道路リンク毎に、道路リンクを識別する固有番号(リンクID)、道路リンクに該当する道路の長さ、幅、勾配、路面状態、曲率半径、種別(高速道路、自動車専用道路、一般道路)等が関連付けられたデータである。   On the other hand, the “road data” includes, for each road link, a unique number (link ID) for identifying the road link, the length, width, gradient, road surface state, curvature radius, type (high speed) corresponding to the road link. Road, automobile-only road, general road), and the like.

物体検出センサ50は、例えば、レーザレンジファインダや超音波センサから構成されており、自動車1の先端及び後端に配置され、自動車1の前方や後方に存在する他車輌等の物体までの距離等を検出することが可能となっている。なお、ステレオカメラや、他車輌との通信等によって他車輌までの距離を検出してもよい。   The object detection sensor 50 is composed of, for example, a laser range finder or an ultrasonic sensor, and is disposed at the front and rear ends of the automobile 1, and the distance to an object such as another vehicle existing in front of or behind the automobile 1. Can be detected. Note that the distance to the other vehicle may be detected by a stereo camera, communication with the other vehicle, or the like.

映像制御装置60は、CPU、RAM、ROM、及び入出力インタフェース等を備えたコンピュータから構成されており、本実施形態では、キャプチャ部61と、シーン推定部62と、奥行き度調整部63と、変換部64と、を備えている。なお、キャプチャ部61、シーン推定部62、奥行き度調整部63、及びは、変換部64は、映像制御装置60がプログラムを実行することによって、それぞれの機能が実現されている。   The video control device 60 is configured by a computer including a CPU, a RAM, a ROM, an input / output interface, and the like. In this embodiment, a capture unit 61, a scene estimation unit 62, a depth degree adjustment unit 63, A conversion unit 64. Note that the functions of the capture unit 61, the scene estimation unit 62, the depth degree adjustment unit 63, and the conversion unit 64 are realized by the video control device 60 executing a program.

キャプチャ部61は、前方カメラ21や後方カメラ22によって撮像された映像を映像制御装置60内に取り込む。   The capture unit 61 captures images captured by the front camera 21 and the rear camera 22 in the image control device 60.

シーン推定部62は、ナビゲーション装置40、物体検出センサ50、或いは、自動車1の挙動や運転者による自動車1の操作を検出するセンサ等からの情報に基づいて、自動車1の運転シーンを推定する。なお、自動車1の挙動や運転者による自動車1の操作を検出するセンサとしては、車速、加速度、操舵角、アクセルやブレーキの操作量、ウィンカの操作、シフトポジション等を検出するセンサを例示することができる。   The scene estimation unit 62 estimates the driving scene of the automobile 1 based on information from the navigation device 40, the object detection sensor 50, or a sensor that detects the behavior of the automobile 1 or the operation of the automobile 1 by the driver. Examples of sensors that detect the behavior of the automobile 1 and the operation of the automobile 1 by the driver include sensors that detect vehicle speed, acceleration, steering angle, accelerator / brake operation amount, blinker operation, shift position, and the like. Can do.

本実施形態では、運転シーンは、道路の種別と、自動車1の走行状態と、に基づいて設定されている。道路の種別は、例えば、ナビゲーション装置40から提供される情報に基づいて判断することができ、その具体例としては、「高速道路」や「一般道路」等を例示することができる。   In the present embodiment, the driving scene is set based on the type of road and the running state of the automobile 1. The type of road can be determined based on, for example, information provided from the navigation device 40. Specific examples thereof include “highway” and “general road”.

一方、自動車1の走行状態としては、例えば、「発進」、「停止」、「直進」、「旋回」、「後退」、「合流」、「車線変更」、「追い越し」等を例示することができる。   On the other hand, examples of the running state of the automobile 1 include “start”, “stop”, “straight forward”, “turn”, “reverse”, “join”, “lane change”, “passing”, and the like. it can.

シーン推定部62による具体的な推定方法の一例を示すと、例えば、自動車1の車速が0から増加を開始したら、シーン推定部62は、自動車1が「発進」していると推定する。一方、自動車1の減速度が大きく且つ車速が0に近づいている場合には、シーン推定部62は、自動車1が「停止」していると推定する。   An example of a specific estimation method by the scene estimation unit 62 is shown. For example, when the vehicle speed of the automobile 1 starts to increase from 0, the scene estimation unit 62 estimates that the automobile 1 is “starting”. On the other hand, when the deceleration of the automobile 1 is large and the vehicle speed approaches 0, the scene estimation unit 62 estimates that the automobile 1 is “stopped”.

また、例えば、自動車1の車速が所定値以上であり、且つ、操舵角がほぼゼロである場合には、シーン推定部62は、自動車1が「直進」していると推定する。一方、自動車1の操舵角がプラス或いはマイナスの値となったら、シーン推定部62は、自動車1が「旋回」していると推定する。また、例えば、自動車1のシフトポジションとしてバックギアを検出すれば、シーン推定部62は、例えば駐車等により自動車1が「後退」していると推定する。   Further, for example, when the vehicle speed of the automobile 1 is equal to or higher than a predetermined value and the steering angle is substantially zero, the scene estimation unit 62 estimates that the automobile 1 is “straight ahead”. On the other hand, when the steering angle of the automobile 1 becomes a positive or negative value, the scene estimation unit 62 estimates that the automobile 1 is “turning”. For example, if the back gear is detected as the shift position of the automobile 1, the scene estimation unit 62 estimates that the automobile 1 is “retreating” due to parking or the like, for example.

さらに、「合流」については、シーン推定部62はナビゲーション装置40から提供される情報に基づいて判断する。また、例えば、ナビゲーション装置40からの情報によると自動車1は複数車線を有する直線路を走行しているにも関わらず、ウィンカの操作を検出した場合には、シーン推定部62は、自動車1が「車線変更」していると推定する。また、例えば、物体検出センサ50等によって他車輌に対する接近を検出し且つウィンカの操作を検出した場合には、シーン推定部62は、自動車1が「追い越し」を行っていると推定する。なお、シーン推定部62による運転シーンの具体的な推定方法は、上記に限定されない。   Furthermore, regarding “joining”, the scene estimation unit 62 determines based on information provided from the navigation device 40. Further, for example, according to the information from the navigation device 40, when the vehicle 1 is traveling on a straight road having a plurality of lanes and the operation of the blinker is detected, the scene estimation unit 62 determines that the vehicle 1 Presume that you are changing lanes. For example, when the approach to the other vehicle is detected by the object detection sensor 50 or the like and the operation of the winker is detected, the scene estimation unit 62 estimates that the vehicle 1 is “passing”. The specific method for estimating the driving scene by the scene estimation unit 62 is not limited to the above.

奥行き度調整部63は、シーン推定部62によって推定された運転シーンに基づいて、立体映像の奥行き度を調整する。   The depth degree adjustment unit 63 adjusts the depth degree of the stereoscopic video based on the driving scene estimated by the scene estimation unit 62.

ところで、人間は、左眼用と右眼用の2つの映像を融像することで一つの立体映像として認識するが、当該映像における視差が許容範囲を超えている部分については、人間は2つの映像を融像することができず、その部分から詳細な情報を入手することができない。   By the way, a human recognizes it as one stereoscopic video by fusing two videos for the left eye and the right eye. For a part where the parallax in the video exceeds the allowable range, the human The video cannot be fused, and detailed information cannot be obtained from that part.

例えば、図2に示す例では、物体100を2つのカメラ20L,20Rで撮像した場合、左眼用カメラ20Lでは、レンズ202Lを透過した物体100の像は、撮像素子201Lにおいて中心から左側に距離pだけ離れた位置に結像される。これに対し、右眼用カメラ20Rでは、レンズ202Rを透過した物体100の像は、撮像素子201Rにおいて中心から右側に距離pだけ離れた位置に結像される。この際の視差は、下記の(1)式で算出されるΔpを、3Dモニタ30上でのピクセル数に換算することで算出される。 For example, in the example shown in FIG. 2, when the object 100 is imaged by the two cameras 20L and 20R, in the left-eye camera 20L, the image of the object 100 that has passed through the lens 202L is a distance from the center to the left side in the image sensor 201L. only p 1 is imaged at a remote location. In contrast, in the right-eye camera 20R, lens image of the object 100 is transmitted through 202R, and is imaged at a position separated to the right by a distance p 2 from the center in the imaging element 201R. The parallax at this time is calculated by converting Δp calculated by the following equation (1) into the number of pixels on the 3D monitor 30.

Δp=p−p …(1) Δp = p 1 −p 2 (1)

この視差が許容範囲内である場合には、人間は2つのカメラ20L,20Rによって撮像された2つの映像を融像することができる。これに対し、視差が許容範囲外である場合には、人間は2つの映像を融像することができず、2つの映像は複視されてしまう。   When this parallax is within an allowable range, a human can fuse two images captured by the two cameras 20L and 20R. On the other hand, when the parallax is outside the allowable range, a human cannot fuse the two images, and the two images are double-viewed.

そこで、本実施形態では、図3に示すように、立体映像における飛び出し側の視差(いわゆる負の視差)が最大許容値となる近傍面NPと、引っ込み側の視差(いわゆる正の視差)が最大許容値となる遠方面FPと、を運転シーンに応じて変更することで、立体映像の奥行き度を最適に調節する。この視差の最大許容値は、運転者と3Dモニタ30との位置関係(特に視距離)や、3Dモニタ30の画面サイズ等に基づいて予め設定されている。   Therefore, in the present embodiment, as shown in FIG. 3, the near surface NP where the pop-up-side parallax (so-called negative parallax) in the stereoscopic image has the maximum allowable value and the retraction-side parallax (so-called positive parallax) are maximum. The depth of the stereoscopic video is optimally adjusted by changing the far plane FP that is an allowable value according to the driving scene. The maximum parallax allowable value is set in advance based on the positional relationship (particularly the viewing distance) between the driver and the 3D monitor 30, the screen size of the 3D monitor 30, and the like.

なお、視差が所定値(例えば、人間の両眼の間隔(瞳孔間隔(IPD)、一般的に60〜65[mm]程度)の所定倍)よりも大きくなると、実際の物体のサイズと、立体映像における当該物体のサイズとの間に違和感が生じる場合があるため、上記の視差の最大許容値の設定の際にはこの違和感も考慮することが好ましい。   Note that when the parallax becomes larger than a predetermined value (for example, a predetermined multiple of the distance between human eyes (pupil distance (IPD), generally about 60 to 65 [mm])) Since a sense of incongruity may occur with the size of the object in the video, it is preferable to consider this sense of discomfort when setting the maximum allowable parallax.

図3に示す例の場合には、図4に示すように、近傍面NPよりも手前に位置する物体101や、遠方面FPよりも奥に位置する物体106,107は、視野が大き過ぎて融像することができない。これに対し、近傍面NPと遠方面FPとの間に位置する物体102〜105は、視差が許容範囲内であるので融像することができる。なお、図3及び図4における符号SPは、視差が実質的にゼロとなるスクリーン面SP(Screen Plane又はFocal Plane)である。   In the case of the example shown in FIG. 3, as shown in FIG. 4, the field of view of the object 101 positioned in front of the near surface NP and the objects 106 and 107 positioned in the back of the far surface FP is too large. Cannot be fused. On the other hand, the objects 102 to 105 positioned between the near surface NP and the far surface FP can be fused because the parallax is within an allowable range. 3 and 4 is a screen plane SP (Screen Plane or Focal Plane) where the parallax is substantially zero.

本実施形態では、奥行き度調整部63は、シーン推定部62から運転シーンを受信すると、当該運転シーンに対応した提示範囲PWを下記の表1及び表2から読み込み、当該提示範囲PWが近傍面NPと遠方面FPとの間に包含されるように近傍面NPと遠方面FPを設定する。具体的には、奥行き度調整部63は、提示範囲PWにおける最近値に近傍面NPを設定すると共に、当該提示範囲PWにおける最遠値に遠方面FPを設定する。これにより、スクリーン面SPは、提示範囲PWのほぼ中央に設定される。下記の表1及び2における提示範囲PWは、自車輌1からの距離を示しており、下記の表1は、自動車1の前方側の提示範囲PWを示し、下記の表2は、自動車の後方側の提示範囲PWを示している。なお、表1及び表2における運転シーンやその提示範囲の具体的な数値は一例に過ぎない。   In the present embodiment, when the depth degree adjustment unit 63 receives the driving scene from the scene estimation unit 62, the depth degree adjustment unit 63 reads the presentation range PW corresponding to the driving scene from the following Table 1 and Table 2, and the presentation range PW The near surface NP and the far surface FP are set so as to be included between the NP and the far surface FP. Specifically, the depth degree adjustment unit 63 sets the near surface NP to the nearest value in the presentation range PW and sets the far surface FP to the farthest value in the presentation range PW. Thereby, the screen surface SP is set to approximately the center of the presentation range PW. The presentation range PW in the following Tables 1 and 2 indicates the distance from the vehicle 1, the following Table 1 shows the presentation range PW on the front side of the automobile 1, and the following Table 2 shows the rear side of the automobile. The side presentation range PW is shown. In addition, the specific numerical value of the driving scene in Table 1 and Table 2 and its presentation range is only an example.

Figure 0005861293
Figure 0005861293

Figure 0005861293
Figure 0005861293

例えば、運転シーンとして「一般道路/高速道路−発進」(シーンNo.1)が推定された場合には、奥行き度調整部63は、表1及び表2に基づいて、図5(a)に示すように、自車輌1の前方及び後方のいずれの立体映像についても、近傍面NPを10[m]に設定すると共に、遠方面FPを50[m]に設定する。   For example, when “general road / highway—start” (scene No. 1) is estimated as the driving scene, the depth degree adjusting unit 63 is based on Tables 1 and 2 in FIG. As shown, the near surface NP is set to 10 [m] and the far surface FP is set to 50 [m] for both the front and rear stereoscopic images of the vehicle 1.

一方、例えば、運転シーンとして「高速道路−直進」(シーンNo.5)が推定された場合には、奥行き度調整部63は、表1に基づいて、図5(b)に示すように、自車輌1の前方の立体映像について、近傍面NPを50[m]に設定すると共に、遠方面FPを150[m]に設定する。なお、この場合には、車輌後方の立体映像は3Dモニタ30に表示されない。   On the other hand, for example, when “highway—go straight” (scene No. 5) is estimated as the driving scene, the depth degree adjustment unit 63 is based on Table 1, as shown in FIG. For the stereoscopic image in front of the host vehicle 1, the near surface NP is set to 50 [m] and the far surface FP is set to 150 [m]. In this case, the stereoscopic image behind the vehicle is not displayed on the 3D monitor 30.

また、例えば、運転シーンとして「高速道路−合流」(シーンNo.8)が推定された場合には、奥行き度調整部63は、表2に基づいて、図5(c)に示すように、自車輌1の後方の立体映像について、近傍面NPを100[m]に設定すると共に、遠方面FPを200[m]に設定する。なお、この場合には、車輌前方の立体映像は3Dモニタ30に表示されない。   Further, for example, when “highway-merging” (scene No. 8) is estimated as the driving scene, the depth degree adjustment unit 63 is based on Table 2 as shown in FIG. For the stereoscopic image behind the host vehicle 1, the near surface NP is set to 100 [m] and the far surface FP is set to 200 [m]. In this case, the stereoscopic image in front of the vehicle is not displayed on the 3D monitor 30.

すなわち、本実施形態では、運転者が運転シーンにおいて注目すべき範囲を融像することが可能となるように、近傍面NPと遠方面FPとで規定される提示範囲PWを運転シーンに応じてシフトさせる。なお、いわゆる平行法を採用している場合には、後述の図6の手法によってクロスポイントが移動しない限り、スクリーン面SPが無限遠点となるため、近傍面NPのみを設定すればよい。   That is, in the present embodiment, the presentation range PW defined by the near plane NP and the far plane FP is set according to the driving scene so that the driver can fuse the range to be noted in the driving scene. Shift. Note that when the so-called parallel method is employed, the screen surface SP is an infinite point unless the cross point is moved by the method shown in FIG.

ここで、近傍面NPと遠方面FPとで規定される提示範囲PWをシフトさせる具体的な手法としては、図6〜図10に示すものを例示することができる。図6〜図10は本実施形態における立体映像の奥行き度の調整方法の具体例を示す図である。   Here, as a specific method of shifting the presentation range PW defined by the near plane NP and the far plane FP, those shown in FIGS. 6 to 10 can be exemplified. 6 to 10 are diagrams showing specific examples of the method for adjusting the depth degree of the stereoscopic video in the present embodiment.

例えば、図6に示す例では、左眼映像150Lと右眼用の映像150Rを部分的に表示することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整する。   For example, in the example shown in FIG. 6, the left-eye image 150L and the right-eye image 150R are partially displayed to control the parallax between the left-eye image and the right-eye image, thereby increasing the depth of the stereoscopic image. adjust.

具体的には、同図に示すように、左眼用の映像150Lの左側の一部151Lを削除すると共に、右眼用の映像150Rの右側一部151Rを削除することで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、左眼用の映像の右側の一部を削除すると共に、右眼用の映像の左側の一部を削除することで、提示範囲PWを自車輌1に近づけることができる。   Specifically, as shown in the figure, the left-side portion 151L of the left-eye video 150L is deleted, and the right-side portion 151R of the right-eye video 150R is deleted, thereby reducing the presentation range PW. It can be kept away from the vehicle 1. On the other hand, although not shown in the drawing, the presentation range PW is made closer to the own vehicle 1 by deleting a part of the right eye image and deleting a part of the left eye image. Can do.

こうした画像処理は、映像制御装置60が所定のプログラムを実行することで遂行することができるので、車輌用映像表示装置1の低コスト化を図ることができる。なお、この手法は、平行法、カメラ交差法、及びレンズ交差法のいずれにも採用することができる。   Such image processing can be performed by the video control device 60 executing a predetermined program, so that the cost of the vehicle video display device 1 can be reduced. This method can be adopted for any of the parallel method, the camera crossing method, and the lens crossing method.

一方、図7に示す例では、カメラ20L,20Rの間隔を変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整する。   On the other hand, in the example illustrated in FIG. 7, by changing the interval between the cameras 20L and 20R, the parallax between the left-eye video and the right-eye video is controlled to adjust the depth degree of the stereoscopic video.

具体的には、同図に示すように、2つのカメラ20L,20Rの間隔を広げることで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、2つのカメラ20L,20Rの間隔を狭めることで、提示範囲PWを自車輌1に近づけることができる。なお、カメラ20L,20Rの間隔を変更する具体的な手段としては、例えば、モータにより駆動するボールネジ機構等を例示することができる。   Specifically, as shown in the figure, the presentation range PW can be moved away from the host vehicle 1 by widening the interval between the two cameras 20L and 20R. On the other hand, although not particularly illustrated, the presentation range PW can be made closer to the host vehicle 1 by narrowing the interval between the two cameras 20L and 20R. As specific means for changing the interval between the cameras 20L and 20R, for example, a ball screw mechanism driven by a motor can be exemplified.

この場合には、カメラ20L,20Rの撮像素子の画素数を維持することができるため、運転者に対して繊細な立体映像を呈示することができる。なお、この手法も、平行法、カメラ交差法、及びレンズ交差法のいずれにも採用することができる。   In this case, since the number of pixels of the image sensors of the cameras 20L and 20R can be maintained, a delicate stereoscopic image can be presented to the driver. This method can also be adopted for any of the parallel method, camera crossing method, and lens crossing method.

また、図8(a)及び図8(b)に示すように、上述のレンズ交差法を採用している場合には、カメラ20L,20Rのレンズ202L,202Rの間隔を変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。   Further, as shown in FIGS. 8A and 8B, when the above-described lens crossing method is adopted, the distance between the lenses 202L and 202R of the cameras 20L and 20R can be changed to the left. The degree of depth of the stereoscopic video may be adjusted by controlling the parallax between the eye video and the right eye video.

具体的には、同図に示すように、2つのレンズ202L,202Rの間隔を広げることで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、2つのレンズ202L,202Rの間隔を狭めることで、提示範囲PWを自車輌1に近づけることができる。   Specifically, as shown in the figure, the presentation range PW can be moved away from the vehicle 1 by widening the interval between the two lenses 202L and 202R. On the other hand, although not particularly illustrated, the presentation range PW can be brought closer to the host vehicle 1 by narrowing the interval between the two lenses 202L and 202R.

なお、レンズ202L,202Rの間隔を変更する具体的な手段としては、例えば、モータにより駆動するボールネジ機構等を例示することができる。また、レンズ202L,202Rに対して撮像素子201L,201Rを相対移動させることで、提示範囲PWを変更してもよい。   As specific means for changing the distance between the lenses 202L and 202R, for example, a ball screw mechanism driven by a motor can be exemplified. Further, the presentation range PW may be changed by moving the imaging elements 201L and 201R relative to the lenses 202L and 202R.

図8に示す例の場合には、レンズ202L,202Rの間隔を連続的に変更することができるので、運転者に違和感を与えることなく立体映像の奥行き度を調整することができる。   In the case of the example shown in FIG. 8, since the distance between the lenses 202L and 202R can be changed continuously, the depth of the stereoscopic image can be adjusted without giving the driver a sense of incongruity.

また、3つ以上(図9に示す例では8つ)のカメラ20A〜20Hを用いた多視点(マルチビュー又はインテグラルイメージング)方式を採用している場合には、左眼用のカメラと右眼用のカメラの組合せを切り替えることで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。   In addition, when a multi-viewpoint (multi-view or integral imaging) method using three or more (eight in the example shown in FIG. 9) cameras 20A to 20H is adopted, a left-eye camera and a right camera are used. By switching the combination of the cameras for the eyes, the parallax between the left-eye video and the right-eye video may be controlled to adjust the depth of the stereoscopic video.

例えば、図9に示すように、中央の2つのカメラ20D,20Eを使用している場合、左眼用のカメラをカメラ20Dからその左隣のカメラ20Cに切り替えると共に、右眼用のカメラをカメラ20Eからその右隣のカメラ20Fに切り替えることで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、外側のカメラから内側のカメラに切り替えるほど、提示範囲PWを自車輌1に近づけることができる。   For example, as shown in FIG. 9, when two central cameras 20D and 20E are used, the camera for the left eye is switched from the camera 20D to the camera 20C adjacent to the left, and the camera for the right eye is switched to the camera. The presentation range PW can be moved away from the host vehicle 1 by switching from 20E to the camera 20F on the right. On the other hand, although not shown in particular, the presentation range PW can be brought closer to the host vehicle 1 as the camera is switched from the outer camera to the inner camera.

この場合には、左眼用映像と右眼映像における視差を制御するための機械的な可動部が存在しないため、立体映像の奥行き度を高速に調整することができる。なお、この多視点方式は、平行法、カメラ交差法、及びレンズ交差法のいずれの場合でも採用することができる。   In this case, since there is no mechanical movable part for controlling the parallax between the left-eye video and the right-eye video, the depth degree of the stereoscopic video can be adjusted at high speed. This multi-viewpoint method can be employed in any of the parallel method, the camera crossing method, and the lens crossing method.

また、図10に示すように、上述のカメラ交差法を採用している場合には、当該カメラ20L、20Rの傾きを変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。   Further, as shown in FIG. 10, when the above-described camera intersection method is adopted, the parallax between the left-eye video and the right-eye video is controlled by changing the tilt of the cameras 20L and 20R. The depth degree of the stereoscopic image may be adjusted.

具体的には、同図に示すように、2つのカメラ20L,20Rの傾きを緩くすることで、提示範囲PWを自車輌1から遠ざけることができる。これに対し、特に図示しないが、カメラ20L,20Rの傾きを強くすることで、提示範囲PWを自車輌1に近づけることができる。   Specifically, as shown in the figure, the presentation range PW can be moved away from the host vehicle 1 by loosening the inclination of the two cameras 20L and 20R. On the other hand, although not particularly illustrated, the presentation range PW can be brought closer to the host vehicle 1 by increasing the inclination of the cameras 20L and 20R.

以上のように、本実施形態では、運転シーンに応じて奥行き度が最適化された立体映像が表示されるので、運転者は運転シーンにおいて重要な範囲を視認することが可能となり、立体映像による状況認識性能の向上を図ることができる。   As described above, in the present embodiment, since the stereoscopic video with the depth degree optimized according to the driving scene is displayed, the driver can visually recognize an important range in the driving scene. The situation recognition performance can be improved.

なお、図11(a)及び図11(b)に示すように、運転シーンと自動車1の車速とに応じて、提示範囲PWを設定してもよい。図11(a)は、運転シーンとして「高速道路−直進」(シーンNo.5)が推定された場合の提示範囲PWと車速との関係を示すグラフであり、図11(b)は、運転シーンとして「一般道路/高速道路−発進」(シーンNo.1)が推定された場合の提示範囲PWと車速の関係を示すグラフである。   In addition, as shown to Fig.11 (a) and FIG.11 (b), according to a driving | running scene and the vehicle speed of the motor vehicle 1, you may set the presentation range PW. FIG. 11A is a graph showing the relationship between the presentation range PW and the vehicle speed when “highway-straight ahead” (scene No. 5) is estimated as the driving scene, and FIG. It is a graph which shows the relationship between the presentation range PW and vehicle speed when "general road / highway-start" (scene No. 1) is estimated as a scene.

奥行き度調整部63は、図11(a)や図11(b)に示すようなマップを運転シーンに応じて参照して、車速センサ70(図1参照)から得られた車速に応じて、提示範囲PWを補正する。具体的には、図11(a)や図11(b)に示すようなマップに対応した運転シーンの場合には、奥行き度調整部63は、車速が高くなるに従って提示範囲PWを自車輌1から遠ざけるように補正する。このように、運転シーンと自車輌1の車速に基づいて立体映像の奥行き度を調整することで、立体映像の奥行き度が一層最適化されるので、立体映像による状況認識性能がさらに向上する。   The depth degree adjusting unit 63 refers to a map as shown in FIG. 11A or FIG. 11B according to the driving scene, and according to the vehicle speed obtained from the vehicle speed sensor 70 (see FIG. 1). The presentation range PW is corrected. Specifically, in the case of a driving scene corresponding to a map as shown in FIG. 11A or FIG. 11B, the depth degree adjustment unit 63 sets the presentation range PW as the vehicle 1 increases as the vehicle speed increases. Correct so that it is away from. As described above, the depth degree of the stereoscopic image is further optimized by adjusting the depth degree of the stereoscopic image based on the driving scene and the vehicle speed of the host vehicle 1, and thus the situation recognition performance by the stereoscopic image is further improved.

なお、特に図示しないが、上記の表1及び表2に示す全ての運転シーンに対して、図11(a)や図11(b)に示すようなグラフを設定してもよいし、一部の運転シーンについては車速に対して提示範囲PWを固定してもよい。   Although not particularly illustrated, graphs as shown in FIG. 11 (a) and FIG. 11 (b) may be set for all driving scenes shown in Tables 1 and 2 above, or a part thereof. For the driving scene, the presentation range PW may be fixed with respect to the vehicle speed.

また、図12に示すように、自車輌1の周囲に存在する複数の他車輌の平均距離に応じて、提示範囲PWを変化させてもよい。図12は、他車輌の平均距離に基づいて提示範囲を補正したグラフである。   Further, as shown in FIG. 12, the presentation range PW may be changed according to the average distance of a plurality of other vehicles existing around the host vehicle 1. FIG. 12 is a graph in which the presentation range is corrected based on the average distance of other vehicles.

この自車輌1の周囲に存在する複数の他車輌の平均距離Dは、下記の(2)〜(4)式によって算出され、図12に示すように、現在の車速(図12に示す例では100[km/h])におけるスクリーン面SPが平均距離Dとなるように、その車速付近における提示範囲PWを補正する。   The average distance D of a plurality of other vehicles existing around the host vehicle 1 is calculated by the following equations (2) to (4). As shown in FIG. 12, the current vehicle speed (in the example shown in FIG. The presentation range PW in the vicinity of the vehicle speed is corrected so that the screen surface SP becomes the average distance D at 100 [km / h]).

D=Σ(d×w/W) …(2)
=Δv×1/Δs …(3)
W=Σw …(4)
D = Σ (d n × w n / W) (2)
w n = Δv n × 1 / Δs n (3)
W = Σw n (4)

但し、上記の(2)〜(4)式において、dは、自車輌から個々の他車輌までの距離であり、Δvは、自車輌に対する個々の他車輌の相対速度であり、Δsは、自車輌に対する個々の他車輌の横変位である。なお、d,Δv,Δsは、物体検出センサ50や車速センサ等の検出信号に基づいて算出される。 However, in the above (2) to (4), d n is the distance from the own vehicle to each other vehicles, Delta] v n is the relative velocity of each other vehicles for its own vehicle, Delta] s n Is the lateral displacement of each other vehicle relative to the host vehicle. Note that d n , Δv n , and Δs n are calculated based on detection signals from the object detection sensor 50, the vehicle speed sensor, and the like.

具体的に図13に示す合流シーンを例にとって平均距離Dの算出方法について説明する。図13は自車輌が本線に合流する例における車輌間の位置関係を示す図である。   Specifically, a method for calculating the average distance D will be described taking the merge scene shown in FIG. 13 as an example. FIG. 13 is a diagram showing a positional relationship between vehicles in an example where the own vehicle joins the main line.

図13に示す例では、自車輌1が速度vで走行している車線121の隣の車線122を他車輌111が速度vで走行し、さらにその隣の車線123を別の他車輌112が速度vで走行している。このような例では、複数の他車輌111,112の平均距離は、下記の(5)〜(10)によって算出される。 In the example shown in FIG. 13, the other vehicle 111 travels at the speed v 1 in the lane 122 adjacent to the lane 121 in which the host vehicle 1 is traveling at the speed v 0 , and further another lane 123 travels in the other lane 123. There has been traveling at a speed v 2. In such an example, the average distance between the plurality of other vehicles 111 and 112 is calculated by the following (5) to (10).

Δv=v−v …(5)式
Δv=v−v …(6)式
=Δv×1/s …(7)式
=Δv×1/s …(8)式
W=w+w …(9)式
D=d×w/W+d×w/W …(10)式
Δv 1 = v 1 −v 0 (5) Equation Δv 2 = v 2 −v 0 (6) Equation w 1 = Δv 1 × 1 / s 1 (7) Equation w 2 = Δv 2 × 1 / s 2 (8) Formula W = w 1 + w 2 (9) Formula D = d 1 × w 1 / W + d 2 × w 2 / W (10)

但し、上記の(5)〜(10)式において、sは自車輌1に対する他車輌111のX方向の距離(横変位)であり、sは自車輌1に対する他車輌112のX方向の距離(横変位)であり、dは自車輌1に対する他車輌111のY方向の距離であり、dは自車輌1に対する他車輌112のY方向の距離である。 However, in the above formulas (5) to (10), s 1 is a distance (lateral displacement) of the other vehicle 111 with respect to the own vehicle 1 in the X direction, and s 2 is an X direction of the other vehicle 112 with respect to the own vehicle 1. The distance (lateral displacement), d 1 is the distance in the Y direction of the other vehicle 111 with respect to the own vehicle 1, and d 2 is the distance in the Y direction of the other vehicle 112 with respect to the own vehicle 1.

このように、自車輌1に対する他車輌111,112の距離に基づいて、立体映像の奥行き度を補正することで、運転者に対して注意すべき物体を強調することができ、立体映像による状況認識性能がさらに向上する。なお、こうした物体強調は、運転シーンの切替直後に実行することが好ましい。   In this way, by correcting the depth degree of the stereoscopic image based on the distance between the other vehicles 111 and 112 with respect to the own vehicle 1, an object to be noted for the driver can be emphasized, and the situation based on the stereoscopic image Recognition performance is further improved. Note that such object enhancement is preferably performed immediately after switching of the driving scene.

なお、運転者が注目したい車輌を複数の他車輌113,114の中から選択可能としてもよい。図14は車輌後方を表示する立体映像において注目したい他車輌を選択する画面の例を示す図である。この場合には、図14に示すように、例えば、ステアリングホイールやリモコン等に設けられた選択スイッチ80(図1参照)を操作して、3Dモニタ30上でウィンドウ枠141を移動させて注目したい他車輌113を囲むことで、当該他車輌113を選択する。そして、奥行き度調整部63は、特に図示しないが、現在の車速におけるスクリーン面SPが、選択された他車輌113の距離となるように、提示範囲PWを補正する。なお、注目したい他車輌の選択方法は特に上記に限定されない。   The vehicle that the driver wants to pay attention to may be selected from a plurality of other vehicles 113 and 114. FIG. 14 is a diagram illustrating an example of a screen for selecting another vehicle to be focused on in the stereoscopic image displaying the rear of the vehicle. In this case, as shown in FIG. 14, for example, the user wants to move the window frame 141 on the 3D monitor 30 by operating a selection switch 80 (see FIG. 1) provided on a steering wheel, a remote controller, or the like. The other vehicle 113 is selected by surrounding the other vehicle 113. The depth degree adjusting unit 63 corrects the presentation range PW so that the screen surface SP at the current vehicle speed is the distance of the selected other vehicle 113, although not particularly illustrated. Note that the method of selecting other vehicles to be noted is not particularly limited to the above.

このように、運転者が選択した物体113の自車輌1に対する距離に基づいて、立体映像の奥行き度を補正することで、複数の物体の中でも特に注意が必要な物体に対する状況認識性能を高めることができる。   In this way, by correcting the depth degree of the stereoscopic video based on the distance of the object 113 selected by the driver to the vehicle 1, the situation recognition performance for an object that requires special attention among a plurality of objects is improved. Can do.

奥行き度調整部63によって運転シーンに応じて奥行き度が調整された立体映像は、変換部64によって3Dモニタ30に適合した信号パターンに変換された後に3Dモニタ30に出力され、3Dモニタ30はその立体映像を運転者に対して表示する。   The stereoscopic image whose depth degree is adjusted according to the driving scene by the depth degree adjusting unit 63 is converted into a signal pattern suitable for the 3D monitor 30 by the converting unit 64 and then output to the 3D monitor 30. A stereoscopic image is displayed to the driver.

例えば、3Dモニタが2視点のパララックスバリア方式である場合には、変換部64は、左眼用映像と右眼用映像が垂直1ライン毎に交互に出力されるような信号パターンに変換する。   For example, when the 3D monitor is a two-viewpoint parallax barrier system, the conversion unit 64 converts the left-eye video and the right-eye video into a signal pattern that is alternately output for each vertical line. .

この際、本実施形態では、奥行き度調整部63によって立体映像の奥行き度が運転シーンに応じて最適化されている。例えば、高速道路において直進走行している場合には近傍領域よりも遠方領域の情報が重要であるが、本実施形態では、図15(a)に示すように、遠方に存在する他車輌115,116や案内標識131が融像可能であり、これらから正確に情報を入手することができる。   At this time, in the present embodiment, the depth degree of the stereoscopic image is optimized by the depth degree adjustment unit 63 according to the driving scene. For example, when traveling straight on an expressway, information on a distant area is more important than a nearby area. In this embodiment, as shown in FIG. 116 and the guide sign 131 can be fused, and information can be obtained accurately from these.

これに対し、奥行き度調整部63によって立体映像の奥行き度を調整しない場合には、図15(b)に示すように、自車輌から近傍領域は融像することができるが、遠方領域については融像することができず複視されてしまい、高速道路の直進走行に重要な情報が十分に入手できない場合がある。   On the other hand, when the depth degree of the stereoscopic image is not adjusted by the depth degree adjustment unit 63, as shown in FIG. 15 (b), the vicinity area can be fused from the own vehicle, but the far area is There is a case where the information important for straight running on the expressway cannot be obtained sufficiently because the two cannot be fused and are double-viewed.

なお、図15(a)は本実施形態において立体映像の奥行き度を運転シーンに応じて調整した画像の例を示す図、図15(b)は立体映像の奥行き度を調整せずに表示した画像の例を示す図である。   FIG. 15A is a diagram illustrating an example of an image in which the depth of the stereoscopic video is adjusted according to the driving scene in the present embodiment, and FIG. 15B is displayed without adjusting the depth of the stereoscopic video. It is a figure which shows the example of an image.

以上のように、本実施形態では、3Dモニタ30に表示される立体映像の奥行き度を、奥行き度調整部63によって運転シーンに基づいて調整する。これにより、運転シーンに応じて奥行き度が最適化された立体映像を運転者に対して表示することが可能となるので、立体映像による状況認識性能を向上させることができる。   As described above, in the present embodiment, the depth degree of the stereoscopic image displayed on the 3D monitor 30 is adjusted based on the driving scene by the depth degree adjusting unit 63. As a result, it is possible to display to the driver a stereoscopic video with the degree of depth optimized according to the driving scene, so that the situation recognition performance based on the stereoscopic video can be improved.

また、本実施形態では、「一般道路」や「高速道路」を含む道路種別と、「発進」、「停止」、「直進」、「旋回」、「後退」、「合流」、「車線変更」、及び「追い越し」を含む走行状態と、に基づいて運転シーンを設定している。このため、それぞれのシーンで重要な提示範囲PWを設定することができ、立体映像による状況認識性能を向上させることができる。   In this embodiment, the road type including “general road” and “highway”, “start”, “stop”, “straight”, “turn”, “reverse”, “join”, “lane change” , And a driving state including “overtaking” is set. For this reason, the important presentation range PW can be set in each scene, and the situation recognition performance by a stereoscopic image can be improved.

本実施形態におけるカメラ21,22が本発明における撮像手段の一例に相当し、本実施形態における3Dモニタ30が本発明における立体映像表示手段の一例に相当し、本実施形態におけるシーン推定部62が本発明におけるシーン推定手段の一例に相当し、本実施形態における奥行き度調整部63が本発明における奥行き度調整手段の一例に相当し、本実施形態における物体検出センサ50が本発明における物体検出手段の一例に相当し、本実施形態における選択スイッチ80が本発明における物体選択手段の一例に相当し、本実施形態におけるレンズ202L,202Rが本発明における集光手段の一例に相当する。   The cameras 21 and 22 in the present embodiment correspond to an example of an imaging unit in the present invention, the 3D monitor 30 in the present embodiment corresponds to an example of a stereoscopic image display unit in the present invention, and the scene estimation unit 62 in the present embodiment includes It corresponds to an example of the scene estimation means in the present invention, the depth degree adjustment unit 63 in the present embodiment corresponds to an example of the depth degree adjustment means in the present invention, and the object detection sensor 50 in the present embodiment corresponds to the object detection means in the present invention. The selection switch 80 in the present embodiment corresponds to an example of an object selection unit in the present invention, and the lenses 202L and 202R in the present embodiment correspond to an example of a condensing unit in the present invention.

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。   The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.

1…自動車(自車輌)
10…車輌用映像表示装置
21L,21R,22L,22R…カメラ
30…3Dモニタ
40…ナビゲーション装置
50…物体検出センサ
60…映像制御装置
61…キャプチャ部
62…シーン推定部
63…奥行き度変換部
64…変換部
70…車速センサ
80…選択スイッチ
NP…近傍面
SP…スクリーン面
FP…遠方面
PW…提示範囲
1 ... Automobile (own vehicle)
DESCRIPTION OF SYMBOLS 10 ... Vehicle video display device 21L, 21R, 22L, 22R ... Camera 30 ... 3D monitor 40 ... Navigation device 50 ... Object detection sensor 60 ... Video control device 61 ... Capture part 62 ... Scene estimation part 63 ... Depth degree conversion part 64 ... Converter 70 ... Vehicle speed sensor 80 ... Selection switch NP ... Near surface SP ... Screen surface FP ... Far surface PW ... Presentation range

Claims (8)

車輌に搭載され、前記車輌の周囲を撮像する少なくとも2つの撮像手段と、
前記撮像手段により撮像された映像を立体映像として表示する立体映像表示手段と、
前記車輌の運転シーンを推定するシーン推定手段と、
前記運転シーンに基づいて、前記立体映像表示手段に表示する立体映像の奥行き度を調整する奥行き度調整手段と、を備えており、
前記運転シーンは、道路の種別と前記車輌の走行状態とに基づいて設定されており、
前記道路種別は、一般道路、及び高速道路を含み、
前記車輌の走行状態は、発進、停止、直進、旋回、後退、合流、車線変更、及び追い越しを含むことを特徴とする車輌用映像表示装置。
At least two imaging means mounted on a vehicle for imaging the surroundings of the vehicle;
Stereoscopic video display means for displaying the video imaged by the imaging means as a stereoscopic video;
Scene estimation means for estimating a driving scene of the vehicle;
Depth degree adjusting means for adjusting the depth degree of the stereoscopic video displayed on the stereoscopic video display means based on the driving scene,
The driving scene is set based on the type of road and the running state of the vehicle,
The road types include general roads and highways,
The vehicle image display device characterized in that the running state of the vehicle includes start, stop, straight ahead, turn, reverse, merge, lane change, and overtaking.
車輌に搭載され、前記車輌の周囲を撮像する少なくとも2つの撮像手段と、
前記撮像手段により撮像された映像を立体映像として表示する立体映像表示手段と、
前記車輌の運転シーンを推定するシーン推定手段と、
前記運転シーンに基づいて、前記立体映像表示手段に表示する立体映像の奥行き度を調整する奥行き度調整手段と、を備えており、
前記奥行き度調整手段は、前記運転シーンと前記車輌の速度と、に基づいて、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
At least two imaging means mounted on a vehicle for imaging the surroundings of the vehicle;
Stereoscopic video display means for displaying the video imaged by the imaging means as a stereoscopic video;
Scene estimation means for estimating a driving scene of the vehicle;
Depth degree adjusting means for adjusting the depth degree of the stereoscopic video displayed on the stereoscopic video display means based on the driving scene,
The vehicle image display apparatus, wherein the depth degree adjusting means adjusts the depth degree of the stereoscopic image based on the driving scene and the speed of the vehicle.
請求項1又は2に記載の車輌用映像表示装置であって、
前記車輌の周囲に存在する物体を検出する物体検出手段を備え、
前記奥行き度調整手段は、前記車に対する前記物体の距離に基づいて、前記立体映像の奥行き度を補正することを特徴とする車輌用映像表示装置。
The vehicle image display device according to claim 1 or 2 ,
An object detection means for detecting an object present around the vehicle;
The depth adjustment means, based on the distance of the object relative to the vehicle tanks, vehicle image display apparatus and correcting the depth degree of the three-dimensional image.
請求項に記載の車輌用映像表示装置であって、
前記物体検出手段によって検出された物体の中から一つの物体を選択する物体選択手段を備え、
前記奥行き度調整手段は、前記物体選択手段によって選択された物体の前記車輌に対する距離に基づいて、前記立体映像の奥行き度を補正することを特徴とする車輌用映像表示装置。
The vehicle image display device according to claim 3 ,
Comprising object selection means for selecting one object from the objects detected by the object detection means;
The vehicle image display device, wherein the depth degree adjustment unit corrects the depth degree of the stereoscopic image based on a distance of the object selected by the object selection unit with respect to the vehicle.
請求項1〜の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、前記撮像手段から得られた映像を部分的に表示することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
The vehicle image display device according to any one of claims 1 to 4 ,
The vehicle image display device characterized in that the depth degree adjusting means adjusts the depth degree of the stereoscopic video by partially displaying the video obtained from the imaging means.
請求項1〜の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、2つの前記撮像手段が有する集光手段の間の距離を変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
The vehicle image display device according to any one of claims 1 to 4 ,
The vehicle image display apparatus, wherein the depth degree adjusting means adjusts the depth degree of the stereoscopic image by changing a distance between the light collecting means included in the two imaging means.
請求項1〜の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、3以上の前記撮像手段の中から選択される2つの前記撮像手段の組合せを変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
The vehicle image display device according to any one of claims 1 to 4 ,
The vehicle image display characterized in that the depth degree adjusting means adjusts the depth degree of the three-dimensional image by changing a combination of two imaging means selected from among the three or more imaging means. apparatus.
請求項1〜の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、2つの前記撮像手段の間の距離を変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
The vehicle image display device according to any one of claims 1 to 4 ,
The vehicle image display device characterized in that the depth degree adjusting means adjusts the depth degree of the stereoscopic image by changing a distance between the two imaging means.
JP2011158800A 2011-07-20 2011-07-20 Video display device for vehicle Active JP5861293B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011158800A JP5861293B2 (en) 2011-07-20 2011-07-20 Video display device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011158800A JP5861293B2 (en) 2011-07-20 2011-07-20 Video display device for vehicle

Publications (2)

Publication Number Publication Date
JP2013026770A JP2013026770A (en) 2013-02-04
JP5861293B2 true JP5861293B2 (en) 2016-02-16

Family

ID=47784656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011158800A Active JP5861293B2 (en) 2011-07-20 2011-07-20 Video display device for vehicle

Country Status (1)

Country Link
JP (1) JP5861293B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102329110B1 (en) * 2015-05-30 2021-11-18 레이아 인코포레이티드 Vehicle monitoring system
KR102462502B1 (en) * 2016-08-16 2022-11-02 삼성전자주식회사 Automated driving method based on stereo camera and apparatus thereof
US20190241070A1 (en) * 2016-10-28 2019-08-08 Mitsubishi Electric Corporation Display control device and display control method
JP6910457B2 (en) * 2017-10-11 2021-07-28 三菱電機株式会社 Display control device and display control method
KR102770428B1 (en) * 2018-05-04 2025-02-24 하만인터내셔날인더스트리스인코포레이티드 Mirrorless head-up display
JP2020187762A (en) * 2020-07-02 2020-11-19 レイア、インコーポレイテッドLeia Inc. Vehicle monitoring system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3089306B2 (en) * 1993-08-26 2000-09-18 松下電器産業株式会社 Stereoscopic imaging and display device
JP2002008040A (en) * 2000-06-16 2002-01-11 Matsushita Electric Ind Co Ltd Three-dimensional information detection device and three-dimensional information detection method
JP2004248212A (en) * 2003-02-17 2004-09-02 Kazunari Era Stereoscopic image display apparatus
WO2004084559A1 (en) * 2003-03-20 2004-09-30 Seijiro Tomita Video display for vehicle
JP4715325B2 (en) * 2005-06-20 2011-07-06 株式会社デンソー Information display device
JP4695664B2 (en) * 2008-03-26 2011-06-08 富士フイルム株式会社 3D image processing apparatus, method, and program
JP2011087019A (en) * 2009-10-13 2011-04-28 Nikon Corp Reproducing device, reproducing method and program

Also Published As

Publication number Publication date
JP2013026770A (en) 2013-02-04

Similar Documents

Publication Publication Date Title
US10082670B2 (en) Display device for vehicle
CN108473054B (en) Head-up display device
CN106537892B (en) Image pickup device and vehicle
JP5861293B2 (en) Video display device for vehicle
EP2071491B1 (en) Stereo camera device
JP6149543B2 (en) Head-up display device
US5883739A (en) Information display device for vehicle
US20160086305A1 (en) Head-up display apparatus for vehicle
US20180286095A1 (en) Display Assistance Device and Display Assistance Method
US11703326B2 (en) Stereo camera apparatus, vehicle, and parallax calculation method
WO2011007484A1 (en) Driving support device, driving support method, and program
JP6599058B2 (en) Display control device, display system, and display control method
JP2012527681A (en) Lane departure detection method and apparatus using vehicle periphery image
JPWO2017138297A1 (en) Image display apparatus and image display method
JPWO2018142610A1 (en) Stereoscopic display and head-up display
JP6945933B2 (en) Display system
JP4784572B2 (en) Driving support method and driving support device
JP7674119B2 (en) Driving assistance device and recording medium
WO2019224922A1 (en) Head-up display control device, head-up display system, and head-up display control method
JP2018007038A (en) Electronic device, automobile, imaging device, and image recording device
CN112052716A (en) Identification device, identification method, and storage medium
JP6890998B2 (en) Image sensor, image sensor and moving object
JP3883033B2 (en) Vehicle display device
JP3870409B2 (en) Vehicle display device
JP3877127B2 (en) Vehicle display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151207

R151 Written notification of patent or utility model registration

Ref document number: 5861293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151