JP2007280203A

JP2007280203A - Information presenting device, automobile and information presenting method

Info

Publication number: JP2007280203A
Application number: JP2006107754A
Authority: JP
Inventors: Lucian Gheorghe; ルチアンギョルゲ; Haruhiko Sato; 晴彦佐藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2006-04-10
Filing date: 2006-04-10
Publication date: 2007-10-25

Abstract

<P>PROBLEM TO BE SOLVED: To quickly present information required by a driver in detail. <P>SOLUTION: When the driver turns on an information request switch 7, the environment in front of a vehicle photographed by a front camera 3 is recognized (step S1), and a potential P representing the degree of driver's desire to an enlarged image is calculated by each front object (step S2). Among the front objects, the front object whose potential P is equal to or more than a predetermined value is selected (step S3), and further among them, only remote objects which can be seen by the driver and disabled from being recognized are selected (step S4). An enlarged image of the thus selected remote object is displayed in a position having a lower potential P in the vicinity of the remote object by a HUD 6 (step S6). <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、情報提示装置、これを備えた自動車、及び情報提示方法に関する。 The present invention relates to an information presentation apparatus, an automobile equipped with the information presentation apparatus, and an information presentation method.

障害物を検知したときに、運転者に注意を喚起するために、この障害物をヘッドアップディスプレイで強調して表示し、運転者の視線方向に基づいて運転者が障害物を認識できたと判断したら、煩わしさを低減するために、障害物の強調を弱めた表示に切り替えるものがあった（特許文献１参照）。
特開２００５−１３５０３７号公報 When an obstacle is detected, this obstacle is highlighted on the head-up display to alert the driver, and it is determined that the driver has recognized the obstacle based on the driver's line of sight. Then, in order to reduce annoyance, there existed what switched to the display which weakened emphasis of the obstruction (refer patent document 1).
JP 2005-135037 A

しかしながら、上記特許文献１に記載された従来例にあっては、運転者が既に認識した情報を、不必要に提示し続けることを回避しているに過ぎないので、より積極的な、予測能力の強化や運転余裕の拡大という観点からすると、改善の余地がある。
本発明の課題は、運転者が必要とする情報を、いち早く詳細に提示することである。 However, in the conventional example described in Patent Document 1 described above, it is merely avoiding unnecessary presentation of information already recognized by the driver. There is room for improvement from the perspective of strengthening the vehicle and expanding driving margins.
An object of the present invention is to quickly present details required by a driver in detail.

上記課題を解決するために、本発明に係る情報提示装置は、車両前方の環境を撮像し、撮像した画像から運転者にとって認識不可能な遠方物体を選択し、選択した遠方物体の拡大画像を表示することを特徴とする。 In order to solve the above problems, an information presentation apparatus according to the present invention images an environment in front of a vehicle, selects a distant object that cannot be recognized by the driver from the captured image, and displays an enlarged image of the selected distant object. It is characterized by displaying.

本発明に係る情報提示装置によれば、運転者にとって認識不可能な遠方物体の拡大画像を表示することで、運転者が必要とする情報を、いち早く詳細に提示することができる。 According to the information presenting apparatus according to the present invention, it is possible to quickly present details required by the driver by displaying an enlarged image of a distant object that cannot be recognized by the driver.

以下、本発明を実施するための最良の形態を図面に基づいて説明する。
《一実施形態》
《構成》
図１は、本発明の概略構成である。自動車１には、例えばマイクロコンピュータで構成されたコントローラ２と、例えばインサイドミラーに設けられ車両前方の環境を撮像する前方カメラ３と、例えばステアリングコラムに設けられ運転者の眼球を撮像するドライバカメラ４と、フロントウィンドウガラス５の所定範囲に表示光線を投影して画像を映し出すヘッドアップディスプレイ（以下、ＨＵＤと称す）６と、が搭載されている。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.
<< One Embodiment >>
"Constitution"
FIG. 1 is a schematic configuration of the present invention. The automobile 1 includes, for example, a controller 2 constituted by a microcomputer, a front camera 3 provided on an inside mirror, for example, for imaging an environment ahead of the vehicle, and a driver camera 4 provided, for example, on a steering column, for imaging a driver's eyeball. And a head-up display (hereinafter referred to as HUD) 6 for projecting a display beam onto a predetermined range of the front window glass 5 to display an image.

コントローラ２は、ステアリングホイール７に設けられた情報要求スイッチ７が、運転者によってＯＮにされたときに、図２の情報提示処理を、所定のサンプリング周期で実行する。
先ずステップＳ１では、前方カメラ３で撮像した画像に基づいて、車両前方の環境を認識する。
続くステップＳ２では、後述する図３のポテンシャル算出処理を実行し、上記ステップＳ１で認識できた前方物体ごとに、その拡大画像の表示を運転者が望んでいる希望度合を判断し、この希望度合を数値化したものをポテンシャルＰとして算出する。
続くステップＳ３では、ポテンシャルＰが所定値以上の前方物体を、拡大画像の表示対象として選択する。 When the information request switch 7 provided on the steering wheel 7 is turned on by the driver, the controller 2 executes the information presentation process of FIG. 2 at a predetermined sampling period.
First, in step S1, the environment ahead of the vehicle is recognized based on the image captured by the front camera 3.
In the subsequent step S2, the potential calculation process of FIG. 3 described later is executed, and for each forward object recognized in step S1, the degree of desire that the driver desires to display the enlarged image is determined. Is calculated as the potential P.
In the subsequent step S3, a front object having a potential P of a predetermined value or more is selected as an enlarged image display target.

続くステップＳ４では、表示対象として選択された前方物体のうち、運転者にとって存在は認知可能で、且つ詳細が認識不可能な遠方物体だけを選択する。ここで、認知可能で且つ認識不可能な遠方物体とは、図４に示すように、画像データ上の面積Ｓが所定値Ｓ₁以上で、且つ所定値Ｓ₂以下となるほど遠くに存在する物体のことである（Ｓ₁≦Ｓ≦Ｓ₂）。すなわち、Ｓ＜Ｓ₁であれば存在は認知不可能と判断し、Ｓ＞Ｓ₂であれば詳細は認識可能と判断する。勿論、所定値Ｓ₁及びＳ₂は、一律にするのではなく、前方物体の種類に応じて、変更することが望ましい。 In the subsequent step S4, only the distant object whose presence can be recognized by the driver and whose details cannot be recognized is selected from the front objects selected as the display target. Here, a distant object that is recognizable and unrecognizable is an object that is so far away that the area S on the image data is a predetermined value S ₁ or more and a predetermined value S ₂ or less, as shown in FIG. (S ₁ ≦ S ≦ S ₂ ). That is, if S <S ₁ , it is determined that the presence cannot be recognized, and if S> S ₂ , the details are determined to be recognizable. Of course, it is desirable that the predetermined values S ₁ and S ₂ are not uniform, but are changed according to the type of the front object.

続くステップＳ５では、拡大画像の表示位置を決定する。ここでは、運転者から見て、表示対象となる遠方物体の近傍で、且つポテンシャルＰが所定値以上の前方物体とは重ならない位置、つまりポテンシャルＰの低い位置に決定する。
続くステップＳ６では、ＨＵＤ６によって、拡大画像を表示してから所定のメインプログラムに復帰する。 In the subsequent step S5, the display position of the enlarged image is determined. Here, the position is determined in the vicinity of a distant object to be displayed as viewed from the driver and at a position where the potential P does not overlap with a front object having a potential P or higher, that is, a position having a low potential P.
In the subsequent step S6, the enlarged image is displayed by the HUD 6, and then the process returns to the predetermined main program.

次に、図３のポテンシャル算出処理について説明する。
先ずステップＳ２１では、前方物体ごとに、その種類、及び走行道路の種類に応じて、重みＷを算出する。ここでは、前方物体を、『交通標識』、『経路案内標識』、『車』、『人』、『看板』の５種類に分類し、走行道路を、『高速道路』、『市外道路』、『市内道路』、『住宅街道路』の４種類に分類する。そして、図５に示すように、例えば『高速道路』では『経路案内標識』の重みＷを大きくし、『住宅街道路』では『人』の重みＷを大きくする等して、走行シーンに最適な重みＷを算出する。図６は、『市外道路』での一例である。 Next, the potential calculation process of FIG. 3 will be described.
First, in step S21, the weight W is calculated for each front object according to the type and the type of the traveling road. Here, the front objects are classified into five types: “traffic signs”, “route guidance signs”, “cars”, “people”, and “signboards”, and the driving roads are “highways” and “intercity roads”. , “City road” and “residential road”. Then, as shown in FIG. 5, for example, by increasing the weight W of the “route guide sign” on the “highway” and increasing the weight W of “people” on the “residential road”, it is optimal for the driving scene. A simple weight W is calculated. FIG. 6 is an example of “intercity road”.

なお、情報要求スイッチ７に、運転者が特定の前方物体を選択してその重みＷを変更できる調整機能を付加してもよい。例えば、運転者が『人』の重みＷを大きくしたときは、この調整内容を優先し、『市外道路』であっても、図７に示すように、『人』の重みＷを最大値に設定すればよい。
続くステップＳ２２では、ポテンシャルＰの算出に際し、運転者の視線方向を無効にするか有効にするかを決定する。これは、情報要求スイッチ７による運転者の入力によって決定してもよいし、視線方向を検出可能な条件を満足しているか否かによって決定してもよい。ここで、視線方向を無効にするときには、後述するステップＳ２６に移行する。一方、視線方向を有効にするときには、ステップＳ２３に移行する。 The information request switch 7 may be provided with an adjustment function that allows the driver to select a specific front object and change its weight W. For example, when the driver increases the weight W of “person”, this adjustment is prioritized, and the weight W of “person” is set to the maximum value as shown in FIG. Should be set.
In subsequent step S22, when calculating the potential P, it is determined whether to invalidate or validate the driver's line-of-sight direction. This may be determined by the driver's input through the information request switch 7, or may be determined based on whether or not a condition for detecting the line-of-sight direction is satisfied. Here, when invalidating the line-of-sight direction, the process proceeds to step S26 described later. On the other hand, when validating the line-of-sight direction, the process proceeds to step S23.

ステップＳ２３では、運転者の視線を検出する。例えば、ドライバカメラ４で撮像した画像データに基づいて、眼球中心と瞳孔中心とを算出し、眼球中心から瞳孔中心に向かうベクトルを算出することにより、運転者の視線を検出する。
続くステップＳ２４では、前方物体ごとに、運転者の視線と視野に応じて、アングルポテンシャルＡを算出する。図８は、日本人の一般的な視野を示しており、視線の先にある視点を中心として注視野、静視野、及び動視野の領域が定まるので、図９の制御マップを参照し、前方物体の視角に応じて、アングルポテンシャルＡを算出する。この制御マップは、図９に示すように、視角が大きくなるほど（注視角＜静視角＜動視角）、アングルポテンシャルＡが１から０の範囲で小さくなるように設定されている。 In step S23, the driver's line of sight is detected. For example, the eyeball center and the pupil center are calculated based on the image data captured by the driver camera 4, and the driver's line of sight is detected by calculating a vector from the eyeball center to the pupil center.
In subsequent step S24, the angle potential A is calculated for each front object according to the driver's line of sight and field of view. FIG. 8 shows a general field of view of the Japanese, and the gaze, static, and dynamic fields are determined centering on the viewpoint ahead of the line of sight, so refer to the control map of FIG. The angle potential A is calculated according to the viewing angle of the object. As shown in FIG. 9, the control map is set so that the angle potential A decreases in the range of 1 to 0 as the viewing angle increases (gazing angle <static viewing angle <dynamic viewing angle).

なお、運転者の視野は車速によっても変化するので、図１０の制御マップを参照し、車速が高くなるほど、注視角、静視角、動視角が小さくなるように設定する。
続くステップＳ２５では、下記（１）式に示すように、重みＷとアングルポテンシャルＡとの乗算によって、前方物体ごとに、ポテンシャルＰを算出してから図３のポテンシャル算出処理を終了する。ここで、ｘ及びｙは画像データ上の座標を表している。
Ｐ(x,y)＝Ｗ(x,y)×Ａ(x,y) ………（１）
一方、ステップＳ２６では、運転者の視線方向に関係なく、全ての前方物体のアングルポテンシャルＡを“１”に設定してから上記ステップＳ２５に移行する。 Since the driver's field of view also changes depending on the vehicle speed, referring to the control map of FIG. 10, the gaze angle, the static vision angle, and the dynamic viewing angle are set to decrease as the vehicle speed increases.
In the subsequent step S25, as shown in the following equation (1), the potential P is calculated for each forward object by multiplication of the weight W and the angle potential A, and then the potential calculation process in FIG. Here, x and y represent coordinates on the image data.
P (x, y) = W (x, y) × A (x, y) (1)
On the other hand, in step S26, the angle potential A of all front objects is set to “1” regardless of the driver's line-of-sight direction, and then the process proceeds to step S25.

《作用》
今、運転者が情報要求スイッチ７をＯＮにして遠方物体の情報提示を希望したとする。
このとき、前方カメラ３で撮像した車両前方の環境を認識し（ステップＳ１）、前方物体ごとに、運転者の拡大画像に対する希望度合を表すポテンシャルＰを算出し（ステップＳ２）、前方物体のうち、ポテンシャルＰが所定値以上の前方物体を選択し（ステップＳ３）、更にその中から、運転者にとって認知可能で、且つ認識不可能な遠方物体だけを選択する（ステップＳ４）。こうして選択された遠方物体の拡大画像を、ＨＵＤ６によって、その遠方物体の近傍で、且つポテンシャルＰの低い位置に表示することにより（ステップＳ５、Ｓ６）、運転者が必要とする情報を、いち早く詳細に提示する。 <Action>
Now, it is assumed that the driver desires to present information on a distant object by turning on the information request switch 7.
At this time, the environment in front of the vehicle imaged by the front camera 3 is recognized (step S1), and for each front object, a potential P representing the degree of desire for the enlarged image of the driver is calculated (step S2). Then, a front object having a potential P equal to or higher than a predetermined value is selected (step S3), and only a far object that is recognizable and unrecognizable by the driver is selected (step S4). By displaying the enlarged image of the far object selected in this way at a position near the far object and at a low potential P by the HUD 6 (steps S5 and S6), information required by the driver can be quickly detailed. To present.

ポテンシャルＰの算出には、重みＷ、及びアングルポテンシャルＡという２つの要素を用いる（ステップＳ２５）。
例えば、高速道を走行しているときには、経路案内標識に対する関心が高くなり、住宅街道路を走行しているときには、人に対する関心が高くなるというように、走行環境によって、前方物体に対する運転者の関心度合は異なる。そのため、第１の要素となる重みＷは、前方物体の種類、及び走行道路の種類に応じて決定する（ステップＳ２１）。 The potential P is calculated using two elements, the weight W and the angle potential A (step S25).
For example, when driving on an expressway, interest in route guidance signs increases, and when driving on a residential road, interest in people increases. The degree of interest is different. Therefore, the weight W as the first element is determined according to the type of the front object and the type of the traveling road (step S21).

また、関心が高ければ、そこに自然と運転者の視線が向けられるので、第２の要素となるアングルポテンシャルＡは、運転者の視線と視野に応じて決定することにより（ステップＳ２３、Ｓ２４）、特に運転者の注視野から外れている物体のポテンシャルＰを減少させる。このとき、運転者の注視野、静視野、動視野の夫々を特定する注視角、静視角、動視角を、車速に応じて変更することにより、正確な視野を算出する。
但し、運転者が視線方向の無効を望んだときや、視線の検出精度が低いときには（ステップＳ２２の判定が“No”）、アングルポテンシャルＡは“１”に設定することにより（ステップＳ２６）、ポテンシャルＰの算出に対して運転者の視線方向を無効にする。 Also, if the interest is high, the driver's line of sight is naturally directed there, so the angle potential A as the second element is determined according to the driver's line of sight and field of view (steps S23 and S24). In particular, the potential P of an object that is out of the driver's gaze is reduced. At this time, an accurate visual field is calculated by changing a gaze angle, a static visual angle, and a dynamic visual angle that specify each of the driver's gaze field, static field, and dynamic field of view according to the vehicle speed.
However, when the driver desires invalidity of the line-of-sight direction or when the line-of-sight detection accuracy is low (“No” in step S22), the angle potential A is set to “1” (step S26). The driver's line-of-sight direction is invalidated for the calculation of the potential P.

図１１は、視線方向を無効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例であり、ポテンシャルＰの大きさは色の明暗で表され、色が明るいほどポテンシャルＰが高いことを意味している。ここでは、前方左側の『看板』と、前方右側の『人』及び『経路案内標識』のポテンシャルＰが所定値以上となった状態を示しており（白色領域）、夫々の拡大画像をＨＵＤ６に表示している。『人』の場合は、少なくとも肩から上の頭部を拡大して画像表示する。これにより、運転者にとって認識しづらいほど遠くに存在しているとしても、『看板』や『経路案内標識』の内容、そして『人』の顔を認識することが可能となる。また、拡大画像は、その遠方物体の近傍で、且つポテンシャルＰの低い領域（黒色領域）に表示されるので、表示対象とその近傍に存在するポテンシャルＰの高い物体を隠してしまうことはない。 FIG. 11 is a display example of the calculation result of the potential P when the line-of-sight direction is invalidated and an enlarged image according to the calculation result. The magnitude of the potential P is represented by the brightness of the color. This means that the potential P is high. Here, a state where the potential P of the “signboard” on the front left side, the “person” on the front right side, and the “route guidance sign” is greater than or equal to a predetermined value is shown (white area), and each enlarged image is displayed on the HUD 6. it's shown. In the case of “person”, at least the head above the shoulder is enlarged and displayed as an image. This makes it possible to recognize the contents of “signboards” and “route guidance signs” and the face of “people” even if they are so far away that it is difficult for the driver to recognize them. In addition, since the enlarged image is displayed in the vicinity of the distant object and in the region having a low potential P (black region), the display target and the object having a high potential P existing in the vicinity thereof are not hidden.

図１２は、視線方向を有効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例である。ここでは、運転者の視線が前方右側の『人』に向けられ、前方左側の『看板』や前方右側の『経路案内標識』のポテンシャルＰは所定値未満となった状態を示しており、ポテンシャルＰが所定値以上となった『人』の拡大画像だけをＨＵＤ６に表示している。これにより、拡大画像の無駄な提示を避け、運転者に違和感を与えたり消費電力が増大したりすることを防止する。 FIG. 12 is a display example of a potential P calculation result when the line-of-sight direction is validated and an enlarged image according to the calculation result. Here, the driver's line of sight is directed toward the “right” of the front right side, and the potential P of the “signboard” on the left front side and the “route guidance sign” on the front right side is less than a predetermined value. Only the enlarged image of “person” whose P is equal to or greater than a predetermined value is displayed on the HUD 6. This avoids unnecessary presentation of an enlarged image and prevents the driver from feeling uncomfortable or increasing power consumption.

そして、車両が前進するにつれて遠方物体へと徐々に近づくほど、前方カメラ３で撮像した画像データは鮮明になってゆくので、ＨＵＤ６に表示する拡大画像も徐々に鮮明になってゆく。そして、拡大画像を表示していた遠方物体を運転者が認識可能な距離まで接近したら、その物体は拡大画像の表示を要するほどの遠方物体としては認識されなくなり、拡大画像の表示を終了する。
また、車両前方の環境を撮像する前方カメラ３を、運転者の視点よりも高い位置にあるインサイドミラー等に設けることで、より立体的な画像（バードビュー画像）を提示することが可能になる。 As the vehicle moves forward, the image data captured by the front camera 3 becomes clearer as the vehicle gradually approaches a distant object, and the enlarged image displayed on the HUD 6 becomes gradually clearer. When the distant object displaying the enlarged image approaches to a distance that can be recognized by the driver, the object is not recognized as a distant object that requires the display of the enlarged image, and the display of the enlarged image is terminated.
In addition, by providing the front camera 3 that captures the environment ahead of the vehicle on an inside mirror or the like that is higher than the viewpoint of the driver, a more stereoscopic image (bird view image) can be presented. .

《応用例》
上記の一実施形態では、ドライバカメラ４で運転者の眼球を撮像し、その画像データに基づいて運転者の視線を検出しているが、運転者の視線移動特性に基づいて、運転者の視線を推定してもよい。すなわち、図１３に示すように、ステアリング操作をすれば視線は左右に移動し、車速が高くなれば視線は上方に移動するという特性があるので、操舵角から左右方向の視線を算出（推定）し、車速から上下方向の視線を算出（推定）してもよい。これによれば、画像処理によって視線方向を検出するよりも演算負担を軽減し、容易に運転者の視線方向を算出することができる。勿論、画像処理による検出結果、及び操舵角と車速に基づいた推定結果の何れか一方を選択的に用いたり、又は双方を用いたりしてもよい。《Application example》
In the above embodiment, the driver's eye is captured by the driver camera 4 and the driver's line of sight is detected based on the image data. However, the driver's line of sight is determined based on the driver's line-of-sight movement characteristics. May be estimated. That is, as shown in FIG. 13, if the steering operation is performed, the line of sight moves left and right, and if the vehicle speed increases, the line of sight moves upward. Therefore, the line of sight in the left and right direction is calculated (estimated) from the steering angle. Then, the line of sight in the vertical direction may be calculated (estimated) from the vehicle speed. According to this, it is possible to reduce the calculation burden compared to detecting the line-of-sight direction by image processing, and to easily calculate the driver's line-of-sight direction. Of course, either one of the detection result based on the image processing and the estimation result based on the steering angle and the vehicle speed may be selectively used, or both may be used.

《効果》
以上より、前方カメラ３が「撮像手段」に対応し、ステップＳ１〜Ｓ４の処理が「選択手段」に対応し、ＨＵＤ６とステップＳ５、Ｓ６の処理とが「表示手段」に対応し、ステップＳ２３、Ｓ２４の処理が「算出手段」に対応する。
（１）車両前方の環境を撮像する撮像手段と、撮像手段で撮像した画像から運転者にとって認識不可能な遠方物体を選択する選択手段と、選択手段で選択した遠方物体の拡大画像を表示する表示手段とを備える。
このように、運転者にとって認識不可能な遠方物体の拡大画像を表示することで、運転者が必要とする情報を、いち早く詳細に提示することができ、予測能力の強化や運転余裕の拡大に資する。 "effect"
From the above, the front camera 3 corresponds to “imaging means”, the processing in steps S1 to S4 corresponds to “selection means”, the processing in HUD6 and steps S5 and S6 corresponds to “display means”, and step S23. , S24 corresponds to “calculation means”.
(1) An imaging unit that captures an environment in front of the vehicle, a selection unit that selects a distant object that cannot be recognized by the driver from an image captured by the imaging unit, and an enlarged image of the distant object selected by the selection unit are displayed. Display means.
In this way, by displaying an enlarged image of a distant object that cannot be recognized by the driver, the information required by the driver can be presented quickly and in detail, thereby enhancing the prediction ability and expanding the driving margin. To contribute.

（２）選択手段は、運転者にとって認識不可能な遠方物体ごとに、拡大画像の表示を運転者が望んでいる希望度合を判断し、判断した希望度合が所定値以上の遠方物体だけを選択する。
これにより、希望度合が高いと判断された遠方物体の拡大画像だけが表示されるので、運転者が必要とする情報だけを提示することができる。したがって、拡大画像の無駄な提示を避け、運転者に違和感を与えたり消費電力が増大したりすることを防止できる。 (2) For each distant object that cannot be recognized by the driver, the selection means determines the degree of hope that the driver desires to display an enlarged image, and selects only distant objects whose determined degree of hope is equal to or greater than a predetermined value. To do.
Thereby, since only the enlarged image of the distant object determined to have a high degree of hope is displayed, only the information required by the driver can be presented. Therefore, it is possible to avoid unnecessary presentation of the enlarged image and to prevent the driver from feeling uncomfortable or increasing power consumption.

（３）選択手段は、遠方物体の種類及び走行道路の種類に応じて希望度合を判断する。
これにより、走行環境に合わせて適切な希望度合を判断することができる。
（４）運転者の視線及び視野を算出する算出手段を備え、選択手段は、算出手段で算出した運転者の視線及び視野に応じて、希望度合を判断する。
これにより、運転者が必要とする情報だけを提示することができる。したがって、拡大画像の無駄な提示を避け、運転者に違和感を与えたり消費電力が増大したりすることを防止できる。 (3) The selection means determines the desired degree according to the type of the distant object and the type of the traveling road.
Thereby, it is possible to determine an appropriate degree of desire according to the traveling environment.
(4) A calculation unit that calculates the driver's line of sight and visual field is provided, and the selection unit determines a desired degree according to the driver's line of sight and visual field calculated by the calculation unit.
As a result, only the information required by the driver can be presented. Therefore, it is possible to avoid unnecessary presentation of the enlarged image and to prevent the driver from feeling uncomfortable or increasing power consumption.

（５）算出手段は、車速に応じて運転者の視野を算出する。
これにより、正確な視野を算出することができる。
（６）算出手段は、操舵角に応じて左右方向の視線を算出すると共に、車速に応じて上下方向の視線を算出する。
これによれば、画像処理によって視線を検出するよりも演算負担を軽減し、容易に運転者の視線を推定することができる。 (5) The calculating means calculates the visual field of the driver according to the vehicle speed.
Thereby, an accurate visual field can be calculated.
(6) The calculation means calculates the line of sight in the left-right direction according to the steering angle, and calculates the line of sight in the vertical direction according to the vehicle speed.
According to this, it is possible to reduce the calculation burden and more easily estimate the driver's line of sight than to detect the line of sight by image processing.

（７）表示手段は、運転者から見た車両前方の環境に重畳させて画像を表示可能なヘッドアップディスプレイを備え、ヘッドアップディスプレイにより、選択手段が選択した遠方物体の拡大画像を、運転者から見て、この遠方物体の近傍で、且つ希望度合が所定値以上の遠方物体とは重ならない位置に表示する。
これにより、拡大画像の表示対象とその近傍に存在する希望度合の高い物体を、拡大画像によって隠してしまうことを防止できる。 (7) The display means includes a head-up display capable of displaying an image superimposed on the environment in front of the vehicle as viewed from the driver, and the driver displays an enlarged image of the distant object selected by the selection means with the head-up display. When viewed from the distance, the object is displayed in the vicinity of the distant object and at a position that does not overlap with the distant object having the desired degree of the predetermined value or more.
As a result, it is possible to prevent the display object of the enlarged image and the object having a high degree of hope existing in the vicinity thereof from being hidden by the enlarged image.

（８）表示手段は、拡大画像の表示を要求する運転者の要求操作を検知したら、つまり情報急操作スイッチ７がＯＮにされたら、選択手段が選択した遠方物体の拡大画像を表示する。
これにより、運転者が遠方物体の情報提示を望んだときだけ、その拡大画像を表示することができるので、運転者の希望に即した情報提示が可能になる。
（９）撮像手段は、運転者の視点よりも高い位置から、車両前方の環境を撮像する。
これにより、より立体的で分かりやすい画像（バードビュー画像）を提示することができる。 (8) The display means displays an enlarged image of the distant object selected by the selection means when detecting the request operation of the driver who requests display of the enlarged image, that is, when the information sudden operation switch 7 is turned on.
As a result, the enlarged image can be displayed only when the driver desires to present information on a distant object, so that information can be presented in accordance with the driver's desire.
(9) The imaging unit images the environment ahead of the vehicle from a position higher than the driver's viewpoint.
Thereby, it is possible to present a more stereoscopic and easy-to-understand image (bird view image).

本発明の概略構成図である。It is a schematic block diagram of this invention. 情報提示処理のフローチャートである。It is a flowchart of an information presentation process. ポテンシャル算出処理のフローチャートである。It is a flowchart of a potential calculation process. 物体面積と視認性の関係である。This is the relationship between the object area and visibility. 物体種類と道路種類とに応じた重みＷである。A weight W corresponding to the object type and the road type. 市外道路での重みＷである。This is the weight W on the toll road. 運転者の指定操作後における市外道路での重みＷである。It is the weight W on the toll road after the driver's designation operation. 一般的な視野である。This is a general field of view. 視角に応じたアングルポテンシャルＡである。An angle potential A corresponding to the viewing angle. 車速に応じた視角である。The viewing angle depends on the vehicle speed. 視線方向を無効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例である。It is the example of a display of the enlarged image according to the calculation result of the potential P when invalidating a gaze direction, and the calculation result. 視線方向を有効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例である。It is the example of a display of the enlarged image according to the calculation result of the potential P when the gaze direction is validated, and the calculation result. 操舵角と車速に応じた視線方向である。It is the line-of-sight direction according to the steering angle and the vehicle speed.

Explanation of symbols

１自動車
２コントローラ
３前方カメラ
４ドライバカメラ
６ヘッドアップディスプレイ（ＨＵＤ）
７情報要求スイッチ 1 Car 2 Controller 3 Front Camera 4 Driver Camera 6 Head Up Display (HUD)
7 Information request switch

Claims

An image pickup means for picking up an environment in front of the vehicle, a selection means for selecting a distant object that cannot be recognized by the driver from an image picked up by the image pickup means, and a display for displaying an enlarged image of the distant object selected by the selection means And an information presentation device.

The selection means determines the degree of desire that the driver desires to display an enlarged image for each distant object that cannot be recognized by the driver, and selects only distant objects whose determined degree of hope is equal to or greater than a predetermined value. The information presentation apparatus according to claim 1.

The information presenting apparatus according to claim 2, wherein the selection unit determines the desired degree according to a type of the distant object and a type of a traveling road.

A calculation means for calculating the driver's line of sight and visual field;
The information presentation apparatus according to claim 2, wherein the selection unit determines the desired degree in accordance with a driver's line of sight and visual field calculated by the calculation unit.

The information presentation apparatus according to claim 4, wherein the calculation unit calculates a driver's field of view according to a vehicle speed.

The information presentation apparatus according to claim 4, wherein the calculating unit calculates a gaze in the left-right direction according to a steering angle, and calculates a gaze in the vertical direction according to a vehicle speed.

The display means includes a head-up display capable of displaying an image superimposed on an environment ahead of the vehicle as viewed from the driver, and the head-up display displays an enlarged image of a distant object selected by the selection means. The information presentation according to any one of claims 2 to 6, wherein the information is displayed in the vicinity of the distant object and at a position that does not overlap with the distant object having the desired degree equal to or greater than a predetermined value. apparatus.

The said display means displays the enlarged image of the distant object which the said selection means selected, if the driver | operator's request | requirement operation which requests | requires the display of an enlarged image is detected. The information presentation apparatus described in 1.

The information presenting apparatus according to claim 1, wherein the imaging unit images an environment in front of the vehicle from a position higher than the viewpoint of the driver.

An information presentation apparatus that images an environment in front of a vehicle, selects a distant object that cannot be recognized by a driver from the captured image, and displays an enlarged image of the selected distant object.

In a car equipped with an information presentation device,
The information presentation device includes:
An image pickup means for picking up an environment in front of the vehicle, a selection means for selecting a distant object that cannot be recognized by the driver from an image picked up by the image pickup means, and a display for displaying an enlarged image of the distant object selected by the selection means And a vehicle.

An information presentation method comprising imaging an environment in front of a vehicle, selecting a distant object that cannot be recognized by a driver from the imaged image, and displaying an enlarged image of the selected distant object.