JP2018162023A

JP2018162023A - Operation device

Info

Publication number: JP2018162023A
Application number: JP2017061537A
Authority: JP
Inventors: 健治成瀬; Kenji Naruse
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-03-27
Filing date: 2017-03-27
Publication date: 2018-10-18

Abstract

PROBLEM TO BE SOLVED: To provide an operation device which can improve selection accuracy of an intended switch image.SOLUTION: An operation device carries out input operation based on a direction of eyes of an operator to a plurality of switch images 54 for an on-vehicle device formed on a front side of the operator by a headup display device, and operation action of the operator made in a position separate from the plurality of switch images. The operation device includes an imaging part which images the direction of the eyes and the operation action, and a control part which instructs operation to the on-vehicle device based on image data of the direction of the eyes and the operation action by the imaging part. The control part sets a selection range 56 in which a part of the switch images out of the plurality of switch images can be selected as a selection object with an intersection at which a display screen 54a with the plurality of switch images formed and a sight line according to the direction of the eyes intersect as a center, and selects and sets a desired switch image when selection operation for selecting the desired switch image by the operator as the operation action within the selection range is executed.SELECTED DRAWING: Figure 4

Description

本発明は、例えば、ヘッドアップディスプレイ装置によって形成される各種スイッチ画像に対して、視線と空中ジェスチャとによって入力操作を可能とする操作装置に関するものである。 The present invention relates to an operating device that enables an input operation with a line of sight and an aerial gesture, for example, on various switch images formed by a head-up display device.

従来の操作装置として、例えば、特許文献１に記載されたものが知られている。特許文献１の操作装置は、車両の乗員の眼球を撮像する眼球センサと、乗員の操作指の位置、および動きを撮像する操作指センサと、乗員の網膜に車載機器の複数の操作用スイッチ画像を投射して、乗員の前方側に設定される仮想画像平面上に操作用スイッチ画像を表示する網膜投影装置とを備えている。 As a conventional operation device, for example, one described in Patent Document 1 is known. The operation device of Patent Document 1 includes an eyeball sensor that captures an eyeball of an occupant of a vehicle, an operation finger sensor that images the position and movement of the occupant's operation finger, and a plurality of operation switch images of in-vehicle devices on the occupant's retina. And a retina projection device that displays an operation switch image on a virtual image plane set on the front side of the occupant.

特許文献１の操作装置では、乗員は、仮想画像平面よりも乗員側（車両後方側）で操作用スイッチ画像に対して空中ジェスチャによる入力操作を行うようになっている。具体的には、仮想画像平面上の複数の操作用スイッチ画像のうち、空中ジェスチャに伴う指の位置が重なる操作用スイッチに対して、所定の指操作を行うことで、その操作用スイッチに対する入力（オン、オフ等）ができるようになっている。 In the operation device disclosed in Patent Literature 1, the occupant performs an input operation using an air gesture on the operation switch image on the occupant side (the vehicle rear side) with respect to the virtual image plane. Specifically, among a plurality of operation switch images on the virtual image plane, by performing a predetermined finger operation on an operation switch in which the finger position associated with the aerial gesture overlaps, input to the operation switch (On, off, etc.) can be performed.

特開２００６−３２７５２６号公報JP 2006-327526 A

しかしながら、上記特許文献１の操作装置では、仮想画像平面と操作指との間には、ある程度の距離があいている。よって、操作したい操作用スイッチ画像に対して、乗員の姿勢の変化あるいは走行中の車両振動等により、指のふらつき等が生ずると、指の位置がずれてしまい、所望する操作用スイッチ画像を選択する際の精度が充分に得られないという問題があった。 However, in the operation device of Patent Document 1, a certain distance is provided between the virtual image plane and the operation finger. Therefore, if a finger wobble occurs due to a change in the posture of the occupant or vibration of the vehicle while traveling on the operation switch image to be operated, the position of the finger is shifted, and the desired operation switch image is selected. There was a problem that sufficient accuracy was not obtained.

本発明の目的は、上記問題に鑑み、狙いとするスイッチ画像の選択精度の向上を可能とする操作装置を提供することにある。 In view of the above problems, an object of the present invention is to provide an operating device that can improve the accuracy of selecting a target switch image.

本発明は上記目的を達成するために、以下の技術的手段を採用する。 In order to achieve the above object, the present invention employs the following technical means.

本発明では、ヘッドアップディスプレイ装置（５０）によって、操作者の前側に形成される車載機器用の複数のスイッチ画像（５４）に対する操作者の目の向き、および複数のスイッチ画像に対して離れた位置で行われる操作者の操作動作に基づいて入力操作を行う操作装置において、
目の向き、および操作動作を撮像する撮像部（１１０）と、
撮像部による目の向き、および操作動作の撮像データに基づいて、車載機器への作動指示を行う制御部（１２０）と、を備え、
制御部は、複数のスイッチ画像が形成される表示面（５４ａ）と目の向きに伴う視線とが交わる交点を中心にして、選択対象として、複数のスイッチ画像のうち、一部のスイッチ画像の選択を可能とする選択範囲（５６）を設定し、選択範囲の中で、操作動作として、操作者が所望するスイッチ画像を選択するための選択動作があると、所望するスイッチ画像を選択設定することを特徴としている。 In the present invention, the head-up display device (50) separates the operator's eyes from the plurality of switch images (54) for in-vehicle devices formed on the front side of the operator and the plurality of switch images. In an operating device that performs an input operation based on an operator's operation performed at a position,
An imaging unit (110) for imaging the direction of the eyes and the operation action;
A control unit (120) for instructing operation to the in-vehicle device based on the eye direction of the imaging unit and the imaging data of the operation operation,
The control unit selects a part of the switch images of the plurality of switch images as a selection target around the intersection where the display surface (54a) on which the plurality of switch images are formed and the line of sight according to the direction of the eyes intersect. A selection range (56) that enables selection is set, and if there is a selection operation for selecting a switch image desired by the operator as an operation operation within the selection range, the desired switch image is selected and set. It is characterized by that.

この発明によれば、まず、制御部（１２０）によって、複数のスイッチ画像（５４）が形成される表示面（５４ａ）と操作者の視線とが交わる交点を中心にして選択範囲（５６）が設定されて、複数のスイッチ画像（５４）のうち、操作対象の候補として、一部のスイッチ画像が絞り込まれる。 According to this invention, first, the selection range (56) is centered on the intersection where the display surface (54a) on which the plurality of switch images (54) are formed and the line of sight of the operator intersect by the control unit (120). As a result, some switch images are narrowed down as operation target candidates among the plurality of switch images (54).

そして、操作者によって選択範囲（５６）の中で所望するスイッチ画像を選択するための選択動作が行われると、制御部（１２０）は選択動作が行われたスイッチ画像に対して選択設定を行う。 When the operator performs a selection operation for selecting a desired switch image in the selection range (56), the control unit (120) performs selection setting for the switch image on which the selection operation has been performed. .

このように、複数のスイッチ画像（５４）に対して、選択範囲（５６）を設定し、選択動作の実行に伴い、操作者が所望するスイッチ画像を順に絞り込んでいくことができ、操作途中の誤選択等の発生を抑制して、選択の精度を上げることができる。 In this way, the selection range (56) is set for the plurality of switch images (54), and the switch images desired by the operator can be narrowed down in order as the selection operation is performed, It is possible to increase the accuracy of selection by suppressing the occurrence of erroneous selection or the like.

尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。 In addition, the code | symbol in the bracket | parenthesis of each said means shows a corresponding relationship with the specific means of embodiment description mentioned later.

第１実施形態におけるヘッドアップディスプレイ装置に適用される操作装置を示す説明図である。It is explanatory drawing which shows the operating device applied to the head-up display apparatus in 1st Embodiment. ヘッドアップディスプレイ装置による表示画像を示す説明図である。It is explanatory drawing which shows the display image by a head-up display apparatus. 操作装置の構成を示すブロック図である。It is a block diagram which shows the structure of an operating device. 視線交点に形成されるカーソルを示す説明図である。It is explanatory drawing which shows the cursor formed in a gaze intersection. カーソルに一番近いスイッチ画像がハイライト表示されている状態を示す説明図である。It is explanatory drawing which shows the state in which the switch image nearest to a cursor is highlighted. 操作者の選択動作によって、所望のスイッチ画像がハイライト表示されることを示す説明図である。It is explanatory drawing which shows that a desired switch image is highlighted by an operator's selection operation | movement. 制御部が行う制御内容を示すフローチャート（前半）である。It is a flowchart (first half) which shows the control content which a control part performs. 制御部が行う制御内容を示すフローチャート（後半）である。It is a flowchart (second half) which shows the control content which a control part performs. 第２実施形態における選択動作を示す説明図である。It is explanatory drawing which shows the selection operation | movement in 2nd Embodiment. 第３実施形態における選択範囲の大きさを変更する要領を示す説明図である。It is explanatory drawing which shows the point which changes the magnitude | size of the selection range in 3rd Embodiment.

以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。 A plurality of modes for carrying out the present invention will be described below with reference to the drawings. In each embodiment, parts corresponding to the matters described in the preceding embodiment may be denoted by the same reference numerals, and redundant description may be omitted. When only a part of the configuration is described in each mode, the other modes described above can be applied to the other parts of the configuration. Not only combinations of parts that clearly indicate that the combination is possible in each embodiment, but also a combination of the embodiments even if they are not clearly specified unless there is a problem with the combination. It is also possible.

（第１実施形態）
第１実施形態における操作装置１００について、図１〜図８に基づいて説明する。操作装置１００は、車両用ヘッドアップディスプレイ装置５０によって、運転者（操作者）の前側に形成される各種車載機器用の表示画像５４に対する運転者の目の向き、および表示画像５４に対して離れた位置で行われる運転者の操作動作（空中ジェスチャ）に基づいて、各種車載機器に対する入力操作を行う装置となっている。操作装置１００は、車両用ヘッドアップディスプレイ装置５０、カメラ１１０、制御部１２０、および通信部１３０等を備えている。以下、車両用ヘッドアップディスプレイ（Ｈｅａｄ−ＵｐＤｉｓｐｌａｙ）装置５０を、ＨＵＤ装置５０と呼ぶことにする。 (First embodiment)
The operating device 100 in 1st Embodiment is demonstrated based on FIGS. The operating device 100 is separated from the display image 54 by the vehicle head-up display device 50 with respect to the driver's eye direction with respect to the display images 54 for various in-vehicle devices formed on the front side of the driver (operator). It is a device that performs input operations on various in-vehicle devices based on the driver's operation (in-air gesture) performed at a certain position. The operating device 100 includes a vehicle head-up display device 50, a camera 110, a control unit 120, a communication unit 130, and the like. Hereinafter, the vehicle head-up display (Head-Up Display) device 50 will be referred to as a HUD device 50.

図１〜図３に示すように、ＨＵＤ装置５０は、例えば自動車等の車両に搭載されたものであり、液晶ディスプレイ５２から出射される表示情報を表す表示光を、車両に設けられたウインドシールド２０の投射位置２０ａに入射させる。そして、ＨＵＤ装置５０は、運転者と投射位置２０ａとを結ぶ線の車両前方延長線上（ウインドシールド２０の前方）に、表示情報の表示画像５４を結像させて、表示画像５４を虚像として運転者に視認させるものとなっている。このＨＵＤ装置５０によって、運転者は、表示画像５４と、車両の前景とを重畳して視認することができるようになっている。 As shown in FIG. 1 to FIG. 3, the HUD device 50 is mounted on a vehicle such as an automobile, for example, and displays light representing display information emitted from the liquid crystal display 52 with a windshield provided on the vehicle. 20 incident positions 20a. Then, the HUD device 50 forms an image of the display information 54 on the vehicle front extension line of the line connecting the driver and the projection position 20a (in front of the windshield 20), and operates the display image 54 as a virtual image. It is intended to be visually recognized. With this HUD device 50, the driver can visually recognize the display image 54 and the foreground of the vehicle superimposed on each other.

ＨＵＤ装置５０は、ウインドシールド２０の下端面から車室内後方、更には下方に延出されるインストルメントパネル１０の内側に配設されている。インストルメントパネル１０の上面には、ＨＵＤ装置５０からの表示光を通過させる開口部１０ａが設けられており、更に、この開口部１０ａには透光性を有する防塵カバーが設けられている。ＨＵＤ装置５０は、バックライト５１、液晶ディスプレイ５２、および反射装置５３等を備えている。 The HUD device 50 is disposed inside the instrument panel 10 extending from the lower end surface of the windshield 20 to the rear of the vehicle interior and further downward. An opening 10a that allows display light from the HUD device 50 to pass therethrough is provided on the upper surface of the instrument panel 10, and a light-proof dust-proof cover is further provided in the opening 10a. The HUD device 50 includes a backlight 51, a liquid crystal display 52, a reflection device 53, and the like.

バックライト５１は、通電されることで液晶ディスプレイ５２に対して光を出射する発光素子であり、例えば、発光ダイオード（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ＝ＬＥＤ）が使用されている。バックライト５１は、液晶ディスプレイ５２に対する光軸に沿って光を出射するようになっている。 The backlight 51 is a light emitting element that emits light to the liquid crystal display 52 when energized. For example, a light emitting diode (Light Emitting Diode = LED) is used. The backlight 51 emits light along the optical axis with respect to the liquid crystal display 52.

液晶ディスプレイ５２は、表示情報を表す表示光を出射する表示器である。液晶ディスプレイ５２は、例えば、薄膜トランジスタ（ＴｈｉｎＦｉｌｍＴｒａｎｓｉｓｔｏｒ＝ＴＦＴ）が用いられたＴＦＴ液晶パネル、デュアルスキャンタイプのディスプレイ（ＤｕａｌＳｃａｎＳｕｐｅｒＴｗｉｓｔｅｄＮｅｍａｔｉｃ＝Ｄ−ＳＴＮ）、ＴＮ（ＴｗｉｓｔｅｄＮｅｍａｔｉｃ）セグメント液晶等が使用される。 The liquid crystal display 52 is a display that emits display light representing display information. As the liquid crystal display 52, for example, a TFT liquid crystal panel using a thin film transistor (TFT), a dual scan type display (Dual Scan Super Twisted Nematic = D-STN), a TN (Twisted Nematic) segment liquid crystal, or the like is used. Is done.

そして、液晶ディスプレイ５２は、バックライト５１から出射される光によって、表示情報を表わす表示光を、バックライト５１とは反対側となる反射装置５３に向けて出射するようになっている。液晶ディスプレイ５２の表示光を出射する面は、例えば、垂直方向を向いており、また表示光の光軸が車両の前後方向を向くように（出射方向が車両の前方側を向くように）配置されている。 The liquid crystal display 52 emits display light representing display information toward the reflection device 53 on the side opposite to the backlight 51 by the light emitted from the backlight 51. The display light emitting surface of the liquid crystal display 52 is, for example, oriented in the vertical direction, and is arranged so that the optical axis of the display light faces the front-rear direction of the vehicle (the emission direction faces the front side of the vehicle). Has been.

液晶ディスプレイ５２によって形成される表示情報は、例えば、各種車載機器を操作するための表示画像５４となっている。各種車載機器は、カーナビゲーションシステム、空調装置（エアコン）、オーディオ装置、通信装置、メンテナンス状況表示装置、自車両の周辺監視装置等である。 The display information formed by the liquid crystal display 52 is, for example, a display image 54 for operating various in-vehicle devices. Various in-vehicle devices are a car navigation system, an air conditioner (air conditioner), an audio device, a communication device, a maintenance status display device, a surrounding monitoring device of the own vehicle, and the like.

反射装置５３は、表示光を反射させる装置であり、ミラー部を有している。ミラー部は、液晶ディスプレイ５２からの表示光を、インストルメントパネル１０の開口部１０ａを通して、ウインドシールド２０の投射位置２０ａに反射させる部材である。投射位置２０ａには、図２に示すように、例えば、運転者から見て、ステアリング３０、およびメータ４０の上部位置に対応するように、表示画像５４が投射されるようになっている。 The reflection device 53 is a device that reflects display light and has a mirror portion. The mirror unit is a member that reflects display light from the liquid crystal display 52 to the projection position 20 a of the windshield 20 through the opening 10 a of the instrument panel 10. As shown in FIG. 2, for example, the display image 54 is projected onto the projection position 20 a so as to correspond to the upper position of the steering wheel 30 and the meter 40 as viewed from the driver.

表示画像５４は、本発明の複数のスイッチ画像に対応する。表示画像５４には、例えば、カーナビゲーションシステムを操作するためのナビ用スイッチ画像５４１、空調装置を操作するためのエアコン用スイッチ画像５４２、オーディオ装置を操作するためのオーディオ用スイッチ画像５４３、通信装置を操作するための通信用スイッチ画像５４４、メンテナンス状況表示装置を操作するためのメンテナンス用スイッチ画像５４５、周辺監視装置を操作するための周辺監視用スイッチ画像５４６、および他のスイッチ画像５４７、５４８等がある。 The display image 54 corresponds to a plurality of switch images of the present invention. The display image 54 includes, for example, a navigation switch image 541 for operating a car navigation system, an air conditioner switch image 542 for operating an air conditioner, an audio switch image 543 for operating an audio device, and a communication device. Communication switch image 544 for operating the maintenance status display device, maintenance switch image 545 for operating the maintenance status display device, peripheral monitoring switch image 546 for operating the peripheral monitoring device, and other switch images 547, 548, etc. There is.

各種スイッチ画像５４１〜５４８は、投射位置２０ａにおいて、例えば、横一列に並ぶように投射される。表示画像５４において、各種スイッチ画像５４１〜５４８が形成される領域（表示仮想面）は、表示面５４ａとなっている。以下、表示面５４ａを、スイッチ領域と呼ぶことがある。 The various switch images 541 to 548 are projected, for example, in a horizontal row at the projection position 20a. In the display image 54, an area (display virtual surface) where various switch images 541 to 548 are formed is a display surface 54a. Hereinafter, the display surface 54a may be referred to as a switch area.

尚、インストルメントパネル１０の車両幅方向の中央部には、例えば、カーナビゲーションシステム用のセンタディスプレイ４５が設けられている。また、センタディスプレイ４５の下側には空調装置用の操作パネル４６が設けられている。そして、操作パネル４６の下側には、シフトノブ４７が配置されている。 For example, a center display 45 for a car navigation system is provided in the center of the instrument panel 10 in the vehicle width direction. An operation panel 46 for the air conditioner is provided below the center display 45. A shift knob 47 is disposed below the operation panel 46.

カメラ１１０は、運転者の目の向き、および操作動作を撮像する撮像部である。カメラ１１０は、例えば、車両の天井の前部に装着されており、運転者の顔、腕、手の指等の主に上半身を撮影できるようになっている。カメラ１１０は、運転者の周りの明るさ等に応じて適切な撮像データが得られるように、制御部１２０の撮像露出制御部１２１によって、露出レベルが調節されるようになっている。そして、カメラ１１０は、撮像した撮像データを制御部１２０の画像処理部１２２に出力するようになっている。カメラ１１０は、運転者の顔、腕、手の指等の主に上半身を撮影できるならば、車両の天井の前部に限定されることなく、インストルメントパネル１０（ダッシュボード）上、メータ４０、あるいはステアリングコラム等に配置されるようにしても構わない。 The camera 110 is an imaging unit that captures the driver's eye direction and operation. For example, the camera 110 is attached to the front part of the ceiling of the vehicle, and can mainly photograph the upper body of the driver's face, arms, fingers, and the like. The exposure level of the camera 110 is adjusted by the imaging exposure control unit 121 of the control unit 120 so that appropriate imaging data can be obtained according to the brightness around the driver. The camera 110 outputs the captured image data to the image processing unit 122 of the control unit 120. The camera 110 is not limited to the front part of the ceiling of the vehicle as long as it can photograph mainly the upper body of the driver's face, arms, fingers, etc., and the meter 40 on the instrument panel 10 (dashboard). Alternatively, it may be arranged on a steering column or the like.

制御部１２０は、カメラ１１０による運転者の目の向き、および操作動作の撮像データに基づいて、各種車載機器への作動指示を行うものとなっている。制御部１２０は、撮像露出制御部１２１、画像処理部１２２、視線検知処理部１２３、手指の動き検知部１２４、操作スイッチ判定処理部１２５、および主記憶部１２６等を有している。 The control unit 120 is configured to issue an operation instruction to various in-vehicle devices based on the direction of the driver's eyes by the camera 110 and the imaging data of the operation operation. The control unit 120 includes an imaging exposure control unit 121, an image processing unit 122, a line-of-sight detection processing unit 123, a finger motion detection unit 124, an operation switch determination processing unit 125, a main storage unit 126, and the like.

撮像露出制御部１２１は、カメラ１１０による撮像時の露出レベルを、運転者の周りの明るさに応じて調節するものとなっている。また、画像処理部１２２は、カメラ１１０から出力される撮像データを所定形式のデータとなるように処理すると共に、撮像データを視線検知処理部１２３、および手指の動き検知部１２４に出力する部位となっている。 The imaging exposure control unit 121 adjusts the exposure level at the time of imaging by the camera 110 according to the brightness around the driver. In addition, the image processing unit 122 processes the imaging data output from the camera 110 into data in a predetermined format, and outputs the imaging data to the line-of-sight detection processing unit 123 and the finger motion detection unit 124. It has become.

視線検知処理部１２３は、画像処理部１２２から出力される撮像データを基に、運転者の顔の向き、および目（瞳）Ｅの向き等を把握して、表示画像５４に対する運転者の視線の方向を検出する部位となっている。また、視線検知処理部１２３は、画像処理部１２２から出力される撮像データを基に、運転者の目Ｅ（瞳）、および例えばステアリング３０近傍で差し出された運転者の手の指Ｆを結び、表示画像５４に向かう指先の方向を検出する部位となっている。 The line-of-sight detection processing unit 123 grasps the direction of the driver's face, the direction of the eyes (pupil) E, and the like based on the imaging data output from the image processing unit 122, and the driver's line-of-sight with respect to the display image 54. It is a part which detects the direction of. Further, the line-of-sight detection processing unit 123 uses the imaging data output from the image processing unit 122 to display the driver's eyes E (pupil) and, for example, the finger F of the driver's hand presented in the vicinity of the steering wheel 30. This is a part for detecting the direction of the fingertip toward the display image 54.

ここで、図４に示すように、制御部１２０は、表示面５４ａと、上記運転者の視線とが交わる交点位置に、例えば十字状にデザインされたカーソル５５を投射するように、ＨＵＤ装置５０に指示するようになっている。カーソル５５は、表示面５４ａ（表示面５４ａの内側領域あるいは外側領域）において、運転者の視線の位置を示すものとなる。 Here, as shown in FIG. 4, the control unit 120 projects the cursor 55 designed in a cross shape, for example, at an intersection position where the display surface 54 a intersects the driver's line of sight. It is supposed to direct to. The cursor 55 indicates the position of the driver's line of sight on the display surface 54a (the inner region or the outer region of the display surface 54a).

更に、制御部１２０は、カーソル５５の位置を中心としてスイッチ選択範囲５６を投射するようにＨＵＤ装置５０に指示する。スイッチ選択範囲５６は、所定形状（例えば楕円形状）を成して、選択対象として、複数の各種スイッチ画像５４１〜５４８のうち、最初の絞り込みを行うために、一部（例えば、３つ程度）のスイッチ画像（図４では５４１〜５４３）の選択を可能とする範囲を設定（形成）するものとなっている。スイッチ選択範囲５６は、本発明の選択範囲に対応する。 Further, the control unit 120 instructs the HUD device 50 to project the switch selection range 56 around the position of the cursor 55. The switch selection range 56 has a predetermined shape (for example, an elliptical shape), and a part (for example, about three) of the plurality of various switch images 541 to 548 is selected as a selection target in order to perform the initial narrowing down. The range in which the switch images (541 to 543 in FIG. 4) can be selected is set (formed). The switch selection range 56 corresponds to the selection range of the present invention.

手指の動き検知部１２４は、撮像データを基に、運転者の操作動作（例えば指Ｆの動き）を検出する部位となっている。運転者の操作動作としては、例えば、図４に示すように、ステアリング３０の手前側で一本の指Ｆを立てるようにして、運転者の目（瞳）Ｅの位置と、立てた指Ｆの位置とを結ぶ延長線上に、指操作したいスイッチ画像が位置するようにする動作がある。 The finger movement detection unit 124 is a part that detects a driver's operation (for example, movement of the finger F) based on the imaging data. As the driver's operation, for example, as shown in FIG. 4, the position of the driver's eyes (pupil) E and the raised finger F are set so that one finger F is raised on the front side of the steering wheel 30. There is an operation to place a switch image to be operated by a finger on an extension line connecting the positions of the two.

あるいは、運転者の操作動作としては、例えば、図６に示すように、操作したいスイッチ画像を変更したいときに、所望する隣側の別のスイッチ画像を選択するために、立てた指Ｆを隣側となる方向に移動させる動作がある。この指Ｆを移動させる動作は、本発明の選択動作に対応する。更に、運転者の操作動作としては、選択したスイッチ画像を確定させるために、あたかも離れたスイッチ画像に向けて指先で押すような動作がある。この指先で押すような動作は、本発明の確定動作に対応する。 Alternatively, as the operation operation of the driver, for example, as shown in FIG. 6, when the user wants to change the switch image to be operated, the user selects the adjacent finger F to select the next adjacent switch image. There is an action to move in the direction of the side. The operation of moving the finger F corresponds to the selection operation of the present invention. Further, as the operation operation of the driver, there is an operation of pushing with a fingertip toward a remote switch image in order to confirm the selected switch image. The operation of pressing with the fingertip corresponds to the determination operation of the present invention.

操作スイッチ判定処理部１２５は、上記の視線検知処理部１２３によって検知された視線の方向、および手指の動き検知部１２４によって検知された指Ｆによる操作動作、に応じて、運転者がどのスイッチ画像を選択し、更にはどのスイッチ画像を確定させたのか判定する部位となっている。この判定結果を基に、制御部１２０は、各種車載機器の作動を指示するようになっている。 The operation switch determination processing unit 125 determines which switch image the driver has in accordance with the direction of the line of sight detected by the line-of-sight detection processing unit 123 and the operation performed by the finger F detected by the finger movement detection unit 124. And is a part for determining which switch image is determined. Based on the determination result, the control unit 120 instructs the operation of various in-vehicle devices.

主記憶部１２６は、各種データやプログラム等を記憶する部位となっている。各種データやプログラムとしては、例えば、予め設けられた制御用のデータおよびプログラム（制御フロー）等がある。また、主記憶部１２６には、画像処理部１２２で処理された撮像データ、視線検知処理部１２３および手指の動き検知部１２４で得られた検知データ、更には、操作スイッチ判定処理部１２５で判定された判定データ等が必要に応じて記憶されるようになっている。 The main storage unit 126 is a part that stores various data, programs, and the like. Examples of the various data and programs include control data and programs (control flow) provided in advance. The main storage unit 126 also includes imaging data processed by the image processing unit 122, detection data obtained by the line-of-sight detection processing unit 123 and the finger motion detection unit 124, and determination by the operation switch determination processing unit 125. The determined determination data and the like are stored as necessary.

通信部１３０は、制御部１２０（操作スイッチ判定処理部１２５）と、ＨＵＤ装置５０とを通信によって接続するものであり、互いにデータのやり取りが可能となっている。 The communication unit 130 connects the control unit 120 (operation switch determination processing unit 125) and the HUD device 50 by communication, and can exchange data with each other.

操作装置１００の構成は、以上のようになっており、以下、操作装置１００の作動、および作用効果について、主に、図４〜図８を用いて説明する。 The configuration of the operating device 100 is as described above. Hereinafter, the operation and effects of the operating device 100 will be mainly described with reference to FIGS.

図７において、まず、制御部１２０は、ステップＳ１００で、制御中にカウント作動されるカウンタ１、２をリセットする。カウンタ１、２は、例えば、ｎ＝１、２、３・・・のようにカウントを行うものとなっている。 In FIG. 7, first, in step S100, the control unit 120 resets the counters 1 and 2 that are activated during the control. The counters 1 and 2 count, for example, n = 1, 2, 3,.

次に、ステップＳ１１０で、制御部１２０は、カメラ１１０による運転者の撮像を行い、画像データを取得する。そして、ステップＳ１２０で、制御部１２０は、顔画像処理として、運転者の目（瞳）Ｅの位置から表示画像５４に向かう視線（視線の方向）を検出すると共に、手画像処理として、運転者の指Ｆの位置、指Ｆの動作を検出する。 Next, in step S110, the control unit 120 captures the driver with the camera 110 and obtains image data. In step S120, the control unit 120 detects the line of sight (direction of the line of sight) from the position of the driver's eye (pupil) E toward the display image 54 as face image processing, and as the hand image processing, the driver The position of the finger F and the movement of the finger F are detected.

次に、ステップＳ１３０で、制御部１２０は、ステップＳ１２０における画像処理にてエラーがあったか否かを判定する。エラーが無ければ、制御部１２０は、ステップＳ１４０に移行し、エラーがあるとステップＳ１５０で、例えばメータ４０においてエラー表示をさせて、ステップＳ３３０に移行する。メータ４０にエラー表示されると、運転者は、自身が行った操作動作として、視線および指Ｆの検出がうまくできなかったことを認識できる。 Next, in step S130, the control unit 120 determines whether there is an error in the image processing in step S120. If there is no error, the control unit 120 proceeds to step S140. If there is an error, the control unit 120 displays an error in, for example, the meter 40, and proceeds to step S330. When an error is displayed on the meter 40, the driver can recognize that the line of sight and the finger F have not been successfully detected as the operation performed by the driver.

ステップＳ１４０では、制御部１２０は、カーソル５５の位置を検出する。カーソル５５の位置は、運転者の視線と表示面５４ａとが交差する視線交点である。尚、カーソル５５の位置の検出（決定）にあたっては、ここでは、指Ｆの位置は考慮されない。 In step S140, the control unit 120 detects the position of the cursor 55. The position of the cursor 55 is a line-of-sight intersection where the driver's line of sight intersects the display surface 54a. In the detection (determination) of the position of the cursor 55, the position of the finger F is not considered here.

そして、ステップＳ１６０で、制御部１２０は、カーソル５５の位置は、表示面５４ａにおけるスイッチ領域内にあるか否かを判定する。制御部１２０は、否と判定すると、ステップＳ３３０に移行し、肯定判定するとステップＳ１７０に移行する。尚、カーソル５５がスイッチ領域の外にある場合は、ＨＵＤ装置５０は、カーソル５５の投射を行わないようにするのがよく、運転者にとって、カーソル５５が目障りにならなくなる。 In step S160, the control unit 120 determines whether or not the position of the cursor 55 is within the switch area on the display surface 54a. If the control unit 120 determines NO, the control unit 120 proceeds to step S330. If the determination is affirmative, the control unit 120 proceeds to step S170. When the cursor 55 is outside the switch area, the HUD device 50 should not project the cursor 55, and the cursor 55 will not be an obstacle for the driver.

ステップＳ１７０では、制御部１２０は、カーソル５５の位置（視線交点）を中心として、所定形状のスイッチ選択範囲５６を設定する。スイッチ選択範囲５６の設定により、複数のスイッチ画像５４１〜５４８のうち、スイッチ選択範囲５６内に入っている一部のスイッチ画像（図４の５４１〜５４３）が、操作可能なスイッチ画像となり、以降の操作における候補スイッチ画像（操作対象）となる。 In step S <b> 170, the control unit 120 sets a switch selection range 56 having a predetermined shape around the position of the cursor 55 (line-of-sight intersection). Due to the setting of the switch selection range 56, some of the switch images 541 to 548 within the switch selection range 56 (541 to 543 in FIG. 4) become operable switch images, and so on. This is a candidate switch image (operation target) in the operation.

次に、ステップＳ１８０で、制御部１２０は、目Ｅと指Ｆとを結ぶ延長線と表示面５４ａとが交差する点を指先交点として検出する。 Next, in step S180, the control unit 120 detects a point where the extended line connecting the eye E and the finger F intersects the display surface 54a as a fingertip intersection.

そして、ステップＳ１９０で、制御部１２０は、指先交点が、スイッチ選択範囲５６の中にあるか否かを判定する。制御部１２０は、否と判定するとステップＳ３３０に移行し、肯定判定するとステップＳ２００に移行する。 In step S <b> 190, the control unit 120 determines whether the fingertip intersection is within the switch selection range 56. If the determination is NO, the control unit 120 proceeds to step S330, and if the determination is affirmative, the control unit 120 proceeds to step S200.

ステップＳ２００では、制御部１２０は、スイッチ選択範囲５６内の候補スイッチ画像（図４の３４１〜３４３）を検出する。 In step S200, the control unit 120 detects candidate switch images (341 to 343 in FIG. 4) within the switch selection range 56.

そして、ステップＳ２１０で、制御部１２０は、カウンタ１によるカウントが予め定めた所定値より大きいか否かを判定する。制御部１２０は、否と判定するとステップＳ２２０に移行し、カウンタ１のカウントを１つ増やして、ステップＳ１１０からの制御を繰り返す。つまり、ステップＳ２００におけるスイッチ選択範囲５６内の候補スイッチ画像の検出が、所定カウント、連続して検出されるまで、ステップＳ１１０〜ステップＳ２２０を繰り返すようになっている。 In step S210, control unit 120 determines whether the count by counter 1 is greater than a predetermined value. If the control unit 120 determines NO, the control unit 120 proceeds to step S220, increments the count of the counter 1 by 1, and repeats the control from step S110. That is, steps S110 to S220 are repeated until the detection of candidate switch images within the switch selection range 56 in step S200 is continuously detected for a predetermined count.

そして、ステップＳ２１０で肯定判定すると、図５に示すように、制御部１２０は、ステップＳ２３０で、候補スイッチ画像のうち、カーソル５５に一番近いスイッチ画像を選択候補スイッチ画像として、ＨＵＤ装置５０に対してハイライト表示させる。 If an affirmative determination is made in step S210, as shown in FIG. 5, the control unit 120 causes the HUD device 50 to select a switch image closest to the cursor 55 among the candidate switch images as a selection candidate switch image in step S230. In contrast, highlight it.

次に、ステップＳ２４０で、制御部１２０は、カメラ１１０による運転者の撮像を行い、撮像データを取得する。 Next, in step S240, the control unit 120 performs imaging of the driver with the camera 110, and acquires imaging data.

そして、ステップＳ２５０で、制御部１２０は、ステップＳ１２０と同様に、顔画像処理として、運転者の目（瞳）Ｅの位置から表示画像５４に向かう視線（視線の方向）を検出すると共に、手画像処理として、運転者の指Ｆの位置、指Ｆの動作を検出する。 In step S250, as in step S120, the control unit 120 detects the line of sight (direction of the line of sight) from the position of the driver's eye (pupil) E toward the display image 54 as face image processing, As the image processing, the position of the driver's finger F and the movement of the finger F are detected.

そして、ステップＳ２６０で、制御部１２０は、指先の移動量、および移動方向を検出する。 In step S260, control unit 120 detects the amount and direction of movement of the fingertip.

そして、ステップＳ２７０で、制御部１２０は、ステップＳ２５０、Ｓ２６０における画像処理にてエラーがあったか否かを判定する。エラーが無ければ、制御部１２０は、ステップＳ２９０に移行し、エラーがあるとステップＳ２８０で、例えばメータ４０においてエラー表示をさせて、ステップＳ３３０に移行する。メータ４０にエラー表示されると、運転者は、自身が行った操作動作として、視線および指先の検出がうまくできなかったことを認識できる。 In step S270, the control unit 120 determines whether there is an error in the image processing in steps S250 and S260. If there is no error, the control unit 120 proceeds to step S290, and if there is an error, the control unit 120 displays an error in the meter 40, for example, and proceeds to step S330. When an error is displayed on the meter 40, the driver can recognize that the line of sight and the fingertip have not been successfully detected as the operation performed by the driver.

ステップＳ２９０では、制御部１２０は、最終候補スイッチ画像を選択する。即ち、図６に示すように、ステップＳ２３０でハイライト表示させたスイッチ画像を基準にして、指先の移動量および移動方向に対応した位置座標に一番近いスイッチ画像を最終候補スイッチ画像として選択して、ＨＵＤ装置５０に対してハイライト表示させる。尚、所望のスイッチ画像を探索するための位置座標は、スイッチ選択範囲５６の端で止まるようにする。 In step S290, the control unit 120 selects a final candidate switch image. That is, as shown in FIG. 6, with reference to the switch image highlighted in step S230, the switch image closest to the position coordinates corresponding to the moving amount and moving direction of the fingertip is selected as the final candidate switch image. As a result, the HUD device 50 is highlighted. Note that the position coordinates for searching for a desired switch image are stopped at the end of the switch selection range 56.

そして、ステップＳ３００で、制御部１２０は、カウンタ２によるカウントが予め定めた所定値より大きいか否かを判定する。制御部１２０は、否と判定するとステップＳ３１０に移行し、カウンタ２のカウントを１つ増やして、ステップＳ２４０からの制御を繰り返す。つまり、ステップＳ２９０におけるスイッチ選択範囲５６内の最終候補スイッチ画像の検出が、所定カウント、連続して検出されるまで、ステップＳ２４０〜ステップＳ３１０を繰り返すようになっている。 In step S300, the control unit 120 determines whether the count by the counter 2 is greater than a predetermined value. If the control unit 120 determines NO, the control unit 120 proceeds to step S310, increments the count of the counter 2, and repeats the control from step S240. That is, Steps S240 to S310 are repeated until the detection of the final candidate switch image in the switch selection range 56 in Step S290 is continuously detected for a predetermined count.

そして、ステップＳ３００で肯定判定すると、ステップＳ３２０にて、制御部１２０は、運転者の所定のポーズとして確定動作（押込み動作）を検出すると最終候補スイッチ画像を確定状態（オンされた状態）にすると共に、その最終候補スイッチ画像に対応する動作指示を車載機器に対して行う。 If an affirmative determination is made in step S300, in step S320, the control unit 120 sets the final candidate switch image in a finalized state (turned on) when detecting a finalizing operation (pressing operation) as a predetermined pose of the driver. At the same time, an operation instruction corresponding to the final candidate switch image is issued to the in-vehicle device.

そして、ステップＳ３３０で、制御部１２０は、上記のスイッチ選択設定をすべて初期状態に設定し、最初から操作する状態にする。 In step S330, the control unit 120 sets all the switch selection settings to the initial state, and sets the switch operation state from the beginning.

以上のように、本実施形態では、まず、制御部１２０によって、複数のスイッチ画像５４が形成される表示面５４ａと運転者の視線とが交わる視線交点を中心にしてスイッチ選択範囲５６が設定されて、複数のスイッチ画像５４のうち、操作対象の候補として、一部のスイッチ画像（候補スイッチ画像）が絞り込まれる。一部のスイッチ画像は、以降の操作で、選択操作が可能となるスイッチ画像である。 As described above, in the present embodiment, first, the switch selection range 56 is set by the control unit 120 around the line-of-sight intersection where the display surface 54a on which the plurality of switch images 54 are formed and the driver's line of sight intersect. Thus, among the plurality of switch images 54, some switch images (candidate switch images) are narrowed down as operation target candidates. Some switch images are switch images that can be selected in subsequent operations.

そして、運転者によってスイッチ選択範囲５６の中で所望するスイッチ画像を選択するための選択動作が行われると、制御部１２０は選択動作が行われたスイッチ画像に対して選択設定を行う。尚、選択設定されたスイッチ画像に対して、確定動作が行われると、制御部１２０によって、対応する車載機器の作動が指示される。 When the driver performs a selection operation for selecting a desired switch image in the switch selection range 56, the control unit 120 performs selection setting for the switch image on which the selection operation has been performed. Note that, when a confirmation operation is performed on the switch image that has been selected and set, the control unit 120 instructs the operation of the corresponding in-vehicle device.

このように、複数のスイッチ画像５４に対して、スイッチ選択範囲５６を設定し、選択動作の実行に伴い、運転者が所望するスイッチ画像を順に絞り込んでいくことができ、操作途中の誤選択等の発生を抑制して、選択の精度を上げることができる。 In this way, the switch selection range 56 is set for a plurality of switch images 54, and the switch images desired by the driver can be narrowed down sequentially in accordance with the execution of the selection operation. The accuracy of selection can be improved by suppressing the occurrence of.

（第２実施形態）
第２実施形態の操作装置１００を図９に示す。第２実施形態は、上記第１実施形態に対して、構成は同一としつつも、最終候補スイッチ画像を設定するための選択動作を変更したものである。 (Second Embodiment)
An operation device 100 according to the second embodiment is shown in FIG. The second embodiment is different from the first embodiment in that the configuration is the same, but the selection operation for setting the final candidate switch image is changed.

本実施形態では、選択動作は、ステアリング３０のリング部の上で指Ｆを周方向に滑らすように移動させるものとなっている。例えば、指Ｆをステアリング３０上で左回転方向に滑らすことで、選択候補スイッチ画像（スイッチ画像５４２）に対して、左隣のスイッチ画像を最終候補スイッチ画像（スイッチ画像５４１）に設定する。あるいは、指Ｆをステアリング３０上で右回転方向に滑らすことで、選択候補スイッチ画像に対して、右隣のスイッチ画像を最終候補スイッチ画像に設定する。尚、ステアリング３０上での操作動作は、他にも、ステアリング３０に指でタッチする等の動作としてもよい。 In the present embodiment, the selection operation moves the finger F so as to slide in the circumferential direction on the ring portion of the steering 30. For example, by sliding the finger F in the left rotation direction on the steering wheel 30, the switch image adjacent to the left is set as the final candidate switch image (switch image 541) with respect to the selection candidate switch image (switch image 542). Alternatively, by sliding the finger F in the right rotation direction on the steering 30, the switch image on the right next to the selection candidate switch image is set as the final candidate switch image. In addition, the operation operation on the steering wheel 30 may be an operation such as touching the steering wheel 30 with a finger.

本実施形態によれば、指Ｆをステアリング３０に接触させた操作動作とすることができるので、空中動作に比べて、安定した動作とすることができる。 According to the present embodiment, an operation operation in which the finger F is brought into contact with the steering wheel 30 can be performed, and therefore, a stable operation can be achieved as compared with the aerial operation.

尚、選択動作としては、第１実施形態のように空中に立てた指Ｆを移動させる、あるいは上記のようにステアリング３０上において指Ｆを滑らせて移動させるものの他にも、以下のような選択動作を設定してもよい。即ち、
・空中で手を振る動作、
・空中で指Ｆをかざして指Ｆの本数を変える動作（１本で右移動、２本で左移動等）、
・顔の動きとしてウインクを用いた動作（右ウインクで右移動、左ウインクで左移動）、
・ステアリング３０のホーン部（中心部）上において指を滑らせる動作、
・シフトノブ４７の上部において指を滑らせる動作、
・ステアリング３０におけるメカスイッチ左右ボタンを利用して、そのボタン上で選択するような動作、
・ステアリング３０におけるメカスイッチ＋十字キーを利用して、そのボタン上で選択するような動作、等である。 As the selection operation, in addition to moving the finger F standing in the air as in the first embodiment or sliding the finger F on the steering 30 as described above, the following operation may be performed. A selection operation may be set. That is,
・ Wave in the air
-Move the finger F in the air to change the number of fingers F (1 moves right, 2 moves left, etc.)
-Face movement using wink (right move with right wink, left move with left wink),
-The operation of sliding a finger on the horn part (center part) of the steering wheel 30,
・ Sliding finger on top of shift knob 47,
・ Using the mechanical switch left and right buttons on the steering wheel 30 to select on the buttons,
The operation such as selecting on the button using the mechanical switch + cross key in the steering wheel 30.

（第３実施形態）
第３実施形態の操作装置１００を図１０に示す。第３実施形態は、上記第１実施形態に対して、構成は同一としつつも、スイッチ選択範囲５６の大きさを変更するための変更動作を追加したものである。 (Third embodiment)
An operating device 100 according to the third embodiment is shown in FIG. The third embodiment is different from the first embodiment in that the configuration is the same, but a change operation for changing the size of the switch selection range 56 is added.

変更動作としては、例えば、上記第１実施形態のステップＳ２９０にて、立てた指Ｆの本数を１本から２本にする動作とすることができる。更には、変更動作として、２本の指を立て、２本の指を開く、あるいはステアリング３０を叩く（叩く回数）、等の動作とすることができる。この変更動作によって、図１０（ｂ）に示すように、初期設定されるスイッチ選択範囲５６Ａを、スイッチ選択範囲５６Ｂのように、大きくすることができるようになっている。尚、スイッチ選択範囲５６Ｂは、初期のスイッチ選択範囲５６Ａに対して小さくするものとしてもよい。 As the changing operation, for example, in step S290 of the first embodiment, the number of fingers F raised can be changed from one to two. Furthermore, as the changing operation, an operation such as raising two fingers, opening the two fingers, or hitting the steering wheel 30 (number of times of hitting) can be used. By this change operation, as shown in FIG. 10B, the initially selected switch selection range 56A can be enlarged as the switch selection range 56B. The switch selection range 56B may be smaller than the initial switch selection range 56A.

これにより、スイッチ選択範囲５６Ｂによって選択される候補スイッチ画像の数を、運転者の好みに応じて調整することができ、運転者の使い勝手を向上させることができる。 Thereby, the number of candidate switch images selected by the switch selection range 56B can be adjusted according to the driver's preference, and the convenience of the driver can be improved.

（その他の実施形態）
上記各実施形態では、スイッチ選択範囲５６によって、候補スイッチ画像を絞り込んだ後に、選択動作に基づいて最終候補スイッチ画像を選択設定するものとした（ステップＳ２９０）。しかしながら、選択動作の有無を確認して、選択動作がない場合には、カーソル５５に基づいて設定される選択候補スイッチ画像を、そのまま最終候補スイッチ画像として、確定動作に基づいて選択設定するようにしてもよい。 (Other embodiments)
In each of the above embodiments, after the candidate switch images are narrowed down by the switch selection range 56, the final candidate switch image is selected and set based on the selection operation (step S290). However, the presence or absence of the selection operation is confirmed. If there is no selection operation, the selection candidate switch image set based on the cursor 55 is selected and set as the final candidate switch image as it is based on the confirmation operation. May be.

また、表示画像５４は、複数のスイッチ画像５４１〜５４８が横一列に配置されるものとしたが、これに限定されるものではなく、上下、左右に配置されるものとしてもよい。 The display image 54 has a plurality of switch images 541 to 548 arranged in a horizontal row, but is not limited to this, and may be arranged vertically and horizontally.

５０車両用ヘッドアップディスプレイ装置
５４表示画像（複数のスイッチ画像）
５４ａ表示面
５６スイッチ選択範囲（選択範囲）
１００操作装置
１１０カメラ（撮像部）
１２０制御部 50 Vehicle Head Up Display Device 54 Display Image (Multiple Switch Images)
54a Display surface 56 Switch selection range (selection range)
100 Operating device 110 Camera (imaging unit)
120 Control unit

Claims

With the head-up display device (50), the eyes of the operator with respect to the plurality of switch images (54) for in-vehicle devices formed on the front side of the operator, and at positions away from the plurality of switch images In an operating device that performs an input operation based on the operation performed by the operator,
An imaging unit (110) for imaging the direction of the eyes and the operation operation;
A control unit (120) that gives an operation instruction to the in-vehicle device based on the direction of the eyes by the imaging unit and imaging data of the operation operation,
The control unit is configured to select a part of the plurality of switch images as a selection target around an intersection where a display surface (54a) on which the plurality of switch images are formed and a line of sight accompanying the direction of the eyes intersect. If a selection range (56) that enables selection of the switch image is set, and there is a selection operation for selecting a switch image desired by the operator as the operation operation within the selection range, An operation device for selecting and setting a desired switch image.

The control unit is configured to set a switch image closest to the intersection among the partial switch images as the selection candidate switch image within the selection range,
The operation device according to claim 1, wherein the selection operation is an operation of moving the operator's hand or finger toward the desired switch image with the selection candidate switch image as a reference.

The operation device according to claim 1, wherein the control unit changes the size of the selection range when the operator detects a change operation for changing the size of the selection range.

After the controller selects and sets the desired switch image, if there is a confirming operation for confirming the desired switch image by the operator, the operation of the in-vehicle device corresponding to the desired switch image The operating device according to any one of claims 1 to 3, wherein: