JP5382313B2 - Vehicle operation input device - Google Patents
Vehicle operation input device Download PDFInfo
- Publication number
- JP5382313B2 JP5382313B2 JP2009026465A JP2009026465A JP5382313B2 JP 5382313 B2 JP5382313 B2 JP 5382313B2 JP 2009026465 A JP2009026465 A JP 2009026465A JP 2009026465 A JP2009026465 A JP 2009026465A JP 5382313 B2 JP5382313 B2 JP 5382313B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- hand
- image
- display
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Position Input By Displaying (AREA)
Description
本発明は車両用操作入力装置に関する。 The present invention relates to a vehicle operation input device.
近年では、操作入力装置(特許文献1)として、遠隔的に機器操作を行う操作入力装置が開発されている。このような操作入力装置は、操作画面(メイン画面)を表示する表示装置とは別に、操作者の手元に遠隔操作部を設け、さらに、その遠隔操作部を操作する手を撮影・抽出し、得られた手画像および手操作を表示装置の操作画面(メイン画面)に反映して、あたかも操作画面を直接タッチ操作しているかのように表示制御するものである。また、このような操作入力装置のうち、車両に設けられるものについては、その操作性を増すために、遠隔操作部が座席に着座したユーザーの手元に設けられる。そして、その遠隔操作部は、タッチ操作面を有してなるタッチ操作式(接触操作式)の操作パネルを設けた構成とされることが多い。 In recent years, an operation input device that remotely operates a device has been developed as an operation input device (Patent Document 1). Such an operation input device is provided with a remote operation unit at the operator's hand separately from a display device that displays an operation screen (main screen), and further, photographs and extracts a hand that operates the remote operation unit, The obtained hand image and manual operation are reflected on the operation screen (main screen) of the display device, and display control is performed as if the operation screen is directly touch-operated. Among such operation input devices, those provided in the vehicle are provided with the remote operation unit at the user's seat on the seat in order to increase the operability. The remote operation unit is often configured to include a touch operation type (contact operation type) operation panel having a touch operation surface.
上記のような操作パネルが車室内に設けられる場合には、ユーザーが遠隔操作部への操作の意思を持っている場合には、操作する手を表示装置の画面上に確実に表示することが操作性の観点から重要である一方で、操作意思の無い場合には、手画像の表示は無意味であるからこうした無駄な表示処理が実施されないようにすることが望ましい。 When the operation panel as described above is provided in the vehicle interior, if the user is willing to operate the remote control unit, the operating hand can be reliably displayed on the screen of the display device. While it is important from the viewpoint of operability, when there is no intention to operate, the display of hand images is meaningless, so it is desirable not to perform such useless display processing.
本発明の課題は、ユーザーが操作意思を有した時にのみ、操作する手を確実に画面表示できる車両用操作入力装置を提供することにある。 An object of the present invention is to provide an operation input device for a vehicle that can reliably display the operating hand only when the user has an intention to operate.
上記課題を解決するために、本発明の車両用操作入力装置は、
車両が備える機器の操作などを行うための操作画面を表示画面上に表示する表示手段と、前記表示画面とは異なる位置に設けられ、前記操作画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部と、前記遠隔操作面に対向する手の画像を撮影する手画像撮影手段と、当該手により位置指示された前記表示画面上の位置に前記撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示手段と、を備える車両用操作入力装置であって、
撮影された手と前記遠隔操作部との間の距離を検出する近接レベル検出手段と、
検出された前記距離が予め定められた距離閾値を上回る場合には前記位置指示画像の表示を許可する一方で、前記距離閾値を上回らない場合には前記位置指示画像の表示を禁止する位置指示画像表示制御手段と、
前記車両の走行状態を検出する走行状態検出手段と、
検出された走行状態に応じて前記距離閾値を変更する操作受付レベル変更手段と、
を備えることを特徴とする。
In order to solve the above-described problems, an operation input device for a vehicle according to the present invention includes:
Display means for displaying on the display screen an operation screen for operating a device provided in the vehicle, and a remote operation for remotely performing an operation input on the operation screen provided at a position different from the display screen A remote operation unit having a surface, hand image photographing means for photographing an image of a hand facing the remote operation surface, and an image of the photographed hand at a position on the display screen instructed by the hand. A position instruction image display means for displaying a position instruction image generated based on the vehicle operation input device,
Proximity level detection means for detecting the distance between the photographed hand and the remote control unit;
While when said detected distance is excessive electrical distance predetermined threshold is to allow the display of the position indication image, prohibiting the display of the position indication image when exceeded it should not be the distance threshold Position indicating image display control means for performing,
Traveling state detecting means for detecting the traveling state of the vehicle;
Operation acceptance level changing means for changing the distance threshold according to the detected running state;
It is characterized by providing.
上記本発明の構成によれば、ユーザーが操作意思を持って遠隔操作面に対し一定以上手を近づけない限りは位置指示画像が表示されないので、無駄な位置指示画像の表示を省略できる。さらに、車両用操作入力装置においては、走行状態に応じて、操作を制限するべきシーンや操作を支援するべきシーンがある。上記本発明の構成によれば、走行状態に応じて、位置指示画像の表示がされ易くなったり、表示がされ難くなったり切り替えることができるので、走行状態に応じた使い勝手のよい操作入力装置を実現できる。 According to the configuration of the present invention, since the position instruction image is not displayed unless the user has a willingness to operate and brings his / her hand closer to the remote operation surface, a useless display of the position instruction image can be omitted. Furthermore, in the vehicle operation input device, there are scenes that should be limited in operation and scenes that should support the operation depending on the running state. According to the configuration of the present invention, since the position indication image can be easily displayed or difficult to display depending on the traveling state, it is possible to switch the operation input device that is easy to use according to the traveling state. realizable.
なお、走行状態検出手段は、車両の車速を検出する車速検出手段とすることにより、車速に係る走行状態の特定が可能となり、車速に応じた位置指示画像の表示/非表示の切替が可能となる。 The traveling state detection means is a vehicle speed detection means for detecting the vehicle speed of the vehicle, so that the traveling state relating to the vehicle speed can be specified, and the display / non-display of the position instruction image can be switched according to the vehicle speed. Become.
本発明の操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が予め定められた基準車速レベルを上回る高速走行状態と検出された場合よりも、当該基準車速レベルを上回らない低速走行状態にあると検出された場合に、前記操作受付レベルを低く設定するものとできる。この構成によると、車両の高速走行状態においては、遠隔操作部の操作を制限するべく位置指示画像の表示がされにくいよう操作受付レベルを遠隔操作部に近い位置に設定できる。また、車両の低速走行状態においては、位置指示画像の表示がされ易くなるよう操作受付レベルを遠隔操作部から遠い位置に設定して、操作をスムーズにできるようにすることができる。 The operation acceptance level changing means of the present invention is a low speed that does not exceed the reference vehicle speed level when the running condition detecting means detects that the vehicle is in a high speed running state that exceeds a predetermined reference vehicle speed level. When it is detected that the vehicle is in the running state, the operation reception level can be set low. According to this configuration, when the vehicle is traveling at high speed, the operation reception level can be set at a position close to the remote operation unit so that the position instruction image is not easily displayed to limit the operation of the remote operation unit. Further, when the vehicle is traveling at a low speed, the operation reception level can be set at a position far from the remote control unit so that the position instruction image can be easily displayed, so that the operation can be performed smoothly.
本発明の操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が走行中と検出された場合よりも停車中と検出された場合に、前記操作受付レベルを低く設定するものとできる。この構成によると、車両の走行状態においては、遠隔操作部の操作を制限するべく位置指示画像の表示がされにくいよう操作受付レベルを遠隔操作部に近い位置に設定できる。また、車両の停車状態においては、位置指示画像を表示しやすくなるよう操作受付レベルを遠隔操作部から遠い位置に設定して、操作をよりスムーズにできるようにすることができる。 The operation acceptance level changing means of the present invention sets the operation acceptance level lower when the running state detecting means detects that the vehicle is in a stopped state than when the running state is detected as running. it can. According to this configuration, in the traveling state of the vehicle, the operation reception level can be set at a position close to the remote operation unit so that the position instruction image is not easily displayed so as to restrict the operation of the remote operation unit. In addition, when the vehicle is stopped, the operation reception level can be set at a position far from the remote control unit so that the position instruction image can be easily displayed, so that the operation can be performed more smoothly.
本発明の操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が予め定められた基準車速レベルを上回る高速走行状態にある場合よりも、該基準車速レベルを上回らない前記車両の低速走行状態にある場合に、前記操作受付レベルを高く設定するものとできる。この構成によると、車両の高速走行状態において、位置指示画像を表示しやすくなるよう操作受付レベルを遠隔操作部に近い位置に設定することで、走行中の運転者でも容易に操作が可能となるよう操作の容易化を図ることができる。また、車両の低速走行状態においては、明らかに操作意思のある場合にのみ位置指示画像が表示されるよう操作受付レベルを遠隔操作部から遠い位置に設定することができる。 The operation acceptance level changing means according to the present invention is configured so that the vehicle state that does not exceed the reference vehicle speed level is higher than the case where the running state of the vehicle is in a high-speed driving state that exceeds a predetermined reference vehicle speed level by the driving state detection means. When the vehicle is running at a low speed, the operation acceptance level can be set high. According to this configuration, when the vehicle is traveling at high speed, the operation reception level is set to a position close to the remote control unit so that the position indication image can be easily displayed, so that even a traveling driver can easily perform the operation. Thus, the operation can be facilitated. Further, when the vehicle is traveling at a low speed, the operation reception level can be set at a position far from the remote operation unit so that the position instruction image is displayed only when there is an intention to operate.
本発明の操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が走行中である場合よりも停車中である場合に、前記操作受付レベルを高く設定するとできる。この構成によると、車両の高速走行状態において、位置指示画像を表示しやすくなるよう操作受付レベルを遠隔操作部に近い位置に設定することで、走行中の運転者でも容易に操作が可能となるよう操作の容易化を図ることができる。また、車両の停車状態においては、明らかに操作意思のある場合にのみ位置指示画像が表示されるよう操作受付レベルを遠隔操作部から遠い位置に設定することができる。 The operation acceptance level changing means of the present invention can set the operation acceptance level higher when the running state of the vehicle is stopped than when the running state of the vehicle is running. According to this configuration, when the vehicle is traveling at high speed, the operation reception level is set to a position close to the remote control unit so that the position indication image can be easily displayed, so that even a traveling driver can easily perform the operation. Thus, the operation can be facilitated. Further, when the vehicle is stopped, the operation reception level can be set at a position far from the remote control unit so that the position instruction image is displayed only when there is an intention to operate.
本発明において、手画像撮影手段により撮影される手の、前記遠隔操作部への接近/離間方向における移動の向きを検出する手移動方向検出手段を備えて構成することができる。この場合、操作受付レベル変更手段は、前記手画像撮影手段により撮影される手の、前記遠隔操作部への接近/離間方向における移動の向きに応じて、前記操作受付レベルを変更するものとできる。手が操作受付レベル付近に位置する場合には、位置指示画像を表示したり消失させたりと無駄な処理が繰り返される可能性がある。遠隔操作部への接近/離間方向における手の移動はユーザーの操作意思を反映している可能性が高いので、その移動方向に応じて操作受付レベルを変更できるようにすることで、ユーザーの操作意思のある可能性が高い場合に位置指示画像をより表示しやすくし、そうでない場合には表示されにくいようにすることが可能となる。これにより、位置指示画像の無駄な表示を抑制できる。 In the present invention, it is possible to provide hand movement direction detecting means for detecting the direction of movement of the hand imaged by the hand image photographing means in the approach / separation direction to the remote control unit. In this case, the operation reception level changing means can change the operation reception level according to the direction of movement of the hand photographed by the hand image photographing means in the approach / separation direction to the remote operation unit. . When the hand is positioned near the operation acceptance level, there is a possibility that useless processing is repeated such as displaying or disappearing the position instruction image. The movement of the hand in the approach / separation direction to the remote control unit is likely to reflect the user's intention to operate, so the user operation can be changed by changing the operation acceptance level according to the movement direction. It is possible to make it easier to display the position indication image when there is a high possibility of intention, and to make it difficult to display otherwise. Thereby, useless display of the position indication image can be suppressed.
本発明の操作受付レベル変更手段は、前記手画像撮影手段により撮影される手の、前記遠隔操作部から離間移動中である場合を、前記遠隔操作部への接近移動中である場合よりも、前記操作受付レベルを高く設定するものとできる。遠隔操作部に対向する手が遠隔操作部から離れていく場合には操作の意思がないと判断できるから、離れていく場合には操作受付レベルを高く設定して位置指示画像が表示されにくいようにすることで、位置指示画像の無駄な表示を抑制できる。また、位置指示画像を表示したり消失させたりと無駄な処理が繰り返されるエリアもなくなる。 The operation acceptance level changing means of the present invention is a case where the hand photographed by the hand image photographing means is moving away from the remote operation part, than when the hand is moving closer to the remote operation part. The operation acceptance level can be set high. When the hand facing the remote control unit moves away from the remote control unit, it can be determined that there is no intention to operate. Therefore, when moving away from the remote control unit, it is difficult to display the position indication image by setting the operation acceptance level high. By doing so, useless display of the position indication image can be suppressed. Further, there is no area where wasteful processing is repeated such as displaying or disappearing the position indication image.
本発明において、近接レベル検出手段は、前記手画像撮影手段により撮影された手と前記遠隔操作部との間の距離を検出するものとし、位置指示画像表示制御手段は、検出される距離に対し定められた距離閾値を前記操作受付レベルとして使用するものとし、操作受付レベル変更手段は、前記距離閾値を、前記車両の高速走行状態よりも前記低速走行状態において長くなるように変更するものとできる。この構成によると、遠隔操作部と、これを操作する手との間の距離を検出するとともに、この距離に対し定められた操作受付レベル(距離閾値)を、走行状態に応じて可変する構成となる。走行状態に応じて変更される閾値と、検出される距離との比較により、位置指示画像の表示しやすさ/表示しにくさを容易に変更することができる。 In the present invention, the proximity level detecting means detects a distance between the hand imaged by the hand image photographing means and the remote control unit, and the position indicating image display control means is adapted to detect the distance. A predetermined distance threshold value is used as the operation reception level, and the operation reception level changing means can change the distance threshold value to be longer in the low-speed driving state than in the high-speed driving state of the vehicle. . According to this configuration, the distance between the remote control unit and the hand operating the remote control unit is detected, and the operation reception level (distance threshold) determined for the distance is variable according to the running state; Become. By comparing the threshold value that is changed according to the running state and the detected distance, it is possible to easily change the ease of displaying / the difficulty of displaying the position indication image.
また、本発明において、近接レベル検出手段は、前記手画像撮影手段により撮影された手と前記遠隔操作部との間の距離を反映した値を検出するものとし、位置指示画像表示制御手段は、前記検出値に対し定められた検出値閾値を前記操作受付レベルとして固定的に使用するものとし、操作受付レベル変更手段は、前記手画像撮影手段により撮影された手と前記遠隔操作部との間の距離が同一である場合に前記近接レベル検出手段により検出される検出値を増ずる又は減ずるよう予め定められた検出条件を変更するものであり、前記検出値閾値の距離換算後の値を変更させることにより前記操作受付レベルを変更するものとできる。この構成によると、検出閾値を変えずに検出条件を変えるだけで、遠隔操作部と手との間の距離に対し定められる操作受付レベルを容易に変更することができる。
Further, in the present invention, the proximity level detection means detects a value reflecting the distance between the hand imaged by the hand image imaging means and the remote operation unit, and the position indication image display control means The detection threshold value determined for the detection value is fixedly used as the operation reception level, and the operation reception level changing unit is provided between the hand photographed by the hand image photographing unit and the remote operation unit. When the distances are the same, the predetermined detection condition is changed so as to increase or decrease the detection value detected by the proximity level detection means, and the distance-converted value of the detection value threshold is changed. By doing so, the operation acceptance level can be changed. According to this configuration, it is possible to easily change the operation reception level determined for the distance between the remote operation unit and the hand by simply changing the detection condition without changing the detection threshold.
ところで、本発明の表示手段は、車室内において、表示画面が前記遠隔操作部とは異なる位置に設けられ、かつ該遠隔操作部を操作可能な座席に着座したユーザーから画面視認可能に配置されるとともに、前記表示画面上に操作画像を表示可能に構成することができる。この場合の遠隔操作部は、前記操作パネルへの前記タッチ操作に基づいて、前記表示装置おいて画面表示される操作画像に対し遠隔的に操作入力が可能な操作部として構成される。この構成によると、より視認性に優れる位置に設けられた表示装置に表示された操作画像(操作アイコン等)を、手元に位置する遠隔操作部により操作可能となる。例えば操作者が運転者である場合には、表示装置の表示画面が車両前方側に位置していれば視認性も高いし、それを視認しながらとなる遠隔タッチ操作もスムーズに行いやすい。 By the way, the display means of the present invention is arranged in a vehicle interior so that the display screen is provided at a position different from the remote operation unit and the user who is seated on a seat capable of operating the remote operation unit can view the screen. In addition, an operation image can be displayed on the display screen. In this case, the remote operation unit is configured as an operation unit capable of remotely inputting an operation to an operation image displayed on the screen of the display device based on the touch operation on the operation panel. According to this configuration, an operation image (such as an operation icon) displayed on a display device provided at a position with higher visibility can be operated by a remote operation unit located at hand. For example, when the operator is a driver, if the display screen of the display device is positioned on the front side of the vehicle, the visibility is high, and the remote touch operation while visually recognizing it is easy to perform smoothly.
また、本発明における遠隔操作部は、車両乗員が背もたれにもたれた形で車両の座席に着座した状態にて操作可能な位置に固定配置された操作部とすることができ、それらは、別途設けられた主操作部(例えば表示画面上ないしは表示画面周辺の操作部)よりも予め定められた座席に近い位置に固定配置されたものとすることができる。 In addition, the remote control unit according to the present invention can be a control unit that is fixedly arranged at a position where the vehicle occupant can be operated in a state of being seated on the back of the vehicle seat and is provided separately. It may be fixedly arranged at a position closer to a predetermined seat than the main operation unit (for example, on the display screen or around the display screen).
また、本発明における表示手段は、少なくとも車両の運転席に着座した車両乗員から画面視認可能となるよう当該車両乗員よりも車両前方側に配置されたものとすることができる。さらに、上記主操作部を備える場合には、当該表示手段の表示画面上に設けられたタッチパネル(表示面接触型の操作部)を主操作部として備えた構成とできるし、上記遠隔操作部は、運転席の座部と助手席の座部との間に設けることができる。 Further, the display means in the present invention can be arranged at the front side of the vehicle relative to the vehicle occupant so that the screen can be seen by at least the vehicle occupant seated in the driver's seat of the vehicle. Further, when the main operation unit is provided, a touch panel (display surface contact type operation unit) provided on the display screen of the display unit may be provided as the main operation unit, and the remote operation unit may be It can be provided between the seat of the driver seat and the seat of the passenger seat.
なお、本発明における押圧操作部及び操作パネルは、車載電子機器の操作部とすることができ、例えば、エアコン操作部、オーディオ操作部、ナビゲーション操作部、パワーウィンドウ操作部、及びシート位置調整操作部のうち、1又は複数を兼用するものとすることができる。 Note that the pressing operation unit and the operation panel in the present invention can be used as an operation unit of an in-vehicle electronic device, for example, an air conditioner operation unit, an audio operation unit, a navigation operation unit, a power window operation unit, and a seat position adjustment operation unit. Of these, one or more of them can be used together.
以下、本発明の車両用操作入力装置の第一実施形態を、図面を参照して説明する。 Hereinafter, a first embodiment of a vehicle operation input device of the present invention will be described with reference to the drawings.
図1は、本発明の車両用操作入力装置の構成を示すブロック図である。本実施形態においては、遠隔操作部10と表示装置20と車速センサ30と外部記憶装置40とが制御部100に接続された構成を有する。
FIG. 1 is a block diagram showing a configuration of a vehicle operation input device of the present invention. In the present embodiment, the
表示装置20は、周知のカラー表示装置(液晶ディスプレイ,プラズマディスプレイ,有機ELディスプレイ等)であり、表示画面上にタッチ操作用のスイッチ画像(操作アイコン)等の操作画像を表示する複数種の操作画面を切り替える形で表示することができる。本実施形態の表示装置20は、表示画面上に配置された表示面接触型の操作部であるタッチパネル22と、当該表示画面の周辺に配置されるスイッチ類21と、を有して構成されている。また、本実施形態の表示装置20は、運転席2D及び助手席2Pに着座した双方の車両乗員から画面視認可能であり、なおかつ双方の車両乗員からタッチパネル22及びスイッチ類21が操作可能となるようそれらの座席2D,2Pよりも車両前方側に配置されている。
The
タッチパネル22は、表示装置20の画面上に取り付けられ、車室内に露出する主表面22a1がタッチ操作面となる形で配置される透明な操作パネル(例えば抵抗膜式タッチスイッチ)を有したタッチ操作部として構成されている。タッチ操作面22a1になされたタッチ操作位置を検知し、当該タッチ操作位置を反映したタッチ操作入力信号を制御部100に出力する。
The
遠隔操作部10は、上記した表示装置に画面表示される操作画像に対する操作入力を遠隔的に行うための補助操作部であって、タッチ操作部12と、押圧操作部11とを有して構成されている。つまり、遠隔操作部10は、表示装置20の操作部22,21を主操作部とし、それに代わる操作が可能な補助操作部であり、それら主操作部22,21よりも操作負担が小さくなるようユーザーにより近い位置に配置されている。ここでの遠隔操作部10は、図2及び図3に示すように、運転席2Dと助手席2Pに着座したユーザーが着座状態のまま操作可能な位置として、車両の運転席2Dの座部と助手席2Pの座部との間に位置するセンターコンソールCBに設けられている。より具体的にいえば、遠隔操作部10は、表示装置20よりもそれら座席の搭乗者に近い位置に固定配置されている。さらには、そのセンターコンソールCBのうち、運転席2Dの座部2D1と助手席2Pの座部2P1とに挟まれる領域の車両前方側の領域に設けられている。
The
また、図4に示すように、本実施形態の遠隔操作部10には、操作する手を載せておくための湾曲形状をなす載置台部14が設けられており、載せられた手が湾曲形状にフィットするようになっている。そして、載置台部14に置かれた手の指が位置するであろう車両前方側の位置に、タッチ操作部12(タッチ操作面12a1)と押圧操作部11が配置されている。さらに言えば、押圧操作部11がタッチ操作部12よりも車両後方側に配置されている。このため、タッチ操作部12(タッチ操作面12a1)の方が、押圧操作部11よりも操作対象者(ここでは運転者及び助手席搭乗者)の肩位置から遠い位置にあり、押圧操作部11の方が操作の容易な位置となっている。また、図5に示すように、押圧操作部13に対し車両後方側に隣接する車両後方側の領域には、当該押圧操作部11への操作が容易となるよう凹部13が形成されている。
As shown in FIG. 4, the
押圧操作部11は、操作パネル12aに対し近接配置され、押圧操作により操作ノブが所定変位を生じたことを検知した場合に、押圧操作入力信号を出力するプッシュスイッチやシーソースイッチ等のスイッチである。この押圧操作入力信号を受信する制御部100は、受信した該押圧操作入力信号に基づいて、対応する制御を実行する制御実行手段として機能する。ここでは、2つのプッシュスイッチ11が設けられている。
The
タッチ操作部12は、タッチ操作面となる主表面12a1が車室内上方を臨む形で配置される操作パネル(例えば抵抗膜式タッチスイッチ)12aを有し、当該タッチ操作面12aになされたタッチ操作による操作位置を検知し、当該操作位置を反映したタッチ操作入力信号を出力するものである。
The
なお、本実施形態においては、遠隔操作部10のタッチ操作面12a1上に定められる二次元操作座標系と、表示装置20の表示画面上に定められる二次元表示座標系との間にも一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされており、タッチ操作面22a1にタッチ操作があった場合には、その対応関係に基づいて、当該タッチ操作がなされた位置座標に対応する、表示装置20の表示画面上の位置座標への操作入力が受け付けられる。同じく、表示装置20の表示画面上に定められる二次元表示座標系と、タッチパネル22のタッチ操作面22a1上に定められる二次元操作座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされていて、遠隔操作部10のタッチ操作面12a1からも、タッチパネル22のタッチ操作面22a1と同様のタッチ操作入力が可能とされている。
In the present embodiment, it is also unique between the two-dimensional operation coordinate system defined on the touch operation surface 12a1 of the
また、本実施形態におけるタッチ操作部12は、図5に示すように、車室内において車両上方に臨む開口12hを有した中空の筐体12Pの該開口12hに操作パネル12aが嵌め込まれており、その表面12a1がタッチ操作面(遠隔タッチ操作面)とされている。開口12hを形成する筐体開口周辺部12fの外縁からは、後方に向けて筒状の周壁部12eが設けられており、その後端部が回路基板12kに固定されている。この筐体12Pは、車室内のセンターコンソールCBの所定位置に固定配置されており、内部にカメラ12b及び光源12cが配置されている。
Further, as shown in FIG. 5, in the
光源12cは、同じく図5に示すように、操作パネル12aを裏面12a2から表面12a1に透過させる形で光を照射する。光源12cからの光(照射光)は、タッチ操作面12a1を被うように位置する接近対象物(例えば手等)が存在しない限り、該タッチ操作面12a1から外に通過していくが、該タッチ操作面12a1に対向する形で接近した接近対象物Hが存在する場合には、当該接近対象物Hに反射して、その光(反射光)の一部は裏面12a2側に戻り、カメラ12bに捉えられる。
Similarly, as shown in FIG. 5, the
カメラ12bは、光源12cから照射された光が接近対象物Hにて反射した反射光を捉える形で、当該接近対象物Hを操作パネル12aの裏面12a2側から撮影するものであり、予め定められた撮影範囲を撮影するよう車体側に固定されている。また、ここでのカメラ12bは、反射部材12rの反射面を撮影しており、当該反射面に映し出される画像(反射画像)に上記撮影範囲が含まれるように各々が配置されている。反射部材12rが無い場合は、当該撮影範囲をカメラ12bにより直接撮影する形となるから、撮影後の画像に左右反転処理を施す必要がある。
The
本実施形態の光源12cは赤外光光源である。具体的にいえば、操作パネル12aの裏面側後方に位置するLEDである。一方で、本実施形態のカメラ12bは、暗所での撮影にも適した赤外線カメラ(可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う)であり、赤外光光源12cから照射された光(赤外線)が接近対象物Hにて反射した反射光をカメラ12bが捉える形で撮影がなされる。操作パネル12aは、光源12cの光に対してのみ透光性を有した材料にて構成され、筐体12Pの内部を外部から視認することができない。
The
なお、本実施形態において、撮影手段をなすカメラ12bは、操作パネル12aの表面12a1に対向する形で接近する接近対象物を撮影する接近対象物撮影手段として機能するものであり、接近対象物に手が含まれることを考慮すれば、その手の画像を撮影する手画像撮影手段として機能しているともいえる。
In the present embodiment, the
車速センサ30は、周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御部100に送るものである。制御部100では、その車輪の回転数を車両の速度(車速)に換算する他に、車両の現在位置から所定の場所までの予想到達時間を算出したり、車両の走行区間毎の平均車速を算出したりする。本実施形態においては、この車速センサ30が車速検出手段(走行状態検出手段)であり、制御部100は、その検出結果を受けて車両の走行状態を特定する。なお、車両の走行状態を検出する手段としては、車速センサに限らず他のものでもよい。例えば、車両の走行状態を検出する手段として、シフトポジションセンサを設け、ドライブポジションを検出している場合を走行状態(走行中)、パーキングポジションを検出している場合を停車状態(停車中)等の様にして、車両の走行状態を検出してもよい。
The
制御部100は、図示しない周知のCPU,ROM,RAM,I/O(Input/Output)およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ROMや外部記憶装置40等の記憶部に記憶されたプログラムに基づいて各種制御を実施する。また、LAN I/F及び車載LANを介して、例えば他のECU等、外部からのデータ取り込みを行うこともできる。また、他のECUの制御対象を駆動制御するための制御信号を、対応するECUに送信して、各種車載電子機器の機器機能を実行することができる。例えば、ナビゲーション機能や、車両空調機能、パワーウィンドウ機能、オーディオ機能等の車載機器機能を実行することが可能である。
The
駆動部30は、タッチ操作部12や押圧操作部11からの操作に基づいて制御される対象となる駆動部である。そうした対象としては、ナビゲーション機能等の各種車載電子機器の機器機能とすることができる。ナビゲーション機能のほかにも、車両空調機能や、パワーウィンドウ機能、オーディオ機能等を実行する各種の駆動部とすることができる。
The
また、制御部100は、タッチ操作部12a、22から受信するタッチ操作入力信号に基づいて、対応する制御を実行する。具体的にいえば、タッチ操作面12a1,22a1のいずれかにタッチ操作があった場合、制御部100がそのタッチ操作がなされたタッチ操作面12a1,22a1上の位置座標を特定し、さらに、特定された当該位置座標に対応する、表示装置20の表示画面上の位置座標を特定して、その上で、特定された当該位置座標に対応する制御内容を実行する制御信号を出力する。表示装置20の表示画面には、複数の操作画像(操作アイコン等)160Iを表示する操作画面が表示可能であり、当該操作画面が表示されていた場合に、タッチ操作面22a1上において当該操作画像160Iに対応する位置にタッチ操作をすると、その操作画像160Iに対応するタッチ操作入力信号が制御部100に入力される。制御部100に入力されるタッチ操作入力信号には、タッチ操作面12a1,22a1上のタッチ位置を反映した操作位置情報が含まれているので、その入力を受けた制御部100は、当該操作位置情報に基づいてタッチ位置を特定し、さらにそのタッチ位置に対応する制御内容を特定し、実行する。
Moreover, the
なお、制御部100のROMや外部記憶装置40等の記憶部には、操作画像160Iを表示するための操作画像データが記憶されており、操作画像160Iの重ね表示ないし合成表示に用いられている。一方で、同じく制御部100の記憶部には、各操作画像160Iに対応付けた形で、各々への操作入力(対応するタッチ操作面12a1,22a1上の領域へのタッチ入力)により実施される制御内容も記憶されている。これにより、制御部100は、メイン画像(背景画像)160B上にスイッチ画像160Iが重なった画像160を表示する際には、タッチ操作面12a1,22a1における当該スイッチ画像160Iの表示位置に対応する領域に操作入力受付範囲(操作入力位置)を設定する(操作入力位置設定手段)。
Note that operation image data for displaying the
また、制御部100は、遠隔操作部10をなすタッチ操作部12を操作するための手がタッチ操作面12a1に対向する場合に、その手が位置指示しているタッチ操作面12a1上の位置に対応する表示装置20の画面位置に、所定の位置指示画像が表示される。具体的にいえば、カメラ12bにより撮影された撮影画像に基づいて、制御部100が、表示装置20に表示されている背景画像160B(160B1,160B2)上に、位置指示画像160Hを重ね表示あるいは合成表示する。
In addition, when the hand for operating the
位置指示画像とは、カメラ12bによる撮影画像150から抽出される手の画像150Hにおいて、少なくともその指が指示している位置に対応する画面位置に表示される画像である。ここでは、図6〜図9の(b)のように二値化して抽出された手画像150Hに基づいて、位置指示画像160Hとして、図6及び図7の(c)のように、少なくとも手画像150Hの輪郭(外形形状)が表示されるような画像を、背景画像160Bが半透過状態で視認できるような状態で表示する。操作パネル12aに対向する手・指が移動すると、これに合わせて、表示装置20の表示画面に表示される位置指示画像(加工画像)160Hの表示位置も移動する。なお、位置指示画像160Hは、必ずしも撮影された手形状・指形状の輪郭を反映していなくともよく、少なくとも撮影された手の指が指し示す位置を指示する画像であればよく、例えばポインタ画像等のシンボル画像であってもよい。また、位置指示画像160Hとして、カメラ12bにより撮影された手の画像(ないし指の画像)150Hを加工せずにそのまま表示(重畳表示や合成表示)しても問題はないが、これと重なる位置に表示されるはずのメイン画像160Bの一部分が見えなくなること等を考慮すると、より操作がし易くなるような加工(例えば半透過合成)を施しておいた方がより望ましい。
The position indication image is an image displayed at a screen position corresponding to at least the position indicated by the finger in the
図6〜図9は、操作パネル12aの表面12a1に対向する手(指)Hの撮影及び表示を説明する図である。各図の(a)は、操作パネル12aと、その表面12a1に対向する手の状態(指の状態)を示しており、各図の(b)は、(a)の状態の手(指)をカメラ12bにて撮影した映像150であり、操作パネル12a全体を撮影領域として撮影された画像である。ただし、本実施形態における(b)の映像150は、撮影後にその映像を2値化したものである。(b)において、符号150Hは接近対象物Hが映った領域、符号150Bは何も映らなかった領域である。符号150Bの領域は本来、操作パネル12aが映る領域であるが、該操作パネル12aが光源12cの光に対し透光性を有するので映らない。また、それであっても、その操作パネル12a越しに背景(本実施形態でいえば車両の天井面等)が映っていてもおかしくないが、赤外反射光を十分に捉えることができずに映像として映らなかったか、多少の赤外反射光が捉えられたものの2値化処理により背景と同一化されたかのいずれかである。各図の(c)は、(b)の映像150が撮影されているときの、表示装置20における画面表示の一例である。図6及び図8の(c)に示す表示画面は、メイン画像160B1として50音入力画面が表示されている。他方、図7及び図9(c)に示す表示画面は、メイン画像160B2としてナビゲーション装置において表示される地図画面(地図操作用画像)が表示されている。
6 to 9 are views for explaining photographing and display of the hand (finger) H facing the surface 12a1 of the
ところで、本発明においては、タッチ操作部12を操作する手を検出する操作手検出部(タッチ操作手検出手段)12bが設けられている。この操作手検出部12bは、タッチ操作面12a1に近接対向する手を検出するものであり、ここでは、図5に示すように、予め定められた波長帯の光を照射する光源12cと、操作パネル12aを撮影範囲に含む形で該操作パネル12aの裏面12a2側から表面12a1側を撮影するカメラ(接近対象物撮影手段)12bと、を備えて構成されている。なお、操作パネル12aは、カメラ12bによる撮影が可能となるように、光源12cからの照射光が裏面12a2側から表面12a1側に向けて透過するよう透光性を有している。カメラによる撮影画像データは制御部100に入力され、画像解析部100aによる解析処理に基づいて手の存在を判定する(操作手特定手段)。
By the way, in the present invention, an operation hand detecting unit (touch operation hand detecting means) 12b for detecting a hand operating the
そして、制御部100では、カメラ12bに撮影された手と遠隔操作部10の操作パネル12aとの間の近接レベルを検出し、検出された近接レベルが予め定められた操作受付レベルを上回って近接する場合には位置指示画像の表示を許可する一方で、前記操作受付レベルを上回ることなく離間している場合には位置指示画像160Hの表示を禁止する。なお、ここでの近接レベルは、手と操作パネル12aとの間の近接距離として検出されるものとする。具体的にいえば、光源12cから照射光を間欠的に照射し、各照射の反射光がカメラ12bにより捉えられるまでの時間を計測して、計測された時間から、手と操作パネル12aとの間の近接距離を算出する。近接距離の算出は光源12cから光が照射される毎に実施され、算出結果は距離情報として外部記憶装置40の所定記憶領域(距離情報記憶部)に記憶される。
Then, the
さらに、制御部100では、車両の走行状態を検出して、検出された走行状態に応じて操作受付レベルを変更する。図11は、操作受付レベルの設定変更処理の一例を示すフローチャートであり、制御部100のROMや外部記憶装置40に記憶された所定のプログラムをCPUが実行する形で実施される。なお、制御部100は、この位置指示画像の表示処理を実行することにより、操作受付レベル変更手段として機能する。
Further, the
S101では、制御部100が車両の走行状態を特定する。具体的には、制御部100が、車速センサ30の検出結果を取得し、取得した検出結果から車両の走行状態を特定する。ここでは、予め定められた車速閾値が制御部100のROMに記憶されており、車速センサ30の検出した車速が、当該車速閾値を上回る場合を車両の高速走行状態、上回らない場合を車両の低速走行状態として特定する。続くS102にて、制御部100が、車両を上記高速走行状態にあると判定した場合にはS103に進み、車両を上記低速走行状態にあると判定した場合にはS104に進む。
In S101, the
S103では、制御部100が、上記高速走行状態にある車両において、操作受付レベルとして予め定められた第一の操作受付レベルを設定する。他方、S104では、制御部100が、上記低速走行状態にある車両において、操作受付レベルとして予め定められた第二の操作受付レベルを設定する。これらの操作受付レベルは制御部100のROMに記憶されており、これを読み出して設定する。ここでは、図12に示すように、S102にて高速走行状態にあると判定された場合には、手と操作パネル12aとの間の近接距離がより短い位置に距離閾値(第一の操作受付レベル)が設定される、即ち近接レベルの高い位置に操作受付レベルが設定される一方、S102にて低速走行状態にあると判定された場合には、手と操作パネル12aとの間の近接距離がより長い位置に距離閾値(第二の操作受付レベル)が設定される、即ち近接レベルの低い位置に操作受付レベルが設定される。設定された操作受付レベルは、外部記憶装置40の所定記憶領域(操作受付レベル記憶部)に記憶される。
In S103, the
S103又はS104の終了により本処理も終了となるが、本処理は終了後も所定周期で実施され、外部記憶装置40に記憶される操作受付レベルは随時更新される。
Although this process is also ended by the end of S103 or S104, this process is performed in a predetermined cycle even after the end, and the operation reception level stored in the
なお、車速閾値としては、車両の0km/h〜30km/hの間に定めることができる。また、車速閾値として、車両が0km/h以上10km/h未満の間に定め、該車速閾値を上回る高速走行状態において第一の操作受付レベルを設定し、該車速閾値を下回らない徐行走行状態において第二の操作受付レベルを設定することができる。また、車速閾値として、車両が0km/hの状態を定め、車両の走行状態(走行中)において第一の操作受付レベルを設定し、停車中(停車状態)において第二の操作受付レベルを設定してもよい。 In addition, as a vehicle speed threshold value, it can set between 0 km / h-30 km / h of a vehicle. In addition, the vehicle speed threshold is set between 0 km / h and less than 10 km / h, the first operation acceptance level is set in a high-speed driving state exceeding the vehicle speed threshold, and in a slow-running state where the vehicle speed threshold is not lower than the vehicle speed threshold. A second operation acceptance level can be set. Also, the vehicle speed threshold is set to 0 km / h, the first operation acceptance level is set when the vehicle is running (running), and the second operation acceptance level is set when the vehicle is stopped (stopped). May be.
図10は、図11にて設定された操作受付レベルに基づいて実施される位置指示画像表示処理の一例を示すフローチャートであり、制御部100のROMや外部記憶装置40に記憶された所定のプログラムをCPUが実行する形で実施される。なお、制御部100は、この位置指示画像表示処理を実行することにより、位置指示画像表示制御手段として機能する。
FIG. 10 is a flowchart illustrating an example of the position indication image display process performed based on the operation reception level set in FIG. 11, and a predetermined program stored in the ROM of the
S1では、制御部100が、カメラ12bによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。カメラ12bは、操作パネル12aの裏面12a2側から該操作パネル12aを介してタッチ操作面(表面)12a1側に接近する接近対象物(例えば運転者等の操作者の手)Hを常時撮影しており、その撮影画像は常に制御部100の画像処理部18aに入力されている。タッチ操作面12a1と対面する位置に接近対象物Hが進入してくると、当然その接近対象物Hを含む撮影画像150が画像処理部18aに入力される。入力された撮影画像150は、画像解析部100aにて公知の画像解析手法によって解析され、色の相違、輝度の相違等に基づいて接近対象物画像150Hが抽出される。そして、周知のパターンマッチング等により、抽出された接近対象物画像150Hが人の手の画像であるか否かを判定する。判定結果は制御部100に出力され、手の画像が認識されたと判定された場合にはS2に進み、判定されなければ本処理を終了する。
In S1, the
なお、本実施形態においては、光源12cが配置されており、カメラ12bは、当該光源12cの反射光を捉える形で撮影を行っている。従って、撮影映像150に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ12bにより撮影される撮影映像150は多階調の撮影画像(本実施形態ではモノクロの撮影画像)であるから、画像処理部18aでは、これを予め定められた階調閾値を用いて各画素の階調レベルを2値化して、図6〜図9の(b)のようにし、当該階調閾値を上回る領域を接近対象物画像150Hとして抽出する。また、画像処理部18aでは、抽出された接近対象物画像150Hから人の手の画像を特定するために、当該接近対象物画像150Hの形状と、制御部100の記憶部に記憶された手形状パターンと比較して、それらパターンに合致する接近対象物画像150Hを手の画像として認識する(手画像認識手段:操作手特定手段)。
In the present embodiment, the
S2では、制御部100が、カメラ12bに撮影された手と遠隔操作部10の操作パネル12aとの間の近接レベルを反映した距離情報を取得する。ここでは既に述べたように、S1での撮影のために光源12cから光が照射されてから、その反射光として手画像が捉えられるまでの時間の計測結果を取得して、計測された時間から、手と操作パネル12aとの間の近接距離を算出する。
In S <b> 2, the
続くS3では、制御部100が、S2で取得した距離情報に基づいて、カメラ12bに撮影された手と遠隔操作部10の操作パネル12aとの間の近接レベルが、予め定められた操作受付レベルを上回って近接するか否かを判定する。操作受付レベルは、外部記憶装置40の所定記憶部に記憶されているので、これを読み出して使用する。ここでは、S2で取得した距離情報に基づいて得られる、カメラ12bに撮影された手と遠隔操作部10の操作パネル12aとの間の距離が、読み出された操作受付レベルをなす距離閾値よりも短い場合を、操作受付レベルを上回った近接状態と判定してS4に進み、当該距離閾値よりも短くない場合を、操作受付レベルを上回っていない離間状態と判定してS7に進む。
In subsequent S3, based on the distance information acquired in S2, the
S4では、制御部100が、表示モードとして、位置指示画像160Hの表示を許可する表示許可モードを設定し、S5に進む。なお、設定された表示モードは、制御部100の記憶部に設けられた所定記憶領域(表示モード記憶部)には記憶される。S4では、当該記憶領域に表示許可モードを記憶する。
In S4, the
S5では、制御部100が、表示装置15の表示画面と、撮影された手との位置関係を特定する。つまり、撮影された手の画像Hが、表示画面上のどの位置に対向しているかを特定する。本実施形態においては、カメラ12bによって撮影された撮影画像上に、タッチ操作面12aが位置する操作パネル画像領域を特定するとともに、当該操作パネル画像領域上にタッチ操作面12aの操作座標系を設定し、その上で、撮影された手画像Hの位置を、設定された該操作座標系上で特定する。そして、表示装置15の表示画面上に定められた表示座標系において、当該操作座標系上で特定された該手画像Hの位置に対応する位置を特定する。本実施形態においては、図6〜図9の(b)に示す撮影画像(2値化画像)150が、タッチ操作面12a1の全体を撮影した操作パネル画像領域となっている。
In S5, the
さらにS6では、図6及び図7の(c)に示すように、表示装置15の表示画面の、上記操作パネル画像領域上にて特定された該手画像Hに対応する位置に、位置指示画像160Hを表示する(位置指示画像表示手段)。 Further, in S6, as shown in FIG. 6 and FIG. 7C, the position indicating image is displayed at the position corresponding to the hand image H specified on the operation panel image area on the display screen of the display device 15. 160H is displayed (position indication image display means).
他方、S7では、表示モードを、位置指示画像の表示を禁止する表示禁止モードに設定する。これにより、S5及びS6にて実施される位置指示画像の表示が実行されず、表示装置15の表示画面には、例えば図8及び図9の(c)に示すように、位置指示画像160Hが表示されない。なお、設定された表示禁止モードは、制御部100の記憶部に設けられた所定記憶領域(表示モード記憶部)に記憶される。
On the other hand, in S7, the display mode is set to a display prohibition mode for prohibiting display of the position indicating image. As a result, the display of the position indication image performed in S5 and S6 is not executed, and the
S6及びS7の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル12aに対向する手が移動すると、これに合わせて、表示装置15の表示画面に表示される位置指示画像160Hの表示位置も移動する。ただし、操作パネル12aに対向する手と遠隔操作部10の操作パネル12aとの間の近接レベルが、予め定められた操作受付レベルを上回って近接しなくなった際には、位置指示画像160Hの表示は消える。
This process is ended by the end of S6 and S7. Note that this process is repeatedly performed at a predetermined cycle after the end, and when the hand facing the
この処理により、位置指示画像160Hは、車両が上記高速走行状態にある場合に表示されにくく、上記低速走行状態にある場合に表示されやすくなる。従って、車両が上記高速走行状態にある場合には、位置指示画像160Hが表示されにくいことで遠隔操作部10への運転者等による操作を抑制させることができるし、車両が上記低速走行状態にある場合には、位置指示画像160Hがすぐに表示されるから遠隔操作部10へのスムーズな操作が可能となる。
By this processing, the
以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。以下、上記実施形態とは異なる実施形態について説明する。なお、共通する構成については、同符号を用いることで説明を略する。 Although one embodiment of the present invention has been described above, this is merely an example, and the present invention is not limited to this, and the knowledge of those skilled in the art can be used without departing from the spirit of the claims. Various modifications based on this are possible. Hereinafter, an embodiment different from the above embodiment will be described. In addition, about a common structure, description is abbreviate | omitted by using the same code | symbol.
第二実施形態について説明する。 A second embodiment will be described.
上記第一実施形態の場合、位置指示画像160Hは、車両が上記高速走行状態にある場合に表示されにくく、上記低速走行状態にある場合に表示されやすくなっているが、これを逆にして、車両が上記高速走行状態にある場合に遠隔操作部10への操作がスムーズにできるようにし、車両が上記低速走行状態にある場合に、位置指示画像160Hが無駄に表示されることを抑制できるようにしてもよい。具体的には、図13のような操作受付レベルの設定変更処理を実施することで実現できる。
In the case of the first embodiment, the
第三実施形態について説明する。 A third embodiment will be described.
上記した実施形態の場合、操作パネル12aに対向する手と遠隔操作部10の操作パネル12aとの間の近接レベルが、操作受付レベル付近に位置する場合に、位置指示画像が表示されたり消失したりを繰り返す可能性がある。こうした無駄な処理を省略するために、カメラ12bに撮影される手の、操作パネル12aへの接近/離間方向における移動の向きを検出し、検出された移動の向きに応じて操作受付レベルを変更するように構成できる。具体的には、カメラ12bに撮影される手が操作パネル12aにむけて接近移動している場合よりも操作パネル12aから離間移動している場合に、操作受付レベルが高く設定されるように構成する。これにより、操作パネル12aから離れていく手は操作の意思がないとみなして位置指示画像が表示されにくくなる。このため、カメラ12bに撮影される手が操作受付レベル付近に位置している場合に、手が操作パネル12aから離れていくときには表示されなくなる。図13は、このような第二実施形態における操作受付レベル設定処理の一例を示すものである。
In the case of the above-described embodiment, when the proximity level between the hand facing the
まず、S120にて、制御部100が車両の走行状態を特定し、S121にて、制御部100が、車両が予め定められた基準車速レベルを上回らない上記低速走行状態にあると判定した場合にはS122に進み、車両が当該基準車速レベルを上回る上記高速走行状態にあると判定した場合にはS126に進む。S120及びS121は、図11のS1及びS2と同様の処理である。
First, when the
S122では、制御部100が、カメラ12bに撮影されている手の、操作パネル12aへの接近/離間方向Aにおける移動方向を特定する。具体的には、新たな撮影の実施を待ち、撮影が実施されるに伴い当該撮影時における手と操作パネル12aとの間の近接距離を、既に述べた実施形態と同様にして算出する一方で、外部記憶装置40の所定記憶領域(距離情報記憶部)に記憶した前回撮影時の距離情報を読み出し、前回撮影時の近接距離を取得し、双方の差から手と操作パネル12aとの間の距離が縮小したのか拡大したのかを判断することにより、カメラ12bに撮影されている手の、操作パネル12aへの接近/離間方向における移動方向を特定する。
In S122, the
続くS123にて、カメラ12bに撮影されている手の、操作パネル12aから離れる方向への移動が特定されない場合にはS124に進み、上記操作受付レベルとして、制御部100が予め定められた第一の操作受付レベルを設定する。他方、S123にて、カメラ12bに撮影されている手の、操作パネル12aから離れる方向への移動が特定された場合にはS125に進み、上記操作受付レベルとして、制御部100が予め定められた第三の操作受付レベルを設定する。
In S123, if the movement of the hand taken by the
他方、S126でも、S122と同様にして、カメラ12bに撮影されている手の、操作パネル12aへの接近/離間方向Aにおける移動方向を特定する。続くS127にて、カメラ12bに撮影されている手の、操作パネル12aから離れる方向への移動が特定されない場合にはS128に進み、上記操作受付レベルとして、制御部100が予め定められた第二の操作受付レベルを設定する。他方、S127にて、カメラ12bに撮影されている手の、操作パネル12aへの接近方向の移動が特定された場合にはS129に進み、上記操作受付レベルとして、制御部100が予め定められた第四の操作受付レベルを設定する。
On the other hand, in S126, as in S122, the moving direction in the approach / separation direction A toward the
これらの操作受付レベルは制御部100のROMに記憶されており、これを読み出して設定する。ここでは、図15に示す各操作受付レベルが設定されるようになっている。即ち、車両が所定の高速走行状態にあると判定され(S121:No)、なおかつ操作パネル12aに対向する手が操作パネル12aから離れていかない場合には(S123:No)、手と操作パネル12aとの間の近接距離がより最も短くなる予め定められた位置に距離閾値が設定される、即ち近接レベルの最も高い位置に第一の操作受付レベルが設定される一方、車両が所定の高速走行状態にあると判定され(S121:No)、なおかつ操作パネル12aに対向する手が操作パネル12aから離れていく場合には(S123:Yes)、手と操作パネル12aとの間の近接距離が上記第一の操作受付レベルにおける距離閾値よりも長くなる予め定められた位置に、距離閾値が設定される、即ち近接レベルが第一の操作受付レベルよりも低い位置の第二の操作受付レベルが設定される。これにより、車両が上記高速走行状態にあると判定された場合において、位置指示画像160Hは、手が操作パネル12aから離れていく場合に表示されにくく、手が操作パネル12aから離れていかない場合に表示されやすくなる。
These operation reception levels are stored in the ROM of the
また、車両が所定の低速走行状態にあると判定され(S121:Yes)、なおかつ操作パネル12aに対向する手が操作パネル12aから離れていかない場合には(S127:No)、手と操作パネル12aとの間の近接距離が上記第一の操作受付レベルにおける距離閾値よりも最も長くなる予め定められた位置に距離閾値が設定される、即ち近接レベルが第一の操作受付レベルよりも低い位置に第三の操作受付レベルが設定される一方、車両が所定の低速走行状態にあると判定され(S121:Yes)、なおかつ操作パネル12aに対向する手が操作パネル12aから離れていく場合には(S127:Yes)、手と操作パネル12aとの間の近接距離が最も長くなる予め定められた位置に、距離閾値が設定される、即ち近接レベルが最も低い位置に第四の操作受付レベルが設定される。これにより、車両が上記低速走行状態にあると判定された場合において、位置指示画像160Hは、手が操作パネル12aから離れていく場合に表示されにくく、手が操作パネル12aから離れていかない場合に表示されやすくなる。
If it is determined that the vehicle is in a predetermined low speed traveling state (S121: Yes) and the hand facing the
なお、図15に示す操作受付レベルにおいて、第三の操作受付レベルは、第二の操作受付レベルよりも低い近接レベルに設定されていてもよく、さらには第四の操作受付レベルよりも低い近接レベルに設定されていてもよい。 In the operation reception level shown in FIG. 15, the third operation reception level may be set to a proximity level lower than the second operation reception level, and further, the proximity lower than the fourth operation reception level. It may be set to a level.
第四実施形態について説明する。 A fourth embodiment will be described.
上記した実施形態の場合、カメラ12bに撮影された手と操作パネル12aとの距離は、間欠的に点灯する光源12cの反射応答速度に基づいて算出しているが、これ以外の方法が採用されてもよい。例えば、図16に示すように、制御部100に接続するカメラ60(構成とする)を、タッチ操作面12a1と該タッチ操作面12a1に対向する手との距離dが映るように配置し、その撮影画像から距離dを算出することができる。ここでは、タッチ操作面12a1の上方空間を側方から撮影するよう、例えばセンターコンソールCB等に設けることができる。
In the case of the above-described embodiment, the distance between the hand photographed by the
第五実施形態について説明する。 A fifth embodiment will be described.
上記した実施形態の場合、カメラ12bに撮影された手と操作パネル12aとの直接的な距離を算出し、その距離に対して操作受付レベルを定める閾値が設けられているが、距離ではなく、カメラ12bに撮影された手と操作パネル12aとの間の距離を反映した値としてもよい。この場合、操作受付レベルをなす閾値(検出値閾値)として、検出値に対し固定的に定められた値を使用する。そして、カメラ12bに撮影された手と操作パネル12aとの間の距離が同一である場合であっても、当該検出値そのものが増加又は減少するように、検出条件を変更する。これにより、当該検出値を距離に換算する算出方法が変わるから、検出値閾値も距離換算後の値が変わり、その結果として操作受付レベルが変更される。
In the case of the above-described embodiment, a direct distance between the hand photographed by the
例えば、カメラ12bに撮影された手と操作パネル12aとの間の距離を、カメラ12bに撮影された撮影画像の各画素の輝度から特定する構成の場合、光源12cの発光強度を増すことでその反射光の受光強度も増すから、同一位置の手を撮影したとしても、撮影画像中の各画素の輝度の平均レベルが増す。従って、輝度に対し操作受付レベルをなす閾値が定められているならば、光源12cの発光強度を増減することにより、操作受付レベルをなす輝度閾値を距離に換算した値は変更される。これにより、光源12cの発光強度の調整のみで、簡易に操作レベルを変更することができる。即ち、操作受付レベルを高くしたい場合は光源12cの発光強度を増し、操作受付レベルを低くしたい場合は光源12cの発光強度を減じればよい。なお、ここでは、輝度に対し定められる閾値は、撮影画像の二値化処理において二値化の振り分けの際の基準値として使用される値である。
For example, in the case of a configuration in which the distance between the hand photographed by the
他の実施形態について説明する。 Another embodiment will be described.
上記実施形態において、表示装置20に設けられたタッチパネル22や他のスイッチ類21は本発明に必須の構成ではない。このため、本発明における表示装置20は、図2及び図3に示すようなセンターコンソールCB内に配置されるものに限られず、例えばフロントガラスFG下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスFGに、上述の画像・データを表示するヘッドアップディスプレイ(HUD)や、ステアリングホイール6の車両前方側の奥に位置するメーター表示装置等を例示することもできる。
In the above embodiment, the
また、上記実施形態において、遠隔操作部10や表示装置20にはタッチ操作部として抵抗膜式のタッチパネルが設けられているが、他の方式のタッチパネルでもよい。例えば、操作パネル12aとして、タッチ操作の位置検出を、カメラ12b等の撮影手段により撮影された撮影画像への画像処理により行うものを、タッチパネルに代わって採用してもよい。具体的にいえば、操作パネル12aを、表面12a1がタッチ操作面をなす透光性を有したパネルとし、この操作パネル12aにタッチ操作面12a1側から接近する接近対象物に予め定められた波長帯の光を、当該操作パネル12aを介して照射する光源12cを設ける。そして、撮影手段をなすカメラ12bを、少なくともその光源12cから照射された光が接近対象物にて反射した反射光を捉える形で、当該接近対象物を操作パネル12a1の裏面12a2側から撮影する撮影手段とする。さらに、図17に示すように、制御部100を、このカメラ12bにより撮影された画像170H上において、反射光の強度が予め定められた閾強度を上回る光反射領域171Hを特定する光反射領域特定手段として機能させるとともに、特定されたこの光反射領域171Hの位置を特定して、その位置に対応するタッチ入力を受け付ける入力受付手段としても機能させるように構成する。なお、画像170Hは、上記の画像150のような2値化処理が施されたものではなく、撮影されたままの画像であり、領域全体に様々な輝度レベルの違いを有している。操作パネル12aに手が接触している領域は、他の領域に比べて反射光強度が格段に高くなるから、これにより、操作パネル12aへの操作の有無を、さらには操作された位置を特定することができる。
In the above embodiment, the
この構成によると、カメラ12bの撮影画像に予め定められた閾強度を上回る光反射領域171Hが特定された場合に、その特定された領域にタッチ操作入力があったと判定して入力が受け付けられる。つまり、カメラ12bの撮影画像は、上記した実施形態と同様の、操作する手の検出や、位置指示画像の表示に利用されるだけでなく、上記光反射領域171Hの有無判定や、上記光反射領域171Hの位置(操作位置)の特定にも利用される構成となっている。また、この場合、特定された光反射領域171Hの面積が予め定められた閾面積を上回った場合に限り、当該光反射領域171Hへのタッチ操作入力を受け付けるようにすることもできる。
According to this configuration, when a
また、上記実施形態において、押圧操作部11及びタッチ操作部12は、運転席及び助手席から操作可能な操作部とされているが、他の座席から操作可能な操作部に設定することもできるし、運転席及び助手席の一方からのみ操作可能な操作部であってもよい。
Moreover, in the said embodiment, although the
また、上記実施形態における制御部100は、例えば車載ナビゲーション装置の制御部に兼用させることができる。図18は、その車載ナビゲーション装置の構成の一例を示すブロック図である。図18に示すように、ナビゲーション装置50は、車両の現在位置を検出する位置検出器57と、運転者等の操作者からの各種指示を入力するための操作部51と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器55と、地図表示画面やTV(Television)画面等の各種表示を行うための表示装置52と、各種のガイド音声等を出力したり運転者等の操作者の音声を入力したりするための音声入出力装置53と、ナビゲーション機能に必要となる地図データや車両情報等の各種情報を記憶するためのハードディスク記憶装置(外部記憶装置)54と、車両情報の授受を行うための車両I/F(Interface)部56と、これら51〜57と接続する制御部59とを備えている。位置検出器57は、GPS受信機、ジャイロスコープ、距離センサ、地磁気センサとを備えた周知のものである。
Moreover, the
制御部59は、図示しない周知のCPU,ROM,RAM,I/O(Input/Output)およびこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ROM等の記憶部に記憶されたナビプログラムを実行することにより、位置検出器57からの各検出信号や記憶装置54が記憶する各種データに基づいて、現在位置の算出、地図表示処理、目的地設定、経路計算、経路案内処理等の周知のナビゲーション機能を実行する。
The
制御部59は、ROM等の記憶部に記憶された所定プログラムをCPUが実行することにより、上述した位置指示画像表示処理(図10)や操作受付レベルの設定変更処理(図11、図13、図14)を実施する。つまり、制御部59は、既に述べた実施形態(図1)の制御部100と同様に機能する。また、操作部51及び表示装置52も、既に述べた実施形態(図1)と同様に機能する。つまり、本発明の車両用操作入力装置は、その一例として、ナビゲーション装置50の操作入力装置として適用可能である。よって、図1の操作入力装置1も、ナビゲーション装置の操作入力装置として適用できる。
When the CPU executes a predetermined program stored in a storage unit such as a ROM, the
また、上記実施形態においては、位置指示画像160Hとして、カメラ12bに撮影された指の輪郭形状をそのまま反映させた加工画像(実指画像)160Hを表示しているが、撮影された指の指先Q(即ち撮影された指の指示位置)を指し示す指先位置画像(ポインタ等:図20参照)160H2のように、指形状とは全く異なる画像を表示してもよい。強調表示を行うのであれば、指先Qを含む指先領域(例えば、指の第一関節までや、指先位置Qを中心とする所定半径内領域等)だけを強調して表示してもよい。この場合は、撮影された指の指先Qが、表示画面上のどの位置に対向するのかを特定して、特定された画面位置にポインタ等の所定の位置指示画像を表示する。また、位置指示画像160Hとして、撮影された指の長さ方向F及び指先Qを簡略的に示す擬似指画像(ここでは棒状の画像:図19参照)160H1等を表示してもよい。
In the above-described embodiment, the processed image (real finger image) 160H in which the contour shape of the photographed finger is directly reflected on the
1 車両用操作入力装置
100 制御部
10 遠隔操作部
11 押圧操作部
12 タッチ操作部
12a 操作パネル
12b カメラ(撮影手段)
12c 光源
20 表示装置(表示手段)
21 周辺スイッチ
22a タッチパネル
DESCRIPTION OF
21 Peripheral switch 22a Touch panel
Claims (8)
撮影された手と前記遠隔操作部との間の距離を検出する近接レベル検出手段と、
検出された前記距離が予め定められた距離閾値を上回る場合には前記位置指示画像の表示を許可する一方で、前記距離閾値を上回らない場合には前記位置指示画像の表示を禁止する位置指示画像表示制御手段と、
前記車両の走行状態を検出する走行状態検出手段と、
検出された走行状態に応じて、前記距離閾値を変更する操作受付レベル変更手段と、
を備えることを特徴とする車両用操作入力装置。 Display means for displaying on the display screen an operation screen for operating a device provided in the vehicle, and a remote operation for remotely performing an operation input on the operation screen provided at a position different from the display screen A remote operation unit having a surface, hand image photographing means for photographing an image of a hand facing the remote operation surface, and an image of the photographed hand at a position on the display screen instructed by the hand. A position instruction image display means for displaying a position instruction image generated based on the vehicle operation input device,
Proximity level detection means for detecting the distance between the photographed hand and the remote control unit;
While when said detected distance is excessive electrical distance predetermined threshold is to allow the display of the position indication image, prohibiting the display of the position indication image when exceeded it should not be the distance threshold Position indicating image display control means for performing,
Traveling state detecting means for detecting the traveling state of the vehicle;
Operation acceptance level changing means for changing the distance threshold according to the detected running state;
A vehicle operation input device comprising:
前記操作受付レベル変更手段は、前記手画像撮影手段により撮影される手の、前記遠隔操作部への接近/離間方向における移動の向きに応じて、前記距離閾値を変更するものである請求項1ないし請求項6のいずれか1項に記載の車両用操作入力装置。 A hand movement direction detecting means for detecting the direction of movement of the hand photographed by the hand image photographing means in the approach / separation direction to the remote control unit;
2. The operation threshold level changing unit is configured to change the distance threshold according to a direction of movement of the hand photographed by the hand image photographing unit in the approach / separation direction to the remote control unit. The vehicle operation input device according to any one of claims 6 to 6.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009026465A JP5382313B2 (en) | 2009-02-06 | 2009-02-06 | Vehicle operation input device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009026465A JP5382313B2 (en) | 2009-02-06 | 2009-02-06 | Vehicle operation input device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010179828A JP2010179828A (en) | 2010-08-19 |
JP5382313B2 true JP5382313B2 (en) | 2014-01-08 |
Family
ID=42761691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009026465A Expired - Fee Related JP5382313B2 (en) | 2009-02-06 | 2009-02-06 | Vehicle operation input device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5382313B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120050007A1 (en) * | 2010-08-24 | 2012-03-01 | Babak Forutanpour | Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display |
WO2012034111A1 (en) * | 2010-09-10 | 2012-03-15 | Panasonic Avionics Corporation | Integrated user interface system and method |
JP5708083B2 (en) * | 2011-03-17 | 2015-04-30 | ソニー株式会社 | Electronic device, information processing method, program, and electronic device system |
KR101856255B1 (en) * | 2012-12-10 | 2018-05-09 | 현대자동차일본기술연구소 | Navigation display system |
JP6562843B2 (en) * | 2016-01-08 | 2019-08-21 | アルパイン株式会社 | Image projection apparatus, image projection method, and image projection program |
JP6598686B2 (en) * | 2016-01-08 | 2019-10-30 | アルパイン株式会社 | Image projection apparatus, image projection method, and image projection program |
JP6323960B2 (en) * | 2016-08-02 | 2018-05-16 | 本田技研工業株式会社 | Input device |
JP2020052681A (en) * | 2018-09-26 | 2020-04-02 | シュナイダーエレクトリックホールディングス株式会社 | Operation processing device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10269012A (en) * | 1997-03-28 | 1998-10-09 | Yazaki Corp | Touch panel controller and information display device using the same |
JP2000006687A (en) * | 1998-06-25 | 2000-01-11 | Yazaki Corp | Onboard equipment switch safety operation system |
JP2001033256A (en) * | 1999-07-19 | 2001-02-09 | Fujitsu Ten Ltd | On-vehicle electronic device |
JP4649933B2 (en) * | 2004-09-30 | 2011-03-16 | マツダ株式会社 | Vehicle information display device |
JP4915503B2 (en) * | 2006-04-06 | 2012-04-11 | 株式会社デンソー | Prompter type operation device |
JP2008009759A (en) * | 2006-06-29 | 2008-01-17 | Toyota Motor Corp | Touch panel device |
-
2009
- 2009-02-06 JP JP2009026465A patent/JP5382313B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010179828A (en) | 2010-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5382313B2 (en) | Vehicle operation input device | |
US11124118B2 (en) | Vehicular display system with user input display | |
JP5029470B2 (en) | Prompter type operation device | |
US7098812B2 (en) | Operator identifying device | |
EP2295277B1 (en) | Vehicle operator control input assistance | |
JP6413207B2 (en) | Vehicle display device | |
JP4577387B2 (en) | Vehicle operation input device | |
US20110029185A1 (en) | Vehicular manipulation input apparatus | |
JP4670914B2 (en) | Vehicle control device | |
JP5141878B2 (en) | Touch operation input device | |
US20090167682A1 (en) | Input device and its method | |
JP5136950B2 (en) | In-vehicle device operation device | |
JP5077774B2 (en) | Vehicle operation input device | |
KR101491169B1 (en) | Device and method for controlling AVN of vehicle | |
JP5201480B2 (en) | Vehicle control device | |
JP4885632B2 (en) | Navigation device | |
JP2009129251A (en) | Operation input apparatus | |
JP4753752B2 (en) | In-vehicle electronic device and menu providing method | |
KR101361643B1 (en) | Method and device for displaying object using transparent display panel | |
JP2007069756A (en) | Vehicle input operation restricting device | |
WO2018116565A1 (en) | Information display device for vehicle and information display program for vehicle | |
JP5912177B2 (en) | Operation input device, operation input method, and operation input program | |
JP2012126357A (en) | Device for displaying in-vehicle situation | |
JP4977482B2 (en) | Image providing apparatus, vehicle, and image providing method | |
JP2006103358A (en) | Information display device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120126 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20121004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130917 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5382313 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |