JP4356763B2 - 操作装置 - Google Patents

Description

本発明は、操作メニュー画像上に、操作部を操作するユーザの手の画像を重畳表示する操作装置に関する。

従来から、車内の好適位置に配置され，各種車載機器を作動操作するための複数種のスイッチが集約して配列された多機能スイッチ操作プレートと，操作者が前方視できる視野領域の車内好適位置に配置され，前記複数種のスイッチの配列画像を画面表示する表示器と，前記操作者が指先で前記スイッチの目標とするものを操作するとき，その目標スイッチを感知した検出信号に基づいて前記表示器に画面表示されている前記目標スイッチの画像の配列位置および機能を前記操作者に認識させるよう制御するコントローラと，を備え，前記操作者が前方視状態で前記表示器に表示されている前記目標スイッチの画像を視認しつつ前記多機能スイッチ操作プレート上の目標スイッチをリアルタイムで指先操作可能に構成したことを特徴とする車載機器スイッチ安全操作システムが知られている（例えば、特許文献１参照）。

また、使用者によりタッチ操作されるスイッチが表示画面内に設けられているタッチパネル式ディスプレイと、反射面を使用者に向けて配置される第１の鏡手段と、前記タッチパネル式ディスプレイの表示画像を反射画像として前記第１の鏡手段の反射面に反射する第２の鏡手段と、を有する反射光学系と、を備える操作装置が知られている（例えば、特許文献２参照）。この操作装置では、使用者によりタッチ操作されるタッチパネル式ディスプレイの表示画面が、第１、第２の鏡手段による反射光学系を介して使用者に向けて表示される。
特開２０００−６６８７号公報 特開２００５−３３５５１０号公報

ところで、上述の特許文献１に開示されるようなプロンプター方式の構成では、操作部を操作するユーザの手をカメラで撮像して、当該手の画像を、表示部が表示する操作メニュー画像に重畳するので、車載機器のいわゆるブラインド操作が容易となる。

しかしながら、上述の特許文献１に開示されるようなプロンプター方式の構成では、表示部に表示される手の画像は、１つのカメラからの画像データに基づいて生成されるので、２次元表示しかできない。このため、ユーザは、操作メニュー画像と同様に平面的に見える手の画像を見ながら操作部の操作スイッチを操作するので、操作スイッチと手の距離感を掴み難く、操作性が良好でないという欠点がある。

一方、上述の特許文献２に開示される種の反射式の構成（操作部を操作するユーザの手を、ミラーを用いてユーザに見せる構成）では、ユーザの目には、手が立体的に映るので、操作スイッチと手の距離感を掴み易く、操作性が非常に良好となる。

そこで、本発明は、プロンプター方式の構成を採用しつつ、反射式の構成と略同等の操作性を確保することができる操作装置の提供を目的とする。

上記目的を達成するため、第１の発明に係る操作装置は、車室内における車両幅方向で運転席と助手席との間の位置に配置され、操作スイッチが配置された操作部と、
車室内における車両幅方向で運転席と助手席との間の位置に配置され、裸眼立体視可能な表示器と、
前記操作部を操作するユーザの手を複数の方向から撮影する撮像手段と、
前記撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成する立体視画像生成手段と、
前記操作部が運転席側から操作されているか又は助手席側から操作されているかを判別する操作者判別手段とを備え、
前記表示器上に、前記操作部における操作スイッチの配置位置及び操作スイッチの機能を表す操作メニュー画像と、前記立体視画像生成手段により生成された手の立体視画像とを合成して表示し、
前記立体視画像生成手段は、前記操作者判別手段により前記操作部が運転席側から操作されていると判別された場合には、運転席側からの視線方向で前記手の立体視画像を生成し、前記操作者判別手段により前記操作部が助手席側から操作されていると判別された場合には、助手席側からの視線方向で前記手の立体視画像を生成することを特徴とする。

第２の発明は、第１の発明に係る操作装置において、
前記撮像手段は、車両幅方向で互いに離間した３つ以上の撮像手段を備え、
前記立体視画像生成手段は、前記操作者判別手段により前記操作部が運転席側から操作されていると判別された場合には、運転席側にある２つの撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成し、前記操作者判別手段により前記操作部が助手席側から操作されていると判別された場合には、助手席側にある２つの撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成することを特徴とする。

第３の発明は、第１の発明に係る操作装置において、
前記撮像手段は、車両幅方向で可動な２つの撮像手段を備え、
前記立体視画像生成手段は、前記操作者判別手段により前記操作部が運転席側から操作されていると判別された場合には、運転席側に移動された２つの撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成し、前記操作者判別手段により前記操作部が助手席側から操作されていると判別された場合には、助手席側に移動された２つの撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成することを特徴とする。

第４の発明は、第１の発明に係る操作装置において、
前記表示器上において、前記操作メニュー画像における操作スイッチを表す画像部分を立体視で表示することを特徴とする。

第５の発明は、第４の発明に係る操作装置において、
前記操作メニュー画像における操作スイッチを表す画像部分の立体視の高さは、該操作スイッチが操作された場合に、低い値に変更されることを特徴とする。

第６の発明は、第１の発明に係る操作装置において、
前記表示器上において、前記操作メニュー画像における操作スイッチを表す画像部分を立体視で表示すると共に、前記手の立体視画像を、前記表示器の表示面から所定高さオフセットした面を高さゼロの基準面として表示することを特徴とする。

第７の発明は、第６の発明に係る操作装置において、
前記操作メニュー画像における操作スイッチを表す画像部分を、前記表示器の表示面を高さゼロの基準面として立体視で表示し、
前記オフセットされる所定高さは、前記操作スイッチを表す画像部分の立体視の高さに略一致することを特徴とする。

第８の発明は、第６又は７の発明に係る操作装置において、
前記操作部に手の指が接触したときに表示される前記手の立体視画像における該指の前記表示器の表示面から高さは、前記操作メニュー画像における操作スイッチを表す画像部分の立体視の高さに略一致することを特徴とする。

本発明によれば、プロンプター方式の構成を採用しつつ、反射式の構成と略同等の操作性を確保することができる操作装置が得られる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、操作装置１０の車両搭載状態の実施例１（本発明の属さない参考例）を示す斜視図である。図２は、図１に示す操作装置１０の側面視による概略的な断面図であり、機能ブロックについても示す。本実施例の操作装置１０は、図１に示すように、操作部２０、表示部４０及びカメラ５０を備え、操作部２０及び表示部４０は、車室内の物理的に離れた位置に別々に配置される。

操作部２０は、タッチパネルにより構成される。操作部２０は、運転者が手を伸ばして容易に操作できるような位置に配置される。例えば、操作部２０は、図1に示すように、コンソールボックスに配置される。或いは、操作部２０は、インストルメントパネルにおける表示部４０よりも手前側に配置されてもよい。操作部２０は、その略平らな操作面が略水平になるように配置される。

操作部２０は、通常的なタッチパネル構成であってよいが、好ましくは、発光可能な透明タッチパネルからなる。透明タッチパネルは、例えば、薄膜透明電極を設けたガラス基板を下に、薄膜透明電極を設けたフィルム基板を上にして、薄膜透明電極同士をドットスペーサを介して対向させた積層構造を有する。透明タッチパネル上での操作信号（操作位置信号）は、透明タッチパネルの側部に接着されるＦＰＣ（フレキシブル印刷回路）を介して表示制御部８０（図２参照）に供給される。表示制御部８０は、透明タッチパネル上での操作信号（操作位置信号）に応じて、各種機能（後述の操作メニュー画像の切り替えや各種車載機器３０の制御）を実現する。透明タッチパネルの発光は、例えば透明タッチパネルを青色に発光させるＬＥＤより実現されてもよい。尚、操作部２０の透明タッチパネルの裏側には、タッチパネル式ディスプレイのようなディスプレイを設ける必要はない（即ち、操作部２０における操作スイッチを操作部２０上に表示する必要はない）。

表示部４０は、裸眼立体視が可能な表示器により構成される。裸眼立体視が可能な表示部４０は、例えばパララックスバリア（視差バリア）方式，レンティキュラ方式など、視線の視差分割方式（両眼輻輳方式）を利用して実現されてもよいし、ＤＦＤ（Depth Fused 3D）方式を利用して実現されてもよい。

視差バリア方式の場合には、表示部４０は、図３（Ａ）にて示す原理図のように、画素列（例えばＴＦＴ液晶で構成された画素列）の横方向に交互に左眼用画素領域４１Ｌ及び右眼用画素領域４１Ｒが設定され、視差バリア（縦方向のスリット）４２により左眼用画素領域４１Ｌからの光が左眼だけに到達し且つ右眼用画素領域４１Ｒからの光が右眼だけに到達するように構成される。視差バリア４２は、電子制御可能なスイッチ液晶により構成されてよい。また、視差バリア４２は、画素列の背後で且つ光源の手前側に設定されてもよい。

レンティキュラ方式の場合には、表示部４０は、図３（Ｂ）にて示す原理図のように、画面の横方向に交互に左眼用画素領域４１Ｌ及び右眼用画素領域４１Ｒが設定され、かまぼこ状のレンチキュラレンズ４４により左眼用画素領域４１Ｌからの光が左眼だけに到達し且つ右眼用画素領域４１Ｒからの光が右眼だけに到達するように構成される。このように視差分割方式では、人間の左右の目にそれぞれ異なる画像を映すことにより奥行き感を出すことができる。

ＤＦＤ方式の場合には、表示部４０は、前後２枚の透明なTFT液晶を適当な間隔をあけて重ね合わせて構成される。前後２枚の透明なTFT液晶には、明るさの違う同じ画像が表示される。このようにＤＦＤ方式では、前後に重なった同一画像の輝度比を変化させることにより二面間に連続的な奥行き感を出すことができる。

表示部４０は、ユーザが見やすい位置、好ましくは、運転者が運転中の視野を大きく変えることなく見ることができるような位置に配置される。例えば、表示部４０は、図１に示すように、インストルメントパネル上面の中央部に配置される。或いは、表示部４０は、メーター内に配置されてもよい。また、表示部４０は、立体感を得やすいように、運転者方向に角度を付けて設置してもよい。

カメラ５０（撮像手段）は、図１に示すように、車両幅方向に沿って離間して配置された２つのカメラ５１，５２からなるステレオカメラ（２眼カメラ）である。以下では、必要に応じて、車両幅方向で助手席側（右ハンドル車の場合には左側）のカメラ５１を、「左眼用カメラ５１」とも称し、車両幅方向で運転席側（右ハンドル車の場合には右側）のカメラ５２を、「右眼用カメラ５２」とも称する。各カメラ５１，５２は、例えばCCDやCMOSを撮像素子とする小型カラーカメラであり、操作部２０（及びそれを操作するユーザの手）をそれぞれ別の方向から俯瞰できるように配置される。図示の例では、左眼用カメラ５１は、操作部２０の車幅方向の中心よりも助手席側に配置され、操作部２０の全体を助手席側から斜め下方に撮像するように配置され、右眼用カメラ５２は、操作部２０の車幅方向の中心よりも運転席側に配置され、操作部２０の全体を運転席側から斜め下方に撮像するように配置されている。このようにして、各カメラ５１，５２は、ユーザが表示部４０を見るときの視差及び輻輳角に対応した視差及び輻輳角で操作部２０を撮像するように配置される。これにより、操作部２０を操作するユーザの手の立体情報がカメラ５０により取得可能となる。

操作部２０をユーザが操作すると、操作部２０を操作するためユーザの手が各カメラ５１，５２の撮像エリアに入り、各カメラ５１，５２により操作部２０を操作する手が撮像される。この手の画像を含むカメラ画像は、表示画像生成回路７０（図２参照）に供給される。

表示画像生成回路７０は、表示制御部８０による制御下で、裸眼立体視可能な表示部４０で表示されるのに適した画像を生成する。

表示画像生成回路７０は、図２に示すように、背景画像生成回路７１と、左眼用画像合成回路７２と、右眼用画像合成回路７４と、立体視画像生成回路７６とを備える。

背景画像生成回路７１は、表示部４０上に表示される背景画像を生成する。背景画像は、ここでは、図４に示すような操作メニュー画像である。その他、背景画像としては、ナビゲーションシステムの地図画像等を含んでよい。操作メニュー画像は、操作部２０の操作スイッチ（タッチスイッチ）の配置位置及びその機能を表す。操作メニュー画像は、操作スイッチに対する操作で実現される各種機能を、ユーザに知らせると共に、当該各種機能を実現するために操作されるべき各操作スイッチの位置を、ユーザに知らせる役割を果たす。

図４に示す例では、操作メニュー画像は、操作部２０における８つの操作スイッチを表す図形画像Ｆ１〜Ｆ８を含む。この操作メニュー画像を見るユーザは、操作スイッチが前後２列に配列されていることを知ると共に、各図形画像Ｆ１〜Ｆ８内の文字を見ることで、各操作スイッチを操作して実現できる機能を知ることができる。例えば、ユーザがメールをしたいと思った場合、ユーザは、“メール”
の文字を含む図形画像Ｆ３に対応する位置にある操作スイッチ、即ち、前列の左から３番目の操作スイッチを押せばよいことを理解することができる。

尚、操作メニュー画像は、各種用意されてよく、操作部２０の操作スイッチに対するユーザの操作状況等に応じて、適宜切り替えられてよい。この場合、当該操作メニュー画像の切り替えに応じて、操作部２０の操作スイッチの配置位置及びその機能が変更される。かかる構成では、操作部２０において多くの車載機器３０の操作スイッチを実現することができ、操作スイッチの効率的な集約を図ることができる。例えば、操作部２０には、図４には示していないが、メールや電話、周辺施設案内等の情報通信系の車載機器の操作のみならず、空調装置、オーディオ装置の各種操作のための各種操作スイッチが実現されてよい。

左眼用画像合成回路７２は、背景画像生成回路７１からの操作メニュー画像と、左眼用カメラ５１からのカメラ画像とに基づいて、左眼用画像を生成する。具体的には、左眼用画像合成回路７２は、先ず、左眼用カメラ５１からのカメラ画像から、手の画像（以下、「手画像」という）だけを抽出する。手画像の抽出には、カメラ画像に含まれる手以外の部分（操作部２０）と手の色度（彩度）差ないしコントラスト差を利用して実現されてよい。典型的には、それ自体広く知られているクロマキー合成技術が用いられる。これは、特定の色（キーカラー）を背景に画像を撮影しておき、そのキーカラーに別な画像を重ねることで合成を行なう技術である。キーカラーとして一般的に用いられている色は、青である。それは、人間の肌色と最も対極にあるのが青色なため、人間の手を抜き出す処理には適しているためである。従って、操作部２０をキーカラー(例えば青色)で着色し又はキーカラーで発光させ、カメラ画像においてクロマキーで青色部分を抜き取ると、手画像だけが残る。尚、手画像の抽出には他の方法、例えば、ルミナンス合成技術（画像の輝度とコントラストの情報を含むルミナンス信号（Luminance）のうちのある輝度信号を指定してその信号以下または以上のみを抜く方法）等があるが、以下では、主にクロマキー合成技術が用いられる場合について説明していく。

左眼用画像合成回路７２は、手画像を抽出すると、当該抽出した手画像を、背景画像生成回路７１からの操作メニュー画像に合成して左眼用画像を生成する。このようにして生成された左眼用画像は、立体視画像生成回路７６に供給される。

同様に、右眼用画像合成回路７４は、背景画像生成回路７１からの操作メニュー画像と、右眼用カメラ５２からのカメラ画像とに基づいて、右眼用画像を生成する。尚、右眼用画像合成回路７４には、左眼用画像合成回路７２と共通の操作メニュー画像が生成される。このようにして生成された右眼用画像は、立体視画像生成回路７６に供給される。

立体視画像生成回路７６は、左眼用画像合成回路７２からの左眼用画像と、右眼用画像合成回路７４からの右眼用画像とに基づいて、裸眼立体視が可能な表示部４０に適合した立体視画像を生成する。この際、立体視画像生成回路７６は、操作メニュー画像が２次元の平面でユーザの目に映り、且つ、手画像が３次元の立体でユーザの目に映るように、立体視画像を生成する。即ち、立体視画像生成回路７６は、表示部４０の表示面を高さゼロの基準面として、操作メニュー画像に対する手画像の手の各指の高さと方向が、実際の手の各位置の操作部２０に対する高さと方向に対応する立体視になるように、立体視画像を生成する。立体視画像生成回路７６により生成される立体視画像は、表示部４０にて表示される。

表示部４０が視差分割方式である場合には、立体視画像生成回路７６は、左眼用画像合成回路７２からの左眼用画像を所定の間隔で分割して、分割した画像片を表示部４０の各左眼用画像用画素領域４１Ｌに割り当てると共に、且つ、右眼用画像合成回路７４からの右眼用画像を所定の間隔で分割して、分割した画像片を表示部４０の各右眼用画像用画素領域４１Ｒに割り当てる。このようにして、立体視画像生成回路７６は、左眼用画像がユーザの左眼だけに映るように（表示部４０上における左眼用画像用画素領域の光がユーザの左眼にだけ到達するように）、且つ、右眼用画像がユーザの右眼だけに映るように（表示部４０上における右眼用画像用画素領域の光がユーザの右眼にだけ到達するように）、立体視画像を生成する。これにより、ユーザの左眼には、左眼用カメラ５１で得られた手画像だけが映り、ユーザの右眼には、右眼用カメラ５２で得られた手画像だけが映り、これらの２つの手画像の視差による視線分割により、ユーザに、表示部４０で表示された画像（立体視画像中の手の部分）があたかも立体的であるかのように見せることができる。

表示部４０がＤＦＤ方式である場合には、立体視画像生成回路７６は、左眼用画像合成回路７２からの左眼用画像と、右眼用画像合成回路７４からの右眼用画像とに基づいて、前後２枚のディスプレイに表示させるべき表示用手画像を生成すると共に、表示用手画像における手の各位置の操作部２０に対する高さに関する情報を取得する。次いで、立体視画像生成回路７６は、表示用手画像の各画素の輝度を、高さ情報に基づいて決定する。このようにして、立体視画像生成回路７６は、手の各位置の操作部２０に対する高さに応じた輝度差を備えた前後の表示用手画像（立体視画像）を生成する。これにより、ユーザの眼に、表示部４０で表示された画像（立体視画像中の手の部分）があたかも立体的であるかのように見せることができる。

図５は、立体視画像の複数例を示す。以下では、立体視画像中の手の部分の画像を、「立体視手画像」と称する。尚、図面上では、立体視手画像を立体的に見せることが不可能であるので、平面的な画像が示されているが、実際には、表示部４０に表示される立体視手画像は上述の如く立体的に見える。

尚、立体視手画像の合成位置、即ち操作メニュー画像のどの位置に合成するかは、操作部２０における実際の手の位置と各操作スイッチの位置との相対位置関係が、表示部４０（合成画像）における手画像の手の位置と各図形画像Ｆ１〜Ｆ８との相対位置関係によって正確に再現されるように決定される。尚、この合成位置は、カメラ画像における座標系と操作メニュー画像における座標系との相対関係（座標変換式）に基づいて演算されてよい。

図５に示す例では、立体視手画像の人差し指の先が図形画像Ｆ３を操作する位置に示されている。この場合、ユーザは、現在の手の位置で人差し指によりスイッチ操作を行うと、図形画像Ｆ３に対応するスイッチの機能、即ちメール機能が実現されることを知ることができる。このように、ユーザは、操作部２０を直視しなくても、表示部４０を見ながら操作部２０における所望の操作スイッチを操作することができる。従って、ユーザが運転者の場合は、特に運転姿勢や視線を大きく変えることなく、視野前方の表示部４０を見ながら手元付近にある操作部２０でスイッチ操作（いわゆるブラインドタッチ操作）を行うことが可能となり、運転に支障の出ない安全なスイッチ操作を実現することができる。

また、特に本実施例では、操作メニュー画像上に重畳されている手の画像が、上述の如く立体で見えることにより、手の画像が平面的に見える場合に比べて、操作性が大幅に向上する。即ち、図６（Ａ）に簡易的に示す１つのカメラを用いた従来のプロンプター方式では、操作メニュー画像上に重畳される手の画像は、手の３Ｄ情報（手元、指先の立体情報）が失われて平面上の合成画像となるので、手の画像から得られる情報が、例えば図６に示すような反射式の構成（タッチパネル式ディスプレイを操作するユーザの手を、第１及び第２ミラーを用いて反射させてユーザに見せる構成）に比べて少なくなり、その分だけ、操作性が悪くなる。これに対して、本実施例では、上述の反射式で見える手の反射像と略同等の立体視手画像を生成することにより、プロンプター方式を採用しつつ、従来のプロンプター方式で喪失される手の３Ｄ情報（手元、指先の立体情報）を回復させることができる。このため、本実施例によれば、プロンプター方式を採用しつつ、反射式と同等の高い操作性を実現することができる。また、本実施例では、上述の如く反射式で見える手の反射像と略同等の立体視手画像を生成することにより、平面的な手画像を重畳する従来のプロンプター方式に比べて、手画像により隠蔽される操作メニュー画像の領域が少なくなるので、その分だけ操作メニュー画像と手の位置関係が把握し易くなり、操作性が向上する。

また、本実施例では、図２に示すように、カメラ５０の視線方向に対する操作部２０のなす角度βが、ユーザの視線方向に対する表示部４０のなす角度αと同一若しくは略同一に設定されているので、側面視で、カメラ５０の手に対する視線方向が、ユーザの表示部４０に対する視線方向（ひいては表示部４０の立体視手画像の立体視方向）に略対応することで、操作性が大幅に向上する。また、かかる角度関係によれば、立体視手画像の生成の際に視線変換処理等の特別な処理を必要とすることなく、上述の反射式で見える手の反射像と略同等の立体視手画像を生成することができる。

ここで、立体視手画像は、好ましくは、図５（Ａ）に示すように、手の生の画像を直接用いて生成されるが、図５（Ｂ）に示すように、手の生々しさを排除したシルエット式の立体視手画像であってもよいし、図５（Ｃ）に示すように、背後の操作メニュー画像が見えるような半透明のシルエット式の立体視手画像であってもよいし、図５（Ｄ）に示すように、手の生の画像を半透明に加工した立体視手画像であってもよい。図５（Ｂ）及び図５（Ｃ）に示す立体視手画像によれば、手の細部をリアルに表示することによるユーザが受けうる生理的な違和感を防止することができる。また、図５（Ｃ）及び図５（Ｄ）に示す立体視手画像によれば、手画像により隠蔽される操作メニュー画像の領域を更に少なくして、操作メニュー画像と手の位置関係が把握し易くすることができる。但し、図５（Ａ）や図５（Ｂ）においても、２次元手画像を表示する従来のプロンプター方式に比べて、ステレオカメラ５０での立体視差によりメニュー画像を隠蔽する領域が少なくなっており、これにより視認性が向上する。

以上説明した実施例１に対しては、以下のような変形例が考えられる。

例えば、上述の実施例１では、図５（Ａ）に示したように直上視で立体視手画像を生成するので、運転者及び助手席の乗員のいずれが操作者に対しても、操作メニュー画像と手の高さ方向（画面の面直方向）の位置関係を把握し易くしているが、例えば運転者の操作性が特に重要であることを重視し、２つのカメラ５１，５２をいずれも運転席側に配置して、運転席側から視た立体視の手画像（例えば、後述の図９参照）を生成してもよい。

図７は、本発明に係る操作装置１００の車両搭載状態の実施例２を示す斜視図である。図８は、図７に示す操作装置１００の主要な機能を示す機能ブロック図である。実施例２において、上述の実施例１と同様であってよい構成については、同一の参照符号を付して説明を省略する。

実施例２は、操作部２０が運転席側から操作されているか又は助手席側から操作されているかに応じて、立体視手画像を生成するのに用いるカメラ画像を切り替える点に主なる特徴を有する。以下では、実施例２に特有の構成について、重点的に説明していく。

カメラ５００は、図７に示すように、車両幅方向に沿って離間して配置された３つのカメラ５０１，５０２，５０３からなる３眼カメラである。これにより、各カメラ５０１，５０２，５０３は、例えばCCDやCMOSを撮像素子とする小型カラーカメラであり、操作部２０（及びそれを操作するユーザの手）をそれぞれ別の方向から俯瞰できるように配置される。図示の例では、カメラ５０１は、操作部２０の車幅方向の中心よりも助手席側に配置され、カメラ５０２は、操作部２０の車幅方向の中心付近に配置され、カメラ５０３は、操作部２０の車幅方向の中心よりも運転席側に配置されている。各カメラ５０１，５０２，５０３は、操作部２０の全体を車両前側から斜め下方の視線で撮像するように配置されている。このようにして、対のカメラ５０１，５０２は、助手席側乗員が表示部４０を見るときの視差及び輻輳角に対応した視差及び輻輳角で操作部２０を撮像するように配置され、対のカメラ５０２，５０３は、運転者が表示部４０を見るときの視差及び輻輳角に対応した視差及び輻輳角で操作部２０を撮像するように配置される。

操作装置１００は、上述の実施例１における構成に対する追加の構成要素として、操作者判定部９０、及び、カメラ切替部９２を備える。

操作者判定部９０は、操作部２０が運転席側から操作されているか又は助手席側から操作されているかを判定する。この種の判定方法は、多種多様であり、任意の適切な方法が採用されてよい。例えば、簡易的な方法として、右ハンドル車の場合、操作者判定部９０は、カメラ５００により撮像されるカメラ画像内の手が左手である場合には、操作部２０が運転席側から操作されている（即ち操作者は運転者である）と判定し、カメラ５００により撮像されるカメラ画像内の手が右手である場合には、操作部２０が助手側から操作されている（即ち操作者は助手席の乗員である）と判定してもよい。或いは、操作部２０の車両幅方向両側（助手席側と運転席側）に赤外線センサを設置して、いずれの側の赤外線センサにより操作部２０へと延びる手の存在が検出されたかを判定してもよい。或いは、例えば助手席側から操作する場合にオンに操作されるスイッチを車室内に設け、当該スイッチのオン／オフ状態に基づいて、操作者を判別してもよいし、或いは、車載カメラによる画像認識結果や、助手席及び運転席の各シートと操作部２０との間の静電容量の変化等に基づいて操作者を判別してもよい。

カメラ切替部９２は、操作者判定部９０からの判別結果に応じて、左眼用画像合成回路７２及び右眼用画像合成回路７４に対するカメラ５０１，５０２，５０３の接続状態を切り替える。具体的には、操作部２０が運転席側から操作されている場合には、カメラ切替部９２は、図８において実線で示すように、左眼用画像合成回路７２にカメラ５０２からのカメラ画像が入力され、且つ、右眼用画像合成回路７４にカメラ５０３からのカメラ画像が入力されるようにする。一方、操作部２０が助手側から操作されている場合には、カメラ切替部９２は、図８において点線で示すように、左眼用画像合成回路７２にカメラ５０１からのカメラ画像が入力され、且つ、右眼用画像合成回路７４にカメラ５０２からのカメラ画像が入力されるようにする。

図９は、一例として、操作部２０が運転席側から操作されている場合に出力される立体視画像を示す図である。

操作部２０が運転席側から操作されている場合には、上述の如く、操作部２０を運転席側から斜め下方に俯瞰する２つのカメラ５０２，５０３のカメラ画像に基づいて、立体視手画像が形成されるので、この立体視手画像は、図９に示すように、運転席側から見た手の立体視となる。同様に、図示しないが、操作部２０が助手側から操作されている場合に生成・出力される立体視手画像は、操作部２０を助手席側から斜め下方に俯瞰する２つのカメラ５０１，５０２のカメラ画像に基づいて生成されるので、助手席側から見た手の立体視となる。これにより、実施例２によれば、操作者側から見た立体視で立体視手画像が生成されるので、直上視で立体視手画像（図５（Ａ）等参照）を生成する上述の実施例１に比べて、操作部２０に対する指の上下の状況（ひいては操作メニュー画像に対する指の上下の状況）がより把握し易くなり、操作性が更に向上する。即ち、実施例２によれば、立体視手画像を、操作者側からの視線方向に対応した立体視で表示することにより、操作者の眼に、操作者の手があたかも表示部４０まで伸びているような感覚を与えることができ、操作性が更に向上する。

尚、本実施例２においても、上述の実施例１に関連して図５（Ｂ）乃至（Ｄ）で示したような他の形態で立体視手画像を生成してもよい。

以上説明した実施例２に対しては、以下のような変形例・改良例が考えられる。

例えば、上述の実施例２では、３つのカメラ５０１，５０２，５０３を用いているが、運転席側と助手席側にそれぞれ２つずつカメラを設定してもよい。この場合、操作部２０が運転席側から操作されている場合には、運転席側の２つのカメラ（車幅方向で離間した２つのカメラ）を用いて立体視画像を生成し、操作部２０が助手席側から操作されている場合には、助手席側の２つのカメラ（車幅方向で離間した２つのカメラ）を用いて立体視画像を生成すればよい。

また、上述の実施例２では、３つのカメラ５０１，５０２，５０３を用いているが、図１１（Ａ）及び図１１（Ｂ）に示すように、車幅方向に移動可能なステレオカメラ６００（カメラ６０２及び６０３）を設定してもよい。この場合、ステレオカメラ６００は、例えば車幅方向に沿ったスライドレール６０８上に移動可能に設けられ、モータのような適切なアクチュエータ６１０を駆動源として駆動されてよい。かかる構成では、操作部２０が運転席側から操作されている場合には、図１１（Ａ）に示すように、運転席側に移動させたステレオカメラ６００を用いて立体視画像を生成し、操作部２０が助手席側から操作されている場合には、図１１（Ｂ）に示すように、助手席側に移動させたステレオカメラ６００を用いて立体視画像を生成すればよい。

また、表示部４０を液晶視差バリア方式３Ｄディスプレイにより構成した場合には、通常時には、図１０（Ａ）に示すように、中央分割のデュアルビュー状態を形成して、左右それぞれの画面に異なる画像（運転席用画像及び助手席用画像）を表示してよく、操作部２０に対する操作があったときには、図１０（Ｂ）に示すように、操作者（この場合、運転者）側から視た立体視の立体視画像（左眼用画像＋右眼用画像）を生成・出力することとしてもよい。

実施例３では、操作メニュー画像における操作スイッチを表す図形画像Ｆ１〜Ｆ８についても立体視で表示する点が、主に上述の実施例１，２と異なる。上述の実施例1と同様であってよい構成要素については、同一の参照符号を付して説明を省略する。

図１２は、実施例３による操作装置２００の側面視による概略的な断面図である。

背景画像生成回路７１０は、表示部４０上に表示される背景画像（ここでは、操作メニュー画像）を生成し、生成した背景画像を左眼用画像合成回路７２及び右眼用画像合成回路７４に供給する。本実施例では、背景画像生成回路７１０は、図１３に示すように、操作メニュー画像における操作スイッチを表す図形画像Ｆ１〜Ｆ８を立体視差表示画像で生成する。

立体視画像生成回路７６０は、左眼用画像合成回路７２からの左眼用画像と、右眼用画像合成回路７４からの右眼用画像とに基づいて、裸眼立体視が可能な表示部４０に適合した立体視画像を生成する。この際、立体視画像生成回路７６０は、操作メニュー画像の図形画像Ｆ１〜Ｆ８を除く部分が２次元の平面でユーザの目に映り、且つ、手画像及び操作メニュー画像の図形画像Ｆ１〜Ｆ８が３次元の立体でユーザの目に映るように、立体視画像を生成する。本実施例では、立体視画像生成回路７６０は、表示部４０の表示面から所定高さＡ［ｍｍ］オフセットした面を高さゼロの基準面として、当該基準面に対する手画像の手の各指の高さが、実際の手の各位置の操作部２０に対する高さとに対応する立体視になるように、立体視画像の手画像の部分を生成する。また、立体視画像生成回路７６０は、表示部４０の表示面を高さゼロの基準面として、図形画像Ｆ１〜Ｆ８の上面１４０（図１３参照）が当該基準面に対して所定高さＢ［ｍｍ］に立体視されるように、立体視画像の図形画像Ｆ１〜Ｆ８の部分を生成する。立体視画像生成回路７６０により生成される立体視画像は、表示部４０にて表示される。

図１３は、表示部４０にて表示される操作メニュー画像の図形画像Ｆ１〜Ｆ８の部分の一例を示す図である。操作メニュー画像の図形画像Ｆ１〜Ｆ８は、図１３に示すように、その上面１４０が表示部４０の表示面から所定高さＢ［ｍｍ］だけ手前側にあるかのように立体視表示（凸状に表示）される。以下、このようにして立体視表示される操作メニュー画像の図形画像Ｆ１〜Ｆ８を、「立体視スイッチ画像」と称する。尚、走行規制等で走行中に操作できない操作スイッチに対する図形画像（本例では、図形画像Ｆ３）については、図１３に示すように、２次元表示されてもよい。これにより、ユーザは、現在操作できない操作スイッチを容易に把握することができる。

図１４は、図１３のＡ視を模式的に示す図であり、図１４（Ａ）は、操作部２０における立体視スイッチ画像Ｆ１，Ｆ５に対応する操作スイッチが操作されていない状態を示し、図１４（Ｂ）は、操作部２０における立体視スイッチ画像Ｆ１に対応する操作スイッチが操作されてオンとなった状態を示す。立体視画像生成回路７６０は、透明タッチパネル上での操作信号（操作位置信号）に基づいて、図１４に示すように、操作部２０における操作スイッチが操作された場合には、当該操作スイッチに対応する立体視スイッチ画像（本例では、立体視スイッチ画像Ｆ１）の上面１４０の基準面（表示部４０の表示面）に対する高さをＢ'（＜Ｂ）［ｍｍ］に変更する。これにより、ユーザは、操作スイッチに対する操作が操作装置２００に検知されたことを視覚的に確認することができる。

図１５は、立体視スイッチ画像と立体視手画像との相対的な高さ関係を模式的に示す図であり、図１５（Ａ）は、操作部２０におけるユーザの手と操作面（タッチパネル面）との高さ関係を示し、図１５（Ｂ）は、図１５（Ａ）の状態に対応した表示部４０における立体視スイッチ画像と立体視手画像との高さ関係を示す。

図１５（Ａ）に示すように、ユーザの手の指先が操作面に接触する位置まで来ると（即ち図のｙ座標のゼロ位置まで来ると）、図１５（Ｂ）に示すように、立体視手画像の指先Ｇは、表示部４０の表示面に対して所定高さＡ（図のＹ軸に沿った高さ）の位置に見える。このとき、所定高さＡを、立体視スイッチ画像の上面１４０の高さＢと一致するように設定すると（即ちＡ＝Ｂの関係にすると）、図１５（Ｂ）に示すように、立体視手画像の指先Ｇが立体視スイッチ画像の上面１４０に触れているような立体視表示となる。即ち、立体視手画像の指先Ｇが立体視スイッチ画像の上面１４０に載っているような立体視表示となる。これにより、実際の操作部２０のタッチパネルへの接触状態と、表示部４０上の立体視表示の状態とが整合するので、ユーザの操作性が向上する。

尚、図１５（Ａ）に示す状態から、ユーザが操作面を押圧すると（スイッチ操作すると）、操作部２０の操作スイッチがオンとなり、上述の如く、立体視スイッチ画像があたかもメカニカルスイッチが押し込まれたような立体視表示となる（一点鎖線参照）。これにより、ユーザは、実際のハードスイッチを操作したかのようなリアルな操作感を感じることができる。

また、図１５（Ａ）に示す状態から、ユーザの手が操作面から遠ざかると（例えばｙ座標での高さｈまで遠ざかると）、それに応じて、立体視手画像の指先Ｇは、表示部４０の表示面に対して高さＨ（図のＹ軸に沿った高さ）の位置に来る。この高さＨは、ｈ＋Ａであってもよいし、立体視画像のスケーリングファクタ等に依存して、ｈ’＋Ａであってもよい。但し、ｈ’＝ｋ・ｈ（ｋは定数）。

このように本実施例３によれば、上述の如く、立体視スイッチ画像を表示すると共に、立体視スイッチ画像の高さに対応した高さだけオフセットして立体視手画像を表示することで、立体視スイッチ画像と立体視スイッチ画像とを適切な高さ関係で表示することができる。これにより、ユーザは、操作部２０の操作スイッチに対する手の距離感がより把握しやすくなると共に、リアルな操作感を感じることができ、操作性が向上する。

以上説明した実施例３に対しては、以下のような変形例・改良例が考えられる。

例えば、所定高さＡを、立体視スイッチ画像の上面１４０の高さＢと一致するように設定した場合を説明したが、所定高さＡは、立体視スイッチ画像の上面１４０の高さＢと略一致していればよい。例えば、所定高さＡとしては、操作状態の立体視スイッチ画像の上面１４０の高さＢ’以上であって、高さＢ以下の範囲内の適切な値が選択されてよい。例えば、所定高さＡとしては、Ａ＝（Ｂ−Ｂ’）／２＋Ｂ’であってよい。或いは、所定高さＡとしては、立体視スイッチ画像の上面１４０の高さＢより僅かに大きい値であってもよい。

また、表示部４０を凹表示可能な３Ｄディスプレイにより構成した場合には、ユーザが操作スイッチを操作した際に、当該操作スイッチに対応する立体視スイッチ画像を凹状の立体視表示としてもよい（即ち、Ｂ’をマイナスの値としてもよい）。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、図２や図８に示した表示画像生成回路７０の回路構成は、あくまで一例であり、ある回路の一部の機能が他の回路により実現されてもよい。また、図２や図８に示した表示画像生成回路７０の回路構成は、あくまで一例であり、ある回路の一部の機能がソフトウェアにより実現されてもよい。例えば、表示画像生成回路７０の一部又は全部をマイコン等で構成し、ファームウェアにより同機能を実現することとしてもよい。また、図２や図８に示した表示画像生成回路７０の一部又は全部及び／又は表示制御部８０の機能が、例えばナビゲーションシステムのＥＣＵに組み込まれてもよい。

また、上述した実施例では、操作部２０での操作が可能であるため、表示部４０のディスプレイがタッチパネル式である必要はないが、表示部４０のディスプレイがタッチパネル式であってもよい。

また、上述した実施例において、操作メニュー画像は、他の画像上に、操作部２０における操作スイッチに対応した図形画像を重畳したものであってもよく、例えばＴＶや再生中のＤＶＤ等の各種画像や、ナビゲーションシステムの地図画像上に、操作スイッチの図形画像を重畳したものであってもよい。

また、上述した実施例では、操作装置１０，１００は、好ましい実施例として、車両用の操作装置として具現化されているが、本発明はこれに限定されることはなく、他のアプリケーションで用いられる操作装置であってもよい。

本発明に係る操作装置１０の車両搭載状態の実施例１を示す斜視図である。 図１に示す操作装置１０の側面視による概略的な断面図である。 視差分割方式を利用した表示部４０の原理図である。 操作メニュー画像の一例を示す図である。 立体視画像の複数の例を示す図である。 従来のプロンプター方式と反射式の概略的な構成をそれぞれ示す図である。 本発明に係る操作装置１００の車両搭載状態の実施例２を示す斜視図である。 図６に示す操作装置１００の主要な機能を示す機能ブロック図である。 操作部２０が運転席側から操作されている場合に出力される立体視画像を示す図である。 その他の変形例を概略的に示す図である。 車幅方向に移動可能なステレオカメラ６００を設けた構成を示す図である。 実施例３による操作装置２００の側面視による概略的な断面図である。 表示部４０にて表示される操作メニュー画像の図形画像Ｆ１〜Ｆ８の部分の一例を示す図である。 図１３のＡ視を模式的に示す図である。 立体視スイッチ画像と立体視手画像との相対的な高さ関係を模式的に示す図である。

符号の説明

１０，１００ 操作装置
２０ 操作部
３０ 各種車載機器
４０ 表示部
５０，５００ カメラ
７０ 表示画像生成回路
７１ 背景画像生成回路
７２ 左眼用画像合成回路
７４ 右眼用画像合成回路
７６ 立体視画像生成回路
８０ 表示制御部
９０ 操作者判定部
９２ カメラ切替部

Claims (8)

1. 車室内における車両幅方向で運転席と助手席との間の位置に配置され、操作スイッチが配置された操作部と、
   車室内における車両幅方向で運転席と助手席との間の位置に配置され、裸眼立体視可能な表示器と、
   前記操作部を操作するユーザの手を複数の方向から撮影する撮像手段と、
   前記撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成する立体視画像生成手段と、
   前記操作部が運転席側から操作されているか又は助手席側から操作されているかを判別する操作者判別手段とを備え、
   前記表示器上に、前記操作部における操作スイッチの配置位置及び操作スイッチの機能を表す操作メニュー画像と、前記立体視画像生成手段により生成された手の立体視画像とを合成して表示することを特徴とし、
   前記立体視画像生成手段は、前記操作者判別手段により前記操作部が運転席側から操作されていると判別された場合には、運転席側からの視線方向で前記手の立体視画像を生成し、前記操作者判別手段により前記操作部が助手席側から操作されていると判別された場合には、助手席側からの視線方向で前記手の立体視画像を生成する、操作装置。
2. 前記撮像手段は、車両幅方向で互いに離間した３つ以上の撮像手段を備え、
   前記立体視画像生成手段は、前記操作者判別手段により前記操作部が運転席側から操作されていると判別された場合には、運転席側にある２つの撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成し、前記操作者判別手段により前記操作部が助手席側から操作されていると判別された場合には、助手席側にある２つの撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成する、請求項１に記載の操作装置。
3. 前記撮像手段は、車両幅方向で可動な２つの撮像手段を備え、
   前記立体視画像生成手段は、前記操作者判別手段により前記操作部が運転席側から操作されていると判別された場合には、運転席側に移動された２つの撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成し、前記操作者判別手段により前記操作部が助手席側から操作されていると判別された場合には、助手席側に移動された２つの撮像手段から得られる視差画像に基づいて、前記手の立体視画像を生成する、請求項１に記載の操作装置。
4. 前記表示器上において、前記操作メニュー画像における操作スイッチを表す画像部分を立体視で表示する、請求項１に記載の操作装置。
5. 前記操作メニュー画像における操作スイッチを表す画像部分の立体視の高さは、該操作スイッチが操作された場合に、低い値に変更される、請求項４に記載の操作装置。
6. 前記表示器上において、前記操作メニュー画像における操作スイッチを表す画像部分を立体視で表示すると共に、前記手の立体視画像を、前記表示器の表示面から所定高さオフセットした面を高さゼロの基準面として表示する、請求項１に記載の操作装置。
7. 前記操作メニュー画像における操作スイッチを表す画像部分を、前記表示器の表示面を高さゼロの基準面として立体視で表示し、
   前記オフセットされる所定高さは、前記操作スイッチを表す画像部分の立体視の高さに略一致する、請求項６に記載の操作装置。
8. 前記操作部に手の指が接触したときに表示される前記手の立体視画像における該指の前記表示器の表示面から高さは、前記操作メニュー画像における操作スイッチを表す画像部分の立体視の高さに略一致する、請求項６又は７に記載の操作装置。