JP4633023B2 - ユーザインタフェース装置 - Google Patents

Description

本発明は、表示装置に表示した操作受付画面上に、カメラで撮影した操作者の手の画像を合成表示するユーザインタフェース装置に関するものである。

従来より、表示装置に表示した操作受付画面上に、カメラで撮影した操作者の手の画像を合成表示するユーザインタフェース装置が知られている（たとえば、特許文献１、特許文献２）。
これらの技術によれば、操作者が、あたかも表示装置に表示された操作受付画面上で手を操作しているかの如く、手元で各種操作を行うことができる。
特開平10-269102号公報 特開2000-6687号公報

表示装置に表示した操作受付画面上に、カメラで撮影した操作者の手の画像を合成表示する従来のユーザインタフェース装置には、操作者の手の撮影に通常のカメラを用いると、夜間の車内などの周辺光が暗い環境下では操作者の手を良好に撮影できず、操作者が明瞭に視認できるように手を表示できなくなってしまうという問題があった。一方、操作者の手の撮影に赤外カメラを用いるようにすれば、夜間の車内などの周辺光が暗い環境下でも操作者が明瞭に視認できるように手を表示できるが、撮影される手の画像が、操作者が可視光で見慣れている手の形態と異なってしまうために、不自然な表示となってしまうという問題があった。

そこで、本発明は、表示装置に表示した操作受付画面上に、カメラで撮影した操作者の手の画像を合成表示するユーザインタフェース装置において、周辺光が暗い環境下でも、明瞭に視認可能、かつ、自然な形態で操作者の手を表示することを課題とする。

前記課題達成のために、本発明は、表示装置に表示した操作受付画面上に、カメラで撮影した操作者の手の画像を合成表示するユーザインタフェース装置を、前記操作者の手を可視光を用いて撮影するカメラと、前記操作者の手を、前記カメラと同撮影方向から赤外光を用いて撮影する赤外カメラと、前記カメラが撮影した画像から、当該カメラが撮影した前記操作者の手の画像を手画像として生成する手画像生成手段と、前記赤外カメラが撮影した画像から、当該赤外カメラが撮影した前記操作者の手の画像であって、前記手画像よりも大きな拡大率で前記操作者の手を表す画像を赤外手画像として生成する手画像生成手段と、前記赤外手画像上に手画像を、赤外手画像の周縁部が、手画像を縁取るように合成した合成画像を、前記操作受付画面上に合成表示する画像として出力する表示手画像出力手段とを含めて構成したものである。

このようなユーザインタフェース装置によれば、可視光を用いて撮影した操作者の手の画像を、赤外光を用いて撮影した操作者の手の周縁部で縁取った合成画像を、操作受付画面上に合成表示する画像として出力する。ここで、環境光が暗く可視光によって操作者の手を鮮明に撮影できない場合でも、赤外光によれば、操作者の手を比較的鮮明に撮影できる。よって、本ユーザインタフェース装置によれば、環境光が暗くなっても、表示される操作者の手の可視光で撮影した画像の輪郭は鮮明に保たれ、表示される手の画像の視認性は、可視光で撮影した手の画像のみを表示する場合に比べ良好に維持される。また、可視光を用いて撮影した手の画像を用いて、操作者の手を表示するので、当該表示による手の表現は自然でリアルなものとなる。

ここで、このようなユーザインタフェース装置は、前記表示手画像出力手段において、前記カメラによって前記操作者の手を鮮明に撮影できない状況にあるときには、前記赤外手画像もしくは前記赤外手画像の輝度レベルを落とした画像を前記操作受付画面上に合成表示する画像として出力するように構成してもよい。

このように可視光によっては手をおよそ不鮮明にしか撮影できないほどに環境光が暗い場合には、赤外光で撮影した手を表示することにより、このような場合であっても良好に視認可能に操作者の手を表示することができるようになる。
また、以上のようなユーザインタフェース装置は、前記手画像生成手段は、前記赤外手画像より求まる手の領域に基づいて、前記カメラによって撮影できなかった前記操作者の手の領域が存在すると推定される場合には、当該カメラが撮影した前記操作者の手の画像に対して、当該手の領域を表す画像を補完して、前記手画像を生成するように構成してもよい。

このようにすることにより、可視光を用いて撮影を行うカメラによって操作者の手の画像一部が欠落した画像が撮影された場合にも、欠落した部分を補完した、より自然な形態で操作者の手を表す画像を表示することができる。
なお、以上のようなユーザインタフェース装置は、自動車に搭載されるものであってよい。

以上のように、本発明によれば、表示装置に表示した操作受付画面上に、カメラで撮影した操作者の手の画像を合成表示するユーザインタフェース装置において、周辺光が暗い環境下でも、明瞭に視認可能、かつ、自然な形態で操作者の手を表示することができる。

以下、本発明の実施形態を、自動車に搭載れる車載システムへの適用を例にとり説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
本車載システムは自動車に搭載されるシステムであり、図示するように、可視光を撮影するカメラ１、赤外光を撮影する赤外カメラ２、入力パネル３、手画像抽出補間部４、赤外手画像抽出部５、手画像合成部６、合成制御部７、処理装置８、出力画像合成部９、表示装置１０とを備えている。

ここで、図１ｂに示すように、表示装置１０は、運転者の前方のインストロメンタルパネル内に運転者に表示面が対向するように配置される。また、入力パネル３は、たとえば、タッチパネルであり運転者横のセンターコンソール内に操作面を上方に向けて配置される。また、タッチパネルの操作面はたとえば黒色に着色されている。そして、カメラ１と赤外カメラ２は、運転者の上方の天井に、操作面上に置かれた運転者の手を撮影するように配置されている。

さて、このような構成において、手画像抽出補間部４は、カメラ１が撮影した画像中の、運転者の手が写り込んでいる領域を、クロマキー技術を用いた弁別手法や、輝度しきい値を用いた弁別手法によって手画像領域として識別し、手画像領域の形状、位置を表す手画像領域情報を合成制御部７に出力する。また、カメラ１が撮影した画像の手画像領域内の画像部分を、図３ａに示すような手画像３１として切り出し、手画像合成部６に出力する。また、手画像抽出補間部４は、合成制御部７からの指示に従って、手画像３１の補間処理も行う。この補間処理の詳細については後述する。

一方、赤外手画像抽出部５は、赤外カメラ２が撮影した画像中の、運転者の手が写り込んでいる領域を、クロマキー技術を用いた弁別手法や、輝度しきい値を用いた弁別手法によって赤外手画像領域として識別し、赤外手画像領域の形状、位置を表す赤外手画像領域情報を合成制御部７に出力する。また、赤外カメラ２が撮影した画像の手画像領域内の画像部分を、図３ａに示すような赤外手画像３２として切り出し、手画像合成部６に出力する。ここで、標準的な人間の手に対して得られる赤外線強度に対して、比較的高輝度の赤外手画像３２が得られるように赤外カメラ２の感度は設定する。また、このようにして出力される赤外手画像３２が、カメラ１が撮影した画像から手画像抽出補間部４が切り出した手画像３１よりも、一回り大きくなるようにする。これは、カメラ１よりも赤外カメラ２の運転者の手の撮影の縮尺を大きく設定することにより、赤外手画像３２が手画像３１よりも一回り大きなものとなるようにすることもできるし、赤外手画像抽出部５において、赤外カメラ２が撮影した画像の手画像領域内の画像部分を所定の拡大率で拡大して赤外手画像３２とすることにより、赤外手画像３２が手画像３１よりも一回り大きなものとなるようにすることもできる。

次に、合成制御部７は、合成制御処理を行う。
図２に、この合成制御処理の手順を示す。
図示するように、この処理では、カメラ１と赤外カメラ２が新たな画像を撮影するのを待ち（ステップ２０２）、カメラ１が新たな画像を撮影したならば、現在夜であるかどうかを調べる（ステップ２０４）。現在夜であるかどうかは、別途設けた環境光の明るさを検出する光センサの出力や、自車の前照灯の点灯状態や、手画像抽出補間部４が出力する手画像３１の輝度レベルに基づいて調査することができる。

そして、夜ではないと判定されたならば（ステップ２０６）、手画像抽出補間部４から出力される手画像領域情報が示す手画像領域と、赤外手画像抽出部５が出力する赤外手画像領域情報が示す赤外手画像領域とから、カメラ１によって撮影された画像に手が写り込むべき領域であったにもかかわらず、手画像領域として抽出しきれなかった領域である撮影欠落領域を算定する（ステップ２０８）。

そして、撮影欠落領域が存在するかどうかを調べ（ステップ２１０）、存在しない場合には、手画像合成部６に、赤外手画像抽出部５が出力する赤外手画像３２上に、手画像抽出補間部４が出力する手画像３１を配置した合成画像を出力画像として出力画像合成部９に出力するように指示し（ステップ２１４）、ステップ２０２からの処理に戻る。ここで、この指示を受けた手画像合成部６は、たとえば、図３ａのように、赤外手画像抽出部５から出力された赤外手画像３２の上に、手画像抽出補間部４が出力された手画像３１を、赤外手画像３２の周縁部が、手画像３１を縁取るように合成した合成画像３３を生成し、合成画像３３を、図３ｂ２に示す出力画像３４として、出力画像合成部９に出力する。

さて、図２に戻り、ステップ２０６で、現在が夜であると判定された場合には、手画像合成部６に、赤外手画像３２の輝度レベルを落とした上で、出力画像３４として出力画像合成部９に出力するように指示し（ステップ２１６）、ステップ２０２からの処理に戻る。この指示を受けた手画像合成部６は、たとえば、図３ａのように赤外手画像抽出部５から出力された赤外手画像３２の輝度レベルを低輝度レベルに変換した図３ｂ６に示すような出力画像３４を出力画像合成部９に出力する。

さて、以上の処理の結果、手画像合成部６から出力される出力画像３４は、図３ｂに示すようになる。図３ｂは、昼から夜への環境光の変化に伴う出力画像ｂ１、ｂ２、...、ｂ６の変化をあらわしている。図示するように環境光が徐々に暗くなっていくと、ｂ１からｂ５に示すように、出力画像３４中の手画像３１の部分も徐々に暗くなり不鮮明となっていく。しかしながら、出力画像３４中で手画像３１の部分を縁取っている赤外手画像３２の部分の輝度は高輝度に保たれるので、環境光が暗くなっても、出力画像３４中の手画像３１の輪郭は鮮明に保たれ、出力画像３４によって表される手の視認性は、手画像３１のみを出力画像３４とする場合に比べ鮮明に維持される。また、出力画像３４中でカメラ１で手を撮影した手画像３１を用いて運転者の手を表すので、出力画像３４は、自然な表現でリアルに手を表したものとなる。

また、カメラ１によって手の画像をおよそ不鮮明にしか撮影できないほどに、さらに環境光が減じた場合には、ｂ６に示すように、赤外手画像３２の輝度を減じたものを出力画像３４として出力するので、このような場合にも、出力画像３４によって表される手の視認性は鮮明に保たれる。また、赤外手画像３２の輝度を減じて出力画像３４とすることにより、出力画像３４を、赤外手画像３２をそのまま出力画像３４とした場合よりも、不自然な感じを抑制したものとすることができる。ただし、ステップ２０６で、現在が夜であると判定された場合には、ステップ２１６において、手画像合成部６に、赤外手画像３２をそのまま出力画像３４として出力画像合成部９に出力させるようにしてもよい。

さて、図２に戻り、撮影欠落領域が存在すると判定された場合には（ステップ２１０）、手画像抽出補間部４に撮影欠落領域の補間を指示した上で（ステップ２１２）、前述したステップ２１４の処理に進む。
ここで、撮影欠落領域の補間の指示を受けた手画像抽出補間部４は、撮影欠落領域の補間処理を施した上で手画像３１を手画像合成部６に出力する。
すなわち、たとえば、いま、図４ａに示すように、カメラ１が撮影した画像より手画像３１が抽出され、赤外カメラ２が撮影した画像より赤外手画像３２が抽出された場合、両画像を合成した合成画像３３は、図示するように、手の一部が途切れた不自然なものとなる。

そこで、撮影欠落領域が存在する場合には、合成制御部７において、手画像領域情報と赤外手画像領域情報に基づいて、両領域の縮尺を合わせた上で求めた、赤外手画像領域であって手画像領域でない領域を、図４ｂに示すような撮影欠落領域３１１として求め、手画像抽出補間部４に、この撮影欠落領域３１１の補間を指示し、指示を受けた手画像抽出補間部４において、手画像３１中の撮影欠落領域３１１の画素の画素値を、図４ｃ１やｃ２のように補間し、画像合成部に出力する手画像３１とする。

ここで、図４ｃ１は、撮影欠落領域３１１周辺の手画像３１の画素値の直線補間によって撮影欠落領域３１１の画素値を補間した例であり、図４ｃ２は、撮影欠落領域３１１内の輝度勾配として、赤外画像の対応する領域内の輝度勾配に応じた輝度勾配を用いつつ、手画像３１の撮影欠落領域３１１の画素値を、手画像３１の撮影欠落領域３１１とその周辺の画素値が滑らかに連続するように補間した例である。

この結果、手画像合成部６が手画像３１と赤外手画像３２を合成した合成画像３３は、図４ｄ１、ｄ２に示すようになり、図４ａに示した合成画像３３よりも不自然さが軽減されたものとなる。
ただし、ステップ２０８から２１２の処理は、これを行わず、撮影欠落領域３１１が発生した場合には、図４ａに示すように生成した合成画像３３を出力画像３４とするようにしてもよい。このようにしても、手画像３１をそのまま出力画像３４とする場合に比べ、不自然さを減じた出力画像３４を得ることができる。

以上、合成制御部７が行う合成制御処理について説明した。
さて、図１に戻り、処理装置８は、入力パネル３を介して運転者の操作を受け付けるためのメニュー画面を出力画像合成部９に出力し、運転者の操作に応じた処理を行う。
一方、出力画像合成部９は、メニュー画面に、手画像合成部６から出力される出力画像３４を合成し、表示装置１０に表示する。
ここで、図５は、このようにして行われる表示装置１０の表示例を示している。
図５ａは、メニュー画面５０上に運転者の手を表す出力画像３４を重ねて表示することにより、メニュー画面５０と出力画像３４を合成した例であり、図５ｂは、メニュー画面５０上に、運転者の手を表す出力画像３４を半透明化して重ねて表示することにより、メニュー画面５０と出力画像３４を合成した例である。また、図５ｃは、運転者の手を表す出力画像３４の上に、メニュー文字やメニューボタンの輪郭以外を透明化したメニュー画面５０を重ねて表示することにより、メニュー画面５０と出力画像３４を合成した例である。

なお、入力パネル３上の各位置とメニュー画面上の各位置とは対応づけられており、出力画像３４とメニュー画面は、出力画像３４とメニュー画面との位置関係が、運転者の手が位置する入力パネル３上の位置とメニュー画面上の位置との位置関係に一致するように合成する。
以上、本発明の実施形態について説明した。

本発明の実施形態に係る車載システムの構成と配置を示す図である。 本発明の実施形態に係る合成制御処理を示すフローチャートである。 本発明の実施形態に係る合成制御処理の処理例を示す図である。 本発明の実施形態に係る合成制御処理の処理例を示す図である。 本発明の実施形態に係る車載システムの表示例を示す図である。

符号の説明

１…カメラ、２…赤外カメラ、３…入力パネル、４…手画像抽出補間部、５…赤外手画像抽出部、６…手画像合成部、７…合成制御部、８…処理装置、９…出力画像合成部、１０…表示装置、３１…手画像、３２…赤外手画像、３３…合成画像、３４…出力画像、３１１…撮影欠落領域。

Claims (5)

1. 表示装置に表示した操作受付画面上に、カメラで撮影した操作者の手の画像を合成表示するユーザインタフェース装置であって、
   前記操作者の手を可視光を用いて撮影するカメラと、
   前記操作者の手を、前記カメラと同撮影方向から赤外光を用いて撮影する赤外カメラと、
   前記カメラが撮影した画像から、当該カメラが撮影した前記操作者の手の画像を手画像として生成する手画像生成手段と、
   前記赤外カメラが撮影した画像から、当該赤外カメラが撮影した前記操作者の手の画像であって、前記手画像よりも大きな拡大率で前記操作者の手を表す画像を赤外手画像として生成する手画像生成手段と、
   前記赤外手画像上に手画像を、赤外手画像の周縁部が、手画像を縁取るように合成した合成画像を、前記操作受付画面上に合成表示する画像として出力する表示手画像出力手段とを有することを特徴とするユーザインタフェース装置。
2. 請求項１記載のユーザインタフェース装置であって、
   前記表示手画像出力手段は、前記カメラによって前記操作者の手を鮮明に撮影できない状況にあるときには、前記赤外手画像もしくは前記赤外手画像の輝度レベルを落とした画像を前記操作受付画面上に合成表示する画像として出力することを特徴とするユーザインタフェース装置。
3. 請求項１または２記載のユーザインタフェース装置であって、
   前記手画像生成手段は、前記赤外手画像より求まる手の領域に基づいて、前記カメラによって撮影できなかった前記操作者の手の領域が存在すると推定される場合には、当該カメラが撮影した前記操作者の手の画像に対して、当該手の領域を表す画像を補完して、前記手画像を生成することを特徴とするユーザインタフェース装置。
4. 請求項１、２または３記載のユーザインタフェース装置であって、
   当該ユーザインタフェース装置は、自動車に搭載されることを特徴とするユーザインタフェース装置。
5. ユーザの手を表す表示手画像を生成する表示手画像生成方法であって、
   カメラを用いて、前記ユーザの手を可視光を用いて撮影するステップと、
   赤外カメラを用いて、前記ユーザの手を、前記カメラと同撮影方向から赤外光を用いて撮影するステップと、
   前記カメラが撮影した画像から、当該カメラが撮影した前記ユーザの手の画像を手画像として生成するステップと、
   前記赤外カメラが撮影した画像から、当該赤外カメラが撮影した前記ユーザの手の画像であって、前記手画像よりも大きな拡大率で前記ユーザの手を表す画像を赤外手画像として生成するステップと、
   前記赤外手画像上に手画像を、赤外手画像の周縁部が、手画像を縁取るように合成して前記表示手画像を生成するステップとを有することを特徴とする表示手画像生成方法。