JP5527064B2 - 画像表示システム - Google Patents

Description

本発明は、画面表示を見てユーザが入力操作するタッチパネル式ディスプレイを備えた画像表示操作装置と、画像表示操作装置と通信可能に設けられ、タッチパネル式ディスプレイに表示する画像の画像データを送信する画像送信装置とを備えた画像表示システムに関する。

従来から、車両の走行案内に適したナビゲーションを実行する携帯ナビゲーション端末が特許文献１に提案されている。また、最近においては、携帯ナビゲーション端末は非常に高機能化されている。

一方、最近の車両には、車載ナビゲーション装置が装備されている。従って、車両の搭乗者が車両用のナビゲーション機能を有する携帯ナビゲーション端末を持っていれば、車載ナビゲーション装置は必ずしも必要ではない。しかしながら、携帯ナビゲーション端末の表示画面は、車載ナビゲーション装置の表示画面に比べて狭いため、視認性が悪いと感じるユーザもいる。

特開２００２−２７７２７４号公報

そこで、本願発明者は、車両側には、車載ナビゲーション装置に代えて、ナビゲーション機能を備えないタッチパネル式のディスプレイ装置を設け、このディスプレイ装置と携帯端末とを通信接続して、ディスプレイ装置でナビゲーションを実行させるシステムを考えた。このシステムでは、ナビゲーションを行うための制御処理を携帯端末側で実施し、画像表示および操作入力をディスプレイ装置側で実施する。従って、車両に車載ナビゲーション装置を搭載する必要が無く、車両の低コスト化を図ることができる。また、車両に搭載するディスプレイ装置は、携帯端末に比べて大きな画面のものにすることができ、従来の車載ナビゲーション装置と同程度の視認性を維持することができる。

しかしながら、このシステムでは、タッチパネルへの操作入力に対して、操作反応音の発生するレスポンスが悪いという問題がある。これは、以下の理由による。ディスプレイ装置は、タッチパネルに操作入力が行われると、入力された位置を表す座標データを携帯端末に送信する。携帯端末は、受信した座標データに基づいて、その座標が反応音を発生させるべき領域に含まれているのかを判断し、反応音を発生させるべき領域に含まれている場合には、発音指令をディスプレイ装置に送信する。このため、操作入力後に、ディスプレイ装置と携帯端末との間で、反応音を発生させるための信号の授受が行われ、操作入力タイミングに対して、実際にディスプレイ装置から反応音の発生するタイミングが遅れてしまう。従って、ディスプレイ装置が故障していると勘違いする可能性がある。また、タッチパネルを強く押し続けてしまいタッチパネルを損傷する可能性もある。

本発明は、上記問題に対処するためになされたもので、タッチパネルへの入力操作に対してレスポンス良く反応音が得られるようにすることを目的とする。

上記目的を達成するために、本発明の特徴は、車載タッチパネル式ディスプレイと、反応音を発生するための車載スピーカとを備え、受信した画像データにより前記車載タッチパネル式ディスプレイに画像を表示するとともに、前記車載タッチパネル式ディスプレイに操作入力された入力位置を表す入力位置データを送信する、車両の室内に設けられる車載ディスプレイ装置と、
タッチパネル式ディスプレイとスピーカとを備え、アプリケーションプログラムを実行して自身のタッチパネル式ディスプレイに画像を表示するとともに自身のタッチパネル式ディスプレイへの操作入力が行われたときに自身のスピーカで反応音を発生させる機能を有し、前記車載ディスプレイ装置と無線通信可能に接続され、前記車載ディスプレイ装置との間の無線通信により、前記アプリケーションプログラムの実行により表示される画像の画像データを前記車載ディスプレイ装置に送信して前記車載ディスプレイ装置の車載タッチパネル式ディスプレイに前記画像を表示させるとともに、前記車載ディスプレイ装置から送信された前記車載タッチパネル式ディスプレイの入力位置データを受信して、前記入力位置データに応じた処理を行う携帯端末とを備えた画像表示システムであって、
前記携帯端末は、前記車載タッチパネル式ディスプレイの表示画像における反応音を発生させるべき反応音領域を設定した反応音領域データを前記車載ディスプレイ装置に送信する反応音領域データ送信手段を備え、
前記車載ディスプレイ装置は、前記反応音領域データに基づいて前記車載タッチパネル式ディスプレイに操作入力された入力位置が前記反応音領域に入る場合に前記車載スピーカで反応音を発生させる反応音制御手段を備えたことにある。

本発明においては、車載ディスプレイ装置と、車載ディスプレイ装置とは別体に設けられた携帯端末とを備えており、車載ディスプレイ装置と携帯端末との間で無線通信可能となっている。車載ディスプレイ装置は、表示器と操作入力位置検出器とが組み合わされた車載タッチパネル式ディスプレイと、反応音を発生するための車載スピーカとを備えており、携帯端末から送信された画像データを受信して車載タッチパネル式ディスプレイに画像を表示する。また、車載ディスプレイ装置は、車載タッチパネル式ディスプレイに操作入力された入力位置を表す入力位置データを携帯端末に送信する。

携帯端末は、タッチパネル式ディスプレイとスピーカとを備え、アプリケーションプログラムを実行して自身のタッチパネル式ディスプレイに画像を表示するとともに自身のタッチパネル式ディスプレイへの操作入力が行われたときに自身のスピーカで反応音を発生させる機能を有し、車載ディスプレイ装置と無線通信可能に接続され、車載ディスプレイ装置との間の無線通信により、アプリケーションプログラムの実行により表示される画像の画像データを車載ディスプレイ装置に送信して車載ディスプレイ装置の車載タッチパネル式ディスプレイに画像を表示させるとともに、車載ディスプレイ装置から送信された車載タッチパネル式ディスプレイの入力位置データを受信して、入力位置データに応じた処理を行う。

こうした画像表示システムにおいては、車載ディスプレイ装置がグラフィカルユーザーインターフェースとなり、携帯端末がユーザの操作に応じた制御処理を行う頭脳部となる。車載ディスプレイ装置においては、タッチパネル式ディスプレイへの操作入力に対して、その操作を受け付けたことを表す反応音を発生させることが好ましい。しかし、この場合、操作に応じた制御処理を行う携帯端末において、操作入力位置が反応音を発生させるべき反応音領域に入っているかを判断し、その判断結果に基づいて、反応音指令信号を車載ディスプレイ装置に送信すると、実際に反応音が車載ディスプレイ装置のスピーカから発せられるタイミングが遅れてしまう。

そこで、本発明においては、反応音の発音タイミングが遅れないように、反応音領域データ送信手段と反応音制御手段とを備えている。反応音領域データ送信手段は、携帯端末に設けられ、車載タッチパネル式ディスプレイの表示画像における反応音を発生させるべき反応音領域を設定した反応音領域データを車載ディスプレイ装置に送信する。また、反応音制御手段は、車載ディスプレイ装置に設けられ、反応音領域データに基づいて車載タッチパネル式ディスプレイに操作入力された入力位置が反応音領域に入る場合に車載スピーカで反応音を発生させる。従って、ユーザが車載タッチパネル式ディスプレイに操作入力する前に、予め、反応音領域を設定した反応音領域データを車載ディスプレイ装置に送信しておくことができるため、携帯端末で反応音の制御を行う必要がない。

このため、ユーザの車載タッチパネル式ディスプレイへの操作に対してレスポンス良く反応音が発生する。従って、ユーザは、快適に操作入力を行うことができる。また、車載タッチパネル式ディスプレイが故障していると誤解することもなく、車載タッチパネル式ディスプレイを強く押し続けて損傷させてしまうおそれもない。

本発明によれば、携帯端末で表示される画像を車載ディスプレイ装置で表示することができる。従って、タッチパネル式ディスプレイ装置の表示画面を大きくすることができるため、車室内では、携帯端末で提供される映像を大きな画面で見ることができ、視認性が向上する。また、広い表示画面を使って操作入力することができ、しかも、操作入力に対する反応音がレスポンス良く発生するので操作性が非常に良好となる。

本発明の他の特徴は、前記車載ディスプレイ装置の前記車載タッチパネル式ディスプレイに表示される画像における反応音領域は、前記携帯端末の前記タッチパネル式ディスプレイで表示される画像における反応音領域とは異なる位置に設定されることにある。

本発明の他の特徴は、前記携帯端末は、前記車載タッチパネル式ディスプレイに表示される画像におけるボタンアイコンのレイアウトを、前記携帯端末の前記タッチパネル式ディスプレイで表示される画像のボタンアイコンのレイアウトとは異なるように変更するとともに、レイアウトの変更されたボタンアイコンの位置を表すデータを前記反応音領域データに設定する手段を備えることにある。

本発明の実施形態に係る画像表示システムの概略構成図である。 車載ディスプレイ装置が設置された車室内の斜視図である。 携帯端末と車載ディスプレイ装置の正面図である。 実施形態に係る車載ディスプレイ制御ルーチンを表すフローチャートである。 実施形態と比較するための比較ルーチンを表すフローチャートである。 地図表示画面における反応エリアを示した説明図である。 メニュー表示画面における反応エリアを示した説明図である。 変形例に係る地図表示画面における反応エリアを示した説明図である。

以下、本発明の一実施形態に係る画像表示システムについて図面を用いて説明する。図１は、同実施形態に係る車両の画像表示システムの概略構成図である。

この画像表示システムは、携帯端末１０と車載ディスプレイ装置２００とを備えている。携帯端末１０は、各種のアプリケーションプログラムを記憶し、アプリケーションプログラムを実行することにより色々な情報をユーザに提供する携帯情報端末である。本実施形態においては、携帯端末１０は、ナビゲーションプログラムを記憶し、このナビゲーションプログラムを実行することにより、画像および音声によってユーザに車両走行案内を行う。尚、携帯端末１０は、ナビゲーションを行うものに限らない。例えば、携帯ウェブブラウザであってもよいし、ゲーム用アプリケーションプログラムを実行する携帯ゲーム機であってもよい。また、アプリケーションプログラムは、インターネット等の外部からダウンロードして実行するものであってもよい。

車載ディスプレイ装置２００は、図２に示すように、車両のインストルメントパネル４００に組み込まれたタッチパネル式ディスプレイ２２０を備えている。車載ディスプレイ装置２００は、装置単独では、ナビゲーションなどのアプリケーションを実行する機能を備えていない。従って、車載ディスプレイ装置２００としては、従来の車載ナビゲーション装置に比べて、非常に安価なものとなっている。本実施形態の画像表示システムにおいては、ナビゲーションを行うための制御処理を携帯端末１０で実施し、車載ディスプレイ装置２００は、画像および音声による運転者への情報伝達、および、操作入力を行うためのグラフィカルユーザーインターフェースとして機能する。本実施形態においては、車載ディスプレイ装置２００は、携帯端末１０で表示される画像と同じ画像を表示する。

携帯端末１０は、電子制御ユニット１００（以下、ＥＣＵ１００と呼ぶ）と、外部通信部２０と、ＧＰＳユニット３０と、タッチパネル式ディスプレイ４０と、パネル外操作部５０と、スピーカ６０と、不揮発性メモリ７０と、端末側通信部８０とを備えている。ＥＣＵ１００は、マイコンを主要部とするもので、ＣＰＵ、ＲＯＭ，ＲＡＭ，入出力インターフェース、各種ドライバ等を備えている。ＲＯＭ内には、アプリケーションプログラムとしてのナビゲーションプログラムが記憶されている。

外部通信部２０は、インターネットに接続するための無線通信回路であって、例えば、携帯電話事業者の基地局を介してインターネットに接続するものであってもよいし、直接インターネットに接続するものであってもよい。これにより、携帯端末１０は、インターネットを介して情報配信センターとデータ通信が可能となっている。ＧＰＳユニット３０は、ＧＰＳ衛星からの電波に基づいて携帯端末の現在位置座標を検出するものであり、現在位置座標をＥＣＵ１００に出力する。

タッチパネル式ディスプレイ４０は、液晶あるいは有機ＥＬ等を用いた薄型ディスプレイである表示部４１と、表示部４１の表示画面上での操作入力位置を検出するためのパネル内操作部４２とから構成される。表示部４１は、ＥＣＵ１００から出力された画像信号により各種の画像（ナビゲーション実行時であれば、道路地図、各種案内情報、各種設定情報等）を表示するものである。表示部４１の画面の大きさ（面積）は、携帯端末１０がコンパクト性を要求されることから、図３に示すように、車載ディスプレイ装置２００に比べて小さいものとなっている。但し、表示部４１の画面は、解像度の高いものが使用される。本実施形態における表示部４１の画面規格は、フルワイドＶＧＡである。従って、画面を構成するピクセル数は、９６０×４８０（横×縦）となっている。

パネル内操作部４２は、タッチパネル式ディスプレイ４０に組み込まれたタッチパッドが用いられる。パネル内操作部４２は、表示部４１の表示画面上での操作入力位置を表す座標信号をＥＣＵ１００に出力する。

パネル外操作部５０は、図３に示すように、ホームボタン５０ａ、メニューボタン５０ｂ、戻りボタン５０ｃ、検索ボタン５０ｄ、および、ポインタ５０ｅから構成されている。尚、パネル外操作部５０のボタンおよびポインタの構成は、任意に設定できるものである。パネル外操作部５０は、ボタン操作を表すボタン操作信号、ポインタ操作を表すポインタ操作信号をＥＣＵ１００に出力する。スピーカ６０は、ＥＣＵ１００から出力された音声信号により作動して、音声ガイドや操作反応音等を発生する。

不揮発性メモリ７０は、インターネットから取得した情報、ここでは、インターネットを経由して情報配信センターから取得したナビゲーション情報等、外部から取得した情報を記憶するためのものである。この携帯端末１０では、ナビゲーションを行うための制御プログラム、および、地図データがＥＣＵ１００のＲＯＭに記憶されており、実際にナビゲーションを実行するときに、交通情報や公共交通機関情報等を情報配信センターから取得して不揮発性メモリ７０に記憶する。尚、ナビゲーションを行うための制御プログラムや地図データは、最初からＥＣＵ１００のＲＯＭに記憶されている必要はなく、インターネットを介して取得されるものであってもよい。この場合、ダウンロードしたデータは、不揮発性メモリ７０に記憶される。

端末側通信部８０は、車載ディスプレイ装置２００と通信を行う通信インターフェースである。本実施形態においては、携帯端末１０と車載ディスプレイ装置２００とを近距離無線通信で接続する。例えば、Bluetoothを用いるが、Wi-Fiなどの無線ＬＡＮ等による近距離無線通信方式を採用することもできる。

ＥＣＵ１００は、その機能に着目すると、携帯端末１０でアプリケーションプログラムを実行するための制御処理部１１０と、アプリケーションの動作を車載ディスプレイ装置２００でも実行できるようにする連携制御部１２０とを備えている。本実施形態においては、制御処理部１１０は、ナビゲーションプログラムを実行するナビゲーション制御部となる。

尚、制御処理部１１０は、ナビゲーションプログラムとして、車両を目的地に案内するのに適した車両用ナビゲーションを実行する車両用ナビゲーションプログラムと、歩行者を目的地に案内するのに適した歩行者用ナビゲーションを実行する歩行者用ナビゲーションプログラムとの両方を記憶しており、その一方を選択的に実行する。ユーザが車両に乗っている状況においては、車両用ナビゲーションが選択される。

車両用ナビゲーションは、各種の道路情報、交通情報に基づいて、目的地までの車両走行ルートを設定して案内する。一方、歩行者用ナビゲーションでは、歩道情報や公共交通機関情報に基づいて、目的地までの歩行ルートを設定して案内する。また、公共交通機関（電車、バス等）の時刻表情報、乗り継ぎ情報、運賃情報などをユーザに提供する。

連携制御部１２０は、車載用画像生成部１３０と、座標検出部１４０と、操作検出部１５０と、反応エリア記憶部１６０と、反応エリア出力部１７０と、音声出力部１８０と、通信制御部１９０とを備えている。

通信制御部１９０は、端末側通信部８０を制御して、携帯端末１０と車載ディスプレイ装置２００との通信を確立させる。また、通信制御部１９０は、携帯端末１０と車載ディスプレイ装置２００との通信が確立している場合には、制御処理部１１０に対して通信可能信号を出力する。一方、携帯端末１０と車載ディスプレイ装置２００との通信が確立しない場合には、制御処理部１１０に対して通信不能信号を出力する。

車載用画像生成部１３０は、携帯端末１０の表示部４１で表示されている画像の画像データを車載ディスプレイ装置２００での画面表示に適した画像データに変換する。例えば、携帯端末１０の表示部４１の画面サイズがフルワイドＶＧＡ（横９６０ピクセル×縦４８０ピクセル）であるのに対し、車載ディスプレイ装置２００の表示部２２１（後述する）の画面サイズがワイドＶＧＡ（横８００ピクセル×縦４８０ピクセル）である場合を考える。この場合においては、携帯端末１０の表示部４１が、車載ディスプレイ装置２００の表示部２２１に比べて、横方向に１６０ピクセルだけ多い。そこで、車載用画像生成部１３０は、携帯端末１０の画像データから横方向に１６０ピクセルだけ平均的に間引く。また、車載用画像生成部１３０は、携帯端末１０の画面のアスペクト比を用いて車載ディスプレイ装置２００で表示されるように、画像データの縦方向のピクセル数を調整する。この例では、携帯端末１０の画面アスペクト比が（４８０／９６０）であるため、画像データの縦方向のピクセル数を８００×（４８０／９６０）＝４００ピクセルにする。従って、車載用画像生成部１３０は、携帯端末１０の画像データから縦方向に８０ピクセルだけ平均的に間引く。

こうして、画面アスペクト比および解像度が調整された画像データが生成される。従って、車載ディスプレイ装置２００の画面の縦方向および横方向の少なくとも一方は、画面いっぱいまで使って表示することができる。車載用画像生成部１３０は、生成した画像データを端末側通信部８０を介して車載ディスプレイ装置２００に送信する。

尚、携帯端末１０の画面サイズに対して車載ディスプレイ２００の画面サイズが大きい場合には、補間用ピクセルを平均的に挿入するようにすればよい。車載用画像生成部１３０は、複数種類の画面サイズの規格に応じた画像変換プログラムを記憶しており、車載ディスプレイ装置２００の画面サイズの規格に対応する画像変換プログラムを実行することで、携帯端末１０の画像データを変換して車載ディスプレイ装置２００用の画像データを生成する。また、車載ディスプレイ２００の画面サイズは、携帯端末１０と車載ディスプレイ装置２００との最初のペアリング操作時に、通信制御部１９０に認識されて不揮発性メモリ７０に記憶される。あるいは、ユーザがパネル内操作部４２を使って車載ディスプレイ装置２００の画面サイズを入力設定するようにしてもよい。

座標検出部１４０は、車載ディスプレイ装置２００から出力された座標データを入力する。座標データは、車載ディスプレイ装置２００のパネル内操作部２２２（後述する）に操作入力された位置座標を表すデータである。座標検出部１４０は、座標データを入力すると、その座標データを携帯端末１０の表示画面の座標データに変換して制御処理部１１０に出力する。

操作検出部１５０は、車載ディスプレイ装置２００から出力された操作データを入力する。操作データは、車載ディスプレイ装置２００のパネル外操作部２３０（後述する）で操作入力された操作ボタンデータおよび操作ポインタデータである。操作検出部は、入力した操作データを制御処理部１１０に出力する。

反応エリア記憶部１６０は、携帯端末１０のタッチパネル式ディスプレイ４０の画面上において、操作入力が行われたときに反応音を発生させる領域（反応エリアと呼ぶ）を表す座標データ（反応エリアデータと呼ぶ）を記憶した記憶部である。本実施形態においては、反応エリアデータは、ＲＯＭに記憶されているが、不揮発性メモリ７０に記憶される構成であってもよい。

本実施形態の画像表示システムにおいては、ユーザが携帯端末１０あるいは車載ディスプレイ装置２００のタッチパネル式ディスプレイ４０，２２０に対して操作入力したとき、その操作を受け付けたことをユーザに知らせるための反応音を発生させる。反応エリアは、例えば、図６に示すように、タッチパネル式ディスプレイ４０，２２０の表示画面Ｓに表示されるボタンアイコンＡの表示エリア（グレーで塗った部分）と同一に設定することができる。また、反応エリアは、ボタンアイコン以外の領域においても設定することができる。

また、反応エリアは、表示画面の種類（地図表示案内画面、目的地設定画面、検索画面、メニュー選択画面など）に応じて異なっているため、反応エリアデータは、表示画面の種類毎に、表示画面の種類に対応づけて記憶されている。例えば、メニュー選択画面においては、図７に示すように、表示画面Ｓに表示されるメニュー選択アイコンＡの表示エリア（グレーで塗った部分）が反応エリアとして設定されている。

反応エリア出力部１７０は、表示画面の種類が変更されるたびに、その表示画面に対応した反応エリアデータを反応エリア記憶部１６０から抽出する。そして、抽出した反応エリアデータを端末側通信部８０を介して車載ディスプレイ装置２００に送信する。尚、上述したように、携帯端末１０と車載ディスプレイ装置２００とで表示画面サイズ（ピクセルの構成）が相違する場合には、車載用画像生成部１３０において携帯端末１０の画像データを車載ディスプレイ装置２００で適切に表示できるように変換するが、このような画像データの変換を伴う場合には、反応エリア出力部１７０においても、反応エリアデータを車載ディスプレイ装置２００における座標データに変換して出力する。

音声出力部１８０は、制御処理部１１０が行う音声案内に関する音声データを制御処理部１１０から入力し、その音声データを端末側通信部８０を介して車載ディスプレイ装置２００に送信する。

次に、車載ディスプレイ装置２００について説明する。車載ディスプレイ装置２００は、電子制御ユニット２１０（以下、ＥＣＵ２１０と呼ぶ）と、タッチパネル式ディスプレイ２２０と、パネル外操作部２３０と、スピーカ２４０と、車載側通信部２５０とを備えている。ＥＣＵ２１０は、携帯端末１０の実行するナビゲーションのグラフィカルユーザーインターフェースとしての主要制御部となるもので、ＣＰＵ、ＲＯＭ，ＲＡＭ，入出力インターフェース、各種ドライバ等を備えている。

タッチパネル式ディスプレイ２２０は、液晶あるいは有機ＥＬ等を用いた薄型ディスプレイである表示部２２１と、表示部２２１の表示画面上での操作入力位置を検出するためのパネル内操作部２２２とから構成される。表示部２２１は、ＥＣＵ２１０から出力された画像信号により各種の画像（ナビゲーション実行時であれば、道路地図、各種案内情報、各種設定情報等）を表示するものである。この表示部２２１の画面の大きさ（面積）は、携帯端末１０に比べて大きいものとなっている。また表示部２２１の画面規格は、携帯端末１０に比べて低い解像度となるワイドＶＧＡ（８００ピクセル×４００ピクセル）である。表示部２２１の画面の大きさ（面積）、および、画面規格は任意に設定できるものであるが、画面の大きさ（面積）に関しては、携帯端末１０に比べて大きなものとする。

パネル内操作部２２２は、タッチパネル式ディスプレイ２２０に組み込まれたタッチパッドが用いられる。パネル内操作部２２２は、表示部２２１の表示画面上での操作入力位置を表す座標信号をＥＣＵ２１０に出力する。

パネル外操作部２３０は、図３に示すように、ホームボタン２３０ａ、メニューボタン２３０ｂ、戻りボタン２３０ｃ、検索ボタン２３０ｄ、および、ポインタ２３０ｅから構成されている。尚、パネル外操作部２３０のボタンおよびポインタの構成は、任意に設定できるものである。パネル外操作部２３０は、ボタン操作を表すボタン操作信号、ポインタ操作を表すポインタ操作信号をＥＣＵ２１０に出力する。

スピーカ２４０は、ＥＣＵ２１０から出力された音声信号により作動して、音声ガイドや操作反応音等を発生する。尚、スピーカ２４０は、車載ディスプレイ装置２００に内蔵されるものに限らず、ドア等の車室内に設けられるオーディオスピーカを兼用することができる。

車載側通信部２５０は、携帯端末１０の端末側通信部８０と近距離無線通信を行う通信インターフェースである。ＥＣＵ２１０は、車載側通信部２５０を制御して携帯端末１０から画像データ、反応エリアデータ、音声データを入力するとともに、パネル内操作部２２２に操作入力された位置座標を表す座標データ、および、パネル外操作部２３０の操作データ（操作ボタンデータ、操作ポインタデータ）を出力する。

ＥＣＵ２１０は、その機能に着目すると、通信制御部２１１と、表示制御部２１２と、座標出力部２１３と、操作出力部２１４と、反応エリア記憶部２１５と、反応音制御部２１６と、音声制御部２１７とを備えている。

通信制御部２１１は、車載側通信部２５０を制御して、携帯端末１０の端末側通信部８０と通信を確立させる。表示制御部２１２は、携帯端末１０から送信された画像データにしたがって表示部２２１の画面に画像を表示する。座標出力部２１３は、パネル内操作部２２２から出力される表示面上での操作入力位置を表す座標信号を座標データに変換して車載側通信部２５０を介して携帯端末１０に送信する。また、この座標データは、反応音制御部２１６にも出力される。

反応エリア記憶部２１５は、携帯端末１０から送信された反応エリアデータを記憶する。この反応エリアデータは、表示画面の種類が変更されるたびに、携帯端末１０から送信される。反応エリア記憶部２１５は、反応エリアデータが送信されるたびに、その送信された最新の反応エリアデータに更新（書き換え）する。

反応音制御部２１６は、座標出力部２１３から出力された座標データと、反応エリア記憶部２１５に記憶されている反応エリアデータとに基づいて、タッチパネル式ディスプレイ２２０への操作入力位置が反応エリア内に入っているか否かを判断する。操作入力位置が反応エリアに入っている場合には、スピーカ２４０に反応音発生用の駆動信号を出力する。従って、スピーカ２４０から反応音が発生する。一方、操作入力位置が反応エリアに入っていない場合には、スピーカ２４０に駆動信号を出力しない。

操作出力部２１４は、パネル外操作部２３０から出力される操作信号を操作データに変換して車載側通信部２５０を介して携帯端末１０に送信する。音声制御部２１７は、携帯端末１０から送信された音声データにしたがってスピーカ２４０を駆動制御する。従って、スピーカ２４０により音声ガイドが行われる。

次に、携帯端末１０の連携制御部１２０と車載ディスプレイ装置２００のＥＣＵ２１０とで実行する処理についてフローチャートを用いて説明する。図４は、連携制御部１２０とＥＣＵ２１０とにより実行される車載ディスプレイ制御ルーチンを表す。図面の左側が車載ディスプレイ装置２００のＥＣＵ２１０が実行する処理を表し、図面の右側が携帯端末１０の連携制御部１２０が実行する処理を表す。この車載ディスプレイ制御ルーチンは、ユーザが携帯端末１０を操作して、ナビゲーション実行を選択すると起動し、所定の短い周期で繰り返される。

尚、車載ディスプレイ制御ルーチンは、携帯端末１０と車載ディスプレイ装置２００との間で通信が確立している状態において実行され、通信が確立していない状態においては実行されない。また、携帯端末１０は、表示画面を縦に使って表示する縦表示モードと、表示画面を横に使って表示する横表示モードとの選択機能を有するが、携帯端末１０と車載ディスプレイ装置２００との間で通信が確立している場合は、図３に示すように横表示モードが自動選択される。また、車載ディスプレイ制御ルーチンが実行されているあいだ、携帯端末１０の制御処理部１１０においては、それと並行して車両用ナビゲーションが実行されている。

車載ディスプレイ制御ルーチンが起動すると、連携制御部１２０は、ステップＳ１１において、車載ディスプレイ装置２００に表示する画面の画像データを生成する。この処理は、携帯端末１０の表示部４１で表示されている画像の画像データを、車載ディスプレイ装置２００での表示に適した画像データに変換する処理であって、車載用画像生成部１３０により実施される。この例では、車載ディスプレイ装置２００の画面サイズの規格がワイドＶＧＡであるため、携帯端末１０の表示部４１の画面サイズであるフルワイドＶＧＡの画像データをワイドＶＧＡの画像データに変換する画像処理を行う。続いて、ステップＳ１２において、車載ディスプレイ装置２００に表示する画像の画像データを端末側通信部８０から送信する。

続いて、連携制御部１２０は、ステップＳ１３において、車載ディスプレイ装置２００で行う音声案内用の音声データを端末側通信部８０から送信する。この処理は、音声出力部１８０により実施されるものあって、音声案内を行うタイミングでない場合には、このステップＳ１３の処理はスキップされる。

続いて、連携制御部１２０は、ステップＳ１４において、表示画面の種類が変更されたか否かを判断する。表示画面の種類が変更されたと判断した場合（Ｓ１４：Ｙｅｓ）には、ステップＳ１５において、反応エリア記憶部１６０から、その表示画面に対応する一画面分の反応エリアデータを抽出する。続いて、ステップＳ１６において、抽出した一画面分の反応エリアデータを端末側通信部８０から送信する。尚、この車載ディスプレイ制御ルーチンが起動された時においては、連携制御部１２０は、ステップＳ１４において「Ｙｅｓ」と判断して、その初期画面の反応エリアデータを抽出し送信する。

一方、ステップＳ１４において、表示画面の種類が変更されていないと判断した場合（Ｓ１４：Ｎｏ）には、ステップＳ１５，Ｓ１６の処理をスキップする。尚、ステップＳ１４〜Ｓ１６の処理は、反応エリア出力部１７０により実行される処理である。

続いて、連携制御部１２０は、ステップＳ１７において、入力データが受信されたか否かを判断する。この入力データは、車載ディスプレイ装置２００のパネル内操作部２２２に操作入力された位置座標を表す座標データ、および、パネル外操作部２３０の操作データを表す。連携制御部１２０は、端末側通信部８０を介して入力データを受信した場合には、その入力データを制御処理部１１０に出力する。

この場合、入力データがパネル内操作部２２２に操作入力された位置座標を表す座標データであれば、座標検出部１４０が、座標データを携帯端末１０の表示画面の座標データに変換して制御処理部１１０に出力する。また、入力データがパネル外操作部２３０の操作ボタンデータあるいは操作ポインタデータであれば、操作検出部１５０が、それらの操作データを制御処理部１１０に出力する。これにより、制御処理部１１０は、車載ディスプレイ装置２００からの操作入力を携帯端末１０での操作入力とみなして、この操作入力にしたがってナビゲーションの制御処理を進める。

連携制御部１２０は、ステップＳ１７において、入力データを受信していない場合には（Ｓ１７：Ｎｏ）、ステップＳ１８の処理をスキップして車載ディスプレイ制御ルーチンを一旦終了する。車載ディスプレイ制御ルーチンは、非常に短い周期で繰り返し実行される。従って、携帯端末１０においては、制御処理部１１０で実行されるナビゲーションの情報を車載ディスプレイ装置２００に送信するとともに、車載ディスプレイ装置２００から送信される操作入力に応じてナビゲーションの制御処理を進める。

次に、車載ディスプレイ装置２００側での処理について説明する。図４の左側に示すように、車載ディスプレイ制御ルーチンが起動すると、ＥＣＵ２１０は、ステップＳ２１において、携帯端末１０から送信された画像データにしたがって表示部２２１の画面に画像を表示する。続いて、ステップＳ２２において、携帯端末１０から送信された音声データにしたがってスピーカ２４０を駆動制御する。尚、音声データが送信されていない場合には、このステップＳ２２の処理はスキップされる。

これにより、車載ディスプレイ装置２００では、携帯端末１０で表示される画像が拡大表示され、また、携帯端末１０と同様な音声案内が行われる。尚、ステップＳ２１の処理は、表示制御部２１２にて実行される処理であり、ステップＳ２２の処理は音声制御部２１７にて実行される処理である。

続いて、ＥＣＵ２１０は、ステップＳ２３において、反応エリアデータを受信したか否かを判断する。反応エリアデータは、上述したように、表示画面の種類が変更されるたびに携帯端末１０から送信される。ＥＣＵ２１０は、反応エリアデータを受信した場合には（Ｓ２３：Ｙｅｓ）、ステップＳ２４において、反応エリアデータを反応エリア記憶部２１５に記憶する。一方、反応エリアデータを受信してない場合には（Ｓ２３：Ｎｏ）、ステップＳ２４の処理をスキップする。

続いて、ＥＣＵ２１０は、ステップＳ２５において、車載ディスプレイ装置２００で操作入力が行われたか否かを判断する。パネル内操作部２２２、あるいは、パネル外操作部２３０で操作入力が行われた場合には、ステップＳ２５の判断は「Ｙｅｓ」となり、ステップＳ２６において、車載側通信部２５０を介して入力データを携帯端末１０に送信する。パネル内操作部２２２に操作入力された場合であれば、座標検出部１４０が、表示画面上の操作入力位置を表す座標データを送信する。また、パネル外操作部２３０に操作入力された場合であれば、操作検出部１５０が、操作ボタンデータあるいは操作ポインタデータを送信する。

続いて、ＥＣＵ２１０は、ステップＳ２７において、操作入力が反応エリア内における入力であるか否かを判断する。つまり、操作入力がパネル内操作部２２２で行われたものであって、かつ、その操作入力位置が反応エリア内に入っているか否かを判断する。この場合、反応音制御部２１６が、座標出力部２１３から出力された座標データと、反応エリア記憶部２１５に記憶されている反応エリアデータとに基づいて、タッチパネル式ディスプレイ２２０への操作入力位置が反応エリア内に入っているか否かを判断する。

反応音制御部２１６は、操作入力位置が反応エリア内に入っていると判断した場合には（Ｓ２７：Ｙｅｓ）、ステップＳ２８において、スピーカ２４０に反応音発生用の駆動信号を出力する。これによりスピーカ２４０から反応音（例えば、ピッという音）が発せられる。一方、操作入力位置が反応エリア内に入っていないと判断した場合には（Ｓ２７：Ｎｏ）、ステップＳ２８の処理をスキップして車載ディスプレイ制御ルーチンを一旦終了する。車載ディスプレイ制御ルーチンは、非常に短い周期で繰り返し実行される。

従って、車載ディスプレイ制御ルーチンにより、車載ディスプレイ装置２００では、携帯端末１０で行われている画像表示、および、音声案内が同時に行われる。また、携帯端末１０では、車載ディスプレイ装置２００で行った操作入力を携帯端末１０で行った操作入力と同等に扱って、その操作入力に対する処理を行う。また、車載ディスプレイ装置２００で行われた操作入力に対する反応音に関しては、操作入力が行われる前（表示画面を変更するたび）に、携帯端末１０から車載ディスプレイ装置２００に反応エリアデータを送信し、車載ディスプレイ装置２００側で操作入力位置と反応エリアとに基づいて反応音制御を行う。このため、反応音が発生するタイミングが遅れない。

ここで、反応音制御を携帯端末１０で行った場合に、反応音の発生が遅れてしまう理由について説明する。図５は、反応音制御を携帯端末１０で行った場合における比較用処理（比較ルーチンと呼ぶ）を表すフローチャートを表す。尚、図５においては、図４の車載ディスプレイ制御ルーチンにおける処理と同一の処理については、同一のステップ符号を付して詳細な説明を省略する。

この比較ルーチンにおいては、車載ディスプレイ装置２００では、ステップＳ２３，Ｓ２４，Ｓ２７の処理が除かれ、代わりに、ステップＳ４１の処理が追加されている。一方、携帯端末１０側では、ステップＳ１４〜Ｓ１６の処理が除かれ、代わりに、ステップＳ３１，Ｓ３２の処理が追加されている。

この比較ルーチンでは、ユーザが車載ディスプレイ装置２００に操作入力すると、車載ディスプレイ装置２００から携帯端末１０に操作入力データが送信される（Ｓ２５，Ｓ２６）。携帯端末１０は、入力データを受信すると制御処理部１１０に出力する（Ｓ１７，Ｓ１８）。これにより、制御処理部１１０は、車載ディスプレイ装置２００からの操作入力にしたがってナビゲーションの制御処理を進める。続いて、携帯端末１０は、ステップＳ３１において、操作入力が反応エリア内における入力であるか否かを判断する。つまり、操作入力がパネル内操作部２２２で行われたものであって、かつ、その操作入力位置が反応エリア内に入っているか否かを判断する。携帯端末１０は、車載ディスプレイ装置２００から送信された座標データと、自身に記憶している反応エリアデータとに基づいて、操作入力位置が反応エリア内に入っていると判断した場合には（Ｓ３１：Ｙｅｓ）、ステップＳ３２において、車載ディスプレイ装置２００に対して、反応音指令を送信する。一方、操作入力位置が反応エリア内に入っていないと判断した場合には（Ｓ３１：Ｎｏ）、ステップＳ３２の処理をスキップする。

車載ディスプレイ装置２００では、ステップＳ４１において、反応音指令を受信したか否かを所定の周期で判断している。そして、携帯端末１０から反応音指令を受信した場合には、ステップＳ２８において、スピーカ２４０に反応音発生用の駆動信号を出力して、スピーカ２４０から反応音を発生させる。

従って、この比較ルーチンでは、車載ディスプレイ装置２００のパネル内操作部２２２を操作入力してから実際にスピーカ２４０から反応音が発生するまでの処理が、図５の太線矢印に沿って行われることになる。従って、この処理の中に、車載ディスプレイ装置２００と携帯端末１０との送受信処理が含まれてしまう。このため、操作入力に対して反応音の発生するタイミングが遅れてしまう。これに対して、本実施形態の車載ディスプレイ制御ルーチンでは、図４の太線矢印に沿った処理となるため、操作入力後の反応音制御のための送受信処理が必要なくなる。この結果、操作入力に対して反応音の発生するタイミングが遅れない。

以上説明した本実施形態における画像表示システムによれば、車両に車載ナビゲーション装置を搭載しなくても、通信機能を有する車載ディスプレイ装置２００を設けることにより、従来と変わらない大きな画面で車両の走行ガイドを受けられるようになる。このため、ナビゲーションの視認性を確保しつつ車両の低コスト化を図ることができる。

また、タッチパネル式ディスプレイ２２０への操作入力に対してレスポンスよく反応音を発生させることができる。また、タッチパネル式ディスプレイ２２０を使って操作入力できるため、携帯端末１０に比べて広い操作面積を確保することができる。これらの結果、ユーザは、快適に操作入力を行うことができる。また、反応音のレスポンスが良いため、タッチパネル式ディスプレイ２２０が故障していると誤解することもなく、タッチパネル式ディスプレイ２２０を強く押し続けて損傷させてしまうおそれもない。

また、携帯端末１０の所持者が車両から離れた場合には、携帯端末１０と車載ディスプレイ装置２００とのあいだで通信が確立しなくなるため、連携制御部１２０が、車載ディスプレイ装置２００でナビゲーションを行うための制御を中止する。従って、それに必要な電力消費を抑えることができる。また、車載ディスプレイ装置２００の作動が停止するため、その分、電力消費を抑えることができる。

以上、本実施形態の画像表示システムについて説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。

例えば、本実施形態においては、車載ディスプレイ装置２００の表示画面が、携帯端末１０の画面アスペクト比と同じになるように画像データを生成するため、携帯端末１０と車載ディスプレイ装置２００とで画面アスペクト比が異なる場合には、車載ディスプレイ装置２００画面上に非表示領域が形成される。例えば、携帯端末１０の表示部４１の画面サイズをフルワイドＶＧＡ（横９６０ピクセル×縦４８０ピクセル）、車載ディスプレイ装置２００の表示部２２１の画面サイズをワイドＶＧＡ（横８００ピクセル×縦４８０ピクセル）とした場合、画面アスペクト比の調整により、車載ディスプレイ装置２００の表示画面においては、横８００ピクセル×縦８０ピクセルの非表示領域が形成される。そこで、図８に示すように、非表示領域Ｘを表示画面の端（この例では下端）に寄せ、この非表示領域ＸにボタンアイコンＡを移動させる構成を採用することもできる。この場合、車両用画像生成部１３０が、画像データを生成するときにボタンアイコンＡの座標位置を変更すればよい。また、反応エリア記憶部１６０に記憶する反応エリアデータは、この非表示領域Ｘに設けられたボタンアイコンＡの座標位置を表すデータに設定すればよい。これによれば、非表示領域Ｘを有効利用することができ、表示される地図等の画像が見やすくなる。

また、ボタンアイコンのレイアウトを表示領域においても自由に変更してもよい。また、車載ディスプレイ装置２００は携帯端末１０に比べて広い操作面積を有するため、ボタンアイコンの数を増やすようにしてもよい。これにより、操作性を更に向上させることができる。

また、本実施形態においては、携帯端末１０と車載ディスプレイ装置２００とで画面アスペクト比が一致するように車載用画像データを生成するが、必ずしも画面アスペクト比を一致させる必要はない。

また、本実施形態においては、携帯端末１０と車載ディスプレイ装置２００とで車両用ナビゲーションを実行する画像表示システムについて説明したが、車両用ナビゲーションを実行するものに限るものではない。例えば、携帯端末１０に記憶されているウェブブラウザアプリケーションを実行して、携帯端末１０と車載ディスプレイ装置２００とからインターネット検索を行う画像表示システムであってもよい。

また、本実施形態においては、車両における画像表示システムについて説明したが、本発明における画像表示操作装置は、車両に搭載されたディスプレイ装置に限るものではなく、例えば、建物に設置されるものであってもよいし、携帯可能なものであってもよい。また、本発明における画像送信装置に関しても、携帯端末に限るものではない。

また、本実施形態においては、携帯端末１０と車載ディスプレイ装置２００とのあいだで近距離無線通信を行う構成であるが、携帯端末１０と車載ディスプレイ装置２００とを接続ケーブル３００（図１に破線で囲んで示している）で接続して有線通信を行うようにしてもよい。この場合、例えば、ＵＳＢ接続、ＨＤＭＩ接続などを採用することができる。

また、本実施形態においては、表示画面の種類が変更されるたびに反応エリアデータを送信する構成を採用しているが、反応エリアデータを送信するタイミングは、ユーザが操作入力する前であればいつでもよい。例えば、車載ディスプレイ制御ルーチンの開始時に、全種類の表示画面に対する反応エリアデータを車載ディスプレイ装置２００に送信するようにしてもよい。この場合には、反応エリア記憶部２１５に全種類の表示画面に対する反応エリアデータが記憶され、反応音制御部２１６は、表示中の画面に対する反応エリアデータを参照するようにすればよい。

尚、本実施形態における携帯端末１０が本発明の画像送信装置に相当し、本実施形態における車載ディスプレイ装置２００が本発明の画像表示操作装置に相当する。また、本実施形態における反応エリア記憶部１６０，反応エリア出力部１７０が本発明の反応音領域データ送信手段に相当する。また、本実施形態における反応エリア記憶部２１５，反応音制御部２１６が本発明の反応音制御手段に相当する。

１０…携帯端末、２０…外部通信部、４０，２２０…タッチパネル式ディスプレイ、４１，２２１…表示部、４２，２２２…パネル内操作部、５０，２３０…パネル外操作部、６０、２４０…スピーカ、７０…不揮発性メモリ、８０…端末側通信部、１００，２１０…電子制御ユニット（ＥＣＵ）、１１０…制御処理部、１２０…連携制御部、１３０…車載用画像生成部、１４０…座標検出部、１５０…操作検出部、１６０…反応エリア記憶部、１７０…反応エリア出力部、１８０…音声出力部、１９０，２１１…通信制御部、２００…車載ディスプレイ装置、２１２…表示制御部、２１３…座標出力部、２１４…操作出力部、２１５…反応エリア記憶部、２１６…反応音制御部、３００…接続ケーブル、４００…インストルメントパネル。

Claims (3)

1. 車載タッチパネル式ディスプレイと、反応音を発生するための車載スピーカとを備え、受信した画像データにより前記車載タッチパネル式ディスプレイに画像を表示するとともに、前記車載タッチパネル式ディスプレイに操作入力された入力位置を表す入力位置データを送信する、車両の室内に設けられる車載ディスプレイ装置と、
   タッチパネル式ディスプレイとスピーカとを備え、アプリケーションプログラムを実行して自身のタッチパネル式ディスプレイに画像を表示するとともに自身のタッチパネル式ディスプレイへの操作入力が行われたときに自身のスピーカで反応音を発生させる機能を有し、前記車載ディスプレイ装置と無線通信可能に接続され、前記車載ディスプレイ装置との間の無線通信により、前記アプリケーションプログラムの実行により表示される画像の画像データを前記車載ディスプレイ装置に送信して前記車載ディスプレイ装置の車載タッチパネル式ディスプレイに前記画像を表示させるとともに、前記車載ディスプレイ装置から送信された前記車載タッチパネル式ディスプレイの入力位置データを受信して、前記入力位置データに応じた処理を行う携帯端末と
   を備えた画像表示システムであって、
   前記携帯端末は、前記車載タッチパネル式ディスプレイの表示画像における反応音を発生させるべき反応音領域を設定した反応音領域データを前記車載ディスプレイ装置に送信する反応音領域データ送信手段を備え、
   前記車載ディスプレイ装置は、前記反応音領域データに基づいて前記車載タッチパネル式ディスプレイに操作入力された入力位置が前記反応音領域に入る場合に前記車載スピーカで反応音を発生させる反応音制御手段を備えたことを特徴とする画像表示システム。
2. 前記車載ディスプレイ装置の前記車載タッチパネル式ディスプレイに表示される画像における反応音領域は、前記携帯端末の前記タッチパネル式ディスプレイで表示される画像における反応音領域とは異なる位置に設定されることを特徴とする請求項１記載の画像表示システム。
3. 前記携帯端末は、前記車載タッチパネル式ディスプレイに表示される画像におけるボタンアイコンのレイアウトを、前記携帯端末の前記タッチパネル式ディスプレイで表示される画像のボタンアイコンのレイアウトとは異なるように変更するとともに、レイアウトの変更されたボタンアイコンの位置を表すデータを前記反応音領域データに設定する手段を備えたことを特徴とする請求項１記載の画像表示システム。

Images