以下、図を参照して、本発明の実施の形態について説明する。
図1は、本発明を適用した車載システム1の一実施の形態を示すブロック図である。車載システム1は、駐車位置設定支援部11、駐車制御部12、および、車両制御部13を含むように構成される。また、駐車位置設定支援部11は、ドライバ撮影部21、駐車位置設定部22、車外撮影部23、駐車マーク表示部24、入力部25、および、通信部26を含むように構成される。さらに、駐車マーク表示部24は、直接表示部31および表示部32を含むように構成される。また、駐車制御部12は、走行制御装置41を含むように構成される。さらに、車両制御部13は、ステアリング制御装置51、トランスミッション制御装置52、および、動力制御装置53を含むように構成される。
駐車位置設定部22、入力部25、通信部26、直接表示部31、表示部32、および、走行制御装置41は、ボディ系LAN(Local Area Network)14を介して相互に接続され、走行制御装置41、ステアリング制御装置51、トランスミッション制御装置52、および、動力制御装置53は、走行系LAN15を介して相互に接続される。
駐車位置設定支援部11は、後述するように、車載システム1が設けられている車両を駐車する位置の設定を支援する。
ドライバ撮影部21は、例えば、カメラにより構成され、運転中のドライバの顔を撮影できる位置に設置される。ドライバ撮影部21は、撮影したドライバの顔を含む画像を駐車位置設定部22に供給する。
駐車位置設定部22は、後述するように、車両を駐車する位置を設定するための目印である駐車マークの表示位置を設定し、設定した表示位置を示す情報を、ボディ系LAN14を介して、直接表示部31および表示部32に供給する。また、駐車位置設定部22は、後述するように、車両を駐車させる位置を設定する。駐車位置設定部22は、設定した駐車位置を示す情報を、ボディ系LAN14を介して、走行制御装置41に供給する。
車外撮影部23は、例えば、カメラにより構成され、車両の周辺の光景を撮影する。車外撮影部23は、撮影した画像を、ボディ系LANを介して、駐車位置設定部22および表示部32に供給する。
直接表示部31は、例えば、投写型の表示装置により構成され、図7乃至図10などを参照して後述するように、光を投射することにより、駐車位置設定部22により設定された路面上の表示位置に駐車マークを直接表示する。
表示部32は、例えば、LCD(Liquid Crystal Display)などにより構成される。表示部32は、図11および図12などを参照して後述するように、車外撮影部23により撮影された画像に、駐車位置設定部22により設定された表示位置に直接駐車マークを重畳させて表示する。なお、表示部32を、車載システム1専用の装置として設けるのではなく、例えば、ナビゲーション装置の表示装置と兼用するようにしてもよい。
入力部25は、例えば、ボタン、スイッチ、音声認識装置などにより構成される。ドライバは、入力部25を介して、車載システム1への各種の指令を入力する。入力部25は、入力された指令を、必要に応じて、ボディ系LAN14を介して、駐車位置設定部22または走行制御装置41に供給する。
通信部26は、例えば、無線通信により、車外の通信装置などと通信を行う。通信部26は、受信した情報を、必要に応じて、ボディ系LAN14を介して、駐車位置設定部22、表示部32または走行制御装置41に供給する。
走行制御装置41は、ステアリング制御装置51、トランスミッション制御装置52、および、動力制御装置53を制御して、自動運転または各種のガイダンスの表示や音声案内などを行うことによりドライバ(の運転)を支援する。例えば、走行制御装置41は、図4を参照して後述するように、駐車位置設定部22により設定された駐車位置への車両の移動を支援する駐車支援処理を行う。
ステアリング制御装置51は、ステアリングアクチュエータ2を制御することにより、車両のステアリング(進行方向)を制御する。
トランスミッション制御装置52は、トランスミッションアクチュエータ3を制御することにより、車両のトランスミッション(変速機)の切り替えを制御する。
動力制御装置53は、動力アクチュエータ4を制御することにより、車両のエンジン(速度)を制御する。
図2は、駐車位置設定部22の機能の構成の例を示すブロック図である。駐車位置設定部22は、顔方向検出部71、視線方向検出部72、指令検出部73、表示位置設定部74、表示制御部75、確定検出部76、および、出力部77を含むように構成される。
顔方向検出部71は、ドライバ撮影部21により撮影された画像に基づいて、所定の手法を用いて、ドライバの顔の方向を検出する。顔方向検出部71は、検出したドライバの顔の方向を示す情報を、表示位置設定部74および確定検出部76に供給する。なお、顔方向検出部71が顔の方向を検出する手法は、特定の手法に限定されるものではなく、より迅速かつ正確に顔の方向を検出できる手法が望ましい。
視線方向検出部72は、ドライバ撮影部21により撮影された画像に基づいて、所定の手法を用いて、ドライバの視線の方向を検出する。視線方向検出部72は、検出したドライバの視線の方向を示す情報を、表示位置設定部74および確定検出部76に供給する。なお、視線方向検出部72が視線の方向を検出する手法は、特定の手法に限定されるものではなく、より迅速かつ正確に視線の方向を検出できる手法が望ましい。
指令検出部73は、入力部25を介してドライバにより入力された指令を、ボディ系LAN14を介して取得する。指令検出部73は、取得した指令に基づいて、車載システム1が動作するモード(例え、車両の自動駐車を行う駐車モードなど)を切換える。また、指令検出部73は、駐車位置の確定の指令を取得した場合、駐車位置が確定されたことを示す情報を出力部77に供給する。
表示位置設定部74は、図5などを参照して後述するように、ドライバの視線もしくは顔の方向、または、車外撮影部23により撮影された画像に基づいて、駐車マークを表示する位置を設定する。表示位置設定部74は、設定した表示位置を示す情報を、表示制御部75および出力部77に供給する。
表示制御部75は、図8などを参照して後述するように、直接表示部31または表示部32を制御して、表示位置設定部74により設定された表示位置に駐車マークを表示させる。
確定検出部76は、図20を参照して後述するように、ドライバの顔および視線の方向に基づいて、駐車マークが表示されている位置に車両の駐車位置を確定するか否かを判定する。確定検出部76は、駐車位置を確定すると判定した場合、駐車位置の確定を指示する情報を出力部77に供給する。
出力部77は、ドライバにより確定された駐車位置を示す情報を、ボディ系LAN14を介して、走行制御装置41に供給する。
次に、図3乃至図17を参照して、車載システム1により実行される駐車支援処理を説明する。なお、この処理は、例えば、車載システム1が設けられている車両のエンジンが始動されたとき開始される。
ステップS1において、指令検出部73は、駐車モードの設定が指令されたか否かを判定する。具体的には、例えば、ドライバは、車両(車載システム1)を駐車モードに設定する場合、入力部25に設けられているボタンやスイッチなどを操作したり、入力部25に設けられている音声認識装置に、駐車位置の設定の開始を指令する音声コマンド(例えば、「駐車位置設定開始」などの音声コマンド)を入力することにより、駐車モードの設定の指令を入力する。指令検出部73は、入力部25およびボディ系LAN14を介して、ドライバからの駐車モードの設定の指令を取得した場合、駐車モードの設定が指令されたと判定し、車載システム1を駐車モードに設定し、処理はステップS2に進む。
ステップS2において、駐車位置設定支援部11は、駐車マーク表示処理を行う。駐車マーク表示処理の詳細は、図5を参照して後述するが、この処理により、ドライバの視線の方向に基づいた位置に駐車マークが表示される。
ステップS3において、指令検出部73は、駐車位置が確定されたか否かを判定する。具体的には、例えば、ドライバが、駐車マークが表示されている位置に車両を駐車する位置を確定する場合、入力部25に設けられているボタンやスイッチなどを操作したり、入力部25に設けられている音声認識装置に、駐車位置の確定を指令する音声コマンド(例えば、「駐車位置確定」などの音声コマンド)を入力することにより、駐車位置が確定される。指令検出部73は、ドライバからの駐車位置の確定の指令を取得していない場合、駐車位置が確定されていないと判定し、処理はステップS2に戻る。その後、ステップS3において、駐車位置が確定されたと判定されるまで、ステップS2およびS3の処理が繰り返し実行される。
ステップS3において、指令検出部73は、入力部25およびボディ系LAN14を介して、ドライバからの駐車位置の確定の指令を取得した場合、駐車位置が確定されたと判定し、処理はステップS4に進む。すなわち、駐車マークが表示されている、ドライバの所望の位置に駐車位置が確定される。
ステップS4において、出力部77は、駐車位置を出力する。具体的には、指令検出部73は、駐車位置が確定されたことを示す情報を出力部77に供給する。出力部77は、ドライバにより設定された(確定された)駐車位置を示す情報を、ボディ系LAN14を介して、走行制御装置41に供給する。
なお、駐車位置を示す情報は、設定された駐車位置を走行制御装置41が認識できる情報であればよく、例えば、現在の車両の位置(例えば、車両の右前、左前、左後、右後の四隅の位置、タイヤの位置など)に対する、設定された駐車位置に駐車した状態における車両の相対位置などとされる。
これにより、ドライバが駐車したい位置が、確実かつ具体的に走行制御装置41に伝達される。
ステップS5において、走行制御装置41は、設定された駐車位置に車両を駐車させる。具体的には、例えば、ドライバが、入力部25に設けられているボタンやスイッチなどを操作したり、入力部25に設けられている音声認識装置に、自動駐車を指令する音声コマンド(例えば、「自動駐車」などの音声コマンド)を入力した場合、入力部25は、ボディ系LAN14を介して、ドライバからの自動駐車の指令を走行制御装置41に供給する。
走行制御装置41は、設定された駐車位置に車両を駐車するまでにタイヤが進むコースを計算する。走行制御装置41は、走行系LAN15を介して、ステアリング制御装置51、トランスミッション制御装置52、および、動力制御装置53に、計算したコースに沿った車両(タイヤ)の走行の指令を送信する。ステアリング制御装置51は、ステアリングアクチュエータ2を制御することにより、車両のステアリング(進行方向)を制御し、トランスミッション制御装置52は、トランスミッションアクチュエータ3を制御することにより、車両のトランスミッション(変速機)の切り替えを制御し、動力制御装置53は、動力アクチュエータ4を制御することにより、車両のエンジン(速度)を制御して、指定されたコースに沿って車両を走行させ、ドライバにより設定された駐車位置に車両を駐車させる。
例えば、図4に示されるように、地点L0にある車両101を、駐車枠102−1と車両103が駐車されている駐車枠102−3の間にある駐車枠102−2内に設定された駐車位置P0に駐車させる場合、まず、車両101は、地点L1および地点L2を経て、地点L3に到達するまで前進するように制御される。なお、地点L1に到達した場合に、車両101の進行方向が駐車枠102−2の長手方向とほぼ平行でない場合、ステアリング制御装置51は、車両101の進行方向が駐車枠102―2の長手方向とほぼ平行な方向となるように、ステアリングアクチュエータ2を制御する。
車両101が地点L3に到達すると、ステアリング制御装置51は、車両101の操舵角が左方向に最大となるように、ステアリングアクチュエータ2を制御し、トランスミッション制御装置52は、トランスミッションを後退(リバース)に設定するように、トランスミッションアクチュエータ3を制御し、地点L4に到達するまで車両101を後退させる。車両101が地点L4に到達すると、ステアリング制御装置51は、車両101の操舵角がほぼ0度となるように、ステアリングアクチュエータ2を制御し、さらに、地点L5に到達するまで車両101を後退させる。車両101が地点L5に到達すると、ステアリング制御装置51は、車両101の操舵角が右方向に最大となるように、ステアリングアクチュエータ2を制御し、車両101を駐車位置P0まで後退させ、車両101が駐車位置P0に達したとき自動駐車が完了する。
これにより、ドライバが指定した位置に自動的に車両が駐車される。
走行制御装置41は、自動駐車の完了を示す情報を、ボディ系LAN14を介して、指令検出部73に供給し、指令検出部73は、車載システム1に設定されている駐車モードを解除する。その後、処理はステップS6に進む。
なお、以上では、縦列駐車を例に挙げて説明したが、並列駐車などを行う場合も同様に、設定されたコースを進むように車両が制御され、設定された駐車位置に車両が移動し、駐車される。
ステップS1において、駐車モードの設定が指令されていないと判定された場合、ステップS2乃至S5の処理はスキップされ、処理はステップS6に進む。
ステップS6において、走行制御装置41は、エンジンが停止されたか否かを判定する。エンジンが停止されていないと判定された場合、処理はステップS1に戻り、その後、ステップS6において、エンジンが停止されたと判定されるまで、ステップS1乃至S6の処理が繰り返し実行される。
ステップS6において、例えば、ドライバが車両のエンジンを停止させる操作を行った場合、動力制御装置53は、動力アクチュエータ4を制御して、エンジンを停止させるとともに、エンジンの停止を通知する情報を、ボディ系LAN14を介して、走行制御装置41に供給する。走行制御装置41は、エンジンの停止を通知する情報を取得した場合、エンジンが停止されたと判定し、駐車支援処理は終了する。
次に、図5のフローチャートを参照して、図3のステップS2の駐車マーク表示処理の詳細を説明する。
ステップS21において、視線方向検出部72は、ドライバ撮影部21により撮影されたドライバの顔画像に基づいて、所定の手法を用いて、ドライバの視線の方向を検出する。視線方向検出部72は、検出したドライバの視線の方向を示す情報を表示位置設定部74に供給する。
ステップS22において、表示位置設定部74は、駐車マークの表示位置をドライバの視線方向に設定する。表示位置設定部74は、設定した表示位置を示す情報を表示制御部75に供給する。
例えば、図6に示されるように、ドライバ111が、車両112と車両113の間の位置114に車両101を駐車しようとした場合、位置114のほぼ中央の位置P1(図内、矢印E1の方向)に視線を向けることにより、駐車マークの表示位置が位置P1に設定される。
ステップS23において、直接表示部31または表示部32は、表示制御部75の制御の基に、駐車マークを表示し、駐車マーク表示処理は終了する。
ここで、図7乃至図15を参照して、駐車マークの表示方法の実施の形態を説明する。
まず、図7および図8を参照して、駐車マークの表示方法の第1の実施の形態を説明する。第1の実施の形態では、以下に述べるように、直接表示部31により、駐車マークが路面上に直接表示される。
図7は、直接表示部31の第1の実施の形態を示すブロック図である。図7の直接表示部31は、レーザダイオード121、2軸回転アクチュエータ122、および、回転制御部123を含むように構成される。
レーザダイオード121は、一端が2軸回転アクチュエータ122に取り付けられており、2軸回転アクチュエータ122に取り付けられている一端とは異なる一端から、可視光であるレーザビームが、レーザダイオード121の長手方向(図内、矢印F1の方向)に投射される。
2軸回転アクチュエータ122は、互いにほぼ直交する第1の軸と第2の軸の2つの軸を備えており、回転制御部123の制御の基に、第1の軸または第2の軸が所定の角度だけ回転する。2軸回転アクチュエータ122は、第1の軸が路面に対してほぼ垂直方向を向き、第2の軸が路面に対してほぼ水平方向を向くように車両に設置される。すなわち、レーザダイオード121からのレーザビームの投射方向は、2軸回転アクチュエータ122の第1の軸が回転することにより、路面とほぼ水平な方向に回転し、第2の軸が回転することにより、路面とほぼ垂直な方向に回転する。
図8は、図7の直接表示部31の設置位置および駐車マークの表示の例を模式的に示す図である。図8の上側の図は、車両101をほぼ真上から見た図であり、下側の図は、車両101(ただし、車両101の表示は省略されている)を左側から見た図である。
図8の例においては、直接表示部31は、レーザダイオード121からのレーザビームが車両101の前方に投射されるように、車両101の車室内のルームミラー(図示せず)の背面(車両101の前方側)に設置されている。
例えば、ドライバ111が、矢印E11により示される方向、すなわち、車両101の左斜め前の路面上の位置P11に視線を向けた場合、視線方向検出部72は、ドライバ111の視線の方向として、矢印E11により示される方向を検出し、検出した視線の方向を示す情報を表示位置設定部74に供給する。
表示位置設定部74は、ドライバ111の視線の方向にある(視線が路面と交わる)位置P11を駐車マークの表示位置として設定し、設定した表示位置を示す情報を表示制御部75に供給する。
表示制御部75は、ドライバ111の目の位置とレーザダイオード121の投射口の位置との違いに基づいて、レーザダイオード121の投射口から位置P11に向かう方向D11を算出する。表示制御部75は、算出した方向D11を示す情報を、ボディ系LAN14を介して、回転制御部123に供給する。
回転制御部123は、指定された方向D11にレーザダイオード121からレーザビームが投射されるように、2軸回転アクチュエータ122を回転させる。これにより、位置P11付近に駐車マーク131−1が表示される。
また、同様に、例えば、ドライバ111が、矢印E12により示される方向、すなわち、車両101のほぼ正面の路面上の位置P12に視線を向けた場合、レーザダイオード121からレーザビームが方向D12に投射され、位置P12付近に駐車マーク131−2が表示され、ドライバ111が、矢印E13により示される方向、すなわち、車両101の右斜め前の路面上の位置P13に視線を向けた場合、レーザダイオード121からレーザビームが方向D13に投射され、位置P13付近に駐車マーク131−3が表示される。
なお、駐車マーク131−1乃至131−3は、例えば、所定の大きさの点として表示される。また、ドライバが駐車マーク131−1乃至131−3を見つけやすくするように、例えば、駐車マーク131−1乃至131−3を点滅させたり、レーザビームの投射方向を移動させて、駐車マーク131−1乃至131−3を楕円形など簡単な形状として表示されるようにしてもよい。
このように駐車マークが路面に表示されるので、例えば、駐車したい方向に顔や視線を向けるだけの場合と比較して、確実に所望の位置に駐車位置を設定することが可能になる。
次に、図9および図10を参照して、駐車マークの表示方法の第2の実施の形態を説明する。第2の実施の形態では、以下に述べるように、直接表示部31を用いて、車両の底面とほぼ同じ面積および形状の駐車マークが、路面上に直接表示される。
図9は、直接表示部31の第2の実施の形態を示すブロック図である。図9の直接表示部31は、DLP(Digital Light Processing)(商標)プロジェクタ151、2軸回転アクチュエータ152、および、回転制御部153により構成される。
DLPプロジェクタ151は、DLP制御部161、DLP表示部162、および、投射レンズ163を含むように構成される。DLP表示部162は、DLP制御部161の制御の基に、投射レンズ163を介して、矢印F2の方向に光を投射することにより、スクリーンなどの投射面に画像を映す。また、DLP表示部162の投射レンズ163が取り付けられている一端とは異なる一端は、2軸回転アクチュエータ152に取り付けられている。
2軸回転アクチュエータ152は、互いにほぼ直交する第1の軸と第2の軸の2つの軸を備えており、回転制御部153の制御の基に、第1の軸または第2の軸が所定の角度だけ回転する。2軸回転アクチュエータ152は、第1の軸が路面に対してほぼ垂直方向を向き、第2の軸が路面に対してほぼ水平方向を向くように車両に設置される。すなわち、DLPプロジェクタ151からの光の投射方向は、2軸回転アクチュエータ122の第1の軸が回転することにより、路面とほぼ水平な方向に回転し、第2の軸が回転することにより、路面とほぼ垂直な方向に回転する。
図10は、図9の直接表示部31の設置位置および駐車マークの表示の例を模式的に示す図である。図10の上側の図は、車両101をほぼ真上から見た図であり、下側の図は、車両101(ただし、車両101の表示は省略されている)を左側から見た図である。
図10の例においては、直接表示部31は、DLPプロジェクタ151からの投射光が車両101の前方に出射されるように、車両101の車室内のルームミラーの背面(車両101の前方側)に設置されている。
例えば、ドライバ111が、矢印E21により示される方向、すなわち、車両101の左斜め前の路面上の位置P21に視線を向けた場合、視線方向検出部72は、ドライバ111の視線の方向として、矢印E21により示される方向を検出し、検出した視線の方向を示す情報を表示位置設定部74に供給する。
表示位置設定部74は、ドライバ111の視線の方向にある(視線が路面と交わる)位置P21を駐車マークの表示位置として設定し、設定した表示位置を示す情報を表示制御部75に供給する。
表示制御部75は、ドライバ111の目の位置とDLPプロジェクタ151の投射口の位置との違いに基づいて、DLPプロジェクタ151の投射口から位置P21に向かう方向D21を算出する。表示制御部75は、算出した方向D21を示す情報を、ボディ系LAN14を介して、回転制御部153に供給する。
回転制御部153は、指定された方向D21にDLPプロジェクタ151から投射光が投射されるように、2軸回転アクチュエータ152を回転させる。これにより、位置P21をほぼ中心とする路面上に、車両101の底面とほぼ同じ面積かつ形状の長方形の駐車マーク171−1が表示される。
また、同様に、例えば、ドライバ111が、矢印E22により示される方向、すなわち、車両101のほぼ正面の路面上の位置P22に視線を向けた場合、DLPプロジェクタ151から投射光が方向D22に投射され、位置P22をほぼ中心とする路面上に駐車マーク171−2が表示され、ドライバ111が、矢印E23により示される方向、すなわち、車両101の右斜め前の路面上の位置P22に視線を向けた場合、DLPプロジェクタ151から投射光が方向D23に出射され、位置P23をほぼ中心とする路面上に駐車マーク171−3が表示される。
なお、DLPプロジェクタ151の投射面である路面は、DLPプロジェクタ151からの投射光に対して垂直方向ではないため、長方形の形状の駐車マークをそのまま路面に投射すると、台形などの歪んだ形状になる。これを防止するために、投射する駐車マークの形状を補正するようにすることが望ましい。また、路面に焦点が合うように、DLPプロジェクタ151の光学系が自動的に制御されるようにすることが望ましい。
このように、車両101の底面とほぼ同じ面積かつ形状の駐車マークを表示することにより、ドライバは、駐車後の車の位置とその周囲との関係を、容易かつ正確に把握することができる。従って、ドライバは、例えば、その位置に駐車可能であるか否か、他の車両や障害物に接触せずに通過可能であるか否かなどを容易に把握できる。
次に、図11を参照して、駐車マークの表示方法の第3の実施の形態を説明する。第3の実施の形態では、以下に述べるように、車外撮影部23により撮影された、車両の周辺の画像に、駐車マークが重畳されて、表示部32に表示される。
図11は、第3の実施の形態において、表示部32に表示される画面の例を模式的に示す図である。なお、図11の例において、表示部32は、運転席前方のダッシュボード(インストルメントパネル)上部中央付近、すなわち、ドライバから見て、左斜め前方に設置され、ドライバの頭部付近を撮影するように、表示部32の上方に、ドライバ撮影部21である1台のカメラが設置されているものとする。
表示部32の画面には、車外撮影部23により撮影された車両の周辺の画像201が表示される。図11の例においては、路面の左側に駐車枠212−1乃至212−3が設けられた車両前方の道路211が画像201に映っている。また、表示部32の画面は、表面にタッチパネルが設けられたタッチスクリーンとなっており、画像201の下部に表示されているボタン202乃至204に触れることにより、所定の操作を行うことができる。
例えば、ドライバが、ボタン202に指先などで触れると(ボタン202にタッチすると)、車載システム1が駐車モードに設定される。車載システム1が駐車モードに設定されると、表示位置設定部74は、視線方向検出部72により検出されたドライバの視線の方向に基づいて、ドライバの視線が向けられている表示部32の画面上の位置である注目位置を検出し、駐車マークの表示位置を注目位置に設定する。表示位置設定部74は、設定した表示位置を示す情報を表示制御部75に供給する。
表示制御部75は、設定された表示位置に駐車マークを表示するように指示する情報を、ボディ系LAN14を介して、表示部32に供給する。
表示部32は、指定された表示位置に駐車マーク213を表示する。駐車マーク213は、例えば、駐車マーク213が表示されている位置に進んだ場合における車両とほぼ
同じ大きさおよび形状のワイヤフレームによる図形として表示される。これにより、ドライバは、駐車マーク213に示される位置に到達した場合の車両の状態を直感的に把握することができる。また、駐車マーク213は、ドライバの視線の方向に従って、表示部32の画面上を移動する。
ドライバは、ボタン203にタッチすることにより、駐車位置を確定することができ、ボタン204にタッチすることにより、設定した駐車位置への自動駐車を開始させることができる。
これにより、ドライバは、表示部32を見ながら駐車マークの表示位置を設定することができ、例えば、表示部32に表示されている場所であれば、ドライバの死角になっている場所にも駐車位置に設定することが可能となる。
また、例えば、ドライバが車両の前方を見た光景とほぼ同じ光景を撮影できるように運転席付近に車外撮影部23を設置することにより、駐車マークにより示される駐車位置をドライバが直感的に把握することができるようになる。
次に、図12および図13を参照して、駐車マークの表示方法の第4の実施の形態を説明する。第4の実施の形態は、以下に述べるように、第1の実施の形態または第2の実施の形態と第3の実施の形態とを組み合わせたものである。
図12は、第4の実施の形態における各撮影部および表示部の設置位置の例を模式的に示す図である。図12の上側の図は、車両101をほぼ真上から見た図であり、下側の図は、車両101(ただし、車両101の表示は省略されている)を左側から見た図である。
図12の例においては、図11の例と同様に、表示部32が、運転席前方のダッシュボード(インストルメントパネル)上部中央付近、すなわち、ドライバ111から見て、左斜め前方に設置され、表示部32の上方に、ドライバ撮影部21である1台のカメラが設置されている。また、ドライバ111の上方に、車両の前方の光景を撮影するように車外撮影部23である1台のカメラが設置され、車外撮影部23とほぼ同じ位置に直接表示部31が設置されている。なお、以下、直接表示部31が、図10に示される構成とされる場合の例について説明する。
図13は、第4の実施の形態において、表示部32に表示される画面の例を模式的に示す図である。なお、図11と対応する部分については、同じ符号を付してあり、内容が同じ部分については、その説明は繰り返しになるので省略する。
第4の実施の形態においては、第3の実施の形態のように、車外撮影部23により撮影された画像に駐車マークを重畳させて表示させるのではなく、直接表示部31により路面上に表示された駐車マークの周辺を車外撮影部23により撮影した画像が表示部32に表示される。
例えば、ドライバが、ボタン202にタッチし、車載システム1が駐車モードに設定されると、表示位置設定部74は、視線方向検出部72により検出されたドライバの視線の方向E31に基づいて、ドライバの視線が向けられている表示部32の画面上の注目位置を検出し、駐車マークの表示位置を注目位置に設定する。表示位置設定部74は、設定した表示位置を示す情報を表示制御部75に供給する。
表示制御部75は、設定された表示位置に駐車マーク241を表示するためのDLPプロジェクタ151の投射方向D31を算出し、算出した方向D31を示す情報を、ボディ系LAN14を介して、回転制御部153に供給する。
回転制御部153は、指定された方向D31にDLPプロジェクタ151から投射光が投射されるように、2軸回転アクチュエータ152を回転させる。これにより、位置P31をほぼ中心とする路面上に、車両101の底面とほぼ同じ面積かつ形状の長方形の駐車マーク241が表示される。
車外撮影部23は、路面上に表示された駐車マーク241を含む車両の前方の光景を撮影し、車外撮影部23により撮影された画像231が表示部32に表示される。
これにより、ドライバは、実際に路面上に表示された駐車マーク241を表示部32の画面により確認することができる。
次に、図14および図15を参照して、駐車マークの表示方法の第5の実施の形態を説明する。第5の実施の形態は、以下に述べるように、上述した第4の実施の形態において、車外に設置された撮像装置により撮影された画像を表示部32により表示させるようにしたものである。
図14は、第5の実施の形態において、車外に設置される撮像装置251の設置位置の例を示す図である。撮像装置251は、上方から駐車場を俯瞰した光景を撮影できるように設置ポール252に設置されている。なお、図14においては、撮像装置251の下方(撮像装置251の画角内)に、車両101および253が停車している場合の例を示している。
車載システム1が設けられた車両101が、撮像装置251に接近すると、撮像装置251により撮影された画像が、無線通信により通信部26に送信されてくる。通信部26は、ボディ系LAN14を介して、受信した画像を表示部32に供給し、表示部32は、受信した画像を表示させる。
図15は、第5の実施の形態において、表示部32に表示される画面の例を模式的に示す図である。なお、図13と対応する部分については、同じ符号を付してあり、内容が同じ部分については、その説明は繰り返しになるので省略する。
画像261は、撮像装置251により撮影された画像であり、撮像装置251の画角内にある車両101、駐車枠262−1乃至262−3、駐車枠262−1に駐車されている車両253、および、駐車枠262−3に駐車されている車両263が写っている。また、車両101を運転しているドライバの視線の方向にある駐車枠262−2内に、直接表示部31により表示された駐車マーク264が写っている。
第5の実施の形態によれば、ドライバが見ることができない方向から撮影された画像に駐車マークが重畳されて表示されるので、ドライバの視点とは異なる視点から駐車位置を確認することができる。例えば、図14および図15の例においては、車両101の周囲に、背の高いトラックなどドライバの視線を遮るものがあっても、駐車位置を確認しながら確実に設定することができる。
なお、図14の撮像装置251の設置位置は、その一例であり、必要に応じて、他の位置(例えば、駐車場の壁面など)に設置するようにしてもよい。
また、撮像装置251により撮影された画像の代わりに、車内に設置した車外撮影部23により撮影した画像を、3次元空間における歪みを補正して、上方から見た画像に変換して、表示部32に表示するようにしてもよい。
なお、以上で説明した、直接表示部31による駐車マークの表示と表示部32による駐車マークの表示を同時に行ったり、あるいは、車両の位置に応じて切換えるようにしてもよい。
以上のようにして、ドライバは、駐車したい位置に視線を向け、表示される駐車マークを確認しながら、所望の位置に確実に駐車位置を設定することができ、さらに、駐車するための運転操作を行わずに、簡単かつ確実に所望の位置に駐車することができる。
以上では、駐車マークをドライバの視線方向に表示する例を示したが、駐車枠が表示されている場所に車両を駐車する場合、駐車マークをドライバの視線方向にそのまま表示するのではなく、駐車枠内に駐車位置を設定できるように、駐車マークの表示位置を設定するようにすれば、ドライバの利便性が向上する。
ここで、図16のフローチャートを参照して、図3のステップS3の駐車マーク表示処理において、駐車枠内に駐車位置を設定できるように、駐車マークの表示位置を設定するようにした場合の処理を説明する。
ステップS41において、図5のステップS21の処理と同様に、ドライバの視線の方向が検出され、検出されたドライバの視線の方向を示す情報が表示位置設定部74に供給される。
ステップS42において、表示位置設定部74は、視線方向に駐車枠があるか否かを判定する。具体的には、表示位置設定部74は、車外撮影部23により撮影された、ドライバが見ている付近の画像を取得する。表示位置設定部74は、取得した画像の中から、例えば、パターンマッチングなどの方法を用いて、駐車枠を検出する。
上述した駐車マークの表示方法の第1または第2の実施の形態の場合、表示位置設定部74は、ドライバの視線が路面と交わる位置が、検出した駐車枠内に含まれる場合、すなわち、ドライバの視線に方向に駐車枠が検出された場合、視線方向に駐車枠があると判定し、処理はステップS43に進む。
また、上述した駐車マークの表示方法の第3乃至第5の実施の形態の場合、表示位置設定部74は、ドライバの視線が向けられている表示部32の画面上の位置である注目位置が、画面に表示されている駐車枠内に含まれる場合、すなわち、注目位置に映っている駐車枠が検出された場合、視線方向に駐車枠があると判定し、処理はステップS43に進む。
図17は、車両101を駐車枠301−2内に駐車させる場合の例を説明するための図である。なお、駐車枠301−2の前後には、駐車枠301−1および301−3が並んでおり、駐車枠301−3内には、車両302が駐車されている。
例えば、ドライバ111の視線が、図内の矢印E101乃至E103のいずれかの方向を向いていることが検出された場合、ドライバ111の視線が路面と交わる位置が駐車枠301−2内に含まれるため、ドライバの視線方向に駐車枠301−2があると判定される。
ステップS43において、表示位置設定部74は、車両を前記駐車枠内に駐車させる位置に表示位置を設定する。具体的には、例えば、表示位置設定部74は、駐車マークの表示位置を、駐車枠の中央付近に設定する。例えば、図17に示される例の場合、駐車枠301−2の中央付近の位置P101が、駐車マークの表示位置として設定される。その後、処理はステップS45に進む。
ステップS42において、視線方向に駐車枠がないと判定された場合、処理はステップS44に進む。
ステップS44において、上述した図5のステップS22の処理と同様に、駐車マークの表示位置がドライバの視線方向に設定される。
ステップS45において、上述した図5のステップS23の処理と同様に、設定された表示位置に駐車マークが表示され、駐車マーク表示処理は終了する。
例えば、駐車マークの表示方法の第2の実施の形態においては、図17の位置P101を中心とする駐車枠301−2内に、駐車マーク303が表示される。
このように、駐車枠内に駐車マークを簡単に表示させることができ、簡単に駐車枠内に車両を駐車できるように駐車位置を設定することができる。
次に、図18のフローチャートを参照して、車載システム1により実行される駐車支援処理の第2の実施の形態を説明する。なお、この実施の形態においては、ドライバの視線および顔の方向により、駐車マークの表示位置を微調整することが可能とされる。
ステップS101において、上述した図3のステップS1の処理と同様に、駐車モードの設定が指令されたか否かが判定される。駐車モードの設定が指令されたと判定された場合、処理はステップS102に進む。
ステップS102において、指令検出部73は、微調整モードの設定が指令されたか否かを判定する。具体的には、例えば、ドライバは、車両(車載システム1)を微調整モードに設定する場合、入力部25に設けられているボタンやスイッチなどを操作したり、入力部25に設けられている音声認識装置に、駐車マークの表示位置の微調整の開始を指令する音声コマンド(例えば、「微調整」などの音声コマンド)を入力することにより、微調整モードの設定の指令を入力する。
指令検出部73は、微調整モードの設定の指令を取得していない場合、微調整モードの設定が指令されていないと判定し、処理はステップS103に進む。
ステップS103において、上述した図3のステップS2の処理と同様に、駐車マーク表示処理が行われる。
ステップS104において、上述した図3のステップS3の処理と同様に、駐車位置が確定されたか否かが判定される。駐車位置が確定されていないと判定された場合、処理はステップS102に戻る。
ステップS102において、指令検出部73は、入力部25およびボディ系LAN14を介して、微調整モードの設定の指令を取得した場合、微調整モードの設定が指令されたと判定し、車載システム1を微調整モードに設定し、処理はステップS105に進む。
ステップS105において、駐車位置設定支援部11は、表示位置微調整処理を実行する。表示位置微調整処理の詳細は、図19を参照して後述するが、この処理により、駐車マークの表示位置が微調整される。
ステップS106において、上述した図3のステップS3の処理と同様に、駐車位置が確定されたか否かが判定される。駐車位置が確定されていないと判定された場合、処理はステップS107に進む。
ステップS107において、指令検出部73は、微調整モードの解除が指令されたか否かを判定する。具体的には、例えば、ドライバは、微調整モードを解除する場合、入力部25に設けられているボタンやスイッチなどを操作したり、入力部25に設けられている音声認識装置に、駐車マークの表示位置の微調整の終了を指令する音声コマンド(例えば、「微調整終了」などの音声コマンド)を入力することにより、微調整モードの解除の指令を入力する。
指令検出部73は、微調整モードの設定の指令を取得していない場合、微調整モードの解除が指令されていないと判定し、処理はステップS105に戻り、ステップS106において、駐車位置が確定されたと判定されるか、ステップS107において、微調整モードが解除されたと判定されるまで、ステップS105乃至S107の処理が繰り返し実行される。
ステップS107において、指令検出部73は、入力部25およびボディ系LAN14を介して、微調整モードの解除の指令を取得した場合、微調整モードの解除が指令されたと判定し、車載システム1を駐車モードに設定し、処理はステップS102に戻る。その後、ステップS104またはS106において、駐車位置が確定されたと判定されるまで、ステップS102乃至S107の処理が繰り返し実行される。
ステップS104またはS106において、駐車位置が確定されたと判定された場合、処理はステップS108に進む。
ステップS108において、上述した図3のステップS3の処理と同様に、ボディ系LAN14を介して、出力部77から走行制御装置41に、設定された駐車位置を示す情報が供給される。
ステップS109において、上述した図3のステップS5の処理と同様に、設定された駐車位置に車両が駐車される。その後、処理はステップS110に進む。
ステップS101において、駐車モードの設定が指令されていないと判定された場合、ステップS102乃至S109の処理はスキップされ、処理はステップS110に進む。
ステップS110において、上述した図3のステップS6の処理と同様に、エンジンが停止されたか否かが判定され、エンジンが停止したと判定されていないと判定された場合、処理はステップS101に戻る。その後、ステップS110において、エンジンが停止されたと判定されるまで、ステップS101乃至S110の処理が繰り返し実行される。
ステップS110において、エンジンが停止されたと判定された場合、駐車支援処理は終了する。
次に、図19のフローチャートを参照して、図18のステップS105の表示位置微調整処理の詳細を説明する。
ステップ131において、顔方向検出部71は、ドライバ撮影部21により撮影されたドライバの顔画像に基づいて、所定の手法を用いて、ドライバの顔の方向を検出する。顔方向検出部71は、検出したドライバの顔の方向を示す情報を表示位置設定部74に供給する。
ステップS132において、上述した図5のステップS21の処理と同様に、ドライバの視線の方向が検出され、検出されたドライバの視線の方向を示す情報が表示位置設定部74に供給される。
ステップS133において、表示位置設定部74は、ドライバの顔と視線の方向が一致するか否かを判定する。具体的には、表示位置設定部74は、顔方向検出部71により検出されたドライバの顔の方向と視線方向検出部72により検出されたドライバの視線の方向との差が所定の閾値(例えば、5度)以上である場合、ドライバの顔と視線の方向が一致しないと判定し、処理はステップS134に進む。
ステップS134において、表示位置設定部74は、移動ベクトルを検出する。具体的には、表示位置設定部74は、ドライバの視線の方向を基準とする顔の方向を示すベクトルを、移動ベクトルとして検出する。
ステップS135において、表示位置設定部74は、移動ベクトルに基づいて、駐車マークの表示位置を設定する。具体的には、表示位置設定部74は、現在の表示位置から、移動ベクトルにより示される方向および距離だけ移動した位置に、駐車マークの表示位置を設定する。すなわち、ドライバの視線の方向に対する顔の方向に駐車マークの表示位置が移動される。
これにより、例えば、駐車マークが表示された位置が所望の位置からずれていたとき、表示された駐車マーク付近から視線を動かすことなく、駐車マークを移動させたい方向に首を振ることにより、駐車マークを所望の位置に表示させることができる。なお、微調整する際に、駐車マークの表示位置が所望の位置より行きすぎてしまった場合には、逆方向に首を振ることにより、駐車マークを所望の位置に表示させることができる。
その後、処理はステップS137に進む。
ステップS133において、表示位置設定部74は、顔方向検出部71により検出されたドライバの顔の方向と視線方向検出部72により検出されたドライバの視線の方向の差が所定の閾値未満である場合、ドライバの顔と視線の方向が一致すると判定し、処理はステップS136に進む。
ステップS136において、上述した図5のステップS22の処理と同様に、駐車マークの表示位置がドライバの視線の方向に設定される。
ステップS137において、上述した図5のステップS23の処理と同様に、駐車マークが表示され、表示位置微調整処理は終了する。
このように、駐車マークの表示位置を所望の位置に簡単に微調整することができる。
次に、図20のフローチャートを参照して、車載システム1により実行される駐車支援処理の第3の実施の形態を説明する。なお、この実施の形態においては、ドライバが顔を移動させることにより、駐車位置を確定することが可能とされる。
ステップS201において、上述した図3のステップS1の処理と同様に、駐車モードの設定が指令されたか否かが判定される。駐車モードの設定が指令されたと判定された場合、処理はステップS202に進む。
ステップS202において、上述した図3のステップS2の処理と同様に、駐車マーク表示処理が行われる。
ステップS203において、確定検出部76は、ドライバの視線が所定の時間静止したか否かを判定する。具体的には、確定検出部76は、ドライバの視線方向を示す情報を視線方向検出部72から取得する。確定検出部76は、ドライバの視線が所定の時間(例えば、0.5秒)の間に動いた角度が、所定の閾値(例えば、10度)以上である場合、ドライバの視線が所定の時間静止していないと判定し、処理はステップS202に戻る。その後、ステップS203において、ドライバの視線が所定の時間静止したと判定されるまで、ステップS202およびS303の処理が繰り返し実行される。
ステップS203において、確定検出部76は、ドライバの視線が所定の時間の間に動いた角度が、所定の閾値未満である場合、ドライバの視線が所定の時間静止したと判定し、処理はステップS204に進む。
ステップS204において、確定検出部76は、ドライバの顔の移動方向を確認する。具体的には、確定検出部76は、ドライバの顔の方向を示す情報を顔方向検出部71から取得する。確定検出部76は、ドライバの視線が静止していると判定されてから所定の時間(例えば、2秒間)における、顔方向検出部71により検出されたドライバの顔の方向を確認する。
ステップS205において、確定検出部76は、ドライバの顔が左右に動いたか否かを判定する。具体的には、確定検出部76は、ステップS204の処理の結果に基づいて、所定の時間内にドライバの顔が左右方向に所定の角度(例えば、90度)以上動いた回数が所定の回数(例えば、2回)以上であることを検出した場合、ドライバの顔が左右に動いたと判定し、処理はステップS202に戻る。その後、ステップS205において、ドライバの顔が左右に動いていないと判定されるまで、ステップS202乃至S205の処理が繰り返し実行される。
ステップS205において、確定検出部76は、ステップS204の処理の結果に基づいて、所定の時間内にドライバの顔が左右方向に所定の角度以上動いた回数が所定の回数未満であることを検出した場合、ドライバの顔が左右に動いていないと判定し、処理はステップS206に進む。
ステップS206において、確定検出部76は、ドライバの顔が上下に動いたか否かを判定する。具体的には、確定検出部76は、ステップS204の処理の結果に基づいて、所定の時間内にドライバの顔が上下方向に所定の角度(例えば、30度)以上動いた回数が所定の回数(例えば、2回)未満であることを検出した場合、ドライバの顔が上下に動いていないと判定し、処理はステップS202に戻る。その後、ステップS206において、ドライバの顔が上下に動いたと判定されるまで、ステップS202乃至S206の処理が繰り返し実行される。
ステップS206において、確定検出部76は、ステップS204の処理の結果に基づいて、所定の時間内にドライバの顔が上下方向に所定の角度以上動いた回数が所定の回数以上であることを検出した場合、ドライバの顔が上下に動いたと判定し、すなわち、現在駐車マークが表示されている位置に駐車位置を確定すると判定し、処理はステップS207に進む。
ステップS207において、出力部77は、駐車位置を出力する。具体的には、確定検出部76は、駐車位置の確定を指示する情報を出力部77に供給する。出力部77は、ドライバにより設定された(確定された)駐車位置を示す情報を、ボディ系LAN14を介して、走行制御装置41に供給する。
ステップS208において、上述した図3のステップS5の処理と同様に、設定された駐車位置に車両が駐車される。その後、処理はステップS209に進む。
ステップS201において、駐車モードの設定が指令されていないと判定された場合、ステップS202乃至S208の処理はスキップされ、処理はステップS209に進む。
ステップS209において、上述した図3のステップS6の処理と同様に、エンジンが停止されたか否かが判定される。エンジンが停止されていないと判定された場合、処理はステップS201に戻り、ステップS209において、エンジンが停止されたと判定されるまで、ステップS201乃至S209の処理が繰り返し実行される。
ステップS209において、エンジンが停止されたと判定された場合、駐車支援処理は終了する。
このように、所望の位置に駐車マークが表示された場合、所定の間視線を固定した後、顔を上下に振り、すなわち、駐車位置の確定の意思を示す動作をすることにより、駐車位置を確定することができる。すなわち、視線および顔を動かすだけで、駐車位置を設定することができる。
以上のように、ドライバは、駐車位置付近に来たら、車両を止めて、駐車したい位置に視線を向けるだけで、駐車位置を設定することができ、設定された駐車位置に車両を自動的に駐車させることができる。従って、例えば、運転に不慣れなドライバや他人の車両を借りて運転しているドライバも、極めて円滑かつ安全に所望の位置に車両を駐車させることができる。
なお、以上の説明では、ドライバの顔の画像に基づいて、ドライバの顔または視線の方向を検出する例を示したが、例えば、ドライバの頭部に方向センサなどを取り付けて、その方向センサによりドライバの顔または視線の方向を検出するようにしてもよい。
また、以上の説明では、音声コマンド、ボタンなどを用いて、ドライバが車載システム1に指令を出す例を示したが、その他にも、例えば、ドライバのジェスチャに基づいて、ドライバからの指令を検出するようにしたり、リモートコントローラを用いて、車載システム1に指令を出すようにしてもよい。
さらに、本発明の実施の形態では、ドライバの視線の方向に基づいて、駐車位置までの経路を設定することができるようにしてもよい。例えば、ドライバが、経路の設定の開始を指令する音声コマンド(例えば、「経路設定」などの音声コマンド)を入力した後、現在の車両の位置から駐車位置までの経路に沿って視線を移動させる。表示位置設定部74は、視線方向検出部72により検出された視線が移動した経路を示す情報を表示制御部75に供給する。表示制御部75は、検出された経路の表示を指示する情報を、ボディ系LAN14を介して、表示部32に供給する。表示部32は、検出された経路を示す矢印などの表示を表示中の画像に重畳させて表示する。これにより、例えば、車両間隔が狭い駐車場内において、周囲の車両と接触しないように駐車する経路を正確に指定することができる。
また、車外撮影部23により撮影された画像に基づいて、車両の周囲の障害物を検出し、検出した障害物に接触しないような経路を自動的に検出するようにしてもよい。
さらに、以上の説明では、自動駐車を行うことにより、ドライバを支援する例を示したが、その他の方法(例えば、音声ガイダンスなど)により、設定した駐車位置への車両の移動を支援するようにしてもよい。
また、本発明の実施の形態では、例えば、駐車が完了したときに、駐車位置を示す情報を、警備会社などに通知しておくことにより、駐車中に車両の異常が検出された場合、警備員などを迅速に駐車位置に向かわせることができる。
さらに、本発明の実施の形態では、駐車時に車外撮影部23により撮影された画像を他の目的に利用することも可能である。例えば、駐車時に、接触事故などを起してしまった場合、車外撮影部23により撮影された画像から、相手の車両に関する情報、自分の車両と相手の車両との位置関係などの詳細な情報を取得することができ、正確な事実関係に基づいて、事故処理や保険の請求などを行うことができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図21は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ500の構成の例を示すブロック図である。CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記録部508に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが適宜記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501にはまた、バス504を介して入出力インタフェース505が接続されている。入出力インタフェース505には、キーボード、マウス、マイクロホンなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行する。そして、CPU501は、処理の結果を出力部507に出力する。
入出力インタフェース505に接続されている記録部508は、例えばハードディスクからなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部509を介してプログラムを取得し、記録部508に記憶してもよい。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア511が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部508に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図21に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア511、または、プログラムが一時的もしくは永続的に格納されるROM502や、記録部508を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部509を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。