JP6390032B2 - ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置 - Google Patents

Description

本発明は、運転者の前方に虚像を結像させて必要な情報を表示する車両用ヘッドアップディスプレイ装置に関するものである。

昨今、航空機や自動車等のフロントウインドウガラスに表示像を投影して、操縦者や運転者の前方に虚像を結像させて、視線を前方からそらすことなく表示像を視認することが可能なヘッドアップディスプレイ装置が実用化されている（例えば特許文献１，非特許文献１）。

このようなヘッドアップディスプレイ装置にあっては、コンバイナと呼ばれる反射部材やフロントウインドウガラスに虚像を表示しているため、表示される虚像には歪が生じていた。そのため、例えば特許文献１にあっては、虚像を投影する光学系の光学パラメータを調整することによって、虚像の歪を低減させていた。また、非特許文献１にあっては、視点移動に対応して虚像の歪補正を行っていた。

米国特許第３７２３８０５号

Folker Wientapper, 他３名, "A Camera-Based Calibration for Automotive Augmented Reality Head-Up-Displays", IEEE International Symposium on Mixed and Augmented Reality 2013 Science and Technology Proceedings, 1-4 October 2013, Adelaide, SA, Australia

しかしながら、特許文献１に記載されたヘッドアップディスプレイ装置にあっては、観測者の視点位置の移動には対応していなかった。

したがって、観測者が、予め決められた位置にいるときには歪のない虚像を観測することができるが、観測者の視点位置が移動したときには、虚像の歪が発生して、その歪を補正することはできないという問題があった。

また、非特許文献１に記載されたヘッドアップディスプレイ装置にあっては、予め、既知のドットパターンをヘッドアップディスプレイに表示して、この表示像をカメラを移動させながら撮影することによって観測画像を得、この観測画像におけるドットパターンを表す点の位置と、歪のない理想的な表示像の点の位置と、の差を視点位置（カメラ位置）とカメラ画像の座標の三次多項式で表して、その係数を最小二乗法によって求めていた。

その際、カメラを移動させながら多くの枚数（例えば１０００枚以上）の画像を撮像する必要があるため、作業の手間がかかるという問題があった。

本発明は、このような従来の問題点に鑑みなされたもので、視点位置に関わらず歪のないヘッドアップディスプレイの投影像を、少ない計算量で効率よく生成することを目的とするものである。

前記課題を解決するために、本発明に係るヘッドアップディスプレイの歪補正方法は、運転者の前方視界の中に虚像を表示するヘッドアップディスプレイの歪補正方法であって、運転者の視点の位置に相当する位置に車両の前方へ向けて撮像部を設置する撮像部設置プロセスと、前記撮像部が所定の方向に向くように調整する観測方向調整プロセスと、前記撮像部の設置位置を検出する撮像部位置検出プロセスと、運転者の前方視界の中に基準パターンを投影して投影像を生成する基準パターン投影プロセスと、前記投影像を前記撮像部で撮像して撮像画像を得る投影像撮像プロセスと、前記基準パターンを構成する点の座標と、前記撮像画像の中の前記点と同じ点の座標と、の間の第１の座標対応関係を算出する第１の座標対応関係算出プロセスと、前記撮像部の設置位置を変更する撮像部位置変更プロセスと、前記撮像部の各設置位置において、前記第１の座標対応関係算出プロセスを繰り返して行うことによって得られた各第１の座標対応関係をそれぞれ記憶する第１の座標対応関係記憶プロセスと、運転者の視点の位置を検出する運転者視点位置検出プロセスと、前記各第１の座標対応関係に基づいて、前記撮像部を前記視点の位置に設置したときに得られると考えられる、前記基準パターンを構成する点の座標と、前記視点の位置で撮像されると予測される前記基準パターンの投影像の中の前記点と同じ点の座標と、の間の第２の座標対応関係を推定する第２の座標対応関係推定ステップと、前記視点の位置において推定された前記第２の座標対応関係に基づいて予め変形された画像情報を生成する画像情報生成プロセスと、前記画像情報を投影して投影像を生成する画像情報投影プロセスと、からなることを特徴とする。

本発明に係るヘッドアップディスプレイの歪補正方法によれば、前記した構成とすることによって、運転者の視点の位置によらずに、歪が補正されたヘッドアップディスプレイ投影像を表示するために投影する、予め逆方向に歪ませた変形パターンを容易に生成することができる。

本発明の一実施形態である実施例１に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置の機能構成を示す機能ブロック図である。 図１に示したヘッドアップディスプレイの歪補正装置を用いて、校正を行う際に必要な構成要素のみを示した機能ブロック図である。 図１に示したヘッドアップディスプレイの歪補正装置を用いて、歪補正されたヘッドアップディスプレイの投影像を生成して表示する際に必要な構成要素のみを示した機能ブロック図である。 実施例１で実施する校正の内容について説明する図であり、（ａ）は基準パターンの一例を示す図である。（ｂ）は基準パターンの投影像の一例を示す図である。（ｃ）は基準パターンの投影像を撮像したカメラ画像の一例を示す図である。 校正を行う際に利用するグレイコードについて説明する図である。 作成する対応マップについて説明する図であり、（ａ）は歪のないヘッドアップディスプレイ表示像を投影するために形成された事前変形パターンの一例を示す図である。（ｂ）は歪のないヘッドアップディスプレイ表示像の一例を示す図である。 実施例１において、撮像部を移動させた際に行う位置合わせの方法について説明する図である。 任意の視点位置における対応マップを補間生成する方法について説明する第１の図であり、移動させた撮像部の複数の設置位置の一例を示す図である。 任意の視点位置における対応マップを補間生成する第１の方法について説明する図であり、対応マップを視点位置の一次式で表す方法について説明する図である。 任意の視点位置における対応マップを補間生成する第２の方法について説明する図であり、対応マップを視点位置の区分線形関数で表す方法について説明する図である。 実施例１における校正の一連の処理の流れを示す第１のフローチャートである。 実施例１における校正の一連の処理の流れを示す第２のフローチャートである。 実施例１において歪のないＨＵＤ表示像を投影する一連の流れを示すフローチャートである。

以下、本発明のヘッドアップディスプレイの歪補正方法の具体的な実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態であるヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置１００の構成を示す機能ブロック図である。また、図２は、図１に示したヘッドアップディスプレイの歪補正装置１００のうち、校正を行う際に必要となる構成部位のみを示す機能ブロック図である。そして、図３は、図１に示したヘッドアップディスプレイの歪補正装置１００のうち、実際に歪が補正されたヘッドアップディスプレイの投影像（以下、ＨＵＤ表示像）を表示する際に必要となる構成部位のみを示す機能ブロック図である。

以下、図１から図３を用いて、ヘッドアップディスプレイの歪補正装置１００の全体構成について説明する。

（ヘッドアップディスプレイの歪補正装置の全体構成の説明）
図１に示すように、ヘッドアップディスプレイの歪補正装置１００は、図１に非図示の車両に搭載されており、車両のウインドシールド１６に投影されて虚像表示を生成する基準パターン・画像情報生成部１０と、車速や誘導経路情報等の画像情報を生成するために必要な車両情報を取得する車両情報取得部１２と、基準パターン・画像情報生成部１０で生成された画像情報をウインドシールド１６に向かって投影して、基準パターンの投影像ＩｐまたはＨＵＤ表示像Ｉｉを生成させる情報投影部１４と、基準パターンの投影像Ｉｐを観測する撮像部４０と、撮像部４０または運転者５０の視点５２を観測する、撮像部・視点観測カメラ６０と、撮像部・視点観測カメラ６０で観測された画像の中から、撮像部４０の設置位置、または運転者５０の視点５２の位置を検出する撮像部設置位置・視点位置検出部６４と、基準パターン・画像情報生成部１０で生成された基準パターンと撮像部４０で撮像した、基準パターンの投影像Ｉｐとから、同じ点を表す座標同士の対応関係である第１の座標対応関係を算出する第１の座標対応関係算出部７０と、算出された第１の座標対応関係に基づいて生成された対応マップを記憶する対応マップ記憶部８０（第１の座標対応関係記憶部）と、第１の座標対応関係に基づいて、運転者５０の視点５２の位置において得られると推定される、基準パターンの投影像Ｉｐと、その投影像Ｉｐを投影するための基準パターンと、の同じ点を表す座標同士の対応関係である第２の座標対応関係を推定して、推定された第２の座標対応関係に基づいて、視点５２の位置において歪のないＨＵＤ表示像Ｉｉ（投影像）が観測されるように予め変形された事前変形パターンＩｄ（図４Ｃ（ａ））を生成するための座標変換テーブルを生成する座標変換テーブル生成部９０（第２の座標対応関係推定部）と、からなる。

ヘッドアップディスプレイの歪補正装置１００を使用する際には、予め、投影像の歪の補正に必要な情報を収集する、いわゆる校正を行う必要がある。そして、校正が終了した後で、実際に運転者５０の視点５２の位置を計測して、視点位置に応じた歪のないＨＵＤ表示像Ｉｉの生成・表示を行う。その際、図１に示した各構成部位が、「校正」と「ＨＵＤ表示像Ｉｉの生成・表示」のそれぞれの場面に応じて機能する。

図２は、ヘッドアップディスプレイの歪補正装置１００を用いて校正を行う際の機能構成を示す。

校正時には、図２に示すように、図１に示した構成部位の一部のみが、校正を行うために必要な機能を発揮する。すなわち、図１に示した基準パターン・画像情報生成部１０は、校正用の基準パターンＩｒ（図４Ａ）を生成する基準パターン生成部１０ａとして機能する。そして、情報投影部１４から投影された基準パターンＩｒは、ウインドシールド１６で正反射して基準パターンの投影像Ｉｐを生成する。

図１に示した撮像部・視点観測カメラ６０は、基準パターンの投影像Ｉｐを観測するために設置された撮像部４０を観測する撮像部観測カメラ６０ａとして機能する。そして、図１に示した撮像部設置位置・視点位置検出部６４は、撮像部４０の設置位置を検出する撮像部設置位置検出部６４ａとして機能する。また、座標変換テーブル生成部９０（第２の座標対応関係推定部）は、事前変形パターンＩｄ（図４Ｃ（ａ））を生成するための座標変換テーブルを生成して記憶する。

なお、図１に示した第１の座標対応関係算出部７０，対応マップ記憶部８０（第１の座標対応関係記憶部）は、そのまま用いられる。

図３は、ヘッドアップディスプレイの歪補正装置１００を用いて、実際にＨＵＤ表示像Ｉｉの表示を行う際、すなわち実運用時の機能構成を示す。

実運用時には、図３に示すように、図１に示した構成部位のうち必要な部位のみが、ＨＵＤ表示像Ｉｉの生成・表示を行うために必要な機能を発揮する。

すなわち、図１に示した撮像部・視点観測カメラ６０は、運転者５０の視点５２を観測する視点観測カメラ６０ｂとして機能する。なお、この撮像部・視点観測カメラ６０は、図１に非図示の車両の、例えばインスツルメントパネルに、視点の存在範囲であるアイレンジ全体を観測できるようなレイアウトで設置されている。そして、図１に示した撮像部設置位置・視点位置検出部６４は、視点５２の位置を検出する視点位置検出部６４ｂとして機能する。

なお、図１に示した座標変換テーブル生成部９０は、視点位置検出部６４ｂで検出された視点５２の位置に応じた座標変換テーブルを読み出して、読み出した座標変換テーブルを画像情報生成部１０ｂに提供する。画像情報生成部１０ｂは、車両情報取得部１２から取得した車両情報を参照し、座標変換テーブル生成部９０から読み出した座標変換テーブルを用いて、車速や誘導経路等の車両情報を含む画像情報を生成する。そして、生成された画像情報は情報投影部１４から投影されて、ウインドシールド１６で正反射してＨＵＤ表示像Ｉｉを生成する。

（校正の説明）
図４Ａ〜図４Ｃを用いて、校正の概要を説明する。基準パターンの投影像Ｉｐ上の点Ｑ（ｐ，ｑ）と、図４Ａ（ａ）に示した基準パターンＩｒ上の点Ｒ（ｕ，ｖ）との対応関係は、式１によって記述される。
［式１］

式１に記載したＭｃｐ_ｘは水平座標の対応マップを表しており、Ｍｃｐ_ｘ（ｘ，ｙ）は、カメラ画像Ｉｃの点Ｐ（ｘ，ｙ）と対応する基準パターンＩｒの水平座標ｕを表している。また、Ｍｃｐ,ｙは垂直座標の対応マップを表しており、Ｍｃｐ_ｙ（ｘ，ｙ）は、カメラ画像Ｉｃの点Ｐ（ｘ，ｙ）と対応する基準パターンＩｒの垂直座標ｖを表している。

図４Ａ（ａ）〜図４Ａ（ｃ）は、基準パターンＩｒと、基準パターンの投影像Ｉｐと、カメラ画像Ｉｃの関係の一例を示す図である。すなわち、図４Ａ（ａ）〜図４Ａ（ｃ）は、基準パターンＩｒ上の任意の点Ｒ（ｕ，ｖ）が、基準パターンＩｒの投影像Ｉｐ上の点Ｑ（ｐ，ｑ）に投影されて、この点Ｑ（ｐ，ｑ）がカメラ画像Ｉｃ上の点Ｐ（ｘ，ｙ）の位置に観測されることを示している。

なお、図４Ａ（ａ）〜図４Ａ（ｃ）において、カメラ画像Ｉｃ上の点Ｐ（ｘ，ｙ）の位置が、基準パターンＩｒ上の点Ｒ（ｕ，ｖ）の位置と対応していること、すなわち、同じ点を表していることを、本発明において第１の座標対応関係と呼ぶ。

（対応点の特定方法の説明）
次に、カメラ画像Ｉｃ上の点Ｐ（ｘ，ｙ）と対応する（一致する）、基準パターンＩｒの投影像Ｉｐ上の点Ｑ（ｐ，ｑ）を特定する方法について、図４Ｂを用いて説明する。

図４Ｂは、基準パターン（Ｉｒ１，Ｉｒ２，Ｉｒ３，…）の一例を示す図である。本実施例においては、基準パターンＩｒの投影像Ｉｐ上の点とカメラ画像Ｉｃ上の点の対応関係を求めるために、複数の異なる基準パターン（Ｉｒ１，Ｉｒ２，Ｉｒ３，…）を順次投影する。

図４Ｂに示した基準パターン（Ｉｒ１，Ｉｒ２，Ｉｒ３，…）はグレイコードと呼ばれる符号化されたデータ列を２次元のパターンで表現したものである。図４Ｂの斜線を付した領域は「黒帯」、斜線を付していない領域は「白帯」で形成されている。図４Ｂに示した複数のパターン（Ｉｒ１，Ｉｒ２，Ｉｒ３，…）を順次投影して、投影像の各点に、白帯と黒帯がどんな順序で投影されたかを観測することによって、投影像の各点の座標をコード化することができる。

例えば、図４Ｂに示す点Ａに着目する。基準パターンＩｒ１を投影したとき、点Ａには黒帯が投影される。このように黒帯が投影された点は“０”で表すものとする。同様にして基準パターンＩｒ２を投影したときには、点Ａには黒帯が投影される。すなわち、点Ａは“０”で表される。そして、基準パターンＩｒ３を投影したときには、点Ａには白帯が投影される。このように白帯が投影された点は“１”で表すものとする。したがって、図４Ｂに示す点Ａの座標は、３枚の基準パターン（Ｉｒ１，Ｉｒ２，Ｉｒ３）を順次投影したときに、先に投影した基準パターンの情報を下位ビットに割り当て、後で投影した基準パターンの情報を上位ビットに割り当てることにより、“１００”というビット長３、すなわち３ビットの情報で表すことができる。

図４Ｂに示した複数の基準パターン（Ｉｒ１，Ｉｒ２，Ｉｒ３，…）をより細かいパターンまで用意して順次投影することにより、基準パターンが投影された領域の座標を、より長いビット長、すなわち、より高い分解能で特定することができる。例えば、ｎ枚の異なる基準パターンを順次投影したときには、基準パターンが投影された点の座標をｎビットで表すことができる。

次に、具体的な対応点の特定方法について説明する。まず、投影された基準パターン（Ｉｒ１，Ｉｒ２，Ｉｒ３，…）の投影像Ｉｐは、撮像部４０（図１）によって撮像された後、観測されたカメラ画像Ｉｃの中のどの領域に黒帯が写っており、どの領域に白帯が写っているかが認識される。

黒帯と白帯の認識を簡単かつ確実に行うために、本実施例では、図４Ｂに示した基準パターンＩｒ１を投影した後で、基準パターンＩｒ１の白黒を反転させたパターン（ネガポジ反転パターン）を投影する。すなわち、基準パターンＩｒ１を投影して撮像部４０で投影像Ｉｐを撮像した後で、基準パターンＩｒ１のネガポジ反転パターンを投影して撮像部４０で投影像Ｉｐを再び撮像する。

このようにして撮像された、ネガポジが反転した２枚の画像の差分演算を行うと、基準パターンＩｒ１の白帯が投影された領域の差分値は正値となる。一方、基準パターンＩｒ１の黒帯が投影された領域の差分値は負値となる。したがって、外部の明るさの変化に影響されることなく、白帯と黒帯が投影された領域を簡単かつ確実に認識することができる。

同様の処理を、異なる複数の基準パターンの各々の投影像に対して繰り返し行うことにより、カメラ画像Ｉｃの点（ｘ，ｙ）と同じコード化座標を有する、基準パターン（Ｉｒ１，Ｉｒ２，Ｉｒ３，…）が投影された点（ｐ，ｑ）の座標を、複雑な対応付け演算を行うことなしに、機械的に算出することができる。

なお、説明を簡単にするため、図４Ｂには帯が縦方向に延びたパターン（縦縞）のみを示したが、実際には帯が横方向に延びたパターン（横縞）も投影して、前記したのと同様に座標の特定を行うことによって、基準パターンの投影像の２次元座標を高い分解能で特定することができる。

このようにして、カメラ画像Ｉｃの座標（ｘ，ｙ）と投影像の座標（ｐ，ｑ）との対応関係を明確にすることができる。そして、投影像の座標（ｐ，ｑ）と、情報投影部１４（図１）から投影される投影像Ｉｐの元である基準パターンＩｒの座標（ｕ，ｖ）と、も１対１に対応しているため、カメラ画像Ｉｃの座標（ｘ，ｙ）と基準パターンＩｒの座標（ｕ，ｖ）との対応関係も明確にすることができる。

（事前変形パターンの生成方法の説明）
次に、校正の結果を用いて、歪のないヘッドアップディスプレイ（ＨＵＤ）表示像Ｉｉを得るために、情報投影部１４（図１）から投影する画像情報を生成する方法について、図４Ｃ（ａ），図４（ｂ）を用いて説明する。

この画像情報は、基準パターン・画像情報生成部１０（図１）において生成される。その際、校正によって得られた、式１で示される対応マップＭｃｐ_ｘおよびＭｃｐ_ｙが、座標変換テーブルとして利用される。

すなわち、対応マップＭｃｐ_ｘおよびＭｃｐ_ｙに記述された座標の対応関係は、基準パターンＩｒを投影した際に生じる投影像の歪の情報を含んでいるため、これらの対応マップＭｃｐ_ｘおよびＭｃｐ_ｙを用いて座標変換を行うことによって、予め、逆方向の歪を有する（逆方向に歪んだ）画像情報を生成しておくことができる。この逆方向の歪を有する画像情報を、以後、事前変形パターンＩｄと呼ぶことにする。そして、事前変形パターンＩｄを情報投影部１４（図１）から投影することによって、歪のないＨＵＤ表示像Ｉｉを得ることができる。

すなわち、ＨＵＤ表示像Ｉｉの任意の点（ｘ，ｙ）と、点（ｘ，ｙ）と同じ点を表す、事前変形パターンＩｄの中の点（ｕ，ｖ）との関係は、式２のようになる。
［式２］

ここで、実際に投影されるヘッドアップディスプレイの投影像の大きさと、校正の際に投影された基準パターンＩｒの投影像Ｉｐの大きさは一般に異なるため、校正で得られた対応マップＭｃｐ_ｘおよびＭｃｐ_ｙは、それぞれ、サイズ調整（リサイズ）を行った上で利用する。なお、対応マップＭｃｐ_ｘおよびＭｃｐ_ｙをリサイズすると、対応マップの隣接画素間で、対応マップの内容に不連続性が生じる虞がある。そのため、リサイズした対応マップに対して平滑化処理（スムージング処理）を施しておくのが望ましい。具体的には、リサイズした対応マップに対して、対象となる画素の値を、その画素および近傍画素の値の重み付き平均値で置換することによって、平滑化処理を行うことができる。

式２におけるＭｉｐ_ｘは、対応マップＭｃｐ_ｘに対してリサイズと平滑化を行った対応マップであり、Ｍｉｐ_ｙは、対応マップＭｃｐ_ｙに対してリサイズと平滑化を行った対応マップである。これらの対応マップＭｉｐ_ｘおよびＭｉｐ_ｙが、座標変換テーブルとして対応マップ記憶部８０（図１）に記憶される。以後、対応マップＭｉｐ_ｘおよびＭｉｐ_ｙを座標変換テーブルと呼ぶ。図４Ｃ（ａ）は、これらの座標変換テーブルＭｉｐ_ｘ，Ｍｉｐ_ｙを用いて生成された事前変形パターンＩｄの一例である。

なお、図４Ｃ（ａ），図４（ｂ）は、ＨＵＤ表示像Ｉｉとして車速（４０ｋｍ／ｈ）を表示するための事前変形パターンＩｄを形成する場合を例にあげて説明したものだが、実際には、４０ｋｍ／ｈ以外の車速、また、車速に限らず、誘導経路，ワーニング等の様々な情報をＨＵＤ表示像Ｉｉとしてリアルタイムに生成する必要がある。その際、座標変換テーブルである対応マップＭｉｐ_ｘおよびＭｉｐ_ｙは、情報の種類に関わらず共通に使用することができる。

（視点位置に応じた対応マップの生成方法の説明）
運転者５０（図１）の体格や着座位置は個人によって異なっているため、図１に示したＨＵＤ表示像Ｉｉは様々な位置にある視点５２から観測される。視点５２の位置が異なると、基準パターンの投影像Ｉｐに生じる歪も異なるため、視点５２の位置が移動する都度、移動した視点５２の位置における対応マップＭｃｐ_ｘおよびＭｃｐ_ｙを用いて事前変形パターンＩｄを生成する必要がある。そのためには、予め、複数の異なる位置に撮像部４０（図１）を設置して、各設置位置にそれぞれ対応する複数の対応マップＭｃｐ_ｘおよびＭｃｐ_ｙを作成しておく必要がある。

しかしながら、想定される視点位置における対応マップＭｃｐ_ｘおよびＭｃｐ_ｙを予め全て作成しておくことはできないため、本実施例では、必要最小限の複数の設置位置に撮像部４０を設置して、各設置位置に対応する対応マップＭｃｐ_ｘおよびＭｃｐ_ｙをそれぞれ作成して、作成された各対応マップＭｃｐ_ｘおよびＭｃｐ_ｙに基づいて、視点５２の任意の位置における対応マップＭｃｐ_ｘおよびＭｃｐ_ｙの補間生成を行う。

その際、撮像部４０の各設置位置において得られた各対応マップＭｃｐ_ｘおよびＭｃｐ_ｙに対して、前記したようにリサイズと平滑化を行って、撮像部４０の各設置位置における座標変換テーブルＭｉｐ_ｘおよびＭｉｐ_ｙを作成する。そして、撮像部４０の各設置位置における座標変換テーブルＭｉｐ_ｘおよびＭｉｐ_ｙに基づいて、視点５２の任意の位置に対応する座標変換の回帰式の係数を求めて、算出された係数を座標変換テーブル生成部９０（第２の座標対応関係推定部）に記憶する。詳しくは後述する。

そして、実際に計測された視点５２の位置に対応する回帰式の係数を読み出して座標変換を行い、視点５２の位置において歪のないＨＵＤ表示像Ｉｉ（投影像）が観測されるように予め変形された事前変形パターンＩｄを生成し、生成された事前変形パターンＩｄを投影することによって、運転者５０の視点５２の位置に関わらずに、歪のないＨＵＤ表示像Ｉｉ（図４Ｃ（ｂ））をリアルタイムで表示することができる。

（撮像部の設置位置の調整方法の説明）
次に、図５を用いて、校正の中で行う、撮像部４０の設置位置の調整方法について説明する。撮像部４０の設置位置の調整は、撮像部４０で撮像されたカメラ画像Ｉｃをモニタしながら行う。その際、設置位置の調整のために、図５に示すように、カメラ画像Ｉｃの縦方向中心位置に基準線Ｌｙ（第１基準マーカ）を描画しておき、横方向中心位置に基準線Ｌｘ（第１基準マーカ）を描画しておく。さらに、図５のＥ矢視図に示すように、投影像Ｉｐが表示されるスクリーンＳの表面には、横方向に延びる（Ｘ軸に沿って延びる）基準線Ｍｘ（第２基準マーカ）と、縦方向に延びる（Ｙ軸に沿って延びる）基準線Ｍｙ（第２基準マーカ）をＨＵＤ投影像として表示する。

撮像部４０は、図５のＸＹ平面上で設置位置を調整するものとする。撮像部４０を所定の設置位置（例えば、撮像部４０，４０ａ，４０ｂが示す位置）に移動した後、撮像されたカメラ画像（Ｉｃ，Ｉｃａ，Ｉｃｂ）には、それぞれ、スクリーンＳに表示した基準線Ｍｘ，Ｍｙ（第２基準マーカ）と、カメラ画像Ｉｃに直接描画した基準線Ｌｘ，Ｌｙ（第１基準マーカ）と、がともに写った状態となっている。

このとき、図５において、撮像部４０，４０ａ，４０ｂの向きを、Ｙ軸に平行な軸の周り、すなわち、図５の矢印Ｃａ，Ｃｂ，Ｃｃの向きに回転させると、カメラ画像（Ｉｃ，Ｉｃａ，Ｉｃｂ）上で、基準線Ｍｘ，Ｍｙ（第２基準マーカ）の表示位置が、図５の矢印Ｄａ，Ｄｂ，Ｄｃの方向に移動する。そして、撮像部４０，４０ａ，４０ｂが、それぞれスクリーンＳ上の点Ｒの方向を向いたときに、基準線Ｍｘ，Ｍｙは、それぞれ、基準線Ｌｘ，Ｌｙ（第１基準マーカ）と完全に重複した状態となる。

このようにして、基準線Ｍｘと基準線Ｌｘ、および基準線Ｍｙと基準線Ｌｙがともに重複した状態にあることを確認して、撮像部４０，４０ａ，４０ｂの設置位置の調整が完了したものと判断する。

撮像部４０，４０ａ，４０ｂの向きをこのように調整することによって、図５に示すように、設置位置を変更された撮像部４０，４０ａ，４０ｂは、常に、基準線Ｍｘと基準線Ｍｙの交点である点Ｒの方向を向いた状態となっている。すなわち、撮像部４０，４０ａ，４０ｂの設置位置から撮像部４０の向きを一意に特定することができる。

さらに、撮像部４０，４０ａ，４０ｂの向きをこのように調整することによって、基準線Ｍｘと基準線Ｍｙの交点である点Ｒの位置に表示されたＨＵＤ表示像Ｉｉを、撮像部４０の複数の設置位置から、それぞれ視野の中心で見る状態（注視した状態）を再現することができる。

（撮像部の任意の仮想設置位置における対応マップ（座標変換テーブル）の補間生成方法の説明）
次に、撮像部４０の設置位置を変更して得た複数の対応マップＭｃｐ_ｘおよびＭｃｐ_ｙを用いて、仮想撮像部４０ｖを、運転者の視点位置に対応する任意の設置位置（仮想設置位置）に設置した際に、その仮想設置位置における対応マップ（座標変換テーブル）を補間生成する２つの方法について、図６Ａ〜図６Ｃを用いて説明する。なお、説明を簡単にするため、撮像部４０を設置位置ｗに設置したときに、設置位置ｗにおける対応マップを、それぞれＭｃｐ_ｘ（ｗ），Ｍｃｐ_ｙ（ｗ）で表すことにする。

図６Ａは、撮像部４０を、図５に示したＸＹ平面上の複数の設置位置に移動させて、図６の矢印Ｆの方向から見た図である。すなわち、撮像部４０を、ＸＹ平面上の９箇所の位置（１，２，３，４，５，６，７，８，９）にそれぞれ移動させた状態を示している。このとき、撮像部４０は、上下の間隔、左右の間隔がそれぞれ、できるだけ等しくなるように設置されるものとする。

図６Ａに示した撮像部４０，４０ａ，４０ｂ，４０ｃ，４０ｄ，４０ｅ，４０ｆ，４０ｇ，４０ｈを示す丸印は、それぞれ、撮像部が備えるレンズ面を示している。

図６Ｂは、ＸＹ平面上の９箇所の位置（１〜９）（図６Ａ）にそれぞれ設置された撮像部４０，４０ａ〜４０ｈを、撮像部観測カメラ６０ａ（図２）で撮像して、撮像された撮像部４０，４０ａ〜４０ｈの位置を、１枚の画像Ｊ（ｘ、ｙ）に重畳した状態を示している。

図６Ｂに示すように、撮像部４０，４０ａ〜４０ｈは、画像Ｊ（ｘ，ｙ）の中の、位置（１’，２’，３’，４’，５’，６’，７’，８’，９’）にそれぞれ観測される。

ここで、画像Ｊ（ｘ、ｙ）において、撮像部が観測される位置（１’〜９’）を、それぞれ、（ｘｃ（１），ｙｃ（１）），（ｘｃ（２），ｙｃ（２）），…，（ｘｃ（９），ｙｃ（９））とする。

撮像部４０，４０ａ〜４０ｈが観測される位置（ｘｃ（１），ｙｃ（１）），（ｘｃ（２），ｙｃ（２）），…，（ｘｃ（９），ｙｃ（９））は、画像Ｊ（ｘ、ｙ）の中から、撮像部４０，４０ａ〜４０ｈ（図６Ａ）のレンズの中心位置を検出することによって求めることができる。レンズは円形領域として観測されるため、レンズの中心位置は、例えば、一般化ハフ変換を用いて求めることができる。

一般化ハフ変換は、画像の中から特定の形状を検出する際によく使われる画像認識手法である。円形領域を検出する際には、例えば、画像Ｊ（ｘ，ｙ）の中からエッジ構成点を検出して、検出されたエッジ構成点におけるエッジの法線方向を求め、エッジ構成点から法線方向に沿って、検出する円の半径だけ離れた位置にある点を円の中心位置と考えて、用意されたハフ空間の対応する画素の画素値をインクリメントする。同様の処理を全てのエッジ構成点に対して行ったときに、突出した画素値を有する点を、円の中心位置であるとして検出することができる。本実施例の場合、使用する撮像部４０に装着されたレンズの径は予めわかっているため、撮像部観測カメラ６０ａ（図２）で観測されるレンズの径を予測することができる。すなわち、検出すべき円の半径は予め予測することができる。

次に、任意の視点位置における座標変換テーブルを補間生成する第１の方法について説明する。

図６Ｂにおいて、仮想撮像部４０ｖが視点位置Ｈ（ｘｅ，ｙｅ）にあるとき、この視点位置Ｈ（ｘｅ，ｙｅ）における座標変換テーブルＭｉｐ_ｘ（ｘｅ，ｙｅ）およびＭｉｐ_ｙ（ｘｅ，ｙｅ）は、それぞれ、図６Ｂにおける各撮像部の位置（１’〜９’）における座標変換テーブル（対応マップＭｃｐ_ｘおよびＭｃｐ_ｙに対して、それぞれリサイズと平滑化を行ったもの）を線形補間したものであると近似できる。すなわち、式３，式４で表される１次回帰式によって求めることができる。
［式３］
［式４］

式３のａｘ（ｘ，ｙ），ｂｘ（ｘ，ｙ），ｃｘ（ｘ，ｙ）、および式４のａｙ（ｘ，ｙ），ｂｙ（ｘ，ｙ），ｃｙ（ｘ，ｙ）は、それぞれ回帰係数であり、以下に示す式５，式６によってそれぞれ求めることができる。
［式５］
［式６］

式５，式６は、それぞれ、撮像部４０の複数の設置位置における対応マップを画素毎に平面近似、すなわち、対応マップを画素毎に線形補間していることに相当する。そして、これらの回帰係数（ａｘ（ｘ，ｙ），ｂｘ（ｘ，ｙ），ｃｘ（ｘ，ｙ），ａｙ（ｘ，ｙ），ｂｙ（ｘ，ｙ），ｃｙ（ｘ，ｙ））に基づいて、任意の視点位置Ｈ（ｘｅ，ｙｅ）における座標変換テーブルＭｉｐ_ｘ（ｘｅ，ｙｅ）およびＭｉｐ_ｙ（ｘｅ，ｙｅ）を求めることができる。このとき、算出された回帰係数（ａｘ（ｘ，ｙ），ｂｘ（ｘ，ｙ），ｃｘ（ｘ，ｙ），ａｙ（ｘ，ｙ），ｂｙ（ｘ，ｙ），ｃｙ（ｘ，ｙ））は、座標変換テーブル生成部９０（第２の座標対応関係推定部）に記憶され、必要に応じて読み出されて座標変換を行う。

次に、任意の視点位置における座標変換テーブルＭｉｐ_ｘおよびＭｉｐ_ｙを補間生成する第２の方法について説明する。

図６Ｃは、仮想撮像部４０ｖが設置された任意の視点位置Ｈ（ｘｅ，ｙｅ）における座標変換テーブルＭｉｐ_ｘ（ｘｅ，ｙｅ）およびＭｉｐ_ｙ（ｘｅ，ｙｅ）を補間生成する第２の補間生成方法について説明する図である。

図６Ｃにおいて、任意の視点位置Ｈ（ｘｅ，ｙｅ）における座標変換テーブルは、撮像部の全ての位置（１’〜９’）における座標変換テーブルを用いることなく、視点位置Ｈ（ｘｅ，ｙｅ）の周囲近傍にある撮像部の位置における座標変換テーブルのみを用いて補間生成することができる。

すなわち、アイレンジ内の任意の視点位置Ｈ（ｘｅ，ｙｅ）における対応マップは、アイレンジ内に複数設置した撮像部の位置（１’〜９’）の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形領域Ｒｒを、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して複数の長方形状の部分領域（Ｐｒ１，Ｐｒ２，Ｐｒ３，Ｐｒ４）を形成し、このようにして形成された部分領域（Ｐｒ１，Ｐｒ２，Ｐｒ３，Ｐｒ４）のうち、視点位置Ｈ（ｘｅ，ｙｅ）がどの部分領域の内部に属しているかに応じて補間生成することができる。例えば、視点位置Ｈ（ｘｅ，ｙｅ）が属する部分領域Ｐｒ１の中心位置Ｇ１から所定距離（例えば半径ｄ）以内、すなわち円形領域Ｔ１の内部に存在する各撮像部の位置（１’，２’，４’，５’）における座標変換テーブルを用いて補間生成することができる。このように、任意の視点位置Ｈ（ｘｅ，ｙｅ）における対応マップを、視点位置Ｈ（ｘｅ，ｙｅ）の区分線形関数で表すことができる。このとき、部分領域（Ｐｒ１，Ｐｒ２，Ｐｒ３，Ｐｒ４）毎に、前述した回帰係数（ａｘ（ｘ，ｙ），ｂｘ（ｘ，ｙ），ｃｘ（ｘ，ｙ），ａｙ（ｘ，ｙ），ｂｙ（ｘ，ｙ），ｃｙ（ｘ，ｙ））が算出されて、それぞれ、座標変換テーブル生成部９０（第２の座標対応関係推定部）に記憶される。そして、実際に検出された運転者５０の視点位置Ｈ（ｘｅ，ｙｅ）に応じた回帰係数が読み出されて座標変換が行われる。なお、円形領域Ｔ１の内部に撮像部が２か所以下しか存在しないとき、すなわち、十分な数の撮像部が存在しないときは、部分領域の中心位置からの距離が近い順に最低３か所の撮像部の位置を選択するようにすればよい。

任意の視点位置における座標変換テーブルの補間生成は、以上説明した２つの方法のいずれを用いて行ってもよいが、撮像部の設置位置を変更した際に得られる、撮像部の位置を表す画像の歪の変化が大きいとき（図６Ｂに相当する画像において、場所によって隣接する撮像部の位置関係の歪の差が大きいとき）には、撮像部の各設置位置において得られた座標変換テーブルの画素毎に平面を当てはめると、例えば、画像の歪の変化が大きいときには、線形補間では誤差が大きくなる虞があるため、第２の方法、すなわち、視点位置の区分線形関数を用いて補間生成するのが望ましい。

（実施例１における処理の流れの説明）
実施例１における処理の全体の流れについて、図７Ａ，図７Ｂ，図８を用いて説明する。図７Ａ，図７Ｂは校正を行う際の一連の処理の流れを示すフローチャートである。また、図８は歪のないＨＵＤ表示像Ｉｉを投影する一連の処理の流れを示すフローチャートである。まず、校正を行う際の一連の流れについて、図７Ａ，図７Ｂのフローチャート、および図２の機能ブロック図を用いて説明する。

（ステップＳ１０）撮像部４０を、基準パターンの投影像Ｉｐが投影される方向に向けて設置する。

（ステップＳ１２）基準パターンの投影像Ｉｐが結像する位置に置いたスクリーンＳ上に、図５に示した基準線Ｍｘ，Ｍｙ（第２基準マーカ）を設置する。

（ステップＳ１４）第２基準マーカＭｘ，Ｍｙがカメラ画像Ｉｃの所定の位置に写るように、撮像部４０の向きを調整する。

（ステップＳ１８）撮像部設置位置検出部６４ａによって、撮像部４０の位置を検出する。

（ステップＳ２０）基準パターン生成部１０ａにおいてグレイコード（ポジ）を生成して、情報投影部１４からウインドシールド１６に向けて投影する。

（ステップＳ２２）投影されたグレイコードの投影像を撮像部４０で撮像する。

（ステップＳ２４）基準パターン生成部１０ａにおいてグレイコード（ネガ）を生成して、情報投影部１４からウインドシールド１６に向けて投影する。

（ステップＳ２６）投影されたグレイコードの投影像を撮像部４０で撮像する。

（ステップＳ２８）撮像されたグレイコード（ポジ）の投影像を２値化処理する。その際、撮像されたグレイコード（ネガ）の投影像を２値化のしきい値とする。

（ステップＳ３０）２値化処理の結果を第１の座標対応関係算出部７０に記憶しておく。

（ステップＳ３２）全てのグレイコード（ポジ）を投影したか否かを判定する。全てのグレイコードを投影したときはステップＳ３４に進み、それ以外のときはステップＳ２０に戻って、異なるグレイコード（ポジ）の投影を行う。

（ステップＳ３４）第１の座標対応関係算出部７０において、対応マップＭｃｐ_ｘ，Ｍｃｐ_ｙを作成する。作成された対応マップＭｃｐ_ｘ，Ｍｃｐ_ｙは、必要に応じてリサイズ、平滑化処理を施されて、対応マップ（座標変換テーブル）Ｍｉｐ_ｘ，Ｍｉｐ_ｙとされる。そして、生成された対応マップＭｉｐ_ｘ，Ｍｉｐ_ｙを対応マップ記憶部８０に記憶する。

（ステップＳ３８）撮像部４０を全ての設置位置に移動させたたか否かを判定する。全ての設置位置に移動させたときはステップＳ４０に進み、それ以外のときは、ステップＳ１０に戻って、撮像部４０を別の設置位置に移動させる。

（ステップＳ４０）撮像部４０の各設置位置において得られた対応マップＭｉｐ_ｘ，Ｍｉｐ_ｙに基づいて、任意の視点の位置における対応マップを補間生成するための座標変換の回帰式を算出する。

（ステップＳ４２）算出された回帰式の係数を座標変換テーブル生成部９０（第２の座標対応関係推定部）に記憶して、図７Ａ，図７Ｂの処理を終了する。

次に、歪のないＨＵＤ表示像Ｉｉを投影する一連の処理の流れについて、図８のフローチャート、および図３の機能ブロック図を用いて説明する。

（ステップＳ８０）視点位置検出部６４ｂによって、視点５２の位置を検出する。

（ステップＳ８４）画像情報生成部１０ｂが、座標変換テーブル生成部９０から、検出された視点５２の位置における座標変換の回帰式の係数を読み出して、読み出した係数に基づいて、ＨＵＤ表示像Ｉｉを生成するために投影する画像情報を座標変換して、事前変形パターンＩｄを作成する。

（ステップＳ８６）作成した事前変形パターンＩｄを情報投影部１４から投影してＨＵＤ表示像Ｉｉを生成する。

（ステップＳ８８）ＨＵＤ表示像ＩｉをＯＦＦにする（消去する）条件を満たしているか否かを判定する。条件を満たすときはＨＵＤ表示を消去して処理を終了する。それ以外のときは、ステップＳ８０に戻る。

以上説明したように、実施例１に係るヘッドアップディスプレイの歪補正装置１００において行われるヘッドアップディスプレイの歪補正方法によると、運転者の視点５２に相当する位置に前方へ向けて設置した撮像部４０を、所定の方向に向くように調整した後、撮像部４０の設置位置を検出する。運転者の前方視界の中に基準パターンＩｒの投影像Ｉｐを生成して、撮像部４０でこの投影像Ｉｐを撮像し、基準パターンＩｒを構成する点の座標と、撮像された画像の中でその点と同じ点を表す座標と、の間の第１の座標対応関係を算出する。同様の処理を、撮像部４０の設置位置を変更して複数回繰り返した後、得られた第１の座標対応関係をそれぞれ記憶する。そして、検出された運転者の視点５２の位置において得られると考えられる、基準パターンＩｒを構成する点の座標と、視点５２の位置においた撮像されると予測される基準パターンＩｒの投影像Ｉｐの対応する点の座標と、の間の第２の座標対応関係を推定して、視点の位置（ｘ，ｙ）から、投影像Ｉｐを歪なく観測できるように基準パターンＩｒを変形させる座標変換テーブルＭｉｐ_ｘ（ｘ，ｙ）およびＭｉｐ_ｙ（ｘ，ｙ）を生成する。そして、座標変換テーブルＭｉｐ_ｘ（ｘ，ｙ）およびＭｉｐ_ｙ（ｘ，ｙ）に基づいて、予め変形された画像情報を生成し、この画像情報を投影してＨＵＤ表示像Ｉｉを生成するため、座標変換テーブルの画素毎の値であるＭｉｐ_ｘ（ｘ，ｙ）およびＭｉｐ_ｙ（ｘ，ｙ）が、視点５２の位置（ｘ，ｙ）のみの一次式で表されて、視点位置に関わらず歪のないＨＵＤ表示像Ｉｉを、少ない計算量で効率よく生成することができる。

さらに、アルゴリズムが簡易であるため、実装が容易であり、ハードウェア化に向いている。また、ウインドシールド１６の形状や光学系パラメータの事前測定が不要であるため、様々な要因によって発生する歪を一括して補正することができる。

そして、撮像部４０を決まった位置に設置する必要がないため、校正を行う際に作業習熟の必要がなく、習熟者でなくても容易に校正を行うことができる。さらに、校正に用いる撮像部４０の検出と、実際にＨＵＤ表示像Ｉｉを表示する際の視点５２の検出を同じ撮像部・視点観測カメラ６０で行うことができるため、校正時の撮像部４０の位置と実際の視点５２の位置との間で相互に座標変換を行う必要がない。また、レンズの歪などの影響が相殺されるため、少ない手間で校正を容易に行うことができる。

また、実施例１に係るヘッドアップディスプレイの歪補正装置１００において行われるヘッドアップディスプレイの歪補正方法によると、観測方向調整プロセスは、撮像部４０で撮像された画像の中で、撮像部４０に設置されて、撮像部４０の移動によらずその位置が固定された第１基準マーカ（Ｌｘ，Ｌｙ）の像と、運転者の前方視界の所定位置に表示された第２基準マーカ（Ｍｘ，Ｍｙ）の像と、の位置を合致させることによって行うため、撮像部４０の姿勢の推定が不要となって、校正を行う際の計算量を軽減することができる。

そして、実施例１に係るヘッドアップディスプレイの歪補正装置１００において行われるヘッドアップディスプレイの歪補正方法によると、撮像部４０の複数の設置位置の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形領域Ｒｒを、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して複数の部分領域（Ｐｒ１，Ｐｒ２，Ｐｒ３，Ｐｒ４）を形成し、形成された複数の部分領域（Ｐｒ１，Ｐｒ２，Ｐｒ３，Ｐｒ４）の中で、運転者の視点位置Ｈ（ｘｅ，ｙｅ）が属する部分領域Ｐｒ１の中心位置Ｇ１から所定距離ｄ内にある撮像部４０の各設置位置における第１の座標対応関係に基づいて、視点位置Ｈ（ｘｅ，ｙｅ）における第２の座標対応関係を推定するため、撮像部４０の設置位置を変更した際に得られる、撮像部４０の複数の設置位置を表す画像の歪の変化が大きいときであっても、精度の高い歪補正を行うことができる。

さらに、実施例１に係るヘッドアップディスプレイの歪補正装置１００において行われるヘッドアップディスプレイの歪補正方法によると、第２の座標対応関係は視点５２の位置（ｘ，ｙ）の一次式で表されるため、校正を行う際の計算量を減らすことができる。さらに、第２の座標対応関係を求める際に画素毎の対応付けを行っているため、歪のない滑らかな投影像を得ることができる。

また、実施例１に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置１００によると、運転者の視点５２に相当する位置に、所定の位置を向くように設置された撮像部４０の設置位置が、撮像部設置位置検出部６４ａによって検出されて、情報投影部１４が運転者の前方視界の中に基準パターンＩｒの投影像Ｉｐを投影して、撮像部４０でこの投影像Ｉｐを撮像し、第１の座標対応関係算出部７０が、基準パターンＩｒを構成する点の座標と、撮像された画像の中でその点と同じ点を表す座標と、の間の第１の座標対応関係を算出した後、撮像部４０の設置位置を変更して、各設置位置で第１の座標対応関係を算出して、対応マップ記憶部８０（第１の座標対応関係記憶部）に記憶する。

そして、座標変換テーブル生成部９０（第２の座標対応関係推定部）が、撮像部４０の複数の設置位置における各第１の座標対応関係に基づいて、視点５２の任意の位置における座標変換の回帰式の係数を補間生成して記憶する。

次に、画像情報生成部１０ｂが、座標変換テーブル生成部９０（第２の座標対応関係推定部）に記憶された座標変換の回帰式の係数の中から、視点５２の位置（ｘ，ｙ）に応じた回帰式の係数を参照して、予め変形された画像情報（事前変形パターンＩｄ）を生成し、この事前変形パターンＩｄを投影してＨＵＤ表示像Ｉｉを生成するため、座標変換テーブルの画素毎の値Ｍｉｐ_ｘ（ｘ，ｙ）およびＭｉｐ_ｙ（ｘ，ｙ）が、視点５２の位置（ｘ，ｙ）のみの一次式で表されて、視点位置に関わらず歪のないＨＵＤ表示像Ｉｉを、少ない計算量で効率よく生成することができる。

そして、実施例１に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置１００によると、第１の座標対応関係算出部７０は、撮像部４０で撮像された画像の中で、撮像部４０に設置されて、撮像部４０の移動によらずその位置が固定された第１基準マーカ（Ｌｘ，Ｌｙ）の像と、運転者の前方視界の所定位置に表示された第２基準マーカ（Ｍｘ，Ｍｙ）の像と、の位置を合致させた状態で第１の座標対応関係を算出するため、テクスチャパターンやマーカ等を設置する必要がなく、校正を行う際の手間を減らすことができる。

さらに、実施例１に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置１００によると、座標変換テーブル生成部９０（第２の座標対応関係推定部）は、撮像部４０の複数の設置位置（１’〜９’）の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形領域Ｒｒを、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して複数の部分領域（Ｐｒ１，Ｐｒ２，Ｐｒ３，Ｐｒ４）を形成し、形成された複数の部分領域（Ｐｒ１，Ｐｒ２，Ｐｒ３，Ｐｒ４）の中で、運転者の視点位置Ｈ（ｘｅ，ｙｅ）が属する部分領域Ｐｒ１の中心位置Ｇ１から所定距離ｄ内にある撮像部４０の各設置位置における第１の座標対応関係に基づいて、視点位置Ｈ（ｘｅ，ｙｅ）における第２の座標対応関係を推定するため、撮像部４０の設置位置を変更した際に得られる、撮像部４０の複数の設置位置を表す画像の歪の変化が大きいときであっても、精度の高い歪補正を行うことができる。

また、実施例１に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置１００によると、座標変換テーブル生成部９０（第２の座標対応関係推定部）は、第２の座標対応関係を視点５２の位置（ｘ，ｙ）のみの一次式で表すため、ＨＵＤ表示像を少ない計算量で効率よく生成することができる。さらに、第２の座標対応関係を求める際に画素毎の対応付けを行っているため、歪のない滑らかな投影像を得ることができる。

なお、前記した実施例１では、十字線状に形成された第１基準マーカＬｘ，Ｌｙと第２基準マーカＭｘ，Ｍｙが一致するように撮像部４０の方向を調整したが、第１基準マーカＬｘ，Ｌｙと第２基準マーカＭｘ，Ｍｙの形状は、十字線に限定されるものではない。すなわち、撮像部４０を所定の向きに合わせることができるような形状であれば、別の形状でも構わない。

また、前記した実施例１では、任意の視点位置における座標変換テーブルを予測する際に、撮像部４０を９箇所に移動させて、部分領域を４個形成する構成としたが、撮像部４０の移動箇所数および生成する部分領域数はこれらの数値に限定されるものではない。すなわち、より多くの位置に撮像部４０を移動させて校正を行い、なおかつ部分領域数を増やしてもよく、このように部分領域数を増やすことによって、より滑らかな近似が可能となる。また、ある部分領域で用いた撮像部４０の設置位置（校正点）を別の部分領域でも用いることによって、校正点を増やすことができ、より誤差に強い補間を行うことができるようになる。

以上、この発明の実施例を図面により詳述してきたが、実施例はこの発明の例示にしか過ぎないものであるため、この発明は実施例の構成にのみ限定されるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれることは勿論である。

１０ｂ・・・・・画像情報生成部
４０・・・・・・撮像部
５２・・・・・・視点
６４・・・・・・撮像部設置位置・視点位置検出部
７０・・・・・・第１の座標対応関係算出部
８０・・・・・・対応マップ記憶部（第１の座標対応関係記憶部）
９０・・・・・・座標変換テーブル生成部（第２の座標対応関係推定部）
１００・・・・・ヘッドアップディスプレイの歪補正装置
Ｉｄ・・・・・・事前変形パターン
Ｌｘ，Ｌｙ・・・第１基準マーカ（基準線）
Ｍｘ，Ｍｙ・・・第２基準マーカ（基準線）
Ｉｒ・・・・・・基準パターン
Ｉｐ・・・・・・基準パターンの投影像
Ｉｉ・・・・・・ＨＵＤ表示像
Ｉｃ・・・・・・観測画像（カメラ画像）
Ｍｉｐ_ｘ, Ｍｉｐ_ｙ・・・対応マップ（座標変換テーブル）
ｗ・・・・・・・設置位置

Claims (8)

1. 運転者の前方視界の中に虚像を表示するヘッドアップディスプレイの歪補正方法であって、
   運転者の視点の位置に相当する位置に車両の前方へ向けて撮像部を設置する撮像部設置プロセスと、
   前記撮像部が所定の方向に向くように調整する観測方向調整プロセスと、
   前記撮像部の設置位置を検出する撮像部位置検出プロセスと、
   運転者の前方視界の中に基準パターンを投影して投影像を生成する基準パターン投影プロセスと、
   前記投影像を前記撮像部で撮像して撮像画像を得る投影像撮像プロセスと、
   前記基準パターンを構成する点の座標と、前記撮像画像の中の前記点と同じ点の座標と、の間の第１の座標対応関係を算出する第１の座標対応関係算出プロセスと、
   前記撮像部の設置位置を変更する撮像部位置変更プロセスと、
   前記撮像部の各設置位置において、前記第１の座標対応関係算出プロセスを繰り返して行うことによって得られた各第１の座標対応関係をそれぞれ記憶する第１の座標対応関係記憶プロセスと、
   運転者の視点の位置を検出する運転者視点位置検出プロセスと、
   前記各第１の座標対応関係に基づいて、前記撮像部を前記視点の位置に設置したときに得られると考えられる、前記基準パターンを構成する点の座標と、前記視点の位置で撮像されると予測される前記基準パターンの投影像の中の前記点と同じ点の座標と、の間の第２の座標対応関係を推定する第２の座標対応関係推定プロセスと、
   前記第２の座標対応関係を記憶する第２の座標対応関係記憶プロセスと、
   前記視点の位置において推定された前記第２の座標対応関係に基づいて、歪のない投影像が投影されるように予め変形された画像情報を生成する画像情報生成プロセスと、
   前記画像情報を投影して投影像を生成する画像情報投影プロセスと、からなることを特徴とするヘッドアップディスプレイの歪補正方法。
2. 前記観測方向調整プロセスは、前記撮像部で撮像された画像の中で、前記撮像部に設置されて、前記撮像部の移動によらずその位置が固定された第１基準マーカの像と、運転者の前方視界の所定位置に表示された第２基準マーカの像と、の位置を合致させることによって行うことを特徴とする請求項１に記載のヘッドアップディスプレイの歪補正方法。
3. 前記第２の座標対応関係推定プロセスは、前記撮像部位置変更プロセスにおいて設置された前記撮像部の複数の設置位置の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形を、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して複数の部分領域を形成し、形成された複数の前記部分領域の中で、運転者の前記視点の位置が属する部分領域の中心位置から所定距離内にある前記撮像部の各設置位置における前記第１の座標対応関係に基づいて、前記視点の位置における第２の座標対応関係を推定するものであることを特徴とする請求項１または請求項２に記載のヘッドアップディスプレイの歪補正方法。
4. 前記第２の座標対応関係は、前記視点の位置の一次式で表されることを特徴とする請求項１から請求項３のいずれか１項に記載のヘッドアップディスプレイの歪補正方法。
5. 運転者の前方視界の中に虚像を表示するヘッドアップディスプレイの歪補正装置であって、
   運転者の前方に画像情報を投影して投影像を生成する情報投影部と、
   運転者の視点に相当する位置に、前記情報投影部によって投影された画像情報の所定の位置を向くように設置された撮像部と、
   前記画像情報として投影された基準パターンの投影像を前記撮像部で撮像して、撮像された観測画像と前記投影像とを比較して、同じ点を表す座標同士の第１の座標対応関係を、前記撮像部を複数の異なる設置位置に移動して、前記撮像部の各設置位置においてそれぞれ算出する第１の座標対応関係算出部と、
   前記各第１の座標対応関係をそれぞれ記憶する第１の座標対応関係記憶部と、
   前記撮像部の設置位置または運転者の視点の位置を検出する撮像部設置位置・視点位置検出部と、
   前記各第１の座標対応関係に基づいて、前記撮像部を前記視点の位置に設置したときに得られると考えられる、前記基準パターンを構成する点の座標と、前記視点の位置で撮像されると予測される前記基準パターンの投影像の中の前記点と同じ点を表す点の座標と、の間の第２の座標対応関係を推定して、前記視点の位置において歪のない投影像が観測されるように予め変形された事前変形パターンを生成するための座標変換テーブルを生成する座標変換テーブル生成部と、
   前記座標変換テーブルに基づいて、事前変形された画像情報を生成する画像情報生成部と、を有して、前記情報投影部から前記画像情報を投影して投影像を生成することを特徴とするヘッドアップディスプレイの歪補正装置。
6. 前記第１の座標対応関係算出部は、前記撮像部で撮像された画像の中で、前記撮像部に設置されて、前記撮像部の移動によらずその位置が固定された第１基準マーカの像と、運転者の前方視界の所定位置に表示された第２基準マーカの像と、の位置を合致させた状態で前記第１の座標対応関係を算出することを特徴とする請求項５に記載のヘッドアップディスプレイの歪補正装置。
7. 前記第２の座標対応関係推定部は、前記撮像部の異なる複数の設置位置の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形を、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して形成された複数の部分領域の中で、運転者の前記視点の位置が属する部分領域の中心位置から所定距離内にある前記撮像部の各設置位置における前記第１の座標対応関係に基づいて、前記視点の位置における第２の座標対応関係を推定するものであることを特徴とする請求項５または請求項６に記載のヘッドアップディスプレイの歪補正装置。
8. 前記第２の座標対応関係推定部は、前記第２の座標対応関係を、前記視点の位置の一次式で表すことを特徴とする請求項５から請求項７のいずれか１項に記載のヘッドアップディスプレイの歪補正装置。