JP4715334B2 - 車両用画像生成装置および方法 - Google Patents

Description

本発明は、車両の運転者に自車両周辺の状況を分かりやすく表示する車両用画像生成装置および方法に関する。

自車両の周辺の映像を認識する場合の光学系の歪みを補正する技術が、下記特許文献１に記載されている。
ここに記載された車両用環境認識装置においては、画像メモリから読み出された画像データに基づいて左右の画像の対応を取る演算を行う際に、被写体としての正方形格子を光学部および撮像手段により撮像したときに得られる画像の歪みデータに基づき作成した補正座標（Δｘ，Δｙ）が格納される補正座標テーブルを設けている。そして、スキャン座標生成部で生成されたスキャン座標（Ｘ，Ｙ）を補正座標（Δｘ，Δｙ）で補正した補正後の座標（Ｘ＋Δｘ，Ｙ＋Δｙ）により、画像メモリからの読み出し画像メモリアドレスを生成する。これにより、光学系の歪みに基づく画像の歪みを原因とする対応の取れない状態を回避しようとするものである。

この従来技術では、光学系の歪みを補正する場合に、補正座標テーブルから読み出されたアドレス補正座標（Δｘ，Δｙ）を加算した補正後の座標（Ｘ＋Δｘ，Ｙ＋Δｙ）に基づく読み出しアドレスデータで画像メモリから読み出すことにより、画像を正確な位置座標で読み出そうとするものである。そして、空間的に位置がわかっている点に電球を置き、歪みが無い場合の位置とのずれをアドレス補正座標（Δｘ，Δｙ）としてテーブルに書き込む。なお、このアドレス補正座標は、計算により求めるのではなく、実測値から求めている。

特開平９−１５９４４２号公報

自車両の周囲を撮影したカメラの映像を入力とし、入力した映像を画素の集合として入力用フレームバッファ上に格納し、格納した画素情報を画像変換（すなわち、入力画素データを再配置）して出力し、運転者に提示する車両用画像生成装置において、カメラの向きが、取り付け誤差（向きに関する誤差：ピッチ(pitch)、ヨー(yaw)、ロール(roll)）に起因して、想定と違う場合、出力映像に影響が及ぶことがあった。従来は、このようなカメラの取り付け誤差を補正する場合には、困難を伴うという問題があった。
すなわち、例えば生産ライン工程において補正する場合、カメラそのものの向きを物理的に変更して補正する場合は、微調整が難しいため時間がかかる。また、物理的な調整機構を備えるため、コストが上昇する。また、画像変換（すなわち、再配置）のルールを再計算する場合は、計算自体に時間がかかる。したがって、生産ライン工程において遅れが生じる問題点があった。
本発明は、カメラの取り付け誤差を容易に補正することができる車両用画像生成装置および方法を提供することにある。

上記課題を解決するために、本発明は、自車両周辺をカメラで撮影した映像を画像変換して運転者に表示する車両用画像生成装置において、前記カメラの取り付け誤差の大きさに応じた複数の誤差補正用テーブルをあらかじめ用意しておき、前記画像変換時に適切な前記誤差補正用テーブルを参照して表示する、という構成になっている。

本発明によれば、カメラの取り付け誤差を容易に補正することができる車両用画像生成装置および方法を提供することができる。

以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
まず、本発明に用いる基本的な考え方について説明したあと、実施の形態について説明する。

《１．カメラシミュレーションの考え方》
〈１−１．カメラの位置と向き〉
図３〜図９はカメラシミュレーションについて説明する図である。図３は一般的な数学座標系を示す図である。
カメラは空間上の点として定義する。座標系には、図３に示すような一般的な数学座標系を用い、（ｘ，ｙ，ｚ）で示す。これをカメラ位置とする。ｘ軸、ｙ軸、ｚ軸は、それぞれ互いに直交している。単位は統一されていれば自由であるが、基本的にはミリメートルを用いる。

次に、図４に示すように、カメラ位置（ｘｃ，ｙｃ，ｚｃ）にｘ軸、ｙ軸、ｚ軸それぞれに平行なｘ’軸、ｙ’軸、ｚ’軸を引く。基準向き（pitch＝０，yaw＝０）はｙ’軸の正方向の向きとなる。図４中の大きな矢印が基準向きである。なお、ピッチ、ヨー、ロール（roll）の指定に用いる単位はdegreeである。

図5はピッチ、図6はヨー、図7はロールについて説明する図である。
ピッチは、図4、図5に示すように、ｘ’軸を軸にして回転する角度を示す。０度でｘｙ平面と平行となる。プラス方向の角度で上に向き、マイナス方向の角度で下に向く。ｙ’ｚ’平面をｘ’軸の正方向から見て、プラスがｃｃｗ、マイナスがｃｗの回転となる。＋９０度で真上（ｚ’軸の正方向）を向き、−９０度で真下（ｚ’方向の負方向）を向く。±１８０度までの値をとる。
ヨーは、図4、図６に示すように、ｚ’軸を軸にして回転する角度を示す。ｘ’ｙ’平面をｚ’軸の正方向から見て、ｃｗが正、ｃｃｗが負の値となる。
ロールは、図７に示すように、ピッチおよびヨーで定義されたカメラ向きを示す軸を中心とした回転を示す。カメラを後ろから見て、ｃｗが正、ｃｃｗが負となる。

カメラ向きの処理は、まず、ピッチ方向を処理し、次に、ヨー方向、最後に、ロール方向を処理する。従って、pitch＝９０もしくはpitch＝−９０のとき、ヨー方向の指定はロール方向のオペレーションとなる。また、ピッチの設定がpitch＞９０もしくはpitch＜−９０のとき、カメラは天地が逆となる。
以上のｘ，ｙ，ｚ，ピッチ，ヨー，ロールの６つのパラメータで、カメラの設置状況を指定する。

〈１−２．カメラシミュレーション〉
図８に示すように、カメラを示す点Ｃを原点に取り、基準向きＤｃとそれに垂直な向きＤｃｖを定義する。Ｄｃはカメラの向き、Ｄｃｖはカメラの上方向を決めるための向きである。ここで、Ｄｃを軸にＤｃｖを回転させて定義できる平面をＳｖと置く。

ここで、カメラ（点Ｃ）に入射する光線Ａを考える。光線Ａと向きＤｃのなす角度をαとする。また、ＡをＳｖ上にＤｃと平行に投影したＡ’とＤｃｖとがなす角度をβとする。
αは常に、
０．０［ｄｅｇ］≦α≦１８０．０［ｄｅｇ］
となる。
βは平面ＳｖをＤｃと順方向に見た場合、時計回りを＋方向とおく。図８中の光線Ａは、（α，−β）と表現することができる。

次に、光線ｒが、カメラの出力映像上で、どのように映るかについて定義する。
図９は、カメラの出力映像を表す図である。出力映像がｘｙ平面上にあると置く。ｘｙ平面の原点と一致するように、画面の中心点９１を取る。また、点９１から垂直上方向に伸びる半直線９２（ｙ軸のｙ＞０）を取る。点９１および半直線９２を基準にとり、極座標（Ｌ，θ）を考える。θの正方向は半直線９２から時計回りが正方向とする。出力映像上の点は、ｘｙ座標（ｘ，ｙ）もしくは極座標（Ｌ，θ）で表すことができる。

カメラの正面から垂直に入射した光線（α＝０．０［ｄｅｇ］，β＝任意）について考えると、出力画像の中央、すなわち点９１として撮影される、と考えることができる。また、光線（α，β）のβを０．０に固定し、αを０．０から大きくしていった場合は、カメラの上方向からの入射に変化していくため、カメラの出力映像上では、半直線９２上をｙの正方向に向かって動いていくと考えられる。ここで、カメラの上方向を示す向きＤｃｖ（図8参照）と線分９２を関連付けて考え、さらに、入射角αと出力映像上の原点９１からの距離Ｌとは、関連があるので、
Ｌ＝ｆｃ（α），θ＝β
とする。便宜上、
（Ｌ，θ）＝ｆｃ（α，β）
とまとめて表現する。また、ｆｃ（）の逆関数ｆｃｉ（）を、
α＝ｆｃｉ（Ｌ），β＝θ
と定義する。この式も便宜上、
（α，β）＝ｆｃｉ（Ｌ，θ）
とまとめて表現する。
これらの式で、画像上の点（Ｌ，θ）と、カメラに入射する光線（α，β）とを関連付けるものとする。

カメラの撮像範囲を限定するには、図９の平面上に撮像エリア（撮像面）９５を設定し、エリア内であれば撮像領域、エリア外であれば撮像領域外とすればよい。カメラの水平画角がｈ＿ｍａｘ［ｄｅｇ］で示される場合、光線（α＝（ｈ＿ｍａｘ／２）［ｄｅｇ］，β＝９０．０［ｄｅｇ］）は、図９の点９３としてプロットできる。光線（α＝（ｈ＿ｍａｘ／２）［ｄｅｇ］，β＝−９０．０［ｄｅｇ］）である場合は、同様に点９４としてプロットできる。よって、水平画角がｈ＿ｍａｘ［ｄｅｇ］の場合の撮像エリア９５の横方向の範囲は、ｘ座標の範囲で、−ｆｃ（ｈ＿ｍａｘ／２）〜ｆｃ（ｈ＿ｍａｘ／２）となる。これを、−ｗ〜ｗと置く。撮像エリア９５の縦方向の範囲は、撮像面の縦横比と、前記横方向の範囲から決定することができる。例えば画面の縦横比率が３：４であった場合には、撮像エリア９５の縦方向の範囲は、ｙ座標で表すと、−３ｗ／４〜３ｗ／４となる。もちろん、垂直画角から算出しても良い。この範囲を−ｈ〜ｈとおく。
以上で撮像エリア９５の範囲を決定することができる。

図10はフレームバッファおよびテーブルの座標とアドレスについて説明する図である。
図9の撮像エリア９５を、図１０のように、一般的なＣＧで用いられるような横Ｗピクセル、縦Ｈピクセルに分割することを考える。この場合、左上のピクセルをＸＹ座標で表現すると、（０，０）となり、右下のピクセルが（Ｗ−１，Ｈ−１）となるのが一般的である。図１０のＸＹ座標と、図９の（Ｌ，θ）座標の変換式を、
（Ｘ，Ｙ）＝ｆｓ（Ｌ，θ）
と定義する。
また、関数ｆｓ（）の逆関数ｆｓｉ（）を、
（Ｌ，θ）＝ｆｓｉ（Ｘ，Ｙ）
と定義する。関数ｆｓ（）およびｆｓｉ（）は、ｗ，ｈ，Ｗ，Ｈのパラメータから決定することができる。

関数ｆｃ（）は、レンズの特性を表す。例えば、ｆθ系の光学特性を持つレンズの場合は、
Ｌ＝ｋ×θ（ｋは定数、θは入射角）
となる。
関数ｆｃ（）を用いて撮像エリアを定義するため、ｋは０．０より大きい値であれば、どのような値を取った場合も結果は同じである。ピンホールカメラの場合は、
Ｌ＝ｔａｎ（θ）
となる。
複数の、入射角θと像高Ｙのデータの組から、近似式Ｙ＝Ｆ（θ）を求め、それをそのままＬ＝ｆｃ（θ）に適用しても良い。

以上から、入射光線（α，β）と、出力映像のピクセル座標（Ｘ，Ｙ）との関係式
（Ｘ，Ｙ）＝ｆｓ（ｆｃ(α，β)）
（α，β）＝ｆｃｉ（ｆｓｉ(Ｘ，Ｙ））
を定義することができる。ただし、ＸＹ座標系では、Ｘ，Ｙそれぞれが正整数に丸められるため、完全な逆関数とはならず、近似となる。Ｘ，Ｙそれぞれを実数で持つ場合には、完全な逆演算が可能になる。

〈１−３．空間上の点の撮影〉
〈１−１．〉で定義したカメラの位置およびカメラの向きと、〈１−２．〉で定義したカメラシミュレーションに基づいて、空間上の点（ｘｐ，ｙｐ，ｚｐ）と、カメラの出力映像上のピクセル（Ｘｐ，Ｙｐ）との関係を求める。カメラの位置を（ｘｃ，ｙｃ，ｚｃ）とし、カメラの向きを（pitch，yaw，roll）とする。

カメラ位置（ｘｃ，ｙｃ，ｚｃ）をオフセットとして用いて、カメラ位置が原点に来るように、空間座標ｘ，ｙ，ｚ方向にそれぞれ−ｘｃ，−ｙｃ，−ｚｃをシフトする関数
（ｓｘ，ｓｙ，ｓｚ）＝ｆｏ（（ｘ，ｙ，ｚ），（ｘｃ，ｙｃ，ｚｃ））
を定義する。
また、逆関数
（ｘ，ｙ，ｚ）＝ｆｏｉ（（ｓｘ，ｓｙ，ｓｚ），（ｘｃ，ｙｃ，ｚｃ））
も定義する。
これを空間上の点（ｘｐ，ｙｐ，ｚｐ）に適用する。ここまでの結果は、
ｆｏ（（ｘｐ，ｙｐ，ｚｐ），（ｘｃ，ｙｃ，ｚｃ））
となる。

次に、ｚ軸を中心とし、ｚ軸の＋方向から−方向の向きでｘｙ平面を見た場合に、時計回りを正方向として、空間座標をθ［ｄｅｇ］回転させる関数
（ｒｚｘ，ｒｚｙ，ｒｚｚ）＝rollＺ（（ｘ，ｙ，ｚ），θ）
を定義し、これまでの演算結果を、−yaw［ｄｅｇ］、ｚ軸周りに回転させる。ここまでの結果は、
rollＺ（ｆｏ((ｘｐ，ｙｐ，ｚｐ），（ｘｃ，ｙｃ，ｚｃ）），−yaw）
となる。

次に、ｘ軸を中心とし、ｘ軸の＋方向から−方向の向きでｙｚ平面を見た場合に、時計回りを正方向として、空間座標をθ［ｄｅｇ］回転させる関数
（ｒｘｘ，ｒｘｙ，ｒｘｚ）＝rollＸ（（ｘ，ｙ，ｚ），θ）
を定義し、これまでの演算結果を、−pitch［ｄｅｇ］、ｘ軸周りに回転させる。ここまでの結果は、
rollＸ（rollＺ(ｆｏ((ｘｐ，ｙｐ，ｚｐ)，(ｘｃ，ｙｃ，ｚｃ))，−yaw)，−pitch）
となる。

次に、ｙ軸を中心とし、ｙ軸の−方向から＋方向の向きでｘｚ平面を見た場合に、時計回りを正方向として、空間座標（ｘ，ｙ，ｚ）をθ［ｄｅｇ］回転させる関数
（ｒｙｘ，ｒｙｙ，ｒｙｚ）＝rollＹ（(ｘ，ｙ，ｚ)，θ）
を定義し、これまでの演算結果を、ｙ軸周りに−roll［ｄｅｇ］、回転させる。ここまでの結果は、
rollＹ（rollＸ(rollＺ(ｆｏ((ｘｐ，ｙｐ，ｚｐ)，(ｘｃ，ｙｃ，ｚｃ))，−yaw)，−pitch)，−roll）
となる。
この計算の結果、空間上の点（ｘｐ，ｙｐ，ｚｐ）をカメラ向きを基準に見たときの座標（ｘｐ’，ｙｐ’，ｚｐ’）を求めることができる。
以上の演算をまとめて、
（ｘ’，ｙ’，ｚ’）＝ｆｄ（(ｘ，ｙ，ｚ)，(ｘｃ，ｙｃ，ｚｃ)，(pitch，yaw，roll)）
と定義する。
また、逆関数
（ｘ，ｙ，ｚ）＝ｆｄｉ（(ｘ’，ｙ’，ｚ’)，(ｘｃ，ｙｃ，ｚｃ)，(pitch，yaw，roll)）
を定義する。

次に、（ｘｐ’，ｙｐ’，ｚｐ’）から、カメラ（原点）への入射向き（α，β）を求める。この演算を
（α，β）＝ｆａ（ｘ，ｙ，ｚ）
と定義する。座標から向きへの関数であるため、逆関数（ｘ，ｙ，ｚ）＝ｆａｉ（α，β）は定義できないが、向きを示す座標（ｘｄ，ｙｄ，ｚｄ）を求める関数
（ｘｄ，ｙｄ，ｚｄ）＝ｆｂ（α，β）
（ただし、ｘｄ＝ｔ×ｘ，ｙｄ＝ｔ×ｘ，ｚｄ＝ｔ×ｚ。ｔは０．０より大きな正の実数）
を定義することができる。関数ｆａ（）を（ｘｐ’，ｙｐ’，ｚｐ’）に適用すると、（αｐ，βｐ）＝ｆａ（ｘｐ’，ｙｐ’，ｚｐ’）となる。

ここまでの結果と、〈１−２．〉の結果から、空間上の点（ｘｐ，ｙｐ，ｚｐ）と出力映像上のピクセルの座標（Ｘｐ，Ｙｐ）との関係は、
（Ｘｐ，Ｙｐ）＝ｆｓ（ｆｃ(ｆａ(ｆｄ((ｘｐ，ｙｐ，ｚｐ)，(ｘｃ，ｙｃ，ｚｃ)，(pitch，yaw，roll))))）
と表すことができ、カメラのシミュレーションが可能となる。関数ｆａｉ（）が定義できないため、純粋な逆関数の定義は不可能であるが、撮影元の点の空間座標を推測するための点の座標（ｘｖ，ｙｖ，ｚｖ）を求めることができる。

（ｘｖ，ｙｖ，ｚｖ）＝ｆｄｉ（ｆｂ(ｆｃｉ(ｆｓｉ(Ｘｐ，Ｙｐ)))），(ｘｃ，ｙｃ，ｚｃ)，(pitch，yaw，roll)）
と表すことができる。（ｘｃ，ｙｃ，ｚｃ）を起点に、（ｘｖ，ｙｖ，ｚｖ）を通る半直線の近傍に（ｘｐ，ｙｐ，ｚｐ）が存在する。Ｘｐ，Ｙｐは正整数に丸められるため、可逆ではなく、かならずしも半直線上にあるとはいえないが、その近傍に存在する。

《２．視点変換の考え方》
《１．カメラシミュレーションの考え方》で説明したカメラシミュレーションの手法を用いて、視点変換について説明する。図１１は視点変換について説明する図である。空間上に実際のカメラＲと、仮想カメラＶがあるとする。仮想カメラＶの映像を実際のカメラＲの映像を用いて生成することを考える。
カメラＲおよびカメラＶの各種パラメータ（位置、向き、レンズ特性など）は、既に定義されているとする。カメラＲの位置を（ｘ＿ｒ，ｙ＿ｒ，ｚ＿ｒ）、向きを（pitch＿ｒ，yaw＿ｒ，roll＿ｒ）、各関数をｆｘｘ＿ｒ（）と記述することとする。また、カメラＶの各パラメータ、各関数には、同様に＿ｖをつけて表現することとする。すなわち、カメラＶの位置を（ｘ＿ｖ，ｙ＿ｖ，ｚ＿ｖ）、向きを（pitch＿ｖ，yaw＿ｖ，roll＿ｖ）、各関数をｆｘｘ＿ｖ（）と記述することとする。

カメラＶの映像をカメラＲの映像を用いて生成するには、カメラＶの映像の各画素が、カメラＲの映像のどの画素と対応するかを、計算すればよい。
カメラＶの画素（Ｘ＿ｖ，Ｙ＿ｖ）に注目する。この画素が、どの方向から入射した光線を撮影しているかを、《１．カメラシミュレーションの考え方》の結果から求めると、
（ｔｘ，ｔｙ，ｔｚ）＝ｆｄｉ＿ｖ（ｆｂ＿ｖ(ｆｃｉ＿ｖ(ｆｓｉ＿ｖ(Ｘ＿ｖ，Ｙ＿ｖ)))，(ｘ＿ｖ，ｙ＿ｖ，ｚ＿ｖ)，(pitch＿ｖ，yaw＿ｖ，roll＿ｖ)）
となる。ここで、（ｔｘ，ｔｙ，ｔｚ）は、絶対位置ではなく、方向を示すための座標であるから、座標を決定するには、なんらかの基準が必要となる。ここで、基準面として、ｘｙ平面を考える。（ｘ＿ｖ，ｙ＿ｖ，ｚ＿ｖ）と（ｔｘ，ｔｙ，ｔｚ）で定まる方向と、基準面の交点Ｃ（ｘ＿ｃ，ｙ＿ｃ，０）を求めることができる。ｚ＿ｖ＜ｔｚの場合は交点を持たないが、この場合の処理は後で説明する。次に、交点ＣをカメラＲが撮影していると考える。カメラＲが交点Ｃを撮影していない場合の処理については、後で述べる。交点Ｃの、カメラＲの映像上の座標を（Ｘ＿ｒ，Ｙ＿ｒ）とおくと、
（Ｘ＿ｒ，Ｙ＿ｒ）＝ｆｓ＿ｒ（ｆｃ＿ｒ(ｆａ＿ｒ(ｆｄ＿ｒ((ｘ＿ｃ，ｙ＿ｃ，０)，(ｘ＿ｒ，ｙ＿ｒ，ｚ＿ｒ)，(pitch＿ｒ，yaw＿ｒ，roll＿ｒ))))）
となる。

以上で、仮想カメラＶの映像の画素（Ｘ＿ｖ，Ｙ＿ｖ）と、実際のカメラＲの映像の画素（Ｘ＿ｒ，Ｙ＿ｒ）の、対応を得ることができる。仮想カメラＶの映像の画素（Ｘ＿ｖ，Ｙ＿ｖ）に、実際のカメラＲの映像の画素（Ｘ＿ｒ，Ｙ＿ｒ）の情報をコピーする。実際のカメラＲの映像情報をＲＧＢの値で持っている場合には、ＲＧＢの値をコピーする。
ここで、交点Ｃが定まらない場合と、カメラＲが交点Ｃを撮影していない場合について述べる。これらの場合は、仮想カメラＶの映像の画素（Ｘ＿ｖ，Ｙ＿ｖ）は、対応する実際のカメラＲの映像の画素がないので、仮想カメラＶの映像の画素（Ｘ＿ｖ，Ｙ＿ｖ）には、一定の値、例えば黒などの色を即値で代入する。

仮想カメラＶの映像の画素全てについて、以上の処理を行うと、仮想カメラＶの映像が確定する。また、実際のカメラＲが複数ある場合にも同様にして処理を行うことができる。この場合は、仮想カメラＶの映像の画素（Ｘ＿ｖ，Ｙ＿ｖ）の対応先が、複数の実際のカメラＲの画素にまたがることになる。
カメラＶとカメラＲの各種パラメータ・各種関数に変更がない場合、以上で求めたカメラＶとカメラＲの映像の関係は、一定である。動画を処理する場合にも、一度計算した結果をストアしておけばよいので、高速に処理を行うことができる。ストアする内容は、（Ｘ＿ｖ，Ｙ＿ｖ）と、（Ｘ＿ｒ，Ｙ＿ｒ）との関係であるから、カメラＶの映像が、横Ｗ＿ｖ、縦Ｈ＿ｖピクセルで構成される場合、前記の関係を示すデータを、（(Ｗ＿ｖ)×(Ｈ＿ｖ)）個、保持すればよい。これを再配置用テーブルと呼ぶこととする。

次に、実際の再配置用テーブルの例を示す。まず、各カメラの映像のピクセルに、図１０に示すようなルールで、アドレス番号を振る。アドレス番号は１から始まり、Ｗ×Ｈで終わる（これはカメラの解像度で変化する）。これにカメラ番号を付加し、各カメラの各ピクセルの情報にアクセスする。例えばカメラＲのカメラ番号を１とした場合、カメラＲのピクセル（ｘｒ，ｙｒ）にアクセスするためには、ピクセル１：（(ｘｒ＋ｙｒ)×(Ｗ＿ｒ＋１)）にアクセスすればよい。これを参照先アドレスと呼ぶ。カメラＶの画像を確定する再配置用テーブルには、カメラＶの映像の画素数と同じ（(Ｗ＿ｖ)×(Ｈ＿ｖ)）個、参照先アドレスが記述されている。再配置用テーブルの情報には、ピクセルにアクセスするのと同様のアドレスでアクセスすることができる。カメラＶの映像の画素（ｘｖ，ｙｖ）の情報を知るためには、再配置用テーブル上の情報のアドレス（(ｘｖ＋ｙｖ)×(Ｗ＿ｖ＋１)）にアクセスし、参照先アドレスを取得し、参照先アドレスの指し示すピクセルの情報を取得する。

《３．画角変換の考え方》
画角変換は、視点変換の特殊解である。視点変換との違いは、カメラＲが必ず１つであること、カメラＶとカメラＲの位置が同じであることである。これらの条件により、交点Ｃを求めず、（ｔｘ，ｔｙ，ｔｚ）を直接用いて変換演算を行うことが可能となる。（ｘ＿ｒ，ｙ＿ｒ，ｚ＿ｒ）＝（ｘ＿ｖ，ｙ＿ｖ，ｚ＿ｖ）＝（ｘＡ，ｙＡ，ｚＡ）として式を示す。
（ｔｘ，ｔｙ，ｔｚ）＝ｆｄｉ＿ｖ（ｆｂ＿ｖ(ｆｃｉ＿ｖ(ｆｓｉ＿ｖ(Ｘ＿ｖ，Ｙ＿ｖ)))，(ｘＡ，ｙＡ，ｚＡ)，(pitch＿ｖ，yaw＿ｖ，roll＿ｖ)）
（Ｘ＿ｒ，Ｙ＿ｒ）＝ｆｓ＿ｒ（ｆｃ＿ｒ(ｆａ＿ｒ(ｆｄ＿ｒ((ｔｘ，ｔｙ，ｔｚ)，(ｘＡ，ｙＡ，ｚＡ)，(pitch＿ｒ，yaw＿ｒ，roll＿ｒ))))）
以上の式を用いて、（Ｘ＿ｖ，Ｙ＿ｖ）と（Ｘ＿ｒ，Ｙ＿ｒ）の対応を計算することができる。

視点変換の場合は、基準面を用いて変換処理を行うため、ｚ＝０以外にある撮影対象点が基準面上に投影され、特有の歪みを生じることがあったが、画角変換の場合は、基準面を用いず、方向だけを用いて変換を行うので、歪み無しで撮像範囲や方向、画角、レンズ特性の変更を行うことが可能となる。
また、画角変換の場合、方向だけを用いて変換を行うので、カメラＲとカメラＶの向きの差のみが問題になり、絶対的な向きがどちらを向いていても、結果は同じになる。よって、例えばカメラＲとカメラＶがピッチ方向に５度ずれているカメラで、カメラＲとカメラＶの解像度が同じであった場合には、カメラＲ→カメラＶの再配置用テーブルを用いた再配置を、Ｎ回適用すると、（Ｎ×５）度ずれた映像を得ることができる。

《本発明の実施の形態》
〈実施の形態１〉
以上のことを前提に、本発明の実施の形態について以下説明する。
図１は本発明の実施の形態１の車両用画像生成装置の構成を示す図である。
図1において、１はカメラ、２は入力用フレームバッファ、３は再配置装置、４は出力用フレームバッファ、５は表示装置、６は誤差補正用テーブル、７は誤差補正用テーブル保持装置（誤差補正用テーブル保持領域、保持手段）、８は再配置用テーブル、９は再配置用テーブル保持装置（再配置用テーブル保持領域、保持手段）である。

カメラ１の出力映像は、画素情報へ分割され、入力用フレームバッファ２に格納される。この部分の具体的な手法・構成は公知である。
再配置装置３は、誤差補正用テーブル６と、再配置用テーブル８を用いて、入力用フレームバッファ２上の画素情報を、出力用フレームバッファ４上に再配置する。誤差補正機能のない、従来のシステムでは、再配置用テーブル８だけを用いて、入力用フレームバッファ２上の画素情報を、出力用フレームバッファ４上に再配置する。

誤差補正用テーブル６は、カメラ１の向きの誤差を補正するためのテーブルで、入力用フレームバッファ２と同じサイズを持つ仮想フレームバッファへの再配置を行う。なお、仮想フレームバッファは、再配置装置３の内部に存在する。入力用フレームバッファ２と再配置装置３の内部にある仮想フレームバッファとは、サイズと、保持している情報が同じなので、仮想フレームバッファへのアクセスは、入力用フレームバッファ２へのアクセスと同様に行うことができる。よって、誤差補正用テーブル６で再配置した結果に対し、同じ、もしくは別の誤差補正用テーブル６をさらに適用することが可能である。誤差補正用テーブル６は、《１．〜３．》で説明した考え方で生成したテーブルを用いるが、誤差補正用テーブル６は、カメラ１の向きを補正するものであるので、《３．》の画角変換を用いる。

カメラ１の取り付け誤差には、向き（ピッチ、ヨー、ロール）の誤差と、位置の誤差とがある。条件にもよるが、車体に取り付けるカメラの場合は、向きの誤差は、カメラ自体の誤差を含めて±３［ｄｅｇ］、位置の誤差は±３［ｍｍ］程度である。特にカメラが広角で、広い範囲を撮像し、その映像を運転者に提示するシステムにおいては、撮影対象が遠く（数ｍ先）、撮像範囲が広いため、向きの誤差は大きく出るが、位置の誤差は無視できるオーダーである場合が多い。このため、誤差補正用テーブルの補正する内容を向きに限定しても問題にならず、システム全体のパフォーマンスを向上することができる。
誤差補正用テーブル６は、あらかじめ計算した結果を、誤差補正用テーブル保持装置７にいくつか保持しておき、使用者が望む補正状態にあったものを選び、使用する形式でよい。

誤差補正用テーブル６を複数回適用して、補正を行ってもよい。例えば、ヨー方向に１度補正する誤差補正用テーブルを保持しておき、そのテーブルを３回適用すると、３度補正するテーブルとなる。３回補正した結果を、新規の誤差補正用テーブルとして生成し、誤差補正用テーブル６に設定してもよいし、再配置用テーブル８の中で、３回適用する形でもよい。また、ピッチを１度補正する誤差補正用テーブルを適用した後に、ヨーを１度補正する誤差補正用テーブルを適用すると言った具合に、異なる誤差補正用テーブルを何度か適用してもよい。
なお、カメラ１のピッチ、ヨー方向の誤差補正用テーブルは、レンズ特性によって決定されるため、複雑な計算を避けようとする場合は、あらかじめ計算した結果を持たなければならない。しかしながら、カメラ１のロール方向の誤差については、レンズ特性に関係なく、単なる画像の回転となる。これは非常に簡単な計算となるので、内部でロール補正用テーブルを生成し、適用することで、あらかじめ誤差補正用テーブル保持装置７に持っておく誤差補正用テーブル６の数を減らすことができる。

誤差補正用テーブル保持装置７上の複数の誤差補正用テーブル６から、誤差補正用テーブルを生成する方法もある。例として、ピッチを１度補正するテーブルと、ピッチを３度補正するテーブルから、ピッチを２度補正するテーブルを生成する方法について示す。ピッチを１度補正するテーブルをテーブル１、ピッチを３度補正するテーブルをテーブル２とする。共通のアクセス用アドレスＡを用いて、テーブル１およびテーブル２から、参照先アドレス１と参照先アドレス２を取得する。これはどちらも、同じ入力用フレームバッファ２上のピクセルを示している。参照先アドレス１の入力用フレームバッファ２上の座標を（ｘ１，ｙ１）、参照先アドレス２の入力用フレームバッファ２上の座標を（ｘ２，ｙ２）とする。その２つの中間座標（(ｘ１＋ｘ２)／２，(ｙ１＋ｙ２)／２）を生成テーブルのアドレスＡの値として決定する。この計算をすべてのピクセルのアドレスについて行えば、テーブル１とテーブル２の中間のテーブルを生成することができる。これをピッチを２度補正するテーブルの近似として、誤差補正用テーブル６に適用する。もし、ピッチを１．５度補正するテーブルの近似テーブルを求めたければ、さきに説明した中間座標の計算式を（(ｘ１×３＋ｘ２)／４，(ｙ１×３＋ｙ２)／４）にすればよい。さらに、ｍ：ｎに分割する中間座標は（（ｘ１×ｍ×ｘ２×ｎ）／(ｍ＋ｎ)，(ｙ１×ｍ×ｙ２×ｎ)／(ｍ＋ｎ)）で示される。テーブル１とテーブル２との間が狭い場合は正確な近似になっていき、広い場合には不正確になるので、このような近似は、狭い範囲で調整値を追い込む場合に有効となる。

再配置装置３は、以上で決定した誤差補正用テーブル６と、再配置用テーブル８とを用いて、入力用フレームバッファ２上の画素情報を、出力用フレームバッファ４上に再配置する。再配置用テーブル保持装置９は、例えば、《２．》の視点変換を用いて生成した、自車両上方からの俯瞰映像のための再配置用テーブルである。

出力用フレームバッファ４の画素（ｘｏ，ｙｏ）の画素情報を取得する手順について示す。まず、アクセス用アドレスＢを、（ｘｏ，ｙｏ）を用いて計算する。《１．〜３．》で述べたとおり、出力用フレームバッファ４が、横Ｗ＿ｏ、縦Ｈ＿ｏである場合には、（ｘｏ＋ｙｏ）×（Ｗ＿ｏ＋１）で求めることができる。次に、アクセス用アドレスＢで、再配置用テーブル８にアクセスし、参照先アドレスＣを取得する。次に、参照先アドレスＣを用いて、誤差補正用テーブル６にアクセスし、参照先アドレスＤを取得する。次に、参照先アドレスＤを用いて入力用フレームバッファ２にアクセスし、画素情報を取得する。この手順を出力用フレームバッファ４の全画素に対して行うと、出力用フレームバッファ４上のデータが確定する。
なお、誤差補正用テーブル６は、カメラ１の向きの誤差を修正するテーブルであるので、再配置用テーブル８を他の再配置用テーブルに入れ替えた場合でも、誤差補正を適用し直す必要はない。

表示装置５は、出力用フレームバッファ４のデータを表示し、運転者に提示する。
なお、カメラ１が複数ある場合には、入力用フレームバッファ２および誤差補正用テーブル６がカメラ１と同じ数必要となるが、処理の仕方は同じである。同じスペックのカメラ１が複数ある場合には、誤差補正用テーブル保持装置７にある誤差補正用テーブル６のソースを共有することができる。これは、誤差補正用テーブル６は、画角を含めたレンズ特性で決定され、取り付け位置、向きによらないからである。しかし、各カメラ１の向きの誤差は、同じではないので、誤差補正用テーブル６はそれぞれのカメラ１に対して独立して必要である。

上記のように本発明は、カメラ１の取り付け誤差の大きさに対応した複数の誤差補正用テーブル６をあらかじめ持っておき、適切な補正テーブルを選ぶことにより本来撮影したい向きの画像を再現するものである。また、誤差補正用テーブル６とは、カメラ１の向き、つまり、ピッチ、ヨー、ロール方向のずれに対応して、アドレスを変更するルールを対応付けたテーブルである。ピッチ、ヨー、ロールがそれぞれ例えば０．５°、１°、１．５°ずつずれた場合には、例えば画素（１２，１２）を画素（１３，１４）に変更するといった対応づけをしたテーブルである。カメラ１のピッチ、ヨー、ロール方向のずれに対応して、全ての画素に対応付けがなされている。また、画素の座標から番地が分かるようになっている。このような構成により、カメラ１の取り付け時等に作業者がモニタ等を確認しながら、適切な補正テーブルを選ぶだけでよいので、正確な映像を再現するカメラ１の取り付け作業（取り付け誤差修正作業）を簡略化することができる。

誤差補正用テーブルについてさらに詳しく説明する。《３．》の式により、実カメラＲと仮想カメラＶの向き（pitch＿ｒ，yaw＿ｒ，roll＿ｒ）、（pitch＿ｖ，yaw＿ｖ，roll＿ｖ）と、仮想カメラＶの位置（ｘ＿ｖ，ｙ＿ｖ，ｚ＿ｖ）が分かれば、カメラＶの画素（Ｘ＿ｖ，Ｙ＿ｖ）にカメラＲの画素（Ｘ＿ｒ，Ｙ＿ｒ）が対応付けられることが分かる。画素どうしの対応が付けば、カメラＲのある画素のアドレスにカメラＶのアドレスを対応付けることができる。
ここで、仮想カメラＶを基準となるカメラとして、このカメラＶの位置、向きにカメラ１を取り付けるものとすると、その位置、向きは取り付けるカメラ１によっておのずと決まる。また、実際に取り付けられる実カメラＲは仮想カメラＶに対して向きの誤差を含んでいるので、この実カメラＲの誤差を補正した画素を仮想カメラＶに対応づければ、仮想カメラＶで見た画像として本来の取り付け方向の画像が再現できる。実際に取り付ける実カメラＲの誤差は仮想カメラＶの向き（pitch＿ｖ，yaw＿ｖ，roll＿ｖ）に対して実カメラの向き（pitch＿ｒ，yaw＿ｒ，roll＿ｒ）が異なっていれば、その差異が誤差となる。
本発明では、全ての画素について誤差を補正した誤差補正用テーブル６を、誤差の大きさに応じて複数用意しておき、実際の誤差に適合するテーブルを選択することで、誤差の大きさによらず本来の取り付け方向の映像を再現するものである。

以上説明したように、本実施の形態１の車両用画像生成装置は、自車両の周辺をカメラ１で撮影した映像を画像変換（すなわち、入力画素データを再配置して出力）して運転者に表示する車両用画像生成装置において、カメラ１の取り付け誤差の大きさに対応した複数の誤差補正用テーブル６をあらかじめ持っておき、画像変換時に適切な誤差補正用テーブル６を参照して表示し、画像の方向の誤差を補正するという構成になっている。また、本実施の形態１の車両用画像生成方法は、自車両の周辺をカメラ１で撮影した映像を画像変換して運転者に表示する車両用画像生成方法において、カメラ１の取り付け誤差の大きさに対応した複数の誤差補正用テーブル６をあらかじめ持っておき、画像変換時に適切な誤差補正用テーブルを参照して表示し、画像の方向の誤差を補正するという構成になっている。このような構成により、カメラ１の取り付け誤差を容易に補正することができ、カメラ１の取り付け誤差による入力映像のずれを解消し、入力映像の画素を再配置して生成する出力映像を正しく保つことができる。
前述のように、上記特許文献１の従来技術の補正座標テーブルは各カメラごとに存在する固有の光学系の歪みを補正するものであり、カメラの取付けの際に生じる向き等の誤差を補正するためのものでない。また、光学系の歪みの補正座標は実測値により求められるので、向き等の誤差を補正する複数のテーブルを用意することは困難である。したがって、取付けの向きの誤差を補正することはできない。さらに、複数の誤差補正用テーブルは向きの誤差に応じた複数のものではないので、カメラ取付け時に発生する任意の誤差に対応して適切なテーブルを選択することはできない。

また、本実施の形態１の車両用画像生成装置は、少なくとも１つのカメラ１と、カメラ１の映像を入力して画素データとして記録する入力用フレームバッファ２と、入力用フレームバッファ２に記録された画素データを再配置する再配置装置３と、再配置装置３により再配置された画素データを記録する出力用フレームバッファ４と、出力用フレームバッファ４に記録された画素データを映像として表示する表示装置５と、入力用フレームバッファ２に記録された画素データを出力用フレームバッファ４上に再配置するためのルールが記載された再配置用テーブル８と、カメラ１の取り付けの誤差を補正するためのルールが記載された誤差補正用テーブル６とを有し、再配置装置３は、再配置用テーブル８および誤差補正用テーブル６を用いて、入力用フレームバッファ２に記録された画素データを出力用フレームバッファ４上に再配置するものである。このように誤差補正用テーブル６と、再配置用テーブル８とを用いて、画素の再配置を行い、出力映像を生成するので、再配置用テーブル８を再計算することなく、カメラ１の取り付け誤差を容易に補正することができる。

また、誤差補正用テーブル６が、単一のカメラ１の取り付け誤差を補正するためのテーブルとすることが可能である。このように誤差補正用テーブル６を、単一のカメラ映像を入力にして再配置を行うためのテーブルとすることにより、より少ない容量のテーブルで表現することができる。

また、誤差補正用テーブル６が、カメラ１の向きのみの取り付け誤差を補正するためのテーブルとすることが可能である。このようにカメラ１の位置の誤差の補正は除き、誤差補正用テーブル６によりカメラ１の向きの補正のみを行うことによって、誤差補正用テーブル６の生成に、視点変換ではなく画角変換を適用することが可能となる。したがって、同一のレンズ特性を持つカメラ１どうしで誤差補正用テーブル６を共有できるようになるので、少ないテーブル量で、多くの補正を行うことが可能になる。

また、誤差補正用テーブル６が、カメラ１の少なくともピッチ方向、ヨー方向の取り付け誤差を補正するためのテーブルとすることが可能である。これによりカメラ１の少なくともピッチ方向、ヨー方向の取り付け誤差を容易に補正することができる。

また、カメラ１の少なくともロール方向の誤差の補正は計算により補正するか、または少なくともロール方向の誤差補正用テーブル６を計算により生成し、該誤差補正用テーブル６を用いて補正するようにすることが可能である。このようにカメラ１の少なくともロール方向の誤差の補正は、内部で演算した結果を用いることにより、より少ないテーブルで補正を実現することができる。

また、誤差補正用テーブル６が、カメラ１のピッチ方向、ヨー方向の取り付け誤差を補正するためのテーブルであり、カメラ１のロール方向の誤差の補正は計算により補正するか、またはロール方向の誤差補正用テーブルを計算により生成し、該誤差補正用テーブルを用いて補正するようにすることが可能である。このようにカメラ１のロール方向の誤差の補正は、内部で演算した結果を用いることにより、より少ないテーブルで補正を実現することができる。

また、入力用フレームバッファ２のサイズと出力用フレームバッファ４のサイズとが同一であり、誤差補正用テーブル６が、カメラ１の向きのみの取り付け誤差を補正するためのテーブルであり、再配置装置３は、誤差補正用テーブル６を複数回適用して補正を行うことが可能である。すなわち、少なくともピッチ、ヨー方向の誤差をそれぞれ補正する基準の誤差補正用テーブル６を備え、この基準の誤差補正用テーブル６を複数回適用することにより誤差を補正する。このように誤差補正用テーブル６が、カメラ１の向きの補正を行うテーブルであり、入力用フレームバッファ２と出力用フレームバッファ４のサイズが同一であるので、誤差補正用テーブル６を適用した結果に、さらに誤差補正用テーブル６を適用することが可能となり、少ないテーブルで、より多くのずれの状況に対応することができる。
また、再配置装置３は、誤差補正用テーブル６を、２個の誤差補正用テーブル６から計算して生成することが可能である。すなわち、少なくともピッチ、ヨー方向の誤差をそれぞれ補正する基準の誤差補正用テーブル６をそれぞれ複数備え、この複数の誤差補正用テーブル６を用いて誤差を補正する。このように２個の誤差補正用テーブル６から、新たな誤差補正用テーブル６を計算して生成できるので、少ないテーブルで、より細かな補正に対応することが可能となる。

〈実施の形態２〉
図２は本発明の実施の形態２の車両用画像生成装置の構成を示す図である。
図において、１０は統合テーブルである。
図２に示すように、誤差補正用テーブル６と、再配置用テーブル８が決定した時点で、誤差補正用テーブル６と再配置用テーブル８の統合テーブル１０を生成して、保持しておき、再配置装置３はそれを用いて動作するようにしてもよい。先の説明では、アクセス用アドレスＢから参照先アドレスＣを求め、参照先アドレスＣから参照先アドレスＤを得て、入力用フレームバッファ２にアクセスしたが、統合テーブル１０はアクセス用アドレスＢから参照先アドレスＤを求める対応を保持している。この場合、参照が一段階減り、メモリへのアクセス回数が減るので、より低速なバスと、処理装置により、再配置を実現することができる。ただし、再配置用テーブル８を他のものに切り替える場合には、統合テーブル１０を再び計算しなければならない。

このように本実施の形態では、再配置装置３は、誤差補正用テーブル６と再配置用テーブル８の両者を統合して生成した統合テーブル１０を用いて、入力用フレームバッファ２上の画素データを出力用フレームバッファ４上に再配置するようになっている。すなわち、適切な誤差補正用テーブル６を選択したら、この誤差補正用テーブル６を再配置用テーブル８と統合して、統合テーブル１０により直接再配置する。このように、誤差補正用テーブル６と再配置用テーブル８から、両者の統合テーブル１０を生成する機能を持ち、生成した結果を用いて再配置を行うことができるので、簡単な計算で再配置用テーブル８を再構成することができ、かつ、より単純な処理機構で再配置を行うことが可能となる。

なお、以上説明した実施の形態は、本発明の技術的思想の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
また、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明する。すなわち、実施の形態における再配置装置３が、特許請求の範囲の再配置手段に、表示装置５が表示手段にそれぞれ対応する。

本発明の実施の形態１の車両用画像生成装置の構成を示す図である。 本発明の実施の形態２の車両用画像生成装置の構成を示す図である。 カメラシミュレーションについて説明する図で、一般的な数学座標系を示す図である。 カメラシミュレーションについて説明する図である。 カメラシミュレーションのピッチについて説明する図である。 カメラシミュレーションのヨーについて説明する図である。 カメラシミュレーションのロールについて説明する図である。 カメラシミュレーションについて説明する図である。 カメラシミュレーションについて説明する図で、カメラの出力映像を表す図である。 フレームバッファおよびテーブルの座標とアドレスについて説明する図である。 視点変換について説明する図である。

符号の説明

１・・・カメラ ２・・・入力用フレームバッファ
３・・・再配置装置 ４・・・出力用フレームバッファ
５・・・表示装置 ６・・・誤差補正用テーブル
７・・・誤差補正用テーブル保持装置 ８・・・再配置用テーブル
９・・・再配置用テーブル保持装置 １０・・・統合テーブル

Claims (10)

1. 少なくとも１つのカメラと、
   前記カメラの映像を入力して画素データとして記録する入力用フレームバッファと、
   前記入力用フレームバッファに記録された画素データを再配置する再配置手段と、
   前記再配置手段により再配置された画素データを記録する出力用フレームバッファと、
   前記出力用フレームバッファに記録された画素データを映像として表示する表示手段と、
   前記入力用フレームバッファに記録された画素データを前記出力用フレームバッファ上に再配置するためのルールが記載された再配置用テーブルと、
   前記カメラの取り付け誤差の大きさに対応し、前記カメラの取り付け誤差を補正するためのルールが記載された複数の誤差補正用テーブルとを有し、
   前記再配置手段は、前記再配置用テーブルおよび前記誤差補正用テーブルを用いて、前記入力用フレームバッファに記録された画素データを前記出力用フレームバッファ上に再配置することを特徴とする車両用画像生成装置。
2. 前記再配置手段は、
   前記誤差補正用テーブルと前記再配置用テーブルの両者を統合して生成した統合テーブルを用いて、前記入力用フレームバッファ上の画素データを前記出力用フレームバッファ上に再配置することを特徴とする請求項１に記載の車両用画像生成装置。
3. 前記誤差補正用テーブルが、単一の前記カメラの取り付け誤差を補正するためのテーブルであることを特徴とする請求項１又は２に記載の車両用画像生成装置。
4. 前記誤差補正用テーブルが、前記カメラの向きのみの取り付け誤差を補正するためのテーブルであることを特徴とする請求項１乃至３のいずれか一項に記載の車両用画像生成装置。
5. 前記誤差補正用テーブルが、前記カメラの少なくともピッチ方向、ヨー方向の取り付け誤差を補正するためのテーブルであることを特徴とする請求項１乃至４のいずれか一項に記載の車両用画像生成装置。
6. 前記カメラの少なくともロール方向の誤差の補正は計算により補正するか、または少なくともロール方向の誤差補正用テーブルを計算により生成し、該誤差補正用テーブルを用いて補正することを特徴とする請求項１乃至５のいずれか一項に記載の車両用画像生成装置。
7. 前記誤差補正用テーブルが、前記カメラのピッチ方向、ヨー方向の取り付け誤差を補正するためのテーブルであり、
   前記カメラのロール方向の誤差の補正は計算により補正するか、またはロール方向の誤差補正用テーブルを計算により生成し、該誤差補正用テーブルを用いて補正することを特徴とする請求項１乃至６のいずれか一項に記載の車両用画像生成装置。
8. 前記入力用フレームバッファのサイズと前記出力用フレームバッファのサイズとが同一であり、
   前記誤差補正用テーブルが、前記カメラの向きのみの取り付け誤差を補正するためのテーブルであり、
   前記再配置手段は、前記誤差補正用テーブルを複数回適用して補正を行うことを特徴とする請求項１乃至７のいずれか一項に記載の車両用画像生成装置。
9. 前記再配置手段は、前記誤差補正用テーブルを、２個の前記誤差補正用テーブルから計算して生成することを特徴とする請求項１乃至８のいずれか一項に記載の車両用画像生成装置。
10. 自車両の周辺をカメラで撮影した映像を画像変換して運転者に表示する車両用画像生成方法において、
    少なくとも１つのカメラの映像を画素データとして入力用フレームバッファに記録し、
    前記入力用フレームバッファに記録された画素データを前記出力用フレームバッファ上に再配置するためのルールが記載された再配置用テーブルと、前記カメラの取り付け誤差の大きさに対応し、前記カメラの取り付け誤差を補正するためのルールが記載された複数の誤差補正用テーブルとを用いて、前記入力用フレームバッファに記録された画素データを再配置し、
    前記再配置された画素データを出力用フレームバッファに記憶し、
    前記出力用フレームバッファに記録された画素データを映像として表示する車両用画像生成方法。

Images