JP2001187552A

JP2001187552A - 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法

Info

Publication number: JP2001187552A
Application number: JP2000145015A
Authority: JP
Inventors: Isao Suzuki; 功鈴木; Toshihiro Yamagami; 智弘山上; Hiroshi Tanaka; 寛田中; Kazunori Shimazaki; 和典嶋崎; Kyoko Ito; 恭子伊藤
Original assignee: Toyoda Automatic Loom Works Ltd
Current assignee: Toyota Industries Corp
Priority date: 1999-10-19
Filing date: 2000-05-17
Publication date: 2001-07-10
Anticipated expiration: 2020-05-17
Also published as: US6785404B1; JP3632563B2; EP1094668B1; EP1094668A3; EP1094668A2

Abstract

(57)【要約】【課題】物理的な光軸調整を行うことなく、またＣＣ
Ｄカメラを基準通りに車両に取り付けるための調整作業
を行うことなく、実映像と仮想映像との位置関係を適正
に補正することができる映像位置関係装置を提供するこ
とを課題とする。【解決手段】ＣＣＤカメラ２１によって撮影された実
目標４３の座標データと、予め決められた実目標の位置
から理論的に算出された仮想目標４５の座標データと
が、スーパーインポーズ回路２９に送られ、モニタ画面
３５に実目標４３及び仮想目標４５が重畳表示される。
利用者は、実目標及び仮想目標が一致するようにコント
ローラ３３を操作する。かかる操作量は補正量としてス
ーパーインポーズ回路に送られ、実目標と仮想目標との
位置関係、すなわち、実映像と仮想映像との位置関係が
適正に補正される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実映像及び仮想映
像の相対位置関係を補正する映像位置関係補正装置、該
映像位置関係補正装置を備えた操舵支援装置、及び映像
位置関係補正方法に関するものである。

【０００２】

【従来の技術】従来、後進で車両を所定の駐車位置に移
動させるに際して、運転者が車両の死角により目標とす
る場所が見えなくなった場合にもハンドル操作が行える
よう、モニタに車両の後方映像及び操舵支援ガイドを写
し出すようにした操舵支援装置が提案されている。かか
る装置は、車両後方の実映像を撮影するＣＣＤカメラ
と、このＣＣＤカメラのとらえた映像を写し出すモニタ
と、タイヤ操舵角に係る情報等を検出するセンサと、こ
のセンサからの情報に応じて運転者に適切な操舵情報を
提供すべく仮想映像としての操舵支援ガイドを提供する
回路と、これら車両後方映像と操舵支援ガイドとをモニ
タ画面上に重畳表示させる回路とを備えている。

【０００３】ここで、ＣＣＤカメラにはレンズとＣＣＤ
エリアセンサとが含まれるが、レンズの光軸とＣＣＤエ
リアセンサの中心とが合致した状態でＣＣＤカメラが組
み立てられ、このＣＣＤカメラが予め定められた基準の
取付位置及び取付角度で車両に取り付けられた正常な状
態では、図１０の（ａ）に示されるように、モニタ画面
１上には、例えば車両後方映像に含まれる道路３及び車
両後部バンパ５と、操舵支援ガイド７とが適切な位置関
係で表示される。しかし、レンズの光軸とＣＣＤエリア
センサの中心とが合致していない場合やＣＣＤカメラが
車両に基準通りに適正に取り付けられない場合には、図
１０の（ｂ）に示されるように、モニタ画面１上で、車
両後方映像の中心９と操舵支援ガイド７を描画するため
のモニタ画面中心１１とが一致しなくなり、道路３及び
車両後部バンパ５と操舵支援ガイド７とが適切な位置関
係からズレてしまうことがある。この場合には、操舵支
援ガイド７に従って車両を移動させても希望通り後退で
きなかったり駐車できないことがあり得る。そのため、
通常は、レンズの光軸がＣＣＤエリアセンサの中心を通
るように光軸の調整すなわちＣＣＤエリアセンサとレン
ズとの相対位置関係の調整が行われている。また、ＣＣ
Ｄカメラが車両に基準通りに適正に取り付けられるよう
に、車両ごとにＣＣＤカメラの取付状態の調整が行われ
ている。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た光軸の調整は、レンズの組付け時にレンズの位置を物
理的に調整して行うようになっていた。そのため、光軸
の調整を高精度で行うことが困難であった。また、より
高い精度を得ようとすると、非常にコストがかかるとい
った問題があった。さらに、ＣＣＤカメラを基準通りに
車両に取り付けるための調整作業に多くの時間が費やさ
れている。また、ＣＣＤカメラを基準通りに高精度で車
両に取り付けるのは困難であり、ＣＣＤカメラの実際の
車両取付状態には基準に対してばらつきが発生してしま
うといった問題点があった。

【０００５】本発明は、このような映像表示装置におけ
る従来の問題点に鑑みてなされたものであり、物理的な
光軸調整を行うことなく、またＣＣＤカメラを基準通り
に車両に取り付けるための調整作業を行うことなく、実
映像と仮想映像との位置関係を適正に補正することがで
きる映像位置関係補正装置を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】上述の目的を達成するた
め、本発明の映像位置関係補正装置は、カメラにより撮
影された実映像と仮想映像とをモニタ画面に重畳表示す
る装置に関し、前記カメラの被写領域に設けられ前記カ
メラに実目標を撮影させる実目標提供手段と、前記仮想
映像と同座標系に、前記実目標の座標から理論的に導出
される仮想目標を提供する仮想目標提供手段と、前記実
目標及び仮想目標のズレから前記実映像及び仮想映像の
相対位置関係を補正する補正手段とを備えたことを特徴
とする。

【０００７】前記補正手段は、前記仮想映像と同座標系
における、カメラにより撮影された前記実目標の座標を
算出し、車両に取り付けられたカメラの基準の位置およ
び角度を含む基準パラメータを予め記憶し、この基準パ
ラメータにより前記実目標から理論的に導出される前記
仮想目標の座標を算出し、この仮想目標の座標及び前記
実目標の座標のズレと基準パラメータとから、ニュート
ンラフソン法により、カメラの実際の位置および角度を
含む実取付パラメータを算出し、この実取付パラメータ
に基づいて前記実映像及び仮想映像の相対位置関係を補
正してもよい。前記補正手段は、前記実目標及び仮想目
標の一方をモニタ画面上で移動させて他方に重ね合わせ
るコントローラを備えていてもよく、あるいは、画像処
理により前記実目標及び仮想目標のズレを検出する画像
処理回路を備えていてもよい。

【０００８】上述の目的を達成するため、本発明の操舵
支援装置は、請求項１乃至３の何れか１項に記載の映像
位置関係補正装置を備えたことを特徴とする。また、前
記実目標提供手段は、車両後部に取り付けられ且つ表面
に前記実目標を有する部材であってもよい。

【０００９】同目的を達成するため、本発明の映像位置
関係補正方法は、カメラにより撮影された実映像と仮想
映像とをモニタ画面に重畳表示する装置に関し、前記カ
メラに実目標を撮影させ、前記仮想映像と同座標系に、
前記実目標の座標から理論的に導出される仮想目標を設
定し、前記実目標及び仮想目標のズレから前記実映像及
び仮想映像の相対位置関係を補正することを特徴とす
る。

【００１０】

【発明の実施の形態】以下、本発明の映像位置関係補正
装置を、車両の操舵支援装置における車両後方映像と操
舵支援ガイドとの映像位置関係を補正する場合に適用し
た、実施の形態について添付図面を基に説明する。

【００１１】実施の形態１．図１は、本発明の実施の形
態１に係る映像位置関係補正装置の概要を説明するブロ
ック図である。ＣＣＤカメラ２１は、レンズ２３、ＣＣ
Ｄエリアセンサ２５及び信号処理ＩＣ２７を備えてい
る。信号処理ＩＣ２７からの信号は、スーパーインポー
ズ回路２９に入力されるようになっている。さらに、ス
ーパーインポーズ回路２９には、理論描画回路３１から
の信号及びコントローラ３３からの補正信号も入力され
るようになっている。スーパーインポーズ回路２９の信
号は、モニタ３５に出力されるようになっている。ま
た、図２に示されるように、コントローラ３３は筐体か
らなり、その前面には、上下左右方向の補正量を入力可
能な十字ボタン３７が設けられている。

【００１２】次に、本実施の形態に係る映像位置関係補
正装置の作用について説明する。まず、図３に示される
ように、車両３９の後部には、実映像として車両後方映
像を撮影するためのＣＣＤカメラ２１が取り付けられて
いる。また、車両３９の後部バンパ３９ａには、実目標
提供手段としてのテストチャート部材４１の前端が取り
付けられる。これにより、テストチャート部材４１は、
ＣＣＤカメラ２１の被写領域Ａ内に配置されることにな
る。そして、板状のテストチャート部材４１の上面に
は、５つの十字状の実目標４３が描かれている。実目標
４３を含む実映像は、レンズ２３を介してＣＣＤエリア
センサ２５により取り込まれる。ＣＣＤエリアセンサ２
５に取り込まれた実映像に関する信号は、信号処理ＩＣ
２７に送られ、そこで実目標４３の座標データとして処
置され、スーパーインポーズ回路２９に出力される。一
方、スーパーインポーズ回路２９には、仮想目標提供手
段としての理論描画回路３１から、仮想目標４５に関す
る信号が入力される。

【００１３】ここで、理論描画回路３１における仮想目
標４５の導出について説明する。テストチャート部材４
１上における実目標４３の位置は予め決められており、
さらに、テストチャート部材４１の車両に対する取り付
け態様も予め決められていることから、実目標４３がＣ
ＣＤカメラ２１で撮影された際、モニタ画面上における
実目標４３の座標も予め理論的に算出することができ
る。理論描画回路３１は、このように理論的に求めた座
標を仮想目標４５の座標データとしてスーパーインポー
ズ回路２９に出力する。

【００１４】スーパーインポーズ回路２９においては、
ＣＣＤカメラ２１から出力された実目標４３の座標デー
タと、理論描画回路３１から出力された仮想目標４５の
座標データとにより、実目標４３及び仮想目標４５をそ
れぞれ実線及び点線で描画してモニタ画面３５上に重畳
表示する。このとき、レンズ２３の光軸とＣＣＤエリア
センサ２５の中心とが適切に合致している場合には、実
際に撮影された実目標４３の位置と、実目標４３の設定
位置に対応して理論的に求められた仮想目標４５の位置
とは、モニタ画面３５上で重なる。しかし、レンズ２３
の光軸とＣＣＤエリアセンサ２５の中心とが合致してい
ない場合には、図１に示されるように、実際に撮影され
た実目標４３の位置が本来の位置すなわち理論的に求め
られた仮想目標４５の位置からズレてしまう。

【００１５】このようにしてレンズ２３の光軸とＣＣＤ
エリアセンサ２５の中心とが合致していないことが確認
された場合、利用者は、仮想目標４５を実目標４３に重
ねるような方向にコントローラ３３の十字ボタン３７を
操作する。利用者からコントローラ３３の十字ボタン３
７を介して入力された補正量は、スーパーインポーズ回
路２９に入力され、スーパーインポーズ回路２９は、そ
の補正量に応じて理論描画による仮想目標４５の位置を
補正してモニタ画面３５上に表示しなおす。利用者は、
補正後の仮想目標４５の位置と実目標４３の位置とを比
較しながら、両者が完全に重なるまで更に補正が必要な
場合には、コントローラ３３を操作する。

【００１６】このようにしてモニタ画面３５上で、仮想
目標４５の位置と実目標４３の位置とが一致するように
補正が完了すると、スーパーインポーズ回路２９におい
てかかる補正量がメモリされる。そして、スーパーイン
ポーズ回路２９は、その後、理論描画回路３１から出力
された仮想目標４５と同座標系の仮想映像のデータ、例
えば、操舵支援ガイドの表示データ等に対しては上記と
同様な補正量による補正処理をする。これにより、レン
ズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致
していない場合でも、レンズ２３の光軸を物理的に調整
することなく、実映像と仮想映像との位置関係を適正に
補正することができ、すなわち、実映像としての車両後
方映像と、仮想映像としての操舵支援ガイドとの位置関
係を適正にすることができる。

【００１７】実施の形態２．図４は、本発明の実施の形
態２に係る映像位置関係補正装置の概要を説明するブロ
ック図である。本実施の形態２に係る映像位置関係補正
装置は、上述した実施の形態１に係る映像位置関係補正
装置に対して、補正手段としてコントローラ３３の代わ
りに画像処理回路５３を備えた点が主に異なるものであ
る。

【００１８】まず、実施の形態１の場合と同様なテスト
チャート部材４１上に描かれた実目標４３がＣＣＤカメ
ラ５１により撮影され、信号処理ＩＣ５７で処理された
実目標４３の座標データがスーパーインポーズ回路５９
に入力される。さらに、スーパーインポーズ回路５９に
は、理論描画回路３１において理論的に求められた仮想
目標４５に関する信号が入力される。

【００１９】スーパーインポーズ回路５９は、入力され
た実目標４３の座標データと仮想目標４５の座標データ
から実目標４３及び仮想目標４５をモニタ画面３５上に
重畳表示する。そして、レンズ２３の光軸とＣＣＤエリ
アセンサ２５の中心とが合致していないため、実目標４
３の位置と仮想目標４５の位置とがズレている場合に
は、画像処理回路５３が画像処理により上記ズレ量を検
出し、ズレ量がなくなるような補正量を算出してＣＣＤ
カメラ５１内の信号処理ＩＣ５７に送る。信号処理ＩＣ
５７においては、その補正量に応じて実際に撮影した実
目標４３の座標データを補正してスーパーインポーズ回
路５９に出力し直す。これにより、レンズ２３の光軸と
ＣＣＤエリアセンサ２５の中心とが合致していないこと
に起因した実映像と仮想映像との位置関係のズレが補正
される。また、信号処理ＩＣ５７においてはかかる補正
量がメモリされ、その後、撮影された実映像の座標デー
タ、例えば、道路や車両後部バンパ等の車両後方視界の
データに対して補正処理をする。これにより、レンズ２
３の光軸とＣＣＤエリアセンサ２５の中心とが合致して
いない場合でも、実映像としての車両後方映像と、仮想
映像としての操舵支援ガイドとの位置関係を適正にする
ことができる。

【００２０】実施の形態３．実施の形態１においてはコ
ントローラ３３に入力された補正量はスーパーインポー
ズ回路２９に送られていたが、本実施の形態３において
は、コントローラ３３に入力された補正量は、例えばＣ
ＣＤカメラのシリアルインターフェースを介して、ＣＣ
Ｄカメラに送られ、ＣＣＤカメラ内で映像データの補正
が行われる。かかる態様においても、実施の形態１と同
様に、実映像としての車両後方映像と、仮想映像として
の操舵支援ガイドとの位置関係を適正にすることができ
る。

【００２１】実施の形態４．この実施の形態４に係る映
像位置関係補正装置は、レンズの光軸とＣＣＤセンサエ
リアの中心とが適切に合致しないだけでなく、ＣＣＤカ
メラが車両に基準通りに適正に取り付けられない場合に
実映像及び仮想映像の相対位置関係を補正するものであ
る。

【００２２】まず、本実施の形態４に係る映像位置関係
補正装置を車両に取り付けた状態を説明する。図５に示
されるように、車両３９の後部には、車両後方映像を撮
影するためのＣＣＤカメラ２１が取り付けられている。
ＣＣＤカメラ２１には、レンズ２３およびＣＣＤエリア
センサ２５を備えている。また、車両３９の運転席前方
にはモニタ６５が設けられている。

【００２３】まず、ＣＣＤカメラ２１が基準通りに車両
に取り付けられ、且つＣＣＤカメラ２１のレンズ２３の
光軸７７がＣＣＤエリアセンサ２５の中心と合致した理
想状態の場合を説明する。説明の便宜のため、車両のリ
ヤアクスル中心７５から路面７６に対して垂直に下ろし
た地面上の点を原点Ｏとし、車両３９の後方に向かった
水平方向をｙ軸正方向、車両３９の左方に向かった水平
方向をｘ軸正方向、車両３９の上方に向かった垂直方向
をｚ軸正方向とした路面座標系を想定する。

【００２４】ＣＣＤカメラ２１は、路面座標系で表され
た座標点ＰＳ（ｘ，ｙ，ｚ）の基準取付位置に、伏せ角
ω、方向角γ、回転角θの基準取付角度で設置されてい
る。ここで、伏せ角ωはｙ軸方向から下に向いている角
度を表し、方向角γはｘｙ平面に平行な面におけるｙ軸
負方向からの角度を表し、回転角θはＣＣＤカメラ２１
を光軸中心７７周りにＣＣＤカメラ２１を回転させて取
り付けた角度を表す。また、レンズ２３の光軸７７に対
するＣＣＤエリアセンサ２５の中心のｘ軸正方向への位
置ずれ量をΔＣｘ、ｙ軸正方向への位置ずれ量をΔＣｙ
とする。ここで、ｘ，ｙ，ｚ、ω、γ、θ、ΔＣｘ、Δ
Ｃｙは、予め定められた値である場合も、基準取付パラ
メータとする。特に、ＣＣＤカメラ２１のレンズ２３の
光軸７７とＣＣＤエリアセンサ２５の中心とは合致した
状態に位置調整されているとする。すなわち、レンズ２
３の光軸７７に対するＣＣＤエリアセンサ２５の中心の
ｘ軸正方向への位置ずれ量ΔＣｘ、ｙ軸正方向への位置
ずれ量ΔＣｙはともに０である。

【００２５】一方、図６に示されるように、実際にＣＣ
Ｄカメラ２１が車両３９に取り付けられた場合には、基
準に対して取付誤差を含んで取り付けられ、且つＣＣＤ
カメラ２１のレンズ２３の光軸７７とＣＣＤエリアセン
サ２５の中心とが合致しない状態になっている。この場
合、ＣＣＤカメラ２１は、路面座標系で表された座標点
ＰＣ（ｘ＋Δｘ，ｙ＋Δｙ，ｚ＋Δｚ）の取付位置に、
伏せ角ω＋Δω、方向角γ＋Δγ、回転角θ＋Δθの取
付角度で設置されている。また、ＣＣＤエリアセンサ２
５のｘ軸正方向への位置ずれ量はΔＣｘ、ｙ軸正方向へ
の位置ずれ量はΔＣｙとなっている。ここで、ｘ＋Δ
ｘ，ｙ＋Δｙ，ｚ＋Δｚ、ω＋Δω、γ＋Δγ、θ＋Δ
θ、ΔＣｘ、ΔＣｙを実取付パラメータとする。

【００２６】また、車両３９の後部の路面上には、テス
トチャート部材８１が原点Ｏから予め決められた所定の
位置に置かれている。テストチャート部材８１は、ＣＣ
Ｄカメラ２１の被写領域Ａ内に配置されることになる。
また、テストチャート部材８１の上面には、４つの基準
点Ｑ１、Ｑ２，Ｑ３，Ｑ４を頂点とする長方形からなる
実目標８３が描かれている。

【００２７】図７は、本発明の実施の形態に係る映像位
置関係補正装置の概要を説明するブロック図である。Ｃ
ＣＤカメラ２１は、レンズ２３、ＣＣＤエリアセンサ２
５及び信号処理ＩＣ２７を備えている。信号処理ＩＣ２
７からの信号は、スーパーインポーズ回路６９に入力さ
れるようになっている。さらに、スーパーインポーズ回
路６９には、理論描画回路６１からの信号も入力される
ようになっている。スーパーインポーズ回路６９の信号
は、モニタ６５に出力されるようになっている。モニタ
６５には、位置変更のための十字状ボタン６６ａ、決定
ボタン６６ｂおよび計算ボタン６６ｃを備えたタッチパ
ネル６６が設けられている。さらに、モニタ６５はコン
トローラ６３に接続され、コントローラ６３は、タッチ
パネル６６を制御するとともに、理論描画回路６１に接
続されている。コントローラ６３、タッチパネル６６及
び理論描画回路６１は、補正手段を構成する。さらに、
理論描画回路６１は、仮想目標提供手段をも構成してい
る。

【００２８】次に、本実施の形態に係る映像位置関係補
正装置の作用について説明する。まず、実目標８３を含
む実映像は、レンズ２３を介してＣＣＤエリアセンサ２
５により取り込まれる。ＣＣＤエリアセンサ２５に取り
込まれた実映像に関する信号は、信号処理ＩＣ２７に送
られ、仮想映像と同座標系である仮想座標系の実目標の
座標データとして処置され、スーパーインポーズ回路６
９に出力される。一方、スーパーインポーズ回路６９に
は、理論描画回路６１から、仮想目標点Ｒ１〜Ｒ４を含
む仮想目標８５に関する信号が入力される。

【００２９】ここで、理論描画回路６１における仮想目
標８５の導出について説明する。テストチャート部材８
１上における基準点Ｑ１〜Ｑ４の位置は予め決められて
おり、さらに、テストチャート部材８１の車両に対する
取り付け態様も予め決められていることから、基準点Ｑ
１〜Ｑ４に対応した理論的に導出される仮想目標８５の
仮想目標点Ｒ１〜Ｒ４の座標は、基準取付パラメータを
基にした後述する算出方法により算出することができ
る。理論描画回路６１は、このように理論的に求めた座
標を仮想目標の座標データとして、スーパーインポーズ
回路６９に出力する。

【００３０】スーパーインポーズ回路６９においては、
ＣＣＤカメラ２１から出力された実目標８３の座標デー
タと、理論描画回路６１から出力された仮想目標８５の
座標データとにより、実目標８３及び仮想目標８５をそ
れぞれ実線及び点線で描画してモニタ画面６５上に重畳
表示する。このとき、ＣＣＤカメラ２１が基準通りに車
両に取り付けられ、且つＣＣＤカメラ２１のレンズ２３
の光軸７７がＣＣＤエリアセンサ２５の中心と合致して
いる場合には、実際に撮影された実目標８３の基準点Ｑ
１〜Ｑ４のモニタ画面上の位置である映像基準点Ｐ１〜
Ｐ４の位置と、仮想目標点Ｒ１〜Ｒ４の位置とは、モニ
タ画面６５上で重なる。しかし、ＣＣＤカメラ２１が基
準に対して取付誤差を含んで取り付けられたり、ＣＣＤ
カメラ２１のレンズ２３の光軸７７とＣＣＤエリアセン
サ２５の中心とが合致しない状態になっている場合に
は、図７に示されるように、映像基準点Ｑ１〜Ｑ４の位
置が本来の位置すなわち理論的に求められた仮想目標点
Ｒ１〜Ｒ４の位置からズレてしまう。

【００３１】このような場合、利用者は、タッチパネル
６６の十字ボタン６６ａを操作して、まず仮想目標点Ｒ
１を映像基準点Ｐ１に重ねるようにする。利用者の十字
ボタン６６ａにより入力された仮想目標点Ｒ１の移動量
は、コントローラ６３に入力される。次に、仮想目標点
Ｒ１が基準点Ｑ１に重なったところで利用者が決定ボタ
ン６６ｂを押すと、決定ボタン６６ｂの信号がコントロ
ーラ６３に入力され、コントローラ６３は、仮想目標点
Ｒ１の移動量を基に映像基準点のＰ１の座標を算出す
る。この操作を繰り返して仮想目標点Ｒ２〜Ｒ４を順に
移動すると、映像基準点Ｐ２〜Ｐ４の座標が算出され
る。次に、計算ボタンが押されると、コントローラ６３
は映像基準点Ｐ１〜Ｐ４の映像座標データを理論描画回
路６１に出力し、理論描画回路６１では後述する算出方
法で実取付パラメータを算出する。さらに、コントロー
ラ６３は実取付パラメータを基にして新たな仮想目標点
Ｒ１〜Ｒ４の座標を計算してこの新たな仮想目標点Ｒ１
〜Ｒ４をモニタ画面６５上に表示しなおす。補正された
仮想目標点Ｒ１〜Ｒ４の位置と映像基準点Ｐ１〜Ｐ４の
位置とを比較しながら、更に補正が必要な場合には、再
度タッチパネル６６を操作し、両者が完全に重なるよう
にする。

【００３２】このようにしてモニタ画面６５上で、仮想
目標点Ｒ１〜Ｒ４の位置と基準点Ｐ１〜Ｐ４とが一致す
るように補正が完了すると、理論描画回路６１は、仮想
目標と同座標系の仮想映像のデータ、例えば、操舵支援
ガイドの表示データ等を、実取付パラメータを基に作成
する。

【００３３】次に、理論描画回路６１が、基準取付パラ
メータを用いてモニタ画面６５上に表示する仮想目標８
５の仮想目標点Ｒ１〜Ｒ４の座標を算出し、さらに、仮
想目標点Ｒ１〜Ｒ４、映像基準点Ｐ１〜Ｐ４の座標及び
基準取付パラメータから実取付パラメータを算出する方
法を説明する。一般的には、仮想目標と同座標系である
仮想座標系の映像基準点Ｐの座標値は、ＣＣＤカメラ２
１の取付位置の座標ｘ，ｙ，ｚ、取付角度ω、γ、θ、
レンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心
との位置ずれ量ΔＣｘ、ΔＣｙをそれぞれ、ｘ１〜ｘ８
の８つのパラメータとし、基準点Ｑの路面座標系の座標
値をＸ_Q，Ｙ_Qとして、関数 ξ＝Ｆ（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５，ｘ６，ｘ７，
ｘ８，Ｘ_Q，Ｙ_Q）で表される。映像基準点Ｐ１のｘ、ｙ座標、Ｐ２のｘ、
ｙ座標、Ｐ３のｘ、ｙ座標およびＰ４のｘ、ｙ座標は、
それぞれ順に、ξ１〜ξ８として、一般式ξｎ（但し、
ｎは、１から８までの整数）で表すことにする。例え
ば、映像基準点Ｐ１のｘ座標は、Ｘ_Q，Ｙ_Qが基準点Ｑ１
の座標値により定数で与えられるので、 ξ１＝Ｆ１（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５，ｘ６，ｘ
７，ｘ８）と表わせる。

【００３４】また、図６に示されるような、実際のカメ
ラ取付状態で撮影され、モニタ上に映し出された映像基
準点Ｐ１〜Ｐ４の座標について、Ｐ１のｘ、ｙ座標、Ｐ
２のｘ、ｙ座標、Ｐ３のｘ、ｙ座標、Ｐ４のｘ、ｙ座標
を、それぞれ順に、ξ１’〜ξ８’として、一般式ξ
ｎ’（但し、ｎは、１から８までの整数）で表すことに
する。映像基準点Ｐ１〜Ｐ４のｘ座標及びｙ座標ξ１’
〜ξ８’は既にコントローラ６３で算出されている。こ
こで、ｆｎ（ｘ１，……，ｘ８）＝ξｎ−ξｎ’なる関
数を導入し、パラメータｘ１〜ｘ８に実際のカメラ取付
状態である実取付パラメータの値が設定されれば、ｆｎ
（ｘ１，……，ｘ８）＝０となる。すなわち、ｆ１〜ｆ
８がいずれもが０となるようにパラメータｘ１〜ｘ８の
値を求めれば、この値が実取付パラメータの値となる。

【００３５】パラメータｘ１〜ｘ８を求めるにあたっ
て、ニュートンラフソン法を用いる。関数ｆｎに関して
テーラー展開式を導入すると、ｆｎ（ｘ１＋Δｘ１，…，ｘ８＋Δｘ８）＝ｆｎ（ｘ
１，…，ｘ８）＋ｄｆｎ／ｄｘｎ・Δｘｎ＝０と近似できる。従って、ｄｆｎ／ｄｘｎ・Δｘｎ＝−ｆｎ（ｘ１，…，ｘ８）＝
−（ξｎ−ξｎ’）＝−（Ｆｎ（ｘ１，…，ｘ８）−ξ
ｎ’）＝ξｎ’−Ｆｎ（ｘ１，…，ｘ８）また、ｄｆｎ／ｄｘｎ＝ｄＦｎ／ｄｘｎであり、ｄＦｎ／ｄｘｎ・Δｘｎ＝ξｎ’−Ｆｎ（ｘ１，……，ｘ８） …（１）となる。

【００３６】ここで、（１）式をマトリックスで表現
し、図５に示されるような理想取付状態の基準取付パラ
メータを初期値としてｘ１〜ｘ８に代入し、ｄＦｎ／ｄ
ｘｎおよびＦｎを計算する。ξｎ’は上述したように求
められているので、Δｘ１〜Δｘ８を算出できる。次
に、Δｘ１〜Δｘ８をｘ１〜ｘ８にそれぞれ加えてｘ１
〜ｘ８の値を補正して、（１）式に代入して、Δｘ１〜
Δｘ８を求める。これをΔｘ１〜Δｘ８がそれぞれ０あ
るいは０近傍の所定値になるまで繰り返すことによって
実取付パラメータｘ１〜ｘ８を求めることができる。

【００３７】このようにして、実取付パラメータが算出
され、理論描画回路６１が実取付パラメータを基にして
新たな仮想目標点Ｒ１〜Ｒ４の座標を計算してこの新た
な仮想目標点Ｒ１〜Ｒ４をモニタ画面６５上に表示しな
おす。また、実取付パラメータを基にして仮想目標８５
と同座標系の仮想映像のデータ、例えば、操舵支援ガイ
ドの表示データが作成し直されることにより、実映像と
仮想映像との位置関係を適正に補正することができる。
これにより、レンズ２３の光軸７７とＣＣＤエリアセン
サ２５の中心とが合致せず、且つＣＣＤカメラが車両に
基準通りに適正に取り付けられない場合でも、レンズ２
３の光軸７７を物理的に調整することなく、またＣＣＤ
カメラを基準通りに車両に高精度で取り付けるための調
整作業を行うことなく、実映像と仮想映像との位置関係
を適正に補正することができる。すなわち、実映像とし
ての車両後方映像と、仮想映像としての操舵支援ガイド
との位置関係を適正にすることができる。

【００３８】実施の形態５．図８は、本発明の実施の形
態５に係る映像位置関係補正装置の概要を説明するブロ
ック図である。本実施の形態５に係る映像位置関係補正
装置は、上述した実施の形態４に係る映像位置関係補正
装置に対して、補正手段としてコントローラ６３の代わ
りに画像処理回路９３を備えた点及びモニタ画面１０５
にはタッチパネルがない点が主に異なるものである。

【００３９】画像処理回路９３は、モニタ画面１０５上
に表示されている実目標８３を画像処理して、映像基準
点Ｐ１〜Ｐ４の座標を算出し、理論描画回路６１に出力
する。理論描画回路６１は、上述したニュートンラフソ
ン法により実取付パラメータを算出して、実取付パラメ
ータを基にした仮想目標８５の仮想目標点Ｒ１〜Ｒ４の
座標を計算し、スーパーインポーズ回路６９を介して仮
想目標点Ｒ１〜Ｒ４がモニタ画面１０５上に表示され
る。

【００４０】このように、画像処理回路９３は画像処理
により、映像基準点Ｐ１〜Ｐ４の座標を算出し、実取付
パラメータを基にした仮想目標点Ｒ１〜Ｒ４が最初から
表示されるので、利用者がタッチパネルを操作して仮想
目標点Ｒ１〜Ｒ４を映像基準点Ｐ１〜Ｐ４に合わせる調
整作業が不要となり、製造コストが低減する。

【００４１】実施の形態６．図９は、本発明の実施の形
態６に係る映像位置関係補正装置の概要を説明するブロ
ック図である。本実施の形態６に係る映像位置関係補正
装置は、上述した実施の形態４に係る映像位置関係補正
装置に対して、理論描画回路１０１及びコントローラ１
０３が主に異なるものである。

【００４２】モニタ６５上には、理論描画回路１０１が
算出した仮想目標点Ｒ１〜Ｒ４を頂点とする矩形の座標
データを基に、矩形の仮想目標９５が表示される。ま
た、コントローラ１０３では、利用者が、モニタ上に設
けられた図示しない選択ボタンにより移動対象となる仮
想目標点Ｒ１〜Ｒ４のうち移動対象となる例えば、仮想
目標点Ｒ１を選択した後、十字ボタン６６ａを操作する
と、選択された仮想目標点Ｒ１が移動する。仮想目標点
Ｒ１が移動するたびに、この移動量がコントローラ１０
３に入力される。コントローラ１０３は仮想目標点Ｒ１
の移動量を基に、仮想目標点Ｒ１の位置を映像基準点Ｑ
１の位置と仮定して、映像基準点Ｑ１の座標を算出する
とともに、この座標を理論描画回路１０１に出力する。
理論描画回路１０１では、この映像基準点Ｑ１の座標を
基に、ニュートンラフソン法で実取付パラメータを算出
して、実取付パラメータを基にして新たな仮想目標点Ｒ
１〜Ｒ４を頂点とする矩形の仮想目標９５をモニタ画面
６５上に表示しなおす。選択ボタンにより移動対象とな
る仮想目標点を変えてこの操作を繰り返すごとに、モニ
タ画面６５上に表示された仮想目標９５の形状が変化す
る。

【００４３】このように、モニタ画面６５上に矩形の仮
想目標９５が表示されると、利用者は仮想目標９５と実
目標８３との形状を比較し、両者の頂点だけでなく辺の
合致度を見ることによって、適切な実取付パラメータが
算出されているかどうかを感覚的に判断することができ
る。また、モニタ画面６５は１ドット単位の表示となる
ため、仮想目標９５を実目標８３に合わせて取得できる
実目標８３の座標は、ドット単位の離散的なものであ
り、ドット間の中間にあたるような座標を取得すること
はできない。一方、モニタ画面６５の実映像の鮮明度は
有限であり、特に遠方にある実目標８３に仮想目標９５
を合わせる場合は精度に限界がある。そのため、モニタ
画面６５上に矩形の仮想目標９５が表示されると、利用
者は仮想目標９５の矩形の辺の傾き、対辺同士の平行度
及び対称性、あるいは、仮想目標９５の辺に対して、実
目標８３の辺の歪み度合いを見て、算出した実取付パラ
メータと実際のカメラ取付状態との相違を判断するのが
容易となる。

【００４４】その他の実施の形態．本発明は、上述した
実施の形態に限定されるものではなく、以下のような改
変を施して実施することも可能である。まず、実目標提
供手段としてのテストチャート部材は、車両に対して予
め決められた座標位置にあるような態様ならば、必ずし
も車両に取り付けられあるいは路面に設置されていなく
てもよく、路面に描かれた白線であってもよい。また、
テストチャート部材上に設けられた実目標の数や形状に
ついても上記実施の形態に示されたものに限定されるも
のではない。さらに、実目標提供手段は、テストチャー
ト部材のように車両と別部材である必要はなく、例え
ば、カメラの被写領域に入っている車両の一部分を実目
標と見立てても良い。また、上記実施の形態１では操作
のためのコントローラ３３及び十字ボタン３７を使用
し、実施の形態４及び６ではタッチパネルを使用した
が、これらに限定されるものではなく、仮想目標点と映
像基準点を重ねるように操作可能な手段であればよい。
操作手順も上記に限定されるものではなく、本発明の主
旨を逸脱しない範囲で様々な手順で実施してもよい。

【００４５】また、上記実施の形態１では理論描画によ
る仮想映像を補正し、実施の形態２ではＣＣＤカメラで
撮影した実映像を補正していたが、これに限定されるも
のではなく、実施の形態１においてＣＣＤカメラで撮影
した実映像を補正し、実施の形態２において理論描画に
よる仮想映像を補正する態様も可能である。

【００４６】さらに、上記実施の形態は、車両の操舵支
援装置における映像の補正に適用した場合について説明
したが、本発明の映像位置関係補正装置は、これに限ら
ず実映像と仮想映像とを重畳表示する他の装置における
映像補正に適用することが可能である。

【００４７】また、ＣＣＤカメラが基準通り車両に取り
付けられている場合は、レンズの光軸に対するＣＣＤセ
ンサエリアの中心のズレ量に対してのみにニュートンラ
フソン法を適用してもよい。一方、レンズの光軸に対す
るＣＣＤセンサエリアの中心のズレ量が既知の場合やズ
レ量がない場合は、ＣＣＤカメラの車両への取付位置、
取付角度の６つのパラメータに対してニュートンラフソ
ン法を適用してもよい。レンズの焦点距離、歪率、レン
ズの光軸に対するＣＣＤセンサエリアの受光面の傾きの
ばらつき等の要因によって、実映像と仮想映像のズレを
生じる場合は、これらをパラメータに加え、ニュートン
ラフソン法を適用して、実際のレンズの焦点距離、歪
率、レンズの光軸に対するＣＣＤセンサエリアの受光面
の傾きを算出してもよい。

【００４８】また、実施の形態６では、仮想目標点Ｒ１
〜Ｒ４を頂点とする矩形の仮想目標９５を用いたが、そ
れに限らず、さらに追加の仮想目標点Ｒ５、Ｒ６… を
用いてもよい。この場合、実施の形態６と同様に追加の
仮想目標点Ｒ５、Ｒ６… が、相当する、追加の映像基
準点Ｑ５、Ｑ６… と重なるように、仮想目標点Ｒ１〜
Ｒ４の位置を移動させてもよいし、また、直接Ｒ５，Ｒ
６… を移動させて、Ｑ５、Ｑ６… との相違量を把握
してもよい。把握した相違量を基に、Ｒ１〜Ｒ４の移動
させるべき量を算出できる。こうすることにより、作業
者の調整作業が、｛移動｝→｛合否判断｝→｛移動｝→
｛合否判断｝の繰り返しが不要となり、作業時間の短縮
が図れるとともに高精度な補正が可能となる。さらに、
実施の形態６の映像位置関係補正装置に、実施の形態５
に用いられた画像処理回路を追加して、画像処理の結果
表示された矩形の仮想目標に対して、コントローラを操
作して仮想目標をさらに実目標に精度良く合わせるよう
にしてもよい。また、モニタの画面の１ドット単位の表
示であるため、仮想目標が４つの点の場合１ドット単位
以下の精度の座標を算出することができない。しかしな
がら、実施の形態６の映像位置関係補正装置のように、
仮想目標として４つの点だけでなく矩形形状を表示する
場合は、理論描画回路がモニタ画面の０．１ドット単位
にあたる座標を使って、矩形上にあるの個々の点の座標
データを定めてもよい。モニタ画面のドットよりも、精
度の高い座標データに基づいた矩形形状がモニタに表示
されると、矩形の辺の直線のズレ度合いにより、モニタ
画面上の実目標の座標をより精度良く取得することがで
きる。さらに、仮想目標は、実目標に対応する位置を表
示するだけでなく、例えばカメラのレンズの光軸が路面
とあたる位置を表示するものであってもよい。

【００４９】

【発明の効果】以上説明したように、請求項１に記載の
映像位置関係補正装置によれば、レンズの光軸にズレが
存在していても、またＣＣＤカメラが車両に基準通りに
適正に取り付けられていなくても、実映像と仮想映像と
の整合性を確保することができる。さらに、レンズの光
軸やＣＣＤカメラの取付を物理的に調整するのではな
く、ソフトウェア面で補正を行うため、高精度且つ低コ
ストで映像位置関係の補正が可能であり、また、パター
ン認識などを用いた自動補正等の技術導入も容易に行え
る。また、２次元の距離表示やガイドラインの精度が向
上するため車載以外の計測関連分野への応用も可能とな
る。

【００５０】請求項２に記載の映像位置関係補正装置に
よれば、カメラの実際の車両取付状態やレンズの光軸の
ズレを算出して仮想映像を補正するので、レンズの光軸
にズレが存在していても、またＣＣＤカメラが車両に基
準通りに適正に取り付けられていなくても、実映像と仮
想映像との整合性を確保することができる。

【００５１】請求項３に記載の映像位置関係補正装置に
よれば、レンズ等のカメラ側で補正するのではなく表示
制御部品側で映像位置関係の補正をすることができる。
また、利用者はモニタ画面上でズレの程度を確認しなが
ら補正することが可能となる。

【００５２】請求項４に記載の映像位置関係補正装置に
よれば、画像処理により実映像と仮想映像との位置関係
の補正を自動的に行うことができる。

【００５３】請求項５に記載の車両の操舵支援装置によ
れば、車両後方映像と操舵支援ガイドとの位置関係が適
正となり、操舵支援精度が向上する。

【００５４】請求項６に記載の車両の操舵支援装置によ
れば、実目標を車両近傍に備えることから、カメラと目
標との誤差が低減され、調整精度の向上を図ることがで
きる。

【００５５】請求項７に記載の映像位置関係補正方法に
よれば、レンズの光軸にズレが存在していても、またＣ
ＣＤカメラが車両に基準通りに適正に取り付けられてい
なくても、物理的な調整を行わず高精度且つ低コストで
実映像と仮想映像との整合性を確保することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る映像位置関係補
正装置の概要を説明するブロック図である。

【図２】本発明の実施の形態１に係る映像位置関係補
正装置のコントローラを示す図である。

【図３】実目標提供手段としてのテストチャート部材
が車両後部に取り付けられた状態を示す図である。

【図４】本発明の実施の形態２に係る映像位置関係補
正装置の概要を説明するブロック図である。

【図５】本発明の実施の形態５に係る映像位置関係補
正装置を車両に取り付けた状態を示す図であり、（ａ）
はその側面図であり、（ｂ）はその平面図である。

【図６】本発明の実施の形態５に係る映像位置関係補
正装置を車両に取り付けた状態を示す図であり、（ａ）
はその側面図であり、（ｂ）はその平面図である。

【図７】本発明の実施の形態４に係る映像位置関係補
正装置の概要を説明するブロック図である。

【図８】本発明の実施の形態５に係る映像位置関係補
正装置の概要を説明するブロック図である。

【図９】本発明の実施の形態６に係る映像位置関係補
正装置の概要を説明するブロック図である。

【図１０】従来の操舵支援装置におけるモニタ画面で
あって、（ａ）はレンズの光軸とＣＣＤエリアセンサの
中心とが合致した正常な状態のものであり、（ｂ）はレ
ンズの光軸とＣＣＤエリアセンサの中心とがズレた状態
のものである。

【符号の説明】

２１，５１…カメラ３３、６３、１０３…コントローラ３５、６５、１０５…モニタ画面４１、８１…テストチャート部材４３、８３…実目標４５、８５…仮想目標５３、９３…画像処理回路Ａ…被写領域

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｅ (72)発明者田中寛愛知県刈谷市豊田町２丁目１番地株式会社豊田自動織機製作所内 (72)発明者嶋崎和典愛知県刈谷市豊田町２丁目１番地株式会社豊田自動織機製作所内 (72)発明者伊藤恭子愛知県刈谷市豊田町２丁目１番地株式会社豊田自動織機製作所内Ｆターム(参考） 5C022 AA04 AB62 AB65 AC21 AC42 5C054 AA02 CC02 CE00 CE11 CF01 EA01 EA05 FC11 FF02 HA30

Claims

【特許請求の範囲】

【請求項１】カメラにより撮影された実映像と仮想映
像とをモニタ画面に重畳表示する装置に関し、前記カメラの被写領域に設けられ前記カメラに実目標を
撮影させる実目標提供手段と、前記仮想映像と同座標系に、前記実目標の座標から理論
的に導出される仮想目標を提供する仮想目標提供手段
と、前記実目標及び仮想目標のズレから前記実映像及び仮想
映像の相対位置関係を補正する補正手段とを備えたこと
を特徴とする映像位置関係補正装置。
【請求項２】前記補正手段は、前記仮想映像と同座標
系における、カメラにより撮影された前記実目標の座標
を算出し、車両に取り付けられたカメラの基準の位置および角度を
含む基準パラメータを予め記憶し、この基準パラメータにより前記実目標から理論的に導出
される前記仮想目標の座標を算出し、この仮想目標の座標及び前記実目標の座標のズレと基準
パラメータとから、ニュートンラフソン法により、カメ
ラの実際の位置および角度を含む実取付パラメータを算
出し、この実取付パラメータに基づいて前記実映像及び仮想映
像の相対位置関係を補正することを特徴とする請求項１
に記載の映像位置関係補正装置。
【請求項３】前記補正手段は、前記実目標及び仮想目
標の一方をモニタ画面上で移動させて他方に重ね合わせ
るコントローラを備えることを特徴とする請求項１ある
いは２に記載の映像位置関係補正装置。
【請求項４】前記補正手段は、画像処理により前記実
目標及び仮想目標のズレを検出する画像処理回路を備え
ることを特徴とする請求項１あるいは２に記載の映像位
置関係補正装置。
【請求項５】前記実映像及び仮想映像がそれぞれ、車
両の後方映像及び操舵支援ガイドである、請求項１乃至
４の何れか１項に記載の映像位置関係補正装置を備えた
ことを特徴とする操舵支援装置。
【請求項６】前記実目標提供手段は、車両後部に取り
付けられ且つ表面に前記実目標を有する部材であること
を特徴とする請求項５に記載の操舵支援装置。
【請求項７】カメラにより撮影された実映像と仮想映
像とをモニタ画面に重畳表示する装置に関し、前記カメラに実目標を撮影させ、前記仮想映像と同座標系に、前記実目標の座標から理論
的に導出される仮想目標を設定し、前記実目標及び仮想目標のズレから前記実映像及び仮想
映像の相対位置関係を補正する、ことを特徴とする映像
位置関係補正方法。