JP3709879B2 - ステレオ画像処理装置 - Google Patents
ステレオ画像処理装置 Download PDFInfo
- Publication number
- JP3709879B2 JP3709879B2 JP2003126534A JP2003126534A JP3709879B2 JP 3709879 B2 JP3709879 B2 JP 3709879B2 JP 2003126534 A JP2003126534 A JP 2003126534A JP 2003126534 A JP2003126534 A JP 2003126534A JP 3709879 B2 JP3709879 B2 JP 3709879B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- camera
- image processing
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像処理を行うステレオ画像処理装置に関し、特にステレオ画像の入力方法に関する。
【０００２】
【従来の技術】
従来のステレオ画像処理装置のステレオ画像入力方法としては、カメラから出力される映像信号をＮＴＳＣ等規定の規格の水平・垂直同期信号をもとに１フィールドずつ交互に入力する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような従来のステレオ画像の入力方法にあっては、次のような問題がある。
【０００４】
２台のカメラから入力が一系統しかない１台の画像処理装置へステレオ画像を入力する方法においては、従来のステレオ画像処理装置では、図３０に示すように、１フィールド毎に２台カメラの画像入力を交互に切り換えて画像を入力していた。このような入力方法では、撮像した２枚の画像間で１フィールド分の時間と走査位置のずれが発生し、また全画像入力時間が２フィールド分を要するため、長くかかってしまう。
【０００５】
２枚の画像間の時間差をなくすため、図３１に示すように１走査ライン（以降、特に断りのない限り主走査ラインを指す。）毎に２台のカメラから交互に入力する方法もあるが、この入力方法では、一方のカメラから１走査ライン分の映像信号を入力すると同時に、他方のカメラからも同じ走査ライン上の１走査ライン分の映像信号が出力されてしまうため、メモリ上に格納される２枚の画像は、互いに走査ラインの垂直方向（副走査方向）に１走査ライン分の位置ずれのある画像となってしまう。このため、２枚の画像間で撮像面の走査ラインの垂直方向、即ち、後述する視差が生じる方向と直角の方向に前記の入力方法よりも大きなずれが生じることになる。精度が要求されるステレオ画像処理においては視差方向以外の方向に位置の差のない、同時刻に撮像された画像を必要とするため、上記の従来の画像入力方法を用いた画像処理装置では、正確なステレオ画像処理を行うことは困難である。
【０００６】
これらのステレオ画像の入力方法とは別に、１フレーム（または１フィールド）分の画像を一旦保持するためのメモリ付のカメラを使用することで、時間差および視差方向以外の方向に位置の差の無い２枚の画像を入力する方法もあるが、この入力方法では、メモリ付きのカメラを用意する必要があり、また入力時間が少なくとも１フレーム分を要するため、高速処理が困難であるという欠点がある。
【０００７】
本発明は、このような従来の問題点に着目してなされたもので、画像の入力時間を短縮しつつ、高精度なステレオ画像処理が可能な画像入力方法を備えたステレオ画像処理装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明では、ステレオ画像入力を行うステレオ画像処理装置において、光軸が特定の平面内に含まれるように第１および第２のカメラを並列に配設して対象物を撮像し、前記特定の平面に平行な方向に設定された走査ラインにより撮像した画像を走査する撮像手段と、前記第１および第２のカメラからの映像信号の走査ライン前半部に対しては、前記第１のカメラの走査ライン前半部から得られる前記対象物を含む領域の映像信号を選択する一方、走査ライン後半部に対しては、前記第２のカメラの走査ライン後半部から得られる前記領域に対応した前記対象物を含む領域の映像信号を選択して切り換える映像切り換え手段と、該映像信号切り換え手段から出力された映像信号を記憶する画像記憶手段と、該画像記憶手段に記憶された画像に対してステレオ画像処理を施すステレオ画像処理手段とを設ける。
【０００９】
請求項２に記載の発明では、前記ステレオ画像処理手段を、前記画像記憶手段に記憶された画像に基づいて撮像された対象物までの距離情報を算出するものとする。
【００１０】
請求項３に記載の発明では、前記第１および第２のカメラを、前記特定の平面内でカメラの光軸がカメラ前方で交差するように傾けて配設する。
請求項４に記載の発明では、前記特定の平面を水平平面とする。
【００１１】
請求項５に記載の発明では、前記特定の平面を垂直平面とする。
請求項６に記載の発明では、前記第１および第２のカメラからの映像信号をデジタル信号に変換するＡ／Ｄ変換手段を更に設け、該Ａ／Ｄ変換手段による映像信号のサンプリング間隔を、該カメラの副走査方向より主走査方向に短くなるように設定する。
【００１２】
請求項７に記載の発明では、前記第１および第２のカメラにより撮像した画像の水平方向、垂直方向の少なくとも一方の方向に対し、前記画像記憶手段に入力する映像信号を制限する。
【００１３】
請求項８に記載の発明では、前記第１および第２のカメラからの映像信号を、所定の走査ライン数毎に前記画像記憶手段に入力する。
請求項９に記載の発明では、前記第１および第２のカメラからの映像信号を、所定の走査ライン数だけ前記画像記憶手段に入力する。
【００１４】
【発明の効果】
請求項１に記載の発明によれば、第１および第２のカメラからの映像信号の走査ラインに対して、映像切り換え手段により走査ライン前半部に第１のカメラの走査ライン前半部から得られる撮像対象物を含む領域の映像信号を、走査ライン後半部に第２のカメラから得られる撮像対象物を含む領域の映像信号を取り込み、画像記憶手段に記憶することで、１枚の画像（１フィールド）分の入力時間で２台のカメラからの２枚分の画像入力が可能となる。このため、画像入力時間が短縮されると共に、画像入力後に行うステレオ画像処理を軽減することができるので、処理の高速化を図ることができる。また、必要とされる画像記憶手段の容量が削減される。
【００１５】
請求項２に記載の発明によれば、入力したステレオ画像を該ステレオ画像中に撮像されている対象物までの距離の算出に用いることで、高速に、かつ精度よく距離を算出することができる。
【００１６】
請求項３に記載の発明によれば、光軸がカメラ前方で交差するようにカメラを傾斜させて配設することで、両カメラからの入力画像の実質的な画角を拡げることができる。このため、例えば、道路標識等の対象物をより近接した位置で撮影することが可能となるので、該道路標識を正確に識別することができる。
【００１７】
請求項４に記載の発明によれば、両カメラを水平平面上に配設することで、各カメラの入力画像の画角を水平方向に広く設定することができ、単眼画像への切り換えにより側方の対象物（例えば、道路標識）をより近接した位置で撮影することができる。
【００１８】
請求項５に記載の発明によれば、両カメラを垂直平面上に配設することで、得られるステレオ画像において、例えば、自車両の前方車両を対象物とする場合は、前方車両が大きく移動する進行方向に大きな画角を設定することができるので、前方車両までの距離を精度よく算出することができる。
【００１９】
請求項６に記載の発明によれば、各カメラから映像信号を入力するときのサンプリング間隔を主走査方向に短く設定することで、詳細な画像情報を得ることができ、対象物までの距離を測定する場合は、精度よく距離を算出することができる。
【００２０】
請求項７に記載の発明によれば、画像記憶手段に入力する映像信号を制限することで、画像メモリを節約することができる。また、画像処理の計算負担を軽減することができるので、処理の高速化を図ることができる。
【００２１】
請求項８に記載の発明によれば、走査ラインの入力を所定のライン数毎に行うことで、画像メモリを節約することができる。また、２枚の画像間のマッチング処理を高速に行うとともに、画像処理を開始するタイミングを早めることができるので、画像入力時間を含む画像処理全体の処理時間を短縮することができる。
【００２２】
請求項９に記載の発明によれば、例えば、１フィールドの後半の数ラインの入力を行わないことで、画像メモリを節約することができる。また、画像処理を開始するタイミングを早めることができるので、画像処理全体の処理時間を短縮することができる。
【００２３】
【発明の実施の形態】
以下に本発明の実施の形態を図に基づいて説明する。
まず、各実施の形態に共通するステレオ画像を用いた距離算出方法について説明する。図５は、２台のカメラの撮像方向の水平平面上で、各カメラの光軸がカメラ前方で交差するように、カメラの向きをそれぞれ内側に傾けた場合のステレオ画像を用いた距離算出方法を示した図である。この構成におけるカメラから対象物までの距離Ｚの算出式を（１）式に示す。
【００２４】
Ｚ＝Ｆ×Ｄ／｜（ＸB −ＸVB）−（ＸA −ＸVA）｜ （１）
ここで、Ｆは焦点距離で、Ｄは各カメラの光軸間距離（眼間距離）を表している。また、ＸVAはカメラＡによる画像Ａ上の消失点位置，ＸA は画像Ａ上の対象物の位置で、同様にＸB はカメラＢによる画像Ｂ上の対象物の位置，ＸVBは画像Ｂ上の消失点位置である。
【００２５】
図５に示すように２台のカメラの光軸が平行でない場合には、２枚の画像上の消失点および両画像に対応した対象物のエッジ位置をそれぞれ求め、各画像上で消失点から対応するエッジ位置までの距離を求め、その距離の差を視差としてカメラから対象物までの距離Ｚを（１）式により求めることができる。
【００２６】
次に、これらのカメラによるステレオ画像の入力方法を具体的に説明する。図１に示すように、まず、カメラＡによる撮像画像の走査ライン前半部とカメラＢによる撮像画像の走査ライン後半部に対象物が撮像されるように、光軸を撮像方向前方で交差させる方向に各カメラを傾斜させる。そして、２台のカメラをこのような傾斜させた配置としたまま、図６に示すように後述するカメラセレクタ制御部で１走査ライン毎の入力の開始時にカメラＡを選択し、入力が走査ラインの中間にきた時点でカメラＢを選択することで、走査ラインの前半部でカメラＡの画像を、走査ラインの後半部でカメラＢの画像を切り換えつつ、画像を入力する。
【００２７】
このようなカメラの配置で画像を入力することで、１枚分の画像入力時間で２枚の画像を入力することができる。このときのカメラからの１走査ライン分の出力時間は常に一定である。仮に１走査ラインの前半部しか入力しない場合でも、カメラが１走査ラインの後半部を出力し終わるまで入力側は次の走査ラインの入力を待たなければならない。この入力方法は、その待ち時間を有効に利用し、１走査ラインの前後半で入力対象のカメラを切り換えながら画像を入力することで、画像入力時間を半減することを可能としたものである。
【００２８】
しかし、この入力方法では図７，図８に示すように撮像面の水平方向の画角、即ち、２つのカメラで共通に撮影されるステレオ画像処理が可能な画像の画角が、単一のカメラの画角の半分になってしまうが、対象物がその画角範囲内に収まっている場合には、該範囲外の画角はもともと距離認識には不要な画角であるため、先行車検出等の処理の効率化を図ることができる。つまり、カメラＡの左半分とカメラＢの右半分の撮像領域に対する不必要な画像入力を省略するため、画像入力時間を短縮することができると共に、画像メモリを節約することができる。
【００２９】
また、図１のカメラＡの右半分とカメラＢの左半分に撮像されている対象物以外の部分は、単眼処理用の画像として利用することもできる。つまり、処理内容に応じて入力画像領域を切り換えることで、１組のステレオカメラを用いて、ステレオ画像処理と単眼画像処理の両方を選択的に行うことができる。例えば、図２に示すように入力画像領域を切り換えると、
入力方法１：ステレオ画像処理による正面の先行車までの距離認識
入力方法２：路肩（例えば標識認識なども可能）と隣接レーンの物体認識
入力方法３：路肩と前方の認識
入力方法４：隣接レーンと前方の認識
を行うことが可能となる。このときのステレオカメラの配置は、各カメラが互いに内側に傾いているため、図７に示すように同じ画角のレンズを用いた単眼カメラ１台の約1.5 倍の画角の画像を入力するこが可能となる。通常、広角レンズは周囲が歪むため画像処理が行いにくい。しかし、図１に示すようなステレオカメラにおいては、標準レンズ等の標準的な画角のレンズを用いているため撮像画像の歪みは少ない。つまり、このステレオカメラを用いることで高速画像入力が可能なステレオ画像処理が行えることに加えて、広い画角が要求される単眼処理に対してもより確実に行うことができる。
【００３０】
これにより、例えば、自車両の前方正面を走行する先行車までの距離認識を行いながら必要に応じて斜め前方に存在する道路標識や隣接レーン上の走行車を認識する等の車載用としての前方向の画像処理が可能となる。
【００３１】
図９は、アナログ信号として出力されるカメラからの映像信号をデジタル化する様子を示した図である。対象物を撮像したときのカメラからの映像信号は、一定の時間内で１走査ライン毎にアナログ信号で出力される。画像の入力側では、このアナログ信号を特定のサンプリング間隔でＡ／Ｄ変換した後に画像メモリに入力する。
【００３２】
このように、各走査ライン毎に画像信号をデジタル化してメモリに入力する操作を、図１０に示すように走査ライン数分繰り返すことで１枚の画像入力を行う。通常、このサンプリング間隔は、カメラのＣＣＤ（Charge Coupled device)等の撮像素子における撮像面の縦横比から決定される。尚、通常のＣＣＤの撮像面の縦横比は３：４である。
【００３３】
ＮＴＳＣ方式の場合では１フィールド内に240 本の走査ラインを入力するので、１走査ライン分の画像信号を320 （＝240 ×４／３）回サンプリングしてデジタル化することになる。そして、１走査ライン毎にカメラより送られる画像信号をデジタル化して入力する操作を、垂直方向の走査ライン数分（ＮＴＳＣ方式の場合240 回）行うことで、１枚の画像の入力を行うことができる。例えば、このサンプリングの間隔を狭くして、１走査ライン中のサンプリング回数を前記320回の２倍（640回）にすると、図９に示すように、垂直方向の分解能や撮像範囲は変えることなく、水平方向の分解能を２倍に向上させることができる。
【００３４】
図１１には、撮像面上の分解能と画像メモリ内の１画素の大きさの関係を示した。画像メモリ内の１画素が実際の撮像面に対してどの程度の大きさに相当するかは、主に、１走査ライン分の画像信号のサンプリング間隔、つまり、撮像面上の１走査ライン分の画像信号を水平方向に何分割してデジタル化するかによって定まる。この分割された一つ一つの画像信号の値が画像メモリ上の１画素毎の輝度値となる。
【００３５】
図１２は、最も一般的なステレオ画像処理による距離算出方法を示す図である。カメラから対象物までの距離Ｚは（２）式に示す幾何学的な計算により求められる。
【００３６】
Ｚ＝Ｆ×Ｄ／｜ＸB −ＸA ｜ （２）
（２）式の分母にあたるＸA −ＸB は視差である。ＸA ，ＸB の値は、画像メモリに保持されたデジタル画像上において、２枚の画像間の対応する対象物のエッジ位置を求め、その位置をカメラの撮像面上の位置に換算することにより算出する。画像メモリ上の位置からカメラの撮像面上の位置への換算は次の要領で行う。
【００３７】
例えば、図１１に示すように撮像素子の水平方向の幅が10ｍｍで前述のサンプリング数が１走査ライン内で100 回であれば、画像メモリ上の１画素の大きさが撮像面上の0.1 ｍｍに相当する。このことから、ＸA −ＸB が画像メモリ上で５画素であれば、ＸA −ＸB の値は0.5 ｍｍと換算される。
【００３８】
また、（２）式において、カメラの焦点距離Ｆと眼間距離Ｄ（２台のカメラの光軸間距離）を固定値とすると、距離Ｚの精度は視差ＸA −ＸB の分解能で決定されることになる。
【００３９】
この理由を図１３を用いて説明する。画像処理で行う２枚の画像間のマッチング結果が１画素ずれると、撮像面上の１画素の大きさが小さい場合は誤差も小さいが、１画素の大きさが大きい場合には誤差も大きくなる。例えば、焦点距離Ｆが20ｍｍ、眼間距離Ｄが100 ｍｍで、撮像面の水平方向の幅が10ｍｍのステレオカメラを用いて距離Ｚが1000ｍｍの位置に存在する対象物を認識する場合において、水平方向の画像信号を100 回サンプリングして入力した画像と、水平方向の画像信号を10回サンプリングして入力した画像を用いて認識したときの距離Ｚの測定精度を比較してみる。
【００４０】
1000ｍｍ先の物体を認識した場合、（２）式より、撮像面上の視差が２ｍｍとなる（ＸA −ＸB ＝Ｆ×Ｄ／Ｚ＝20×100 ／1000＝２）。100 回サンプリングして入力した画像の場合は、１画素の大きさが撮像面上の0.1 ｍｍに相当するので、メモリに保持されたデジタル画像上での視差は20画素となる。一方、10回サンプリングして入力した画像の場合は、１画素の大きさが撮像面上の１ｍｍに相当するので、視差は２画素となる。
【００４１】
ここで、それぞれの画像において視差が１画素ずれた場合を考えると、100 回サンプリングの場合では視差が19画素となるため距離が1052ｍｍ｛＝20×100 ／(19 ×0.1)｝となり、10回サンプリングの場合では視差が１画素となるため距離が2000ｍｍ｛＝20×100 ／（１×１) ｝となる。このように、前者の誤差が52ｍｍであるのに対し、後者の誤差は1000ｍｍにも達する。
【００４２】
そのため、距離測定精度に大きな影響を及ぼす視差の生じる水平方向のサンプリング間隔をより細かく設定することが望ましく、これにより、画像の入力時間や撮像範囲等の入力に関する他の部分に影響を及ぼすことなく測定する距離の精度を向上させることができる。
【００４３】
一般的にステレオ画像処理において、より高い精度が要求される場合に視差方向の分解能を上げるため、図１４(a) に示すレンズの画角θ1 から図１４(b) に示すように小さいレンズの画角θ2 に設定する対応策があるが、撮像範囲が狭くなる問題点がある。そこで、図１に示す配置のステレオカメラは、視差の生じる方向を撮像面の水平方向に合わせているため、カメラから走査ライン毎に出力される映像信号をより細かくサンプリングする。このようにしてデジタル化することで、視差方向に垂直な方向の分解能は変化させずに、視差方向の分解能を向上させることができる。この方法においてはカメラのレンズを交換する必要はなく、撮像範囲が変化することはない。また、１走査ラインの入力時間は不変であり、かつ入力走査ライン数は一定であるため画像全体の入力時間も不変である。即ち、撮像範囲や入力時間を変えることなく、精度良く距離を算出できるステレオ画像を得ることができる。
【００４４】
そのため、ステレオ画像処理の認識対象物が、視差方向に広い画角を必要としない場合であれば、前記２台のカメラの入力を水平走査ラインの前後半で切り換えながら入力する方法に加え、サンプリング間隔を細かく設定することで、ステレオ画像を高速に入力することができ、該ステレオ画像により精度良く距離を求めることができる。
【００４５】
また、認識対象のエッジが、視差方向に対して垂直な方向にある程度十分な長さを有している場合、各カメラからの画像間でそのエッジの対応が取れる程度に画像を間引いても、対象物の認識および距離認識を行なうことができる。
【００４６】
例えば、１走査ライン毎に画像を入力して画像を間引くと共に、該走査ラインの前後半で２台のカメラの入力を切り換えることにより、撮像された２枚の画像に対して同じ位置の走査ラインを１つの走査ライン上に入力することができ、画像メモリが節約され、より高速なステレオ画像処理用の画像入力が可能となる。加えて、画像データを間引いて入力するため、視差の算出のために行う２枚の画像間のマッチングの計算量も低減されるので、画像処理全体に要する時間を短縮することができる。
【００４７】
図１５(a) は、各カメラからの出力を切り換えつつ、１走査ライン毎に入力したときの画像入力および画像処理開始のタイミングを示すタイミングチャートである。全走査ライン入力した場合は、図１５(b) に示す画像データが画像メモリに入力されることになるが、１走査ライン毎に画像データを入力して画像を間引くことにより、図１５(c) に示すように入力される画像データ量が半減する。
【００４８】
通常、カメラからの画像信号は、所定の規格でカメラに入力される水平・垂直同期信号に基づいて出力される。具体的には、カメラが画像出力を開始するタイミングは、カメラが出力の開始を表す垂直同期信号を待ち、その垂直同期信号を受け取った時点から規定の走査ライン数分の画像信号を出力する。一方、カメラから出力された画像の入力側では、カメラからの画像信号の入力を途中で止めることも可能である。この場合は、入力を止めた時点で画像入力側は入力以外の他の処理（例えば画像処理等）を行なうことができるため、画像入力時間だけでなく画像処理全体の処理時間を短縮することができる。
【００４９】
次に、前記のステレオ画像を入力する方法を先行車の検出、距離算出および標識の認識に用いた第１の実施の形態について説明する。
図１６には、本実施の形態に係るステレオ画像処理装置の構成を示した。ここでは、まず概略を説明する。撮像した光学画像を電気的な画像信号として出力する２台のカメラＡ，Ｂの光軸が、カメラ撮像面の水平方向に視差ができるように路面に平行な平面上に含まれるようにすると共に、光軸がそれぞれ撮像方向の前方で交差するように傾斜させて配設する。これらのカメラから出力される映像信号をカメラセレクタ制御部171 に入力し、該カメラセレクタ制御部171 においてどちらか一方のカメラからの映像信号のみを選択してＡ／Ｄ変換部172 に出力する。このＡ／Ｄ変換部172 では、入力された映像信号を基準クロック生成部173 で生成する基準クロック信号に基づいて、所定のサンプリング間隔でデジタル化する。
【００５０】
そして、ＨＤ信号生成部174 は、基準クロック生成部173 により生成される基準クロックが１走査ラインの出力分送られる毎に、２台のカメラそれぞれに水平方向の映像信号の出力開始タイミングを知らせる水平同期信号を出力する。また、ＶＤ信号生成部175 により前記水平同期信号が１フィールド内に出力する走査ライン数分送られる毎に、２台のカメラそれぞれに１フィールド分の画像の出力開始タイミングを知らせる垂直同期信号を出力する。
【００５１】
これらの同期信号を基に、カメラＡ，Ｂから出力される映像信号を基準クロック毎にデジタル化して得られる合計２枚のデジタル画像を２つの画像メモリ176a,176b により一時的に記憶すると共に、それらの画像メモリ176a,176b への書き込み許可信号とメモリ上のアドレス位置の指定を、画像メモリ制御部176 により基準クロック毎に制御する。
【００５２】
さらに、対象物検出部177 により、２つの画像メモリのどちらか一方に記憶された画像中から対象物のエッジ位置を求め、求めた対象物のエッジと対応するエッジを対応点探索部178 により他方の画像から探索する。そして、２枚の画像間の互いに最も類似度の高い範囲の座標と２台のカメラの焦点距離と２台のカメラの位置関係をもとに、距離算出部179 により三角測量の原理でカメラから対象物までの距離を求める。
【００５３】
かかる構成のステレオ画像処理装置を用いてステレオ画像を入力し、先行車の検出、先行車までの距離算出および標識の認識処理を行うフローチャートを図１７に示した。本実施の形態は、通常は、図２(a) に示す入力方法１を用いてステレオ画像を入力しつつ前方の先行車までの距離を認識し、必要に応じて図２(c) に示す入力方法３により入力画像を片方のカメラだけに切り換え、該選択されたカメラからの画像を用いて道路標識を認識するものである。
【００５４】
図１８には、カメラ搭載車、先行車（対象物）およびカメラの配置、ならびに設定した絶対座標系を示した。２台のカメラＡ，Ｂは、カメラＡからの撮像画像の水平方向前半部とカメラＢからの撮像画像の水平方向後半部のそれぞれに先行車が映出するように傾斜させて設置する。このような構成のステレオカメラを用いて、前記図５で説明したステレオ画像を用いた距離認識方法に基づき、先行車までの距離を算出する。
【００５５】
まず、ステレオ画像処理による距離認識方法について説明する。
図１９は、無限遠点である消失点の求め方を説明する図である。ここでは、前記ステレオカメラを搭載した自車両の左右に存在する白線の撮像画像上における直線の式を求め、これらの交点を消失点とする（ステップ１、以降Ｓ１と記す。）。撮像画像上でのステレオカメラに近い位置においては左右の白線は互いに離れた位置に存在するが、遠方のものほど両者の間隔は狭まり、無限遠方においては２本の白線は交わるものと見なすことができることから、前記撮像画像上における直線が交わる位置を消失点としている。
【００５６】
次に、左右の白線の検出方法を説明する。概略的には、取り付けたステレオカメラの位置と焦点距離により計算できる撮像画像内の白線部分にウィンドウを作成し、このウィンドウ内を微分処理等を施して得られるエッジ画像を用いて、例えば、直線を検出対象としたHough 変換によりウィンドウ内の白線を表す直線の式を求める（Ｓ２）。
【００５７】
このウィンドウ位置の具体的な求め方を図２０を用いて説明する。ウィンドウ位置は白線を検出することのできるおよその位置で良いので、微小である各カメラの傾き角は無視することにする。
【００５８】
いま、焦点距離がＦのレンズをもつカメラＡを路面からの高さがｈの位置に配設し、該カメラＡにより撮像することを考えると、撮像方向に前方Ｚ' の位置に存在する白線は、撮像面の中心からＸC 軸方向にｈ・Ｆ／Ｚ' の位置に撮像されると計算上予測することができる。また、ＹC 軸方向に関して、道幅をＷとし、カメラＡが道路のほぼ中央に位置していると仮定すると、撮像面の中央から２Ｗ・Ｆ／Ｚ' の位置に白線が撮像されると計算上予測することができる。この位置の画像メモリ上の位置への変換は、撮像面上の１画素に対する大きさが判明すれば行うことができる。
【００５９】
このような方法で白線検出のためのウィンドウの位置を決定し、その位置で左右の白線の直線式を求め、これらの交差点からカメラＡからの画像Ａに対する消失点（ＸVA，ＹVA）を求める。また、カメラＢからの画像Ｂについても同様に、消失点（ＸVB，ＹVB）を求める。これらの消失点はカメラの取付位置により決定されるため、初期設定時に１度だけ求めればよい。
【００６０】
次に、詳細を後述する標識の有無を判断し（Ｓ３）、標識が無いと判断したときは先行車位置を検出する（Ｓ４）。先行車は２本の白線の間に挟まれた位置に長い水平エッジを有するものとして判断できるため、該水平エッジを画像Ａ，Ｂのどちらかを用いて検出する。この先行車の位置の検出には、まず、消失点の検出と同様な方法で白線を検出し、該検出された白線の間に挟まれた位置に存在する水平エッジを、画面上で下から上に向けて探索する。図２１に示すように、水平エッジがあるしきい値以上で、かつある程度の長さをもつ場合、その水平エッジが先行車による水平エッジと認識することにより先行車を検出する。
【００６１】
次に、２枚の画像Ａ，Ｂ間での対応点の求め方を図２２を用いて説明する。これは、検出された画像Ａ内の先行車の位置に、所定の大きさのウィンドウを設定し、このウィンドウ内の画像をテンプレートとしてマッチング処理を行う（Ｓ５）。即ち、このテンプレートと最も類似度の高い画像の位置を画像Ｂより求める。このときの類似度の計算は、例えば正規化相関法を用いて行えばよい。画像Ａより抽出したテンプレートの各画素の輝度値をＡij、画像Ｂより抽出した画像の輝度値をＢijとすると、正規化相関法による互いの画像の類似度は（３）式により算出することができる。
【００６２】
【数１】
【００６３】
（３）式の値が高いほど類似度が高くなる。そこで、画像Ｂより抽出する画像の位置を変化させ、（３）式を用いて前記テンプレートと画像Ｂの各位置の画像との類似度を算出することを繰り返し行い、図２３に示すように最も類似度の高い位置ＸB を求める。
【００６４】
そして、距離算出に必要となる視差を、画像Ａの消失点ＸVAと画像Ａ内に設定したウィンドウの位置ＸA との距離（ＸVA−ＸA ）と、画像Ｂの消失点ＸVBと正規化相関法により求めた最も類似度の高い位置のウィンドウの位置ＸB との距離（ＸVB−ＸB ）との差（ＸVB−ＸB ）−（ＸVA−ＸA ）の絶対値により求める（Ｓ６）。
【００６５】
この値は画素単位であるので、用いたカメラの撮像面の大きさと水平方向のサンプリング間隔を基に１画素に相当する撮像面上の長さを算出し、この長さを基に画素単位で求められた視差を撮像面上の長さに換算する。
【００６６】
この視差を算出した後、（１）式を用いて先行車までの距離を算出する（Ｓ７）。
図２４は、本実施の形態におけるステレオ画像の入力方式と従来の入力方式を比較したタイムチャートである。通常の画像入力方式においては、１フレーム１の第１フィールドで画像Ａを入力し、第２フィールドで画像Ｂを入力する。そして、フレーム２の第１フィールドにおいて、該入力した画像Ａ，Ｂを処理することを繰り返し行う。
【００６７】
一方、本実施の形態においては、フレーム１の第１フィールドで画像Ａ，Ｂを入力し、第２フィールドで該入力した画像Ａ，Ｂを処理することを繰り返し行う。
【００６８】
本実施の形態により、画像の入力時間を半減させることができ、さらに画像の処理時間が１フィールド以下であれば、１フレーム内で入力画像に対する処理を終了させることが可能となる。また、この配置のステレオカメラを用いることにより、撮像面の水平方向を視差方向とほぼ一致させ、画像信号をデジタル化する際のサンプリング間隔を狭くすることにより、先行車等の対象物までの距離を精度良く求めることができる。
【００６９】
次に、標識認識について図２５を用いて説明する。図２５は、ステレオ画像処理用の画像から標識の存在を認識する方法を説明している。この標識認識は、標識を検出したときだけ行うようにし（Ｓ３）、通常は距離認識を行うようにする。これにより距離認識の処理速度が低下することを極力抑制しつつ標識認識を行うことができる。
【００７０】
標識が存在しない通常時の入力画像は、例えば、図２５(a) に示すようなステレオ画像処理用の画像となる。距離認識用の画像は、図２５(b) に示すように１台のカメラの半分の画角だけを使用しているため、自車両近傍（斜め横）の標識を認識することはできないが、前方の標識の存在を認識することはできる。
【００７１】
また、広角レンズを使用して画角を拡げることにより、遠方の標識から自車両近傍の標識まで撮像することもできるが、広角レンズを使用すると撮像画像にレンズによる歪みが生じるため、画像処理段階で精度よく距離を算出することが困難となり好ましくない。
【００７２】
この標識は、撮像画像上において路面の白線上に存在しているように撮像される。前述のステレオ画像処理時に検出した白線の検出結果をもとに、図２５(c) に示すように画像の左端での白線位置（ｙ座標）を求め、その白線位置に予め定めた大きさの標識認識用のウィンドウを設定する。このウィンドウ内に長い縦エッジの存在が確認されたときに標識があると判断する。このときの画像メモリに取り込まれた画像は、図２５(d) に示すように標識の存在は検出されても標識内容を判断するには撮像された標識が小さ過ぎる。そこで、標識の存在が検出されてから自車両が数ｍ進んだ後、入力対象を左斜め前方を撮像するカメラＢだけに切り換え、図２(c) に示す入力方法３で１回画像を入力する（Ｓ８）。このとき入力される画像の一例を図２６(a) に示した。この画像には標識が大きく撮像されており、図２５(d) に示す画像より十分詳細な情報が得られるため、標識内容を認識するには好適である。
【００７３】
図２６(a) に示す撮像画像から標識内容を認識するには、まず、撮像画像から円を検出する（Ｓ９）。これは、例えば、円を認識対象としたHough 変換を用いることにより検出することができる。そして、標識内容は、図２６(b) に示す円の内部の画像と、図２６(c) の予め用意した標識内容を表すテンプレートとの類似度を求め、この類似度が最も高いテンプレートをその標識内容と判断する（Ｓ１０）。尚、この類似度は、例えば前述の正規化相関法により求めることができる。
【００７４】
このように、本実施の形態におけるステレオカメラは、斜め前方を撮像するため、遠方の標識を認識することができると共に、自車両近傍の標識を大きく撮像することができ、より確実な標識認識を行うことができる。
【００７５】
次に、ステレオ画像処理による先行車までの距離認識だけを行う場合において、より高速に、かつ確実に先行車までの距離認識を行う第２の実施の形態を説明する。
【００７６】
図２７には、ステレオカメラを搭載した自車両、先行車（対象物）およびステレオカメラの配置、ならびにそれらを説明するために設定した世界座標系を示した。このステレオカメラの配置は、撮像面の水平方向が路面に対して垂直となるように、第１の実施の形態におけるステレオカメラの配置を９０度回転させたものである。そのため、２台のカメラＡ，Ｂは、カメラＡによる撮像画像の水平方向前半部とカメラＢによる撮像画像の水平方向後半部のそれぞれに先行車が映出するように傾斜させる。そして、先行車の認識は、この９０度回転したステレオ画像を用いて前述と同様な方法で求める。
【００７７】
次に、カメラを９０度回転することによる効果を説明する。
図２７に示した世界座標系において、先行車は路面に平行な方向（Ｘ軸方向）に平行な長いエッジを持つことが多い。そこで、視差はできるだけ長いエッジを対象とした方が２枚のマッチングをとり易いため、路面に垂直な方向（Ｙ軸方向）に作る方がよい。また、先行車はＸ軸方向に大きく動くことはあるが、Ｙ軸方向に大きく動くことはないため、このＹ軸方向の画角は狭くても構わない。
【００７８】
ところで、前述の第１の実施の形態におけるステレオ画像では、撮像面の水平方向の画角は垂直方向の画角の２／３となっていた。そこで、Ｙ軸方向には画角が狭くても距離認識には十分であるので、本実施の形態においてはＹ軸方向に撮像面の水平方向を合わせるようにする。つまり、図２７に示すようにステレオカメラを９０度回転させた位置に配設する。先行車の移動の特徴として、自車両に対して左右方向に大きく移動する傾向があり、本実施の形態のような配置とすると、先行車の動きの大きな方向（左右方向）と画角の広い方向とを一致させることができるため、広範囲に動く先行車をより確実に認識することが可能となる。
【００７９】
また、車両のエッジは左右方向に長く、その長いエッジを用いて視差計算ができるため、先行車認識の精度と確実性が向上する。さらに、先行車はある程度長いエッジを有すると考えられるので、撮像した画像を間引いても２枚の画像のマッチングを十分行うことができる。そこで、図１５に示した方式を用い、２台のカメラ間で同じ位置の走査ラインを、例えば、１走査ラインおきに入力することにより画像を間引くと共に、先行車の一部が撮像範囲に残るような部分まで入力したところでフィールド後半の数走査ラインの入力を強制的に中止するようにして、画像の入力を制限する。
【００８０】
先行車認識では、このような画像入力を行うことができるため、画像メモリを節約することができ、かつ画像入力時間を短縮することができる。また、このような画像入力を行うと、図２８に示すようにメモリ内の画像が視差方向に対して垂直な方向に圧縮されるため、２枚の画像のマッチングを行うときに用いるテンプレートが小さくなり、１回の類似度の計算量が減少し、マッチング処理を高速に行うことが可能となる。つまり、画像入力時間の短縮だけではなく、認識処理時間も短縮することができる。
【００８１】
図２９は、本実施の形態における画像入力方式を用いた場合のタイムチャートを示している。従来方式は、図２４に示した方式と同様に、フレーム１の第１および第２フィールドでカメラＡ，Ｂからの画像入力をそれぞれに行い、フレーム２の第１フィールドで入力した画像の処理を行うことを繰り返すものである。
【００８２】
一方、本実施の形態における入力方式(1) では、フレーム１の第１フィールドでカメラＡ，Ｂからの画像を入力すると共に、画像後半部の不要な部分の入力を強制的に中止する。これにより、画像入力時間を１フィールド未満とすることができる。そして、第２フィールドにおいて、第１フィールドで入力した画像を処理する。これを繰り返し行う。このような入力方式(1) を用いることで、画像入力時間を従来方式の半分以下に抑えることができる。また、入力画像の処理時間が１フィールド以下であれば、１フレーム内での処理も可能となる。また、入力方式(2) に示すように、画像後半部の入力を中止したり、画像を間引きながら入力することで、本来の画像入力時間の途中で入力を打ち切ることができ、さらに入力画像の処理が次の画像入力の待ち時間内でできるようであれば、実時間処理も可能となる。
【００８３】
このように、９０度傾けたステレオカメラを用いて画像信号のサンプリング間隔を狭くした上で、走査ラインの前後半でカメラを切り換えながら入力すると共に、画像を撮像面の垂直方向に間引いて入力する方式を用いてステレオ画像を入力することで、先行車に対する距離認識を高速に、かつ精度よく行うことができる。
【図面の簡単な説明】
【図１】 本発明の概要を説明するための図。
【図２】 映像信号の切り換えて画像記録手段に入力する方法の４パターンを示した図。
【図３】 特定の平面を特定の垂直平面とした場合の概要を説明するための図。
【図４】 入力する映像信号を制限する場合の概要を説明するための図。
【図５】 基本的な距離算出のためのステレオ画像処理方法を説明する図。
【図６】 走査ラインの前半および後半でカメラの入力を切り換えて入力することを説明する図。
【図７】 １台のカメラの画角と２台のカメラを傾けて配設したときの画角を示す図。
【図８】 各カメラからの画像に対するステレオ画像領域を示す図。
【図９】 サンプリング間隔に対する画像の状態を説明する図。
【図１０】 アナログの画像信号をデジタルの画像信号に変換した画像を説明する図。
【図１１】 撮像面上の分解能と画像メモリ内の１画素の大きさを示す図。
【図１２】 一般的なステレオ画像処理による距離算出方法を示す図。
【図１３】 カメラの焦点距離Ｆと眼間距離Ｄを一定としたときの距離Ｚの測定精度と視差の分解能との関係を示す図。
【図１４】 撮像範囲と対象物の測定精度との関係を示す図。
【図１５】 各カメラからの画像入力タイミングの関係とそのとき入力される画像を示す図。
【図１６】 第１の実施の形態におけるステレオ画像処理装置のブロック構成図。
【図１７】 第１の実施の形態における先行車までの距離算出および標識認識処理のフローチャート図。
【図１８】 第１の実施の形態における撮像方法とそのとき得られる画像とを示す図。
【図１９】 消失点の算出方法を説明する図。
【図２０】 ウィンドウ位置の設定方法を説明するためのカメラの取付位置を示した図。
【図２１】 先行車位置の検出方法を説明する図。
【図２２】 撮像した２枚の画像間での対応点の求め方を説明する図。
【図２３】 類似度の最も高い画像切取り位置を示す図。
【図２４】 第１の実施の形態における画像入力および画像処理のタイミングを示すタイミングチャート。
【図２５】 標識の認識方法を説明する図。
【図２６】 標識認識時における標識内容の認識方法を説明する図。
【図２７】 第２の実施の形態における撮像方法を示す図。
【図２８】 視差を検出する方向に長いエッジを多く含む場合の処理を示す図。
【図２９】 第２の実施の形態における画像入力と画像処理のタイミングを示すタイミングチャート。
【図３０】 従来の画像入力方法を説明する図。
【図３１】 従来の他の画像入力方法を説明する図。
【符号の説明】
171 カメラセレクタ制御部
172 Ａ／Ｄ変換部
174 ＨＤ信号生成部
175 ＶＤ信号生成部
176 画像メモリ
177 対象物検出部
178 対応点検索部
179 距離算出部
【発明の属する技術分野】
本発明は、ステレオ画像処理を行うステレオ画像処理装置に関し、特にステレオ画像の入力方法に関する。
【０００２】
【従来の技術】
従来のステレオ画像処理装置のステレオ画像入力方法としては、カメラから出力される映像信号をＮＴＳＣ等規定の規格の水平・垂直同期信号をもとに１フィールドずつ交互に入力する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような従来のステレオ画像の入力方法にあっては、次のような問題がある。
【０００４】
２台のカメラから入力が一系統しかない１台の画像処理装置へステレオ画像を入力する方法においては、従来のステレオ画像処理装置では、図３０に示すように、１フィールド毎に２台カメラの画像入力を交互に切り換えて画像を入力していた。このような入力方法では、撮像した２枚の画像間で１フィールド分の時間と走査位置のずれが発生し、また全画像入力時間が２フィールド分を要するため、長くかかってしまう。
【０００５】
２枚の画像間の時間差をなくすため、図３１に示すように１走査ライン（以降、特に断りのない限り主走査ラインを指す。）毎に２台のカメラから交互に入力する方法もあるが、この入力方法では、一方のカメラから１走査ライン分の映像信号を入力すると同時に、他方のカメラからも同じ走査ライン上の１走査ライン分の映像信号が出力されてしまうため、メモリ上に格納される２枚の画像は、互いに走査ラインの垂直方向（副走査方向）に１走査ライン分の位置ずれのある画像となってしまう。このため、２枚の画像間で撮像面の走査ラインの垂直方向、即ち、後述する視差が生じる方向と直角の方向に前記の入力方法よりも大きなずれが生じることになる。精度が要求されるステレオ画像処理においては視差方向以外の方向に位置の差のない、同時刻に撮像された画像を必要とするため、上記の従来の画像入力方法を用いた画像処理装置では、正確なステレオ画像処理を行うことは困難である。
【０００６】
これらのステレオ画像の入力方法とは別に、１フレーム（または１フィールド）分の画像を一旦保持するためのメモリ付のカメラを使用することで、時間差および視差方向以外の方向に位置の差の無い２枚の画像を入力する方法もあるが、この入力方法では、メモリ付きのカメラを用意する必要があり、また入力時間が少なくとも１フレーム分を要するため、高速処理が困難であるという欠点がある。
【０００７】
本発明は、このような従来の問題点に着目してなされたもので、画像の入力時間を短縮しつつ、高精度なステレオ画像処理が可能な画像入力方法を備えたステレオ画像処理装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明では、ステレオ画像入力を行うステレオ画像処理装置において、光軸が特定の平面内に含まれるように第１および第２のカメラを並列に配設して対象物を撮像し、前記特定の平面に平行な方向に設定された走査ラインにより撮像した画像を走査する撮像手段と、前記第１および第２のカメラからの映像信号の走査ライン前半部に対しては、前記第１のカメラの走査ライン前半部から得られる前記対象物を含む領域の映像信号を選択する一方、走査ライン後半部に対しては、前記第２のカメラの走査ライン後半部から得られる前記領域に対応した前記対象物を含む領域の映像信号を選択して切り換える映像切り換え手段と、該映像信号切り換え手段から出力された映像信号を記憶する画像記憶手段と、該画像記憶手段に記憶された画像に対してステレオ画像処理を施すステレオ画像処理手段とを設ける。
【０００９】
請求項２に記載の発明では、前記ステレオ画像処理手段を、前記画像記憶手段に記憶された画像に基づいて撮像された対象物までの距離情報を算出するものとする。
【００１０】
請求項３に記載の発明では、前記第１および第２のカメラを、前記特定の平面内でカメラの光軸がカメラ前方で交差するように傾けて配設する。
請求項４に記載の発明では、前記特定の平面を水平平面とする。
【００１１】
請求項５に記載の発明では、前記特定の平面を垂直平面とする。
請求項６に記載の発明では、前記第１および第２のカメラからの映像信号をデジタル信号に変換するＡ／Ｄ変換手段を更に設け、該Ａ／Ｄ変換手段による映像信号のサンプリング間隔を、該カメラの副走査方向より主走査方向に短くなるように設定する。
【００１２】
請求項７に記載の発明では、前記第１および第２のカメラにより撮像した画像の水平方向、垂直方向の少なくとも一方の方向に対し、前記画像記憶手段に入力する映像信号を制限する。
【００１３】
請求項８に記載の発明では、前記第１および第２のカメラからの映像信号を、所定の走査ライン数毎に前記画像記憶手段に入力する。
請求項９に記載の発明では、前記第１および第２のカメラからの映像信号を、所定の走査ライン数だけ前記画像記憶手段に入力する。
【００１４】
【発明の効果】
請求項１に記載の発明によれば、第１および第２のカメラからの映像信号の走査ラインに対して、映像切り換え手段により走査ライン前半部に第１のカメラの走査ライン前半部から得られる撮像対象物を含む領域の映像信号を、走査ライン後半部に第２のカメラから得られる撮像対象物を含む領域の映像信号を取り込み、画像記憶手段に記憶することで、１枚の画像（１フィールド）分の入力時間で２台のカメラからの２枚分の画像入力が可能となる。このため、画像入力時間が短縮されると共に、画像入力後に行うステレオ画像処理を軽減することができるので、処理の高速化を図ることができる。また、必要とされる画像記憶手段の容量が削減される。
【００１５】
請求項２に記載の発明によれば、入力したステレオ画像を該ステレオ画像中に撮像されている対象物までの距離の算出に用いることで、高速に、かつ精度よく距離を算出することができる。
【００１６】
請求項３に記載の発明によれば、光軸がカメラ前方で交差するようにカメラを傾斜させて配設することで、両カメラからの入力画像の実質的な画角を拡げることができる。このため、例えば、道路標識等の対象物をより近接した位置で撮影することが可能となるので、該道路標識を正確に識別することができる。
【００１７】
請求項４に記載の発明によれば、両カメラを水平平面上に配設することで、各カメラの入力画像の画角を水平方向に広く設定することができ、単眼画像への切り換えにより側方の対象物（例えば、道路標識）をより近接した位置で撮影することができる。
【００１８】
請求項５に記載の発明によれば、両カメラを垂直平面上に配設することで、得られるステレオ画像において、例えば、自車両の前方車両を対象物とする場合は、前方車両が大きく移動する進行方向に大きな画角を設定することができるので、前方車両までの距離を精度よく算出することができる。
【００１９】
請求項６に記載の発明によれば、各カメラから映像信号を入力するときのサンプリング間隔を主走査方向に短く設定することで、詳細な画像情報を得ることができ、対象物までの距離を測定する場合は、精度よく距離を算出することができる。
【００２０】
請求項７に記載の発明によれば、画像記憶手段に入力する映像信号を制限することで、画像メモリを節約することができる。また、画像処理の計算負担を軽減することができるので、処理の高速化を図ることができる。
【００２１】
請求項８に記載の発明によれば、走査ラインの入力を所定のライン数毎に行うことで、画像メモリを節約することができる。また、２枚の画像間のマッチング処理を高速に行うとともに、画像処理を開始するタイミングを早めることができるので、画像入力時間を含む画像処理全体の処理時間を短縮することができる。
【００２２】
請求項９に記載の発明によれば、例えば、１フィールドの後半の数ラインの入力を行わないことで、画像メモリを節約することができる。また、画像処理を開始するタイミングを早めることができるので、画像処理全体の処理時間を短縮することができる。
【００２３】
【発明の実施の形態】
以下に本発明の実施の形態を図に基づいて説明する。
まず、各実施の形態に共通するステレオ画像を用いた距離算出方法について説明する。図５は、２台のカメラの撮像方向の水平平面上で、各カメラの光軸がカメラ前方で交差するように、カメラの向きをそれぞれ内側に傾けた場合のステレオ画像を用いた距離算出方法を示した図である。この構成におけるカメラから対象物までの距離Ｚの算出式を（１）式に示す。
【００２４】
Ｚ＝Ｆ×Ｄ／｜（ＸB −ＸVB）−（ＸA −ＸVA）｜ （１）
ここで、Ｆは焦点距離で、Ｄは各カメラの光軸間距離（眼間距離）を表している。また、ＸVAはカメラＡによる画像Ａ上の消失点位置，ＸA は画像Ａ上の対象物の位置で、同様にＸB はカメラＢによる画像Ｂ上の対象物の位置，ＸVBは画像Ｂ上の消失点位置である。
【００２５】
図５に示すように２台のカメラの光軸が平行でない場合には、２枚の画像上の消失点および両画像に対応した対象物のエッジ位置をそれぞれ求め、各画像上で消失点から対応するエッジ位置までの距離を求め、その距離の差を視差としてカメラから対象物までの距離Ｚを（１）式により求めることができる。
【００２６】
次に、これらのカメラによるステレオ画像の入力方法を具体的に説明する。図１に示すように、まず、カメラＡによる撮像画像の走査ライン前半部とカメラＢによる撮像画像の走査ライン後半部に対象物が撮像されるように、光軸を撮像方向前方で交差させる方向に各カメラを傾斜させる。そして、２台のカメラをこのような傾斜させた配置としたまま、図６に示すように後述するカメラセレクタ制御部で１走査ライン毎の入力の開始時にカメラＡを選択し、入力が走査ラインの中間にきた時点でカメラＢを選択することで、走査ラインの前半部でカメラＡの画像を、走査ラインの後半部でカメラＢの画像を切り換えつつ、画像を入力する。
【００２７】
このようなカメラの配置で画像を入力することで、１枚分の画像入力時間で２枚の画像を入力することができる。このときのカメラからの１走査ライン分の出力時間は常に一定である。仮に１走査ラインの前半部しか入力しない場合でも、カメラが１走査ラインの後半部を出力し終わるまで入力側は次の走査ラインの入力を待たなければならない。この入力方法は、その待ち時間を有効に利用し、１走査ラインの前後半で入力対象のカメラを切り換えながら画像を入力することで、画像入力時間を半減することを可能としたものである。
【００２８】
しかし、この入力方法では図７，図８に示すように撮像面の水平方向の画角、即ち、２つのカメラで共通に撮影されるステレオ画像処理が可能な画像の画角が、単一のカメラの画角の半分になってしまうが、対象物がその画角範囲内に収まっている場合には、該範囲外の画角はもともと距離認識には不要な画角であるため、先行車検出等の処理の効率化を図ることができる。つまり、カメラＡの左半分とカメラＢの右半分の撮像領域に対する不必要な画像入力を省略するため、画像入力時間を短縮することができると共に、画像メモリを節約することができる。
【００２９】
また、図１のカメラＡの右半分とカメラＢの左半分に撮像されている対象物以外の部分は、単眼処理用の画像として利用することもできる。つまり、処理内容に応じて入力画像領域を切り換えることで、１組のステレオカメラを用いて、ステレオ画像処理と単眼画像処理の両方を選択的に行うことができる。例えば、図２に示すように入力画像領域を切り換えると、
入力方法１：ステレオ画像処理による正面の先行車までの距離認識
入力方法２：路肩（例えば標識認識なども可能）と隣接レーンの物体認識
入力方法３：路肩と前方の認識
入力方法４：隣接レーンと前方の認識
を行うことが可能となる。このときのステレオカメラの配置は、各カメラが互いに内側に傾いているため、図７に示すように同じ画角のレンズを用いた単眼カメラ１台の約1.5 倍の画角の画像を入力するこが可能となる。通常、広角レンズは周囲が歪むため画像処理が行いにくい。しかし、図１に示すようなステレオカメラにおいては、標準レンズ等の標準的な画角のレンズを用いているため撮像画像の歪みは少ない。つまり、このステレオカメラを用いることで高速画像入力が可能なステレオ画像処理が行えることに加えて、広い画角が要求される単眼処理に対してもより確実に行うことができる。
【００３０】
これにより、例えば、自車両の前方正面を走行する先行車までの距離認識を行いながら必要に応じて斜め前方に存在する道路標識や隣接レーン上の走行車を認識する等の車載用としての前方向の画像処理が可能となる。
【００３１】
図９は、アナログ信号として出力されるカメラからの映像信号をデジタル化する様子を示した図である。対象物を撮像したときのカメラからの映像信号は、一定の時間内で１走査ライン毎にアナログ信号で出力される。画像の入力側では、このアナログ信号を特定のサンプリング間隔でＡ／Ｄ変換した後に画像メモリに入力する。
【００３２】
このように、各走査ライン毎に画像信号をデジタル化してメモリに入力する操作を、図１０に示すように走査ライン数分繰り返すことで１枚の画像入力を行う。通常、このサンプリング間隔は、カメラのＣＣＤ（Charge Coupled device)等の撮像素子における撮像面の縦横比から決定される。尚、通常のＣＣＤの撮像面の縦横比は３：４である。
【００３３】
ＮＴＳＣ方式の場合では１フィールド内に240 本の走査ラインを入力するので、１走査ライン分の画像信号を320 （＝240 ×４／３）回サンプリングしてデジタル化することになる。そして、１走査ライン毎にカメラより送られる画像信号をデジタル化して入力する操作を、垂直方向の走査ライン数分（ＮＴＳＣ方式の場合240 回）行うことで、１枚の画像の入力を行うことができる。例えば、このサンプリングの間隔を狭くして、１走査ライン中のサンプリング回数を前記320回の２倍（640回）にすると、図９に示すように、垂直方向の分解能や撮像範囲は変えることなく、水平方向の分解能を２倍に向上させることができる。
【００３４】
図１１には、撮像面上の分解能と画像メモリ内の１画素の大きさの関係を示した。画像メモリ内の１画素が実際の撮像面に対してどの程度の大きさに相当するかは、主に、１走査ライン分の画像信号のサンプリング間隔、つまり、撮像面上の１走査ライン分の画像信号を水平方向に何分割してデジタル化するかによって定まる。この分割された一つ一つの画像信号の値が画像メモリ上の１画素毎の輝度値となる。
【００３５】
図１２は、最も一般的なステレオ画像処理による距離算出方法を示す図である。カメラから対象物までの距離Ｚは（２）式に示す幾何学的な計算により求められる。
【００３６】
Ｚ＝Ｆ×Ｄ／｜ＸB −ＸA ｜ （２）
（２）式の分母にあたるＸA −ＸB は視差である。ＸA ，ＸB の値は、画像メモリに保持されたデジタル画像上において、２枚の画像間の対応する対象物のエッジ位置を求め、その位置をカメラの撮像面上の位置に換算することにより算出する。画像メモリ上の位置からカメラの撮像面上の位置への換算は次の要領で行う。
【００３７】
例えば、図１１に示すように撮像素子の水平方向の幅が10ｍｍで前述のサンプリング数が１走査ライン内で100 回であれば、画像メモリ上の１画素の大きさが撮像面上の0.1 ｍｍに相当する。このことから、ＸA −ＸB が画像メモリ上で５画素であれば、ＸA −ＸB の値は0.5 ｍｍと換算される。
【００３８】
また、（２）式において、カメラの焦点距離Ｆと眼間距離Ｄ（２台のカメラの光軸間距離）を固定値とすると、距離Ｚの精度は視差ＸA −ＸB の分解能で決定されることになる。
【００３９】
この理由を図１３を用いて説明する。画像処理で行う２枚の画像間のマッチング結果が１画素ずれると、撮像面上の１画素の大きさが小さい場合は誤差も小さいが、１画素の大きさが大きい場合には誤差も大きくなる。例えば、焦点距離Ｆが20ｍｍ、眼間距離Ｄが100 ｍｍで、撮像面の水平方向の幅が10ｍｍのステレオカメラを用いて距離Ｚが1000ｍｍの位置に存在する対象物を認識する場合において、水平方向の画像信号を100 回サンプリングして入力した画像と、水平方向の画像信号を10回サンプリングして入力した画像を用いて認識したときの距離Ｚの測定精度を比較してみる。
【００４０】
1000ｍｍ先の物体を認識した場合、（２）式より、撮像面上の視差が２ｍｍとなる（ＸA −ＸB ＝Ｆ×Ｄ／Ｚ＝20×100 ／1000＝２）。100 回サンプリングして入力した画像の場合は、１画素の大きさが撮像面上の0.1 ｍｍに相当するので、メモリに保持されたデジタル画像上での視差は20画素となる。一方、10回サンプリングして入力した画像の場合は、１画素の大きさが撮像面上の１ｍｍに相当するので、視差は２画素となる。
【００４１】
ここで、それぞれの画像において視差が１画素ずれた場合を考えると、100 回サンプリングの場合では視差が19画素となるため距離が1052ｍｍ｛＝20×100 ／(19 ×0.1)｝となり、10回サンプリングの場合では視差が１画素となるため距離が2000ｍｍ｛＝20×100 ／（１×１) ｝となる。このように、前者の誤差が52ｍｍであるのに対し、後者の誤差は1000ｍｍにも達する。
【００４２】
そのため、距離測定精度に大きな影響を及ぼす視差の生じる水平方向のサンプリング間隔をより細かく設定することが望ましく、これにより、画像の入力時間や撮像範囲等の入力に関する他の部分に影響を及ぼすことなく測定する距離の精度を向上させることができる。
【００４３】
一般的にステレオ画像処理において、より高い精度が要求される場合に視差方向の分解能を上げるため、図１４(a) に示すレンズの画角θ1 から図１４(b) に示すように小さいレンズの画角θ2 に設定する対応策があるが、撮像範囲が狭くなる問題点がある。そこで、図１に示す配置のステレオカメラは、視差の生じる方向を撮像面の水平方向に合わせているため、カメラから走査ライン毎に出力される映像信号をより細かくサンプリングする。このようにしてデジタル化することで、視差方向に垂直な方向の分解能は変化させずに、視差方向の分解能を向上させることができる。この方法においてはカメラのレンズを交換する必要はなく、撮像範囲が変化することはない。また、１走査ラインの入力時間は不変であり、かつ入力走査ライン数は一定であるため画像全体の入力時間も不変である。即ち、撮像範囲や入力時間を変えることなく、精度良く距離を算出できるステレオ画像を得ることができる。
【００４４】
そのため、ステレオ画像処理の認識対象物が、視差方向に広い画角を必要としない場合であれば、前記２台のカメラの入力を水平走査ラインの前後半で切り換えながら入力する方法に加え、サンプリング間隔を細かく設定することで、ステレオ画像を高速に入力することができ、該ステレオ画像により精度良く距離を求めることができる。
【００４５】
また、認識対象のエッジが、視差方向に対して垂直な方向にある程度十分な長さを有している場合、各カメラからの画像間でそのエッジの対応が取れる程度に画像を間引いても、対象物の認識および距離認識を行なうことができる。
【００４６】
例えば、１走査ライン毎に画像を入力して画像を間引くと共に、該走査ラインの前後半で２台のカメラの入力を切り換えることにより、撮像された２枚の画像に対して同じ位置の走査ラインを１つの走査ライン上に入力することができ、画像メモリが節約され、より高速なステレオ画像処理用の画像入力が可能となる。加えて、画像データを間引いて入力するため、視差の算出のために行う２枚の画像間のマッチングの計算量も低減されるので、画像処理全体に要する時間を短縮することができる。
【００４７】
図１５(a) は、各カメラからの出力を切り換えつつ、１走査ライン毎に入力したときの画像入力および画像処理開始のタイミングを示すタイミングチャートである。全走査ライン入力した場合は、図１５(b) に示す画像データが画像メモリに入力されることになるが、１走査ライン毎に画像データを入力して画像を間引くことにより、図１５(c) に示すように入力される画像データ量が半減する。
【００４８】
通常、カメラからの画像信号は、所定の規格でカメラに入力される水平・垂直同期信号に基づいて出力される。具体的には、カメラが画像出力を開始するタイミングは、カメラが出力の開始を表す垂直同期信号を待ち、その垂直同期信号を受け取った時点から規定の走査ライン数分の画像信号を出力する。一方、カメラから出力された画像の入力側では、カメラからの画像信号の入力を途中で止めることも可能である。この場合は、入力を止めた時点で画像入力側は入力以外の他の処理（例えば画像処理等）を行なうことができるため、画像入力時間だけでなく画像処理全体の処理時間を短縮することができる。
【００４９】
次に、前記のステレオ画像を入力する方法を先行車の検出、距離算出および標識の認識に用いた第１の実施の形態について説明する。
図１６には、本実施の形態に係るステレオ画像処理装置の構成を示した。ここでは、まず概略を説明する。撮像した光学画像を電気的な画像信号として出力する２台のカメラＡ，Ｂの光軸が、カメラ撮像面の水平方向に視差ができるように路面に平行な平面上に含まれるようにすると共に、光軸がそれぞれ撮像方向の前方で交差するように傾斜させて配設する。これらのカメラから出力される映像信号をカメラセレクタ制御部171 に入力し、該カメラセレクタ制御部171 においてどちらか一方のカメラからの映像信号のみを選択してＡ／Ｄ変換部172 に出力する。このＡ／Ｄ変換部172 では、入力された映像信号を基準クロック生成部173 で生成する基準クロック信号に基づいて、所定のサンプリング間隔でデジタル化する。
【００５０】
そして、ＨＤ信号生成部174 は、基準クロック生成部173 により生成される基準クロックが１走査ラインの出力分送られる毎に、２台のカメラそれぞれに水平方向の映像信号の出力開始タイミングを知らせる水平同期信号を出力する。また、ＶＤ信号生成部175 により前記水平同期信号が１フィールド内に出力する走査ライン数分送られる毎に、２台のカメラそれぞれに１フィールド分の画像の出力開始タイミングを知らせる垂直同期信号を出力する。
【００５１】
これらの同期信号を基に、カメラＡ，Ｂから出力される映像信号を基準クロック毎にデジタル化して得られる合計２枚のデジタル画像を２つの画像メモリ176a,176b により一時的に記憶すると共に、それらの画像メモリ176a,176b への書き込み許可信号とメモリ上のアドレス位置の指定を、画像メモリ制御部176 により基準クロック毎に制御する。
【００５２】
さらに、対象物検出部177 により、２つの画像メモリのどちらか一方に記憶された画像中から対象物のエッジ位置を求め、求めた対象物のエッジと対応するエッジを対応点探索部178 により他方の画像から探索する。そして、２枚の画像間の互いに最も類似度の高い範囲の座標と２台のカメラの焦点距離と２台のカメラの位置関係をもとに、距離算出部179 により三角測量の原理でカメラから対象物までの距離を求める。
【００５３】
かかる構成のステレオ画像処理装置を用いてステレオ画像を入力し、先行車の検出、先行車までの距離算出および標識の認識処理を行うフローチャートを図１７に示した。本実施の形態は、通常は、図２(a) に示す入力方法１を用いてステレオ画像を入力しつつ前方の先行車までの距離を認識し、必要に応じて図２(c) に示す入力方法３により入力画像を片方のカメラだけに切り換え、該選択されたカメラからの画像を用いて道路標識を認識するものである。
【００５４】
図１８には、カメラ搭載車、先行車（対象物）およびカメラの配置、ならびに設定した絶対座標系を示した。２台のカメラＡ，Ｂは、カメラＡからの撮像画像の水平方向前半部とカメラＢからの撮像画像の水平方向後半部のそれぞれに先行車が映出するように傾斜させて設置する。このような構成のステレオカメラを用いて、前記図５で説明したステレオ画像を用いた距離認識方法に基づき、先行車までの距離を算出する。
【００５５】
まず、ステレオ画像処理による距離認識方法について説明する。
図１９は、無限遠点である消失点の求め方を説明する図である。ここでは、前記ステレオカメラを搭載した自車両の左右に存在する白線の撮像画像上における直線の式を求め、これらの交点を消失点とする（ステップ１、以降Ｓ１と記す。）。撮像画像上でのステレオカメラに近い位置においては左右の白線は互いに離れた位置に存在するが、遠方のものほど両者の間隔は狭まり、無限遠方においては２本の白線は交わるものと見なすことができることから、前記撮像画像上における直線が交わる位置を消失点としている。
【００５６】
次に、左右の白線の検出方法を説明する。概略的には、取り付けたステレオカメラの位置と焦点距離により計算できる撮像画像内の白線部分にウィンドウを作成し、このウィンドウ内を微分処理等を施して得られるエッジ画像を用いて、例えば、直線を検出対象としたHough 変換によりウィンドウ内の白線を表す直線の式を求める（Ｓ２）。
【００５７】
このウィンドウ位置の具体的な求め方を図２０を用いて説明する。ウィンドウ位置は白線を検出することのできるおよその位置で良いので、微小である各カメラの傾き角は無視することにする。
【００５８】
いま、焦点距離がＦのレンズをもつカメラＡを路面からの高さがｈの位置に配設し、該カメラＡにより撮像することを考えると、撮像方向に前方Ｚ' の位置に存在する白線は、撮像面の中心からＸC 軸方向にｈ・Ｆ／Ｚ' の位置に撮像されると計算上予測することができる。また、ＹC 軸方向に関して、道幅をＷとし、カメラＡが道路のほぼ中央に位置していると仮定すると、撮像面の中央から２Ｗ・Ｆ／Ｚ' の位置に白線が撮像されると計算上予測することができる。この位置の画像メモリ上の位置への変換は、撮像面上の１画素に対する大きさが判明すれば行うことができる。
【００５９】
このような方法で白線検出のためのウィンドウの位置を決定し、その位置で左右の白線の直線式を求め、これらの交差点からカメラＡからの画像Ａに対する消失点（ＸVA，ＹVA）を求める。また、カメラＢからの画像Ｂについても同様に、消失点（ＸVB，ＹVB）を求める。これらの消失点はカメラの取付位置により決定されるため、初期設定時に１度だけ求めればよい。
【００６０】
次に、詳細を後述する標識の有無を判断し（Ｓ３）、標識が無いと判断したときは先行車位置を検出する（Ｓ４）。先行車は２本の白線の間に挟まれた位置に長い水平エッジを有するものとして判断できるため、該水平エッジを画像Ａ，Ｂのどちらかを用いて検出する。この先行車の位置の検出には、まず、消失点の検出と同様な方法で白線を検出し、該検出された白線の間に挟まれた位置に存在する水平エッジを、画面上で下から上に向けて探索する。図２１に示すように、水平エッジがあるしきい値以上で、かつある程度の長さをもつ場合、その水平エッジが先行車による水平エッジと認識することにより先行車を検出する。
【００６１】
次に、２枚の画像Ａ，Ｂ間での対応点の求め方を図２２を用いて説明する。これは、検出された画像Ａ内の先行車の位置に、所定の大きさのウィンドウを設定し、このウィンドウ内の画像をテンプレートとしてマッチング処理を行う（Ｓ５）。即ち、このテンプレートと最も類似度の高い画像の位置を画像Ｂより求める。このときの類似度の計算は、例えば正規化相関法を用いて行えばよい。画像Ａより抽出したテンプレートの各画素の輝度値をＡij、画像Ｂより抽出した画像の輝度値をＢijとすると、正規化相関法による互いの画像の類似度は（３）式により算出することができる。
【００６２】
【数１】
（３）式の値が高いほど類似度が高くなる。そこで、画像Ｂより抽出する画像の位置を変化させ、（３）式を用いて前記テンプレートと画像Ｂの各位置の画像との類似度を算出することを繰り返し行い、図２３に示すように最も類似度の高い位置ＸB を求める。
【００６４】
そして、距離算出に必要となる視差を、画像Ａの消失点ＸVAと画像Ａ内に設定したウィンドウの位置ＸA との距離（ＸVA−ＸA ）と、画像Ｂの消失点ＸVBと正規化相関法により求めた最も類似度の高い位置のウィンドウの位置ＸB との距離（ＸVB−ＸB ）との差（ＸVB−ＸB ）−（ＸVA−ＸA ）の絶対値により求める（Ｓ６）。
【００６５】
この値は画素単位であるので、用いたカメラの撮像面の大きさと水平方向のサンプリング間隔を基に１画素に相当する撮像面上の長さを算出し、この長さを基に画素単位で求められた視差を撮像面上の長さに換算する。
【００６６】
この視差を算出した後、（１）式を用いて先行車までの距離を算出する（Ｓ７）。
図２４は、本実施の形態におけるステレオ画像の入力方式と従来の入力方式を比較したタイムチャートである。通常の画像入力方式においては、１フレーム１の第１フィールドで画像Ａを入力し、第２フィールドで画像Ｂを入力する。そして、フレーム２の第１フィールドにおいて、該入力した画像Ａ，Ｂを処理することを繰り返し行う。
【００６７】
一方、本実施の形態においては、フレーム１の第１フィールドで画像Ａ，Ｂを入力し、第２フィールドで該入力した画像Ａ，Ｂを処理することを繰り返し行う。
【００６８】
本実施の形態により、画像の入力時間を半減させることができ、さらに画像の処理時間が１フィールド以下であれば、１フレーム内で入力画像に対する処理を終了させることが可能となる。また、この配置のステレオカメラを用いることにより、撮像面の水平方向を視差方向とほぼ一致させ、画像信号をデジタル化する際のサンプリング間隔を狭くすることにより、先行車等の対象物までの距離を精度良く求めることができる。
【００６９】
次に、標識認識について図２５を用いて説明する。図２５は、ステレオ画像処理用の画像から標識の存在を認識する方法を説明している。この標識認識は、標識を検出したときだけ行うようにし（Ｓ３）、通常は距離認識を行うようにする。これにより距離認識の処理速度が低下することを極力抑制しつつ標識認識を行うことができる。
【００７０】
標識が存在しない通常時の入力画像は、例えば、図２５(a) に示すようなステレオ画像処理用の画像となる。距離認識用の画像は、図２５(b) に示すように１台のカメラの半分の画角だけを使用しているため、自車両近傍（斜め横）の標識を認識することはできないが、前方の標識の存在を認識することはできる。
【００７１】
また、広角レンズを使用して画角を拡げることにより、遠方の標識から自車両近傍の標識まで撮像することもできるが、広角レンズを使用すると撮像画像にレンズによる歪みが生じるため、画像処理段階で精度よく距離を算出することが困難となり好ましくない。
【００７２】
この標識は、撮像画像上において路面の白線上に存在しているように撮像される。前述のステレオ画像処理時に検出した白線の検出結果をもとに、図２５(c) に示すように画像の左端での白線位置（ｙ座標）を求め、その白線位置に予め定めた大きさの標識認識用のウィンドウを設定する。このウィンドウ内に長い縦エッジの存在が確認されたときに標識があると判断する。このときの画像メモリに取り込まれた画像は、図２５(d) に示すように標識の存在は検出されても標識内容を判断するには撮像された標識が小さ過ぎる。そこで、標識の存在が検出されてから自車両が数ｍ進んだ後、入力対象を左斜め前方を撮像するカメラＢだけに切り換え、図２(c) に示す入力方法３で１回画像を入力する（Ｓ８）。このとき入力される画像の一例を図２６(a) に示した。この画像には標識が大きく撮像されており、図２５(d) に示す画像より十分詳細な情報が得られるため、標識内容を認識するには好適である。
【００７３】
図２６(a) に示す撮像画像から標識内容を認識するには、まず、撮像画像から円を検出する（Ｓ９）。これは、例えば、円を認識対象としたHough 変換を用いることにより検出することができる。そして、標識内容は、図２６(b) に示す円の内部の画像と、図２６(c) の予め用意した標識内容を表すテンプレートとの類似度を求め、この類似度が最も高いテンプレートをその標識内容と判断する（Ｓ１０）。尚、この類似度は、例えば前述の正規化相関法により求めることができる。
【００７４】
このように、本実施の形態におけるステレオカメラは、斜め前方を撮像するため、遠方の標識を認識することができると共に、自車両近傍の標識を大きく撮像することができ、より確実な標識認識を行うことができる。
【００７５】
次に、ステレオ画像処理による先行車までの距離認識だけを行う場合において、より高速に、かつ確実に先行車までの距離認識を行う第２の実施の形態を説明する。
【００７６】
図２７には、ステレオカメラを搭載した自車両、先行車（対象物）およびステレオカメラの配置、ならびにそれらを説明するために設定した世界座標系を示した。このステレオカメラの配置は、撮像面の水平方向が路面に対して垂直となるように、第１の実施の形態におけるステレオカメラの配置を９０度回転させたものである。そのため、２台のカメラＡ，Ｂは、カメラＡによる撮像画像の水平方向前半部とカメラＢによる撮像画像の水平方向後半部のそれぞれに先行車が映出するように傾斜させる。そして、先行車の認識は、この９０度回転したステレオ画像を用いて前述と同様な方法で求める。
【００７７】
次に、カメラを９０度回転することによる効果を説明する。
図２７に示した世界座標系において、先行車は路面に平行な方向（Ｘ軸方向）に平行な長いエッジを持つことが多い。そこで、視差はできるだけ長いエッジを対象とした方が２枚のマッチングをとり易いため、路面に垂直な方向（Ｙ軸方向）に作る方がよい。また、先行車はＸ軸方向に大きく動くことはあるが、Ｙ軸方向に大きく動くことはないため、このＹ軸方向の画角は狭くても構わない。
【００７８】
ところで、前述の第１の実施の形態におけるステレオ画像では、撮像面の水平方向の画角は垂直方向の画角の２／３となっていた。そこで、Ｙ軸方向には画角が狭くても距離認識には十分であるので、本実施の形態においてはＹ軸方向に撮像面の水平方向を合わせるようにする。つまり、図２７に示すようにステレオカメラを９０度回転させた位置に配設する。先行車の移動の特徴として、自車両に対して左右方向に大きく移動する傾向があり、本実施の形態のような配置とすると、先行車の動きの大きな方向（左右方向）と画角の広い方向とを一致させることができるため、広範囲に動く先行車をより確実に認識することが可能となる。
【００７９】
また、車両のエッジは左右方向に長く、その長いエッジを用いて視差計算ができるため、先行車認識の精度と確実性が向上する。さらに、先行車はある程度長いエッジを有すると考えられるので、撮像した画像を間引いても２枚の画像のマッチングを十分行うことができる。そこで、図１５に示した方式を用い、２台のカメラ間で同じ位置の走査ラインを、例えば、１走査ラインおきに入力することにより画像を間引くと共に、先行車の一部が撮像範囲に残るような部分まで入力したところでフィールド後半の数走査ラインの入力を強制的に中止するようにして、画像の入力を制限する。
【００８０】
先行車認識では、このような画像入力を行うことができるため、画像メモリを節約することができ、かつ画像入力時間を短縮することができる。また、このような画像入力を行うと、図２８に示すようにメモリ内の画像が視差方向に対して垂直な方向に圧縮されるため、２枚の画像のマッチングを行うときに用いるテンプレートが小さくなり、１回の類似度の計算量が減少し、マッチング処理を高速に行うことが可能となる。つまり、画像入力時間の短縮だけではなく、認識処理時間も短縮することができる。
【００８１】
図２９は、本実施の形態における画像入力方式を用いた場合のタイムチャートを示している。従来方式は、図２４に示した方式と同様に、フレーム１の第１および第２フィールドでカメラＡ，Ｂからの画像入力をそれぞれに行い、フレーム２の第１フィールドで入力した画像の処理を行うことを繰り返すものである。
【００８２】
一方、本実施の形態における入力方式(1) では、フレーム１の第１フィールドでカメラＡ，Ｂからの画像を入力すると共に、画像後半部の不要な部分の入力を強制的に中止する。これにより、画像入力時間を１フィールド未満とすることができる。そして、第２フィールドにおいて、第１フィールドで入力した画像を処理する。これを繰り返し行う。このような入力方式(1) を用いることで、画像入力時間を従来方式の半分以下に抑えることができる。また、入力画像の処理時間が１フィールド以下であれば、１フレーム内での処理も可能となる。また、入力方式(2) に示すように、画像後半部の入力を中止したり、画像を間引きながら入力することで、本来の画像入力時間の途中で入力を打ち切ることができ、さらに入力画像の処理が次の画像入力の待ち時間内でできるようであれば、実時間処理も可能となる。
【００８３】
このように、９０度傾けたステレオカメラを用いて画像信号のサンプリング間隔を狭くした上で、走査ラインの前後半でカメラを切り換えながら入力すると共に、画像を撮像面の垂直方向に間引いて入力する方式を用いてステレオ画像を入力することで、先行車に対する距離認識を高速に、かつ精度よく行うことができる。
【図面の簡単な説明】
【図１】 本発明の概要を説明するための図。
【図２】 映像信号の切り換えて画像記録手段に入力する方法の４パターンを示した図。
【図３】 特定の平面を特定の垂直平面とした場合の概要を説明するための図。
【図４】 入力する映像信号を制限する場合の概要を説明するための図。
【図５】 基本的な距離算出のためのステレオ画像処理方法を説明する図。
【図６】 走査ラインの前半および後半でカメラの入力を切り換えて入力することを説明する図。
【図７】 １台のカメラの画角と２台のカメラを傾けて配設したときの画角を示す図。
【図８】 各カメラからの画像に対するステレオ画像領域を示す図。
【図９】 サンプリング間隔に対する画像の状態を説明する図。
【図１０】 アナログの画像信号をデジタルの画像信号に変換した画像を説明する図。
【図１１】 撮像面上の分解能と画像メモリ内の１画素の大きさを示す図。
【図１２】 一般的なステレオ画像処理による距離算出方法を示す図。
【図１３】 カメラの焦点距離Ｆと眼間距離Ｄを一定としたときの距離Ｚの測定精度と視差の分解能との関係を示す図。
【図１４】 撮像範囲と対象物の測定精度との関係を示す図。
【図１５】 各カメラからの画像入力タイミングの関係とそのとき入力される画像を示す図。
【図１６】 第１の実施の形態におけるステレオ画像処理装置のブロック構成図。
【図１７】 第１の実施の形態における先行車までの距離算出および標識認識処理のフローチャート図。
【図１８】 第１の実施の形態における撮像方法とそのとき得られる画像とを示す図。
【図１９】 消失点の算出方法を説明する図。
【図２０】 ウィンドウ位置の設定方法を説明するためのカメラの取付位置を示した図。
【図２１】 先行車位置の検出方法を説明する図。
【図２２】 撮像した２枚の画像間での対応点の求め方を説明する図。
【図２３】 類似度の最も高い画像切取り位置を示す図。
【図２４】 第１の実施の形態における画像入力および画像処理のタイミングを示すタイミングチャート。
【図２５】 標識の認識方法を説明する図。
【図２６】 標識認識時における標識内容の認識方法を説明する図。
【図２７】 第２の実施の形態における撮像方法を示す図。
【図２８】 視差を検出する方向に長いエッジを多く含む場合の処理を示す図。
【図２９】 第２の実施の形態における画像入力と画像処理のタイミングを示すタイミングチャート。
【図３０】 従来の画像入力方法を説明する図。
【図３１】 従来の他の画像入力方法を説明する図。
【符号の説明】
171 カメラセレクタ制御部
172 Ａ／Ｄ変換部
174 ＨＤ信号生成部
175 ＶＤ信号生成部
176 画像メモリ
177 対象物検出部
178 対応点検索部
179 距離算出部
Claims (9)
- ステレオ画像入力を行うステレオ画像処理装置であって、
光軸が特定の平面内に含まれるように第１および第２のカメラを並列に配設して対象物を撮像し、前記特定の平面に平行な方向に設定された走査ラインにより撮像した画像を走査する撮像手段と、
前記第１および第２のカメラからの映像信号の走査ライン前半部に対しては、前記第１のカメラの走査ライン前半部から得られる前記対象物を含む領域の映像信号を選択する一方、走査ライン後半部に対しては、前記第２のカメラの走査ライン後半部から得られる前記領域に対応した前記対象物を含む領域の映像信号を選択して切り換える映像切り換え手段と、
該映像信号切り換え手段から出力された映像信号を記憶する画像記憶手段と、
該画像記憶手段に記憶された画像に対してステレオ画像処理を施すステレオ画像処理手段と、を含んで構成されるステレオ画像処理装置。 - 前記ステレオ画像処理手段を、前記画像記憶手段に記憶された画像に基づいて、撮像された対象物までの距離情報を算出するものとした請求項１に記載のステレオ画像処理装置。
- 前記第１および第２のカメラを、前記特定の平面内でカメラの光軸がカメラ前方で交差するように傾けて配設した請求項１または請求項２に記載のステレオ画像処理装置。
- 前記特定の平面を水平平面とした請求項１〜請求項３のいずれか１つに記載のステレオ画像処理装置。
- 前記特定の平面を垂直平面とした請求項１〜請求項３のいずれか１つに記載のステレオ画像処理装置。
- 前記第１および第２のカメラからの映像信号をデジタル信号に変換するＡ／Ｄ変換手段を更に含んで構成され、該Ａ／Ｄ変換手段による映像信号のサンプリング間隔を、該カメラの副走査方向より主走査方向に短くなるように設定した請求項１〜請求項５のいずれか１つに記載のステレオ画像処理装置。
- 前記第１および第２のカメラにより撮像した画像の水平方向、垂直方向のうち少なくとも一方の方向に対し、前記画像記憶手段に入力する映像信号を制限するようにした請求項１〜請求項６のいずれか１つに記載のステレオ画像処理装置。
- 前記第１および第２のカメラからの映像信号を、所定の走査ライン数毎に前記画像記憶手段に入力するようにした請求項７に記載のステレオ画像処理装置。
- 前記第１および第２のカメラからの映像信号を、所定の走査ライン数だけ前記画像記憶手段に入力するようにした請求項７または請求項８に記載のステレオ画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003126534A JP3709879B2 (ja) | 2003-05-01 | 2003-05-01 | ステレオ画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003126534A JP3709879B2 (ja) | 2003-05-01 | 2003-05-01 | ステレオ画像処理装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10588296A Division JP3446471B2 (ja) | 1996-04-25 | 1996-04-25 | ステレオ画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003304561A JP2003304561A (ja) | 2003-10-24 |
| JP3709879B2 true JP3709879B2 (ja) | 2005-10-26 |
Family
ID=29398299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003126534A Expired - Fee Related JP3709879B2 (ja) | 2003-05-01 | 2003-05-01 | ステレオ画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3709879B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2357527B1 (en) * | 2004-11-15 | 2012-10-17 | Hitachi Ltd. | Stereo camera having two imaging elements mounted on a common stay |
| JP4958233B2 (ja) * | 2007-11-13 | 2012-06-20 | 学校法人東京電機大学 | 多眼視画像作成システム及び多眼視画像作成方法 |
| US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
| WO2012124331A1 (ja) * | 2011-03-17 | 2012-09-20 | パナソニック株式会社 | ３ｄ撮像装置 |
| US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
| US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
| US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
| US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
| US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
| US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
| US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
| JP6701482B1 (ja) * | 2018-12-17 | 2020-05-27 | 立山科学工業株式会社 | 移動体周辺監視装置 |
-
2003
- 2003-05-01 JP JP2003126534A patent/JP3709879B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003304561A (ja) | 2003-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3709879B2 (ja) | ステレオ画像処理装置 | |
| JP6717534B2 (ja) | ローリングシャッターを伴うステレオ支援 | |
| JP3167752B2 (ja) | 車輌用距離検出装置 | |
| JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
| US7139424B2 (en) | Stereoscopic image characteristics examination system | |
| JP3349121B2 (ja) | ステレオカメラの取付構造 | |
| JP5752618B2 (ja) | ステレオ視差算出装置 | |
| JP3859371B2 (ja) | ピッキング装置 | |
| JP3710548B2 (ja) | 車両検出装置 | |
| JPH10269362A (ja) | 物体認識方法およびその装置 | |
| JP6617150B2 (ja) | 物体検出方法及び物体検出装置 | |
| JP2008309519A (ja) | 画像処理を用いた物体検出装置 | |
| JP3988574B2 (ja) | 画像処理装置 | |
| JP3516118B2 (ja) | 物体認識方法および物体認識装置 | |
| JP2004364212A (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム | |
| JP2008286648A (ja) | 距離計測装置、距離計測システム、距離計測方法 | |
| JP3244850B2 (ja) | ナンバープレート読み取り装置 | |
| US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
| JPH09145368A (ja) | ステレオ画像による物体の移動追跡方法 | |
| JP3446471B2 (ja) | ステレオ画像処理装置 | |
| JP2004117049A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| JP2001116545A (ja) | 距離画像算出装置 | |
| JP5891751B2 (ja) | 画像間差分装置および画像間差分方法 | |
| JPH10283478A (ja) | 特徴抽出方法およびその方法を用いた物体認識装置 | |
| JP2005346381A (ja) | 立体物認識装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050801 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |