Nothing Special   »   [go: up one dir, main page]

JP3709879B2 - ステレオ画像処理装置 - Google Patents

ステレオ画像処理装置 Download PDF

Info

Publication number
JP3709879B2
JP3709879B2 JP2003126534A JP2003126534A JP3709879B2 JP 3709879 B2 JP3709879 B2 JP 3709879B2 JP 2003126534 A JP2003126534 A JP 2003126534A JP 2003126534 A JP2003126534 A JP 2003126534A JP 3709879 B2 JP3709879 B2 JP 3709879B2
Authority
JP
Japan
Prior art keywords
image
input
camera
image processing
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003126534A
Other languages
English (en)
Other versions
JP2003304561A (ja
Inventor
倫子 下村
千典 農宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003126534A priority Critical patent/JP3709879B2/ja
Publication of JP2003304561A publication Critical patent/JP2003304561A/ja
Application granted granted Critical
Publication of JP3709879B2 publication Critical patent/JP3709879B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ステレオ画像処理を行うステレオ画像処理装置に関し、特にステレオ画像の入力方法に関する。
【0002】
【従来の技術】
従来のステレオ画像処理装置のステレオ画像入力方法としては、カメラから出力される映像信号をNTSC等規定の規格の水平・垂直同期信号をもとに1フィールドずつ交互に入力する方法がある。
【0003】
【発明が解決しようとする課題】
しかしながら、このような従来のステレオ画像の入力方法にあっては、次のような問題がある。
【0004】
2台のカメラから入力が一系統しかない1台の画像処理装置へステレオ画像を入力する方法においては、従来のステレオ画像処理装置では、図30に示すように、1フィールド毎に2台カメラの画像入力を交互に切り換えて画像を入力していた。このような入力方法では、撮像した2枚の画像間で1フィールド分の時間と走査位置のずれが発生し、また全画像入力時間が2フィールド分を要するため、長くかかってしまう。
【0005】
2枚の画像間の時間差をなくすため、図31に示すように1走査ライン(以降、特に断りのない限り主走査ラインを指す。)毎に2台のカメラから交互に入力する方法もあるが、この入力方法では、一方のカメラから1走査ライン分の映像信号を入力すると同時に、他方のカメラからも同じ走査ライン上の1走査ライン分の映像信号が出力されてしまうため、メモリ上に格納される2枚の画像は、互いに走査ラインの垂直方向(副走査方向)に1走査ライン分の位置ずれのある画像となってしまう。このため、2枚の画像間で撮像面の走査ラインの垂直方向、即ち、後述する視差が生じる方向と直角の方向に前記の入力方法よりも大きなずれが生じることになる。精度が要求されるステレオ画像処理においては視差方向以外の方向に位置の差のない、同時刻に撮像された画像を必要とするため、上記の従来の画像入力方法を用いた画像処理装置では、正確なステレオ画像処理を行うことは困難である。
【0006】
これらのステレオ画像の入力方法とは別に、1フレーム(または1フィールド)分の画像を一旦保持するためのメモリ付のカメラを使用することで、時間差および視差方向以外の方向に位置の差の無い2枚の画像を入力する方法もあるが、この入力方法では、メモリ付きのカメラを用意する必要があり、また入力時間が少なくとも1フレーム分を要するため、高速処理が困難であるという欠点がある。
【0007】
本発明は、このような従来の問題点に着目してなされたもので、画像の入力時間を短縮しつつ、高精度なステレオ画像処理が可能な画像入力方法を備えたステレオ画像処理装置を提供することを目的としている。
【0008】
【課題を解決するための手段】
上記目的を達成するため、請求項1に記載の発明では、ステレオ画像入力を行うステレオ画像処理装置において、光軸が特定の平面内に含まれるように第1および第2のカメラを並列に配設して対象物を撮像し、前記特定の平面に平行な方向に設定された走査ラインにより撮像した画像を走査する撮像手段と、前記第1および第2のカメラからの映像信号の走査ライン前半部に対しては、前記第1のカメラの走査ライン前半部から得られる前記対象物を含む領域の映像信号を選択する一方、走査ライン後半部に対しては、前記第2のカメラの走査ライン後半部から得られる前記領域に対応した前記対象物を含む領域の映像信号を選択して切り換える映像切り換え手段と、該映像信号切り換え手段から出力された映像信号を記憶する画像記憶手段と、該画像記憶手段に記憶された画像に対してステレオ画像処理を施すステレオ画像処理手段とを設ける。
【0009】
請求項2に記載の発明では、前記ステレオ画像処理手段を、前記画像記憶手段に記憶された画像に基づいて撮像された対象物までの距離情報を算出するものとする。
【0010】
請求項3に記載の発明では、前記第1および第2のカメラを、前記特定の平面内でカメラの光軸がカメラ前方で交差するように傾けて配設する。
請求項4に記載の発明では、前記特定の平面を水平平面とする。
【0011】
請求項5に記載の発明では、前記特定の平面を垂直平面とする。
請求項6に記載の発明では、前記第1および第2のカメラからの映像信号をデジタル信号に変換するA/D変換手段を更に設け、該A/D変換手段による映像信号のサンプリング間隔を、該カメラの副走査方向より主走査方向に短くなるように設定する。
【0012】
請求項7に記載の発明では、前記第1および第2のカメラにより撮像した画像の水平方向、垂直方向の少なくとも一方の方向に対し、前記画像記憶手段に入力する映像信号を制限する。
【0013】
請求項8に記載の発明では、前記第1および第2のカメラからの映像信号を、所定の走査ライン数毎に前記画像記憶手段に入力する。
請求項9に記載の発明では、前記第1および第2のカメラからの映像信号を、所定の走査ライン数だけ前記画像記憶手段に入力する。
【0014】
【発明の効果】
請求項1に記載の発明によれば、第1および第2のカメラからの映像信号の走査ラインに対して、映像切り換え手段により走査ライン前半部に第1のカメラの走査ライン前半部から得られる撮像対象物を含む領域の映像信号を、走査ライン後半部に第2のカメラから得られる撮像対象物を含む領域の映像信号を取り込み、画像記憶手段に記憶することで、1枚の画像(1フィールド)分の入力時間で2台のカメラからの2枚分の画像入力が可能となる。このため、画像入力時間が短縮されると共に、画像入力後に行うステレオ画像処理を軽減することができるので、処理の高速化を図ることができる。また、必要とされる画像記憶手段の容量が削減される。
【0015】
請求項2に記載の発明によれば、入力したステレオ画像を該ステレオ画像中に撮像されている対象物までの距離の算出に用いることで、高速に、かつ精度よく距離を算出することができる。
【0016】
請求項3に記載の発明によれば、光軸がカメラ前方で交差するようにカメラを傾斜させて配設することで、両カメラからの入力画像の実質的な画角を拡げることができる。このため、例えば、道路標識等の対象物をより近接した位置で撮影することが可能となるので、該道路標識を正確に識別することができる。
【0017】
請求項4に記載の発明によれば、両カメラを水平平面上に配設することで、各カメラの入力画像の画角を水平方向に広く設定することができ、単眼画像への切り換えにより側方の対象物(例えば、道路標識)をより近接した位置で撮影することができる。
【0018】
請求項5に記載の発明によれば、両カメラを垂直平面上に配設することで、得られるステレオ画像において、例えば、自車両の前方車両を対象物とする場合は、前方車両が大きく移動する進行方向に大きな画角を設定することができるので、前方車両までの距離を精度よく算出することができる。
【0019】
請求項6に記載の発明によれば、各カメラから映像信号を入力するときのサンプリング間隔を主走査方向に短く設定することで、詳細な画像情報を得ることができ、対象物までの距離を測定する場合は、精度よく距離を算出することができる。
【0020】
請求項7に記載の発明によれば、画像記憶手段に入力する映像信号を制限することで、画像メモリを節約することができる。また、画像処理の計算負担を軽減することができるので、処理の高速化を図ることができる。
【0021】
請求項8に記載の発明によれば、走査ラインの入力を所定のライン数毎に行うことで、画像メモリを節約することができる。また、2枚の画像間のマッチング処理を高速に行うとともに、画像処理を開始するタイミングを早めることができるので、画像入力時間を含む画像処理全体の処理時間を短縮することができる。
【0022】
請求項9に記載の発明によれば、例えば、1フィールドの後半の数ラインの入力を行わないことで、画像メモリを節約することができる。また、画像処理を開始するタイミングを早めることができるので、画像処理全体の処理時間を短縮することができる。
【0023】
【発明の実施の形態】
以下に本発明の実施の形態を図に基づいて説明する。
まず、各実施の形態に共通するステレオ画像を用いた距離算出方法について説明する。図5は、2台のカメラの撮像方向の水平平面上で、各カメラの光軸がカメラ前方で交差するように、カメラの向きをそれぞれ内側に傾けた場合のステレオ画像を用いた距離算出方法を示した図である。この構成におけるカメラから対象物までの距離Zの算出式を(1)式に示す。
【0024】
Z=F×D/|(XB −XVB)−(XA −XVA)| (1)
ここで、Fは焦点距離で、Dは各カメラの光軸間距離(眼間距離)を表している。また、XVAはカメラAによる画像A上の消失点位置,XA は画像A上の対象物の位置で、同様にXB はカメラBによる画像B上の対象物の位置,XVBは画像B上の消失点位置である。
【0025】
図5に示すように2台のカメラの光軸が平行でない場合には、2枚の画像上の消失点および両画像に対応した対象物のエッジ位置をそれぞれ求め、各画像上で消失点から対応するエッジ位置までの距離を求め、その距離の差を視差としてカメラから対象物までの距離Zを(1)式により求めることができる。
【0026】
次に、これらのカメラによるステレオ画像の入力方法を具体的に説明する。図1に示すように、まず、カメラAによる撮像画像の走査ライン前半部とカメラBによる撮像画像の走査ライン後半部に対象物が撮像されるように、光軸を撮像方向前方で交差させる方向に各カメラを傾斜させる。そして、2台のカメラをこのような傾斜させた配置としたまま、図6に示すように後述するカメラセレクタ制御部で1走査ライン毎の入力の開始時にカメラAを選択し、入力が走査ラインの中間にきた時点でカメラBを選択することで、走査ラインの前半部でカメラAの画像を、走査ラインの後半部でカメラBの画像を切り換えつつ、画像を入力する。
【0027】
このようなカメラの配置で画像を入力することで、1枚分の画像入力時間で2枚の画像を入力することができる。このときのカメラからの1走査ライン分の出力時間は常に一定である。仮に1走査ラインの前半部しか入力しない場合でも、カメラが1走査ラインの後半部を出力し終わるまで入力側は次の走査ラインの入力を待たなければならない。この入力方法は、その待ち時間を有効に利用し、1走査ラインの前後半で入力対象のカメラを切り換えながら画像を入力することで、画像入力時間を半減することを可能としたものである。
【0028】
しかし、この入力方法では図7,図8に示すように撮像面の水平方向の画角、即ち、2つのカメラで共通に撮影されるステレオ画像処理が可能な画像の画角が、単一のカメラの画角の半分になってしまうが、対象物がその画角範囲内に収まっている場合には、該範囲外の画角はもともと距離認識には不要な画角であるため、先行車検出等の処理の効率化を図ることができる。つまり、カメラAの左半分とカメラBの右半分の撮像領域に対する不必要な画像入力を省略するため、画像入力時間を短縮することができると共に、画像メモリを節約することができる。
【0029】
また、図1のカメラAの右半分とカメラBの左半分に撮像されている対象物以外の部分は、単眼処理用の画像として利用することもできる。つまり、処理内容に応じて入力画像領域を切り換えることで、1組のステレオカメラを用いて、ステレオ画像処理と単眼画像処理の両方を選択的に行うことができる。例えば、図2に示すように入力画像領域を切り換えると、
入力方法1:ステレオ画像処理による正面の先行車までの距離認識
入力方法2:路肩(例えば標識認識なども可能)と隣接レーンの物体認識
入力方法3:路肩と前方の認識
入力方法4:隣接レーンと前方の認識
を行うことが可能となる。このときのステレオカメラの配置は、各カメラが互いに内側に傾いているため、図7に示すように同じ画角のレンズを用いた単眼カメラ1台の約1.5 倍の画角の画像を入力するこが可能となる。通常、広角レンズは周囲が歪むため画像処理が行いにくい。しかし、図1に示すようなステレオカメラにおいては、標準レンズ等の標準的な画角のレンズを用いているため撮像画像の歪みは少ない。つまり、このステレオカメラを用いることで高速画像入力が可能なステレオ画像処理が行えることに加えて、広い画角が要求される単眼処理に対してもより確実に行うことができる。
【0030】
これにより、例えば、自車両の前方正面を走行する先行車までの距離認識を行いながら必要に応じて斜め前方に存在する道路標識や隣接レーン上の走行車を認識する等の車載用としての前方向の画像処理が可能となる。
【0031】
図9は、アナログ信号として出力されるカメラからの映像信号をデジタル化する様子を示した図である。対象物を撮像したときのカメラからの映像信号は、一定の時間内で1走査ライン毎にアナログ信号で出力される。画像の入力側では、このアナログ信号を特定のサンプリング間隔でA/D変換した後に画像メモリに入力する。
【0032】
このように、各走査ライン毎に画像信号をデジタル化してメモリに入力する操作を、図10に示すように走査ライン数分繰り返すことで1枚の画像入力を行う。通常、このサンプリング間隔は、カメラのCCD(Charge Coupled device)等の撮像素子における撮像面の縦横比から決定される。尚、通常のCCDの撮像面の縦横比は3:4である。
【0033】
NTSC方式の場合では1フィールド内に240 本の走査ラインを入力するので、1走査ライン分の画像信号を320 (=240 ×4/3)回サンプリングしてデジタル化することになる。そして、1走査ライン毎にカメラより送られる画像信号をデジタル化して入力する操作を、垂直方向の走査ライン数分(NTSC方式の場合240 回)行うことで、1枚の画像の入力を行うことができる。例えば、このサンプリングの間隔を狭くして、1走査ライン中のサンプリング回数を前記320回の2倍(640回)にすると、図9に示すように、垂直方向の分解能や撮像範囲は変えることなく、水平方向の分解能を2倍に向上させることができる。
【0034】
図11には、撮像面上の分解能と画像メモリ内の1画素の大きさの関係を示した。画像メモリ内の1画素が実際の撮像面に対してどの程度の大きさに相当するかは、主に、1走査ライン分の画像信号のサンプリング間隔、つまり、撮像面上の1走査ライン分の画像信号を水平方向に何分割してデジタル化するかによって定まる。この分割された一つ一つの画像信号の値が画像メモリ上の1画素毎の輝度値となる。
【0035】
図12は、最も一般的なステレオ画像処理による距離算出方法を示す図である。カメラから対象物までの距離Zは(2)式に示す幾何学的な計算により求められる。
【0036】
Z=F×D/|XB −XA | (2)
(2)式の分母にあたるXA −XB は視差である。XA ,XB の値は、画像メモリに保持されたデジタル画像上において、2枚の画像間の対応する対象物のエッジ位置を求め、その位置をカメラの撮像面上の位置に換算することにより算出する。画像メモリ上の位置からカメラの撮像面上の位置への換算は次の要領で行う。
【0037】
例えば、図11に示すように撮像素子の水平方向の幅が10mmで前述のサンプリング数が1走査ライン内で100 回であれば、画像メモリ上の1画素の大きさが撮像面上の0.1 mmに相当する。このことから、XA −XB が画像メモリ上で5画素であれば、XA −XB の値は0.5 mmと換算される。
【0038】
また、(2)式において、カメラの焦点距離Fと眼間距離D(2台のカメラの光軸間距離)を固定値とすると、距離Zの精度は視差XA −XB の分解能で決定されることになる。
【0039】
この理由を図13を用いて説明する。画像処理で行う2枚の画像間のマッチング結果が1画素ずれると、撮像面上の1画素の大きさが小さい場合は誤差も小さいが、1画素の大きさが大きい場合には誤差も大きくなる。例えば、焦点距離Fが20mm、眼間距離Dが100 mmで、撮像面の水平方向の幅が10mmのステレオカメラを用いて距離Zが1000mmの位置に存在する対象物を認識する場合において、水平方向の画像信号を100 回サンプリングして入力した画像と、水平方向の画像信号を10回サンプリングして入力した画像を用いて認識したときの距離Zの測定精度を比較してみる。
【0040】
1000mm先の物体を認識した場合、(2)式より、撮像面上の視差が2mmとなる(XA −XB =F×D/Z=20×100 /1000=2)。100 回サンプリングして入力した画像の場合は、1画素の大きさが撮像面上の0.1 mmに相当するので、メモリに保持されたデジタル画像上での視差は20画素となる。一方、10回サンプリングして入力した画像の場合は、1画素の大きさが撮像面上の1mmに相当するので、視差は2画素となる。
【0041】
ここで、それぞれの画像において視差が1画素ずれた場合を考えると、100 回サンプリングの場合では視差が19画素となるため距離が1052mm{=20×100 /(19 ×0.1)}となり、10回サンプリングの場合では視差が1画素となるため距離が2000mm{=20×100 /(1×1) }となる。このように、前者の誤差が52mmであるのに対し、後者の誤差は1000mmにも達する。
【0042】
そのため、距離測定精度に大きな影響を及ぼす視差の生じる水平方向のサンプリング間隔をより細かく設定することが望ましく、これにより、画像の入力時間や撮像範囲等の入力に関する他の部分に影響を及ぼすことなく測定する距離の精度を向上させることができる。
【0043】
一般的にステレオ画像処理において、より高い精度が要求される場合に視差方向の分解能を上げるため、図14(a) に示すレンズの画角θ1 から図14(b) に示すように小さいレンズの画角θ2 に設定する対応策があるが、撮像範囲が狭くなる問題点がある。そこで、図1に示す配置のステレオカメラは、視差の生じる方向を撮像面の水平方向に合わせているため、カメラから走査ライン毎に出力される映像信号をより細かくサンプリングする。このようにしてデジタル化することで、視差方向に垂直な方向の分解能は変化させずに、視差方向の分解能を向上させることができる。この方法においてはカメラのレンズを交換する必要はなく、撮像範囲が変化することはない。また、1走査ラインの入力時間は不変であり、かつ入力走査ライン数は一定であるため画像全体の入力時間も不変である。即ち、撮像範囲や入力時間を変えることなく、精度良く距離を算出できるステレオ画像を得ることができる。
【0044】
そのため、ステレオ画像処理の認識対象物が、視差方向に広い画角を必要としない場合であれば、前記2台のカメラの入力を水平走査ラインの前後半で切り換えながら入力する方法に加え、サンプリング間隔を細かく設定することで、ステレオ画像を高速に入力することができ、該ステレオ画像により精度良く距離を求めることができる。
【0045】
また、認識対象のエッジが、視差方向に対して垂直な方向にある程度十分な長さを有している場合、各カメラからの画像間でそのエッジの対応が取れる程度に画像を間引いても、対象物の認識および距離認識を行なうことができる。
【0046】
例えば、1走査ライン毎に画像を入力して画像を間引くと共に、該走査ラインの前後半で2台のカメラの入力を切り換えることにより、撮像された2枚の画像に対して同じ位置の走査ラインを1つの走査ライン上に入力することができ、画像メモリが節約され、より高速なステレオ画像処理用の画像入力が可能となる。加えて、画像データを間引いて入力するため、視差の算出のために行う2枚の画像間のマッチングの計算量も低減されるので、画像処理全体に要する時間を短縮することができる。
【0047】
図15(a) は、各カメラからの出力を切り換えつつ、1走査ライン毎に入力したときの画像入力および画像処理開始のタイミングを示すタイミングチャートである。全走査ライン入力した場合は、図15(b) に示す画像データが画像メモリに入力されることになるが、1走査ライン毎に画像データを入力して画像を間引くことにより、図15(c) に示すように入力される画像データ量が半減する。
【0048】
通常、カメラからの画像信号は、所定の規格でカメラに入力される水平・垂直同期信号に基づいて出力される。具体的には、カメラが画像出力を開始するタイミングは、カメラが出力の開始を表す垂直同期信号を待ち、その垂直同期信号を受け取った時点から規定の走査ライン数分の画像信号を出力する。一方、カメラから出力された画像の入力側では、カメラからの画像信号の入力を途中で止めることも可能である。この場合は、入力を止めた時点で画像入力側は入力以外の他の処理(例えば画像処理等)を行なうことができるため、画像入力時間だけでなく画像処理全体の処理時間を短縮することができる。
【0049】
次に、前記のステレオ画像を入力する方法を先行車の検出、距離算出および標識の認識に用いた第1の実施の形態について説明する。
図16には、本実施の形態に係るステレオ画像処理装置の構成を示した。ここでは、まず概略を説明する。撮像した光学画像を電気的な画像信号として出力する2台のカメラA,Bの光軸が、カメラ撮像面の水平方向に視差ができるように路面に平行な平面上に含まれるようにすると共に、光軸がそれぞれ撮像方向の前方で交差するように傾斜させて配設する。これらのカメラから出力される映像信号をカメラセレクタ制御部171 に入力し、該カメラセレクタ制御部171 においてどちらか一方のカメラからの映像信号のみを選択してA/D変換部172 に出力する。このA/D変換部172 では、入力された映像信号を基準クロック生成部173 で生成する基準クロック信号に基づいて、所定のサンプリング間隔でデジタル化する。
【0050】
そして、HD信号生成部174 は、基準クロック生成部173 により生成される基準クロックが1走査ラインの出力分送られる毎に、2台のカメラそれぞれに水平方向の映像信号の出力開始タイミングを知らせる水平同期信号を出力する。また、VD信号生成部175 により前記水平同期信号が1フィールド内に出力する走査ライン数分送られる毎に、2台のカメラそれぞれに1フィールド分の画像の出力開始タイミングを知らせる垂直同期信号を出力する。
【0051】
これらの同期信号を基に、カメラA,Bから出力される映像信号を基準クロック毎にデジタル化して得られる合計2枚のデジタル画像を2つの画像メモリ176a,176b により一時的に記憶すると共に、それらの画像メモリ176a,176b への書き込み許可信号とメモリ上のアドレス位置の指定を、画像メモリ制御部176 により基準クロック毎に制御する。
【0052】
さらに、対象物検出部177 により、2つの画像メモリのどちらか一方に記憶された画像中から対象物のエッジ位置を求め、求めた対象物のエッジと対応するエッジを対応点探索部178 により他方の画像から探索する。そして、2枚の画像間の互いに最も類似度の高い範囲の座標と2台のカメラの焦点距離と2台のカメラの位置関係をもとに、距離算出部179 により三角測量の原理でカメラから対象物までの距離を求める。
【0053】
かかる構成のステレオ画像処理装置を用いてステレオ画像を入力し、先行車の検出、先行車までの距離算出および標識の認識処理を行うフローチャートを図17に示した。本実施の形態は、通常は、図2(a) に示す入力方法1を用いてステレオ画像を入力しつつ前方の先行車までの距離を認識し、必要に応じて図2(c) に示す入力方法3により入力画像を片方のカメラだけに切り換え、該選択されたカメラからの画像を用いて道路標識を認識するものである。
【0054】
図18には、カメラ搭載車、先行車(対象物)およびカメラの配置、ならびに設定した絶対座標系を示した。2台のカメラA,Bは、カメラAからの撮像画像の水平方向前半部とカメラBからの撮像画像の水平方向後半部のそれぞれに先行車が映出するように傾斜させて設置する。このような構成のステレオカメラを用いて、前記図5で説明したステレオ画像を用いた距離認識方法に基づき、先行車までの距離を算出する。
【0055】
まず、ステレオ画像処理による距離認識方法について説明する。
図19は、無限遠点である消失点の求め方を説明する図である。ここでは、前記ステレオカメラを搭載した自車両の左右に存在する白線の撮像画像上における直線の式を求め、これらの交点を消失点とする(ステップ1、以降S1と記す。)。撮像画像上でのステレオカメラに近い位置においては左右の白線は互いに離れた位置に存在するが、遠方のものほど両者の間隔は狭まり、無限遠方においては2本の白線は交わるものと見なすことができることから、前記撮像画像上における直線が交わる位置を消失点としている。
【0056】
次に、左右の白線の検出方法を説明する。概略的には、取り付けたステレオカメラの位置と焦点距離により計算できる撮像画像内の白線部分にウィンドウを作成し、このウィンドウ内を微分処理等を施して得られるエッジ画像を用いて、例えば、直線を検出対象としたHough 変換によりウィンドウ内の白線を表す直線の式を求める(S2)。
【0057】
このウィンドウ位置の具体的な求め方を図20を用いて説明する。ウィンドウ位置は白線を検出することのできるおよその位置で良いので、微小である各カメラの傾き角は無視することにする。
【0058】
いま、焦点距離がFのレンズをもつカメラAを路面からの高さがhの位置に配設し、該カメラAにより撮像することを考えると、撮像方向に前方Z' の位置に存在する白線は、撮像面の中心からXC 軸方向にh・F/Z' の位置に撮像されると計算上予測することができる。また、YC 軸方向に関して、道幅をWとし、カメラAが道路のほぼ中央に位置していると仮定すると、撮像面の中央から2W・F/Z' の位置に白線が撮像されると計算上予測することができる。この位置の画像メモリ上の位置への変換は、撮像面上の1画素に対する大きさが判明すれば行うことができる。
【0059】
このような方法で白線検出のためのウィンドウの位置を決定し、その位置で左右の白線の直線式を求め、これらの交差点からカメラAからの画像Aに対する消失点(XVA,YVA)を求める。また、カメラBからの画像Bについても同様に、消失点(XVB,YVB)を求める。これらの消失点はカメラの取付位置により決定されるため、初期設定時に1度だけ求めればよい。
【0060】
次に、詳細を後述する標識の有無を判断し(S3)、標識が無いと判断したときは先行車位置を検出する(S4)。先行車は2本の白線の間に挟まれた位置に長い水平エッジを有するものとして判断できるため、該水平エッジを画像A,Bのどちらかを用いて検出する。この先行車の位置の検出には、まず、消失点の検出と同様な方法で白線を検出し、該検出された白線の間に挟まれた位置に存在する水平エッジを、画面上で下から上に向けて探索する。図21に示すように、水平エッジがあるしきい値以上で、かつある程度の長さをもつ場合、その水平エッジが先行車による水平エッジと認識することにより先行車を検出する。
【0061】
次に、2枚の画像A,B間での対応点の求め方を図22を用いて説明する。これは、検出された画像A内の先行車の位置に、所定の大きさのウィンドウを設定し、このウィンドウ内の画像をテンプレートとしてマッチング処理を行う(S5)。即ち、このテンプレートと最も類似度の高い画像の位置を画像Bより求める。このときの類似度の計算は、例えば正規化相関法を用いて行えばよい。画像Aより抽出したテンプレートの各画素の輝度値をAij、画像Bより抽出した画像の輝度値をBijとすると、正規化相関法による互いの画像の類似度は(3)式により算出することができる。
【0062】
【数1】
Figure 0003709879
【0063】
(3)式の値が高いほど類似度が高くなる。そこで、画像Bより抽出する画像の位置を変化させ、(3)式を用いて前記テンプレートと画像Bの各位置の画像との類似度を算出することを繰り返し行い、図23に示すように最も類似度の高い位置XB を求める。
【0064】
そして、距離算出に必要となる視差を、画像Aの消失点XVAと画像A内に設定したウィンドウの位置XA との距離(XVA−XA )と、画像Bの消失点XVBと正規化相関法により求めた最も類似度の高い位置のウィンドウの位置XB との距離(XVB−XB )との差(XVB−XB )−(XVA−XA )の絶対値により求める(S6)。
【0065】
この値は画素単位であるので、用いたカメラの撮像面の大きさと水平方向のサンプリング間隔を基に1画素に相当する撮像面上の長さを算出し、この長さを基に画素単位で求められた視差を撮像面上の長さに換算する。
【0066】
この視差を算出した後、(1)式を用いて先行車までの距離を算出する(S7)。
図24は、本実施の形態におけるステレオ画像の入力方式と従来の入力方式を比較したタイムチャートである。通常の画像入力方式においては、1フレーム1の第1フィールドで画像Aを入力し、第2フィールドで画像Bを入力する。そして、フレーム2の第1フィールドにおいて、該入力した画像A,Bを処理することを繰り返し行う。
【0067】
一方、本実施の形態においては、フレーム1の第1フィールドで画像A,Bを入力し、第2フィールドで該入力した画像A,Bを処理することを繰り返し行う。
【0068】
本実施の形態により、画像の入力時間を半減させることができ、さらに画像の処理時間が1フィールド以下であれば、1フレーム内で入力画像に対する処理を終了させることが可能となる。また、この配置のステレオカメラを用いることにより、撮像面の水平方向を視差方向とほぼ一致させ、画像信号をデジタル化する際のサンプリング間隔を狭くすることにより、先行車等の対象物までの距離を精度良く求めることができる。
【0069】
次に、標識認識について図25を用いて説明する。図25は、ステレオ画像処理用の画像から標識の存在を認識する方法を説明している。この標識認識は、標識を検出したときだけ行うようにし(S3)、通常は距離認識を行うようにする。これにより距離認識の処理速度が低下することを極力抑制しつつ標識認識を行うことができる。
【0070】
標識が存在しない通常時の入力画像は、例えば、図25(a) に示すようなステレオ画像処理用の画像となる。距離認識用の画像は、図25(b) に示すように1台のカメラの半分の画角だけを使用しているため、自車両近傍(斜め横)の標識を認識することはできないが、前方の標識の存在を認識することはできる。
【0071】
また、広角レンズを使用して画角を拡げることにより、遠方の標識から自車両近傍の標識まで撮像することもできるが、広角レンズを使用すると撮像画像にレンズによる歪みが生じるため、画像処理段階で精度よく距離を算出することが困難となり好ましくない。
【0072】
この標識は、撮像画像上において路面の白線上に存在しているように撮像される。前述のステレオ画像処理時に検出した白線の検出結果をもとに、図25(c) に示すように画像の左端での白線位置(y座標)を求め、その白線位置に予め定めた大きさの標識認識用のウィンドウを設定する。このウィンドウ内に長い縦エッジの存在が確認されたときに標識があると判断する。このときの画像メモリに取り込まれた画像は、図25(d) に示すように標識の存在は検出されても標識内容を判断するには撮像された標識が小さ過ぎる。そこで、標識の存在が検出されてから自車両が数m進んだ後、入力対象を左斜め前方を撮像するカメラBだけに切り換え、図2(c) に示す入力方法3で1回画像を入力する(S8)。このとき入力される画像の一例を図26(a) に示した。この画像には標識が大きく撮像されており、図25(d) に示す画像より十分詳細な情報が得られるため、標識内容を認識するには好適である。
【0073】
図26(a) に示す撮像画像から標識内容を認識するには、まず、撮像画像から円を検出する(S9)。これは、例えば、円を認識対象としたHough 変換を用いることにより検出することができる。そして、標識内容は、図26(b) に示す円の内部の画像と、図26(c) の予め用意した標識内容を表すテンプレートとの類似度を求め、この類似度が最も高いテンプレートをその標識内容と判断する(S10)。尚、この類似度は、例えば前述の正規化相関法により求めることができる。
【0074】
このように、本実施の形態におけるステレオカメラは、斜め前方を撮像するため、遠方の標識を認識することができると共に、自車両近傍の標識を大きく撮像することができ、より確実な標識認識を行うことができる。
【0075】
次に、ステレオ画像処理による先行車までの距離認識だけを行う場合において、より高速に、かつ確実に先行車までの距離認識を行う第2の実施の形態を説明する。
【0076】
図27には、ステレオカメラを搭載した自車両、先行車(対象物)およびステレオカメラの配置、ならびにそれらを説明するために設定した世界座標系を示した。このステレオカメラの配置は、撮像面の水平方向が路面に対して垂直となるように、第1の実施の形態におけるステレオカメラの配置を90度回転させたものである。そのため、2台のカメラA,Bは、カメラAによる撮像画像の水平方向前半部とカメラBによる撮像画像の水平方向後半部のそれぞれに先行車が映出するように傾斜させる。そして、先行車の認識は、この90度回転したステレオ画像を用いて前述と同様な方法で求める。
【0077】
次に、カメラを90度回転することによる効果を説明する。
図27に示した世界座標系において、先行車は路面に平行な方向(X軸方向)に平行な長いエッジを持つことが多い。そこで、視差はできるだけ長いエッジを対象とした方が2枚のマッチングをとり易いため、路面に垂直な方向(Y軸方向)に作る方がよい。また、先行車はX軸方向に大きく動くことはあるが、Y軸方向に大きく動くことはないため、このY軸方向の画角は狭くても構わない。
【0078】
ところで、前述の第1の実施の形態におけるステレオ画像では、撮像面の水平方向の画角は垂直方向の画角の2/3となっていた。そこで、Y軸方向には画角が狭くても距離認識には十分であるので、本実施の形態においてはY軸方向に撮像面の水平方向を合わせるようにする。つまり、図27に示すようにステレオカメラを90度回転させた位置に配設する。先行車の移動の特徴として、自車両に対して左右方向に大きく移動する傾向があり、本実施の形態のような配置とすると、先行車の動きの大きな方向(左右方向)と画角の広い方向とを一致させることができるため、広範囲に動く先行車をより確実に認識することが可能となる。
【0079】
また、車両のエッジは左右方向に長く、その長いエッジを用いて視差計算ができるため、先行車認識の精度と確実性が向上する。さらに、先行車はある程度長いエッジを有すると考えられるので、撮像した画像を間引いても2枚の画像のマッチングを十分行うことができる。そこで、図15に示した方式を用い、2台のカメラ間で同じ位置の走査ラインを、例えば、1走査ラインおきに入力することにより画像を間引くと共に、先行車の一部が撮像範囲に残るような部分まで入力したところでフィールド後半の数走査ラインの入力を強制的に中止するようにして、画像の入力を制限する。
【0080】
先行車認識では、このような画像入力を行うことができるため、画像メモリを節約することができ、かつ画像入力時間を短縮することができる。また、このような画像入力を行うと、図28に示すようにメモリ内の画像が視差方向に対して垂直な方向に圧縮されるため、2枚の画像のマッチングを行うときに用いるテンプレートが小さくなり、1回の類似度の計算量が減少し、マッチング処理を高速に行うことが可能となる。つまり、画像入力時間の短縮だけではなく、認識処理時間も短縮することができる。
【0081】
図29は、本実施の形態における画像入力方式を用いた場合のタイムチャートを示している。従来方式は、図24に示した方式と同様に、フレーム1の第1および第2フィールドでカメラA,Bからの画像入力をそれぞれに行い、フレーム2の第1フィールドで入力した画像の処理を行うことを繰り返すものである。
【0082】
一方、本実施の形態における入力方式(1) では、フレーム1の第1フィールドでカメラA,Bからの画像を入力すると共に、画像後半部の不要な部分の入力を強制的に中止する。これにより、画像入力時間を1フィールド未満とすることができる。そして、第2フィールドにおいて、第1フィールドで入力した画像を処理する。これを繰り返し行う。このような入力方式(1) を用いることで、画像入力時間を従来方式の半分以下に抑えることができる。また、入力画像の処理時間が1フィールド以下であれば、1フレーム内での処理も可能となる。また、入力方式(2) に示すように、画像後半部の入力を中止したり、画像を間引きながら入力することで、本来の画像入力時間の途中で入力を打ち切ることができ、さらに入力画像の処理が次の画像入力の待ち時間内でできるようであれば、実時間処理も可能となる。
【0083】
このように、90度傾けたステレオカメラを用いて画像信号のサンプリング間隔を狭くした上で、走査ラインの前後半でカメラを切り換えながら入力すると共に、画像を撮像面の垂直方向に間引いて入力する方式を用いてステレオ画像を入力することで、先行車に対する距離認識を高速に、かつ精度よく行うことができる。
【図面の簡単な説明】
【図1】 本発明の概要を説明するための図。
【図2】 映像信号の切り換えて画像記録手段に入力する方法の4パターンを示した図。
【図3】 特定の平面を特定の垂直平面とした場合の概要を説明するための図。
【図4】 入力する映像信号を制限する場合の概要を説明するための図。
【図5】 基本的な距離算出のためのステレオ画像処理方法を説明する図。
【図6】 走査ラインの前半および後半でカメラの入力を切り換えて入力することを説明する図。
【図7】 1台のカメラの画角と2台のカメラを傾けて配設したときの画角を示す図。
【図8】 各カメラからの画像に対するステレオ画像領域を示す図。
【図9】 サンプリング間隔に対する画像の状態を説明する図。
【図10】 アナログの画像信号をデジタルの画像信号に変換した画像を説明する図。
【図11】 撮像面上の分解能と画像メモリ内の1画素の大きさを示す図。
【図12】 一般的なステレオ画像処理による距離算出方法を示す図。
【図13】 カメラの焦点距離Fと眼間距離Dを一定としたときの距離Zの測定精度と視差の分解能との関係を示す図。
【図14】 撮像範囲と対象物の測定精度との関係を示す図。
【図15】 各カメラからの画像入力タイミングの関係とそのとき入力される画像を示す図。
【図16】 第1の実施の形態におけるステレオ画像処理装置のブロック構成図。
【図17】 第1の実施の形態における先行車までの距離算出および標識認識処理のフローチャート図。
【図18】 第1の実施の形態における撮像方法とそのとき得られる画像とを示す図。
【図19】 消失点の算出方法を説明する図。
【図20】 ウィンドウ位置の設定方法を説明するためのカメラの取付位置を示した図。
【図21】 先行車位置の検出方法を説明する図。
【図22】 撮像した2枚の画像間での対応点の求め方を説明する図。
【図23】 類似度の最も高い画像切取り位置を示す図。
【図24】 第1の実施の形態における画像入力および画像処理のタイミングを示すタイミングチャート。
【図25】 標識の認識方法を説明する図。
【図26】 標識認識時における標識内容の認識方法を説明する図。
【図27】 第2の実施の形態における撮像方法を示す図。
【図28】 視差を検出する方向に長いエッジを多く含む場合の処理を示す図。
【図29】 第2の実施の形態における画像入力と画像処理のタイミングを示すタイミングチャート。
【図30】 従来の画像入力方法を説明する図。
【図31】 従来の他の画像入力方法を説明する図。
【符号の説明】
171 カメラセレクタ制御部
172 A/D変換部
174 HD信号生成部
175 VD信号生成部
176 画像メモリ
177 対象物検出部
178 対応点検索部
179 距離算出部

Claims (9)

  1. ステレオ画像入力を行うステレオ画像処理装置であって、
    光軸が特定の平面内に含まれるように第1および第2のカメラを並列に配設して対象物を撮像し、前記特定の平面に平行な方向に設定された走査ラインにより撮像した画像を走査する撮像手段と、
    前記第1および第2のカメラからの映像信号の走査ライン前半部に対しては、前記第1のカメラの走査ライン前半部から得られる前記対象物を含む領域の映像信号を選択する一方、走査ライン後半部に対しては、前記第2のカメラの走査ライン後半部から得られる前記領域に対応した前記対象物を含む領域の映像信号を選択して切り換える映像切り換え手段と、
    該映像信号切り換え手段から出力された映像信号を記憶する画像記憶手段と、
    該画像記憶手段に記憶された画像に対してステレオ画像処理を施すステレオ画像処理手段と、を含んで構成されるステレオ画像処理装置。
  2. 前記ステレオ画像処理手段を、前記画像記憶手段に記憶された画像に基づいて、撮像された対象物までの距離情報を算出するものとした請求項1に記載のステレオ画像処理装置。
  3. 前記第1および第2のカメラを、前記特定の平面内でカメラの光軸がカメラ前方で交差するように傾けて配設した請求項1または請求項2に記載のステレオ画像処理装置。
  4. 前記特定の平面を水平平面とした請求項1〜請求項3のいずれか1つに記載のステレオ画像処理装置。
  5. 前記特定の平面を垂直平面とした請求項1〜請求項3のいずれか1つに記載のステレオ画像処理装置。
  6. 前記第1および第2のカメラからの映像信号をデジタル信号に変換するA/D変換手段を更に含んで構成され、該A/D変換手段による映像信号のサンプリング間隔を、該カメラの副走査方向より主走査方向に短くなるように設定した請求項1〜請求項5のいずれか1つに記載のステレオ画像処理装置。
  7. 前記第1および第2のカメラにより撮像した画像の水平方向、垂直方向のうち少なくとも一方の方向に対し、前記画像記憶手段に入力する映像信号を制限するようにした請求項1〜請求項6のいずれか1つに記載のステレオ画像処理装置。
  8. 前記第1および第2のカメラからの映像信号を、所定の走査ライン数毎に前記画像記憶手段に入力するようにした請求項7に記載のステレオ画像処理装置。
  9. 前記第1および第2のカメラからの映像信号を、所定の走査ライン数だけ前記画像記憶手段に入力するようにした請求項7または請求項8に記載のステレオ画像処理装置。
JP2003126534A 2003-05-01 2003-05-01 ステレオ画像処理装置 Expired - Fee Related JP3709879B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003126534A JP3709879B2 (ja) 2003-05-01 2003-05-01 ステレオ画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003126534A JP3709879B2 (ja) 2003-05-01 2003-05-01 ステレオ画像処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP10588296A Division JP3446471B2 (ja) 1996-04-25 1996-04-25 ステレオ画像処理装置

Publications (2)

Publication Number Publication Date
JP2003304561A JP2003304561A (ja) 2003-10-24
JP3709879B2 true JP3709879B2 (ja) 2005-10-26

Family

ID=29398299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003126534A Expired - Fee Related JP3709879B2 (ja) 2003-05-01 2003-05-01 ステレオ画像処理装置

Country Status (1)

Country Link
JP (1) JP3709879B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080001727A1 (en) * 2004-11-15 2008-01-03 Hitachi, Ltd. Stereo Camera
JP4958233B2 (ja) * 2007-11-13 2012-06-20 学校法人東京電機大学 多眼視画像作成システム及び多眼視画像作成方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
WO2012124331A1 (ja) * 2011-03-17 2012-09-20 パナソニック株式会社 3d撮像装置
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
JP6701482B1 (ja) * 2018-12-17 2020-05-27 立山科学工業株式会社 移動体周辺監視装置

Also Published As

Publication number Publication date
JP2003304561A (ja) 2003-10-24

Similar Documents

Publication Publication Date Title
JP3709879B2 (ja) ステレオ画像処理装置
JP6717534B2 (ja) ローリングシャッターを伴うステレオ支援
JP3167752B2 (ja) 車輌用距離検出装置
JP5615441B2 (ja) 画像処理装置及び画像処理方法
US7139424B2 (en) Stereoscopic image characteristics examination system
JP3349121B2 (ja) ステレオカメラの取付構造
JP5752618B2 (ja) ステレオ視差算出装置
JP3859371B2 (ja) ピッキング装置
JP3710548B2 (ja) 車両検出装置
JPH10269362A (ja) 物体認識方法およびその装置
JP6617150B2 (ja) 物体検出方法及び物体検出装置
JP2008309519A (ja) 画像処理を用いた物体検出装置
JP3988574B2 (ja) 画像処理装置
JP2001266128A (ja) 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体
JP3516118B2 (ja) 物体認識方法および物体認識装置
JP2004364212A (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
JP3244850B2 (ja) ナンバープレート読み取り装置
JPH09145368A (ja) ステレオ画像による物体の移動追跡方法
JP3446471B2 (ja) ステレオ画像処理装置
JP2004117049A (ja) ステレオ画像処理装置およびステレオ画像処理方法
JP2001116545A (ja) 距離画像算出装置
JP5891751B2 (ja) 画像間差分装置および画像間差分方法
JPH10283478A (ja) 特徴抽出方法およびその方法を用いた物体認識装置
JP2005346381A (ja) 立体物認識装置及び方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050801

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees