JP6988860B2 - 情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。

道路（路面）の凹凸や、白線が消えていないかなどの状態を点検することが安全管理上求められている。従来、道路の状態を確認するためには、目視による確認やレーザ装置を使った確認が行われていたが、目視では判断基準にばらつきが生じやすく、レーザ装置を使う場合には非常に高価な専用車両が必要であった。そこで、ステレオカメラを車両に設置し、ステレオカメラで撮った輝度画像又は視差画像から道路の状態を検知することが行われている。

例えば、特許文献１には、ステレオカメラにより自車両の前方の景色を撮像して得た画像データ対に映し出された対象物の視差に基づいて当該対象物の距離データを算出し、画像データと距離データとに基づいて走行環境を認識するステレオ式車外監視装置が開示されている。

しかしながら、一度に撮像することができない領域を複数回に分けて撮像し、複数の撮像画像をつなげて全領域の撮像画像を生成する場合に、撮像画像を精度よくつなげることができないことがあった。

本発明は、上記に鑑みてなされたものであって、重複する領域を含む複数の画像に相当する情報を精度よくつなぎ合わせることができる情報処理システム、情報処理方法及び情報処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、車両に取り付けられたステレオカメラと、前記ステレオカメラによって撮像された第１の撮像画像と、前記第１の撮像画像と重複する撮像領域を含むように、移動する車両から前記第１の撮像画像を撮像した時刻とは異なる時刻に撮像された第２の撮像画像と、の特徴点を抽出する特徴点抽出部と、前記抽出された特徴点に基づいて前記第１の撮像画像と前記第２の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記重複する領域を繋げるつなぎ処理を行う画像処理部と、を有し、前記画像処理部は、前記車両の移動が減速後に停止して再度加速するものである場合、前記車両の移動速度に応じて前記つなぎ処理の頻度を変更し、前記車両が停止していた期間に対する前記つなぎ処理を行わない。

本発明によれば、重複する領域を含む複数の画像に相当する情報を精度よくつなぎ合わせることができるという効果を奏する。

図１は、実施形態にかかる情報処理システムの構成例を示すブロック図である。 図２は、車載装置が車両に設置されて撮像する状態を模式的に示す図である。 図３は、第１ステレオカメラ及び第２ステレオカメラの設置位置を例示する図である。 図４は、取得部が取得する輝度画像及び視差画像を模式的に例示する図である。 図５は、画像処理部が行うつなぎ処理を模式的に例示する図である。 図６は、画像処理部がつなぎ処理において行う付加処理の第１例を模式的に示す図である。 図７は、画像処理部がつなぎ処理において行う付加処理の第２例を模式的に示す図である。 図８は、時間の経過と共に継続して取得される複数の画像フレームを示す図である。 図９は、つなぎ処理に用いられるパラメータを例示する図である。 図１０は、情報処理装置が行う処理の第１例を示す図である。 図１１は、情報処理装置が行う処理の第２例を示す図である。 図１２は、パラメータの調整方法を例示する図である。

以下に添付図面を参照して、実施形態にかかる情報処理システムを詳細に説明する。図１は、実施形態にかかる情報処理システム１０の構成例を示すブロック図である。図１に示すように、情報処理システム１０は、例えば車載装置２０及び情報処理装置３０を有する。

車載装置２０は、例えば第１ステレオカメラ２００、第２ステレオカメラ２０２、傾斜センサ（姿勢センサ）２０４、ＧＰＳ（位置センサ）２０６、加速度センサ（車速センサ）２０８、視差画像生成部２１０及び第１通信部２１２を有し、後述する車両１００などに積載（設置）されて動作する。

第１ステレオカメラ２００は、例えば２つのレンズ及び２つの撮像素子を備え、２つの輝度画像（右眼相当及び左眼相当の撮像画像）を同時に撮影する。第２ステレオカメラ２０２は、第１ステレオカメラ２００と同様に、例えば２つのレンズ及び２つの撮像素子を備え、２つの輝度画像（右眼相当及び左眼相当の撮像画像）を同時に撮影する。つまり、車載装置２０は、第１ステレオカメラ２００及び第２ステレオカメラ２０２によって、同時に４つの輝度画像を撮影する。なお、第１ステレオカメラ２００及び第２ステレオカメラ２０２が撮像する撮像画像は、輝度画像に限られず、他の画素値が配列された偏光画像及び分光画像などの撮像画像であってもよい。

車載装置２０は、例えば図２に示すように車両１００の進行方向に続く領域を、所定幅の重複する撮像領域（画像重複部）を含むように異なる時刻に異なるフレーム（撮影画像）として撮像する。画像重複部は、例えば撮像画像の幅の１０〜３０％にされる。なお、図２においては、第１ステレオカメラ２００及び第２ステレオカメラ２０２が備える合計４つの撮像素子のいずれか１つが異なる時刻に撮像するフレームが模式的に示されている。

より具体的には、第１ステレオカメラ２００及び第２ステレオカメラ２０２は、例えば図３に示すように、車両１００の後方に並べて配置され、道路の幅方向の全領域を上方から同時に撮像する。第１ステレオカメラ２００及び第２ステレオカメラ２０２は、フレームレートが例えば３０ｆｐｓに設定されている。この場合、１／３０ｓでの車両１００の進行方向の移動距離は、０．３７ｍ＠４０ｋｍ／ｈや、０．４６ｍ＠５０ｋｍ／ｈなどとなる。この場合、進行方向の撮像画像の幅を０．６ｍとすると、画像重複部は０．２３ｍや０．１４ｍとなる。また、第１ステレオカメラ２００及び第２ステレオカメラ２０２は、車両１００の移動速度に応じてフレームレートが設定されてもよい。

また、車載装置２０は、２つのステレオカメラを備えることに限定されず、道路の幅方向の領域を効率よく撮像するために、３つ以上のステレオカメラが設けられてもよい。また、ステレオカメラのいずれかは、道路からの高さが他のステレオカメラとは異なるように設定されてもよい。また、車載装置２０には、第１ステレオカメラ２００及び第２ステレオカメラ２０２が撮像するタイミングにテクスチャを投影する投影装置が設けられていてもよい。

傾斜センサ２０４（図１）は、重力方向の加速度等を検出し、道路の傾斜に応じて変化する車載装置２０の姿勢（傾き）を検出する。ＧＰＳ２０６は、車載装置２０の位置を検出する位置センサとして機能する。加速度センサ２０８は、車載装置２０（車両１００）の移動における加速度を検出する。また、加速度センサ２０８は、加速度から車載装置２０の位置を検出する位置センサとしての機能も備える。

また、加速度センサ２０８が検出した加速度（又は移動速度）に応じて、第１ステレオカメラ２００及び第２ステレオカメラ２０２が撮像するフレームレートが設定されてもよい。例えば、車両１００の秒速が１ｍ／ｓであり、第１ステレオカメラ２００の撮像範囲が進行方向で５０ｃｍである場合、第１ステレオカメラ２００は１秒間に３回以上撮像する。なお、第１ステレオカメラ２００及び第２ステレオカメラ２０２は、車両１００の移動速度が０のときには、撮像処理を行わず、総データ量を低減するようにされている。

視差画像生成部２１０は、第１ステレオカメラ２００及び第２ステレオカメラ２０２がそれぞれ撮像した輝度画像を用いて視差画像をそれぞれ生成する。視差画像生成部２１０は、ハードウェアによって構成されてもよいし、一部又は全部がソフトウェアによって構成されてもよい。第１通信部２１２は、車載装置２０を構成する各部が出力する情報を情報処理装置３０に対して送信する例えば無線通信装置である。

情報処理装置３０は、例えばＣＰＵ及び記憶装置を備えたサーバであり、第２通信部３００、取得部３０２、特徴点抽出部３０４、重み付け決定部３０６、画像処理部３０８及び処理制御部３１０を有する。ただし、情報処理装置３０は、車載装置２０と一体に構成されてもよい。

第２通信部３００は、第１通信部２１２が送信する情報を受信する例えば無線通信装置である。取得部３０２は、輝度画像取得部３１２、視差画像取得部３１４及び三次元情報変換部３１６を有し、第１通信部２１２が送信する情報を、第２通信部３００を介して取得する。

より具体的には、輝度画像取得部３１２は、第１ステレオカメラ２００及び第２ステレオカメラ２０２が撮像した輝度画像それぞれの各フレームを取得する。視差画像取得部３１４は、視差画像生成部２１０が生成した視差画像を取得する。三次元情報変換部３１６は、視差画像取得部３１４が取得した視差画像を、傾斜センサ２０４、ＧＰＳ２０６及び加速度センサ２０８の少なくともいずれかが検出した情報を用いて、道路の状態（凹凸など）を示す三次元データに変換する。この三次元データは、ＸＹＺ座標を有する点（画素）が群となっているため、点群データと記すことがある。また、点群データは、例えば三次元情報データであり、Ｚ方向の値（ステレオカメラからの距離、又は路面の高さ情報）に応じて異なる色などが付されたＸＹ平面上の画像（三次元情報画像）に相当する。つまり、三次元情報変換部３１６は、三次元情報を平面上に示す三次元情報画像を生成する。なお、視差画像も、三次元情報を含む画像（三次元情報画像）であると言える。

特徴点抽出部３０４は、第１ステレオカメラ２００及び第２ステレオカメラ２０２が撮像した輝度画像（撮像画像）、及び三次元情報変換部３１６が変換により生成した三次元情報画像それぞれから、例えばＨａｒｒｉｓ作用素などによって特徴点を抽出する。

重み付け決定部３０６は、特徴点抽出部３０４が三次元情報画像及び撮像画像それぞれから抽出した所定の閾値以上の特徴点の数に基づいて、三次元情報画像及び撮像画像に対する重み付けを決定する。

画像処理部３０８は、補間処理部３１８を備え、取得部３０２が取得した２フレームの三次元情報画像（又は視差画像）及び２フレームの撮像画像、並びに重み付け決定部３０６が決定した重み付けに基づいて、三次元情報画像（又は視差画像）及び撮像画像の少なくともいずれかの２フレームを重複する撮像領域が重なるようにつなげるつなぎ処理を行う。補間処理部３１８は、２つのフレームの画像重複部の各画素がそれぞれ同じ場所を撮影した画素であるとは限らないため、補間処理を行うことにより、サブピクセル単位で画素の重なりを特定可能にする。また、画像処理部３０８は、撮像画像又は三次元情報画像のいずれか一方の２フレームに対して行ったつなぎ処理を、他方の２フレームに対しても行うように構成されてもよい。

また、画像処理部３０８は、つなぎ処理を各フレームに対して連続して行うことにより、第１ステレオカメラ２００及び第２ステレオカメラ２０２が撮像する全領域に対応する画像をつなぐことが可能である。また、画像処理部３０８は、３フレーム以上、すなわち、時刻Ｔ１，Ｔ２，Ｔ３の画像の特徴点が一致している場合は、つなぎ処理を停止させる。また、画像処理部３０８は、加速度センサ２０８の検出結果から車両１００が減速後に停止（一定加速度）して再度加速したと判定される場合、つなぎ処理を行わないようにされている。また、画像処理部３０８は、車載装置２０の移動速度に応じてつなぎ処理の処理頻度を変えるように構成されてもよい。

処理制御部３１０は、情報処理装置３０を構成する各部が行う処理を制御する。なお、取得部３０２、特徴点抽出部３０４、重み付け決定部３０６、画像処理部３０８及び処理制御部３１０は、ハードウェアによって構成されてもよいし、一部又は全部がソフトウェアによって構成されてもよい。

次に、情報処理システム１０の動作について図を用いて説明する。図４は、取得部３０２が取得する輝度画像及び視差画像を模式的に例示する図である。まず、第１ステレオカメラ２００は、時刻Ｔ１に輝度画像Ａ１と輝度画像Ｂ１を撮像する。視差画像生成部２１０は、輝度画像Ａ１と輝度画像Ｂ１から視差画像１を生成する。さらに、第１ステレオカメラ２００は、時刻Ｔ２に輝度画像Ａ２と輝度画像Ｂ２を撮像する。視差画像生成部２１０は、輝度画像Ａ２と輝度画像Ｂ２から視差画像２を生成する。

時刻Ｔ１に撮像された輝度画像と、時刻Ｔ２に撮像された輝度画像には、同じ領域（道路）を撮像した画像重複部が存在している。輝度画像取得部３１２は、視差画像１及び視差画像２を取得する。また、視差画像取得部３１４は、例えば輝度画像Ｂ１と撮影範囲が重複する輝度画像Ａ１の領域を、重複部輝度画像１として取得する。また、視差画像取得部３１４は、例えば輝度画像Ｂ２と撮影範囲が重複する輝度画像Ａ２の領域を、重複部輝度画像２として取得する。

図５は、画像処理部３０８が行うつなぎ処理を模式的に例示する図である。画像処理部３０８は、重複部輝度画像１と重複部輝度画像２とをつなぐ処理、及び視差画像１と視差画像２とをつなぐ処理を行う。なお、輝度画像Ａ１と輝度画像Ａ２は、同じ場所（面積）を写しているピクセル（画素）があるとは限らない。そこで、画像処理部３０８は、補間処理部３１８が補間処理等を行うことにより、サブピクセル単位で重なりを特定する。

図６は、画像処理部３０８がつなぎ処理において行う付加処理の第１例を模式的に示す図である。図６においては、視差（凸凹）がほぼない道路を走行する車両１００がフレーム間で横にずれて移動した場合が示されている。輝度画像Ａ１及び輝度画像Ａ２では、道路の白線は、コントラストが高く、特徴点が現れやすい。一方、道路の白線は、形状としては僅かな段差のみがあり、視差による特徴点が得にくい。

輝度画像では、白線は輝度が高く映るため、輝度画像Ａ１と輝度画像Ａ２を特徴点によって正確につなぐことは容易となる。そこで、重み付け決定部３０６は、図６に示したように輝度画像の方が視差画像よりも所定の閾値以上の特徴点が多い場合、輝度画像の情報に重みを付ける決定を行う。画像処理部３０８は、重み付け決定部３０６が決定した重みに基づいて、つなぎ処理を行う。つまり、画像処理部３０８は、ここでは輝度画像のつなぎ方を用いて、対応する視差画像をつなぐ処理を行う。例えば、画像処理部３０８は、輝度画像から視差画像１の下端５ピクセルと視差画像２の上端５ピクセルが重なる領域であると特定できた場合、その条件で視差画像１と視差画像２をつなぐ。

図７は、画像処理部３０８がつなぎ処理において行う付加処理の第２例を模式的に示す図である。図７においては、視差（凸凹）がほぼない道路を走行する車両１００がフレーム間で回転運動をした場合が示されている。車両１００が回転運動した（曲がった）場合、画像処理部３０８は、視差画像１に対して視差画像２を回転させながら画素の一致度を確認し、どの角度の回転のときに最も一致度が高いかを判断して、視差画像１と視差画像２をつなぐ。

この場合、視差が小さいと視差画像では一致する領域を探すことは難しい。そこで、重み付け決定部３０６は、所定の閾値以上の特徴点が多い輝度画像Ａ１と輝度画像Ａ２の情報に重みを付ける決定を行う。画像処理部３０８は、重み付け決定部３０６が決定した重みに基づいて、つなぎ処理を行う。つまり、画像処理部３０８は、ここでは輝度画像のつなぎ方を用いて、対応する視差画像をつなぐ処理を行う。

また、画像処理部３０８は、回転の角度に関しては、機械学習などにより物体認識を行い、その角度変化から角度のみを検出してもよい。図７に示した付加処理は、白線などの直線状の物体を含む場合に有効である。

一方、道路のわだちなどは、輝度画像では特徴点が表れにくい。よって、重み付け決定部３０６は、わだちなどが撮影された輝度画像をつなぐ処理を行う場合などに、視差画像に重みをつける決定を行う。

以上説明したように、情報処理装置３０は、車載装置２０から取得した輝度画像及び視差画像を用いて、つなぎ処理を行う。そして、情報処理装置３０は、図８にも示したように、時間の経過と共に継続して複数の画像フレームを車載装置２０から取得し、輝度画像と点群データ（三次元情報画像）をつなぐ処理を行う。

ここで、画像処理部３０８は、図９に示した輝度画像から得られる情報（Ｘ、Ｙ、θｚ：Ｚ軸周りの回転角）と、傾斜センサ（姿勢センサ）２０４、ＧＰＳ（位置センサ）２０６及び加速度センサ（車速センサ）２０８から得られる各情報とを用いてつなぎ処理を行う。

図１０は、情報処理装置３０が行う処理の第１例を示す図である。図１０に示すように、特徴点抽出部３０４は、隣接２フレーム分の点群データ（Ｃｎ，Ｃｎ＋１：図８参照）を用いて特徴点抽出処理を行い（Ｓ１００）、隣接２フレーム分の輝度画像（Ｄｎ，Ｄｎ＋１：図８参照）を用いて特徴点抽出処理を行う（Ｓ１０２）。特徴点抽出部３０４は、例えば特徴点を画像平面上の位置と強度の情報として出力する。

重み付け決定部３０６は、特徴点抽出部３０４が出力した各特徴点に対し、強度が所定の閾値以下の特徴点を無効として、重みＷを決定する（重み出力処理：Ｓ１０４）。輝度の閾値はＴｈ＿ｂとされ、点群データの閾値はＴｈ＿ｓとされている。ここで、各閾値は、特徴点が３点以上確保されるように設定されている。

所定の閾値以上の輝度の特徴点はＣｂ（ｎ＿Ｃｂ）（Ｐｘ，Ｐｙ，Ｉ）とされ、点群データの特徴点はＣｓ（ｎ＿Ｃｓ）（Ｐｘ，Ｐｙ，Ｉ）とされる。なお、Ｐｘ，Ｐｙは画像面内の位置を示し、Ｉは強度を示す。（ｎ＿Ｃｂ）、（ｎ＿Ｃｓ）は強度が所定の閾値以上の特徴点の個数を示す。

重みＷの算出方法には、以下のようなものがある。

所定の閾値以上の特徴点の個数の比に応じて重みＷを決定する場合には、下式１によって重みＷが算出される。

Ｗ＝ｎ＿Ｃｂ／（ｎ＿Ｃｂ ＋ ｎ＿Ｃｓ） ・・・（１）

また、特徴点の強度の総和の比に応じて重みＷを決定する場合には、下式２によって重みＷが算出される。

Ｗ＝Σ（Ｉ＿Ｃｂ）／｛Σ（Ｉ＿Ｃｂ）＋Σ（Ｉ＿Ｃｓ）｝ ・・・（２）
ここで、Ｉ＿Ｃｂ、Ｉ＿Ｃｓは各特徴点の強度を示す。

また、特徴点の個数を例えば３個に限定し、強度上位３個の強度の比に応じて重みＷを決定する場合には、下式３によって重みＷが算出される。

Ｗ＝Σ（Ｉ＿Ｃｂ）／Σ（Ｉ＿Ｃｂ＋Ｉ＿Ｃｓ） ・・・（３）

さらに、各特徴点の「位置」から求まる「特徴点間距離の総和」と「強度」の積の比に応じて重みＷを決定する場合には、下式４によって重みＷが算出される。

Ｗ＝Ａ＿ｂ／（Ａ＿ｂ＋Ａ＿ｓ） ・・・（４）
但し、特徴点間距離の総和をＤ＿ｂ、Ｄ＿ｓとし、各特徴点強度をＩ＿Ｃｂ（ｎ）、Ｉ＿Ｃｓ（ｎ）として、Ａ＿ｂ＝Ｄ＿ｂ・Σ（Ｉ＿Ｃｂ（ｎ））、Ａ＿ｓ＝Ｄ＿ｓ・Σ（Ｉ＿Ｃｓ（ｎ））とする。ここでは、特徴点間距離が大きいほど、θｘ、θｙ、θｚの算出時の精度向上に寄与する。

そして、重み付け決定部３０６は、決定した重みＷを用いた比較処理を行い、Ｗ＞Ｔｈ＿Ｗ（重み閾値）を設け、輝度画像又は点群データのいずれに重みを置くかを決定する（Ｓ１０６）。重みＷは、０＜Ｗ＜１の範囲内の値をとり得るので、Ｔｈ＿Ｗは例えば０．５とされる。

次に、画像処理部３０８は、隣接フレームの特徴点のマッチング処理を行い（Ｓ１０８）、相対パラメータ算出処理（つなぎ処理）を行う（Ｓ１１０）。ここで、画像処理部３０８は、例えばＳＩＦＴ特徴量を用いてマッチング処理を行う。

そして、画像処理部３０８は、つなぎ処理において重みＷを用いたパラメータ調整を行う。例えば、画像処理部３０８は、下式５に示した輝度画像と点群データの中間的な数値を生成してつなぎ処理に用いる。

ｐ＿ｓ’＝（Ｗ・ｐ＿ｓ＋（１−Ｗ）・ｐ＿ｂ）／２ ・・・（５）

なお、ｐ＿ｓは、図９に示したいずれかの点群データのパラメータであり、ｐ＿ｂは輝度画像のパラメータである。

図１１は、情報処理装置３０が行う処理の第２例を示す図である。図１１に示すように、特徴点抽出部３０４は、隣接２フレーム分の点群データ（Ｃｎ，Ｃｎ＋１：図８参照）を用いて特徴点抽出処理を行い（Ｓ１００）、隣接２フレーム分の輝度画像（Ｄｎ，Ｄｎ＋１：図８参照）を用いて特徴点抽出処理を行う（Ｓ１０２）。特徴点抽出部３０４は、例えば特徴点を画像平面上の位置と強度の情報として、画像処理部３０８及び重み付け決定部３０６に対して出力する。

画像処理部３０８は、点群データのみを用いた特徴点のマッチング処理（Ｓ２００）と、輝度画像のみを用いた特徴点のマッチング処理（Ｓ２０２）とを行い、点群データのみを用いた点群データのつなぎ処理（Ｓ２０４）と、輝度画像のみを用いた輝度画像つなぎ処理（Ｓ２０６）とを行う。

重み付け決定部３０６は、重みＷを決定する（重み出力処理：Ｓ２０８）。そして、画像処理部３０８は、重み付け決定部３０６が決定した重みＷを用いて、Ｓ２０４及びＳ２０６の処理で実行したつなぎ処理の結果を図１２に例示したように調整する（相対パラメータ調整処理：Ｓ２１０）。

このように、情報処理システム１０は、道路の単位距離（例：数百メートル）の連続的な三次元形状データ（三次元情報画像）及び輝度画像を精度よく生成して出力する。三次元形状データは、道路の平坦度（進行方向の凹凸）、わだち（道路の幅方向の凹凸）、ひび、白線の状態を示すことが可能である。輝度画像は道路のひびなどを示すことが可能である。

１０ 情報処理システム
２０ 車載装置
３０ 情報処理装置
１００ 車両
２００ 第１ステレオカメラ
２０２ 第２ステレオカメラ
２０４ 傾斜センサ
２０６ ＧＰＳ
２０８ 加速度センサ
２１０ 視差画像生成部
２１２ 第１通信部
３００ 第２通信部
３０２ 取得部
３０４ 特徴点抽出部
３０６ 重み付け決定部
３０８ 画像処理部
３１０ 処理制御部
３１２ 輝度画像取得部
３１４ 視差画像取得部
３１６ 三次元情報変換部
３１８ 補間処理部

特開２００１−０４３４９５号公報

Claims (8)

1. 車両に取り付けられたステレオカメラと、
   前記ステレオカメラによって撮像された第１の撮像画像と、前記第１の撮像画像と重複する撮像領域を含むように、移動する車両から前記第１の撮像画像を撮像した時刻とは異なる時刻に撮像された第２の撮像画像と、の特徴点を抽出する特徴点抽出部と、
   前記抽出された特徴点に基づいて前記第１の撮像画像と前記第２の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記重複する領域を繋げるつなぎ処理を行う画像処理部と、
   を有し、
   前記画像処理部は、前記車両の移動が減速後に停止して再度加速するものである場合、前記車両の移動速度に応じて前記つなぎ処理の頻度を変更し、前記車両が停止していた期間に対する前記つなぎ処理を行わない、
   ことを特徴とする情報処理システム。
2. 車両に取り付けられたステレオカメラと、
   前記ステレオカメラで撮像された路面の画像から視差画像を取得する取得部と、
   前記ステレオカメラによって撮像された第１の撮像画像と、前記第１の撮像画像と重複する撮像領域を含むように、移動する車両から前記第１の撮像画像を撮像した時刻とは異なる時刻に撮像された第２の撮像画像と、の特徴点を抽出する特徴点抽出部と、
   前記抽出された特徴点に基づいて前記第１の撮像画像と前記第２の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記第１の撮像画像と前記第２の撮像画像とにおける前記重複する領域を繋げる処理と、前記取得部により前記第１の撮像画像から取得した第１の視差画像と前記第２の撮像画像から取得した第２の視差画像とを前記重複する領域に基づいて繋げる処理とを、つなぎ処理として行う画像処理部と、
   を備えることを特徴とする情報処理システム。
3. 前記ステレオカメラの撮像動作の間隔を前記車両の走行速度に応じて設定する、
   ことを特徴とする請求項１または２に記載の情報処理システム。
4. 前記つなぎ処理を各撮像画像に対して連続で行う、
   ことを特徴とする請求項１ないし３のいずれか１項に記載の情報処理システム。
5. 前記画像処理部は、前記特徴点抽出部が抽出する特徴点が所定数の撮像画像において一致する場合、前記つなぎ処理を停止させる、
   ことを特徴とする請求項１ないし４のいずれか１項に記載の情報処理システム。
6. 前記画像処理部は、
   前記車両の移動が減速後に停止して再度加速するものである場合、前記車両が停止していた期間に対する前記つなぎ処理を行わない、
   ことを特徴とする請求項２に記載の情報処理システム。
7. 車両に取り付けられたステレオカメラによって撮像された第１の撮像画像と、前記第１の撮像画像と重複する撮像領域を含むように、移動する車両から前記第１の撮像画像を撮像した時刻とは異なる時刻に撮像された第２の撮像画像と、の特徴点を抽出する工程と、
   前記抽出された特徴点に基づいて前記第１の撮像画像と前記第２の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記重複する領域を繋げるつなぎ処理を行う工程と、
   を含み、
   前記つなぎ処理を行う工程は、前記車両の移動が減速後に停止して再度加速するものである場合、前記車両が停止していた期間に対する前記つなぎ処理を行わない、
   情報処理方法。
8. 車両に取り付けられたステレオカメラによって撮像された第１の撮像画像と、前記第１の撮像画像と重複する撮像領域を含むように、移動する車両から前記第１の撮像画像を撮像した時刻とは異なる時刻に撮像された第２の撮像画像と、の特徴点を抽出するステップと、
   前記抽出された特徴点に基づいて前記第１の撮像画像と前記第２の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記重複する領域を繋げるつなぎ処理を行うステップと、
   をコンピュータに実行させるための情報処理プログラムであって、
   前記つなぎ処理を行うステップは、前記車両の移動が減速後に停止して再度加速するものである場合、前記車両が停止していた期間に対する前記つなぎ処理を行わない、
   情報処理プログラム。

Images