JP2014512591A - 画像処理 - Google Patents

Abstract

画像を処理する方法および装置であって、方法は、レーダ（４）を使用して地形のエリア（８）の第１の画像を生成するステップと、センサ（５）を使用して地形のエリア（８）の第２の画像を生成するステップと、第１の画像における点を地形のエリア（８）の地表面に対応するものとして識別するために、第１の画像に対して画像分割処理を行うステップと、第２の画像における点を地形のエリア（８）の地表面に対応するものとして識別するために、第１の画像における識別された点を第１の画像から第２の画像に投影するステップとを含む。方法は、第２の画像における識別された点に対して、この点を含む第２の画像の副画像を規定するステップと、地表面に対応する副画像において点を識別するために、副画像に特徴抽出処理を行うステップとをさらに含む。

Description

本発明は画像の処理に関する。

自律型車両が、採掘、土木、農業、および惑星探査等の屋外用途に導入されることがある。

車両に搭載されたイメージセンサが、車両の目として機能する。例えば、センサからの画像が、障害物回避、特定のタスクを行う目標検出、およびナビゲーション用地形図の生成を行うために用いられることがある。

地形の分割は、自律型車両の視覚的効果を向上させるために決定的な意味を持つ傾向がある。

都市環境において、道路に特有の構造的または視覚的特徴を活用することにより、地形を識別するタスクを効果的に実行できる傾向がある。

しかし、自然の地形において、地表面についての事前情報を通常は入手できない。さらに、地形の構造および外観は、車両の操作中に著しく変化することがある。このため、特定の合図に基づく道路検出アルゴリズムは、人間の監視なしでは適切でない傾向がある。

これらの方法の限界を克服するために、自己管理型地形分類法が開発されている。例えば、非特許文献１は、レーザー距離計およびカラーカメラを用いた自己管理型地形検出方法を開示している。

レーダおよび映像（すなわち、可視光検出カメラ）からのデータの統合について、いくつかの取り組みにおいて議論されている。この種のデータ統合は、通常、運転者支援システムとの関連で開発されている。さらに、この種のデータ統合は、例えば、非特許文献２に記載されているように、物体検出および分類モジュールを特徴とする傾向がある。

第１の態様において本発明は画像を処理する方法を提供し、方法は、レーダを使用して地形のエリアの第１の画像を生成するステップと、センサを使用して地形のエリアの第２の画像を生成するステップと、第１の画像における点を地形のエリアの地表面に対応するものとして識別するために、第１の画像に対して画像分割処理を行うステップと、第２の画像における点を地形のエリアの地表面に対応するものとして識別するために、第１の画像における識別された点を第１の画像から第２の画像に投影するステップとを含む。

方法は、第２の画像における識別された点に対して、この点を含む第２の画像の副画像を規定するステップと、地形のエリアの地表面に対応する副画像において点を識別するために、副画像に特徴抽出処理を行うステップとをさらに含んでもよい。

方法は、地形のエリアの地表面に対応する副画像における点を用いて、特定の物体または地形の特徴のモデルを構築するステップをさらに含んでもよい。

モデルは、多変数ガウス分布であってもよい。

方法は、モデルを用いて、地形エリアの地表面に対応するか、地形エリアの地表面に対応しないかのいずれの場合でも、第３の画像における領域を分類するための分類子を作成するステップをさらに含んでもよい。

分類子は、１クラス分類子であってもよい。

分類子は、領域とモデルとの間のマハラノビス距離に応じて、領域を分類してもよい。

センサは、イメージセンサであってもよい。

センサは、電磁気放射線を検出するよう構成されてもよい。

センサは、可視光線を検出するよう構成されたカメラであってもよい。

他の態様において、本発明は画像を処理する装置を提供し、装置は、地形のエリアの第１の画像を生成するよう構成されたレーダと、地形のエリアの第２の画像を生成するよう構成されたセンサと、第１の画像における点を地形のエリアの地表面に対応するものとして識別するために、第１の画像に対して画像分割処理を行い、かつ第２の画像における点を地形のエリアの地表面に対応するものとして識別するために、第１の画像における識別された点を第１の画像から第２の画像に投影するよう構成された１つ以上のプロセッサとを備える。

他の態様において、本発明は、上記態様による装置を備える車両を提供する。

車両は、自律型車両であってもよい。

車両は、陸上車両であってもよい。

他の態様において、本発明は、コンピュータシステムまたは１つ以上のプロセッサによって実行されると、コンピュータシステムまたは１つ以上のプロセッサを上記態様のいずれかの方法に従って動作させるよう構成された１または複数のプログラムを提供する。

更なる態様において、本発明は、上記態様による１つのプログラムまたは複数のプログラムの少なくとも１つを格納する機械可読記憶媒体を提供する。

ひとつの実施形態による車両の近傍で地表区割を行う車両の概要図である。 車両を用いて地表区画を走査する地形モデリングシナリオの例の概要図である。 車両によって実行される地表区割処理の実施形態のある特定のステップを示すフローチャートである。 地表区割処理の間に実行される学習プロセスの実施形態のある特定のステップを示すフローチャートである。 ビジュアル分類子を用いて全体画像の区割りを行う処理のある特定のステップを示すフローチャートである。

明細書において、用語「地表」は、環境の下にある支持面または環境の領域の幾何学的構成を指す。下にある支持面は、例えば、室内もしくは室外で、地方環境において下にある地質学上の地形等の表面、あるいは都市環境における人工的支持面等の表面を含んでもよい。

明細書において、用語「地上」は、システムが地形に直接接触していること、あるいは、システムが、地形に直接接触している更なるシステムの上に取り付けられていることを指す。

図１は、車両２の近傍で地表区割を行う処理の実施形態が実行される車両２の概要図（縮尺は無視している）である。これ以降、この処理を「地表区割処理」と呼ぶ。

この実施形態では、車両２は、レーダシステム４と、カメラ５と、プロセッサ６とを備える。

この実施形態では、車両２は自律型かつ無人の地上車両である。動作中、地上の車両２は、地表区画の表面、すなわち地表に接触している。そのため、この実施形態では、（地上の車両２に搭載されているため）レーダシステム４は地上システムである。

この実施形態では、レーダシステム４は、プロセッサ６に接続される。

この実施形態では、レーダシステム４は、機械走査式のミリ波レーダを備える。レーダは、１ｍ〜１２０ｍの範囲で反射波の振幅を読み取る９５ＧＨｚ周波数変調連続波（Frequency Modulated Continuous Wave：ＦＭＣＷ）ミリ波レーダである。

照射されたレーダ信号の波長は、３ｍｍである。照射されたレーダ信号のビーム幅は、仰角で３．０°および方位角で３．０°である。レーダシステム４のレーダアンテナは、３６０°の角度範囲にわたり水平に走査する。

動作中、レーダシステム４は、連続波（Continuous Wave：ＣＷ）信号をアンテナを介して目標に向けて照射する。目標からの反射波がアンテナにより受信される。受信された反射波に対応する信号が、レーダシステム４からプロセッサ６に送られる。

この実施形態では、カメラ５がプロセッサ６に接続される。

この実施形態では、カメラ５は、Ｐｒｏｓｉｌｉｃａ社製モノクロＣＣＤメガピクセルギガビットイーサネットカメラである。また、カメラ５は下方、および車両２の前方を向く。

動作中、カメラ５は車両２の前方の地形の画像を取り込む。取り込まれた画像に対応する信号が、カメラ５からプロセッサ６に送られる。

この実施形態では、図４を参照して以下により詳細に説明するように、プロセッサ６が、レーダシステム４およびカメラ５から受信した信号を処理する。この実施形態では、レーダシステム４の視野とカメラ５の視野は、地上で重なり合う。

図２は、車両２を用いて地表区画８を走査する地形モデリングシナリオの例の概要図（縮尺は無視している）である。このシナリオにおいて、車両２はレーダシステム４およびカメラ５を用いて地表区画８を走査する。

この実施形態では、地表区画８は、開放された地方環境である。

図３は、車両２によって実行される地表区割処理の実施形態のある特定のステップを示すフローチャートである。

ステップＳ２において、車両２により学習プロセスが実行され、地形の視覚モデル（すなわち、カメラ５により検出されるような地表のモデル）が作成される。

学習プロセスは、図４を参照して以下により詳細に説明される。

ステップＳ４において、ビジュアル分類子を用いて、地形モデルに基づき地表区割が行われる。

図４は、地表区割処理のステップＳ２において実行される学習プロセスの実施形態の、ある特定のステップを示すフローチャートである。

ステップＳ６において、レーダシステム４を用いて、学習用レーダサンプルが生成される。

この実施形態では、レーダシステム４がＣＷ信号を車両２の前方の地表区画８上に照射する。反射波がレーダシステム４のアンテナにより受信され、受信された反射波に対応する信号が、レーダシステム４からプロセッサ６に送られる。

ステップＳ８において、プロセッサ６が、レーダシステム４から受信された信号（すなわち、レーダシステム４からの一連の学習データ）に対してレーダ地表区割（Radar Ground Segmentation：ＲＧＳ）処理を行う。

この実施形態においてプロセッサ６によって実行されるＲＧＳ処理についての更なる詳細は、ここに参考文献として組み込む、非特許文献３に記載されている。

この実施形態において、レーダの走査毎に、レーダ中心座標における一連の背景点を検出し分類するために、ＲＧＳ処理が実行される。

このように、この実施形態では、プロセッサ６が、レーダによって生成された地形のエリア８の学習画像にＲＧＳ処理を適用して、３つの広いカテゴリ、すなわち「地形」、「地形以外」（すなわち障害物）、または「不明」に属する物体を検出する。

ステップＳ１０において、カメラ５が、車両２の前方の地形のエリア８の一連の学習（視覚）画像を取り込む。取り込まれた学習画像に対応する信号が、カメラ５からプロセッサ６に送られる。

ステップＳ１２において、ステップＳ８で「地形」としてラベル付けされた学習レーダ画像における点が、（ステップＳ１０でプロセッサ６により受信された）学習カメラ画像に投影される。

この実施形態では、「地形」としてカメラ画像にラベル付けされたレーダ中心の点のこの投影は、従来のカメラ透視変換を用いて実行される。

ステップＳ１４において、カメラ画像に投影された点毎に、その点を含む「注目ウインドウ」（すなわち、副画像）が画定される。この実施形態では、画定された注目ウインドウがカメラ画像内で固定される。また、この実施形態では、各注目ウインドウは約０．３０ｍ×０．３０ｍの地形部分（すなわち、地形のエリア８内の領域）に相当する。

ステップＳ１６において、注目ウインドウ、すなわちステップＳ１４で画定された副画像が、特徴抽出処理を用いて処理される。

この実施形態では、この特徴抽出処理は従来の特徴抽出処理である。

この実施形態では、特徴抽出処理を用いて、注目ウインドウ毎に４次元の特徴ベクトルが生成される。各特徴ベクトルは、ビジュアルテクスチャ記述子（例えば、コントラストやエネルギー）と色記述子（例えば、正規化された赤と緑の色平面における平均強度値）とを連結したものである。他の実施形態において、別のもの（例えば、より複雑なビジュアル記述子）を用いてもよい。

特徴抽出処理は、副画像から視覚的特徴を抽出するために、副画像に対して実行される。このように、（「地形」としてラベル付けされたレーダ画像における点を用いて決定された）副画像に対して特徴抽出処理を行うことにより、地形の視覚的外観が有利に組み込まれる。

ステップＳ１８において、抽出された特徴ベクトルが、地形モデルの構築中に「地形」の概念のための学習サンプルとして用いられる。

この実施形態では、この地形モデルの構築は、従来技術を用いて行われる。

この実施形態では、ビジュアル地形モデルは、多変量ガウス分布としてモデル化される。

このように、「地形」としてラベル付けされたレーダ画像における点が、同様に地形のビジュアルモデルを作成するために用いられるカメラ画像における断片を選択するよう導くために用いられる、学習プロセスが提供される。

この実施形態では、ビジュアル地形モデルを決定するために上記の学習プロセスを実行した後、ビジュアル地形モデルを用いてビジュアル分類子が決定され、ビジュアル分類子を用いてカメラ（すなわち、視覚的）画像の区割りが行われる。

図５は、ビジュアル分類子を用いて全体画像の区割りを行う処理の、ある特定のステップを示すフローチャートである。

ステップＳ２０において、学習プロセス（すなわち、ステップＳ２）の間に決定されたビジュアル地形モデルを用いて、風景区割用のマハラノビス距離に基づく１クラス分類子が決定される。

この実施形態では、（図４を参照して上で説明した）学習プロセスのステップＳ１０で取り込まれた学習カメラ画像を用いて、シーン分割用の分類子が決定される。

１クラス分類法は、一般的に、一方のクラス（通常、「目標クラス」と呼ばれる）は比較的十分にサンプリングされるが、もう一方のクラス（通常、「外れ値クラス」と呼ばれる）はサンプリングの数が比較的少ない、またはモデル化が難しい、２クラス分類問題の場合において有効である。また通常、１クラス分類子は、目標クラスの例を他の全ての考えられる物体と分離する決定境界線を構成するために採用される。この実施形態では、地形のサンプルが目標クラスであり、地形以外のサンプル（すなわち、障害物）が外れ値クラスである。１クラス分類の問題に関する詳細な説明は、ここに参考文献として組み込む非特許文献４に記載されている。

この実施形態では、１クラス分類子が作成される。開放された地方環境において、地形以外のサンプルは、通常散在している。そのため、この実施形態では、明らかな地形サンプルのみ使用される。この実施形態では、推定する分布が地形のクラスの分布である分布モデル問題として公式で表される。他の実施形態では、異なる種類の分類子を作成してもよい。例えば、他の実施形態では、ＲＧＳ処理から地形のサンプルと地形以外のサンプルの両方を用いて２クラス分類子を学習してもよい。

この実施形態では、Ｎ_Ｇ個の地形パターンがある。地形パターンｉは、そのｍ次の行特徴ベクトルｆ^ｉ _Ｇによって表され、ｍは特徴変数の数である。

これらのベクトルは、この実施形態でＮ_Ｇ×ｍ行列の形で表される学習セットＸを構成し、ここで各行は観測値であり、各列は変数である。

Ｘにおけるデータのサンプル平均は、μで表される。

Ｘにおけるデータのサンプル共分散は、Σで表される。

地形モデルは、Ｍ（μ，Σ）で表される。

特徴ベクトルｆを有する新たなパターンを考えると、ｆとＭ（μ，Σ）との間のマハラノビス距離の二乗は、以下のように定義される。
ｄ^２＝（ｆ−μ）Σ^−１（ｆ−μ）^Ｔ

この実施形態では、ｄ^２が予め設定された閾値よりも大きい場合、特徴ベクトルｆを有するパターンは外れ値であり、すなわち地形以外のサンプルとして分類される。

またこの実施形態では、マハラノビス距離の二乗が予め設定された閾値以下の場合、特徴ベクトルｆを有するパターンは外れ値ではなく、地形のサンプルとして分類される。

この実施形態では、この予め設定された閾値は、ｍの自由度を持つカイ二乗分布の変位値として計算される。

この実施形態では、地形クラスが、車両移動中に有利に連続的に更新される。この実施形態では、これは、直前のレーダ走査によって取得された特徴ベクトルを用いて、地形モデルＭ（μ，Σ）を連続的に再構築することにより達成される。

ステップＳ２２において、区割りおよび区割対象の視覚的画像が、カメラ５を用いて取得される。取得されたビジュアル画像に対応する信号が、カメラ５からプロセッサ６に送られる。

ステップＳ２４において、プロセッサ６が、ステップＳ２０で決定された分類子を用いて、全体のビジュアル画像を分類する。

このように、オンラインで地表区割を実行するプロセスが提供される。

また、レーダおよびビジュアルカメラシステムを用いる自己管理型地表区割法も提供される。

上記の地表区割処理によってもたらされる利点は、（上記の学習プロセスを実行することにより生成される）地形のビジュアルモデルを用いて、地形の特徴付け、道路探査、および可視的風景区割り等の高度なタスクを容易にできることである。また、地形のビジュアルモデルを用いて、例えば反射および遮蔽に由来するレーダの曖昧さを解決することにより、レーダセンサを補うことができる。レーダの曖昧さに起因する問題は、地形モデルで不明のラベルが付けられた視覚的断片から抽出された視覚的特徴ベクトルとの比較に基づき、レーダの不明な反射波を分類することにより、低減または緩和される傾向にある。この意味で、ビジュアル分類子は、レーダシステム４を有利に補って不明確な状況を解決する。

レーダに基づく区割法と、ビジュアル分類システムとは、有利に組み合わせられ、レーダシステム４とカメラ５が搭載された車両２が移動する際に、地形のビジュアルモデルが徐々に構築されていく。

上記の地表区割処理の更なる利点は、例えば障害物検出および分類を行うことにより車両２の運転者を支援するために、この処理を有利に用いてもよいことである。

また、レーダデータを用いてカメラ画像内の注目ウインドウが選択され、これらのウインドウの視覚的内容が分類目的で解析される。レーダシステム４をカメラ画像の解析の前に用いて、レーダの地形からの反射波を識別し、選択されたビジュアル注目ウインドウに自動的にラベル付けすることにより、手動のラベル付けに時間を費やす必要が低減または解消される。すなわち、システムは、画像解析の前にレーダ地表区画に基づき自動でオンラインのラベル付けを実行する。これにより、学習セットを構築するための時間のかかる手動のラベル付けをしなくても済む。また、地形の外観の事前情報を必要としない。

地形モデルを直前のレーダ走査に基づき連続的に更新することができるため、この方法は、長距離ナビゲーション条件に特に適する傾向にある。地形の外観は、地形の種類、植物の存在、および採光条件等の、測定が容易でなく時間とともに変化する多くの要因の影響を受けるため、地表区割は一般的に難しい。このことは、特に長距離ナビゲーションに当てはまる。上記の処理は、レーダにより取得された直前の走査を用いて分類子を連続的に学習することにより、地形モデルを順応的に学習することで、この問題に対処している。

プロセッサ６を含む、本明細書に記載した構成を実現し、本明細書に記載した方法ステップを実行するための装置は、例えば１つ以上のコンピュータ、あるいは他の処理装置またはプロセッサといった任意の適切な装置を構成または適用することにより、および／または追加のモジュールを設けることにより、提供されてもよい。装置は、命令を実行しデータを使用するコンピュータ、コンピュータのネットワーク、または１つ以上のプロセッサを備えてもよく、この命令およびデータは、コンピュータメモリ、コンピュータディスク、ＲＯＭ、ＰＲＯＭ等、またはこれらの任意の組み合わせ、あるいは他の記憶媒体等の機械可読記憶媒体に格納された１つのコンピュータプログラムまたは複数のコンピュータプログラムの形態の命令およびデータを含む。

なお、図３〜５のフローチャートに記載して上で説明した特定の処理ステップは、省略してもよく、あるいはそのようなステップは、図に示したものと異なる順序で実行してもよい。さらに、全ての処理ステップを、便宜上かつ理解しやすいように、個別の時間的に連続したステップとして記載してきたが、処理ステップのいくつかを、実際には同時に、または少なくともある程度時間的に重複して実行してもよい。

上記の実施形態では、車両２は自律型で無人の陸上車両である。他の実施形態では、車両は異なる種類の車両であってもよい。例えば、他の実施形態では、車両２は有人および／または半自律型の車両である。また、他の実施形態では、上記のレーダ地表区割処理が、車両の代わりに、または車両に加えて、異なる種類の対象物に対して実行される。例えば、他の実施形態では、上記のシステム／方法を、無人飛行機（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）、または無人ヘリコプタ（着陸動作を改善するために）において、あるいは視覚障害者のためのいわゆる「ロボット杖」として、実装してもよい。別の実施形態では、上記のシステム／方法が、例えば人々やその他の移動物体を地形からの反射波と区別することにより追跡する固定エリアスキャナといった、保安用途の静止したシステムにおいて、実装される。

上記の実施形態では、レーダは、１ｍ〜１２０ｍの範囲で反射波の振幅を感知する９５ＧＨｚ周波数変調連続波（Frequency Modulated Continuous Wave：ＦＭＣＷ）ミリ波レーダである。照射されたレーダ信号の波長は、３ｍｍである。照射されたレーダ信号のビーム幅は、仰角で３．０°および方位角で３．０°である。レーダは、異なる適切な仕様を有する適切な種類のものであってよい。

上記の実施形態では、カメラ５は、Ｐｒｏｓｉｌｉｃａ社製モノクロＣＣＤメガピクセルギガビットイーサネットカメラである。また、カメラ５は車両２の前方かつ下方を向いている。他の実施形態では、カメラ５は、例えば、異なる適切な仕様を有するカメラ、および／または異なる周波数／波長を有する照射を検出するよう構成されたカメラ（例えば、赤外線カメラ、紫外線カメラ等）といった異なる適切な種類のカメラである。また、他の実施形態では、カメラ５は、異なる外装を有し、車両２に取り付けられる。さらに、カメラ５は、搭載される車両２に対して固定されてもよく、あるいは可動であってもよい。さらに、レーダシステム４は、レーダ近距離場において部分的または全体的に、あるいはレーダ遠距離場において部分的または全体的に動作するよう構成されてもよい。

上記の実施形態では、レーダシステム４は、連続波（Continuous Wave：ＣＷ）信号をアンテナを介して目標に向けて照射する。他の実施形態では、レーダ信号は、異なる種類のレーダ変調を有する。

上記の実施形態では、図２に関して上で説明したシナリオにおいて、車両２を用いて地表区割処理が行われる。他の実施形態では、様々な地形の特徴および／または物体が存在するような適切なシナリオで、および／または、悪天候条件または塵／煙雲等の厳しい環境条件がある中で、上記の処理が行われる。

上記の実施形態では、ステップＳ８において、プロセッサ６がレーダ地表区割（Radar Ground Segmentation：ＲＧＳ）処理を行う。この処理は、非特許文献３に記載されている通りである。他の実施形態では、「地形」に対応するレーダ画像点を識別するために、異なる処理がレーダ画像に対して行われる。例えば、「地形」、「地形以外」、または「不明」の分類の代わりに、またはこれに加えて、別の分類としてレーダ画像点が分類される処理を用いてもよい。

Ｈ．Ｄａｈｌｋａｍｐ、Ａ．Ｋａｅｈｌｅｒ、Ｄ．Ｓｔａｖｅｎｓ、Ｓ．Ｔｈｒｕｎ、およびＧ．Ｂｒａｄｓｋｉ著、「Ｓｅｌｆ−ｓｕｐｅｒｖｉｓｅｄ ｍｏｎｏｃｕｌａｒ ｒｏａｄ ｄｅｔｅｃｔｉｏｎ ｉｎ ｄｅｓｅｒｔ ｔｅｒｒａｉｎ」、ロボット工学科学およびシステム会議議事録（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｒｏｂｏｔｉｃｓ Ｓｃｉｅｎｃｅ ａｎｄ Ｓｙｓｔｅｍｓ Ｃｏｎｆｅｒｅｎｃｅ）、フィラデルフィア、ペンシルベニア州、２００６年 Ｚ．ＪｉおよびＤ．Ｐｒｏｋｈｏｒｏｖ著、「Ｒａｄａｒ−Ｖｉｓｉｏｎ Ｆｕｓｉｏｎ ｆｏｒ Ｏｂｊｅｃｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、第１１回情報統合に関する国際会議、２００８年 Ｇ．Ｒｅｉｎａ、Ｊ．Ｕｎｄｅｒｗｏｏｄ、Ｇ．Ｂｒｏｏｋｅｒ、およびＨ．Ｄ．Ｄｕｒｒａｎｔ−Ｗｈｙｔｅ著、「Ｒａｄａｒ−Ｂａｓｅｄ Ｐｅｒｃｅｐｔｉｏｎ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｏｕｔｄｏｏｒ Ｖｅｈｉｃｌｅｓ」、Ｊｏｕｒｎａｌ ｏｆ Ｆｉｅｌｄ Ｒｏｂｏｔｉｃｓに投稿 Ｏ．Ｍ．Ｊ．Ｔａｘ著、「Ｏｎｅ−Ｃｌａｓｓ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，Ｃｏｎｃｅｐｔ Ｌｅａｒｎｉｎｇ ｉｎ ｔｈｅ Ａｂｓｅｎｃｅ ｏｆ Ｃｏｕｎｔｅｒ Ｅｘａｍｐｌｅｓ」、デルフト工科大学、デルフト、オランダ、２００１年

Claims (14)

1. 画像を処理する方法であって、
   レーダシステムを使用して地形区画の第１の画像を生成するステップと、
   イメージセンサを使用して前記地形区画の第２の画像を生成するステップと、
   前記第１の画像における点を前記地形区画の地表面に対応するものとして識別するために、前記第１の画像に対して画像区割処理を行うステップと、
   前記第２の画像における点を前記地形エリアの地表面に対応するものとして識別するために、前記第１の画像における前記識別された点を前記第１の画像から前記第２の画像に投影するステップとを備える方法。
2. 前記第２の画像における前記識別された点に対して、この点を含む前記第２の画像の副画像を画定するステップと、
   前記地形区画の地表面に対応する前記副画像における点を識別するために、前記副画像に特徴抽出処理を行うステップをさらに備える、請求項１に記載の方法。
3. 前記地形区画の地表面に対応する前記副画像における点を用いて、特定の物体または地形の特徴のモデルを構築するステップをさらに備える、請求項２に記載の方法。
4. 前記モデルは、多変量ガウス分布である、請求項３に記載の方法。
5. 前記モデルを用いて、前記地形区画の地表面に対応するか、前記地形区画の地表面に対応しないかに応じて、第３の画像における領域を分類するための分類子を作成するステップをさらに備える、請求項３または４に記載の方法。
6. 前記分類子は１クラス分類子である、請求項５に記載の方法。
7. 前記分類子は、前記領域と前記モデルとの間のマハラノビス距離に応じて、前記領域を分類する、請求項５または６に記載の方法。
8. 前記イメージセンサは、電磁気放射線を検出するよう構成される、請求項１から７のいずれか一項に記載の方法。
9. 前記イメージセンサは、可視光線を検出するよう構成されたカメラである、請求項８に記載の方法。
10. 地形区画の第１の画像を生成するよう構成されたレーダシステムと、
    前記地形区画の第２の画像を生成するよう構成されたイメージセンサと、
    前記第１の画像における点を前記地形区画の地表面に対応するものとして識別するために、前記第１の画像に対して画像区割処理を行い、かつ前記第２の画像における点を前記地形区画の地表面に対応するものとして識別するために、前記第１の画像における前記識別された点を前記第１の画像から前記第２の画像に投影する、プロセッサと
    を備える画像処理装置。
11. 請求項１０に記載の画像処理装置を備えた車両。
12. 前記車両は自律型車両である、請求項１１に記載の車両。
13. 前記車両は陸上車両である、請求項１１または１２に記載の車両。
14. コンピュータに、請求項１から９のいずれか一項に記載の方法の各ステップの手順を実行させるコンピュータプログラム。

Images