Nothing Special   »   [go: up one dir, main page]

JP2018530825A - 非障害物エリア検出のためのシステムおよび方法 - Google Patents

非障害物エリア検出のためのシステムおよび方法 Download PDF

Info

Publication number
JP2018530825A
JP2018530825A JP2018513810A JP2018513810A JP2018530825A JP 2018530825 A JP2018530825 A JP 2018530825A JP 2018513810 A JP2018513810 A JP 2018513810A JP 2018513810 A JP2018513810 A JP 2018513810A JP 2018530825 A JP2018530825 A JP 2018530825A
Authority
JP
Japan
Prior art keywords
obstacle
vertical
horizontal
map
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018513810A
Other languages
English (en)
Other versions
JP6794436B2 (ja
JP2018530825A5 (ja
Inventor
デイン、ギョクチェ
バースカラン、バスデフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018530825A publication Critical patent/JP2018530825A/ja
Publication of JP2018530825A5 publication Critical patent/JP2018530825A5/ja
Application granted granted Critical
Publication of JP6794436B2 publication Critical patent/JP6794436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

電子デバイスによって実行される方法が説明される。本方法は、垂直非障害物推定を決定するために深度マップの垂直処理を実行することを含む。本方法は、水平非障害物推定を決定するために深度マップの水平処理を実行することをも含む。本方法は、垂直非障害物推定と水平非障害物推定とを組み合わせることをさらに含む。本方法は、垂直非障害物推定と水平非障害物推定の組み合せに基づいて非障害物マップを生成することをさらに含む。

Description

[0001]本開示は、一般に電子デバイスに関する。より詳細には、本開示は、非障害物エリア（non-obstacle area）検出のためのシステムおよび方法に関する。
[0002]最近の数十年で、電子デバイスの使用が一般的になった。特に、電子技術の進歩は、ますます複雑で有用になる電子デバイスのコストを低減した。コスト低減および消費者需要により、電子デバイスが現代社会において事実上ユビキタスであるように、電子デバイスの使用が激増した。電子デバイスの使用が拡大したので、電子デバイスの新たな改善された特徴の需要も拡大した。より詳細には、新しい機能を実行する、ならびに／あるいはより高速に、より効率的に、またはより高品質で機能を実行する、電子デバイスがしばしば求められる。
[0003]いくつかの電子デバイス（たとえば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ、テレビジョンなど）は画像をキャプチャし、および／または利用する。たとえば、スマートフォンは、静止画像および／またはビデオ画像をキャプチャし、および／または処理し得る。自動および自律車両アプリケーションでは、障害物検出は、画像を処理することによって実行され得る。画像を処理することは、比較的大きい量の時間、メモリおよびエネルギーリソースを要求し得る。要求されるリソースは、処理することの複雑さに従って変動し得る。
[0004]いくつかの複雑な処理タスクを実装することは困難であり得る。たとえば、いくつかのプラットフォームは、制限された処理、メモリおよび／またはエネルギーリソースを有し得る。さらに、いくつかのアプリケーションは時間依存であり得る。この説明からわかるように、画像処理を改善するシステムおよび方法が有益であり得る。
[0005]電子デバイスによって実行される方法が説明される。本方法は、垂直非障害物推定を決定するために深度マップの垂直処理を実行することを含む。本方法は、水平非障害物推定を決定するために深度マップの水平処理を実行することをも含む。本方法は、垂直非障害物推定と水平非障害物推定とを組み合わせることをさらに含む。本方法は、垂直非障害物推定と水平非障害物推定の組み合せに基づいて非障害物マップを生成することをさらに含む。
[0006]垂直処理を実行することは、深度マップをセグメントに分割することを含み得る。少なくとも１つのセグメントは、列中のいくつかのピクセルを含み得る。垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータが推定され得る。垂直非障害物推定のための信頼性値を含む垂直信頼性マップが生成され得る。
[0007]垂直信頼性マップを決定することは、推定された線形モデルパラメータと所定の線形モデルパラメータとの間の差に基づいて、所与のセグメントのためのセグメント適合誤差（segment fitting error）を決定することを含み得る。所与のセグメントのための信頼性値が、セグメント適合誤差を垂直推定しきい値と比較することによって決定され得る。所与のセグメントのための信頼性値は、所与のセグメント中の少なくとも１つのピクセルに適用され得る。
[0008]所定の線形モデルパラメータは、複数の道路状態モデルの中から選択され得る。複数の道路状態モデルは、線形モデルパラメータの対応するセットを有し得る。
[0009]水平処理を実行することは、深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することを含み得る。地形ライン（terrain line）が、深度ヒストグラムから決定され得る。水平非障害物推定は、地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて決定され得る。水平非障害物推定のための信頼性値を含む水平信頼性マップが生成され得る。
[0010]水平信頼性マップを生成することは、所与のピクセルの深度値が深度ヒストグラムのモードの範囲内にあるかどうかを決定することを含み得る。所与のピクセルは、所与のピクセルの深度値が深度ヒストグラムのモードの範囲内にあるとき、高い信頼性値を有し得る。
[0011]垂直非障害物推定と水平非障害物推定とを組み合わせることは、垂直処理と水平処理の両方を並列に実行することを含み得る。垂直非障害物推定と水平非障害物推定とは、垂直信頼性マップと水平信頼性マップとに基づいてマージされ得る。
[0012]所与のピクセルは、非障害物マップ中の非障害物エリアとして識別され得、ここで、垂直信頼性マップと水平信頼性マップの両方が所与のピクセルのための高い信頼性値によって特徴づけられる。所与のピクセルは、非障害物マップ中の障害物エリアとして識別され得、ここで、垂直信頼性マップまたは水平信頼性マップのうちの少なくとも１つが所与のピクセルのための低い信頼性値によって特徴づけられる。所与のピクセルは、所与のピクセルの座標に基づいて、非障害物マップ中の非障害物エリアまたは障害物エリアとして識別され得、ここで、垂直信頼性マップと水平信頼性マップとが所与のピクセルのための異なる信頼性値によって特徴づけられる。
[0013]垂直非障害物推定と水平非障害物推定とを組み合わせることは、深度マップの垂直処理を実行することを含み得る。垂直信頼性マップは、モデル適合信頼度（model fitting confidence）に基づいて取得され得る。垂直信頼性マップの信頼できる領域が、非障害物エリアとして識別され得る。水平処理は、垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、信頼できない領域に対して実行され得る。
[0014]垂直非障害物推定と水平非障害物推定とを組み合わせることは、深度マップの水平処理を実行することを含み得る。水平信頼性マップは、深度ヒストグラム距離（depth histogram distance）に基づいて取得され得る。水平信頼性マップの信頼できる領域が、非障害物エリアとして識別され得る。水平信頼性マップの信頼できない領域に対する垂直処理は、信頼できない領域が非障害物エリアであるかどうかを決定するために実行され得る。
[0015]非障害物マップは、物体検出アルゴリズムまたは車線検出アルゴリズムのうちの少なくとも１つによって使用される関心領域を識別する際に使用され得る。
[0016]また、電子デバイスが説明される。本電子デバイスは、垂直非障害物推定を決定するために深度マップの垂直処理を実行することを行うように構成される。本電子デバイスはまた、水平非障害物推定を決定するために深度マップの水平処理を実行することを行うように構成される。本電子デバイスは、垂直非障害物推定と水平非障害物推定とを組み合わせることを行うようにさらに構成される。本電子デバイスは、垂直非障害物推定と水平非障害物推定の組み合せに基づいて非障害物マップを生成することを行うようにさらに構成される。
[0017]また、装置が説明される。本装置は、垂直非障害物推定を決定するために深度マップの垂直処理を実行するための手段を含む。本装置は、水平非障害物推定を決定するために深度マップの水平処理を実行するための手段をも含む。本装置は、垂直非障害物推定と水平非障害物推定とを組み合わせるための手段をさらに含む。本装置は、垂直非障害物推定と水平非障害物推定の組み合せに基づいて非障害物マップを生成するための手段をさらに含む。
[0018]また、コンピュータプログラム製品が説明される。本コンピュータプログラム製品は、その上に命令を有する非一時的有形コンピュータ可読媒体を含む。命令は、電子デバイスに、垂直非障害物推定を決定するために深度マップの垂直処理を実行させるためのコードを含む。命令は、電子デバイスに、水平非障害物推定を決定するために深度マップの水平処理を実行させるためのコードをも含む。命令は、電子デバイスに、垂直非障害物推定と水平非障害物推定とを組み合わせさせるためのコードをさらに含む。命令は、電子デバイスに、垂直非障害物推定と水平非障害物推定の組み合せに基づいて非障害物マップを生成させるためのコードをさらに含む。
非障害物エリア検出を実行するように構成された電子デバイスを示すブロック図。 非障害物決定モジュールを示すブロック図。 非障害物エリア検出を実行するための方法を示すフローチャート。 深度マップの垂直処理の一例を示す図。 深度マップの垂直処理の一例を示す図。 深度マップの垂直処理の一例を示す図。 深度マップの垂直処理の一例を示す図。 垂直処理を使用して非障害物エリア検出を実行するための方法を示すフローチャート。 深度マップの水平処理の一例を示す図。 深度マップの水平処理の一例を示す図。 深度マップの水平処理の一例を示す図。 深度マップの水平処理の一例を示す図。 水平処理を使用して非障害物エリア検出を実行するための方法を示すフローチャート。 非障害物マップを決定するために垂直非障害物推定と水平非障害物推定とを組み合わせるための方法を示すフローチャート。 非障害物マップを決定するために垂直非障害物推定と水平非障害物推定とを組み合わせるための別の方法を示すフローチャート。 非障害物マップを決定するために垂直非障害物推定と水平非障害物推定とを組み合わせるためのまた別の方法を示すフローチャート。 画像中の非障害物エリアを決定することの一例を示す図。 画像中の非障害物エリアを決定することの一例を示す図。 画像中の非障害物エリアを決定することの別の例を示す図。 画像中の非障害物エリアを決定することの別の例を示す図。 非障害物エリアからの距離を決定することの一例を示す図。 非障害物エリアからの距離を決定することの一例を示す図。 物体検出アルゴリズムによって使用される関心領域（ＲＯＩ：region of interest）を識別するために非障害物マップを使用することの一例を示す図。 車線検出アルゴリズムによって使用されるＲＯＩを識別するために非障害物マップを使用することの一例を示す図。 推定された線形モデルパラメータに基づいて道路を分類するための方法を示すフローチャート。 電子デバイス内に含まれ得るいくつかの構成要素を示す図。
[0036]多くのアプリケーションでは、障害物回避のために領域または環境内の非物体エリアを識別することは有利である。たとえば、先進運転者支援システム（ＡＤＡＳ：advanced driver assistance system）の場合、障害物回避のために車の前の運転可能なエリアを識別することは重要である。障害物回避が重要である別のシナリオは、自律車両（たとえば、無人航空機（ＵＡＶ）または自律自動車）がそれの環境を検知し、人間の入力なしにナビゲートする車両自動化である。
[0037]一般に、障害物回避の問題は、他の方向から考察され、ここで、関心物体（たとえば、歩行者、車、自転車）が検出され、物体検出／認識アルゴリズムを介して識別され得、予防措置をとるために運転者に警報が与えられる。たとえば、交通標識（たとえば、速度制限標識、停止標識、道路標識など）を検出し、識別するために、障害物検出が利用され得る。しかしながら、このアプローチは、遅く、不正確であり得る。さらに、すべての物体クラスがあらかじめトレーニングされなければならず、これは、新しいオブジェクトクラスを追加するのを困難にする。
[0038]本明細書で説明されるシステムおよび方法では、物体を識別する代わりに、障害物または物体がない領域が識別される。これらの領域は、移動可能なエリアと呼ばれることがある。言い換えれば、これらの３次元領域は、その中で移動が可能である非障害物エリアである。たとえば、非障害物エリアは、道路上で識別され得る。非障害物エリアを識別すると、道路プロファイリング、速度制御、より速いおよびより信頼できる物体および車線検出など、様々な他のアプリケーションが、非障害物エリアを使用して実行され得る。
[0039]本明細書で説明されるシステムおよび方法は、深度マップを分析することによって非障害物エリアを識別するために使用され得る。一実装形態では、深度マップは、ステレオ画像ペアから生成され得る。道路シナリオでは、前方のオープン空間は、深度ドメインにおいて道路を表す線形モデルにマッピングされ得る。道路セグメントの深度を使用することによって、線形モデルパラメータが推定され得る。推定された線形モデルパラメータは、前の（たとえば、所定の）モデルパラメータと比較され得る。適合が達成された場合、セグメントは、オープンエリアの一部であることを宣言される。ステレオ画像ペアが利用可能でない場合、ストラクチャフロムモーション（structure from motion）などの方法が、モノカメラ入力シーケンスを使用することによって深度マップを取得するために使用され得る。
[0040]本明細書で説明されるシステムおよび方法は、１つまたは複数の画像の垂直処理と水平処理のインテリジェントな組み合せに基づいて非障害物マップの決定を行う。非障害物エリアを識別することを実行するシステムおよび方法が、以下でより詳細に説明される。
[0041]図１は、非障害物エリア検出を実行するように構成された電子デバイス１０２を示すブロック図である。電子デバイス１０２は、ワイヤレス通信デバイス、モバイルデバイス、移動局、加入者局、クライアント、クライアント局、ユーザ機器（ＵＥ）、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることもある。電子デバイスの例としては、ラップトップまたはデスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲーミングシステム、ロボット、航空機、無人航空機（ＵＡＶ）、自動車などがある。これらのデバイスのうちのいくつかは、１つまたは複数の業界規格に従って動作し得る。
[0042]多くのシナリオでは、電子デバイス１０２は、シーンの非障害物マップ１２６を使用し得る。一例では、スマートフォンが、占有されていない空間を識別するためにシーンの非障害物マップ１２６を生成し得る。別の例では、自動車が、検出された交通標識、信号および／または他の物体に基づいて自動車の速度、ステアリング、パーキングなどを調節するために非障害物マップ１２６を使用し得る先進運転者支援システム（ＡＤＡＳ）を含み得る。別の例では、無人航空機（ＵＡＶ）が、飛行の間に記録されたビデオから非障害物マップ１２６を生成し得、検出された物体（たとえば、建築物、標識、人々、パッケージなど）に基づいてナビゲートし得、検出されたパッケージなどをピックアップし、および／または配達し得る。多くの他の例が、本明細書で開示されるシステムおよび方法に従って実装され得る。たとえば、本明細書で開示されるシステムおよび方法は、非障害物マップ１２６を使用して検出された１つまたは複数の物体に基づいて１つまたは複数のアクション（たとえば、何かを取ってくること、何かを組み立てること、アイテムを探索することなど）を実行するロボットにおいて実装され得る。
[0043]電子デバイス１０２は１つまたは複数のカメラを含み得る。カメラは、画像センサー１０４と、光学システム１０８の視野内に位置する物体の画像を画像センサー１０４上に合焦させる光学システム１０８（たとえば、レンズ）とを含み得る。電子デバイス１０２は、カメラソフトウェアアプリケーションとディスプレイスクリーンとをも含み得る。カメラアプリケーションが動作しているとき、光学システム１０８の視野内に位置する物体の画像１１４は、画像センサー１０４によって記録され得る。これらの画像１１４は、メモリバッファ１１２に記憶され得る。いくつかの実装形態では、カメラは電子デバイス１０２とは別個であり得、電子デバイス１０２は、電子デバイス１０２の外部の１つまたは複数のカメラから画像データを受信し得る。
[0044]本システムおよび方法は、キャプチャされた画像１１４に関して説明されるが、本明細書で説明される技法は、任意のデジタル画像上で使用され得る。したがって、ビデオフレームおよびデジタル画像という用語は、本明細書では互換的に使用され得る。
[0045]多くのアプリケーションでは、電子デバイス１０２が障害物がないエリアを識別することは有益である。たとえば、ＡＤＡＳの場合、障害物回避のために車の前の運転可能なエリアを識別することは重要である。いくつかのアプローチでは、この問題は他の方向から考察される。これらのアプローチでは、物体検出および認識アルゴリズムを介して関心物体（たとえば、歩行者、車、自転車）が識別され、予防措置をとるために運転者に警報が与えられる。
[0046]他のアプローチは、画像１１４の垂直処理または水平処理のいずれかのうちの１つを実行することによって非障害物エリアを決定し得る。垂直処理および水平処理の各々は、画像１１４中の非障害物エリアを推定し得る。しかしながら、各アプローチは、独立して実行されるとき、制限を有する。
[0047]水平処理は、道路が傾斜しているとき、間違った非障害物推定を与え得る。垂直処理は、画像１１４に対してセグメンテーションを実行し得る。セグメントが大きい場合、適合は、より信頼できる。しかしながら、物体の部分が、同様に非障害物（すなわち、非障害物）エリアとして含まれ得る。たとえば、垂直処理を使用すると、車または歩行者の下部および上部が、非障害物エリアとして間違って識別され得る。また、垂直処理アプローチを用いると、歩道が非障害物エリアとして間違って識別され得る。しかしながら、セグメントが小さい場合、非障害物エリアの不正確な検出が起こり得る。
[0048]本明細書で説明されるシステムおよび方法は、１つまたは複数の画像１１４の垂直処理と水平処理のインテリジェントな組み合せに基づいて非障害物マップ１２６の決定を行う。説明されるシステムおよび方法では、物体を識別する代わりに、非障害物マップ１２６は、深度マップの垂直処理と水平処理とを組み合わせることによって決定され得る。一実装形態では、深度マップは、１つまたは複数の画像から取得され得る。別の実装形態では、深度マップは、深度データ収集プロセス（たとえば、ＬＩＤＡＲ）から取得され得る。
[0049]一実装形態では、電子デバイス１０２は、非障害物マップ１２６を決定するための非障害物決定モジュール１１６を含み得る。非障害物決定モジュール１１６は、深度マップを取得するための深度マップ生成器１１８を含み得る。非障害物決定モジュール１１６は、垂直非障害物推定を決定するために深度マップの垂直処理を実行するための垂直推定モジュール１２０をも含み得る。非障害物決定モジュール１１６は、水平非障害物推定を決定するために深度マップの水平処理を実行するための水平推定モジュール１２２をさらに含み得る。
[0050]推定コンバイナ１２４が、非障害物マップ１２６を決定するために垂直非障害物推定と水平非障害物推定とを組み合わせ得る。一実装形態では、推定コンバイナ１２４は、推定に関連する信頼性値に基づいて垂直非障害物推定と水平非障害物推定とをインテリジェントに組み合わせ得る。非障害物マップ１２６は、１つまたは複数の画像１１４のどのエリアが非障害物エリアであるか、およびどのエリアが障害物エリアであるかを示し得る。非障害物マップ１２６を生成することに関するさらなる詳細が、図２に関して与えられる。
[0051]一例では、非障害物マップ１２６は、道路上の障害物（たとえば、物体）がない非障害物エリアを含み得る。画像１１４の垂直処理と水平処理とを組み合わせることによって、誤検出がなくされ得る。さらに、組み合わせられたアプローチは、より信頼できる非障害物推定を与え得る。
[0052]説明されるシステムおよび方法は、様々な他のアプリケーションの速度を上げるために使用され得る。たとえば、電子デバイス１０２は、物体検出、シーン理解、道路プロファイリング、および車線検出など、他の適用例のために非障害物マップ１２６を使用し得る。説明されるシステムおよび方法はまた、現在の車線検出アルゴリズムが扱うことができない道路縁石検出の問題を解決し得る。説明されるシステムおよび方法は、さらに、自律運転に役立ち得、ここで、速度は、道路の地形に基づいて調整される。
[0053]図２は、非障害物決定モジュール２１６を示すブロック図である。非障害物決定モジュール２１６は、電子またはワイヤレスデバイス内に実装され得る。非障害物決定モジュール２１６は、深度マップ生成器２１８と、垂直推定モジュール２２０と、水平推定モジュール２２２と、推定コンバイナ２２４とを含み得る。非障害物決定モジュール２１６、深度マップ生成器２１８、垂直推定モジュール２２０、水平推定モジュール２２２および推定コンバイナ２２４は、図１に関して上記で説明された非障害物決定モジュール１１６、深度マップ生成器１１８、垂直推定モジュール１２０、水平推定モジュール１２２および推定コンバイナ１２４の構成であり得る。
[0054]深度マップ生成器２１８は、１つまたは複数の画像２１４を受信し得る。一構成では、１つまたは複数の画像２１４は、図１に関して説明されたように、カメラ（たとえば、画像センサー１０４および光学システム１０８）を介して取得され得る。一実装形態では、深度マップ生成器２１８はステレオ画像ペアを受信し得る。別の実装形態では、１つまたは複数の画像２１４は、ビデオモノ画像から来得る。画像２１４は、ピクセルからなるデジタル画像であり得る。
[0055]深度マップ生成器２１８は、１つまたは複数の画像２１４から深度マップ２３０を取得し得る。深度マップ２３０は、１つまたは複数の画像２１４のピクセルに対応するピクセル２３２を含み得る。深度マップ２３０中の各ピクセル２３２は、深度値２３４を有する。深度値２３４は、カメラに対するピクセル２３２の距離を示す。たとえば、より高い深度値２３４をもつピクセル２３２は、より低い深度値２３４をもつピクセル２３２よりも、カメラに対するより近い近接度を示し得る。深度マップ２３０の一例が、図４Ａ〜図４Ｄに関して説明される。
[0056]本明細書で説明されるアルゴリズムが各ピクセル２３２のための深度値２３４を必要としないことに留意されたい。たとえば、深度マップ２３０はホールを有し得る。これらのホールの深度値２３４は、処理を開始する前に充填され得る。
[0057]ステレオ画像ペアの場合、深度マップ生成器２１８は、視差を推定するためにピクセル２３２間の対応を見つけ得る。視差から、深度マップ生成器２１８は、各ピクセル２３２のための深度値２３４を決定し得る。代替的に、ビデオモノ画像の場合、深度マップ生成器２１８は、ビデオの動きに基づいて各ピクセル２３２のための深度値２３４を決定し得る。
[0058]深度マップ２３０は、垂直推定モジュール２２０および水平推定モジュール２２２に与えられ得る。垂直推定モジュール２２０は、垂直非障害物推定２４２を決定するために深度マップ２３０の垂直処理を実行し得る。水平推定モジュール２２２は、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行し得る。
[0059]垂直推定モジュール２２０は、深度マップ２３０をセグメント２３６に分割し得る。各セグメント２３６は、深度マップ２３０の列中のいくつかのピクセル２３２を含み得る。言い換えれば、垂直推定モジュール２２０は、深度マップ２３０の垂直セグメント２３６を処理し得る。セグメント２３６は、深度マップ２３０中のピクセル２３２の列の一部分であり得る。たとえば、セグメント２３６は、１０〜１５個のピクセル２３２のベクトルであり得る。セグメント２３６は、重複することも重複しないこともある。
[0060]垂直推定モジュール２２０は、垂直非障害物推定２４２を決定するために各セグメント２３６のための線形モデルパラメータを推定し得る。垂直方向における各セグメント２３６は、線形モデルを介して推定され得る。線形モデルは次のように表され得る。
ここで、ｙはピクセル２３２の深度値２３４であり、ｘはピクセル２３２の座標であり、ｐ1およびｐ2は推定された線形モデルパラメータ２３８である。推定誤差が垂直推定しきい値２４６よりも小さく、線形適合が一定の勾配を有する場合、それは、有効な空き空間（非障害物エリア２６６）としてラベリングされ得る。一実装形態では、０よりも大きい勾配が非障害物を示し、０よりも小さいかまたはそれに等しい勾配が物体または障害物を示す。このアプローチの一例が、図４Ａ〜図４Ｄに関して説明される。
[0061]行列形式では、式（１）の線形モデルは式（２）によって与えられる。
[0062]式（２）では、ｙは深度値２３４のｎ×１（n-by-1）ベクトルであり、ｘは垂直次元におけるモデル座標のためのｎ×２（n-by-2）設計行列（すなわち、ｎ個の行、２つの列の行列）であり、ｐ1およびｐ2は推定された線形モデルパラメータ２３８である。ｎの値は、深度マップセグメント２３６中のピクセル２３２の数に対応する。
[0063]１つのアプローチでは、ｐ1およびｐ2は最小２乗解を使用して解かれ得る。このアプローチでは、ｐは、未知の係数ｐ1およびｐ2のベクトルである。正規方程式は、以下によって与えられる。
ここで、ＸTは設計行列Ｘの転置である。式（４）においてｐについて解くことは、推定された線形モデルパラメータ２３８（すなわち、ｐ1およびｐ2）を生じる。
[0064]最適化された実装形態では、行列反転項（ＸTＸ）-1ＸTがロケーション（すなわち、ｙ座標）に基づいて固定され、ロケーションに基づいて事前計算され、記憶され得ることに留意されたい。また、区分的線形モデルが、ｐ1、ｐ2およびセグメント長の変動を用いて、表面におけるくぼみおよび隆起を推定し得る。さらに、このアプローチの主要な複雑さは、上記の式（２）におけるサイズｎの２つのベクトルの行列乗算による。一例では、ｎは、１０、または１０の代わりの選定された区分的長さであり得る。
[0065]垂直推定モジュール２２０は、垂直非障害物推定２４２のための垂直信頼性マップ２４８信頼性値２５０を決定し得る。一実装形態では、垂直推定モジュール２２０は、推定された線形モデルパラメータ２３８と所定の線形モデルパラメータ２４０との間の差に基づいて、各セグメント２３６のためのセグメント適合誤差２４４を決定し得る。所定のモデルパラメータは、［ｐＭ１，ｐＭ２］と呼ばれることがある。垂直推定モジュール２２０は、しきい値（ＴＨ１）と比較することによって、所定のモデルパラメータが推定されたパラメータ［ｐ1，ｐ2］にどのくらい近いかを確認し得る。たとえば、｜ｐ1−ｐＭ１｜＜ＴＨ１である。
[0066]垂直推定しきい値２４６は、推定された線形モデルパラメータ２３８がトレーニングされたモデルパラメータに適合するかどうかを決定し得る。所定の線形モデルパラメータ２４０は、複数の道路状態モデルの中から選択され得る。複数の道路状態モデルの各々は、線形モデルパラメータ２４０の対応するセットを有し得る。道路状態モデルの例としては、平坦な平面、丘陵、谷などがある。所定の線形モデルパラメータ２４０は、トレーニングによって決定され得る。
[0067]垂直推定モジュール２２０は、式（５）に従って、推定された線形モデルパラメータ２３８を使用して、推定された深度値（
）を決定し得、ここで、
はｉ番目のロケーションにおける推定された深度値である。
[0068]推定された線形モデルパラメータ２３８を用いた深度推定誤差（ｅi）は、式（６）に従って決定され得、ここで、ｙiはｉ番目のロケーションにおける深度値２３４である。
[0069]セグメント適合誤差２４４（ｓ2）は、式（７）に従って決定され得、ここで、ｎはセグメント２３６の長さである。
[0070]セグメント適合誤差２４４は、垂直処理のための信頼性メトリックとして使用され得る。垂直推定モジュール２２０は、各セグメント２３６のセグメント適合誤差２４４を垂直推定しきい値２４６と比較することによって、各セグメント２３６のための垂直信頼性値２５０を決定し得る。
[0071]垂直推定しきい値２４６は、所定の線形モデルパラメータ２４０に基づき得る。垂直推定しきい値２４６は、どの所定の線形モデルパラメータ２４０が使用されるかに応じて変動し得る。たとえば、垂直推定しきい値２４６は、平坦な道路のための所定の線形モデルパラメータ２４０が使用される場合、ある値を有し得る。垂直推定しきい値２４６は、丘陵のための所定の線形モデルパラメータ２４０が使用される場合、異なる値を有し得る。
[0072]垂直推定モジュール２２０は、セグメント適合誤差２４４と垂直推定しきい値２４６との間の差の絶対値を検査し得る。所与のセグメント２３６のためのセグメント適合誤差２４４が垂直推定しきい値２４６よりも小さいとき、所与のセグメント２３６は高い垂直信頼性値２５０を有し得る。逆に、所与のセグメント２３６のためのセグメント適合誤差２４４が垂直推定しきい値２４６よりも大きいかまたはそれに等しいとき、所与のセグメント２３６は低い垂直信頼性値２５０を有し得る。したがって、セグメント適合誤差２４４と垂直推定しきい値２４６との間の差が小さい場合、セグメント２３６は非障害物エリア２６６の一部と見なされる。差が大きい場合、セグメント２３６は非障害物エリア２６６の一部と見なされない。
[0073]所与のセグメント２３６のための信頼性値２５０を決定すると、垂直推定モジュール２２０は、バイナリマップを得るために垂直信頼性マップ２４８をしきい値処理し得る。所与のセグメント２３６のための信頼性値２５０は、セグメント２３６が非物体エリア（たとえば、移動可能）であるのか物体エリア（たとえば、移動不可能なエリア）であるのかを決定するために、しきい値と比較され得る。垂直信頼性マップ２４８は、深度マップ２３０中のピクセル２３２の信頼性値２５０を含み得る。したがって、垂直信頼性マップ２４８は、深度ピクセル２３２ごとに、ならびにセグメント２３６ごとに適合信頼度を有するマップである。
[0074]水平推定モジュール２２２は、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行し得る。水平処理は、深度マップ２３０のピクセル２３２の各行のための深度ヒストグラム２５２を取得することを含み得る。深度ヒストグラム２５２の一例が、図６Ａ〜図６Ｄに関して説明される。深度ヒストグラム２５２は、視差ヒストグラムと呼ばれることもある。
[0075]一実装形態では、深度ヒストグラム２５２は、深度マップ２３０中の各行のためのヒストグラムを取得することによって取得され得る。たとえば、深度マップ２３０からのピクセル２３２の行について、その行中のピクセル２３２に対応する深度値２３４のためのヒストグラムが生成され得る。
[0076]水平推定モジュール２２２は、深度ヒストグラム２５２から地形ライン２５４を決定し得る。地形ライン２５４のエンドポイントのｙ座標は、最近および最遠空き空間距離を決定する。
[0077]地形ライン２５４は、ライン抽出アプローチを使用して決定され得る。深度ヒストグラム２５２に対してハフ変換が適用され得る。ハフ変換は、深度ヒストグラム２５２から複数のラインセグメントを抽出し得る。たとえば、ハフ変換は、１０〜２０個の小さいラインを生成し得る。ラインセグメントは、地形ライン２５４を形成するためにマージされ得る。一実装形態では、地形ライン２５４の角度は、非障害物空間の勾配特性に基づいて（たとえば、−２０度から−４０度の間に）制限され得る。
[0078]水平推定モジュール２２２は、地形ライン２５４からの各ピクセル２３２の深度値２３４の距離に基づいて、各ピクセル２３２のための水平非障害物推定２５８を決定し得る。地形ライン２５４の水平推定しきい値２６０内にある深度値２３４を有するピクセル２３２が、非障害物エリア２６６として識別され得る。たとえば、ピクセル２３２の深度値２３４が、地形ライン２５４のある視差範囲内にある場合、そのピクセル２３２は、非障害物エリア２６６としてラベリングされ得る。ピクセル２３２の深度値２３４が、地形ライン２５４のある視差範囲外にある場合、そのピクセル２３２は、障害物エリア２６８としてラベリングされ得る。
[0079]水平推定モジュール２２２はまた、深度ヒストグラム２５２距離に基づいて水平信頼性マップ２６２を決定し得る。水平信頼性マップ２６２は、各ピクセル２３２の水平非障害物推定２５８のための信頼性値２６４を含み得る。
[0080]深度ヒストグラム２５２のモード２５６までの距離が、水平処理のための信頼性メトリックとして使用され得る。水平推定モジュール２２２は、各ピクセル２３２の深度値２３４が深度ヒストグラム２５２のモード２５６の信頼性しきい値２６１内にあるかどうかを決定し得る。所与のピクセル２３２は、所与のピクセル２３２の深度値２３４が深度ヒストグラム２５２のモード２５６の信頼性しきい値２６１内にあるとき、高い信頼性値２６４を有し得る。
[0081]推定コンバイナ２２４は、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせ得る。この組み合せは、垂直信頼性値２５０と水平信頼性値２６４とに基づき得る。１つのアプローチでは、垂直処理と水平処理とは並列に実行され得、得られた非障害物推定２４２、２５８がマージされ得る。別のアプローチでは、垂直処理と水平処理とは順次実行され得、得られた非障害物推定がマージされ得る。
[0082]並列処理アプローチの場合、垂直処理と水平処理の両方が並列に実行され得る。たとえば、上記で説明されたように、垂直推定モジュール２２０が垂直処理を実行し得、水平推定モジュール２２２が水平処理を同時に実行し得る。推定コンバイナ２２４は、各ピクセル２３２を非障害物エリア２６６または障害物エリア２６８として識別することによって、非障害物マップ２２６を生成し得る。この識別は、垂直信頼性マップ２４８の垂直信頼性値２５０と水平信頼性マップ２６２の水平信頼性値２６４とに基づき得る。
[0083]垂直信頼性マップ２４８と水平信頼性マップ２６２の両方が、ピクセル２３２が高い信頼性を有することを示す場合、ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６として識別され得る。言い換えれば、所与のピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６として識別され得、ここで、垂直信頼性マップ２４８と水平信頼性マップ２６２の両方が所与のピクセル２３２のための高い信頼性値によって特徴づけられる。
[0084]一実装形態では、これは、垂直信頼性マップ２４８および水平信頼性マップ２６２をそれぞれのしきい値でしきい値処理することによって達成され得る。たとえば、所与のピクセル２３２の垂直信頼性値２５０および水平信頼性値２６４がしきい値よりも大きい場合、ピクセル２３２は、非障害物エリア２６６として識別され得る。垂直信頼性マップ２４８と水平信頼性マップ２６２の両方が低い信頼性を示す場合、ピクセル２３２は、障害物エリア２６８としてラベリングされ得る。
[0085]垂直信頼性マップ２４８または水平信頼性マップ２６２のいずれかが高い信頼性を示し、他方が低い信頼性を示す場合、１つまたは複数の異なるマージングアプローチが実行され得る。１つのアプローチでは、垂直信頼性マップ２４８または水平信頼性マップ２６２のうちの少なくとも１つが、所与のピクセル２３２が低い信頼性を有することを示す場合、所与のピクセル２３２は、非障害物マップ２２６中の障害物エリア２６８として識別される。言い換えれば、所与のピクセル２３２は、非障害物マップ２２６中の障害物エリア２６８として識別され得、ここで、垂直信頼性マップ２４８または水平信頼性マップ２６２のうちの少なくとも１つが所与のピクセル２３２のための低い信頼性値によって特徴づけられる。このアプローチでは、信頼性マップ２４８、２６２のうちの１つが低い信頼性を示している場合、ピクセル２３２は、その信頼性マップ２４８、２６２のみに基づいてラベリングされ得る。
[0086]別のアプローチでは、垂直信頼性マップ２４８および水平信頼性マップ２６２は、所与のピクセル２３２のための異なる信頼性値２５０、２６４によって特徴づけられる。この場合、所与のピクセル２３２は、所与のピクセル２３２の座標に基づいて非障害物エリア２６６または障害物エリア２６８として識別され得る。このアプローチでは、両方の信頼性マップ２４８、２６２が信頼性に関して互いに近い（たとえば、一方が他方よりも高い）場合、決定は、ピクセル２３２座標を考慮することによってさらに向上され得る。
[0087]一例では、ＲＨｉｊは、水平処理からのｉ番目およびｊ番目のピクセル２３２のための水平信頼性値２６４であり、ＲＶｉｊは、垂直処理からの垂直信頼性値２５０である（ここで、両方の信頼性値２５０、２６４は、異なる方法によって取得された場合に正規化される）。｜ＲＨｉｊ−ＲＶｉｊ｜＜ＴＨである場合、これは、信頼性マップ２４８、２６２が近いことを示す。さらに、ＲＨｉｊは、ＲＶｉ＋ｎ，ｊ＋ｎと比較され得、ここで、（たとえば７２０ｐ解像度についてＮ＝５の場合）ｎは＜Ｎである。
[0088]シーケンシャル処理アプローチの場合、垂直処理または水平処理のいずれかが第１に実行され得る。第１の処理が実行された後、信頼性マップ（たとえば、垂直信頼性マップ２４８または水平信頼性マップ２６２のいずれか）が、深度マップ２３０全体について計算され得る。信頼性が満たされないピクセル２３２について、第２の処理が求められる。第１の処理の結果と第２の処理の結果とは、非障害物マップ２２６を取得するためにマージされ得る。垂直処理で開始するシーケンシャル処理の一例が、図９に関して説明される。水平処理で開始するシーケンシャル処理の一例が、図１０に関して説明される。
[0089]非障害物決定モジュール２１６は、非障害物マップ２２６の追加の処理を実行し得る。一実装形態では、非障害物決定モジュール２１６は、外れ値除去を実行し得る。たとえば、少数のピクセル２３２が、非障害物エリア２６６内の間違ってラベリングされた障害物エリア２６８であり得る。非障害物決定モジュール２１６は、これらの外れ値を識別し、それらのステータスを障害物または非障害物のいずれかに変更し得る。非障害物決定モジュール２１６は、非障害物マップ２２６を後続の動作のために準備するために、非障害物マップ２２６の追加のフィルタ処理を実行し得る。
[0090]非障害物マップ２２６は、異なる動作のために使用され得る。一実装形態では、非障害物マップ２２６は、物体検出アルゴリズムによって使用される関心領域を識別するために使用され得る。これは、図１４に関して説明されるように達成され得る。別の実装形態では、非障害物マップ２２６は、車線検出アルゴリズムによって使用される関心領域を識別するために使用され得る。これは、図１５に関して説明されるように達成され得る。
[0091]図２に示されているように、図示された構成要素のうちの１つまたは複数は、プロセッサ２２８によって随意に実装され得る。たとえば、非障害物決定モジュール２１６は、プロセッサ２２８によって実装され得る。いくつかの構成では、異なる構成要素を実装するために異なるプロセッサが使用され得る（たとえば、あるプロセッサが深度マップ生成器２１８を実装し得、別のプロセッサが垂直推定モジュール２２０を実装するために使用され得、別のプロセッサが水平推定モジュール２２２を実装するために使用され得、また別のプロセッサが推定コンバイナ２２４を実装するために使用され得る）。
[0092]画像２１４を回転し、対角処理を実行することそれが可能であることに留意されたい。画像２１４が回転される場合、垂直処理および水平処理は対角処理になり得る。したがって、本明細書では垂直処理および水平処理という用語が使用されるが、対応する座標マッピングを用いて、回転された画像を通して異なるセクションにわたって処理が適用され得ることが認識され得る。
[0093]図３は、非障害物エリア検出を実行するための方法３００を示すフローチャートである。方法３００は、図１に関して、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。電子デバイス１０２は、３０２において、１つまたは複数の画像２１４から深度マップ２３０を取得する。一実装形態では、電子デバイス１０２は、ステレオ画像ペアから深度マップ２３０を生成し得る。別の実装形態では、電子デバイス１０２は、ビデオモノ画像から深度マップ２３０を生成し得る。深度マップ２３０中の各ピクセル２３２は、深度値２３４を有し得る。
[0094]電子デバイス１０２は、３０４において、垂直非障害物推定２４２を決定するために深度マップ２３０の垂直処理を実行する。垂直処理は、深度マップ２３０をセグメント２３６に分割することを含み得る。各セグメント２３６は、列中のいくつかのピクセル２３２を含み得る。電子デバイス１０２は、垂直非障害物推定２４２を決定するために各セグメント２３６のための線形モデルパラメータ２３８を推定し得る。電子デバイス１０２は、垂直非障害物推定２４２のための信頼性値２５０を含む垂直信頼性マップ２４８を決定し得る。
[0095]電子デバイス１０２は、３０６において、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行する。水平処理は、深度マップ２３０のピクセル２３２の各行のための深度ヒストグラム２５２を取得することを含み得る。電子デバイス１０２は、深度ヒストグラム２５２から地形ライン２５４を決定し得る。電子デバイス１０２は、地形ライン２５４からの各ピクセル２３２の深度値２３４の距離に基づいて、各ピクセル２３２のための水平非障害物推定２５８を決定し得る。電子デバイス１０２はまた、各ピクセル２３２の水平非障害物推定２５８のための信頼性値２６４を含む水平信頼性マップ２６２を決定し得る。
[0096]電子デバイス１０２は、３０８において、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせる。一実装形態では、電子デバイス１０２は、並列の垂直処理および水平処理を実行し得る。この実装形態では、電子デバイス１０２は、図１０に関して説明されるように、垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせ得る。別の実装形態では、電子デバイス１０２は、図１１Ａ〜図１１Ｂに関して説明されるように、垂直処理で開始するシーケンシャル処理を実行し得る。また別の実装形態では、電子デバイス１０２は、図１２Ａ〜図１２Ｂに関して説明されるように、水平処理で開始するシーケンシャル処理を実行し得る。
[0097]図４Ａ〜図４Ｄは、深度マップ４３０の垂直処理の一例を示す。深度マップ４３０は、１つまたは複数の画像４０４から生成され得る。深度マップ４３０は、（１つまたは複数の）元の画像４０４のピクセルに対応するロケーションを含み得る。深度マップ４３０中の各ロケーション（たとえば、座標）は、（１つまたは複数の）元の画像４０４のピクセルに対応する水平座標４７２および垂直座標４７４ａを有し得る。
[0098]深度マップ４３０は、深度が元の解像度から計算される場合、元の画像４０４のサイズに一致し得る。深度マップ４３０の可視化において、深度値４３４は、元の画像４０４の対応する座標から取得され得る。非障害物マップ２２６を生成するときに深度マップ４３０の可視化が生成されることも生成されないこともあることに留意されたい。
[0099]深度マップ４３０の各ピクセル２３２は、深度値４３４を有し得る。この例では、深度値４３４ａは、０から１２０までにわたり得、ここで、０が最も遠い距離を示し、１２０が最も近い距離を示す。深度値４３４のために異なる値が使用され得ることに留意されたい。
[00100]一実装形態では、深度マッピングに対する視差は、以下の式によって説明され得る。Ｚ＝ｆＢ／ｄ、ここで、ＺはカメラＺ軸に沿った距離であり、ｆは（ピクセル単位の）焦点距離であり、Ｂは（メートル単位の）ベースラインであり、ｄは（ピクセル単位の）視差である。視差が小さいとき、深度は大きい。深度は、メートル換算で見つけられ得る。
[00101]ステレオ画像４０４からの深度推定アルゴリズムは完全には信頼できないことがあることに留意されたい。たとえば、深度推定アルゴリズムは、いくつかの領域中の深度値４３４を割り当てることが可能でないことがある。消失した深度値４３４を充填するために深度充填アルゴリズムが使用され得る。たとえば、近接する深度値４３４は、隣接するエリアに伝搬され得る。伝搬は、左側から、または右側からであり得る。代替的に、消失した深度値４３４は、左側と右側、ならびに上部と下部との間を補間することによって充填され得る。
[00102]この例は、第１の列４７０ａおよび第２の列４７０ｂを示す。第１の列のグラフ４７５ａにおいて、第１の列４７０ａ中のピクセル２３２のための深度値４３４ｂが示される。この第１の列のグラフ４７５ａにおいて、深度値４３４ｂは、第１の列４７０ａからのピクセル２３２の垂直座標４７４ｂに対してプロットされる。この例では、０から４０ピクセルまでの０値と４００ピクセルの後の０値とは、そこに割り当てられた深度がないためであることに留意されたい。ステレオ画像は較正され得るので、それらは、較正の後に、一致する視野（ＦＯＶ：field of view）を有しないことがある。深度推定は、同じＦＯＶ内でのみ実行され得るにすぎない。
[00103]第２の列のグラフ４７５ｂにおいて、第２の列４７０ｂ中のピクセル２３２のための深度値４３４ｃが示される。この第２の列のグラフ４７５ｂにおいて、深度値４３４ｃは、第２の列４７０ｂからのピクセル２３２の垂直座標４７４ｃヴァースプロットされる。０から１５０までの破線は、アルゴリズム結果を示すマッピングである。マッピングは、（非物体道路エリアを指定する）勾配をつけられた（すなわち、傾斜した）ラインに対してのものであり得るにすぎない。（平坦なラインである）物体にマッピングするために、同じアルゴリズムが使用され得るが、マッピングパラメータは変更され得る。
[00104]グラフ４７５ａ、ｂ中の実線は、元の深度値から来る。破線は、説明されるシステムおよび方法に従って生成される。マッピングが破線の勾配に基づき得ることに留意されたい。これらのグラフ４７５ａ、ｂにおいて、０よりも大きい勾配が非障害物エリア２６６を示す。０よりも小さいかまたはそれに等しい勾配が障害物エリア２６８を示す。
[00105]垂直処理中に、電子デバイス１０２は、深度マップ４３０をセグメント２３６に分割し得る。各セグメント２３６は、列４７０中のいくつかのピクセル２３２を含み得る。たとえば、セグメント２３６は、１０〜１５個のピクセル２３２のベクトルであり得る。電子デバイス１０２は、図２に関して説明されたように、垂直非障害物推定２４２を決定し得、線形モデルパラメータ２３８を推定し得る。推定誤差がしきい値２４６よりも小さく、線形適合が一定の勾配を有する場合、セグメント２３６は、有効な非障害物エリア２６６としてラベリングされ得る。
[00106]図５は、垂直処理を使用して非障害物エリア検出を実行するための方法５００を示すフローチャートである。方法５００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。電子デバイス１０２は、５０２において、深度マップ４３０をセグメント２３６に分割する。各セグメント２３６は、列４７０中のｎ個のピクセル２３２を含み得る。一実装形態では、ｎは、１０個のピクセル２３２に等しくなり得る。
[00107]電子デバイス１０２は、５０４において、垂直非障害物推定２４２を決定するために各セグメント２３６のための線形モデルパラメータ２３８を推定する。これは、上記で説明された式１〜４に従って達成され得る。
[00108]電子デバイス１０２は、５０６において、垂直非障害物推定２４２のための信頼性値２５０を含む垂直信頼性マップ２４８を決定する。たとえば、電子デバイス１０２は、推定された線形モデルパラメータ２３８と所定の線形モデルパラメータ２４０との間の差に基づいて、各セグメント２３６のためのセグメント適合誤差２４４を決定し得る。セグメント適合誤差２４４は、上記の式５〜７に従って決定され得る。所定の線形モデルパラメータ２４０は、複数の道路状態モデル（たとえば、平坦、丘陵、谷）の中から選択され得る。複数の道路状態モデルの各々は、線形モデルパラメータ２４０の対応するセットを有し得る。
[00109]電子デバイス１０２は、各セグメント２３６のセグメント適合誤差２４４を垂直推定しきい値２４６と比較することによって、各セグメント２３６のための信頼性値２５０を決定し得る。所与のセグメント２３６のためのセグメント適合誤差２４４が垂直推定しきい値２４６よりも小さいとき、所与のセグメント２３６は高い信頼性値２５０を有し得る。
[00110]電子デバイス１０２は、所与のセグメント２３６のための信頼性値２５０を所与のセグメント２３６中の各ピクセル２３２に適用し得る。したがって、垂直信頼性マップ２４８中の各ピクセル２３２は、垂直非障害物推定２４２の信頼度を示す信頼性値２５０を有し得る。
[00111]図６Ａ〜図６Ｄは、深度マップ６３０の水平処理の一例を示す。深度マップ６３０は、１つまたは複数の画像１１４から生成され得る。図６Ａに示されている深度マップ６３０は、（ページに合うように圧縮された）図４Ｂに関して説明された同じ深度マップ４３０である。深度マップ６３０は、（１つまたは複数の）元の画像１１４のピクセルに対応するロケーションを含み得る。深度マップ６３０中の各ロケーションは、（１つまたは複数の）元の画像１１４のピクセル２３２に対応する水平座標６７２および垂直座標６７４を有し得る。
[00112]電子デバイス１０２は深度ヒストグラム６５２を生成し得る。深度ヒストグラム６５２は、深度マップ６３０中の各行のための深度のヒストグラムを取得することによって生成され得る。たとえば、深度ヒストグラム６５２は、垂直軸において深度マップ６３０を投影することによって生成され得る。
[00113]深度ヒストグラム６５２は、画像１１４中の各行について計算され得る。深度ヒストグラム６５２中のビンの数は、画像１１４中の最大視差値の数に対応する。たとえば、それは、７２０ｐ画像について１５０であり得るか、または、それは、より大きい解像度の画像についてはより大きく、より小さい解像度の画像についてはより小さくなり得る。図６Ｂの右側のｘ軸は視差値に対応し、画像１１４中の強度値は、その視差値のためのヒストグラムカウントに対応する。シェードが暗いほど視差値は高くなり、シェードが淡いほどヒストグラムの視差値は低くなる。この例では、視差ビンの最大数は１５０である。深度ヒストグラム６５２において、視差値は、垂直座標６７４に対してプロットされる。
[00114]電子デバイス１０２は、ラインセグメント６７６を抽出するために深度ヒストグラム６５２に対してハフ変換を適用し得る。ハフ変換は、深度ヒストグラム２５２から複数のラインセグメント６７６を抽出し得る。たとえば、ハフ変換は、１０〜２０個の小さいラインセグメント６７６を生成し得る。
[00115]ラインセグメント６７６は、地形ライン６５４を形成するためにマージされ得る。地形ライン２５４のエンドポイントのｘ座標は、最近および最遠空き空間距離を決定する。一実装形態では、地形ライン２５４の角度は、非障害物空間がいくつかの勾配特性を有するので（たとえば、−２０度から−４０度の間に）制限され得る。
[00116]深度ヒストグラム６５２が負の勾配をもつラインを与える場合、それは、いかなる障害物もない、車の前の道路セグメントに対応する。障害物は、９０度のまっすぐな垂直線によって表される。地形ライン２５４は、カメラの前の深度値が画像１１４の行中で分析されるとき、その深度値が緩やかに減少していることを示す。物体がある場合、物体は、一定数の行について同じ深度値を有することになる。この場合、深度値は減少していないことになる。勾配（すなわち、地形ライン２５４の角度）は、道路が有することができる最大勾配に従って選定され得る。
[00117]電子デバイス１０２は、地形ライン６５４の水平推定しきい値２６０内にある深度値６３４をもつピクセル２３２を、非障害物エリア２６６としてラベリングし得る。地形ライン６５４の水平推定しきい値２６０外にある深度値６３４をもつピクセル２３２は、障害物エリア２６８としてラベリングされ得る。
[00118]図７は、水平処理を使用して非障害物エリア検出を実行するための方法７００を示すフローチャートである。方法７００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。電子デバイス１０２は、７０２において、深度マップ２３０のピクセル２３２の各行のための深度ヒストグラム２５２を取得する。これは、図６Ａ〜図６Ｄに関して説明されたように達成され得る。
[00119]電子デバイス１０２は、７０４において、深度ヒストグラム２５２から地形ライン２５４を決定する。これは、図６Ａ〜図６Ｄに関して説明されたように達成され得る。
[00120]電子デバイス１０２は、７０６において、地形ライン２５４からの各ピクセル２３２の深度値２３４の距離に基づいて、各ピクセル２３２のための水平非障害物推定２５８を決定する。地形ライン６５４の水平推定しきい値２６０内にある深度値６３４をもつピクセル２３２は、非障害物エリア２６６としてラベリングされ得る。地形ライン６５４の水平推定しきい値２６０外にある深度値６３４をもつピクセル２３２は、障害物エリア２６８としてラベリングされ得る。
[00121]電子デバイス１０２は、７０８において、各ピクセル２３２の水平非障害物推定２５８のための信頼性値２６４を含む水平信頼性マップ２６２を決定する。たとえば、深度ヒストグラム２５２のモード２５６までの距離が、水平処理のための信頼性メトリックとして使用され得る。電子デバイス１０２は、各ピクセル２３２の深度値２３４が深度ヒストグラム２５２のモード２５６の信頼性しきい値２６１内にあるかどうかを決定し得る。所与のピクセル２３２は、所与のピクセル２３２の深度値２３４が深度ヒストグラム２５２のモード２５６の信頼性しきい値２６１内にあるとき、高い信頼性値２６４を有し得る。
[00122]図８は、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせるための方法８００を示すフローチャートである。方法８００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。この方法８００では、電子デバイス１０２は、垂直処理および水平処理を並列に実行し得る。
[00123]電子デバイス１０２は、８０２において、垂直非障害物推定２４２を決定するために深度マップ２３０の垂直処理を実行する。これは、図５に関して説明されたように達成され得る。
[00124]電子デバイス１０２は、８０４において、モデル適合信頼度に基づいて垂直信頼性マップ２４８を取得する。これは、図５に関して説明されたように達成され得る。
[00125]電子デバイス１０２は、８０６において、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行する。これは、図７に関して説明されたように達成され得る。
[00126]電子デバイス１０２は、８０８において、深度ヒストグラム２５２距離に基づいて水平信頼性マップ２６２を取得する。これは、図７に関して説明されたように達成され得る。
[00127]ステップ８０２、８０４、８０６、８０８が並列に実行され得ることに留意されたい。たとえば、電子デバイス１０２が垂直処理ステップ８０２および８０４を実行する間、電子デバイス１０２は、水平処理ステップ８０６および８０８を同時に実行し得る。
[00128]電子デバイス１０２は、８１０において、非障害物マップ２２６を取得するために垂直非障害物推定２４２と水平非障害物推定２５８とをマージする。このマージは、垂直信頼性マップ２４８と水平信頼性マップ２６２とに基づき得る。
[00129]垂直信頼性マップ２４８と水平信頼性マップ２６２の両方が、ピクセル２３２が高い信頼性を有することを示す場合、ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６として識別され得る。たとえば、垂直信頼性マップ２４８が高い垂直信頼性値２５０を示し、水平信頼性マップ２６２が高い水平信頼性値２６４を示す場合、ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６としてラベリングされ得る。
[00130]垂直信頼性マップ２４８または水平信頼性マップ２６２のいずれかが高い信頼性を示し、他方が低い信頼性を示す場合、１つまたは複数の異なるマージングアプローチが実行され得る。１つのアプローチでは、垂直信頼性マップ２４８または水平信頼性マップ２６２のうちの少なくとも１つが、所与のピクセル２３２が低い信頼性値２５０、２６４を有することを示す場合、所与のピクセル２３２は、非障害物マップ２２６中の障害物エリア２６８として識別される。別のアプローチでは、垂直信頼性マップ２４８および水平信頼性マップ２６２は、異なる信頼性値２５０、２６４を示し得る。この場合、所与のピクセル２３３２は、所与のピクセル２３２の座標に基づいて非障害物エリア２６６または障害物エリア２６８として識別され得る。
[00131]図９は、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせるための別の方法９００を示すフローチャートである。方法９００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。この方法９００では、電子デバイス１０２は、垂直処理と、後続の水平処理とのシーケンシャルアプリケーションを実行し得る。
[00132]電子デバイス１０２は、９０２において、垂直非障害物推定２４２を決定するために深度マップ２３０の垂直処理を実行する。これは、図５に関して説明されたように達成され得る。
[00133]電子デバイス１０２は、９０４において、モデル適合信頼度に基づいて垂直信頼性マップ２４８を取得する。これは、図５に関して説明されたように達成され得る。
[00134]電子デバイス１０２は、９０６において、垂直信頼性マップ２４８に基づいて、信頼できる領域を非障害物エリア２６６として識別する。たとえば、垂直信頼性マップ２４８中の高い垂直信頼性値２５０を有する各ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６としてラベリングされ得る。
[00135]電子デバイス１０２は、９０８において、垂直信頼性マップ２４８の信頼できない領域が非障害物エリア２６６であるかどうかを決定するために、信頼できない領域に対して水平処理を実行する。たとえば、電子デバイス１０２は、低い信頼性値２５０を有するピクセル２３２の少なくとも１つの行に対して水平処理を実行し得る。行の長さが、画像１１４と同程度に広くなり得るか、または画像幅よりも短くなり得ることに留意されたい。水平処理は、水平非障害物推定２５８を決定するために、図７に関して説明されたように達成され得る。非障害物マップ２２６は、信頼できない領域の水平信頼性マップ２６２の結果に基づいて更新され得る。
[00136]図１０は、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせるためのまた別の方法１０００を示すフローチャートである。方法１０００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。この方法１０００では、電子デバイス１０２は、水平処理と、後続の垂直処理とのシーケンシャルアプリケーションを実行し得る。
[00137]電子デバイス１０２は、１００２において、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行する。これは、図７に関して説明されたように達成され得る。
[00138]電子デバイス１０２は、１００４において、深度ヒストグラム２５２距離に基づいて水平信頼性マップ２６２を取得する。これは、図７に関して説明されたように達成され得る。
[00139]電子デバイス１０２は、１００６において、水平信頼性マップ２６２に基づいて、信頼できる領域を非障害物エリア２６６として識別する。たとえば、水平信頼性マップ２６２中の高い水平信頼性値２６４を有する各ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６としてラベリングされ得る。
[00140]電子デバイス１０２は、１００８において、水平信頼性マップ２６２の信頼できない領域が非障害物エリア２６６であるかどうかを決定するために、信頼できない領域に対して垂直処理を実行する。たとえば、電子デバイス１０２は、低い水平信頼性値２６４を有するピクセル２３２の１つまたは複数の列に対して垂直処理を実行し得る。ピクセル２３２の１つまたは複数の列は、画像１１４と同程度に高くなり得るか、または画像高さよりも小さくなり得る。
[00141]垂直処理は、垂直非障害物推定２４２を決定するために、図５に関して説明されたように達成され得る。非障害物マップ２２６は、信頼できない領域の垂直信頼性マップ２４８の結果に基づいて更新され得る。
[00142]図１１Ａ〜図１１Ｂは、画像１１１４中の非障害物エリア１１６６を決定することの一例を示す。この例では、元の画像１１１４ａは一方通行道路の画像である。
[00143]処理された画像１１１４ｂは、本明細書で説明されるシステムおよび方法に従って決定された非障害物エリア１１６６を示す。処理された画像１１１４ｂは、最終結果ではなく、アルゴリズムの中間ステップからの一例を示す。これは、さらに処理されるべきであるホールが非障害物マップ１２６中にあり得ることを示すことである。また、これは、垂直処理のみからの結果を示す。
[00144]非障害物エリア１１６６は、道路に対応するオープンエリアを含む。非障害物エリア１１６６中のいくつかの外れ値エリア１１７８は、非障害物エリア１１６６の一部として識別されなかった。本明細書で使用される外れ値は、画像１１１４ｂ中の深度値が所定のモデルに適合しなかったことを意味する。これは、深度値の考えられる間違った推定（たとえば、入力された深度値が完全でないことがある）に起因していることがあり、したがって、いくつかのエリアは、ホール（または外れ値）のように見える。これらの外れ値エリア１１７８は、画像１１１４の追加の処理を実行することによって除去され得る。
[00145]図１２Ａ〜図１２Ｂは、画像１２１４中の非障害物エリア１２６６を決定することの別の例を示す。この例では、元の画像１２１４ａは交差点の画像である。処理された画像１２１４ｂは、本明細書で説明されるシステムおよび方法に従って決定された非障害物エリア１２６６を示す。
[00146]図１３Ａ〜図１３Ｂは、非障害物エリア１３６６からの距離１３８０を決定することの一例を示す。この例は、図１１Ａ〜図１１Ｂに関して説明された道路の処理された画像１３１４を示す。非障害物エリア１３６６は、本明細書で説明されるシステムおよび方法に従って決定される。
[00147]図１３Ｂの深度マップ１３３０では、ｘ座標およびｙ座標は座標位置であり、シェーディングは深度を示す。この例では、深度マップ１３３０は、非障害物エリア１３６６のための深度情報を含む。深度マップ１３３０は、カメラの前の空き空間がどのくらい遠くにあるかを示す。
[00148]深度マップ１３３０からの深度値２３４を使用して、電子デバイス１０２は、非障害物エリア１３６６ｂに関連する様々な距離を決定し得る。たとえば、電子デバイス１０２は、非障害物エリア１３６６ｂ中の最遠距離が、画像センサー１０４から４５〜５０メートル離れていると決定し得る。同様に、電子デバイス１０２は、最も近い車が画像センサー１０４から約１１メートルのところにあると決定し得る。
[00149]図１４は、物体検出アルゴリズムによって使用される関心領域（ＲＯＩ）１４８２を識別するために非障害物マップ２２６を使用することの一例を示す。この例は、図１１Ａ〜図１１Ｂに関して説明された道路の処理された画像１４１４を示す。非障害物エリア１４６６は、本明細書で説明されるシステムおよび方法に従って決定される。
[00150]電子デバイス１０２は、次いで、潜在的障害物エリア２６８のための１つまたは複数のＲＯＩ１４８２を識別し得る。たとえば、電子デバイス１０２は、非障害物マップ２２６から障害物エリア２６８を識別し得る。一実装形態では、非障害物エリア１４６６としてラベリングされないピクセル２３２は、障害物エリア２６８として識別され得る。これらの障害物エリア２６８は、１つまたは複数のＲＯＩ１４８２中に含まれ得る。この例では、電子デバイス１０２は、４つのＲＯＩ１４８２ａ〜ｄを潜在的物体エリアとして識別する。
[00151]電子デバイス１０２は、識別されたＲＯＩ１４８２中で物体検出器を動作させ得る。たとえば、電子デバイス１０２は、ＲＯＩ１４８２が、車、交通信号、歩行者、車線、縁石などを含むかどうかを検出し得る。
[00152]最初に非障害物エリア１４６６を識別することは、物体検出のための低減された探索エリアを生じる。これは、物体検出のために実行される処理の量を低減し得る。
[00153]図１５は、車線検出アルゴリズムによって使用される関心領域（ＲＯＩ）１５８２を識別するために非障害物マップ２２６を使用することの一例を示す。この例は、道路の処理された画像１５１４を示す。非障害物エリア１５６６は、本明細書で説明されるシステムおよび方法に従って決定される。
[00154]電子デバイス１０２は、次いで、路側および／または縁石のための１つまたは複数のＲＯＩ１５８２を識別し得る。たとえば、電子デバイス１０２は、非障害物マップ２２６から障害物エリア２６８を識別し得る。この例では、電子デバイス１０２は、潜在的路側および／または縁石として非障害物エリア１５６６の側部上の２つのＲＯＩ１５８２ａ〜ｂを識別する。
[00155]電子デバイス１０２は、識別されたＲＯＩ１５８２ａ〜ｂ中で車線検出器を動作させ得る。最初に非障害物エリア１５６６を識別することは、車線検出のための低減された探索エリアを生じる。これは、車線検出のために実行される処理の量を低減し得る。
[00156]図１６は、推定された線形モデルパラメータ２３８に基づいて道路を分類するための方法１６００を示すフローチャートである。方法１６００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。
[00157]電子デバイス１０２は、１６０２において、道路画像１１４の深度マップ２３０を取得する。深度マップ２３０は、図２に関して説明されたように生成され得る。
[00158]電子デバイス１０２は、１６０４において、線形モデルパラメータ２３８を推定するためにセグメント適合を実行する。推定された線形モデルパラメータ２３８は、図２に関して説明されたように決定され得る。
[00159]電子デバイス１０２は、１６０６において、推定された線形モデルパラメータ２３８に基づいて道路を分類する。たとえば、電子デバイス１０２は、推定された線形モデルパラメータ２３８を複数の所定の線形モデルパラメータ２４０と比較し得る。上記で説明されたように、所定の線形モデルパラメータ２４０は、複数の道路状態モデルに関連し得る。複数の道路状態モデルの各々は、線形モデルパラメータ２４０の対応するセットを有し得る。道路状態モデルの例としては、平坦な平面、勾配（たとえば、丘陵）、谷、不整路などがある。
[00160]一実装形態では、所定の線形モデルパラメータ２４０は、トレーニングを介して取得され得る。あらかじめラベリングされたテストデータが使用され得、ここで、あらかじめラベリングされたは、平坦な道路、または不整路などのラベリングされた画像１１４および深度マップ２３０を指す。このデータを用いて、所定の線形モデルパラメータ２４０は生成され得る。
[00161]電子デバイス１０２は、所定の線形モデルパラメータ２４０のうちのどれが、推定された線形モデルパラメータ２３８に最も良く適合するかを決定し得る。道路は、１６０６において、推定された線形モデルパラメータ２３８に最も良く適合する道路状態モデルに従って分類され得る。したがって、１６０６において道路を分類することによって、電子デバイス１０２は、道路画像１１４中の空き空間のタイプを決定し得る。
[00162]図１７は、電子デバイス１７０２内に含まれ得るいくつかの構成要素を示す。電子デバイス１７０２は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ（たとえば、デスクトップコンピュータ、ラップトップコンピュータなど）、タブレットデバイス、メディアプレーヤ、テレビジョン、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、マウントカメラ、コネクテッドカメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、ヘルスケア機器、ゲーミングコンソール、携帯情報端末（ＰＤＡ）、セットトップボックスなどであり得るか、またはそれらの内部に含まれ得る。電子デバイス１７０２はプロセッサ１７２８を含む。プロセッサ１７２８は、汎用シングルまたはマルチチップマイクロプロセッサ（たとえば、ＡＲＭ）、専用マイクロプロセッサ（たとえば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ１７２８は中央処理ユニット（ＣＰＵ）と呼ばれることがある。電子デバイス１７０２中に単一のプロセッサ１７２８のみが示されているが、代替構成では、プロセッサの組み合せ（たとえば、ＡＲＭとＤＳＰ）が使用され得る。
[00163]電子デバイス１７０２はメモリ１７３９をも含む。メモリ１７３９は、電子情報を記憶することが可能な任意の電子的構成要素であり得る。メモリ１７３９は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ中のフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタなど、およびそれらの組み合せとして実施され得る。
[00164]データ１７２１ａおよび命令１７４１ａがメモリ１７３９に記憶され得る。命令１７４１ａは、本明細書で説明される方法のうちの１つまたは複数を実装するためにプロセッサ１７２８によって実行可能であり得る。命令１７４１ａを実行することは、メモリ１７３９に記憶されたデータの使用を伴い得る。プロセッサ１７２８が命令１７４１を実行すると、命令１７４１ｂの様々な部分がプロセッサ１７２８上にロードされ得、様々ないくつかのデータ１７２１ｂがプロセッサ１７２８上にロードされ得る。
[00165]電子デバイス１７０２は、電子デバイス１７０２との間での信号の送信および受信を可能にするために、送信機１７２５と受信機１７２７とをも含み得る。送信機１７２５および受信機１７２７は、トランシーバ１７２９と総称されることがある。１つまたは複数のアンテナ１７３７ａ〜ｂがトランシーバ１７２９に電気的に結合され得る。電子デバイス１７０２は、複数の送信機、複数の受信機、複数のトランシーバおよび／または追加のアンテナをも含み得る（図示せず）。
[00166]電子デバイス１７０２はデジタル信号プロセッサ（ＤＳＰ）１７３１を含み得る。電子デバイス１７０２は通信インターフェース１７３３をも含み得る。通信インターフェース１７３３は、１つまたは複数の種類の入力および／または出力を可能にするを可能にし得る。たとえば、通信インターフェース１７３３は、他のデバイスを電子デバイス１７０２にリンクするための１つまたは複数のポートおよび／または通信デバイスを含み得る。追加または代替として、通信インターフェース１７３３は、１つまたは複数の他のインターフェース（たとえば、タッチスクリーン、キーパッド、キーボード、マイクロフォン、カメラなど）を含み得る。たとえば、通信インターフェース１７３３は、ユーザが電子デバイス１７０２と対話することを可能にし得る。
[00167]電子デバイス１７０２の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、１つまたは複数のバスによって互いに結合され得る。明快のために、図１７では様々なバスはバスシステム１７２３として示されている。
[00168]本開示によれば、電子デバイス中の回路が、１つまたは複数の画像から深度マップを取得するように適応され得る。深度マップ中の各ピクセルは、深度値を有し得る。同じ回路、異なる回路、あるいは同じまたは異なる回路の第２のセクションが、垂直非障害物推定を決定するために深度マップの垂直処理を実行するように適応され得る。同じ回路、異なる回路、あるいは同じまたは異なる回路の第３のセクションが、水平非障害物推定を決定するために深度マップの水平処理を実行するように適応され得る。同じ回路、異なる回路、あるいは同じまたは異なる回路の第４のセクションが、非障害物マップを決定するために垂直非障害物推定と水平非障害物推定とを組み合わせるように適応され得る。さらに、同じ回路、異なる回路、あるいは同じまたは異なる回路の第５のセクションが、上記で説明された機能を与える（１つまたは複数の）回路または（１つまたは複数の）回路の（１つまたは複数の）セクションの構成を制御するように適応され得る。
[00169]「決定すること」という用語は多種多様なアクションを包含し、したがって、「決定すること」は、計算すること（calculating）、算出すること（computing）、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含むことができる。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含むことができる。また、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含むことができる。
[00170]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
[00171]「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械などを包含するものと広く解釈されたい。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指すことがある。「プロセッサ」という用語は、処理デバイスの組み合せ、たとえば、ＤＳＰとマイクロプロセッサとの組み合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは他のそのような構成を指すことがある。
[00172]「メモリ」という用語は、電子情報を記憶することが可能な任意の電子的構成要素を包含するものと広く解釈されたい。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データストレージ、レジスタなど、様々なタイプのプロセッサ可読媒体を指すことがある。プロセッサがメモリから情報を読み取り、および／または情報をメモリに書き込むことができる場合、メモリはプロセッサと電子通信していると言われる。プロセッサに一体化されたメモリは、プロセッサと電子通信している。
[00173]「命令」および「コード」という用語は、任意のタイプの（１つまたは複数の）コンピュータ可読ステートメントを含むものと広く解釈されたい。たとえば、「命令」および「コード」という用語は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを指すことがある。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを備え得る。
[00174]本明細書で説明された機能は、ハードウェアによって実行されるソフトウェアまたはファームウェアで実装され得る。機能は、１つまたは複数の命令としてコンピュータ可読媒体上に記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形記憶媒体を指す。限定ではなく例として、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。コンピュータ可読媒体は有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理または算出され得るコードまたは命令（たとえば、「プログラム」）と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。
[00175]ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
[00176]本明細書で開示された方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを備える。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに入れ替えられ得る。言い換えれば、説明された方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲を逸脱することなく修正され得る。
[00177]さらに、本明細書で説明された方法および技法を実行するためのモジュールおよび／または他の適切な手段は、デバイスによってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、デバイスは、本明細書で説明された方法を実行するための手段の転送を可能にするために、サーバに結合され得る。代替的に、本明細書で説明された様々な方法は、デバイスが、記憶手段をそのデバイスに結合するかまたは与えると様々な方法を取得し得るように、記憶手段（たとえば、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって与えられ得る。
[00178]特許請求の範囲は、上記で示された厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明されたシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更、および変形が行われ得る。
[00178]特許請求の範囲は、上記で示された厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明されたシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更、および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
電子デバイスによって実行される方法であって、
垂直非障害物推定を決定するために深度マップの垂直処理を実行することと、
水平非障害物推定を決定するために前記深度マップの水平処理を実行することと、
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることと、
前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成することと
を備える、方法。
［Ｃ２］
垂直処理を実行することは、
前記深度マップをセグメントに分割すること、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定することと、
前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成することと
を備える、［Ｃ１］に記載の方法。
［Ｃ３］
前記垂直信頼性マップを決定することは、
前記推定された線形モデルパラメータと所定の線形モデルパラメータとの間の差に基づいて、所与のセグメントのためのセグメント適合誤差を決定することと、
前記セグメント適合誤差を垂直推定しきい値と比較することによって、前記所与のセグメントのための信頼性値を決定することと、
前記所与のセグメントのための前記信頼性値を前記所与のセグメント中の少なくとも１つのピクセルに適用することと
を備える、［Ｃ２］に記載の方法。
［Ｃ４］
前記所定の線形モデルパラメータは、複数の道路状態モデルの中から選択され、前記複数の道路状態モデルは、線形モデルパラメータの対応するセットを有する、
［Ｃ３］に記載の方法。
［Ｃ５］
水平処理を実行することは、
前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することと、
前記深度ヒストグラムから地形ラインを決定することと、
前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定することと、
前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成することと
を備える、［Ｃ１］に記載の方法。
［Ｃ６］
前記水平信頼性マップを生成することは、
所与のピクセルの前記深度値が前記深度ヒストグラムのモードの範囲内にあるかどうかを決定することを備え、前記所与のピクセルは、前記所与のピクセルの前記深度値が前記深度ヒストグラムの前記モードの前記範囲内にあるとき、高い信頼性値を有する、
［Ｃ５］に記載の方法。
［Ｃ７］
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
前記垂直処理と前記水平処理の両方を並列に実行することと、
垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージすることと
を備える、［Ｃ１］に記載の方法。
［Ｃ８］
所与のピクセルは、前記非障害物マップ中の非障害物エリアとして識別され、ここで、前記垂直信頼性マップと前記水平信頼性マップの両方は、前記所与のピクセルのための高い信頼性値によって特徴づけられる、
［Ｃ７］に記載の方法。
［Ｃ９］
所与のピクセルは、前記非障害物マップ中の障害物エリアとして識別され、ここで、前記垂直信頼性マップまたは前記水平信頼性マップのうちの少なくとも１つは、前記所与のピクセルのための低い信頼性値によって特徴づけられる、
［Ｃ７］に記載の方法。
［Ｃ１０］
所与のピクセルは、前記所与のピクセルの座標に基づいて、前記非障害物マップ中の非障害物エリアまたは障害物エリアとして識別され、ここで、前記垂直信頼性マップと前記水平信頼性マップとは、前記所与のピクセルのための異なる信頼性値によって特徴づけられる、
［Ｃ７］に記載の方法。
［Ｃ１１］
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
前記深度マップの垂直処理を実行することと、
モデル適合信頼度に基づいて垂直信頼性マップを取得することと、
前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行することと
を備える、［Ｃ１］に記載の方法。
［Ｃ１２］
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
前記深度マップの水平処理を実行することと、
深度ヒストグラム距離に基づいて水平信頼性マップを取得することと、
前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行することと
を備える、［Ｃ１］に記載の方法。
［Ｃ１３］
前記非障害物マップは、物体検出アルゴリズムまたは車線検出アルゴリズムのうちの少なくとも１つによって使用される関心領域を識別する際に使用される、
［Ｃ１］に記載の方法。
［Ｃ１４］
電子デバイスであって、前記電子デバイスは、
垂直非障害物推定を決定するために深度マップの垂直処理を実行することと、
水平非障害物推定を決定するために前記深度マップの水平処理を実行することと、
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることと、
前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成することと
を行うように構成された、電子デバイス。
［Ｃ１５］
前記電子デバイスを備える、垂直処理を実行することを行うように構成される前記電子デバイスは、
前記深度マップをセグメントに分割すること、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定することと、
前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成することと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ１６］
前記電子デバイスを備える、水平処理を実行することを行うように構成される前記電子デバイスは、
前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することと、
前記深度ヒストグラムから地形ラインを決定することと、
前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定することと、
前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成することと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ１７］
前記電子デバイスを備える、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように構成される前記電子デバイスは、
前記垂直処理と前記水平処理の両方を並列に実行することと、
垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージすることと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ１８］
前記電子デバイスを備える、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように構成される前記電子デバイスは、
前記深度マップの垂直処理を実行することと、
モデル適合信頼度に基づいて垂直信頼性マップを取得することと、
前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行することと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ１９］
前記電子デバイスを備える、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように構成される前記電子デバイスは、
前記深度マップの水平処理を実行することと、
深度ヒストグラム距離に基づいて水平信頼性マップを取得することと、
前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行することと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ２０］
垂直非障害物推定を決定するために深度マップの垂直処理を実行するための手段と、
水平非障害物推定を決定するために前記深度マップの水平処理を実行するための手段と、
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせるための手段と、
前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成するための手段と
を備える、装置。
［Ｃ２１］
前記垂直処理を実行するための手段は、
前記深度マップをセグメントに分割するための手段、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定するための手段と、
前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成するための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２２］
前記水平処理を実行するための手段は、
前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得するための手段と、
前記深度ヒストグラムから地形ラインを決定するための手段と、
前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定するための手段と、
前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成するための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２３］
前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
前記垂直処理と前記水平処理の両方を並列に実行するための手段と、
垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージするための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２４］
前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
前記深度マップの垂直処理を実行するための手段と、
モデル適合信頼度に基づいて垂直信頼性マップを取得するための手段と、
前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別するための手段と、
前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行するための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２５］
前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
前記深度マップの水平処理を実行するための手段と、
深度ヒストグラム距離に基づいて水平信頼性マップを取得するための手段と、
前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別するための手段と、
前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行するための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２６］
その上に命令を有する非一時的有形コンピュータ可読媒体を備える、コンピュータプログラム製品であって、前記命令は、
電子デバイスに、垂直非障害物推定を決定するために深度マップの垂直処理を実行させるためのコードと、
前記電子デバイスに、水平非障害物推定を決定するために前記深度マップの水平処理を実行させるためのコードと、
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるためのコードと、
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成させるためのコードと
を備える、コンピュータプログラム製品。
［Ｃ２７］
前記電子デバイスに、垂直処理を実行させるための前記コードは、
前記電子デバイスに、前記深度マップをセグメントに分割させるためのコード、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
前記電子デバイスに、前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定させるためのコードと、
前記電子デバイスに、前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成させるためのコードと
を備える、［Ｃ２６］に記載のコンピュータプログラム製品。
［Ｃ２８］
前記電子デバイスに、水平処理を実行させるための前記コードは、
前記電子デバイスに、前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得させるためのコードと、
前記電子デバイスに、前記深度ヒストグラムから地形ラインを決定させるためのコードと、
前記電子デバイスに、前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定させるためのコードと、
前記電子デバイスに、前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成させるためのコードと
を備える、［Ｃ２６］に記載のコンピュータプログラム製品。
［Ｃ２９］
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるための前記コードは、
前記電子デバイスに、前記垂直処理と前記水平処理の両方を並列に実行させるためのコードと、
前記電子デバイスに、垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージさせるためのコードと
を備える、［Ｃ２６］に記載のコンピュータプログラム製品。
［Ｃ３０］
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるための前記コードは、
前記電子デバイスに、前記深度マップの垂直処理を実行させるためのコードと、
前記電子デバイスに、モデル適合信頼度に基づいて垂直信頼性マップを取得させるためのコードと、
前記電子デバイスに、前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別させるためのコードと、
前記電子デバイスに、前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行させるためのコードと
を備える、［Ｃ２６］に記載のコンピュータプログラム製品。

Claims (30)

  1. 電子デバイスによって実行される方法であって、
    垂直非障害物推定を決定するために深度マップの垂直処理を実行することと、
    水平非障害物推定を決定するために前記深度マップの水平処理を実行することと、
    前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることと、
    前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成することと
    を備える、方法。
  2. 垂直処理を実行することは、
    前記深度マップをセグメントに分割すること、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
    前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定することと、
    前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成することと
    を備える、請求項１に記載の方法。
  3. 前記垂直信頼性マップを決定することは、
    前記推定された線形モデルパラメータと所定の線形モデルパラメータとの間の差に基づいて、所与のセグメントのためのセグメント適合誤差を決定することと、
    前記セグメント適合誤差を垂直推定しきい値と比較することによって、前記所与のセグメントのための信頼性値を決定することと、
    前記所与のセグメントのための前記信頼性値を前記所与のセグメント中の少なくとも１つのピクセルに適用することと
    を備える、請求項２に記載の方法。
  4. 前記所定の線形モデルパラメータは、複数の道路状態モデルの中から選択され、前記複数の道路状態モデルは、線形モデルパラメータの対応するセットを有する、
    請求項３に記載の方法。
  5. 水平処理を実行することは、
    前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することと、
    前記深度ヒストグラムから地形ラインを決定することと、
    前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定することと、
    前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成することと
    を備える、請求項１に記載の方法。
  6. 前記水平信頼性マップを生成することは、
    所与のピクセルの前記深度値が前記深度ヒストグラムのモードの範囲内にあるかどうかを決定することを備え、前記所与のピクセルは、前記所与のピクセルの前記深度値が前記深度ヒストグラムの前記モードの前記範囲内にあるとき、高い信頼性値を有する、
    請求項５に記載の方法。
  7. 前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
    前記垂直処理と前記水平処理の両方を並列に実行することと、
    垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージすることと
    を備える、請求項１に記載の方法。
  8. 所与のピクセルは、前記非障害物マップ中の非障害物エリアとして識別され、ここで、前記垂直信頼性マップと前記水平信頼性マップの両方は、前記所与のピクセルのための高い信頼性値によって特徴づけられる、
    請求項７に記載の方法。
  9. 所与のピクセルは、前記非障害物マップ中の障害物エリアとして識別され、ここで、前記垂直信頼性マップまたは前記水平信頼性マップのうちの少なくとも１つは、前記所与のピクセルのための低い信頼性値によって特徴づけられる、
    請求項７に記載の方法。
  10. 所与のピクセルは、前記所与のピクセルの座標に基づいて、前記非障害物マップ中の非障害物エリアまたは障害物エリアとして識別され、ここで、前記垂直信頼性マップと前記水平信頼性マップとは、前記所与のピクセルのための異なる信頼性値によって特徴づけられる、
    請求項７に記載の方法。
  11. 前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
    前記深度マップの垂直処理を実行することと、
    モデル適合信頼度に基づいて垂直信頼性マップを取得することと、
    前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
    前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行することと
    を備える、請求項１に記載の方法。
  12. 前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
    前記深度マップの水平処理を実行することと、
    深度ヒストグラム距離に基づいて水平信頼性マップを取得することと、
    前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
    前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行することと
    を備える、請求項１に記載の方法。
  13. 前記非障害物マップは、物体検出アルゴリズムまたは車線検出アルゴリズムのうちの少なくとも１つによって使用される関心領域を識別する際に使用される、
    請求項１に記載の方法。
  14. 電子デバイスであって、前記電子デバイスは、
    垂直非障害物推定を決定するために深度マップの垂直処理を実行することと、
    水平非障害物推定を決定するために前記深度マップの水平処理を実行することと、
    前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることと、
    前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成することと
    を行うように構成された、電子デバイス。
  15. 前記電子デバイスを備える、垂直処理を実行することを行うように構成される前記電子デバイスは、
    前記深度マップをセグメントに分割すること、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
    前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定することと、
    前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成することと
    を行うように構成される、請求項１４に記載の電子デバイス。
  16. 前記電子デバイスを備える、水平処理を実行することを行うように構成される前記電子デバイスは、
    前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することと、
    前記深度ヒストグラムから地形ラインを決定することと、
    前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定することと、
    前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成することと
    を行うように構成される、請求項１４に記載の電子デバイス。
  17. 前記電子デバイスを備える、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように構成される前記電子デバイスは、
    前記垂直処理と前記水平処理の両方を並列に実行することと、
    垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージすることと
    を行うように構成される、請求項１４に記載の電子デバイス。
  18. 前記電子デバイスを備える、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように構成される前記電子デバイスは、
    前記深度マップの垂直処理を実行することと、
    モデル適合信頼度に基づいて垂直信頼性マップを取得することと、
    前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
    前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行することと
    を行うように構成される、請求項１４に記載の電子デバイス。
  19. 前記電子デバイスを備える、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように構成される前記電子デバイスは、
    前記深度マップの水平処理を実行することと、
    深度ヒストグラム距離に基づいて水平信頼性マップを取得することと、
    前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
    前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行することと
    を行うように構成される、請求項１４に記載の電子デバイス。
  20. 垂直非障害物推定を決定するために深度マップの垂直処理を実行するための手段と、
    水平非障害物推定を決定するために前記深度マップの水平処理を実行するための手段と、
    前記垂直非障害物推定と前記水平非障害物推定とを組み合わせるための手段と、
    前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成するための手段と
    を備える、装置。
  21. 前記垂直処理を実行するための手段は、
    前記深度マップをセグメントに分割するための手段、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
    前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定するための手段と、
    前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成するための手段と
    を備える、請求項２０に記載の装置。
  22. 前記水平処理を実行するための手段は、
    前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得するための手段と、
    前記深度ヒストグラムから地形ラインを決定するための手段と、
    前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定するための手段と、
    前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成するための手段と
    を備える、請求項２０に記載の装置。
  23. 前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
    前記垂直処理と前記水平処理の両方を並列に実行するための手段と、
    垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージするための手段と
    を備える、請求項２０に記載の装置。
  24. 前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
    前記深度マップの垂直処理を実行するための手段と、
    モデル適合信頼度に基づいて垂直信頼性マップを取得するための手段と、
    前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別するための手段と、
    前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行するための手段と
    を備える、請求項２０に記載の装置。
  25. 前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
    前記深度マップの水平処理を実行するための手段と、
    深度ヒストグラム距離に基づいて水平信頼性マップを取得するための手段と、
    前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別するための手段と、
    前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行するための手段と
    を備える、請求項２０に記載の装置。
  26. その上に命令を有する非一時的有形コンピュータ可読媒体を備える、コンピュータプログラム製品であって、前記命令は、
    電子デバイスに、垂直非障害物推定を決定するために深度マップの垂直処理を実行させるためのコードと、
    前記電子デバイスに、水平非障害物推定を決定するために前記深度マップの水平処理を実行させるためのコードと、
    前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるためのコードと、
    前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成させるためのコードと
    を備える、コンピュータプログラム製品。
  27. 前記電子デバイスに、垂直処理を実行させるための前記コードは、
    前記電子デバイスに、前記深度マップをセグメントに分割させるためのコード、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
    前記電子デバイスに、前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定させるためのコードと、
    前記電子デバイスに、前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成させるためのコードと
    を備える、請求項２６に記載のコンピュータプログラム製品。
  28. 前記電子デバイスに、水平処理を実行させるための前記コードは、
    前記電子デバイスに、前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得させるためのコードと、
    前記電子デバイスに、前記深度ヒストグラムから地形ラインを決定させるためのコードと、
    前記電子デバイスに、前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定させるためのコードと、
    前記電子デバイスに、前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成させるためのコードと
    を備える、請求項２６に記載のコンピュータプログラム製品。
  29. 前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるための前記コードは、
    前記電子デバイスに、前記垂直処理と前記水平処理の両方を並列に実行させるためのコードと、
    前記電子デバイスに、垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージさせるためのコードと
    を備える、請求項２６に記載のコンピュータプログラム製品。
  30. 前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるための前記コードは、
    前記電子デバイスに、前記深度マップの垂直処理を実行させるためのコードと、
    前記電子デバイスに、モデル適合信頼度に基づいて垂直信頼性マップを取得させるためのコードと、
    前記電子デバイスに、前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別させるためのコードと、
    前記電子デバイスに、前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行させるためのコードと
    を備える、請求項２６に記載のコンピュータプログラム製品。
JP2018513810A 2015-09-18 2016-08-01 非障害物エリア検出のためのシステムおよび方法 Active JP6794436B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/858,471 US9761000B2 (en) 2015-09-18 2015-09-18 Systems and methods for non-obstacle area detection
US14/858,471 2015-09-18
PCT/US2016/045042 WO2017048383A1 (en) 2015-09-18 2016-08-01 Systems and methods for non-obstacle area detection

Publications (3)

Publication Number Publication Date
JP2018530825A true JP2018530825A (ja) 2018-10-18
JP2018530825A5 JP2018530825A5 (ja) 2019-08-22
JP6794436B2 JP6794436B2 (ja) 2020-12-02

Family

ID=56738213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018513810A Active JP6794436B2 (ja) 2015-09-18 2016-08-01 非障害物エリア検出のためのシステムおよび方法

Country Status (8)

Country Link
US (4) US9761000B2 (ja)
EP (1) EP3350746A1 (ja)
JP (1) JP6794436B2 (ja)
KR (1) KR20180056685A (ja)
CN (1) CN108027877B (ja)
JO (1) JO3741B1 (ja)
TW (1) TWI618028B (ja)
WO (1) WO2017048383A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022009231A (ja) * 2017-03-31 2022-01-14 パイオニア株式会社 判定装置、判定方法及び判定用プログラム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761000B2 (en) 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
DE102017205093A1 (de) * 2017-03-27 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
US10486485B1 (en) * 2017-04-19 2019-11-26 Zoox, Inc. Perception based suspension control
US11214143B2 (en) * 2017-05-02 2022-01-04 Motional Ad Llc Visually obstructed object detection for automated vehicle using V2V/V2I communications
CN109657523B (zh) * 2017-10-10 2021-03-30 北京京东乾石科技有限公司 一种可行驶区域检测方法和装置
CN109829351B (zh) * 2017-11-23 2021-06-01 华为技术有限公司 车道信息的检测方法、装置及计算机可读存储介质
KR102323394B1 (ko) * 2018-01-22 2021-11-08 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
JP7351293B2 (ja) * 2018-03-29 2023-09-27 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
CN110796633A (zh) * 2019-09-10 2020-02-14 浙江大华技术股份有限公司 无人机降落安全检测方法、装置、计算机设备和存储介质
FR3102739A1 (fr) * 2019-11-06 2021-05-07 Psa Automobiles Sa Procédé et système permettant à un système d’aide à la conduite d’un véhicule automobile de différencier des types d’intersections routières
CN111192283A (zh) * 2019-12-26 2020-05-22 昆山伟宇慧创智能科技有限公司 一种限高杆检测和高度计算方法
FR3107359B1 (fr) * 2020-02-18 2022-02-25 Thales Sa Procede et dispositif de determination d'obstacles d'altitude
CN111307159B (zh) * 2020-03-19 2022-11-18 哈尔滨工程大学 一种多auv三维协同航路规划方法
CN113496146B (zh) * 2020-03-19 2024-08-13 苏州科瓴精密机械科技有限公司 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
JP7516090B2 (ja) * 2020-03-31 2024-07-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN112150490B (zh) * 2020-09-30 2024-02-02 北京小狗吸尘器集团股份有限公司 图像检测方法、装置、电子设备和计算机可读介质
FR3129511B1 (fr) * 2021-11-23 2024-10-25 Multitec Innovation Système d’assistance au stationnement d’un véhicule équipé d’une plateforme mobile, telle un hayon élévateur arrière ou latéral, et procédé correspondant
US12103553B2 (en) 2022-10-11 2024-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Object detection system
CN116884236B (zh) * 2023-06-26 2024-04-16 中关村科学城城市大脑股份有限公司 交通流量采集设备和交通流量采集方法
CN118135294A (zh) * 2024-02-26 2024-06-04 上海锡鼎实业有限公司 电路连接关系的识别方法、系统、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置
JP2014110059A (ja) * 2012-12-04 2014-06-12 Ricoh Co Ltd 路面検知方法及び路面検知装置
JP2015075800A (ja) * 2013-10-07 2015-04-20 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP2005251106A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
DE102009009047A1 (de) 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
TR201010439A2 (tr) 2010-12-14 2012-07-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Derinlik verilerinin yukarı örneklenmesi
CN103262139B (zh) * 2010-12-15 2015-06-24 本田技研工业株式会社 行车道识别装置
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN103123722B (zh) 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和系统
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
US9483829B2 (en) * 2013-09-04 2016-11-01 International Business Machines Corporation Efficient visual surface finding
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN104899869B (zh) * 2015-05-14 2017-09-01 浙江大学 基于rgb‑d相机和姿态传感器的平面和障碍检测方法
US9761000B2 (en) 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置
JP2014110059A (ja) * 2012-12-04 2014-06-12 Ricoh Co Ltd 路面検知方法及び路面検知装置
JP2015075800A (ja) * 2013-10-07 2015-04-20 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022009231A (ja) * 2017-03-31 2022-01-14 パイオニア株式会社 判定装置、判定方法及び判定用プログラム
JP7174131B2 (ja) 2017-03-31 2022-11-17 パイオニア株式会社 判定装置、判定方法及び判定用プログラム

Also Published As

Publication number Publication date
EP3350746A1 (en) 2018-07-25
JP6794436B2 (ja) 2020-12-02
CN108027877B (zh) 2022-10-18
TWI618028B (zh) 2018-03-11
US20180012367A1 (en) 2018-01-11
US9905015B2 (en) 2018-02-27
US20180158193A1 (en) 2018-06-07
US20190333229A1 (en) 2019-10-31
US9761000B2 (en) 2017-09-12
CN108027877A (zh) 2018-05-11
US20170084038A1 (en) 2017-03-23
JO3741B1 (ar) 2021-01-31
US10395377B2 (en) 2019-08-27
TW201724007A (zh) 2017-07-01
KR20180056685A (ko) 2018-05-29
WO2017048383A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
JP6794436B2 (ja) 非障害物エリア検出のためのシステムおよび方法
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
JP6571274B2 (ja) レーザ深度マップサンプリングのためのシステム及び方法
CN107851318B (zh) 用于对象跟踪的系统和方法
US11482014B2 (en) 3D auto-labeling with structural and physical constraints
JP2018508078A (ja) オブジェクト追跡のためのシステムおよび方法
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
JP2018534699A (ja) 誤りのある深度情報を補正するためのシステムおよび方法
KR20160026989A (ko) 객체 움직임의 라이더 기반 분류 기법
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN112509126B (zh) 三维物体检测的方法、装置、设备及存储介质
CN112800822A (zh) 利用结构约束和物理约束进行3d自动标记
JP2017111209A (ja) ３ｄマップの作成
WO2020227933A1 (zh) 一种六自由度姿态估计方法、装置及计算机可读存储介质
CN115431968B (zh) 车辆控制器、车辆及车辆控制方法
CN113609985B (zh) 物体位姿检测方法、检测设备、机器人及可存储介质
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法
CN117726801A (zh) 目标检测方法、目标检测模型的训练方法及装置
CN117622118A (zh) 确定障碍物朝向方法、装置、设备、介质及车辆
CN114973182A (zh) 用于确定对象的距离的方法和系统
CN117636307A (zh) 基于语义信息的目标检测方法、设备及自动驾驶车辆
BR112018005430B1 (pt) Sistemas e métodos para detecção de área de ausência de obstáculo

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201111

R150 Certificate of patent or registration of utility model

Ref document number: 6794436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250