Nothing Special   »   [go: up one dir, main page]

JP7344744B2 - 路側端検出方法、及び、路側端検出装置 - Google Patents

路側端検出方法、及び、路側端検出装置 Download PDF

Info

Publication number
JP7344744B2
JP7344744B2 JP2019186368A JP2019186368A JP7344744B2 JP 7344744 B2 JP7344744 B2 JP 7344744B2 JP 2019186368 A JP2019186368 A JP 2019186368A JP 2019186368 A JP2019186368 A JP 2019186368A JP 7344744 B2 JP7344744 B2 JP 7344744B2
Authority
JP
Japan
Prior art keywords
roadside
vehicle
roadside edge
road surface
edge detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019186368A
Other languages
English (en)
Other versions
JP2021060944A (ja
Inventor
邦昭 野田
朋子 黒飛
尭史 池上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Priority to JP2019186368A priority Critical patent/JP7344744B2/ja
Publication of JP2021060944A publication Critical patent/JP2021060944A/ja
Application granted granted Critical
Publication of JP7344744B2 publication Critical patent/JP7344744B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、路側端検出方法、及び、路側端検出装置に関するものである。
車両の運転支援システムなどにおいては、車両が走行する路面における縁石等の路側物が設けられる位置を路側端として検出し、検出された路側端の内側を走行するように運転支援が行われている。
例えば、特許文献1に示される運転支援システムによれば、レーザレーダによって路面の幅方向に沿う複数の測定点の位置情報を取得し、車幅方向に並ぶ一郡の測定点における不連続部分を路側端として検出する。
特開2016-45507号公報
特許文献1において、車幅方向に並ぶ一群の測定点において測定される位置情報に欠損が生じることがある。このような場合には、位置情報の欠損に起因して発生する不連続部分と、実際の路側物との位置の対応がとれなくなり、路側端を正確に検出できないおそれがある。
本発明においては、上記課題を解決するためになされたものであり、路側端の検出精度の向上を図る、路側端検出方法、及び、路側端検出装置を提供するものである。
本発明の路側端検出方法は、車両が走行する路面において、路側物が設けられた路側端を路側端検出装置により検出する路側端検出方法である。路側端検出方法は、車両の周囲の所定範囲において、路面の高さを検出する路面高検出ステップと、路面高検出ステップにおいて検出された所定範囲における路面の高さを、車両を基準とする車幅方向の位置に応じて、車両の走行方向に沿って総和を算出する総和算出ステップと、総和算出ステップにおいて算出された総和が閾値を上回る車幅方向の位置が、路側端であると判定する、路側端判定ステップと、を備える。
本発明の路側端検出方法によれば、路側端の検出精度の向上を図ることができる。
図1は、第1実施形態に係る路側端検出方法を実行する運転支援システムの概略構成図である。 図2は、測距データの取得制御を示す説明図である。 図3は、測距データからグリッドマップを生成する方法の説明図である。 図4は、占有グリッドマップの一例を示す図である。 図5は、路側端検出制御のフローチャートである。 図6は、測距データの測定点を上方から示す図である。 図7は、路側端検出制御における一部の処理の説明図である。 図8は、路側端検出制御の詳細な具体例の一例の説明図である。 図9は、第2実施形態に係る路側端検出方法を実行する運転支援システムの概略構成図である。 図10は、第3実施形態に係る路側端検出方法を実行する運転支援システムの概略構成図である。 図11は、走行レーンが直線である場合と、曲がっている場合との比較を示す図である。 図12は、変形例におけるグリッドマップの分割例を示す図である。
以下、図面を用いて、本発明の実施形態に係る路側端検出方法、及び、路側端検出装置について説明する。
(第1実施形態)
図1は、第1実施形態に係る路側端検出方法を実行する運転支援システムの概略構成図である。
運転支援システム100は、ドライバによる車両の運転を支援することを目的として、車両に搭載されるシステムである。運転支援システム100は、移動物体検出部11と、測距センサ12と、測距データフィルタ部13と、オドメトリ計測部14と、測距データ蓄積部15と、蓄積測距データ16と、占有グリッドマップ生成部17と、占有グリッドマップ18と、占有グリッドマップ加算部19と、不連続境界検出部20と、路側端判定部21と、出力部22と、を有する。
これらの構成のうち、測距データフィルタ部13、測距データ蓄積部15、蓄積測距データ16、占有グリッドマップ生成部17、占有グリッドマップ18、占有グリッドマップ加算部19、不連続境界検出部20、路側端判定部21、及び、出力部22は、路側端検出装置10として一体に構成されている。路側端検出装置10において、測距データフィルタ部13、測距データ蓄積部15、蓄積測距データ16~出力部22の構成は、同一のマイクロコンピュータにおいて構成されてもよいし、異なるマイクロコンピュータにより構成されてもよい。また、移動物体検出部11、測距センサ12、及び、オドメトリ計測部14は、路側端検出装置10とは別体のセンサとして設けられる。
以下では、運転支援システム100の各構成の詳細について説明する。
移動物体検出部11は、車両の周囲に存在する移動中の物体(移動物体)を検出し、その検出した移動物体の位置を示す情報、測距データフィルタ部13へ出力する。例えば、移動物体検出部11は、カメラを含む画像処理部であって、撮影された時系列の画像を解析することで、移動物体の位置を検出する。
測距センサ12は、車両の周囲にある物体の車両からの距離及び方向、すなわち車両に対する物体位置を測定するセンサであり、路面及び路面上に存在する構造物の表面に複数の測定点を設定し、それらの測定点までの距離を計測する。なお、以下において、測距センサ12による距離の測定対象として示される路面は、路面上に配置される路側物などを含むものとする。そのため、測距センサ12により取得される測距データには、路面が存在する平面方向において構造物などにより生じる起伏が示されることとなる。
測距センサ12は、レーザレーダ(LiDAR)に限らず、ステレオカメラなどであってもよい。測距センサ12は、複数の測定点のまでの車両に対する相対距離及び方向を計測できるセンサであれば、センサの種類は限定されない。そのため、測距データとしての位置は、車両の位置を基準とする相対座標系である車両座標系で示される。
測距データフィルタ部13には、測距センサ12により取得された測距データと、移動物体検出部11により取得された移動物体の位置情報が入力される。測距データフィルタ部13は、測距センサ12により取得された測距データから、移動物体検出部11により検出された移動物体が存在する領域における測距データを消去し、消去した測距データを、測距データ蓄積部15へと出力する。
オドメトリ計測部14は、走行する車両に関するオドメトリ情報を取得すると、そのオドメトリ情報を測距データ蓄積部15へと出力する。オドメトリ情報には、車両の走行速度や走行角などが含まれており、走行軌跡の作成等に用いることができる。
測距データ蓄積部15は、オドメトリ計測部14により取得された車両のオドメトリ情報と、測距データフィルタ部13におけるフィルタ処理を経た測距データとの入力を受け付ける。そして、測距データ蓄積部15は、これらの入力に応じて、車両座標系で観測された測距データをオドメトリ座標系に変換して、オドメトリ座標系に変換した測距データを複数用いて、蓄積測距データ16を作成する。
蓄積測距データ16は、所定期間における測距データを蓄積したものであり、それぞれの測距データは、所定期間の開始時における車両が存在する位置を基準とする絶対座標系により示される。そして、蓄積測距データ16は、測距データ蓄積部15によって、占有グリッドマップ生成部17へと出力される。
占有グリッドマップ生成部17は、蓄積測距データ16を用いて所定の2次元領域のグリッドマップを生成し、その一部を切り出すことで占有グリッドマップ18を作成する。そして、占有グリッドマップ生成部17は、作成した占有グリッドマップ18を、占有グリッドマップ加算部19へと送信する。
占有グリッドマップ生成部17により生成されるグリッドマップは、車両の周囲における2次元の所定領域を格子(グリッド)状に区切り、これらのグリッドにおける物体の存在を離散的に示したものである。グリッドのそれぞれにおいては、そのグリッドに存在する物体の高さと対応する占有値が示される。すなわち、グリッドマップとは、縁石などが存在する路面の所定領域において、路面の表面の起伏や路面上に存在する構造物の存在などが離散化されたグリッドの集合として表現されたものである。
グリッドマップとしては、XYの直交座標系での離散値や、r-θの極座標系での離散値を示すものなどが知られている。本実施形態において占有グリッドマップ生成部17により生成される2次元のグリッドマップは、XYの直交座標系で示されるものである。なお、このグリッドマップの詳細については、後に図3などを用いて説明する。
占有グリッドマップ加算部19は、占有グリッドマップ生成部17により生成された占有グリッドマップ18に対して、車幅方向における車両からの位置に応じて、車両の走行方向に延在するグリッドの占有値の総和を算出する。これにより、占有グリッドマップ加算部19は、車幅方向の位置と対応する占有値の走行方向の総和の分布を生成し、不連続境界検出部20に出力する。
不連続境界検出部20は、占有グリッドマップ加算部19により得られた占有値の総和の分布に対して、総和が所定の閾値を超えている車幅方向における位置を、不連続境界として検出する。そして、不連続境界検出部20は、検出した不連続境界を、路側端判定部21に出力する。なお、総和が所定の閾値を超える位置の検出は、車幅方向において、車両の存在する位置から左右の両側方に向かって行われる。
路側端判定部21は、不連続境界検出部20により検出された複数の不連続境界の入力を受け付けると、これらの不連続境界のうち、車幅方向において、車両から左右の両側方のそれぞれに最も近い2つの不連続境界を選択し、これらの2つの不連続境界を路側端として判定し、出力部22に出力する。
出力部22は、路側端判定部21により判定された路側端の車幅方向の位置を、運転支援システム100外にある自動走行システムなどへと出力する。例えば、自動走行システムは、受信した路側端の位置情報を用いて、路側端の間を車両が走行するように車両の走行を支援する。
ここで、測距センサ12による測距データの取得制御の概要について説明する。
図2は、測距センサ12による測距データの取得制御を示す説明図である。この図には、xyz軸を有する3次元空間の中を、車両200が走行する状況が示されている。なお、走行方向がx軸で、車幅方向がy軸で、高さ方向がz軸に相当する。
測距センサ12は、所定の周期で、xy平面において矩形状の所定領域において複数の測定点を設定し、これらの測定点までの距離を測定する。この図においては、時刻t-1、t、t+1、t+2の4回のタイミングで、距離を測定する。そして、測距センサ12は、この測定結果を用いて測距データを生成する。測距データには、車両200を基準とする相対座標系において、3次元の所定領域での任意の点の物体の有無が示される。そのため、測距データを用いることで、縁石などの路側物を含む路面の高さを知ることができる。
この図によれば、時刻t-1における測距データには、走行方向を前方とした場合における、左後方にある円柱状の障害物の高さ情報が含まれる。時刻tにおける測距データには、左前方にある直方体の障害物の高さ情報が含まれる。また、時刻t+1における測距データには、右前方にある円柱状の障害物の高さ情報が含まれる。このように、測距データによって、路面に存在する構造物についてのxy平面における位置、及び、z方向の高さが示されることになる。
なお、測距データは、測距データ蓄積部15によって、座標系が変換される。詳細には、測距データ蓄積部15は、オドメトリ計測部14から入力されるオドメトリ情報を用いて、それぞれの測定タイミング(t-1~t+2)における車両200の位置を、オドメトリ座標を用いて求める。そして、測距データ蓄積部15は、測距データフィルタ部13を経た測距データに対して、車両200を基準とする相対座標系からオドメトリ座標で示された所定の場所を基準とする絶対座標系への変換を行う。
最終的に、測距データ蓄積部15は、絶対座標系に変換された複数の測距データを用いて、蓄積測距データ16を生成する。そして、占有グリッドマップ生成部17は、蓄積測距データ16を用いてグリッドマップを生成し、生成したグリッドマップの一部の領域を取り出すことにより、占有グリッドマップ18を生成する。
以下では、図3を用いて、測距データからグリッドマップを生成する方法を説明し、図4を用いて、生成されるグリッドマップの一部である占有グリッドマップ18の一例について説明する。
図3は、測距データからグリッドマップを生成する方法の説明図である。
上述のように、測距センサ12は、測距センサ12の周囲の所定領域において複数の測定点xjを設定し、これらの複数の測定点xjまでの距離を取得して、測距データを求める。測距データには、1つの測定点xjに対応して、所定の3次元領域における任意の点のそれぞれにおいて、測定点xjを平均(分布の中心)とした共分散Σの正規分布が示される。なお、共分散Σは、物体の存在確率と対応するものである。すなわち、1つの測定点xjに対して、その測定点xjにおいてピークとなるような、3次元領域における共分散Σの正規分布(ガウス分布)が得られる。これは、測定点xjのそれぞれが、自身においてピークとする正規分布を定義しており、3次元空間の任意の点における共分散Σの分布値に影響を与えることを意味する。
そこで、全ての測定点xjと対応する共分散Σの正規分布を用いて、2次元平面(xy平面)である路面に設けられるグリッド点xiのそれぞれについて、z方向(高さ方向)の共分散Σの総和を算出する。これにより、xy面内のグリッド点xiに存在する構造物のz方向における高さに応じた占有値を求めることができる。なお、占有値の算出においては、測距センサ12から測定点xjまでの距離rj、及び、測定点xjにおけるxy平面からの高さhjが、重み付けとして共分散Σの分布値に乗ざれる。
測距センサ12から測定点xjまでの距離rjが遠くなるほど、測定点xjの分布が疎になる。そこで、共分散Σの分布値に対して、測定点xjまでの距離rjを乗じて重み付けをすることにより、得られる占有値において、測定点xjの正規分布の影響を大きくできる。これにより、測定点xjの分布が疎になることを補償できる。
測定点xjに対する測定においては、路面において反射されるレーザーが用いられる。しかしながら、高さのある測定点xjに対する測定においては、路面の反射特性によっては正しい分布値よりも小さな値となるおそれがある。そこで、共分散Σの分布値に対して、測定点xjの高さhjを乗じて重み付けをすることにより、測定点xjの高さに起因する正規分布の不正確さを補償することができる。
したがって、任意の点xiにおける占有値Ciは、次式のように示すことができる。ただし、N(・;xj,Σ)はj番目の測距データの測定点xjを平均(分布の中心)とする共分散Σの正規分布を示すものである。また、xiは、グリッドの位置をxy平面において車両を基準とした相対座標で示したものである。iは、相対座標の位置を示すインデックスである。
Figure 0007344744000001
なお、最終的に測距データを重畳して得られる蓄積測距データ16は、占有値Ciの連続値で表現される。また、それぞれのグリッドにおける占有値Ciについては、一定の閾値より大きいか否かを判定する2値化処理を行ってもよい。
測距データの表現形式としては、上述のような測距センサ12からの距離を測定した測定点を3次元空間に分布させるポイントクラウド形式に限られない。ステレオカメラからの出力結果のように、測距センサ12から測定点までの距離分布を2次元平面に投影した距離画像として表現するものであってもよい。
図4は、占有グリッドマップ生成部17により生成される占有グリッドマップ18の一例を示す図である。例えば、車両200を中心として、走行方向における前後、及び、車幅方向における左右が所定長の2次元の矩形領域として、この矩形領域を格子状に区切りグリッドを構成する。
この図によれば、矩形領域は、車両200を中心として、前後10m(+10m~-10m)、及び、左右20m(-20m~+20m)の範囲であるものとする。また、グリッドは、例えば縦横10~20cmの正方領域で設定されるものとする。このように、矩形領域において、所定のグリッド幅で区切られるグリッドが構成される。このような2次元の占有グリッドマップ18には、各グリッドにおいて存在する物体の高さを示す占有値Ciが示される。
以下では、占有値Ciを用いた路側端検出制御について説明する。
図5は、運転支援システム100による路側端検出制御のフローチャートである。運転支援システム100の路側端検出装置10は、この図に示された路端端検出制御の一連の処理を所定のタイミングで繰り返し行うようにプログラムされている。なお、以下においては、説明の明確化のために、図1における路側端検出装置10において所定の機能を実現するブロックが、それぞれの処理を行うものとして説明する。なお、路側端検出装置10が、一連の処理を行ってもよい。
路端端検出制御は、主に、ステップS10としてまとめて示され、ステップS11~S15からなる蓄積測距データ16の生成制御と、ステップS16としてまとめて示され、ステップS17~S20からなる路側端検出制御との2つの処理を含む。
まず、ステップS10の蓄積測距データ16の生成処理について説明する。
ステップS11において、測距データフィルタ部13は、測距センサ12により生成される測距データを受信する。上述のように、測距データには、車両200の周囲の所定領域におけるグリッド点xiついての占有値Ciが、車両座標系で示されている。
ステップS12においては、測距データフィルタ部13は、測距センサ12から取得された測距データと、移動物体検出部11により検出される移動物体の位置との対応付けを行う。移動物体は路面上に存在するが、路側端を定める路側物とは異なる。そこで、測距データフィルタ部13は、対応付けの結果に基づいて、移動物体検出部11により検出された移動物体の存在する位置の測距データを消去する。
ステップS13において、測距データ蓄積部15は、測距データフィルタ部13からの測距データ、及び、オドメトリ計測部14からのオドメトリ情報を取得する。そして、測距データ蓄積部15は、測距データに対して、オドメトリ情報を用いて車両座標系から絶対座標系への変換を行う。
上述のように、測距データは、車両200の位置をゼロ点として示されるため、測距データの取得タイミングに応じてゼロ点が変化する相対座標系となる。オドメトリ座標は、例えば、走行開始時などの特定のタイミングにおける車両200の位置をゼロ点とした絶対座標系となる。そこで、オドメトリ情報を用いることで、取得された測距データについて、相対座標系から絶対座標系への変換をすることができる。
ステップS14において、測距データ蓄積部15は、さらに、オドメトリ座標に変換した測距データを時間バッファへと記録する。
ここで、時間バッファとは、所定長の要素を複数記録するメモリ領域であり、一般に配列と称される。この例においては、時間バッファは、所定の個数の測距データを記録することができるように構成されている。また、この時間バッファにおいては、あるタイミングにおいて取得される測距データは、時間バッファの配列を構成する1つの要素として記録され、時間バッファの全体に、所定期間における測距データが記録される。
より詳細には、測距データ蓄積部15は、測距データフィルタ部13から新たな測距データを受信した場合には、時間バッファの最終要素として新たな測距データを追加するとともに、時間バッファの先頭要素である最も古い測距データを消去する。このようにすることで、時間バッファは、記憶される測距データの数が一定に保持されるため、現在から過去に向かって所定の時間長の測距データを記憶することになる。例えば、時間バッファは、100個(100ステップ)の測距データを記憶することができる。このように新たな要素の追加とともに、最も古い要素が削除されるメモリ構造は、リングバッファと称される。
ステップS15においては、測距データ蓄積部15は、時間バッファにおいて配列の各要素に記録された絶対座標系の測距データを重畳することで、蓄積測距データ16を生成する。
ここで、時間バッファに記憶された測距データは、ステップS13においてオドメトリ座標に変換されているため、それらのゼロ点は等しい。そのため、時間バッファに記録された測距データを重畳させることにより、同じゼロ点を基準とした絶対座標系の3次元空間における占有値を示す蓄積測距データ16を生成することができる。このようにして、複数の測距データにより生成される高密度の蓄積測距データ16を生成することができる。
次に、ステップS16の路側端検出制御について説明する。
ステップS17において、占有グリッドマップ生成部17は、測距データ蓄積部15から蓄積測距データ16の入力を受け付ける。占有グリッドマップ生成部17は、3次元空間における共分散Σの正規分布を示す蓄積測距データ16について、高さ方向の分布値を路面に対して投影するように重畳させて分散値Ciを算出することで、グリッドマップを生成する。
このグリッドマップにおいては、路面を格子状に区切ることで構成されるグリッド点xiそれぞれにおける占有値Ciが示されている。そして、このグリッドマップに示される占有値Ciは、高さ方向の共分散Σの正規分布の和であるため、そのグリッド点xiに存在しうる物体の高さに相当する。そのため、グリッドマップには、路面や路面に存在する構造物の表面の起伏に応じた、路面の高さが示される。そして、占有グリッドマップ生成部17は、生成されたグリッドマップから図4に示されるような一部を切り出して、占有グリッドマップ18を生成する。
ステップS18において、占有グリッドマップ加算部19は、占有グリッドマップ18において、走行方向のグリッド列のそれぞれにおける占有値Ciの総和を路面高総和vとして算出する。これにより、車幅方向における車両200からの位置と対応する路面高総和vの分布を求めることができる。
ステップS19において、不連続境界検出部20は、ステップS18において生成された路面高総和vの分布の入力を受け付ける。不連続境界検出部20は、車両200から車幅方向の左右の両側方に向かって、路面高総和vが閾値vthよりも大きいか否かを判定し、路面高総和vが閾値vthよりも大きいと判定した車幅方向の位置が不連続境界であると判断する。なお、不連続境界は、複数検出されてもよい。
ステップS20において、路側端判定部21は,ステップS19において検出された複数の不連続境界のうち、車両200から車幅方向の左右の両側方に向かって最も近い不連続境界を1つずつ選択し、それらの不連続境界のある場所が路側端であると判定する。そして、路側端判定部21は、判定した路側端の車幅方向の位置を、出力部22へと出力する。
このような処理を経て、路側端検出制御が行われる。以下では、図6~8を用いて、路側端検出制御について、具体例を用いて説明する。
図6は、測距センサ12による測定点を上方から示す図である。
この図では、上方から見た路面61が示されており、中央には、図面上方に向かって走行する車両200が示されている。路面61においては、車両200の左方及び右方のそれぞれに、縁石62が設けられている。車両200は、2つの縁石62の間を走行するため、縁石62の延在方向と車両200の走行方向とは略一致する。なお、これらの縁石62の車両200側の側面の位置が、路側端として検出される。
さらに、この図には、測距センサ12による距離の測定点が、丸印により示されている。測距センサ12から出力されるレーダーなどは、縁石62において遮断されるため、縁石62に対して車両200の反対側において所定幅で縁石62に沿って延在する領域63において測距データを取得できない。一方で、縁石62における車両200の側の壁面の近傍の領域64においては、複数の測定点において測距データが取得される。また、車両200の近傍の路面61においては、車両200の死角となり、測距データを取得できない領域65が存在する。
図7は、図5に示された路側端検出制御におけるステップS18~S20の処理の説明図である。
図7(a)には、図6に示された領域と対応する占有グリッドマップ18が示されている。この占有グリッドマップ18においては、占有値Ciが大きく、グリッドに存在する物体の高さが高い領域に、濃いハッチングが付されている。一方、占有値Ciが小さく、グリッドに存在する物体の高さが低い領域に、薄いハッチングが付されている。
高さ方向において基準となる路面61には、中程度の濃淡のハッチングが付されている。一方で、高さのある縁石62が存在する領域には、濃いハッチングが付されている。なお、縁石62の影となる領域63や、車両200の死角となる領域65においては、測距データが取得できないため、白色で示されている。
図7(b)には、車幅方向における位置に応じた路面高総和vの分布が示されている。
路面高総和vは、ステップS18において算出され、占有グリッドマップ18における車両200の走行方向のグリッド列の占有値Ciの総和である。そのため、車幅方向における縁石62が存在する領域では、路面61だけが存在する領域と比較すると、路面高総和vが大きい。一方、測距データを取得不能な領域63では、路面高総和vがゼロとなる。また、車両200の死角となる領域65が存在する車幅方向の位置においては、路面高総和vが比較的低くなる。
ステップS19において、不連続境界検出部20は、車両200の中心から車幅方向の両側方(左方及び右方)に向かって、路面高総和vが閾値vthよりも大きいか否かを順に判定し、路面高総和vが閾値vthよりも大きいと判定される車幅方向の位置を不連続境界71として検出する。この例においては、不連続境界71は、2つ検出されているが、3つ以上検出されてもよい。
なお、車両200が存在する無視領域72では、路面高総和vと閾値vthとの比較を行わなくてもよい。車両200の形状と測距センサ12の配置場所に起因して、無視領域72は測距センサ12の死角となるため、この領域においては不連続境界71を検出する必要がない。
なお、閾値vthは、以下のように定められる。
まず、路面高総和vの車幅方向の全ての位置における分布の平均値は、(1)式で求めた占有値Ciを用いて、vmeanとして次式のように算出することができる。ただし、次式におけるi(1≦i≦N)は、車幅方向におけるグリッド点xiの位置を示すインデックスであり、式(1)におけるものと同じである。
Figure 0007344744000002
そして、閾値vthは、平均値vmeanと、路面高総和vにおける最大値vmax及び係数α(0≦α≦1)とを用いて、次式のように算出することができる。
Figure 0007344744000003
このように、路面高総和vの平均値vmeanによって不連続境界71の検出に用いる閾値vthを決定するため、路面高総和vの分布の変化に応じた閾値vthが用いられる。詳細には、路面高総和vが全体的に大きければ、閾値vthが大きくなり、路面高総和vが全体的に小さければ、閾値vthが小さくなる。このように、動的に閾値vthが変化することにより、不連続境界71の検出感度を変化させることができるので、測距データの取得状況の変化による不連続境界71の検出精度の変化が抑制され、路側端の判定を精度よく行うことが可能になる。
また、路面高総和vの平均値vmeanを基準とし、さらに平均値vmeanと最大値vmaxとの差に対して係数αに応じた一定の割合の値によって閾値vthが定められている。そのため、平均値vmeanと最大値vmaxの差分が小さい場合には、閾値vthはより平均値vmeanに近くなり、平均値vmeanと最大値vmaxの差分が大きい場合には,閾値vthはより最大値vmaxに近い値となる。これにより、路面高総和vの分布の変化に加えて、最大値vmaxに応じても、動的に不連続境界71の検出の感度を変化させることができるので、路側端の判定を精度よく行うことが可能になる。
なお、式(3)は、平均値vmeanと最大値vmaxとの加重平均であり、次式のように示すことができる。
Figure 0007344744000004
図8は、路側端検出制御のさらに詳細な具体例の説明図である。
図8(a)は、車両200の上後方からの見た、蓄積測距データ16を高さ方向において重畳させることにより得られるグリッドマップ、及び、その一部である占有グリッドマップ18が示されている。路面61には、縁石62に加えて白線81などが存在しており、これらの物体がグリッドマップに示されている。
図8(b)には、図8(a)の占有グリッドマップ18を用いて算出された路面高総和vが示されている。この図においては、図7(b)と同様に無視領域72が示されるとともに、路面高総和vが閾値vthよりも大きい箇所が、不連続境界71A~71Dとして検出される。そして、これらの不連続境界71A~71Dのうち、車両200からの距離が近い不連続境界71B及び71Cに縁石62が存在すると判定し、路側端の位置として検出する。
このように、測距データを用いて車両200の周囲の所定範囲における縁石62などの路側端や路面61の高さを示す占有値Ciを算出し、走行方向に沿って占有値Ciの総和を算出することで路面高総和vを算出する。なお、路面高総和vは、車両200の車幅方向における位置に応じた分布として求められる。そして、路面高総和vと閾値vthとを比較することにより、路面高総和vの分布における不連続性を評価し、路側端を検出する。このような構成のため、測距データの測定点の一部が検出できないことがあったとしても、その前後の測定点の情報を用いて路側端を検出することができるので、検出制度の向上を図ることができる。
第1実施形態によれば、以下の効果を得ることができる。
第1実施形態の路側端検出方法によれば、車両200の周囲の所定範囲において、路面61及び縁石62の高さを検出し、それぞれのグリッドにおける占有値Ciが示された占有グリッドマップ18を生成する路面高検出ステップ(S17)と、占有グリッドマップ18に示される占有値Ciについて、車両200の走行方向に沿って和を算出することで、車幅方向の位置に応じた路面高総和vの分布を算出する総和算出ステップ(S18)と、閾値vthを上回る路面高総和vと対応する車幅方向における位置が、路側端であると判定する路側端判定ステップ(S20)と、を備える。
このような構成となることにより、車両200の周囲の所定範囲においては、車幅方向における位置と対応して路面高総和vの不連続性が評価されて、路側端の位置が判定される。そのため、所定範囲において取得される測距データの一部に欠損や誤りがあり検出できないことがあったとしても、走行方向の前後の測距データを用いて路側端を検出することができる。このように、検出されなかった測距データを補償できるため、路側端の検出精度の向上を図ることができる。
第1実施形態の路側端検出方法によれば、路側端判定ステップ(S20)において、路面高総和vと閾値vthとの比較は、車両200の位置を始点として車幅方向の左右へ向かう外側方に向かって順に行われ、路面高総和vが閾値vthを上回ると判定される車幅方向における位置が、路側端であると判定される。
このような構成となることで、検出される路側端の位置は、縁石62などの路側物の車両200側の内壁と判断できるため、車両200の走行可能は範囲を定める路側端の位置を精度よく検出することができる。
第1実施形態の路側端検出方法によれば、路側端判定ステップ(S20)において、路面高総和vが閾値vthを上回るような不連続境界71が複数ある場合には、車幅方向において車両200に近い不連続境界71の位置が、路側端であると判定する。
車両200の走行レーンの側端となる路側端は、複数の不連続境界71のうち、車両200から見て最も内側において観測される不連続境界71となる。そのため、複数の不連続境界71が検出された場合においては、車幅方向において車両200に最も近い不連続境界71が、路側端であると判定する。これにより、車両200の走行可能な範囲を定める路側端の位置を精度よく検出することができる。
第1実施形態の路側端検出方法によれば、路側端判定ステップ(S20)において、車幅方向の位置に応じた路面高総和vの平均値vmeanが大きいほど、路面高総和vと比較される閾値vthは大きく設定される。
このような構成となることにより、路面高総和vの分布の変化に応じて、閾値vthが変化する。すなわち、全体として路面高総和vが大きい分布となる場合には、閾値vthが大きくなり、路面高総和vが小さい分布となる場合には、閾値vthが小さくなる。したがって、路面高総和vの分布の状況に応じて、動的に路側端となる不連続境界71の検出の感度を変化させることができるので、天候などによって測距データの測定精度が変化する場合でも、測距データの分布の変化に起因する影響が抑えられ、精度よく路側端を検出することができる。
第1実施形態の路側端検出方法によれば、閾値vthは、平均値vmean及び最大値vmaxの所定の割合での加重平均となる。
このような構成となることで、さらに閾値vthを適切に設定することができる。例えば、平均値vmeanと最大値vmaxの差分が小さい場合には、閾値vthは平均値vmeanに近い値を設定することで、路側端の検出がしやすくなる。一方で、平均値vmeanと最大値vmaxの差分が大きい場合には、閾値vthはより最大値vmaxに近い値を設定することで、路側端の誤検出を抑制できる。このように、平均値vmeanに加えて最大値vmaxを用いることで、動的に不連続境界71の検出の感度を変化させることができるので、測距データの分布の変化による影響を抑えて精度よく路側端を検出することが可能になる。
(第2実施形態)
第1実施形態において、路側端判定部21は、不連続境界検出部20により複数の不連続境界71が検出された場合には、これらの不連続境界71のうち、車両に近い不連続境界71の車幅方向の位置に路側端があると検出した。第2実施形態においては、複数の不連続境界71が検出された場合の、路側端の他の検出方法について説明する。
図9は、第2実施形態に係る路側端検出方法を実行する運転支援システム100の概略構成図である。
この図によれば、図1に示された第1実施形態の運転支援システム100と比較すると、路側端判定部21には、不連続境界検出部20で検出された複数の不連続境界71に加えて、自己位置推定部30、及び、地図データ31からの入力を受け付ける。
自己位置推定部30は、GPS等を用いて車両の現在位置を推定し、推定した車両の位置を出力する。また、地図データ31は、縁石62の位置情報などが示される高精細マップ(HDマップ)である。路側端判定部21は、自己位置推定部30から入力される車両の現在位置を、地図データ31の高精細マップと対応つけて縁石の概略位置を推定し、推定された縁石の位置に最も近い不連続境界を、路側端として検出する。
このように、縁石の延在方向が地図情報などから取得できる場合には、その縁石の延在方向に沿って占有値Ciの総和を算出して、路面高総和vを算出してもよい。すなわち、路面高総和vの算出は、第1実施形態のように車両から見た相対座標系における進行方向に沿った占有値Ciの総和に限られず、絶対座標系において縁石の位置情報から判断できる走行レーンが示す進行方向に沿った占有値Ciの総和であってもよい。
このような第2実施形態の路側端検出方法によれば、位置情報取得ステップにおいて、路側端の位置情報を含む道路情報、及び、車両の位置情報を用いて、車両の車幅方向の外側方にある路側端の位置を取得する。路側端判定ステップにおいて不連続境界が複数検出された場合においては、それらの不連続境界のうち、位置情報取得ステップにおいて取得された路側端の位置に近い不連続境界を選択し、路側端として検出する。このような処理により、路側端の検出精度の向上を図ることができる。
(第3実施形態)
第1及び第2実施形態においては、車両200の走行レーンが直線である場合において路側端検出制御を行ったがこれに限らない。第3実施形態においては、走行レーンが曲がっている場合において路側端検出制御を行う例について説明する。
図10は、第3実施形態に係る路側端検出方法を実行する運転支援システム100の概略構成図である。
この図によれば、図1に示された第1実施形態の運転支援システム100と比較すると、占有グリッドマップ生成部17は、測距データ蓄積部15において算出される蓄積測距データ16に加えて、走路曲率検出部40からの入力をさらに受け付ける。
走路曲率検出部40は、第2実施形態に示された自己位置推定部30や地図データ31など(図10において不図示)からの入力を用いて、車両200の走行レーンの曲率半径rを検出する。また、走路曲率検出部40は、白線認識結果、ヨーレート、及び、現在のステアリング角などの情報を用いて曲率半径rを取得してもよい。
占有グリッドマップ生成部17は、蓄積測距データ16から生成したグリッドマップを用いて、走行方向の長さがlとなるような占有グリッドマップ18を生成する。なお、占有グリッドマップ18の車両の走行方向長lは、次式に従って決定される。
Figure 0007344744000005
式(5)に示されるように、走行レーンの曲率半径rに対して、所定の比例定数εを乗ずることで、占有グリッドマップ18の走行方向長lが定められる。そのため、走行レーンの曲率が大きく曲率半径rが小さい場合には、占有グリッドマップ18の走行方向長lが短くなり、曲率が小さく曲率半径rが大きい場合には、走行方向長lが長くなる。なお、lmax及びlminは、それぞれ、不連続境界検出部20が路側端を検出するために必要な占有グリッドマップ18の最大長及び最小長を示すものとする。
図11は、走行レーンが直線である場合と、走行レーンが曲がっている場合との比較を示す図である。図11(a)には、走行路が直線である場合が、図11(b)には、走行路が曲がっている場合が示されている。なお、両者において、占有グリッドマップ18とともに、車両200、及び、走行レーンの路側端となる縁石62が示されている。なお、図11(b)において、走行レーンの曲率半径がrであるものとする。
図11(b)に示されるように走行レーンが曲がっている場合は、図11(a)に示されるような走行レーンが直線である場合と比較すると、縁石62は、車幅方向において幅広い領域に分布されてしまう。そのため、走行方向に沿った占有値Ciの総和である路面高総和vのピークが低くなり、閾値vthとの比較による路側端の検出精度が低下するおそれがある。また、走行レーンの曲率が大きくなり、曲率半径rが小さくなるほど、縁石62は、車幅方向においてさらに幅広の分布となり、路側端の検出精度がさらに低下してしまう。
そこで、式(4)に示されるように、曲率が大きくなるほど、すなわち、曲率半径rが小さくなるほど、占有グリッドマップ18の車両200の走行方向長lを小さくすることにより、縁石62の車幅方向における分布を幅狭とできる。その結果、路面高総和vのピークの低下を抑制でき、精度よく路側端を検出することが可能となる。
このように、第3実施形態の路側端検出方法によれば、曲率取得ステップにおいて車両200の走行レーンの曲率半径rを取得し、路面高検出ステップにおいて、曲率半径rが小さいほど、占有グリッドマップ18の車両200の走行方向長lを短く設定する。
ここで、走行レーンが曲がっている場合には、占有グリッドマップ18において占有値Ciが大きくなる縁石62が配置される部分は、車幅方向において幅広に領域に分布される。そのため、路面高総和vのピークが小さくなってしまい、閾値vthを上回る路面高総和vを、適切に検出できないおそれがある。
しかしながら、占有グリッドマップ18の車両200の走行方向長lを短くすることにより、縁石62は車幅方向において狭い幅に分布される。これにより、路面高総和vのピークが小さくなることが抑制され、閾値vthを上回る路面高総和vを適切に検出することができるので、路側端の検出精度が向上する。さらに、曲率が大きいほど、すなわち、曲率半径rが小さいほど、占有グリッドマップ18の車両200の走行方向長lを小さくすることで、路側端の検出精度のさらなる向上を図ることができる。
(変形例)
上述の実施形態においては、曲率半径rに応じた走行方向長lの占有グリッドマップ18において路側端を検出する例について示したがこれに限らない。占有グリッドマップ18を複数に分割し、それぞれの分割領域における路側端を検出し、これらの路側端を比較することでてもよい。
図12は、本変形例におけるグリッドマップの分割の一例を示す図である。
この例においては、占有グリッドマップ生成部17は、第1実施形態において生成された占有グリッドマップ18をさらにD個に分割して分割領域18-i(0≦i≦D)を生成し、それらの分割領域18-iのそれぞれにおいて路側端を検出する。なお、分割領域18-iは、占有グリッドマップ18を超えない範囲で、走行方向の前方から後方に向かって並設されており、分割領域18-iは、前方からi番目に配置されるものを示すものとする。
この図において、lmaxは、占有グリッドマップ18としてとりうる最大の走行方向長を示す。lは、式(4)を用いて定まる値であり、1つの分割領域18-iの車両200の走行方向長を示す。このような場合において、占有グリッドマップ18の分割数Dは、次式で示すことができる。
Figure 0007344744000006
ただし、[x]はガウス記号であり、xを超えない最大の整数を示すものとする。
最大長lmaxの占有グリッドマップ18を、分割数Dで分割することより、D個の分割領域18-iが設けられる。これらの分割領域18-iの前後方向の長さは、liとして示され、liはiによらず、全てlとなる。
そして、分割領域18-iの前方端の車両200の中心からの距離xiは、次式のように示すことができる。
Figure 0007344744000007
占有グリッドマップ生成部17は、分割領域18-iの走行方向における位置xiと、分割領域18-iにおいて検出される車幅方向の路側端の位置とを対応つけることで、占有グリッドマップ18における路側端の位置を検出することができる。
なお、走路の曲率半径rによらず、常に一定の分割数Dで占有グリッドマップ18を分割し、複数の分割領域18-iを個別に評価してもよい。このようにすることで、逆に、検出された路側端の車幅方向の位置から走行レーンの曲率を推定することができる。
このように、変形例の路側端検出方法によれば、占有グリッドマップ18を進行方向に沿ってD個に分割することにより構成される分割領域18-iのそれぞれについて、車幅方向における路側端の位置を検出する。そして、走行方向における分割領域18-iの位置と対応付けて、その分割領域18-iにおける路側端の車幅方向の位置を検出する。このようにすることで、走行レーンが曲がっている場合であっても、占有グリッドマップ18における路側端の位置を走行方向において適切に判定することができる。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記実施形態は、適宜組み合わせ可能である。
10 路側端検出装置
12 測距センサ
14 オドメトリ計測部
15 測距データ蓄積部
16 蓄積測距データ
17 占有グリッドマップ生成部
18 占有グリッドマップ
18-i :分割領域
19 占有グリッドマップ加算部
20 不連続境界検出部
21 路側端判定部
30 自己位置推定部
31 地図データ
40 走路曲率検出部
61 路面
62 縁石
71 不連続境界
72 無視領域
100 運転支援システム
200 車両

Claims (9)

  1. 車両が走行する路面において、路側物が設けられた路側端を路側端検出装置により検出する路側端検出方法であって、
    前記車両の周囲の所定範囲において、前記路面の高さを検出する路面高検出ステップと、
    前記路面高検出ステップにおいて検出された前記所定範囲における前記路面の高さを、前記車両を基準とする車幅方向の位置に応じて、前記車両の走行方向に沿って総和を算出する総和算出ステップと、
    前記総和算出ステップにおいて算出された前記総和が閾値を上回る前記車幅方向の位置が、前記路側端であると判定する、路側端判定ステップと、を備える、路側端検出方法。
  2. 請求項1に記載の路側端検出方法であって、
    前記路側端判定ステップにおいて、前記総和が閾値を上回る位置の検出を、前記車幅方向において、前記車両の存在する位置から側方に向かって順に行い、前記総和が閾値を上回ると最初に検出された前記車幅方向の検出位置が、前記路側端であると判定する、路側端検出方法。
  3. 請求項1または2に記載の路側端検出方法であって、
    前記路側端判定ステップにおいて、前記総和が閾値を上回る前記車幅方向の位置が複数検出される場合には、前記車幅方向において前記車両から最も近い該位置が、前記路側端であると判定する、路側端検出方法。
  4. 請求項1または2に記載の路側端検出方法であって、
    さらに、前記車両の位置情報、及び、前記路側端の位置情報を含む道路情報に基づいて、前記路側端の位置情報を取得する、位置情報取得ステップを備え、
    前記路側端判定ステップにおいて、前記前記総和が閾値を上回る前記車幅方向の位置が複数検出される場合には、前記位置情報取得ステップにおいて取得された前記路側端の位置情報が示す場所に最も近い該位置が、前記路側端であると判定する、路側端検出方法。
  5. 請求項1から4のいずれか1項に記載の路側端検出方法であって、
    前記路側端判定ステップにおいて、前記総和の平均値が大きいほど、前記閾値が大きい、路側端検出方法。
  6. 請求項5に記載の路側端検出方法であって、
    前記路側端判定ステップにおいて、前記閾値は、前記平均値、及び、前記総和の最大値の、所定の割合での加重平均である、路側端検出方法。
  7. 請求項1から6のいずれか1項に記載の路側端検出方法であって、
    さらに、前記車両の走行レーンの曲率を取得する曲率取得ステップを備え、
    前記路面高検出ステップにおいて、前記走行レーンの前記曲率が大きいほど、前記所定範囲における前記車両の走行する方向の長さは短い、路側端検出方法。
  8. 請求項1から6のいずれか1項に記載の路側端検出方法であって、
    前記路側端判定ステップにおいては、
    前記所定範囲を前記車両の走行する方向に沿って複数分割されることにより設けられ、前記車両の走行する方向に並設される分割領域のそれぞれについて、前記車両の走行する方向においては該分割領域までの位置と対応つけて、前記車幅方向における前記路側端の位置を判定し、
    前記分割領域のそれぞれについて、前記車幅方向においては前記判定される前記路側端の位置に、前記路側端があると判定する、路側端検出方法。
  9. 車両が走行する路面において、路側物が設けられた路側端を検出する路側端検出装置であって、
    前記車両の周囲の所定範囲において、前記路面の高さを検出する路面高検出部と、
    前記路面高検出部において検出された前記所定範囲における前記路面の高さを、前記車両を基準とする車幅方向の位置に応じて、前記車両の走行方向に沿って総和を算出する総和算出部と、
    前記総和算出部において算出された前記総和が閾値を上回る前記車幅方向の位置が、前記路側端であると判定する、路側端判定部と、を備える、路側端検出装置。
JP2019186368A 2019-10-09 2019-10-09 路側端検出方法、及び、路側端検出装置 Active JP7344744B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019186368A JP7344744B2 (ja) 2019-10-09 2019-10-09 路側端検出方法、及び、路側端検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019186368A JP7344744B2 (ja) 2019-10-09 2019-10-09 路側端検出方法、及び、路側端検出装置

Publications (2)

Publication Number Publication Date
JP2021060944A JP2021060944A (ja) 2021-04-15
JP7344744B2 true JP7344744B2 (ja) 2023-09-14

Family

ID=75381445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019186368A Active JP7344744B2 (ja) 2019-10-09 2019-10-09 路側端検出方法、及び、路側端検出装置

Country Status (1)

Country Link
JP (1) JP7344744B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7531262B2 (ja) * 2019-03-22 2024-08-09 三菱重工業株式会社 位置検出システム、車両、及び、位置検出方法
CN113340317A (zh) * 2021-05-20 2021-09-03 云度新能源汽车有限公司 一种辅助水淹区域通行的方法和存储设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250197A (ja) 2000-03-06 2001-09-14 Denso Corp 車両用道路形状認識方法及び装置、記録媒体
JP2010072807A (ja) 2008-09-17 2010-04-02 Hitachi Ltd 道路境界検出判断装置
JP2015191372A (ja) 2014-03-27 2015-11-02 トヨタ自動車株式会社 走路境界区画線検出装置
JP2016045507A (ja) 2014-08-19 2016-04-04 日野自動車株式会社 運転支援システム
JP2018022270A (ja) 2016-08-02 2018-02-08 日産自動車株式会社 路肩検出方法及び路肩検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250197A (ja) 2000-03-06 2001-09-14 Denso Corp 車両用道路形状認識方法及び装置、記録媒体
JP2010072807A (ja) 2008-09-17 2010-04-02 Hitachi Ltd 道路境界検出判断装置
JP2015191372A (ja) 2014-03-27 2015-11-02 トヨタ自動車株式会社 走路境界区画線検出装置
JP2016045507A (ja) 2014-08-19 2016-04-04 日野自動車株式会社 運転支援システム
JP2018022270A (ja) 2016-08-02 2018-02-08 日産自動車株式会社 路肩検出方法及び路肩検出装置

Also Published As

Publication number Publication date
JP2021060944A (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
CN110632921B (zh) 机器人路径规划方法、装置、电子设备和存储介质
JP6606610B2 (ja) 走路境界推定装置及びそれを用いた走行支援システム
US10776634B2 (en) Method for determining the course of the road for a motor vehicle
US20200180636A1 (en) Apparatus and method for controlling running of vehicle
US11898855B2 (en) Assistance control system that prioritizes route candidates based on unsuitable sections thereof
JP6440411B2 (ja) 物体検出装置
CN109635816B (zh) 车道线生成方法、装置、设备以及存储介质
CN111552284A (zh) 无人驾驶车辆的局部路径规划方法、装置、设备及介质
JP6492469B2 (ja) 自車走行レーン推定装置及びプログラム
JP2004531424A (ja) 車用の感知装置
US11062153B2 (en) Apparatus and method for converting image
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
JP2019096132A (ja) 物体認識装置
JP7344744B2 (ja) 路側端検出方法、及び、路側端検出装置
US20220414386A1 (en) Method for detecting lane line using lidar sensor and lane detection device for performing the method
CN115195773A (zh) 用于控制车辆驾驶的装置和方法及记录介质
CN113887276A (zh) 基于图像的前向主目标检测方法
JP5888275B2 (ja) 道路端検出システム、方法およびプログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP6631226B2 (ja) 自車線情報推定装置
JP7344743B2 (ja) 占有マップの作成方法、及び、占有マップの作成装置
JPH10187974A (ja) 物流計測装置
JP6604052B2 (ja) 走路境界推定装置及び走路境界推定方法
JP2022009231A (ja) 判定装置、判定方法及び判定用プログラム
WO2020095673A1 (ja) 車載制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R150 Certificate of patent or registration of utility model

Ref document number: 7344744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150