Nothing Special   »   [go: up one dir, main page]

JP6794243B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP6794243B2
JP6794243B2 JP2016245529A JP2016245529A JP6794243B2 JP 6794243 B2 JP6794243 B2 JP 6794243B2 JP 2016245529 A JP2016245529 A JP 2016245529A JP 2016245529 A JP2016245529 A JP 2016245529A JP 6794243 B2 JP6794243 B2 JP 6794243B2
Authority
JP
Japan
Prior art keywords
road surface
data
unit
parallax
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016245529A
Other languages
English (en)
Other versions
JP2018101200A (ja
JP2018101200A5 (ja
Inventor
フェリペ ゴメズカバレロ
フェリペ ゴメズカバレロ
雅幸 竹村
雅幸 竹村
野中　進一
進一 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2016245529A priority Critical patent/JP6794243B2/ja
Priority to PCT/JP2017/043937 priority patent/WO2018116841A1/ja
Priority to US16/346,029 priority patent/US11024051B2/en
Priority to EP17883461.0A priority patent/EP3557527B1/en
Priority to CN201780067420.3A priority patent/CN110088802B/zh
Publication of JP2018101200A publication Critical patent/JP2018101200A/ja
Publication of JP2018101200A5 publication Critical patent/JP2018101200A5/ja
Application granted granted Critical
Publication of JP6794243B2 publication Critical patent/JP6794243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、物体検出装置に関する。
不審者の侵入やその他の異常を監視したり、自動車の運転を支援する装置として、例えば三次元物体を検出する画像処理装置が知られており、特に自動車の分野では、上記画像処理装置に対し、自車周囲の自動車や歩行者を検知して安全を確保することが期待されている。
このような画像処理装置としては、例えば、ステレオカメラにより撮影した複数の画像を用いて路面上の物体を検出する技術が開示されている（例えば、特許文献１参照）。この技術によれば、上記複数の画像から得られる視差の情報を用いることで、路面とこの路面上に存在する物体との混同を防止して路面上の物体を検出することができる。
特開２０１５−１７９３０２号公報
しかしながら、上述したような従来の画像処理装置では、もし走行している自動車周囲の路面などの環境が視差情報を生成するのに適していない場合、上記路面の位置検出精度の低下に伴って物体と路面との判別が困難になり、その結果、実際に存する路面上の物体が未検出となったり、不正確な視差の情報により物体の誤検出を引き起こす虞がある。
本発明は、以上のような事情に基づいてなされたものであり、その目的は、路面の高さを正確に推定することができ、上記路面上に実在する物体を確実に検出することができる物体検出装置を提供することにある。
本発明は、
（１）路面上の物体を検出する物体検出装置であって、
前記路面および路肩を撮影して画像データを生成するステレオカメラと、
前記ステレオカメラにより生成した画像データを用い、この画像データ中の各画素における視差データを算出する三次元データ生成ユニットと、
前記視差データおよび／または前記画像データを用い、前記路肩に設置された所定の構造物を検出する路肩構造物検出ユニットと、
前記路肩構造物検出ユニットにより検出された前記構造物の接地位置を導出する構造物接地位置導出ユニットと、
前記構造物の接地位置を用い、前記路面の高さを推定する路面位置推定ユニットと、
前記三次元データ生成ユニットにより生成された視差データと前記路面位置推定ユニットにより推定された路面の高さとを用い、前記視差データのうちの前記路面に対応する視差データとこの視差データ以外の視差データとを分離することにより、前記路面上の物体を検出する物体検出ユニットとを備えていることを特徴とする物体検出装置、
（２）路面位置推定ユニットが、構造物の接地位置を用い、ステレオカメラの視線方向の各位置ごとに路面の高さを推定する前記（１）に記載の物体検出装置、
（３）構造物接地位置導出ユニットが、構造物の視差データおよび／または前記構造物の画像データを用い、前記構造部の接地位置を導出する前記（１）または（２）に記載の物体検出装置、並びに
（４）構造物の高さ情報が格納されたデータベースを備え、
構造物接地位置導出ユニットが、前記構造物の視差データと前記データベースに格納された前記構造物の高さ情報とを用い、前記構造物の接地位置を導出する前記（１）から（３）のいずれか１項に記載の物体検出装置
に関する。
なお、本明細書において「路肩」とは、自動車が走行する路面の周囲を意味し、上記路面の側方および上方の領域を含む概念である。また、「接地位置」とは、路肩に設置された構造物が地面に接する位置を意味する。また、「物体を検出する」とは、三次元空間における物体の位置の特定、物体の速度の特定、および物体の種類（例えば、自動車、自動二輪車、自転車、歩行者、ポールなど）の特定のうちの少なくともいずれか１つを含む処理を意味する。
本発明は、路面の高さを正確に推定することができ、路面上に実在する物体を確実に検出することができる物体検出装置を提供することができる。
本発明の第１の実施形態を説明するための概略図であって、（ａ）は自車から見た場面、（ｂ）は物体検出装置のブロック図をそれぞれ示している。 図１の路肩構造物の検出を実行するための概略フローチャートである。 図１の路面高さを推定するための概略フローチャートである。 図１の物体検出装置の処理過程を説明するための概略図であって、（ａ）は自車から見える場面、（ｂ）は三次元データ生成ユニットにより生成されたＶ視差画像をそれぞれ示している。 図１の物体検出装置の処理過程を説明するための概略図であって、（ａ）は構造物接地位置導出ユニットで用いるＶ視差画像、（ｂ）は路面位置推定ユニットでの処理中のＶ視差画像をそれぞれ示している。 図１の物体検出装置の処理過程を説明するための概略図であって、（ａ）は路面位置推定ユニットで用いるＶ視差画像、（ｂ）は物体検出ユニットを用いて検出された画像データ中の物体をそれぞれ示している。 本発明の第２の実施形態を説明するための概略ブロック図である。
本発明の物体検出装置は、路面上の物体を検出する物体検出装置であって、上記路面および路肩を撮影して画像データを生成するステレオカメラと、上記ステレオカメラにより生成した画像データを用い、この画像データ中の各画素における視差データを算出する三次元データ生成ユニットと、上記視差データおよび／または上記画像データを用い、上記路肩に設置された所定の構造物を検出する路肩構造物検出ユニットと、上記路肩構造物検出ユニットにより検出された上記構造物の視差データを用い、この構造物の接地位置を導出する構造物接地位置導出ユニットと、上記構造物の接地位置を用い、上記路面の高さを推定する路面位置推定ユニットと、上記三次元データ生成ユニットにより生成された視差データと上記路面位置推定ユニットにより推定された路面の高さとを用い、上記視差データのうちの上記路面に対応する視差データとこの視差データ以外の視差データとを分離することにより、上記路面上の物体を検出する物体検出ユニットとを備えていることを特徴とする。
以下、本発明の物体検出装置の第１および第２の実施形態について、図面を参照して説明するが、本発明は、当該図面に記載の実施形態にのみ限定されるものではない。
なお、本明細書において「路肩構造物」とは路肩に設置された所定の構造物を意味する。この所定の構造物としては、例えば、後述する図１に図示された路肩構造物１０２（ガードレール）、路肩構造物１０３（交通標識）および路肩構造物１０４（信号機）等が挙げられる。
［第１の実施形態］
図１は、本発明の第１の実施形態を説明するための概略図である。当該物体検出装置１は、図１（ｂ）に示すように、概略的に、ステレオカメラ１１０と、三次元データ生成ユニット２１０と、路肩構造物検出ユニット３１０と、構造物接地位置導出ユニット４１０と、路面位置推定ユニット５１０と、物体検出ユニット６１０と、制御ソフトウェア処理ユニット７１０とにより構成されている。
ステレオカメラ１１０は、自車周囲の路面１０１ａおよび路肩１０１ｂを撮影して画像データを生成するものであり、上記路面１０１ａおよび路肩１０１ｂを撮影する一対のカメラセンサ１１１、１１２を有している。
三次元データ生成ユニット２１０は、ステレオカメラ１１０により生成した画像データを用い、この画像データ中の各画素における視差データ（三次元距離画像データ）を算出する。この視差データは、カメラセンサ１１１、１１２により撮影された画像データを用い、公知のステレオマッチング技術を適用することで得ることができる。
ここで、上述のステレオマッチング技術は、カメラセンサ１１１、１１２を用いて撮影された互いに比較される２つの画像中の各所定の単位領域について、画像信号間の差異が最小となるように単位領域を決定するものである。すなわち、同一の物体が写し出される領域を検出し、これにより三次元距離画像が形成される。以下、上記三次元距離画像（Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｔａｎｃｅ ｉｍａｇｅ）を「視差画像」と称すると共に、特に、縦方向が鉛直方向の位置Ｖ、横方向が位置Ｖにおける視差値で表される画像（Ｖ−ｄｉｓｐａｒｉｔｙ ｉｍａｇｅ）を「Ｖ視差画像」と称する。
路肩構造物検出ユニット３１０は、三次元データ生成ユニット２１０により算出された視差データおよび／またはカメラセンサ１１１、１１２により得られた画像データを用い、路肩構造物に相当する所定のパターンを上記画像データ中から探し出すことで、路肩１０１ｂに設置された路肩構造物を検出する。
構造物接地位置導出ユニット４１０は、路肩構造物検出ユニット３１０により検出された路肩構造物の接地位置を導出する。上記接地位置の導出方法としては、特に限定されないが、構造物接地位置導出ユニットが、路肩構造物の視差データおよび／または上記路肩構造物の画像データを用い、上記路肩構造部の接地位置を導出することが好ましい。この導出方法としては、例えば、公知の技術を用いることができる。これにより、路肩構造物の接地位置を確実に導出することができる。
なお、路肩構造物の接地位置の導出の際、ガードレールのように、検出された路肩構造物がステレオカメラ１１０の視線方向（自車の進行方向）に向かって伸びているときは、当該路肩構造物の接地位置を上記視線方向に沿って所定の間隔ごとに算出するようにしてもよい。
また、構造物接地位置導出ユニット４１０は、導出された路肩構造物の接地位置およびステレオカメラ１１０により生成された画像データを用い、当該路肩構造物の地面からの頂部の高さ（路肩構造物の高さ）を算出するようにしてもよい。これにより、当該物体検出装置１は、路肩構造物の高さが所定範囲から外れる場合、上記路肩構造物の接地位置を異常値として路面高さの推定に不使用とすることができ、路面１０１ａの高さの推定精度をより向上させることができる。
このような態様としては、例えば、信号機など構造物を設置する高さの範囲が規定されているような場合、検出された路肩構造物の高さが上記範囲から外れるときには明らかに当該路肩構造物の誤判定であると考えられるため、この路肩構造物の情報を不使用とする例が挙げられる。
路面位置推定ユニット５１０は、構造物接地位置導出ユニット４１０により導出された路肩構造物の接地位置を用い、路面１０１ａの高さを推定する。上記路面１０１ａの高さを推定する方法としては特に限定されず、例えば、公知の技術を用いることができる。ここで、路面１０１ａの高さは、あらかじめ定義された平面（所定の水平面など）に対する高さとして表される。
なお、上述の路面位置推定ユニット５１０は、路肩構造物の接地位置を用い、ステレオカメラ１１０の視線方向の各位置（セグメント）ごとに路面１０１ａの高さを推定することが好ましい。これにより、当該物体検出装置１は、上記視線方向における起伏状態など、路面１０１ａ各部の高さをより正確に推定することができる。
物体検出ユニット６１０は、三次元データ生成ユニット２１０により生成された視差データと路面位置推定ユニット５１０により推定された路面１０１ａの高さとを用い、視差データのうちの路面１０１ａに対応する視差データとこの視差データ以外の視差データとを分離することにより、路面１０１ａ上の物体（例えば、図１（ａ）の場面Ａ１に示すような自車前方を走行する自動車１０５など）を検出する。路面１０１ａ上の物体を検出する方法としては特に限定されず、例えば、公知の技術（例えば、特開２００９−１４６２１７号公報に記載の技術など）を用いることができる。
また、物体検出ユニット６１０は、物体の検出精度を向上させる観点から、上述した視差データおよび路面１０１ａの高さに加え、ステレオカメラ１１０におけるカメラセンサ１１１および１１２の少なくともいずれかにより得られた画像データを用いることで路面１０１ａ上の物体を検出するようにしてもよい。
制御ソフトウェア処理ユニット７１０は、上述した物体検出ユニット６１０により検出された物体および当該物体の動きに対応できるように自車を制御する。この制御ソフトウェア処理ユニット７１０には、上記物体の動き等に応じて自車を制御することが可能な制御ソフトウェアが組み込まれており、この制御ソフトウェアからの指令に基づき自車の動きが制御される。上記制御ソフトウェアとしては、例えば、公知の自動運転支援ソフトウェアなどを採用することができる。
ここで、上述した各ユニットのうち、路肩構造物検出ユニット３１０および路面位置推定ユニット５１０にて実行される処理について、以下に詳述する。
まず、図２は、図１の路肩構造物の検出を実行するための概略フローチャートである。路肩構造物検出ユニット３１０は、ステレオカメラ１１０により得られた画像データうちの１つの画像データを取得し、画像に含まれる特定のパターンから、図１に示すような路肩構造物１０２（ガードレール）、路肩構造物１０３（交通標識）、路肩構造物１０４（信号機）などを検出する（ステップＳ２１）。
次いで、路肩構造物検出ユニット３１０は、ステップＳ２１で検出された路肩構造物が位置する領域を特定する。なお、この特定された領域は、構造物接地位置導出ユニット４１０および路面位置推定ユニット５１０において用いられる。（ステップＳ２２）。
次に、図３は、図１の路面高さを推定するための概略フローチャートである。路面位置推定ユニット５１０は、まず、Ｖ視差画像中において、路面候補となる領域を設定する（ステップＳ３１）。この設定方法としては特に限定されないが、あらかじめ推定された路面位置を使用する方法、領域設定のための参照としてカメラの無限遠の点を使用する方法、道路範囲を区画するための台形形状を設定することによる有効な道路データとしての視差画像中の区画された範囲を使用する方法、道路形状を決めるための車線マークの検出を使用する方法のうちの少なくともいずれかを含んでいることが好ましい。
次に、路面位置推定ユニット５１０が有効かつ路面候補となる領域に含まれている視差データを抽出する（ステップＳ３２）。このステップＳ３２では、視差データを抽出する際、路面の視差データと、路面上に存在する可能性のある自動車などの物体の視差データとが分離される。この分離方法としては特に限定されないが、路肩構造物の路面に最も近い位置を算出するための上記路肩構造物の位置を使用する方法、視差値が無限遠の点に向かって垂直方向が漸次減少するのを確認するために、視差データ中の垂直方向の視差値と所定の閾値とを比較する方法のうちの少なくともいずれかの方法を含んでいることが好ましい。
次に、路面位置推定ユニット５１０は、路面候補となる領域の視差データをV視差空間（縦軸が鉛直方向の位置Ｖ、横軸が位置Ｖにおける視差値で特定される座標空間）に投影して各路面候補の視差値に対する周波数を表すヒストグラムを生成し、これにより垂直方向における各視差値ごとにＶ視差路面代表データを抽出する（ステップＳ３３）。
次に、路面位置推定ユニット５１０は、構造物接地位置導出ユニット４１０により検出された路肩構造物の接地位置の情報と、上記Ｖ視差路面代表データとを統合して路面推定用のデータとする（ステップＳ３４）。この際、路肩構造物１０２のように構造物の高さがあらかじめ規定されている場合、この規定されている高さを用いて仮想的な接地位置を算出し、これを路面推定用のデータとすることができる（図５（ａ）、（ｂ）参照）。
次に、路面位置推定ユニット５１０は、ステップＳ３４にて統合されたデータを用い、高いヒストグラム周波数を有する画素近傍を通る一本のライン（路面ライン）を算出する（ステップＳ３５）。なお、この一本の路面ラインは直線および曲線のいずれであってもよく、これら直線および曲線を一または二以上組み合わせて得られたラインであってもよい。次いで、路面位置推定ユニット５１０は、ステップ３５にて算出された路面ラインを用い、路面の高さを推定する（ステップＳ３６）。
次に、当該物体検出装置１を用いて物体を検出する具体例について、図４〜図６を参照して説明する。この具体例では、当該物体検出装置１が自車に搭載され、この物体検出装置１を用いて自車前方の路面１０１ａ上の物体１０５（以下、「自動車１０５」ともいう）を検出する。また、この具体例では、図４（ａ）に示すように、自車周囲に路肩構造物１０２（ガードレール）、路肩構造物１０４（信号機）が存在しているものとする。
本具体例では、まず自車に搭載したステレオカメラ１１０を用い、路面１０１ａおよび路肩１０１ｂを含む自車進行方向の周囲を撮影して画像データを生成する。次いで、三次元データ生成ユニット２１０が、ステレオカメラ１１０により生成した画像データを用い、この画像データ中の各画素における視差を算出した後、路肩構造物検出ユニット３１０が、ステップＳ２１に従って算出された視差データを用いて路肩構造物を検出すると共に、ステップＳ２２に従って上記路肩構造物の領域を特定する。
本実施形態では、図４（ｂ）が三次元データ生成ユニット２１０にて生成したＶ視差画像を示しており、このＶ視差画像中には、未だ検出されていない路面１０１ａの視差データ（データ領域Ｒ１）と、未だ検出されていない自動車１０５の視差データ（データ領域Ｒ５）と、路肩構造物検出ユニット３１０により検出された路肩構造物１０２（データ領域Ｒ２）および路肩構造物１０４（データ領域Ｒ４）とが示されている。なお、図４（ｂ）中、符号Ｌ１で表されるラインは、参考として記載された未だ検出されていない路面の位置を示している。
なお、図４（ａ）に示す場面Ａ２では、データ領域Ｒ１で表される路面１０１ａの視差が路肩構造物１０２、１０４などの他の視差よりも低くなっている。これは、路面１０１ａの構造が一様であることによりステレオマッチングによる視差の計算が難しくなったか、または悪天候により路面の視認性が低かったことに起因しているものと思われる。
次に、構造物接地位置導出ユニット４１０が、Ｖ視差画像のデータを取得し、このデータを用いて路肩構造物１０２、１０４の接地位置を導出する。この際、路肩構造物１０２のように路肩構造物がステレオカメラ１１０の視線方向に向かって伸びているときは、当該路肩構造物の接地位置を上記視線方向に沿って所定の間隔ごとに導出する。以上のようにして、路肩構造物１０２、１０４に対応するＶ視差画像中の領域Ｒ２、Ｒ４から、図５（ｂ）にそれぞれ示す路肩構造物１０２、１０４の接地位置Ｄ２、Ｄ４が導出される。
次に、路面位置推定ユニット５１０が、ステップＳ３１〜Ｓ３３に従ってデータ領域Ｒ１で表されるＶ視差路面代表データＤ１を抽出し、次いで、ステップＳ３４、Ｓ３５に従ってＶ視差路面代表データＤ１と、上述の路肩構造物接地位置Ｄ２、Ｄ４とを統合することで、図５（ｂ）に示す路面ラインＬ２を算出する。上述の路面ラインＬ２の算出方法としては、例えば、最小自乗近似法などの近似法により直線近似などを行って算出する方法等を採用することができる。なお、図５（ｂ）では、Ｖ視差路面代表データＤ１が丸印、接地位置Ｄ２、Ｄ４がそれぞれ台形印、三角印で示されている。
次に、路面位置推定ユニット５１０が、ステップＳ３６に従って上述の算出された路面ラインＬ２を用いて路面高さを推定する。この推定された路面高さは、路面１０１ａのように同じ高さ位置であるセグメントの視差データを特定するのに用いられる。
次に、物体検出ユニット６１０が、図６（ａ）に示すように、路面１０１ａを示す視差データと上記路面１０１ａ以外を示す残りの視差データとを分離し、この分離された視差データを用い、図６（ｂ）に示すように、路面１０１ａ上の自動車１０５に対応する領域Ｒ１０５を検出しかつ領域Ｒ１０５の位置を特定する。なお、物体検出ユニット６１０は、上述した視差データと共に、路肩構造物検出ユニット３１０にて検出された路肩構造物１０２、１０４の接地位置Ｄ２、Ｄ４の情報を用い、自動車１０５の領域Ｒ１０５を検出するようにしてもよい。これにより、自動車１０５の検出にかかる処理時間を減らすと共に、自動車１０５に対応する視差データと路肩構造物１０２、１０４に対応する視差データとが混同するのをより確実に防止することができる。
次に、制御ソフトウェア処理ユニット７１０が、物体検出ユニット６１０により検出された自動車１０５に対応できるように自車を制御（例えば、自動車１０５への接近の回避、自動車１０５の追走、自動車１０５の追い越しなど）する。
以上のように、当該物体検出装置１は、上述したステレオカメラ１１０、三次元データ生成ユニット２１０、路肩構造物検出ユニット３１０、構造物接地位置導出ユニット４１０、路面位置推定ユニット５１０および物体検出ユニット６１０を備えているので、路肩構造物１０２、１０４の接地位置を用いて路面１０１ａの高さを正確に推定することができ、路面１０１ａ上に実在する物体１０５を確実に検出することができる。
［第２の実施形態］
図７は、本発明の第２の実施形態を説明するための概略ブロック図である。当該物体検出装置２は、図７に示すように、概略的に、ステレオカメラ１１０と、三次元データ生成ユニット２１０と、路肩構造物検出ユニット３１０と、構造物接地位置導出ユニット４２０と、データベース４２１と、路面位置推定ユニット５１０と、物体検出ユニット６１０と、制御ソフトウェア処理ユニット７１０とにより構成されている。
この第２の実施形態は、構造物接地位置導出ユニット４２０および路肩構造物データベース４２１を備えている点で、第１の実施形態と異なっている。なお、上記構造物接地位置導出ユニット４２０およびデータベース４２１以外の構成は第１の実施形態のものと同様であるので、同一部分には同一符号を付してその詳細な説明は省略する。
構造物接地位置導出ユニット４２０は、検出された路肩構造物の接地位置を推定するために、路肩構造物の視差データと、後述するデータベース４２１に格納された上記路肩構造物の高さ情報とを用い、この路肩構造物の接地位置を導出する。具体的には、構造物接地位置導出ユニット４２０が、路肩構造物の頂部位置を検出し、後述するデータベース４２１に格納されている路肩構造物の高さを用いて上記頂部位置から上記高さを差し引くことで路肩構造物の接地位置を導出する。
データベース４２１は、路肩構造物の高さ情報を格納する。このデータベース４２１に格納される情報としては特に限定されず、例えば、路肩構造物の高さ情報に加え、路肩構造物の位置や範囲等の情報を含んでいてもよい。
このように、当該物体検出装置２が上述の構造物接地位置導出ユニット４２０およびデータベース４２１とを備えていることで、路肩構造物の接地位置をより正確かつ確実に導出することができる。また、当該物体検出装置２は、上記構成であることで、たとえ何らかの理由で路肩構造物の接地位置を直接的に導出できないとしても、上記路肩構造物の接地位置を間接的に導出することができる。
なお、本発明は、上述した実施形態の構成に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
例えば、上述した実施形態では、路面１０１ａのＶ視差路面代表データＤ１、および路肩構造物１０２、１０４の接地位置Ｄ２、Ｄ４を用いて路面１０１ａの高さを推定する物体検出装置１について説明したが、Ｖ視差路面代表データを用いずに路肩構造物の接地位置のみから路面の高さを推定する物体検出装置も、本発明の意図する範囲内である。
また、上述した実施形態では、制御ソフトウェア処理ユニット７１０を備えている物体検出装置１について説明したが、本発明の物体検出装置は、路面上に実在する物体を確実に検出できればよく、制御ソフトウェア処理ユニット７１０のような処理ユニットを備えていない物体検出装置であってもよい。
１、２ 物体検出装置
１０１ａ 路面
１０１ｂ 路肩
１０２，１０３、１０４ 構造物（路肩構造物）
１０５ 物体
１１０ ステレオカメラ
２１０ 三次元データ生成ユニット
３１０ 路肩構造物検出ユニット
４１０、４２０ 構造物接地位置導出ユニット
４２１ データベース
５１０ 路面位置推定ユニット
６１０ 物体検出ユニット

Claims (4)

  1. 路面上の物体を検出する物体検出装置であって、
    前記路面および路肩を撮影して画像データを生成するステレオカメラと、
    前記ステレオカメラにより生成した画像データを用い、この画像データ中の各画素における視差データを算出する三次元データ生成ユニットと、
    前記画像データを用い、画像中の所定の構造物を検出する構造物検出ユニットと、
    前記構造物検出ユニットにより検出された前記所定の構造物と、地面との境界位置を導出する境界位置導出ユニットと、
    前記構造物の接地位置を用い、前記路面の高さを推定する路面位置推定ユニットと、
    前記三次元データ生成ユニットにより生成された視差データと前記路面位置推定ユニットにより推定された路面の高さとを用い、前記視差データのうちの前記路面に対応する視差データとこの視差データ以外の視差データとを分離することにより、前記路面上の物体を検出する物体検出ユニットとを備え、
    前記構造物検出ユニットは、前記視差データおよび／または前記画像データを用い、前記路肩に設置された所定の構造物を検出する路肩構造物検出ユニットであり、
    前記境界位置導出ユニットは、前記路肩構造物検出ユニットにより検出された前記構造物の接地位置を導出する構造物接地位置導出ユニットである物体検出装置。
  2. 路面位置推定ユニットが、構造物の接地位置を用い、ステレオカメラの視線方向の各位置ごとに路面の高さを推定する請求項１に記載の物体検出装置。
  3. 構造物接地位置導出ユニットが、構造物の視差データおよび／または前記構造物の画像データを用い、前記構造物の接地位置を導出する請求項１または請求項２に記載の物体検出装置。
  4. 構造物の高さ情報が格納されたデータベースを備え、
    構造物接地位置導出ユニットが、前記構造物の視差データと前記データベースに格納された前記構造物の高さ情報とを用い、前記構造物の接地位置を導出する請求項１から請求項３のいずれか１項に記載の物体検出装置。
JP2016245529A 2016-12-19 2016-12-19 物体検出装置 Active JP6794243B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016245529A JP6794243B2 (ja) 2016-12-19 2016-12-19 物体検出装置
PCT/JP2017/043937 WO2018116841A1 (ja) 2016-12-19 2017-12-07 物体検出装置
US16/346,029 US11024051B2 (en) 2016-12-19 2017-12-07 Object detection device
EP17883461.0A EP3557527B1 (en) 2016-12-19 2017-12-07 Object detection device
CN201780067420.3A CN110088802B (zh) 2016-12-19 2017-12-07 物体检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016245529A JP6794243B2 (ja) 2016-12-19 2016-12-19 物体検出装置

Publications (3)

Publication Number Publication Date
JP2018101200A JP2018101200A (ja) 2018-06-28
JP2018101200A5 JP2018101200A5 (ja) 2020-08-20
JP6794243B2 true JP6794243B2 (ja) 2020-12-02

Family

ID=62626336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016245529A Active JP6794243B2 (ja) 2016-12-19 2016-12-19 物体検出装置

Country Status (5)

Country Link
US (1) US11024051B2 (ja)
EP (1) EP3557527B1 (ja)
JP (1) JP6794243B2 (ja)
CN (1) CN110088802B (ja)
WO (1) WO2018116841A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6859907B2 (ja) * 2017-09-08 2021-04-14 トヨタ自動車株式会社 車両制御装置
JP6985089B2 (ja) * 2017-09-29 2021-12-22 トヨタ自動車株式会社 立体物接地判定装置
EP3614299A1 (de) * 2018-08-21 2020-02-26 Siemens Aktiengesellschaft Verfahren und anordnung zum erkennen von objekten an anlagen
JP7229129B2 (ja) * 2019-09-05 2023-02-27 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
US11511576B2 (en) * 2020-01-24 2022-11-29 Ford Global Technologies, Llc Remote trailer maneuver assist system
KR20210124603A (ko) * 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
US11840238B2 (en) * 2021-02-05 2023-12-12 Nvidia Corporation Multi-view geometry-based hazard detection for autonomous systems and applications
US11541910B1 (en) * 2022-01-07 2023-01-03 Plusai, Inc. Methods and apparatus for navigation of an autonomous vehicle based on a location of the autonomous vehicle relative to shouldered objects
US11840257B2 (en) * 2022-03-25 2023-12-12 Embark Trucks Inc. Lane change determination for vehicle on shoulder
JP7441258B2 (ja) * 2022-03-25 2024-02-29 本田技研工業株式会社 制御装置
US20230351769A1 (en) * 2022-04-29 2023-11-02 Nvidia Corporation Detecting hazards based on disparity maps using machine learning for autonomous machine systems and applications
US20230351638A1 (en) * 2022-04-29 2023-11-02 Nvidia Corporation Detecting hazards based on disparity maps using computer vision for autonomous machine systems and applications

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214364B2 (ja) * 1996-08-14 2001-10-02 富士電機株式会社 車間距離測定装置
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
JP4297501B2 (ja) * 2004-08-11 2009-07-15 国立大学法人東京工業大学 移動体周辺監視装置
JP4650079B2 (ja) * 2004-11-30 2011-03-16 日産自動車株式会社 物体検出装置、および方法
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP2006268097A (ja) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
JP4811201B2 (ja) * 2005-12-06 2011-11-09 日産自動車株式会社 走路境界線検出装置、および走路境界線検出方法
JP5130638B2 (ja) * 2006-03-22 2013-01-30 日産自動車株式会社 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法
JP4744632B2 (ja) * 2007-03-01 2011-08-10 パイオニア株式会社 車線逸脱防止装置、車線逸脱防止方法、車線逸脱防止プログラム及び記憶媒体
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
JP4759547B2 (ja) * 2007-09-27 2011-08-31 日立オートモティブシステムズ株式会社 走行支援装置
JP5172314B2 (ja) 2007-12-14 2013-03-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP5075672B2 (ja) * 2008-02-25 2012-11-21 株式会社東芝 対象物検出装置及び方法
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
JP2010148058A (ja) * 2008-12-22 2010-07-01 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP5065449B2 (ja) * 2009-06-16 2012-10-31 株式会社日本自動車部品総合研究所 消失点推定装置およびプログラム
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5325765B2 (ja) * 2009-12-28 2013-10-23 日立オートモティブシステムズ株式会社 路肩検出装置及び路肩検出装置を用いた車両
CN102792333B (zh) * 2010-03-19 2016-11-23 拉碧斯半导体株式会社 图像处理装置、方法、程序以及记录介质
MY166665A (en) * 2011-02-21 2018-07-18 Nissan Motor Periodic stationary object detection system and periodic stationary object detection method
JP2012225806A (ja) * 2011-04-20 2012-11-15 Toyota Central R&D Labs Inc 道路勾配推定装置及びプログラム
JP2012243051A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN103123722B (zh) * 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和系统
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
JP2013140515A (ja) * 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
CN103390269B (zh) * 2012-05-11 2016-12-28 株式会社理光 连续型道路分割物检测方法和装置
JP2014006882A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
EP2922045A1 (en) * 2012-11-13 2015-09-23 Kabushiki Kaisha Toshiba Detection device, method, and program
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
JP5982298B2 (ja) * 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
JP6194604B2 (ja) * 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
JP6151150B2 (ja) * 2013-10-07 2017-06-21 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
EP3100206B1 (en) * 2014-01-30 2020-09-09 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP6340850B2 (ja) 2014-03-18 2018-06-13 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP2015210661A (ja) * 2014-04-25 2015-11-24 日立建機株式会社 鉱山用作業車両用の路面推定装置および路面推定システム
WO2015177648A1 (en) * 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
JP2016001170A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理プログラム、及び、処理方法
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
CN105270208A (zh) * 2014-07-14 2016-01-27 刁心玺 一种道路巡视方法及装置
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
JP6440411B2 (ja) * 2014-08-26 2018-12-19 日立オートモティブシステムズ株式会社 物体検出装置
JP6657789B2 (ja) * 2015-10-29 2020-03-04 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
JP6662388B2 (ja) * 2015-11-27 2020-03-11 株式会社リコー 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
EP3422285A4 (en) * 2016-02-22 2019-03-06 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGE CAPTURE DEVICE, MOBILE BODY APPARATUS CONTROL SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM
EP3422290A4 (en) * 2016-02-23 2019-02-27 Ricoh Company, Ltd. PICTURE PROCESSING DEVICE, IMAGING DEVICE, MOBILE BODY CONTROL SYSTEM, PICTURE PROCESSING METHOD AND PROGRAM
JP6733225B2 (ja) * 2016-03-08 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2017158964A1 (ja) * 2016-03-18 2017-09-21 株式会社リコー 画像処理装置、移動体機器制御システム、画像処理用プログラム及び画像処理方法
JP6950170B2 (ja) * 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2018101200A (ja) 2018-06-28
US20190266745A1 (en) 2019-08-29
EP3557527A4 (en) 2020-08-19
CN110088802B (zh) 2023-08-01
EP3557527A1 (en) 2019-10-23
EP3557527B1 (en) 2024-06-19
US11024051B2 (en) 2021-06-01
CN110088802A (zh) 2019-08-02
WO2018116841A1 (ja) 2018-06-28

Similar Documents

Publication Publication Date Title
JP6794243B2 (ja) 物体検出装置
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP7025912B2 (ja) 車載環境認識装置
JP6404922B2 (ja) 物体認識装置及びそれを用いた車両走行制御装置
US9547795B2 (en) Image processing method for detecting objects using relative motion
US9047518B2 (en) Method for the detection and tracking of lane markings
JP7485612B2 (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
WO2016129403A1 (ja) 物体検知装置
JP6014440B2 (ja) 移動物体認識装置
KR101326943B1 (ko) 추월차량 경고 시스템 및 추월차량 경고 방법
JP6548893B2 (ja) 走行路認識装置及びそれを用いた走行支援システム
JP2008123462A (ja) 物体検知装置
JP7454685B2 (ja) 車両走行路内のデブリの検出
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
KR101268282B1 (ko) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
JP2016173711A (ja) 走行区画線認識装置
JP5997962B2 (ja) 車載レーンマーカ認識装置
JP2011103058A (ja) 誤認識防止装置
JP2017167608A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP5746996B2 (ja) 道路環境認識装置
US11443619B2 (en) Vehicle recognition apparatus and vehicle recognition method
JP4575315B2 (ja) 物体検出装置及びその方法
JP2017162125A (ja) 画像解析プログラム、画像解析装置、及び画像解析方法
KR101352662B1 (ko) 차선 인식을 이용한 패싱 차량 검출 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201111

R150 Certificate of patent or registration of utility model

Ref document number: 6794243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250