JP6867120B2 - Cartography method and cartography device - Google Patents
Cartography method and cartography device Download PDFInfo
- Publication number
- JP6867120B2 JP6867120B2 JP2016148313A JP2016148313A JP6867120B2 JP 6867120 B2 JP6867120 B2 JP 6867120B2 JP 2016148313 A JP2016148313 A JP 2016148313A JP 2016148313 A JP2016148313 A JP 2016148313A JP 6867120 B2 JP6867120 B2 JP 6867120B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- map
- reliability
- map information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000005259 measurement Methods 0.000 claims description 33
- 238000012937 correction Methods 0.000 claims description 29
- 238000000926 separation method Methods 0.000 claims description 27
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、周囲の障害物を検知するセンサを備えた移動体を移動させて周囲の地図を作成する地図作成方法及び地図作成装置に関する。 The present invention relates to a cartographic method and a cartographic apparatus for creating a map of the surroundings by moving a moving body provided with a sensor for detecting an obstacle in the surroundings.
従来、障害物までの方位と距離の計測が可能なレーザ距離センサを移動させながら計測することにより、センサの周囲の障害物の位置を画像として自動的に生成する地図画像生成装置及び方法が提案されている(例えば特許文献1)。より具体的には、レーザ距離センサを搭載した移動型ロボットを移動させ、移動の前後の各測定位置において、周囲の障害物までの方位と距離の計測値をそれぞれ取得し、計測値に基づいて障害物の占有位置を示す画像をグリッド画像としてそれぞれ生成する。そして、移動の前後の各グリッド画像の情報を統合することにより地図画像を生成するものである。 Conventionally, a map image generator and method have been proposed that automatically generate an image of the position of an obstacle around the sensor by measuring while moving a laser distance sensor capable of measuring the direction and distance to an obstacle. (For example, Patent Document 1). More specifically, a mobile robot equipped with a laser distance sensor is moved, and measured values of the direction and distance to surrounding obstacles are acquired at each measurement position before and after the movement, and based on the measured values. Images showing the occupied positions of obstacles are generated as grid images. Then, a map image is generated by integrating the information of each grid image before and after the movement.
しかしながら、特許文献1に記載の地図画像生成装置は、レーザ光を周囲に走査して障害物に対する方位と距離の計測を行うと共に、得られた測定データに基づき周辺の各障害物の占有位置を示す画像をグリッド画像として生成するものであるが、測定の際の測定位置から各障害物までの位置関係には様々な場合があるため、グリッド画像中の各障害物の占有位置には、測定の際の測定位置から障害物までの測定距離が大きい測定データに基づくものと小さい測定データに基づくものとが混在する。ここで、一般的に、測定装置においては測定距離が大きくなるほど測定精度が低下する傾向がある。このため、グリッド画像中の各障害物の占有位置の間で測定結果の信頼性にばらつきが生じることとなる。
However, the map image generator described in
本発明は、前記課題に鑑みてなされたもので、信頼性情報を含むマップ情報の作成が可能な地図作成方法及び地図作成装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a map creation method and a map creation device capable of creating map information including reliability information.
本発明に係る地図作成装置は、移動機構を備えた移動体と、前記移動体に設けられ、ビームを周囲に向けて送信し、周囲の障害物から帰来した反射ビームを受信して前記障害物までの距離及び方向を計測するセンサ部と、前記移動体を移動させながら前記センサ部により計測された、前記障害物までの距離及び方向に基づいて、前記障害物の位置をマッピングしてマップ情報を生成するマップ情報生成部と、前記マップ情報を生成した際に前記移動体を移動させた移動ルートを判定する移動ルート判定部と、前記マップ情報における信頼性評価点に対して、前記移動ルートからの離間距離を算出する離間距離算出部と、前記マップ情報における信頼性評価点に対して、前記離間距離算出部により算出された離間距離に応じた信頼性情報を生成する信頼性情報生成部とを備えたものである。 The mapping apparatus according to the present invention is a moving body provided with a moving mechanism, and the moving body is provided with the moving body, transmits a beam toward the surroundings, receives a reflected beam returned from a surrounding obstacle, and receives the obstacle. Map information by mapping the position of the obstacle based on the distance and direction to the obstacle measured by the sensor unit while moving the moving body and the sensor unit that measures the distance and direction to the obstacle. The map information generation unit that generates the map information, the movement route determination unit that determines the movement route that moved the moving body when the map information was generated, and the movement route with respect to the reliability evaluation point in the map information. A separation distance calculation unit that calculates the distance from the map, and a reliability information generation unit that generates reliability information according to the separation distance calculated by the separation distance calculation unit for the reliability evaluation points in the map information. It is equipped with.
また、本発明に係る地図作成方法は、移動体の移動中に、前記移動体に設けられたセンサ部によりビームを周囲に向けて送信し、周囲の障害物から帰来した反射ビームを受信して前記障害物までの距離及び方向を計測する計測ステップと、前記計測ステップで計測された、前記障害物までの距離及び方向に基づいて、前記障害物の位置をマッピングしてマップ情報を生成するマップ情報生成ステップと、前記マップ情報を生成した際に前記移動体を移動させた移動ルートを判定する移動ルート判定ステップと、前記マップ情報における信頼性評価点に対して、前記移動ルートからの離間距離を算出する離間距離算出ステップと、前記マップ情報における信頼性評価点に対して、前記離間距離算出ステップにより算出された離間距離に応じた信頼性情報を生成する信頼性情報生成ステップとを備えたものである。 Further, in the map creation method according to the present invention, while the moving body is moving, a sensor unit provided on the moving body transmits a beam toward the surroundings, and receives a reflected beam returned from a surrounding obstacle. A map that generates map information by mapping the position of the obstacle based on the measurement step that measures the distance and direction to the obstacle and the distance and direction to the obstacle measured in the measurement step. The information generation step, the movement route determination step for determining the movement route to which the moving body was moved when the map information was generated, and the distance from the movement route with respect to the reliability evaluation point in the map information. It is provided with a separation distance calculation step for calculating the distance, and a reliability information generation step for generating reliability information according to the separation distance calculated by the separation distance calculation step for the reliability evaluation point in the map information. It is a thing.
これらの発明によれば、移動体の移動中に、前記移動体に設けられたセンサ部によりビームが周囲に向けて送信され、周囲の障害物から帰来した反射ビームが受信され、これにより前記障害物までの距離及び方向が計測される。計測された前記障害物までの距離及び方向に基づいて、前記障害物の位置をマッピングしてマップ情報が生成される。前記マップ情報が生成される際に前記移動体を移動させた移動ルートが判定され、すなわち特定される。そして、前記マップ情報における信頼性評価点に対して、前記移動ルートからの離間距離に応じた信頼性情報が生成される。生成された信頼性情報は、そのままの情報として利用に供される他、例えば表示されて利用に供される。従って、移動ルートからの離間距離に応じた信頼性情報を生成して、利用することで障害物の信頼性を認識し得、さらに移動体の好適走行に供することが可能となる。 According to these inventions, while the moving body is moving, a sensor unit provided on the moving body transmits a beam toward the surroundings, and receives a reflected beam returned from a surrounding obstacle, whereby the obstacle is described. The distance and direction to the object are measured. Map information is generated by mapping the position of the obstacle based on the measured distance and direction to the obstacle. When the map information is generated, the movement route to which the moving body is moved is determined, that is, specified. Then, with respect to the reliability evaluation points in the map information, reliability information corresponding to the distance from the movement route is generated. The generated reliability information is used as it is, or is displayed and used, for example. Therefore, by generating and using the reliability information according to the distance from the moving route, the reliability of the obstacle can be recognized, and the moving body can be used for suitable traveling.
また、前記離間距離が大きいほど信頼性を低く算出するようにしたので、実際に則した信頼性の利用が可能となる。 Further, since the reliability is calculated to be lower as the separation distance is larger, it is possible to use the reliability in accordance with the actual situation.
また、前記マップ情報を生成する際に移動中の前記移動体の自己位置を連続的に判定して記録する記録部を備え、前記移動ルート判定部は、前記記録部に記録された情報に基づき前記移動ルートを判定するものである。この構成によれば、移動ルートを記憶部に記憶することで、地図作成モード後において、必要に応じて信頼性情報を生成することが可能となる。 Further, the movement route determination unit includes a recording unit that continuously determines and records the self-position of the moving body when generating the map information, and the movement route determination unit is based on the information recorded in the recording unit. The movement route is determined. According to this configuration, by storing the movement route in the storage unit, it is possible to generate reliability information as needed after the map creation mode.
また、前記マップ情報生成部により作成されたマップ情報を表示する表示部と、前記マップ情報に対応して前記信頼性情報を前記表示部に表示する表示制御部とを備えたものである。この構成によれば、生成されたマップ情報及び前記マップ情報に対応して前記信頼性情報が表示部に表示されるので、マップ情報と信頼性情報との関係乃至は対応が視認容易となる。 Further, it includes a display unit that displays the map information created by the map information generation unit, and a display control unit that displays the reliability information on the display unit in response to the map information. According to this configuration, the reliability information is displayed on the display unit in response to the generated map information and the map information, so that the relationship or correspondence between the map information and the reliability information becomes easy to see.
また、前記移動体の移動ルートを設定する携行型の操作部を備え、前記操作部は、前記表示部及び前記表示制御部を備えたものである。この構成によれば、静止位置で表示画像を観察しながら、走行体の移動を遠隔操作できる。 Further, a portable operation unit for setting a movement route of the moving body is provided, and the operation unit includes the display unit and the display control unit. According to this configuration, the movement of the traveling body can be remotely controlled while observing the displayed image at a stationary position.
また、前記移動体の移動ルートを設定する携行型の操作部を備え、前記操作部は、前記マップ情報生成部、前記信頼性情報生成部、前記表示部及び前記表示制御部を備えたものである。この構成によれば、走行体側の機能部、特にソフトウェアの負担を軽減することが可能となる。 Further, a portable operation unit for setting a movement route of the moving body is provided, and the operation unit includes the map information generation unit, the reliability information generation unit, the display unit, and the display control unit. is there. According to this configuration, it is possible to reduce the load on the functional unit on the traveling body side, particularly the software.
また、前記信頼性情報生成部は、前記信頼性情報として、前記移動ルートから前記障害物の各位置までの前記離間距離方向を複数に区分し、区分毎に異なる表示形態を設定したものである。この構成によれば、信頼性情報の高低の視認が容易となる。 Further, the reliability information generation unit divides the distance direction from the movement route to each position of the obstacle into a plurality of directions as the reliability information, and sets different display modes for each division. .. According to this configuration, it becomes easy to visually recognize the high and low of the reliability information.
また、前記移動ルートからの離間距離が大きい程、輝度を低減するものである。この構成によれば、信頼性が低い程、輝度が低くなるように設定したので、人の感覚に対応したものとなる。 Further, the larger the distance from the moving route, the lower the brightness. According to this configuration, the lower the reliability, the lower the brightness is set, so that it corresponds to the human sense.
また、前記障害物の全ての位置に対する、高い信頼性情報及び低い信頼性情報の一方が対応付けられた前記障害物の位置の数との比率を地図精度情報として算出する地図精度算出部を備え、前記表示制御部は、算出した前記地図精度情報を前記表示部に表示するものである。この構成によれば、地図の精度が容易に認識される。 Further, it is provided with a map accuracy calculation unit that calculates the ratio of one of the high reliability information and the low reliability information to the number of positions of the obstacle as map accuracy information with respect to all the positions of the obstacle. The display control unit displays the calculated map accuracy information on the display unit. According to this configuration, the accuracy of the map is easily recognized.
また、前記表示部に表示されたマップ情報の一部に対する修正指示を受付けて、マップ情報を修正する第1のマップ情報修正部を備えたことを特徴とする。この構成によれば、例えば現場を観察しつつ、より正確に、あるいは無視し得るような空間に対してのマップ情報の手直しができるように、ユーザからの操作を受付けてマップ情報の一部について修正し得るようになる。このため、信頼性情報の低い箇所への修正指示の他、信頼性情報の高低と関係なく、所望する箇所のマップ情報が修正可能となる。従って、より正確にマップ情報が手直しされ得る。 Further, it is characterized in that it is provided with a first map information correction unit that receives a correction instruction for a part of the map information displayed on the display unit and corrects the map information. According to this configuration, for example, while observing the site, a part of the map information is received as an operation from the user so that the map information can be modified more accurately or negligibly for the space. You will be able to fix it. Therefore, in addition to the correction instruction to the place where the reliability information is low, the map information of the desired place can be corrected regardless of the level of the reliability information. Therefore, the map information can be reworked more accurately.
また、前記マップ情報のうち前記信頼性情報が低い障害物の情報を修正する第2のマップ情報修正部を備えたことを特徴とする。この構成によれば、マップ情報が自動的に修正され得るようにしたので、信頼性情報の低い箇所存在すると自動的に、あるいはユーザからの自動修正指示を受付けるなどして、より正確に近いマップ情報への修正が実行される。なお、この場合、修正した情報の信頼性情報を高く変更するようにしてもよい。 Further, it is characterized by including a second map information correction unit that corrects the information of the obstacle whose reliability information is low among the map information. According to this configuration, the map information can be corrected automatically, so if there is a place with low reliability information, the map will be more accurate by automatically receiving an automatic correction instruction from the user. Corrections to the information are performed. In this case, the reliability information of the corrected information may be changed to a high level.
また、前記マップ情報のうち前記信頼性情報が低い情報を消去するマップ情報消去部を備えたことを特徴とする。この構成によれば、例えばマップ情報を表示した場合に、表示されたマップ情報は全て信頼性情報の高い箇所として一律に認識し得る。 Further, the map information erasing unit for erasing the map information having low reliability information is provided. According to this configuration, for example, when map information is displayed, all the displayed map information can be uniformly recognized as places with high reliability information.
また、前記表示部に表示されたマップ情報中に作業用移動体の作業用移動ルートを設定する作業用移動ルート設定部を備え、前記作業用移動ルート設定部は、作業用移動ルートが前記信頼性情報の低い障害物の位置の近傍を通過する設定か否かを判定し、判定が肯定された場合、前記設定を規制するものである。この構成によれば、作業用移動ルートが信頼性情報の低い障害物の位置の近傍を通過する場合、走行体が障害物に衝突するなどして、作業の中断を招く虞が高くなることから、かかる信頼性情報の低い経路の通過を無効、禁止、変更する等の規制処理を施すことが可能となる。この場合、信頼性の高い経路に切り替えるようにしてもよい。 Further, the work movement route setting unit for setting the work movement route of the work moving body in the map information displayed on the display unit is provided, and the work movement route setting unit has the reliability of the work movement route. It is determined whether or not the setting passes near the position of an obstacle with low sexual information, and if the determination is affirmed, the setting is regulated. According to this configuration, when the work movement route passes near the position of an obstacle with low reliability information, there is a high possibility that the traveling body collides with the obstacle and the work is interrupted. , It is possible to apply regulatory processing such as invalidating, prohibiting, or changing the passage of such a route with low reliability information. In this case, the route may be switched to a highly reliable route.
本発明によれば、移動ルートからの離間距離に応じた信頼性情報を生成して、障害物の信頼性を認識し、移動体の好適移動に供することができる。 According to the present invention, it is possible to generate reliability information according to the distance from the movement route, recognize the reliability of the obstacle, and use the moving body for suitable movement.
図1に示すように、地図作成装置1は、床面を移動する走行体20と、走行体20の移動を遠隔操作する操作部である、例えば携行型のタブレット10とを備えている。走行体20は、タブレット10によって遠隔操作される機能を備えたものであるが、併せて自律走行可能な機能を備えていてもよい。走行体20は、基台21と、左右の駆動車輪22と、従動の後輪23とを備えている。走行体20は、左右の駆動車輪22がそれぞれのモータ51(図3参照)で駆動されることで、床面上を自在に走行する。基台21上の進行方向前側には、周囲の障害物までの距離を計測するセンサ、例えばレーザレンジセンサ(Laser Range Finder;以下、LRFという。)40が搭載されている。また、基台21の上面適所には制御ユニット部200が配置されている。
As shown in FIG. 1, the map-creating
なお、図1では示していないが、基台21の上面側には作業目的にあった部材、例えば清掃ロボットであれば、ゴミ吸引器やウェット洗浄部等の作業ユニットが搭載されていてもよい。また、走行体20は、種々の態様が採用可能である。以下では、清掃用のロボットを例示して説明するが、その他の例として、指定された領域内で作業を行う、車輪その他の移動機構を備えた各種の作業ロボット機器(警備ロボット、家事支援ロボット、動物型ロボット等)でもよい。
Although not shown in FIG. 1, a member suitable for the work purpose, for example, a work unit such as a dust suction device or a wet cleaning unit may be mounted on the upper surface side of the base 21 if it is a cleaning robot. .. In addition, various modes can be adopted for the traveling
タブレット10は、画像が表示される表示部11と、ユーザの入力操作を受付ける入力部12とを少なくとも備えている。入力部12は、公知のように透明薄層の感圧素子が表示部11に積層されたタッチパネルが採用された態様でもよく、この場合、表示画面に表示されるボタン等に対してタッチ操作を行うことで、入力操作が可能となる。画面に表示される予め設定された各種ボタン等と実行される機能とを対応付けておくことで、入力内容に応じた機能の実行が指示される。なお、表示部11への画像の表示処理は、表示制御部111(図3参照)によって行われる。タブレット10は、無線あるいは有線を介して、走行する走行体20との間で種々の情報を近距離通信可能にされている。
The
LRF40は、図2に示すように、レーザ光Lを水平面内で放射状にスキャンしながら出力すると共に、周囲の壁などの障害物80で反射し、帰来した反射光を受光して、各出力方向について障害物80までの距離を、TOF(Time of Flight)の原理に従って計測する。LRF40は、光学式のレーザ光送受部41(図3参照)を回転軸周りに回転させながらレーザ光Lの送受信を行う。LRF40のスキャン範囲は、進行方向前方を基準に左右に所定角度範囲である。本実施形態では、レーザ光Lは、基準から左右100度までのスキャン範囲を1度毎に出力する。スキャン範囲に対する測定周期は、例えば50ms(ミリ秒)とし、必要に応じて間引き処理を可能にしている。LRF40は、各測定方向の情報と測離情報とを対応させて、測定周期毎に距離情報出力部42を介して制御部30に出力する(図3参照)。
As shown in FIG. 2, the LRF40 outputs the laser beam L while scanning it radially in a horizontal plane, reflects it by an
ところで、図2に示すように、放射状に出射されるレーザ光Lは、出射点から離れるにつれて隣接するレーザ光Lとの間の距離が大きくなる。すなわち、ある方位分解能(本実施形態では、1度)の元では、出射点からの距離が大きくなるほど、方位方向の測距精度は低下する。例えば、図2において、出射点から2倍の距離関係にある位置D1,D2では、近い側D1では、方位方向の分解能距離はd1であり、これに対して遠い側D2ではd1の2倍のd2となるから、すなわち測距情報の信頼性は低下する。この例では、障害物80の上端801が約d2の寸法範囲で誤差となる。なお、距離が大きくなると、レーザレベルの低下に起因し、距離方向の精度も低下すると思われる。分解能距離レーザ光のレベルそこで、後述するように、かかる信頼性に関する情報を生成してユーザの操作に供するようにしている。
By the way, as shown in FIG. 2, the laser beam L emitted radially increases the distance between the laser beam L and the adjacent laser beam L as the distance from the emission point increases. That is, under a certain directional resolution (1 degree in this embodiment), the distance measurement accuracy in the directional direction decreases as the distance from the emission point increases. For example, in FIG. 2, at positions D1 and D2, which are twice as far from the emission point, the resolution distance in the azimuth direction is d1 on the near side D1, whereas the resolution distance in the directional direction is twice as large as d1 on the far side D2. Since it becomes d2, that is, the reliability of the distance measurement information is lowered. In this example, the
図3において、地図作成装置1の走行体20は、制御部30、LRF40及び駆動部50を備えると共に、記憶部60を備えている。制御部30は、例えばプロセッサ(CPU)を備えたマイクロコンピュータ等で構成されている。
In FIG. 3, the traveling
レーザ光送受部41は、前述したように、周囲にレーザ光を出力すると共に障害物80から帰来したビーム光を受光して測距を行い、各方向と測距情報とを対応付けて一時的に記憶すると共に、測定1周期分の計測結果を距離情報出力部42を介して制御部30に出力する。
As described above, the laser light transmission /
駆動部50のエンコーダ52は左右の駆動車輪22に対応して設けられ、各駆動車輪22の回転量を継続的に計測するものである。左右の計測結果から、左右の駆動車輪22の移動量を算出して、走行体2の移動距離及び移動方向を周期的に測定する。
The
記憶部60は、各種の情報を一時的に格納するもので、測定情報記憶部61、ノード情報記憶部62、マップ情報記憶部63、走行ルート情報記憶部64、及びワークエリアを有する。
The
制御部30は、制御プログラム記憶部601に格納された制御プログラムを記憶部60のワークエリアに読み出して実行することで、走行制御部300、測距制御部301、ノード情報生成部302、マップマッチング部303、地図作成部304、走行ルート判定部305、離間距離算出部306、信頼性情報生成部307、地図精度算出部308、マップ情報修正部309及び作業用移動ルート設定部310として機能する。
The
走行制御部300は、自律走行型でもよいが、以下ではタブレット10からの操作指令に従って走行するタイプとして説明する。タブレット10は、少なくとも地図作成モードが準備されている。地図作成モードでは、表示部11に、作業領域WA(図4参照)となる地図作成対象空間を含むマップ空間が所定の形式で、例えば方位を基準にした平面図の画像が表示されると共に、走行方向及び走行速度のうち、少なくとも走行方向を操作指示(操縦)するボタンが表示される。タブレット10は、操作指示に応じた指令信号を走行体20に送信する。走行制御部300は、タブレット10からの前記操作指令を受けて、左右のモータ51の回転量等を制御して走行体20の走行方向を変更などする。ユーザは地図作成対象空間を観察しながら走行体20の走行を制御することで、壁その他の物体である障害物80を避けながら走行する。エンコーダ52は周期的にモータ51の回転量を測定し、走行量情報として測定情報記憶部61に記憶する。
The
測距制御部301は、地図作成モードにおいて、走行制御部300によって走行されながら、所定の周期でLRF40を動作させて、周囲の障害物80の存否及び距離を計測する。測距制御部301は、1スキャン毎に取得された各方向の距離情報を距離情報出力部42を経て測定情報記憶部61に記憶する。
In the map creation mode, the distance measuring
ノード情報生成部302、マップマッチング部303及び地図作成部304は、後述するSLAM(Simultaneous Localization And Mapping)処理を実行する機能部を構成する。地図作成モードでは、自己位置を推定しつつ地図を作成する、公知のSLAM処理を用いることができる。SLAM処理は、走行と連動して、走行体20の移動距離と方向とを計算して走行体20の位置を計算するオドメトリ処理、ノード情報の生成処理、スキャンマッチ処理及び地図生成処理を繰り返し実行するもので、これによって地図が順次作成される。
The node
より具体的には、ノード情報生成部302は、LRF40で測定された各方向の距離情報及びエンコーダ52で測定された回転量情報から、各方向における壁等の障害物80の位置及びオドメトリ処理によって計算した自己位置を表すノードとよばれる、所定のタイミングにおけるローカル地図をドットDP(図4参照)の集合として生成する。生成されたノード情報は、その都度、ノード情報記憶部62に記憶される。
More specifically, the node
マップマッチング部303は、順次新たに生成されたノードを前回までにつなぎ合わされたノードにつなぎ合わせるものである。マップマッチング部303は、順次得られた各ノードをつなぎ合わせていく際に、各ノードに示されている自己位置を中心に、各ノード情報での、障害物80の位置(ドットDP)同士が最も重なり合う位置を見つける、いわゆるスキャンマッチ処理を行う。これにより、各ノード同士を高い精度でつなぎ合わせることが可能となる。
The
地図作成部304は、測定範囲外形相当の面積を持つ予め用意した空のマップ画像上に、マップマッチング部303によって新たなノードをつなぎ合わせる毎に、新たなノードにおける障害物80の位置(ドットDP)を描く。作成されたマップ画像はマップ情報としてマップ情報記憶部63に記憶される。地図作成部304は、空のマップ画像内に描いた障害物80の位置よりも自己位置側に近い領域を、走行体20の走行領域70(図4参照)として認識し、反対側を障害物80の領域と認識する。これにより、地図作成部304は、走行領域70と障害物80とを含むマップ画像として作成される。
The
図4は、地図作成部304によって作成されたマップ画像の一例を示す平面図で、作業領域WA内には、走行領域70とドットDPの集合からなる障害物80とが表示されている。なお、図4中、障害物80のドットDPに対応して、中間色で示されている領域は、理解を助けるために、実際の障害物の部分を示したもので、表示部11には表示されない。また、ドットDPの個数は、説明の便宜上のもので、必ずしも正確ではない。走行体20は、走行領域70内を走行ルート701のように、走行開始点SPから矢印方向に沿って1周している。
FIG. 4 is a plan view showing an example of a map image created by the
走行ルート判定部305、離間距離算出部306及び信頼性情報生成部307は、作成された地図の信頼性に関する情報を生成する処理を実行する。
The travel
走行ルート判定部305は、地図作成部304で作成されたマップ情報のうちから、後述する信頼性情報の生成に際して必要となる走行体20の走行ルート701の情報を判定して特定し、走行ルート情報記憶部64に記憶する。走行ルート情報は、例えば各ノードでの走行体20の位置及び前後のノード情報から求まる走行方向の情報を含む。
The travel
離間距離算出部306は、マップ情報における信頼性評価点(信頼性を評価する対象となる位置)に対して、走行ルート701上の各位置からの距離、すなわち走行ルート701に直角な方向へ向かう、走行ルート701からの距離情報を算出するものである。
The separation
信頼性情報生成部307は、マップ情報における信頼性評価点に対して、離間距離算出部306によって算出された走行ルートに直角な方向における距離が予め設定された設定距離より近い側か遠い側かの区分を行う。区分は、走行ルート701からの離間距離情報、すなわち図2で説明した、方位方向の分解能距離の大小に対応することから信頼性情報として扱うことができる。なお、設定距離は1個の他、複数個でもよい。この場合、各区分に応じた信頼性情報が生成される。なお、信頼性情報は、離間距離が小さいほど高く、離れる程低くなるように設定される。また、信頼性情報は、マップ画像上に表示する態様以外で利用することができ、さらに後述するように、地図作成モード後の作業モード時等における部分修正において利用する態様でもよい。
In the reliability
図5は、走行ルート701からの離間距離が設定距離d0より小さいか大きいかで2区分した状態を示す説明図である。図5では、矢印で示すように右方に走行する場合を想定しており、走行ルート701の右側では境界9Rで区分され、走行ルート701の左側では境界9Lで区分されている。設定距離d0より近い方の領域を第1区分91とし、遠い方の領域を第2区分92とする。
FIG. 5 is an explanatory diagram showing a state in which the distance from the traveling
また、信頼性情報生成部307は、信頼性情報を表示する場合の表示形態として、各区分91,92に対して異なる表示形態を設定する。例えば、第1区分91の輝度は高い信頼性を示すものとして通常表示(例えば地色での表示)とし、一方、第2区分92については、相対的に低い信頼性を示すものとして輝度を相対的に低減させるようにすることができる。あるいは、識別可能な範囲で、輝度の他、彩度、色相を変更したり、他色との混合割合を変更したりする態様でもよい。更に区分に応じて点滅表示等を採用してもよい。
Further, the reliability
図6は、第1実施形態に係る信頼性情報の表示態様を示している。図6では、図4のマップ画像に区分91,92を対応して重畳表示したものである。区分91は通常表示とし、区分92は輝度を低減して表示し、これにより信頼性の低い領域を識別容易としている。
FIG. 6 shows a display mode of reliability information according to the first embodiment. In FIG. 6,
なお、区分数は2個に限らず、それ以上でもよい。図7は、第2実施形態に係る信頼性情報の表示態様を示している。図7では、図4のマップ画像に設定距離d0,d1(>d0)によって3つの区分91,92,93を設定したものである。区分91,92,93は離間距離が遠い程、例えば輝度を順次低減して表示し、これにより各区分を識別容易としている。
The number of divisions is not limited to two, and may be more than two. FIG. 7 shows a display mode of reliability information according to the second embodiment. In FIG. 7, three
地図精度算出部308は、マップ画像上の障害物のドットDPの個数のうち、信頼性の高い区分(領域)に含まれているドットDPの個数との比率を算出するもので、地図全体の信頼性に関する精度を示すものである。なお、地図精度は、全体のドット数と信頼性の低い区分に含まれるドットの個数との比率で表現してもよい。また、地図全体の地図精度に相当する情報であれば、比率以外の表示形態でもよい。
The map
図8は、第3実施形態に係る信頼性情報の表示態様を示している。図8では、マップ画像全体における信頼性に関する地図精度を表示している。画面の適所には表示枠101が設けられ、地図精度が比率(%)で数値表示されている。表示枠102は、必要に応じて設定されるもので、ユーザによって位置、サイズが指定可能である。表示枠102内に含まれるドットDPは地図精度の比率を算出する際に計算対象外として扱われる。例えば、マップ画像内で予め作業対象とされていないとか、信頼性の低い領域に対して、当該領域の信頼性情報を計算上除外する場合に利用し得る。
FIG. 8 shows a display mode of reliability information according to the third embodiment. FIG. 8 shows the map accuracy regarding the reliability of the entire map image. A
マップ情報修正部309は、修正モードを選択し、この修正モードにおいて、表示部11に表示されたマップ情報のうち主に信頼性情報が低い区分に含まれる障害物の位置に対する修正指示を、タッチパネルである入力部12によって例えば画面上をなぞることで、その位置を受け付けて、修正指示された線画にマップを書き替え、また、書き替えられた障害物を含む区分に対し、必要に応じて低い信頼性情報を高い信頼性情報に変更してもよい。この場合、マップ情報修正部309は、第1のマップ情報修正部として機能する。例えば区分92であれば区分91(または区分93であれば区分91)に変更する。なお、マニュアル操作指示の場合、信頼性情報が低い区分内の修正に限定されるものではなく、その他の領域に対しても修正指示を行うようにしてもよい。
The map
また、修正モードは、マニュアル操作指示の他に、自動修正を行う態様を備えてもよい。この場合、マップ情報修正部309は、第2のマップ情報修正部として機能する。自動修正では、マップ情報のうち、信頼性情報が低い区分に含まれる障害物の位置に対する修正処理を実行する。あるいは、ユーザからの自動修正指示を受付けるなどして、修正処理を実行する、また、修正された区分乃至は領域について、必要に応じて低い信頼性情報を高い信頼性情報に変更してもよい。
Further, the correction mode may include a mode of performing automatic correction in addition to the manual operation instruction. In this case, the map
また、マップ情報修正部309は、マップ情報のうち信頼性情報が低い情報乃至は区分の情報を消去するマップ情報消去部として機能することができる。この場合、信頼性情報の低い区分などを消去することで、例えばマップ情報を表示した場合に、表示されたマップ情報は全て信頼性情報の高い箇所として一律に認識し得る。
Further, the map
作業用移動ルート設定部310は、地図作成モード終了後に設定可能な作業モードの開始に当たり、マップ画像を表示部11に表示すると共に、表示されたマップ画像中に、走行体20と同様の走行機能部を備え、かつ作業ユニットを搭載した作業用走行体に対して、入力部12を介して作業用移動ルートを、自動であるいはマニュアルで設定するものである。作業用移動ルート設定部310は、作業用移動ルートが信頼性情報の低い障害物の位置の、例えば区分92,93内を通過(経由)する設定となっているか否かを判定し、区分92,93内を通過する設定となっている場合、設定を規制、すなわち、その旨を報知し、設定の無効、禁止、乃至はその部分についてルートの変更を催促し又は指示し、信頼性のより高い区分91を通るルートに、マニュアルで、又は自動で修正する。
The work movement
図9は、作業モードにおいてマップ画像上に表示された作業用移動ルートの修正を説明するものである。図9において、予め設定された作業用移動ルート103が作業ポイントWOPに向かう途中で、信頼性の低い領域である区分92を通過している。そこで、その旨の報知を受けて、修正モードでマニュアルによって信頼性の高い領域である区分91を経由するようにルート104の変更を指示する。
FIG. 9 illustrates the modification of the work movement route displayed on the map image in the work mode. In FIG. 9, the preset
図10は、地図作成・信頼性情報表示処理の一実施形態を説明するフローチャートである。図10において、まず、走行体20の移動制御及びLRF40の動作が開始される(ステップS1)。次いで、周期的にエンコーダ52による計測結果及びLRF40による測距結果からノード情報が作成される(ステップS3)、次いで、新たなノード情報を利用して、マップマッチングが実行され(ステップS5)、マップ情報に基づいて、平面視でのマップ画像である地図が作成されて、表示部11に表示される(ステップS7)。次いで、走行体20が1周して戻ってきたなどにより地図作成処理が終了したか否かが判断され(ステップS9)、終了していなければ、ステップS3に戻って同様な処理が繰り替えされる。
FIG. 10 is a flowchart illustrating an embodiment of map creation / reliability information display processing. In FIG. 10, first, the movement control of the traveling
一方、地図作成処理が終了した場合、走行ルート701の作成処理が実行され(ステップS11)、離間距離の算出(ステップS13)、及び信頼性情報生成処理が実行される(ステップS15)。次いで、信頼性情報を表示部11のマップ画像に対応して重畳表示するか否かが判断され(ステップS17)、入力部12を介して重畳表示する旨の指示が入力された場合、信頼性情報が表示部11に表示され(ステップS19)、そうでなければ、ステップS19をスキップして、本フローを終了する。なお、上記処理において、ステップS17をスキップするようにしてもよい。
On the other hand, when the map creation process is completed, the
なお、本実施形態では、走行ルートの直角な方向に区分けする区分91,92,93を設定距離d0,d1で決めたが、障害物80までの離間距離に応じて障害物80の信頼性情報を設定する態様としてもよい。この場合、障害物80のマップ画像であるドットDPの輝度等を信頼性情報に対応して変更するようにすればよい。
In the present embodiment, the
また、前記実施形態では、制御部30を走行体20側に設けたが、制御部30の機能部の全て又は一部をタブレット10側に設けてもよい。
Further, in the above-described embodiment, the
また、測距センサとしてレーザ光の利用に代えて超音波ビームを送受信することで、障害物までの距離を測定するものでもよい。 Further, the distance to an obstacle may be measured by transmitting and receiving an ultrasonic beam instead of using a laser beam as a distance measuring sensor.
また、タブレット10の持つ機能部を備えた走行体20とした態様でもよい。また、地図作成モードの開始時に、走行予定ルートあるいは大まかな走行予定ルートを予め設定する態様とすることもでき、また、障害物との距離を設定範囲内に維持しつつ走行する設定条件下で自律走行する態様でもよい。また、ドットDPを結んで障害物80を線画に変換する機能部を持たせてもよい。
Further, the traveling
また、上述の実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 Also, the description of the embodiments described above should be considered to be exemplary in all respects and not restrictive. The scope of the present invention is shown not by the above-described embodiment but by the scope of claims. Furthermore, the scope of the present invention is intended to include all modifications within the meaning and scope equivalent to the claims.
10 タブレット
11 表示部
111 表示制御部
12 入力部(操作部)
20 走行体(移動体)
30 制御部
300 走行制御部
301 測距制御部
302 ノード情報生成部(マップ情報生成部)
303 マップマッチング部(マップ情報生成部)
304 地図作成部(マップ情報生成部)
305 走行ルート判定部(移動ルート判定部)
306 離間距離算出部
307 信頼性情報生成部
308 地図精度算出部
309 マップ情報修正部
310 作業用移動ロード設定部
40 LRF(センサ部)
50 駆動部(移動機構)
60 記憶部
70 走行領域
701 走行ルート
80 障害物
91,92,93 区分
101 表示枠
102 表示枠
WA 作業領域
10
20 Running body (moving body)
30
303 Map matching unit (map information generation unit)
304 Map Creation Department (Map Information Generation Department)
305 Travel route determination unit (Movement route determination unit)
306 Separation
50 Drive unit (movement mechanism)
60
Claims (15)
前記移動体に設けられ、ビームを周囲に向けて送信し、周囲の障害物から帰来した反射ビームを受信して前記障害物までの距離及び方向を計測するセンサ部と、
前記移動体を移動させながら前記センサ部により計測された、前記障害物までの距離及び方向に基づいて、前記障害物の位置をマッピングしてマップ情報を生成するマップ情報生成部と、
前記マップ情報を生成した際に前記移動体を移動させた移動ルートを判定する移動ルート判定部と、
前記マップ情報における信頼性評価点に対して、前記移動ルートからの離間距離を算出する離間距離算出部と、
前記マップ情報における信頼性評価点に対して、前記離間距離算出部により算出された離間距離に応じた信頼性情報を生成する信頼性情報生成部とを備えた地図作成装置。 A moving body with a moving mechanism and
A sensor unit provided on the moving body that transmits a beam toward the surroundings, receives a reflected beam returned from a surrounding obstacle, and measures the distance and direction to the obstacle.
A map information generation unit that maps the position of the obstacle and generates map information based on the distance and direction to the obstacle measured by the sensor unit while moving the moving body.
A movement route determination unit that determines a movement route that moves the moving body when the map information is generated, and a movement route determination unit.
A separation distance calculation unit that calculates the separation distance from the movement route with respect to the reliability evaluation point in the map information,
A map creation device including a reliability information generation unit that generates reliability information according to a separation distance calculated by the separation distance calculation unit with respect to a reliability evaluation point in the map information.
前記移動ルート判定部は、前記記録部に記録された情報に基づき前記移動ルートを判定する請求項1又は2に記載の地図作成装置。 A recording unit is provided which continuously determines and records the self-position of the moving body when generating the map information.
The cartographic device according to claim 1 or 2, wherein the movement route determination unit determines the movement route based on the information recorded in the recording unit.
前記マップ情報に対応して前記信頼性情報を前記表示部に表示する表示制御部とを備えた請求項1〜3のいずれかに記載の地図作成装置。 A display unit that displays the map information created by the map information generation unit, and a display unit that displays the map information.
The map creation device according to any one of claims 1 to 3, further comprising a display control unit that displays the reliability information on the display unit in response to the map information.
前記操作部は、前記表示部及び前記表示制御部を備えた請求項4に記載の地図作成装置。 It is equipped with a portable operation unit that sets the movement route of the moving body.
The cartographic device according to claim 4, wherein the operation unit includes the display unit and the display control unit.
前記操作部は、前記マップ情報生成部、前記信頼性情報生成部、前記表示部及び前記表示制御部を備えた請求項4に記載の地図作成装置。 It is equipped with a portable operation unit that sets the movement route of the moving body.
The map creation device according to claim 4, wherein the operation unit includes the map information generation unit, the reliability information generation unit, the display unit, and the display control unit.
前記表示制御部は、算出した前記地図精度情報を前記表示部に表示する請求項4〜8のいずれかに記載の地図作成装置。 The map to the number of positions of the obstacle in the information, reliability information, and low reliability map accuracy computing section the ratio of the number of positions in one of which associated the obstacle information calculating as the map accuracy information With
The map creation device according to any one of claims 4 to 8, wherein the display control unit displays the calculated map accuracy information on the display unit.
前記作業用移動ルート設定部は、作業用移動ルートが前記信頼性情報の低い障害物の位置の近傍を通過する設定か否かを判定し、判定が肯定された場合、前記設定を規制する請求項4〜9のいずれかに記載の地図作成装置。 A work movement route setting unit for setting a work movement route of a work moving body in the map information displayed on the display unit is provided.
The work movement route setting unit determines whether or not the work movement route is set to pass near the position of the obstacle having low reliability information, and if the determination is affirmed, the claim for restricting the setting. Item 4. The cartography apparatus according to any one of Items 4 to 9.
マップ情報生成部が、前記測距制御部で計測された、前記障害物までの距離及び方向に基づいて、前記障害物の位置をマッピングしてマップ情報を生成し、
移動ルート判定部が、前記マップ情報を生成した際に前記移動体を移動させた移動ルートを判定し、
離間距離算出部が、前記マップ情報における信頼性評価点に対して、前記移動ルートからの離間距離を算出し、
信頼性情報生成部が、前記マップ情報における信頼性評価点に対して、前記離間距離算出部により算出された離間距離に応じた信頼性情報を生成する地図作成方法。 While the moving body is moving, the distance measuring control unit transmits a beam toward the surroundings by a sensor unit provided on the moving body, receives a reflected beam returned from a surrounding obstacle, and reaches the obstacle. Measure the distance and direction,
The map information generation unit maps the position of the obstacle based on the distance and direction to the obstacle measured by the distance measurement control unit, and generates map information.
The movement route determination unit determines the movement route to which the moving body is moved when the map information is generated, and determines the movement route.
The separation distance calculation unit calculates the separation distance from the movement route with respect to the reliability evaluation point in the map information.
A map creation method in which a reliability information generation unit generates reliability information according to a separation distance calculated by the separation distance calculation unit with respect to a reliability evaluation point in the map information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016148313A JP6867120B2 (en) | 2016-07-28 | 2016-07-28 | Cartography method and cartography device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016148313A JP6867120B2 (en) | 2016-07-28 | 2016-07-28 | Cartography method and cartography device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018017900A JP2018017900A (en) | 2018-02-01 |
JP6867120B2 true JP6867120B2 (en) | 2021-04-28 |
Family
ID=61081449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016148313A Active JP6867120B2 (en) | 2016-07-28 | 2016-07-28 | Cartography method and cartography device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6867120B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6764612B2 (en) * | 2018-02-05 | 2020-10-07 | 株式会社大一商会 | Game machine |
JP6764613B2 (en) * | 2018-02-05 | 2020-10-07 | 株式会社大一商会 | Game machine |
JP6764615B2 (en) * | 2018-02-05 | 2020-10-07 | 株式会社大一商会 | Game machine |
JP6764619B2 (en) * | 2018-02-05 | 2020-10-07 | 株式会社大一商会 | Game machine |
JP6764610B2 (en) * | 2018-02-05 | 2020-10-07 | 株式会社大一商会 | Game machine |
JP6764616B2 (en) * | 2018-02-05 | 2020-10-07 | 株式会社大一商会 | Game machine |
US10611028B1 (en) | 2018-11-30 | 2020-04-07 | NextVPU (Shanghai) Co., Ltd. | Map building and positioning of robot |
CN109682368B (en) * | 2018-11-30 | 2021-07-06 | 上海肇观电子科技有限公司 | Robot, map construction method, positioning method, electronic device and storage medium |
CN112034830B (en) * | 2019-06-03 | 2024-07-26 | 美智纵横科技有限责任公司 | Map information processing method and device and mobile equipment |
JP7411208B2 (en) * | 2019-11-26 | 2024-01-11 | 地方独立行政法人東京都立産業技術研究センター | Map creation method, map creation device, location estimation method, and location estimation device |
JP2023122597A (en) * | 2020-07-28 | 2023-09-04 | ソニーグループ株式会社 | Information processor, information processing method and program |
JP7040660B1 (en) | 2021-03-23 | 2022-03-23 | 株式会社リコー | Information processing equipment and information processing method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007226322A (en) * | 2006-02-21 | 2007-09-06 | Sharp Corp | Robot control system |
JP4682870B2 (en) * | 2006-02-24 | 2011-05-11 | 株式会社デンソー | Driving assistance device |
JP5304128B2 (en) * | 2008-09-16 | 2013-10-02 | 村田機械株式会社 | Environmental map correction device and autonomous mobile device |
JP5826795B2 (en) * | 2013-06-14 | 2015-12-02 | シャープ株式会社 | Autonomous mobile body, its control system, and self-position detection method |
-
2016
- 2016-07-28 JP JP2016148313A patent/JP6867120B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018017900A (en) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6867120B2 (en) | Cartography method and cartography device | |
JP6136543B2 (en) | Autonomous mobile | |
JP6610797B2 (en) | Autonomous traveling device | |
US8515613B2 (en) | Environmental map correction device and autonomous mobile device | |
JP4788722B2 (en) | Autonomous mobile robot, self-position estimation method, environmental map generation method, environmental map generation device, and environmental map data structure | |
US7539563B2 (en) | System and method for identifying objects in a space | |
JP6079415B2 (en) | Autonomous mobile | |
CN108177162B (en) | The interference region setting device of mobile robot | |
US20060293810A1 (en) | Mobile robot and a method for calculating position and posture thereof | |
JP5278283B2 (en) | Autonomous mobile device and control method thereof | |
JP6052045B2 (en) | Autonomous mobile | |
JPWO2019097626A1 (en) | Self-propelled vacuum cleaner | |
JP2016201095A (en) | Restricting movement of mobile robot | |
JP6962007B2 (en) | Driving control device for autonomous driving trolley, autonomous driving trolley | |
JP2011209845A (en) | Autonomous mobile body, self-position estimation method and map information creation system | |
JP6074205B2 (en) | Autonomous mobile | |
US20200356099A1 (en) | Information processing apparatus and information processing method | |
CN111168669A (en) | Robot control method, robot, and readable storage medium | |
JP5212939B2 (en) | Autonomous mobile device | |
WO2016158683A1 (en) | Mapping device, autonomous traveling body, autonomous traveling body system, mobile terminal, mapping method, mapping program, and computer readable recording medium | |
KR20220106802A (en) | How to determine the starting point of the robot movement limit frame and control the motion | |
KR101475207B1 (en) | Simulation device used for trainning of robot control | |
JP2021096602A (en) | Apparatus and method for planning route and autonomous travel truck | |
WO2022097335A1 (en) | Autonomous travel path planning method | |
WO2022054647A1 (en) | Traveling region determination method and autonomous traveling body |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210408 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6867120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |