Nothing Special   »   [go: up one dir, main page]

JP6306115B2 - Perimeter monitoring equipment for crawler type work machines - Google Patents

Perimeter monitoring equipment for crawler type work machines Download PDF

Info

Publication number
JP6306115B2
JP6306115B2 JP2016184508A JP2016184508A JP6306115B2 JP 6306115 B2 JP6306115 B2 JP 6306115B2 JP 2016184508 A JP2016184508 A JP 2016184508A JP 2016184508 A JP2016184508 A JP 2016184508A JP 6306115 B2 JP6306115 B2 JP 6306115B2
Authority
JP
Japan
Prior art keywords
crawler
image
work machine
camera
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016184508A
Other languages
Japanese (ja)
Other versions
JP2017066860A (en
Inventor
正臣 町田
正臣 町田
栗原 毅
毅 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2016184508A priority Critical patent/JP6306115B2/en
Publication of JP2017066860A publication Critical patent/JP2017066860A/en
Application granted granted Critical
Publication of JP6306115B2 publication Critical patent/JP6306115B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、クローラ式作業機械の周辺監視装置に関する。   The present invention relates to a periphery monitoring device for a crawler type work machine.

従来、作業機械の車体に複数のカメラを取り付け、各カメラで撮像された画像から俯瞰画像を生成し、操縦席内部に設けられたモニタにより、作業者が上部旋回体の周囲の状況を確認しながら、上部旋回体の旋回操作を行う技術として、作業機械の周辺監視装置が知られている(例えば、特許文献1参照)。
このような周辺監視装置は、近年、種々の油圧ショベルにも搭載されている。
Conventionally, a plurality of cameras are attached to the body of a work machine, an overhead view image is generated from images captured by each camera, and an operator confirms the situation around the upper swing body with a monitor provided inside the cockpit. However, a peripheral monitoring device for a work machine is known as a technique for performing a turning operation of the upper turning body (see, for example, Patent Document 1).
In recent years, such a peripheral monitoring device is also mounted on various hydraulic excavators.

油圧ショベルには、ブーム、アーム、及びバケットを備えた作業機に加え、ブレード等のオプションが装着されることがある。ブレードは、下部走行体に装着され、ブレードを地面に着地させた状態で下部走行体を走行させることにより、盛土作業、整地作業を行うことができる(例えば、特許文献2参照)。   In addition to a work machine including a boom, an arm, and a bucket, options such as a blade may be attached to the hydraulic excavator. The blade is attached to the lower traveling body, and can perform filling work and leveling work by traveling the lower traveling body with the blade landed on the ground (see, for example, Patent Document 2).

また従来から、上部旋回体のカウンタウェイト後端部の位置に基づいて、目安線(例えば、上部旋回体が旋回したときにカウンタウェイト後端部が通る軌跡を表す線等)を俯瞰画像や単カメラ画像(1つのカメラが撮像した画像)に表示する技術が知られている。   Further, conventionally, based on the position of the counterweight rear end of the upper swing body, a reference line (for example, a line indicating a trajectory that the counterweight rear end passes when the upper swing body rotates) is displayed as an overhead image or a single image. A technique for displaying on a camera image (an image captured by one camera) is known.

特開2013−253402号公報JP2013-253402A 特開2008−2113号公報JP 2008-2113 A

ところで、油圧ショベル等のクローラ式作業機械は、左右の履帯の回転方向を逆向き(例えば、右履帯を前進側に、左履帯を後進側に操作)にすることにより、下部走行体と上部旋回体からなる油圧ショベル全体を、ある旋回中心を中心に回転させる、いわゆる超信地旋回が可能である。   By the way, a crawler type work machine such as a hydraulic excavator turns the upper and lower tracks by turning the left and right crawler belts in opposite directions (for example, operating the right crawler forward and the left crawler backward). It is possible to perform so-called super-spinning, in which the entire hydraulic excavator comprising the body is rotated around a certain turning center.

また、油圧ショベルには様々なタイプの製品が存在し、その中でも後方小旋回型の油圧ショベル(後述するが図1に記載されたものが該当)は、通常型の油圧ショベルよりも上部旋回体の後方側が小さくなるように設計されている。そのため、通常型の油圧ショベルであれば旋回中心から最も離れた位置は、カウンタウェイト後端部になることが一般的であるが、後方小旋回型の油圧ショベルの場合、旋回中心から最も離れた位置は、クローラの外側先端部となる。   In addition, there are various types of hydraulic excavators. Among them, the small rear swivel excavator (which is described later in FIG. 1 corresponds to the upper excavator than the normal excavator). It is designed to be smaller on the rear side. Therefore, in the case of a normal type hydraulic excavator, the position farthest from the turning center is generally the rear end of the counterweight, but in the case of a rear small turning type hydraulic excavator, it is farthest from the turning center. The position is the outer tip of the crawler.

そのため、後方小旋回型の油圧ショベルにおいて、従来技術のようにカウンタウェイト後端部を基準に目安線を俯瞰画像や単カメラ画像等に表示していたとしても、超信地旋回を行った場合には、旋回中心から最も離れた位置であるクローラの外側先端部が目安線(カウンタウェイト後端部の軌跡等)の外側に飛び出してしまう可能性がある。そのため、作業者(オペレータ)が俯瞰画像などにより油圧ショベルの近傍に障害物の存在および目安線(カウンタウェイト後端部の軌跡等)との位置関係を認識していたとしても、超信地旋回を実施した場合にはクローラの外側先端部が目安線を超えてしまい障害物との距離の認識を誤ってしまうことにより、クローラの外側先端部を障害物等に衝突させてしまう可能性があるという課題がある。   Therefore, in the case of a super small turning type hydraulic excavator, even if the reference line is displayed on the bird's-eye view image, single camera image, etc. with reference to the rear end of the counterweight as in the prior art, There is a possibility that the outer front end portion of the crawler, which is the position farthest from the turning center, jumps out of the reference line (the trajectory of the counterweight rear end portion, etc.). Therefore, even if the operator (operator) recognizes the presence of an obstacle in the vicinity of the hydraulic excavator and the positional relationship with the reference line (the trajectory of the rear end of the counterweight, etc.) from a bird's-eye view image, etc. May cause the crawler's outer tip to collide with an obstacle or the like because the outer tip of the crawler exceeds the reference line and the distance to the obstacle is misrecognized. There is a problem.

本発明の目的は、作業者が作業機械の旋回中心から最も離れた位置と障害物との距離感を容易に認識することができ、障害物等に衝突する可能性を軽減することのできるクローラ式作業機械の周辺監視装置を提供することにある。   An object of the present invention is to enable a worker to easily recognize a sense of distance between a position farthest from the turning center of a work machine and an obstacle, and to reduce the possibility of colliding with an obstacle or the like. It is in providing the periphery monitoring apparatus of a type | formula work machine.

本発明の第1の態様に係るクローラ式作業機械の周辺監視装置は、
クローラ式の下部走行体及び上部旋回体を備えたクローラ式作業機械の周辺監視装置であって、
前記クローラ式作業機械の周囲を撮像するカメラと、
前記カメラで撮像された画像を表示する表示手段と、
前記表示手段に表示された前記カメラにより撮像された画像に、前記クローラ式作業機械の旋回中心から最も離れた下部走行体の位置に基づいて生成される外縁目安画像を重畳させる制御手段と、を備えていることを特徴とする。
The periphery monitoring device for a crawler work machine according to the first aspect of the present invention,
A crawler-type work machine peripheral monitoring device comprising a crawler-type lower traveling body and an upper turning body,
A camera that images the periphery of the crawler work machine;
Display means for displaying an image captured by the camera;
Control means for superimposing an outer edge guide image generated based on the position of the lower traveling body furthest away from the turning center of the crawler work machine on the image captured by the camera displayed on the display means; It is characterized by having.

本発明の第1の態様によれば、制御手段が、クローラ式作業機械の旋回中心から最も離れた下部走行体の位置に基づいて生成される外縁目安画像を、カメラで撮像された画像に重畳させることにより、作業者がカメラで撮像された画像により周囲に障害物があることを認識していた場合に、外縁目安画像と障害物との位置関係や距離感を容易に把握することができ、クローラ式作業機械を超信地旋回させたとしても、クローラ式作業機械と障害物との衝突を回避することができる。   According to the first aspect of the present invention, the control means superimposes the outer edge guide image generated based on the position of the lower traveling body farthest from the turning center of the crawler type work machine on the image captured by the camera. By doing so, when the operator recognizes that there is an obstacle around the image captured by the camera, the position relationship between the outer edge guide image and the obstacle and the sense of distance can be easily grasped. Even if the crawler type work machine is rotated in a super-confident manner, the collision between the crawler type work machine and the obstacle can be avoided.

本発明の第2の態様に係るクローラ式作業機械の周辺監視装置は、第1の態様において、
スイッチ操作又は検知手段により前記旋回中心から最も離れた下部走行体の位置への距離が変更されたとの信号が制御手段に入力されることにより、前記外縁目安画像が変更されることを特徴とする。
The periphery monitoring device for a crawler work machine according to the second aspect of the present invention, in the first aspect,
The outer edge guide image is changed by inputting a signal to the control means that the distance to the position of the lower traveling body furthest away from the turning center is changed by the switch operation or detection means. .

ここで、旋回中心から最も離れた下部走行体の位置への距離が変更されたとの信号は、例えば、作業機械の操縦席内に設けられたスイッチ等を操作することによる信号や、ブレード等のオプションを装着した際、作業機コントローラからオプションが装着された旨の信号が考えられる。
本発明の第2の態様によれば、機械点検者等の特定の者だけに外縁目安画像の変更を可能とし、通常の作業者に外縁目安画像の変更をできないようにすることができるので、誤った操作による誤表示を防止することができる。また、仮に機械点検者がスイッチ操作を忘れてしまっても、ブレードが装着されたことを検知手段が検知することにより自動的に外縁目安画像が変更されることになる。
Here, the signal that the distance to the position of the lower traveling body farthest from the turning center has been changed is, for example, a signal generated by operating a switch or the like provided in the cockpit of the work machine, a blade or the like. When the option is installed, a signal indicating that the option is installed can be considered from the work machine controller.
According to the second aspect of the present invention, it is possible to change the outer edge guideline image only for a specific person such as a machine inspector, and it is possible to prevent a normal worker from changing the outer edge guideline image. An erroneous display due to an incorrect operation can be prevented. Even if the machine inspector forgets to operate the switch, the outer edge guideline image is automatically changed when the detecting means detects that the blade is mounted.

本発明の第3の態様に係るクローラ式作業機械の周辺監視装置は、第1の態様または第2の態様において、
前記カメラで撮像された画像は、俯瞰画像または単カメラ画像であることを特徴とする。
The crawler work machine periphery monitoring device according to the third aspect of the present invention is the first aspect or the second aspect,
The image captured by the camera is an overhead image or a single camera image.

本発明の第3の態様によれば、外縁目安画像を俯瞰画像または単カメラ画像に重畳させて表示手段に表示させることができるため、作業者はこれらの画像を視認する際、クローラ式作業機械の外縁を視認しながら操作を行うことができ、外縁目安画像と障害物との位置関係や距離感を容易に把握することができる。   According to the third aspect of the present invention, the outer edge reference image can be superimposed on the overhead image or the single camera image and displayed on the display means. Therefore, when the operator visually recognizes these images, the crawler work machine It is possible to perform the operation while visually recognizing the outer edge of the image, and to easily grasp the positional relationship and the sense of distance between the outer edge guide image and the obstacle.

本発明の第4の態様に係るクローラ式作業機械の周辺監視装置は、第1の態様乃至第3の態様のいずれかの態様において、前記外縁目安画像の形状が直線部と円弧部とを組み合わせたことを特徴とする。   The periphery monitoring device for a crawler work machine according to a fourth aspect of the present invention is the aspect of any one of the first to third aspects, wherein the shape of the outer edge guide image is a combination of a linear portion and an arc portion. It is characterized by that.

本発明の第4の態様によれば、外縁目安画像に直線部を設けることにより、例えばダンプトラックなどへ積み込み作業を行う際に、外縁目安画像の直線部とダンプトラックの側面や背面とを比較することにより、ダンプトラックが所定の停車向きよりも斜めに停車していないか確認することができる。また、クローラ式作業機械の幅方向、走行方向の長さを作業者に認識させることができるので、障害物との距離感を一層確実に把握することができる。   According to the fourth aspect of the present invention, by providing a straight line portion on the outer edge guide image, for example, when performing a loading operation on a dump truck or the like, the straight portion of the outer edge guide image is compared with the side surface and back surface of the dump truck. By doing so, it is possible to confirm whether the dump truck is stopped obliquely from a predetermined stop direction. In addition, since the worker can recognize the length in the width direction and the traveling direction of the crawler type work machine, the sense of distance from the obstacle can be more reliably grasped.

本発明の第5の態様に係るクローラ式作業機械の周辺監視装置は、第1の態様乃至第3の態様のいずれかの態様において、前記外縁目安画像の形状が旋回中心を中心とした円形であることを特徴とする。   The crawler work machine periphery monitoring device according to a fifth aspect of the present invention is the crawler work machine periphery monitoring device according to any one of the first to third aspects, wherein the outer edge guide image has a circular shape centered on the turning center. It is characterized by being.

本発明の第5の態様によれば、作業者が俯瞰画像などにより障害物を認識している場合に、超信地旋回をした際の旋回中心から最も離れた下部走行体の位置の旋回軌跡と障害物との距離感を一層確実に把握することができる。   According to the fifth aspect of the present invention, when the operator recognizes an obstacle from a bird's-eye view image or the like, the turning trajectory of the position of the lower traveling body that is farthest from the turning center when the super turning is performed. The distance between the vehicle and the obstacle can be grasped more reliably.

本発明の第6の態様に係るクローラ式作業機械の周辺監視装置は、第1の態様乃至第5の態様のいずれかの態様において、前記表示手段は、前記クローラ式作業機械の遠隔操作席、又は前記クローラ式作業機械を管理する管制室に設けられた表示装置、若しくは携帯端末に設けられたことを特徴とする。   The crawler work machine periphery monitoring apparatus according to a sixth aspect of the present invention, in any one of the first to fifth aspects, the display means is a remote control seat of the crawler work machine, Or it is provided in the display apparatus provided in the control room which manages the said crawler type work machine, or the portable terminal.

本発明の第6の態様によれば、外縁目安画像を重畳させたカメラで撮像された画像(俯瞰画像や単カメラ画像)を、遠隔操作席、管制室、または携帯端末に表示させることができるため、クローラ式作業機械の遠隔操作者や作業者以外の第三者(監督者等)が容易に俯瞰画像などを確認することができるので、遠隔操作者や第三者が障害物との距離感を把握して、障害物との衝突を一層確実に回避することができる。   According to the sixth aspect of the present invention, it is possible to display an image (overhead image or single camera image) captured by a camera with an outer edge guide image superimposed on a remote control seat, control room, or portable terminal. Therefore, a remote operator of the crawler type work machine or a third party other than the operator (supervisor, etc.) can easily check the overhead view image, so that the remote operator or the third party can see the distance from the obstacle. By grasping the feeling, it is possible to more reliably avoid a collision with an obstacle.

本発明の第1実施形態に係るクローラ式作業機械の側面図。The side view of the crawler type work machine concerning a 1st embodiment of the present invention. 前記実施形態におけるクローラ式作業機械の平面図。The top view of the crawler type work machine in the said embodiment. 前記実施形態における周辺監視装置の構成を表すブロック図。The block diagram showing the structure of the periphery monitoring apparatus in the said embodiment. 俯瞰画像の生成を説明するための模式図。The schematic diagram for demonstrating the production | generation of a bird's-eye view image. 第1実施形態における目安線の作図方法を説明するための模式図。The schematic diagram for demonstrating the drawing method of the reference line in 1st Embodiment. 第1実施形態における目安線の作図方法を説明するための模式図。The schematic diagram for demonstrating the drawing method of the reference line in 1st Embodiment. 第1実施形態における目安線の作図方法を説明するための模式図。The schematic diagram for demonstrating the drawing method of the reference line in 1st Embodiment. 第1実施形態における目安線の作図方法を説明するための模式図。The schematic diagram for demonstrating the drawing method of the reference line in 1st Embodiment. 第1実施形態における俯瞰画像及び単カメラ画像からなるモニタ表示部の表示例。The display example of the monitor display part which consists of a bird's-eye view image and a single camera image in 1st Embodiment. 本発明の第2実施形態に係るクローラ式作業機械の側面図。The side view of the crawler type work machine concerning a 2nd embodiment of the present invention. 第2実施形態におけるクローラ式作業機械の平面図。The top view of the crawler type work machine in 2nd Embodiment. 第2実施形態における目安線の作図方法を説明するための模式図。The schematic diagram for demonstrating the drawing method of the reference line in 2nd Embodiment. 第2実施形態における目安線の作図方法を説明するための模式図。The schematic diagram for demonstrating the drawing method of the reference line in 2nd Embodiment. 第2実施形態における俯瞰画像及び単カメラ画像からなるモニタ表示部の表示例。The display example of the monitor display part which consists of a bird's-eye view image and a single camera image in 2nd Embodiment. 前記実施形態における作用を説明するためのフローチャート。を説明するための模式図。The flowchart for demonstrating the effect | action in the said embodiment. The schematic diagram for demonstrating.

<第1実施形態>
[1]全体構成
図1、図2において、クローラ式作業機械としての油圧ショベル1は、下部走行体2、上部旋回体3、キャブ(運転室)4、および作業機5を備えて構成される。下部走行体2は、履帯式であり、上部旋回体3の直下に設けられる図示を省略したトラックフレームと、このトラックフレームにおいて走行方向に直交する車幅方向の両端に設けられた一対の走行装置21とを備えて構成される。走行装置21は、トラックフレームに突設された駆動輪および遊動輪に巻回される履帯(クローラ)22を備えて構成され、駆動輪を駆動させることによって、履帯22の延出方向に沿って油圧ショベル1を前後進させる。
<First Embodiment>
[1] Overall Configuration In FIGS. 1 and 2, a hydraulic excavator 1 as a crawler working machine includes a lower traveling body 2, an upper swing body 3, a cab (operating cab) 4, and a working machine 5. . The lower traveling body 2 is a crawler type, and a track frame (not shown) provided immediately below the upper revolving body 3 and a pair of traveling devices provided at both ends of the track frame in the vehicle width direction perpendicular to the traveling direction. 21. The traveling device 21 includes a drive wheel projecting from a track frame and a crawler belt (crawler) 22 wound around the idler wheel, and is driven along the extending direction of the crawler belt 22 by driving the drive wheel. The excavator 1 is moved forward and backward.

左右それぞれの走行装置21は、駆動輪を独立して駆動(前進および後進)させることができるようになっている。右履帯と左履帯を同時に前進させれば油圧ショベル1は前進し、右履帯と左履帯を同時に後進させれば油圧ショベル1は後進する。また、一方の走行装置21の駆動輪と、他方の走行装置21の駆動輪を互いに逆向きに駆動、例えば右履帯を前進させると同時に左履帯を後進させると、下部走行体2は油圧ショベル1を、旋回中心を中心に回転させることができる。このような旋回方法は上述のとおり超信地旋回と呼ばれる。   The left and right traveling devices 21 can drive (forward and reverse) the drive wheels independently. The excavator 1 moves forward if the right crawler belt and the left crawler track are advanced simultaneously, and the hydraulic excavator 1 moves backward if the right crawler track and the left crawler track are moved backward simultaneously. Further, when the driving wheels of one traveling device 21 and the driving wheels of the other traveling device 21 are driven in opposite directions, for example, when the right crawler is advanced and the left crawler is moved backward, the lower traveling body 2 is moved to the hydraulic excavator 1. Can be rotated about the turning center. Such a turning method is referred to as super-revolution turning as described above.

図2に示されるように、上部旋回体3には例えば4つのカメラ61〜64が設けられており、後述するように、カメラ61〜64によって撮像された画像をモニタ65(表示手段)に表示することにより、オペレータに油圧ショベル1周辺の状況を認識させるようにしている。なお、後述するが、「カメラによって撮像された画像」とは、いずれか1つのカメラが撮像した画像(単カメラ画像)と、各カメラが撮像した画像に基づいて生成する上方視点画像(俯瞰画像)を含んでいる。   As shown in FIG. 2, for example, four cameras 61 to 64 are provided in the upper swing body 3, and images captured by the cameras 61 to 64 are displayed on a monitor 65 (display means) as will be described later. By doing so, the operator is made to recognize the situation around the excavator 1. As will be described later, an “image captured by a camera” refers to an image (single camera image) captured by any one camera and an upper viewpoint image (overhead image generated based on an image captured by each camera). ) Is included.

下部走行体2のトラックフレーム上には、上部旋回体3が旋回可能に設けられている。なお、下部走行体2を超信地旋回させた際の旋回中心Oと、上部旋回体3の旋回中心Oを、図2に示されるように一致させるように構成してもよいし、異ならせてもよい。特許請求の範囲に記載された「旋回中心」は、超信地旋回させた際の旋回中心Oと、上部旋回体3の旋回中心Oのどちらであってもよい。   On the track frame of the lower traveling body 2, an upper swing body 3 is provided so as to be capable of swinging. It should be noted that the turning center O when the lower traveling body 2 is turned in a super-confident manner and the turning center O of the upper turning body 3 may be configured to coincide with each other as shown in FIG. May be. The “turning center” described in the claims may be either the turning center O when the super turning is performed or the turning center O of the upper turning body 3.

上部旋回体3にはキャブ4が設けられ、このキャブ4内にオペレータが乗車して油圧ショベル1を操縦する。図示を省略するが、キャブ4内にはオペレータシートが設けられ、オペレータシートの両脇には、作業機レバーが設けられている。また、キャブ4の床面には、走行操作用の走行レバーが設けられている。   The upper swing body 3 is provided with a cab 4, and an operator rides in the cab 4 to operate the hydraulic excavator 1. Although not shown, an operator seat is provided in the cab 4, and work implement levers are provided on both sides of the operator seat. Further, a traveling lever for traveling operation is provided on the floor surface of the cab 4.

さらに、図示を省略するが、キャブ4内にはモニタ65が設けられており、エンジン水温や燃料残量などの状態を含む各種情報、機器の異常などを示す故障情報、オペレータが各種設定を行うためのメニュー画面やメンテナンス画面などの他、後述する周辺監視装置60(図3参照)におけるカメラ61〜64により撮像された画像を表示することができる。   Further, although not shown in the figure, a monitor 65 is provided in the cab 4, and various information including the state of the engine water temperature and the remaining amount of fuel, failure information indicating an abnormality of the device, and various settings are performed by the operator. In addition to a menu screen, a maintenance screen, and the like, an image captured by cameras 61 to 64 in a peripheral monitoring device 60 (see FIG. 3) described later can be displayed.

上部旋回体3の作業機5が向いている方向が前方とした場合に、キャブ4の右側には、作業機5が設けられている。作業機5は、ブーム51、アーム52、およびバケット53を備える。これら各要素は、ブームシリンダ51A、アームシリンダ52A 、およびバケットシリンダ53Aによって回動される。ここで、各シリンダ51A,52A,53Aは油圧シリンダであり、その油圧源は、上部旋回体3に設けられた図示しないエンジンで駆動される油圧ポンプである。   When the direction in which the work machine 5 of the upper swing body 3 faces is the front, the work machine 5 is provided on the right side of the cab 4. The work machine 5 includes a boom 51, an arm 52, and a bucket 53. These elements are rotated by a boom cylinder 51A, an arm cylinder 52A, and a bucket cylinder 53A. Here, each of the cylinders 51A, 52A, 53A is a hydraulic cylinder, and its hydraulic source is a hydraulic pump driven by an engine (not shown) provided in the upper swing body 3.

[2]周辺監視装置60の構成
図3には、本実施形態に係る周辺監視装置60が示されている。周辺監視装置60は、前述した油圧ショベル1の周辺をカメラ61〜64で撮像し、キャブ4内に設けられたモニタ65上にその画像を表示する装置である。周辺監視装置60は、左後方カメラ61、右側方カメラ62、右後方カメラ63、後方カメラ64、モニタ65(表示手段)、及び周辺監視コントローラ66(制御手段)を備える。
[2] Configuration of Perimeter Monitoring Device 60 FIG. 3 shows a perimeter monitoring device 60 according to the present embodiment. The periphery monitoring device 60 is a device that images the periphery of the hydraulic excavator 1 with the cameras 61 to 64 and displays the image on the monitor 65 provided in the cab 4. The periphery monitoring device 60 includes a left rear camera 61, a right side camera 62, a right rear camera 63, a rear camera 64, a monitor 65 (display means), and a periphery monitoring controller 66 (control means).

左後方カメラ61は、図2に示されるように、上部旋回体3の左後方に設けられ、図2に示される矢印の方向に取り付けられており、油圧ショベル1の左側方を撮像する。右側方カメラ62は、上部旋回体3の右側方に設けられ、図2に示される矢印の方向に取り付けられており、油圧ショベル1の右前方を撮像する。右後方カメラ63は、上部旋回体3の右後方に設けられ、図2に示される矢印の方向に取り付けられており、油圧ショベル1の右後方を撮像する。後方カメラ64は、上部旋回体3の後部略中央に設けられ、図2に示される矢印の方向に取り付けられており、油圧ショベル1の後方を撮像する。これらのカメラ61〜64には、広角レンズが装着され、隣接するカメラ(左後方カメラ61と右側方カメラ62とは除く)のそれぞれの撮像範囲は一部領域で重複している。   As shown in FIG. 2, the left rear camera 61 is provided on the left rear side of the upper swing body 3 and is attached in the direction of the arrow shown in FIG. 2, and images the left side of the excavator 1. The right side camera 62 is provided on the right side of the upper swing body 3 and is attached in the direction of the arrow shown in FIG. 2, and images the right front of the excavator 1. The right rear camera 63 is provided at the right rear of the upper swing body 3 and is attached in the direction of the arrow shown in FIG. 2, and images the right rear of the excavator 1. The rear camera 64 is provided substantially at the rear center of the upper swing body 3 and is attached in the direction of the arrow shown in FIG. 2, and images the rear of the excavator 1. These cameras 61 to 64 are equipped with wide-angle lenses, and the respective imaging ranges of adjacent cameras (excluding the left rear camera 61 and the right side camera 62) overlap in a partial area.

モニタ65は、表示部65Aと操作部(スイッチ)65Bとから構成されている。表示部65Aには、上述したエンジン水温や燃料残量などの状態を含む各種情報等が表示され、操作部65Bを操作することにより、図示しないモニタコントローラを制御し、表示部65Aに表示される内容を変更する構成となっている。操作部65Bは、メニュー画面やメンテナンス画面での操作のために用いるスイッチや、作業モード、走行モード、エアコンなどの各種設定を行うためのスイッチを含む。なお、モニタ65は、表示部65Aと操作部65Bとを一体化したタッチパネルで構成してもよい。また、操作部65Bを表示部65Aと別体とし、操作部65Bを運転室内の他の場所に設けてもよい。   The monitor 65 includes a display unit 65A and an operation unit (switch) 65B. Various information including the above-described states such as the engine water temperature and the remaining amount of fuel are displayed on the display unit 65A. By operating the operation unit 65B, a monitor controller (not shown) is controlled and displayed on the display unit 65A. The content is changed. The operation unit 65B includes switches used for operations on the menu screen and the maintenance screen, and switches for performing various settings such as a work mode, a travel mode, and an air conditioner. The monitor 65 may be configured by a touch panel in which the display unit 65A and the operation unit 65B are integrated. Further, the operation unit 65B may be separated from the display unit 65A, and the operation unit 65B may be provided in another place in the cab.

モニタ65は、カメラ61〜64で撮像された画像を表示する表示手段としても機能し、モニタ65の操作部65Bを操作することにより、周辺監視コントローラ66に操作指令を入力し、例えば表示部65Aに表示されるカメラ画像を、例えば後方カメラ64のカメラ画像から右側方カメラ62のカメラ画像に切り替える等の操作ができるようになっている。   The monitor 65 also functions as a display unit that displays images captured by the cameras 61 to 64. By operating the operation unit 65B of the monitor 65, an operation command is input to the peripheral monitoring controller 66, for example, the display unit 65A. For example, an operation such as switching from the camera image of the rear camera 64 to the camera image of the right-side camera 62 can be performed.

図3に記載されているように、周辺監視コントローラ66は、俯瞰画像生成部67、画像重畳部68、目安線重畳部69、表示画像出力部70、目安線変更部71、及び目安線変更起動部72を備える。図3における俯瞰画像生成部67は、カメラ61〜64で撮像された画像に基づいて、油圧ショベル1の周囲を上方から見ているかのように表示する俯瞰画像(図9のG2を参照)を生成する。具体的には、図示を略した周辺監視コントローラ66の図示しない記憶部に記憶された変換情報を用いて画像データの座標変換を行い、図4に示されるように、例えばカメラ61によって撮像された画像を、油圧ショベル1の上方に位置する仮想視点61Aから所定の仮想投影面GL上に投影される画像、すなわち上方視点画像に変換する。   As shown in FIG. 3, the periphery monitoring controller 66 includes an overhead image generation unit 67, an image superimposition unit 68, a guide line superimposition unit 69, a display image output unit 70, a guide line change unit 71, and a guide line change start. Part 72 is provided. The overhead image generation unit 67 in FIG. 3 displays an overhead image (see G2 in FIG. 9) that displays the surroundings of the excavator 1 as if viewed from above, based on images captured by the cameras 61 to 64. Generate. Specifically, coordinate conversion of the image data is performed using conversion information stored in a storage unit (not shown) of the periphery monitoring controller 66 (not shown), and the image is captured by, for example, the camera 61 as shown in FIG. The image is converted into an image projected on a predetermined virtual projection plane GL from the virtual viewpoint 61A located above the excavator 1, that is, an upper viewpoint image.

変換情報は、この仮想投影面GLを表しており、カメラ61で斜め上方から撮像された対象OBの寸法M1が仮想投影面GL上では、寸法M2に変換される。俯瞰画像生成部67は、4台のカメラ61〜64で撮像された各画像データをそれぞれ上方視点画像に変換した上で、変換後の各画像データを合成することにより、一つの油圧ショベル1の周囲を俯瞰できる俯瞰画像を生成する。   The conversion information represents the virtual projection plane GL, and the dimension M1 of the object OB imaged from the oblique upper side by the camera 61 is converted to the dimension M2 on the virtual projection plane GL. The overhead image generation unit 67 converts each image data picked up by the four cameras 61 to 64 into an upper viewpoint image, and then synthesizes the converted image data so that one hydraulic excavator 1 Generate a bird's-eye view image that allows you to see the surroundings.

図3における画像重畳部68は、図9における俯瞰画像G2に示されるように、油圧ショベル1の上面画像GA(上部旋回体3のみ)を記憶部に有しておき、俯瞰画像生成部67で生成された俯瞰画像G2の中央部に油圧ショベル1の上面画像GAを重畳させる。そうすることにより、図9における俯瞰画像G2を見たオペレータは、俯瞰画像G2中に表示された周囲の障害物等と油圧ショベル1との位置関係や距離感の把握が容易になる。   The image superimposing unit 68 in FIG. 3 has the top image GA (only the upper swing body 3) of the excavator 1 in the storage unit as shown in the overhead image G2 in FIG. The upper surface image GA of the excavator 1 is superimposed on the center of the generated overhead image G2. By doing so, the operator who has seen the overhead image G2 in FIG. 9 can easily grasp the positional relationship and the sense of distance between the surrounding obstacles and the like displayed in the overhead image G2 and the excavator 1.

目安線重畳部69は、後述するように目安線変更部71において生成された目安線GBを俯瞰画像G2や単カメラ画像G3に重畳させる(図9参照)。   The guide line superimposing unit 69 superimposes the guide line GB generated by the guide line changing unit 71 on the overhead image G2 or the single camera image G3 as described later (see FIG. 9).

目安線変更部71は、以下で説明する作図方法によって目安線を生成する。図5は油圧ショベル1の平面図を簡略化したものであり、作業機5の先端部は省略されている。旋回中心Oから最も離れた下部走行体2の位置は履帯22の外側先端部E0であり、旋回中心Oから履帯22の外側先端部E0までの距離はR0である。図5では、旋回中心Oを中心とした半径R0の円L1が描かれている。   The reference line changing unit 71 generates a reference line by a drawing method described below. FIG. 5 is a simplified plan view of the hydraulic excavator 1, and the distal end portion of the work machine 5 is omitted. The position of the lower traveling body 2 farthest from the turning center O is the outer front end E0 of the crawler belt 22, and the distance from the turning center O to the outer front end E0 of the crawler belt 22 is R0. In FIG. 5, a circle L1 having a radius R0 centered on the turning center O is depicted.

図6では、図5において描かれた円L1に外接する正方形L2が描かれている。ここで、上部旋回体3を正方形に対して正対させた状態で上部旋回体3の横幅を正方形L2に投影させてできる直線部L3および直線部L4が描かれている。なお、直線部L3およびL4を作図する方法として、上部旋回体の横幅に代えて履帯22の外端部の横幅を採用してもよい。   In FIG. 6, a square L2 circumscribing the circle L1 drawn in FIG. 5 is drawn. Here, a straight line portion L3 and a straight line portion L4, which are formed by projecting the lateral width of the upper swing body 3 onto the square L2 with the upper swing body 3 facing the square, are drawn. As a method of drawing the straight portions L3 and L4, the lateral width of the outer end portion of the crawler belt 22 may be adopted instead of the lateral width of the upper swing body.

図7では、図6の状態から上部旋回体3を90度旋回させ、図6と同様の手法により直線部L5およびL6が描かれている。   In FIG. 7, the upper swing body 3 is turned 90 degrees from the state of FIG. 6, and straight portions L5 and L6 are drawn by the same method as in FIG. 6.

図8では、目安線変更部71が、直線部L3〜L6の隣接する端部間を、それぞれ円弧部L7〜L10を描く。直線部L3〜L6と円弧部L7〜L10を結ぶと一本の線になり、これが目安線GBになる。俯瞰画像G2に目安線GBを重畳させる場合、図8のような図がモニタ65に表示されることになる。   In FIG. 8, the reference line changing unit 71 draws arc portions L7 to L10 between the adjacent ends of the straight portions L3 to L6, respectively. When the straight line portions L3 to L6 and the circular arc portions L7 to L10 are connected, a single line is formed, which becomes a reference line GB. When the reference line GB is superimposed on the overhead image G2, a diagram as shown in FIG.

後述するが、俯瞰画像G2には、上部旋回体3の上面画像GA及び目安線GBが重畳的に表示されるため、上部旋回体3を旋回させた場合には、上部旋回体3と目安線GBが固定されたままの状態で、俯瞰画像G2中の周囲の画像とカメラ61〜64に映りこんだ下部走行体2が回転するように表示される。また、超信地旋回(上部旋回体3と下部走行体2とが同時に旋回)させた場合には、上部旋回体3、目安線GB、およびカメラ61〜64に映りこんだ下部走行体2が固定されたままの状態で俯瞰画像G2中の周囲の画像のみが回転するように表示されることになる。   As will be described later, since the top image GA and the reference line GB of the upper swing body 3 are displayed in a superimposed manner in the overhead image G2, when the upper swing body 3 is turned, the upper swing body 3 and the reference line are displayed. With the GB fixed, the surrounding image in the overhead image G2 and the lower traveling body 2 reflected on the cameras 61 to 64 are displayed to rotate. In addition, when the super turn (the upper turning body 3 and the lower traveling body 2 turn simultaneously), the upper traveling body 3, the reference line GB, and the lower traveling body 2 reflected in the cameras 61 to 64 are displayed. Only the surrounding images in the bird's-eye view image G2 are displayed so as to rotate in a fixed state.

図8における上部旋回体3と下部走行体2の位置関係の場合(上部旋回体3と下部走行体2が正対している場合)、旋回中心Oから履帯22の外側先端部E0と目安線とは離れている。なお、図示していないが、図8の状態から上部旋回体3を45°旋回させた場合(上方視にて上部旋回体3と下部走行体2が45°傾いている場合)には、4つの(図8における左上、右上、右下、左下)履帯22の外側先端部と目安線の4つの直線部(L3〜L6)の中央部が接することになる。この状態が最も履帯22の外側先端部と目安線との距離が短くなる状態であるが、この状態であっても履帯22の外側先端部が目安線を超えることはない。   In the case of the positional relationship between the upper revolving unit 3 and the lower traveling unit 2 in FIG. 8 (when the upper revolving unit 3 and the lower traveling unit 2 face each other), the outer tip E0 of the crawler belt 22 and the reference line from the turning center O Is away. Although not shown in the figure, when the upper swing body 3 is turned 45 ° from the state of FIG. 8 (when the upper swing body 3 and the lower traveling body 2 are inclined 45 ° as viewed from above), 4 The two outer portions of the crawler belt 22 (upper left, upper right, lower right, lower left in FIG. 8) are in contact with the center of the four straight portions (L3 to L6) of the reference line. This state is a state where the distance between the outer front end portion of the crawler belt 22 and the reference line is shortest, but even in this state, the outer front end portion of the crawler belt 22 does not exceed the reference line.

図3における表示画像出力部70は、油圧ショベル1の上面画像GA及び目安線(外縁目安画像の一形態である)GBが重畳された俯瞰画像G2を、図9に示されるような表示画像G1として、モニタ65の表示部65Aに表示させる。俯瞰画像G2に示されるように、目安線重畳部69は、目安線変更部71によって生成された油圧ショベル1の旋回中心Oから最も離れた下部走行体2の位置(この実施形態では履帯22の外側先端部E0)に対応する位置に表示させる目安線GBを、俯瞰画像生成部67で生成された俯瞰画像に重畳させる。   The display image output unit 70 in FIG. 3 displays the overhead image G2 on which the top image GA of the excavator 1 and the reference line GB (one form of the outer edge reference image) GB are superimposed, as shown in FIG. Is displayed on the display unit 65A of the monitor 65. As shown in the bird's-eye view image G2, the reference line superimposing unit 69 is located at the position of the lower traveling body 2 farthest from the turning center O of the excavator 1 generated by the reference line changing unit 71 (in this embodiment, the crawler belt 22). The reference line GB to be displayed at the position corresponding to the outer front end portion E0) is superimposed on the overhead image generated by the overhead image generation unit 67.

なお、本実施形態では、表示画像出力部70は、表示画像G1上に、カメラ61〜64のいずれかで撮像された単カメラ画像G3も表示する。図9の単カメラ画像G3にも記載されているように、単カメラ画像に目安線GBを重畳させるようにしてもよい。   In the present embodiment, the display image output unit 70 also displays a single camera image G3 captured by any of the cameras 61 to 64 on the display image G1. As described in the single camera image G3 of FIG. 9, the reference line GB may be superimposed on the single camera image.

また、表示画像出力部70は、単カメラ画像位置アイコンG4も表示している。単カメラ画像位置アイコンG4は、モニタ65の表示部に表示される単カメラ画像G3が、油圧ショベル1に対してどの方向(後方、右後方、右前方、左側方)を撮影するカメラ61〜64の画像であるかを示すためのアイコンであり、例えば図9における表示部の単カメラ画像G3の近傍に単カメラ画像位置アイコンG4を設けることによって、オペレータは表示部に表示されている単カメラ画像G3がどの方向の単カメラ画像であるかが容易に判別できる。   The display image output unit 70 also displays a single camera image position icon G4. The single camera image position icon G4 indicates that the single camera image G3 displayed on the display unit of the monitor 65 captures which direction (backward, right rear, right front, left side) of the excavator 1 is taken. For example, by providing a single camera image position icon G4 in the vicinity of the single camera image G3 on the display unit in FIG. 9, the operator can display the single camera image displayed on the display unit. In which direction G3 is a single camera image can be easily determined.

また、図9における表示画像G1には、画像上部に、サービスメータ画像G5及び作業モード画像G6を表示する。サービスメータ画像G5は、油圧ショベル1のエンジンの総稼働時間を表示している。作業モード画像G6は、油圧ショベル1の作業モードがパワーモード(P)やエコモード(E)等のいずれのモードであるかを表示する。さらに、表示画像G1の下部には、エンジン水温G7、作動油温G8、燃料残量G9が表示されている。   Further, in the display image G1 in FIG. 9, a service meter image G5 and a work mode image G6 are displayed at the upper part of the image. The service meter image G5 displays the total operating time of the engine of the excavator 1. The work mode image G6 displays whether the work mode of the excavator 1 is a power mode (P), an eco mode (E), or the like. Further, an engine water temperature G7, a hydraulic oil temperature G8, and a remaining fuel amount G9 are displayed at the bottom of the display image G1.

図9に示されるように、俯瞰画像G2もしくは単カメラ画像G3に、旋回中心から最も離れた下部走行体2の位置に基づいて生成される目安線GBを重畳させる。これにより、後方小旋回型の油圧ショベルのように上部旋回体が小さく設計されている油圧ショベルが超信地旋回を行った場合であっても、履帯22の外側先端部等が目安線GBを超えることがない。したがって、オペレータは、俯瞰画像などにより油圧ショベルの近傍に障害物の存在を認識していた場合に、履帯22の外側先端部等が障害物等に衝突することなく作業を行うことができる。   As shown in FIG. 9, the reference line GB generated based on the position of the lower traveling body 2 farthest from the turning center is superimposed on the overhead image G2 or the single camera image G3. As a result, even when a hydraulic excavator having a small upper revolving structure such as a small rear swivel excavator performs super-reciprocal turning, the outer tip of the crawler belt 22 and the like show the reference line GB. Never exceed. Therefore, when the operator recognizes the presence of an obstacle in the vicinity of the hydraulic excavator from an overhead image or the like, the operator can work without the outer tip of the crawler belt 22 colliding with the obstacle or the like.

<第2実施形態>
第2実施形態として、下部走行体の前方に整地作業等を行うためのブレードを取り付けた仕様の油圧ショベル1Aを用いた場合について、以下説明する。
Second Embodiment
As a second embodiment, a case where a hydraulic excavator 1A having a specification in which a blade for performing leveling work or the like is attached in front of the lower traveling body will be described below.

図10、図11に示される油圧ショベル1Aは、下部走行体2の前方にブレード23を取り付けた点以外は、図1、図2に示される油圧ショベル1と同様である。そのため、その他の点についての説明は省略する。ブレード23は着脱可能であってもよい。ブレード23には、図示を省略したが、複数の油圧シリンダが設けられており、油圧シリンダでブレード23を上下左右に駆動させることができる。なお、ブレード23は、下部走行体2に取り付けられているので下部走行体の一部としてみなされる。   The hydraulic excavator 1A shown in FIGS. 10 and 11 is the same as the hydraulic excavator 1 shown in FIGS. 1 and 2 except that a blade 23 is attached in front of the lower traveling body 2. Therefore, the description about other points is omitted. The blade 23 may be detachable. Although not shown, the blade 23 is provided with a plurality of hydraulic cylinders, and the blades 23 can be driven up and down and left and right by the hydraulic cylinders. Since the blade 23 is attached to the lower traveling body 2, it is regarded as a part of the lower traveling body.

第2実施形態において、目安線変更部71による目安線の作図方法について、以下説明する。図12はブレード付き油圧ショベル1Aの平面図を簡略化したものであり、作業機の先端部は省略されている。
図5に示した第1実施形態の場合は旋回中心Oから最も離れた下部走行体2の位置は、履帯22の外側先端部E0であったが、第2実施形態のようにブレード23が取り付けられたことによって、旋回中心Oから最も離れた下部走行体2の位置はブレード前面側端部E1となる。旋回中心Oから履帯22の外側先端部E0までの距離はR0よりも長いR1である。図12では、旋回中心Oを中心とした半径R1の円L11が描かれている。
In the second embodiment, a method of drawing a guide line by the guide line changing unit 71 will be described below. FIG. 12 is a simplified plan view of the hydraulic excavator 1A with a blade, and the tip of the working machine is omitted.
In the case of the first embodiment shown in FIG. 5, the position of the lower traveling body 2 farthest from the turning center O is the outer front end E0 of the crawler belt 22, but the blade 23 is attached as in the second embodiment. As a result, the position of the lower traveling body 2 farthest from the turning center O is the blade front end E1. The distance from the turning center O to the outer front end E0 of the crawler belt 22 is R1 longer than R0. In FIG. 12, a circle L11 having a radius R1 centered on the turning center O is depicted.

旋回中心Oを中心とした半径R1の円L11から、具体的に目安線を作図する方法は図6〜図8において説明した方法と全く同じなので説明は省略する。図13には当該方法により生成したブレード付き油圧ショベル1Aの目安線GCが示されている。ブレードが付いていない通常タイプの油圧ショベルの目安線GBと比較すると、ブレード付き油圧ショベル1Aの目安線GCの方が大きいことがわかる。これは、旋回中心Oから最も離れた下部走行体2の位置がR0からR1に長くなったためである。   The method for drawing the reference line from the circle L11 having the radius R1 centered on the turning center O is exactly the same as the method described in FIGS. FIG. 13 shows a reference line GC of the bladed hydraulic excavator 1A generated by the method. It can be seen that the reference line GC of the hydraulic excavator 1A with the blade is larger than the reference line GB of the normal type hydraulic excavator without the blade. This is because the position of the lower traveling body 2 farthest from the turning center O is increased from R0 to R1.

目安線変更部71は、第1実施形態と同様に、油圧ショベル1Aの旋回中心Oから最も離れた下部走行体2の位置(この実施形態ではブレード23の前面側端部E1)に対応する位置に表示させる目安線GCを生成する。そして、俯瞰画像生成部67で生成された俯瞰画像または単カメラ画像に目安線GCを重畳させる。   As in the first embodiment, the reference line changing unit 71 corresponds to the position of the lower traveling body 2 farthest from the turning center O of the excavator 1A (the front end E1 of the blade 23 in this embodiment). A reference line GC to be displayed is generated. Then, the reference line GC is superimposed on the overhead image or single camera image generated by the overhead image generation unit 67.

図14は、第2実施形態におけるモニタの表示画面の一例であり、俯瞰画像G2および単カメラ画像G3にそれぞれ目安線GCが重畳されて表示されている。   FIG. 14 is an example of the display screen of the monitor in the second embodiment, and the reference lines GC are superimposed on the overhead image G2 and the single camera image G3, respectively.

図3における目安線変更部71は、油圧ショベル1の最も離れた下部走行体2の位置に応じて、目安線重畳部69で重畳させる目安線を変更するようにしてもよい。例えば、目安線変更部71は、各種タイプの油圧ショベル1(第1実施形態のブレードがない通常タイプの油圧ショベル1と第2実施形態のブレード付き油圧ショベル1A等)に応じた目安線を記憶部に有しておき、ブレード付き油圧ショベル1Aが選択された場合には、図14における俯瞰画像G2のように、ブレード23の大きさに応じて目安線GCを俯瞰画像に重畳するようにしてもよい。   The reference line changing unit 71 in FIG. 3 may change the reference line to be superimposed by the reference line superimposing unit 69 according to the position of the lower traveling body 2 farthest from the excavator 1. For example, the reference line changing unit 71 stores reference lines according to various types of hydraulic excavators 1 (the normal type excavator 1 having no blade according to the first embodiment and the hydraulic excavator with blade 1A according to the second embodiment). When the hydraulic excavator with blade 1A is selected, the reference line GC is superimposed on the overhead image according to the size of the blade 23 as shown in the overhead image G2 in FIG. Also good.

具体的には、図3における目安線変更起動部72がモニタ65と接続されており、油圧ショベル1の点検者等がモニタ65の操作部を用いて、例えばブレードがない通常タイプの油圧ショベル1か、もしくはブレード付き油圧ショベル1A等といった機種情報を入力すると、その信号が目安線変更起動部72に入力される。そして、目安線変更起動部72は、目安線変更部71に対し、入力された機種情報を出力する。そして、目安線変更部71は、機種(後方小旋回型であるか、ブレードを有しているか等)に応じて適切な大きさに変更した目安線を目安線重畳部69に出力する。これにより、目安線重畳部69は適切な大きさの目安線を俯瞰画像または単カメラ画像に重畳することが可能となる。   Specifically, the reference line change activation unit 72 in FIG. 3 is connected to the monitor 65, and an inspector or the like of the hydraulic excavator 1 uses the operation unit of the monitor 65, for example, a normal type hydraulic excavator 1 without a blade. Alternatively, when model information such as a hydraulic excavator 1A with a blade is input, the signal is input to the reference line change activation unit 72. Then, the reference line change activation unit 72 outputs the input model information to the reference line change unit 71. Then, the guide line changing unit 71 outputs the guide line changed to an appropriate size to the guide line superimposing unit 69 according to the model (whether it is a small rear turning type or has a blade). As a result, the reference line superimposing unit 69 can superimpose a reference line of an appropriate size on the overhead image or the single camera image.

なお、図14に示されるように、所定のブレード23を装着すると俯瞰画像G2には、ブレード23の画像が表示されるようになるが、これはカメラ61等で撮像した画像にブレード23が映りこんでいるためである。   As shown in FIG. 14, when the predetermined blade 23 is attached, an image of the blade 23 is displayed in the overhead image G2, which is reflected in the image captured by the camera 61 and the like. It is because it is full.

また、図9や図14に図示されているように、単カメラ画像G3にも目安線GBを重畳するようにしてもよい。   Further, as shown in FIGS. 9 and 14, the reference line GB may be superimposed on the single camera image G3.

[3]第1実施形態及び第2実施形態の作用及び効果
次に、第1実施形態及び第2実施形態の作用を図15に示されるフローチャートに基づいて、説明する。
まず、俯瞰画像生成部67は、カメラ61〜64の画像に基づいて、俯瞰画像G2を生成する(ステップS1)。画像重畳部68は、俯瞰画像生成部67で生成された俯瞰画像G2を呼び出し(ステップS2)、図9に示されるように、俯瞰画像G2上に油圧ショベル1の上面画像GAを重畳させる(ステップS3)。目安線重畳部69は、目安線変更部71から入力された目安線GB、GCを俯瞰画像G2上に重畳させる(ステップS4)。表示画像出力部70は、上面画像GA及び目安線GB、GCが重畳された俯瞰画像G2を、モニタ65上に画面表示させる(ステップS5)。
[3] Operation and Effect of First Embodiment and Second Embodiment Next, the operation of the first embodiment and the second embodiment will be described based on the flowchart shown in FIG.
First, the overhead image generation unit 67 generates an overhead image G2 based on the images of the cameras 61 to 64 (step S1). The image superimposing unit 68 calls the overhead image G2 generated by the overhead image generation unit 67 (step S2), and superimposes the upper surface image GA of the excavator 1 on the overhead image G2 as shown in FIG. 9 (step S2). S3). The reference line superimposing unit 69 superimposes the reference lines GB and GC input from the reference line changing unit 71 on the overhead image G2 (step S4). The display image output unit 70 displays the overhead image G2 on which the top image GA and the reference lines GB and GC are superimposed on the monitor 65 (Step S5).

上記の俯瞰画像G2を表示した状態で、目安線変更起動部72は、点検者等がモニタ65を操作して、機種情報の入力を行ったか否かを監視する(ステップS6)。機種情報が入力された場合、目安線変更起動部72は、入力された機種に応じて目安線変更部71に対し目安線の大きさに変更するよう信号を出力し、目安線の大きさを変更する(ステップS7)。   In a state where the above-described overhead image G2 is displayed, the reference line change activation unit 72 monitors whether or not an inspector or the like has operated the monitor 65 to input model information (step S6). When the model information is input, the reference line change activation unit 72 outputs a signal to the reference line change unit 71 to change the size of the reference line according to the input model, and sets the size of the reference line. Change (step S7).

このような第1実施形態及び第2実施形態によれば、以下のような効果がある。
目安線変更部71を備えていることにより、点検者等により機種情報の入力があった場合に、機種に応じた油圧ショベル1、1Aの旋回中心Oから最も離れた下部走行体2の位置に基づいて目安線GB、GCが生成され、俯瞰画像などに重畳される。従って、オペレータは、モニタ65に表示された目安線GB、GCの位置を基準に障害物との距離感を判断することができるため、障害物等との衝突を回避して作業を行うことができる。具体的には、障害物が目安線GB、GCよりも外側にある場合には、超信地旋回による旋回を行っても、障害物と履帯22やブレード23等とが衝突することがない。
According to such 1st Embodiment and 2nd Embodiment, there exist the following effects.
By providing the reference line changing unit 71, when model information is input by an inspector or the like, the excavator 1 or 1A according to the model is located at the position of the lower traveling body 2 farthest from the turning center O of the excavator 1. Based on this, reference lines GB and GC are generated and superimposed on the overhead image. Therefore, the operator can determine the sense of distance from the obstacle based on the positions of the reference lines GB and GC displayed on the monitor 65, so that the operator can work while avoiding a collision with the obstacle. it can. Specifically, when the obstacle is outside the reference lines GB and GC, the obstacle does not collide with the crawler belt 22, the blade 23, etc. even if the turning by the superstrate turning is performed.

また、目安線変更起動部72を備えていることにより、機械点検者等の特定の者だけに目安線の変更できるようにし、通常のオペレータには目安線の変更をできないようにしてもよい。そうすることにより、オペレータによる誤った操作により、油圧ショベル1、1Aの旋回中心Oから最も離れた下部走行体2の位置よりも小さな目安線が表示されることを防止することができる。   In addition, by providing the reference line change activation unit 72, only a specific person such as a machine inspector can change the reference line, and a normal operator may not be able to change the reference line. By doing so, it is possible to prevent a guide line smaller than the position of the lower traveling body 2 farthest from the turning center O of the excavator 1, 1 </ b> A from being displayed erroneously by the operator.

[4]実施形態の変形
なお、本発明は、前述の実施形態に限定されるものではなく、以下に示すような変形をも含むものである。
[4] Modifications of Embodiments The present invention is not limited to the above-described embodiments, and includes the following modifications.

前記実施形態では、目安線変更起動部72は、モニタ65による入力を監視して、目安線変更部71を起動していたが、本発明はこれに限られない。キャブ4内に設けられた所定の操作スイッチを操作したか否かによって、もしくは各種センサ(検知手段)の検知信号に応じてブレード23の装着を検知することにより目安線変更部71を起動することとしてもよい。これにより、仮に点検者がモニタ65による入力を忘れてしまっても、ブレードが装着されたことを検知手段が検知することにより自動的に目安線変更部71が起動されることになる。   In the embodiment, the reference line change activation unit 72 monitors the input by the monitor 65 and activates the reference line change unit 71. However, the present invention is not limited to this. The reference line changing unit 71 is activated by detecting whether or not the blade 23 is mounted depending on whether or not a predetermined operation switch provided in the cab 4 is operated, or according to detection signals of various sensors (detection means). It is good. As a result, even if the inspector forgets to input by the monitor 65, the reference line changing unit 71 is automatically activated when the detecting means detects that the blade is mounted.

前記実施形態では、目安線(外縁目安画像の一例)GB、GCは、直線部と円弧部とを組み合わせた略矩形状の画像であったが、この形状に限らず、超信地旋回時の旋回中心もしくは上部旋回体の旋回中心を中心とした円形であって履帯22の外側先端部やブレード前面側端部と外接するものや、少し余裕を持たせて履帯22の外側先端部等との外接円より大きくした円形であってもよい。さらに、形状は円形に限られない。また、外縁目安画像は、点や何らかのマーク等を配列したものでよく、必ずしも線状に配列したものでなくてもよい。さらに、上記実施形態では、外縁目安画像を1本のみ表示していたが、大きさの異なる目安画像を複数同時に表示させてもよい。   In the embodiment, the reference lines (an example of the outer edge guide image) GB and GC are substantially rectangular images in which a straight portion and an arc portion are combined. However, the shape is not limited to this shape. It is a circle centered on the turning center or the turning center of the upper turning body and circumscribes the outer tip of the crawler belt 22 or the blade front side end, or the outer tip of the crawler belt 22 with some allowance. It may be a circle larger than the circumscribed circle. Furthermore, the shape is not limited to a circle. Further, the outer edge guide image may be an array of dots, some marks, or the like, and may not necessarily be an array of lines. Furthermore, although only one outer edge guide image is displayed in the above embodiment, a plurality of guide images having different sizes may be displayed simultaneously.

また、上記実施形態では、目安線GB、GCの大きさや表示位置を、油圧ショベル1の旋回中心Oからの距離に基づいて決定していたが、それに限られず、油圧ショベル1を上方視点から見た時に油圧ショベル1上の所定の位置からの距離に基づいて、目安線の大きさや表示位置を決定してもよい。   In the above embodiment, the sizes and display positions of the reference lines GB and GC are determined based on the distance from the turning center O of the excavator 1, but the present invention is not limited to this, and the excavator 1 is viewed from above. The size of the reference line and the display position may be determined based on the distance from the predetermined position on the excavator 1 at the time.

また、上記実施形態の他に、履帯22が長いタイプの油圧ショベルや履帯幅が大きいタイプの油圧ショベルが機種情報として選択された場合に、旋回中心Oから最も離れた下部走行体の位置が変更されていたなら、目安線も変更される。   In addition to the above embodiment, when a hydraulic excavator with a long crawler belt 22 or a hydraulic excavator with a large crawler belt width is selected as model information, the position of the lower traveling body farthest from the turning center O is changed. If so, the reference line will also be changed.

さらに、上記実施形態では、旋回中心Oから最も離れた下部走行体2の位置に基づいて目安線GB、GCを生成するようにしていたが、これに限られない。
例えば、旋回中心Oから最も離れている油圧ショベル(作業機部分を除く)の位置が、下部走行体ではなく上部旋回体(作業機部分を除く)のいずれかの位置にあった場合、上部旋回体(作業機部分を除く)のいずれかの位置、例えば上部旋回体の後端部(カウンタウェイト)の位置に基づいて目安線を生成してもよい。その際に、機種情報として、通常タイプの機種を選択するか、通常タイプよりもカウンタウェイトが増量されており後端部が伸びている(すなわち旋回中心Oから最も離れた油圧ショベルの位置も長くなっている)タイプの機種を選択するかで、目安線の大きさを変更させるようにしてもよい。
さらに、機種情報として、後付けカウンタウェイトを取り付けた情報を入力した場合に、後付けカウンタウェイトの分だけ上部旋回体の後端部が伸びているため、目安線の大きさを変更させるようにしてもよい。
Furthermore, in the above embodiment, the reference lines GB and GC are generated based on the position of the lower traveling body 2 farthest from the turning center O. However, the present invention is not limited to this.
For example, when the position of the hydraulic excavator (excluding the work implement part) farthest from the turning center O is in any position of the upper revolving structure (excluding the work implement part) instead of the lower traveling body, the upper turn The reference line may be generated based on any position of the body (excluding the work implement portion), for example, the position of the rear end portion (counter weight) of the upper swing body. At that time, a normal type model is selected as the model information, or the counter weight is increased as compared with the normal type and the rear end portion is extended (that is, the position of the hydraulic excavator farthest from the turning center O is longer). The size of the reference line may be changed by selecting the model of the type).
Furthermore, when the information on the retrofitting counterweight is input as model information, the rear end of the upper swinging body extends by the amount of the retrofitting counterweight, so the size of the reference line may be changed. Good.

また、上記実施形態では、上部旋回体に4つのカメラを取り付けて俯瞰画像を生成していたが、カメラの数は2つ以上であればいくつであっても構わない。   Moreover, in the said embodiment, although the four cameras were attached to the upper revolving body and the bird's-eye view image was produced | generated, as long as the number of cameras is two or more, how many may be sufficient.

前記実施形態では、標準画面に俯瞰画像と単カメラ画像を同時に表示させる構成としていたが、本発明はこれに限られず、俯瞰画像のみや単カメラ画像のみを表示させる構成としてもよい。もしくは、標準画面には俯瞰画像と単カメラ画像を表示させず、画面切替によって表示させる形態であってもよい。   In the above embodiment, the overhead image and the single camera image are displayed on the standard screen at the same time. However, the present invention is not limited to this, and a configuration may be adopted in which only the overhead image or the single camera image is displayed. Alternatively, the standard screen may be displayed by switching the screen without displaying the overhead image and the single camera image.

また、上記実施形態では作業機械のキャブ4にモニタ65を設けた構成で説明したが、その他の場所、例えば作業機械の遠隔操作を行うための遠隔操作席や、建設現場内にある複数の作業機械を全体的に管理・統制する管制室内に設けた構成であってもよい。さらに、モニタ65が携帯端末として設けられ、オペレータが携帯端末に表示された俯瞰画像や単カメラ画像を見られる構成であってもよい。ここで、遠隔操作席や管制室においてモニタ65に俯瞰画像を表示する場合や携帯端末をモニタ65として用いる場合には、作業機械と、遠隔操作席・管制室・携帯端末等のそれぞれに何らかの通信手段を設け、俯瞰画像等の情報の送受信を行う構成であってもよい。
その他、本発明の目的を達成できる範囲で他の構造等を採用してもよい。
In the above-described embodiment, the monitor 65 is provided in the cab 4 of the work machine. However, a remote operation seat for performing remote operation of the work machine, for example, a plurality of work in the construction site is described. A configuration may be provided in which a machine is managed and controlled as a whole. Furthermore, the monitor 65 may be provided as a mobile terminal so that the operator can view an overhead image or a single camera image displayed on the mobile terminal. Here, when a bird's-eye view image is displayed on the monitor 65 in a remote control seat or control room, or when a portable terminal is used as the monitor 65, some communication is performed between the work machine and the remote control seat / control room / mobile terminal. A configuration may be provided in which means is provided to transmit and receive information such as a bird's-eye view image.
In addition, other structures and the like may be adopted as long as the object of the present invention can be achieved.

1…油圧ショベル、2…下部走行体、3…上部旋回体、4…キャブ、5…作業機、21…走行装置、22…履帯、23…ブレード、51…ブーム、51A…ブームシリンダ、52…アーム、52A…アームシリンダ、53…バケット、53A…バケットシリンダ、60…周辺監視装置、61…左後方カメラ、61A…仮想視点、62…右側方カメラ、63…右後方カメラ、64…後方カメラ、65…モニタ、66…周辺監視コントローラ、67…俯瞰画像生成部、68…画像重畳部、69…目安線重畳部、70…表示画像出力部、71…目安線変更部、72…目安線変更起動部、E0…履帯の外側先端部、E1…ブレードの前面側端部、E2…後端位置、G1…表示画像、G2…俯瞰画像、G3…単カメラ画像、G4…単カメラ画像位置アイコン、G5…サービスメータ画像、G6…作業モード画像、G7…エンジン水温、G8…作動油温、G9…燃料残量、GA…上面画像、GB…目安線(外縁目安画像)、GC…目安線(外縁目安画像)、GL…仮想投影面、L1,L11…円、L2…正方形、L3〜L6…直線部、L7〜L10…円弧部、M1…寸法、M2…寸法、O…旋回中心、OB…対象。


DESCRIPTION OF SYMBOLS 1 ... Hydraulic excavator, 2 ... Lower traveling body, 3 ... Upper turning body, 4 ... Cab, 5 ... Working machine, 21 ... Running device, 22 ... Track, 23 ... Blade, 51 ... Boom, 51A ... Boom cylinder, 52 ... Arm, 52A ... arm cylinder, 53 ... bucket, 53A ... bucket cylinder, 60 ... peripheral monitoring device, 61 ... left rear camera, 61A ... virtual viewpoint, 62 ... right side camera, 63 ... right rear camera, 64 ... rear camera, 65 ... Monitor, 66 ... Ambient monitoring controller, 67 ... Overhead image generation unit, 68 ... Image superimposition unit, 69 ... Guide line superimposition unit, 70 ... Display image output unit, 71 ... Guide line change unit, 72 ... Guide line change start Part, E0 ... outer front end of the crawler belt, E1 ... blade front side end, E2 ... rear end position, G1 ... display image, G2 ... overhead image, G3 ... single camera image, G4 ... single camera image position eye G5 ... Service meter image, G6 ... Work mode image, G7 ... Engine water temperature, G8 ... Working oil temperature, G9 ... Fuel remaining amount, GA ... Top image, GB ... Guide line (outer edge guide image), GC ... Guide line (Outer edge guide image), GL: virtual projection plane, L1, L11 ... circle, L2: square, L3 to L6 ... straight line part, L7 to L10 ... arc part, M1 ... dimension, M2 ... dimension, O ... turning center, OB ... subject.


Claims (7)

クローラ式の下部走行体及び上部旋回体を備えたクローラ式作業機械の周辺監視装置であって、
前記クローラ式作業機械の周囲を撮像するカメラと、
前記カメラで撮像された画像を表示する表示手段と、
前記クローラ式作業機械のブレードの有無に基づいて、前記クローラ式作業機械の外縁目安画像の大きさを変更する目安線変更部と、
前記表示手段に表示された前記カメラにより撮像された画像に、前記目安線変更部により変更された外縁目安画像を重畳させる目安線重畳部と、を備えている
ことを特徴とするクローラ式作業機械の周辺監視装置。
A crawler-type work machine peripheral monitoring device comprising a crawler-type lower traveling body and an upper turning body,
A camera that images the periphery of the crawler work machine;
Display means for displaying an image captured by the camera;
Based on the presence or absence of the crawler type working machine blade, and a guide wire changing unit for changing the size of the outer edge measure image of the crawler type working machine,
A crawler-type work machine comprising: a guide line superimposing unit that superimposes an outer edge guide image changed by the guide line changing unit on an image captured by the camera displayed on the display means Perimeter monitoring device.
クローラ式の下部走行体及び上部旋回体を備えたクローラ式作業機械の周辺監視装置であって、
前記クローラ式作業機械の周囲を撮像するカメラと、
前記カメラで撮像された画像を表示する表示手段と、
前記クローラ式作業機械の旋回中心から最も離れた前記上部旋回体の位置となるカウンタウェイトのタイプに応じて、前記クローラ式作業機械の外縁目安画像の大きさを変更する目安線変更部と、
前記表示手段に表示された前記カメラにより撮像された画像に、前記目安線変更部により変更された外縁目安画像を重畳させる目安線重畳部と、を備えている
ことを特徴とするクローラ式作業機械の周辺監視装置。
A crawler-type work machine peripheral monitoring device comprising a crawler-type lower traveling body and an upper turning body,
A camera that images the periphery of the crawler work machine;
Display means for displaying an image captured by the camera;
According to the type of the counterweight that is the position of the upper revolving body farthest from the turning center of the crawler type work machine, a guide line changing unit that changes the size of the outer edge reference image of the crawler type work machine;
A crawler-type work machine comprising: a guide line superimposing unit that superimposes an outer edge guide image changed by the guide line changing unit on an image captured by the camera displayed on the display means Perimeter monitoring device.
請求項1または請求項2に記載のクローラ式作業機械の周辺監視装置において、
前記カメラで撮像された画像は、俯瞰画像または単カメラ画像であることを特徴とするクローラ式作業機械の周辺監視装置。
In the periphery monitoring device for a crawler work machine according to claim 1 or 2 ,
An apparatus for monitoring the periphery of a crawler work machine, wherein the image captured by the camera is an overhead image or a single camera image.
請求項1から請求項3のいずれか一項に記載のクローラ式作業機械の周辺監視装置において、
前記外縁目安画像の形状が直線部と円弧部とを組み合わせたことを特徴とするクローラ式作業機械の周辺監視装置。
In the periphery monitoring device for a crawler work machine according to any one of claims 1 to 3 ,
An apparatus for monitoring the periphery of a crawler work machine, wherein the shape of the outer edge guide image is a combination of a straight line portion and a circular arc portion.
請求項1から請求項4のいずれか一項に記載のクローラ式作業機械の周辺監視装置において、
前記外縁目安画像の形状が旋回中心を中心とした円形であることを特徴とするクローラ式作業機械の周辺監視装置。
In the periphery monitoring device for a crawler work machine according to any one of claims 1 to 4 ,
A crawler type work machine periphery monitoring device, wherein the shape of the outer edge guide image is a circle centered on a turning center.
請求項1から請求項5のいずれか一項に記載のクローラ式作業機械の周辺監視装置において、
前記表示手段は、前記クローラ式作業機械の遠隔操作席、又は前記クローラ式作業機械を管理する管制室に設けられた表示装置、若しくは携帯端末に設けられたことを特徴とするクローラ式作業機械の周辺監視装置。
In the crawler type work machine periphery monitoring device according to any one of claims 1 to 5 ,
The display means is provided in a remote control seat of the crawler work machine, a display device provided in a control room for managing the crawler work machine, or a mobile terminal. Perimeter monitoring device.
クローラ式の下部走行体及び上部旋回体を備えたクローラ式作業機械の周辺監視装置であって、
前記クローラ式作業機械の周囲を撮像するカメラと、
前記カメラで撮像された画像を表示する表示手段と、
前記表示手段に表示された前記カメラにより撮像された画像に、前記クローラ式作業機械の旋回中心を中心とし、前記旋回中心から最も離れた前記下部走行体の位置を通る円に、少なくともその一部が触れるように生成される外縁目安画像を重畳させる制御手段と、を備えている
ことを特徴とするクローラ式作業機械の周辺監視装置。
A crawler-type work machine peripheral monitoring device comprising a crawler-type lower traveling body and an upper turning body,
A camera that images the periphery of the crawler work machine;
Display means for displaying an image captured by the camera;
At least part of the image captured by the camera displayed on the display means is a circle passing through the position of the lower traveling body that is centered on the turning center of the crawler type work machine and that is farthest from the turning center. And a control means for superimposing an outer edge reference image generated so as to touch the periphery of the crawler work machine.
JP2016184508A 2016-09-21 2016-09-21 Perimeter monitoring equipment for crawler type work machines Active JP6306115B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016184508A JP6306115B2 (en) 2016-09-21 2016-09-21 Perimeter monitoring equipment for crawler type work machines

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016184508A JP6306115B2 (en) 2016-09-21 2016-09-21 Perimeter monitoring equipment for crawler type work machines

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016520089A Division JP6013655B2 (en) 2015-09-30 2015-09-30 Perimeter monitoring equipment for crawler type work machines

Publications (2)

Publication Number Publication Date
JP2017066860A JP2017066860A (en) 2017-04-06
JP6306115B2 true JP6306115B2 (en) 2018-04-04

Family

ID=58494336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016184508A Active JP6306115B2 (en) 2016-09-21 2016-09-21 Perimeter monitoring equipment for crawler type work machines

Country Status (1)

Country Link
JP (1) JP6306115B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018171148A (en) * 2017-03-31 2018-11-08 ネット株式会社 Game machine
JP6946094B2 (en) * 2017-07-18 2021-10-06 株式会社クボタ Work machine
WO2019017188A1 (en) 2017-07-18 2019-01-24 株式会社クボタ Working machine
JP7070047B2 (en) * 2018-04-26 2022-05-18 コベルコ建機株式会社 Swing control device for swivel work machines
JP2020183622A (en) * 2019-04-26 2020-11-12 住友建機株式会社 Shovel and series of shovel
JP7416579B2 (en) * 2019-08-09 2024-01-17 株式会社小松製作所 working machine
JP7560955B2 (en) 2020-04-20 2024-10-03 株式会社小松製作所 Shovel, obstacle warning system for work machine, and obstacle warning method for shovel
JP7428588B2 (en) * 2020-05-22 2024-02-06 鉄建建設株式会社 Video display system for construction vehicles
JP7572907B2 (en) * 2021-04-28 2024-10-24 株式会社小松製作所 Display control device, display control method and work machine

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5269026B2 (en) * 2010-09-29 2013-08-21 日立建機株式会社 Work machine ambient monitoring device
JP5888956B2 (en) * 2011-12-13 2016-03-22 住友建機株式会社 Excavator and surrounding image display method of the excavator
EP2955914B1 (en) * 2013-02-08 2018-10-17 Hitachi Construction Machinery Co., Ltd. Surroundings monitoring device for slewing-type work machine

Also Published As

Publication number Publication date
JP2017066860A (en) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6013655B2 (en) Perimeter monitoring equipment for crawler type work machines
JP6306115B2 (en) Perimeter monitoring equipment for crawler type work machines
JP6734260B2 (en) Work machine
JP6216097B2 (en) Work machine periphery monitoring device
JP6427597B2 (en) Peripheral monitoring device for working machine and peripheral monitoring method for working machine
JP6200121B2 (en) Work machine periphery monitoring device
JP5269026B2 (en) Work machine ambient monitoring device
US10145087B2 (en) Surroundings display device for swing working machine
CN103635637B (en) The back visibibility display unit of hydraulic crawler excavator
KR20140035440A (en) Device for monitoring area around working machine
JP2016194237A (en) Work machine
JP6071786B2 (en) Work machine ambient monitoring device
JP7207127B2 (en) Surrounding monitoring device for working machine
JP7255454B2 (en) Surrounding monitoring device for working machines

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180307

R150 Certificate of patent or registration of utility model

Ref document number: 6306115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150