Nothing Special   »   [go: up one dir, main page]

WO2020054413A1 - ホイールローダの表示システムおよびその制御方法 - Google Patents

ホイールローダの表示システムおよびその制御方法 Download PDF

Info

Publication number
WO2020054413A1
WO2020054413A1 PCT/JP2019/033635 JP2019033635W WO2020054413A1 WO 2020054413 A1 WO2020054413 A1 WO 2020054413A1 JP 2019033635 W JP2019033635 W JP 2019033635W WO 2020054413 A1 WO2020054413 A1 WO 2020054413A1
Authority
WO
WIPO (PCT)
Prior art keywords
wheel loader
work machine
unit
image
work
Prior art date
Application number
PCT/JP2019/033635
Other languages
English (en)
French (fr)
Inventor
正樹 大門
啓敬 新田目
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to EP19860933.1A priority Critical patent/EP3783156B1/en
Priority to US17/054,215 priority patent/US20210062472A1/en
Priority to CN201980035053.8A priority patent/CN112204199A/zh
Publication of WO2020054413A1 publication Critical patent/WO2020054413A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08Superstructures; Supports for superstructures
    • E02F9/0841Articulated frame, i.e. having at least one pivot point between two travelling gear units
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D12/00Steering specially adapted for vehicles operating in tandem or having pivotally connected frames
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present invention relates to a working machine, and more particularly, to a wheel loader.
  • the wheel loader has a bucket rotatable in the dumping direction at the tip of a boom rotatable in the vertical direction.
  • the operator operates the operating device to rotate the bucket in the dumping direction so as to be substantially horizontal, and then performs a digging operation in which the wheel loader is run to cause the bucket to penetrate a pile of soil and the like.
  • a load is loaded in the bucket.
  • the operator raises the boom with respect to the machine body.
  • the wheel loader is opposed to a transport machine such as a dump truck, and the boom is raised above the loading platform.
  • the cargo in the bucket falls on the carrier and the cargo is transferred to the transport machine. By repeating such a cycle a plurality of times, the loading operation is performed.
  • Japanese Patent Application Laid-Open No. 2016-89388 discloses a technique for transmitting information to a remote facility and providing a support image for assisting an operator's work on the remote facility. It has been disclosed.
  • the support image is generated in consideration of the relative positional relationship between the excavator and the transport vehicle.
  • a support image relating to the excavator is merely provided.
  • the present invention has been made in order to solve the above-described problems, and provides a display system of a wheel loader that can easily recognize an operation state of the wheel loader and a control method thereof. With the goal.
  • the display system for a wheel loader includes: an acquisition unit that acquires work machine operation information including an articulated angle; and an operation image that includes an articulated state of the wheel loader based on the work machine operation information acquired by the acquisition unit. And a display unit for displaying a motion image.
  • Another display system for a wheel loader includes: an acquisition unit that acquires work machine operation information of a wheel loader including a bucket angle and a vehicle speed; and a bucket and travel of the wheel loader based on the work machine operation information acquired by the acquisition unit.
  • An operation image generation unit that generates an operation image indicating the state of the wheel, and a display unit that displays the operation image are provided.
  • a method for controlling a display system of a wheel loader includes the steps of acquiring work machine operation information including an articulated angle, and generating an operation image including an articulated state of a wheel loader based on the acquired work machine operation information. And a step of displaying a motion image.
  • the display system of the wheel loader and the control method thereof according to the present invention can easily recognize the operation state of the wheel loader.
  • FIG. 1 is a side view of a wheel loader 1 as an example of a work machine according to an embodiment.
  • FIG. 1 is a schematic block diagram showing a configuration of an entire system including a wheel loader 1 according to an embodiment. It is a schematic diagram explaining the working process of the wheel loader 1 based on the embodiment.
  • 4 is a table showing a method for determining a work process of the wheel loader 1 based on the embodiment.
  • FIG. 5 is a diagram illustrating functional blocks of a second processing device 70 according to the embodiment.
  • FIG. 7 is a diagram illustrating a work machine table stored in a memory 73 according to the embodiment. It is a flowchart explaining the event registration process of the 2nd processing apparatus 70 according to embodiment.
  • FIG. 1 is a side view of a wheel loader 1 as an example of a work machine according to an embodiment.
  • FIG. 1 is a schematic block diagram showing a configuration of an entire system including a wheel loader 1 according to an embodiment. It is a schematic diagram
  • FIG. 3 is a diagram illustrating detailed functional blocks of a motion image generation unit according to the embodiment.
  • FIG. 7 is a diagram illustrating a work screen 200 of the display unit 72 according to the embodiment.
  • FIG. 11 is a flowchart illustrating a reproduction position selection process in a second processing device 70 according to the embodiment.
  • FIG. 1 is a side view of a wheel loader 1 as an example of a work machine according to the embodiment.
  • the wheel loader 1 includes a body frame 2, a working machine 3, a traveling device 4, and a cab 5.
  • the body of the wheel loader 1 is constituted by the body frame 2, the cab 5, and the like.
  • a work implement 3 and a traveling device 4 are attached to a vehicle body of the wheel loader 1.
  • the traveling device 4 travels the vehicle body of the wheel loader 1 and includes traveling wheels 4a and 4b.
  • the wheel loader 1 is capable of self-running by rotatingly driving the running wheels 4a and 4b, and can perform a desired operation using the working machine 3.
  • the body frame 2 includes a front frame 11 and a rear frame 12.
  • the front frame 11 and the rear frame 12 are attached to be able to swing in the left-right direction.
  • a steering cylinder 13 is attached to the front frame 11 and the rear frame 12.
  • the steering cylinder 13 is a hydraulic cylinder. When the steering cylinder 13 expands and contracts with hydraulic oil from a steering pump (not shown), the traveling direction of the wheel loader 1 is changed left and right.
  • the direction in which the wheel loader 1 travels straight is referred to as the front-rear direction of the wheel loader 1.
  • the front-rear direction of the wheel loader 1 the side on which the work implement 3 is disposed with respect to the body frame 2 is defined as a front direction, and the side opposite to the front direction is defined as a rear direction.
  • the left-right direction of the wheel loader 1 is a direction orthogonal to the front-rear direction in plan view.
  • the right side and the left side in the left-right direction when viewing the front direction are the right direction and the left direction, respectively.
  • the up-down direction of the wheel loader 1 is a direction orthogonal to a plane defined by the front-rear direction and the left-right direction. In the vertical direction, the side with the ground is the lower side, and the side with the sky is the upper side.
  • the front-rear direction is the front-rear direction of the worker sitting on the driver's seat in the cab 5.
  • the left-right direction is the left-right direction of the worker sitting on the driver's seat.
  • the left-right direction is a vehicle width direction of the wheel loader 1.
  • the vertical direction is the vertical direction of the worker sitting on the driver's seat.
  • the direction facing the worker sitting on the driver's seat is the front direction, and the direction behind the worker sitting on the driver's seat is the rear direction.
  • the right side and the left side when the worker sitting in the driver's seat faces the front are the right direction and the left direction, respectively.
  • the foot side of the worker sitting on the driver's seat is the lower side, and the upper side of the head is the upper side.
  • Work implement 3 and running wheels (front wheels) 4a are attached to front frame 11.
  • Work implement 3 includes boom 14 and bucket 6.
  • the base end of the boom 14 is rotatably attached to the front frame 11 by a boom pin 10.
  • the bucket 6 is rotatably attached to the boom 14 by a bucket pin 17 located at the tip of the boom 14.
  • the front frame 11 and the boom 14 are connected by a boom cylinder 16.
  • the boom cylinder 16 is a hydraulic cylinder.
  • the boom 14 moves up and down as the boom cylinder 16 expands and contracts with hydraulic oil from the work machine pump 25 (see FIG. 2).
  • the boom cylinder 16 drives the boom 14.
  • Work machine 3 further includes a bell crank 18, a tilt cylinder 19, and a tilt rod 15.
  • the bell crank 18 is rotatably supported by the boom 14 by a support pin 18a located substantially at the center of the boom 14.
  • the tilt cylinder 19 connects the base end of the bell crank 18 and the front frame 11.
  • the tilt rod 15 connects the tip of the bell crank 18 and the bucket 6.
  • the tilt cylinder 19 is a hydraulic cylinder. When the tilt cylinder 19 expands and contracts with hydraulic oil from the work machine pump 25 (see FIG. 2), the bucket 6 rotates up and down.
  • the tilt cylinder 19 drives the bucket 6.
  • the work machine 3 has a front loading type bucket 6. In the front loading type bucket 6, when the boom 14 is raised and the tilt cylinder 19 is extended, the opening of the bucket 6 is directed upward.
  • a cab 5 and a running wheel (rear wheel) 4b are attached to the rear frame 12.
  • the cab 5 is arranged behind the boom 14.
  • the cab 5 is mounted on the vehicle body frame 2.
  • a seat on which an operator sits, an operation device, and the like are arranged.
  • a position detection sensor 64 is disposed on the upper ceiling side of the cab 5.
  • the position detection sensor 64 includes a GNSS antenna and a global coordinate calculator.
  • the GNSS antenna is an antenna for a global navigation satellite system (RTK-GNSS (Real Time Kinematic-Global Navigation Satellite Systems).
  • RTK-GNSS Global Navigation Satellite Systems
  • IMU Inertial Measurement Unit
  • the IMU 66 detects an inclination angle of the body frame 2 with respect to the front-rear direction and the left-right direction.
  • FIG. 2 is a schematic block diagram showing the configuration of the entire system including the wheel loader 1 according to the embodiment.
  • the overall system according to the embodiment includes a wheel loader 1 and a second processing device communicably provided with the wheel loader 1 by wireless communication or wired communication.
  • the wheel loader 1 includes an engine 20, a power take-out unit 22, a power transmission mechanism 23, a cylinder drive unit 24, a first angle detector 29, a second angle detector 48, a rotation mechanism 60, and a first processing device 30 (controller). It has.
  • the engine 20 is, for example, a diesel engine.
  • the output of the engine 20 is controlled by adjusting the amount of fuel injected into the cylinder of the engine 20.
  • the engine 20 is provided with a temperature sensor 31.
  • the temperature sensor 31 outputs a detection signal indicating the temperature to the first processing device 30.
  • the power take-out unit 22 is a device that distributes the output of the engine 20 to the power transmission mechanism 23 and the cylinder drive unit 24.
  • the power transmission mechanism 23 is a mechanism that transmits the driving force from the engine 20 to the front wheels 4a and the rear wheels 4b, and is, for example, a transmission.
  • the power transmission mechanism 23 changes the speed of rotation of the input shaft 21 and outputs the rotation to the output shaft 23a.
  • a vehicle speed detector 27 for detecting the vehicle speed of the wheel loader 1 is attached to the output shaft 23a of the power transmission mechanism 23.
  • the wheel loader 1 includes a vehicle speed detection unit 27.
  • the vehicle speed detector 27 is, for example, a vehicle speed sensor.
  • the vehicle speed detection unit 27 detects the moving speed of the wheel loader 1 by the traveling device 4 (FIG. 1) by detecting the rotation speed of the output shaft 23a.
  • the vehicle speed detector 27 functions as a rotation sensor for detecting the rotation speed of the output shaft 23a.
  • the vehicle speed detection unit 27 functions as a movement detector that detects movement by the traveling device 4.
  • the vehicle speed detection unit 27 outputs a detection signal indicating the vehicle speed of the wheel loader 1 to the first processing device 30.
  • the cylinder drive unit 24 has a work machine pump 25 and a control valve 26.
  • the output of the engine 20 is transmitted to the work machine pump 25 via the power take-out unit 22.
  • the hydraulic oil discharged from the work machine pump 25 is supplied to the boom cylinder 16 and the tilt cylinder 19 via the control valve 26.
  • the boom cylinder 16 is provided with first oil pressure detectors 28a and 28b for detecting the oil pressure in the oil chamber of the boom cylinder 16.
  • the wheel loader 1 includes first oil pressure detectors 28a and 28b.
  • the first hydraulic pressure detectors 28a and 28b include, for example, a pressure sensor 28a for detecting a head pressure and a pressure sensor 28b for detecting a bottom pressure.
  • the pressure sensor 28a is attached to the head side of the boom cylinder 16.
  • the pressure sensor 28a can detect the pressure (head pressure) of the hydraulic oil in the oil chamber on the cylinder head side of the boom cylinder 16.
  • the pressure sensor 28a outputs a detection signal indicating the head pressure of the boom cylinder 16 to the first processing device 30.
  • the pressure sensor 28b is attached to the bottom side of the boom cylinder 16.
  • the pressure sensor 28b can detect the pressure (bottom pressure) of the working oil in the oil chamber on the cylinder bottom side of the boom cylinder 16.
  • the pressure sensor 28b outputs a detection signal indicating the bottom pressure of the boom cylinder 16 to the first processing device 30.
  • the first angle detector 29 is, for example, a potentiometer attached to the boom pin 10.
  • the first angle detector 29 detects a boom angle indicating a lifting angle (tilt angle) of the boom 14.
  • the first angle detector 29 outputs a detection signal indicating the boom angle to the first processing device 30.
  • the boom angle ⁇ is an angle of a straight line LB extending in a direction from the center of the boom pin 10 toward the center of the bucket pin 17 with respect to a horizontal line extending forward from the center of the boom pin 10.
  • the first angle detector 29 may be a stroke sensor arranged on the boom cylinder 16.
  • the second angle detector 48 is, for example, a potentiometer attached to the support pin 18a.
  • the second angle detector 48 detects a bucket angle representing the tilt angle of the bucket 6 with respect to the boom 14 by detecting the angle of the bell crank 18 with respect to the boom 14 (bell crank angle).
  • the second angle detector 48 outputs a detection signal indicating the bucket angle to the first processing device 30.
  • the bucket angle is, for example, an angle between a straight line connecting the center of the bucket pin 17 and the cutting edge 6a of the bucket 6 and a straight line LB.
  • the second angle detector 48 may be a stroke sensor arranged on the tilt cylinder 19.
  • the rotating mechanism 60 rotatably connects the front frame 11 and the rear frame 12.
  • the rotation of the front frame 11 with respect to the rear frame 12 is performed by expanding and contracting an articulated cylinder connected between the front frame 11 and the rear frame 12.
  • the rotating mechanism 60 is provided with an articulated angle sensor 61.
  • the articulated angle sensor 61 detects an articulated angle.
  • the articulated angle sensor 61 outputs a detection signal indicating the articulated angle to the first processing device 30.
  • the position detection sensor 64 outputs a detection signal indicating the position of the wheel loader 1 to the first processing device 30.
  • the IMU 66 outputs a detection signal indicating the inclination angle of the wheel loader 1 to the first processing device 30.
  • the wheel loader 1 includes an operation device operated by an operator in the cab 5.
  • the operating device includes a forward / reverse switching device 49, an accelerator operating device 51, a boom operating device 52, a shift operating device 53, a bucket operating device 54, and a brake operating device 58.
  • the forward / reverse switching device 49 includes a forward / backward switching operation member 49a and a forward / backward switching detection sensor 49b.
  • the forward / reverse switching operation member 49a is operated by an operator to instruct switching between forward and backward travel of the vehicle.
  • the forward / reverse switching operation member 49a can be switched to forward (F), neutral (N), and reverse (R) positions.
  • the forward / reverse switching detection sensor 49b detects the position of the forward / reverse switching operation member 49a.
  • the forward / reverse switching detection sensor 49b outputs a detection signal (forward, neutral, reverse) of a forward / reverse command indicated by the position of the forward / backward switching operation member 49a to the first processing device 30.
  • the forward / reverse switching device 49 includes an FNR switching lever capable of switching between forward (F), neutral (N), and reverse (R).
  • the accelerator operation device 51 includes an accelerator operation member 51a and an accelerator operation detection unit 51b.
  • the accelerator operation member 51a is operated by an operator to set a target rotation speed of the engine 20.
  • the accelerator operation detection unit 51b detects an operation amount (accelerator operation amount) of the accelerator operation member 51a.
  • the accelerator operation detection unit 51b outputs a detection signal indicating the accelerator operation amount to the first processing device 30.
  • the brake operation device 58 includes a brake operation member 58a and a brake operation detection unit 58b.
  • the brake operation member 58a is operated by an operator to operate the deceleration force of the wheel loader 1.
  • the brake operation detection unit 58b detects an operation amount (brake operation amount) of the brake operation member 58a.
  • the brake operation detection unit 58b outputs a detection signal indicating the brake operation amount to the first processing device 30.
  • the pressure of the brake oil may be used as the brake operation amount.
  • the boom operation device 52 includes a boom operation member 52a and a boom operation detection unit 52b.
  • the boom operation member 52a is operated by an operator to move the boom 14 up or down.
  • the boom operation detection unit 52b detects the position of the boom operation member 52a.
  • the boom operation detection unit 52b outputs to the first processing device 30 a detection signal of a command to raise or lower the boom 14 indicated by the position of the boom operation member 52a.
  • the speed change operation device 53 includes a speed change operation member 53a and a speed change operation detection unit 53b.
  • the shift operation member 53a is operated by an operator to control a shift from the input shaft 21 to the output shaft 23a in the power transmission mechanism 23.
  • the shift operation detecting section 53b detects the position of the shift operation member 53a.
  • the shift operation detecting section 53b outputs a shift detection command represented by the position of the shift operation member 53a to the first processing device 30.
  • the bucket operation device 54 includes a bucket operation member 54a and a bucket operation detection unit 54b.
  • the bucket operation member 54a is operated by an operator to make the bucket 6 excavate or dump.
  • the bucket operation detector 54b detects the position of the bucket operation member 54a.
  • the bucket operation detection unit 54b outputs a detection signal of an operation command of the bucket 6 in the tiltback direction or the dump direction indicated by the position of the bucket operation member 54a to the first processing device 30.
  • the articulated operation device 55 includes an articulated operation member 55a and an articulated operation detection unit 55b.
  • the articulate operation member 55a is operated by an operator to bend (articulate) the front frame 11 with respect to the rear frame 12 via the rotation mechanism 60.
  • the articulated operation detecting section 55b detects the position of the articulated operation member 55a.
  • the articulated operation detection unit 55b outputs to the first processing device 30 a detection signal of a leftward bending instruction or a rightward bending instruction indicated by the position of the articulated operation member 55a.
  • the first processing device 30 is configured by a microcomputer including a storage device such as a RAM (Random Access Memory) and a ROM (Read Only Memory) and a computing device such as a CPU (Central Processing Unit).
  • the first processing device 30 may be realized as a part of a function of a controller of the wheel loader 1 that controls operations of the engine 20, the work implement 3 (the boom cylinder 16, the tilt cylinder 19, and the like), the power transmission mechanism 23, and the like. Good.
  • the first processing device 30 includes a forward / reverse command signal detected by the forward / reverse switching device 49, a vehicle speed signal of the wheel loader 1 detected by the vehicle speed detection unit 27, and a signal detected by the first angle detector 29.
  • the boom angle signal, the head pressure signal of the boom cylinder 16 detected by the pressure sensor 28a, and the bottom pressure signal of the boom cylinder 16 detected by the pressure sensor 28b are mainly input.
  • the wheel loader 1 further includes a display unit 40 and an output unit 45.
  • the display unit 40 is a monitor arranged on the cab 5 and visually recognized by an operator.
  • the output unit 45 outputs work machine operation information including the operation information of the wheel loader 1 to a server (second processing device 70) installed outside the wheel loader 1.
  • the output unit 45 may output work machine operation information including operation information of the wheel loader 1 every predetermined period, or may output work machine operation information for a plurality of periods collectively.
  • the output unit 45 may have a communication function such as wireless communication, for example, and communicate with the second processing device 70.
  • the output unit 45 may be, for example, an interface of a portable storage device (such as a memory card) that the second processing device 70 can access.
  • the second processing device 70 has a display unit corresponding to a monitor function, and can display an operation image based on work machine operation information output from the output unit 45.
  • the second processing device 70 is provided at a position different from that of the wheel loader 1, and as an example, it is possible to recognize an operation image during operation of the wheel loader 1 on a display unit at a remote place.
  • the wheel loader 1 of the present embodiment performs an excavation operation of scooping an excavation target such as earth and sand into a bucket 6 and a loading operation of loading a load (excavation target 100) in the bucket 6 onto a transport machine such as a dump truck 110.
  • FIG. 3 is a schematic diagram for explaining the working steps of the wheel loader 1 based on the embodiment.
  • the wheel loader 1 repeats the following multiple steps in order to excavate the excavation object 100 and load the excavation object 100 on a transport machine such as the dump truck 110.
  • the wheel loader 1 advances toward the excavation target 100.
  • the operator operates the boom cylinder 16 and the tilt cylinder 19 to set the work implement 3 to the excavation posture in which the tip of the boom 14 is at a low position and the bucket 6 is oriented horizontally. Is advanced toward the excavation target 100.
  • the operator advances the wheel loader 1 until the cutting edge 6a of the bucket 6 bites into the excavation target 100.
  • this excavation (rush) step the cutting edge 6 a of the bucket 6 bites into the excavation target 100.
  • the scooping process may be completed only by tilting the bucket 6 once.
  • the bucket 6 may be repeatedly tilted back, neutralized, and tilted back again.
  • the operator moves the wheel loader 1 backward in the loading backward process.
  • the operator may raise the boom while moving backward, or may raise the boom while moving forward in FIG.
  • the operator dumps the bucket 6 at a predetermined position and loads the load (excavation target) in the bucket 6 onto the loading platform of the dump truck 110.
  • This step is a so-called earth removal step.
  • the operator lowers the boom 14 while moving the wheel loader 1 backward, and returns the bucket 6 to the excavation posture.
  • the above is a typical process that constitutes one cycle of the excavation loading operation.
  • FIG. 4 is a table showing a method of determining the operation process of the wheel loader 1 based on the embodiment.
  • the name of the work process shown in FIGS. 3A to 3F is shown in the row of “work process” at the top.
  • the first processing device 30 (FIG. 2) is used to determine which process is the current working process. , FIG. 3) are shown. More specifically, in the row of “forward / backward switching lever”, the determination conditions for the forward / backward switching lever are indicated by circles.
  • the column of “work machine cylinder pressure” shows the determination conditions for the current oil pressure of the cylinder of the work machine 3, for example, the oil pressure of the cylinder bottom chamber of the boom cylinder 16.
  • four reference values A, B, C, and P are preset with respect to the hydraulic pressure, and a plurality of pressure ranges (a range less than the reference value P, the reference values A to C , The range from the reference value B to the reference value P, and the range below the reference value C) are defined, and these pressure ranges are set as the determination conditions.
  • the magnitudes of the four reference values A, B, C, and P are such that A> B> C> P.
  • the first processing device 30 is currently performed by using a combination of the determination conditions of the “forward-reverse switching lever”, “boom”, “bucket”, and “work equipment cylinder pressure” for each work process as described above. It is possible to determine which process the process is.
  • the specific operation of the first processing device 30 when performing the control shown in FIG. 4 will be described below.
  • Combinations of the determination conditions of “forward / backward switching lever”, “boom”, “bucket”, and “work equipment cylinder pressure” corresponding to each work process shown in FIG. 4 are stored in advance in the storage unit 30j (FIG. 2). ing.
  • the first processing device 30 recognizes the currently selected forward / reverse switching lever (F, N, R) based on a signal from the forward / reverse switching device 49.
  • the first processing device 30 recognizes the type of operation (lower, neutral, or higher) of the boom 14 based on the signal from the boom operation detector 52b.
  • the first processing device 30 grasps the type of the current operation on the bucket 6 (dump, neutral or tiltback) based on the signal from the bucket operation detection unit 54b. Further, the first processing device 30 grasps the current oil pressure of the cylinder bottom chamber of the boom cylinder 16 based on the signal from the pressure sensor 28b shown in FIG.
  • the first processing device 30 corresponds to each of the work processes in which the current combination of the forward / reverse switching lever, the boom operation type, the bucket operation type, and the lift cylinder oil pressure (that is, the current work state) is stored. This is compared with a combination of the determination conditions of “forward / backward switching lever”, “boom”, “bucket”, and “work equipment cylinder pressure”. As a result of this contrasting process, the first processing device 30 determines which work process corresponds to the combination of the determination conditions that best matches the current work state.
  • combinations of the determination conditions corresponding to the excavation loading operation shown in FIG. 4 are as follows as an example.
  • the forward / reverse switching lever In the unloading advance process, the forward / reverse switching lever is F, the boom operation and the bucket operation are both neutral, and the working machine cylinder pressure is less than the reference value P. In the excavation (rushing) process, the forward / reverse switching lever is F, the boom operation and the bucket operation are both neutral, and the working machine cylinder pressure is in the range of reference values A to C. In the excavation (scooping) process, the forward / reverse switching lever is F or R, the boom operation is up or neutral, the bucket operation is tiltback, and the working machine cylinder pressure is in the range of reference values A to C. As for the bucket operation, a determination condition in which tiltback and neutral are alternately repeated may be further added.
  • the bucket 6 may be repeatedly tilted back, neutralized, and tilted back again.
  • the forward / reverse switching lever is R
  • the boom operation is neutral or up
  • the bucket operation is neutral
  • the working machine cylinder pressure is in the range of the reference value B to P.
  • the forward / reverse switching lever is F
  • the boom operation is raised or neutral
  • the bucket operation is neutral
  • the working machine cylinder pressure is in the range of reference values B to P.
  • the forward / reverse switching lever is F
  • the boom operation is up or neutral
  • the bucket operation is dumping
  • the working machine cylinder pressure is in the range of the reference value B to P.
  • the forward / boom lowering process the forward / reverse switching lever is set to R, the boom operation is lowered, the bucket operation is tilted back, and the working machine cylinder pressure is lower than the reference value P.
  • ⁇ Information on the work process determined by the first processing device 30 is output to the second processing device 70 via the output unit 45 as a part of the work machine operation information.
  • a method of determining a work process by the first processing device 30 will be described.
  • the present invention is not limited to this, and a work process may be determined by the second processing device 70.
  • FIG. 5 is a diagram illustrating functional blocks of second processing device 70 according to the embodiment.
  • the second processing device 70 includes an input unit 71, a display unit 72, a memory 73, a communication unit 74, and a CPU 75.
  • the input unit 71 includes a mouse, a keyboard, a controller, a touch panel, and the like. By operating the input unit 71, an input command is generated. For example, an input command is generated by a mouse operation, a keyboard operation, a button operation of a controller, or a touch operation of a touch panel.
  • the display unit 72 includes a display such as a liquid crystal display.
  • the memory 73 includes a storage device such as a RAM and a ROM.
  • the memory 73 stores a program for implementing a functional block that executes various processes by being read by the CPU 75. Further, the memory 73 stores the work machine operation information transmitted from the wheel loader 1 as work machine operation data.
  • the second processing device 70 generates and displays an operation image indicating the operation state of the wheel loader 1 during the operation using the operation data of the operation machine stored in the memory 73.
  • Work machine operation data will be described later.
  • the second processing device 70 displays, in real time, an operation image indicating an operation state during operation of the wheel loader 1 using the work machine machine operation data.
  • Reproduction processing can also be performed using work machine operation data stored in the memory 73.
  • the reproduction process includes both a still image at a certain point in time and a moving image that changes continuously with time.
  • the CPU 75 implements various functional blocks based on the programs stored in the memory 73. Specifically, the CPU 75 includes a selection unit 80, a motion image generation unit 82, a display control unit 84, an event determination unit 86, and an event registration unit 88.
  • the selection unit 80 selects the time of the working machine operation data stored in the memory 73 as the reproduction time when performing the reproduction processing.
  • the operation image generation unit 82 generates operation image data of the wheel loader 1 based on the work machine operation data.
  • the display control unit 84 outputs a work screen including the operation image to the display unit 72 based on the operation image data of the wheel loader 1 generated by the operation image generation unit 82 and displays the work screen.
  • the event determination unit 86 determines whether an event has occurred based on the work machine operation information stored in the memory 73.
  • the event registration unit 88 stores event information relating to the event determined to have occurred by the event determination unit 86 in the memory 73 in association with work machine operation information.
  • the second processing device 70 is an example of the “work machine display system” of the present invention.
  • the selection unit 80, the motion image generation unit 82, the event determination unit 86, the event registration unit 88, the display unit 72, and the memory 73 are the “selection unit”, the “motion image generation unit”, and the “event determination unit” of the present invention, respectively. , “Event registration unit”, “display unit”, and “storage unit”.
  • FIG. 6 is a diagram illustrating a work machine table stored in memory 73 according to the embodiment.
  • the work machine table includes work machine operation data arranged in chronological order.
  • time-series work times “12:01:01”, “12:01:05”, “12:01:10”, “12:22:00”, “12:02:04”, are associated with each other.
  • the work time corresponds to, for example, a time at which the communication unit 74 of the second processing device 70 receives the data (work machine operation information) transmitted from the output unit 45 of the first processing device 30.
  • the time is not limited to the time when the communication unit 74 of the second processing device 70 receives the information, and may be the time when the output unit 45 of the first processing device 30 transmits the information. It may be used.
  • Work machine operation data includes work machine operation information and event information associated with the work machine operation information.
  • Event information is information on an event that has occurred.
  • the event information is set by the event registration unit 88 as described later. Therefore, before being set by the event registration unit 88, the event information of the work machine operation data is blank.
  • Work machine operation information includes vehicle information CN associated with work time, operation information T, position information P, worker ID, and body ID.
  • the vehicle information CN is information of the wheel loader 1.
  • the vehicle information CN includes the work implement 3 and information about the vehicle including the traveling device 4 and the like other than the work implement 3.
  • the information on the working machine 3 includes detection signals from the first angle detector 29, the second angle detector 48, the first hydraulic pressure detectors 28a and 28b, and working machine data on work processes. It is possible to detect the posture state and the like of the work machine 3 based on the work machine data.
  • the information on the vehicle includes vehicle data on the detection signals of the temperature sensor 31, the vehicle speed detection unit 27, and the articulated angle sensor 61. It is possible to detect the state and the like of the traveling device 4 based on the vehicle data.
  • the operation information T includes work machine operation information for the work machine 3 and vehicle operation information.
  • the work machine operation information includes work machine operation data relating to detection signals of the boom operation detection unit 52b and the bucket operation detection unit 54b. It is possible to detect the operation state of the work machine 3 from the work machine operation data.
  • the vehicle operation information includes vehicle operation data relating to detection signals of the forward / reverse switching operation member 49a, the accelerator operation detection unit 51b, the shift operation detection unit 53b, the articulated operation detection unit 55b, and the brake operation detection unit 58b. It is possible to detect the operation state of the vehicle based on the vehicle operation data.
  • the operation information T includes both the work machine operation information and the vehicle operation information, but any one of them may be used.
  • the position information P is information on the position of the wheel loader 1. Specifically, the position information P includes position data relating to a detection signal of the position detection sensor 64 and tilt data relating to a detection signal of the IMU 66.
  • the worker ID is information for identifying the operator of the wheel loader 1. As an example, it is assumed that the worker ID is stored in advance in a key used when the worker starts the engine of the work machine.
  • the first processing device 30 acquires an operator ID from the key when starting the engine of the work machine.
  • the vehicle body ID is information for identifying the vehicle body of the wheel loader 1.
  • the vehicle body ID is stored in advance in the storage unit 30j of the first processing device 30.
  • the data is stored in the storage unit 30j of the first processing device 30 will be described.
  • the present invention is not limited to this, and the data may be stored in the memory 73 of the second processing device 70 in advance.
  • FIG. 7 is a flowchart illustrating an event registration process of second processing device 70 according to the embodiment.
  • the event registration process can be executed as a background process in parallel with an operation image generation process for generating an operation image indicating an operation state of the wheel loader 1 during operation.
  • event determination unit 86 acquires work machine operation data stored in the work machine table of memory 73 (step ST0).
  • the event determination unit 86 determines whether an event has occurred based on the acquired work machine operation data (step ST4).
  • the event determination unit 86 determines whether the acquired work machine operation data satisfies a predetermined event condition.
  • the information on the vehicle included in the vehicle information CN includes vehicle data on the detection signal of the temperature sensor 31.
  • the event determination unit 86 determines whether the temperature is equal to or higher than a predetermined temperature based on the data of the detection signal of the temperature sensor 31.
  • the vehicle information CN includes work equipment data including work steps.
  • the event determination unit 86 determines whether an event has occurred based on the work equipment data. If the work equipment data includes information on the excavation work process, it is determined that an excavation event has occurred.
  • the present invention is not limited to this, and various event conditions can be set, and it may be determined that a predetermined event has occurred using one piece of the acquired work machine operation information, or a combination of a plurality of pieces of data. May be determined based on the predetermined event.
  • step ST4 if the event determination unit 86 determines that an event has occurred (YES in step ST4), it instructs the event registration unit 88 to register.
  • the event registration unit 88 registers the event information according to the registration instruction of the event determination unit 86 (step ST6).
  • the event registration unit 88 determines whether or not the confirmation of all the work machine operation data included in the work machine table has been completed (step ST8).
  • step ST8 when the event registration unit 88 determines that the confirmation of all the work machine operation data has been completed (YES in step ST8), the event registration process ends (end). On the other hand, in step ST8, when the event registration unit 88 determines that the confirmation of all the work machine operation data has not been completed (NO in step ST8), the process returns to step ST0, and the work machine whose confirmation has not been completed is returned. The work machine operation data of the table is acquired, and the above processing is repeated.
  • the event registration unit 88 registers the event information in the work machine operation data as event information associated with the work machine operation information.
  • the event registration unit 88 registers the event information in the work machine operation data as event information associated with the work machine operation information. The same applies to other work machine operation data. Thereby, the event information shown in FIG. 6 is set.
  • FIG. 8 is a diagram illustrating detailed functional blocks of the motion image generation unit 82 according to the embodiment.
  • operation image generation section 82 includes operation state image generation section 820, position state image generation section 822, vehicle state image generation section 824, management information image generation section 826, and event information image generation. Unit 828.
  • Each functional block of the motion image generation unit 82 is realized by a program stored in the memory 73 in advance.
  • the operation state image generation unit 820 generates operation state image data based on work machine operation data.
  • the position state image generation unit 822 generates position state image data based on work machine operation data.
  • the vehicle state image generation unit 824 generates vehicle state image data based on work machine operation data.
  • the management information image generation unit 826 generates management information image data based on work machine operation data.
  • the event information image generation unit 828 generates event information image data based on work machine operation data.
  • FIG. 9 is a diagram illustrating a work screen 200 of the display unit 72 according to the embodiment.
  • work screen 200 is provided with a plurality of screens for displaying various information of wheel loader 1 corresponding to work time “2018/1/1/12: 02: 00” of wheel loader 1. Have been.
  • the plurality of screens are screens synchronized with the work time.
  • the operation image generation unit 82 generates operation image data of the wheel loader 1 based on work machine operation data corresponding to the operation time stored in the work machine table. Note that the reproduction time may be information of only the time, or may include information on a date.
  • the display control unit 84 displays the work screen 200 on the display unit 72 based on the operation image data generated by the operation image generation unit 82.
  • the operation image data includes operation state image data, position state image data, vehicle state image data, management information image data, and event information image data.
  • the display control unit 84 displays an operation screen 210 representing the movement of the wheel loader 1 on the display unit 72 based on the operation state image data.
  • the display control unit 84 displays a position screen 230 representing the wheel loader 1 on the display unit 72 based on the position state image data.
  • the display control unit 84 displays a state screen 220 indicating information on the state of the wheel loader 1 on the display unit 72 based on the vehicle state image data.
  • the display control unit 84 displays an event display screen 240 that displays a list of events that have occurred in the wheel loader 1 on the display unit 72 based on the event information image data.
  • the display control unit 84 displays a management screen 260 representing management information of the wheel loader 1 on the display unit 72 based on the management information image data.
  • the display control unit 84 may be provided with a command bar for instructing the work screen 200 on various commands related to the reproduction process.
  • the command bar includes a play button, a stop button, a pause button, a fast forward button, a fast reverse button, and the like.
  • the administrator can execute various processes related to the reproduction process.
  • a continuous playback process moving image playback process
  • a process of reproducing an operation image of the wheel loader 1 according to a certain reproduction time is executed.
  • the operation screen 210 is displayed based on the operation state image data.
  • the operation screen 210 includes an inclined state image 212, an articulated state image 214, and a work state image 216.
  • the operation state image generation unit 820 generates first operation state image data based on 3D model shape data for generating a reference image of the 3D model shape of the wheel loader 1 and work implement data included in the vehicle information CN. It is assumed that the 3D model shape data is stored in the memory 73 in advance.
  • the 3D model shape data includes data of each model shape of a work machine, a vehicle body, wheels, and the like, which form a reference image of the 3D model shape.
  • the first operation state image data may be image data representing the inclination and the articulated angle of the vehicle.
  • the display control unit 84 displays an operation state image 216 indicating the operation state of the wheel loader 1 based on the first operation state image data.
  • the work state image 216 includes a work machine model image 217 indicating a 3D model of the wheel loader 1 and a road surface image 218 indicating a road surface model on which the wheel loader 1 travels.
  • the display control unit 84 can be expressed by combining the traveling state of the work machine model image 217 and the road surface image 218. Specifically, as an example, by sliding the road surface image 218 from left to right, it is possible to express the forward movement of the work machine model image 217 without changing the position of the work machine model image 217.
  • the display control unit 84 may express the degree of the traveling state of the work implement model image 217 by adjusting the moving speed of the road surface image 218. For example, the display control unit 84 may express the work implement model image 217 as if it is moving forward at a high speed by increasing the slide speed of the road surface image 218.
  • the display control unit 84 may express the work implement model image 217 as if it is moving forward at a low speed by reducing the slide speed of the road surface image 218.
  • the display control unit 84 may adjust the slide speed of the road surface image 218 based on the vehicle speed data included in the vehicle information CN.
  • the display control unit 84 displays the work implement model image 217 based on the first operation state image data. Thereby, it is possible to visualize the state of the work during the work of the wheel loader 1. It should be noted that the visual field can be changed by accepting the setting of the visual field direction of the virtual camera when visualizing the working state.
  • a case is shown in which the work machine model image 217 is arranged in the virtual space, and the work machine model image 217 is captured by the virtual camera from a predetermined imaging position.
  • the imaging position of the virtual camera can be set to an arbitrary position, and by adjusting the position, a display in which the work machine model image 217 is imaged from an arbitrary angle is possible.
  • the operation state image generation unit 820 generates the second operation state image data based on the side surface model data for generating the reference image of the shape of the side model of the wheel loader 1 and the inclination data included in the position information P.
  • the display control unit 84 displays the tilt state image 212 based on the second operation state image data.
  • the tilt state image 212 shows the tilt state of the vehicle body of the wheel loader 1. In this example, a case where the vehicle is inclined by 25 ° is shown.
  • the display control unit 84 displays the tilt state image 212 based on the second operation state image data. Thereby, it is possible to visualize the tilt state of the vehicle body during the operation of the wheel loader 1.
  • the operation state image generation unit 820 generates third operation state image data based on top view shape model data for generating a reference image of the shape of the top view model of the wheel loader 1 and articulated angle data included in the vehicle information CN. Generate The display control unit 84 displays the articulated state image 214 based on the third operation state image data.
  • the articulated state image 214 indicates an articulated state of the wheel loader 1. In this example, a case where the vehicle is bent 15 ° rightward is shown.
  • the display control unit 84 displays the articulated state image 214 based on the third operation state image data. Thereby, it is possible to visualize the articulated state during the operation of the wheel loader 1.
  • the status screen 220 is displayed based on the vehicle status image data.
  • the status screen 220 includes a time bar 224 indicating the work time during the operation, an operation status image 221, a vehicle status image 222, and a work process status image 223.
  • the time bar 224 indicates the work time during the work.
  • the time bar 224 in this example is movably provided at a position corresponding to an arbitrary work time.
  • the vehicle state image generation unit 824 generates the first vehicle state image data based on the operation information T of the work machine operation data from a current work time to a time before a predetermined period.
  • the display control unit 84 displays an operation state image 221 indicating the state of the operation member operated by the operator for a predetermined period based on the first vehicle state image data.
  • the operation state image 221 includes an operation designation state image 221A corresponding to the current work time and an operation transition state image 221B indicating a transition state of the operation from the current work time to a predetermined period before.
  • the operation designation state image 221A shows the states of the accelerator operation device 51 (accelerator pedal), the boom operation device 52 (boom lever), the bucket operation device 54 (bucket lever), and the brake operation device 58 (brake).
  • the operation transition state image 221B includes an accelerator operation device 51 (accelerator pedal), a boom operation device 52 (boom lever), a bucket operation device 54 (bucket lever), and a brake operation device 58 (brake) during a predetermined period (26 s in this example). ) Indicates a transition state of the operation.
  • the operation states of the accelerator operation device 51 (accelerator pedal), the boom operation device 52 (boom lever), and the bucket operation device 54 (bucket lever) are shown in gray scale. Specifically, the display is displayed so that the larger the value of the operation ratio of the operation member is, the darker (black) is, and the lower the value is, the lighter (white) is. In this example, the case where the operation state is displayed in gray scale has been described, but the operation state may be displayed as a heat map. For example, when the boom operation device 52 (boom lever) performs a raising operation or a lowering operation, it is possible to intuitively grasp which operation is visually by changing the color. The same applies to the bucket operation device 54 (bucket lever).
  • the value of the operation amount of the operation member may be displayed as a graph.
  • the brake operation device 58 brake
  • a state in which the brake is on or off is displayed. Accordingly, it is possible to easily grasp what operation has been performed on the operation member during the predetermined period.
  • the vehicle state image generation unit 824 generates the second vehicle state image data based on the vehicle information CN of the work machine operation data from a current work time to a time before a predetermined period.
  • the display control unit 84 displays a vehicle state image 222 and a work process state image 223 indicating the state of the wheel loader 1 for a predetermined period based on the second vehicle state image data.
  • the vehicle state image 222 includes a vehicle designation state image 222A corresponding to the current work time, and a vehicle transition state image 222B indicating a vehicle transition state from the current work time to a predetermined period before.
  • the vehicle designation state image 222A shows a case where the vehicle speed of the wheel loader 1 is 15 km / h.
  • the vehicle transition state image 222B shows the transition state of the vehicle speed of the wheel loader 1 during a predetermined period (26 s in this example). Thereby, it is possible to easily grasp how the vehicle speed of the wheel loader 1 has changed during the predetermined period.
  • the work process state image 223 includes a work process designation state image 223A indicating a work process corresponding to the current work time, and a work process transition state image 223B indicating a transition state of the work process from the current work time to a predetermined period before. including.
  • the work process designation state image 223A shows a case of excavation in this example.
  • the work process transition state image 223B shows a case where the progress of the work process during a predetermined period is changed to unloading advance, excavation, and cargo advance. Thereby, it is possible to easily grasp how the operation process of the wheel loader 1 has changed during the predetermined period.
  • the display control unit 84 controls the operation transition state image 221B, the vehicle transition state image 222B, and the work process transition state image 223B to move from the right side to the left side according to the work time corresponding to the time bar 224, for example.
  • the time bar 224 can be changed to an arbitrary work time position in a predetermined period based on an input from the input unit 71.
  • the position screen 230 is displayed based on the position state image data.
  • the position screen 230 includes a work position image 232 and a movement trajectory image 234.
  • the position state image generation unit 822 generates position state image data based on the map data indicating the work map and the position data included in the position information P.
  • the display control unit 84 displays a work position image 232 indicating the position of the work of the wheel loader 1 on the work map based on the position state image data, and a movement path image 234 indicating the movement path of the wheel loader 1.
  • the work position image 232 is provided so as to be movable in accordance with a movement locus image 234 indicating a locus of movement of the wheel loader 1.
  • the display control unit 84 displays the work position image 232 and the movement trajectory image 234 on the work map based on the position state image data. This makes it possible to visualize the moving state of the wheel loader 1 during operation.
  • the movement trajectory image 234 includes a speed change area 233.
  • the speed change area 233 indicates an area in which the movement speed of the wheel loader 1 has changed.
  • one area is shown as the speed change area 233, but the present invention is not particularly limited to this, and a plurality of areas may be provided.
  • a state in which the speed changes due to a change in the hatching pattern is shown.
  • the speed change of the wheel loader 1 may be visually determined based on a color or another highlighted display without being limited to the display.
  • the work position image 234 can be changed to an arbitrary work position along the movement trajectory image 234 based on the input from the input unit 71.
  • Event display screen 240 The event display screen 240 is displayed based on the event information image data.
  • the event display screen 240 includes an event list.
  • the event information image generation unit 828 generates event information image data based on the event information of the work machine operation data.
  • the display controller 84 displays an event list based on the event information image data. In this example, overheating and a work process are shown as events. The work process is further subdivided, and processes such as excavation and unloading advance are listed. The time of each event is displayed in a tree format.
  • the item of the time at which the event displayed in the tree format has occurred is provided so as to be selectable. For example, by designating the item of the overheated time “2018/1/1/12: 20: 00”, the work machine operation data of the work machine table associated with the time is selected. Then, operation image data of the wheel loader 1 is generated based on the selected work machine operation data. Thereby, it is possible to easily visualize the occurrence state of the event during the operation of the wheel loader 1.
  • the management screen 260 is displayed based on the management information image data.
  • the management screen 260 includes a time image 202 indicating a work time, a vehicle body ID image 204, and an operator ID image 206.
  • the management information image generation unit 826 generates first management information image data based on the time information of the work machine operation data.
  • the display control unit 84 displays the time image 202 corresponding to the work time based on the first management information image data. In this example, “2018/1/1: 12: 02: 00” is displayed as the time image 202.
  • the management information image generation unit 826 generates the second management information image data based on the body ID of the work machine operation data.
  • the display control unit 84 displays the vehicle body ID image 204 based on the second management information image data. In this example, “X” is displayed as the vehicle body ID image 204.
  • the management information image generation unit 826 generates the third management information image data based on the worker ID of the work machine operation data.
  • the display control unit 84 displays the worker ID image 206 based on the third management information image data.
  • “A” is displayed as the worker ID image.
  • the display control unit 84 displays the time, the body ID, and the worker ID based on the first to third management information image data. Thereby, it is possible to easily visualize management information on the wheel loader 1 during operation.
  • FIG. 10 is a flowchart illustrating a reproduction position selection process in second processing device 70 according to the embodiment.
  • selection unit 80 determines whether or not input from input unit 71 has been received (step S2). When the input from the input unit 71 is not received, the selection unit 80 maintains the state of step S2.
  • step S4 determines whether it is an operation input of the time bar 224. If the selecting unit 80 determines that the input is not an operation input of the time bar 224 (NO in step S4), the process proceeds to step S20.
  • the selection unit 80 receives a command to select the position of the time bar 224 (step S6). For example, the position where the operation by the input unit 71 has been completed is received as a position selection command of the time bar 224.
  • the selection unit 80 selects the work time corresponding to the position of the time bar 224 as the reproduction time (Step S9).
  • the operation image generation unit 82 generates operation image data of the wheel loader 1 based on work machine operation data according to the reproduction time selected by the selection unit 80 (Step S10).
  • the display control unit 84 executes a reproduction process based on the operation image data of the wheel loader 1 generated by the operation image generation unit 82 (Step S12). Specifically, as described with reference to FIG. 8, the display control unit 84 outputs the work screen including the operation image to the display unit 72 and displays the work screen. By selecting the position of the time bar 224, the administrator can execute the reproduction processing of the motion image at a reproduction position corresponding to an arbitrary position of the time bar 224.
  • step S14 the display control unit 84 determines whether or not the reproduction processing has been completed. If the display control unit 84 determines that the reproduction has not been completed (NO in step S14), the process returns to step S2 and repeats the above processing.
  • step S14 determines that the reproduction process has been completed (YES in step S14).
  • the process ends.
  • step S20 determines whether or not the work position image 232 has been operated.
  • the selecting unit 80 determines that the work position image 232 has not been operated (NO in step S20)
  • the process proceeds to step S24.
  • the selection unit 80 receives a work position selection command (step S22). For example, a command to select the position of the work position image 232 at the position where the operation by the input unit 71 has been completed is accepted.
  • the work position image 232 is provided so that the position can be moved according to the locus of the moving locus image 234.
  • the selection unit 80 selects a work time corresponding to the position of the work position image 232 as a reproduction time (Step S9). Subsequent processing is the same as described above, and thus detailed description thereof will not be repeated.
  • the administrator can execute the operation image reproduction process at a reproduction position corresponding to an arbitrary position of the work position image 232 by selecting the position of the work position image 232.
  • the selection unit 80 determines whether or not the event list has been operated.
  • step S24 If the selecting unit 80 determines that the event list has not been operated (NO in step S24), the process returns to step S2.
  • the selecting unit 80 determines that the event list has been operated (YES in step S24)
  • the selecting unit 80 receives a command to select event information (step S26). For example, it is received as a selection command of event information specified by an operation of the input unit 71. For example, a selection input of a time corresponding to excavation or overheating is received.
  • the selection unit 80 selects the time at which the selection input was received as the reproduction time (step S9). Subsequent processing is the same as described above, and thus detailed description thereof will not be repeated.
  • the administrator can execute the reproduction processing of the motion image at a reproduction position corresponding to an arbitrary event position.
  • the work screen 200 is displayed by the operation image processing of the second processing device 70 according to the embodiment.
  • the work screen 200 displays, for example, an operation screen 210, a status screen 220, and a position screen 230 generated based on work machine operation data corresponding to the work time during which the wheel loader 1 is working.
  • a work state image 216 indicating the state of work of the wheel loader 1 is displayed as an example.
  • an operation status image 221 is displayed as an example.
  • a work position image 232 indicating the position of the work of the wheel loader 1 on the work map is displayed. From the above screen, the administrator can easily grasp when, where, and what kind of work the operator of the wheel loader 1 has performed.
  • the manager can easily recognize the operation state as well as the operation state of the wheel loader 1, it can be usefully used, for example, in the operation guidance of the operator. For example, by checking the operation state image 221 on the state screen 220 together with the operation screen 210, the administrator can appropriately give guidance to the operation state of the operator corresponding to the operation state of the work machine. For example, by checking the operation state image 221 on the state screen 220 together with the position screen 230, the administrator can appropriately give guidance to the operation state of the operator corresponding to the position state of the work machine.
  • the manager can arbitrarily select the playback position of the operation image of the wheel loader 1, it can be effectively used, for example, when driving guidance of an operator. Further, by confirming the event list, it is possible to utilize it for troubleshooting, investigation of a comp plane, and the like.
  • the work screen 200 may be displayed on the display unit 40 of the wheel loader 1.
  • the display unit 40 of the wheel loader 1 and the first processing device 30 may be a single device.
  • the work screen 200 is not limited to the wheel loader 1 and may be displayed on a display unit of a portable terminal provided to be able to communicate with the second processing device 70, for example.
  • the case where a plurality of screens synchronized with the work time are displayed on the work screen 200 has been described.
  • the work screen 200 includes the operation screen 210, the status screen 220, the position screen 230, the event display screen 240, and the management screen 260 as a plurality of screens.
  • two or more screens may be displayed.
  • an operation screen 210 and a status screen 220 may be displayed on the work screen 200.
  • other screen combinations are also possible.
  • the second processing device 70 includes a communication unit 74 that receives work machine operation information including the articulated angle transmitted from the wheel loader 1, An operation image generation unit 82 that generates an operation image of the wheel loader 1 in the articulated state based on the work machine operation information received by the communication unit 74, and a display unit 72 that displays the operation image are provided.
  • An operation image of the wheel loader 1 in the articulated state is generated based on the work machine operation information including the articulated angle, and the operation image is displayed on the display unit 72. Therefore, the articulated state of the wheel loader 1 can be easily recognized.
  • Work machine operation information may be acquired by the first processing device 30 or the second processing device 70 in the wheel loader 1. Not only the first processing device in the wheel loader 1 but also the second processing device, which is another external device, can be arranged, so that the degree of freedom of the display system can be improved.
  • the operation image generation unit 82 is provided in the first processing device 30 or the second processing device 70 in the wheel loader 1. It is not limited to the inside of the wheel loader 1 but can be arranged on other external devices, so that the degree of freedom of the display system of the work machine can be improved.
  • the display unit 72 is provided in the first processing device 30 or the second processing device 70 in the wheel loader 1. It is not limited to the inside of the wheel loader 1 but can be arranged on other external devices, so that the degree of freedom of the display system of the work machine can be improved.
  • the operation image generation unit 82 generates an operation image of the wheel loader 1 and an operation image corresponding to the operation image of the wheel loader 1 based on the work machine operation information received by the communication unit 74. 1 is displayed. Therefore, the operation state as well as the operation state of the wheel loader 1 can be easily recognized.
  • the display system of the wheel loader is provided with a memory 73 for storing work machine operation information received by the communication unit 74.
  • the operation image generation unit 82 generates an operation image of the work machine based on the work machine operation information stored in the memory 73 as shown in FIG. 6, and based on the work machine operation information stored in the memory 73, An operation image corresponding to the operation image of the work machine is generated.
  • an operation image indicating the operation state of the wheel loader 1 and an operation image indicating the operation state can be reproduced. It can be usefully used for the operation guidance of the operator.
  • the wheel loader 1 includes a working machine 3 having a front loading type bucket 6 and a body frame 2 provided to be able to travel on traveling wheels 4a and 4b.
  • the work machine operation information illustrated in FIG. 6 includes vehicle information CN, and the vehicle information CN includes operation information of at least one of the work implement 3 and the traveling device 4. It is possible to easily recognize the operation state of at least one of the working machine 3 and the traveling device 4 of the wheel loader 1.
  • the work machine operation information shown in FIG. 6 further includes identification information for identifying an operator or a vehicle body. In the case where a plurality of operators or a plurality of vehicle bodies are provided, it is possible to easily determine from the identification information.
  • the wheel loader 1 further includes a selection unit 80 for selecting the time of the work machine operation information as the reproduction time.
  • the selection unit 80 selects a reproduction time of the work machine operation information according to an input command of the input unit 71 on the reproduction screen 200 shown in FIG. Using the input interface of the reproduction screen 200, the operation state of the wheel loader 1 can be easily confirmed for reproduction.
  • the wheel loader 1 includes the bucket 6 and the traveling wheels 4a and 4b.
  • the second processing device 70 includes a communication unit 74 that receives work machine operation information including a bucket angle and a vehicle speed transmitted from the wheel loader 1, and a communication unit. Based on the work machine operation information received at 74, an operation image generation unit 82 that generates an operation image indicating the state of the bucket 6 and the running wheels 4a and 4b of the wheel loader 1, and a display unit 72 that displays the operation image Provided. An operation image indicating the state of the bucket 6 and the traveling wheels 4a and 4b of the wheel loader 1 is generated, and the operation image is displayed on the display unit 72. Therefore, it is possible to easily recognize the state of the bucket 6 and the traveling wheels 4a and 4b of the wheel loader 1.
  • a method for controlling a display system for a work machine includes: acquiring work machine operation information including an articulated angle; generating an operation image of a wheel loader based on the acquired work machine operation information; Is displayed. An operation image of the wheel loader 1 is generated based on the work machine operation information including the articulated angle, and the operation image is displayed on the display unit 72. Therefore, the operating state of the wheel loader 1 can be easily recognized.
  • the method for controlling the display system of the work machine includes a step of acquiring work machine operation information of the wheel loader including a bucket angle and a vehicle speed; And a step of displaying the motion image.
  • An operation image indicating the state of the bucket 6 and the traveling wheels 4a and 4b of the wheel loader 1 is generated, and the operation image is displayed on the display unit 72. Therefore, it is possible to easily recognize the state of the bucket 6 and the traveling wheels 4a and 4b of the wheel loader 1.
  • a manned wheel loader has been described as an example, the present invention is not limited to a manned wheel loader and can be applied to an unmanned wheel loader.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

ホイールローダの表示システムは、アーティキュレート角を含む作業機械動作情報を取得する取得部と、取得部で取得した作業機械動作情報に基づいてホイールローダのアーティキュレート状態を含む動作画像を生成する動作画像生成部と、動作画像を表示する表示部とを備える。

Description

ホイールローダの表示システムおよびその制御方法
 本発明は、作業機械に関し、特にホイールローダに関する。
 ホイールローダは、上下方向に回動可能なブームの先端に、ダンプ方向に回動可能なバケットを備えている。オペレータは、操作装置を操作することにより、バケットをダンプ方向に回動させて略水平にさせた後、ホイールローダを走行させてバケットを土砂等の山に貫入させる掘削作業が行なわれる。これによりバケット内に積荷を積み込む。オペレータは、機械本体に対してブームを上昇させる。そして、ホイールローダをダンプトラック等の運搬機械に対面させ、ブームを荷台の上方まで上げる。オペレータが、バケットをダンプ方向に回動させると、バケット内の積荷が荷台に落下し、運搬機械に積荷が移される。このようなサイクルを複数回繰り返すことにより、積込作業が行われる。
 ホイールローダの動作においては、ホイールローダを走行させるアクセル操作とともに、ブームとバケットの操作レバーをそれぞれ動かしてバケットの動きを操作する必要があるため効率的な動作を実行することは簡単ではなく熟練が必要である。したがって、ホイールローダの動作状態を確認して運転指導が可能な機能が求められる。
 この点で、例えば、特開2016-89388号公報においては、遠隔地の設備側に情報を送信して、遠隔地の設備側において、オペレータの作業を支援するための支援画像を提供する技術が開示されている。当該支援画像は、油圧ショベルと運搬車両との相対的な位置関係を考慮した画像が生成される。しかしながら、上記公報においては、油圧ショベルに関する支援画像が提供されるに過ぎない。
特開2016-89388号公報
 この点で、本発明は、上記の課題を解決するためになされたものであって、ホイールローダの動作状態を容易に認識することが可能なホイールローダの表示システムおよびその制御方法を提供することを目的とする。
 本発明のホイールローダの表示システムは、アーティキュレート角を含む作業機械動作情報を取得する取得部と、取得部で取得した作業機械動作情報に基づいてホイールローダのアーティキュレート状態を含む動作画像を生成する動作画像生成部と、動作画像を表示する表示部とを備える。
 本発明の別のホイールローダの表示システムは、バケット角度および車速を含むホイールローダの作業機械動作情報を取得する取得部と、取得部で取得した作業機械動作情報に基づいてホイールローダのバケットおよび走行輪の状態を示す動作画像を生成する動作画像生成部と、動作画像を表示する表示部とを備える。
 本発明のホイールローダの表示システムの制御方法は、アーティキュレート角を含む作業機械動作情報を取得するステップと、取得した作業機械動作情報に基づいてホイールローダのアーティキュレート状態を含む動作画像を生成するステップと、動作画像を表示するステップとを備える。
 本発明の別のホイールローダの表示システムの制御方法は、バケット角度および車速を含むホイールローダの作業機械動作情報を取得するステップと、取得した作業機械動作情報に基づいてホイールローダのバケットおよび走行輪の状態を示す動作画像を生成するステップと、動作画像を表示するステップとを備える。
 本発明のホイールローダの表示システムおよびその制御方法は、ホイールローダの動作状態を容易に認識することが可能である。
実施形態に従う作業機械の一例としてのホイールローダ1の側面図である。 実施形態に従うホイールローダ1を含む全体システムの構成を示す概略ブロック図である。 実施形態に基づくホイールローダ1の作業工程を説明する模式図である。 実施形態に基づくホイールローダ1の作業工程の判別方法を示すテーブルである。 実施形態に従う第2処理装置70の機能ブロックについて説明する図である。 実施形態に従うメモリ73に格納されている作業機械テーブルを説明する図である。 実施形態に従う第2処理装置70のイベント登録処理について説明するフロー図である。 実施形態に従う動作画像生成部82の詳細機能ブロックについて説明する図である。 実施形態に従う表示部72の作業画面200について説明する図である。 実施形態に従う第2処理装置70における再生位置選択処理について説明するフロー図である。
 以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
 [全体構成]
 実施形態においては、作業機械の一例としてホイールローダ1について説明する。図1は、実施形態に従う作業機械の一例としてのホイールローダ1の側面図である。図1に示すように、ホイールローダ1は、車体フレーム2と、作業機3と、走行装置4と、キャブ5とを備えている。車体フレーム2、キャブ5などからホイールローダ1の車体が構成されている。ホイールローダ1の車体には、作業機3および走行装置4が取り付けられている。
 走行装置4は、ホイールローダ1の車体を走行させるものであり、走行輪4a、4bを含んでいる。ホイールローダ1は、走行輪4a、4bが回転駆動されることにより自走可能であり、作業機3を用いて所望の作業を行うことができる。
 車体フレーム2は、前フレーム11と後フレーム12とを含んでいる。前フレーム11と後フレーム12とは、互いに左右方向に揺動可能に取り付けられている。前フレーム11と後フレーム12とには、ステアリングシリンダ13が取り付けられている。ステアリングシリンダ13は、油圧シリンダである。ステアリングシリンダ13がステアリングポンプ(図示せず)からの作動油によって伸縮することによって、ホイールローダ1の進行方向が左右に変更される。
 本明細書中において、ホイールローダ1が直進走行する方向を、ホイールローダ1の前後方向という。ホイールローダ1の前後方向において、車体フレーム2に対して作業機3が配置されている側を前方向とし、前方向と反対側を後方向とする。ホイールローダ1の左右方向とは、平面視において前後方向と直交する方向である。前方向を見て左右方向の右側、左側が、それぞれ右方向、左方向である。ホイールローダ1の上下方向とは、前後方向および左右方向によって定められる平面に直交する方向である。上下方向において地面のある側が下側、空のある側が上側である。
 前後方向とは、キャブ5内の運転席に着座した作業者の前後方向である。左右方向とは、運転席に着座した作業者の左右方向である。左右方向とは、ホイールローダ1の車幅方向である。上下方向とは、運転席に着座した作業者の上下方向である。運転席に着座した作業者に正対する方向が前方向であり、運転席に着座した作業者の背後方向が後方向である。運転席に着座した作業者が正面に正対したときの右側、左側がそれぞれ右方向、左方向である。運転席に着座した作業者の足元側が下側、頭上側が上側である。
 前フレーム11には、作業機3および走行輪(前輪)4aが取り付けられている。作業機3は、ブーム14と、バケット6とを含んでいる。ブーム14の基端部は、ブームピン10によって前フレーム11に回転自在に取付けられている。バケット6は、ブーム14の先端に位置するバケットピン17によって、回転自在にブーム14に取付けられている。前フレーム11とブーム14とは、ブームシリンダ16により連結されている。ブームシリンダ16は、油圧シリンダである。ブームシリンダ16が作業機ポンプ25(図2参照)からの作動油によって伸縮することによって、ブーム14が昇降する。ブームシリンダ16は、ブーム14を駆動する。
 作業機3は、ベルクランク18と、チルトシリンダ19と、チルトロッド15とをさらに含んでいる。ベルクランク18は、ブーム14のほぼ中央に位置する支持ピン18aによって、ブーム14に回転自在に支持されている。チルトシリンダ19は、ベルクランク18の基端部と前フレーム11とを連結している。チルトロッド15は、ベルクランク18の先端部とバケット6とを連結している。チルトシリンダ19は、油圧シリンダである。チルトシリンダ19が作業機ポンプ25(図2参照)からの作動油によって伸縮することによって、バケット6が上下に回動する。チルトシリンダ19は、バケット6を駆動する。作業機3は、フロントローディング型のバケット6を有している。フロントローディング型のバケット6は、ブーム14を上昇させて、チルトシリンダ19を延ばした場合に、バケット6の開口が上方に向かう。
 後フレーム12には、キャブ5および走行輪(後輪)4bが取り付けられている。キャブ5は、ブーム14の後方に配置されている。キャブ5は、車体フレーム2上に載置されている。キャブ5内には、オペレータが着座するシートおよび操作装置などが配置されている。
 キャブ5の上天井側には、位置検出センサ64が配置されている。位置検出センサ64は、GNSSアンテナと、グローバル座標演算器とを含む。GNSSアンテナは、全地球航法衛星システム(RTK-GNSS(Real Time Kinematic - Global Navigation Satellite Systems)用のアンテナである。キャブ5内には、IMU(Inertial Measurement Unit)66が配置されている。IMU66は、車体フレーム2の傾きを検出する。IMU66は、車体フレーム2の前後方向および左右方向に対する傾斜角を検出する。
 図2は、実施形態に従うホイールローダ1を含む全体システムの構成を示す概略ブロック図である。図2を参照して、実施形態に従う全体システムは、ホイールローダ1と、ホイールローダ1と無線通信あるいは有線通信により通信可能に設けられた第2処理装置とを含む。
 ホイールローダ1は、エンジン20、動力取り出し部22、動力伝達機構23、シリンダ駆動部24、第1角度検出器29、第2角度検出器48、回動機構60および第1処理装置30(コントローラ)を備えている。
 エンジン20は、たとえばディーゼルエンジンである。エンジン20の出力は、エンジン20のシリンダ内に噴射する燃料量を調整することにより制御される。エンジン20には、温度センサ31が設けられている。温度センサ31は、温度を示す検出信号を第1処理装置30に出力する。
 動力取り出し部22は、エンジン20の出力を、動力伝達機構23とシリンダ駆動部24とに振り分ける装置である。動力伝達機構23は、エンジン20からの駆動力を前輪4aおよび後輪4bに伝達する機構であり、たとえばトランスミッションである。動力伝達機構23は、入力軸21の回転を変速して出力軸23aに出力する。動力伝達機構23の出力軸23aには、ホイールローダ1の車速を検出するための車速検出部27が取り付けられている。ホイールローダ1は、車速検出部27を含んでいる。
 車速検出部27はたとえば車速センサである。車速検出部27は、出力軸23aの回転速度を検出することにより、走行装置4(図1)によるホイールローダ1の移動速度を検出する。車速検出部27は、出力軸23aの回転速度を検出するための回転センサとして機能する。車速検出部27は、走行装置4による移動を検出する移動検出器として機能する。車速検出部27は、ホイールローダ1の車速を示す検出信号を第1処理装置30に出力する。
 シリンダ駆動部24は、作業機ポンプ25および制御弁26を有している。エンジン20の出力は、動力取り出し部22を介して、作業機ポンプ25に伝達される。作業機ポンプ25から吐出された作動油は、制御弁26を介して、ブームシリンダ16およびチルトシリンダ19に供給される。
 ブームシリンダ16には、ブームシリンダ16の油室内の油圧を検出するための第1油圧検出器28a、28bが取り付けられている。ホイールローダ1は、第1油圧検出器28a、28bを含んでいる。第1油圧検出器28a、28bは、たとえばヘッド圧検出用の圧力センサ28aと、ボトム圧検出用の圧力センサ28bとを有している。
 圧力センサ28aは、ブームシリンダ16のヘッド側に取り付けられている。圧力センサ28aは、ブームシリンダ16のシリンダヘッド側油室内の作動油の圧力(ヘッド圧)を検出することができる。圧力センサ28aは、ブームシリンダ16のヘッド圧を示す検出信号を第1処理装置30に出力する。圧力センサ28bは、ブームシリンダ16のボトム側に取り付けられている。圧力センサ28bは、ブームシリンダ16のシリンダボトム側油室内の作動油の圧力(ボトム圧)を検出することができる。圧力センサ28bは、ブームシリンダ16のボトム圧を示す検出信号を第1処理装置30に出力する。
 第1角度検出器29は、たとえば、ブームピン10に取り付けられたポテンショメータである。第1角度検出器29は、ブーム14の持ち上がり角度(チルト角度)を表すブーム角度を検出する。第1角度検出器29は、ブーム角度を示す検出信号を第1処理装置30に出力する。具体的には、図1に示すように、ブーム角度θは、ブームピン10の中心から前方に延びる水平線に対する、ブームピン10の中心からバケットピン17の中心に向かう方向に延びる直線LBの角度である。直線LBが水平である場合をブーム角度θ=0°と定義する。直線LBが水平線よりも上方にある場合にブーム角度θを正とする。直線LBが水平線よりも下方にある場合にブーム角度θを負とする。なお、第1角度検出器29は、ブームシリンダ16に配置されたストロークセンサであってもよい。
 第2角度検出器48は、たとえば、支持ピン18aに取り付けられたポテンショメータである。第2角度検出器48は、ブーム14に対するベルクランク18の角度(ベルクランク角度)を検出することにより、ブーム14に対するバケット6のチルト角度を表すバケット角度を検出する。第2角度検出器48は、バケット角度を示す検出信号を第1処理装置30に出力する。バケット角度はたとえば、バケットピン17の中心とバケット6の刃先6aとを結ぶ直線と、直線LBとの成す角度である。なお、第2角度検出器48は、チルトシリンダ19に配置されたストロークセンサであってもよい。
 回動機構60は、前フレーム11と後フレーム12とを回動可能に連結している。後フレーム12に対する前フレーム11の回動は、前フレーム11と後フレーム12との間に連結されたアーティキュレートシリンダを伸縮させることで行われる。そして、前フレーム11を後フレーム12に対して屈曲させる(アーティキュレートさせる)ことで、ホイールローダの旋回時の旋回半径をより小さくすること、および、オフセット走行による溝掘や法切作業が可能である。回動機構60には、アーティキュレート角度センサ61が設けられている。アーティキュレート角度センサ61は、アーティキュレート角度を検出する。アーティキュレート角度センサ61は、アーティキュレート角度を示す検出信号を第1処理装置30に出力する。
 位置検出センサ64は、ホイールローダ1の位置を示す検出信号を第1処理装置30に出力する。IMU66は、ホイールローダ1の傾斜角を示す検出信号を第1処理装置30に出力する。
 図2に示されるように、ホイールローダ1は、キャブ5内に、オペレータによって操作される操作装置を備えている。操作装置は、前後進切換装置49、アクセル操作装置51、ブーム操作装置52、変速操作装置53、バケット操作装置54、およびブレーキ操作装置58を含んでいる。
 前後進切換装置49は、前後進切換操作部材49aと、前後進切換検出センサ49bとを含んでいる。前後進切換操作部材49aは、車両の前進および後進の切り換えを指示するためにオペレータによって操作される。前後進切換操作部材49aは、前進(F)、中立(N)、および後進(R)の各位置に切り換えられることができる。前後進切換検出センサ49bは、前後進切換操作部材49aの位置を検出する。前後進切換検出センサ49bは、前後進切換操作部材49aの位置によって表される前後進指令の検出信号(前進、中立、後進)を第1処理装置30に出力する。前後進切換装置49は、前進(F)、中立(N)および後進(R)を切り換え可能なFNR切換レバーを含む。
 アクセル操作装置51は、アクセル操作部材51aと、アクセル操作検出部51bとを含んでいる。アクセル操作部材51aは、エンジン20の目標回転速度を設定するためにオペレータによって操作される。アクセル操作検出部51bは、アクセル操作部材51aの操作量(アクセル操作量)を検出する。アクセル操作検出部51bは、アクセル操作量を示す検出信号を第1処理装置30に出力する。
 ブレーキ操作装置58は、ブレーキ操作部材58aと、ブレーキ操作検出部58bとを含んでいる。ブレーキ操作部材58aは、ホイールローダ1の減速力を操作するために、オペレータによって操作される。ブレーキ操作検出部58bは、ブレーキ操作部材58aの操作量(ブレーキ操作量)を検出する。ブレーキ操作検出部58bは、ブレーキ操作量を示す検出信号を第1処理装置30に出力する。ブレーキ操作量としてブレーキオイルの圧力が用いられてもよい。
 ブーム操作装置52は、ブーム操作部材52aと、ブーム操作検出部52bとを含んでいる。ブーム操作部材52aは、ブーム14を上げ動作または下げ動作させるためにオペレータによって操作される。ブーム操作検出部52bは、ブーム操作部材52aの位置を検出する。ブーム操作検出部52bは、ブーム操作部材52aの位置によって表されるブーム14の上げ指令または下げ指令の検出信号を、第1処理装置30に出力する。
 変速操作装置53は、変速操作部材53aと、変速操作検出部53bとを含んでいる。変速操作部材53aは、動力伝達機構23における入力軸21から出力軸23aへの変速を制御するためにオペレータによって操作される。変速操作検出部53bは、変速操作部材53aの位置を検出する。変速操作検出部53bは、変速操作部材53aの位置によって表される変速の検出指令を、第1処理装置30に出力する。
 バケット操作装置54は、バケット操作部材54aと、バケット操作検出部54bとを含んでいる。バケット操作部材54aは、バケット6を掘削動作またはダンプ動作させるためにオペレータによって操作される。バケット操作検出部54bは、バケット操作部材54aの位置を検出する。バケット操作検出部54bは、バケット操作部材54aの位置によって表されるバケット6のチルトバック方向またはダンプ方向への動作指令の検出信号を、第1処理装置30に出力する。
 アーティキュレート操作装置55は、アーティキュレート操作部材55aと、アーティキュレート操作検出部55bとを含んでいる。アーティキュレート操作部材55aは、回動機構60を介して前フレーム11を後フレーム12に対して屈曲させる(アーティキュレートさせる)ためにオペレータによって操作される。アーティキュレート操作検出部55bは、アーティキュレート操作部材55aの位置を検出する。アーティキュレート操作検出部55bは、アーティキュレート操作部材55aの位置によって表される左方向に対する屈曲指令または右方向に対する屈曲指令の検出信号を、第1処理装置30に出力する。
 第1処理装置30は、RAM(Random Access Memory)、ROM(Read Only Memory)などの記憶装置と、CPU(Central Processing Unit)などの演算装置を含むマイクロコンピュータで構成されている。第1処理装置30は、エンジン20、作業機3(ブームシリンダ16、チルトシリンダ19など)、動力伝達機構23などの動作を制御する、ホイールローダ1のコントローラの機能の一部として実現されてもよい。第1処理装置30には、前後進切換装置49によって検出される前後進指令の信号と、車速検出部27によって検出されるホイールローダ1の車速の信号と、第1角度検出器29によって検出されるブーム角度の信号と、圧力センサ28aによって検出されるブームシリンダ16のヘッド圧の信号と、圧力センサ28bによって検出されるブームシリンダ16のボトム圧の信号とが主に入力される。
 ホイールローダ1は、表示部40および出力部45をさらに有している。表示部40は、キャブ5に配置された、オペレータが視認するモニタである。
 出力部45は、ホイールローダ1の外部に設置されたサーバ(第2処理装置70)に、ホイールローダ1の動作情報を含む作業機械動作情報を出力する。出力部45は、所定期間毎にホイールローダ1の動作情報を含む作業機械動作情報を出力しても良いし、あるいは、複数の期間における作業機械動作情報を一括して出力してもよい。出力部45は、たとえば、無線通信などの通信機能を有し、第2処理装置70と通信してもよい。または、出力部45は、たとえば、第2処理装置70がアクセス可能な携帯記憶装置(メモリカードなど)のインタフェースであってもよい。第2処理装置70は、モニタ機能にあたる表示部を有しており、出力部45から出力された作業機械動作情報に基づく動作画像を表示することができる。第2処理装置70は、ホイールローダ1と異なる位置に設けられており、一例として遠隔地において表示部によりホイールローダ1の作業中の動作画像を認識することが可能である。
 [ホイールローダ1の作業工程とその判別]
 本実施形態のホイールローダ1は、土砂などの掘削対象物をバケット6に掬い取る掘削動作と、バケット6内の荷(掘削対象物100)をダンプトラック110などの運搬機械に積み込む積込動作とを実行する。
 図3は、実施形態に基づくホイールローダ1の作業工程を説明する模式図である。ホイールローダ1は、次のような複数の工程を順次に行うことを繰り返して、掘削対象物100を掘削し、ダンプトラック110などの運搬機械に掘削対象物100を積み込んでいる。
 図3(A)に示されるように、ホイールローダ1は、掘削対象物100に向かって前進する。この空荷前進工程において、オペレータは、ブームシリンダ16およびチルトシリンダ19を操作して、作業機3をブーム14の先端が低い位置にありバケット6が水平を向いた掘削姿勢にして、ホイールローダ1を掘削対象物100に向けて前進させる。
 図3(B)に示されるように、バケット6の刃先6aが掘削対象物100に食い込むまで、オペレータはホイールローダ1を前進させる。この掘削(突込み)工程において、バケット6の刃先6aが掘削対象物100に食い込む。
 図3(C)に示されるように、その後オペレータは、ブームシリンダ16を操作してバケット6を上昇させるとともに、チルトシリンダ19を操作してバケット6をチルトバックさせる。この掘削(掬込み)工程により、図中の曲線矢印のようにバケット軌跡Lに沿ってバケット6が上昇し、バケット6内に掘削対象物100が掬い込まれる。これにより、掘削対象物100を掬い取る掘削作業が実行される。
 掘削対象物100の種類によって、バケット6を1回チルトバックさせるだけで掬込み工程が完了する場合がある。または、掬込み工程において、バケット6をチルトバックさせ、中立にし、再びチルトバックさせるという動作を繰り返す場合もある。
 図3(D)に示されるように、バケット6に掘削対象物100が掬い込まれた後、オペレータは、積荷後進工程にて、ホイールローダ1を後進させる。オペレータは、後退しながらブーム上げをしてもよく、図3(E)にて前進しながらブーム上げをしてもよい。
 図3(E)に示されるように、オペレータは、バケット6を上昇させた状態を維持しながら、またはバケット6を上昇させながら、ホイールローダ1を前進させてダンプトラック110に接近させる。この積荷前進工程により、バケット6はダンプトラック110の荷台のほぼ真上に位置する。
 図3(F)に示されるように、オペレータは、所定位置でバケット6をダンプして、バケット6内の荷(掘削対象物)をダンプトラック110の荷台上に積み込む。この工程は、いわゆる排土工程である。この後、オペレータは、ホイールローダ1を後進させながらブーム14を下げ、バケット6を掘削姿勢に戻す。以上が、掘削積込作業の1サイクルをなす典型的な工程である。
 図4は、実施形態に基づくホイールローダ1の作業工程の判別方法を示すテーブルである。図4に示したテーブルにおいて、一番上の「作業工程」の行には、図3(A)~図3(F)に示した作業工程の名称が示されている。その下の「前後進切換レバー」、「作業機操作」および「作業機シリンダ圧力」の行には、現在の作業工程がどの工程であるかを判定するために第1処理装置30(図2、図3)が使用する、各種の判断条件が示されている。より詳細には、「前後進切換レバー」の行には、前後進切換レバーについての判定条件が丸印で示されている。
 「作業機操作」の行には、作業機3に対するオペレータの操作についての判定条件が丸印で示されている。より詳細には、「ブーム」の行にはブーム14に対する操作に関する判定条件が示されており、「バケット」の行にはバケット6に対する操作に関する判定条件が示されている。
 「作業機シリンダ圧力」の行には、作業機3のシリンダの現在の油圧、たとえばブームシリンダ16のシリンダボトム室の油圧、についての判定条件が示されている。ここで、油圧に関して、4つの基準値A、B、C、Pが予め設定され、これら基準値A、B、C、Pにより複数の圧力範囲(基準値P未満の範囲、基準値AからCの範囲、基準値BからPの範囲、基準値C未満の範囲)が定義され、これらの圧力範囲が上記判断条件として設定されている。4つの基準値A、B、C、Pの大きさは、A>B>C>Pとなっている。
 以上のような作業工程ごとの「前後進切換レバー」、「ブーム」、「バケット」「作業機シリンダ圧力」の判定条件の組み合わせを用いることにより、第1処理装置30は、現在行われている工程がどの工程なのかが判別可能である。
 図4に示した制御を行う場合の第1処理装置30の具体的動作を以下に説明する。図4に示した各作業工程に対応する「前後進切換レバー」、「ブーム」、「バケット」および「作業機シリンダ圧力」の判定条件の組み合わせが、記憶部30j(図2)に予め格納されている。第1処理装置30は、前後進切換装置49からの信号に基づいて、現在選択されている前後進切換レバー(F、N、R)を把握する。第1処理装置30は、ブーム操作検出部52bからの信号に基づいて、ブーム14に対する現在の操作の種類(下げ、中立または上げ)を把握する。第1処理装置30は、バケット操作検出部54bからの信号に基づいて、バケット6に対する現在の操作の種類(ダンプ、中立またはチルトバック)を把握する。さらに、第1処理装置30は、図2に示した圧力センサ28bからの信号に基づいて、ブームシリンダ16のシリンダボトム室の現在の油圧を把握する。
 第1処理装置30は、把握された現在の前後進切換レバー、ブーム操作種類、バケット操作種類およびリフトシリンダ油圧の組み合わせ(つまり現在の作業状態)を、予め記憶してある各作業工程に対応する「前後進切換レバー」、「ブーム」、「バケット」および「作業機シリンダ圧力」の判定条件の組み合わせと対照する。この対照する処理の結果として、第1処理装置30は、現在の作業状態に最も良く一致する判定条件の組み合わせがどの作業工程に対応するのかを判定する。ここで、図4に示す掘削積込動作に対応する判定条件の組み合わせは、一例として次のとおりである。
 空荷前進工程においては、前後進切換レバーがFであり、ブーム操作とバケット操作とがともに中立であり、作業機シリンダ圧力が基準値P未満である。掘削(突込み)工程においては、前後進切換レバーがF、ブーム操作とバケット操作とが共に中立、作業機シリンダ圧力が基準値AからCの範囲である。掘削(掬込み)工程においては、前後進切換レバーがFまたはR、ブーム操作が上げまたは中立、バケット操作がチルトバック、作業機シリンダ圧力が基準値AからCの範囲である。バケット操作については、チルトバックと中立とが交互に繰り返される判定条件をさらに追加してもよい。掘削対象物の状態によっては、バケット6をチルトバックさせ、中立にし、再びチルトバックさせるという動作を繰り返す場合があるからである。積荷後進工程においては、前後進切換レバーがR、ブーム操作が中立または上げ、バケット操作が中立、作業機シリンダ圧力が基準値BからPの範囲である。積荷前進工程においては、前後進切換レバーがF、ブーム操作が上げまたは中立、バケット操作が中立、作業機シリンダ圧力が基準値BからPの範囲である。排土工程においては、前後進切換レバーがF、ブーム操作が上げまたは中立、バケット操作がダンプ、作業機シリンダ圧力が基準値BからPの範囲である。後進・ブーム下げ工程においては、前後進切換レバーがR、ブーム操作が下げ、バケット操作がチルトバック、作業機シリンダ圧力が基準値P未満である。
 第1処理装置30で判定された作業工程に関する情報は、作業機械動作情報の一部として出力部45を介して第2処理装置70に出力される。なお、本例においては、第1処理装置30で作業工程を判定する方式について説明するが、特にこれに限られず第2処理装置70で作業工程を判定するようにしてもよい。
 [第2処理装置70の機能構成]
 図5は、実施形態に従う第2処理装置70の機能ブロックについて説明する図である。図5を参照して、第2処理装置70は、入力部71と、表示部72と、メモリ73と、通信部74と、CPU75とを含む。
 入力部71は、マウス、キーボード、コントローラ、タッチパネル等を含む。入力部71を操作することにより入力指令が生成される。例えば、マウス操作、キーボード操作、コントローラのボタン操作あるいは、タッチパネルのタッチ操作により入力指令が生成される。
 表示部72は、液晶等のディスプレイを含む。メモリ73は、RAM、ROM等の記憶装置を含む。メモリ73は、CPU75が読み出すことにより各種の処理を実行する機能ブロックを実現するためのプログラムを格納している。また、メモリ73は、ホイールローダ1から送信された作業機械動作情報を作業機械動作データとして格納する。
 実施形態に従う第2処理装置70は、メモリ73に格納されている作業機械動作データを用いてホイールローダ1の作業中の動作状態を示す動作画像を生成して表示する。作業機械動作データについては後述する。本例において、第2処理装置70は、作業機機械動作データを用いて、ホイールローダ1の作業中の動作状態を示す動作画像をリアルタイムで表示する場合について説明するが、ホイールローダ1の作業後にメモリ73に格納されている作業機械動作データを用いて再生処理することも可能である。なお、再生処理は、ある一時点における静止画像および時間とともに連続的に変化する動画像の両方を含む。
 CPU75は、メモリ73に格納されているプログラムに基づいて、各種の機能ブロックを実現する。具体的には、CPU75は、選択部80と、動作画像生成部82と、表示制御部84と、イベント判定部86と、イベント登録部88とを含む。
 選択部80は、再生処理する際にメモリ73に格納されている作業機械動作データの時刻を再生時刻として選択する。動作画像生成部82は、作業機械動作データに基づいて、ホイールローダ1の動作画像データを生成する。表示制御部84は、動作画像生成部82で生成したホイールローダ1の動作画像データに基づいて、動作画像を含む作業画面を表示部72に出力して表示する。イベント判定部86は、メモリ73に格納されている作業機械動作情報に基づいてイベントが発生したか否かを判断する。イベント登録部88は、イベント判定部86で発生したと判断したイベントに関するイベント情報を作業機械動作情報と関連付けてメモリ73に格納する。なお、第2処理装置70は、本発明の「作業機械の表示システム」の一例である。また、選択部80、動作画像生成部82、イベント判定部86、イベント登録部88、表示部72およびメモリ73は、それぞれ本発明の「選択部」、「動作画像生成部」、「イベント判定部」、「イベント登録部」、「表示部」および「記憶部」の一例である。
 図6は、実施形態に従うメモリ73に格納されている作業機械テーブルを説明する図である。図6を参照して、作業機械テーブルは、時系列に配列された作業機械動作データを含む。
 一例として、作業機械テーブルに複数の作業機械動作データが格納されている場合が示されている。具体的には、時系列の作業時刻「12:01:01」、「12:01:05」、「12:01:10」、「12:02:00」、「12:02:04」、にそれぞれ対応付けられた作業機械動作データが示されている。当該作業時刻は、一例として、第2処理装置70の通信部74が第1処理装置30の出力部45から送信されたデータ(作業機械動作情報)を受信した時刻に対応する。なお、当該時刻は、第2処理装置70の通信部74が当該情報を受信した時刻に限られず、第1処理装置30の出力部45が送信した時刻としても良く、他の基準となる時刻を用いるようにしても良い。
 作業機械動作データは、作業機械動作情報と、当該作業機械動作情報と関連付けられたイベント情報とを含む。
 イベント情報は、発生しているイベントに関する情報である。当該イベント情報は、後述するがイベント登録部88により設定される。したがって、イベント登録部88により設定される前は、作業機械動作データのイベント情報は空白状態である。
 作業機械動作情報は、作業時刻と対応付けられた車両情報CNと、操作情報Tと、位置情報Pと、作業者IDと、車体IDとを含む。車両情報CNは、ホイールローダ1の情報である。具体的には、車両情報CNは、作業機3と、作業機3以外の走行装置4等を含む車両に関する情報とを含む。なお、本例においては、車両情報CNは、作業機3と、車両(機械本体)に関する情報の両方を含む場合について説明するが、いずれか一方としても良い。作業機3の情報は、第1角度検出器29、第2角度検出器48、第1油圧検出器28a、28bの検出信号および作業工程に関する作業機データを含む。当該作業機データにより作業機3の姿勢状態等を検知することが可能である。
 車両に関する情報は、温度センサ31、車速検出部27、アーティキュレート角度センサ61の検出信号に関する車両データを含む。当該車両データにより走行装置4の状態等を検知することが可能である。操作情報Tは、作業機3に対する作業機操作情報と、車両操作情報とを含む。作業機操作情報は、ブーム操作検出部52b、バケット操作検出部54bの検出信号に関する作業機操作データを含む。当該作業機操作データにより作業機3に対する操作状態を検知することが可能である。車両操作情報は、前後進切換操作部材49a、アクセル操作検出部51b、変速操作検出部53b、アーティキュレート操作検出部55b、ブレーキ操作検出部58bの検出信号に関する車両操作データを含む。当該車両操作データにより車両に対する操作状態を検知することが可能である。なお、本例においては、操作情報Tは、作業機操作情報と、車両操作情報の両方を含む場合について説明するが、いずれか一方としても良い。
 位置情報Pは、ホイールローダ1の位置に関する情報である。具体的には、位置情報Pは、位置検出センサ64の検出信号に関する位置データと、IMU66の検出信号に関する傾斜データとを含む。
 作業者IDは、ホイールローダ1のオペレータを識別する情報である。一例として、作業者が作業機械のエンジンの起動の際に使用する鍵に作業者IDが予め格納されているものとする。第1処理装置30は、作業機械のエンジンの起動の際に当該鍵から作業者IDを取得する。
 車体IDは、ホイールローダ1の車体を識別する情報である。一例として第1処理装置30の記憶部30jに車体IDは予め格納されているものとする。なお、本例においては、第1処理装置30の記憶部30jに格納されている場合について説明するが、これに限られず第2処理装置70のメモリ73に予め格納されていてもよい。
 [イベント登録処理]
 図7は、実施形態に従う第2処理装置70のイベント登録処理について説明するフロー図である。当該イベント登録処理は、ホイールローダ1の作業中の動作状態を示す動作画像を生成する動作画像生成処理と並列してバックグラウンド処理として実行することが可能である。図7を参照して、イベント判定部86は、メモリ73の作業機械テーブルに格納されている作業機械動作データを取得する(ステップST0)。
 次に、イベント判定部86は、取得した作業機械動作データに基づいてイベントが発生しているか否かを判断する(ステップST4)。イベント判定部86は、取得した作業機械動作データが所定のイベント条件を満たすか否かを判断する。
 一例として、イベント条件として、本例においては、温度が所定温度以上である場合にオーバヒートのイベントが発生したと判定する。例えば、車両情報CNに含まれる車両に関する情報は、温度センサ31の検出信号に関する車両データを含む。イベント判定部86は、当該温度センサ31の検出信号のデータに基づいて温度が所定温度以上か否かを判断する。
 別のイベント条件として、本例においては、作業工程の情報からイベントが発生したと判定する。例えば、車両情報CNは、作業工程を含む作業機データを含む。イベント判定部86は、作業機データに基づいてイベントが発生したか否かを判断する。作業機データに掘削の作業工程の情報が含まれている場合には、掘削のイベントが発生したと判断する。
 なお、これに限られず種々のイベント条件を設けることが可能であり、取得した作業機械動作情報の1つのデータを用いて所定のイベントが発生したと判定してもよいし、複数のデータの組み合わせに基づいて所定のイベントが発生したと判定してもよい。
 ステップST4において、イベント判定部86は、イベントが発生していると判断した場合(ステップST4においてYES)には、イベント登録部88に登録指示する。
 次に、イベント登録部88は、イベント判定部86の登録指示に従って、イベント情報を登録する(ステップST6)。
 そして、次に、イベント登録部88は、作業機械テーブルに含まれる全ての作業機械動作データの確認が終了したか否かを判断する(ステップST8)。
 ステップST8において、イベント登録部88は、全ての作業機械動作データの確認が終了したと判断した場合(ステップST8においてYES)には、イベント登録処理を終了する(エンド)。一方、ステップST8において、イベント登録部88は、全ての作業機械動作データの確認が終了していないと判断した場合(ステップST8においてNO)には、ステップST0に戻り、確認が終わっていない作業機械テーブルの作業機械動作データを取得して、上記処理を繰り返す。
 イベント登録部88は、一例としてオーバヒートのイベントが発生している場合には、作業機械動作データの中に、作業機械動作情報と関連付けたイベント情報として登録する。また、イベント登録部88は、一例として掘削のイベントが発生している場合には、作業機械動作データの中に、作業機械動作情報と関連付けたイベント情報として登録する。他の作業機械動作データについても同様である。これにより図6に示されるイベント情報が設定される。
 [動作画像生成処理]
 図8は、実施形態に従う動作画像生成部82の詳細機能ブロックについて説明する図である。図8を参照して、動作画像生成部82は、動作状態画像生成部820と、位置状態画像生成部822と、車両状態画像生成部824と、管理情報画像生成部826と、イベント情報画像生成部828とを含む。動作画像生成部82の各機能ブロックは、メモリ73に予め格納されているプログラムにより実現される。
 動作状態画像生成部820は、作業機械動作データに基づいて動作状態画像データを生成する。位置状態画像生成部822は、作業機械動作データに基づいて位置状態画像データを生成する。車両状態画像生成部824は、作業機械動作データに基づいて車両状態画像データを生成する。管理情報画像生成部826は、作業機械動作データに基づいて管理情報画像データを生成する。イベント情報画像生成部828は、作業機械動作データに基づいてイベント情報画像データを生成する。
 図9は、実施形態に従う表示部72の作業画面200について説明する図である。図9を参照して、作業画面200には、ホイールローダ1の作業時刻「2018/1/1/12:02:00」に対応するホイールローダ1の種々の情報を表示する複数の画面が設けられている。複数の画面は、作業時刻に同期した画面である。本例においては、動作画像生成部82は、作業機械テーブルに格納された作業時刻に対応する作業機械動作データに基づいて、ホイールローダ1の動作画像データを生成する。なお、再生時刻は、時刻のみの情報であってもよいし、日付に関する情報が含まれていてもよい。
 表示制御部84は、動作画像生成部82で生成した動作画像データに基づいて、作業画面200を表示部72に表示する。本例においては、動作画像データは、動作状態画像データと、位置状態画像データと、車両状態画像データと、管理情報画像データと、イベント情報画像データとを含む。
 具体的には、表示制御部84は、動作状態画像データに基づいて、ホイールローダ1の動きを表す動作画面210を表示部72に表示する。表示制御部84は、位置状態画像データに基づいて、ホイールローダ1を表す位置画面230を表示部72に表示する。表示制御部84は、車両状態画像データに基づいて、ホイールローダ1の状態の情報を表す状態画面220を表示部72に表示する。表示制御部84は、イベント情報画像データに基づいて、ホイールローダ1に発生したイベントのリストを表示するイベント表示画面240を表示部72に表示する。表示制御部84は、管理情報画像データに基づいて、ホイールローダ1の管理情報を表す管理画面260を表示部72に表示する。
 なお、表示制御部84は、作業画面200に対して再生処理に関する種々のコマンドを指示するためのコマンドバーを設けるようにしてもよい。コマンドバーは、再生ボタン、停止ボタン、一時停止ボタン、早送りボタン、早戻しボタン等を含む。管理者が当該ボタンを操作することにより再生処理に関する種々の処理を実行することが可能である。管理者が再生ボタンを操作することにより、ある再生時刻からの時間的変化に従うホイールローダ1の動作画像の連続的な再生処理(動画再生処理)が実行される。管理者が一時停止ボタンを操作することにより、ある再生時刻に従うホイールローダ1の動作画像の再生処理(静止画再生処理)が実行される。
 [動作画面210]
 動作画面210は、動作状態画像データに基づいて表示される。動作画面210は、傾斜状態画像212と、アーティキュレート状態画像214と、作業状態画像216とを含む。
 動作状態画像生成部820は、ホイールローダ1の3Dモデル形状の基準画像を生成する3Dモデル形状データと、車両情報CNに含まれる作業機データとに基づいて第1動作状態画像データを生成する。なお、3Dモデル形状データは、メモリ73に予め格納されているものとする。3Dモデル形状データには、3Dモデル形状の基準画像を構成する作業機、車体、車輪等の各モデル形状のデータが含まれる。また、第1動作状態画像データは、車両の傾斜やアーティキュレート角度を表わす画像データとしてもよい。
 表示制御部84は、第1動作状態画像データに基づいてホイールローダ1の作業中の状態を示す作業状態画像216を表示する。作業状態画像216は、ホイールローダ1の3Dモデルを示す作業機モデル画像217と、ホイールローダ1が走行する路面モデルを示す路面画像218とを含む。
 表示制御部84は、作業機モデル画像217の走行状態と路面画像218とを組み合わせることにより表現することが可能である。具体的には、一例として路面画像218を左方向から右方向にスライドさせることにより作業機モデル画像217の位置を変化させることなく作業機モデル画像217の前進を表現することが可能である。また、表示制御部84は、路面画像218の移動速度を調整することにより作業機モデル画像217の走行状態の程度を表現してもよい。例えば、表示制御部84は、路面画像218のスライド速度を速くすることにより、作業機モデル画像217が高速で前進しているように表現してもよい。また、反対に、表示制御部84は、路面画像218のスライド速度を遅くすることにより、作業機モデル画像217が低速で前進しているように表現してもよい。表示制御部84は、車両情報CNに含まれる車速データに基づいて路面画像218のスライド速度を調整するようにしても良い。表示制御部84は、第1動作状態画像データに基づいて、作業機モデル画像217を表示する。これにより、ホイールローダ1の作業中の作業の状態を可視化することが可能である。なお、作業中の状態を可視化する際に仮想カメラの視野方向の設定を受け付けることにより視野を変更することも可能である。仮想空間上に作業機モデル画像217を配置し、所定の撮像位置から仮想カメラにより作業機モデル画像217を撮像した場合が表示されている。当該仮想カメラの撮像位置は任意の位置に設定することが可能であり、当該位置を調整することにより、作業機モデル画像217を任意のアングルから撮像した表示が可能である。
 動作状態画像生成部820は、ホイールローダ1の側面モデルの形状の基準画像を生成する側面形状モデルデータと、位置情報Pに含まれる傾斜データとに基づいて第2動作状態画像データを生成する。表示制御部84は、第2動作状態画像データに基づいて傾斜状態画像212を表示する。傾斜状態画像212は、ホイールローダ1の車体の傾斜状態を示す。本例においては、25°傾斜した状態である場合が示されている。表示制御部84は、第2動作状態画像データに基づいて、傾斜状態画像212を表示する。これにより、ホイールローダ1の作業中の車体の傾斜状態を可視化することが可能である。
 動作状態画像生成部820は、ホイールローダ1の上面視モデルの形状の基準画像を生成する上面視形状モデルデータと、車両情報CNに含まれるアーティキュレート角度データとに基づいて第3動作状態画像データを生成する。表示制御部84は、第3動作状態画像データに基づいてアーティキュレート状態画像214を表示する。アーティキュレート状態画像214は、ホイールローダ1のアーティキュレートの状態を示す。本例においては、15°右方向に屈曲している状態である場合が示されている。表示制御部84は、第3動作状態画像データに基づいて、アーティキュレート状態画像214を表示する。これにより、ホイールローダ1の作業中のアーティキュレート状態を可視化することが可能である。
 [状態画面220]
 状態画面220は、車両状態画像データに基づいて表示される。状態画面220は、作業中の作業時刻を示すタイムバー224と、操作状態画像221と、車両状態画像222と、作業工程状態画像223とを含む。ここで、タイムバー224は、作業中の作業時刻を示している。本例におけるタイムバー224は、任意の作業時刻に対応する位置に移動可能に設けられている。
 車両状態画像生成部824は、現在の作業時刻から所定期間前までの作業機械動作データの操作情報Tに基づいて第1車両状態画像データを生成する。表示制御部84は、第1車両状態画像データに基づいて所定期間のオペレータが操作した操作部材の状態を示す操作状態画像221を表示する。操作状態画像221は、現在の作業時刻に対応する操作指定状態画像221Aと、現在の作業時刻から所定期間前までの操作の遷移状態を示す操作遷移状態画像221Bとを含む。操作指定状態画像221Aは、アクセル操作装置51(アクセルペダル)、ブーム操作装置52(ブームレバー)、バケット操作装置54(バケットレバー)、ブレーキ操作装置58(ブレーキ)の状態を示す。本例においては、アクセルペダルが95%、ブームレバーが25%、バケットレバーが14%、ブレーキがOFFの状態である場合が示されている。操作遷移状態画像221Bは、所定期間(本例においては26s)におけるアクセル操作装置51(アクセルペダル)、ブーム操作装置52(ブームレバー)、バケット操作装置54(バケットレバー)、ブレーキ操作装置58(ブレーキ)の操作の遷移状態を示す。
 アクセル操作装置51(アクセルペダル)、ブーム操作装置52(ブームレバー)、バケット操作装置54(バケットレバー)に関しては、操作状態をグレースケールで示している。具体的には、操作部材の操作割合の値が大きくなるほど濃く(黒色)なり、数値が低くなるほど薄く(白色)なるように表示されている。なお、本例においては、操作状態をグレースケールで表示する場合について説明しているが、操作状態をヒートマップで表示するようにしても良い。例えば、ブーム操作装置52(ブームレバー)が上げ動作または下げ動作の場合に色を変えることにより視覚的にどの操作であるかを直観的に把握することが可能である。バケット操作装置54(バケットレバー)についても同様である。また、操作部材の操作量の値をグラフ化して表示しても良い。ブレーキ操作装置58(ブレーキ)に関しては、ブレーキがオンあるいはオフした状態が表示されている。これにより、所定期間において操作部材に対してどのような操作がされたかを容易に把握することが可能である。
 車両状態画像生成部824は、現在の作業時刻から所定期間前までの作業機械動作データの車両情報CNに基づいて第2車両状態画像データを生成する。表示制御部84は、第2車両状態画像データに基づいて所定期間のホイールローダ1の状態を示す車両状態画像222および作業工程状態画像223を表示する。車両状態画像222は、現在の作業時刻に対応する車両指定状態画像222Aと、現在の作業時刻から所定期間前までの車両の遷移状態を示す車両遷移状態画像222Bとを含む。本例においては、車両指定状態画像222Aは、ホイールローダ1の車速が15km/hである場合を示す。
 車両遷移状態画像222Bは、所定期間(本例においては26s)におけるホイールローダ1の車速の遷移状態を示す。これにより、所定期間においてホイールローダ1の車速がどのように変化したかを容易に把握することが可能である。
 作業工程状態画像223は、現在の作業時刻に対応する作業工程を示す作業工程指定状態画像223Aと、現在の作業時刻から所定期間前までの作業工程の遷移状態を示す作業工程遷移状態画像223Bとを含む。作業工程指定状態画像223Aは、本例においては掘削である場合が示されている。作業工程遷移状態画像223Bは、所定期間中の作業工程の遷移として空荷前進、掘削、積荷前進に変化している場合が示されている。これにより、所定期間においてホイールローダ1の作業工程がどのように変化したかを容易に把握することが可能である。
 表示制御部84は、一例としてタイムバー224に対応する作業時刻に合わせて、操作遷移状態画像221B、車両遷移状態画像222Bおよび作業工程遷移状態画像223Bが右側から左側に移動するように制御する。タイムバー224は、入力部71からの入力に基づき所定期間における任意の作業時刻の位置に変更することが可能である。
 [位置画面230]
 位置画面230は、位置状態画像データに基づいて表示される。位置画面230は、作業位置画像232と、移動軌跡画像234とを含む。
 位置状態画像生成部822は、作業マップを示す地図データと、位置情報Pに含まれる位置データとに基づいて位置状態画像データを生成する。表示制御部84は、位置状態画像データに基づいて作業マップ上におけるホイールローダ1の作業の位置を示す作業位置画像232と、ホイールローダ1の移動の軌跡を示す移動軌跡画像234とを表示する。作業位置画像232は、ホイールローダ1の移動の軌跡を示す移動軌跡画像234に従って移動させることが可能に設けられている。表示制御部84は、位置状態画像データに基づいて、作業位置画像232および移動軌跡画像234を作業マップ上に表示する。これにより、ホイールローダ1の作業中の移動状態を可視化することが可能である。また、移動軌跡画像234は、速度変化領域233を含む。速度変化領域233は、ホイールローダ1の移動の速度が変化した領域を示す。移動軌跡画像234に速度変化領域233を設けることによりホイールローダ1の速度変化を視覚的に判断することが可能である。本例においては、速度変化領域233は、1つの領域が示されているが特にこれに限られず複数の領域が設けられていても良い。ここでは、一例としてハッチングパターンの変化により速度が変化した状態であることが示されている。なお、当該表示に限られず、色や他の強調表示によりホイールローダ1の速度変化を視覚的に判断するようにしてもよい。作業位置画像234は、入力部71からの入力に基づき移動軌跡画像234に沿って任意の作業の位置に変更することが可能である。
 [イベント表示画面240]
 イベント表示画面240は、イベント情報画像データに基づいて表示される。イベント表示画面240は、イベントリストを含む。イベント情報画像生成部828は、作業機械動作データのイベント情報に基づいてイベント情報画像データを生成する。表示制御部84は、イベント情報画像データに基づいてイベントリストを表示する。本例においては、イベントとしてオーバヒートと、作業工程とがそれぞれ示されている。そして、作業工程は、さらに細分化されて掘削、空荷前進等の工程が列挙されている。また、各イベントの時間がツリー形式で表示されている。
 本例においては、ツリー形式で表示されたイベントが生じた時刻の項目について選択可能に設けられている。例えば、オーバーヒートした時刻「2018/1/1/12:20:00」の項目を指定することにより、当該時刻に対応付けられた作業機械テーブルの作業機械動作データが選択される。そして、選択された作業機械動作データに基づいて、ホイールローダ1の動作画像データが生成される。これにより、ホイールローダ1の作業中のイベントの発生状態を容易に可視化することが可能である。
 [管理画面260]
 管理画面260は、管理情報画像データに基づいて表示される。管理画面260は、作業時刻を示す時刻画像202と、車体ID画像204と、作業者ID画像206とを含む。管理情報画像生成部826は、作業機械動作データの時刻情報に基づいて第1管理情報画像データを生成する。表示制御部84は、第1管理情報画像データに基づいて作業時刻に対応する時刻画像202を表示する。本例においては、時刻画像202として「2018/1/1:12:02:00」が表示されている。
 管理情報画像生成部826は、作業機械動作データの車体IDに基づいて第2管理情報画像データを生成する。表示制御部84は、第2管理情報画像データに基づいて車体ID画像204を表示する。本例においては、車体ID画像204として「X」が表示されている。
 管理情報画像生成部826は、作業機械動作データの作業者IDに基づいて第3管理情報画像データを生成する。表示制御部84は、第3管理情報画像データに基づいて作業者ID画像206を表示する。本例においては、作業者ID画像として「A」が表示されている。表示制御部84は、第1~第3管理情報画像データに基づいて、時刻、車体ID、作業者IDを表示する。これにより、ホイールローダ1に関する作業中の管理情報を容易に可視化することが可能である。
 [再生位置選択処理]
 実施形態においては、管理者は、ホイールローダ1の動作画像の再生位置を選択することが可能である。図10は、実施形態に従う第2処理装置70における再生位置選択処理について説明するフロー図である。図10を参照して、選択部80は、入力部71からの入力を受け付けたか否かを判断する(ステップS2)。選択部80は、入力部71からの入力を受け付けない場合には、ステップS2の状態を維持する。
 次に、選択部80は、入力部71からの入力を受け付けたと判断した場合(ステップS2においてYES)には、タイムバー224の操作入力か否かを判断する(ステップS4)。選択部80は、タイムバー224の操作入力でないと判断した場合(ステップS4においてNO)には、ステップS20に進む。
 一方、選択部80は、タイムバー224の操作入力である判断した場合(ステップS4においてYES)には、タイムバー224の位置の選択指令を受け付ける(ステップS6)。例えば、入力部71による操作を終了した位置がタイムバー224の位置の選択指令として受け付ける。
 次に、選択部80は、タイムバー224の位置に対応する作業時刻を再生時刻として選択する(ステップS9)。次に、動作画像生成部82は、選択部80で選択した再生時刻に従う作業機械動作データに基づいて、ホイールローダ1の動作画像データを生成する(ステップS10)。
 次に、表示制御部84は、動作画像生成部82で生成したホイールローダ1の動作画像データに基づいて、再生処理を実行する(ステップS12)。具体的には、図8で説明したように表示制御部84は、動作画像を含む作業画面を表示部72に出力して表示する。管理者は、タイムバー224の位置を選択することにより任意のタイムバー224の位置に対応する再生位置で動作画像の再生処理を実行することが可能である。
 次に、表示制御部84は、再生処理が終了したかどうかを判断する(ステップS14)。表示制御部84は、再生終了していないと判断した場合(ステップS14においてNO)には、ステップS2に戻り、上記処理を繰り返す。
 一方、表示制御部84は、再生処理が終了したと判断した場合(ステップS14においてYES)には、処理を終了する。一方、ステップS20において、選択部80は、タイムバー224が操作されていないと判断した場合には、作業位置画像232が操作されたか否かを判断する。選択部80は、作業位置画像232が操作されていないと判断した場合(ステップS20においてNO)には、ステップS24に進む。
 一方、選択部80は、作業位置画像232が操作されたと判断した場合(ステップS20においてYES)には、作業位置の選択指令を受け付ける(ステップS22)。例えば、入力部71による操作を終了した位置に作業位置画像232の位置の選択指令として受け付ける。作業位置画像232は、移動軌跡画像234の軌跡に従って位置を移動させることが可能に設けられている。
 次に、選択部80は、作業位置画像232の位置に対応する作業時刻を再生時刻として選択する(ステップS9)。以降の処理については上記と同様であるのでその詳細な説明については繰り返さない。
 管理者は、作業位置画像232の位置を選択することにより任意の作業位置画像232の位置に対応する再生位置で動作画像の再生処理を実行することが可能である。一方、選択部80は、作業位置画像232が操作されていないと判断した場合には、イベントリストが操作されたか否かを判断する。
 選択部80は、イベントリストが操作されていないと判断した場合(ステップS24においてNO)には、ステップS2に戻る。選択部80は、イベントリストが操作されたと判断した場合(ステップS24においてYES)には、イベント情報の選択指令を受け付ける(ステップS26)。例えば、入力部71による操作により指定されたイベント情報の選択指令として受け付ける。例えば、掘削あるいはオーバヒート等に対応する時刻の選択入力を受け付ける。
 次に、選択部80は、選択入力を受け付けた時刻を再生時刻として選択する(ステップS9)。以降の処理については上記と同様であるのでその詳細な説明については繰り返さない。管理者は、イベントリストを操作することにより任意のイベントの位置に対応する再生位置で動作画像の再生処理を実行することが可能である。
 [利用形態]
 実施形態に従う第2処理装置70の動作画像処理により、作業画面200が表示される。作業画面200は、一例としてホイールローダ1の作業中の作業時刻に対応する作業機械動作データに基づいて生成される動作画面210、状態画面220および位置画面230を表示する。
 動作画面210において、一例としてホイールローダ1の作業の状態を示す作業状態画像216が表示される。状態画面220において、一例として操作状態画像221が表示される。位置画面230において、作業マップ上におけるホイールローダ1の作業の位置を示す作業位置画像232が表示される。管理者は、上記画面により、ホイールローダ1のオペレータがいつ、どこで、どのような作業をしたかを容易に把握することが可能となる。
 管理者は、ホイールローダ1の動作状態とともに操作状態も容易に認識することが可能であるため例えば、オペレータの運転指導の際に有用に活用することが可能である。管理者は、例えば動作画面210とともに状態画面220の操作状態画像221を確認することにより、作業機械の動作状態に対応するオペレータの操作状態に対して適切な指導を行うことが可能となる。管理者は、例えば位置画面230とともに状態画面220の操作状態画像221を確認することにより、作業機械の位置状態に対応するオペレータの操作状態に対して適切な指導を行うことが可能となる。
 管理者は、ホイールローダ1の動作画像の再生位置を任意に選択することが可能であるため例えば、オペレータの運転指導の際に有用に活用することが可能である。また、イベントリストを確認することによりトラブルシューティング、コンプレーンの調査等にも活用することが可能である。
 [その他の実施形態]
 上記の実施形態においては、作業機械テーブルは、第2処理装置70のメモリ73に格納されている場合について説明したが、特にこれに限られず、例えば、第1処理装置30の記憶部30jに格納していても良い。第1処理装置30の記憶部30jに格納されている作業機械テーブルに基づいて、上記の動作画像処理を実行しても良い。
 上記の実施形態においては、第2処理装置70のCPU75に各種の機能ブロックを実現する構成について説明したが、これに限られず一部または全部の機能ブロックを第1処理装置30で実現するようにしても良い。
 上記の実施形態においては、第2処理装置70の表示部72で作業画面200が表示される場合について説明したがホイールローダ1の表示部40で作業画面200を表示させるようにしても良い。また、ホイールローダ1の表示部40と第1処理装置30とを1つの装置とした場合でもよい。また、ホイールローダ1に限られず、例えば、第2処理装置70と通信可能に設けられた携帯端末の表示部で作業画面200を表示させるようにしても良い。
 上記の実施形態においては、作業画面200において、作業時刻に同期した複数の画面が表示される場合について説明した。具体的には、作業画面200は、複数の画面として、動作画面210、状態画面220、位置画面230、イベント表示画面240、管理画面260を含む場合について説明したが、特にこれら全ての画面が表示される必要はなく、例えば2つ以上の画面が表示されるようにしても良い。例えば、作業画面200において、動作画面210および状態画面220が表示されるようにしても良い。他の画面の組み合わせとすることも当然に可能である。
 [作用効果]
 次に、実施形態の作用効果について説明する。
 実施形態のホイールローダの表示システムには、図5に示すように、第2処理装置70には、ホイールローダ1から送信されたアーティキュレート角を含む作業機械動作情報を受信する通信部74と、通信部74で受信した作業機械動作情報に基づいて、ホイールローダ1のアーティキュレート状態の動作画像を生成する動作画像生成部82と、動作画像を表示する表示部72とが設けられる。アーティキュレート角を含む作業機械動作情報に基づいてホイールローダ1のアーティキュレート状態の動作画像が生成され、当該動作画像が表示部72に表示される。したがって、ホイールローダ1のアーティキュレート状態を容易に認識することが可能である。
 作業機械動作情報をホイールローダ1内の第1処理装置30あるいは第2処理装置70で取得してもよい。ホイールローダ1内の第1処理装置に限られず、他の外部機器である第2処理装置にも配置可能であるため表示システムの自由度を向上させることが可能である。
 動作画像生成部82は、ホイールローダ1内の第1処理装置30あるいは第2処理装置70に設けられる。ホイールローダ1内に限られず、他の外部機器にも配置可能であるため作業機械の表示システムの自由度を向上させることが可能である。
 表示部72は、ホイールローダ1内の第1処理装置30あるいは第2処理装置70に設けられる。ホイールローダ1内に限られず、他の外部機器にも配置可能であるため作業機械の表示システムの自由度を向上させることが可能である。
 動作画像生成部82は、通信部74で受信した作業機械動作情報に基づいて、ホイールローダ1の動作画像およびホイールローダ1の動作画像に対応する操作画像を生成し、表示部72は、ホイールローダ1の動作画像および操作画像を表示する。したがって、ホイールローダ1の動作状態とともに操作状態も容易に認識することが可能である。
 実施形態のホイールローダの表示システムには、通信部74で受した作業機械動作情報を格納するメモリ73が設けられる。動作画像生成部82は、図6に示すようにメモリ73に記憶された作業機械動作情報に基づいて、作業機械の動作画像を生成し、メモリ73に記憶された作業機械動作情報に基づいて、作業機械の動作画像に対応する操作画像を生成する。メモリ73に格納することにより、ホイールローダ1の動作状態を示す動作画像および操作状態を示す操作画像を再生処理することが可能である。オペレータの運転指導の際に有用に活用することが可能である。
 ホイールローダ1は、フロントローディング型のバケット6を有する作業機3と、走行輪4a,4bで走行可能に設けられた車体フレーム2とを含む。図6に示される作業機械動作情報は、車両情報CNを含み、車両情報CNは、作業機3および走行装置4の少なくとも一方の動作情報を含む。ホイールローダ1の作業機3および走行装置4の少なくとも一方の動作状態を容易に認識することが可能である。
 図6に示される作業機械動作情報は、オペレータあるいは車体を識別する識別情報をさらに含む。複数のオペレータあるいは複数の車体が設けられている場合に当該識別情報により容易に判別することが可能である。
 ホイールローダ1には、作業機械動作情報の時刻を再生時刻として選択する選択部80がさらに設けられる。選択部80は、図9に示す再生画面200に対する入力部71の入力指令に従い作業機械動作情報の再生時刻を選択する。再生画面200の入力インタフェースを用いて簡易にホイールローダ1の動作状態を再生確認することが可能である。
 実施形態のホイールローダ1は、バケット6と、走行輪4a,4bを含む。ホイールローダ1の表示システムにおいて、図5に示すように、第2処理装置70には、ホイールローダ1から送信されたバケット角度および車速を含む作業機械動作情報を受信する通信部74と、通信部74で受信した作業機械動作情報に基づいて、ホイールローダ1のバケット6および走行輪4a,4bの状態を示す動作画像を生成する動作画像生成部82と、動作画像を表示する表示部72とが設けられる。ホイールローダ1のバケット6および走行輪4a,4bの状態を示す動作画像が生成され、当該動作画像が表示部72に表示される。したがって、ホイールローダ1のバケット6および走行輪4a,4bの状態を容易に認識することが可能である。
 実施形態の作業機械の表示システムの制御方法は、アーティキュレート角を含む作業機械動作情報を取得するステップと、取得した作業機械動作情報に基づいてホイールローダの動作画像を生成するステップと、動作画像を表示するステップとを備える。アーティキュレート角を含む作業機械動作情報に基づいてホイールローダ1の動作画像が生成され、当該動作画像が表示部72に表示される。したがって、ホイールローダ1の動作状態を容易に認識することが可能である。
 実施形態の作業機械の表示システムの制御方法は、バケット角度および車速を含むホイールローダの作業機械動作情報を取得するステップと、取得した作業機械動作情報に基づいてホイールローダのバケットおよび走行輪の状態を示す動作画像を生成するステップと、動作画像を表示するステップとを備える。ホイールローダ1のバケット6および走行輪4a,4bの状態を示す動作画像が生成され、当該動作画像が表示部72に表示される。したがって、ホイールローダ1のバケット6および走行輪4a,4bの状態を容易に認識することが可能である。
 有人のホイールローダを例に挙げて説明したが、有人に限られず無人のホイールローダにも適用可能である。
 以上、本発明の実施形態について説明したが、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
 1 ホイールローダ、2 車体フレーム、3 作業機、4 走行装置、5 キャブ、6 バケット、6a 刃先、10 ブームピン、13 ステアリングシリンダ、14 ブーム、15 チルトロッド、16 ブームシリンダ、17 バケットピン、18 ベルクランク、18a 支持ピン、19 チルトシリンダ、20 エンジン、21 入力軸、22 動力取り出し部、23 動力伝達機構、23a 出力軸、24 シリンダ駆動部、25 作業機ポンプ、26 制御弁、27 車速検出部、28a 第1油圧検出器、29 第1角度検出器、30 第1処理装置、30j 記憶部、31 温度センサ、40,72 表示部、45 出力部、48 第2角度検出器、49 前後進切換装置、49a 前後進切換操作部材、49b 前後進切換検出センサ、51 アクセル操作装置、51a アクセル操作部材、51b アクセル操作検出部、52 ブーム操作装置、52a ブーム操作部材、52b ブーム操作検出部、53 変速操作装置、53a 変速操作部材、53b 変速操作検出部、54 バケット操作装置、54a バケット操作部材、54b バケット操作検出部、55 アーティキュレート操作装置、55a アーティキュレート操作部材、55b アーティキュレート操作検出部、58 ブレーキ操作装置、58a ブレーキ操作部材、58b ブレーキ操作検出部、60 回動機構、61 アーティキュレート角度センサ、64 位置検出センサ、70 第2処理装置、71 入力部、73 メモリ、74 通信部、80 選択部、82 動作画像生成部、84 表示制御部、86 イベント生成部、88 イベント登録部。

Claims (12)

  1.  アーティキュレート角を含む作業機械動作情報を取得する取得部と、
     前記取得部で取得した作業機械動作情報に基づいてホイールローダのアーティキュレート状態を含む動作画像を生成する動作画像生成部と、
     前記動作画像を表示する表示部とを備える、ホイールローダの表示システム。
  2.  前記取得部は、前記ホイールローダあるいは前記ホイールローダと独立した外部機器のいずれか一方に設けられる、請求項1記載のホイールローダの表示システム。
  3.  前記動作画像生成部は、前記ホイールローダあるいは前記ホイールローダと独立した外部機器のいずれか一方に設けられる、請求項1または2記載のホイールローダの表示システム。
  4.  前記表示部は、前記ホイールローダあるいは前記ホイールローダと独立した外部機器のいずれか一方に設けられる、請求項1に記載のホイールローダの表示システム。
  5.  前記動作画像生成部は、前記取得部で取得した作業機械動作情報に基づいて、前記ホイールローダの動作画像および前記ホイールローダの動作画像に対応する操作画像を生成し、
     前記表示部は、前記ホイールローダの動作画像および操作画像を表示する、請求項1に記載のホイールローダの表示システム。
  6.  前記取得部で取得した前記作業機械動作情報を記憶する記憶部をさらに備え、
     前記動作画像生成部は、
     前記記憶部に記憶された前記作業機械動作情報に基づいて、前記ホイールローダの動作画像を生成し、
     前記記憶部に記憶された前記作業機械動作情報に基づいて、前記ホイールローダの動作画像に対応する操作画像を生成する、請求項1に記載のホイールローダの表示システム。
  7.  前記ホイールローダは、フロントローディング型のバケットを有する作業機と、走行輪で走行可能に設けられた車体フレームとを含み、
     前記作業機械動作情報は、前記作業機および前記機械本体の少なくとも一方の動作情報を含む、請求項1に記載のホイールローダの表示システム。
  8.  前記作業機械動作情報は、識別情報をさらに含む、請求項1に記載のホイールローダの表示システム。
  9.  前記作業機械動作情報の時刻を再生時刻として設定する選択部をさらに備える、請求項6記載のホイールローダの表示システム。
  10.  バケット角度および車速を含むホイールローダの作業機械動作情報を取得する取得部と、
     前記取得部で取得した作業機械動作情報に基づいて前記ホイールローダのバケットおよび走行輪の状態を示す動作画像を生成する動作画像生成部と、
     前記動作画像を表示する表示部とを備える、ホイールローダの表示システム。
  11.  アーティキュレート角を含む作業機械動作情報を取得するステップと、
     取得した作業機械動作情報に基づいて前記ホイールローダのアーティキュレート状態を含む動作画像を生成するステップと、
     前記動作画像を表示するステップとを備える、ホイールローダの表示システムの制御方法。
  12.  バケット角度および車速を含むホイールローダの作業機械動作情報を取得するステップと、
     取得した作業機械動作情報に基づいて前記ホイールローダのバケットおよび走行輪の状態を示す動作画像を生成するステップと、
     前記動作画像を表示するステップとを備える、ホイールローダの表示システムの制御方法。
PCT/JP2019/033635 2018-09-14 2019-08-28 ホイールローダの表示システムおよびその制御方法 WO2020054413A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19860933.1A EP3783156B1 (en) 2018-09-14 2019-08-28 Display system of wheel loader and method of controlling the same
US17/054,215 US20210062472A1 (en) 2018-09-14 2019-08-28 Display system of wheel loader and method of controlling the same
CN201980035053.8A CN112204199A (zh) 2018-09-14 2019-08-28 轮式装载机的显示系统及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-172802 2018-09-14
JP2018172802A JP7197315B2 (ja) 2018-09-14 2018-09-14 ホイールローダの表示システムおよびその制御方法

Publications (1)

Publication Number Publication Date
WO2020054413A1 true WO2020054413A1 (ja) 2020-03-19

Family

ID=69777580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033635 WO2020054413A1 (ja) 2018-09-14 2019-08-28 ホイールローダの表示システムおよびその制御方法

Country Status (5)

Country Link
US (1) US20210062472A1 (ja)
EP (1) EP3783156B1 (ja)
JP (1) JP7197315B2 (ja)
CN (1) CN112204199A (ja)
WO (1) WO2020054413A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7499098B2 (ja) 2020-07-21 2024-06-13 清水建設株式会社 施工管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1046813A (ja) * 1996-08-08 1998-02-17 Hitachi Ltd 建築計画の支援装置及び支援方法
US20070282577A1 (en) * 2006-05-31 2007-12-06 Caterpillar Inc. Simulation system implementing historical machine data
JP2016089388A (ja) 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
WO2017061515A1 (ja) * 2015-10-05 2017-04-13 株式会社小松製作所 建設機械及び施工管理システム
JP6251453B1 (ja) * 2017-02-09 2017-12-20 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
JP2018003282A (ja) * 2016-06-27 2018-01-11 住友建機株式会社 ショベルの表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198724A (ja) * 1997-01-07 1998-07-31 Honda Motor Co Ltd 道路画像表示装置
EP1340858B1 (en) * 2000-11-17 2013-09-18 Hitachi Construction Machinery Co., Ltd Construction machine with a display unit
EP2584181B1 (en) * 2003-09-02 2015-01-21 Komatsu Ltd. Method and device for controlling power output of engine for working machine
JP2005113397A (ja) * 2003-10-03 2005-04-28 Hitachi Constr Mach Co Ltd 建設機械の表示装置
JP5367665B2 (ja) * 2010-09-17 2013-12-11 日立建機株式会社 作業機械の表示システム
US20140088824A1 (en) * 2011-05-13 2014-03-27 Hitachi Construction Machinery Co., Ltd. Device for Monitoring Area Around Working Machine
CN110056021A (zh) * 2011-05-16 2019-07-26 住友重机械工业株式会社 挖土机及其监控装置及挖土机的输出装置
KR102021612B1 (ko) * 2012-12-24 2019-09-16 두산인프라코어 주식회사 건설기계의 화면 표시 방법
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
US10794047B2 (en) * 2015-07-15 2020-10-06 Komatsu Ltd. Display system and construction machine
JP6144373B2 (ja) 2016-02-17 2017-06-07 住友建機株式会社 ショベル、ショベル管理システム、及び携帯通信端末
JP6608345B2 (ja) 2016-09-28 2019-11-20 日立建機株式会社 作業機械
US10684137B2 (en) * 2017-11-29 2020-06-16 Deere & Company Work site monitoring system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1046813A (ja) * 1996-08-08 1998-02-17 Hitachi Ltd 建築計画の支援装置及び支援方法
US20070282577A1 (en) * 2006-05-31 2007-12-06 Caterpillar Inc. Simulation system implementing historical machine data
JP2016089388A (ja) 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
WO2017061515A1 (ja) * 2015-10-05 2017-04-13 株式会社小松製作所 建設機械及び施工管理システム
JP2018003282A (ja) * 2016-06-27 2018-01-11 住友建機株式会社 ショベルの表示装置
JP6251453B1 (ja) * 2017-02-09 2017-12-20 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3783156A4

Also Published As

Publication number Publication date
US20210062472A1 (en) 2021-03-04
EP3783156A4 (en) 2022-01-26
JP7197315B2 (ja) 2022-12-27
JP2020045635A (ja) 2020-03-26
CN112204199A (zh) 2021-01-08
EP3783156A1 (en) 2021-02-24
EP3783156B1 (en) 2024-10-23

Similar Documents

Publication Publication Date Title
JP6913630B2 (ja) ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
KR20190112057A (ko) 건설 기계
JP7376264B2 (ja) 作業機械を含むシステム、および作業機械
WO2021166559A1 (ja) 作業機械の遠隔操作システム
CN114207220B (zh) 动作示教系统
WO2020054413A1 (ja) ホイールローダの表示システムおよびその制御方法
WO2020054411A1 (ja) 作業機械の表示システムおよびその制御方法
CN111655940A (zh) 作业机械及包括作业机械的系统
US20210312721A1 (en) Reproduction device, analysis assistance system, and reproduction method
WO2020054412A1 (ja) 作業機械の表示システムおよびその制御方法
CN111655939A (zh) 作业机械及包括作业机械的系统
CN111655941A (zh) 作业机械及包括作业机械的系统
JP7516068B2 (ja) 作業機械の遠隔操作システム
CN117255880A (zh) 作业机械及用于控制作业机械的方法
CN115066528A (zh) 操作系统
WO2024202983A1 (ja) 制御装置、制御方法および作業機械
WO2024106536A1 (ja) 積込機械の制御装置、遠隔制御装置および制御方法
WO2024204413A1 (ja) 制御装置、制御方法および作業機械
WO2024190914A1 (ja) 作業機械の制御装置、遠隔操作システムおよび制御方法
WO2024157918A1 (ja) 積込機械の制御装置、積込機械の制御方法および積込機械の制御システム
KR20230151889A (ko) 작업 방법, 작업 차량 및 작업 시스템
JP2024144797A (ja) 制御装置、制御方法および作業機械
JP2024075941A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2024043780A (ja) 作業機械を含むシステム、および作業機械の制御方法
CN118556150A (zh) 支援装置、施工机械及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19860933

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019860933

Country of ref document: EP

Effective date: 20201118

NENP Non-entry into the national phase

Ref country code: DE