JP4746000B2 - Fuel saving driving support method and fuel saving driving support system for construction machinery - Google Patents
Fuel saving driving support method and fuel saving driving support system for construction machinery Download PDFInfo
- Publication number
- JP4746000B2 JP4746000B2 JP2007082506A JP2007082506A JP4746000B2 JP 4746000 B2 JP4746000 B2 JP 4746000B2 JP 2007082506 A JP2007082506 A JP 2007082506A JP 2007082506 A JP2007082506 A JP 2007082506A JP 4746000 B2 JP4746000 B2 JP 4746000B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- fuel
- work content
- content
- template image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000446 fuel Substances 0.000 title claims description 91
- 238000000034 method Methods 0.000 title claims description 31
- 238000010276 construction Methods 0.000 title claims description 27
- 238000012545 processing Methods 0.000 description 30
- 238000011156 evaluation Methods 0.000 description 22
- 238000002347 injection Methods 0.000 description 8
- 239000007924 injection Substances 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 5
- 238000009412 basement excavation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
Description
本発明は、油圧ショベル等の建設機械の省燃費運転支援方法および省燃費運転支援システムに関するものである。 The present invention relates to a fuel-saving driving support method and a fuel-saving driving support system for a construction machine such as a hydraulic excavator.
油圧ショベル等の建設機械にあっては、エンジン駆動の油圧ポンプにより作業機の油圧アクチュエータを駆動させることで所望の作業を行うものであり、自動車等の場合と同様に、省燃費運転が要望される。そして、省燃費運転を支援するためには、作業機の運転状況の評価が必要となる。 A construction machine such as a hydraulic excavator performs a desired work by driving a hydraulic actuator of a work machine by an engine-driven hydraulic pump. As in the case of an automobile or the like, fuel-saving operation is required. The In order to support fuel-saving driving, it is necessary to evaluate the operating status of the work machine.
この種の建設機械の省燃費運転のための運転状況の評価に関しては、平均燃費をモニタにガイダンス出力する提案例がある(例えば、特許文献1参照)。また、油圧などの各種センシングパラメータを自己組織化マップにすることにより、各パラメータ間のニューロン距離を計算して作業機の作業内容を特定するようにした提案例がある(例えば、特許文献2参照)。さらには、レバー操作などの解析によって、作業機の作業内容を把握しようとする試みもある。 Regarding the evaluation of the driving situation for fuel-saving driving of this type of construction machine, there is a proposed example in which guidance output of average fuel consumption is made on a monitor (for example, see Patent Document 1). Further, there is a proposal example in which various sensing parameters such as hydraulic pressure are made into a self-organizing map to calculate the neuron distance between each parameter and specify the work content of the work implement (for example, see Patent Document 2). ). Furthermore, there is an attempt to grasp the work content of the work machine by analyzing the lever operation or the like.
また、油圧ショベルのような建設機械に関しては、該建設機械の周囲の状況をカメラで撮影し、機械の操作に応じてモニタに周辺画像を表示することで、視野を確保したり、作業範囲内に侵入した物体をカメラ画像から検出して警告を発するようにした提案例がある(例えば、特許文献3参照)。 For construction machines such as hydraulic excavators, the situation around the construction machine is photographed with a camera, and a peripheral image is displayed on the monitor according to the operation of the machine, so that a field of view can be secured and the working range can be maintained. There is a proposed example in which an object that has entered the camera is detected from a camera image and a warning is issued (see, for example, Patent Document 3).
建設機械にあっては、作業機の作業内容によって負荷が異なり、同じ作業内容でも運転状況で燃料の消費の仕方が異なるので、作業内容を認識し、作業内容別に燃費を推定することが、実体に即した的確な運転評価となる。しかしながら、特許文献1に記載のものは、単純に時間当りの平均燃費を算出しているだけであり、作業機の作業内容別の燃費は加味されておらず、実体に即した的確な運転評価とはならない。また、特許文献1のものでは、作業モードを選択できるものの、その選択操作はオペレータ自身が行わなければならない。ここで、作業内容をオペレータが入力設定すれば作業内容の特定は正確であるが、作業中にオペレータが逐一作業モードを入力するという面倒な操作を行うことは現実的でない。
In construction machinery, the load varies depending on the work content of the work equipment, and even in the same work content, the way of consuming fuel varies depending on the operating conditions. Therefore, it is actually necessary to recognize the work content and estimate the fuel consumption by work content. Accurate driving evaluation in line with However, the one described in
また、特許文献2等に示される作業機の作業内容の認識方法では、間接的な認識方法であり、実際の作業機の動きを見ておらず、作業内容の認識が不正確となってしまう。この結果、作業内容別の燃費評価も不正確となり、省燃費運転の適正な支援とはならない。
In addition, the work content recognition method of the work machine disclosed in
一方、特許文献3等に示されるように油圧ショベル等の建設機械にカメラを搭載する技術は周知であるが、後方や周囲の安全性の確保を目的としているにすぎない。
On the other hand, as shown in
本発明は、上記に鑑みてなされたものであって、作業機の作業内容を正確に認識して作業内容毎に省燃費運転のための評価を的確に行うことができる建設機械の省燃費運転支援方法および省燃費運転支援システムを提供することを目的とする。 The present invention has been made in view of the above, and is capable of accurately recognizing the work content of the work machine and accurately evaluating the fuel-saving operation for each work content. An object is to provide a support method and a fuel-saving driving support system.
上述した課題を解決し、目的を達成するために、本発明にかかる建設機械の省燃費運転支援方法は、建設機械に搭載されたカメラで作業機の作業状況を順次撮影する工程と、順次撮影されたカメラ画像と前記作業機の作業状況に応じて予め記憶されたテンプレート画像とを順次パターンマッチングし時系列で得られるパターンマッチング結果による前記作業機の動きから前記作業機の作業内容を認識する工程と、順次認識された作業内容別に作業回数と使用燃料量とを累積する工程と、所定のタイミングで、累積された作業回数と使用燃料量とに基づき算出された作業内容毎の燃費を作業内容毎に予め設定された目標燃費と比較して作業内容毎の燃料使用状態の良否を表示する工程と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, a construction machine fuel-saving driving support method according to the present invention includes a step of sequentially photographing a work state of a work machine with a camera mounted on the construction machine, and a sequential photographing. Pattern matching is sequentially performed on the captured camera image and a template image stored in advance according to the work status of the work machine, and the work content of the work machine is recognized from the movement of the work machine based on the pattern matching result obtained in time series. Work, the process of accumulating the number of operations and the amount of fuel used for each recognized work content, and the fuel consumption for each work content calculated based on the accumulated number of operations and the amount of fuel used at a predetermined timing And a step of displaying the quality of the fuel usage state for each work content as compared with a target fuel consumption preset for each content.
また、本発明にかかる建設機械の省燃費運転支援方法は、上記発明において、前記認識する工程では、撮影された前記作業機の各部位毎のカメラ画像と、前記作業機の作業状況に応じて予め記憶された各部位毎のテンプレート画像とを用いることを特徴とする。 In the fuel-saving driving support method for a construction machine according to the present invention, in the above-described invention, in the step of recognizing, the camera image of each part of the work implement photographed and the work status of the work implement are used. A template image for each part stored in advance is used.
また、本発明にかかる建設機械の省燃費運転支援方法は、上記発明において、前記累積する工程では、作業内容別に作業時間をさらに累積することを特徴とする。 Further, the fuel-saving driving support method for a construction machine according to the present invention is characterized in that, in the above-mentioned invention, the accumulation time further accumulates work time for each work content.
また、本発明にかかる建設機械の省燃費運転支援システムは、建設機械に搭載されて作業機の作業状況を順次撮影するカメラと、前記作業機の作業状況に応じたテンプレート画像を予め記憶したテンプレート画像メモリと、前記カメラで順次撮影されたカメラ画像と前記テンプレート画像メモリに予め記憶されたテンプレート画像とを順次パターンマッチングし時系列で得られるパターンマッチング結果による前記作業機の動きから前記作業機の作業内容を認識する作業内容認識手段と、該作業内容認識手段で順次認識された作業内容別に作業回数と使用燃料量とを作業内容テーブルに累積する累積手段と、所定のタイミングで、前記作業内容テーブルに累積された作業回数と使用燃料量とに基づき作業内容毎の燃費を算出する燃費算出手段と、該燃費算出手段で算出された作業内容毎の燃費を作業内容毎に予め設定された目標燃費と比較して作業内容毎の燃料使用状態の良否を表示する表示手段と、を備えたことを特徴とする。 In addition, a fuel-saving driving support system for a construction machine according to the present invention includes a camera that is mounted on a construction machine and sequentially captures a work state of a work machine, and a template that stores in advance a template image corresponding to the work state of the work machine. An image memory, a camera image sequentially captured by the camera, and a template image stored in advance in the template image memory are sequentially subjected to pattern matching, and from the movement of the working machine according to a pattern matching result obtained in time series, the working machine Work content recognizing means for recognizing work contents, accumulation means for accumulating the number of operations and the amount of fuel used for each work content sequentially recognized by the work content recognition means, and the work content at a predetermined timing. Fuel consumption calculation means for calculating the fuel consumption for each work based on the number of operations accumulated in the table and the amount of fuel used A display means for comparing the fuel consumption for each work content calculated by the fuel consumption calculation means with a target fuel consumption preset for each work content, and for displaying the quality of the fuel usage state for each work content. Features.
また、本発明にかかる建設機械の省燃費運転支援システムは、上記発明において、前記テンプレート画像メモリは、前記作業機の作業状況に応じた各部位毎のテンプレート画像を予め記憶し、前記作業内容認識手段は、撮影された前記作業機の各部位毎のカメラ画像を用いることを特徴とする。 In the fuel-saving driving support system for a construction machine according to the present invention as set forth in the invention described above, the template image memory stores in advance a template image for each part corresponding to the work status of the work implement, and recognizes the work content. The means uses a photographed camera image of each part of the working machine.
また、本発明にかかる建設機械の省燃費運転支援システムは、上記発明において、前記累積手段は、作業内容別に作業時間をさらに累積することを特徴とする。 Moreover, the fuel-saving driving support system for a construction machine according to the present invention is characterized in that, in the above invention, the accumulating means further accumulates work time for each work content.
本発明にかかる建設機械の省燃費運転支援方法および省燃費運転支援システムは、建設機械に搭載されたカメラで作業機の作業状況を順次撮影し、順次撮影されたカメラ画像と作業機の作業状況に応じて予め記憶されたテンプレート画像とを順次パターンマッチングし時系列で得られるパターンマッチング結果による作業機の動きから作業機の作業内容を認識するので、実際の作業機の動きをカメラによって撮影した結果に基づく直接的な認識であり、作業内容認識の正確性を増すことができ、このような認識された作業内容別に作業回数と使用燃料量とを累積し作業内容毎に算出された燃費を作業内容毎の目標燃費と比較して運転状況を評価するので、省燃費運転のための評価を作業内容別に的確に行うことができるという効果を奏する。 The fuel-saving driving support method and the fuel-saving driving support system for a construction machine according to the present invention sequentially photograph the work situation of a work machine with a camera mounted on the construction machine, and sequentially photographed camera images and the work situation of the work machine. The work contents of the work implement are recognized from the movement of the work implement based on the pattern matching results obtained in a time series by sequentially pattern matching with the template image stored in advance according to the actual image of the work implement movement. It is a direct recognition based on the results, which can increase the accuracy of the work content recognition, and accumulate the number of work and the amount of fuel used for each recognized work content to obtain the fuel efficiency calculated for each work content. Since the driving situation is evaluated in comparison with the target fuel consumption for each work content, there is an effect that the evaluation for fuel-saving driving can be accurately performed for each work content.
以下、本発明の実施の形態について図面を参照して説明する。なお、本実施の形態は、建設機械として油圧ショベルへの適用例を示す。本発明は、実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The present embodiment shows an application example to a hydraulic excavator as a construction machine. The present invention is not limited to the embodiment, and various modifications can be made without departing from the spirit of the present invention.
図1は、本実施の形態の省燃費運転支援方法が適用される油圧ショベルの構成例を示す概略側面図であり、図2は、油圧ショベルの省燃費運転支援システムの構成例を示す概略ブロック図である。本実施の形態の油圧ショベル1は、下部走行体をなす履帯2上に操縦室3a等を含む上部旋回体3を備え、上部旋回体3の車体部分には、ブーム4、アーム5およびバケット6の各部位からなる作業機7が取り付けられている。ブーム4、アーム5およびバケット6は、図1では図示しないが、各々ブーム用、アーム用、バケット用の油圧シリンダ等の油圧アクチュエータ8(図2参照)が駆動することにより作動し、掘削、法面仕上、平面仕上等の所望の作業を実行する。
FIG. 1 is a schematic side view showing a configuration example of a hydraulic excavator to which the fuel-saving driving support method of the present embodiment is applied, and FIG. 2 is a schematic block diagram showing a configuration example of a fuel-saving driving support system of the hydraulic excavator. FIG. The
ここで、本実施の形態の油圧ショベル1は、例えば操縦室3a上にカメラ9を備える。このカメラ9は、CCD、CMOSセンサ等の固体撮像素子を用いて被写体を撮影するもので、本実施の形態では、作業機7(ブーム4、アーム5およびバケット6)の作業状況を撮影し得るように設置されている。
Here, the
また、本実施の形態の油圧ショベル1の省燃費運転支援システムは、図2に示すように、制御系として、制御コントローラ10と車体コントローラ20と画像処理コントローラ30とを備える。車体コントローラ20は、油圧ショベル1の大半の制御を司るもので、例えばエンジン21の回転数を燃料噴射指令値によって制御することで、エンジン駆動の油圧ポンプ22を制御し、操作弁23を介して油圧シリンダ、油圧モータ等の油圧アクチュエータ8を駆動制御し、所望の作業を行わせる。また、車体コントローラ20は、操作弁23をパイロット油圧で制御して対応する油圧アクチュエータ8を駆動させるための操作レバー24の操作レバー信号を取り込み、操作レバー24の操作量に応じた燃料噴射指令値を算出する。
Further, the fuel-saving driving support system of the
また、画像処理コントローラ30は、カメラ9で順次撮影された作業機7の作業状況のカメラ画像情報を取り込んで作業内容を認識する処理を行うためのものであり、パターンマッチング処理部31と作業内容認識部32とを備える。また、画像処理コントローラ30には、作業機7の作業状況に応じてカメラ9で撮影されて画像抽出、マスキング等の所定の画像処理が施されたテンプレート画像を予め記憶したテンプレート画像メモリ33が接続されている。パターンマッチング処理部31は、カメラ9で順次撮影されたカメラ画像とテンプレート画像メモリ33に予め記憶されたテンプレート画像とを比較するパターンマッチング処理を実行し、カメラ画像が一致するテンプレート画像を確定することで、作業機7の姿勢(作業状況)を特定する。作業内容認識部32は、順次撮影されるカメラ画像のそれぞれについてパターンマッチング処理部31によってパターンマッチング処理され、時系列で得られるパターンマッチング結果(順次確定されるテンプレート画像の情報)をメモリに保存し、時系列で解析して作業機7の動きパターンを特定することで、該動きパターンに相当する作業内容(例えば、掘削/積込作業)を認識する処理を行い、認識された作業内容情報を制御コントローラ10に出力する。
In addition, the
また、制御コントローラ10は、画像処理コントローラ20で認識された作業内容を加味して油圧ショベル1の運転状況を作業内容毎に評価するためのもので、累積部11と燃費算出部12と評価部13を備えるとともに、評価結果を表示するためのモニタ14が接続されている。また、制御コントローラ10には、作業内容テーブル15や作業内容別目標燃費テーブル16を有するメモリ17や、評価情報表示を指示するための評価表示ボタン18が接続されている。ここで、累積部11は、作業内容認識部32で順次認識された作業内容別に作業回数と使用燃料量と作業時間とを作業内容テーブル15に累積する処理を行うためのものである。また、燃費算出部12は、例えば評価表示ボタン18が押下される等の所定のタイミングで、作業テーブル15に累積された作業回数と使用燃料量と作業回数とに基づき作業内容毎の燃費に関する情報を算出する処理を行うためのものである。評価部13は、燃費算出部12で算出された作業内容毎の燃費を作業内容毎に予め作業内容別目標燃費テーブル16に設定された目標燃費と比較して作業内容毎の燃料使用状態の良否をモニタ14上に表示させる処理を行うためのものである。
The
ここで、まず本実施の形態で用いるテンプレート画像およびパターンマッチング処理について、図3〜図7を参照して説明する。本実施の形態では、作業機7の姿勢(作業状況)に応じて、その各部位であるブーム4、アーム5およびバケット6がそれぞれカメラ9からどのように見えるかを示す作業状況に応じた各部位毎のテンプレート画像を、カメラ9で撮影してテンプレート画像メモリ33に予め記憶させておくものである。ここで、ブーム4、アーム5およびバケット6の変位状況については、例えば図3に示すような基本姿勢をベースとして、それぞれ反時計方向の角度θ1,θ2,θ3で表すものとする。また、本実施の形態では、図4〜図6に示すように、1°ずつテンプレート画像を用意しているが、必要な分解能に応じて、1°よりも粗く、或いは、細かく分類したテンプレート画像を用意してもよい。
Here, template images and pattern matching processing used in the present embodiment will be described with reference to FIGS. In the present embodiment, according to the posture (working situation) of the work implement 7, each part corresponding to the working situation indicating how the
まず、図4は、作業機7の基部側に位置するブーム4のテンプレート画像の例を示す説明である。テンプレート画像中、ハッチング部はブーム4の背景の影響を避けるため、マスクするものとし、パターンマッチングには使用しないようにする。ここで、後述するパターンマッチング処理において、例えばカメラ9で撮影されたブーム4部分のカメラ画像がθ1=1°のテンプレート画像に一致すれば、そのときのブーム4の作業角度θ1は1°ということになる。
First, FIG. 4 is an explanation showing an example of a template image of the
図5は、作業機7においてブーム4に支持されたアーム5のテンプレート画像の例を示す説明図である。アーム5の姿勢(作業状況)は、基部側に位置するブーム4の角度θ1に依存するため、ブーム4の角度θ1毎に自身の角度θ2を変化させたテンプレート画像が用意される。
FIG. 5 is an explanatory diagram illustrating an example of a template image of the
図6は、作業機7においてアーム5に支持されたバケット6のテンプレート画像の例を示す説明図である。バケット6の姿勢(作業状況)は、基部側に位置するブーム4およびアームの角度θ1,θ2に依存するため、ブーム4およびアーム5の角度θ1,θ2毎に自身の角度θ3を変化させたテンプレート画像が用意される。
FIG. 6 is an explanatory diagram illustrating an example of a template image of the
なお、本実施の形態では、アーム5のテンプレート画像は角度θ1毎に、バケット6のテンプレート画像は角度θ1,θ2毎に用意するようにしたが、それぞれθ1=0、θ2=0の場合のテンプレート画像を基準として、演算や拡大・縮小処理により作成するようにしてもよい。
In this embodiment, the template image of the
次に、このような各部位毎のテンプレート画像が格納されたテンプレート画像メモリ33を用いたパターンマッチング処理部31によるパターンマッチング処理例について、図7に示す概略フローチャートを参照して説明する。パターンマッチング処理部31は、カメラ9で作業機7を撮影したカメラ画像が入力画像として入力されると、ブーム、アーム、バケットの順に処理を進める。まず、ブーム4の角度θ1に関する変数iを0にセットし(ステップS101)、入力画像中に含まれるブーム画像がθ1=iのテンプレート画像と一致するか否かを比較する(ステップS102)。一致するか否かの判定には、例えばパターンマッチング処理において周知の正規化相関を利用すればよい(以下の処理でも同様)。比較の結果、入力画像中に含まれるブーム画像が該テンプレート画像に一致しなかった場合には(ステップS103;No)、変数iを+1にインクリメントし(ステップS104)、次のθ1=iのテンプレート画像と一致するか否かを比較する(ステップS102)。このような比較処理を、一致する結果が得られるまで繰り返し(ステップS103)、一致したら(ステップS103;Yes)、カメラ9で撮影されたブーム4の作業状況(姿勢)としては、当該角度θ1のテンプレート画像の状態であると確定する(ステップS105)。ここで、確定した角度θ1をΘ1とする。
Next, an example of pattern matching processing by the pattern matching processing unit 31 using the template image memory 33 in which the template image for each part is stored will be described with reference to a schematic flowchart shown in FIG. When a camera image obtained by photographing the work implement 7 with the camera 9 is input as an input image, the pattern matching processing unit 31 proceeds with the process in the order of a boom, an arm, and a bucket. First, the variable i related to the angle θ 1 of the
引き続き、アーム5の角度θ2に関する変数jを0にセットし(ステップS106)、入力画像に含まれるアーム画像が、θ1=Θ1の場合のθ2=jのテンプレート画像と一致するか否かを比較する(ステップS107)。比較の結果、入力画像に含まれるアーム画像が該テンプレート画像に一致しなかった場合には(ステップS108;No)、変数jを+1にインクリメントし(ステップS109)、次のθ2=jのテンプレート画像と一致するか否かを比較する(ステップS107)。このような比較処理を、一致する結果が得られるまで繰り返し(ステップS108)、一致したら(ステップS108;Yes)、カメラ9で撮影されたアーム5の作業状況(姿勢)としては、θ1=Θ1の場合の当該角度θ2のテンプレート画像の状態であると確定する(ステップS110)。ここで、確定した角度θ2をΘ2とする。
Subsequently, the variable j related to the angle θ 2 of the
さらに、バケット6の角度θ3に関する変数kを0にセットし(ステップS111)、入力画像に含まれるバケット画像が、θ1=Θ1,θ2=Θ2の場合のθ3=kのテンプレート画像と一致するか否かを比較する(ステップS112)。比較の結果、入力画像に含まれるバケット画像が該テンプレート画像に一致しなかった場合には(ステップS113;No)、変数kを+1にインクリメントし(ステップS114)、次のθ3=kのテンプレート画像と一致するか否かを比較する(ステップS112)。このような比較処理を、一致する結果が得られるまで繰り返し(ステップS113)、一致したら(ステップS113;Yes)、カメラ9で撮影されたバケット6の作業状況(姿勢)としては、θ1=Θ1,θ2=Θ2の場合の当該角度θ3のテンプレート画像の状態であると確定する(ステップS115)。ここで、確定した角度θ3をΘ3とする。これにより、ある時点においてカメラ9で撮影されたブーム4、アーム5およびバケット6の作業状況(姿勢)の特定が可能となる。
Further, a variable k related to the angle θ 3 of the
パターンマッチング処理部31は、カメラ9によって順次撮影される作業機7の画像について、このようなパターンマッチング処理を順次行い、その都度、ブーム4、アーム5およびバケット6のテンプレート画像を確定する。
The pattern matching processing unit 31 sequentially performs such pattern matching processing on the images of the
作業内容認識部32は、パターンマッチング処理部31から時系列で得られるパターンマッチング結果(順次確定されたテンプレート画像の角度情報)をメモリに保存し、保存されたパターンマッチング結果(順次確定されたテンプレート画像の角度情報)、すなわちブーム4、アーム5およびバケット6の作業状況(姿勢)の変化の様子を時系列で解析することで作業機7の動きパターンを特定する。ここで、作業機7は作業内容によってブーム4、アーム5およびバケット6が独自の動きパターンをとるため、作業内容毎に予め動きパターンを記憶させておき、作業内容の認識が可能となる状態まで作業機7の動きパターンが特定された時点で、作業内容認識部32は、特定された作業機7の動きパターンに相当する作業内容を認識する。例えば、作業機7の動きパターンが、バケット6で土を掘削してすくいあげるようなパターンの場合であれば、作業内容は掘削/積込作業である如く認識する。
The work
つづいて、制御コントローラ10による処理について説明する。まず、累積部11が使用する作業内容テーブル15について説明する。作業内容テーブル15は、図8に示すように、例えば「掘削/積込」「法面仕上」「平面仕上」「走行」「子割」「クレーン」のような作業IDで特定される作業内容毎に、作業中フラグ欄15a、サイクル回数(作業回数)欄15b、燃料消費量(使用燃料量)欄15c、作業時間欄15d、1サイクル当り燃費欄15e、1サイクル当り作業時間欄15fを有する。
Next, processing by the
また、評価部13が使用する作業内容別目標燃費テーブル16について説明する。作業内容別目標燃費テーブル16は、図9に示すように、例えば、「掘削/積込」「法面仕上」「平面仕上」「走行」「子割」「クレーン」のような作業IDで特定される作業内容毎に、1サイクル当り目標燃費欄16aを有し、それぞれの目標燃費の値は予め設定されている。なお、図8および図9中に示す数値例は、必ずしも現実的な数値例を示すものではない。
Also, the target fuel consumption table 16 by work content used by the
累積部11は、油圧ショベル1のエンジン21がオンされると、図10のフローチャートに示すように、画像処理コントローラ20による前述の処理と並行して、作業内容別のデータの収集・累積処理を行う。まず、エンジン21をオンさせた場合、その日の最初のエンジン起動であるか否かを判定し(ステップS201)、最初のエンジン起動であれば(ステップS201;Yes)、作業内容テーブル15の各欄の記憶内容をクリアする(ステップS202)。最初のエンジン起動でない場合には(ステップS201;No)、ステップS202の処理をジャンプする。
When the engine 21 of the
その後、画像処理コントローラ20の作業内容識別部32から作業内容情報の入力があるか否かをチェックする(ステップS203)。作業内容識別部32で現在の作業内容が識別され、識別された作業内容情報が入力されると(ステップS203;Yes)、作業中フラグをオンにし(作業内容テーブル15中の該当する作業内容の作業中フラグ欄15aに“1”を立てる)、かつ、開始時刻を記憶する(ステップS204)。さらに、車体コントローラ30から得られる燃料噴射指令値を積分していくことで、当該作業内容のためのエンジン21の燃料使用量を累積する(ステップS205)。そして、エンジンオフや評価表示ボタン18の押下による作業終了指示があるか否かをチェックする(ステップS206)。
Thereafter, it is checked whether or not work content information is input from the work
ここで、作業終了指示がなければ(ステップS206;No)、作業内容識別部32から次の作業内容情報の入力があるか否かをチェックする(ステップS207)。作業内容情報の入力がなければ(ステップS207;No)、今回の作業内容が継続しているものとして燃料噴射指令値の積分を継続する(ステップS205)。 If there is no work end instruction (step S206; No), it is checked whether or not the next work content information is input from the work content identification unit 32 (step S207). If the work content information is not input (step S207; No), the integration of the fuel injection command value is continued assuming that the current work content is continued (step S205).
一方、作業機7による作業の進行に伴い、次の作業内容情報の入力があった場合には(ステップS207;Yes)、入力された作業内容が前回の作業内容と同じであるか否かを判定する(ステップS208)。前回の作業内容と同じでない場合には(ステップS208;No)、前回作業内容の作業中フラグをオフにするとともに、その終了時刻を記憶することで、前述の開始時刻との差から前回作業内容の作業時間を算出し、この作業時間を作業内容テーブル15中の該当する作業内容の作業時間欄15dに加算し、さらに、燃料噴射指令値の積分値を作業内容テーブル15中の該当する作業内容の燃料消費量欄15cに加算する(ステップS209)。引き続き、今回作業内容の作業中フラグをオンにし、かつ、開始時刻を記憶する(ステップS210)。さらに、車体コントローラ30から得られる燃料噴射指令値を積分していくことで、今回作業内容のためのエンジン21の燃料使用量を累積する(ステップS211)。そして、エンジンオフや評価表示ボタン18の押下による作業終了指示があるか否かをチェックする(ステップS212)。
On the other hand, when the next work content information is input with the progress of the work by the work machine 7 (step S207; Yes), it is determined whether or not the input work content is the same as the previous work content. Determination is made (step S208). If it is not the same as the previous work content (step S208; No), the previous work content is turned off from the difference from the above-mentioned start time by turning off the working flag of the previous work content and storing the end time. The work time is calculated, the work time is added to the
また、前回の作業内容と同じ場合には(ステップS208;Yes)、作業内容テーブル15の前回の作業内容のサイクル回数欄15bにサイクル回数を+1して加算する処理を行い(ステップS213)、今回も前回の作業内容が継続しているものとして燃料噴射指令値の積分を継続する(ステップS205)。
If it is the same as the previous work content (step S208; Yes), the
このような処理を、次の作業内容情報が入力される度に繰り返すことにより、作業内容テーブル15には、作業内容別にサイクル回数と燃料消費量と作業時間とが順次累積されることとなる。 By repeating such processing every time the next work content information is input, the number of cycles, fuel consumption, and work time are sequentially accumulated in the work content table 15 for each work content.
そして、最終的に、エンジンオフや評価表示ボタン18の押下による作業終了指示があった場合には(ステップS206;Yes、またはステップS212;Yes)、現在の作業中フラグをオフにするとともに、その終了時刻を記憶することで、前述の開始時刻との差から当該作業内容の作業時間を算出し、この作業時間を作業内容テーブル15中の該当する作業内容の作業時間欄15dに加算し、さらに、燃料噴射指令値の積分値を作業内容テーブル15中の該当する作業内容の燃料消費量欄15cに加算する(ステップS214)。
Finally, when there is a work end instruction by turning off the engine or pressing the evaluation display button 18 (step S206; Yes, or step S212; Yes), the current work flag is turned off, By storing the end time, the work time of the work content is calculated from the difference from the start time described above, and this work time is added to the
燃費算出部12および評価部13は、評価表示ボタン18を押すなどの特定の省燃費診断表示要求のイベントがあったタイミングで起動し、図11に示すような処理・制御を行う。まず、燃費算出部12は、特定の省燃費診断表示要求のイベントがあると、作業内容テーブル15中に累積されたサイクル回数、燃料消費量の情報を用いて、作業内容毎に1サイクル当り燃費F[L/cycle]を算出し、1サイクル当り燃費欄15eに記憶する(ステップS301)。すなわち、燃料消費量は、1サイクル当りの平均燃費として算出する。この際、サイクル回数、作業時間の情報を用いて、作業内容毎に1サイクル当り作業時間[h/cycle]を算出し、1サイクル当り作業時間欄15fに記憶する。
The fuel
評価部13は、作業内容毎の燃費Fの計算が終了すると、作業内容別目標燃費テーブル16から、作業内容毎の1サイクル当り目標燃費Ftの情報を読み込む(ステップS302)。そして、作業内容毎に算出された燃費Fと目標燃費Ftとを比較する(ステップS303)。比較の結果、F≧Ftでなければ(F<Ftであれば)(ステップS303;No)、当該作業内容については目標燃費をクリアしているので、当該作業内容の燃料使用状態として省燃費運転は「良」評価である旨をモニタ14に表示させる(ステップS304)。一方、比較の結果、F≧Ftであれば(ステップS303;Yes)、当該作業内容については目標燃費をクリアしていないので、当該作業内容の燃料使用状態として省燃費運転は「不良」評価である旨をモニタ14に表示させる(ステップS305)。
When the calculation of the fuel consumption F for each work content is completed, the
なお、比較の結果、F≧Ftの場合(ステップS303;Yes)において、目標燃費Ftに対する燃費Fの乖離度合いを示すレベル判定を行い、その乖離度合いに示すレベルに応じて、「やや不良」「不良」「不可」の如く、段階的な省燃費運転評価の表示を行わせるようにしてもよい。 As a result of the comparison, when F ≧ Ft (step S303; Yes), a level determination indicating the degree of deviation of the fuel consumption F from the target fuel consumption Ft is performed, and “slightly bad” “ You may make it display the step-wise fuel-saving driving evaluation like "bad" and "impossible".
また、作業内容毎に1サイクル当り目標作業時間を作業内容別目標燃費テーブル16に予め設定しておき、F≧Ftでない場合において(ステップS303;No)、作業内容毎に算出された1サイクル当り作業時間と1サイクル当り目標作業時間とを比較する工程を付加することで、作業時間を加味して作業内容毎の省燃費運転の良否評価を行うようにしてもよい。F≧Ftである場合においても(ステップS303;Yes)、作業内容毎に算出された1サイクル当り作業時間と1サイクル当り目標作業時間とを比較する工程を付加することで、作業時間が燃費の悪い要因となっているかを判断するようにしてもよい。 In addition, when a target work time per cycle for each work content is set in advance in the target fuel efficiency table 16 for each work content and F ≧ Ft is not satisfied (step S303; No), per cycle calculated for each work content. By adding a step of comparing the work time with the target work time per cycle, the quality of the fuel-saving driving for each work content may be evaluated in consideration of the work time. Even in the case of F ≧ Ft (step S303; Yes), by adding a step of comparing the work time per cycle calculated for each work content with the target work time per cycle, the work time can be improved. You may make it judge whether it is a bad factor.
また、本実施の形態では、上部旋回体3の操縦室3a上にカメラ9を設置するようにしたが、作業機7の作業状況を撮影し得る箇所であれば、適宜箇所に設置してもよい。例えば、ブーム4に設置して、アーム5、バケット6および上部旋回体3を撮影可能とし、ブーム4に対するアーム5やバケット6の状態を把握するとともに、上部旋回体3に対するブーム4の状態を把握して、作業機7の姿勢を特定するようにしてもよい。
Moreover, in this Embodiment, although the camera 9 was installed on the
4 ブーム
5 アーム
6 バケット
7 作業機
9 カメラ
11 累積部
12 燃費算出部
13 評価部
14 モニタ
15 作業内容テーブル
31 パターンマッチング処理部
32 作業内容認識部
33 テンプレート画像メモリ
4
Claims (6)
順次撮影されたカメラ画像と前記作業機の作業状況に応じて予め記憶されたテンプレート画像とを順次パターンマッチングし時系列で得られるパターンマッチング結果による前記作業機の動きから前記作業機の作業内容を認識する工程と、
順次認識された作業内容別に作業回数と使用燃料量とを累積する工程と、
所定のタイミングで、累積された作業回数と使用燃料量とに基づき算出された作業内容毎の燃費を作業内容毎に予め設定された目標燃費と比較して作業内容毎の燃料使用状態の良否を表示する工程と、
を備えたことを特徴とする建設機械の省燃費運転支援方法。 A process of sequentially photographing the work status of the work machine with a camera mounted on the construction machine,
The work content of the work implement is determined from the movement of the work implement according to the pattern matching results obtained in time series by sequentially pattern matching the sequentially captured camera image and the template image stored in advance according to the work status of the work implement. The process of recognizing;
A process of accumulating the number of operations and the amount of fuel used for each of the recognized work details;
Comparing the fuel consumption for each work content calculated based on the accumulated number of operations and the amount of fuel used at a predetermined timing with the target fuel consumption preset for each work content, the quality of fuel usage for each work content is determined. A process of displaying;
A fuel-saving driving support method for a construction machine, comprising:
前記作業機の作業状況に応じたテンプレート画像を予め記憶したテンプレート画像メモリと、
前記カメラで順次撮影されたカメラ画像と前記テンプレート画像メモリに予め記憶されたテンプレート画像とを順次パターンマッチングし時系列で得られるパターンマッチング結果による前記作業機の動きから前記作業機の作業内容を認識する作業内容認識手段と、
該作業内容認識手段で順次認識された作業内容別に作業回数と使用燃料量とを作業内容テーブルに累積する累積手段と、
所定のタイミングで、前記作業内容テーブルに累積された作業回数と使用燃料量とに基づき作業内容毎の燃費を算出する燃費算出手段と、
該燃費算出手段で算出された作業内容毎の燃費を作業内容毎に予め設定された目標燃費と比較して作業内容毎の燃料使用状態の良否を表示する表示手段と、
を備えたことを特徴とする建設機械の省燃費運転支援システム。 A camera that is mounted on a construction machine and sequentially captures the work status of the work implement;
A template image memory pre-stored with a template image corresponding to the work status of the work implement;
Recognizing the work content of the work implement from the movement of the work implement according to the pattern matching result obtained in time series by sequentially pattern matching the camera image sequentially taken by the camera and the template image stored in the template image memory in advance. Work content recognition means to
Accumulating means for accumulating the number of operations and the amount of fuel used for each work content sequentially recognized by the work content recognition means in a work content table;
A fuel consumption calculating means for calculating a fuel consumption for each work content based on the number of operations accumulated in the work content table and the amount of fuel used at a predetermined timing;
Display means for comparing the fuel consumption for each work content calculated by the fuel consumption calculation means with a target fuel consumption set in advance for each work content and displaying the quality of the fuel usage state for each work content;
A fuel-saving driving support system for construction machinery, characterized by comprising:
前記作業内容認識手段は、撮影された前記作業機の各部位毎のカメラ画像を用いることを特徴とする請求項4に記載の建設機械の省燃費運転支援システム。 The template image memory stores in advance a template image for each part according to the work status of the work implement,
The said work content recognition means uses the camera image for every part of the said working machine image | photographed, The fuel-saving driving | operation assistance system of the construction machine of Claim 4 characterized by the above-mentioned.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007082506A JP4746000B2 (en) | 2007-03-27 | 2007-03-27 | Fuel saving driving support method and fuel saving driving support system for construction machinery |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007082506A JP4746000B2 (en) | 2007-03-27 | 2007-03-27 | Fuel saving driving support method and fuel saving driving support system for construction machinery |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008240361A JP2008240361A (en) | 2008-10-09 |
JP4746000B2 true JP4746000B2 (en) | 2011-08-10 |
Family
ID=39912022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007082506A Active JP4746000B2 (en) | 2007-03-27 | 2007-03-27 | Fuel saving driving support method and fuel saving driving support system for construction machinery |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4746000B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107542122A (en) * | 2016-06-27 | 2018-01-05 | 住友建机株式会社 | The display device of excavator |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5381106B2 (en) * | 2009-01-07 | 2014-01-08 | コベルコクレーン株式会社 | Crane operation evaluation device |
JP6663627B2 (en) * | 2015-04-14 | 2020-03-13 | 株式会社コンピュータシステム研究所 | Construction management support device, construction management support program, and storage medium |
JP6491576B2 (en) * | 2015-09-07 | 2019-03-27 | Kyb株式会社 | Angle detector |
KR102570491B1 (en) | 2015-12-28 | 2023-08-23 | 스미토모 겐키 가부시키가이샤 | shovel |
EP3447198B1 (en) | 2016-04-21 | 2020-09-02 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Display device for a shovel |
CN110573680A (en) * | 2017-04-26 | 2019-12-13 | 住友建机株式会社 | Shovel, shovel management device, and shovel management assistance device |
US11560693B2 (en) * | 2017-05-05 | 2023-01-24 | J.C. Bamford Excavators Limited | Working machine |
JP6872510B2 (en) * | 2018-03-30 | 2021-05-19 | 日立建機株式会社 | Work machine |
JP7166088B2 (en) * | 2018-06-28 | 2022-11-07 | 株式会社小松製作所 | System, method, and method of manufacturing trained model for determining work by work vehicle |
JP6584601B2 (en) * | 2018-07-17 | 2019-10-02 | 住友重機械工業株式会社 | Excavator processing apparatus and work content determination method |
JP7236691B2 (en) * | 2019-03-27 | 2023-03-10 | 株式会社フジタ | autopilot system |
JP2021021245A (en) * | 2019-07-29 | 2021-02-18 | コベルコ建機株式会社 | Work content determination system and work determination method for construction machine |
JP7310408B2 (en) * | 2019-07-29 | 2023-07-19 | コベルコ建機株式会社 | Work information generation system for construction machinery |
JP7383255B2 (en) * | 2019-08-22 | 2023-11-20 | ナブテスコ株式会社 | Information processing systems, information processing methods, construction machinery |
JP7282002B2 (en) * | 2019-09-10 | 2023-05-26 | ナブテスコ株式会社 | Information processing device, information processing system, information processing method, computer program, construction machine |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3630521B2 (en) * | 1997-03-27 | 2005-03-16 | コベルコ建機株式会社 | Work classification system for hydraulic excavators |
JP4629377B2 (en) * | 2003-09-02 | 2011-02-09 | 株式会社小松製作所 | Construction machinery |
JP2005194825A (en) * | 2004-01-09 | 2005-07-21 | Shin Caterpillar Mitsubishi Ltd | Work unit controller in construction machine |
-
2007
- 2007-03-27 JP JP2007082506A patent/JP4746000B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107542122A (en) * | 2016-06-27 | 2018-01-05 | 住友建机株式会社 | The display device of excavator |
CN107542122B (en) * | 2016-06-27 | 2021-06-22 | 住友建机株式会社 | Display device of excavator |
Also Published As
Publication number | Publication date |
---|---|
JP2008240361A (en) | 2008-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4746000B2 (en) | Fuel saving driving support method and fuel saving driving support system for construction machinery | |
JP4996928B2 (en) | Work machine ambient monitoring device | |
CN109804121B (en) | Excavator | |
CN108026715B (en) | Excavator | |
KR102333778B1 (en) | Construction machine | |
CN109790704B (en) | Excavator | |
JP4740890B2 (en) | Construction machine and backward movement guidance method for construction machine | |
CN108884668B (en) | Excavator | |
KR102493019B1 (en) | Shovel, shovel display device and shovel display method | |
JP7439053B2 (en) | Excavators and shovel management devices | |
CN107542122B (en) | Display device of excavator | |
EP3438356A1 (en) | Shovel | |
KR102488447B1 (en) | Shovel, shovel control method and portable information terminal | |
US11473272B2 (en) | Shovel, display device for shovel, and display method for shovel | |
JP2021155995A (en) | Shovel support device, shovel management device | |
JP7521024B2 (en) | Excavators and systems for excavators | |
JP7522748B2 (en) | Shovel, shovel management device | |
CN114423909B (en) | Excavator | |
CN114503549A (en) | Work machine periphery monitoring system, work machine, and work machine periphery monitoring method | |
JP2023128708A (en) | Area presentation device of work machine | |
JP2022145032A (en) | Construction machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110512 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4746000 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |