JP2015224875A

JP2015224875A - 作業機の作動状態検出システム及び作業機

Info

Publication number: JP2015224875A
Application number: JP2014107755A
Authority: JP
Inventors: 将也表; Masaya Omote
Original assignee: KYB Corp
Current assignee: KYB Corp
Priority date: 2014-05-26
Filing date: 2014-05-26
Publication date: 2015-12-14
Also published as: WO2015182455A1; DE112015001370T5; US20170002547A1; KR20160122182A; KR101854065B1; CN106104197A

Abstract

【課題】簡素な構成で作業機の作動状態を検出可能とする作動状態検出システムを提供する。
【解決手段】油圧ショベル１の旋回部３に対して動作する掘削部５の作動状態を検出する作業機の作動状態検出システムは、掘削部５に設けられる認識マーカ１１、１３と、旋回部３に設けられて掘削部５を撮像するカメラ１０と、カメラ１０によって撮像された認識マーカ１１、１３の形状が掘削部５の動作に伴って変化するときの変化量を演算する演算部と、演算部によって演算された変化量に基づき掘削部５の作動状態を検出する検出部と、を備える。
【選択図】図１

Description

本発明は、作業機の作動状態を検出する作動状態検出システム、及び作動状態検出システムを備える作業機に関する。

一般に、油圧ショベル等の作業機は、作業者が目視によってバケット等の作業部の作動状態を確認しながら運転される。

特許文献１には、建設機械の刃先にマーカを設け、二台のカメラを使用してマーカを撮影した画像から三角測量法によって建設機械の刃先位置を計測する計測装置が開示されている。

特開２００９−２８７２９８号公報

しかしながら、特許文献１の計測装置では、三角測量法が用いられるため、刃先位置を計測するために二台以上のカメラが必要であり、構成が複雑であった。

本発明は、上記の問題点に鑑みてなされたものであり、簡素な構成で作業機の作動状態を検出可能とすることを目的とする。

本発明は、作業機本体部に対して動作する作業部の作動状態を検出する作業機の作動状態検出システムであって、前記作業部に設けられる認識部と、前記作業機本体部に設けられて前記作業部を撮像する撮像装置と、前記撮像装置によって撮像された前記認識部の形状が前記作業部の動作に伴って変化するときの変化量を演算する演算部と、前記演算部によって演算された変化量に基づき前記作業部の作動状態を検出する検出部と、を備えることを特徴とする。

本発明では、撮像装置によって撮像された画像から、作業部に設けられた認識部の形状の変化量を演算し、認識部の形状の変化量に基づき作業部の作動状態を検出する。よって、単一の撮像装置と認識部とのみによって作業部の作動状態を検出できる。したがって、簡素な構成で作業機の作動状態を検出することが可能である。

本発明の実施の形態に係る作業機の作動状態検出システムが適用される作業機の構成図である。作業機の作動状態検出システムのブロック図である。撮像装置によって撮像された画像の例を示す図である。（ａ）は、ブームに取り付けられる認識部の例を示す図であり、（ｂ）は、アームに取り付けられる認識部の例を示す図であり、（ｃ）は、バケットに取り付けられる認識部の例を示す図である。（ａ）は、認識部の縮尺の変化を説明する図であり、（ｂ）は、認識部の傾きの変化を説明する図であり、（ｃ）は、認識部の歪みの変化を説明する図である。作業機の作動状態検出システムにおける作動状態検出制御のフローチャートである。

以下、図面を参照して、本発明の実施の形態に係る作業機の作動状態検出システム（以下、単に「作動状態検出システム」と称する。）１００、及び作動状態検出システム１００を備える作業機としての油圧ショベル１について説明する。

まず、図１を参照して、油圧ショベル１の構成について説明する。ここでは、作業機が油圧ショベル１である場合について説明するが、作動状態検出システム１００は、ハイブリッドショベルやホイールローダ等の他の作業機にも適用可能である。また、ここでは、作動流体として作動油が用いられるが、作動水等の他の流体を作動流体として用いてもよい。

油圧ショベル１は、クローラ式の走行部２と、走行部２の上部に旋回可能に設けられる作業機本体部としての旋回部３と、旋回部３の前方中央部に設けられる作業部としての掘削部５と、を備える。旋回部３は、作業者が搭乗するキャビン３ａを有する。

走行部２は、走行モータ（図示省略）によって左右一対のクローラ２ａを駆動することで油圧ショベル１を走行させる。旋回部３は、旋回モータ（図示省略）によって駆動され、走行部２に対して左右方向に旋回する。

掘削部５は、旋回部３の左右方向に延びる水平軸まわりに揺動可能に取り付けられるブーム６と、ブーム６の先端に揺動可能に取り付けられるアーム７と、アーム７の先端に揺動可能に取り付けられて土砂等を掘削するバケット８と、を備える。また、掘削部５は、ブーム６を上下に回動させるブームシリンダ６ａと、アーム７を上下に回動させるアームシリンダ７ａと、バケット８を回動させるバケットシリンダ８ａと、を備える。

次に、図１から図４を参照して、作動状態検出システム１００について説明する。

作動状態検出システム１００は、旋回部３に対して動作する掘削部５の作動状態を検出するものである。作動状態検出システム１００は、掘削部５に設けられる認識部としての認識マーカ１１〜１３と、旋回部３に設けられて掘削部５を撮像する撮像装置としてのカメラ１０と、カメラ１０によって撮像された画像から掘削部５の作動状態を検出するコントローラ２０と、掘削部５の作動状態を作業者に伝えるための情報伝達部としてのモニタ３０と、を備える。

カメラ１０は、掘削部５を斜め横方向から撮像可能な位置に設けられる。カメラ１０の撮像方向は、掘削部５が揺動する平面とは異なる。これにより、例えば、バケット８に取り付けられた認識マーカ１３がアーム７の死角になって隠れることを抑制できる。カメラ１０は、キャビン３ａの上部に設けられる。これに限らず、カメラ１０をキャビン３ａ内部など別の位置に設けてもよい。図３に示すように、カメラ１０は、撮像可能範囲内に掘削部５のブーム６，アーム７，及びバケット８が全て入るように設定される。

図３に示すように、認識マーカ１１は、ブーム６の側面に取り付けられる。認識マーカ１２は、アーム７の下面に取り付けられる。認識マーカ１３は、バケット８の側面に取り付けられる。認識マーカ１１〜１３は、カメラ１０によって撮像可能な位置に設けられる。

図４（ａ）〜（ｃ）に示すように、認識マーカ１１〜１３は、正方形の中に白と黒で塗り分けられた領域を有するように形成される。認識マーカ１１〜１３は、正方形ではなく長方形であってもよく、二色以上の色で塗り分けられて形成される直角な基準線が認識可能であれば四角形でなくてもよい。

認識マーカ１１〜１３は、それぞれ異なる形状に設定される。これにより、カメラ１０が撮像した画像から認識マーカ１１〜１３の形状を識別して、ブーム６，アーム７，及びバケット８の位置を個別に検出することが可能である。よって、複数の部位の作業状態を同時に検出することができる。

これに限らず、認識マーカ１１〜１３を同一の形状としてもよい。ブーム６，アーム７，及びバケット８の可動範囲はそれぞれ異なるため、認識マーカ１１〜１３を同一の形状にしても、ブーム６，アーム７，及びバケット８の位置及び姿勢を個別に検出することは可能である。また、認識マーカ１１〜１３をブーム６，アーム７，及びバケット８に取り付けるのではなく、それぞれの画像認識可能な部分を認識マーカとして使用してもよい。

コントローラ２０は、ＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、及びＩ／Ｏインターフェース（入出力インターフェース）を備えたマイクロコンピュータで構成される。ＲＡＭはＣＰＵの処理におけるデータを記憶し、ＲＯＭはＣＰＵの制御プログラム等を予め記憶し、Ｉ／Ｏインターフェースは接続された機器との情報の入出力に使用される。

図２に示すように、コントローラ２０は、掘削部５が基準位置にある場合の認識マーカ１１〜１３の基準形状が予め格納される基準形状記憶部２１と、カメラ１０によって撮像された画像における認識マーカ１１〜１３の形状が掘削部５の動作に伴って変化するときの変化量を演算する演算部２２と、演算部２２によって演算された認識マーカ１１〜１３の形状の変化量に基づき掘削部５の作動状態を検出する検出部２３と、を備える。

基準形状記憶部２１には、掘削部５が基準位置にある状態でカメラ１０によって撮像された認識マーカ１１〜１３の位置及び形状が基準形状として格納される。基準形状記憶部２１は、掘削部５が他の作業部に交換可能な場合には、取り付け可能な複数の作業部における認識マーカの基準形状を記憶する。また、例えばバケット８のみ交換可能な場合のように、作業部の一部が交換可能な場合も同様である。

演算部２２は、掘削部５が基準位置にある場合の認識マーカ１１〜１３の基準形状に対する認識マーカ１１〜１３の位置，縮尺，傾き，及び歪みの変化量の少なくとも一つの変化量を演算する。具体的には、以下のとおりである。なお、図５（ａ）〜（ｃ）に二点鎖線で示す形状が、認識マーカ１１の基準形状である。

演算部２２は、図５（ａ）に示すように、認識マーカ１１〜１３の外形の大きさが基準形状からどれだけ変化したかによって、掘削部５の遠近の変化量を演算する。演算部２２は、図５（ｂ）に示すように、認識マーカ１１〜１３の基準線が基準形状からどれだけ傾いたかによって、カメラ１０の撮像方向を軸とした掘削部５の回転角度の変化を演算する。演算部２２は、図５（ｃ）に示すように、認識マーカ１１〜１３の外形が基準形状からどれだけ歪んだかによって、カメラ１０の撮像方向に対する垂直方向を軸とした掘削部５の回転角度の変化を演算する。

検出部２３は、認識マーカ１１〜１３の変化量から旋回部３に対する掘削部５の位置を演算する。油圧ショベル１におけるブーム６，アーム７，及びバケット８の位置の変化と、認識マーカ１１〜１３の変化量との間には相関関係がある。よって、認識マーカ１１〜１３の変化量が分かれば、ブーム６，アーム７，及びバケット８の位置の変化を演算することができる。

モニタ３０は、旋回部３における作業者が搭乗するキャビン３ａ内に設けられる。モニタ３０は、掘削部５におけるブーム６，アーム７，及びバケット８の作動状態を画像で表示する表示パネルである。これにより、作業者がモニタ３０を見ながら油圧ショベル１を操作するいわゆる情報化施工が可能となる。なお、モニタ３０に代えて音声ガイド部を設け、掘削部５の作動状態を音声で作業者に知らせてもよい。

この他にも、モニタ３０を油圧ショベル１とは別体に設けて、外部から油圧ショベル１を遠隔操作可能としてもよい。また、モニタ３０に表示されるデータを用いたフィードバック制御によって、油圧ショベル１を自動運転可能としてもよい。

次に、主に図５を参照して、作動状態検出システム１００による油圧ショベル１の作動状態検出制御について説明する。コントローラ２０は、図５に示すルーチンを、油圧ショベル１の運転中に、例えば１０ミリ秒ごとの一定時間隔で繰り返し実行する。

ステップ１０１では、カメラ１０によって画像を撮影する。このとき、静止画を撮影してもよく、また、動画の中から一つのフレームを静止画として抜き出してもよい。

ステップ１０２では、ステップ１０１にて撮影された画像から、画像認識によって認識マーカ１１〜１３を検出する。

ステップ１０３では、基準形状記憶部２１から、認識マーカ１１〜１３の基準形状を読み込む。

ステップ１０４では、演算部２２が、ステップ１０２にて検出された認識マーカ１１〜１３と、ステップ１０３にて読み込まれた認識マーカ１１〜１３の基準形状とを比較して、認識マーカ１１〜１３の位置，縮尺，傾き，及び歪みの変化量を演算する。

ステップ１０５では、検出部２３が、ステップ１０４にて演算された認識マーカ１１〜１３の変化量から、ブーム６，アーム７，及びバケット８の位置を演算する。このブーム６，アーム７，及びバケット８の位置が、掘削部５の作動状態である。

このように、作動状態検出システム１００では、カメラ１０によって撮像された画像から、掘削部５に設けられた認識マーカ１１〜１３の形状の変化量を演算し、認識マーカ１１〜１３の形状の変化量に基づき掘削部５の作動状態を検出する。よって、単一のカメラ１０と認識マーカ１１〜１３とのみによって掘削部５の作動状態を検出できる。したがって、簡素な構成で油圧ショベル１の作動状態を検出することが可能である。

また、掘削部５のブームシリンダ６ａ，アームシリンダ７ａ，及びバケットシリンダ８ａに各々設けられていたストロークセンサなど各種センサ類や、各種センサ類とコントローラ２０とを電気的に接続する電気配線等が不要であるため、低コストな構成で油圧ショベル１の作動状態を検出することが可能である。

ステップ１０６では、ステップ１０５にて演算されたブーム６，アーム７，及びバケット８の位置をモニタ３０へ出力する。モニタ３０には、掘削部５におけるブーム６，アーム７，及びバケット８の作動状態が画像で表示される。これにより、作業者がモニタ３０を見ながら油圧ショベル１を操作するいわゆる情報化施工が可能となる。

なお、認識マーカ１１〜１３を、カメラ１０によって撮像された画像から識別可能な二次元コードとしてもよい。また、認識マーカ１１〜１３とは別に、二次元コードを掘削部５に取り付けてもよい。この場合、掘削部５におけるブーム６及びアーム７の長さやバケット８の大きさなど、掘削部５の固有のデータを二次元コードに格納することができる。

これにより、掘削部５又は掘削部５の一部を交換した場合にも、二次元コードに格納されたデータからコントローラ２０が自動的に設定を変更することが可能である。他にも、二次元コードに、カメラ１０の取り付け位置のデータを格納しておけば、例えばカメラ１０をあと１０ｍｍ右に移動させる旨の指示をモニタ３０に表示するなど、カメラ１０の取り付け位置の設定に用いることが可能である。

また、二次元コードには、一部に汚れがあっても７％〜３０％程度の誤りであれば復元可能な誤り訂正機能がある。よって、認識マーカ１１〜１３に二次元コードを適用した場合には、ある程度の汚れや破損が許容でき、検出精度の向上が可能である。

以上の実施の形態によれば、以下に示す効果を奏する。

作動状態検出システム１００では、カメラ１０によって撮像された画像から、掘削部５に設けられた認識マーカ１１〜１３の形状の変化量を演算し、認識マーカ１１〜１３の形状の変化量に基づき掘削部５の作動状態を検出する。よって、単一のカメラ１０と認識マーカ１１〜１３とのみによって掘削部５の作動状態を検出できる。したがって、簡素な構成で油圧ショベル１の作動状態を検出することが可能である。

また、モニタ３０には、掘削部５におけるブーム６，アーム７，及びバケット８の作動状態が画像で表示される。これにより、作業者がモニタ３０を見ながら油圧ショベル１を操作するいわゆる情報化施工が可能となる。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

１００作動状態検出システム
１油圧ショベル（作業機）
３旋回部（作業機本体部）
５掘削部（作業部）
６ブーム
７アーム
８バケット
１０カメラ（撮像装置）
１１認識マーカ（認識部）
１２認識マーカ（認識部）
１３認識マーカ（認識部）
２０コントローラ
２１基準形状記憶部
２２演算部
２３検出部

Claims

作業機本体部に対して動作する作業部の作動状態を検出する作業機の作動状態検出システムであって、
前記作業部に設けられる認識部と、
前記作業機本体部に設けられて前記作業部を撮像する撮像装置と、
前記撮像装置によって撮像された前記認識部の形状が前記作業部の動作に伴って変化するときの変化量を演算する演算部と、
前記演算部によって演算された変化量に基づき前記作業部の作動状態を検出する検出部と、を備えることを特徴とする作業機の作動状態検出システム。
前記演算部は、前記認識部の縮尺，傾き，及び歪みのうち少なくとも一つの変化量を演算することを特徴とする請求項１に記載の作業機の作業状態検出システム。
前記演算部は、前記作業部が基準位置にある場合の前記認識部の基準形状に対する前記認識部の変化量を演算し、
前記検出部は、前記演算部によって演算された前記変化量から前記作業機本体部に対する前記作業部の位置を検出することを特徴とする請求項１又は２に記載の作業機の作動状態検出システム。
前記作業機は、ショベルであり、
前記作業部は、前記作業部本体部に対して揺動可能に取り付けられるブームと、前記ブームの先端部に揺動可能に取り付けられるアームと、前記アームの先端部に揺動可能に取り付けられるバケットと、を備え、
前記認識部は、前記ブームと前記アームと前記バケットとに各々設けられ、形状がそれぞれ異なることを特徴とする請求項１から３のいずれか一つに記載の作業機の作動状態検出システム。
前記作業部本体部は、キャビンを有し、
前記撮像装置は、前記ショベルのキャビンに設けられ、前記作業部が揺動する平面とは撮像方向が異なることを特徴とする請求項４に記載の作業機の作業状態検出システム。
請求項１から５のいずれか一つに記載の作業機の作動状態検出システムを備えることを特徴とする作業機。