JP2020193503A - 作業機械の操縦支援システム、作業機械の操縦支援方法、操縦支援システムの保守支援方法、建設機械 - Google Patents

Abstract

【課題】本発明は、障害物に接触しないように操縦するという課題に鑑み、操縦者の負担を軽減可能な作業機械の操縦支援システムを提供することを目的とする。【解決手段】操縦支援システム１は、取得部１０と、動作制御部２０とを備える。取得部１０は、作業機械１００の移動部４０の移動範囲に関する画像情報を取得する。動作制御部２０は、画像情報で取得された画像情報に基づいて移動部４０に障害物との接触を回避する動作をさせる。【選択図】図１

Description

本発明は、作業機械の操縦支援システム、作業機械の操縦支援方法、操縦支援システムの保守支援方法、および建設機械に関する。

周囲の作業者などを障害物として検知するセンサを備える建設機械が知られている。例えば、特許文献１には、下部走行体と上部旋回体と監視領域設定手段と障害物検知センサと算出手段と時刻情報取得手段と記憶手段とを備えた建設機械が記載されている。この建設機械は、下部走行体と上部旋回体との相対角度に基づいて監視領域を設定し、その領域での障害物の位置座標を算出し、その算出結果と時刻情報とを関連付けて記憶する。

特開２０１７−２０１１１４号公報

本発明者らは、油圧等の動力で駆動されるブーム・アームとアタッチメント等を備える建設機械について、以下の認識を得た。

ある建設機械は、動力を利用してブームやアームなどの腕機構を駆動し、腕機構に取り付けられたバケット等のアタッチメントを動かして所定の作業を行う。この機械の操縦者は、アタッチメントを移動させる際、アタッチメントや腕機構が作業者等の障害物に触れないように注意深く操縦する必要がある。このことは、操縦者にとって大きな負担であり、作業効率低下の要因となっている。

視認性を補うため、建設機械に取り付けられたカメラで撮影された映像を、操縦室のディスプレイに表示することが考えられる。しかし、この場合、ディスプレイの映像と作業内容とを同時に確認しながら操縦することになり、操縦者の負担はかえって増大し、操縦性が改善されるとはいえない。

操縦者の負担を軽減する観点からは、特許文献１に記載の建設機械は十分に対処されているとはいえない。このような課題は、建設機械だけでなく他の種類の作業機械についても生じうる。

本発明は、こうした課題に鑑みてなされたものであり、操縦者の負担を軽減可能な作業機械の操縦支援システムを提供することを目的の一つとしている。

上記課題を解決するために、本発明のある態様の作業機械の操縦支援システムは、作業機械の移動部の移動範囲に関する画像情報を取得する取得部と、画像情報に基づいて移動部に障害物との接触を回避する動作をさせる動作制御部とを備える。

なお、以上の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、操縦者の負担を軽減可能な作業機械の操縦支援システムを提供できる。

第１実施形態に係る作業機械の操縦支援システムを概略的に示す側面図である。 図１の操縦支援システムを概略的に示すブロック図である。 図１の操縦支援システムを示す平面図である。 図１の操縦支援システムの操縦者の前方視界を模式的に示す図である。 図１の操縦支援システムの人識別部を説明するための図である。 図１の操縦支援システムの移動部識別部を説明するための図である。 図１の操縦支援システムの距離特定部を説明するための図である。 図１の操縦支援システムの回避制御部を説明するための図である。 図１の操縦支援システムの接触推定部を説明するための図である。 図１の操縦支援システムの回避処理を示すフローチャートである。

以下、本発明を好適な実施形態をもとに各図面を参照しながら説明する。実施形態および変形例では、同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施形態を説明する上で重要ではない部材の一部は省略して表示する。

また、第１、第２などの序数を含む用語は多様な構成要素を説明するために用いられるが、この用語は一つの構成要素を他の構成要素から区別する目的でのみ用いられ、この用語によって構成要素が限定されるものではない。

［第１実施形態］
図面を参照して、本発明の第１実施形態に係る作業機械の操縦支援システム１の構成について説明する。図１は、第１実施形態に係る作業機械の操縦支援システム１を概略的に示す側面図である。図２は、操縦支援システム１を概略的に示すブロック図である。図３は、操縦支援システム１を概略的に示す平面図である。

図１、図２に示すように、操縦支援システム１は、作業機械１００と、取得部１０と、動作制御部２０とを含む。取得部１０と、動作制御部２０とは操縦支援装置３０を構成する。本実施形態の作業機械１００は、バケット４６を移動させて建設作業を行う建設機械１０００である。作業機械１００は、下部走行部３６と、上部車体部３４と、腕機構４８と、バケット４６とを有する。下部走行部３６は無限軌道などにより所定方向に走行可能に構成される。上部車体部３４は、下部走行部３６に搭載されている。上部車体部３４は、旋回駆動部６０により下部走行部３６に対して鉛直軸まわりに旋回可能に構成される。旋回駆動部６０は、例えば、旋回モータ（不図示）と旋回ギア（不図示）とで構成できる。上部車体部３４には、操縦室３８が設けられる。

説明の便宜上、操縦室３８を後方から見て右側を「右」と、左側を「左」という。また、操縦室３８の前側を「前方」と、その反対方向を「後方」という。

腕機構４８の基端部は、上部車体部３４において操縦室３８の右側に設けられる。腕機構４８は、上部車体部３４から前方に延びるブーム４２とアーム４４とを含む。腕機構４８の先端側にはバケット４６が取り付けられる。ブーム４２は、上部車体部３４側の基端部を中心に先端部が上下に回動可能に構成される。アーム４４は、ブーム４２側の基端部を中心に先端部が前後に回動可能に構成される。

バケット４６は、アーム４４側の基端部を中心に先端部が前後または上下に回動可能に構成される。ブーム４２、アーム４４およびバケット４６は複数の油圧シリンダ５６により関節部の屈曲角度を変化させて変形できる。これらが変形することによりバケット４６を移動させることができる。以下、ブーム４２と、アーム４４と、バケット４６とを総称するときは移動部４０という。なお、ブーム４２、アーム４４およびバケット４６はフロント部と称されることがある。

操縦室３８の内部には、操縦席３２が設けられる。操縦室３８の側面には、操縦席３２を囲む前窓３８ｆと、右窓３８ｇと、左窓３８ｈと、後窓３８ｊとが設けられる。操縦室３８の操縦席３２の近傍には、複数のレバーなどにより移動部４０を操縦する操作入力部５４が設けられる。操縦者は操縦席３２において、各窓３８ｆ〜３８ｊから周囲を目視しながら操作入力部５４を操作して移動部４０を操縦する。

操作入力部５４から操作が入力されると、その操作に応じて複数の油圧バルブ５８が開閉する。油圧バルブ５８に開閉に応じて、油圧ポンプ（不図示）から供給される作動油が複数の油圧シリンダ５６に送出される。複数の油圧シリンダ５６は、作動油の送出量に応じて伸縮し、移動部４０を変形させてブーム４２、アーム４４およびバケット４６を移動させる。また、操作入力部５４から旋回に関する操作が入力されると、その操作に応じて旋回駆動部６０が上部車体部３４および移動部４０を一体的に旋回させる。このように、ブーム４２、アーム４４およびバケット４６は、操縦者の操縦に応じて変形と旋回とをすることによって、移動範囲を三次元的に移動できる。

本実施形態では、図３に示すように、操作入力部５４を操作した際の移動部４０の移動可能な立体的な範囲を移動範囲Ｒｍと定義する。

図４は、操縦者の前方視界を模式的に示す図である。この図に示すように、前方視界の右側は腕機構４８に遮られる。バケット４６の先端部の視界を確保するように、操縦室３８および操縦席３２は上部車体部３４の左側に寄せて配置される。この場合、バケット４６の先端部周辺の視界は確保できるが、バケット４６の右側の視界は不十分である。

このように、操縦者の前方視界は腕機構４８によって遮られる。つまり、図３に示すように、移動部４０は操縦席３２から見た移動範囲Ｒｍに大きな死角領域Ａｚを形成している。このため、死角領域Ａｚ内でバケット４６を移動させる際は、操縦者は操縦席から身を乗り出すなど大きく姿勢を変えながら操縦する必要があり、操縦者に多大な負担がかかる。また、操縦者が障害物を見落とす可能性もある。

前方視界を補うために、操縦席３２の近傍に配置したディスプレイに死角領域Ａｚを撮像した映像を表示することが考えられる。しかし、この場合、ディスプレイの映像と作業内容とを同時に確認しながら操縦することになり、操縦者の負担はかえって増大する。

そこで、本実施形態の操縦支援システム１は、操縦者の負担を軽くするために、取得部１０と、動作制御部２０とを備える。取得部１０は、移動部４０の移動範囲Ｒｍに関する第１画像情報Ｇｐを取得する。動作制御部２０は、第１画像情報Ｇｐに基づいて移動部４０に障害物との接触を回避する回避動作をさせる。移動部４０が自動的に回避動作を行うので、操縦者の負担を軽くできる。

取得部１０を説明する。取得部１０は、第１画像情報Ｇｐを取得するために画像を撮像可能な画像センサ１２を含む。画像センサ１２は、イメージセンサ等を用いて移動範囲Ｒｍの一部または全部を撮像する。画像センサ１２を１つだけ設けることも可能であるが、この場合、移動部４０による死角を解消することが難しい。このため、取得部１０は移動部４０を互いに異なる位置や方向から撮像する複数の画像センサ１２を備えてもよい。図３の例では、移動部４０を挟んで左右に離間して配置される２つの画像センサ１２−Ａ、１２−Ｂが設けられる。この図において、符号Ａｄ−Ａ、Ａｄ−Ｂは、画像センサ１２−Ａ、１２−Ｂの撮像範囲を示す。

２つの画像センサ１２が移動部４０の左右両側に配置されるので、撮像範囲Ａｄを互いに補い合って死角を大幅に減らすことができる。つまり、２つの画像センサ１２は、一方について死角となる領域が他方については死角にならないように配置できる。図３の例では、撮像範囲Ａｄ−Ａ、Ａｄ−Ｂは、移動部４０の近傍で一部重複し、そこから右と左に広がる扇状の領域である。

２つの画像センサ１２−Ａ、１２−Ｂは、移動部４０を挟んで左右対称に配置されてもよい。この場合、２つのセンサの撮像結果を合成して一体化しやすい。なお、２つの画像センサ１２−Ａ、１２−Ｂは、非対称に配置されてもよい。２つの画像センサ１２−Ａ、１２−Ｂの撮像範囲Ａｄの中心に沿った方向（以下、「視野方向」という）は、平行であってもよいし、非平行であってもよい。図３の例では、画像センサ１２−Ａの視野方向は、前後方向に対して右に傾いており、画像センサ１２−Ｂの視野方向は、前後方向に対して左に傾いている。この場合、視野方向が平行な場合と比較して、撮像可能範囲を左右に広くできる。

なお、２つの画像センサ１２−Ａ、１２−Ｂを備えることにより、２つのセンサの撮像結果の差分を計算して、その結果から高精度に移動部４０と人８との位置や距離を特定することができる。加えて、画像センサが２台となることで計測視野が拡大されるため、高速旋回したときに、突発的に旋回範囲内に物体が侵入した場合や、移動部４０の裏側に人が侵入した場合でも素早く回避動作することができる。また、視差を得ることができるので、立体的な画像情報を取得できる。

取得部１０の配置高さは限定されないが、死角を小さくできる位置が望ましい。図１の例では、取得部１０は、操縦室３８の屋根よりも高い位置に配置されている。この場合、バケット４６が作業する地面を撮像しやすい。複数の画像センサ１２の配置高さは、互いに同じであってもよいし異なっていてもよい。

第１画像情報Ｇｐに、移動部４０に関する画像情報を含めないことも可能であるが、この場合、移動部４０と障害物との間の距離を特定することが難しい。そこで、本実施形態の取得部１０では、第１画像情報Ｇｐが移動部４０に関する画像情報を含むように構成されている。具体的には、２つの画像センサ１２の一方が移動部４０の左側面を含む領域を撮像し、他方が移動部４０の右側面を含む領域を撮像するように配置されている。これにより、移動部４０の左右何れに障害物が存在する場合でも、２つの画像センサ１２のうちの一方の撮像結果から移動部４０と障害物との間の距離を特定できる。

図２を参照して、動作制御部２０を説明する。図２に示す各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする電子素子や機械部品などで実現でき、ソフトウェア的にはコンピュータプログラムなどによって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

動作制御部２０は、図２に示すように画像情報生成部２０ａと、識別部２０ｂと、距離特定部２０ｄと、記憶部２０ｍと、回避制御部２０ｆと、バルブ制御部２０ｇと、接触推定部２０ｐと、情報出力部２０ｅとを有する。画像情報生成部２０ａは、取得部１０の複数の画像センサ１２の第１画像情報Ｇｐを統合して第２画像情報Ｇｓを生成する。バルブ制御部２０ｇは、回避制御部２０ｆの制御に基づいて油圧バルブ５８の開閉を制御できる。

識別部２０ｂは、人などの障害物と移動部４０と作業機械本体とを逐次認識する。例えば、過去に生成された第２画像情報Ｇｓとの差分から変化した領域と変化しない領域とを区分して、変化しない領域から作業機械本体を認識できる。また、変化した領域の変化パターンの違いにより障害物と移動部４０とを区分して認識できる。このような認識処理を逐次行うことにより、障害物と移動部４０と作業機械本体の変化パターンを学習して、認識精度を向上できる。

識別部２０ｂは、障害物識別部２０ｃと、人識別部２０ｈと、移動部識別部２０ｊと、特徴ＤＢ２０ｋとを含む。特徴ＤＢ２０ｋは、障害物に関する特徴情報Ｆｉを予め記憶したデータベースである。障害物識別部２０ｃは、画像情報生成部２０ａで生成された第２画像情報Ｇｓと、特徴ＤＢ２０ｋに予め記憶された特徴情報Ｆｉとに基づいて障害物の種類を識別する。以下、一例として障害物が人である場合を説明するが、この説明は人以外の障害物についても同様に適用可能である。

人識別部２０ｈを説明する。図５は、人識別部２０ｈを説明するための図である。人の各所を細かく識別すると演算時間が長くなる。演算時間を短縮するために高速の演算素子を備えるとコスト的に不利である。そこで、本実施形態では、人の特徴点を抽出して、その特徴点に基づく所定の範囲を人の範囲として特定している。

図５の例では、人８の足下８ｂを特徴点としている。人８の足下８ｂは地面とのコントラストや形状の特徴から特定し易い。特に、本実施形態の人識別部２０ｈは、障害物が人８であるとき当該人８の足下８ｂを特定して足下８ｂから所定の高さＨｈまでを人８の範囲として識別する。また、人識別部２０ｈは、足下８ｂを中心とする所定直径Ｄｈの円筒状の範囲を人８の範囲としてもよい。一例として、高さＨｈは２ｍ、直径Ｄｈは１ｍとしてもよい。この場合、安価な演算素子を用いて実用的な演算時間で人の範囲を特定できる。

なお、人８の範囲は、足下８ｂが含まれる画像情報に基づいて算出されてもよいし、人８の足下８ｂ以外の画像情報に基づいて算出されてもよい。例えば、人８の範囲は、人８の足下８ｂ以外の骨格情報（人の足下を除く情報等）に基づいて算出されてもよい。

移動部識別部２０ｊを説明する。図６は、移動部識別部２０ｊを説明するための図である。移動部識別部２０ｊは、移動部４０と作業機械本体とを識別する。特に、移動部識別部２０ｊは、予め記憶された移動部４０の所定部分に関する座標情報を用いて移動部４０の範囲を識別する。

座標情報を説明する。移動部４０のブーム４２、アーム４４およびバケット４６には、それぞれ計測点１４ａ、１４ｂ、１４ｃが予め設定される。計測点１４ａ〜１４ｃは、ボルトや孔などの既存の特定形状を有する部分に設定してもよい。図６の例では、計測点１４ａ〜１４ｃは、ブーム４２、アーム４４およびバケット４６に設けられた目印を用いている。

移動部識別部２０ｊは、基準座標情報Ｚｐと、取得座標情報Ｚｓとに基づいて作業機械１００の範囲を特定する。基準座標情報Ｚｐは、過去に生成された第２画像情報Ｇｓから特定される座標情報である。取得座標情報Ｚｓは、随時取得される現時点の第２画像情報Ｇｓから特定される座標情報である。例えば、基準座標情報Ｚｐは、作業機械１００を標準姿勢にした状態で生成された第２画像情報Ｇｓから特定できる。特定された基準座標情報Ｚｐは、記憶部２０ｍに記憶される。

また、作業機械１００の範囲を特定するため、記憶部２０ｍには、作業機械１００の設計情報から生成された作業機械１００の外形座標に関する外形情報Ｅｉが記憶される。外形情報Ｅｉと、取得座標情報Ｚｓとから作業機械１００の取得時（現在）の範囲を特定できる。また、移動部識別部２０ｊは、取得座標情報Ｚｓに基づいて計測点１４ａ〜１４ｃの相対位置および相対角度から、移動部４０の姿勢、位置および範囲を随時演算で特定できる。例えば、取得座標情報Ｚｓの基準座標情報Ｚｐとの差分を用いることにより、この演算を行うことができる。

距離特定部２０ｄを説明する。図７は、距離特定部２０ｄを説明するための図である。距離特定部２０ｄは、演算により障害物と移動部４０との相対的な最短距離を特定する。例えば、距離特定部２０ｄは、人識別部２０ｈで特定された人８の範囲と、移動部識別部２０ｊで特定された移動部４０の範囲とにより、人８から移動部４０までの最短の相対距離Ｄｓを特定できる。図７の例では、計測点１４ａ〜１４ｃおよび人８のそれぞれの平面座標と画像センサ１２からの角度とにより、人８から移動部４０までの相対距離Ｄｓを特定している。

回避制御部２０ｆを説明する。図８は、回避制御部２０ｆを説明するための図である。相対距離Ｄｓが特定された場合、種々の方法により人８と移動部４０との接触を回避できる。一例として、本実施形態では、回避制御部２０ｆは、人８と移動部４０との相対距離Ｄｓに応じて複数の回避動作をするように、移動部４０の移動態様を変化させる。

本実施形態では、回避制御部２０ｆは、移動部４０が人８から所定の第１距離Ｄ１以内に近づくと移動部４０の移動速度を下げるように制御する（回避動作１）。例えば、相対距離Ｄｓが第１距離Ｄ１以下である場合に、移動部４０の移動速度を所定の速度以下になるように制動をかけてもよい。回避制御部２０ｆは、旋回駆動部６０を制御して上部車体部３４の旋回速度を下げることができる。また、回避制御部２０ｆは、バルブ制御部２０ｇを介して油圧バルブ５８を制御することにより、移動部４０のブーム４２、アーム４４およびバケット４６の回動速度を下げることができる。移動部４０を徐行速度に減速することにより、危険な状態になったら直ぐに止めることができる。

なお、油圧バルブ５８は、バルブ制御部２０ｇの制御と操作入力部５４の制御とが競合する場合、バルブ制御部２０ｇの制御を優先してもよい。以下の制御についても同様である。

本実施形態では、回避制御部２０ｆは、移動部４０が人８から所定の第２距離Ｄ２以内に近づくと移動部４０の移動を止めるように制御する（回避動作２）。例えば、相対距離Ｄｓが第２距離Ｄ２以下である場合に、移動部４０の移動を停止してもよい。この場合、回避制御部２０ｆは、上部車体部３４の旋回を停止するとともに、移動部４０のブーム４２、アーム４４およびバケット４６の回動を停止してもよい。

旋回や回動に制動力を加えても、上部車体部３４や移動部４０の慣性により、これらは直ぐには止まらず、人８との接触を回避できない場合がある。そこで、本実施形態では、回避制御部２０ｆは、移動部４０が人８から所定の第３距離Ｄ３以内に近づくと移動部４０の移動コースを変化させるように制御する（回避動作３）。例えば、相対距離Ｄｓが第３距離Ｄ３以下である場合に、移動部４０の特にバケット４６を上昇させて移動コースを変化させてもよい。この場合、回避制御部２０ｆは、上部車体部３４の旋回駆動部６０にブレーキをかけるとともに、バルブ制御部２０ｇを介して油圧バルブ５８を制御することにより、ブーム４２、アーム４４およびバケット４６を上昇させてもよい。

なお、第３距離Ｄ３は第２距離Ｄ２より小さくてもよく、第２距離Ｄ２は第１距離Ｄ１より小さくてもよい。つまり、これらはＤ３＜Ｄ２＜Ｄ１の関係を有してもよい。これらの距離は、実験やシミュレーション等により設定できる。

接触推定部２０ｐを説明する。図９は、接触推定部２０ｐを説明するための図である。接触推定部２０ｐは、移動部４０および人８の座標、移動方向および移動速度に応じて、これらの移動コースを演算によりシミュレーションして推定移動コースを求める。図９（ａ）は、移動部４０と人８の推定移動コースを模式的に示している。この図は、左右方向と前後方向の座標上におけるそれぞれの推定移動コースを示している。接触推定部２０ｐは、移動部４０と人８の推定移動コースに基づき、時間ごとの移動部４０と人８の推定離隔距離Ｄｑを求める。図９（ｂ）は、時間に対する推定離隔距離Ｄｑの変化を示す。

回避制御部２０ｆは、推定離隔距離Ｄｑに応じて、移動部４０と人８との接触を予防する接触予防動作を行う。例えば、回避制御部２０ｆは、推定離隔距離Ｄｑが所定の閾値Ｄ４以下になると予測されたとき、接触予防動作を実行する。この接触予防動作は、移動部４０を減速する動作、移動部４０の移動を停止する動作、移動部４０の移動コースを変更する動作であってもよい。また、閾値Ｄ４を複数設定し、推定離隔距離Ｄｑと複数の閾値Ｄ４とに基づいて、接触予防動作の内容を変更してもよい。

情報出力部２０ｅは、障害物と移動部４０との距離に関する情報を内部または外部に出力する。一例として情報出力部２０ｅは、障害物の有無、移動部４０と人８との相対距離Ｄｓ、推定離隔距離Ｄｑ等の情報や回避動作に関する情報を、情報端末５０に出力してもよい。情報端末５０は、これらの情報を文字やグラフィックにより表示してもよい。情報端末５０は、操縦室３８に設けられてもよい。また、情報出力部２０ｅは、これらの情報に基づいて所定の警報を音や光として出力してもよい。

次に、図１０のフローチャートを参照して、取得部１０と動作制御部２０とによる回避制御に関する処理Ｓ７０を説明する。ここでは、障害物が人である例を説明する。

処理Ｓ７０が開始されると、取得部１０は移動部４０の移動範囲Ｒｍに関する画像情報を取得する（ステップＳ７１）。

次に、動作制御部２０は、取得部１０で取得された画像情報から障害物を識別する（ステップＳ７２）。

障害物がない場合（ステップＳ７２のＮ）、動作制御部２０は、処理をステップＳ７１に戻して、ステップＳ７１からの処理を繰り返す。障害物がある場合（ステップＳ７２のＹ）、動作制御部２０は、処理をステップＳ７３に進める。

次に、動作制御部２０は、動作制御部２０は、障害物識別部２０ｃによって、障害物の種類を識別する（ステップＳ７３）。

次に、動作制御部２０は、人識別部２０ｈによって、障害物が人である場合は人の範囲を特定する（ステップＳ７４）。

次に、動作制御部２０は、移動部識別部２０ｊによって、移動部４０の範囲を識別する（ステップＳ７５）。

次に、動作制御部２０は、距離特定部２０ｄによって、人と移動部４０との相対的な最短距離Ｄｓを特定する（ステップＳ７６）。

次に、動作制御部２０は、回避制御部２０ｆによって、距離Ｄｓの大きさに応じて移動部４０に回避動作をさせる（ステップＳ７７）。

距離Ｄｓが第１距離Ｄ１より大きい場合（ステップＳ７７のＡ）、動作制御部２０は、処理をステップＳ７１に戻して、ステップＳ７１からの処理を繰り返す。

距離Ｄｓが第１距離Ｄ１以下の場合（ステップＳ７７のＢ）、動作制御部２０は、移動部４０の移動速度を下げる（ステップＳ７８）。

距離Ｄｓが第２距離Ｄ２以下の場合（ステップＳ７７のＣ）、動作制御部２０は、移動部４０の移動を停止する（ステップＳ７９）。

距離Ｄｓが第３距離Ｄ３以下の場合（ステップＳ７７のＤ）、動作制御部２０は、移動部４０の移動コースを変化させる。（ステップＳ８０）。

ステップＳ７８、Ｓ７９、Ｓ８０が終了したら、動作制御部２０は、処理をステップＳ７１に戻して、ステップＳ７１からの処理を繰り返す。処理Ｓ７０はあくまでも一例であり、他のステップを追加したり、一部のステップを変更または削除したり、ステップの順序を入れ替えてもよい。

次に、本発明の第１実施形態に係る作業機械の操縦支援システム１の特徴を説明する。操縦支援システム１は、作業機械１００の移動部４０の移動範囲Ｒｍに関する画像情報Ｇｐを取得する取得部１０と、画像情報Ｇｐに基づいて移動部４０に障害物との接触を回避する動作をさせる動作制御部２０とを備える。

この構成によれば、障害物との接触を回避するように移動部４０が自動的に回避動作するので、操縦が容易になり、操縦者の負担を軽減できる。また、安全性が確保されるので、移動部４０の移動速度を高めて作業効率の向上を図れる。

取得部１０は画像情報Ｇｐに移動部４０に関する画像情報を含むように構成されてもよい。この場合、画像情報Ｇｐの中に移動部４０と障害物とを一体的に捉えることができるので、離間距離を高精度に把握し易い。

取得部１０は移動部４０を互いに異なる位置から撮像する複数の画像センサ１２を含んでもよい。この場合、複数の画像センサ１２を用いるので、画像センサ１２の死角を減らすことができる。また、移動部４０や障害物の位置や範囲を立体的に捉えることが可能になり、障害物の検知漏れ防止を図れる。また、画像センサ１２が複数となることで計測視野が拡大されるため、高速旋回したとき、突発的に旋回範囲内に物体が侵入した場合または移動部４０の裏側に人が侵入した場合でも素早く回避動作することができる。

動作制御部２０は移動部４０が障害物から第１距離Ｄ１以内に近づくと移動部４０の移動速度を下げるように制御してもよい。この場合、移動速度が下がるので、障害物との接触を回避し易い。

動作制御部２０は移動部４０が障害物から第２距離Ｄ２以内に近づくと移動部４０の移動を止めるように制御してもよい。この場合、移動部４０の移動を止めるので、障害物との接触を一層回避し易い。

動作制御部２０は移動部４０が障害物から第３距離Ｄ３以内に近づくと移動部４０の移動コースを変化させるように制御してもよい。この場合、慣性により急に止まれない場合でも、移動部４０の移動コースを変化させて接触の回避を図れる。

動作制御部２０は予め記憶された障害物に関する特徴情報を用いて障害物の種類を識別する障害物識別部２０ｃを有してもよい。この場合、種類を推定した障害物の種類に応じて回避方法や範囲を選択できる。

障害物が人であるとき当該人８の足下８ｂを特定して当該足下８ｂから所定の高さまでを人８の範囲として識別する人識別部２０ｈを備えてもよい。この場合、足下８ｂは地面とのコントラストや形状の特徴から特定し易いので、足下８ｂから身長相当の高さまでを人の範囲とすることで、適切な回避方法や範囲を選択できる。動作制御部２０は人識別部２０ｈを含んでもよい。この場合、人識別部２０ｈを動作制御部２０とは別に設ける場合と比べて構成をコンパクトにできる。

移動部４０の予め記憶された所定部分に関する座標情報を用いて移動部４０の範囲を識別する移動部識別部２０ｊを備えてもよい。この場合、特徴点を予め設定した部分とすることで識別が容易になり、移動部４０の範囲を高速または高精度で推定できる。回避動作の遅れを少なくできる。動作制御部２０は移動部識別部２０ｊを含んでもよい。この場合、移動部識別部２０ｊを動作制御部２０とは別に設ける場合と比べて構成をコンパクトにできる。

移動部４０は操縦者の操縦に応じて移動するように構成され、移動部４０は作業機械１００の操縦席３２から見た移動範囲Ｒｍに死角領域を形成するものであってもよい。この場合、作業機械１００が自律的に障害物との接触を回避するので、移動範囲Ｒｍに死角領域がある場合にも操縦者は身を乗り出さずに操縦できる。

障害物と移動部４０との距離に関する情報を出力する情報出力部２０ｅを備えてもよい。この場合、距離に関する情報を内部または外部に報知できる。

次に、本発明の第２〜第４実施形態を説明する。第２〜第４実施形態の図面および説明では、第１実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第１実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。

［第２実施形態］
本発明の第２実施形態は、作業機械の操縦支援方法である。この操縦支援方法は、移動部４０を有する作業機械１００の移動部４０の移動範囲Ｒｍに関する画像情報Ｇｐを取得するステップＳ７１と、画像情報Ｇｐに基づいて移動部４０に障害物との接触を回避する動作をさせるステップＳ７２〜Ｓ８０とを含む。

第２実施形態の構成によれば、第１実施形態と同様の作用効果を奏する。

［第３実施形態］
本発明の第３実施形態は、作業機械１００の操縦支援システム１の保守支援方法である。この保守支援方法Ｓ９０は、取得された画像情報と予め記憶された基準画像情報との比較結果に基づいて操縦支援システム１の保守の要否を判定するステップＳ９１を含む。

基準画像情報は、例えば作業機械１００導入時等の過去に、ブーム４２、アーム４４およびバケット４６が原点位置に配置されている状態で取得された第２画像情報Ｇｓ（以下、画像情報Ｇｓ−Ａという）であってもよい。取得された画像情報は、現時点でブーム４２、アーム４４およびバケット４６が原点位置に配置されている状態で取得された第２画像情報Ｇｓ（以下、画像情報Ｇｓ−Ｂという）であってもよい。

ステップＳ９１では、画像情報Ｇｓ−Ａ、Ｇｓ−Ｂから計測点１４ａ〜１４ｃの過去と現在の座標を特定し、その差が閾値を超えた場合に、操縦支援システム１は保守が必要と判定し、閾値を超えていない場合に保守は不要と判定してもよい。

保守が必要と判定された場合、動作制御部２０の情報出力部２０ｅは、判定結果を情報端末５０に出力してもよい。また、情報出力部２０ｅは、判定結果に基づいて所定の警報を音や光として出力してもよい。

第３実施形態によれば、操縦支援システム１の保守の要否を適確に把握できる。また、ブーム４２、アーム４４およびバケット４６の原点位置を高精度にキャリブレーションできる。

［第４実施形態］
本発明の第４実施形態は、建設機械１０００である。この建設機械１０００は、移動部４０と、移動部４０の移動範囲Ｒｍに関する画像情報Ｇｐを取得する取得部１０と、画像情報Ｇｐに基づいて移動部４０に障害物との接触を回避する動作をさせる動作制御部２０とを備える。建設機械１０００は、例えばバケット４６を移動させて建設作業を行う機械であってもよい。建設機械１０００の移動部４０は、バケットの代わりにフォーク、ハンマー、クラッシャー等の多様なアタッチメントを備えてもよい。第４実施形態の構成によれば、第１実施形態と同様の作用効果を奏する。

以上、本発明の実施形態の例について詳細に説明した。上述した実施形態は、いずれも本発明を実施するにあたっての具体例を示したものにすぎない。実施形態の内容は、本発明の技術的範囲を限定するものではなく、請求の範囲に規定された発明の思想を逸脱しない範囲において、構成要素の変更、追加、削除などの多くの設計変更が可能である。上述の実施形態では、このような設計変更が可能な内容に関して、「実施形態の」「実施形態では」等との表記を付して説明しているが、そのような表記のない内容に設計変更が許容されないわけではない。

［変形例］
以下、変形例について説明する。変形例の図面および説明では、実施形態と同一または同等の構成要素、部材には、同一の符号を付する。実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。

第１実施形態の説明では、作業機械がバケット４６を移動させて建設作業を行う建設機械である例を示したが、本発明はこれに限定されず、建設機械以外の作業機械にも適用できる。

第１実施形態の説明では、障害物が人である例を示したが、本発明はこれに限定されない。第１実施形態の説明は、人以外の障害物に対しても適用可能である。

第１実施形態の説明では、画像センサ１２が２つの画像センサで構成される例を示したが、本発明はこれに限定されない。画像センサ１２は、単一の画像センサで構成されてもよいし、３つ以上の画像センサで構成されてもよい。

第１実施形態の説明では、画像センサ１２が操縦室３８の屋根に設けられる例を示したが、本発明はこれに限定されない。例えば、画像センサ１２は、作業機械１００から離れた位置から撮像する外部画像センサを含んでもよい。例えば、外部画像センサは、ドローンに搭載されてもよいし、上空に張ったワイヤ等に吊られてもよい。この場合、作業機械から離れて設けられた画像センサを用いるので、障害物の検知漏れ防止を図れる。

第１実施形態の説明では、第１〜第３距離Ｄ１〜Ｄ３が障害物の種類によらず一定である例を示したが、本発明はこれに限定されない。例えば、第１〜第３距離Ｄ１〜Ｄ３は障害物の種類に応じて変更されてもよい。障害物が人であるときは、それ以外の場合に比べて第１〜第３距離Ｄ１〜Ｄ３を大きくしてもよい。

第１実施形態の説明では、情報端末５０が操縦室３８に設けられる例を示したが、本発明はこれに限定されない。例えば、情報端末５０は、作業機械１００の外部にいる作業員が所持するタブレット端末等の携帯端末であってもよい。

第１実施形態の説明では、作業機械１００が操縦席３２に着座した操縦者によって操縦される例を示したが、本発明はこれに限定されない。例えば、作業機械は、自動操縦やリモコン操縦されるものであってもよい。

上述の変形例は、第１実施形態と同様の作用・効果を奏する。

上述した実施形態と変形例の任意の組み合わせもまた本発明の実施形態として有用である。組み合わせによって生じる新たな実施形態は、組み合わされる実施形態および変形例それぞれの効果をあわせもつ。

１・・・操縦支援システム、８・・・人、８ｂ・・・足下、１０・・・取得部、１２・・・画像センサ、２０・・・動作制御部、２０ｃ・・・障害物識別部、２０ｄ・・・距離特定部、２０ｅ・・・情報出力部、２０ｆ・・・回避制御部、２０ｇ・・・バルブ制御部、２０ｈ・・・人識別部、２０ｊ・・・移動部識別部、３０・・・操縦支援装置、３２・・・操縦席、４０・・・移動部、１００・・・作業機械。

Claims (16)

1. 作業機械の移動部の移動範囲に関する画像情報を取得する取得部と、
   前記画像情報に基づいて前記移動部に障害物との接触を回避する動作をさせる動作制御部と
   を備える作業機械の操縦支援システム。
2. 前記取得部は前記画像情報に前記移動部に関する画像情報を含むように構成される請求項１に記載の操縦支援システム。
3. 前記取得部は前記移動部を互いに異なる位置から撮像する複数の画像センサを含む請求項１または２に記載の操縦支援システム。
4. 前記動作制御部は前記移動部が前記障害物から第１距離以内に近づくと前記移動部の移動速度を下げるように制御する請求項１から３のいずれかに記載の操縦支援システム。
5. 前記動作制御部は前記移動部が前記障害物から第２距離以内に近づくと前記移動部の移動を止めるように制御する請求項１から４のいずれかに記載の操縦支援システム。
6. 前記動作制御部は前記移動部が前記障害物から第３距離以内に近づくと前記移動部の移動コースを変化させるように制御する請求項１から５のいずれかに記載の操縦支援システム。
7. 前記動作制御部は予め記憶された障害物に関する特徴情報を用いて前記障害物の種類を識別する障害物識別部を有する請求項１から６のいずれかに記載の操縦支援システム。
8. 前記障害物が人であるとき当該人の足下を特定して当該足下から所定の高さまでを当該人の範囲として識別する人識別部を備える請求項７に記載の操縦支援システム。
9. 前記動作制御部が前記人識別部を含む請求項８に記載の操縦支援システム。
10. 前記移動部の予め記憶された所定部分に関する座標情報を用いて前記移動部の範囲を識別する移動部識別部を備える請求項１から９のいずれかに記載の操縦支援システム。
11. 前記動作制御部が前記移動部識別部を含む請求項１０に記載の操縦支援システム。
12. 前記移動部は操縦者の操縦に応じて移動するように構成され、
    前記移動部は前記作業機械の操縦席から見た前記移動範囲に死角領域を形成する請求項１から１０のいずれかに記載の操縦支援システム。
13. 前記障害物と前記移動部との距離に関する情報を出力する情報出力部を備える請求項１から１２のいずれかに記載の操縦支援システム。
14. 作業機械の移動部の移動範囲に関する画像情報を取得するステップと、
    前記画像情報に基づいて前記移動部に障害物との接触を避ける動作をさせるステップと
    を含む作業機械の操縦支援方法。
15. 取得された前記画像情報と予め記憶された基準画像情報との比較結果に基づいて請求項１に記載の操縦支援システムの保守の要否を判定するステップを含む操縦支援システムの保守支援方法。
16. 移動部と、
    前記移動部の移動範囲に関する画像情報を取得する取得部と、
    前記画像情報に基づいて前記移動部に障害物との接触を回避する動作をさせる動作制御部と
    を備える建設機械。

Images