JP7533163B2 - 作業支援システムの制御方法、作業支援システムの制御プログラム - Google Patents

Description

本発明は、作業支援システムの制御方法、作業支援システムの制御プログラムに関し、例えば油圧ショベルに適用することができる。

従来、マシンガイダンスの機能を組み込んだ建設機械（所謂、ＩＣＴ建機である）が提供されている。
ここでマシンガイダンスは、トータルステーション（ＴＳ：Ｔｏｔａｌ Ｓｔａｔｉｏｎ）、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の計測技術を利用して建設機械の操作をサポートする技術である。このマシンガイダンスによれば、オペレータの作業を適切に支援して、作業効率、安全性、作業精度を向上することができる。
このようなＩＣＴ建機に関して、特許文献１には、油圧シリンダのストローク長のずれを補正する構成が開示されている。

特開２０１４－１３７３４３号公報

ところで、マシンガイダンスの機能にあっては、後付でセンサ等を取り付けて既存の建設機械に導入することが考えられる。
しかしながら、このように後付によりセンサを配置する場合、センサが正しい位置に配置されていない場合も予測（想定）される。またメンテナンス等によりセンサを交換する場合も予測され、この場合も、センサが正しい位置に配置されていない場合が予測される。
ＩＣＴ建機では、このようにセンサが正しい位置に配置されない場合、オペレータの操作を正しく支援することが困難になる虞がある。

本発明は、以上の点を考慮してなされたものであり、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる作業支援システムの制御方法、作業支援システムの制御プログラムを提供することを目的とする。

係る課題を解決するため、請求項１の発明は、マシンガイダンスの機能によりオペレータの作業を支援する作業支援システムの制御方法において、
前記作業支援システムは、
作業機械の可動部に保持されて、センサにより姿勢情報を取得するセンサ部と、
前記センサ部とのデータ通信により前記センサ部で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
前記携帯情報端末装置は、携帯端末内蔵ＩＭＵ（Inertial Measurement Unit）センサを内蔵し、
前記作業支援システムの制御方法は、
前記センサ部を撮像対象に含む、前記可動部の撮像結果を取得する撮像結果取得ステップと、
前記撮像結果を画像処理して前記姿勢情報を補正する補正ステップと、を備え、
前記撮像結果取得ステップは、前記可動部を撮像する際の前記携帯情報端末装置の姿勢が所定の基準姿勢となっているときに前記撮像結果を取得可能とし、ここで、前記携帯情報端末装置の姿勢は、前記携帯端末内蔵ＩＭＵセンサを利用して算出されるものである。

請求項１の構成によれば、基準取り付け位置に対するセンサ部の取り付け誤差を算出して姿勢情報を補正することにより、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。

請求項２の発明は、演算処理回路による実行により所定の処理手順を実行させる作業支援システムの制御プログラムにおいて、
前記作業支援システムは、
作業機械の可動部に保持されて、センサにより姿勢情報を取得するセンサ部と、
前記センサ部とのデータ通信により前記センサ部で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
前記携帯情報端末装置は、携帯端末内蔵ＩＭＵ（Inertial Measurement Unit）センサを内蔵し、
前記処理手順は、
前記センサ部を撮像対象に含む、前記可動部の撮像結果を取得する撮像結果取得ステップと、
前記撮像結果を画像処理して前記姿勢情報を補正する補正ステップと、を備え、
前記撮像結果取得ステップは、前記可動部を撮像する際の前記携帯情報端末装置の姿勢が所定の基準姿勢となっているときに前記撮像結果を取得可能とし、ここで、前記携帯情報端末装置の姿勢は、前記携帯端末内蔵ＩＭＵセンサを利用して算出されるものである。

請求項２の構成によれば、基準取り付け位置に対するセンサ部の取り付け誤差を算出して姿勢情報を補正することにより、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。

請求項３の発明は、マシンガイダンスの機能によりオペレータの作業を支援する作業支援システムの制御方法において、
前記作業支援システムは、
作業機械の可動部材に保持されて、センサにより姿勢情報を取得するセンサ部材と、
前記センサ部材とのデータ通信により前記センサ部材で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
前記可動部材は、第１の可動部と第２の可動部とを少なくとも含む複数の可動部により構成され、
前記センサ部材は、第１のセンサ部と第２のセンサ部とを少なくとも含む複数のセンサ部により構成され、
前記可動部は、その長手方向に沿い設けられる第１部位と、前記第１部位と相対する位置に設けられる第２部位とを備え、
第１のセンサ部は、前記第１の可動部の前記第１部位に保持され、
第２のセンサ部は、前記第２の可動部の前記第２部位に保持され、
前記作業支援システムの制御方法は、
前記第１のセンサ部を撮像対象に含む、前記第１部位の第１撮像結果と、前記第２のセンサ部を撮像対象に含む、前記第２部位の第２撮像結果とを取得する撮像結果取得ステップと、
前記第１、第２の撮像結果を画像処理して前記姿勢情報を補正する補正ステップとを備えたものである。

請求項３の構成によれば、基準取り付け位置に対するセンサ部の取り付け誤差を算出して姿勢情報を補正することにより、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。

請求項４の発明は、演算処理回路による実行により所定の処理手順を実行させる作業支援システムの制御プログラムにおいて、
前記作業支援システムは、
建設機械の可動部材に保持されて、センサにより姿勢情報を取得するセンサ部材と、
前記センサ部材とのデータ通信により前記センサ部材で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
前記可動部材は、第１の可動部と第２の可動部とを少なくとも含む複数の可動部により構成され、
前記センサ部材は、第１のセンサ部と第２のセンサ部とを少なくとも含む複数のセンサ部により構成され、
前記可動部は、その長手方向に沿い設けられる第１部位と、前記第１部位と相対する位置に設けられる第２部位とを備え、
第１のセンサ部は、前記第１の可動部の前記第１部位に保持され、
第２のセンサ部は、前記第２の可動部の前記第２部位に保持され、
前記処理手順は、
前記第１のセンサ部を撮像対象に含む、前記第１部位の第１撮像結果と、前記第２のセンサ部を撮像対象に含む、前記第２部位の第２撮像結果とを取得する撮像結果取得ステップと、
前記第１、第２の撮像結果を画像処理して前記姿勢情報を補正する補正ステップとを備えたものである。

請求項４の構成によれば、基準取り付け位置に対するセンサ部の取り付け誤差を算出して姿勢情報を補正することにより、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。

本発明によれば、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。

本発明の第１実施形態による作業支援システムを示す図である。 同第１実施形態による図１の作業支援システムのブロック図である。 同第１実施形態によるシステム制御部による処理手順を示すフローチャートである。 同第１実施形態による図３の処理手順の説明に供する図である。 同第１実施形態による図３中、可動部を撮像する際の処理手順を詳しく示すフローチャートである。 同第１実施形態による携帯情報端末装置のロール角、ピッチ角、ヨー角を簡略的に示す図である 同第１実施形態による携帯情報端末装置の姿勢が基準姿勢となっていないときの携帯情報端末装置の表示部を示す図である。 同第１実施形態による携帯情報端末装置の姿勢が基準姿勢となっているときの携帯情報端末装置の表示部を示す図である。 同第１実施形態による作業機械を後ろ側から見たときの作業機械と携帯情報端末装置との位置関係を示す図である。 同第１実施形態によるセンサ部の位置ずれの説明に供する図である。 本発明の第２実施形態による作業機械を後ろ側から見たときの作業機械と携帯情報端末装置との位置関係を示す図である。 同第２実施形態による作業機械を図１１の左側から見たとき図である。 同第２実施形態による作業機械を図１２の右側から見たとき図である。 同第２実施形態による第１、第２の撮像結果を統合した状態を示す図である。

（第１実施形態）図１は、本発明の第１実施形態に係る作業支援システム１を示す図であり、図２は、ブロック図である。
この作業支援システム１は、建設機械（作業機械）である油圧ショベル２において、マシンガイダンスの機能によりこの油圧ショベル２を操作するオペレータの作業を支援する。
ここで油圧ショベル２は、無限軌道により自走する本体３にブーム４、アーム５、バケット６が順次設けられる。なお作業支援システム１による支援対象は、油圧ショベルに限らず、例えば地盤改良に使用する建設機械等、土木、建築の作業に使用される各種建設機械を広く適用することができる。

作業支援システム１は、センサ部１１、通信部１２、携帯情報端末装置１３、通知部１４を備える。
ここでセンサ部１１は、油圧ショベル２の可動部であるアーム５に設けられ、センサにより姿勢情報を取得して通信部１２に出力する。ここで姿勢情報は、可動部であるアーム５の姿勢を検出可能な情報であり、この実施形態では水平方向に対するアーム５の角度情報が適用される。
なおセンサ部１１は、可動部であるブーム４、アーム５、可動部であるバケット６にそれぞれ設けるようにしてもよく、ブーム４又はバケット６に設けるようにしてもよく、必要に応じて種々の部位に設けることができる。図１では、センサ部１１は、アーム５の右側部に取り付けられる（保持されている）。

これにより図２に示すように、センサ部１１は、図示しないバッテリの電力により動作して、センサを備えた検出部２１により３次元の加速度、角速度情報を取得する。また検出部２１で検出した情報を演算部２２で処理することにより姿勢情報を検出し、通信部２３による無線通信のデータ通信により通信部１２に送出する。このようにバッテリの電力により動作して無線通信により姿勢情報を送出することにより、センサ部１１は、電源供給用、データ通信用のケーブルをわざわざ設けることなく、所望する取り付け箇所に簡易に設置することができ、これにより作業支援システム１は、簡易に既存の工作機械にマシンガイダンスの機能を導入することができ、さらにはマシンガイダンスの機能を向上することができる。

より具体的に、検出部２１のセンサには、ＩＭＵ（Inertial Measurement Unit）センサが適用され、通信部２３における無線通信には、Bluetooth（登録商標）が適用される。なお、検出部２１には、姿勢情報を検出可能な種々の構成を広く適用することができ、また無線通信においても、データ通信可能な種々の構成を広く適用することができる。

通信部１２は、この油圧ショベル２の本体３に設けられ、センサ部１１とのデータ通信によりセンサ部１１で取得した姿勢情報を収集して携帯情報端末装置１３に出力する。また、これとは逆に携帯情報端末装置１３から出力されるデータを取得して通知部１４に出力する。

通知部１４は、油圧ショベル２の運転席において、オペレータの操作を支援する情報をオペレータに通知する構成であり、この実施形態では、画像表示装置により形成される。このオペレータの操作を支援する情報には、施工目標に対する現在の施工位置等、オペレータの操作を支援可能な種々の情報を適用することができるものの、この実施形態では、基準方向（例えば水平方向）に対するアーム５の角度が適用され、これによりアーム５の傾きを簡易、且つ、精度良く確認できるように構成される。なお、通知部１４は、音声、警報音によりオペレータの操作を支援する情報を通知するようにしてもよく、携帯情報端末装置１３により兼用するようにしてもよい。

携帯情報端末装置１３は、所謂、スマートフォンやタブレット端末であり、通信部１２を介して得られるセンサ部１１による姿勢情報により、オペレータの操作を支援する情報を算出する。なお、携帯情報端末装置１３は、図面上では携帯端末と記載している。

より具体的に、携帯情報端末装置１３は、表示部３１、撮像部３２、操作部３３、システム制御部３４、通信部３５を備える。
ここで表示部３１は、液晶表示パネル等の画像表示パネルにより形成され、この携帯情報端末装置１３に係る各種の画像情報を表示し、操作部３３は、この表示部３１に配置されたタッチパネル等により形成され、オペレータの各種の操作を検出する。撮像部３２は、システム制御部３４の制御によりオペレータの操作に応動して撮像結果を取得する。
通信部３５は、無線通信によるデータ通信により通信部１２との間で姿勢情報、オペレータの操作を支援する情報等を入出力する。

システム制御部３４は、この作業支援システム１に係るアプリケーションソフトウェア（制御プログラム）を実行する演算処理回路等からなるものであり、表示部３１に各種の画像情報を表示し、さらに操作部３３の操作によりこの携帯情報端末装置１３の動作を切り替え、さらには作業支援システム１の動作を切り替える。
システム制御部３４は、このようにして各部の動作を制御してオペレータによりセットアップの処理が指示されると、図３に示す処理手順を実行し、基準取り付け位置に対するセンサ部１１の取り付け誤差を算出し、センサ部１１で検出される姿勢情報を補正するためのデータを登録する。
システム制御部３４は、この登録したデータにより通信部１２、３５から入力される姿勢情報を補正し、この補正した姿勢情報をオペレータの操作を支援する情報として送出する。

具体的にシステム制御部３４は、まず、このセットアップの処理を開始すると、表示部３１の表示によりオペレータに誤差算出に供するセンサ部１１の撮像を指示し、撮像部３２を介して得られる撮像結果の画像情報を記録する（図３のＳＰ１、ＳＰ２）（撮像結果取得ステップ）。ここで撮像部３２は、表示部３１の表示により例えば図４に示すように、撮像対象であるセンサ部１１の取り付け誤差を十分に検出可能に、センサ部１１が設けられている可動部であるアーム５の両端回動軸５Ａ、６Ａを含む一定の大きさにより撮像結果の取得を指示する。

ところで、図５は、図３のＳＰ１（可動部であるアーム５を撮像する際）の処理動作をさらに詳しく示したものである。以下、この図５の処理手順（撮像可否判断の処理手順）について説明する。なお、この図５の処理動作開始時点において、携帯情報端末装置１３の電源はオンになっているものとする。まず、図５のｓｐ１１では、撮像部３２の機能は有効であるが、画像情報を記録する機能を無効にする。これは、携帯情報端末装置１３が理想的な姿勢（所定の基準姿勢）になっていない場合に、画像が取得されることを防ぐためである。

次に、図５のｓｐ１２においては、携帯情報端末装置１３の姿勢情報を算出する。当該姿勢情報を算出するにあたっては、携帯情報端末装置１３に内蔵された携帯端末内蔵ＩＭＵ（Inertial Measurement Unit）センサを利用する。ここでの携帯端末内蔵ＩＭＵセンサは、３次元の加速度、角速度情報を取得可能である。具体的には、携帯情報端末装置１３に関して、ｘｙｚ座標系におけるｘ軸まわりの回転角であるロール角、ｙ軸まわりの回転角であるピッチ角、並びにｚ軸まわりの回転角であるヨー角の情報を算出する（図６参照）。

そして、システム制御部３４は、図５のｓｐ１３において、ロール角とピッチ角の双方が所定の閾値以下（例えば±２度以下）であるか否かを判断する処理を実行する。ここでの±２度とはｘ軸線上（またはｙ軸線上）をゼロとし、このｘ軸線上（またはｙ軸線上）から時計方向をプラスの角度とし、反時計方向をマイナスの角度とする。

システム制御部３４は、前記閾値以下となっていない場合には、表示部３１に警告表示部Ｄ１を表示する処理を実行する（図５のｓｐ１４）。例えば警告表示部Ｄ１としては、アーム５の画像を撮像する画像取得者に対し携帯情報端末装置１３の姿勢の修正を促すべく、「携帯情報端末装置の姿勢を確認して下さい」といった警告メッセージ（撮像不可能メッセージ）等を適用することができる（図７参照）。このように構成することで、画像取得者に対する注意喚起性を高めることができる。

一方、システム制御部３４は、前記閾値以下となっている場合には、画像取得者に対し画像取得の準備ができている旨の内容を示す撮像可能表示部Ｄ２を表示部３１に表示させる処理を実行する（図５のｓｐ１５）。撮像可能表示部Ｄ２としては、例えば画像を撮像して下さい等の撮像可能メッセージ等を適用することができる（図８参照）。なお、当該撮像可能メッセージに代えて例えば表示部３１の右下角部に表示された円形の画像取得可能マーク（図示せず）を所定の色（緑色等）で発光させてもよいし、場合によっては表示部３１の枠状の周縁部分を所定の色（緑色等）で発光させることで、画像取得者に対し画像を取得できることを報知してもよい。

次に、システム制御部３４は、図５のｓｐ１６において、上記のｓｐ１１で無効にしていた画像情報の記録機能を有効にし、可動部であるアーム５（つまりセンサ部１１）と正対（対峙）するように立っており、携帯情報端末装置１３を手で把持している画像取得者（図９の模式図参照）は理想的な姿勢となっている状態の携帯情報端末装置１３（撮像部３２）を利用してアーム５を撮像する。以上、説明した図４のｓｐ１１―ｓｐ１６により、アーム５の撮像が完了する。なお、このアーム５の撮像は、手動で撮像してもよいし、携帯情報端末装置１３に内蔵されたタイマー機能等を利用して自動で撮像してもよい。そして、システム制御部３４は、図３のＳＰ２にて、撮像部３２で得られる撮像結果の画像情報を記録可能（取得可能）に構成される。つまり、本例の場合、上述した図３のＳＰ１―ＳＰ２（つまり撮像画像取得ステップ）においては、可動部であるアーム５を撮像する際の携帯情報端末装置１３の姿勢が前記所定の基準姿勢となっているときに撮像結果を取得可能としている。

続いてシステム制御部３４は、取り付け誤差の検出基準である理想取り付け位置（基準取り付け位置）の条件指定を受け付ける（図３のＳＰ３）。ここで理想取り付け位置は、センサ部１１を正しく位置決めして取り付ける取り付け位置である。システム制御部３４は、例えば選択可能な理想取り付け位置を表示部３１で表示してセンサ部１１に応じたオペレータの選択によりこの条件の指定を受け付ける。システム制御部３４は、この条件指定に応じて撮像結果を画像処理して取り付け誤差の検出基準を設定する。図４は、この条件の指定により回動軸５Ａ、６Ａの回動中心５Ｂ、６Ｂを結ぶ直線Ｌ１が取り付け誤差の検出基準に設定された場合の例である。なお、この図４において、センサ部１１による姿勢情報の検出基準の水平線を符号ＬＨにより示す。

続いてシステム制御部３４は、撮像結果を画像処理して理想取り付け位置に係る直線Ｌ１に対するセンサ部１１の取り付け角度を検出することにより、この理想取り付け位置に対するセンサ部１１の取り付け誤差を算出する（図３のＳＰ４）（誤差算出ステップ）この図４の例では、センサ部１１が平面視、長方形形状の外形形状により形成され、この長方形形状に係る長辺Ｌ２が直線Ｌ１と並行になる配置が、正しい取り付け位置である。これにより直線Ｌ１に対するセンサ部１１の取り付け角度は０度であり、センサ部１１により正しくアーム５の姿勢情報を検出することができる。

これに対して図１０は、図４との対比によりセンサ部１１が位置ずれして傾いて取り付けられている例である。この場合、システム制御部３４は、直線Ｌ１に対する長辺Ｌ２の角度θ２が検出されることになる。
システム制御部３４は、このようにして検出した直線Ｌ１に対する長辺Ｌ２の角度θ２を、センサ部１１で検出される姿勢情報を補正するためのデータとして登録する。

これによりシステム制御部３４は、この登録したデータにより通信部１２、３５から入力される姿勢情報を補正し（図３のＳＰ５）（補正ステップ）、この補正した姿勢情報をオペレータの操作を支援する情報として送出する（図３のＳＰ６）。
ここで、このようにして角度θ２により配置されたセンサ部１１による姿勢情報が、角度θ３により検出されるものとする。正しい取り付け位置に配置されている場合に検出される角度をθ１とすると、角度θ１、θ２、θ３は、θ１＝θ２＋θ３の関係式により表すことができる。これによりシステム制御部３４は、通信部１２、３５から入力される姿勢情報の角度θ３に、登録したデータによる角度θ２を加算して姿勢情報を補正する。

以上の構成によれば、基準取り付け位置に対するセンサ部１１の取り付け誤差を算出して姿勢情報を補正することにより、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。さらに、情報携帯端末装置１３の姿勢が理想的な姿勢（前記基準姿勢）となっているときだけ、前記撮像結果を取得可能となり、アーム５を撮像可能であり、理想的な姿勢でない場合は表示部３１に携帯情報端末装置１３の姿勢の修正を促す警告表示部Ｄ１が表示されることから、画像取得時に画像の歪みが生じにくくなり、オペレータの操作をより正しく支援することができるという利点がある。

また、さらに情報携帯端末装置１３を使用してオペレータによりセットアップすることができ、また撮像と理想取り付け位置の選択操作とによる簡易な操作によりセットアップすることができる。
また、センサ部１１の取り付け位置を修正する必要がないことにより、センサ部１１の取り付け作業を簡易に実行することができ、情報携帯端末装置１３の通信機能の利用により正しい姿勢情報を適宜提供することができる。

次に、本発明の第２実施形態を図１１から図１４に基づいて説明する。この第２実施形態が、上記第１実施形態と異なる点は、図１１～図１３に示すようにセンサ部が複数設けられ、アーム５の右側部に加えてブーム４の左側部にもセンサ部が保持された（取り付けられた）構成としている点である。

そして、この第２実施形態では、ブーム４、アーム５、バケット６からなる複数の可動部で構成される部位を可動部材４０と定義し、後述する特許請求の範囲に記載されている第１の可動部はブーム４に相当し、第２の可動部はアーム５に相当する。つまり、この第２実施形態では、可動部材４０は、第１の可動部であるブーム４と第２の可動部であるアーム５とを少なくとも含む複数の可動部により構成される。

また、この第２実施形態では、上述のようにブーム４の左側部に保持されたセンサ部を第１のセンサ部５１、アーム５の右側部に保持されたセンサ部を第２のセンサ部５２とし、これら第１のセンサ部５１と第２のセンサ部５２とでセンサ部材５０が構成されるものとする。つまり、この第２実施形態では、センサ部材５０は、油圧ショベル２の可動部材４０に保持されて、前記センサにより姿勢情報を取得するものであり、第１のセンサ部５１と第２のセンサ部５２とを少なくとも含む複数のセンサ部により構成される。

この第２実施形態における第１の可動部（可動部）としてのブーム４は、その長手方向に沿い設けられる第１部位Ａ１と、この第１部位Ａ１と相対する位置に設けられる第２部位Ａ２とを備える。ここでの第１部位Ａ１とは、図１１におけるブーム４の左側部（左側面）に相当する部位であり、第２部位Ａ２とは、図１１におけるブーム４の右側部（右側面）に相当する部位である。同様に、第２の可動部（可動部）としてのアーム５は、その長手方向に沿い設けられる第１部位Ｂ１と、この第１部位Ｂ１と相対する位置に設けられる第２部位Ｂ２とを備える。ここでの第１部位Ｂ１とは、図１１におけるアーム５の左側部（左側面）に相当する部位であり、第２部位Ｂ２とは、図１１におけるアーム５の右側部（右側面）に相当する部位である。

ここで、第１のセンサ部５１と第２のセンサ部５２と第１部位Ａ１、Ｂ１と第２部位Ａ２、Ｂ２との位置関係に着目すると、第１のセンサ部５１はブーム４の第１部位Ａ１に保持され、第２のセンサ部５２はアーム５の第２部位Ｂ２に保持された構成としている。

また、ここでの携帯情報端末装置１３は、センサ部材５０とのデータ通信によりセンサ部材５０で取得した姿勢情報を取得し、当該姿勢情報に基づいてオペレータの操作を支援する情報をオペレータに通知するものである。センサ部５１とセンサ部５２とを撮像する処理手順としては、図１１で示すように可動部材４０の左右両側から携帯情報端末装置１３を用いて前記複数の可動部をそれぞれ撮像する必要がある。つまり、上記の図３のＳＰ１（前記撮像結果取得ステップ）では、第１のセンサ部５１を備えた第１部位Ａ１、Ｂ１の第１撮像結果と第２のセンサ部５２を備えた第２部位Ａ２、Ｂ２の第２撮像結果とを取得する処理手順が必要となる。

そして、上述の第１実施形態と同様に演算処理回路等からなるシステム制御部３４による制御のもと、上記の第１実施形態にて説明した図３のＳＰ４（誤差算出ステップ）にて、前記第１、第２の撮像結果を画像処理（画像の統合処理を実施）して、前記基準取り付け位置に対するセンサ部５１、５２の取り付け誤差を算出する。例えば、ここでの画像の統合処理の一例としては、前記第１、第２の撮像結果の双方を半透過の画像とするとともに前記第１の撮像結果で得られる半透過の画像を反転し、この反転された半透過の前記第１の撮像結果と半透過の前記第２の撮像結果とを重ね合わせる（統合する）処理を適用することができ、これにより前記誤差算出ステップにて、前記基準取り付け位置に対するセンサ部５１、５２の取り付け誤差を算出することができる。

その後、上記の第１実施形態にて説明した図３のＳＰ５（補正ステップ）にて、当該取り付け誤差により前記姿勢情報を補正する構成としている。なお、上記の画像の統合処理を実施するにあたっては、必要に応じて前記第１の撮像結果による画像の外形形状と前記第２の撮像結果による画像の外形形状とが一致するような外形調整処理を施してもよい。

以上のように本第２実施形態によれば、可動部材４０の同一面上に位置していない箇所にセンサ部が取り付けられている（つまりブーム４の左側面に第１のセンサ部５１が取り付けられるとともにアーム５の右側面に第２のセンサ部５２が取り付けられている）状況下であっても、基準取り付け位置に対するセンサ部の取り付け誤差を算出して姿勢情報を補正することにより、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができ、利便性を高めることができるという利点がある。

（他の実施形態）
本発明は、上述の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、実施形態及び図面に変更（構成要素の削除も含む）を加えることが可能である。

例えば上述の各実施形態では、携帯情報端末装置１３側で姿勢情報を補正する場合について述べたが本発明はこれに限らず、油圧ショベル２側で実行するようにしてもよい。

また上述の各実施形態では、アーム５の傾きによりオペレータの操作を支援する情報を提供する場合について述べたが本発明はこれに限らず、施工目標までの必要可動量によりオペレータの操作を支援する情報を提供する場合等に広く適用することができる。

また上述の第１実施形態では、作業支援システムの制御方法（または前記処理手順）として、センサ部１１を備えたアーム（可動部）５の撮像結果を画像処理して、基準取り付け位置に対するセンサ部１１の取り付け誤差を算出する誤差算出ステップと、当該取り付け誤差により前記姿勢情報を補正する補正ステップとを少なくとも備えたものであったが、これに代えてセンサ部１１を備えたアーム（可動部）５の撮像結果を画像処理して前記姿勢情報を補正する補正ステップを少なくとも備えた構成としてもよい。同様に、上述の第２実施形態では、作業支援システムの制御方法（または前記処理手順）として、前記第１、第２の撮像結果を画像処理して、基準取り付け位置に対するセンサ部５１、５２の取り付け誤差を算出する誤差算出ステップと、当該取り付け誤差により前記姿勢情報を補正する補正ステップとを少なくとも備えたものであったが、これに代えて前記第１、第２の撮像結果を画像処理して前記姿勢情報を補正する補正ステップを少なくとも備えた構成としてもよい。

なお、上述の各実施形態では、マシンガイダンスの機能により油圧ショベル２を操作するオペレータの作業を支援するものであったが、油圧ショベル２に代えて農業用機械等の作業機械に本発明を適用することができる。

１ 作業支援システム
２ 油圧ショベル
３ 本体
４ ブーム
５ アーム
６ バケット
１１ センサ部
１２、２３、３５ 通信部
１３ 携帯情報端末装置
１４ 通知部
２１ 検出部
２２ 演算部
３１ 表示部
３２ 撮像部
３３ 操作部
３４ システム制御部
４０ 可動部材
５０ センサ部材
５１ 第１のセンサ部
５２ 第２のセンサ部
Ａ１、Ｂ１ 第１部位
Ａ２、Ｂ２ 第２部位

Claims (4)

1. マシンガイダンスの機能によりオペレータの作業を支援する作業支援システムの制御方法において、
   前記作業支援システムは、
   作業機械の可動部に保持されて、センサにより姿勢情報を取得するセンサ部と、
   前記センサ部とのデータ通信により前記センサ部で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
   前記携帯情報端末装置は、携帯端末内蔵ＩＭＵ（Inertial Measurement Unit）センサを内蔵し、
   前記作業支援システムの制御方法は、
   前記センサ部を撮像対象に含む、前記可動部の撮像結果を取得する撮像結果取得ステップと、
   前記撮像結果を画像処理して前記姿勢情報を補正する補正ステップとを備え、
   前記撮像結果取得ステップは、前記可動部を撮像する際の前記携帯情報端末装置の姿勢が所定の基準姿勢となっているときにのみ前記撮像結果を取得可能とし、ここで、前記携帯情報端末装置の姿勢は、前記携帯端末内蔵ＩＭＵセンサを利用して算出される、
   ことを特徴とする作業支援システムの制御方法。
2. 演算処理回路による実行により所定の処理手順を実行させる作業支援システムの制御プログラムにおいて、
   前記作業支援システムは、
   建設機械の可動部に保持されて、センサにより姿勢情報を取得するセンサ部と、
   前記センサ部とのデータ通信により前記センサ部で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
   前記携帯情報端末装置は、携帯端末内蔵ＩＭＵ（Inertial Measurement Unit）センサを内蔵し、
   前記処理手順は、
   前記センサ部を撮像対象に含む、前記可動部の撮像結果を取得する撮像結果取得ステップと、
   前記撮像結果を画像処理して前記姿勢情報を補正する補正ステップとを備え、
   前記撮像結果取得ステップは、前記可動部を撮像する際の前記携帯情報端末装置の姿勢が所定の基準姿勢となっているときにのみ前記撮像結果を取得可能とし、ここで、前記携帯情報端末装置の姿勢は、前記携帯端末内蔵ＩＭＵセンサを利用して算出される、
   ことを特徴とする作業支援システムの制御プログラム。
3. マシンガイダンスの機能によりオペレータの作業を支援する作業支援システムの制御方法において、
   前記作業支援システムは、
   作業機械の可動部材に保持されて、センサにより姿勢情報を取得するセンサ部材と、
   前記センサ部材とのデータ通信により前記センサ部材で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
   前記可動部材は、第１の可動部と第２の可動部とを少なくとも含む複数の可動部により構成され、
   前記センサ部材は、第１のセンサ部と第２のセンサ部とを少なくとも含む複数のセンサ部により構成され、
   前記可動部は、その長手方向に沿い設けられる第１部位と、前記第１部位と相対する位置に設けられる第２部位とを備え、
   第１のセンサ部は、前記第１の可動部の前記第１部位に保持され、
   第２のセンサ部は、前記第２の可動部の前記第２部位に保持され、
   前記作業支援システムの制御方法は、
   前記第１のセンサ部を撮像対象に含む、前記第１部位の第１撮像結果と、前記第２のセンサ部を撮像対象に含む、前記第２部位の第２撮像結果とを取得する撮像結果取得ステップと、
   前記第１、第２の撮像結果を画像処理して前記姿勢情報を補正する補正ステップとを備えた、
   ことを特徴とする作業支援システムの制御方法。
4. 演算処理回路による実行により所定の処理手順を実行させる作業支援システムの制御プログラムにおいて、
   前記作業支援システムは、
   建設機械の可動部材に保持されて、センサにより姿勢情報を取得するセンサ部材と、
   前記センサ部材とのデータ通信により前記センサ部材で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
   前記可動部材は、第１の可動部と第２の可動部とを少なくとも含む複数の可動部により構成され、
   前記センサ部材は、第１のセンサ部と第２のセンサ部とを少なくとも含む複数のセンサ部により構成され、
   前記可動部は、その長手方向に沿い設けられる第１部位と、前記第１部位と相対する位置に設けられる第２部位とを備え、
   第１のセンサ部は、前記第１の可動部の前記第１部位に保持され、
   第２のセンサ部は、前記第２の可動部の前記第２部位に保持され、
   前記処理手順は、
   前記第１のセンサ部を撮像対象に含む、前記第１部位の第１撮像結果と、前記第２のセンサ部を撮像対象に含む、前記第２部位の第２撮像結果とを取得する撮像結果取得ステップと、
   前記第１、第２の撮像結果を画像処理して前記姿勢情報を補正する補正ステップとを備えた、
   ことを特徴とする作業支援システムの制御プログラム。
   

Images