Nothing Special   »   [go: up one dir, main page]

JP7521443B2 - 作業支援システムおよび作業支援複合システム - Google Patents

作業支援システムおよび作業支援複合システム Download PDF

Info

Publication number
JP7521443B2
JP7521443B2 JP2021014768A JP2021014768A JP7521443B2 JP 7521443 B2 JP7521443 B2 JP 7521443B2 JP 2021014768 A JP2021014768 A JP 2021014768A JP 2021014768 A JP2021014768 A JP 2021014768A JP 7521443 B2 JP7521443 B2 JP 7521443B2
Authority
JP
Japan
Prior art keywords
worker
work
processing element
work machine
support processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021014768A
Other languages
English (en)
Other versions
JP2022118330A (ja
Inventor
有輝 森田
裕介 藤原
員弘 上田
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2021014768A priority Critical patent/JP7521443B2/ja
Priority to PCT/JP2021/045801 priority patent/WO2022168443A1/ja
Priority to EP21924828.3A priority patent/EP4265857A4/en
Priority to CN202180090411.2A priority patent/CN116848307A/zh
Priority to US18/272,932 priority patent/US20240248492A1/en
Publication of JP2022118330A publication Critical patent/JP2022118330A/ja
Application granted granted Critical
Publication of JP7521443B2 publication Critical patent/JP7521443B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/689Pointing payloads towards fixed or moving targets
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • B64U30/21Rotary wings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/13Propulsion using external fans or propellers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/90Launching from or landing on platforms
    • B64U70/92Portable platforms
    • B64U70/93Portable platforms for use on a land or nautical vehicle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/20UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00Details of software or hardware architectures used for the control of position
    • G05D2101/20Details of software or hardware architectures used for the control of position using external object recognition
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/05Specific applications of the controlled vehicles for soil shifting, building, civil engineering or mining, e.g. excavators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/70Specific applications of the controlled vehicles for displaying or announcing information
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/90Building sites; Civil engineering
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/20Aircraft, e.g. drones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/20Aircraft, e.g. drones
    • G05D2109/25Rotorcrafts
    • G05D2109/254Flying platforms, e.g. multicopters

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Description

本発明は、作業機械の状態を作業者に報知する技術に関する。
オペレータによる遠隔操作または実機操作によって作業機械が移動する場合、作業現場にいる作業者の安全性確保のため、この作業者に作業機械の進行方向を知らせる必要がある。そこで、搬送車が無人運転モードにしたがって動作する際、無人飛行体により当該搬送車の誘導経路の画像が路面に投影される技術を利用することが考えられる(例えば、特許文献1参照)。
特許第6707600号公報
しかし、作業者が作業機械の誘導経路から離間している場合、当該誘導経路が路面に対して投影されていること、ひいては作業機械の進行方向を作業者に知らせることが困難になる。
そこで、本発明は、作業機械と作業者との間隔の長短に関わらず、作業者にとっての作業機械の移動態様の報知の確実を図ることができるシステムを提供することを目的とする。
本発明の作業支援システムは、
作業者および作業機械のそれぞれの位置を時系列的に認識する第1支援処理要素と、
無人飛行機の飛行動作機能を制御することにより、前記第1支援処理要素により認識された前記作業者の位置を下方に臨む位置に前記無人飛行機を移動させ、かつ、前記無人飛行機の標識投影機能を制御することにより、前記第1支援処理要素により認識された前記作業機械の位置の時系列に基づいて定まる当該作業機械の移動態様を表わす標識画像を前記作業者の周辺領域に投影させる第2支援処理要素と、
を備えている。
当該構成の作業支援システムによれば、無人飛行機により作業者の周辺領域(例えば、作業者が視認可能な程度に当該作業者の近傍にある地面)に対して標識画像が投影される。「標識画像」は、作業機械の移動態様を表わす画像である。このため、作業機械と作業者との間隔の長短に関わらず、作業者の位置とは無関係な場所に標識画像が投影される場合と比較して、作業者にとっての作業機械の移動態様の報知の確実が図られる。
本発明の作業支援システムにおいて、
前記第1支援処理要素が、前記第1支援処理要素により認識された前記作業機械の位置の時系列に基づいて定まる第1指定領域を認識し、
前記第2支援処理要素が、前記第1支援処理要素により認識された前記作業者の位置が、前記第1指定領域に含まれていることを要件として、前記無人飛行機に前記標識画像を前記作業者の周辺領域に投影させてもよい。
当該構成の作業支援システムによれば、作業機械の位置の時系列に基づいて定まる第1指定領域に、作業者の位置が含まれていることを要件として、当該作業機械の移動態様を当該作業者の周辺領域に投影された標識画像を通じて認識させることができる。
本発明の作業支援システムにおいて、
前記第1支援処理要素が、前記第1支援処理要素により認識された前記作業者の位置の時系列に基づいて定まる第2指定領域を認識し、
前記第2支援処理要素が、前記第1支援処理要素により認識された前記第2指定領域に、前記第1指定領域または前記作業機械の位置の時系列の少なくとも一部が含まれているか否かに応じて、前記無人飛行機に前記第1指定領域の地面に対して前記標識画像を異なる態様で投影させてもよい。
当該構成の作業支援システムによれば、作業機械の位置の時系列またはこれに基づいて定まる第1指定領域の一部が、作業者の位置の時系列に応じて定まる第2指定領域に含まれているか否かの別に応じて、当該作業者の周辺領域に対して、無人飛行機によって異なる態様で標識画像が投影される。標識画像の投影態様の相違により、第1指定領域の一部が第2指定領域に含まれているか否かを作業者に認識させることができる(例:こちらに向かっている作業機械が第2指定領域を通行するか否かがわかる)。
本発明の作業支援システムにおいて、
前記第2支援処理要素が、前記作業者の周辺領域のうち、当該作業者の位置を基準として、前記第1支援処理要素により認識された前記作業機械の位置またはその時系列が存在する方位に偏在する場所に対して、前記無人飛行機に前記標識画像を投影させてもよい。
当該構成の作業支援システムによれば、作業者の位置を基準として標識画像が投影されている方位に作業機械が存在することを、当該作業者に認識させることができる。
本発明の作業支援システムにおいて、
前記第2支援処理要素が、前記第1支援処理要素により認識された前記作業機械および前記作業者のそれぞれの位置に基づき、前記無人飛行機に、前記作業者の位置を基準とした前記作業機械の位置またはその時系列が存在する方位を表わす前記標識画像を前記作業者の周辺領域に投影させてもよい。
当該構成の作業支援システムによれば、無人飛行機により作業者の周辺領域に投影された標識画像(詳細にはそのデザインおよび/または投影態様)を通じて、作業機械の移動態様として、作業者の位置を基準として作業機械の位置またはその時系列が存在する方位を当該作業者に認識させることができる。
本発明の作業支援システムにおいて、
前記第2支援処理要素が、前記無人飛行機によって前記作業者の周辺領域に投影される前記標識画像によって移動態様が表わされる前記作業機械に、前記作業者に視認可能な形態で報知を出力させてもよい。
当該構成の作業支援システムによれば、作業機械により出力される視認可能な報知によって、無人飛行機により作業者の周辺領域に投影された標識画像により移動態様が表わされている作業機械を当該作業者に認識させることができる。これは、作業現場に複数の作業機械が存在し、当該複数の作業機械のうちいずれの作業機械の移動態様に注目すべきであるかを作業者に識別させることができる。
本発明の作業支援システムにおいて、
前記第2支援処理要素が、前記作業者の周辺領域に対する前記無人飛行機による前記標識画像の投影態様と、当該標識画像によって移動態様が表わされる前記作業機械による前記標識報知の出力態様と、を対応させてもよい。
当該構成の作業支援システムによれば、作業機械により出力される視認可能な標識報知によって、無人飛行機により作業者の周辺領域に投影された標識画像により移動態様が表わされている作業機械を当該作業者に認識させることができる。このため、作業現場に複数の作業機械が存在する場合でも、当該複数の作業機械のうちいずれの作業機械の移動態様に注目すべきであるかを作業者に明確に把握させることができる。
本発明の作業支援システムにおいて、
前記第2支援処理要素が、前記第1支援処理要素により認識された前記作業者の位置を下方に臨む位置に前記無人飛行機を移動させる場合、前記作業機械のオペレータが接している出力インターフェースに、前記作業者の位置を下方に臨む位置に前記無人飛行機を移動させる旨を表わす情報を出力させてもよい。
当該構成の作業支援システムによれば、無人飛行機の飛行態様が変化することに対するオペレータの違和感を軽減または解消することができる。
本発明の作業支援複合システムは、
前記作業支援システムと、前記無人飛行機と、により構成されている。
本発明の一実施形態としての作業支援複合システムの構成説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 作業支援システムの第1機能に関する説明図。 作業支援システムの第2機能に関する説明図。 作業環境画像に関する説明図。 無人飛行機による作業機械の誘導機能に関する説明図。 実機状態の報知対象となる作業者の第1特定態様に関する説明図。 実機状態の報知対象となる作業者の第2特定態様に関する説明図。 無人飛行機による作業者への実機状態の第1報知態様に関する説明図。 無人飛行機による作業者への実機状態の第2報知態様に関する説明図。 無人飛行機による作業者への実機状態の第3報知態様に関する説明図。 無人飛行機による作業者への実機状態の第4報知態様に関する説明図。 無人飛行機による作業者への実機状態の第5報知態様に関する説明図。 複数の無人飛行機の第1連携態様に関する説明図。 複数の無人飛行機の第2連携態様に関する説明図。 無人飛行機による作業者への実機状態の第6報知態様に関する説明図。
(遠隔操作システムの構成)
図1に示されている本発明の一実施形態としての作業支援システムは、遠隔操作装置20による作業機械40の遠隔操作を支援するための作業支援サーバ10により構成されている。作業支援サーバ10と、遠隔操作装置20、作業機械40、無人飛行機60および携帯端末装置80のそれぞれとは相互に共通のまたは別個のネットワークを介して通信可能に構成されている。
本発明の構成要素(ハードウェア)が、指定情報を「認識する」とは、当該指定情報を受信すること、当該指定情報を内部記憶装置(例えば、メモリ)および/または外部記憶装置(例えば、外部のデータベースサーバ)から読み取るまたは検索すること、受信、読み取り、検索等された情報を対象にして演算処理を実行することにより指定情報を算定、推定、予測、同定等すること、など、指定情報を後続の演算処理において利用可能な形態で準備するためのあらゆる演算処理を包含する概念である。
(作業支援サーバの構成)
作業支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、撮像画像データ等を記憶保持する。データベース102は、作業支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
(遠隔操作装置の構成)
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、遠隔画像出力装置221と、遠隔音響出力装置222と、遠隔無線通信機器224と、を備えている。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
遠隔操作機構211を構成する各操作レバーは、例えば、図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図2に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
遠隔画像出力装置221は、例えば図2に示されているように、シートStの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212により構成されている。中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のそれぞれの画面(画像表示領域)の形状およびサイズは同じであってもよく相違していてもよい。
図2に示されているように、中央遠隔画像出力装置2210の画面および左側遠隔画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側遠隔画像出力装置2211の右縁が、中央遠隔画像出力装置2210の左縁に隣接している。図2に示されているように、中央遠隔画像出力装置2210の画面および右側遠隔画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側遠隔画像出力装置2212の左縁が、中央遠隔画像出力装置2210の右縁に隣接している。当該傾斜角度θ1およびθ2は同じであっても相違していてもよい。
中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置2210が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
遠隔音響出力装置222は、一または複数のスピーカーにより構成され、例えば図2に示されているように、シートStの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央遠隔音響出力装置2220、左側遠隔音響出力装置2221および右側遠隔音響出力装置2222により構成されている。中央遠隔音響出力装置2220、左側遠隔音響出力装置2221および右側遠隔音響出力装置2222のそれぞれの仕様は同じであってもよく相違していてもよい。
(作業機械の構成)
図1に示されているように、作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル(建設機械)であり、図3に示されているように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、を備えている。上部旋回体420の前方左側部にはキャブ424(運転室)が設けられている。上部旋回体420の前方中央部には作業機構440が設けられている。
実機入力インターフェース41は、実機操作機構411と、実機撮像装置412と、実機状態センサ群414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。実機撮像装置412は、例えばキャブ424の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する。フロントウィンドウ(またはウィンドウフレーム)およびサイドウィンドウのうち一部または全部が省略されていてもよい。実機状態センサ群414は、上部旋回体410に対するブーム441の回動角度(起伏角度)、ブーム441に対するアーム443の回動角度、および、アーム443に対するバケット445の回動角度のそれぞれを測定するための角度センサ、下部走行体410に対する上部旋回体420の旋回角度を測定するための旋回角度センサ、バケット445に対して作用する外力を測定するための外力センサ、上部旋回体420に作用する3軸加速度を測定するための3軸加速度センサ等により構成されている。
実機出力インターフェース42は、実機画像出力装置421と、実機無線通信機器422と、を備えている。実機画像出力装置421は、例えば、キャブ424の内部であってフロントウィンドウの近傍に配置されている(図6および図9参照)。実機画像出力装置421は、省略されていてもよい。
作動機構としての作業機構440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業機構440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。作業部として、バケット445のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
(無人飛行機の構成)
無人飛行機60は、回転翼機であり、複数の羽根、当該複数の羽根を回転させるための電動モータ(アクチュエータ)およびモータ等に電力を供給するバッテリなどを備えている。無人飛行機60は、遠隔入力インターフェース210および/または実機入力インターフェース410により構成される飛行機遠隔操作装置により遠隔操作されてもよい。無人飛行機60は、作業機械40の構成要素であってもよい。この場合、作業機械40には、無人飛行機60が発着するベースメントを備えていてもよい。
無人飛行機60は、飛行機制御装置600と、飛行機入力インターフェース610と、飛行機出力インターフェース620と、を備えている。飛行機制御装置600は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
飛行機入力インターフェース610は、飛行機撮像装置612と、飛行機状態センサ群614と、を備えている。飛行機撮像装置612は、アクチュエータによりその光軸を全方位に向けることができるように構成されている。飛行機状態センサ群614は、無人飛行機60の上下方向および水平方向についての位置、速度および/または姿勢などを測定するための測位センサ、速度センサおよび/または加速度センサ、ジャイロセンサ等により構成されている。無人飛行機60に搭載されているGPS等の測位装置により、世界座標系(または実空間座標系)における緯度(Y座標値)および経度(X座標値)が測定される。TOFセンサまたは気圧センサにより、世界座標系における絶対高度または気圧高度(Z座標値)が測定される。
飛行機出力インターフェース620は、飛行機機無線通信機器622と、飛行機投影装置624と、飛行機音響出力装置626と、を備えている。飛行機投影機器624は、LEDおよび/またはレーザーなどの発光素子と、当該発光素子の発光動作を制御するドライバと、発光素子からの光を指定方向に向けるための光学系駆動機構と、を有し、無人飛行機60の下方の所定範囲に標識画像を投影するように構成されている。飛行機音響出力要素626は、飛行機60の下方の所定範囲に向けて音響(例えば、指向性のある音響)を出力するように構成されている。
(携帯端末装置の構成)
携帯端末装置80は、例えば、スマートホンなど、作業員により携帯されるサイズおよび重量に設計された端末装置により構成されている。携帯端末装置80は、端末制御装置800と、端末入力インターフェース810と、端末出力インターフェース820と、を備えている。端末制御装置800は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
端末入力インターフェース810は、端末撮像装置812と、端末状態センサ群814と、を備えている。端末状態センサ群814は、携帯端末装置80の上下方向および水平方向についての位置、速度および/または姿勢などを測定するための測位センサ、速度センサおよび/または加速度センサ、ジャイロセンサ等により構成されている。端末出力インターフェース820は、端末画像出力装置821と、端末無線通信機器822と、を備えている。
(第1機能)
前記構成の作業支援サーバ10、遠隔操作装置20および作業機械40の連携により発揮される作業支援システムの基本機能としての第1機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた指定操作の有無が判定される(図4/STEP210)。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械40を指定するための遠隔入力インターフェース210におけるタップなどの操作である。当該判定結果が否定的である場合(図4/STEP210‥NO)一連の処理が終了する。その一方、当該判定結果が肯定的である場合(図4/STEP210‥YES)、遠隔無線通信機器224を通じて、作業支援サーバ10に対して環境確認要求が送信される(図4/STEP212)。
作業支援サーバ10において、環境確認要求が受信された場合、第1支援処理要素121により当該環境確認要求が該当する作業機械40に対して送信される(図4/C10)。
作業機械40において、実機無線通信機器422を通じて環境確認要求が受信された場合(図4/C40)、実機制御装置400が実機撮像装置412を通じて撮像画像を取得する(図4/STEP410)。作業機械40とその周囲を飛行している無人飛行機60との通信に基づき、実機制御装置400が当該無人飛行機60に搭載されている飛行機撮像装置612を通じて撮像画像を取得してもよい。実機制御装置400により、実機無線通信機器422を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置10に対して送信される(図4/STEP412)。
作業支援サーバ10において、第1支援処理要素121により撮像画像データが受信された場合(図4/C11)、第2支援処理要素122により撮像画像に応じた環境画像データが遠隔操作装置20に対して送信される(図4/STEP110)。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。
遠隔操作装置20において、遠隔無線通信機器224を通じて環境画像データが受信された場合(図4/C21)、遠隔制御装置200により、環境画像データに応じた環境画像が遠隔画像出力装置221に出力される(図4/STEP214)。
これにより、例えば、図6に示されているように、作業機構440の一部であるブーム441、アーム443およびバケット445が映り込んでいる環境画像が遠隔画像出力装置221に出力される。
遠隔操作装置20において、遠隔制御装置200により遠隔操作機構211の操作態様が認識され(図4/STEP216)、かつ、遠隔無線通信機器224を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ10に対して送信される(図4/STEP218)。
作業支援サーバ10において、第2支援処理要素122により当該遠隔操作指令が受信された場合、第1支援処理要素121により、当該遠隔操作指令が作業機械40に対して送信される(図4/C12)。
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(図4/C41)、作業機構440等の動作が制御される(図4/STEP414)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体410を旋回させたうえでバケット445から土を落とす作業が実行される。
(第2機能)
前記構成の作業支援サーバ10、遠隔操作装置20、作業機械40、無人飛行機60および携帯端末装置80の連携により発揮される作業支援システムの実機状態報知機能である第2機能について図5に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
作業機械40において、実機制御装置400により、実機状態センサ群414を構成する測位センサを通じて、当該作業機械40の位置(緯度および経度により特定される。)を表わす実機測位データが取得される(図5/STEP420)。実機制御装置400により、実機無線通信機器422を通じて、実機測位データが作業支援サーバ10に宛てて送信される(図5/STEP422)。
作業支援サーバ10において、実機測位データが受信された場合(図5/C14)、第1支援処理要素121により、作業機械40の位置である実機位置が認識される(図5/STEP121)。
続いて、第2支援処理要素122により、作業機械40をデータベース102に登録されている実機目標位置軌道にしたがって誘導する(実機位置を実機目標位置軌道に一致させる)ための飛行機60の位置の時系列である飛行機目標位置軌道を含む、実機誘導飛行指令が生成され、かつ、該当する無人飛行機60に対して送信される(図5/STEP122)。実機目標位置軌道は、遠隔操作装置20において遠隔入力インターフェース210を通じて設定されたうえで、データベース102に登録されていてもよい。実機目標位置軌道に代えて、実機位置の過去の時系列から予測される作業機械40の将来位置の時系列である実機予測位置軌道が用いられてもよい。
作業機械40と無人飛行機60との干渉を回避するため、実機誘導飛行指令には、ブーム141、アーム143およびバケット145のそれぞれの作業機械座標系(上部旋回体120に対して位置および姿勢が固定されている座標系)における位置および姿勢の測定結果が含まれていてもよい。当該測定結果は、例えば、上部旋回体120およびブーム141の連結機構(または関節機構)、ブーム141およびアーム143の連結機構、ならびに、アーム143およびバケット145の連結機構のそれぞれの角度、さらにはブーム141、アーム143およびバケット145のそれぞれのサイズに基づいて算定される。
無人飛行機60において、飛行機制御装置600により、飛行機無線通信機器622を通じて実機誘導飛行指令が受信された場合(図5/C61)、当該指令に含まれる飛行機目標位置軌道(または実機目標位置軌道)にしたがって、無人飛行機60の飛行態様が制御される(図5/STEP621)。具体的には、飛行機制御装置600により、当該飛行指令信号にしたがって、アクチュエータ(電動モータ)ひいては当該アクチュエータを動力源とする複数の羽根のそれぞれの回転動作が制御される。これにより、無人飛行機60は、複数の羽根を回転させることにより生じる気流によって飛行し、その場で上昇もしくは下降し、または、空中にとどまることができる。これにより、図7に示されているように、無人飛行機60が作業機械40を第1位置P1から第2位置P2まで誘導または先導するように当該作業機械40の前方を飛行する。
遠隔操作装置20において、作業環境画像(図6参照)に映り込んでいる無人飛行機60の進行方向を参考にして、オペレータにより遠隔操作機構211を構成する走行レバー等が操作されることにより、作業機械40が当該無人飛行機60に追従するように遠隔制御される(図4/STEP216→STEP218→‥→STEP414参照)。キャブ424に搭乗しているオペレータにより、当該キャブ424の前方に存在する無人飛行機60の進行方向を参考にして、実機操作機構411を構成する走行レバー等が操作されることにより、作業機械40が当該無人飛行機60に追従するように制御されてもよい。そのほか、作業機械40において、実機制御装置400により、作業環境画像またはその一部である指定画像領域に無人飛行機60が含まれるように、すなわち作業機械40が当該無人飛行機60に追従するように制御されてもよい。
携帯端末装置80において、端末制御装置800により、端末状態センサ群814を構成する測位センサを通じて、当該携帯端末装置80の位置(ひいてはこれを携帯している作業者の位置)(緯度および経度により特定される。)を表わす端末測位データが取得される(図5/STEP820)。端末制御装置800により、端末無線通信機器822を通じて、端末測位データが作業支援サーバ10に宛てて送信される(図5/STEP822)。
作業機械40に搭載されている実機撮像装置412および/または無人飛行機60に搭載されている飛行機撮像装置612を通じて取得された撮像画像における位置と、作業機械40および/または無人飛行機60の位置と、に基づき、当該作業者の位置が認識されてもよい。この観点から、携帯端末装置80またはその一部の機能が省略されてもよい。
作業支援サーバ10において、端末測位データが受信された場合(図5/C16)、第1支援処理要素121により、携帯端末装置80の位置が認識される(図5/STEP123)。
続いて、第2支援処理要素122により、現在位置(または将来の予測位置)が第1指定領域R1に含まれている作業者の有無が判定される(図5/STEP124)。第1指定領域R1は、作業機械40の位置を基準として定義される領域である。例えば、図8Aおよび図8Bのそれぞれに示されているように、作業機械40の現在位置を含み、かつ、作業機械40の進行方向(図8Aおよび図8Bの破線矢印参照)に偏在している領域が第1指定領域R1として定義されていてもよい。作業機械40に対してその進行方向または前方に離間している領域が第1指定領域R1として定義されていてもよい。第1指定領域R1の水平面または地面における形状は、円形のほか、楕円形、三角形、矩形、台形、正N角形(Nは5以上の整数)など、様々な形状であってもよい。第1指定領域R1のサイズは、作業機械40の空間占有体積または広がりの大小および/または作業機械40の移動速度の高低に応じて定められていてもよい。
図8Aに示されているように、第1作業者W1が第1指定領域R1に含まれている場合、第1作業者W1に関して当該判定結果は肯定的になる。その一方、図8Aに示されているように、第2作業者W2が第1指定領域R1から外れている場合、第2作業者W2に関して当該判定結果は否定的になる。
当該判定処理(図5/STEP124)に代えてまたは加えて、作業者の位置の時系列に基づいて予測される当該作業者の予測位置またはこれを基準として広がる第2指定領域R2と、第1指定領域R1との重なりの有無が判定されてもよい。例えば、図8Bに示されているように、第1作業者W1の予測位置軌道(一点鎖線矢印参照)を基準に広がる第2指定領域R2(W1)が第1指定領域R1と重なっていない場合、第1作業者W1に関して当該判定結果は否定的になる。その一方、図8Bに示されているように、第2作業者W2の予測位置軌道(二点鎖線矢印参照)を基準に広がる第2指定領域R2(W2)が第1指定領域R1と重なっている場合、第2作業者W2に関して当該判定結果は肯定的になる。第2指定領域R2の水平面または地面における形状は、円形のほか、楕円形、三角形、矩形、台形、正N角形(Nは5以上の整数)など、様々な形状であってもよい。第2指定領域R2のサイズは、作業者の移動速度の高低に応じて定められていてもよい。第2指定領域は、例えば、作業計画に基づいて作業者に定められている持ち場が設定される。
当該判定結果が否定的である場合(図5/STEP124‥NO)、実機測位データの受信に応じた実機誘導飛行指令および送信処理が繰り返される(図5/C14→STEP121→STEP122)。
その一方、当該判定結果が肯定的である場合(図5/STEP124‥YES)、該当する作業者の位置を含む実機状態報知指令が、該当する無人飛行機60に宛てて送信される(図5/STEP126)。この際、第2支援処理要素122が、作業者の位置を下方に臨む位置に無人飛行機60を移動させる旨の情報を、遠隔出力インターフェース220に出力させてもよい。
無人飛行機60において、飛行機制御装置600により、飛行機無線通信機器622を通じて実機状態報知指令が受信された場合(図5/C62)、当該指令に含まれる作業者の位置に向かうように無人飛行機60の飛行態様が制御される(図5/STEP622)。これにより、図8Aに示されているように、該当する第1作業者W1に向かって無人飛行機60が飛行する(点線矢印参照)。また、図8Bに示されているように、該当する第2作業者W2に向かって無人飛行機60が飛行する(点線矢印参照)。
さらに、作業者の位置を下方に臨む位置に無人飛行機60が到達した場合、飛行機制御装置600により、飛行機投影装置624の動作が制御されることにより、当該作業者の周辺領域に対して標識画像が投影される(図5/STEP623)。「標識画像」は、作業機械40の移動速度(移動方向を含む。)、加速度もしくは減速度および/または作業者との間隔などにより特定される、当該作業機械40の移動態様を表わす画像である。作業機械40の移動態様の相違は、例えば、標識画像の形状、色もしくは模様またはこれらの任意の組み合わせ、あるいは、これらの時系列的な変化態様の相違によって識別可能に表わされる。作業者の周辺領域は、当該作業者を基準として広がる領域であり、例えば、作業者からみて作業機械40が存在する方位に偏在している領域であってもよい。
これにより、例えば、図8Aに示されている状況では、図9Aに示されているように、第1作業者W1の周辺領域S(R1)に対して標識画像Mが無人飛行機60により投影される。また、図8Bに示されている状況では、図9Bに示されているように、第2作業者W2の周辺領域S(R2)に対して標識画像Mが無人飛行機60により投影される。
作業者の位置が第1指定領域R1に含まれている場合、当該作業者の予測位置軌道に応じた第2指定領域R2が当該第1指定領域R1と重なっているか否かに応じて、標識画像Mの投影態様が差別化されていてもよい。
第2支援処理要素122が、作業者の周辺領域のうち、当該作業者の位置を基準として、第1支援処理要素121により認識された作業機械40の位置(現在位置および/または将来の予測位置)またはその時系列が存在する方位に偏在する場所に対して、無人飛行機60に標識画像Mを投影させてもよい。例えば、作業者から見て東方位に作業機械40の現在位置が存在する場合、当該作業者の周辺領域の東方位に標識画像Mが投影されてもよい。その後、作業者から見て東北方位に作業機械40が移動した場合、当該作業者の周辺領域の東北方位に標識画像Mが投影されてもよい。
第2支援処理要素122が、第1支援処理要素121により認識された作業機械40および作業者のそれぞれの位置に基づき、無人飛行機60に、当該作業者の位置を基準とした作業機械40の位置(現在位置および/または将来の予測位置)またはその時系列が存在する方位を表わす標識画像Mを、当該作業者の周辺領域に投影させてもよい。例えば、作業機械40の現在位置に対する作業機械40の時系列が存在する方位が直線的である場合には、図10Aに示されているように、無人飛行機60に、直線的な形状を表す標識画像Mを当該作業者の周辺領域に投影させ、作業機械40の現在位置に対する作業機械40の時系列が存在する方位が曲線的である場合、すなわち作業機械40が右方向又は左方向にターンする場合には、図10Bに示されているように、無人飛行機60に、曲線的な形状を表す標識画像Mを当該作業者の周辺領域に投影させるようにしてもよい。
第1作業者W1および第2作業者W2がともに第1指定領域R1に含まれ、かつ、周辺領域S(R1)およびS(R2)が重なる程度に両者の間隔が小さい場合、図9Cに示されているように、当該重なり領域に対して標識画像Mが無人飛行機60により投影されてもよい。さらに、第1作業者W1および第2作業者W2がともに第1指定領域R1に含まれ、かつ、周辺領域S(R1)およびS(R2)が重ならない程度に両者の間隔が大きい場合、当該周辺領域S(R1)およびS(R2)のそれぞれに対して標識画像Mが無人飛行機60により逐次的に投影されてもよい。対象となる作業者の数が多くなるほど標識画像Mの投影時間が長くなるように制御されてもよい。この際の標識画像Mの投影順序は、作業機械40と各作業者との間隔の長短に応じて(例えば、当該間隔が短いほうが先になるように)定められてもよい。
無人飛行機60において、飛行機制御装置600により、飛行機無線通信機器622を通じて実機状態報知指令が受信された場合(図5/C62)、標識画像Mの投影に代えてまたは加えて、当該指令に含まれる作業者の位置に向かう指向性のある音響が、飛行機音響出力要素626から出力されてもよい。
標識画像Mの投影対象になった作業者により携帯されている携帯端末装置80において、端末制御装置800により、端末入力インターフェース810を通じて、標識確認操作の有無が判定される(図5/STEP824)。
当該判定結果が否定的である場合(図5/STEP824‥NO)、端末測位データの取得(図5/STEP820)以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合(図5/STEP824‥YES)、標識確認データが作業支援サーバ10に対して送信される(図5/STEP826)。
作業支援サーバ10において、標識確認データが受信された場合(図5/C18)、第2支援処理要素122により、実機状態報知停止指令が、該当する無人飛行機60に対して送信される(図5/STEP128)。
無人飛行機60において、飛行機制御装置600により、飛行機無線通信機器622を通じて実機状態報知停止指令が受信された場合(図5/C64)、当該指令に含まれる作業者の周辺領域に対する無人飛行機60による標識画像Mの投影が停止される(図5/STEP624)。実機状態報知停止指令がない場合、無人飛行機60による標識画像Mの投影が開始されてから指定期間が経過してから自動的に無人飛行機60による標識画像Mの投影が停止される。その後、実機誘導飛行指令の受信に応じた無人飛行機60の飛行態様の制御が実行される(図5/C61→STEP621)。所定回数(例えば、1回)にわたり、標識画像の投影対象になった作業機械40および作業者の組み合わせに関して、当該作業機械40の移動態様を表わす標識画像の、当該作業者の周辺領域に対する投影は省略されてもよい。
(効果)
当該構成の作業支援システムによれば、無人飛行機60により作業者の周辺領域(例えば、作業者が視認可能な程度に当該作業者の近傍にある地面)に対して標識画像Mが投影される(図9A~図9C参照)。標識画像Mは、作業機械40の移動態様を表わす画像である。このため、作業機械40と作業者との間隔の長短に関わらず、作業者の位置とは無関係な場所に標識画像Mが投影される場合と比較して、作業者にとっての作業機械40の移動態様の報知の確実が図られる。
(本発明の他の実施形態)
前記実施形態では、作業支援サーバ10により作業支援システムが構成されていたが、他の実施形態として遠隔操作装置20、作業機械40、無人飛行機60および/または携帯端末装置80により、作業支援システムの少なくとも一部の機能が発揮されてもよい。例えば、第2機能(図5参照)に関して、無人飛行機60により、第2支援処理要素122の機能が発揮されてもよい。
前記実施形態では、1台の作業機械40と1台の無人飛行機60とが連携していたが、他の実施形態として、1台の作業機械40と複数台の無人飛行機60とが連携していてもよい。
例えば、図11Aに示されているように、複数の作業者W1およびW2のうち、第1指定領域R1に現在位置が含まれている作業者が1人である場合、一の無人飛行機60-1が標識画像Mの投影処理(図5/STEP622→STEP623参照)に割り当てられ、他の無人飛行機60-2が作業機械40の誘導飛行(図5/STEP621参照)に割り当てられてもよい。また、図11Bに示されているように、複数の作業者W1およびW2のうち、第1指定領域R1に現在位置が含まれている作業者が2人である場合、一の無人飛行機60-1および他の無人飛行機60-2のそれぞれが標識画像Mの投影処理(図5/STEP622→STEP623参照)に割り当てられてもよい。
第2支援処理要素122が、無人飛行機60によって作業者の周辺領域に投影される標識画像Mによって移動態様が表わされる作業機械40に、当該作業者に視認可能な形態で標識報知を出力させてもよい。この場合、第2支援処理要素122が、無人飛行機60による標識画像Mの投影態様と、作業機械40による標識報知の出力態様と、を対応させるように制御してもよい。具体的には、作業機械40の実機出力インターフェース42を構成する発光装置による標識報知(光またはLEDパネルの文字)の色および/または点滅態様と、無人飛行機60により投影される標識画像Mの色および/または点滅態様と、が一致するようにまたは一定の相関関係が再現されるように制御されてもよい。
当該構成の作業支援システムによれば、作業機械40により出力される視認可能な標識報知によって、無人飛行機60により作業者の周辺領域に投影された標識画像Mにより移動態様が表わされている作業機械40を当該作業者に認識させることができる。このため、作業現場に複数の作業機械40が存在する場合でも、当該複数の作業機械40のうちいずれの作業機械40の移動態様に注目すべきであるかを作業者に明確に把握させることができる。
前記実施形態では、携帯端末装置80における標識確認操作があったことに応じて、無人飛行機60による標識画像Mの投影が停止されたが(図5/STEP824‥YES→STEP826→‥→STEP624参照)、他の実施形態として、無人飛行機60による標識画像Mの投影が開始されてから指定期間が経過してから自動的に無人飛行機60による標識画像Mの投影が停止されてもよい。この観点から、携帯端末装置80またはその機能の一部が省略されてもよい。
前記実施形態では、第2支援処理要素122により、現在位置(または将来の予測位置)が第1指定領域R1に含まれている作業者がいない場合(図5/STEP124‥NO)、無人飛行機60による標識画像Mの投影がされないが、他の実施形態として、無人飛行機60において、飛行機制御装置600により、飛行機無線通信機器622を通じて受信される実機誘導飛行指令に含まれる飛行機目標位置軌道(または実機目標位置軌道)にしたがって、無人飛行機60の飛行態様が制御されながら(図5/STEP621)、かつ、無人飛行機60による標識画像Mの投影がされてもよい。
また、第1支援処理要素により認識された作業機械40の移動態様が作業機械40が移動しないことを示すものである場合には、図12に示されているように、作業機械40の移動態様として無人飛行機60に、作業機械40の停止を表す標識画像Mが投影されてもよい。
10‥作業支援サーバ、20‥遠隔操作装置、40‥作業機械、41‥実機入力インターフェース、42‥実機出力インターフェース、60‥無人飛行機、80‥携帯端末装置、102‥データベース、121‥第1支援処理要素、122‥第2支援処理要素、200‥遠隔制御装置、210‥遠隔入力インターフェース、211‥遠隔操作機構、220‥遠隔出力インターフェース、221‥遠隔画像出力装置、222‥遠隔音響出力装置、224‥遠隔無線通信機器、410‥実機入力インターフェース、412‥実機撮像装置、414‥状態センサ群、420‥実機出力インターフェース、421‥実機画像出力装置(情報出力装置)、422‥実機無線通信機器、440‥作業機構(作業アタッチメント)、445‥バケット(作業部)、610‥飛行機入力インターフェース、620‥飛行機出力インターフェース、622‥実機無線通信機器、800‥端末制御装置、810‥端末入力インターフェース、820‥端末出力インターフェース。

Claims (9)

  1. 作業者および作業機械のそれぞれの位置を時系列的に認識し、前記作業機械の位置の時系列に基づいて定まる第1指定領域を認識する第1支援処理要素と、
    無人飛行機の飛行動作機能を制御することにより、前記第1支援処理要素により認識された前記作業者の位置を下方に臨む位置に前記無人飛行機を移動させ、かつ、前記無人飛行機の標識投影機能を制御することにより、前記第1支援処理要素により認識された前記作業者の位置が、前記第1指定領域に含まれていることを要件として、前記無人飛行機に前記第1支援処理要素により認識された前記作業機械の位置の時系列に基づいて定まる当該作業機械の移動態様を表わす標識画像を前記作業者の周辺領域に投影させる第2支援処理要素と、
    を備えている作業支援システムであって、
    前記第1指定領域のサイズは、前記作業機械の空間占有体積または広がりの大小および/または前記作業機械の移動速度の高低に応じて定められることを特徴とする作業支援システム
  2. 作業者および作業機械のそれぞれの位置を時系列的に認識し、前記作業機械の位置の時系列に基づいて定まる第1指定領域を認識する第1支援処理要素と、
    無人飛行機の飛行動作機能を制御することにより、前記無人飛行機を、前記第1支援処理要素で認識された前記作業機械の位置の時系列にしたがって誘導するための前記無人飛行機の位置の時系列である飛行機目標位置軌道にしたがって飛行させ、前記第1支援処理要素により認識された前記作業者の位置が前記第1指定領域に含まれていることを要件として、前記第1支援処理要素により認識された前記作業者の位置を下方に臨む位置に前記無人飛行機を移動させ、かつ、前記無人飛行機の標識投影機能を制御することにより、前記第1支援処理要素により認識された前記作業機械の位置の時系列に基づいて定まる当該作業機械の移動態様を表わす標識画像を前記作業者の周辺領域に投影させる第2支援処理要素と、
    を備えている
    作業支援システム。
  3. 請求項1または2に記載の作業支援システムにおいて、
    前記第1支援処理要素が、前記第1支援処理要素により認識された前記作業者の位置の時系列に基づいて定まる第2指定領域を認識し、
    前記第2支援処理要素が、前記第1支援処理要素により認識された前記第2指定領域に、前記第1指定領域または前記作業機械の位置の時系列の少なくとも一部が含まれているか否かに応じて、前記無人飛行機に前記第1指定領域の地面に対して前記標識画像を異なる態様で投影させる
    作業支援システム。
  4. 請求項1~3のうちいずれか1項に記載の作業支援システムにおいて、
    前記第2支援処理要素が、前記作業者の周辺領域のうち、当該作業者の位置を基準として、前記第1支援処理要素により認識された前記作業機械の位置またはその時系列が存在する方位に偏在する場所に対して、前記無人飛行機に前記標識画像を投影させる
    作業支援システム。
  5. 請求項1~4のうちいずれか1項に記載の作業支援システムにおいて、
    前記第2支援処理要素が、前記第1支援処理要素により認識された前記作業機械および前記作業者のそれぞれの位置に基づき、前記無人飛行機に、前記作業者の位置を基準とした前記作業機械の位置またはその時系列が存在する方位を表わす前記標識画像を前記作業者の周辺領域に投影させる
    作業支援システム。
  6. 請求項1~5のうちいずれか1項に記載の作業支援システムにおいて、
    前記第2支援処理要素が、前記無人飛行機によって前記作業者の周辺領域に投影される前記標識画像によって移動態様が表わされる前記作業機械に、前記作業者に視認可能な形態で標識報知を出力させる
    作業支援システム。
  7. 請求項6に記載の作業支援システムにおいて、
    前記第2支援処理要素が、前記作業者の周辺領域に対する前記無人飛行機による前記標識画像の投影態様と、当該標識画像によって移動態様が表わされる前記作業機械による前記標識報知の出力態様と、を対応させる
    作業支援システム。
  8. 請求項1~7のうちいずれか1項に記載の作業支援システムにおいて、
    前記第2支援処理要素が、前記第1支援処理要素により認識された前記作業者の位置を下方に臨む位置に前記無人飛行機を移動させる場合、前記作業機械のオペレータが接している出力インターフェースに、前記作業者の位置を下方に臨む位置に前記無人飛行機を移動させる旨を表わす情報を出力させる
    作業支援システム。
  9. 請求項1~8のうちいずれか1項に記載の作業支援システムと、前記無人飛行機と、により構成されている
    作業支援複合システム。
JP2021014768A 2021-02-02 2021-02-02 作業支援システムおよび作業支援複合システム Active JP7521443B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021014768A JP7521443B2 (ja) 2021-02-02 2021-02-02 作業支援システムおよび作業支援複合システム
PCT/JP2021/045801 WO2022168443A1 (ja) 2021-02-02 2021-12-13 作業支援システムおよび作業支援複合システム
EP21924828.3A EP4265857A4 (en) 2021-02-02 2021-12-13 WORK ASSISTANCE SYSTEM AND WORK ASSISTANCE NETWORK SYSTEM
CN202180090411.2A CN116848307A (zh) 2021-02-02 2021-12-13 作业支援系统及作业支援复合系统
US18/272,932 US20240248492A1 (en) 2021-02-02 2021-12-13 Work assistance system and work assistance composite system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021014768A JP7521443B2 (ja) 2021-02-02 2021-02-02 作業支援システムおよび作業支援複合システム

Publications (2)

Publication Number Publication Date
JP2022118330A JP2022118330A (ja) 2022-08-15
JP7521443B2 true JP7521443B2 (ja) 2024-07-24

Family

ID=82741119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021014768A Active JP7521443B2 (ja) 2021-02-02 2021-02-02 作業支援システムおよび作業支援複合システム

Country Status (5)

Country Link
US (1) US20240248492A1 (ja)
EP (1) EP4265857A4 (ja)
JP (1) JP7521443B2 (ja)
CN (1) CN116848307A (ja)
WO (1) WO2022168443A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7430975B2 (ja) 2022-06-02 2024-02-14 三菱ロジスネクスト株式会社 誘導システム
JP7478200B2 (ja) 2022-08-18 2024-05-02 三菱ロジスネクスト株式会社 誘導システム
JP7553525B2 (ja) 2022-10-04 2024-09-18 三菱ロジスネクスト株式会社 誘導システム
JP7568381B2 (ja) 2022-11-07 2024-10-16 三菱ロジスネクスト株式会社 誘導システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004218254A (ja) 2003-01-14 2004-08-05 Natl Inst For Land & Infrastructure Management Mlit 情報の路面投影装置
JP2016143393A (ja) 2015-02-05 2016-08-08 富士通株式会社 プログラム、情報処理装置、及び、情報処理方法
JP2018084955A (ja) 2016-11-24 2018-05-31 株式会社小糸製作所 無人航空機
JP2020052889A (ja) 2018-09-28 2020-04-02 株式会社日本総合研究所 乗車支援装置
JP2020193503A (ja) 2019-05-29 2020-12-03 ナブテスコ株式会社 作業機械の操縦支援システム、作業機械の操縦支援方法、操縦支援システムの保守支援方法、建設機械

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60124400A (ja) 1983-12-07 1985-07-03 工業技術院長 円偏光発生装置
JP6707600B2 (ja) * 2018-09-26 2020-06-10 三菱ロジスネクスト株式会社 搬送システム
JP7387718B2 (ja) * 2019-03-27 2023-11-28 住友建機株式会社 建設機械、支援システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004218254A (ja) 2003-01-14 2004-08-05 Natl Inst For Land & Infrastructure Management Mlit 情報の路面投影装置
JP2016143393A (ja) 2015-02-05 2016-08-08 富士通株式会社 プログラム、情報処理装置、及び、情報処理方法
JP2018084955A (ja) 2016-11-24 2018-05-31 株式会社小糸製作所 無人航空機
JP2020052889A (ja) 2018-09-28 2020-04-02 株式会社日本総合研究所 乗車支援装置
JP2020193503A (ja) 2019-05-29 2020-12-03 ナブテスコ株式会社 作業機械の操縦支援システム、作業機械の操縦支援方法、操縦支援システムの保守支援方法、建設機械

Also Published As

Publication number Publication date
WO2022168443A1 (ja) 2022-08-11
JP2022118330A (ja) 2022-08-15
US20240248492A1 (en) 2024-07-25
CN116848307A (zh) 2023-10-03
EP4265857A4 (en) 2024-06-26
EP4265857A1 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
JP7521443B2 (ja) 作業支援システムおよび作業支援複合システム
KR102723550B1 (ko) 쇼벨
KR20220002343A (ko) 표시장치, 쇼벨, 정보처리장치
WO2020218452A1 (ja) ショベル、作業現場の安全装備確認システム
US12054919B2 (en) Shovel with external notification function
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
WO2021230090A1 (ja) 遠隔操作支援装置および遠隔操作支援方法
JP7392422B2 (ja) 作業支援サーバおよび作業支援システム
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
JP7508815B2 (ja) 作業支援サーバ、作業支援方法
WO2022070567A1 (ja) 遠隔操作支援装置及び遠隔操作支援システム
EP3767423B1 (en) Work machine and work machine support server
JP2021021253A (ja) 作業機械および作業機械支援サーバ
EP3767418B1 (en) Work machine and work machine support server
JP2021017761A (ja) 作業機械および作業機械支援サーバ
JP2021017696A (ja) 作業機械および作業機械支援サーバ
JP2021025240A (ja) 作業機械および作業機械支援サーバ
JP2023177374A (ja) 架空線地図作成装置及び運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240624

R150 Certificate of patent or registration of utility model

Ref document number: 7521443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150