Nothing Special   »   [go: up one dir, main page]

JP6727971B2 - 作業車 - Google Patents

作業車 Download PDF

Info

Publication number
JP6727971B2
JP6727971B2 JP2016141292A JP2016141292A JP6727971B2 JP 6727971 B2 JP6727971 B2 JP 6727971B2 JP 2016141292 A JP2016141292 A JP 2016141292A JP 2016141292 A JP2016141292 A JP 2016141292A JP 6727971 B2 JP6727971 B2 JP 6727971B2
Authority
JP
Japan
Prior art keywords
work
detection sensor
cameras
image
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016141292A
Other languages
English (en)
Other versions
JP2018014554A (ja
Inventor
優之 松崎
優之 松崎
藤本　義知
義知 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2016141292A priority Critical patent/JP6727971B2/ja
Priority to CN201611079536.2A priority patent/CN107627957B/zh
Priority to EP16203453.2A priority patent/EP3272586B1/en
Priority to US15/385,753 priority patent/US10491818B2/en
Publication of JP2018014554A publication Critical patent/JP2018014554A/ja
Application granted granted Critical
Publication of JP6727971B2 publication Critical patent/JP6727971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F5/00—Dredgers or soil-shifting machines for special purposes
    • E02F5/02—Dredgers or soil-shifting machines for special purposes for digging trenches or ditches
    • E02F5/08—Dredgers or soil-shifting machines for special purposes for digging trenches or ditches with digging wheels turning round an axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/18—Dredgers; Soil-shifting machines mechanically-driven with digging wheels turning round an axis, e.g. bucket-type wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Environmental Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Soil Sciences (AREA)
  • Guiding Agricultural Machines (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、自車の周辺を俯瞰画像としてモニタに表示することができる作業車に関する。
特許文献１によるコンバインは、４台のカメラで取得した自車の周囲画像から、自車を上方から見た擬似的な画像である俯瞰画像を生成し、さらに記憶部に記憶された自車の平面視画像とクローラ部の位置を示す画像とクローラ部の左右方向の端部を前方に延長した線であるクローラ仮想延長部とを俯瞰画像に合成し、表示する。その際、コンバインが前進中であると判断された場合クローラ仮想延長部は前方へ延長して表示され、コンバインが後進中と判断された場合クローラ仮想延長部は後方へ延長して表示される。
特開２０１５−１０４３７５号公報
上述したような作業車（コンバイン）では、表示された俯瞰画像を通じて、クローラ部周辺が直感的に把握することができる。しかしながら、複数のカメラからの撮影画像の合成画像である俯瞰画像は、車体から比較的近距離の範囲しかカバーできず、また、俯瞰画像は視点変換による変形を受けているので、俯瞰画像における被写体の状況を正確に確認することは困難である。
このような実情から、俯瞰画像を用いながらも車体周辺情報を運転者にとって視認しやすい形態でモニタ表示できる技術が要望されている。
本発明による第１の作業車は、車体の周辺を撮影する複数のカメラと、作業走行状況を検出する作業走行状況検出センサ群と、前記作業走行状況検出センサ群からの検出信号に基づいて注目領域を決定する注目領域決定部と、前記複数のカメラのうち前記注目領域が撮影視野に入っているカメラの撮影画像を優先表示画像とする優先表示画像決定部と、前記複数のカメラの撮影画像を視点変換して合成することで車体周辺の俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像を表示する第１表示領域と前記優先表示画像を表示する第２表示領域とに区分けされたモニタ表示画面を生成するモニタ画面生成部と、前記モニタ表示画面を表示するモニタと、衛星測位データに基づいて前記車体の位置を算出する自車位置算出部とを備え、
前記作業走行状況検出センサ群に前記車体周辺の障害物を検出する障害物検出センサが含まれており、
前記障害物検出センサによって検出された前記障害物と車体との距離が、前記車体と作業地の境界線までの距離より長い場合、前記注目領域が取り消される。
本発明による第２の作業車は、車体の周辺を撮影する複数のカメラと、作業走行状況を検出する作業走行状況検出センサ群と、前記作業走行状況検出センサ群からの検出信号に基づいて注目領域を決定する注目領域決定部と、前記複数のカメラのうち前記注目領域が撮影視野に入っているカメラの撮影画像を優先表示画像とする優先表示画像決定部と、前記複数のカメラの撮影画像を視点変換して合成することで車体周辺の俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像を表示する第１表示領域と前記優先表示画像を表示する第２表示領域とに区分けされたモニタ表示画面を生成するモニタ画面生成部と、前記モニタ表示画面を表示するモニタと、前記車体に姿勢変更機構を介して装備された作業装置と、を備え、
前記カメラの少なくとも１つが作業装置カメラとして前記作業装置に取り付けられ、前記作業装置カメラは、撮影方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更される。
本発明による第３の作業車は、車体の周辺を撮影する複数のカメラと、作業走行状況を検出する作業走行状況検出センサ群と、前記作業走行状況検出センサ群からの検出信号に基づいて注目領域を決定する注目領域決定部と、前記複数のカメラのうち前記注目領域が撮影視野に入っているカメラの撮影画像を優先表示画像とする優先表示画像決定部と、前記複数のカメラの撮影画像を視点変換して合成することで車体周辺の俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像を表示する第１表示領域と前記優先表示画像を表示する第２表示領域とに区分けされたモニタ表示画面を生成するモニタ画面生成部と、前記モニタ表示画面を表示するモニタと、前記車体に姿勢変更機構を介して装備された作業装置と、を備え、
前記作業走行状況検出センサ群に前記車体周辺の障害物を検出する障害物検出センサが含まれており、前記障害物検出センサによって障害物が検出された場合には前記障害物の検出方向に向き合う領域を前記注目領域とし、少なくとも１台の前記カメラが作業装置カメラとして前記作業装置に取り付けられるとともに、少なくとも１つの前記障害物検出センサが作業装置障害物検出センサとして前記作業装置に取り付けられ、前記作業装置カメラは、撮影方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更されるとともに、前記障害物検出センサは、前記障害物の検出方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更される。
本発明による第４の作業車は、車体の周辺を撮影する複数のカメラと、作業走行状況を検出する作業走行状況検出センサ群と、前記作業走行状況検出センサ群からの検出信号に基づいて注目領域を決定する注目領域決定部と、前記複数のカメラのうち前記注目領域が撮影視野に入っているカメラの撮影画像を優先表示画像とする優先表示画像決定部と、前記複数のカメラの撮影画像を視点変換して合成することで車体周辺の俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像を表示する第１表示領域と前記優先表示画像を表示する第２表示領域とに区分けされたモニタ表示画面を生成するモニタ画面生成部と、前記モニタ表示画面を表示するモニタと、を備え、
前記注目領域決定部は、前記作業走行状況検出センサ群を構成する、操舵角や車速を検出する走行系検出センサ群、装備している作業装置の姿勢や作業種類を検出する作業系検出センサ群、障害物検出センサからの検出結果を入力パラメータとして前記注目領域を出力するように学習されている。
この構成によれば、この作業車の作業走行の状態を検出する種々のセンサ群から出力される検出信号に基づいて、その時点で運転者が注目すべき領域が決定され、その注目すべき領域を含む撮影画像が俯瞰画像とともにモニタに表示される。作業車の場合、道路を走行する乗用車などに比べ、頻繁に行われる、進行方向の切替、操舵動作、車速変更、作業装置の動作などによって、車体の全周囲において注目すべき領域が時々刻々で変化する。
したがって、そのような運転者が注目すべき領域は、作業走行状況を検出するセンサ群からの検出信号と密接に関係している。このことから、注目領域決定部によって決定された注目領域を含む優先表示画像が俯瞰画像とともにモニタ表示されることで、運転者は、俯瞰画像から車体の周辺領域の様子を知るとともに、優先表示画像から特に注目すべき領域も同時に知ることができる。
作業車の作業走行において、運転者がまず意識しなければならないのは、走行方向に向き合う領域（前進走行なら車体前方領域）の様子である。このことから、本発明の好適な実施形態の１つでは、前記作業走行状況検出センサ群に前記車体の前進走行と後進走行とを検出する進行方向検出センサが含まれており、前記注目領域決定部は、前進走行が検出されている場合には前進方向に向き合う領域を前記注目領域とし、後進走行が検出されている場合には後進方向に向き合う領域を前記注目領域とする。作業車では、前進と後進とが繰り返されることも少なくないので、作業車の進行方向(前進または後進)によって自動的に進行方向に向き合う領域を映し出している撮影画像を優先表示画像としてモニタで確認できることは、好都合である。
道路などとは異なり、作業地には、境界柵や畦などを含め、種々の走行障害物が存在している。このため、作業走行状況検出センサとして障害物検出センサが搭載されることが多い。しかしながら、障害物検出センサが何らかの物体を検出した信号を出力した際、停車すべきか、あるいはそのまま進むべきか、あるいは方向転換によって回避するべきかを運転者が判断するためには、目視することが重要である。また、照準方向が異なる複数の障害物検出センサが装備されている場合、どの方向を注視すべきかを、咄嗟に判断できない場合がある。このため、本発明の好適な実施形態の１つでは、前記作業走行状況検出センサ群に前記車体周辺の障害物を検出する障害物検出センサが含まれており、前記障害物検出センサによって障害物が検出された場合には前記障害物の検出方向に向き合う領域を前記注目領域とする。これにより、障害物を検出した障害物検出センサの照準先の領域を映し出している撮影画像が優先表示画像としてモニタ表示されるので、好都合である。
作業地での作業走行の場合、作業地外に存在する障害物は無視することができる。一般に、障害物検出センサによる検出信号から障害物までの距離を算出することが可能である。したがって、衛星測位システムなどを用いて自車位置を地図座標で算出する機能が作業車に備えられていると、障害物が作業地内存在するか作業地外に存在するかを判定することが可能である。このことから、 本発明による第１の作業車では、衛星測位データに基づいて前記車体の位置を算出する自車位置算出部が備えられ、かつ前記障害物検出センサによって検出された前記障害物と車体との距離が、前記車体と作業地の境界線までの距離より長い場合、前記注目領域が取り消される。これにより、不要な障害物をモニタに表示する無駄がなくなる。
隣接するカメラの撮影視野の一部が互いに重なりあうように配置されている場合、それぞれのカメラの撮影画像が重なり合う領域が注目領域とみなされることがある。このような場合、どちらの撮影画像がより有効であるかどうかを判定することは困難である。その際、有効な方策の１つは、２台以上の前記カメラにおいて前記注目領域が撮影視野に入っている場合、当該カメラの撮影画像が順次一定時間毎に前記優先表示画像となるように構成することである。もう１つの方策は、２台以上の前記カメラにおいて前記注目領域が撮影視野に入っている場合、当該カメラの撮影画像を合成した合成画像が前記優先表示画像となる構成することである。その際、それぞれの撮影画像を当該カメラの台数で按分した部分ずつ（例えば、当該カメラが２台の場合にはそれぞれの撮影画像の半分ずつ）を合成すると、画像が縮小されないので好都合である。このような方策を好適な実施形態として採用することで、運転者が確実に注目領域を確認することが可能となる。
注目領域が決定できない場合、つまり、複数の撮影画像において、その注目度に明確な差がない場合の解決策として、本発明の好適な実施形態の１つでは、前記注目領域が決定不能の場合、前記複数のカメラにおける全てのカメラの撮影画像が順次一定時間毎に前記優先表示画像として順番に表示される。
車体に対して姿勢変更する作業装置が装備される作業車がある。そのような作業車の作業装置に、カメラ取り付けられている場合、作業装置が姿勢変更することで、カメラの撮影方向も変化し、最適な領域を撮影することができなくなる。このことを避けるため、本発明による第２の作業車では、前記車体に姿勢変更機構を介して作業装置が装備され、かつ前記カメラの少なくとも１つが作業装置カメラとして前記作業装置に取り付けられ、前記作業装置カメラは、前記撮影方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更される。さらに、そのような作業装置に障害物検出センサも取り付けられている場合、障害物検出センサの検出方向も作業装置の姿勢変更にかかわらず、最適な方向を維持する必要がある。このため、本発明による第３の作業車は、では、前記車体に姿勢変更機構を介して作業装置が装備され、かつ少なくとも１台の前記カメラが作業装置カメラとして前記作業装置に取り付けられるとともに、少なくとも１つの前記障害物検出センサが障害物検出センサとして前記作業装置に取り付けられ、前記作業装置カメラは、撮影方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更されるとともに、前記障害物検出センサは、前記障害物の検出方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更される。
作業車は、作業に応じて、超低速から中速まで広い速度範囲で走行する。超低速では、優先表示画像としてモニタに表示される撮像画面の時間当たりの移動が小さく、画面は流れにくいが、速度が速くなるほど、撮像画面の時間当たりの移動が大きく、画面が流れていく。このため、走行速度が大きくなれば、１つの画面で大きな領域を捉えた方が好ましいので、本発明の好適な実施形態の１つでは、前記作業走行状況検出センサ群に前記車体の走行速度を検出する車速検出センサが含まれており、前記車速検出センサによって検出された前記走行速度に応じて、前記優先表示画像の前記第２表示領域への表示拡縮率が変動するように構成されている。
複数のカメラによる自車周辺の撮影画像に基づく俯瞰画像と優先表示画像とをモニタに表示する基本技術を説明する説明図である。 作業車の一例であるトラクタの側面図である。 トラクタの制御系を示す機能ブロック図である。 昇降する作業装置に取り付けられたカメラ及び障害物検出センサの利用形態を説明する説明図である。 昇降する作業装置に取り付けられたカメラ及び障害物検出センサの別の利用形態を説明する説明図である。
本発明による作業車の具体的な実施形態を説明する前に、図１を用いて、作業車に取り付けられた複数のカメラによる自車周辺の撮影画像に基づき、俯瞰画像と優先表示画像とを、モニタに表示する基本技術を説明する。
この作業車は、前後進可能な車体１を備え、車体１には作業装置３０が装備されている。車体には、４台のカメラ４が取り付けられている。カメラ４は、車体１の前部、車体１の左側部、車体１の右側部、車体の後部に配置されている。各カメラ４は、広角レンズを備えており、４台のカメラ４によって車体１の全周域を撮影視野に収めることができる。車体１の全周域を撮影視野に収めることができる限りは、カメラ４の台数を減らすことも可能である。また、カメラ４の台数を増やして、車体１の全周域をより密な撮影方向から撮影するような構成を採用してもよい。また、カメラ４は車体１以外に、作業装置３０に配置してもよい。
作業車は、種々の作業走行状況下で作業走行する。作業走行状況には、走行方向、操舵方向、車速状態、作業装置状態、作業地状態などが含まれている。これらの作業走行状況は、種々のセンサによって検出されるが、ここでは、これらのセンサをまとめて作業走行状況検出センサ群９と称している。作業走行状況検出センサ群９には障害物検出センサが含まれている場合、作業車の周囲に存在する障害物を検出することができる。障害物検出センサは、超音波ビーム、光ビーム、レーザビームなどを用いたものが採用され、障害物を検出するとともに、その検出信号を用いて車体１と障害物との間の距離を算出することが可能である。
この作業車には、地図上の座標位置（以下、自車位置とも称する）を算出する衛星測位機能も備えられている。
４台のカメラ４によって取得された撮影画像（図１ではカメラ毎の撮影画像を区別するために符号Ａ〜Ｄを付与している）は、車体１の上方に位置する視点からの画像に変換され、合成されることで、車体１が中央にくる俯瞰画像が生成される。この俯瞰画像はモニタ画面に表示され、運転者の周囲状況監視を支援する。モニタ画面は隣り合う２つの表示領域に区分けされており、一方の表示領域Ｍ１に俯瞰画像が表示される。他方の表示領域Ｍ２には、４台のカメラ４によって取得された撮影画像のうちの１つ、または２つの撮影画像の合成画像が表示される。この他方の表示領域に表示される撮影画像をここでは、優先表示画像と称する。
車体１の全周囲において最も注目すべき領域（注目領域）が撮影視野に入っているカメラ４の撮影画像が、優先表示画像として選択される。優先表示画像は、運転者の判断に基づいて手動で選択することも可能であるが、作業車の場合、運転者が行うべきことが多いので、運転者の負担を減らすために、本発明では、作業走行の状況に応じて自動的に注目領域が決定され、優先表示画像が選択される。もちろん、運転者により選択指示（例えば、Ａ〜Ｄの選択ボタンによる）により、運転者が所望する撮影画像を優先表示画像としてモニタ表示することも可能である。
作業走行の状況は、作業走行状況検出センサ群９からの検出信号によって把握することができ、その結果から、その時点での最も注目すべき領域を決定することができる。この注目領域の決定アルゴリズムとして、以下に２つの方式を例示する。
（１）ルール方式
ルール方式では、１つ以上の特定の作業状況検出センサが特定の作業走行状態を検出したことを条件として、車体周辺の特定領域を注目領域と見なし、当該特定領域を撮影視野とするカメラ４の撮影画像を優先画像とし、モニタ７３の、俯瞰画像を表示している第１表示領域の隣に位置する第２表示領域に表示する。例えば、（１−１）車体１の前進走行と後進走行とを検出する進行方向検出センサが車体１の前進走行を検出した場合には、前進方向に向き合う領域を注目領域とする。これにより、当該領域を含む撮影画像（前方を撮影視野としているカメラ４の撮影画像）をモニタ７３に表示する。逆に、車体１の後進走行が検出後進走行を検出した場合には、後進方向に向き合う領域を注目領域とし、当該領域を含む撮影画像（後方を撮影視野としているカメラ４の撮影画像）をモニタ７３に表示する。類似例として、操舵方向検出センサが左方向への操舵を検出した場合には、車体１の左側を注目領域とし、左側部を撮影視野とするカメラ４の撮影画像がモニタ７３に表示される。その際、車体１の左前方を注目領域とし、前方を撮影視野とするカメラ４の撮影画像の左半分と左側部を撮影視野とするカメラ４の撮影画像の上半分とを合成した画像を優先表示画像として、モニタ７３に表示してもよい。同様に、操舵方向検出センサが右方向への操舵を検出した場合には、車体１の右側を注目領域とし、右側部を撮影視野とするカメラ４の撮影画像がモニタ７３に表示される。なお、操舵方向による優先表示画像の決定において、車体１の右前方（または左前方）を注目領域とし、前方を撮影視野とするカメラ４の撮影画像の右半分（または左半分）と右側方（または左側方）を撮影視野とするカメラ４の撮影画像の上半分とを合成した画像を優先表示画像として、モニタ７３に表示してもよい。
（１−２）車体周辺の障害物を検出する障害物検出センサが障害物を検出した場合には、障害物の検出方向に向き合う領域を注目領域とし、当該注目領域を撮影視野としているカメラ４の撮影画像をモニタ７３に表示する。なお、障害物検出センサの検出信号に基づいて算出された車体１から障害物の距離と方向と、衛星測位機能によって算出される自車位置とを組み合わせると、障害物の地図座標位置を求めることができる。したがって、検出された障害物が作業地外に位置している場合、当該障害物が作業走行の邪魔にはならないので、この注目領域は無視するようにすることも可能である。
（２）機械学習方式
ルール方式では、１つ以上の特定の作業走行状況検出センサの検出結果と、注目領域とを予めリンクしているので、制御的には簡単であり、制御負担が軽いという利点がある。
しかしながら、作業走行において注目すべき領域は、多くの条件によって影響される。例えば、左側に操舵する場合でも、その操舵角や車速や装備している作業装置３０の姿勢などによっては、左側領域や左前方領域ではなく、車体１や作業装置３０の尻振りをチェックするため右側後方領域を注目したい場合がある。また、前進走行においても、作業種類や車速などによっては、前方領域よりむしろ後方領域を注目したい場合もある。このことから、作業状況検出センサ群を構成する多数のセンサの検出信号（検出結果）を入力パラメータとして、注目領域を出力するような制御システムを構築する。その際、運転者の個性等も考慮する場合には、運転者により実際の作業走行を行い、種々の作業走行状況でどの領域を注目したいのかを学習させて、制御パラメータを決定する構成も可能である。
注目したい領域が複数の場合、複数の撮影画像を合成して優先表示画像とするのではなく、当該撮影画像を順次一定時間毎に優先表示画像として、順番に循環させて、モニタ表示してもよい。その際、注目度レベルが算出可能であれば、注目度レベルに応じて表示時間に差をつけてもよい。また、注目領域が決定不能の場合や、注目領域の決定機能が動作していないような場合には、全てのカメラ４の撮影画像を順次一定時間毎に優先表示画像とし、順番に循環させて、モニタ表示してもよい。
次に、図面を用いて、本発明による作業車の具体的な実施形態の１つを説明する。この実施形態では、作業車は、畦によって境界づけられた圃場（作業地）に対して走行作業を行うトラクタである。図２に示されているように、このトラクタは、前輪１１と後輪１２とによって支持された車体１の中央部に操縦部２０が設けられている。車体１の後部には油圧式の昇降機構(姿勢変更機構の一種）３１を介してロータリ耕耘装置である作業装置３０が装備されている。前輪１１は操向輪として機能し、その操舵角を変更することでトラクタの走行方向が変更される。前輪１１の操舵角は操舵機構１３の動作によって変更される。操舵機構１３には自動操舵のための操舵モータ１４が含まれている。手動走行の際には、前輪１１の操舵は操縦部２０に配置されているステアリングホイール２２の操作によって可能である。トラクタのキャビン２１には、ＧＮＳＳ（global navigation satellite system）モジュールとして構成されている衛星測位モジュール８０が設けられている。衛星測位モジュール８０の構成要素として、ＧＰＳ（global positioning system）信号やＧＮＳＳ信号を受信するための衛星用アンテナがキャビン２１の天井領域に取り付けられている。なお、衛星測位モジュール８０には、衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法モジュールを含めることができる。もちろん、慣性航法モジュールは、衛星測位モジュール８０とは別の場所に設けてもよい。
さらに、車体１に車体周囲を撮影するための４台のカメラ４が取り付けられている。第１のカメラ４は車体前部（ボンネット）の中央に配置され、第２のカメラ４と第３のカメラ４とは車体左右の側部（後輪フェンダ）に配置され、第４のカメラ４は車体後部（キャビネット後端）の中央に配置されている。各カメラ４は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力する。各カメラ４の撮影光軸は撮影視野に車体１や作業装置３０の一部と圃場面とが入るように下方に向けられるとともに、広角レンズが装着されることで、４台のカメラ４によって取得される撮影画像は車体付近の全周領域をカバーすることができる。さらに、この実施形態では、各カメラ４に隣接して、レーザレーダとして構成された障害物検出センサ９０が取り付けられている。各障害物検出センサ９０は、９０°を超えるスキャンレンジを有することで、４つの障害物検出センサ９０によって車体付近の全周領域に存在する障害物を検出することができる。
図３には、このトラクタに構築されている制御系が示されている。この制御系には、図１を用いて説明された、複数のカメラ４による自車周辺の撮影画像に基づく俯瞰画像と優先表示画像とをモニタ７３に表示する基本技術が組み込まれている。この制御系の中核要素である制御ユニット５には、入出力インタフェースとして機能する、出力処理部７、入力処理部８、通信処理部７０が備えられている。出力処理部７は、車両走行機器群７１、作業装置機器群７２、液晶などのフラットパネルから構成されるモニタ７３などと接続している。図示されていないが、出力処理部７は、運転者や監視者に作業走行上の注意を促すための報知を行うランプやスピーカとも接続している。車両走行機器群７１には、操舵モータ１４をはじめ、図示されていないが、変速機構やエンジンユニットなど車両走行のために制御される機器が含まれている。作業装置機器群７２には、作業装置３０の駆動機構や、作業装置３０を昇降させる昇降機構３１などが含まれている。
通信処理部７０は、無線通信規格や有線通信規格を通じて外部のコンピュータとデータのやり取りを行う。図３では、外部のコンピュータとして、遠隔地の管理センタＫＳ等に構築された管理コンピュータ１００及び運転者や監視者が携帯するタブレットコンピュータやスマートフォン（モバイルフォン）からなる携帯端末１０１が示されている。
入力処理部８は、上述したカメラ４、衛星測位モジュール８０、自動／手動切替操作具８３、作業走行状況検出センサ群９などと接続している。作業走行状況検出センサ群９には、走行系検出センサ群８１や作業系検出センサ群８２のほか、上述した障害物検出センサ９０も含まれている。走行系検出センサ群８１には、操舵角やエンジン回転数や変速状態などの走行状態を検出するセンサが含まれている。作業系検出センサ群８２には、作業装置３０の地上高さや傾きを検出するセンサ、作業負荷などを検出するセンサなどが含まれている。自動／手動切替操作具８３は、自動操舵で走行する自動走行モードと手動操舵で走行する手動操舵モードとのいずれかを選択するスイッチである。例えば、自動操舵モードで走行中に自動／手動切替操作具８３を操作することで、手動操舵での走行に切り替えられ、手動操舵での走行中に自動／手動切替操作具８３を操作することで、自動操舵での走行に切り替えられる。
制御ユニット５には、図１を用いて説明された基本技術を実現するための中核機能として、監視画像処理モジュール６と障害物検出処理部５５とモニタ画面生成部５６とが構築されている。そのほか、制御ユニット５には、走行制御部５０、作業制御部５３、自車位置算出部５４、作業地管理部５７、経路生成部５８が備えられている。
車両走行機器群７１を制御する走行制御部５０は、このトラクタが自動走行（自動操舵）と手動走行（手動操舵）の両方で走行可能に構成されているため、手動走行制御部５１と自動走行制御部５２とが含まれている。手動走行制御部５１は、運転者による操作に基づいて車両走行機器群７１を制御する。自動走行制御部５２は、自車位置と走行経路との偏差に基づいて自動操舵指令を生成し、出力処理部７を介して操舵モータ１４に出力する。作業制御部５３は、作業装置３０の動きを制御するために、作業装置機器群７２に制御信号を与える。
走行制御部５０は、自動走行時と手動走行時とにおいて、異なる制御処理を実行する。
自動走行時には、自車位置算出部５４によって算出された自車位置と経路生成部５８によって生成された走行経路とを比較評価し、自車位置と走行経路とに位置ずれが生じておれば、車体１が当該走行経路に沿うように、操舵変更データを生成して、自動走行制御部５２に与える機能を実現する。
自車位置算出部５４は、衛星測位モジュール８０から送られてくる衛星測位データに基づいて、自車位置を算出する。
障害物検出処理部５５は、４つの障害物検出センサ９０からの検出信号に基づき、車体１の周辺に存在する障害物を検出する。この実施形態では、障害物検出センサ９０は水平スキャンタイプであるので、障害物検出処理部５５は、検出された障害物の水平方向の幅と、車体１からの距離を算出することができる。さらに、障害物検出処理部５５は、自車位置算出部５４からの自車位置及び作業地管理部５７からの作業地境界線の地図座標を参照することで、検出された障害物が作業地内であるかどうかを判定することも可能である。つまり、作業地外の障害物は検出しないように、自車位置と作業地境界線の地図座標とを用いて、障害物検出センサ９０の作業地の外領域を障害物不検出領域と設定することができる。また、障害物検出処理部５５は、検出された障害物が作業車の進行方向に存在している場合、走行制御部５０に障害物検知情報を与える。走行制御部５０は、障害物検知情報に基づき、減速または停車、あるいは回避操舵を実行するように構成することができる。
作業地管理部５７は、作業走行が行われる圃場に関する情報である圃場情報（作業地情報）を管理する。圃場情報には、圃場の地図位置、形状、大きさ、作付け品種などのデータが含まれている圃場情報は、遠隔地の管理センタＫＳや農家の自宅に設置されている管理コンピュータ１００、あるいは運転者が持参する携帯端末１０１からダウンロード可能である。
経路生成部５８は、圃場情報から、圃場の外形データを読み出し、この圃場における適正な走行経路を生成する。この走行経路の生成は、作業者によって入力される基本的な初期パラメータに基づいて自動的に行われてもよいし、作業者によって入力される走行経路を実質的に規定する入力パラメータに基づいて行われてもよい。また、走行経路自体も管理コンピュータ１００からダウンロードされる構成を採用してもよい。いずれにしても、経路生成部５８で取得された走行経路は、メモリに展開され、自動操舵走行または手動操舵走行にかかわらず、作業車が走行経路に沿って走行するために利用される。
監視画像処理モジュール６は、俯瞰画像生成部６０と注目領域決定部６１とモニタ画面生成部５６とを備えている。俯瞰画像生成部６０は４台のカメラ４によって取得された撮影画像を車体中心の上方の視点への視点変換を行い、視点変換された画像を合成することで、作業車周辺を上方からみたときの俯瞰画像を生成する。視点変換には、マッピングテーブルが用いられるが、作業装置３０の種類や作業種類に応じてマッピングテーブルを変更することで、その都度の作業走行に最適な俯瞰画像の生成が可能となる。
注目領域決定部６１は、作業走行状況検出センサ群９からの検出信号に基づいて注目領域を決定する。作業走行状況検出センサ群９には、走行系検出センサ群８１、作業系検出センサ群８２、障害物検出センサ９０が含まれているので、昇降機構３１の状態や作業装置３０の状態（下降位置／上昇位置など）、操舵機構１３の状態（左旋回／右旋回、急旋回／緩旋回など）や後輪１２への動力伝達の状態（前進／後進、低速／高速など）、障害物の存在（検出物体の車体１からの距離と方向など）などに関する検出結果が制御ユニット５に入力される。したがって、注目領域決定部６１は、これらの検出結果を入力パラメータとして、予め設定されたルールに基づき、その時点で、車体全周囲における注目すべき領域を決定して出力することができる。基本的なルール設定では、前進走行時には前方領域、後進走行時には後方領域、左旋回時には左側領域、右旋回時には左側領域が、注目領域となる。さらに、作業装置３０の上昇位置から降下位置への移行時には、優先的に後方領域が注目領域となる。また、障害物検出センサ９０によって検出された障害物の距離の方向とから障害物が車体１から所定距離内に存在していると見なされると、最優先で、障害物が存在している領域が注目領域となる。
優先表示画像決定部６２は、注目領域決定部６１で決定された注目領域が撮影視野に入っているカメラ４の撮影画像を、モニタ７３に俯瞰画像とともに表示させる優先表示画像とする。このため、注目領域決定部６１で決定される任意の注目領域がどの撮影画像に含まれているかを示すテーブルが用意されており、決定された注目領域から当該注目画像を含まれている撮影画像を特定することができる。具体的には、４台のカメラ４によって取得されるそれぞれの撮影画像が１つ以上の区画で区分けされており、その区画に識別コードが付与されているとともに、注目領域決定部６１で決定される注目領域も当該識別コードによって規定される。例えば、注目領域は、特定のカメラ４の撮影画像の内の１つ以上の区画が規定される識別コードで表される。つまり、注目領域を示すこの識別コードによって、特定のカメラ４の撮影画像における特定の区画が特定される。撮影画像が区画に区分けされておらず、撮影画像が１つの区画しか持たない場合には、注目領域は、単にカメラ４を指定するだけでよい。撮影画像が複数の区画に区分けされており、注目領域がその１つの区画を指定している場合には、撮影画像から当該区画だけを切り出して優先表示画像とすることも可能である。また、注目領域を示す識別コードが複数あり、その識別コードが隣り合う２台のカメラの２つの撮影画像の区画を指定している場合、各撮影画像の指定された画像を合成して、優先表示画像とすることも可能である。つまり、優先表示画像決定部６２は、注目領域を含む撮影画像を拡縮して優先表示画像とする機能を有する。
モニタ画面生成部５６は、モニタ７３に４台のカメラ４による撮影画像を表示するモニタ画面を生成する。モニタ画面生成部５６は、図１に模式的に示されているように、モニタ画面を隣接する第１表示領域Ｍ１と第２表示領域Ｍ２とに区分けし、第１表示領域Ｍ１に俯瞰画像生成部６０で生成された俯瞰画像を割り当て、第２表示領域Ｍ２に優先表示画像決定部６２で決定された優先表示画像を割り当てる。
手動運転が行われている際には、運転者は、モニタ７３を通じて俯瞰画像及び注目すべき領域の撮影画像をチェックすることができる。自動運転が行われている際には、車外または車内で自動運転を管理している管理者は、モニタ画面生成部５６で生成されて通信処理部７０を介して送られてくる俯瞰画像と撮影画像とを含むモニタ画面を携帯端末１０１等のディスプレイでチェックすることができる。
〔別実施の形態〕
（１）上述した実施形態では、カメラ４及び障害物検出センサ９０は、車体１に固定されていた。これに代えて、カメラ４及び障害物検出センサ９０の少なくとも１つを昇降機構（姿勢変更機構の一種）３１によって昇降して姿勢変更する作業装置３０に取り付けることも可能である。なお、この作業装置３０は、上昇により水平姿勢から傾斜姿勢に移行する。図４で示された例では、１台のカメラ（作業装置カメラ）４と１つの（作業装置障害物検出センサ）９０が作業装置３０の後部に揺動機構を介して取り付けられている。この揺動機構は、車体横断方向に延びた揺動軸心を有し、昇降機構３１の動きに連動して、揺動することで、上昇に伴う作業装置３０の傾斜を相殺することができる。つまり、作業装置３０が上昇した後も、下降状態での作業装置３０におけるカメラ４の撮影光軸方向及び障害物検出センサ９０のビーム照射方向が維持され、実質的にカメラ４の撮影視野及び障害物検出センサ９０のスキャン領域が大きく変化しないように構成されている。
さらに、図５で示された例では、カメラ４及び障害物検出センサ９０は、２組用意されている。第１（上側）の組のカメラ４及び障害物検出センサ９０は、作業装置３０が下降姿勢において、それぞれ最適な撮影方向と検出方向となるように固定されており、第２（下側）の組のカメラ４及び障害物検出センサ９０は、作業装置３０が上昇姿勢において、それぞれ最適な撮影方向と検出方向となるように固定されている。制御ユニット５側では、作業装置３０が下降姿勢では、第１の組のカメラ４及び障害物検出センサ９０がＯＮとされ、第２の組のカメラ４及び障害物検出センサ９０がＯＦＦとされる。逆に、作業装置３０が上昇姿勢では、第２の組のカメラ４及び障害物検出センサ９０がＯＮとされ、第１の組のカメラ４及び障害物検出センサ９０がＯＦＦとされる。
（２）優先表示画像決定部６２は、注目領域を含む撮影画像を任意に拡縮（表示拡縮率の変更）して優先表示画像とする機能を有してもよい。その際、走行速度が大きくなれば、被写体の接近が速くなるので、作業走行状況検出センサ群９に含まれている車速検出センサからの信号に基づいて、高速走行であると判定された場合には、撮影画像の全域を優先表示画像（縮小画像）とすると好都合である。逆に、低速走行であると判定された場合には、撮影画像における注目領域に絞り込んだ部分領域を拡大して優先表示画像（拡大画像）とすると好都合である。
（３）図３で示された機能ブロック図における各機能部は、主に説明目的で区分けされている。実際には、各機能部は他の機能部と統合すること、または複数の機能部に分けることができる。
（４）上述した実施形態では、作業車として、ロータリ耕耘装置を作業装置３０として装備したトラクタを、作業車として取り上げたが、そのようなトラクタ以外にも、例えば、田植機、施肥機、コンバインなどの農作業車、あるいは作業装置３０としてドーザやローラ等を備える建設作業車等の種々の作業車も、実施形態として採用することができる。
本発明は、複数のカメラを用いて俯瞰画像をモニタに表示させる作業車に適用可能である。
１ ：車体
３０ ：作業装置
３１ ：昇降機構(姿勢変更機構）
４ ：カメラ（第１のカメラ、第２のカメラ、第３のカメラ、第４のカメラ、作業装置カメラ）
５４ ：自車位置算出部
５６ ：モニタ画面生成部
６１ ：注目領域決定部
６２ ：優先表示画像決定部
７３ ：モニタ
９ ：作業走行状況検出センサ群
９０ ：障害物検出センサ

Claims (12)

  1. 車体の周辺を撮影する複数のカメラと、
    作業走行状況を検出する作業走行状況検出センサ群と、
    前記作業走行状況検出センサ群からの検出信号に基づいて注目領域を決定する注目領域決定部と、
    前記複数のカメラのうち前記注目領域が撮影視野に入っているカメラの撮影画像を優先表示画像とする優先表示画像決定部と、
    前記複数のカメラの撮影画像を視点変換して合成することで車体周辺の俯瞰画像を生成する俯瞰画像生成部と、
    前記俯瞰画像を表示する第１表示領域と前記優先表示画像を表示する第２表示領域とに区分けされたモニタ表示画面を生成するモニタ画面生成部と、
    前記モニタ表示画面を表示するモニタと、
    衛星測位データに基づいて前記車体の位置を算出する自車位置算出部と、を備え、
    前記作業走行状況検出センサ群に前記車体周辺の障害物を検出する障害物検出センサが含まれており、
    前記障害物検出センサによって検出された前記障害物と車体との距離が、前記車体と作業地の境界線までの距離より長い場合、前記注目領域が取り消される作業車。
  2. 車体の周辺を撮影する複数のカメラと、
    作業走行状況を検出する作業走行状況検出センサ群と、
    前記作業走行状況検出センサ群からの検出信号に基づいて注目領域を決定する注目領域決定部と、
    前記複数のカメラのうち前記注目領域が撮影視野に入っているカメラの撮影画像を優先表示画像とする優先表示画像決定部と、
    前記複数のカメラの撮影画像を視点変換して合成することで車体周辺の俯瞰画像を生成する俯瞰画像生成部と、
    前記俯瞰画像を表示する第１表示領域と前記優先表示画像を表示する第２表示領域とに区分けされたモニタ表示画面を生成するモニタ画面生成部と、
    前記モニタ表示画面を表示するモニタと、
    前記車体に姿勢変更機構を介して装備された作業装置と、を備え、
    前記カメラの少なくとも１つが作業装置カメラとして前記作業装置に取り付けられ、前記作業装置カメラは、撮影方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更される作業車。
  3. 車体の周辺を撮影する複数のカメラと、
    作業走行状況を検出する作業走行状況検出センサ群と、
    前記作業走行状況検出センサ群からの検出信号に基づいて注目領域を決定する注目領域決定部と、
    前記複数のカメラのうち前記注目領域が撮影視野に入っているカメラの撮影画像を優先表示画像とする優先表示画像決定部と、
    前記複数のカメラの撮影画像を視点変換して合成することで車体周辺の俯瞰画像を生成する俯瞰画像生成部と、
    前記俯瞰画像を表示する第１表示領域と前記優先表示画像を表示する第２表示領域とに区分けされたモニタ表示画面を生成するモニタ画面生成部と、
    前記モニタ表示画面を表示するモニタと、
    前記車体に姿勢変更機構を介して装備された作業装置と、を備え、
    前記作業走行状況検出センサ群に前記車体周辺の障害物を検出する障害物検出センサが含まれており、前記障害物検出センサによって障害物が検出された場合には前記障害物の検出方向に向き合う領域を前記注目領域とし、
    少なくとも１台の前記カメラが作業装置カメラとして前記作業装置に取り付けられるとともに、少なくとも１つの前記障害物検出センサが作業装置障害物検出センサとして前記作業装置に取り付けられ、
    前記作業装置カメラは、撮影方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更されるとともに、前記障害物検出センサは、前記障害物の検出方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更される作業車。
  4. 前記作業走行状況検出センサ群に前記車体の前進走行と後進走行とを検出する進行方向検出センサが含まれており、前記注目領域決定部は、前進走行が検出されている場合には前進方向に向き合う領域を前記注目領域とし、後進走行が検出されている場合には後進方向に向き合う領域を前記注目領域とする請求項１から３のいずれか一項に記載の作業車。
  5. 前記作業走行状況検出センサ群に前記車体周辺の障害物を検出する障害物検出センサが含まれており、前記障害物検出センサによって障害物が検出された場合には前記障害物の検出方向に向き合う領域を前記注目領域とする請求項１または２に記載の作業車。
  6. 衛星測位データに基づいて前記車体の位置を算出する自車位置算出部が備えられ、かつ
    前記障害物検出センサによって検出された前記障害物と車体との距離が、前記車体と作業地の境界線までの距離より長い場合、前記注目領域が取り消される請求項３に記載の作業車。
  7. ２台以上の前記カメラにおいて前記注目領域が撮影視野に入っている場合、当該カメラの撮影画像が順次一定時間毎に前記優先表示画像となる請求項１から６のいずれか一項に記載の作業車。
  8. ２台以上の前記カメラにおいて前記注目領域が撮影視野に入っている場合、当該カメラの撮影画像を合成した合成画像が前記優先表示画像となる請求項１から７のいずれか一項に記載の作業車。
  9. 前記注目領域が決定不能の場合、前記複数のカメラにおける全てのカメラの撮影画像が順次一定時間毎に前記優先表示画像となる請求項１から８のいずれか一項に記載の作業車。
  10. 前記車体に姿勢変更機構を介して作業装置が装備され、かつ
    前記カメラの少なくとも１つが作業装置カメラとして前記作業装置に取り付けられ、前記作業装置カメラは、撮影方向を維持するように前記作業装置の姿勢変更に応じて姿勢変更される請求項１に記載の作業車。
  11. 前記作業走行状況検出センサ群に前記車体の走行速度を検出する車速検出センサが含まれており、前記車速検出センサによって検出された前記走行速度に応じて、前記優先表示画像の前記第２表示領域への表示拡縮率が変動する請求項１から１０のいずれか一項に記載の作業車。
  12. 車体の周辺を撮影する複数のカメラと、
    作業走行状況を検出する作業走行状況検出センサ群と、
    前記作業走行状況検出センサ群からの検出信号に基づいて注目領域を決定する注目領域決定部と、
    前記複数のカメラのうち前記注目領域が撮影視野に入っているカメラの撮影画像を優先表示画像とする優先表示画像決定部と、
    前記複数のカメラの撮影画像を視点変換して合成することで車体周辺の俯瞰画像を生成する俯瞰画像生成部と、
    前記俯瞰画像を表示する第１表示領域と前記優先表示画像を表示する第２表示領域とに区分けされたモニタ表示画面を生成するモニタ画面生成部と、
    前記モニタ表示画面を表示するモニタと、を備え、
    前記注目領域決定部は、前記作業走行状況検出センサ群を構成する、操舵角や車速を検出する走行系検出センサ群、装備している作業装置の姿勢や作業種類を検出する作業系検出センサ群、障害物検出センサからの検出結果を入力パラメータとして前記注目領域を出力するように学習されている作業車。
JP2016141292A 2016-07-19 2016-07-19 作業車 Active JP6727971B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016141292A JP6727971B2 (ja) 2016-07-19 2016-07-19 作業車
CN201611079536.2A CN107627957B (zh) 2016-07-19 2016-11-30 作业车
EP16203453.2A EP3272586B1 (en) 2016-07-19 2016-12-12 Work vehicle
US15/385,753 US10491818B2 (en) 2016-07-19 2016-12-20 Work vehicle with monitor to display overhead image of work vehicle, and image displaying method for displaying overhead image of work vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016141292A JP6727971B2 (ja) 2016-07-19 2016-07-19 作業車

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020112558A Division JP7076501B2 (ja) 2020-06-30 2020-06-30 作業車

Publications (2)

Publication Number Publication Date
JP2018014554A JP2018014554A (ja) 2018-01-25
JP6727971B2 true JP6727971B2 (ja) 2020-07-22

Family

ID=57542878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016141292A Active JP6727971B2 (ja) 2016-07-19 2016-07-19 作業車

Country Status (4)

Country Link
US (1) US10491818B2 (ja)
EP (1) EP3272586B1 (ja)
JP (1) JP6727971B2 (ja)
CN (1) CN107627957B (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11266054B2 (en) * 2017-01-24 2022-03-08 Cnh Industrial America Llc System and method for automatically estimating and adjusting crop residue parameters as a tillage operation is being performed
EP3584120B1 (en) * 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system
GB2569573A (en) 2017-12-20 2019-06-26 Canon Kk Video surveillance method and system
US11520028B2 (en) * 2018-01-10 2022-12-06 Richwave Technology Corp. Occupancy detection using multiple antenna motion sensing
CN110162081A (zh) * 2018-02-14 2019-08-23 广州极飞科技有限公司 移动装置控制方法及装置、移动终端及移动装置
JP7070047B2 (ja) * 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
JP6959179B2 (ja) 2018-04-26 2021-11-02 株式会社クボタ 作業車
JP7113669B2 (ja) 2018-06-08 2022-08-05 株式会社クボタ 作業車に搭載されるレーザレーダ
CN109168558B (zh) * 2018-08-16 2021-07-13 张振花 一种用于农业沟渠杂草清除的自动化设备
KR102625203B1 (ko) * 2018-08-28 2024-01-15 에이치엘만도 주식회사 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법
CN112740007B (zh) * 2018-09-21 2023-06-30 本田技研工业株式会社 车辆检查系统
US10813262B2 (en) * 2018-10-16 2020-10-27 Cnh Industrial America Llc System and method for generating a prescription map for an agricultural implement based on yield map and/or crop biomass
US11012750B2 (en) * 2018-11-14 2021-05-18 Rohde & Schwarz Gmbh & Co. Kg Method for configuring a multiviewer as well as multiviewer
DE102018220406A1 (de) * 2018-11-28 2020-05-28 Zf Friedrichshafen Ag Vorrichtung zum Lokalisieren einer Landmaschine basierend auf Sensordaten und Bildsegmentierung
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view
JP7233950B2 (ja) * 2019-02-14 2023-03-07 株式会社クボタ 農業機械
JP7016900B2 (ja) * 2019-04-11 2022-02-07 三菱ロジスネクスト株式会社 制御装置、制御方法及びプログラム
EP3722522B1 (en) 2019-04-11 2024-03-27 Mitsubishi Logisnext Co., Ltd. Control device, control method, and program
JP7360258B2 (ja) * 2019-06-21 2023-10-12 株式会社クボタ 作業車
JP7198161B2 (ja) * 2019-06-21 2022-12-28 株式会社クボタ 作業車
JP7183121B2 (ja) * 2019-06-25 2022-12-05 株式会社クボタ 作業車
US12083961B2 (en) * 2019-06-28 2024-09-10 Kubota Corporation Harvester, system, program, recording medium, and method
JP7271416B2 (ja) 2019-12-27 2023-05-11 株式会社クボタ 作業車両及び作業車両の走行管理システム
WO2021166317A1 (ja) * 2020-02-20 2021-08-26 Ｗｈｉｌｌ株式会社 電動モビリティおよび施設内におけるシステム
JP7422361B2 (ja) * 2020-03-06 2024-01-26 株式会社アイシン 追跡装置、及び追跡プログラム
JP7388954B2 (ja) * 2020-03-11 2023-11-29 株式会社小松製作所 操作ガイド装置
KR20220052172A (ko) * 2020-10-20 2022-04-27 현대모비스 주식회사 서라운드뷰 모니터링 시스템 및 그 제공 방법
US11661722B2 (en) 2020-11-19 2023-05-30 Deere & Company System and method for customized visualization of the surroundings of self-propelled work vehicles
US11772562B2 (en) 2021-03-24 2023-10-03 Deere & Company Intuitive work vehicle vision system for enhanced operator visibility
JP2022155631A (ja) * 2021-03-31 2022-10-14 住友重機械建機クレーン株式会社 作業機械の周囲監視装置
US11846947B2 (en) 2021-05-11 2023-12-19 Cnh Industrial Canada, Ltd. Systems and methods for an implement imaging system
GB202210395D0 (en) * 2022-07-15 2022-08-31 Agco Int Gmbh A vehicle with a sensor unit for environmental perception
WO2024024148A1 (ja) * 2022-07-26 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 車載監視装置、情報処理装置および車載監視システム
GB202213881D0 (en) * 2022-09-23 2022-11-09 Agco Int Gmbh Operator assistance system
US20240344299A1 (en) * 2023-04-12 2024-10-17 Deere & Company Searchable integration of geospatial based information with captured images during worksite operations
DE102023109872A1 (de) * 2023-04-19 2024-10-24 Claas E-Systems Gmbh Landwirtschaftliche Arbeitsmaschine

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2754020A (en) * 1954-05-18 1956-07-10 Thomas J Dunn Fork lift attachment for a work vehicle
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
JP3265336B2 (ja) * 1993-08-06 2002-03-11 株式会社タダノ 吊荷監視カメラつきクレーン車
JP2000041414A (ja) * 1998-08-03 2000-02-15 Kubota Corp 作業機
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
JP2002056381A (ja) * 2000-08-11 2002-02-20 Fujitsu Ltd 道路状況画像処理装置
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP4522880B2 (ja) * 2005-02-09 2010-08-11 本田技研工業株式会社 車両操縦システム
JP3112141U (ja) * 2005-03-31 2005-08-04 株式会社テクノイケガミ 監視用カメラの吊下支持装置
JP4713610B2 (ja) * 2008-03-31 2011-06-29 株式会社クボタ 作業車の制御装置
JP2010044561A (ja) * 2008-08-12 2010-02-25 Panasonic Corp 乗物搭載用監視装置
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP2011062115A (ja) * 2009-09-16 2011-03-31 Iseki & Co Ltd 作業車両
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
EP2673758A4 (en) * 2011-02-09 2017-11-29 Walbridge, Van Warning and message delivery and logging system utilizable in the monitoring of fall arresting and prevention devices and method of same
AU2012268476B2 (en) * 2011-06-07 2014-05-15 Komatsu Ltd. Perimeter monitoring device for work vehicle
CN103649426B (zh) * 2012-01-27 2016-05-11 斗山英维高株式会社 建筑机械的操作安全性提高装置
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP2014192777A (ja) * 2013-03-28 2014-10-06 Kyocera Corp 車載撮像システム
US9654740B2 (en) * 2013-05-28 2017-05-16 International Business Machines Corporation Controlling automotive rear-view mirror based on eye movement
WO2015049847A1 (ja) * 2013-10-01 2015-04-09 ヤンマー株式会社 コンバイン
JP2015104375A (ja) 2013-12-02 2015-06-08 ヤンマー株式会社 コンバイン
WO2015106799A1 (en) * 2014-01-14 2015-07-23 Sandvik Mining And Construction Oy Mine vehicle, mine control system and mapping method
DE102014100612A1 (de) * 2014-01-21 2015-07-23 Ahwi Maschinenbau Gmbh Rotorvorrichtung
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
KR102099673B1 (ko) * 2014-03-28 2020-04-10 얀마 가부시키가이샤 자율 주행 작업 차량

Also Published As

Publication number Publication date
US20180027179A1 (en) 2018-01-25
CN107627957B (zh) 2022-06-28
JP2018014554A (ja) 2018-01-25
EP3272586A1 (en) 2018-01-24
US10491818B2 (en) 2019-11-26
CN107627957A (zh) 2018-01-26
EP3272586B1 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
JP6727971B2 (ja) 作業車
JP6662762B2 (ja) 作業車
US9457718B2 (en) Obstacle detection system
US10231374B2 (en) Travel support system, travel support method, and work vehicle
US9335545B2 (en) Head mountable display system
AU2014213529B2 (en) Image display system
JP7076501B2 (ja) 作業車
JP7154362B2 (ja) 作業車
JP2018106676A (ja) 情報処理装置、被操作車両、情報処理方法及びプログラム
JP2018035645A (ja) 作業機械の画像表示システム
US10619327B2 (en) Bulldozer
JP6559464B2 (ja) 作業車両の周囲監視装置
CN114080579A (zh) 自动行驶系统
US11595618B2 (en) Enhanced visibility system for work machines
JP2016181119A (ja) 移動機器の周囲状況提示システム
JP6352797B2 (ja) 作業機械の周囲監視装置
JP2019174344A (ja) 作業車両用の障害物検知システム
JP2017173986A (ja) 経路生成装置
JP2018117313A (ja) 作業車遠隔制御システム
US12084840B2 (en) System and method for work machine
JP7055158B2 (ja) 作業車
JP2024094637A (ja) 遠隔装置および遠隔操縦システム
WO2023234076A1 (ja) 表示システムおよび作業車両
JP2024062176A (ja) 作業機の遠隔操作支援システム、遠隔装置
CN115891835A (zh) 确定车辆周围的物体的设备和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200701

R150 Certificate of patent or registration of utility model

Ref document number: 6727971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150