Nothing Special   »   [go: up one dir, main page]

JP6662762B2 - 作業車 - Google Patents

作業車 Download PDF

Info

Publication number
JP6662762B2
JP6662762B2 JP2016245943A JP2016245943A JP6662762B2 JP 6662762 B2 JP6662762 B2 JP 6662762B2 JP 2016245943 A JP2016245943 A JP 2016245943A JP 2016245943 A JP2016245943 A JP 2016245943A JP 6662762 B2 JP6662762 B2 JP 6662762B2
Authority
JP
Japan
Prior art keywords
image
peripheral
bird
work
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016245943A
Other languages
English (en)
Other versions
JP2018101860A (ja
Inventor
優之 松崎
優之 松崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2016245943A priority Critical patent/JP6662762B2/ja
Priority to EP17000886.6A priority patent/EP3335944B1/en
Priority to CN201710398227.XA priority patent/CN108202667B/zh
Priority to KR1020170067882A priority patent/KR102262871B1/ko
Priority to US15/626,185 priority patent/US10538200B2/en
Publication of JP2018101860A publication Critical patent/JP2018101860A/ja
Application granted granted Critical
Publication of JP6662762B2 publication Critical patent/JP6662762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B76/00—Parts, details or accessories of agricultural machines or implements, not provided for in groups A01B51/00 - A01B75/00
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Environmental Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Soil Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Guiding Agricultural Machines (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Soil Working Implements (AREA)
  • Lifting Devices For Agricultural Implements (AREA)

Description

本発明は、車体とこの車体に装備された作業装置を備えた作業車の周辺を、俯瞰画像として表示ユニットに表示することができる作業車に関する。
特許文献１によるコンバインは、４台のカメラで取得した自車の周囲画像から、自車を上方から見た擬似的な画像である俯瞰画像を生成し、さらに記憶部に記憶された自車の平面視画像とクローラ部の位置を示す画像と、クローラ部の左右方向の端部を前方に延長した線であるクローラ仮想延長部とを俯瞰画像に合成し、表示する。その際、コンバインが前進中であると判断された場合クローラ仮想延長部は前方へ延長して表示され、コンバインが後進中と判断された場合クローラ仮想延長部は後方へ延長して表示される。
特開２０１５−１０４３７５号公報
上述したような作業車（コンバイン）では、表示された俯瞰画像を通じて、クローラ部周辺が直感的に把握することができる。しかしながら、複数のカメラからの撮影画像の合成画像である俯瞰画像は、車体から比較的近距離の範囲しかカバーできず、また、俯瞰画像は視点変換による変形を受けているので、俯瞰画像における元撮影画像の周辺部に写った特定部材が見づらくなる可能性がある。特に、作業車が、車体と車体に装備される大小様々な作業装置から構成される場合、俯瞰画像を小さな作業装置に合わせると、大きな作業装置を装備した場合、俯瞰画像に作業装置が入らなくなり、周辺監視が不十分となる。逆に俯瞰画像を大きな作業装置に合わせると、小さな作業装置を装備した場合、監視が不要な領域が大きくなり、表示ユニットの表示領域の無駄使いとなる、
このような実情から、作業装置を含む作業車周辺を適切な俯瞰画像を用いて、運転者や監視者が良好に作業装置を視認できる技術が要望されている。
本発明における、車体と前記車体に装備された作業装置を備えた作業車は、前記車体及び前記作業装置の周辺領域から割り当てられた周辺部分領域を撮影する複数のカメラと、前記カメラ毎の周辺部分領域の撮影画像を視点変換して生成されたカメラ毎の部分俯瞰画像を、変更可能な合成パターンに基づいて合成処理して、前記周辺領域を俯瞰する周辺俯瞰画像を生成する俯瞰監視画像生成モジュールと、前記合成パターンを変更する合成パターン変更部と、前記周辺俯瞰画像を表示する表示ユニットとを備え、前記合成パターンは、前記周辺俯瞰画像における前記部分俯瞰画像の占有面積を規定する。
この構成では、合成パターンを変更することによって、車体に装備した作業装置の姿勢や大きさなどに適合する俯瞰画像を生成することができ、作業装置を含む作業車の周辺を適切に監視することができる。
本発明では、前記合成パターンは、前記周辺俯瞰画像における前記部分俯瞰画像の占有面積を規定するように構成されている。これにより、大きな作業装置が装備されている場合には、作業装置が写っている部分俯瞰画像の専有面積を作業装置の大きさに応じて変更し、当該部分俯瞰画像に作業装置及びその周辺が確実に含まれるようにすることができ、作業装置の姿勢や大きさなどに適合する適切な周辺俯瞰画像を見ながらの作業が実現する。
周辺俯瞰画像における部分俯瞰画像の適切な割合は、ユーザの好みによっても異なる。このため、本発明の好適な実施形態の１つでは、前記合成パターン変更部は、入力操作デバイスを通じての変更指令に基づいて前記合成パターンを変更するように構成されている。これにより、ユーザ（運転者など）にとって見やすく適切な俯瞰画像が表示ユニットに表示される。
ユーザによる合成パターンの変更作業が狭い運転席などで行われる場合、この変更作業環境はユーザフレンドリであることが要望される。このため、本発明の好適な実施形態の１つでは、前記入力操作デバイスはタッチパネルであり、前記タッチパネルに表示された前記周辺俯瞰画像における前記部分俯瞰画像の間の画像境界線の位置が変更されることにより前記変更指令が生成されるように構成されている。この構成では、ユーザは、タッチパネルに表示される画像境界線をドラッグアンドドロップで変更することで、所望の合成パターンの変更、結果的には周辺俯瞰画像における部分俯瞰画像の所望の割合を実現することができる。
車体に装備される作業装置に応じて、自動的に適切な合成パターンに変更されると、ユーザの手をわずらわせず、好都合である。この目的のため、本発明における、車体と前記車体に装備された作業装置を備えた作業車は、前記車体及び前記作業装置の周辺領域から割り当てられた周辺部分領域を撮影する複数のカメラと、前記カメラ毎の周辺部分領域の撮影画像を視点変換して生成されたカメラ毎の部分俯瞰画像を、変更可能な合成パターンに基づいて合成処理して、前記周辺領域を俯瞰する周辺俯瞰画像を生成する俯瞰監視画像生成モジュールと、前記合成パターンを変更する合成パターン変更部と、前記周辺俯瞰画像を表示する表示ユニットと、前記作業装置の型式を認識する認識部を備え、前記合成パターン変更部は、前記認識部による認識結果に基づいて前記合成パターンを変更するように構成されている。
特殊な作業装置では、その使用形態によって、俯瞰画像における大きさが異なるものがある。例えば、田植機の植え付け装置では使用条数によって植え付け装置の横幅が変更される。また、トラクタに装備される耕耘装置やバゲット装置などは、その昇降位置によって俯瞰画像における大きさや車体との位置関係が異なってくる。このような作業装置では、作業中においても、自動的に適切な合成パターンに変更されることが好ましい。このため、本発明の好適な実施形態の１つでは、前記作業装置の使用形態を検出する使用形態検出センサが備えられ、前記合成パターン変更部は、前記使用形態検出センサによる検出結果に基づいて前記合成パターンを変更するように構成されている。
表示ユニットに表示される周辺俯瞰画像の中央には、作業車が模式的に表示される。その際に、表示される作業装置から、できるだけリアルに、車体に実際に装備されている作業装置を視認できること、少なくともその大きさを認識できることが望ましい。このため、本発明の好適な実施形態の１つでは、前記周辺俯瞰画像の中央には、前記車体を示す車体図像と前記作業装置を示す作業装置図像とからなる作業車図像が配置されており、前記作業装置図像の大きさは、前記合成パターンの変更に伴って変更されるように構成されている。これにより、ユーザは表示ユニットに表示される周辺俯瞰画像から、正確に作業装置の周辺を監視することができる。
作業装置を装備した作業車の一例である、耕耘装置を装備したトラクタの側面図である。 トラクタの制御系を示す機能ブロック図である。 4台のカメラによる自車周辺の撮影画像に基づく周辺俯瞰画像を、合成パターンを用いて生成する制御の流れを示す説明図である。 タッチパネルを用いた合成パターンの変更を示す模式図である。
次に、図面を用いて、本発明による作業車の具体的な実施形態の１つを説明する。この実施形態では、作業車は、圃場（作業地）に対して走行しながら作業装置を用いて作業を行うトラクタである。図１に示されているように、このトラクタは、前輪１１と後輪１２とによって支持された車体１の中央部に操縦部２０が設けられている。車体１の後部には油圧式の昇降機構３１を介してロータリ耕耘装置である作業装置３０が装備されている。前輪１１は操向輪として機能し、その操舵角を変更することでトラクタの走行方向が変更される。前輪１１の操舵角は操舵機構１３の動作によって変更される。操舵機構１３には自動操舵のための操舵モータ１４が含まれている。手動走行の際には、前輪１１の操舵は操縦部２０に配置されているステアリングホイール２２の操作によって可能である。操縦部２０には、運転者に情報を提供する報知デバイスとしての機能と、運転者によって操作される入力操作デバイスとしての機能とを有するタッチパネル７３（表示ユニットの１つ）が配置されている。
トラクタのキャビン２１には、ＧＮＳＳ（global navigation satellite system）モジュールとして構成されている衛星測位モジュール７０が設けられている。衛星測位モジュール７０の構成要素として、ＧＮＳＳ信号（ＧＰＳ信号も含む）を受信するための衛星用アンテナがキャビン２１の天井領域に取り付けられている。なお、衛星測位モジュール７０には、衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法モジュールを含めることができる。もちろん、慣性航法モジュールは、衛星測位モジュール７０とは別の場所に設けてもよい。
車体１には、車体周囲を撮影するための４台のカメラ４が取り付けられている。第１のカメラ４は車体前部（ボンネット）の中央に配置され、第２のカメラ４と第３のカメラ４とは車体左右の側部（後輪フェンダ）に配置され、第４のカメラ４は車体後部（キャビネット後端）の中央に配置されている。各カメラ４は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力する。各カメラ４の撮影光軸は撮影視野に車体１や作業装置３０の一部と圃場面とが入るように下方に向けられるとともに、広角レンズが装着されることで、４台のカメラ４によって取得される、周辺部分領域の撮影画像は車体付近の全周領域をカバーすることができる。
さらに、このトラクタには、エンジンやトランミッションや操舵機構１３などの状態を検出する走行状態検出センサ群８１、昇降機構３１や作業装置３０の姿勢や位置などの状態を検出する作業状態検出センサ群８２、車体１に装備された作業装置３０の型式を認識する認識部８３などが取り付けられている。作業状態検出センサ群８２には、作業装置３０の姿勢、地上高さ、使用幅、などの使用形態を検出する使用形態検出センサが含まれている。認識部８３は、作業装置３０の識別コードを機械的または電子的に読み取り、読み取った識別コードから、作業装置の種別やサイズなどの作業装置属性値を認識結果として導出する機能を有する。
図２には、このトラクタに構築されている制御系が示されている。この制御系には、複数（ここでは４台）のカメラ４による自車（車体１と作業装置３０）周辺領域の撮影画像から作り出される周辺俯瞰画像を表示ユニットとしてのタッチパネル７３に表示する技術が組み込まれている。この制御系の中核要素である制御ユニット５には、入出力インタフェースとして機能する入出力信号処理部７が備えられている。入出力信号処理部７の出力信号ポートには、車両走行機器群７１、作業装置機器群７２、タッチパネル７３、運転者や監視者に作業走行上の注意を促すための報知を行うランプやスピーカなどの報知デバイスが接続されている。車両走行機器群７１には、操舵モータ１４をはじめ、図示されていないが、変速機構やエンジンユニットなど車両走行のために制御される機器が含まれている。作業装置機器群７２には、作業装置３０の駆動機構や、作業装置３０を昇降させる昇降機構３１などが含まれている。
入出力信号処理部７の入力信号ポートには、上述したカメラ４、衛星測位モジュール７０、作業車センサ群８、自動／手動切替操作具７４などが接続されている。作業車センサ群８には、走行状態検出センサ群８１や作業状態検出センサ群８２のほか、装備された作業装置３０の識別コード読み取り機能を有する認識部８３も含まれている。走行状態検出センサ群８１には、操舵角やエンジン回転数や変速状態などの走行状態を検出するセンサが含まれている。作業状態検出センサ群８２には作業装置３０の姿勢や位置などを検出するセンサなどが含まれている。自動／手動切替操作具７４は、自動操舵で走行する自動走行モードと手動操舵で走行する手動操舵モードとのいずれかを選択するスイッチである。例えば、自動操舵モードで走行中に自動／手動切替操作具７４を操作することで、手動操舵での走行に切り替えられ、手動操舵での走行中に自動／手動切替操作具７４を操作することで、自動操舵での走行に切り替えられる。
図示されていないが、入出力信号処理部７には、通信ユニットも接続されている。通信ユニットは、無線通信規格や有線通信規格を通じて外部のコンピュータとデータのやり取りを行う。外部のコンピュータとして、遠隔地の管理センタ等に構築された管理コンピュータ及び運転者や監視者が携帯するタブレットコンピュータやスマートフォン（モバイルフォン）などが含まれる。
車両走行機器群７１を制御する走行制御部５０は、このトラクタが自動走行（自動操舵）と手動走行（手動操舵）の両方で走行可能に構成されているため、手動走行制御部５１と自動走行制御部５２とが含まれている。手動走行制御部５１は、運転者による操作に基づいて車両走行機器群７１を制御する。自動走行制御部５２は、自車位置と走行経路との偏差に基づいて自動操舵指令を生成し、入出力信号処理部７を介して操舵モータ１４に出力する。作業制御部５３は、作業装置３０の動きを制御するために、作業装置機器群７２に制御信号を与える。
走行制御部５０は、自動走行時と手動走行時とにおいて、異なる制御処理を実行する。自動走行時には、自車位置算出部５４によって算出された自車位置と経路生成部５８によって生成された走行経路とを比較評価し、自車位置と走行経路とに位置ずれが生じておれば、車体１が当該走行経路に沿うように、操舵変更データを生成して、自動走行制御部５２に与える機能を実現する。自車位置算出部５４は、衛星測位モジュール７０から送られてくる衛星測位データに基づいて、自車位置を算出する。手動走行時には、運転者によるステアリングホイール２２やブレーキなどの操作によって、作業走行が行われる。その際にも、走行ガイダンスとして、走行経路や自車位置をタッチパネル７３や外部のディスプレイに表示することも可能である。
作業地管理部５７は、作業走行が行われる圃場に関する情報である圃場情報（作業地情報）を管理する。圃場情報には、圃場の地図位置、形状、大きさ、作付け品種などのデータが含まれている。圃場情報は、遠隔地の管理センタや農家の自宅に設置されているコンピュータからダウンロードすること、運転者が持参する携帯端末からダウンロードすること、ＵＳＢメモリ等の記録媒体から読み取ること、等によって、作業地管理部５７に与えることが可能である。
経路生成部５８は、圃場情報から、圃場の外形データを読み出し、この圃場における適正な走行経路を生成する。この走行経路の生成は、運転者によって入力される基本的な初期パラメータに基づいて自動的に行われてもよいし、別なコンピュータで生成された走行経路をダウンロードしてもよい。いずれにしても、経路生成部５８で取得された走行経路は、メモリに展開され、自動操舵走行または手動操舵走行にかかわらず、作業車が走行経路に沿って走行するために利用される。
制御ユニット５には、本発明に特に関係する制御機能として、周囲俯瞰画像を生成する監視画像生成モジュール６が備えられている。監視画像生成モジュール６は、俯瞰画像生成部６０と合成パターン変更部６１と画像合成部６２とを備えている。図２では、合成パターン変更部６１は、監視画像生成モジュール６に組み込まれている。監視画像生成モジュール６は、基本的な画像処理機能と、俯瞰画像生成機能と、俯瞰画像合成機能とを有している。合成パターン変更部６１は、合成処理の調整を行う機能部であり、合成パターン変更部６１は、監視画像生成モジュール６とは別に構成してもよい。俯瞰画像生成部６０は４台のカメラ４によって取得された撮影画像を車体中心の上方の視点への視点変換を行い、カメラ４毎の部分俯瞰画像を生成する。これらの部分俯瞰画像は、相互にオーバーラップした画像領域を有し、これらの部分俯瞰画像を繋ぎ合わせるように合成することで、トラクタの全周囲の俯瞰画像である周辺俯瞰画像が生成される。４つの部分俯瞰画像の繋ぎ合わせは種々可能であり、そのつなぎ合わせ合成のやり方により、周辺俯瞰画像における各部分俯瞰画像の占有面積が変化する。このつなぎ合わせ合成のやり方を、ここでは、合成パターンと称している。合成パターンは、周辺俯瞰画像における各部分俯瞰画像の占有面積を規定するものであり、この合成パターンを変更することにより、周辺俯瞰画像における各部分俯瞰画像の占める割合が変わる。画像合成部６２は、合成パターン変更部６１によって設定された合成パターンに基づいて４つの部分俯瞰画像を合成して周辺俯瞰画像を生成する。合成パターン変更部６１は、複数の合成パターンを予め用意しておき、適切なものを選択して、画像合成部６２に与えてもよいし、１つ以上の既成の基本合成パターンを修正して適切なものを生成し、画像合成部６２に与えてもよい。
次に、図３を用いて、４つの部分俯瞰画像から合成パターンを用いて周辺俯瞰画像を生成する制御の流れの一例を説明する。
４台のカメラ４によって取得された撮影画像は俯瞰画像生成部６０に送られる。図３ではカメラ４毎の撮影画像を区別するために符号Ａ〜Ｄが付与されている。符号Ｃを付与された撮影画像を生成するカメラ４は、作業装置３０の周辺領域を撮影視野としており、車体１に装備される全ての大きさの作業装置３０においてその周辺領域が適切に撮影視野内に入るように設定されている。俯瞰画像生成部６０から出力された４つの部分俯瞰画像は画像合成部６２でつなぎ合わせ合成され、周辺俯瞰画像となる。この合成において重要なことは、車体１に装備されている作業装置３０の周辺領域が適切に入っている周辺俯瞰画像が得られるような合成パターンが用いられることである。
生成された周辺俯瞰画像は、画像合成部６２において、さらに、予め用意されている車体図像と、装備されている作業装置３０に対応する作業装置図像とからなる作業車図像を周辺俯瞰画像の中央部に付与される。画像合成部６２から出力された作業車図像付き周辺俯瞰画像は表示画像生成部５６に送られ、表示画像信号に変換され、タッチパネル７３、またはその他の外部のディスプレイに送られる。
合成パターン変更部６１によって合成パターンが変更される実施例を以下に列挙する；
（１）運転者が、タッチパネル７３を用いて、装備されている作業装置３０毎を選択することで、合成パターン変更部６１が、選択された作業装置３０に最適の合成パターンを選択し、画像合成部６２に与える。
（２）運転者が、タッチパネル７３に順番に表示される周辺俯瞰画像から最適なものを選択し、合成パターン変更部６１が、この選択された周辺俯瞰画像を生成する合成パターンを選択し、画像合成部６２に与える。
（３）図４では、タッチパネル７３に表示されている周辺俯瞰画像において、横幅の作業装置３０の周辺領域を撮影視野とするカメラ４の部分俯瞰画像の領域（符号Ｃが付与されている）に、作業装置３０の両端が切れているような場合での、合成パターンの修正が示されている。このタッチパネル７３の修正ボタンを押すことで、周辺俯瞰画像と、部分俯瞰画像との間の画像境界線が表示される。この画像境界線を、運転者がドラッグアンドドロップで移動させることで、適切な部分俯瞰画像の専有面積の割合が調整される。完了ボタンが押されると、最終的な画像境界線の位置を変更指令として合成パターン変更部６１に送られる。これにより、合成パターン変更部６１が、調整された画像境界線位置に基づく合成パターンを画像合成部６２に与える。
（４）認識部８３で認識された作業装置３０の識別コードから、合成パターン変更部６１が、最適な合成パターンを選択し、画像合成部６２に与える。
（５）走行作業中に姿勢や大きさが変更される作業装置３０、例えば、折り畳み可能な田植機の植付装置、昇降動作する耕耘装置やバゲット装置、旋回・昇降動作するバックホウ装置が装着されている場合、作業装置３０の姿勢や大きさの変更を検出するセンサ（作業状態検出センサ群８２に含まれる）の検出結果に応じて、合成パターン変更部６１が、最適な合成パターンを選択し、画像合成部６２に与える。
これらの実施例は、１つ以上の組み合わせで使用することが可能である。
上述したような、複数のカメラ４の撮影画像から、周囲俯瞰画像を生成する画像処理の効率的な方法は、マッピングテーブルを用いることである。このマッピングテーブルは、各撮影画像の画素と周囲俯瞰画像の画素とを対応付けるテーブルである。さらに、マッピングテーブルは、用いられる合成パターン毎に予め用意されていれば、合成パターンを変更しても、迅速に周囲俯瞰画像が得られる。
〔別実施の形態〕
（１）上述した実施形態では、作業車の周辺を撮影するために、４台のカメラ４が用いられたが、それ以上でもよい。また、少なくとも作業装置３０の周辺を撮影するカメラ４とそれ以外を撮影するカメラ４との組み合わせででもよい。
（２）上述した実施形態では、監視画像生成モジュール６で生成された周辺俯瞰画像は、自車のタッチパネル７３やその他のディスプレイに表示されている。しかしながら、自車が無人走行している場合には、生成された周辺俯瞰画像は、この無人走行を監視している、他の作業車や監視者が携帯している通信端末（タブレットコンピュータやスマートフォンなど）に無線を用いて送信し、そこに備えられているディスプレイ（表示ユニットの一例）に表示することも可能である。その際は、周辺俯瞰画像だけでなく、撮影画像及び部分俯瞰画像も送信してもよい。さらに、入出力信号処理部７を介して、作業車の制御系とデータ交換可能なタブレットコンピュータや管理コンピュータなどを利用する場合には、単に周辺俯瞰画像等の監視画像の表示だけではなく、上述した、合成パターンの変更処理も、タブレットコンピュータや管理コンピュータなどを用いて行う構成を採用することも可能である。これにより、作業車から離れた場所、さらには遠隔地の管理センタや農家の自宅において、必要に応じて合成パターンを変更し、所望の周辺俯瞰画像等の監視画像を見ることができる。
（３）図２で示された機能ブロック図における各機能部は、主に説明目的で区分けされている。実際には、各機能部は他の機能部と統合すること、または複数の機能部に分けることができる。例えば、監視画像生成モジュール６に表示画像生成部５６を組み込んでもよいし、監視画像生成モジュール６から合成パターン変更部６１を分離させてもよい。
（４）上述した実施形態では、作業車として、ロータリ耕耘装置を作業装置３０として装備したトラクタを、作業車として取り上げたが、そのようなトラクタ以外にも、例えば、田植機、施肥機、コンバインなどの農作業車、あるいは作業装置３０としてドーザやローラ等を備える建設作業車等の種々の作業車も、実施形態として採用することができる。
本発明は、複数のカメラを用いて俯瞰画像をモニタに表示させる作業車に適用可能である。
１ ：車体
４ ：カメラ
３０ ：作業装置
３１ ：昇降機構
５ ：制御ユニット
５０ ：走行制御部
５３ ：作業制御部
５４ ：自車位置算出部
５６ ：表示画像生成部
５７ ：作業地管理部
５８ ：経路生成部
６ ：監視画像生成モジュール
６０ ：俯瞰画像生成部
６１ ：合成パターン変更部
６２ ：画像合成部
７０ ：衛星測位モジュール
７３ ：タッチパネル(表示ユニット,入力操作デバイス）
７４ ：手動切替操作具
８ ：作業車センサ群
８１ ：走行状態検出センサ群
８２ ：作業状態検出センサ群（使用形態検出センサ）
８３ ：認識部

Claims (7)

  1. 車体と前記車体に装備された作業装置を備えた作業車であって、
    前記車体及び前記作業装置の周辺領域から割り当てられた周辺部分領域を撮影する複数のカメラと、
    前記カメラ毎の周辺部分領域の撮影画像を視点変換して生成されたカメラ毎の部分俯瞰画像を、変更可能な合成パターンに基づいて合成処理して前記周辺領域を俯瞰する周辺俯瞰画像を生成する監視画像生成モジュールと、
    前記合成パターンを変更する合成パターン変更部と、
    前記周辺俯瞰画像を表示する表示ユニットと、を備えた作業車であって、
    前記合成パターンは、前記周辺俯瞰画像における前記部分俯瞰画像の占有面積を規定する作業車。
  2. 前記作業装置の型式を認識する認識部が備えられ、
    前記合成パターン変更部は、前記認識部による認識結果に基づいて前記合成パターンを変更する請求項１に記載の作業車
  3. 車体と前記車体に装備された作業装置を備えた作業車であって、
    前記車体及び前記作業装置の周辺領域から割り当てられた周辺部分領域を撮影する複数のカメラと、
    前記カメラ毎の周辺部分領域の撮影画像を視点変換して生成されたカメラ毎の部分俯瞰画像を、変更可能な合成パターンに基づいて合成処理して前記周辺領域を俯瞰する周辺俯瞰画像を生成する監視画像生成モジュールと、
    前記合成パターンを変更する合成パターン変更部と、
    前記周辺俯瞰画像を表示する表示ユニットと、を備えた作業車であって、
    前記作業装置の型式を認識する認識部が備えられ、
    前記合成パターン変更部は、前記認識部による認識結果に基づいて前記合成パターンを変更する作業車。
  4. 前記合成パターン変更部は、入力操作デバイスを通じての変更指令に基づいて前記合成パターンを変更する請求項１から３のいずれか一項に記載の作業車。
  5. 前記入力操作デバイスはタッチパネルであり、前記タッチパネルに表示された前記周辺俯瞰画像における前記部分俯瞰画像の間の画像境界線の位置が変更されることにより前記変更指令が生成される請求項４に記載の作業車。
  6. 前記作業装置の使用形態を検出する使用形態検出センサが備えられ、
    前記合成パターン変更部は、前記使用形態検出センサによる検出結果に基づいて前記合成パターンを変更する請求項１から５のいずれか一項に記載の作業車。
  7. 前記周辺俯瞰画像の中央には、前記車体を示す車体図像と前記作業装置を示す作業装置図像とからなる作業車図像が配置されており、前記作業装置図像の大きさは、前記合成パターンの変更に伴って変更される請求項１から６のいずれか一項に記載の作業車。
JP2016245943A 2016-12-19 2016-12-19 作業車 Active JP6662762B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016245943A JP6662762B2 (ja) 2016-12-19 2016-12-19 作業車
EP17000886.6A EP3335944B1 (en) 2016-12-19 2017-05-23 Work vehicle
CN201710398227.XA CN108202667B (zh) 2016-12-19 2017-05-31 作业车
KR1020170067882A KR102262871B1 (ko) 2016-12-19 2017-05-31 작업차
US15/626,185 US10538200B2 (en) 2016-12-19 2017-06-19 Work vehicle and image displaying method for work vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016245943A JP6662762B2 (ja) 2016-12-19 2016-12-19 作業車

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020022466A Division JP7055158B2 (ja) 2020-02-13 2020-02-13 作業車

Publications (2)

Publication Number Publication Date
JP2018101860A JP2018101860A (ja) 2018-06-28
JP6662762B2 true JP6662762B2 (ja) 2020-03-11

Family

ID=58992594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016245943A Active JP6662762B2 (ja) 2016-12-19 2016-12-19 作業車

Country Status (5)

Country Link
US (1) US10538200B2 (ja)
EP (1) EP3335944B1 (ja)
JP (1) JP6662762B2 (ja)
KR (1) KR102262871B1 (ja)
CN (1) CN108202667B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019032682A (ja) * 2017-08-08 2019-02-28 ヤンマー株式会社 自動走行システム
DE102017220005A1 (de) * 2017-11-10 2019-05-16 Zf Friedrichshafen Ag Verfahren und Anzeigegerät zum Führen einer Arbeitsmaschine
US10820508B2 (en) * 2018-08-20 2020-11-03 Cnh Industrial America Llc System and method for operating an agricultural harvester
JP7038643B2 (ja) * 2018-11-26 2022-03-18 本田技研工業株式会社 映像表示装置
JP7283059B2 (ja) * 2018-11-28 2023-05-30 株式会社アイシン 周辺監視装置
WO2020134236A1 (zh) * 2018-12-29 2020-07-02 丰疆智能科技股份有限公司 收割机及其自动驾驶方法
JP7271218B2 (ja) * 2019-02-22 2023-05-11 株式会社加藤製作所 建設機械
JP7174485B2 (ja) * 2019-03-20 2022-11-17 株式会社クボタ 収穫機
CN109982039A (zh) * 2019-03-20 2019-07-05 西安鸣士机电开发有限公司 一种用于插秧机的远程可视化遥控装置
JP7317533B2 (ja) * 2019-03-20 2023-07-31 株式会社クボタ 収穫機
CN113795140A (zh) * 2019-03-20 2021-12-14 株式会社久保田 收获机
JP7391604B2 (ja) * 2019-10-23 2023-12-05 株式会社加藤製作所 建設機械
US11653587B2 (en) * 2020-09-17 2023-05-23 Deere & Company System and method for presenting the surroundings of an agricultural implement

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4179262B2 (ja) 2004-10-06 2008-11-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4863347B2 (ja) * 2005-11-02 2012-01-25 ヤンマー株式会社 姿勢制御装置
JP4606322B2 (ja) * 2005-12-27 2011-01-05 アルパイン株式会社 車両運転支援装置
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
JP5066198B2 (ja) * 2010-02-09 2012-11-07 住友建機株式会社 作業機械のモニタ装置
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
US20140088824A1 (en) * 2011-05-13 2014-03-27 Hitachi Construction Machinery Co., Ltd. Device for Monitoring Area Around Working Machine
WO2012164712A1 (ja) * 2011-06-02 2012-12-06 日立建機株式会社 作業機械の周囲監視装置
AU2012268476B2 (en) * 2011-06-07 2014-05-15 Komatsu Ltd. Perimeter monitoring device for work vehicle
JP5506864B2 (ja) 2011-06-20 2014-05-28 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2013105597A1 (ja) * 2012-01-12 2013-07-18 日立建機株式会社 自走式産業機械の周囲監視装置
JP5529943B2 (ja) * 2012-09-21 2014-06-25 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
WO2015049847A1 (ja) * 2013-10-01 2015-04-09 ヤンマー株式会社 コンバイン
JP2015104375A (ja) * 2013-12-02 2015-06-08 ヤンマー株式会社 コンバイン
KR102123127B1 (ko) * 2013-12-06 2020-06-15 두산인프라코어 주식회사 화면모드 선택 장치 및 방법
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image
US9530086B1 (en) * 2015-10-27 2016-12-27 Cnh Industrial America Llc Scanned software activation codes in agricultural and contruction work equipment systems
CN106414860B (zh) * 2016-03-28 2019-04-26 株式会社小松制作所 评价装置以及评价方法
JP6802008B2 (ja) * 2016-08-25 2020-12-16 キャタピラー エス エー アール エル 建設機械
US20180089823A1 (en) * 2016-09-23 2018-03-29 Esco Corporation Asset management system

Also Published As

Publication number Publication date
KR102262871B1 (ko) 2021-06-09
EP3335944A1 (en) 2018-06-20
KR20180071152A (ko) 2018-06-27
JP2018101860A (ja) 2018-06-28
CN108202667B (zh) 2022-05-03
EP3335944B1 (en) 2021-08-11
US20180170258A1 (en) 2018-06-21
CN108202667A (zh) 2018-06-26
US10538200B2 (en) 2020-01-21

Similar Documents

Publication Publication Date Title
JP6662762B2 (ja) 作業車
JP6727971B2 (ja) 作業車
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
JP6131385B2 (ja) 遠隔操作装置
US9506774B2 (en) Method of inputting a path for a vehicle and trailer
US9335545B2 (en) Head mountable display system
US9500497B2 (en) System and method of inputting an intended backing path
US9683848B2 (en) System for determining hitch angle
WO2017154772A1 (ja) 経路生成装置
JP6557622B2 (ja) 経路生成装置
CN105371811B (zh) 测定牵引线和阻力线夹角的系统
WO2016076319A1 (ja) 操作端末
JP6437479B2 (ja) 経路生成装置
JP7076501B2 (ja) 作業車
JP2017174229A (ja) 経路生成装置
JP6557621B2 (ja) 経路生成装置
JP2020088697A (ja) 周辺監視装置
JP2018117313A (ja) 作業車遠隔制御システム
JP6605364B2 (ja) 作業車両の経路生成方法
JP7055158B2 (ja) 作業車
JP2024094637A (ja) 遠隔装置および遠隔操縦システム
JP2004009959A (ja) 運転支援装置
JP2024062176A (ja) 作業機の遠隔操作支援システム、遠隔装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200213

R150 Certificate of patent or registration of utility model

Ref document number: 6662762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150