Nothing Special   »   [go: up one dir, main page]

WO2016093311A1 - 作業車両 - Google Patents

作業車両 Download PDF

Info

Publication number
WO2016093311A1
WO2016093311A1 PCT/JP2015/084652 JP2015084652W WO2016093311A1 WO 2016093311 A1 WO2016093311 A1 WO 2016093311A1 JP 2015084652 W JP2015084652 W JP 2015084652W WO 2016093311 A1 WO2016093311 A1 WO 2016093311A1
Authority
WO
WIPO (PCT)
Prior art keywords
boundary
traveling
boundary line
work
machine body
Prior art date
Application number
PCT/JP2015/084652
Other languages
English (en)
French (fr)
Inventor
福田 敏男
浩介 関山
長谷川 泰久
智哉 福川
敏史 平松
Original Assignee
福田 敏男
ヤンマー株式会社
浩介 関山
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 福田 敏男, ヤンマー株式会社, 浩介 関山 filed Critical 福田 敏男
Priority to US15/534,617 priority Critical patent/US10274963B2/en
Priority to ES15866771T priority patent/ES2759793T3/es
Priority to KR1020177015874A priority patent/KR102017965B1/ko
Priority to EP15866771.7A priority patent/EP3232290B1/en
Publication of WO2016093311A1 publication Critical patent/WO2016093311A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001Steering by means of optical assistance, e.g. television cameras
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/006Control or measuring arrangements
    • A01D34/008Control or measuring arrangements for automated or remotely controlled operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/243Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/648Performing a task within a working area or space, e.g. cleaning
    • G05D1/6484Performing a task within a working area or space, e.g. cleaning by taking into account parameters or characteristics of the working area or space, e.g. size or shape
    • G05D1/6486Performing a task within a working area or space, e.g. cleaning by taking into account parameters or characteristics of the working area or space, e.g. size or shape by taking into account surface condition, e.g. soiled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D2101/00Lawn-mowers
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/01Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus
    • A01D34/412Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having rotating cutters
    • A01D34/63Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having rotating cutters having cutters rotating about a vertical axis
    • A01D34/64Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having rotating cutters having cutters rotating about a vertical axis mounted on a vehicle, e.g. a tractor, or drawn by an animal or a vehicle
    • A01D34/66Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having rotating cutters having cutters rotating about a vertical axis mounted on a vehicle, e.g. a tractor, or drawn by an animal or a vehicle with two or more cutters
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/01Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus
    • A01D34/412Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having rotating cutters
    • A01D34/63Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having rotating cutters having cutters rotating about a vertical axis
    • A01D34/71Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having rotating cutters having cutters rotating about a vertical axis with means for discharging mown material
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/01Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus
    • A01D34/412Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having rotating cutters
    • A01D34/63Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having rotating cutters having cutters rotating about a vertical axis
    • A01D34/74Cutting-height adjustment
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D69/00Driving mechanisms or parts thereof for harvesters or mowers
    • A01D69/02Driving mechanisms or parts thereof for harvesters or mowers electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/15Specific applications of the controlled vehicles for harvesting, sowing or mowing in agriculture or forestry
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/20Land use
    • G05D2107/23Gardens or lawns
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals

Definitions

  • the present invention relates to a work vehicle that includes a traveling machine body and a work machine and that performs work while traveling, and more particularly, to a work vehicle that autonomously travels along a boundary line of work traces.
  • Examples of such work vehicles include those that autonomously travel using GNSS (Global Navigation Satellite System), those that autonomously travel using sensors such as physical contact sensors and optical sensors, and images captured by an imaging device.
  • GNSS Global Navigation Satellite System
  • sensors such as physical contact sensors and optical sensors
  • images captured by an imaging device There are things that autonomously run using GNSS (Global Navigation Satellite System).
  • Patent Document 1 discloses a scanning travel control device for an autonomous traveling work vehicle that controls scanning traveling along a work boundary between an already-worked area and an unworked area, For distance images obtained by processing an image captured by a stereo camera mounted on a vehicle, a means for detecting a distance step due to a work boundary based on a change in the differential value obtained by differentiating distance data, and a work from the detection point of the distance step Means for calculating a straight line approximating the boundary, and means for correcting the traveling direction of the host vehicle based on data of a straight line approximating the work boundary and controlling the steering system so as to travel along the work boundary An autonomous traveling work vehicle copying travel control device is disclosed.
  • Patent Document 1 the work boundary between the work target area and the non-work target area is accurately detected, and the parallelism is ensured even in a reciprocating straight line that requires parallelism, thereby preventing meandering. In addition, it is said that accurate copying can be realized.
  • patent document 1 it is the structure by which a work boundary is detected based on the distance image obtained by processing the image imaged with the stereo camera, and there is much information amount of the image obtained, and the calculation load of a travel control apparatus Tends to increase. Further, in a stereo camera that captures the same subject from different directions with respect to the light source, it is difficult to calibrate the camera, and there are many restrictions on the installation position, resulting in high manufacturing costs.
  • an object of the present invention is to provide a work vehicle that can accurately detect a boundary line of a work trace with a simple configuration and can autonomously travel along the boundary line.
  • a work vehicle includes: A work vehicle that includes a traveling machine body and a work machine and that performs work while traveling, A first imaging device for imaging the periphery of the traveling machine body; A control unit that controls the traveling machine body to autonomously travel along a boundary line of work traces sequentially formed by the working machine, The controller is A boundary detection unit for processing the image captured by the first imaging device and detecting the boundary line; A travel control unit that controls the travel direction of the traveling machine body along the boundary line detected by the boundary detection unit; The boundary detection unit Intensity distribution information regarding texture information in a predetermined direction is generated from the captured image by a filtering process using a Gabor filter, The intensity distribution information is statistically processed for each inspection region divided into a plurality of vertical directions to detect boundary points, The boundary line is detected from the boundary point for each inspection region.
  • the predetermined direction is an upward direction or a downward direction.
  • the first imaging device is arranged so that the boundary line of the work trace is positioned at approximately the center in the left-right direction of the image to be captured.
  • the first imaging device is provided corresponding to the right end and the left end of the work implement,
  • the control unit is configured to process an image captured by the first imaging device at either the right end or the left end.
  • a second imaging device capable of imaging a work trace immediately after the work of the work machine, and a storage unit;
  • the controller is Generate another intensity distribution information related to the texture information in the predetermined direction by a filtering process using a Gabor filter from the image captured by the second imaging device,
  • the other intensity distribution information is stored in the storage unit for processing results obtained by statistical processing for each inspection region divided into a plurality of vertical directions, In the statistical processing when the image picked up by the first image pickup device is processed later to detect the boundary line, the processing result stored in the storage unit is used.
  • the work vehicle includes a traveling machine body and a work machine, and performs work while traveling, and is sequentially formed by the first imaging device that images the periphery of the traveling machine body and the work machine.
  • a control unit that controls the traveling machine body to autonomously travel along the boundary line of the work trace to be processed, and the control unit processes an image captured by the first imaging device,
  • a boundary detection unit that detects the boundary line; and a traveling control unit that controls a traveling direction of the traveling vehicle body along the boundary line detected by the boundary detection unit.
  • Intensity distribution information relating to texture information in a predetermined direction is generated from the image that has been processed by using a Gabor filter, and the intensity distribution information is divided into a plurality of inspection regions divided in the vertical direction.
  • the boundary line of the work trace can be accurately detected, and the autonomous traveling can be accurately performed along the boundary line.
  • the predetermined direction is an upward direction or a downward direction
  • the work trace boundary line is accurately formed in the work machine in which the work trace in which the vertical characteristic changes is formed. Can be detected.
  • the first imaging device is arranged so that the boundary line of the work trace is located at a substantially center in the left-right direction of the image to be captured. Can be reduced.
  • the first imaging device is provided corresponding to each of a right end portion and a left end portion of the work implement, and the control unit includes the right end portion or the left end. Since the image picked up by the first image pickup device of any one of the parts is configured to be processed, the boundary line of the work trace can be accurately detected and the calculation amount of the control part can be reduced. it can.
  • the work vehicle further includes a second image pickup device capable of picking up a work trace immediately after the work of the work implement, and a storage unit, and the control unit includes the second image pickup device.
  • FIG. 1 is a schematic plan view illustrating an example of a work vehicle according to an embodiment of the present invention. It is a block diagram of the detection of the boundary line of a work trace, and autonomous running control. It is a schematic plan view which shows an example of the path
  • FIG. 1 is a plan view showing a mowing vehicle 1 as an example of a work vehicle according to the present embodiment.
  • the left side in FIG. 1 which is the traveling direction of the mowing vehicle 1 is defined as the front direction
  • the upper side in FIG. The side is the left direction.
  • the mowing vehicle 1 shown in FIG. 1 includes a traveling machine body 10 and a mowing apparatus 20 as a working machine.
  • the traveling machine body 10 includes front wheels 12 (12R, 12L) on the left and right of the front part corresponding to the traveling direction of the machine body 11, and includes rear wheels 13 (13R, 13L) on the left and right of the rear part.
  • a detachable battery 14 is provided at the rear part between 13R and 13L.
  • the front wheel 12 is a driven wheel, and the rear wheel 13 is a driving wheel.
  • the traveling machine body 10 also includes left and right traveling motors (not shown), left and right imaging devices 30 (30R, 30L) as first imaging devices capable of imaging the periphery of the traveling machine body 10, and the like. The operations of the traveling motor, the mowing device 20 and the left and right imaging devices 30 are controlled by a control unit C (not shown).
  • the left and right rear wheels 13 (13R, 13L) and the left and right traveling motors are linked to each other via gears (not shown).
  • the left and right traveling motors can independently rotate the left and right rear wheels 13R and 13L, which are drive wheels. Note that the electric power of the traveling motor is supplied from the battery 14.
  • the left and right rear wheels 13R and 13L are independently rotated by the left and right traveling motors, whereby the mowing vehicle 1 can be moved forward, backward, turned, and the like.
  • the left and right rear wheels 13R and 13L are rotated in the same direction and at the same speed.
  • the right rear wheel 13R and the left rear wheel 13L are rotated at different speeds.
  • the traveling machine body 10 is not limited to the above-described configuration.
  • the traveling machine body 10 may include an engine as a prime mover, and the engine may travel by rotating the rear wheels 13 that are driving wheels by the engine.
  • the traveling machine body 10 is configured to perform steering by causing a difference between the rotational speeds of the left and right rear wheels, and is configured to be steered by a steering device that can change the orientation of the front wheels 12 with respect to the machine body 10. Also good.
  • the mowing device 20 is located between the front wheel 12 and the rear wheel 13 and below the airframe 11, and is suspended below the airframe 11 by a suspension device (not shown).
  • the mowing device 20 can be moved up and down by this suspension device.
  • the mowing vehicle 1 can adjust the mowing length of the grass by moving the mowing device 20 up and down.
  • the mowing apparatus 20 includes a mower deck 21, left and right mower motors (not shown), and left and right mower blades 22 (22R and 22L) for mowing grass.
  • the side surface of the rear part of the mower deck 21 is opened to discharge the cut grass to the rear.
  • the left and right mower blades 22R and 22L are disposed adjacent to the inner side of the mower deck 21 and are rotated by the left and right mower motors, respectively.
  • the grass can be cut by rotating the left and right mower blades 22R and 22L.
  • the electric power of the mower motor is supplied from the battery 14.
  • the operation of the mower motor is controlled by the control unit C.
  • the mowing vehicle 1 can mow the grass with the mowing device 20 while traveling.
  • the horizontal cutting width W in which the grass mowing device 20 cuts the grass during traveling is the right end of the rotation trajectory at the tip of the right mower blade 22R and the left end of the rotation trajectory at the tip of the left mower blade 22L.
  • the width is approximately the same as the width of the mower deck in the left-right direction.
  • the mowing apparatus 20 is not limited to the above-described configuration.
  • the traveling machine body 10 may include an engine as a prime mover and the mower blade 22 may be rotated by the engine.
  • the arrangement of the mowing apparatus 20 with respect to the traveling machine body 10, the shape of the mower deck 21, the number of mower blades 22 and the like can be designed as appropriate.
  • the mowing apparatus 20 may be disposed in front of or behind the traveling machine body 10, and may be configured to discharge the cut grass in the left-right direction of the mower deck 21.
  • the imaging device 30 (30R, 30L) is, for example, a CCD (Charge Coupled Device) camera.
  • the left and right imaging devices 30 ⁇ / b> R and 30 ⁇ / b> L are attached to the tips of support brackets 31 that extend sideways and upward from the body 11.
  • the left and right imaging devices 30 ⁇ / b> R and 30 ⁇ / b> L are installed with a depression angle and can image the ground in front of the traveling machine body 10.
  • the right imaging device 30R is disposed corresponding to the right end of the operating portion of the mowing device 20, that is, the right end of the rotation locus of the tip of the right mower blade 22R. Therefore, the right imaging device 30 ⁇ / b> R is disposed corresponding to the right end portion of the area where the grass mowing device 20 cuts grass when traveling.
  • the left imaging device 30L is disposed corresponding to the left end of the operating portion of the mowing device 20, that is, the left end of the rotation locus of the tip of the left mower blade 22L. Therefore, the left imaging device 30L is arranged corresponding to the left end of the area where the grass mowing device 20 cuts grass when traveling.
  • control part C processes the image imaged by the imaging device 30, and detects the boundary line of the work trace formed sequentially by the mowing apparatus 20, ie, the boundary line before and after mowing the grass.
  • the imaging device 30 only needs to be able to image the periphery of the traveling machine body 10, and the arrangement and mounting configuration can be designed as appropriate.
  • FIG. 2 is a block diagram of detection of boundary lines of work traces and autonomous traveling control.
  • the mowing vehicle 1 includes a storage unit M, a GNSS receiving device 41, an operation device 42, a display device 43, a communication device 44, a main body sensor 45, a mowing sensor 46, and the like in the traveling machine body 10.
  • the imaging device 30, the storage unit M, the GNSS reception device 41, the operation device 42, the display device 43, the communication device 44, the main body sensor 45, the mowing sensor 46, and the like are connected to the control unit C.
  • the control unit C reads input signals such as various set values and detection values from various sensors and outputs control signals to control operations of the traveling machine body 10, the mowing device 20, and the imaging device 30. And includes a processing device that performs arithmetic processing and control processing, a main storage device that stores information, and the like.
  • the control unit C is, for example, a microcomputer including a CPU (Central Processing Unit) as a processing device, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like as a main storage device.
  • the main storage device stores a control program for executing the operation according to the present embodiment, various information, and the like.
  • the various programs and information may be stored in the storage unit M and read by the control unit C.
  • the storage unit M stores programs, information, and the like, and the stored information is rewritable, for example, a flash memory.
  • the storage unit M stores in advance a route R described later along which the mowing vehicle 1 travels autonomously.
  • the GNSS receiver 41 receives a radio signal from a GNSS satellite (not shown), converts the received radio signal, and transmits it to the control unit C.
  • the operation device 42 is a mouse, a keyboard, or the like for inputting information, and inputs information such as a setting value related to autonomous traveling of the mowing vehicle 1.
  • the display device 43 is a liquid crystal display or the like that displays information, and displays the status of arithmetic processing in the control unit C, information input by the operation device 42, information stored in the storage unit M, and the like.
  • the communication device 44 transmits information to the outside and receives information from the outside. For example, the communication device 44 transmits information on the traveling state of the traveling machine body 10 and an image captured by the imaging device 30 to the outside. Therefore, it is possible to grasp the autonomous running state of the mowing vehicle 1 even in a remote place.
  • the main body sensor 45 detects information on the operation of the traveling machine body 10.
  • the mowing sensor 46 detects operation information of the mowing apparatus 20.
  • the main body sensor 45 is a generic name of sensors for detecting information necessary for the autonomous traveling of the mowing vehicle 1 such as the traveling speed of the traveling machine body 10, the three-dimensional posture, and the rotational speed of the traveling motor. is there. More specifically, they are rotation sensors for left and right traveling motors, vehicle orientation sensors, vehicle tilt sensors, and the like. Detection signals from these main body sensors 45 are transmitted to the control unit C.
  • the mowing sensor 46 is a sensor that detects the rotational speed of the mower motor, the raising / lowering position of the mower deck, and the detection signal from the mowing sensor 46 is transmitted to the control unit C.
  • the control unit C has a position detection unit C1.
  • the position detection unit C1 is configured by a program, for example.
  • the position detection unit C1 is configured to calculate the position of the traveling machine body 10 based on radio signals transmitted at a certain time of a plurality of GNSS satellites input from the GNSS receiver 41.
  • the control unit C further includes a boundary detection unit C2.
  • the boundary detection unit C2 is configured by a program, for example.
  • the boundary detection unit C2 performs boundary processing before and after grass cutting in an image captured by performing predetermined processing on an image signal (image) input from one of the left and right imaging devices 30 (30R, 30L). Is configured to detect.
  • the predetermined processing performed on the image by the boundary detection unit C2 includes filtering processing, statistical processing, and the like.
  • the boundary detection unit C2 performs a filtering process using a Gabor filter on the captured image input from the imaging device 30, and generates intensity distribution information related to texture information in a predetermined direction.
  • the generated intensity distribution information is statistically processed to detect a boundary line before and after grass cutting.
  • the Gabor filter is a filter that reacts to edges in a specific direction and is a feature extraction filter that is close to the human primary visual cortex.
  • the Gabor filter is a filter defined by the product of a cosine wave and a Gaussian function.
  • is a wavelength
  • is an angle
  • is a phase
  • is an aspect ratio
  • is a parameter indicating a standard deviation.
  • the control unit C further includes a first travel control unit C3.
  • the first travel control unit C3 is configured by a program, for example. Although the details will be described later, the first traveling control unit C3 is configured to control the traveling direction of the traveling machine body 10 along the boundary line before and after cutting the grass detected by the boundary detecting unit C2. . That is, the first traveling control unit C3 changes the traveling direction of the traveling machine body 10 by controlling the operation of the traveling motor based on the boundary line detected by the boundary detecting unit C2, and travels along the boundary line.
  • the vehicle body 10 is configured to travel.
  • the control unit C further includes a second travel control unit C4.
  • the second traveling control unit C4 is configured by a program, for example.
  • the second travel control unit C4 travels based on the position of the traveling machine body 10 detected by the position detection unit C1, the route R stored in advance in the storage unit M, and the detection signal from the main body sensor 45.
  • the traveling direction of the traveling machine body 10 is changed by controlling the operation of the motor, and the traveling machine body 10 is caused to travel along the route R stored in the storage unit M in advance.
  • FIG. 3 is a schematic plan view showing an example of a route R for autonomous traveling of the mowing vehicle 1.
  • the arrow in FIG. 3 shows the advancing direction of the mowing vehicle 1.
  • the route R on which the mowing vehicle 1 travels autonomously is set in advance and is stored in the storage unit M in advance.
  • the mowing vehicle 1 is configured to autonomously travel along the route R.
  • the route R is configured to reciprocate in a straight line in the work place 50, and the mowing vehicle 1 performs grass cutting work by the grass cutting device 20 while autonomously traveling on the route R. do.
  • the path R includes a plurality of linear parallel paths R1 (R1a to R1f) having a predetermined interval in parallel, and a plurality of semicircular turning paths R2 (R2a to R2e) connecting the adjacent parallel paths R1. Consists of The interval between the adjacent parallel paths R1 is substantially the same as the cutting width W of the mowing device 20, and is appropriately designed according to the dimensions of the mowing device 20.
  • the mowing vehicle 1 travels on the parallel route R1a from the travel start point 51, turns 180 degrees by traveling on the turning route R2a at the end of the work place 50, and is adjacent to the parallel route R1a that traveled last time. Drive on R1b.
  • the mowing vehicle 1 travels to the travel end point 52 by repeating such reciprocating travel, and cuts the grass in the work place 50.
  • the interval between the adjacent parallel paths R1 is substantially the same as the cutting width W of the mowing device 20
  • the travel of the mowing vehicle 1 on the parallel paths R1b to R1f excluding the parallel path R1a from the travel start point 51 is It travels in a state adjacent to the area where the grass is cut.
  • the interval between adjacent parallel paths R1 is preferably narrower than the cutting width W of the mowing device 20.
  • the mowing device 20 travels with a region where the grass has already been cut and a lapping allowance, so that no grass is left uncut between the adjacent parallel paths R1.
  • the route R does not have to have all position information on the route.
  • the route R has a travel start point 51, a travel end point 52, position information on the start and end points of each turning route R2, and information on the turning radius on each turning route R2.
  • the mowing vehicle 1 travels autonomously from the travel start point 51 to the end of the turn route R2a along the parallel route R1a and the turn route R2a.
  • the mowing vehicle 1 performs autonomous traveling by the second traveling control unit C4 on the parallel route R1a and the turning route R2a.
  • the mowing vehicle 1 is moved by the second traveling control unit C4.
  • a deviation amount between the parallel route R1a and the traveling machine body 10 is calculated.
  • the deviation amount for example, as shown in FIG. 4, the deviation distance L1 from the parallel path R1a at the center of the traveling machine body 10, the deviation angle ⁇ 1 between the direction (traveling direction) of the traveling machine body 10 and the parallel path R1a, etc. It is.
  • FIG. 4 is a schematic plan view for explaining an example of the deviation between the traveling machine body 10 and the route R, and the arrows in FIG. 4 indicate the traveling direction of the traveling machine body 10.
  • the mowing vehicle 1 further changes the traveling direction of the traveling machine body 10 by controlling the operation of the traveling motor based on the calculated deviation between the parallel path R1a and the traveling machine body 10 by the second traveling control unit C4.
  • the traveling machine body 10 is caused to travel along the parallel path R1a.
  • the detection of the position of the traveling machine body 10 by the position detection unit C1 and the change of the traveling direction of the traveling machine body 10 by the second traveling control unit C4 are performed at a predetermined sampling cycle, for example, at a cycle of 1 second. .
  • the traveling route R2a When the mowing vehicle 1 reaches the starting point of the turning route R2a (the end point of the parallel route R1a), the position of the traveling machine body 10 detected by the position detection unit C1, the turning route R2a, and a detection signal from the main body sensor 45. Based on the above, the operation of the traveling motor is controlled by the second traveling control unit C4 to change the traveling direction of the traveling body 10, and the traveling body 10 travels along the turning route R2a.
  • the turning route R2a has a semicircular shape with a predetermined radius (W / 2), the mowing vehicle 1 only turns 180 degrees to the left.
  • the mowing vehicle 1 can cause the traveling machine body 10 to travel along the turning route R2a only by controlling the traveling motor to a predetermined operation by the second control unit C4.
  • the second traveling control unit C4 calculates the deviation amount between the turning route R2a and the traveling machine body 10 along the turning route R2a and calculates the deviation amount between the turning route R2a and the traveling machine body 10 in the turning route R2a. It may be configured to run.
  • the traveling of the mowing vehicle 1 on the parallel route R1b travels in a state adjacent to the area where the grass is cut off when traveling on the parallel route R1a. That is, the travel of the mowing vehicle 1 on the parallel path R1b is a boundary line between the area where the grass is cut when traveling on the parallel path R1a and the area where the grass is not yet cut which is scheduled to be harvested when traveling on the parallel path R1b. It travels along (the boundary line before and after mowing the grass).
  • the mowing vehicle 1 performs autonomous traveling by the first traveling control unit C3 on the parallel route R1b.
  • the mowing vehicle 1 detects the boundary line before and after the cutting of the grass by the boundary detection unit C2, and based on the detected boundary line before and after the cutting of the grass, the first traveling control unit C3 controls the operation of the traveling motor.
  • the traveling direction of the traveling machine body 10 is changed by control, and the traveling machine body 10 travels along the boundary line, thereby autonomously traveling on the parallel route R1b.
  • the detection of the boundary line by the boundary detection unit C2 and the change of the traveling direction of the traveling machine body 10 by the first traveling control unit C3 are the same as in the case of the above-described position detecting unit C1 and second traveling control unit C4. This is performed at a predetermined sampling cycle, for example, at a cycle of 1 second. Further, even when the mowing vehicle 1 is traveling on the parallel route R1b, the position detection unit C1 detects the position of the traveling machine body 10 at a predetermined sampling period.
  • FIG. 5 is a flowchart for explaining an example of the detection operation of the boundary detection unit C2.
  • the mowing vehicle 1 images the front of the mowing vehicle 1 with the left imaging device 30L on the side where the boundary line before and after mowing the grass is located (step S1).
  • a schematic diagram of an example of a captured image is shown in FIG.
  • FIG. 6 shows a boundary line 55 between a region 53 where grass is cut and a region 54 where grass is not cut.
  • the captured image is composed of 480 ⁇ 640 pixels, and luminance information of each of the 480 ⁇ 640 pixels is input to the boundary detection unit C2.
  • the left and right imaging devices 30 are arranged corresponding to the right end and the left end of the area where the grass is cut by the grass mowing device 20, respectively.
  • the center in the left-right direction of each image captured by () corresponds to the right end and the left end of the area where the grass mowing device 20 cuts grass. Therefore, the direction of the traveling machine body 10 is parallel to the boundary line 55 between the area 53 where the grass is cut and the area 54 where the grass is not cut, and the rotation trajectory of the tip of the left mower blade 22L of the mowing apparatus 20
  • the boundary line 55 is positioned at the center in the left-right direction in the image captured by the left imaging device 30L. That is, when the left imaging device 30L travels on the parallel route R1b, the left imaging device 30L is arranged such that the boundary line 55 is positioned at the center in the left-right direction of the image to be captured.
  • the boundary detection unit C2 performs a filtering process using a Gabor filter on the image captured by the left imaging device 30L (step S2).
  • the grass extends upward from the ground, and the boundary line before and after cutting the grass is a boundary line in a region where the texture pattern differs depending on the length of grass and the direction of extension.
  • the area before and after cutting the grass has different image characteristics in the vertical direction, and the boundary of this vertical characteristic can be recognized as the boundary before and after the cutting of the grass. .
  • the image that has been subjected to Gabor filter processing is intensity distribution information in the upward direction.
  • Each parameter is not limited to the above, and can be designed as appropriate.
  • the noise removal filter is not particularly limited, and may be, for example, a gray scale conversion of a color image or a median filter that replaces the value of each pixel with the median value of surrounding pixels.
  • the boundary detection unit C2 detects a boundary point located on the boundary line 55 before and after mowing the grass for the image subjected to the Gabor filter process (step S3).
  • a plurality of inspection areas are set by dividing an image that has been subjected to Gabor filter processing in the vertical direction. Further, a plurality of unit inspection areas are set by dividing each inspection area in the left-right direction.
  • the image subjected to the Gabor filter process is equally divided in the vertical direction, and 30 inspection areas are set. Further, each inspection area is equally divided in the left-right direction, and 40 unit inspection areas are set for each. That is, the image subjected to the Gabor filter process is divided into a total of 1200 unit inspection areas.
  • the boundary detection unit C2 calculates the sum of luminance in each unit inspection area. Further, the boundary detection unit C2 calculates an average value of the sum of the luminances of the 40 unit inspection areas in each inspection area, and uses the average value as a threshold value of the inspection area. Then, for each inspection region, the boundary detection unit C2 divides the threshold value from the sum of luminance in the unit inspection region from left to right, and compares the positive and negative values with the previous divided value to determine the boundary point. . The boundary detection unit C2 determines the center of the unit inspection area as the boundary point when the value of the divided value is different from the value of the previous divided value.
  • FIG. 7 is a schematic diagram showing an example of a plurality of detected boundary points P in the schematic diagram of the image in FIG.
  • the threshold value used when determining the boundary point is calculated for each inspection region and does not need to be set in advance. Therefore, it is difficult to be influenced by the state of grass, the state of light, the brightness, the rule of thumb, etc., and the boundary point can be determined more reliably.
  • the boundary point detection method is not limited to the above-described configuration. It is only necessary to be able to detect boundary points located on the boundary line before and after mowing the grass from the image that has been subjected to Gabor filter processing, which is intensity distribution information in a predetermined direction, and the inspection area, the size of the unit inspection area, and the threshold value
  • the determination method and the like are appropriately designed.
  • the unit inspection area may be set so as to overlap with the left and right other unit inspection areas.
  • the threshold value may be calculated using a simple moving average in the left-right direction, or one threshold value may be determined for each image.
  • the left and right imaging devices 30 ⁇ / b> R and 30 ⁇ / b> L are arranged corresponding to the right end and the left end of the area where the grass mowing device 20 cuts grass, respectively. Therefore, in the images captured by the left and right imaging devices 30R and 30L, the boundary line 55 is configured to be easily captured at a substantially center in the left-right direction. Accordingly, a configuration may be adopted in which the boundary point is detected with respect to the region of the central portion in the left-right direction of the image subjected to the Gabor filter processing. With this configuration, it is possible to reduce the calculation amount of the boundary detection unit C2.
  • the size of the unit inspection area located in the center portion may be set small, and the size of the unit inspection areas located in the right side portion and the left side portion may be set large. With this setting, the calculation amount of the boundary detection unit C2 can be reduced.
  • the average value of the threshold values calculated for each inspection region is stored in the storage unit M, and when the boundary point is detected from the image captured by the imaging device 30 next time, the average value of the threshold values stored in the storage unit M is used.
  • the configuration may be such that a boundary point is detected as a threshold value.
  • the boundary detection unit C2 can reduce the calculation amount of the boundary detection unit C2 without calculating the threshold value every time.
  • the boundary detection unit C2 detects the boundary point by calculating a threshold when detecting the next boundary point according to the number of boundary points as outliers described later. Also good. This is because the threshold value may not be appropriate when the number of boundary points as an outlier is large. Therefore, with such a configuration, the boundary point can be detected more accurately.
  • the threshold value used when determining the boundary point may be set in advance.
  • the boundary detection unit C2 detects the boundary line 55 before and after mowing the grass based on the detected boundary point P for each inspection region (step S4).
  • the boundary point P for each inspection region detected in step S ⁇ b> 3 may include a point greatly deviating from the boundary line 55. Therefore, the boundary detection unit C2 extracts boundary points P included in a predetermined error range, and detects the boundary line 55 based on the extracted plurality of boundary points P.
  • the boundary detection unit C2 extracts a boundary point P included in a predetermined error range using RANSAC (RANdam SAmple Consensus). More specifically, the boundary detection unit C2 randomly selects two boundary points P from all the boundary points P detected in step S3, and calculates a straight line passing through the two boundary points P. The boundary detection unit C2 calculates the distance between the calculated straight line and all the boundary points P detected in step S3, and extracts only the boundary point P whose distance is smaller than a predetermined threshold. Next, the boundary detection unit C2 randomly selects two boundary points from the extracted boundary point P, calculates a straight line passing through the two boundary points P, and calculates the calculated value.
  • RANSAC Random SAmple Consensus
  • the distance between the straight line and all the extracted boundary points P is calculated, and only the boundary point P whose distance is smaller than a predetermined threshold is newly extracted. Then, the boundary detection unit C2 repeats the above-described extraction of the boundary points a plurality of times, so that the boundary points P included in the predetermined error range (within the threshold value) from all the boundary points P detected in step S3. Extract. In the present embodiment, the number of repetitions of this extraction is 50.
  • FIG. 8 is a schematic diagram showing an example of a plurality of detected boundary points P and detected boundary lines 56 in the schematic diagram of the image in FIG.
  • a boundary point P1 indicates a boundary point P1
  • a boundary point P2 indicates an outlier that is not used for boundary line detection.
  • the description of the captured boundary line 55 is omitted.
  • the detection method of the boundary line 55 is not limited to the above-described configuration, and the number of repetitions and the threshold value to be extracted from the boundary point P are appropriately designed.
  • the boundary point P may be extracted using a method different from RANSAC, and for example, the boundary point P may be extracted by a least square method.
  • the least square method since there is no stability against disturbance (outlier), it is preferable to use an extraction method having robustness.
  • the boundary detection unit C2 is configured to detect the boundary line based on the upward intensity distribution information generated by the filtering process using the upward Gabor filter from the captured image. That is, since the boundary detection unit C2 is configured to perform filtering processing using one Gabor filter, the amount of information to be statistically processed does not increase, and the boundary line can be detected with a simple configuration. it can.
  • which is a parameter of the direction (angle)
  • is set to 0, 15, 30, 45, 60, 75, 90, 105, 120, 135, 150, 165.
  • 36 Gabor filters having standard deviations ⁇ with respect to ⁇ of 1.2, 1.6, and 2.2 are used.
  • the filtering process using the 36 Gabor filters is performed on the captured image.
  • intensity information in each direction is generated for each pixel. That is, 36 pieces of intensity information are generated for each pixel.
  • the intensity information of each pixel is a value obtained by adding the product of the luminance of each pixel and the value calculated by the filtering process to the luminance of each pixel.
  • the maximum one is extracted from the 36 pieces of intensity information, and the direction ( ⁇ ) of the Gabor filter in which the maximum intensity information is generated is used as the texture information in the pixel.
  • Generate distribution information In this way, the texture pattern in the captured image can be extracted as texture distribution information.
  • the information (image) generated by the binarization process is an image obtained by dividing the captured image into a region where grass is cut and a region where grass is not cut.
  • the boundary line can be detected based on the intensity distribution information regarding the texture information in a plurality of directions, and the boundary line can be detected more accurately.
  • the boundary line detection method using a plurality of Gabor filters is not limited to the above-described configuration.
  • a configuration may be adopted in which filtering processing for removing noise is performed on an image generated by binarization processing. With such a configuration, the boundary point can be detected more accurately.
  • the number of Gabor filters, the value of each parameter, the threshold value and the like are not limited to the above, and can be appropriately designed.
  • the binarization process similar to the above is applied to the intensity distribution information generated by the filtering process, and the boundary point is determined based on the image generated by the binarization process. It can also be configured to detect.
  • the mowing vehicle 1 travels by controlling the operation of the travel motor by the first travel control unit C3 based on the detection boundary line 56 before and after cutting the grass detected by the boundary detection unit C2 as described above.
  • the traveling direction of the body 10 is changed, and autonomous traveling is performed along the boundary line.
  • the deviation amount between the detection boundary line 56 and the traveling machine body 10 is calculated by the first traveling control unit C3.
  • the deviation amount for example, as shown in FIGS. 9 and 10, the deviation distance L2 in the left-right direction between the reference point O of the image captured by the left imaging device 30L and the detected detection boundary line 56, and detection The deviation angle ⁇ 2 of the inclination of the detected boundary line 56 with respect to the vertical direction.
  • FIG. 9 is a schematic diagram for explaining an example of the deviation between the detected boundary line 56 and the traveling machine body 10
  • FIG. 10 shows the deviation of the detected boundary line 56 and the traveling machine body 10. It is a schematic plan view for demonstrating an example.
  • FIG. 10 shows the detection boundary line 56a, the reference point Oa, the deviation distance L2a, and the deviation angle respectively corresponding to the detected detection boundary line 56, the reference point O, the deviation distance L2, and the deviation angle ⁇ 2 in FIG. ⁇ 2a is shown, an area 57 indicates an area displayed in the image, and an arrow indicates a traveling direction of the traveling machine body 10.
  • the deviation distance L2 and deviation angle ⁇ 2 (in the image) in FIG. 9 are different from the deviation distance L2a and deviation angle ⁇ 2a (in real space) in FIG.
  • the traveling control unit C3 of No. 1 uses a deviation distance L2 and a deviation angle ⁇ 2 calculated from the detection boundary line 56 detected by the boundary detection unit C2 and converted into a deviation distance L2a and a deviation angle ⁇ 2a by coordinate conversion.
  • the direction of the traveling machine body 10 is parallel to the boundary line 55 before and after mowing the grass, and the left end of the rotation locus of the left mower blade 22L of the mowing device 20 is When positioned on the boundary line, the boundary line 55 is arranged at the center in the left-right direction of the captured image. Therefore, the first traveling control unit C3 can relatively easily calculate the deviation amount between the detected detection boundary line 56 and the traveling machine body 10 with reference to the center in the left-right direction of the image. The amount of calculation of the part C3 can be reduced.
  • the mowing vehicle 1 further controls the operation of the traveling motor based on the detected deviation amount (deviation distance L2a, deviation angle ⁇ 2a) between the boundary line 56 and the traveling machine body 10 by the first traveling control unit C3.
  • the traveling direction of the traveling machine body 10 is changed, and autonomous traveling is performed along the boundary line before and after mowing the grass.
  • the position of the traveling machine body 10 detected by the position detection unit C1 and the turning route R2b are the same as the traveling of the turning route R2b described above.
  • the operation of the traveling motor is controlled by the second traveling control unit C4 to change the traveling direction of the traveling body 10, and the traveling body 10 travels along the turning route R2b.
  • the turning route R2b for the right turn is different from the turning route R2a for the left turn only in the turning direction.
  • the mowing vehicle 1 causes the traveling machine body 10 to travel along the turning route R2b only by controlling the traveling motor to a predetermined operation by the second control unit C4, similarly to the traveling of the turning route R2a. Can do.
  • the second traveling control unit C4 calculates the deviation amount between the turning route R2b and the traveling machine body 10 along the turning route R2b and calculates the deviation amount between the turning route R2b and the traveling vehicle body 10 in the turning route R2b as well as the parallel route R1b described above. It may be configured to run.
  • the mowing vehicle 1 when it reaches the end point of the turning route R2b (starting point of the parallel route R1c), it automatically travels along the parallel route R1c to the end point of the parallel route R1c (starting point of the turning route R2c).
  • the traveling of the mowing vehicle 1 on the parallel path R1c is similar to the above-described parallel path R1b.
  • the area where the grass is cut when traveling on the parallel path R1b and the grass that is scheduled to cut the grass when traveling on the parallel path R1c are used.
  • the vehicle travels along a boundary line (a boundary line before and after cutting the grass) with a region that is not cut.
  • the grass cutting vehicle 1 detects the boundary line before and after cutting the grass by the boundary detection unit C2, similarly to the traveling of the parallel path R1b described above, and based on the detected boundary line before and after cutting the grass, A traveling control unit C3 controls the operation of the traveling motor to change the traveling direction of the traveling machine body 10 and causes the traveling machine body 10 to travel along the boundary line, thereby autonomously traveling on the parallel route R1c.
  • the boundary detection unit C2 detects a boundary line before and after mowing the grass based on the image captured by the right imaging device 30L.
  • the boundary detection unit C2 detects the boundary line before and after cutting the grass
  • the first traveling control unit C3 changes the traveling direction of the traveling machine body 10 when traveling on the parallel route R1b.
  • the imaging device 30 that captures the image is different between right and left, and the description thereof is omitted.
  • switching between the left and right imaging devices 30R and 30L is determined by the route R, and information on which left and right imaging devices 30R and 30L are used is stored in the storage unit M in association with the route R in advance. ing.
  • the boundary detection unit C2 determines whether there is a boundary line, and which of the left and right imaging devices 30R and 30L is used based on the determination result. It is also possible to adopt a configuration for determining With such a configuration, the amount of information stored in the storage unit M in advance can be reduced. In addition, even when the traveling machine body 10 deviates greatly from the route R, it becomes possible to continue autonomous traveling, and work efficiency is improved.
  • the mowing vehicle 1 sequentially travels on the turning route R2 that connects the adjacent parallel route R1 and the parallel route R1, and ends the autonomous traveling when it reaches the traveling end point 52.
  • the traveling of the mowing vehicle 1 on the parallel routes R1b to R1f excluding the parallel route R1a from the travel start point 51 travels in a state adjacent to the area where the grass is cut, and the mowing vehicle 1 It autonomously travels along a boundary line before and after mowing grass that is sequentially formed by the device 20. Therefore, no uncut grass remains between the adjacent parallel paths R1.
  • the Gabor filter process is performed by a Gabor filter only in a specific direction (upward direction), the calculation amount of the boundary detection unit C2 does not increase.
  • the boundary line can be detected more accurately with a simple configuration. Further, since the left and right imaging devices 30R and 30L are arranged so that the boundary line is located at the approximate center in the left and right direction of the image when the mowing vehicle 1 travels along the boundary line, It can prevent that a boundary line becomes difficult to be imaged. Further, the imaging device 30 does not require complicated calibration and is not easily restricted by the installation position.
  • the mowing vehicle 1 as a work vehicle is not limited to the above-described configuration.
  • the mowing vehicle 1 in addition to the right imaging devices 30R and 30L, the mowing vehicle 1 travels as a second imaging device.
  • the structure provided with the imaging device 32 (32R, 32L) on either side which can image the back of the body 10 may be sufficient.
  • FIG. 11 is a schematic plan view showing a mowing vehicle 2 as an example of a work vehicle according to another embodiment.
  • the mowing vehicle 2 has the same configuration as the mowing vehicle 1 described above except for the left and right imaging devices 32 (32R, 32L).
  • the image pickup device 32 (32R, 32L) picks up an image of a boundary line before and after the grass cutting immediately after the grass cutting of the grass cutting device 20 as a working machine. With this configuration, it is possible to reduce the amount of calculation of the boundary detection unit C2 when detecting the boundary line before and after mowing the grass based on the image captured by the imaging device 30 (30R, 30L). . In addition, the boundary line can be detected more accurately.
  • the boundary detection unit C2 detects the boundary line 58 before and after mowing the grass based on the image captured by the left imaging device 30L.
  • the mowing vehicle 2 images the boundary line 59 before and after mowing the grass immediately after mowing the grass mowing device 20 with the right imaging device 32R at any point on the route R1b.
  • the boundary detection unit C2 performs a filtering process using a Gabor filter on the image captured by the right imaging device 32R in the same manner as the detection of the boundary line.
  • the boundary detection unit C2 sets a plurality of inspection areas and a plurality of unit inspection areas in the same manner as the detection of the boundary lines for the image subjected to the Gabor filter processing. Further, the average value of the sum of the luminances of the unit inspection areas in each inspection area is calculated, the average value of the total sum of the average values of the calculated inspection areas is calculated, and this average value is used as a threshold value for the next process. To store.
  • the image picked up by the right image pickup device 32R is an image picked up from the same direction as the image picked up by the right image pickup device 30R when traveling on the route R1c of the next process. That is, the mowing vehicle 2 is configured to previously capture an image (an image in which the boundary line 59 is captured) when traveling on the route R1c of the next process with the right imaging device 32R.
  • the threshold value of the next process stored in the storage unit M is used for detection of a boundary line by the boundary detection unit C2 when traveling on the route R1c.
  • the boundary detection unit C2 detects the boundary line 59 before and after mowing the grass based on the image captured by the right imaging device 30R (when traveling along the route R1c as the next step), and the threshold value of the boundary point
  • the threshold value of the next process stored in the storage unit M when traveling on the route R1b is used. Therefore, the boundary detection unit C2 does not need to calculate the threshold value of the boundary point when traveling on the route R1c, which is the next step, and can reduce the calculation amount of the boundary detection unit C2.
  • this threshold value is calculated from images taken from the same direction, the boundary detection unit C2 can detect the boundary point more accurately. Therefore, the boundary detection unit C2 can detect the boundary line more accurately.
  • the mowing vehicles 1 and 2 may be configured so that the boundary line before and after mowing the grass can be captured by the imaging device, and is not limited to the configuration including the imaging devices on the left and right.
  • the mowing vehicle 1 may be configured to include only one imaging device that images the front of the traveling machine body 10, and the mowing vehicle 2 includes one imaging device that images the front and one imaging device that captures the rear. It may be the composition provided. With such a configuration, the number of imaging devices is reduced, and the productivity of the mowing vehicles 1 and 2 is improved.
  • the route R on which the mowing vehicles 1 and 2 travel autonomously is not limited to the above-described configuration, and the route R travels along a boundary line before and after mowing the grass that is sequentially formed by the mowing device 20. I need it.
  • the path R may be a spiral path having a predetermined distance from an adjacent path.
  • the combination of the traveling machine body and the working machine in the work vehicle of the present invention is not limited to the combination of the traveling machine body 10 and the grass cutting device 20 in the above-described mowing vehicles 1 and 2.
  • it may be a work vehicle including a rotary tiller as a work machine at the rear of the traveling machine body. Since the work vehicle having such a configuration travels while plowing the topsoil of the work site using the rotary tiller, traces of sequential plowing are formed. Therefore, the work vehicle having such a configuration, like the mowing vehicles 1 and 2 described above, captures the boundary line before and after tilling of the rotary tiller with the imaging device and detects based on the image captured by the boundary detection unit. Thus, it is possible to autonomously travel along this boundary line.
  • a work vehicle including a seedling planting device as a work machine at the rear of the traveling machine body may be used. Since the work vehicle having such a configuration travels while planting seedlings on the work site by the seedling planting device, seedlings are sequentially planted as work traces. Here, the seedlings are planted in strips. Therefore, the work vehicle having such a configuration, like the above-described configuration of the mowing vehicles 1 and 2, picks up an image of seedlings (rows of seedlings) as a boundary line before and after planting of the seedling planting device, and detects the boundary. By detecting the seedling (the seedling strip) based on the image picked up by the unit, it is possible to autonomously travel along the seedling (the seedling strip) as the boundary line.
  • the work vehicle of the present invention is not limited to a combination of a traveling machine body and a mowing device, a combination of a traveling machine body and a rotary tiller, and the like.
  • the present invention can be applied to any work vehicle in which work traces are sequentially formed on the work site by the work machine provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Environmental Sciences (AREA)
  • Soil Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Guiding Agricultural Machines (AREA)
  • Harvester Elements (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

 走行機体10と草刈装置20とを備える草刈車両1は、第1の撮像装置30と、草刈装置20によって逐次形成される草の刈り取り前後の境界線に沿って、走行機体10を自律走行させるように制御する制御部Cと、を備え、制御部Cは、境界線を検出する境界検出部C2と、走行機体10の走行方向を制御する走行制御部C3とを有し、境界検出部C2は、撮像された画像からガボールフィルタを用いたフィルタリング処理によって、所定の方向のテクスチャー情報に関する強度分布情報を生成し、強度分布情報を、上下方向に複数に分割された検査領域毎に、統計処理して境界点を検出し、検査領域毎の境界点から境界線を検出するように構成されている。

Description

作業車両
 本発明は、走行機体と作業機とを備え、走行しながら作業を行う作業車両に関し、より詳細には、作業痕跡の境界線に沿って自律走行する作業車両に関する。
 近年、走行機体を走行させながら各種作業を行う作業車両において、作業効率の向上や労働負担の軽減のために、運転者が乗車せずに無人で走行する、いわゆる自律走行によって各種作業を行う作業車両が提案されている。
 このような作業車両としては、GNSS(Global Navigation Satellite System)を用いて自律走行するものや、物理的な接触センサや光学センサなどセンサ類を用いて自律走行するものや、撮像装置によって撮像した画像を用いて自律走行するものなどがある。
 例えば、画像を用いて自律走行するものとして、特許文献1には、既作業領域と未作業領域との作業境界に沿った倣い走行を制御する自律走行作業車の倣い走行制御装置であって、車両搭載のステレオカメラで撮像した画像を処理して得られる距離画像に対し、距離データを微分した微分値の変化に基づいて作業境界による距離段差を検出する手段と、距離段差の検出点から作業境界を近似する直線を算出する手段と、自車両の進行方位を作業境界を近似する直線のデータに基づいて修正し、作業境界に沿って進行するよう操舵系を制御する手段とを備えたことを特徴とする自律走行作業車の倣い走行制御装置が開示されている。
特開平10-307627号公報
 特許文献1の構成によれば、作業対象領域と非作業対象領域との作業境界を正確に検出し、平行度を要求される往復直線走行に対しても平行度を確保して蛇行発生を防止し、正確な倣い走行を実現することができるとされている。
 ここで、特許文献1では、ステレオカメラで撮像した画像を処理して得られる距離画像に基づいて作業境界が検出される構成であり、得られる画像の情報量が多く、走行制御装置の演算負荷が増大しやすい。また、光源に対して異なる方向から同一の被写体を撮像するステレオカメラにおいては、カメラのキャリブレーションが難しいとともに、設置位置の制約も多く、製造コストが高くなる。
 そこで、本発明の目的は、簡易な構成によって正確に作業痕跡の境界線を検出し、この境界線に沿って自律走行することができる作業車両を提供することにある。
 上記課題を解決するために、本発明の作業車両は、
 走行機体と作業機とを備え、走行しながら作業を行う作業車両であり、
 前記走行機体の周辺を撮像する第1の撮像装置と、
 前記作業機によって逐次形成される作業痕跡の境界線に沿って、前記走行機体を自律走行させるように制御する制御部と、を備え、
 前記制御部は、
 前記第1の撮像装置によって撮像された画像を処理して、前記境界線を検出する境界検出部と、
 前記境界検出部によって検出された境界線に沿うように、前記走行機体の走行方向を制御する走行制御部とを有し、
 前記境界検出部は、
 撮像された前記画像からガボールフィルタを用いたフィルタリング処理によって、所定の方向のテクスチャー情報に関する強度分布情報を生成し、
 前記強度分布情報を、上下方向に複数に分割された検査領域毎に、統計処理して境界点を検出し、
 前記検査領域毎の前記境界点から前記境界線を検出するように構成されていることを特徴とする。
 更に、前記所定の方向は、上方向または下方向であることを特徴とする。
 更に、前記第1の撮像装置は、撮像する画像の左右方向略中央に前記作業痕跡の前記境界線が位置するように配置されることを特徴とする。
 更に、前記第1の撮像装置を、前記作業機の右側端部と左側端部にそれぞれ対応して備え、
 前記制御部は、前記右側端部または前記左側端部のいずれか一方の前記第1の撮像装置によって撮像された画像を処理するように構成されていることを特徴とする。
 前記作業機の作業直後の作業痕跡を撮像可能な第2の撮像装置と、記憶部と、を更に備え、
 前記制御部は、
 前記第2の撮像装置によって撮像された画像からガボールフィルタを用いたフィルタリング処理によって、前記所定の方向のテクスチャー情報に関する別の強度分布情報を生成し、
 前記別の強度分布情報を、上下方向に複数に分割された検査領域毎に、統計処理して得られる処理結果を前記記憶部に格納し、
 後に前記第1の撮像装置によって撮像された画像を処理して前記境界線を検出する際の前記統計処理において、前記記憶部に格納された前記処理結果を用いるように構成されていることを特徴とする。
 本発明の作業車両によれば、走行機体と作業機とを備え、走行しながら作業を行う作業車両であり、前記走行機体の周辺を撮像する第1の撮像装置と、前記作業機によって逐次形成される作業痕跡の境界線に沿って、前記走行機体を自律走行させるように制御する制御部と、を備え、前記制御部は、前記第1の撮像装置によって撮像された画像を処理して、前記境界線を検出する境界検出部と、前記境界検出部によって検出された境界線に沿うように、前記走行機体の走行方向を制御する走行制御部とを有し、前記境界検出部は、撮像された前記画像からガボールフィルタを用いたフィルタリング処理によって、所定の方向のテクスチャー情報に関する強度分布情報を生成し、前記強度分布情報を、上下方向に複数に分割された検査領域毎に、統計処理して境界点を検出し、前記検査領域毎の前記境界点から前記境界線を検出するように構成されているので、制御部の演算量の増大を抑えるとともに、簡易な構成によって、正確に作業痕跡の境界線を検出することができ、この境界線に沿って正確に自律走行することができる。
 更に、本発明の作業車両によれば、前記所定の方向は、上方向または下方向であるので、上下方向の特性が変化する作業痕跡が形成される作業機において、正確に作業痕跡の境界線を検出できる。
 更に、本発明の作業車両によれば、前記第1の撮像装置は、撮像する画像の左右方向略中央に前記作業痕跡の前記境界線が位置するように配置されるので、制御部の演算量を低減することができる。
 更に、本発明の作業車両によれば、前記第1の撮像装置を、前記作業機の右側端部と左側端部にそれぞれ対応して備え、前記制御部は、前記右側端部または前記左側端部のいずれか一方の前記第1の撮像装置によって撮像された画像を処理するように構成されているので、正確に作業痕跡の境界線を検出できるとともに、制御部の演算量を低減することができる。
 更に、本発明の作業車両によれば、前記作業機の作業直後の作業痕跡を撮像可能な第2の撮像装置と、記憶部と、を更に備え、前記制御部は、前記第2の撮像装置によって撮像された画像からガボールフィルタを用いたフィルタリング処理によって、前記所定の方向のテクスチャー情報に関する別の強度分布情報を生成し、前記別の強度分布情報を、上下方向に複数に分割された検査領域毎に、統計処理して得られる処理結果を前記記憶部に格納し、後に前記第1の撮像装置によって撮像された画像を処理して前記境界線を検出する際の前記統計処理において、前記記憶部に格納された前記処理結果を用いるように構成されているので、正確に作業痕跡の境界線を検出できるとともに、制御部の演算量を低減することができる。
本発明の実施形態に係る作業車両の一例が示された概略平面図である。 作業痕跡の境界線の検出、及び自律走行制御のブロック図である。 草刈車両の自律走行の経路の一例を示す概略平面図である。 走行機体と経路との偏差の一例を説明するため概略平面図である。 境界検出部の検出動作の一例を説明するためのフローチャートである。 撮像装置によって撮像された画像の一例を示す概略図である。 検出された複数の境界点の一例を示した概略図である。 検出された複数の境界点、及び境界線の一例を示した概略図である。 検出された検出境界線と走行機体の偏差の一例を説明するための概略図である。 検出された検出境界線と走行機体の偏差の一例を説明するための概略平面図である。 別の実施形態に係る作業車両の一例を示す概略平面図である。
 以下、図面を参照しつつ、本発明を実施するための形態について詳述する。図1は本実施形態に係る作業車両の一例としての草刈車両1を示す平面図である。なお、以下では、説明の便宜上、草刈車両1の進行方向である図1における左側を前方向とし、進行方向に対して直交して、かつ水平方向である図1における上側を右方向とし、下側を左方向とする。
 図1に示された草刈車両1は、走行機体10と作業機としての草刈装置20とからなる。走行機体10は、機体11の進行方向にあたる前部の左右のそれぞれに前輪12(12R、12L)を備え、後部の左右のそれぞれには後輪13(13R、13L)を備え、左右の後輪13R、13Lの間の後部には着脱自在なバッテリー14を備える。前輪12は従動輪であり、後輪13は駆動輪である。また、走行機体10は、図示せぬ左右の走行モータと、走行機体10の周辺を撮像可能な第1の撮像装置としての左右の撮像装置30(30R、30L)なども備える。なお、走行モータや草刈装置20や左右の撮像装置30の動作は、ここでは図示せぬ制御部Cによって制御される。
 左右の後輪13(13R、13L)と左右の走行モータとは、それぞれ図示せぬギヤを介して連動連結されている。左右の走行モータは、駆動輪である左右の後輪13R、13Lをそれぞれ独立して回転させることができる。なお、走行モータの電力は、バッテリー14から供給される。
 そして、左右の走行モータによって、左右の後輪13R、13Lをそれぞれ独立して回転させることで、草刈車両1の前進、後進、旋回等を行うことができる。前進時と後進時には、左右の後輪13R、13Lを同一方向かつ同一速度で回転させる。旋回時には、右の後輪13Rと、左の後輪13Lとを異なる速度で回転させる。また、右の後輪13Rと、左の後輪13Lとを逆方向に回転させることで、超信地旋回することができる。
 なお、走行機体10は上述の構成に限定されるものではない。例えば、走行機体10は、原動機としてのエンジンを備え、このエンジンによって駆動輪である後輪13を回転させて走行する構成であっても良い。また、走行機体10は、左右の後輪の回転速度に差を生じさせることによって操舵を行う構成であるが、前輪12の機体10に対する向きを変更可能とする操舵装置によって操舵する構成であっても良い。
 草刈装置20は、前輪12と後輪13との間であって機体11の下方に位置し、図示せぬ懸架装置によって機体11の下部に懸架されている。草刈装置20は、この懸架装置によって上下方向に昇降可能である。そして、草刈車両1は、草刈装置20を上下に昇降させることで、草の刈り取り長さの調節ができる。
 草刈装置20は、モアデッキ21と、図示せぬ左右のモアモータと、草を刈るための左右のモアブレード22(22R、22L)などから構成される。モアデッキ21の後部の側面は、刈った芝を後方に排出するために開放されている。左右のモアブレード22R、22Lは、モアデッキ21の内側に隣接して配置され、それぞれ左右のモアモータによって回転させられる。左右のモアブレード22R、22Lが回転することによって草を刈り取ることができる。モアモータの電力は、バッテリー14から供給される。また、モアモータの動作は、制御部Cによって制御される。そして、草刈車両1は、走行しながら草刈装置20によって草を刈り取ることができる。なお、走行時に草刈装置20によって草を刈り取る左右方向の刈り取り幅Wは、右のモアブレード22Rの先端の回転軌跡の右側端部と左のモアブレード22Lの先端の回転軌跡の左側端部との間の幅であり、モアデッキの左右方向の幅と略同じである。
 なお、草刈装置20は上述の構成に限定されるものではない。例えば、走行機体10が原動機としてのエンジンを備え、このエンジンによってモアブレード22を回転させる構成であっても良い。また、草刈装置20の走行機体10に対する配置、モアデッキ21の形状、モアブレード22の数などは適宜設計できる。例えば、草刈装置20は、走行機体10の前方や後方に配置されても良く、刈った草をモアデッキ21の左右方向に排出する構成であっても良い。
 撮像装置30(30R、30L)は、例えばCCD(Charge Coupled Device)カメラである。左右の撮像装置30R、30Lは、それぞれ機体11から側方かつ上方へ延びる支持ブラケット31の先端に取り付けられる。そして、左右の撮像装置30R、30Lは俯角を有して設置され、走行機体10の前方の地面の撮像が可能である。
 ここで、右の撮像装置30Rは、草刈装置20の動作部の右側端部、つまり、右のモアブレード22Rの先端の回転軌跡の右側端部に対応して配置されている。したがって、右の撮像装置30Rは、走行時に草刈装置20によって草を刈り取る領域の右側端部に対応して配置されている。一方、左の撮像装置30Lは、草刈装置20の動作部の左側端部、つまり、左のモアブレード22Lの先端の回転軌跡の左側端部に対応して配置されている。したがって、左の撮像装置30Lは、走行時に草刈装置20によって草を刈り取る領域の左側端部に対応して配置されている。そして、制御部Cは、撮像装置30によって撮像された画像を処理して、草刈装置20によって逐次形成される作業痕跡の境界線、つまり、草の刈り取り前後の境界線を検出する。なお、撮像装置30は、走行機体10の周辺を撮像可能であれば良く、配置や取り付け構成などは適宜設計できる。
 ここで、草刈車両1は、撮像装置30によって撮像された画像を処理して、草刈装置20によって逐次形成される草の刈り取り前後の境界線を検出し、この検出された境界線に沿って自律走行するものである。また、草刈車両1は、GNSS(Global Navigation Satellite System)を利用して走行機体10の位置の検出が可能な構成でもある。図2は、作業痕跡の境界線の検出、及び自律走行制御のブロック図である。草刈車両1は、走行機体10に、記憶部M、GNSS受信装置41、操作装置42、表示装置43、通信装置44、本体センサ45、草刈センサ46などを備える。撮像装置30、記憶部M、GNSS受信装置41、操作装置42、表示装置43、通信装置44、本体センサ45、草刈センサ46などは、制御部Cと接続している。
 制御部Cは、種々の設定値や、各種センサによる検出値等の入力信号を読み込むとともに、制御信号を出力することで、走行機体10、草刈装置20、及び撮像装置30の動作を制御するものであり、演算処理及び制御処理を行う処理装置、情報が格納される主記憶装置などから構成されている。制御部Cは、例えば、処理装置としてのCPU(Central Processing Unit)、主記憶装置としてのROM(Read Only Memory)、RAM(Random Access Memory)などを備えるマイクロコンピュータである。主記憶装置には、本実施形態にかかる動作を実行するための制御プログラムや、各種情報などが格納されている。なお、これらの各種プログラムや情報などは、記憶部Mに格納され、制御部Cが読み出す形態であっても良い。
 記憶部Mは、プログラムや情報などを格納し、格納された情報などは書き換え可能な構成であり、例えば、フラッシュメモリーである。記憶部Mには、草刈車両1が自律走行する後述する経路Rが予め格納されている。
 GNSS受信装置41は、不図示のGNSS衛星からの電波信号を受信するとともに、受信した電波信号を変換して制御部Cに送信する。操作装置42は、情報を入力するマウスやキーボード等であり、草刈車両1の自律走行に関する設定値などの情報を入力するものである。表示装置43は、情報を表示する液晶ディスプレイ等であり、制御部Cにおける演算処理の状況、操作装置42によって入力された情報、記憶部Mに格納された情報などを表示する。通信装置44は、外部への情報の送信、及び外部からの情報の受信をするものであり、例えば、走行機体10の走行状態の情報や撮像装置30によって撮像された画像を外部へ送信する。したがって、遠隔地においても、草刈車両1の自律走行の状態を把握することができる。
 本体センサ45は、走行機体10の作動の情報を検出するものである。草刈センサ46は、草刈装置20の作動の情報を検出するものである。ここで、本体センサ45は、走行機体10の走行速度、3次元的な姿勢、走行モータの回転数など、草刈車両1が自律走行する上で必要な情報を検出するためのセンサ類の総称である。より具体的には、左右の走行モータの回転センサ、車両方位センサ、車両傾斜センサなどである。これら本体センサ45からの検出信号は、制御部Cに送信される。同様に、草刈センサ46は、モアモータの回転数、モアデッキの昇降位置などを検出するするセンサであって、草刈センサ46からの検出信号は、制御部Cに送信される。
 制御部Cは、位置検出部C1を有している。位置検出部C1は、例えばプログラムによって構成される。位置検出部C1は、GNSS受信装置41から入力される複数のGNSS衛星のある時刻に発信された電波信号に基づいて走行機体10の位置を演算するように構成されている。
 制御部Cは、境界検出部C2を更に有している。境界検出部C2は、例えばプログラムによって構成される。境界検出部C2は、左右のいずれか一方の撮像装置30(30R、30L)から入力される画像信号(画像)に所定の処理を行うことによって撮像された画像内における草の刈り取り前後の境界線を検出するように構成されている。
 なお、境界検出部C2が画像に行う所定の処理とは、フィルタリング処理や、統計処理などである。そして、詳細については後述するが、境界検出部C2は、撮像装置30から入力される撮影された画像にガボールフィルタを用いたフィルタリング処理を行い、所定の方向のテクスチャー情報に関する強度分布情報を生成し、この生成した強度分布情報を統計処理することで草の刈り取り前後の境界線を検出するように構成されている。
 ここで、ガボールフィルタは、特定の向きのエッジに反応するフィルタであり、人間の第一次視覚野に近い特徴抽出フィルタである。ガボールフィルタは、余弦波とガウス関数との積によって定義されるフィルタであり、横軸をx軸、縦軸をy軸とした2次元座標系において、下記の式(1)~式(3)で表される。なお、式(1)~式(3)において、λは波長、θは角度、φは位相、γはアスペクト比、σは標準偏差を示すパラメータであり、各パラメータを設定することで特定方向の特徴抽出ができる。
Figure JPOXMLDOC01-appb-M000001
 
Figure JPOXMLDOC01-appb-M000002
 
Figure JPOXMLDOC01-appb-M000003
 
 制御部Cは、第1の走行制御部C3を更に有している。第1の走行制御部C3は、例えばプログラムによって構成される。詳細については後述するが、第1の走行制御部C3は、境界検出部C2によって検出された草の刈り取り前後の境界線に沿うように走行機体10の走行方向を制御するように構成されている。つまり、第1の走行制御部C3は、境界検出部C2によって検出された境界線に基づいて、走行モータの動作を制御して走行機体10の走行方向を変更し、境界線に沿うように走行機体10を走行させるように構成されている。
 制御部Cは、第2の走行制御部C4を更に有している。第2の走行制御部C4は、例えばプログラムによって構成される。第2の走行制御部C4は、位置検出部C1によって検出された走行機体10の位置と、記憶部Mに予め格納されている経路Rと、本体センサ45からの検出信号とに基づいて、走行モータの動作を制御して走行機体10の走行方向を変更し、記憶部Mに予め格納された経路Rに沿うように走行機体10を走行させるように構成されている。
 次に、草刈車両1の自律走行について説明する。ここで、図3は、草刈車両1の自律走行の経路Rの一例を示す概略平面図である。なお、図3における矢印は草刈車両1の進行方向を示す。草刈車両1が自律走行する経路Rは予め設定されるものであり、記憶部Mに予め格納されている。そして、草刈車両1は、この経路Rに沿って自律走行するように構成されている。
 経路Rは、例えば、図3に示すように、作業地50内を直進走行で往復するように構成されており、草刈車両1は、経路Rを自律走行しながら草刈装置20によって草の刈り取り作業をする。経路Rは、平行に所定の間隔を有する複数の直線状の平行経路R1(R1a~R1f)と、隣接する平行経路R1間を連結する複数の半円状の旋回経路R2(R2a~R2e)とから構成される。隣接する平行経路R1の間隔は、草刈装置20の刈り取り幅Wと略同一であり、草刈装置20の寸法などに応じて適宜設計される。
 したがって、草刈車両1は、走行開始地点51から平行経路R1aを走行し、作業地50の端部において旋回経路R2aを走行することで180度旋回し、前回走行した平行経路R1aに隣接する平行経路R1bを走行する。そして、草刈車両1は、このような往復走行を繰り返すことによって、走行終了地点52まで走行し、作業地50内の草を刈り取る。ここで、隣接する平行経路R1の間隔は、草刈装置20の刈り取り幅Wと略同一であるので、走行開始地点51からの平行経路R1aを除く平行経路R1b~R1fにおける草刈車両1の走行は、草が刈り取られた領域に隣接する状態で走行するものである。
 ここで、隣接する平行経路R1の間隔は、草刈装置20の刈り取り幅Wよりも狭いことが好ましい。このような構成にすることで、草刈装置20が既に草が刈り取られた領域とラップ代を有して走行するため、隣接する平行経路R1の間における草の刈り取り残しが生じない。
 また、経路Rは、経路上の全ての位置情報を有するものである必要はない。本実施形態においては、経路Rは、走行開始地点51、走行終了地点52、各旋回経路R2の始点と終点の位置情報と、各旋回経路R2における旋回半径の情報とを有するものである。
 そして、草刈車両1は、走行開始地点51から平行経路R1a及び旋回経路R2aに沿って旋回経路R2aの終端まで自律走行をする。なお、草刈車両1は、平行経路R1a及び旋回経路R2aにおいては、第2の走行制御部C4によって自律走行を行う。
 草刈車両1は、位置検出部C1によって検出された走行機体10の位置と、平行経路R1aと、本体センサ45からの検出信号としての走行機体10の向きに基づき、第2の走行制御部C4によって平行経路R1aと走行機体10の偏差量を算出する。偏差量としては、例えば、図4に示すように、走行機体10の中心の平行経路R1aからの偏差距離L1と、走行機体10の向き(走行方向)と平行経路R1aとのなす偏差角度θ1などである。ここで、図4は、走行機体10と経路Rとの偏差の一例を説明するため概略平面図であり、図4における矢印は走行機体10の走行方向を示す。
 そして、草刈車両1は、更に第2の走行制御部C4によって、算出した平行経路R1aと走行機体10の偏差量に基づいて、走行モータの動作を制御して走行機体10の走行方向を変更し、平行経路R1aに沿うように走行機体10を走行させる。なお、位置検出部C1による走行機体10の位置の検出、及び第2の走行制御部C4による走行機体10の走行方向の変更は、所定のサンプリング周期で行うものであり、例えば1秒周期で行う。
 そして、草刈車両1は、旋回経路R2aの始点(平行経路R1aの終点)に到達すると、位置検出部C1によって検出された走行機体10の位置と、旋回経路R2aと、本体センサ45からの検出信号に基づき、第2の走行制御部C4によって走行モータの動作を制御して走行機体10の走行方向を変更し、旋回経路R2aに沿うように走行機体10を走行させる。ここで、旋回経路R2aは、所定の半径(W/2)の半円状であるため、草刈車両1は、左に180度旋回走行するだけである。したがって、草刈車両1は、第2の制御部C4によって、走行モータを所定の動作に制御するだけで、旋回経路R2aに沿うように走行機体10を走行させることができる。なお、第2の走行制御部C4は、旋回経路R2aにおいても上述の平行経路R1aと同様に、旋回経路R2aと走行機体10の偏差量を算出して旋回経路R2aに沿うように走行機体10を走行させる構成であっても良い。
 次に、草刈車両1は、旋回経路R2aの終点(平行経路R1bの始点)に到達すると、平行経路R1bに沿って平行経路R1bの終点(旋回経路R2bの始点)まで自律走行をする。なお、平行経路R1bにおける草刈車両1の走行は、平行経路R1aの走行時に草が刈り取られた領域に隣接する状態で走行するものである。つまり、平行経路R1bにおける草刈車両1の走行は、平行経路R1aの走行時に草が刈り取られた領域と、平行経路R1bの走行時に草を刈り取る予定のまだ草が刈り取られていない領域との境界線(草の刈り取り前後の境界線)に沿って走行するものである。そして、草刈車両1は、この平行経路R1bにおいては、第1の走行制御部C3によって自律走行を行う。
 草刈車両1は、境界検出部C2によって草の刈り取り前後の境界線を検出するとともに、この検出した草の刈り取り前後の境界線に基づいて、第1の走行制御部C3によって、走行モータの動作を制御して走行機体10の走行方向を変更し、境界線に沿うように走行機体10を走行させることで、平行経路R1bを自律走行する。なお、境界検出部C2による境界線の検出、及び第1の走行制御部C3による走行機体10の走行方向の変更は、上述の位置検出部C1及び第2の走行制御部C4の場合と同様に、所定のサンプリング周期で行うものであり、例えば1秒周期で行う。また、草刈車両1は、平行経路R1bを走行している際においても、位置検出部C1による走行機体10の位置の検出を所定のサンプリング周期で行う。
 ここで、境界検出部C2による草の刈り取り前後の境界線の検出方法について説明する。図5は、境界検出部C2の検出動作の一例を説明するためのフローチャートである。草刈車両1は、草の刈り取り前後の境界線が位置する側である左の撮像装置30Lによって草刈車両1の前方を撮像する(ステップS1)。撮像された画像の一例の概略図を図6に示す。図6では、草が刈り取られた領域53と草が刈り取られていない領域54との境界線55を示す。ここで、撮像された画像は、縦480×横640の画素から構成され、境界検出部C2には、縦480×横640の各画素の輝度情報が入力される。
 なお、左右の撮像装置30(30R、30L)は、それぞれ草刈装置20によって草を刈り取る領域の右側端部及び左側端部に対応して配置されているので、左右の撮像装置30(30R、30L)によって撮像されたそれぞれ画像の左右方向の中心は、草刈装置20によって草を刈り取る領域の右側端部及び左側端部に対応している。したがって、走行機体10の向きが、草が刈り取られた領域53と草が刈り取られていない領域54との境界線55と平行であり、草刈装置20の左のモアブレード22Lの先端の回転軌跡の左側端部が境界線55上に位置している場合には、左の撮像装置30Lによって撮像された画像において、境界線55は、左右方向の中心に位置することになる。つまり、左の撮像装置30Lは、平行経路R1bを走行する際には、撮像する画像の左右方向の中央に境界線55が位置するように配置されている。
 次に、境界検出部C2は、左の撮像装置30Lによって撮像された画像にガボールフィルタを用いたフィルタリング処理を行う(ステップS2)。ここで、草は地面から上方に向かって伸びるものであり、草の刈り取り前後の境界線とは、草の長さおよび伸びの方向によるテクスチャーパターンが異なる領域の境界線である。つまり、草の刈り取り前の領域と草の刈り取り後の領域は、上下方向の画像特徴が異なるものであり、この上下方向の特性の境界線を草の刈り取り前後の境界線として認識することができる。このため、本実施形態では、上述の式(1)~式(3)において、上下方向の特徴を抽出するため、各パラメータを、λ=2、θ=90、φ=0、γ=0.5、σ=0.38とした。したがって、ガボールフィルタ処理がなされた画像は、上方向の強度分布情報である。なお、各パラメータは上記に限定されるものではなく適宜設計できる。ここでは、上方向の特徴を抽出するものとしてθ=90としたが、上下方向の特徴を抽出することができれば良く、θ=270として下方向の特徴を抽出しても良い。
 なお、ガボールフィルタを用いたフィルタリング処理の前に、画像のノイズを除去するフィルタリング処理を行う構成としても良い。このような構成にすることで、ガボールフィルタを用いたフィルタリング処理の際に、より明確に特定方向の特徴を抽出することができる。なお、ノイズの除去フィルタは特に限定されるものではなく、例えば、カラー画像のグレースケール変換や、各画素の値を周辺画素の中央値に置き換えるメディアンフィルタなどであっても良い。
 次に、境界検出部C2は、ガボールフィルタ処理がなされた画像に対して、草の刈り取り前後の境界線55上に位置する境界点を検出する(ステップS3)。ガボールフィルタ処理がなされた画像を上下方向に分割することで、複数の検査領域を設定する。また、各検査領域を左右方向に分割することで、複数の単位検査領域を設定する。本実施形態では、ガボールフィルタ処理がなされた画像を上下方向に等分し、30の検査領域を設定する。また、各検査領域を左右方向に等分し、それぞれ40の単位検査領域を設定する。つまり、ガボールフィルタ処理がなされた画像を合計1200の単位検査領域に分割する。
 境界検出部C2は、各単位検査領域における輝度の総和を算出する。また、境界検出部C2は、各検査領域における40の単位検査領域の輝度の総和の平均値を算出し、この平均値を当該検査領域の閾値とする。そして、境界検出部C2は、検査領域毎に、左から右に向かって、単位検査領域における輝度の総和から閾値を除算し、直前の除算した値との正負を比較して境界点を判定する。なお、境界検出部C2は、除算した値の正負が直前の除算した値と正負が異なる場合に、この単位検査領域の中心を境界点と決定する。そして、図7には、図6における画像の概略図に、検出された複数の境界点Pの一例を示した概略図を示す。
 ここで、境界点を判定する際に用いる閾値は、検査領域毎に算出されるものであり、予め設定する必要がない。したがって、草の状態、光の状態、明るさや経験則などに左右されにくく、より確実な境界点の判定が可能である。
 なお、境界点の検出手法は上述の構成に限定されるものではない。所定の方向の強度分布情報であるガボールフィルタ処理がなされた画像から草の刈り取り前後の境界線上に位置する境界点を検出することが出来れば良く、検査領域、単位検査領域の大きさ、閾値の決定方法などは適宜設計されるものである。例えば、単位検査領域は、左右の他の単位検査領域とラップするように設定しても良い。また、閾値は、左右方向に対する単純移動平均を用いて算出しても良く、画像毎に1つの閾値を決定する構成であっても良い。
 また、ガボールフィルタ処理がなされた画像の全領域に対して境界点を検出する必要はない。ここで、左右の撮像装置30R、30Lは、それぞれ草刈装置20によって草を刈り取る領域の右側端部及び左側端部に対応して配置されている。したがって、左右の撮像装置30R、30Lによって撮像された画像において、境界線55は、左右方向における略中央に撮像されやすい構成である。したがって、ガボールフィルタ処理がなされた画像の左右方向の中央部分の領域に対して境界点を検出する構成としても良い。このような構成にすることで、境界検出部C2の演算量を低減することができる。また、各検査領域の左右方向において、中央部分に位置する単位検査領域の大きさを小さく設定し、右側部分及び左側部分に位置する単位検査領域の大きさを大きく設定しても良い。このような設定にすることで、境界検出部C2の演算量を低減することができる。
 また、検査領域毎に算出した閾値の平均値を記憶部Mに格納し、次回撮像装置30によって撮像された画像から境界点を検出する際に、この記憶部Mに格納した閾値の平均値を閾値として境界点を検出する構成であっても良い。このような構成にすることで、境界検出部C2は、毎回閾値を計算することがなく、境界検出部C2の演算量を低減することができる。なお、このような構成の場合、境界検出部C2は、後述する外れ値としての境界点の数に応じて、次回境界点を検出する際には閾値を算出して境界点を検出する構成としても良い。外れ値としての境界点の数が多い場合には閾値が適切でないことが考えられるためである。したがって、このような構成にすることで、より正確に境界点を検出することができる。
 また、境界点を判定する際に用いる閾値は、予め設定する構成であっても良い。このような構成にすることで、左右の撮像装置30R、30Lによって撮像された画像において、草が刈り取られた領域53が狭い、または草が刈り取られていない領域54が狭い場合であっても、より確実に境界点の検出をすることができる。つまり、境界線55が画像の中央近傍ではなく、左右の端部近傍に位置する場合であっても、より確実に境界点の検出をすることができる。
 次に、境界検出部C2は、検出された検査領域毎の境界点Pに基づいて、草の刈り取り前後の境界線55を検出する(ステップS4)。ここで、ステップS3にて検出された検査領域毎の境界点Pには、境界線55から大きく外れているものが含まれる場合がある。そこで、境界検出部C2は、所定の誤差範囲内に含まれる境界点Pを抽出し、この抽出された複数の境界点Pに基づいて境界線55を検出する。
 境界検出部C2は、RANSAC(RANdam SAmple Consensus)を用いて所定の誤差範囲内に含まれる境界点Pを抽出する。より詳細には、境界検出部C2は、ステップS3にて検出された全ての境界点Pからランダムに2つの境界点Pを選択し、この2つの境界点Pを通る直線を算出する。境界検出部C2は、算出された直線とステップS3にて検出された全ての境界点Pとの距離を算出し、この距離が所定の閾値よりも小さい境界点Pのみを抽出する。次に、境界検出部C2は、この抽出された境界点Pから、上述と同様に、ランダムに2つの境界点を選択し、この2つの境界点Pを通る直線を算出し、この算出された直線と抽出された全ての境界点Pとの距離を算出し、この距離が所定の閾値よりも小さい境界点Pのみを新たに抽出する。そして、境界検出部C2は、上述の境界点の抽出を複数回繰り返すことで、ステップS3にて検出された全ての境界点Pから所定の誤差範囲内(閾値内)に含まれる境界点Pを抽出する。なお、本実施形態では、この抽出の繰り返し数は50とする。
 そして、境界検出部C2は、RANSACを用いて抽出された境界点Pを用いて最小二乗法によって境界線55を検出する。図8には、図6における画像の概略図に、検出された複数の境界点P、及び検出された検出境界線56の一例を示した概略図を示す。なお、図8においては、検出された複数の境界点Pの内、境界線の検出に用いられたものを境界点P1、外れ値として境界線の検出に用いられなかったものを境界点P2として示し、撮像された境界線55の記載は省略する。
 なお、境界線55の検出手法は上述の構成に限定されるものではなく、境界点Pの抽出する繰り返し数や閾値は適宜設計されるものである。また、RANSACとは異なる手法を用いて境界点Pを抽出しても良く、例えば、最小二乗法によって境界点Pを抽出しても良い。しかしながら、最小二乗法の場合には外乱(外れ値)に対する安定性がないため、ロバスト性を有する抽出方法を用いることが好ましい。
 ここで、境界検出部C2は、撮像された画像から上方向のガボールフィルタを用いたフィルタリング処理によって生成する上方向の強度分布情報に基づいて境界線を検出するように構成されている。つまり、境界検出部C2は、1つのガボールフィルタを用いたフィルタリング処理を行うように構成されているので、統計処理する情報量が増加することはなく、簡易な構成によって境界線を検出することができる。
 なお、境界線を検出する別の方法として、撮像された画像に方向(角度)のパラメータが異なる複数のガボールフィルタを用いたフィルタリング処理を行い、複数の方向の強度分布情報を生成し、この複数の方向の強度分布情報に統計処理を行って境界線を検出する方法もある。例えば、式(1)~式(3)において、方向(角度)のパラメータであるθを0、15、30、45、60、75、90、105、120、135、150、165とし、それぞれのθに対する標準偏差σを1.2、1.6、2.2とする36個のガボールフィルタを用いる。なお、その他のパラメータに関しては、γ=0.5、φ=0とし、λは標準偏差σの値に応じて2.13、2.85、3.91とする。
 この36個のガボールフィルタを用いたフィルタリング処理を撮像された画像に対して行う。このフィルタリング処理によって、各画素に対して、各方向の強度情報を生成する。つまり、各画素に対して、36個の強度情報が生成される。なお、各画素の強度情報は、各画素の輝度に、各画素の輝度とフィルタリング処理によって算出される値との積を加算した値とする。そして、各画素において、36個の強度情報の中から最大のものを抽出し、その最大の強度情報が生成されたガボールフィルタの方向(θ)を、その画素におけるテクスチャー情報とすることで、テクスチャー分布情報を生成する。このようにして、撮像された画像におけるテクスチャーパターンをテクチャー分布情報として抽出することができる。
 ここで、上述したように、画像には草が刈り取られた領域と草が刈り取られていない領域のみが映し出されており、この2つの領域は、草の長さおよび伸びの方向によるテクスチャーパターンが異なる領域である。したがって、生成されたテクスチャー分布情報に、特定の角度、例えばθ=30を閾値とした2値化処理を行うことで、草が刈り取られた領域と草が刈り取られていない領域とを抽出することが可能である。つまり、この2値化処理によって生成される情報(画像)は、撮像された画像を草が刈り取られた領域と草が刈り取られていない領域とに分割した画像となる。そして、上述した境界点の検出方法及び境界線の検出方向を用いて、この2値化処理によって生成される画像から、草の刈り取り前後の境界線を検出することができる。このような構成にすることで、複数の方向のテクスチャー情報に関する強度分布情報に基づいて境界線を検出することができ、より正確に境界線の検出をすることができる。
 なお、複数のガボールフィルタを用いる境界線の検出方法は上述の構成に限定されるものではない。例えば、2値化処理によって生成される画像にノイズを除去するフィルタリング処理を行う構成としても良い。このような構成にすることで、より正確に境界点の検出をすることができる。また、ガボールフィルタの数、各パラメータの値、閾値などは上記に限定されるものではなく適宜設計できる。また、前述の1つのガボールフィルタを用いる場合において、フィルタリング処理によって生成された強度分布情報に上述と同様の2値化処理を適用し、2値化処理によって生成される画像に基づいて境界点を検出するように構成することもできる。
 そして、草刈車両1は、上述のように境界検出部C2によって検出された草の刈り取り前後の検出境界線56に基づいて、第1の走行制御部C3によって、走行モータの動作を制御して走行機体10の走行方向を変更し、境界線に沿うように自律走行を行う。
 より詳細には、境界検出部C2によって検出された検出境界線56に基づき、第1の走行制御部C3によって検出境界線56と走行機体10の偏差量を算出する。偏差量としては、例えば、図9、図10に示すように、左の撮像装置30Lによって撮像された画像の基準点Oと検出された検出境界線56との左右方向の偏差距離L2と、検出された検出境界線56の上下方向に対する傾きの偏差角θ2などである。ここで、図9は、検出された検出境界線56と走行機体10の偏差の一例を説明するための概略図であり、図10は、検出された検出境界線56と走行機体10の偏差の一例を説明するための概略平面図である。なお、図9は、図8おける画像の概略図において、検出された境界点Pの記載を省略するとともに、基準点O、偏差距離L2、及び偏差角θ2を示した概略図であり、基準点Oは画像の上下方向及び左右方向の中心の点である。また、図10は、図9における、検出された検出境界線56、基準点O、偏差距離L2、及び偏差角θ2にそれぞれ対応する検出境界線56a、基準点Oa、偏差距離L2a、及び偏差角θ2aが示されており、領域57は、画像に映し出される領域を示し、矢印は走行機体10の走行方向を示している。
 ここで、図9、図10に示すように、図9における(画像における)偏差距離L2と偏差角θ2は、図10における(実空間における)偏差距離L2aと偏差角θ2aとことなるため、第1の走行制御部C3は、境界検出部C2によって検出された検出境界線56から算出した偏差距離L2及び偏差角θ2を、座標変換によって偏差距離L2aと偏差角θ2aに変換したものを用いる。
 なお、上述したように、左の撮像装置30Lは、走行機体10の向きが草の刈り取り前後の境界線55と平行であり、草刈装置20の左のモアブレード22Lの回転軌跡の左側端部が境界線上に位置している場合には、撮像された画像の左右方向の中央に境界線55が位置するように配置されている。したがって、第1の走行制御部C3は、検出された検出境界線56と走行機体10の偏差量を画像の左右方向の中央を基準として比較的容易に算出することができ、第1の走行制御部C3の演算量を低減することができる。
 そして、草刈車両1は、更に第1の走行制御部C3によって、検出した境界線56と走行機体10の偏差量(偏差距離L2a、偏差角θ2a)に基づいて、走行モータの動作を制御して走行機体10の走行方向を変更し、草の刈り取り前後の境界線に沿うように自律走行を行う。
 草刈車両1は、旋回経路R2bの始点(平行経路R1bの終点)に到達すると、上述の旋回経路R2bの走行と同様に、位置検出部C1によって検出された走行機体10の位置と、旋回経路R2bと、本体センサ45からの検出信号に基づき、第2の走行制御部C4によって走行モータの動作を制御して走行機体10の走行方向を変更し、旋回経路R2bに沿うように走行機体10を走行させる。ここで、右旋回の旋回経路R2bは、上述の左旋回の旋回経路R2aとは旋回方向が異なるだけである。したがって、草刈車両1は、旋回経路R2aの走行と同様に、第2の制御部C4によって、走行モータを所定の動作に制御するだけで、旋回経路R2bに沿うように走行機体10を走行させることができる。なお、第2の走行制御部C4は、旋回経路R2bにおいても上述の平行経路R1bと同様に、旋回経路R2bと走行機体10の偏差量を算出して旋回経路R2bに沿うように走行機体10を走行させる構成であっても良い。
 次に、草刈車両1は、旋回経路R2bの終点(平行経路R1cの始点)に到達すると、平行経路R1cに沿って平行経路R1cの終点(旋回経路R2cの始点)まで自律走行をする。なお、平行経路R1cにおける草刈車両1の走行は、上述の平行経路R1bと同様に、平行経路R1bの走行時に草が刈り取られた領域と、平行経路R1cの走行時に草を刈り取る予定のまだ草が刈り取られていない領域との境界線(草の刈り取り前後の境界線)に沿って走行するものである。
 そして、草刈車両1は、上述の平行経路R1bの走行と同様に、境界検出部C2によって草の刈り取り前後の境界線を検出するとともに、この検出した草の刈り取り前後の境界線に基づいて、第1の走行制御部C3によって、走行モータの動作を制御して走行機体10の走行方向を変更し、境界線に沿うように走行機体10を走行させることで、平行経路R1cを自律走行する。
 ここで、上述の平行経路R1bを走行する際には、草の刈り取り前後の境界線は、走行機体10の左側に位置していたが、平行経路R1cを走行する際には、走行機体10の右側に位置する。したがって、境界検出部C2は、右の撮像装置30Lによって撮像された画像に基づいて草の刈り取り前後の境界線を検出する。なお、平行経路R1cにおける、境界検出部C2による草の刈り取り前後の境界線の検出、及び第1の走行制御部C3による走行機体10の走行方向の変更は、上述の平行経路R1bを走行する際と撮像する撮像装置30が左右で異なるだけあり、その説明については省略する。
 ここで、左右の撮像装置30R、30Lの切り換えは、経路Rによって決まるものであり、予め左右どちらの撮像装置30R、30Lを用いるかの情報は、経路Rに関連付けられて記憶部Mに記憶されている。なお、左右の撮像装置30R、30Lによって撮像されたそれぞれの画像について、境界検出部C2によって境界線の有無の判定を行い、その判定結果に基づいて左右の撮像装置30R、30Lのどちらを用いるかを決定する構成であっても良い。このような構成にすることで、予め記憶部Mに格納する情報量を低減することができる。また、経路Rから走行機体10が大きくずれてしまった場合であっても、自律走行を継続することが可能となり、作業効率が向上する。
 そして、草刈車両1は、隣接する平行経路R1と平行経路R1間を連結する旋回経路R2を順次走行し、走行終了地点52に到達すると、自律走行を終了する。ここで、走行開始地点51からの平行経路R1aを除く平行経路R1b~R1fにおける草刈車両1の走行は、草が刈り取られた領域に隣接する状態で走行するものであり、草刈車両1は、草刈装置20によって逐次形成される草の刈り取り前後の境界線に沿って自律走行する。したがって、隣接する平行経路R1の間における草の刈り取り残しが生じない。また、ガボールフィルタ処理は、特定の方向(上方向)のみのガボールフィルタによって行うため、境界検出部C2の演算量が増大することがない。また、簡易な構成によって境界線をより正確に検出することができる。また、左右の撮像装置30R、30Lは、草刈車両1が境界線に沿って走行する場合に、画像の左右方向の略中央に境界線が位置して撮像されるように配置されているので、境界線が撮像されにくくなることを防止できる。また、撮像装置30は、複雑なキャリブレーションを要することがなく、設置位置の制約も受けにくい。
 なお、作業車両としての草刈車両1は、上述の構成に限定されるものではなく、例えば、図11に示すように、右の撮像装置30R、30Lの他に、更に第2の撮像装置として走行機体10の後方を撮像可能な左右の撮像装置32(32R、32L)を備える構成であっても良い。ここで、図11は、別の実施形態に係る作業車両の一例としての草刈車両2を示す概略平面図である。なお、草刈車両2は、左右の撮像装置32(32R、32L)以外は上述の草刈車両1と同様の構成である。
 撮像装置32(32R、32L)は、作業機としての草刈装置20の草の刈り取り直後における草の刈り取り前後の境界線を撮像するものである。このような構成にすることで、撮像装置30(30R、30L)によって撮像された画像に基づいて草の刈り取り前後の境界線を検出する際の境界検出部C2の演算量を低減することができる。また、境界線をより正確に検出することができる。
 より詳細には、例えば、上述の経路R1bを走行する際に、境界検出部C2は、左の撮像装置30Lによって撮像された画像に基づいて草の刈り取り前後の境界線58を検出する。一方で、草刈車両2は、経路R1bのいずれかの地点において、右の撮像装置32Rによって、草刈装置20による草の刈り取り直後における草の刈り取り前後の境界線59を撮像する。そして、境界検出部C2は、右の撮像装置32Rによって撮像された画像に、境界線の検出と同様にガボールフィルタを用いたフィルタリリング処理を行う。また、境界検出部C2は、このガボールフィルタ処理がなされた画像に対して、境界線の検出と同様に、複数の検査領域及び複数の単位検査領域を設定する。更に、各検査領域における単位検査領域の輝度の総和の平均値を算出し、この算出された検査領域の平均値の総和の平均値を算出し、この平均値を次工程の閾値として記憶部Mに格納する。
 ここで、右の撮像装置32Rによって撮像される画像は、次工程の経路R1cを走行する際に右の撮像装置30Rによって撮像する画像と同様の向きから撮像した画像である。つまり、草刈車両2は、右の撮像装置32Rによって、次工程の経路R1cを走行する際の画像(境界線59が撮像された画像)を予め撮像する構成である。そして、この記憶部Mに格納された次工程の閾値は、経路R1cを走行する際の境界検出部C2による境界線の検出に用いられるものである。そして、境界検出部C2は、右の撮像装置30Rによって撮像された画像に基づいて草の刈り取り前後の境界線59を検出する際(次工程である経路R1cを走行する際)の境界点の閾値として、経路R1bを走行した際に記憶部Mに格納された次工程の閾値を用いる。したがって、境界検出部C2は、次工程である経路R1cを走行する際に境界点の閾値を算出する必要がなく、境界検出部C2の演算量を低減することができる。また、この閾値は、同じ方向から撮像された画像より算出されたものであるため、境界検出部C2はより正確に境界点を検出することができる。したがって、境界検出部C2は、境界線をより正確に検出することができる。
 また、草刈車両1、2は、撮像装置によって草の刈り取り前後の境界線を撮像できる構成であればよく、撮像装置を左右に備える構成に限定されるものではない。例えば、草刈車両1は、走行機体10の前方を撮像する撮像装置を1つだけ備える構成であっても良く、草刈車両2は、前方を撮像する撮像装置と後方を撮像する撮像装置をそれぞれ1つ備える構成であっても良い。このような構成にすることで、撮像装置の数を低減して草刈車両1、2の生産性が向上する。
 また、草刈車両1、2が自律走行する経路Rは、上述の構成に限定されるものではなく、草刈装置20によって逐次形成される草の刈り取り前後の境界線に沿って走行するような構成であれば良い。例えば、経路Rは、隣接する経路と所定の間隔を有する渦巻状の経路であっても良い。
 また、本発明の作業車両における走行機体と作業機との組み合わせは、上述の草刈車両1、2における走行機体10と草刈装置20との組み合わせに限定されるものではない。例えば、走行機体の後部に作業機としてのロータリ耕耘装置を備える作業車両であっても良い。このような構成の作業車両は、ロータリ耕耘装置によって作業地の表土を耕しながら走行するため、逐次耕した痕跡が形成される。したがって、このような構成の作業車両は、上述の草刈車両1、2と同様に、ロータリ耕耘装置の耕耘前後の境界線を撮像装置によって撮像し、境界検出部によって撮像した画像に基づいて検出することで、この境界線に沿って自律走行をすることができる。
 また、走行機体の後部に作業機としての苗植付け装置を備える作業車両であっても良い。このような構成の作業車両は、苗植付け装置によって作業地に苗を植え付けながら走行するため、逐次作業痕跡として苗が植え付けられる。ここで、苗は条を形成して植え付けられる。したがって、このような構成の作業車両は、上述の草刈車両1、2の構成と同様に、苗植付け装置の植え付け前後の境界線としての苗(苗の条)を撮像装置によって撮像し、境界検出部によって撮像した画像に基づいて苗(苗の条)を検出することで、この境界線としての苗(苗の条)に沿って自律走行をすることができる。
 本発明の作業車両は、走行機体と草刈装置との組み合わせや、走行機体とロータリ耕耘装置との組み合わせなどに限定されるものではなく、走行しながら作業を行う作業車両であって、作業車両が備える作業機によって作業地に逐次作業痕跡が形成されるあらゆる作業車両に適用することができる。
 1、2 草刈車両(作業車両)
 10 走行機体
 20 草刈装置
 30 撮像装置(第1の撮像装置)
 32 撮像装置(第2の撮像装置)
 C 制御部
 C1 位置検出部
 C2 境界検出部
 C3 第1の走行制御部(走行制御部)
 C4 第2の走行制御部
 M 記憶部
 
 
 
 

Claims (5)

  1.  走行機体と作業機とを備え、走行しながら作業を行う作業車両であり、
     前記走行機体の周辺を撮像する第1の撮像装置と、
     前記作業機によって逐次形成される作業痕跡の境界線に沿って、前記走行機体を自律走行させるように制御する制御部と、
     を備え、
     前記制御部は、
     前記第1の撮像装置によって撮像された画像を処理して、前記境界線を検出する境界検出部と、
     前記境界検出部によって検出された境界線に沿うように、前記走行機体の走行方向を制御する走行制御部とを有し、
     前記境界検出部は、
     撮像された前記画像からガボールフィルタを用いたフィルタリング処理によって、所定の方向のテクスチャー情報に関する強度分布情報を生成し、
     前記強度分布情報を、上下方向に複数に分割された検査領域毎に、統計処理して境界点を検出し、
     前記検査領域毎の前記境界点から前記境界線を検出するように構成されていることを特徴とする、作業車両。
  2.  前記所定の方向は、上方向または下方向であることを特徴とする、
     請求項1に記載の作業車両。
  3.  前記第1の撮像装置は、撮像する画像の左右方向略中央に前記作業痕跡の前記境界線が位置するように配置されることを特徴とする、
     請求項1に記載の作業車両。
  4.  前記第1の撮像装置を、前記作業機の右側端部と左側端部にそれぞれ対応して備え、
     前記制御部は、前記右側端部または前記左側端部のいずれか一方の前記第1の撮像装置によって撮像された画像を処理するように構成されていることを特徴とする、
     請求項1に記載の作業車両。
  5.  前記作業機の作業直後の作業痕跡を撮像可能な第2の撮像装置と、記憶部と、を更に備え、
     前記制御部は、
     前記第2の撮像装置によって撮像された画像からガボールフィルタを用いたフィルタリング処理によって、前記所定の方向のテクスチャー情報に関する別の強度分布情報を生成し、
     前記別の強度分布情報を、上下方向に複数に分割された検査領域毎に、統計処理して得られる処理結果を前記記憶部に格納し、
     後に前記第1の撮像装置によって撮像された画像を処理して前記境界線を検出する際の前記統計処理において、前記記憶部に格納された前記処理結果を用いるように構成されていることを特徴とする、
     請求項1に記載の作業車両。
     
     
     
     
PCT/JP2015/084652 2014-12-11 2015-12-10 作業車両 WO2016093311A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/534,617 US10274963B2 (en) 2014-12-11 2015-12-10 Work vehicle
ES15866771T ES2759793T3 (es) 2014-12-11 2015-12-10 Vehículo de trabajo
KR1020177015874A KR102017965B1 (ko) 2014-12-11 2015-12-10 작업 차량
EP15866771.7A EP3232290B1 (en) 2014-12-11 2015-12-10 Work vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014250953A JP2016114984A (ja) 2014-12-11 2014-12-11 作業車両
JP2014-250953 2014-12-11

Publications (1)

Publication Number Publication Date
WO2016093311A1 true WO2016093311A1 (ja) 2016-06-16

Family

ID=56107488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/084652 WO2016093311A1 (ja) 2014-12-11 2015-12-10 作業車両

Country Status (6)

Country Link
US (1) US10274963B2 (ja)
EP (1) EP3232290B1 (ja)
JP (1) JP2016114984A (ja)
KR (1) KR102017965B1 (ja)
ES (1) ES2759793T3 (ja)
WO (1) WO2016093311A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018102204A (ja) * 2016-12-26 2018-07-05 本田技研工業株式会社 作業機

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172607B2 (en) 2016-06-30 2021-11-16 Tti (Macao Commercial Offshore) Limited Autonomous lawn mower and a system for navigating thereof
CN109874487B (zh) 2016-06-30 2022-11-04 创科(澳门离岸商业服务)有限公司 一种自主式割草机及其导航系统
JP6734183B2 (ja) * 2016-11-25 2020-08-05 本田技研工業株式会社 作業機
JP6673862B2 (ja) * 2017-03-03 2020-03-25 ヤンマー株式会社 走行経路特定システム
JP6908510B2 (ja) * 2017-12-07 2021-07-28 ヤンマーパワーテクノロジー株式会社 走行経路設定装置
JP6817183B2 (ja) * 2017-12-19 2021-01-20 株式会社クボタ 自動走行草刈機
SE542562C2 (en) * 2018-09-27 2020-06-09 Husqvarna Ab A striper arrangement for striping a lawn and a robotic work tool comprising the striper arrangement
WO2020105125A1 (ja) * 2018-11-20 2020-05-28 本田技研工業株式会社 自律作業機、自律作業機の制御方法及びプログラム
US11219160B2 (en) * 2018-12-18 2022-01-11 Kubota Corporation Riding mower with a cutting guide
CN111360808B (zh) * 2018-12-25 2021-12-17 深圳市优必选科技有限公司 一种控制机器人运动的方法、装置及机器人
CN109814551A (zh) * 2019-01-04 2019-05-28 丰疆智慧农业股份有限公司 谷物处理自动驾驶系统、自动驾驶方法以及自动识别方法
DE102019207982A1 (de) * 2019-05-31 2020-12-03 Deere & Company Sensoranordnung für ein landwirtschaftliches Fahrzeug
JP7260412B2 (ja) * 2019-06-20 2023-04-18 ヤンマーパワーテクノロジー株式会社 作業車両用の自動走行システム
KR102315678B1 (ko) * 2019-07-05 2021-10-21 엘지전자 주식회사 잔디 깎기 로봇 및 그 제어 방법
CN112558595A (zh) * 2019-09-06 2021-03-26 苏州科瓴精密机械科技有限公司 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
JP7286230B2 (ja) * 2019-11-26 2023-06-05 ヤンマーパワーテクノロジー株式会社 自律走行制御システム
CN111136636B (zh) * 2020-01-09 2023-07-28 上海山科机器人有限公司 行走机器人、控制行走机器人的方法和行走机器人系统
JP2021153508A (ja) * 2020-03-27 2021-10-07 本田技研工業株式会社 制御装置及び作業機
KR102445673B1 (ko) * 2020-06-19 2022-09-22 대한민국 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법
US20220400606A1 (en) * 2021-06-18 2022-12-22 Green Industry Innovators, L.L.C. Landscaping equipment with included laser and methods of operation
KR102710648B1 (ko) * 2021-12-07 2024-09-25 전남대학교산학협력단 구조물의 변위 판단 장치 및 방법
US20230200295A1 (en) * 2021-12-29 2023-06-29 Cnh Industrial America Llc Center pivot mower system with end of row mower adjustment
SE2250085A1 (en) * 2022-01-31 2023-08-01 Husqvarna Ab Improved operation for a robotic work tool system
CN115039561A (zh) * 2022-06-30 2022-09-13 松灵机器人(深圳)有限公司 割草方法、装置、割草机器人以及存储介质
WO2024135725A1 (ja) * 2022-12-22 2024-06-27 株式会社クボタ 作業車両

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4211921A (en) * 1978-02-03 1980-07-08 Iseki Agricultural Machinery Mfg. Co. Ltd. Sensor for use in controlling operation of mobile farming machine
JPH0759407A (ja) * 1993-08-25 1995-03-07 Seibutsukei Tokutei Sangyo Gijutsu Kenkyu Suishin Kiko 自動走行作業車の走行制御装置
JP2010225126A (ja) * 2009-03-25 2010-10-07 Ihi Corp 移動経路計画装置、移動体制御装置及び移動体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998046065A1 (en) * 1997-04-16 1998-10-22 Carnegie Mellon University Agricultural harvester with robotic control
JPH10307627A (ja) 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd 自律走行作業車の作業境界検出装置及び倣い走行制御装置
US6819780B2 (en) * 2001-02-02 2004-11-16 Cnh America Llc Method and apparatus for automatically steering a vehicle in an agricultural field using a plurality of fuzzy logic membership functions
US8744626B2 (en) * 2010-05-27 2014-06-03 Deere & Company Managing autonomous machines across multiple areas
JP2017535279A (ja) * 2014-09-23 2017-11-30 宝時得科技(中国)有限公司Positec Technology (China) Co.,Ltd. 自動移動ロボット
US9516806B2 (en) * 2014-10-10 2016-12-13 Irobot Corporation Robotic lawn mowing boundary determination

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4211921A (en) * 1978-02-03 1980-07-08 Iseki Agricultural Machinery Mfg. Co. Ltd. Sensor for use in controlling operation of mobile farming machine
JPH0759407A (ja) * 1993-08-25 1995-03-07 Seibutsukei Tokutei Sangyo Gijutsu Kenkyu Suishin Kiko 自動走行作業車の走行制御装置
JP2010225126A (ja) * 2009-03-25 2010-10-07 Ihi Corp 移動経路計画装置、移動体制御装置及び移動体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018102204A (ja) * 2016-12-26 2018-07-05 本田技研工業株式会社 作業機

Also Published As

Publication number Publication date
US20170322559A1 (en) 2017-11-09
EP3232290B1 (en) 2019-10-30
EP3232290A1 (en) 2017-10-18
US10274963B2 (en) 2019-04-30
KR20170091110A (ko) 2017-08-08
EP3232290A4 (en) 2018-08-08
KR102017965B1 (ko) 2019-09-03
ES2759793T3 (es) 2020-05-12
JP2016114984A (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
WO2016093311A1 (ja) 作業車両
CN110243372B (zh) 基于机器视觉的智能农机导航系统及方法
Kise et al. A stereovision-based crop row detection method for tractor-automated guidance
JP6651961B2 (ja) 農作業用装置および農作業用装置の制御方法
EP1738631A1 (en) Method and system for vehicular guidance using a crop image
WO2019176844A1 (ja) 作業車両および作物列認識プログラム
JP2013201958A (ja) 走行制御装置
JP2019187352A (ja) 作業車両
JP2021007386A (ja) 自動走行システム
CA3233542A1 (en) Vehicle row follow system
JP7527838B2 (ja) 農作業機
WO2020262287A1 (ja) 農作業機、自動走行システム、プログラム、プログラムを記録した記録媒体、及び方法
JP7070905B2 (ja) 走行車両の走行制御装置
US20220151144A1 (en) Autonomous machine navigation in lowlight conditions
WO2020262416A1 (ja) 自動走行システム、農作業機、プログラム、プログラムを記録した記録媒体、及び方法
JP7572555B2 (ja) 列検出システム、列検出システムを備える農業機械、および、列検出方法
WO2024095993A1 (ja) 列検出システム、列検出システムを備える農業機械、および列検出方法
WO2023120182A1 (ja) 農業機械
JP2667462B2 (ja) 農作業機における自動操舵制御装置
WO2023276226A1 (ja) 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法
EP4437821A1 (en) Agricultural machine
JP7150593B2 (ja) 作業車両
US20240196781A1 (en) Row detection system, agricultural machine having a row detection system, and method of row detection
Ahmad et al. Simplified vision based automatic navigation for wheat harvesting in low income economies
JPH09168315A (ja) 作業車の境界検出装置、走行状態表示装置、及び走行制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15866771

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177015874

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15534617

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015866771

Country of ref document: EP