JP3020734B2 - 自動走行作業車用の境界検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、機体進行方向前方側の
作業地及びこれに機体進行方向に交差する方向で隣接す
る非作業地を撮像する撮像手段と、その撮像手段による
撮像画像情報に基づいて、前記非作業地に対応する領域
を抽出する領域抽出手段と、この領域抽出手段によって
抽出された前記領域の情報に基づいて、前記作業地と前
記非作業地との境界に対応する線分を求める演算手段と
が設けられた自動走行作業車用の境界検出装置に関す
る。

【０００２】

【従来の技術】この種の自動走行作業車用の境界検出装
置は、例えば、自動走行作業車としての田植え機によっ
て、非作業地としての畦に隣接する作業地としての圃場
に苗を株単位で設定間隔毎に植え付ける際に、機体を機
体進行方向に沿う畦と圃場との境界つまり畦際に沿って
自動走行させるための制御情報を得るために、機体進行
方向前方側を撮像する撮像手段の撮像画像情報におい
て、例えば畦の大部分を占める草と圃場である水面や泥
面等との色情報の差に基づいて畦に対応して抽出された
領域の情報から、上記畦際に対応する線分を直線や曲線
に演算処理して求めるものである。

【０００３】そして、従来では、上記抽出された領域に
おいて、機体進行方向に交差する方向に沿った前記撮像
手段の画面座標軸の各走査線上で最も圃場側に寄って位
置する画素を代表点として抽出し、これらの代表点の情
報に基づいて、前記境界（畦際）に対応する線分を求め
るように構成されていた。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来技術では、圃場面上に畦上の草と色情報が共通する例
えば浮き草等が存在した場合には、畦上の草との区別が
つかず、しかも、この浮き草等は画面座標軸の走査線上
で畦上の草よりも必ず圃場側に寄って位置するために、
その浮き草等に対応する領域の中で最も圃場側に寄って
位置する画素が前記代表点として選別され、上記演算処
理の対象となる。従って、この場合は、正規の畦際の位
置よりも圃場側にずれた位置が畦際の位置として誤って
検出されることになり、この結果、畦際検出情報を操向
制御情報として活用しにくいという不利があった。

【０００５】本発明は、上記実情に鑑みてなされたもの
であって、その目的は、畦際等の作業地と非作業地との
境界を浮き草等の外乱要因に左右されず、精度良く検出
できる自動走行作業用の境界検出装置を提供することに
ある。

【０００６】

【課題を解決するための手段】本発明による自動走行作
業車用の境界検出装置の特徴構成は、前記領域抽出手段
によって抽出された前記領域の中で、機体進行方向に交
差する方向に沿った前記撮像手段の画面座標軸の各走査
線上において、連続する画素の個数が所定個数以上で、
且つ、最も前記作業地側に寄って位置する画素列のみを
選別する選別手段と、この選別手段によって選別された
前記各画素列において最も前記作業地側に寄って位置す
る画素を代表点として抽出する代表点抽出手段とが設け
られ、前記演算手段は、前記代表点抽出手段によって抽
出された前記代表点に基づいて前記線分を求めるように
構成されている点にある。

【０００７】

【作用】本発明の特徴構成によれば、撮像画像情報より
非作業地としての例えば畦等の大部分を占める草と作業
地としての例えば圃場の水面や泥面等の色情報の差に基
づいて畦に対応して抽出された領域の中で、作業地であ
る圃場上に非作業地である畦の画像情報と共通する情報
を持つ浮き草等の領域が存在した場合であっても、機体
進行方向に交差する方向に沿った画面座標軸の各走査線
上において連続する画素の個数が所定個数（例えば画面
横幅の１／４に相当する個数）以上の画素列のみが選別
されて所定個数以下の画素列は選別されないので、通常
連続する画素数が少ない上記浮き草等に対応する画素列
は除去されることになる。そして、浮き草等の誤差要因
が除去された各走査線上の画素列の中で最も作業地側に
寄って位置する画素列が選別され、更に、この選別され
た画素列において最も作業地側に寄って位置する画素が
代表点として抽出され、これらの代表点が作業地と非作
業地との境界に対応する線分を求める演算処理の対象と
されるので、本来の境界の位置から外れることなく、上
記境界に対応する線分の検出精度を高くすることができ
る。

【０００８】

【発明の効果】従って、畦際等の作業地と非作業地との
境界を浮き草等の外乱要因に左右されず精度良く検出で
き、もって自動走行作業車を作業地と非作業地との境界
に沿って走行させる際の操向制御情報として有効に活用
できるものとなった。

【０００９】

【実施例】以下、本発明を自動走行作業車としての田植
え機によって非作業地としての畦Ｎに隣接する作業地と
しての圃場Ｍに苗を植え付けるときに、圃場Ｍと畦Ｎと
の境界つまり畦際Ｎｋを検出するための装置に適用した
場合の実施例を、図面に基づいて説明する。

【００１０】図６及び図７に示すように、前輪１Ｆ及び
後輪１Ｒの何れをもステアリング操作自在に構成された
機体Ｖの後方に、苗植え付け装置２が昇降自在に設けら
れ、その苗植え付け装置２によって複数個の苗Ｔが６列
状に並んだ状態で植え付けられる。そして、機体進行方
向前方側の圃場Ｍ及びこれに機体進行方向に交差する方
向で隣接する畦Ｎを撮像する撮像手段としてのカラー式
のイメージセンサＳ１が、前記機体Ｖの前方側に設けら
れている。

【００１１】前記イメージセンサＳ１の取り付け構造に
ついて説明すれば、前記機体Ｖの横外側方に向かって突
出された支持部材４の先端部に、前記機体Ｖに対して機
体横外側方に隣接する畦Ｎ及び圃場Ｍを機体進行方向に
向かって斜め上方から撮像するように設けられている。
つまり、前記機体Ｖが機体進行方向に沿う前記畦際Ｎｋ
に対して適正に沿っている状態において、畦際Ｎｋに対
応する線分Ｌが、前記イメージセンサＳ１の撮像視野の
中央を前後方向に通る走行基準線Ｌａと一致するように
してある。又、前記イメージセンサＳ１は、機体Ｖの左
右夫々に各１個が設けられ、使用する側のセンサを左右
切り換え可能になっている。

【００１２】前記機体Ｖの構成について説明すれば、図
１に示すように、エンジンＥの出力が変速装置５を介し
て前記前輪１Ｆ及び前記後輪１Ｒの夫々に伝達され、前
記変速装置５による変速操作状態が予め設定された設定
走行速度に対応する操作状態となるように、変速状態検
出用ポテンショメータＲ₃ が設けられ、そして、その変
速状態検出用ポテンショメータＲ₃ の検出情報に基づい
て、変速用電動モータ６を駆動するように構成されてい
る。

【００１３】又、前記前輪１Ｆ及び前記後輪１Ｒは、夫
々油圧シリンダ７Ｆ，７Ｒによって各別にパワーステア
リング操作されるように構成され、車輪のステアリング
操作に連動するステアリング角検出用ポテンショメータ
Ｒ₁ ，Ｒ₂ による検出ステアリング角が目標ステアリン
グ角となるように、前記油圧シリンダ７Ｆ，７Ｒを作動
させる電磁操作式の制御弁８Ｆ，８Ｒを駆動するように
構成されている。

【００１４】従って、前輪１Ｆ及び後輪１Ｒを同位相で
且つ同角度に操向する平行ステアリング形式、前輪１Ｆ
及び後輪１Ｒを逆位相で且つ同角度に操向する４輪ステ
アリング形式、及び、前輪１Ｆのみを向き変更する２輪
ステアリング形式の三種類のステアリング形式を選択使
用できるようになっている。但し、前記イメージセンサ
Ｓ１の撮像情報に基づいて自動的に操向操作する時に
は、前記２輪ステアリング形式を用いると共に、１つの
圃場行程を終了して次の圃場行程に移動する時には、前
記４輪ステアリング形式や平行ステアリング形式を用い
るようになっている。尚、図１中、Ｓ２は前記変速装置
５の出力回転数に基づいて走行距離を検出するための距
離センサである。

【００１５】次に、前記イメージセンサＳ１の撮像情報
に基づいて、前記畦際Ｎｋに対応する線分Ｌを近似処理
するための制御構成について説明する。図１に示すよう
に、前記イメージセンサＳ１は、三原色情報Ｒ，Ｇ，Ｂ
を各別に出力するように構成され、そして、畦Ｎの大部
分を占める草Ｋの色成分を含む緑色情報Ｇから草Ｋの色
成分を含まない青色情報Ｂを減算して２値化することに
より、前記畦Ｎに対応する領域Ｋａを抽出するように構
成されている。

【００１６】説明を加えれば、前記緑色情報Ｇから前記
青色情報Ｂをアナログ信号の状態で減算する減算器９、
その減算器９の出力を予め設定された設定閾値に基づい
て２値化して前記領域Ｋａに対応する２値化情報を出力
するコンパレータ１０、そのコンパレータ１０の出力信
号を予め設定された画素密度（３２×３２画素／１画面
に設定してある）に対応した画素情報として記憶する画
像メモリ１１、及び、この画像メモリ１１に記憶された
情報に基づいて前記畦際Ｎｋに対応する線分Ｌを直線や
曲線に近似する情報を求めると共に、その情報に基づい
て走行制御するマイクロコンピュータ利用の制御装置１
２の夫々が設けられている。

【００１７】つまり、前記減算器９及び前記コンパレー
タ１０を利用して、前記イメージセンサＳ１による撮像
画像情報に基づいて、草Ｋが大部分を占める畦Ｎに対応
する領域Ｋａを抽出する領域抽出手段１００が構成さ
れ、又、前記制御装置１２を利用して、前記領域抽出手
段１００によって抽出された前記領域Ｋａの中で、機体
進行方向に沿った前記イメージセンサＳ１の画面座標軸
（ｙ軸）の各走査線（ｙ＝１〜３２の３２本）上におい
て、連続する画素の個数が所定個数（例えば画面横幅の
１／４に対応する個数つまり８個）以上で、且つ、最も
前記圃場Ｍ側に寄って位置する画素列Ｋｒのみを選別す
る選別手段１０１と、この選別手段１０１によって選別
された前記各画素列Ｋｒにおいて最も前記圃場Ｍ側に寄
って位置する点を代表点Ｐとして抽出する代表点抽出手
段１０３と、前記領域抽出手段１００によって抽出され
た前記領域Ｋａの情報に基づいて、前記圃場Ｍと前記畦
Ｎとの境界に対応する線分Ｌを求める演算手段１０２と
が夫々構成されている。そして、前記演算手段１０２
は、前記代表点抽出手段１０３によって抽出された前記
代表点Ｐに基づいて前記線分Ｌを求めるように構成され
ている。

【００１８】次に、図２に示すフローチャートに基づい
て、前記制御装置１２の動作を説明しながら、各部の構
成について詳述すれば、前記機体Ｖが設定距離を走行す
る毎、又は、設定時間毎に、前記イメージセンサＳ１に
よる撮像処理が実行され、この撮像処理の後、前記領域
抽出手段１００によって前記畦Ｎに対応する領域Ｋａが
抽出されることになる（図３（イ），（ロ）参照）。

【００１９】ここで、前記領域抽出手段１００の動作に
ついて説明を加えれば、イメージセンサＳ１から出力さ
れる三原色情報のうちの緑色情報Ｇと青色情報Ｂとの強
度について、草Ｋが存在する部分、泥及び土面に対応す
る部分、自然光を反射する水面部分夫々に対して考察す
ると、草Ｋが存在する部分では、緑色情報Ｇの強度が大
で、且つ、青色情報Ｂの強度が小となる。又、泥及び土
面に対応する部分では、緑色情報Ｇ及び青色情報Ｂのい
ずれの強度も小となる。さらに、水面部分では、緑色情
報Ｇ及び青色情報Ｂのいずれの強度も大となる。そこ
で、緑色情報Ｇから青色情報Ｂを減算した信号レベルの
大きさにより、水面で反射される自然光の影響並びに泥
及び土面に対応する画像情報を除去するのである。つま
り、前記緑色情報Ｇから青色情報Ｂを減算した信号レベ
ルが設定閾値以上のレベルになる部分を抽出して２値化
することにより、草Ｋに対応した領域Ｋａの情報を抽出
できるのである。尚、図では、畦Ｎ側だけでなく圃場Ｍ
にも草Ｋに対応する領域Ｋａが抽出されているが、これ
は圃場Ｍ上に存在する浮き草等によるものである。

【００２０】次に、画面座標軸のｙ軸上の３２本の各水
平走査線毎に、前記選別手段１０１によって前記選別処
理がなされ、この結果、各水平走査線上において、所定
個数（例えば８個）以上の連続する画素数で、最も圃場
Ｍ側に寄って位置する画素列Ｋｒが選別される。従っ
て、所定個数以上の連続する画素数の画素列Ｋｒが存在
しなければ、その水平走査ラインでは選別される画素列
Ｋｒはない。そして、圃場Ｍ上に存在する浮き草等によ
る領域Ｋａはその画素数が通常前記所定個数より少ない
ので、上記選別処理によって、浮き草等に対応する領域
Ｋａは除去される。次に、前記選別された各画素列Ｋｒ
において最も圃場Ｍ側に寄って位置する画素を代表点Ｐ
として抽出する代表点抽出処理が前記代表点抽出手段１
０３によって実行される（以上、図３（ハ）参照）。そ
して、画面座標軸の水平走査ラインの全てについて、上
記選別処理と代表点抽出処理が終了したら、これらの代
表点Ｐに基づいて前記線分Ｌを演算手段１０２によって
求めることになる。ここでは、ハフ変換処理によって求
めるように構成している。

【００２１】ハフ変換について説明すれば図４に示すよ
うに、前記イメージセンサＳ１の撮像視野の中心（ｘ＝
１６，ｙ＝１６）を通るｘ軸を極座標系における基準線
として、前記各代表点Ｐを通る複数本の直線を、下記
（ｉ）式に基づいて前記ｘ軸に対して０乃至１８０度の
範囲において予め複数段階に設定された傾きθと、原点
つまり上記撮像視野中心に対応する画面中央からの距離
ρとの組み合わせとして求める。 ρ＝ｙ・sinθ＋ｘ・cosθ ……(ｉ)

【００２２】そして、前記代表点Ｐの全てについて、前
記複数段階に設定された傾きθの値が１８０度に達する
まで、前記パラメータ（ρ，θ）の組み合わせに対応す
る各直線の頻度を計数するための二次元ヒストグラムを
加算する処理を繰り返す。全代表点Ｐに対する直線の頻
度の計数が完了すると、前記二次元ヒストグラムに加算
された値から、最大頻度となる前記傾きθと前記距離ρ
の組み合わせを求めることにより、最大頻度となる一つ
の直線Ｌｘを決定し、その直線Ｌｘを、前記イメージセ
ンサＳ１の撮像面において前記畦際Ｎｋに対応する線分
Ｌを直線近似した情報として求める。

【００２３】次に、前記撮像面における直線Ｌｘを、予
め実測した地表面での前記イメージセンサＳ１の撮像視
野Ａの形状と大きさの記憶情報と、前記最大頻度の直線
Ｌｘが通る撮像面での画素の位置ａ，ｂ，ｃ（図５参
照) とに基づいて、地表面における直線Ｌの情報に変換
する。すなわち、図５に示すように、前記撮像視野Ａの
横幅方向中央を前後方向に通る走行基準線Ｌａに対する
傾きψと、横幅方向での位置δとの値として設定される
地表面上における直線Ｌの情報に変換することになる。

【００２４】説明を加えれば、前記畦際Ｎｋに対応する
直線Ｌに交差する方向となる前記撮像視野Ａの前後位置
（ｙ＝０及びｙ＝３２）での２辺の長さｌ₀ ，ｌ₃₂、画
面中央（ｘ＝１６，ｙ＝１６となる画素位置）における
前記撮像視野Ａの横幅方向での長さｌ₁₆、及び、前記前
後２辺間の距離ｈの夫々を予め実測して、前記制御装置
１２に記憶させておくことになる。

【００２５】そして、前記撮像面における直線Ｌｘが、
前記撮像視野Ａの前後位置での２辺に対応するｘ軸に交
差する画素の位置ａ，ｂ（ｙ＝０，ｙ＝３２となる位
置）のｘ座標の値Ｘ₀,Ｘ₃₂と、前記直線Ｌｘが画面中央
を通るｘ軸に交差する画素の位置ｃのｘ座標の値Ｘ₁₆と
を、上記（ｉ）式を変形した下記（ii）式から求めるこ
とになる。 Ｘｉ＝（ρ−Ｙｉ・sinθ）／cosθ ……（ii） 但し、Ｙｉは、夫々０，１６，３２を代入する。

【００２６】そして、上記（ii）式にて求められたｘ軸
での座標値に基づいて、下記(iii)式及び（iv）式か
ら、前記走行基準線Ｌａに対する横幅方向での位置δ
と、傾きψとを求め、求めた位置δと傾きψとの値を、
地表面において前記畦際Ｎｋに対応する直線Ｌの位置情
報として算出することになる。

【００２７】

【数１】

【００２８】従って、前記機体Ｖを機体進行方向に沿う
畦際Ｎｋに沿って自動走行させるための操向制御におい
ては、前記直線Ｌの前記走行基準線Ｌａに対する傾きψ
と横幅方向での位置δとを共に零に近づけるように、２
輪ステアリング形式で操向操作することになる。

【００２９】前記操向制御について説明すれば、前記直
線Ｌの前記走行基準線Ｌａに対する傾きψと横幅方向で
の位置δ夫々の値、及び、前記前輪１Ｆの現在のステア
リング角φの値とから、下記（ｖ）式に基づいて、前記
前輪１Ｆの目標操向角θｆを設定し、そして、前記前輪
用のステアリング角検出用ポテンショメータＲ₁ にて検
出される現在のステアリング角φが、目標操向角θｆに
対して設定不感帯内に維持されるように、前記前輪用油
圧シリンダ７Ｆの制御弁８Ｆを駆動することになる。 θf＝Ｋ₁・δ＋Ｋ₂・ψ＋Ｋ₃ ・φ ……（ｖ） 尚、Ｋ₁，Ｋ₂，Ｋ₃ は、操向特性に応じて予め設定され
た定数である。

【００３０】圃場行程の終端部に達して次の（この場合
は畦Ｎとは反対側の）圃場行程の始端部に向けてターン
させるためのターン制御の概要について説明すれば、前
記距離センサＳ２にて検出される走行距離が、一つの圃
場行程の長さに対応して設定された設定距離を超えるに
伴って、前記イメージセンサＳ１の画像情報から、例え
ば、圃場Ｍに対して進行方向前方側で隣接する畦Ｎの画
面上での位置情報から圃場行程の終端部に達したことを
検出させる。そして、圃場行程の終端部に達したと判断
されると、前記苗植え付け装置２による植え付け作業を
中断して、前記２輪ステアリング形式から前記４輪ステ
アリング形式に切り換えると共に、設定時間の間最大切
り角に維持することにより次の圃場行程側に１８０度方
向転換させる。この際に、前の行程で使用した前記イメ
ージセンサＳ１とは反対側のイメージセンサＳ１の画像
情報から、次の圃場行程に隣接する前の圃場行程の既植
苗Ｋの位置を検出しながら、次の圃場行程における機体
横幅方向での位置を修正させて、ターンを終了すること
になる。尚、ターン終了後は、前記２輪ステアリング形
式に復帰させて、次の圃場行程での操向制御を再開する
ことになる。

【００３１】〔別実施例〕上記実施例では、撮像手段と
してカラー式のイメージセンサＳ１を用いて、緑色情報
Ｇから青色情報Ｂを減算して設定閾値に基づいて２値化
することにより、草Ｋが大部分を占める畦Ｎに対応する
領域Ｋａを抽出するように構成した場合を例示したが、
例えば、三原色情報Ｒ，Ｇ，Ｂの全部を用いて、それら
の比が草Ｋの色に対応する設定比率範囲となる領域を前
記領域Ｋａとして抽出するようにしてもよく、あるい
は、前記撮像手段として白黒式のイメージセンサＳ１を
用いて、草Ｋと泥面等の他の箇所の明度信号を適当な閾
値設定に基づいて２値化することにより、簡便な装置で
領域Ｋａを抽出するようにしてもよく、領域抽出手段１
００の具体構成は、各種変更できる。

【００３２】又、上記実施例では、画面座標軸（ｙ軸）
の各水平走査線上において、連続する画素の個数が画面
横幅の１／４に対応する個数つまり８個以上である画素
列を選別するように選別手段１０１を構成したが、この
個数の判断基準は８個に限らず、例えば、畦Ｎ上の草Ｋ
の疎密状態が密であれば検出精度を上げるべく８個以上
に設定する一方、草Ｋの疎密状態が疎であれば検出不能
にならないように８個以下に設定する等、適宜増減変更
することができる。

【００３３】又、上記実施例では、ハフ変換を利用して
畦際Ｎｋに対応する線分Ｌを直線近似するようにした場
合を例示したが、例えば、最小二乗法等を用いて直線近
似あるいは曲線近似した情報を求めることもできるもの
であって、演算手段１０２の具体構成は、各種変更でき
る。

【００３４】又、上記実施例では、本発明を自動走行作
業車としての田植え機を作業地としての圃場とこれに隣
接する非作業地としての畦Ｎとの境界である畦際Ｎｋに
沿って自動走行させるための装置に適用した場合を例示
したが、本発明は、芝刈り機等の他の自動走行作業車に
も適用できるものであって、その際の作業地Ｍ及び非作
業地Ｎの種類や機体の走行系の構成等、各部の具体構
成、並びに、検出された作業地Ｍと非作業地Ｎとの境界
に対応する線分Ｌの情報の利用形態は、各種変更でき
る。

【００３５】尚、特許請求の範囲の項に図面との対照を
便利にするために符号を記すが、該記入により本発明は
添付図面の構成に限定されるものではない。

【図面の簡単な説明】

【図１】制御構成のブロック図

【図２】制御作動のフローチャート

【図３】画像処理の説明図

【図４】ハフ変換の説明図

【図５】撮像視野における機体進行方向と近似直線の関
係を示す説明図

【図６】田植え機の概略平面図

【図７】田植え機の概略側面図

【符号の説明】

Ｍ 作業地 Ｎ 非作業地 Ｓ１ 撮像手段 Ｋａ 領域 Ｌ 線分 Ｋｒ 画素列 Ｐ 代表点 １００ 領域抽出手段 １０１ 選別手段 １０２ 演算手段 １０３ 代表点抽出手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−110605（ＪＰ，Ａ) 特開 平４−112276（ＪＰ，Ａ) 特開 平２−242406（ＪＰ，Ａ) 特開 平２−301809（ＪＰ，Ａ) 特開 平２−301810（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05D 1/02 A01B 69/00 303 G06F 15/70 330

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 機体進行方向前方側の作業地（Ｍ）及び
   これに機体進行方向に交差する方向で隣接する非作業地
   （Ｎ）を撮像する撮像手段（Ｓ１）と、その撮像手段
   （Ｓ１）による撮像画像情報に基づいて、前記非作業地
   （Ｎ）に対応する領域（Ｋａ）を抽出する領域抽出手段
   （１００）と、この領域抽出手段（１００）によって抽
   出された前記領域（Ｋａ）の情報に基づいて、前記作業
   地（Ｍ）と前記非作業地（Ｎ）との境界に対応する線分
   （Ｌ）を求める演算手段（１０２）とが設けられた自動
   走行作業車用の境界検出装置であって、 前記領域抽出手段（１００）によって抽出された前記領
   域（Ｋａ）の中で、機体進行方向に交差する方向に沿っ
   た前記撮像手段（Ｓ１）の画面座標軸の各走査線上にお
   いて、連続する画素の個数が所定個数以上で、且つ、最
   も前記作業地（Ｍ）側に寄って位置する画素列（Ｋｒ）
   のみを選別する選別手段（１０１）と、この選別手段
   （１０１）によって選別された前記各画素列（Ｋｒ）に
   おいて最も前記作業地（Ｍ）側に寄って位置する画素を
   代表点（Ｐ）として抽出する代表点抽出手段（１０３）
   とが設けられ、 前記演算手段（１０２）は、前記代表点抽出手段（１０
   ３）によって抽出された前記代表点（Ｐ）に基づいて前
   記線分（Ｌ）を求めるように構成されている自動走行作
   業車用の境界検出装置。