JP7530601B2 - システム、収穫機、情報処理装置の制御方法、およびプログラム - Google Patents

Description

本開示は、特に、収穫作業を補助するシステム、収穫機、収穫作業を補助する方法、および収穫作業を補助する情報処理装置を制御するプログラムに関する。

従来、畝に生育している農作物を収穫する収穫機が知られている。このような収穫機として、たとえば特開平６－２３３６０６号公報（特許文献１）には、刈取部の高さを自動制御する構成が開示されている。当該刈取部には、超音波センサが取付けられている。収穫機は、超音波センサにより、対地高さを検出する。

特開平６－２３３６０６号公報

畝には農作物が生育しているため、特許文献１では、超音波センサから畝までの距離（対地高さ）を正確に計測できない。

本開示は、センサから畝までの距離をより正確に計測可能なシステム、収穫機、方法、およびプログラムを提供することにある。

本開示のある局面に従うと、刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助するシステムは、情報処理装置と、刈取部に下向きに設置された第１のカメラと、刈取部に下向きに設置された第１のセンサとを備える。第１のカメラは、刃の前方に位置し、かつ農作物が畝に生育した農地を撮像する。第１のカメラは、撮像によって得られた第１の画像データを情報処理装置に出力する。第１のセンサは、農地をセンシングし、かつセンシングによって得られた、第１のセンサから農地までの距離を表す第２の画像データを情報処理装置に出力する。情報処理装置は、第１の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出する。情報処理装置は、抽出の結果と、第２の画像データとに基づき、第１のセンサから畝までの第１の距離を決定する。情報処理装置は、第１の距離と予め定められた第１の基準距離との差分に基づいた第１の信号を出力する。

本開示の他の局面に従うと、収穫機は、本体部と、刃を有し、かつ本体部に対して上下方向に移動可能な刈取部と、コントローラと、刈取部に下向きに設置されたカメラと、刈取部に下向きに設置されたセンサとを備える。カメラは、刃の前方に位置し、かつ農作物が畝に生育した農地を撮像する。カメラは、撮像によって得られた第１の画像データをコントローラに出力する。センサは、農地をセンシングし、かつセンシングによって得られた、センサから農地までの距離を表す第２の画像データをコントローラに出力する。コントローラは、第１の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出する。コントローラは、抽出の結果と、第２の画像データとに基づき、センサから畝までの距離を決定する。コントローラは、決定された距離と予め定められた基準距離との差分に基づいて、刈取部の上下方向の位置を制御する。

本開示のさらに他の局面に従うと、刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する方法は、刈取部に下向きに設置されたカメラから、刃の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第１の画像データを取得するステップと、刈取部に下向きに設置されたセンサから、農地をセンシングすることによって得られた、センサから農地までの距離を表す第２の画像データを取得するステップと、第１の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出するステップと、抽出の結果と、第２の画像データとに基づき、センサから畝までの距離を決定するステップと、決定された距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを備える。

本開示のさらに他の局面に従うと、刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する情報処理装置を制御するプログラムは、刈取部に下向きに設置されたカメラから、刈取部の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第１の画像データを取得するステップと、刈取部に下向きに設置されたセンサから、農地をセンシングすることによって得られた、センサから農地までの距離を表す第２の画像データを取得するステップと、第１の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出するステップと、抽出の結果と、第２の画像データとに基づき、センサから畝までの距離を決定するステップと、決定された距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを、情報処理装置のプロセッサに実行させる。

本開示によれば、センサから畝までの距離を従来よりも正確に計測可能となる。

収穫機の全体構成を説明するための外観図である。 収穫機の刈取部を拡大した要部拡大図である。 畝と刈取部の刈取刃との関係を説明するための図である。 収穫機を前面から見た図である。 収穫機の刈取部側を拡大した拡大図である。 デプスカメラの外観を示した図である。 デプスカメラによる撮像を説明するための図である。 表示装置を説明するための図である。 情報処理装置の構成を説明するための図である。 正規化前のデータを表した図である。 正規化後のデータを表した図である。 距離の差分を説明するための図である。 ズレ量ΔＷの算出方法の一例を説明するための図である。 情報処理システムによって実行される処理の流れを表したフロー図である。 他の形態に係る収穫機を前面から見た図である。 ２台のデプスカメラによる撮像を説明するための図である。 表示装置を説明するための図である。 情報処理装置の構成を説明するための図である。 ズレ量ΔＷの算出方法の一例を説明するための図である。 情報処理システムによって実行される処理の前半の流れを表したフロー図である。 情報処理システムによって実行される処理の後半の流れを表したフロー図である。 さらに他の形態に係る収穫機の構成を説明するための図である。

以下、図面を参照しつつ、本発明の各実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

各実施形態における構成を適宜組み合わせて用いることは当初から予定されていることである。また、一部の構成要素を用いない場合もある。

以下、収穫機について、図面を参照しながら説明する。なお、以下の説明において、「上」，「下」，「前」，「後」，「左」，「右」とは、収穫機の運転席に着座したオペレータを基準とする用語である。

収穫機は、畝に生育した農作物を収穫する車両である。収穫機は、主として、農作物の実（果物、野菜）の部分を収穫する車両である。農作物としては、たとえば、無支柱栽培で育つ作物（トマト、ナス等）、畝上に育つ果菜類（トマト、南瓜、ピーマン等）、地面上の農作物、匍匐茎（ホフクケイ）を有する農作物が挙げられる。

収穫機１は、好適には、農作物の実の一例である加工用トマトの収穫に用いられる。なお、加工用トマトは、太陽をたくさん浴びられるよう茎が地（畝面）を這うよう生育する。

雑草抑制、乾燥防止等の観点から、典型的には黒色のマルチシートによって畝が覆われている場合もある。本例では、畝の表面（畝面）がマルチシートで覆われている場合を例に挙げて説明する。しかしながら、これに限定されず、畝面がマルチシートで覆われていない場合にも、本実施の形態の処理を適用できる。

［実施の形態１］
図１は、本実施の形態に係る収穫機１の全体構成を説明するための外観図である。図１（Ａ)は、収穫機１の上面図である。図１（Ｂ）は、収穫機１の左側側面図である。

図１（Ａ）および図１（Ｂ）を参照して、収穫機１は、刈取部２と、本体部３とを備える。刈取部２は、ピックアップ装置とも称される。刈取部２は、ピックアップコンベア２０１を含む。本体部３は、運転席４と、分別装置５と、側部コンベア６と、エレベータ７と、左右の補助輪８Ｒ，８Ｌと、左右の前輪９Ｒ，９Ｌと、左右の後輪１０Ｒ，１０Ｌとを備える。

収穫機１は、農地の畝９１０に沿って畝上を走行する。収穫機１は、矢印Ｆの方向に前進する。左右の前輪９Ｒ，９Ｌと、左右の後輪１０Ｒ，１０Ｌとは、畝９１０と畝９１０との間の通路（以下、「畝通路」とも称する）に接地している。なお、図１のＸＹＺ座標系は、収穫機１におけるローカル座標系である。

刈取部２は、畝９１０に生育した農作物（茎、葉、および実）の茎部を切断し、切断された農作物を実線および破線の矢印に示すように、運転席４の後方の分別装置５に送る。畝９１０は、マルチシート（図３参照）によって覆われている。

分別装置５は、農作物を、茎および葉の部分と、実の部分とに分別する。分別装置５は、茎および葉を後方の農地に排出する。分別装置５は、実を側部コンベア６に排出する。

側部コンベア６は、実をエレベータ７へと搬送する。エレベータ７は、収穫機１と併走するトラック（図示せず）の荷台に実を排出する。

図２は、収穫機１の刈取部２を拡大した要部拡大図である。
図２を参照して、刈取部２は、ピックアップコンベア２０１と、アーム部２０２と、刈取刃２０３とを含む。アーム部２０２は、複数のアームで構成されている。各アームは、等間隔にＹ軸方向に配置されている。

収穫機１が前進するに伴い、アーム部２０２のアーム間には、農作物の茎の部分が入り込む。その後、収穫機１のさらなる前進に伴い、茎の部分が刈取刃２０３によって切断される。刈取刃２０３によって切断（刈取）された農作物（正確には、畝に残った茎の部分を除く農作物の一部）は、収穫機１のさらなる前進に伴い、ピックアップコンベア２０１に運ばれる。ピックアップコンベア２０１は、刈り取られた農作物（茎の一部および実）を分別装置５に送る。

図３は、畝９１０と刈取部２の刈取刃２０３との関係を説明するための図である。
図３を参照して、農地９００に形成された畝９１０は、畝面９１１と、傾斜面９１２とを有する。畝面９１１は、畝天面とも称される。畝９１０と畝９１０との間には，畝通路９２０が設けられている。

なお、傾斜面９１２は、畝９１０の端部である。傾斜面９１２は、畝面９１１と畝通路９２０とを接続している。畝通路９２０は、畝９１０に沿った通路である。畝通路９２０は、畝と畝との間の畝よりも低い土の部分である。畝通路９２０は、人による作業のため、および収穫機１の前輪９Ｒ，９Ｌおよび後輪１０Ｒ，１０Ｌが通過するために、農地９００に設けられている。

畝９１０には、農作物９９０が生育している。農作物９９０は、茎９９１と、茎９９１になった実９９２とを有する。畝９１０は、マルチシート９５０で覆われている。詳しくは、少なくとも畝面９１１と傾斜面９１２とがマルチシート９５０で覆われている。

刈取刃２０３を畝面９１１に接近させた状態で、刈取刃２０３によって農作物９９０の茎９９１の部分（畝面９１１に近い部分）が切断される。刈取刃２０３は、畝面９１１に極力近づけることが好ましい。刈取刃２０３の位置が畝面９１１から上方に離れすぎると、実９９２を切断してしまうおそれがあるためである。

図４は、収穫機１を前面から見た図である。
図４を参照して、収穫機１は、情報処理システム１００と、アクチュエータ１１Ｒ，１１Ｌと、支持フレーム１２，１３とをさらに備える。情報処理システム１００は、デプスカメラ１１０と、情報処理装置１３０と、表示装置１４０，１６０とを備える。

運転席４は、ハンドル４０１と、座席４０２と、操作盤４０３とを備える。操作盤４０３は、操作部４１１を有する。本例では、運転席４に、情報処理装置１３０が設置されている。なお、情報処理装置１３０は、運転席４以外に設置されてもよい。

アクチュエータ１１Ｒ，１１Ｌは、操作部４１１に対するオペレータ操作に基づき、刈取刃２０３を有する刈取部２を本体部３に対して上下方向に移動させる。アクチュエータ１１Ｒ，１１Ｌは、たとえば油圧シリンダである。操作部４１１は、アクチュエータ１１Ｒを動作（シリンダを伸張）させるスイッチと、アクチュエータ１１Ｌを動作させるスイッチとを備える。

収穫機１の前面視（図４の状態）において、刈取部２は本体部３に対して傾斜可能である。アクチュエータ１１Ｒ，１１Ｌの一方を動作させることにより、刈取部２は本体部３に対して傾斜する。また、アクチュエータ１１Ｒ，１１Ｌの一方の動作量を他方の動作量と異ならせることにより、刈取部２は本体部３に対して傾斜する。このように、収穫機１の前面視において、刈取部２は本体部３に対して傾斜可能（ＸＹ平面に平行な平面内で傾斜可能）である。

アクチュエータ１１Ｒが矢印８１０Ｒの方向に移動すると、刈取部２の先端部は矢印８２０Ｒの方向（上下方向）に移動する。アクチュエータ１１Ｌが矢印８１０Ｌの方向に移動すると、刈取部２の先端部は矢印８２０Ｌの方向（上下方向）に移動する。

支持フレーム１２は、刈取部２に取付けられている。支持フレーム１２は、ピックアップコンベア２０１の移動方向とは垂直な方向（Ｙ軸方向）に伸びている。支持フレーム１２は、表示装置１４０，１６０を支持する。

支持フレーム１３は、刈取部２に取付けられている。支持フレーム１３は、支持フレーム１２よりも前方に取付けられている。支持フレーム１３の後端側が刈取部２に取付けられている。支持フレーム１３は、支持フレーム１３の前端側においてデプスカメラ１１０を支持する。本例では、支持フレーム１３は、複数の部材が連結されて構成されている。

デプスカメラ１１０は、刈取部２の横方向（Ｙ軸方向）の中央位置に設置されている。デプスカメラ１１０は、ピックアップコンベア２０１の横方向の中央位置に設置されている。

デプスカメラ１１０は、被写体までの距離を測定する。詳細については後述するが、本例の場合、デプスカメラ１１０は、農地９００までの距離（高さ）を測定する。

情報処理装置１３０は、デプスカメラ１１０からの入力を処理し、表示装置１４０，１６０に対して信号を出力する。情報処理装置１３０による情報処理については、後述する。

表示装置１４０，１６０は、収穫機１の運転席４の前方に設置されている。表示装置１４０，１６０は、支持フレーム１２の中央部（Ｙ軸方向中央部）に設置されている。表示装置１４０，１６０は、ピックアップコンベア２０１のＹ軸方向の中心部の上方に設置されている。表示装置１４０，１６０は、本例では、ＬＥＤを用いたレベルメータである。

表示装置１４０は、レベルの表示が収穫機１に対して上下方向に変化する向きに設置されている。表示装置１４０は、支持フレーム１２に対して鉛直方向に設置されている。

表示装置１６０は、レベルの表示が収穫機１に対して左右方向に変化する向きに設置されている。表示装置１６０は、支持フレーム１２に対して水平方向に設置されている。

図５は、収穫機１の刈取部２側を拡大した拡大図である。
図５を参照して、収穫機１は、上述したように、デプスカメラ１１０と、情報処理装置１３０と、表示装置１４０，１６０と、アクチュエータ１１Ｒ，１１Ｌと、支持フレーム１２，１３とを備える。

デプスカメラ１１０は、刈取部２に下向きに設置されている。デプスカメラ１１０は、刈取部２の刈取刃２０３の前方かつ上方に設置されている。

表示装置１４０，１６０は、表示面が運転席４の方向を向く姿勢で固定されている。
図６は、デプスカメラ１１０の外観を示した図である。

図６を参照して、デプスカメラ１１０は、カメラ１１１と、センサ１１２とを備える。センサ１１２は、赤外線プロジェクタ１１２１と、赤外線ステレオカメラ１１２２とを備える。赤外線ステレオカメラ１１２２は、２つの赤外線カメラ１１２２Ｒ，１１２３Ｌにより構成される。

本例では、上記のように、カメラ１１１とセンサ１１２とが１つの筐体に収容されている。なお、デプスカメラは知られているため、ここでは、デプスカメラ１１０の詳細な構成およびデータ処理の詳細については、繰り返し説明しない。

図７は、デプスカメラ１１０による撮像を説明するための図である。
図７を参照して、カメラ１１１は、刈取刃２０３の前方に位置する農作物９９０が生育した農地９００を撮像し、かつ撮像によって得られた画像データを情報処理装置１３０に出力する。本例では、カメラ１１１は、撮像した被写体をＲＧＢ画像として出力する。カメラ１１１は、少なくとも動画像（映像）を撮像する。カメラ１１１は、ＲＧＢ画像データをリアルタイムに情報処理装置１３０に送信する。

センサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す画像データを情報処理装置１３０に出力する。詳しくは、赤外線ステレオカメラ１１２２が、距離を表す画像データを情報処理装置１３０にリアルタイムに送信する。

本例では、少なくとも、デプスカメラ１１０によって、畝９１０までの距離を測定する。詳しくは、本例では、デプスカメラ１１０によって、少なくとも畝面９１１までの距離を測定する。

図８は、表示装置１４０，１６０を説明するための図である。
図８を参照して、表示装置１４０は、複数のＬＥＤ１４１～１４９を有する。表示装置１６０は、複数のＬＥＤ１６１～１６９を有する。

詳細については後述するが、表示装置１４０は、ＬＥＤ１４１～１４９の少なくとも１つを発光することによって、刈取部２（詳しくは、刈取刃２０３）の基準位置（適正位置）からの高さ方向（Ｚ軸方向）のズレ量を表す。

表示装置１６０は、ＬＥＤ１６１～１６９の少なくとも１つを発光することによって、刈取部２（詳しくは、刈取刃２０３）の基準位置（適正位置）からの左右方向（横方向、Ｙ軸方向）のズレ量を表す。

以下では、説明の便宜上、収穫機１が農作物の実として加工用のトマトを収穫する場合を例に挙げて説明する。なお、上述したように、農作物は、これに限定されるものではない。

図９は、情報処理装置１３０の構成を説明するための図である。
図９を参照して、情報処理装置１３０は、プロセッサ１３１０と、メモリ１３２０と、通信インターフェイス１３３０と、通信インターフェイス１３４０とを備える。

プロセッサ１３１０は、機能ブロックとして、正規化処理部１３１１と、領域抽出部１３１２と、距離決定部１３１３と、距離決定部１３１４と、差分算出部１３１５と、ズレ量算出部１３１６と、表示制御部１３１７とを有する。メモリ１３２０は、ＲＯＭ（Read Only Memory）１３２１と、ＲＡＭ（Random Access Memory）１３２２と、フラッシュメモリ１３２３とを有する。

通信インターフェイス１３３０は、デプスカメラ１１０からデータを受信する。通信インターフェイス１３３０は、カメラ１１１からＲＧＢ画像データを受信する。通信インターフェイス１３３０は、センサ１１２から距離を表す画像データ（以下、「距離画像データ」とも称する）を受信する。通信インターフェイス１３３０は、受信した両画像データをプロセッサ１３１０に送る。

メモリ１３２０のフラッシュメモリ１３２３には、プロセッサが実行するオペレーティングシステムおよびアプリケーションプログラムが予め格納されている。これらのプログラムは、ＲＡＭ１３２２上に展開される。なお、ＲＯＭ１３２１には、ＢＩＯＳ等のファームウェアが記憶されている。このようなオペレーティングシステムおよびアプリケーションプログラムにより、情報処理装置１３０のデータ処理内容が決定する。これらのプログラムが情報処理装置１３０を制御する。

プロセッサ１３１０は、デプスカメラ１１０から送られてきた両画像データに基づいて、データ処理を実行する。以下、プロセッサ１３１０が実行する処理について説明する。

正規化処理部１３１１は、ＲＧＢ画像データを正規化する。曇りの場合、日陰の場合、晴れの場合、日向の場合等の周囲環境によって、ＲＧＢ画像データの各色の画素値は変化する。そこで、明るさに影響されず畝面９１１（詳しくは、マルチシートおよび露出した土）を検出するために、正規化処理部１３１１は、ＲＧＢ画像データを正規化する。

以下、正規化処理をする理由を、図１０および図１１に基づいて説明する。
図１０は、正規化前のデータを表した図である。図１０（Ａ）は、曇り等の最も暗い場合のＲＧＢ画像データの各色の部分別の画素値の平均値を表した図である。図１０（Ｂ）は、晴れ等の最も明るい場合のＲＧＢ画像データの各色の部分別の画素値の平均値を表した図である。図１０（Ｃ）は、全てのＲＧＢ画像データ（本例では、図１０（Ａ）の画像１枚および図１０（Ａ）のように暗い場合の他の画像９枚の合計１０枚（ＲＧＢ画像データを１０個）と、図１０（Ｂ）の画像１枚および図１０（Ｂ）のように明るい場合の他の画像９枚の合計１０枚（ＲＧＢ画像データを１０個）とから、各色の部分それぞれ１００個の画素データ）の各色の部分別の平均値と標準偏差とを表した図である。

図１０（Ｃ）を参照して、棒グラフが、マルチシート９５０の部分と、葉の部分と、トマトの部分と、土の部分とのＲＧＢの各画素値の平均値を示している。エラーバーは、標準偏差の情報を誤差範囲として棒グラフに付加したものである。

各部分のＲの値とＧの値とＢの値とにおいてばらつき（標準偏差）が大きい。それゆえ、トマト以外の部分が、どの部分であるかを判別し難い。

図１１は、正規化後のデータを表した図である。詳しくは、図１１は、各色部分別の平均値と標準偏差とを表した図である。より詳しくは、図１１は、以下の演算処理によって得られる図である。

まず、正規化処理部１３１１は、各画素のＲＧＢの値（３つ値）のうちの最小値を、各ＲＧＢの値から減算する。次に、正規化処理部１３１１は、減算されたＲＧＢの３つ値のうちの最大値によって、減算された各ＲＧＢの値を除算する。さらに、正規化処理部１３１１は、除算によって得られた値をパーセント表示する。正規化処理部１３１１は、このような一連の処理を図１０（Ｃ）の各画素に対して行うことにより、各色部分別の平均値と標準偏差とを算出する。

図１１を参照して、マルチシート９５０の部分と、葉の部分と、トマトの部分と、土の部分とに関し、Ｒの値とＧの値とＢの値との組み合わせの特異性が明確になっている。たとえば、マルチシート９５０では、赤の値が極めて低く、かつ青の値が極めて低い。また、葉の部分では、緑の値が赤の値および青の値に比べて高い。土の部分では、赤の値と青の値とが高く、緑の値が極めて低い。

このように正規化をすることにより、ＲＧＢ画像データを、マルチシート９５０の領域と、葉の領域と、トマトの領域と、土の領域とに精度良く区分することが可能となる。

再び図９を参照して、領域抽出部１３１２は、正規化後のＲＧＢ画像データに基づき、当該ＲＧＢ画像データ（すなわち、農地９００の画像）から少なくとも畝９１０の画像領域を抽出する。

本例では、領域抽出部１３１２は、正規化後のＲＧＢ画像データから、葉の領域と、トマトの領域と、影などの極端に暗い領域（画素値が極端に小さい領域）とを除去する。これにより、領域抽出部１３１２は、畝９１０の画像領域としてのマルチシート９５０の画像領域とおよびマルチシート９５０の裂け目から露出した土の画像領域と、畝通路９２０の画像領域とを抽出する。

なお、畝９１０がマルチシート９５０で覆われていない場合には、領域抽出部１３１２は、土の画像領域を抽出する。詳しくは、ある局面では、領域抽出部１３１２は、畝９１０の画像領域（農作物の画像領域を除く土の画像領域）と、畝通路９２０の画像領域とを抽出する。他の局面では、領域抽出部１３１２は、畝９１０の画像領域（土の画像領域）のみを抽出する。

距離決定部１３１３は、領域抽出部１３１２による抽出の結果と、センサ１１２によって取得された距離画像データとに基づき、デプスカメラ１１０から畝９１０（詳しくは、畝面９１１）までの距離Ｄａを決定する。詳しくは、本例では、デプスカメラ１１０から畝９１０までの距離Ｄａとして、距離決定部１３１３は、デプスカメラ１１０から畝９１０を覆うマルチシート９５０までの距離を決定する。具体的には、距離決定部１３１３は、センシングによって得られたマルチシート９５０までの複数の距離のうち、最も短い距離を畝９１０までの距離とする。

差分算出部１３１５は、距離決定部１３１３によって決定された距離Ｄａと、予め設定された基準距離Ｄｓとの差分を算出する。

図１２は、距離の差分を説明するための図である。図１２（Ａ）は、最適な地上高さに刈取刃２０３が位置している状態を表した図である。図１２（Ｂ）は、最適な地上高さに刈取刃２０３が位置していない状態を表した図である。

図１２（Ａ）を参照して、距離Ｄｕは、デプスカメラ１１０と刈取刃２０３との上下（鉛直）方向の距離を表している。デプスカメラ１１０と刈取刃２０３とは刈取部２に取付けられているため、刈取部２がアクチュエータ１１Ｒ，１１Ｌによって移動しても、距離Ｄｕは変化しない。すなわち、距離Ｄｕは固定値である。

距離ΔＤｐは、刈取刃２０３と畝面９１１との間の最適な距離である。農作物の実を傷付けないため、距離ΔＤｐは０に近いことが好ましい。距離ΔＤｐも固定値である。距離ΔＤｐは、事前に決定される。

よって、決定された距離Ｄａが基準距離Ｄｓ（＝Ｄｕ＋ΔＤｐ）と一致する場合に、最適な地上高さに刈取刃２０３が位置しているといえる。

図１２（Ｂ）を参照して、決定された距離Ｄａが、基準距離ＤｓよりもΔＤｑだけ長い場合（Ｄａ＝Ｄｓ＋ΔＤｑ＝Ｄｕ＋ΔＤｐ＋ΔＤｑの場合）、差分算出部１３１５は、距離Ｄａと基準距離Ｄｓとの差分（すなわち、ΔＤｑ）を算出する。差分算出部１３１５は、算出された差分ΔＤｑを表示制御部１３１７に通知する。

距離決定部１３１４は、領域抽出部１３１２による抽出の結果と、センサ１１２によって取得された距離を表した画像データとに基づき、デプスカメラ１１０から畝通路９２０までの距離Ｄｂを決定する。

ズレ量算出部１３１６は、ＲＧＢ画像データと、距離画像データとに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。詳しくは、ズレ量算出部１３１６は、領域抽出部１３１２による抽出の結果と、距離決定部１３１３によって決定された距離Ｄａと、距離決定部１３１４によって決定された距離Ｄｂとに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。ズレ量算出部１３１６は、Ｙ軸方向のズレ量ΔＷを算出する。ズレ量ΔＷの算出方法の一例を、図１２に基づいて説明する。

図１３は、ズレ量ΔＷの算出方法の一例を説明するための図である。
図１３を参照して、ＲＧＢ画像データに基づく画像９０１Ｇは、畝９１０の画像９１０Ｇと、畝通路９２０の画像９２０Ｇとを含む。畝９１０の画像９１０Ｇは、畝面９１１の画像９１１Ｇと、傾斜面９１２の画像９１２Ｇとを含む。

ズレ量算出部１３１６は、上述した距離Ｄａと距離Ｄｂとの中間の距離Ｄｃ（Ｄｃ＝（Ｄａ＋Ｄｂ）／２）を求める。ズレ量算出部１３１６は、左右の傾斜面９１２の各々において距離Ｄｃとなる位置Ｐａ，Ｐｂを特定する。なお、位置Ｐｃは、位置Ｐａと位置Ｐｂとの中央の位置であり、畝幅方向の中央位置である。

ズレ量算出部１３１６は、画像９０１ＧにおけるＸ軸方向に沿った中心線Ｌｃと、位置Ｐａとの距離Ｗ１を求める。また、ズレ量算出部１３１６は、中心線Ｌｃと、位置Ｐｂとの距離Ｗ２を求める。ズレ量算出部１３１６は、Ｗ１とＷ２との差分を２で割ることにより、ズレ量ΔＷを算出する。ズレ量算出部１３１６は、算出されたズレ量ΔＷを表示制御部１３１７に通知する。

表示制御部１３１７は、距離Ｄａと基準距離Ｄｓとの差分ΔＤｑに基づいた信号ＳＧ１を表示装置１４０に出力する。表示制御部１３１７は、ズレ量ΔＷに基づいた信号ＳＧ２を表示装置１６０に出力する。

表示装置１４０は、信号ＳＧ１に基づいた表示を行なう。詳しくは、表示装置１４０は、差分ΔＤｑに応じたレベルを表示する。

再び図８を参照して、たとえば差分ΔＤｑが０（あるいは０に近い場合）、表示装置１４０は、中央（上から５つ目）のＬＥＤ１４５を点灯する。差分ΔＤｑがプラスの値の場合（図１２（Ｂ）の状態）、表示装置１４０は、ＬＥＤ１４６～１４９のうち、差分ΔＤｑの大きさに応じたＬＥＤを点灯する。表示装置１４０は、差分ΔＤｑが大きくなるにつれ、より上側のＬＥＤを点灯する。差分ΔＤｑがマイナスの値の場合（ΔＤｐ＞ΔＤｑ＋ΔＤｑ）、表示装置１４０は、ＬＥＤ１４１～１４４のうち、差分ΔＤｑの絶対値の大きさに応じたＬＥＤを点灯する。表示装置１４０は、差分ΔＤｑの絶対値が大きくなるにつれ、より下側のＬＥＤを点灯する。

このような表示により、収穫機１のオペレータは、刈取部２を上方に移動させるべきか、下方に移動させるべきかを瞬時に判断できる。さらに、オペレータは、どの程度上下に刈取部２を移動させるべきかについても容易に知ることができる。

表示装置１６０は、信号ＳＧ２に基づいた表示を行なう。詳しくは、表示装置１６０は、ズレ量ΔＷに応じたレベルを表示する。

たとえばズレ量ΔＷが０（あるいは０に近い場合）、表示装置１６０は、中央（左から５つ目）のＬＥＤ１６５を点灯する。ズレ量ΔＷがプラスの値の場合、表示装置１６０は、ＬＥＤ１６６～１６９のうち、ズレ量ΔＷの大きさに応じたＬＥＤを点灯する。表示装置１６０は、ズレ量ΔＷが大きくなるにつれ、より右側のＬＥＤを点灯する。ズレ量ΔＷがマイナスの値の場合（図１３の場合）、表示装置１６０は、ＬＥＤ１６１～１６４のうち、ズレ量ΔＷの絶対値の大きさに応じたＬＥＤを点灯する。表示装置１４０は、ズレ量ΔＷの絶対値が大きくなるにつれ、より左側のＬＥＤを点灯する。

このような表示により、収穫機１のオペレータは、収穫機１を左側に移動させるべきか、右側に移動させるべきかを瞬時に判断できる。さらに、オペレータは、どの程度左右に、刈取部２を移動させるべきかについても容易に知ることができる。

図１４は、情報処理システム１００によって実行される処理の流れを表したフロー図である。

図１４を参照して、ステップＳ１において、デプスカメラ１１０は撮像を開始する。ステップＳ２において、情報処理装置１３０は、デプスカメラ１１０から、ＲＧＢ画像データと距離画像データとを周期的に取得する。

ステップＳ３において、情報処理装置１３０は、ＲＧＢ画像データから、緑色の部分（葉の部分）と、赤色の部分（トマト（実）の部分）と、極端に暗い部分（影の部分）を除去することにより、土の画像領域とマルチシート９５０の画像領域とを抽出する。

ステップＳ４において、情報処理装置１３０は、抽出された画像を、距離画像データに基づいて、畝面９１１と、傾斜面９１２と、畝通路９２０との３つの領域に分割する。

ステップＳ５において、情報処理装置１３０は、デプスカメラ１１０から土までの距離を示した距離情報と、デプスカメラ１１０からマルチシート９５０までの距離を示した距離情報とを集計する。情報処理システム１００では、畝面９１１と、傾斜面９１２と、畝通路９２０との各々において、複数の地点で距離を計測しているため、情報処理装置１３０は、畝面９１１と、傾斜面９１２と、畝通路９２０との各々において、複数の距離情報を取得する。

ステップＳ６において、情報処理装置１３０は、畝面９１１までの各距離のうち、最も短い距離をデプスカメラ１１０から畝面９１１までの距離Ｄａに決定する。ステップＳ７において、情報処理装置１３０は、決定された距離Ｄａと、基準距離Ｄｓとの差分ΔＤｑを算出する。ステップＳ８において、情報処理装置１３０は、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。

ステップＳ９において、情報処理装置１３０は、算出された差分ΔＤｑを表す信号ＳＧ１を表示装置１４０に送信する。ステップＳ１０において、情報処理装置１３０は、ズレ量ΔＷを表す信号ＳＧ２を表示装置１６０に送信する。ステップＳ１１において、表示装置１４０は、差分ΔＤｑに応じたＬＥＤを点灯させる。ステップＳ１２において、表示装置１６０は、ズレ量ΔＷに応じたＬＥＤを点灯させる。

（小括）
本実施の形態に係る情報処理システム１００を小括すると、以下のとおりである。

（１）情報処理システム１００は、刈取刃２０３を有する刈取部２が本体部３に対して上下方向に移動可能な収穫機１を用いた収穫作業を補助するシステムである。情報処理システム１００は、情報処理装置１３０と、刈取部２に下向きに設置されたカメラ１１１と、刈取部２に下向きに設置されたセンサ１１２とを備える。

カメラ１１１は、刈取刃２０３の前方に位置し、かつ農作物が畝９１０に生育した農地９００を撮像する。カメラ１１１は、撮像によって得られたＲＧＢ画像データを情報処理装置１３０に出力する。センサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す距離画像データを情報処理装置１３０に出力する。

情報処理装置１３０は、ＲＧＢ画像データに基づき、農地９００の画像から少なくとも畝９１０の画像領域を抽出する。情報処理装置１３０は、抽出の結果と、距離画像データとに基づき、センサ１１２から畝９１０までの距離Ｄａを決定する。情報処理装置１３０は、距離Ｄａと予め定められた基準距離Ｄｓとの差分ΔＤｑに基づいた信号ＳＧ１を出力する。

このような構成によれば、センサ１１２から農作物までの距離ではなく、畝面９１１までの距離Ｄａを計測できる。それゆえ、センサ１１２から畝９１０までの距離を正確に計測可能となる。また、情報処理装置１３０は、距離Ｄａと基準距離Ｄｓとの差分ΔＤｑを出力するため、基準距離Ｄｓとなる位置から刈取部２が上下方向にどれだけズレているかを、外部に通知することができる。

（２）情報処理システム１００は、収穫機１に設置された表示装置１４０をさらに備える。情報処理装置１３０は、信号ＳＧ１を表示装置１４０に出力する。表示装置１４０は、信号ＳＧ１に基づいた表示を行う。このような構成によれば、収穫機１のオペレータは、基準距離Ｄｓとなる位置から刈取部２が上下方向にどれだけズレているかを視認することができる。

（３）表示装置１４０は、レベルメータである。表示装置１４０は、差分ΔＤｑの大きさに応じたレベルを表示する。このような構成によれば、収穫機１のオペレータは収獲部２の上下方向のズレの程度を容易に確認することができる。

（４）表示装置１４０は、収穫機１の運転席の前方に設置されている。このような構成によれば、オペレータは、刈取部２の方向を見つつ、ズレの程度を確認することができる。

（５）表示装置１４０は、レベルの表示が収穫機１に対して上下方向に変化する向きに設置されている。このような構成によれば、レベル表示の変動方向と刈取部２の上下方向とが一致するため、視認性に優れる。

（６）情報処理装置１３０は、ＲＧＢ画像データおよび距離画像データに基づき、畝９１０の畝幅方向の中央位置Ｐｃに対する刈取部２のズレ量ΔＷを算出する。情報処理装置１３０は、ズレ量ΔＷに基づいた信号ＳＧ２を出力する。

このような構成によれば、刈取部２が畝幅方向にどれだけズレているかを、外部に通知することができる。

（７）情報処理装置１３０は、ＲＧＢ画像データに基づき、農地９００の画像から、畝９１０の画像領域と、畝９１０に沿った畝通路９２０の画像領域とを抽出する。情報処理装置１３０は、抽出の結果と距離画像データとに基づき、センサ１１２から畝通路９２０までの距離Ｄｂを決定する。情報処理装置１３０は、抽出の結果と距離Ｄａと距離Ｄｂとに基づき、畝９１０の畝幅方向の中央位置Ｐｃに対する刈取部２のズレ量ΔＷを算出する。情報処理装置１３０は、ズレ量ΔＷに基づいた信号ＳＧ２を出力する。

このような構成によれば、刈取部２が畝幅方向にどれだけズレているかを、外部に通知することができる。

（８）情報処理システム１００は、収穫機１に設置された表示装置１６０をさらに備える。情報処理装置１３０は、信号ＳＧ２を表示装置１６０に出力する。表示装置１６０は、信号ＳＧ２に基づいた表示を行う。このような構成によれば、収穫機１のオペレータは、刈取部２が畝幅方向にどれだけズレているかを視認することができる。

（９）表示装置１６０は、レベルメータである。表示装置１６０は、ズレ量ΔＷの大きさに応じたレベルを表示する。このような構成によれば、収穫機１のオペレータはズレの程度を容易に確認することができる。

（１０）表示装置１６０は、収穫機１の運転席の前方に設置されている。このような構成によれば、オペレータは、刈取部２の方向を見つつ、ズレの程度を確認することができる。

（１１）表示装置１６０は、レベルの表示が収穫機１に対して左右方向に変化する向きに設置されている。このような構成によれば、レベル表示の変動方向と刈取部２の左右方向とが一致するため、視認性に優れる。

［実施の形態２］
実施の形態１では、デプスカメラ１１０を１台備えた構成を説明した。本実施の形態では、デプスカメラを２台利用する構成について説明する。

図１５は、本実施の形態に係る収穫機１Ａを前面から見た図である。
図１５を参照して、収穫機１Ａは、情報処理システム１００Ａを備える。情報処理システム１００Ａは、情報処理装置１３０Ａと、デプスカメラ１１０Ｒ，１００Ｌと、表示装置１４０Ｒ，１４０Ｌと、表示装置１６０とを備える。情報処理装置１３０Ａは、デプスカメラ１１０Ｒ，１００Ｌと、表示装置１４０Ｒ，１４０Ｌと、表示装置１６０とに通信可能に接続されている。

収穫機１Ａは、デプスカメラ１１０Ｒ，１１０Ｌを備える点において、デプスカメラ１１０を備える実施の形態１の収穫機１（図４参照）と異なる。収穫機１Ａは、表示装置１４０Ｒ，１４０Ｌを備える点において、表示装置１４０を備える実施の形態１の収穫機１とは異なる。なお、デプスカメラ１１０Ｒ，１１０Ｌが、デプスカメラ１１０と同様の構成および機能を有する。

デプスカメラ１１０Ｒとデプスカメラ１１０Ｌとは、刈取刃２０３との距離が同一となる位置に設置されている。デプスカメラ１１０Ｒの筐体とデプスカメラ１１０Ｌの筐体とは、刈取刃２０３との距離が同一となる位置に設置されている。

デプスカメラ１１０Ｒは、刈取部２の横方向（Ｙ軸方向）の中央位置から右外側方向に設置されている。デプスカメラ１１０Ｒは、ピックアップコンベア２０１の横方向の中央位置から右外側方向に設置されている。

デプスカメラ１１０Ｌは、刈取部２の横方向（Ｙ軸方向）の中央位置から左外側方向に設置されている。デプスカメラ１１０Ｌは、ピックアップコンベア２０１の横方向の中央位置から左外側方向に設置されている。

デプスカメラ１１０Ｌは、ピックアップコンベア２０１の横方向の中央位置に対して、デプスカメラ１１０Ｒと対称となる位置に設置されている。デプスカメラ１１０Ｒ，１１０Ｌのカメラ１１１とセンサ１１２とは、刈取部２に下向きに設置されている。

デプスカメラ１１０Ｒ，Ｌは、デプスカメラ１１０と同様に、農地９００までの距離（高さ）を測定する。

表示装置１４０Ｒは、デプスカメラ１１０Ｒによって取得された画像データに基づく表示を行なう。表示装置１４０Ｌは、デプスカメラ１１０Ｌによって取得された画像データに基づく表示を行なう。このように、表示装置１４０Ｒとデプスカメラ１１０Ｒとが対になり、表示装置１４０Ｌとデプスカメラ１１０Ｌとが対になっている。

表示装置１４０Ｒ，１４０Ｌは、収穫機１Ａの運転席４の前方に設置されている。表示装置１４０Ｒは、支持フレーム１２の中央（Ｙ軸方向中央）から右外側方向に設置されている。表示装置１４０Ｌは、支持フレーム１２の中央（Ｙ軸方向中央）から左外側方向に設置されている。

表示装置１４０Ｒは、運転席４から見て左前方および右前方のうち、デプスカメラ１１０Ｒと同じ方向に設置されている。表示装置１４０Ｌは、運転席４から見て左前方および右前方のうち、デプスカメラ１１０Ｌと同じ方向に設置されている。

表示装置１４０Ｒ，１４０Ｌは、表示装置１４０と同様に、レベルの表示が収穫機１に対して上下方向に変化する向きに設置されている。表示装置１４０Ｒ，１４０Ｌは、支持フレーム１２に対して鉛直方向に設置されている。

情報処理装置１３０Ａは、デプスカメラ１１０ＲからのＲＧＢ画像データおよび距離画像データと、デプスカメラ１１０ＬからのＲＧＢ画像データおよび距離画像データとを、個別に処理する。

図１６は、２台のデプスカメラ１１０Ｒ，１１０Ｌによる撮像を説明するための図である。

図１６を参照して、情報処理装置１３０Ａは、デプスカメラ１１０Ｒから畝面９１１までの距離Ｄｅを決定する。情報処理装置１３０Ａは、デプスカメラ１１０Ｒから畝通路９２０までの距離Ｄｆを決定する。

情報処理装置１３０Ａは、デプスカメラ１１０Ｌから畝面９１１までの距離Ｄｇを決定する。情報処理装置１３０Ａは、デプスカメラ１１０Ｌから畝通路９２０までの距離Ｄｈを決定する。

情報処理装置１３０Ａは、距離Ｄｅと基準距離Ｄｓとの差分ΔＤｑ＿Ｒを算出する。情報処理装置１３０Ａは、距離Ｄｇと基準距離Ｄｓとの差分ΔＤｑ＿Ｌを算出する。本実施の形態では、実施の形態１とは異なり、２つの差分を算出する。なお、本実施の形態における差分の算出は、実施の形態１の差分の算出方法と同様である。

情報処理装置１３０Ａは、ＲＧＢ画像データと、距離画像データとに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。

図１７は、表示装置１４０Ｒ，１４０Ｌ，１６０を説明するための図である。
図１７を参照して、表示装置１４０Ｒ，Ｌは、表示装置１４０と同様に、複数のＬＥＤ１４１～１４９を有する。

表示装置１４０Ｒ，Ｌは、ＬＥＤ１４１～１４９の少なくとも１つを発光することによって、刈取部２（詳しくは、刈取刃２０３）の基準位置（適正位置）からの高さ方向（Ｚ軸方向）のズレ量を表す。

表示装置１４０Ｒは、ＬＥＤ１４１～１４９のうち、差分ΔＤｑ＿Ｒの大きさに応じたＬＥＤを点灯する。表示装置１４０Ｒは、差分ΔＤｑ＿Ｒが大きくなるにつれ、より上側のＬＥＤを点灯する。表示装置１４０Ｒは、差分ΔＤｑ＿Ｒが小さくなるにつれ、より下側のＬＥＤを点灯する。

表示装置１４０Ｌは、ＬＥＤ１４１～１４９のうち、差分ΔＤｑ＿Ｌの大きさに応じたＬＥＤを点灯する。表示装置１４０Ｌは、差分ΔＤｑ＿Ｌが大きくなるにつれ、より上側のＬＥＤを点灯する。表示装置１４０Ｌは、差分ΔＤｑ＿Ｌが小さくなるにつれ、より下側のＬＥＤを点灯する。

このような表示により、収穫機１のオペレータは、刈取部２を上方に移動させるべきか、下方に移動させるべきかを瞬時に判断できる。さらに、オペレータは、どの程度上下に刈取部２を移動させるべきかについても容易に知ることができる。特に、オペレータは、刈取部２を上下移動させる２つのアクチュエータ１１Ｒ，１１Ｌ（図１５参照）の各々を、どの程度動作させるべきかを容易に知ることができる。

たとえば、表示装置１４０ＲのＬＥＤ１４７が点灯し、かつ表示装置１４０ＬのＬＥＤ１４５が点灯している場合には、オペレータは、アクチュエータ１１Ｒを伸ばして、刈取部２を下げる必要があることを容易に知ることができる。

図１８は、情報処理装置１３０Ａの構成を説明するための図である。
図１８を参照して、情報処理装置１３０Ａは、プロセッサ１３１０Ａと、メモリ１３２０と、通信インターフェイス１３３０と、通信インターフェイス１３４０とを備える。

プロセッサ１３１０Ａは、機能ブロックとして、正規化処理部１３１１と、領域抽出部１３１２と、距離決定部１３１３と、距離決定部１３１４と、差分算出部１３１５と、ズレ量算出部１３１６Ａと、表示制御部１３１７Ａとを有する。

本実施の形態では、正規化処理部１３１１と、領域抽出部１３１２と、距離決定部１３１３と、距離決定部１３１４と、差分算出部１３１５とは、実施の形態１で説明した処理を、２つのデプスカメラ１１０Ｒ，１１０Ｌから送られてくるデータ毎に実行する。なお、正規化処理部１３１１と、領域抽出部１３１２と、距離決定部１３１３と、距離決定部１３１４と、差分算出部１３１５とが、デプスカメラ１１０Ｒ用と、デプスカメラ１１０Ｌとに分かれて設けられていてもよい。

表示制御部１３１７Ａは、３つの表示装置１４０Ｒ，１４０Ｌ，１６０に信号を送信する点において、２つの表示装置１４０，１６０に信号ＳＧ１，ＳＧ２を送信する構成の実施の形態１の表示制御部１３１７とは異なる。

次に、ズレ量算出部１３１６Ａについて説明する。ズレ量算出部１３１６Ａによるズレ量ΔＷの算出方法は、実施の形態１のズレ量算出部１３１６によるズレ量ΔＷの算出方法とは異なる。

図１９は、本実施の形態におけるズレ量ΔＷの算出方法の一例を説明するための図である。

図１９を参照して、右側のデプスカメラ１１０Ｒによって取得されたＲＧＢ画像データに基づく画像９０１ＧＲは、畝９１０の画像９１０ＧＲと、畝通路９２０の画像９２０ＧＲとを含む。畝９１０の画像９１０ＧＲは、畝面９１１の画像９１１ＧＲと、傾斜面９１２の画像９１１ＧＲとを含む。

左側のデプスカメラ１１０Ｌによって取得されたＲＧＢ画像データに基づく画像９０１ＧＬは、畝９１０の画像９１０ＧＬと、畝通路９２０の画像９２０ＧＬとを含む。畝９１０の画像９１０ＧＬは、畝面９１１の画像９１１ＧＬと、傾斜面９１２の画像９１２ＧＬとを含む。

ズレ量算出部１３１６Ａは、距離Ｄｅと距離Ｄｆとの中間の距離Ｄｉ（Ｄｉ＝（Ｄｅ＋Ｄｆ）／２）を求める。ズレ量算出部１３１６Ａは、右の傾斜面９１２において距離Ｄｉとなる位置Ｐｄを特定する。

ズレ量算出部１３１６Ａは、距離Ｄｆと距離Ｄｇとの中間の距離Ｄｊ（Ｄｊ＝（Ｄｆ＋Ｄｇ）／２）を求める。ズレ量算出部１３１６Ａは、左の傾斜面９１２において距離Ｄｊとなる位置Ｐｅを特定する。

ズレ量算出部１３１６Ａは、画像９０１ＧＲにおけるＸ軸方向に沿った中心線Ｌｄと、位置Ｐｄとの距離ＷＲを求める。ズレ量算出部１３１６Ａは、画像９０１ＧＬにおけるＸ軸方向に沿った中心線Ｌｅと、位置Ｐｅとの距離ＷＬを求める。ズレ量算出部１３１６Ａは、ＷＲとＷＬとの和を２で割ることにより、ズレ量ΔＷを算出する。

本例の場合、図１９にように距離ＷＲが距離ＷＬよりも大きいときには、刈取部２が畝９１０に対して左方向に寄っている。このため、表示装置１６０は、ＬＥＤ１６１～１６９のうち、ＬＥＤ１６５よりも左側のＬＥＤを点灯させる。

距離ＷＲが距離ＷＬよりも小さいときには、刈取部２が畝９１０に対して右方向に寄っている。このため、表示装置１６０は、ＬＥＤ１６１～１６９のうち、ＬＥＤ１６５よりも右側のＬＥＤを点灯させる。

このような表示によれば、オペレータは、収穫機１のハンドルを、どちらの回転方向にどの程度回転させればよいかを判断できる。

なお、距離ＷＲ，ＷＬは、畝９１０の畝幅方向に対する刈取部２のズレに起因する指標値の一例である。

図２０は、情報処理システム１００Ａによって実行される処理の前半の流れを表したフロー図である。

図２０を参照して、ステップＳ１Ａ～Ｓ７Ａは、実施の形態１の図１４のステップＳ１～Ｓ７に対応する。ステップＳ１Ａ～Ｓ７ＡがステップＳ１～Ｓ７と異なる点は、デプスカメラの参照符号（１１０Ｒ）と、距離の参照符号（Ｄｅ）と、差分の参照符号（ΔＤｑ＿Ｒ）である。

同様に、ステップＳ１Ｂ～Ｓ７Ｂも、実施の形態１の図１４のステップＳ１～Ｓ７に対応する。ステップＳ１Ｂ～Ｓ７ＢがステップＳ１～Ｓ７と異なる点は、デプスカメラの参照符号（１１０Ｌ）と、距離の参照符号（Ｄｇ）と、差分の参照符号（ΔＤｑ＿Ｌ）である。

したがって、ここでは、ステップＳ１Ａ～Ｓ７ＡおよびステップＳ１Ｂ～Ｓ７Ｂの説明は繰り返さない。

図２１は、情報処理システム１００Ａによって実行される処理の後半の流れを表したフロー図である。

図２１を参照して、ステップＳ８において、図１９に基づき説明したように、情報処理装置１３０Ａは、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。

ステップＳ９Ａにおいて、情報処理装置１３０Ａは、算出された差分ΔＤｑ＿Ｒを表す信号ＳＧ１＿Ｒを表示装置１４０Ｒに送信する。ステップＳ９Ｂにおいて、情報処理装置１３０Ａは、算出された差分ΔＤｑ＿Ｌを表す信号ＳＧ１＿Ｌを表示装置１４０Ｌに送信する。ステップＳ１０において、情報処理装置１３０Ａは、ズレ量ΔＷを表す信号ＳＧ２を表示装置１６０に送信する。

ステップＳ１１Ａにおいて、表示装置１４０Ｒは、差分ΔＤｑ＿Ｒに応じたＬＥＤを点灯させる。ステップＳ１１Ｂにおいて、表示装置１４０Ｌは、差分ΔＤｑ＿Ｌに応じたＬＥＤを点灯させる。ステップＳ１２において、表示装置１６０は、ズレ量ΔＷに応じたＬＥＤを点灯させる。

（小括）
本実施の形態１とは異なる点に着目して、情報処理システム１００Ａを小括すると、以下のとおりである。

（１）情報処理システム１００Ａは、刈取部２に下向きに設置された、デプスカメラ１１０Ｒのカメラ１１１と、デプスカメラ１１０Ｒのセンサ１１２とを備える。情報処理システム１００Ａは、刈取部２に下向きに設置された、デプスカメラ１１０Ｌのカメラ１１１と、デプスカメラ１１０Ｌのセンサ１１２とを備える。

デプスカメラ１１０Ｒのカメラ１１１とセンサ１１２とは、収穫機１Ａの運転席４から見て右前方に設置されている。デプスカメラ１１０Ｌのカメラ１１１とセンサ１１２とは、収穫機１Ａの運転席４から見て左前方に設置されている。

デプスカメラ１１０Ｒのカメラ１１１は、農地９００を撮像し、かつ撮像によって得られたＲＧＢ画像データを情報処理装置１３０Ａに出力する。デプスカメラ１１０Ｒのセンサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す距離画像データを情報処理装置１３０Ａに出力する。

同様に、デプスカメラ１１０Ｌのカメラ１１１は、農地９００を撮像し、かつ撮像によって得られたＲＧＢ画像データを情報処理装置１３０Ａに出力する。デプスカメラ１１０Ｌのセンサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す距離画像データを情報処理装置１３０Ａに出力する。

情報処理装置１３０Ａは、デプスカメラ１１０Ｒによって取得されたＲＧＢ画像データに基づき、農地９００の画像から少なくとも畝９１０の画像領域を抽出する。情報処理装置１３０Ａは、抽出の結果と、距離画像データとに基づき、デプスカメラ１１０Ｒのセンサ１１２から畝９１０までの距離Ｄｅを決定する。情報処理装置１３０Ａは、距離Ｄｅと予め定められた基準距離Ｄｓとの差分ΔＤｑ＿Ｒに基づいた信号ＳＧ１＿Ｒを出力する。

同様に、情報処理装置１３０Ａは、デプスカメラ１１０Ｌによって取得されたＲＧＢ画像データに基づき、農地９００の画像から少なくとも畝９１０の画像領域を抽出する。情報処理装置１３０Ａは、抽出の結果と、距離画像データとに基づき、デプスカメラ１１０Ｌのセンサ１１２から畝９１０までの距離Ｄｇを決定する。情報処理装置１３０Ａは、距離Ｄｇと予め定められた基準距離Ｄｓとの差分ΔＤｑ＿Ｌに基づいた信号ＳＧ１＿Ｌを出力する。

このような構成によれば、センサ１１２から農作物までの距離ではなく、畝面９１１までの距離Ｄｅ，Ｄｇを計測できる。それゆえ、センサ１１２から畝９１０までの距離を、刈取部２の左右の位置において正確に計測可能となる。また、距離Ｄｅ，Ｄｇと基準距離Ｄｓとの差分ΔＤｑを出力するため、情報処理装置１３０Ａは、刈取部２が基準距離Ｄｓとなる位置から、刈取部２の左右の位置において上下方向にどれだけズレているかを、外部に通知することができる。

なお、デプスカメラ１１０Ｒとデプスカメラ１１０Ｌとが、刈取刃２０３との距離が同一とならない位置に設置されている場合には、基準距離Ｄｓをデプスカメラ１１０Ｒとデプスカメラ１１０Ｌとで個別に設定すればよい。たとえば、基準距離Ｄｓとして、第１の基準距離と、第２の基準距離とを用いればよい。

（２）情報処理システム１００Ａは、各々が収穫機１に設置された、表示装置１４０Ｒと表示装置１４０Ｌとをさらに備える。情報処理装置１３０Ａは、信号ＳＧ１＿Ｒを表示装置１４０Ｒに出力する。情報処理装置１３０Ａは、信号ＳＧ１＿Ｌを表示装置１４０Ｌに出力する。表示装置１４０Ｒは、信号ＳＧ１＿Ｒに基づいた表示を行う。表示装置１４０Ｌは、信号ＳＧ１＿Ｌに基づいた表示を行う。

このような構成によれば、収穫機１Ａのオペレータは、刈取部２の左側と右側との各々が基準距離Ｄｓとなる位置から上下方向にどれだけズレているかを視認することができる。

（３）表示装置１４０Ｒは、運転席４から見て左前方および右前方のうち、デプスカメラ１１０Ｒのカメラ１１１およびセンサ１１２と同じ方向（すなわち右前方）に設置されている。表示装置１４０Ｌは、運転席４から見て左前方および右前方のうち、デプスカメラ１１０Ｌのカメラ１１１およびセンサ１１２と同じ方向（すなわち左前方）に設置されている。

このような構成によれば、オペレータは、刈取部２の右側前方部位の上下方向のズレを右側の表示装置１４０Ｒで確認することができる。また、オペレータは、刈取部２の左側前方部位の上下方向のズレを右側の表示装置１４０Ｌで確認することができる。

それゆえ、オペレータは、視線を大きく動かすことなく、表示装置１４０Ｒと刈取部２の右側前方部位とを視認することができる。また、オペレータは、視線を大きく動かすことなく、表示装置１４０Ｌと刈取部２の左側前方部位とを視認することができる。したがって、このような表示装置１４０Ｒ，１４０Ｌの配置によれば、作業効率を向上させることができる。

（４）情報処理装置１３０Ａは、デプスカメラ１１０Ｒによって取得されたＲＧＢ画像データと距離画像データとに基づき、畝９１０の畝幅方向に対する刈取部２のズレに起因する第１の指標値（距離ＷＲ）を算出する。情報処理装置１３０Ａは、デプスカメラ１１０Ｌによって取得されたＲＧＢ画像データと距離画像データとに基づき、畝９１０の畝幅方向に対する刈取部２のズレに起因する第２の指標値（距離ＷＬ）を算出する。

情報処理装置１３０Ａは、第１の指標値と第２の指標値とに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。情報処理装置１３０Ａは、ズレ量ΔＷに基づいた信号ＳＧ２を出力する。

このような構成によれば、刈取部２が畝幅方向にどれだけズレているかを、外部に通知することができる。

（５）情報処理システム１００Ａは、収穫機１に設置された表示装置１６０をさらに備える。情報処理装置１３０Ａは、信号ＳＧ２を表示装置１６０に出力する。表示装置１６０は、信号ＳＧ２に基づいた表示を行う。このような構成によれば、収穫機１Ａのオペレータは、刈取部２が畝幅方向にどれだけズレているかを視認することができる。

［実施の形態３］
実施の形態２では、情報処理装置１３０Ａは、差分ΔＤｑ＿Ｒを表示装置１４０Ｒにおいてレベルで表示し、かつ差分ΔＤｑ＿Ｌを表示装置１４０Ｌにおいてレベルで表示した。また、情報処理装置１３０Ａは、ズレ量ΔＷを表示装置１６０においてレベルで表示した。

本実施の形態に係る収穫機１Ｂは、自動運転が可能な車両である。収穫機１Ｂは、差分ΔＤｑ＿Ｒ，差分ΔＤｑ＿Ｌを用いて、アクチュエータ１１Ｒ，１１Ｌを自動制御する構成について説明する。また、収穫機１Ｂは、ズレ量ΔＷを用いて、収穫機１Ｂの操舵装置を自動制御する。このため、収穫機１Ｂでは、表示装置１４０Ｒ，１４０Ｌ，１６０は必須ではない。

図２２は、本実施の形態に係る収穫機１Ｂの構成を説明するための図である。
図２２を参照して、収穫機１Ｂは、デプスカメラ１１０Ｒ，１１０Ｌと、操舵装置１８と、アクチュエータ１１Ｒ，１１Ｌと、コントロールバルブ１９Ｒ，１９Ｌと、コントローラ２０とを備える。

コントローラ２０は、収穫機１Ｂの全体的な動作を制御する。コントローラ２０は、本例では、情報処理装置１３０Ａの機能を実行する。

デプスカメラ１１０Ｒ，１１０Ｌによって取得された画像データ（ＲＧＢ画像データおよび距離画像データ）は、コントローラ２０に送られる。コントローラ２０は、差分ΔＤｑ＿Ｒ，ΔＤｑ＿Ｌと、ズレ量Δｗとを算出する。

コントロールバルブ１９Ｒに供給するパイロット油の流量を制御する。コントローラ２０は、差分ΔＤｑ＿Ｌに基づき、コントロールバルブ１９Ｌに供給するパイロット油の流量を制御する。

コントロールバルブ１９Ｒは、パイロット油の流量に応じて、アクチュエータ１１Ｒに供給する作動油の流量を制御する。コントロールバルブ１９Ｌは、パイロット油の流量に応じて、アクチュエータ１１Ｌに供給する作動油の流量を制御する。

操舵装置１８は、本例では、前輪９Ｌの向きを変更する装置である。コントローラ２０は、ズレ量ΔＷに基づき、操舵装置１８の操舵角を制御する。なお、運転席４のハンドル４０１は、操舵角に応じて自動で回転する。

このような構成によれば、刈取部２の位置をオペレータが操作することなく、刈取部２（詳しくは、刈取刃２０３）を、農作物９９０の収穫作業に適した位置に制御することが可能となる。

（小括）
以下では、デプスカメラ１１０Ｒ，１１０Ｌの一方に着目して、本実施の形態を小括する。

（１）収穫機１は、本体部３と、刈取刃２０３を有し、かつ本体部３に対して上下方向に移動可能な刈取部２と、コントローラ２０と、刈取部２に下向きに設置されたカメラ１１１およびセンサ１１２とを備える。

カメラ１１１は、刈取刃２０３の前方に位置し、かつ農作物９９０が畝に生育した農地９００を撮像する。カメラ１１１は、撮像によって得られたＲＧＢ画像データをコントローラ２０に出力する。センサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す距離画像データをコントローラ２０に出力する。

コントローラ２０は、ＲＧＢ画像データに基づき、農地９００の画像から少なくとも畝９１０の画像領域を抽出する。コントローラ２０は、抽出の結果と、距離画像データとに基づき、センサ１１２から畝９１０までの距離を決定する。コントローラ２０は、決定された距離と予め定められた基準距離Ｄｓとの差分に基づいて、刈取部２の上下方向の位置を制御する。

（２）収穫機１Ｂは、操舵装置１８をさらに備える。コントローラ２０は、ＲＧＢ画像データに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量を算出する。コントローラ２０は、ズレ量に基づいて、操舵装置１８の操舵角度を制御する。

（変形例）
（１）情報処理装置１３０Ａが、コントローラ２０とは別に設けられていてもよい。

この場合、情報処理装置１３０Ａは、コントローラ２０に差分ΔＤｑ＿Ｒ，ΔＤｑ＿Ｌをコントローラ２０に通知すればよい。また、情報処理装置１３０Ａは、コントローラ２０にズレ量ΔＷを通知すればよい。

（２）実施の形態１で示したようにデプスカメラを１台だけ使用する場合であっても、本実施の形態の上記自動制御を適用できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，１Ａ，１Ｂ 収穫機、２ 刈取部、３ 本体部、４ 運転席、５ 分別装置、６ 側部コンベア、７ エレベータ、８Ｌ，８Ｒ 補助輪、９Ｌ，９Ｒ 前輪、１０Ｌ，１０Ｒ 後輪、１１Ｌ，１１Ｒ アクチュエータ、１２，１３ 支持フレーム、１８ 操舵装置、１９Ｌ，１９Ｒ コントロールバルブ、２０ コントローラ、１００，１００Ａ 情報処理システム、１００Ｌ，１１０，１１０Ｌ，１１０Ｒ，Ｌ デプスカメラ、１１１ カメラ、１１２ センサ、１３０，１３０Ａ 情報処理装置、１４０，１４０Ｌ，１４０Ｒ，１６０，Ｌ 表示装置、２０１ ピックアップコンベア、２０２ アーム部、２０３ 刈取刃、４０１ ハンドル、４０２ 座席、４０３ 操作盤、４１１ 操作部、８１０Ｌ，８１０Ｒ，８２０Ｌ，８２０Ｒ，Ｆ 矢印、９００ 農地、９１０ 畝、９１１ 畝面、９１２ 傾斜面、９２０ 畝通路、９５０ マルチシート、９９０ 農作物、９９１ 茎、９９２ 実、１１２１ 赤外線プロジェクタ、１１２２ 赤外線ステレオカメラ、１１２２Ｒ，１１２３Ｌ 赤外線カメラ、１３１０，１３１０Ａ プロセッサ、１３１１ 正規化処理部、１３１２ 領域抽出部、１３１３，１３１４ 距離決定部、１３１５ 差分算出部、１３１６，１３１６Ａ ズレ量算出部、１３１７，１３１７Ａ 表示制御部、１３２０ メモリ、１３３０，１３４０ 通信インターフェイス、Ｄａ，Ｄｂ，Ｄｅ，Ｄｆ，Ｄｇ，Ｄｈ，Ｄｕ，Ｗ１，Ｗ２，ＷＬ，ＷＲ 距離、Ｄｓ 基準距離、Ｌｃ，Ｌｄ，Ｌｅ 中心線、Ｐａ，Ｐｂ，Ｐｄ，Ｐｅ 位置、Ｐｃ 中央位置。

Claims (10)

1. 刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助するシステムであって、
   情報処理装置と、
   前記刈取部に下向きに設置されたカメラと、
   前記刈取部に下向きに設置されたセンサとを備え、
   前記カメラは、
   前記刃の前方に位置し、かつ農作物が畝に生育した農地を撮像し、
   前記撮像によって得られた第１の画像データを前記情報処理装置に出力し、
   前記センサは、前記農地をセンシングし、かつ前記センシングによって得られた、前記センサから前記農地までの距離を表す第２の画像データを前記情報処理装置に出力し、
   前記情報処理装置は、
   前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出し、
   前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定し、
   決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力する、システム。
2. 前記収穫機に設置された表示装置をさらに備え、
   前記情報処理装置は、前記信号を前記表示装置に出力し、
   前記表示装置は、前記信号に基づいた表示を行う、請求項１に記載のシステム。
3. 前記表示装置は、レベルメータであって、
   前記レベルメータは、前記差分の大きさに応じたレベルを表示する、請求項２に記載のシステム。
4. 刃を有する刈取部が本体部に対して傾斜可能な収穫機を用いた収穫作業を補助するシステムであって、
   情報処理装置と、
   前記刈取部に下向きに設置されたカメラと、
   前記刈取部に下向きに設置されたセンサとを備え、
   前記カメラは、
   前記刃の前方に位置し、かつ農作物が畝に生育した農地を撮像し、
   前記撮像によって得られた第１の画像データを前記情報処理装置に出力し、
   前記センサは、前記農地をセンシングし、かつ前記センシングによって得られた、前記センサから前記農地までの距離を表す第２の画像データを前記情報処理装置に出力し、
   前記情報処理装置は、
   前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出し、
   前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定し、
   決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力する、システム。
5. 前記収穫機は、自動運転が可能な車両であって、
   前記情報処理装置は、前記差分を、前記収穫機の自動運転を制御するユニットに通知する、請求項１または４に記載のシステム。
6. 請求項１～５のいずれか１項に記載のシステムを備える、収穫機。
7. 自動運転が可能な車両である収穫機であって、
   本体部と、
   刃を有し、かつ前記本体部に対して上下方向に移動可能な刈取部と、
   コントローラと、
   前記刈取部に下向きに設置されたカメラと、
   前記刈取部に下向きに設置されたセンサとを備え、
   前記カメラは、
   前記刃の前方に位置し、かつ農作物が畝に生育した農地を撮像し、
   前記撮像によって得られた第１の画像データを前記コントローラに出力し、
   前記センサは、前記農地をセンシングし、かつ前記センシングによって得られた、前記センサから前記農地までの距離を表す第２の画像データを前記コントローラに出力し、
   前記コントローラは、
   前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出し、
   前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定し、
   決定された前記距離と予め定められた基準距離との差分に基づいて、前記刈取部の前記上下方向の位置を制御する、収穫機。
8. 操舵装置をさらに備え、
   前記コントローラは、
   前記第１の画像データに基づき、前記畝の畝幅方向の中央位置に対する前記刈取部のズレ量を算出し、
   前記ズレ量に基づいて、前記操舵装置の操舵角度を制御する、請求項７に記載の収穫機。
9. 刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する情報処理装置の制御方法であって、
   前記刈取部に下向きに設置されたカメラから、前記刃の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第１の画像データを取得するステップと、
   前記刈取部に下向きに設置されたセンサから、前記農地をセンシングすることによって得られた、前記センサから前記農地までの距離を表す第２の画像データを取得するステップと、
   前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出するステップと、
   前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定するステップと、
   決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを備える、情報処理装置の制御方法。
10. 刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する情報処理装置を制御するプログラムであって、
    前記刈取部に下向きに設置されたカメラから、前記刈取部の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第１の画像データを取得するステップと、
    前記刈取部に下向きに設置されたセンサから、前記農地をセンシングすることによって得られた、前記センサから前記農地までの距離を表す第２の画像データを取得するステップと、
    前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出するステップと、
    前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定するステップと、
    決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを、前記情報処理装置のプロセッサに実行させる、プログラム。

Images