JP7093833B2 - 移動支援システム及び移動支援方法 - Google Patents

Description

本発明は、内視鏡挿入部等の挿入を容易にする移動支援システム及び移動支援方法に関する。

従来より、体腔内等へ細長の内視鏡を挿入して被検部位の観察や各種処置を行うようにした内視鏡が広く用いられている。また、工業分野においても、ボイラ，タービン，エンジン，化学プラントなどの内部の傷や腐蝕などを観察したり検査したりすることのできる工業用内視鏡が広く利用されている。

内視鏡の撮像素子によって得られる内視鏡画像は、信号処理を行うプロセッサに伝送される。プロセッサは、内視鏡からの画像を信号処理し、表示用としてモニタに供給したり、記録用として記録装置に供給したりする。

検査部位を検査、診断するために、内視鏡の挿入部は管腔内等に挿入される。検査、診断に際しては、管腔内等への挿入部の挿入は円滑に行われることが望まれる。そこで、国際公開第２００８－１５５８２８号公報においては、挿入方向の目標として暗部の位置を検出すると共に、暗部を見失った場合には過去の暗部の位置検出履歴に基づいて、操作方向を示す技術が開示されている。

しかしながら、国際公開第２００８－１５５８２８号公報においては、暗部の位置検出のために位置検出装置や捻り検出装置が必要であり、装置規模が大きいという問題があった。

本発明は、撮像画像に基づいて挿入部等の目標の向きを推定可能とすることにより、装置規模を低減することができる移動支援システム及び移動支援方法を提供することを目的とする。

本発明の一態様の移動支援システムは、移動体に固定された撮像部が取得した撮像画像が与えられ、前記撮像画像中に含まれる撮像目標の画像を検出するとともに、検出した前記撮像目標の画像の前記撮像画像中の位置を検出する目標画像検出部と、前記目標画像検出部が検出した前記撮像目標の画像の前記撮像画像中の位置を記憶する位置記憶部と、前記撮像画像が与えられ、前記撮像画像の変化を検出することで、前記撮像画像を基準とした前記撮像目標の位置の変化を推定する目標位置変化推定部と、前記目標画像検出部により前記撮像画像上から前記撮像目標の画像が検出されない消失状態になったことが示された場合には、前記位置記憶部に記憶された前記位置の情報と前記目標位置変化推定部によって得られた前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定して位置推定結果を出力する目標位置推定部と、前記位置推定結果を表示装置に表示させる表示制御部と、を具備し、前記表示制御部は、前記目標画像検出部により前記撮像目標の画像が検出されない場合において、前記消失状態になる直前に前記位置記憶部に記憶された前記位置が前記撮像画像中の所定の領域である目標消失位置判定領域の内側を示している場合には、前記位置推定結果を出力せず、前記消失状態になった後に、前記位置推定結果が前記位置推定結果を出力するか否かを判定するための領域である出力判定領域の内側を示している場合には、前記位置推定結果を前記表示装置に出力させず、前記出力判定領域は前記撮像画像の範囲よりも内側の領域であり、前記目標消失位置判定領域は前記出力判定領域よりも内側の領域である。

本発明の一態様の移動支援方法は、移動体に固定された撮像部が取得した撮像画像が与えられ、前記撮像画像中に含まれる撮像目標の画像を検出するとともに、検出した前記撮像目標の画像の前記撮像画像中の位置を検出し、検出された前記撮像目標の画像の前記撮像画像中の位置を位置記憶部に記憶させ、前記撮像画像の変化を検出することで、前記撮像画像を基準とした前記撮像目標の位置の変化を推定し、前記撮像画像上から前記撮像目標の画像が検出されない消失状態になったことが示された場合には、前記位置記憶部に記憶された前記位置の情報と前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定して位置推定結果を出力し、前記位置推定結果を表示装置に表示させるように制御するとともに、前記撮像目標の画像が検出されない場合において、前記消失状態になる直前に前記位置記憶部に記憶された前記位置が前記撮像画像中の所定の領域である目標消失位置判定領域の内側を示している場合には、前記位置推定結果を出力させないように制御し、前記消失状態になった後に、前記位置推定結果が前記位置推定結果を出力するか否かを判定するための領域である出力判定領域の内側を示している場合には、前記位置推定結果を前記表示装置に出力させないように制御し、前記出力判定領域は前記撮像画像の範囲よりも内側の領域であり、前記目標消失位置判定領域は前記出力判定領域よりも内側の領域である。

本発明の第１の実施の形態に係る移動支援システムを示すブロック図。 オプティカルフローによる目標位置の推定方法を説明するための説明図。 オプティカルフローによる目標位置の推定方法を説明するための説明図。 オプティカルフローによる目標位置の推定方法を説明するための説明図。 追跡点の動きが不規則となる例を示す説明図。 機械学習やディープラーニングによる目標位置の推定方法を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 変形例を示すフローチャート。 本発明の第２の実施の形態を示すブロック図。 撮像画像中に設定する領域を説明するための説明図。 撮像目標が検査対象である場合において、撮像目標画像が消失した場合における表示例を示す説明図。 撮像目標が検査対象である場合において、撮像目標画像が消失した場合における表示例を示す説明図。 本発明の第３の実施の形態に係る移動支援システムを示すブロック図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る移動支援システムを示すブロック図である。第１の実施の形態は内視鏡の挿入部を被検体に挿入する場合の挿入支援に適用したものである。

本実施の形態は撮像部を備え移動する移動体の移動のための操作や制御に際して、移動体を移動させるべき方向を提示又は制御可能とすることで、移動体の移動を効果的に支援するものである。例えば、医療用、工業用の内視鏡の挿入部だけでなく、カプセル内視鏡、撮像部を備えたカテーテル等も移動体として採用可能である。更に、移動体としては、自律式で移動可能な公知の各種機器を採用してもよい。例えば、室内を移動可能なロボット掃除機や、地上を移動する自動走行車両や、ドローン等の無人航空機を採用してもよく、水上を移動する自律式の船舶等を採用してもよい。

図１において、移動支援システム１は、内視鏡２、移動支援システム本体１０及び表示装置２１によって構成されている。内視鏡２は、細長の挿入部３を有し、挿入部３の基端部には操作者に操作される操作部４が連設されている。挿入部３の先端には、先端硬性部５が設けられ、その後端には、複数の湾曲駒にて構成した湾曲部６が設けられている。操作部４に配設された図示しない湾曲操作ノブを操作することによって、湾曲部６を湾曲させることができるようになっている。

挿入部３の先端硬性部５にはＣＣＤやＣＭＯＳセンサ等によって構成される撮像素子を有する撮像部７が配設される。挿入部３には、照明光を導光する図示しないライトガイドが配設されており、図示しない光源からの照明光がライトガイドにより導光されて挿入部３の先端硬性部５から被写体に照射されるようになっている。

被写体からの戻り光は、挿入部３の先端硬性部５から入射して撮像部７の撮像面に結像するようになっている。撮像部７は光電変換によって被写体光学像に基づく撮像信号を得る。撮像部７は撮像信号を挿入部３及び操作部４内の信号線８を介して移動支援システム本体１０に伝送するようになっている。

例えば、内視鏡２の観察対象が人体の腸管等である場合には、検査時等において、先端硬性部５が移動すべき方向（以下、移動目標方向という）は腸管等の管状臓器により形成される管腔方向である。撮像部７の撮像方向は、例えば、先端硬性部５の軸方向と同一方向となるように設定されている。従って、撮像部７によって得られる撮像画像中に移動目標方向に存在する対象（以下、撮像目標という）の画像（以下、撮像目標画像という）、即ち、管腔の画像が含まれていれば、先端硬性部５は移動目標方向に向かっていると考えてよい。

つまり、挿入部３の挿入時には、術者が撮像画像中に管腔の画像部分が含まれるように挿入操作を行えば、挿入部３は確実に管腔の深部方向に進行していることになる。しかし、撮像画像から管腔の画像が一旦消失してしまった場合には、挿入部３は軸を中心に回転することもあり、撮像画像から管腔方向を認識することは容易ではない。そこで、本実施の形態においては、撮像画像を移動支援システム本体１０に与えることで、移動支援システム本体１０において移動目標方向を提示することを可能にする。

移動支援システム本体１０には、制御部１１が設けられている。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部１１は移動支援システム本体１０の各部を制御する。

移動支援システム本体１０の画像処理部１２は、信号線８を介して伝送された撮像信号に対して所定の信号処理を施して撮像信号に基づく撮像画像を得る。画像処理部１２は、撮像部７によって得られた撮像画像を目標画像検出部１３及び目標位置変化推定部１４に出力するようになっている。

目標画像検出部１３は、撮像画像中の撮像目標画像を検出する。例えば、目標画像検出部１３は、撮像目標画像に対するディープラーニング、例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ－ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いて、撮像画像中の撮像目標画像を検出してもよい。

また、目標画像検出部１３は、撮像目標が管腔である場合には、撮像画像中の暗部によって撮像目標画像を検出してもよい。例えば、目標画像検出部１３は、輝度値が所定値以下の連続した所定サイズの領域が存在する場合には、当該領域を管腔の画像と判定してもよい。また、目標画像検出部１３は、撮像目標画像の形状が既知の形状である場合等においては、当該撮像目標画像の特徴量によって当該撮像目標画像を検出して追尾するようになっていてもよい。

本実施の形態においては、目標画像検出部１３は、撮像画像中における撮像目標画像を検出すると共に、検出した撮像目標画像の撮像画像上における位置を求める。目標画像検出部１３は、撮像目標が撮像範囲から逸脱して撮像範囲外に位置するようになった場合、即ち、検出した撮像目標画像が撮像画像中に存在しなくなった（消失した）場合には、最後に撮像画像中に存在していた撮像目標画像の画像上の位置、即ち、消失開始時の位置の情報を端部位置記憶部１５に出力するようになっている。また、目標画像検出部１３は、撮像目標画像の消失開始時において、消失開始情報を目標位置変化推定部１４に出力するようになっている。端部位置記憶部１５は、所定の記憶媒体により構成されており、目標画像検出部１３からの情報を記憶する。

なお、目標画像検出部１３は、撮像画像中に撮像目標画像を検出した場合には、検出毎に画像上の位置の情報を端部位置記憶部１５に出力するようになっていてもよい。この場合にも、端部位置記憶部１５には、撮像目標画像の消失直前に最後に検出された画像上の位置の情報が保存されることになる。

目標位置変化推定部１４は、画像処理部１２から撮像画像が与えられて、撮像画像の変化に基づいて、撮像目標画像の消失開始時点からの撮像目標の先端硬性部５に対する相対的な位置（以下、目標位置という）の変化を検出するようになっている。なお、撮像部７は、先端硬性部５に固定されているので、先端硬性部５に対する撮像目標の相対的な位置は、撮像部７の撮像範囲を基準とした、即ち、撮像画像を基準とした撮像目標の目標位置と言ってもよい。

術者が挿入部３を例えば被検体の腸管等の管腔内に挿入したり抜去したり、挿入部３の軸周りに捻ったり、湾曲部６を湾曲させたりする操作によって、先端硬性部５は軸方向に直交する方向、軸方向に進退する方向及び軸を中心に回転する方向に移動する。撮像部７は先端硬性部５に対して固定配置されており、撮像部７の撮像方向（撮像範囲）は先端硬性部５の移動に伴って変化する。従って、撮像範囲の変化、即ち、撮像画像の変化を観測することで、先端硬性部５の移動量及び移動方向、即ち目標位置の変化を求めることができる。

また、内視鏡２の観察対象が人体の腸管等である場合には、観察部位である臓器の形状が変化することがある。この場合には、先端硬性部５が停止していても、観察部位の変位によって、先端硬性部５の位置における管腔の位置と先端硬性部５の位置とは相対的に変化することがある。

先端硬性部５が移動する場合及び観察部位が変位する場合のいずれの場合でも、先端硬性部５の位置と管腔等の撮像目標の位置の相対的な変化は、撮像画像の変化によって検出することが可能である。目標位置変化推定部１４には画像変化検出部１４ａが設けられており、画像変化検出部１４ａは、逐次入力される撮像画像の画像の変化を検出するようになっている。目標位置変化推定部１４は、画像変化検出部１４ａによって検出された撮像画像の変化によって、先端硬性部５を基準とした撮像目標の相対的な位置、即ち、目標位置の変化を推定する。目標位置変化推定部１４は、撮像画像の変化によって目標位置の変化を求める手法として、例えば、公知の画像処理によるオプティカルフロー推定やディープラーニングを採用することができる。

図２から図４はオプティカルフロー推定による目標位置の変化の推定方法を説明するための説明図である。図２から図４は丸印によって撮像画像中に含まれる対象物（以下、追跡点ともいう）の画像部分を示し、丸印間の矢印は対象物が移動することを示している。即ち、矢印の長さは移動量に対応し矢印の向きは移動方向に対応する。なお、対象物の画像は、１画素であってもよく複数の画素からなる所定の領域であってもよい。なお、図２から図４では、同一模様の丸印は同一の対象物を示している。

図２から図４は、オプティカルフロー推定によって、時間ｔｎ－２，ｔｎ－１，ｔｎにおける対象物の移動を求めた例を示している。図２は所定の対象物が撮像画像中において直線的に移動する例を示しており、図３は所定の対象物が撮像画像中において所定の位置を中心に回転しながら移動する例を示している。また、図４は複数の対象物が撮像画像中の所定の点から放射状に伸びた直線上を移動する例を示している。

図２の所定の対象物は、撮像画像中において直線的に移動しており、図２は、例えば、術者が湾曲部６を一方向に湾曲させた場合に得られる対象物の位置の変化を示している。図３の所定の対象物は、撮像画像中において円弧状に移動しており、図３は、例えば、術者が挿入部３を一方向に捻って回転させた場合に得られる対象物の位置の変化を示している。図４の各対象物は、撮像画像中の一点から放射状に直線的に移動しており、図４は、例えば、術者が先端硬性部５を管腔内に挿入した場合に得られる対象物の位置の変化を示している。

目標位置変化推定部１４は、図２に示す目標位置の変化を検出するためには、画像中に１つ以上の追跡点を設定してオプティカルフローを求めればよい。また、目標位置変化推定部１４は、図３に示す目標位置の変化を検出するためには、画像中に２つ以上の追跡点を設定してオプティカルフローを求めればよい。また、目標位置変化推定部１４は、図４に示す目標位置の変化を検出するためには、画像中に３つ以上の追跡点を設定してオプティカルフローを求めればよい。なお、追跡点としては、例えば、撮像画像中のエッジ部分等の特徴ある部分を採用してもよいし、画像中の全ての画素を追跡点として動きを求めてもよい。

目標位置変化推定部１４は、オプティカルフロー推定によって、求めた消失開始時からの追跡点の位置の変化に基づいて、目標位置の変化を推定し、推定結果を目標位置推定部１６に出力する。例えば、図２に示すように、追跡点が画面上において時間ｔｎ－１から時間ｔｎの間に（ｖｘｎ，ｖｙｎ）に対応した移動量だけ移動したものとすると、目標位置変化推定部１４は、時間ｔｎ－１から時間ｔｎの間に、目標位置は図２の追跡点の移動方向とは同じ方向に（ｖｘｎ，ｖｙｎ）だけ位置が移動したものと推定する。

また、例えば、図３に示すように、追跡点が画面上において時間ｔｎ－１から時間ｔｎの間に回転量θだけ移動したものとすると、目標位置変化推定部１４は、時間ｔｎ－１から時間ｔｎの間に、目標位置は図３の追跡点の移動方向とは同じ方向にθだけ位置が回転したものと推定する。同様に、例えば、図４に示すように、追跡点が画面上において時間ｔｎ－１から時間ｔｎの間に（ｖｘｎ，ｖｙｎ）だけ移動したものとすると、目標位置変化推定部１４は、時間ｔｎ－１から時間ｔｎの間に、目標位置は図４の挿入方向に（ｖｘｎ，ｖｙｎ）に対応した移動量だけ位置が移動したものと推定する。なお、追跡点の移動量と、目標位置の移動量とは、概ね比例すると考えられるが、例え比例していなくても、撮像目標のおおまかな位置又は方向がわかれば、目標位置に先端硬性部５を移動させられるので、本実施の形態の目的は達成可能である。

なお、観察対象が人体の腸管等である場合には、観察部位である臓器の形状の変化によって、撮像画像中の複数の追跡点が上記図２から図４の移動とは異なる不規則な動きになることがある。また、目標位置変化推定部１４におけるオプティカルフローの誤検出によっても、複数の追跡点の動きが不規則となる場合がある。

図５は追跡点の動きが不規則となる例を示す説明図である。図５は図２から図４と同一の手法によって記載したものであり、図５では同一模様の丸印は同一の対象物（追跡点）を示している。このように複数の追跡点が不規則な動きをする場合には、目標位置変化推定部１４は、以下の手法を採用してもよい。例えば、目標位置変化推定部１４は、同一の動きと判定された追跡点の数が最も多い追跡点についての動きを目標位置の変化の推定に用いる。また、例えば、目標位置変化推定部１４は、各追跡点の移動の平均を目標位置の変化の推定に用いる。また、例えば、目標位置変化推定部１４は、各追跡点の移動の平均を目標位置の変化の推定に用いる場合において、同一の動きと判定された動きの数に応じた重みを付けた加重平均により、目標位置の変化の推定を行う。

図６は機械学習やディープラーニングによる目標位置の変化の推定方法を説明するための説明図である。目標位置変化推定部１４は、機械学習、深層学習等を実現する人工知能（artificial intelligence）１４ｂを構成するものであってもよい。ＡＩ１４ｂは、撮像目標に対する先端硬性部５の相対的な位置変化の前後の撮像画像が教師データとして与えられ、撮像画像の変化に対応した目標位置の変化を推定するためのモデルを生成する。ＡＩ１４ｂは、生成したモデルを用いて、フレームｎの撮像画像Ｐｎがフレームｎ＋１において撮像画像Ｐｎ＋１に変化した場合における目標位置の変化（移動ベクトル（ａ，ｂ））を推定する。目標位置変化推定部１４は、ＡＩ１４ｂにおいて推定された目標位置の変化の情報を目標位置推定部１６に出力する。

目標位置推定部１６は、端部位置記憶部１５から撮像目標画像の消失開始時の位置情報を読み込む。目標位置推定部１６は、撮像目標画像の消失開始時の位置と目標位置変化推定部１４によって推定された目標位置の変化とに基づいて、撮像画像を基準とした撮像目標の現在の位置（目標位置）を推定する。ここで、目標位置の変化は、撮像目標画像の消失開始時を基準とした変化量である。撮像目標画像の消失開始時を時刻ｔ_０とした場合に、ｔ_ｎまでの変化量をΔｘ、Δｙとすると、変化量Δｘ、Δｙは下記（１）式により求まる。目標位置推定部１６は目標位置の推定結果を積算値記憶部１７に与えて記憶させると共に読出して、目標位置変化推定部１４からの目標位置の変化の情報を用いて、目標位置の推定結果を順次更新する。ここで、撮像目標の推定位置をｘ、ｙ、撮像目標画像の消失開始時の位置をｘ_０、ｙ_０とすると、推定位置ｘ、ｙは下記（２）式により求まる。積算値記憶部１７は、所定の記録媒体により構成されており、目標位置推定部１６からの情報を記憶する。

目標位置推定部１６は、目標位置の推定結果を表示制御部１８にも出力する。表示制御部１８には、画像処理部１２から内視鏡２の撮像画像も与えられている。表示制御部１８は、撮像画像と、撮像画像を基準とした移動目標方向を示す表示とを表示させるための表示データを生成して表示装置２１に出力する。なお、表示制御部１８は、移動目標方向を示す表示と同時に又は移動目標方向を示す表示に代えて、撮像画像を基準とした撮像目標の現在の目標位置を示す表示を表示させるようにしてもよい。

次に、このように構成された実施の形態の動作について図７から図１２を参照して説明する。図７は第１の実施の形態の動作を説明するためのフローチャートである。図８から図１２は第１の実施の形態の動作を説明するための説明図である。

いま、本実施の形態における移動支援システムを、内視鏡２の挿入部３を人体の腸管内に挿入する場合の挿入支援に用いる場合の例について説明する。

術者は、検査用のベッドに横たわる被検体の肛門から大腸内に挿入部３を挿入するものとする。挿入部３の先端硬性部５に設けられた撮像部７によって、挿入時の腸管内の様子が撮像される。撮像部７からの撮像信号は信号線８を介して移動支援システム本体１０の画像処理部１２に供給される。画像処理部１２は、撮像信号に対して所定の信号処理を施して撮像画像を得る。この撮像画像は表示制御部１８に供給され、表示装置２１に表示可能な形式に変換された後表示装置２１に供給される。こうして、 表示装置２１の表示画面２１ａ上に、挿入時の内視鏡画像（観察画像）が表示される。

図８はこの場合に表示装置２１の表示画面２１ａに表示される撮像画像（内視鏡画像）の例を示している。図８の撮像画像２５は、画像２５の中央に比較的輝度が低い管腔の画像部分が撮像されて表示されていることを示している。先端硬性部５の軸方向は、略管腔の深部方向に向いている。また、図８の撮像画像２６は、画像２６の上方に比較的輝度が低い管腔の画像部分が撮像されて表示されていることを示している。また、図８の撮像画像２７は、画像２７の中央に比較的輝度が低い管腔の画像部分が撮像されて表示されていることを示している。画像２７では、管腔が表示画面２１ａ上に表示された撮像画像を基準にして、先端硬性部５の軸方向から左側に向かって管腔の深部方向が存在することを示している。

画像２６，２７等に示す状態では、挿入部３を先端硬性部５の現在の軸方向に単純に挿入すると、撮像範囲から管腔部分が脱して、管腔の画像部分が表示されなくなる消失状態となることがことが考えられる。本実施の形態ではこのような消失状態時に先端硬性部５を移動させるべき方向を支援する管腔ガイド機能を実現する。

図９は先端硬性部５の移動に伴うこのような撮像画像中の管腔の画像部分、即ち、撮像目標画像の画像上の位置の変化を示している。図９では管腔の画像部分を丸印によって単純化して示している。図９では、矢印によって示す時間の経過と共に順次撮影されて得られる撮像画像Ｐ１，Ｐ２，…Ｐ６中の管腔の画像部分（撮像目標画像）の位置が変化することを示している。

即ち、図９の例では、撮像画像Ｐ１（管腔有り）の中央の下側に表示されていた撮像目標画像は、撮像画像Ｐ２（管腔有り、見失う直前）では画像の下端に移動し、撮像画像Ｐ３（管腔無し）では画像範囲から逸脱して消失している。更に、先端硬性部５の移動や腸管の変位に伴って、撮像目標画像は、撮像画像Ｐ４（管腔無し）の撮像時点では撮像画像Ｐ４を基準に画像の左下方に移動し、撮像画像Ｐ５（管腔無し）の撮像時点では撮像画像Ｐ５を基準に画像の左方に移動する。そして、撮像画像Ｐ６（管腔有り）の撮像時点において撮像画像Ｐ６の左端に表示される。

このような撮像目標画像の消失は、目標画像検出部１３によって検出される。目標画像検出部１３には画像処理部１２から撮像画像が与えられており、ステップＳ１において、撮像目標画像である管腔が検出される。次のステップＳ２において、目標画像検出部１３は、撮像画像中に撮像目標画像が存在するか否かを判定する。目標画像検出部１３は、撮像目標画像を検出するまで、ステップＳ１，Ｓ２を繰り返す。目標画像検出部１３は、撮像目標画像を検出すると、処理をステップＳ３に移行して、検出した撮像目標画像の画像上の位置（管腔座標）を端部位置記憶部１５に記憶させる。例えば、図９の画像Ｐ１上の管腔の位置が端部位置記憶部１５に記憶される。

目標画像検出部１３は、ステップＳ４において、撮像目標画像の検出を続け、ステップＳ５において撮像目標画像が画像中に存在しているか否かを判定する。目標画像検出部１３は、撮像目標画像を検出すると、処理をステップＳ６に移行して、検出した撮像目標画像の画像上の位置（管腔座標）を端部位置記憶部１５に記憶させる。例えば、図９の画像Ｐ２上の管腔の位置が端部位置記憶部１５に記憶される。

制御部１１は、次のステップＳ７において、管腔ガイド機能の停止が指示されているか否かを判定する。制御部１１は、管腔ガイド機能の停止が指示されていない場合には処理をステップＳ４に戻して、目標画像検出部１３に管腔の検出を継続させ、停止が指示されている場合には、処理を終了する。

図９の画像Ｐ２の次に画像Ｐ３が目標画像検出部１３に入力されるものとする。目標画像検出部１３は、ステップＳ５からステップＳ８に処理を移行して、撮像目標画像が消失したことを示す消失開始情報を目標位置変化推定部１４に出力する。なお、端部位置記憶部１５には画像Ｐ２の下端の中央の位置座標が記憶されている。目標位置変化推定部１４には画像処理部１２からの撮像画像が与えられており、目標位置変化推定部１４は、ステップＳ８において、逐次入力される撮像画像の画像の変化に基づいて、撮像目標画像の先端硬性部５に対する位置の変化を検出して、相対的な目標位置の変化の情報を目標位置推定部１６に出力する。

目標位置推定部１６は、端部位置記憶部１５から消失開始時の撮像目標画像の位置の情報を取得し、目標位置変化推定部１４から入力される相対的な目標位置の変化の情報に基づいて、撮像目標画像の現在の位置を求めて積算値記憶部１７に記憶させる（ステップＳ９）。目標位置推定部１６は、積算値記憶部１７に記憶させた位置情報と、目標位置変化推定部１４から逐次入力される相対的な目標位置の変化とによって、時々刻々変化する撮像目標画像の現在の位置を求めて、積算値記憶部１７に記憶された撮像目標画像の現在位置を更新する。

これにより、積算値記憶部１７には、図９の撮像画像Ｐ３，Ｐ４，Ｐ５の撮像時点における各管腔位置の推定結果が更新されながら保持されることになる。

目標位置推定部１６は撮像目標画像の推定位置を表示制御部１８にも出力する。表示制御部１８は、目標位置推定部１６からの管腔の推定位置座標の情報が与えられ、画像処理部１２からの内視鏡画像に対して、管腔の推定位置の方向を示す方向表示の表示データを生成する。表示制御部１８は、内視鏡画像と方向表示との合成画像を表示装置２１に出力する。こうして、表示装置２１の表示画面２１ａ上に、内視鏡画像が表示されると共に、内視鏡画像中に管腔の画像が存在しない場合には、現在の管腔の方向を示す方向表示が表示される（ステップＳ１０）。

図１０はこの場合の表示例を示している。図１０は図９の撮像画像Ｐ４の撮像時点における表示例を示しており、撮像画像Ｐ４の左下方に向かう矢印表示Ｈ１によって、挿入部３の挿入時の撮像目標である管腔が撮像画像Ｐ４の左下方に位置することを示している。

また、上述したように、表示制御部１８は、撮像目標が存在する方向だけでなく、撮像目標の撮像画像に対する相対的な位置を示す表示を表示させることもできる。図１１及び図１２はこの場合の表示例を示している。

図１１の例は、表示画面２１ａ上の中央に撮像画像Ｐ１１の表示領域Ｒ１が設けられ、この表示領域Ｒ１の周囲に撮像目標の相対的な位置を表示するための表示領域Ｒ２が設けられて、領域Ｒ２中に撮像目標の相対的な位置を示す表示Ｈ１１が表示されていることを示している。また、図１２の例は、表示領域Ｒ２中には、撮像目標の相対的な位置を示す表示Ｈ２１の他に、撮像画像に対して撮像目標の方向を示す方向表示Ｈ２２も表示された例を示している。

なお、上記説明では、目標位置変化推定部１４は、撮像目標画像の消失開始時点から相対的な目標位置の変化を検出しているが、消失開始時前から相対的な目標位置の変化の検出を開始してもよい。例えば、推定誤差が累積しても比較的問題ない場合等においては、撮像目標画像が撮像画像中の端部の所定範囲に入った場合に相対的な目標位置の変化の検出を開始してもよい。

このように本実施の形態においては、対象物を移動させるべき方向を規定する撮像目標画像の消失を検出すると、撮像画像の変化によって撮像目標画像の位置の変化を推定することにより、撮像目標の相対的な位置を推定し、当該位置又は方向を示す表示を撮像画像と共に表示することを可能にしている。これにより、術者は、撮像目標画像が撮像画像中から消失した場合でも、撮像目標が撮像画像に対してどのように位置に位置するかを容易に把握することができ、対象物を目的の方向に移動させることができる。このように本実施の形態では、移動体の移動を効果的に支援することができる。

（変形例）
図１３は変形例を示すフローチャートである。上記説明では、撮像目標画像の消失開始時点から相対的な目標位置の変化を検出し、撮像目標の相対的な位置を推定している。しかし、消失開始時点からの時間が比較的長い場合、又は目標位置の変化の累積値、即ち、撮像画像を基準にした消失開始時点の目標位置と推定結果の目標位置までの距離又は道のりが比較的大きい場合等においては、撮像目標の推定位置の推定誤差が大きいことが考えられる。（以下は距離で判定する場合について記載するが、道のりで判定する場合も同様である。）そこで、これらの場合には、撮像目標の推定した方向及び位置が有効でないことを示すエラーメッセージ等を表示させるようにしたり、推定結果を非表示にしてもよい。

制御部１１は、これらの場合を検出し、表示制御部１８にエラーメッセージ等を表示させる。例えば、表示制御部１８は、「管腔位置を推定できません」等のエラーメッセージを表示させてよく、また、方向表示や位置表示を点滅させることで、位置表示や方向表示の信頼性が低いことを示してもよい。

図１３はステップＳ１１，Ｓ１２，Ｓ１３を付加した点が図７のフローと異なる。制御部１１は、ステップＳ１１において、積算値記憶部１７に記憶されている積算値が所定の閾値を超えたか否かを判定する。制御部１１は、積算値が所定の閾値を超えた場合には、処理をステップＳ１３に移行して表示制御部１８にエラーメッセージ等を表示させる。

制御部１１は、ステップＳ１１において積算値が所定の閾値を超えていないと判定した場合には、次のステップＳ１２において、消失開始時からの経過時間が所定の閾値を超えたか否かを判定する。制御部１１は、消失開始時からの経過時間が所定の閾値を超えた場合には、処理をステップＳ１３に移行して表示制御部１８にエラーメッセージ等を表示させる。

制御部１１は、ステップＳ１２において消失開始時からの経過時間が所定の閾値を超えていないと判定した場合には、次のステップＳ１０において、表示制御部１８に通常通りの表示を表示させる。

このようにこの変形例によれば、撮像目標の相対的な位置の推定時間が閾値よりも大きい場合や推定位置までの距離が閾値よりも大きい場合には、推定位置の信頼性が比較的低いとものとしてエラーメッセージを表示させるようになっている。これにより、信頼性の低い表示によって、誤った操作が行われることを防止することができる。

なお、累積距離と経過時間の両方に閾値を設けてエラーメッセージを表示する例を示したが、どちらか片方でもかまわない。

（第２の実施の形態）
図１４は本発明の第２の実施の形態を示すブロック図である。図１４において図１と同一の構成要素には同一符号を付して説明を省略する。

第１の実施の形態においては、撮像目標画像が撮像画像から存在しなくなった時点、即ち、消失が検出された消失開始時点から目標位置を推定した。しかし、管腔等の撮像目標が撮像部７の撮像範囲にある場合でも目標画像検出部１３において撮像目標画像を検出することができない場合が考えられる。本実施の形態はこの場合に対応したものである。

本実施の形態は、目標位置推定部１６に代えて目標位置推定部１９を用いた移動支援システム本体３１を採用した点が図１と異なる。目標画像検出部１３は、撮像画像中の撮像目標画像を検出すると共に、その画像中の位置の情報を端部位置記憶部１５に供給する。端部位置記憶部１５は、撮像目標画像の位置を記憶する。更に、端部位置記憶部１５には、消失時の位置の情報が有効であるか無効であるかを判定するための領域（以下、目標消失位置判定領域という）の情報と、推定した目標位置を出力するか否かを判定するための領域（以下、出力判定領域という）の情報も記憶されている。

図１５はこれらの領域を説明するための説明図である。図１５に示すように、目標消失位置判定領域は撮像画像の領域（範囲）の略中央の所定領域に設定される。また、出力判定領域は、例えば撮像画像の領域と同じ領域に設定したり、撮像画像の領域内で、目標消失位置判定領域より広く設定される。図１５は出力判定領域を撮像画像の領域内で、目標消失位置判定領域より広く設定した例を示している。
目標位置推定部１９は目標位置の推定に際して、端部位置記憶部１５から消失時の位置情報を読み出すと共に、目標消失位置判定領域と、出力判定領域の情報も読み出す。目標位置推定部１９は、撮像目標の位置を推定すると共に、推定開始時の位置、即ち、消失時の位置が目標消失位置判定領域の外側の領域であるか否かを判定すると共に、推定した位置が出力判定領域の外側の領域であるか否かを判定する。

目標位置推定部１９は、消失時の位置が目標消失位置判定領域内の位置である場合には、位置の推定結果を表示制御部１８に出力しない。即ち、画像の中央近傍から推定を開始すると、推定する距離が長くなるため、目標位置推定部１９は、撮像目標の位置推定の信頼性が著しく低く、無効と判定して、位置推定結果に応じた表示を表示させない。

また、目標位置推定部１９は、撮像目標の位置推定が有効である場合でも、出力判定領域の外側にある場合のみ位置の推定結果を表示制御部１８に出力する
すなわち、撮像目標が出力判定領域内にある場合、術者は撮像目標の場所を認識できているので、目標位置推定部１９は、位置推定結果に応じた表示を表示させない。これにより不要な表示を減らせ、術者の視認性が向上する。さらに、推定した目標位置が撮像画像内の中央近傍にある場合、撮像画像の中央に対する推定した目標位置の方向を図１０のように示すと、推定結果の誤差により、方向が大きく変化する場合があるので、信頼性が低くなる。このような理由からも、推定した目標位置が出力判定領域内にある場合は非表示にすることが望ましい。この場合には、推定した目標位置が出力判定領域外にある場合に、撮像目標の推定位置や方向を示す表示が表示装置２１の表示画面２１ａ上に表示される。

また、術者が撮像目標の場所を認識できている範囲としては、出力判定領域を撮像画像の領域と同じ領域に設定すればよいが、推定位置の誤差により推定位置が撮像画像の領域の内側でも、実際の目標位置は撮像画像の領域の外側にあることも考えられる。このような場合は、推定位置の精度に応じて出力判定領域を撮像画像の領域より内側に設定する。これにより目標が消失しても、推定結果の誤差により、推定結果が表示されない可能性を低減できる。

また、目標消失位置判定領域による判定と、出力判定領域による判定を両方行う例を示したが、どちらか片方のみ行ってもよい。
また、目標位置推定部１９は、消失時の位置が、撮像画像の領域内であると判定した場合にも、位置の推定結果を表示制御部１８に出力しないようになっていてもよい。即ち、この場合にも、目標位置推定部１９は、撮像目標の位置推定の信頼性が低いと判定して、位置推定結果に応じた表示を表示させない。
上記のような推定結果を非表示にする方法は、許容できる信頼性に応じて設定することが望ましい。

また、表示制御部１８は、消失時において、撮像目標の推定位置や方向を示す表示を表示しない場合には、撮像目標画像が撮像画像中において検出できなくなったことを示す表示を表示画面２１ａ上に表示させるようになっていてもよい。

このように本実施の形態においては、撮像目標画像が撮像画像中において検出できなくなった場合には、撮像目標の推定位置の表示を非表示にしたり、撮像画像の範囲外に位置する場合に表示させたりするようになっており、信頼性が比較的低い表示によって、術者が誤操作してしまうことを抑制することができる。

なお、上記各実施の形態においては、撮像目標が腸管等の管腔の例を説明したが、撮像目標は管腔でなくてもよく例えばポリープ等の患部であってもよい。また、医療用の内視鏡だけでなく、工業用の内視鏡にも適用してもよい。この場合においても、撮像目標は管腔に限らず、検査部品等の各種検査対象や、当該検査対象に到達するまでの経路であってもよい。

図１６及び図１７は撮像目標が検査対象である場合において、撮像目標画像が消失した場合における表示例を示す説明図である。図１６は工業用の図示しない内視鏡によりパイプ内を撮像して得た撮像画像の例を示しており、パイプ内の撮像画像６１中には管腔の画像６３及び検査対象の画像６１ａが含まれる。図１６の例では撮像目標画像は検査対象の画像６１ａである。図１６の撮像画像６２は、撮像目標画像である画像６１ａが撮像画像中から消失した例を示している。しかし、この場合でも、撮像目標である検査対象の推定位置が撮像画像６２を基準として左下方向であることを示す表示６２ａが表示される。この表示６２ａによって、作業者は、検査対象を確認するために、挿入部をいずれの方向に向ければよいかを簡単に把握することができる。

図１７は工業用の図示しない内視鏡によりタービンブレードを撮像して得た撮像画像の例を示しており、撮像画像７１中にはブレードの画像７１ａ及び欠陥部分であるクラックの画像７１ｂが含まれる。図１７の例では撮像目標画像はクラックの画像７１ｂである。図１７の撮像画像７２中には、ブレードの画像７２ａが含まれているが、撮像目標画像である画像７１ｂは撮像画像中から消失した例を示している。しかし、この場合でも、撮像目標であるクラックの推定位置が撮像画像７２を基準として左方向であることを示す表示７２ｂが表示される。この表示７２ｂによって、作業者は、クラックを確認するために、挿入部をいずれの方向に向ければよいかを簡単に把握することができる。

（第３の実施の形態）
図１８は本発明の第３の実施の形態に係る移動支援システムを示すブロック図である。上記各実施の形態は、撮像目標の推定位置に基づく表示を行うものであったが、本実施の形態は、撮像目標の推定位置に基づいて撮像部を備え移動する移動体の移動を制御するものである。第３の実施の形態は内視鏡の挿入部を被検体に挿入する場合の挿入制御に適用したものである。

本実施の形態においても、移動を制御する移動体としては、例えば、医療用、工業用の内視鏡の挿入部だけでなく、カプセル内視鏡、撮像部を備えたカテーテル等を採用可能である。更に、移動体としては、自律式で移動可能な公知の各種機器を採用してもよい。

図１８において、内視鏡２の挿入部３は、挿入ロボット５１によって被検体に挿入されるようになっている。挿入ロボット５１は、アーム５２Ｌ，５２Ｒを備えており、例えばアーム５２Ｌによって操作部４を支持し、アーム５２Ｒによって挿入部３を支持する。挿入ロボット５１のアーム５２Ｒは挿入部３に対する図示しない送り出し及び引き入れ機構と回転機構とを備えており、アーム５２Ｌは操作部４に設けた図示しない湾曲操作ノブの駆動機構を備えている。

挿入ロボット５１は、アーム５２Ｌ，５２Ｒを駆動する駆動制御部５３を備えている。挿入ロボット５１の駆動制御部５３は、移動支援システム本体４０からの駆動制御信号に従って、アーム５２Ｌ，５２Ｒを駆動する。なお、挿入ロボット５１は操作パネル５４を有しており、例えば、ユーザは操作パネル５４で自動操作の開始と終了を切り替える操作を行う。なお、自動で行う操作は全ての操作に限らず、例えば湾曲操作ノブの操作を自動で行い、挿抜操作はユーザが操作パネル５４で操作するような、一部の操作を自動にする構成でもかまわない。

内視鏡２の挿入部３の先端硬性部５に設けた撮像部７（図示省略）によって得られた撮像信号は、信号線８を介して移動支援システム本体４０の画像処理部１２に供給される。

図１８の移動支援システム本体４０は、表示制御部１８に代えてロボット駆動部４１を採用した点が図１の移動支援システム本体１０と異なる。ロボット駆動部４１は、目標画像検出部１３から撮像目標画像の撮像画像上の位置の情報が与えられると共に、目標位置推定部１６から撮像目標の推定位置の情報が与えられる。ロボット駆動部４１は、撮像目標画像が撮像範囲に含まれるように、挿入ロボット５１のアーム５２Ｌ，５２Ｒを駆動させるための駆動制御信号を発生して駆動制御部５３に出力する。即ち、ロボット駆動部４１は、撮像目標画像が撮像されるようにアーム５２Ｌ，５２Ｒの駆動制御を行うと共に、撮像目標画像が撮像画像から消失した場合には、目標位置推定部１６からの撮像目標の位置推定結果に基づいて、アーム５２Ｌ，５２Ｒを駆動することで、撮像目標画像が撮像されるように駆動制御を行う。この駆動制御により、挿入部３は、腸管等に円滑に挿入される。

このように本実施の形態においては、撮像画像中の撮像目標画像に応じて挿入部の挿入を制御するだけでなく、撮像目標画像が撮像画像から消失した場合には、撮像画像を基準とした撮像目標の位置を推定し、推定結果に基づいて挿入部の挿入を制御しており、挿入部を管腔の深部方向等に確実に導く効果的な挿入支援が可能である。

なお、上記実施の形態の制御部１１、画像処理部１２、目標画像検出部１３、目標位置変化推定部１４、目標位置推定部１６，１９、表示制御部１８等は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。各実施の形態の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ－Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の移動支援システムを実現することができる。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (13)

1. 移動体に固定された撮像部が取得した撮像画像が与えられ、前記撮像画像中に含まれる撮像目標の画像を検出するとともに、検出した前記撮像目標の画像の前記撮像画像中の位置を検出する目標画像検出部と、
   前記目標画像検出部が検出した前記撮像目標の画像の前記撮像画像中の位置を記憶する位置記憶部と、
   前記撮像画像が与えられ、前記撮像画像の変化を検出することで、前記撮像画像を基準とした前記撮像目標の位置の変化を推定する目標位置変化推定部と、
   前記目標画像検出部により前記撮像画像上から前記撮像目標の画像が検出されない消失状態になったことが示された場合には、前記位置記憶部に記憶された前記位置の情報と前記目標位置変化推定部によって得られた前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定して位置推定結果を出力する目標位置推定部と、
   前記位置推定結果を表示装置に表示させる表示制御部と、
   を具備し、
   前記表示制御部は、
   前記目標画像検出部により前記撮像目標の画像が検出されない場合において、前記消失状態になる直前に前記位置記憶部に記憶された前記位置が前記撮像画像中の所定の領域である目標消失位置判定領域の内側を示している場合には、前記位置推定結果を出力せず、
   前記消失状態になった後に、前記位置推定結果が前記位置推定結果を出力するか否かを判定するための領域である出力判定領域の内側を示している場合には、前記位置推定結果を前記表示装置に出力させず、
   前記出力判定領域は前記撮像画像の範囲よりも内側の領域であり、前記目標消失位置判定領域は前記出力判定領域よりも内側の領域である
   ことを特徴とする移動支援システム。
2. 前記目標位置変化推定部は、前記目標画像検出部により前記消失状態になったことが示された場合に、前記撮像画像を基準とした前記撮像目標の位置の変化の推定を開始し、
   前記目標位置推定部は、前記消失状態の開始直前に前記位置記憶部に記憶された位置の情報と前記目標位置変化推定部による前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定する
   ことを特徴とする請求項１に記載の移動支援システム。
3. 前記移動体は、内視鏡挿入部により構成され、
   前記撮像部は、前記内視鏡挿入部の先端部に設けられる
   ことを特徴とする請求項１に記載の移動支援システム。
4. 前記目標位置変化推定部は、前記撮像画像を用いたオプティカルフロー推定によって前記撮像目標の位置の変化を推定する
   ことを特徴とする請求項１に記載の移動支援システム。
5. 前記目標位置変化推定部は、前記撮像画像中の所定の追跡点について順次与えられる前記撮像画像上における移動量及び移動方向を検出し、検出結果を前記撮像目標の位置の変化の推定結果として出力する
   ことを特徴とする請求項４に記載の移動支援システム。
6. 前記目標位置変化推定部は、前記撮像画像中に設定した複数の追跡点について、順次与えられる前記撮像画像上のそれぞれの移動の軌跡が共通の回転中心を有する円弧形状を有する場合には、前記撮像目標は前記回転中心を中心に回転する方向に位置が変化したものと判定して前記推定結果を得る
   ことを特徴とする請求項４に記載の移動支援システム。
7. 前記目標位置変化推定部は、前記撮像画像中に設定した複数の追跡点について、順次与えられる前記撮像画像上のそれぞれ移動の軌跡が共通点から放射状に延びた線形状を有する場合には、前記撮像目標は前記撮像部の光軸方向に位置が変化したものと判定して前記推定結果を得る
   ことを特徴とする請求項４に記載の移動支援システム。
8. 前記目標位置変化推定部は、前記撮像画像を用いた機械学習によって前記撮像目標の位置の変化を推定する
   ことを特徴とする請求項１に記載の移動支援システム。
9. 前記撮像画像と前記目標位置推定部からの位置推定結果とが与えられて、表示画面上に前記撮像画像と前記撮像画像を基準とした前記撮像目標の方向を表示させる表示制御部を更に具備したことを特徴とする請求項１に記載の移動支援システム。
10. 前記撮像画像と前記目標位置推定部からの位置推定結果とが与えられて、表示画面上に前記撮像画像と前記撮像画像を基準とした前記撮像目標の位置を表示させる表示制御部
    を更に具備したことを特徴とする請求項１に記載の移動支援システム。
11. 前記撮像画像上から前記撮像目標の画像が検出されない消失状態が所定の経過時間よりも長い時間経過した場合、又は前記目標位置推定部により推定された前記撮像目標までの前記撮像画像からの距離が所定の距離または道のりよりも大きい場合には、前記目標位置推定部からの位置推定結果を非表示にする、及び／又は位置推定結果の信頼性が低下していることを示す表示を表示画面上に表示させる表示制御部
    を更に具備したことを特徴とする請求項１に記載の移動支援システム。
12. 前記撮像部の光軸方向、前記光軸方向に直行する方向及び前記光軸を中心に回転する方向に前記移動体を変位させるための駆動制御部と、
    前記目標位置推定部からの位置推定結果が与えられて、前記駆動制御部を制御するための制御信号を発生する駆動部と、
    を更に具備したことを特徴とする請求項１に記載の移動支援システム。
13. 移動体に固定された撮像部が取得した撮像画像が与えられ、前記撮像画像中に含まれる撮像目標の画像を検出するとともに、検出した前記撮像目標の画像の前記撮像画像中の位置を検出し、
    検出された前記撮像目標の画像の前記撮像画像中の位置を位置記憶部に記憶させ、
    前記撮像画像の変化を検出することで、前記撮像画像を基準とした前記撮像目標の位置の変化を推定し、
    前記撮像画像上から前記撮像目標の画像が検出されない消失状態になったことが示された場合には、前記位置記憶部に記憶された前記位置の情報と前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定して位置推定結果を出力し、
    前記位置推定結果を表示装置に表示させるように制御するとともに、
    前記撮像目標の画像が検出されない場合において、前記消失状態になる直前に前記位置記憶部に記憶された前記位置が前記撮像画像中の所定の領域である目標消失位置判定領域の内側を示している場合には、前記位置推定結果を出力させないように制御し、
    前記消失状態になった後に、前記位置推定結果が前記位置推定結果を出力するか否かを判定するための領域である出力判定領域の内側を示している場合には、前記位置推定結果を前記表示装置に出力させないように制御し、
    前記出力判定領域は前記撮像画像の範囲よりも内側の領域であり、前記目標消失位置判定領域は前記出力判定領域よりも内側の領域である
    ことを特徴とする移動支援方法。

Images