WO2023175986A1 - 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体 - Google Patents

Abstract

内視鏡画像取得部３２は、内視鏡検査時の内視鏡挿入部の形状情報を取得する。所定の条件に応じて、挿入状況推定部３３が、形状情報を挿入状況学習モデル３３ａに入力して、挿入状況学習モデル３３ａから内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得する処理、および形状判定部３４が、形状情報を所定の形状カテゴリ判定ロジック３４ａに適用して、内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得する処理、の少なくとも一方を実行する。

Description

内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体

　本開示は、内視鏡の挿入を支援する内視挿入支援システム、内視鏡挿入支援方法および記憶媒体に関する。

　大腸内視鏡検査において、ＡＩにより、大腸内視鏡の挿入部形状を分類し、分類結果に応じて大腸内視鏡の挿入を制御する内視鏡制御装置が知られている（例えば、特許文献１参照）。

国際公開第２１／０３８８７１号

　上記の内視鏡制御装置を利用して挿入制御または挿入ガイド表示をする際、ＡＩが挿入部形状を誤認識すると、最適な挿入制御または挿入ガイド表示から外れることがあり、内視鏡の挿入がスムーズにいかないケースが発生する。

　本開示はこうした状況に鑑みなされたものであり、その目的は、内視鏡の挿入状況を高精度に認識することができる技術を提供することにある。

　上記課題を解決するために、本開示のある態様の内視鏡挿入支援システムは、内視鏡挿入支援システムであって、ハードウェアを有する１つ以上のプロセッサを備える。プロセッサは、内視鏡検査時の内視鏡挿入部の形状情報を取得し、所定の条件に応じて、形状情報を挿入状況学習モデルに入力して、挿入状況学習モデルから内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得する、および形状情報を所定の形状カテゴリ判定ロジックに適用して、内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得する、の少なくとも一方を実行する。

　本発明の別の態様は、内視鏡挿入支援方法である。この方法は、内視鏡検査時の内視鏡挿入部の形状情報を取得することと、所定の条件に応じて、形状情報を挿入状況学習モデルに入力して、挿入状況学習モデルから内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得する、および形状情報を所定の形状カテゴリ判定ロジックに適用して、内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得する、の少なくとも一方を実行することと、を有する。

　なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

実施の形態に係る大腸内視鏡検査に関連する全体システム構成を示す図である。 本実施の形態で使用される内視鏡の一例を示す図である。 実施の形態１に係る内視鏡挿入支援システムの構成例を示す図である。 大腸内視鏡検査の様子を示す図である。 内視鏡検査中に表示装置に表示される画面の一例を示す図である。 図６（ａ）－（ｂ）は、形状判定部で使用される判定ロジックの一例を説明するための図である。 図７（ａ）－（ｂ）は、挿入状況カテゴリの補正例１を説明するための図である。 図８（ａ）－（ｂ）は、挿入状況カテゴリの補正例２を説明するための図である。 実施の形態１に係る内視鏡挿入支援システムの動作例を示すフローチャートである。 実施の形態２に係る内視鏡挿入支援システムの構成例を示す図である。 図１１（ａ）－（ｂ）は、体位変換前後の内視鏡形状の一例を示す図である。 実施の形態２に係る内視鏡挿入支援システムの動作例を示すフローチャートである。 実施の形態３に係る内視鏡挿入支援システムの構成例を示す図である。 実施の形態３に係る内視鏡挿入支援システムの動作例を示すフローチャートである。 実施の形態４に係る内視鏡挿入支援システムの構成例を示す図である。 実施の形態４に係る内視鏡挿入支援システムの動作例を示すフローチャートである。 実施の形態５に係る内視鏡挿入支援システムの構成例を示す図である。

　本実施の形態は大腸内視鏡検査に関する。患者への負担が少ない質の高い大腸内視鏡検査を実施するためには、非常に高度な技術が必要となる。質の高い大腸内視鏡検査を実現するため、内視鏡の挿入部が体内でどのような形状になっているかの挿入状況をＡＩで認識し、その挿入状況における最適な操作方法を判断するシステムが開発されている。当該システムにおいてＡＩが内視鏡の挿入状況を誤認識してしまうと、誤った操作方法を医師に呈示してしまったり、自動挿入装置の制御系に誤った操作情報を送ってしまったりすることに繋がる。

　本実施の形態では、このようなリスクを低減するために、１つのＡＩの判定結果をそのまま採用するのではなく、ロジックによる形状認識結果または他のＡＩの判定結果を組み合わせることで、挿入状況の誤認識を低減させる仕組みを導入する。

　図１は、実施の形態に係る大腸内視鏡検査に関連する全体システム構成を示す図である。本実施の形態では、内視鏡システム１０、内視鏡１１、光源装置１５、内視鏡挿入形状観測装置（ＵＰＤ：Endoscope Position Detecting Unit）２０、内視鏡挿入支援システム３０、表示装置４１、入力装置４２および記憶装置４３が使用される。本実施の形態に係る内視鏡１１は、被検体（患者）の大腸に挿入される大腸内視鏡である。

　内視鏡１１は、レンズおよび固体撮像素子（例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサまたはＣＭＤイメージセンサ）を含む。固体撮像素子は、レンズで集光した光を電気信号に変換し、内視鏡画像（電気信号）として内視鏡システム１０に出力する。内視鏡１１は鉗子チャンネルを含む。術者（医師）は鉗子チャンネルに処置具を通すことで、内視鏡検査中に種々の処置を実施することができる。

　光源装置１５はキセノンランプなどの光源を備え、内視鏡１１の先端部に観察光（白色光、狭帯域光、蛍光、近赤外光など）を供給する。光源装置１５は、内視鏡１１に水や空気を送り出すポンプも内蔵している。

　内視鏡システム１０は、光源装置１５を制御するとともに、内視鏡１１から入力される内視鏡画像を処理する。内視鏡システム１０は例えば、狭帯域光観察（ＮＢＩ：Narrow Band Imaging）、赤色光観察（ＲＤＩ：Red Dichromatic Imaging）、構造色彩強調（ＴＸＩ：Texture and Color Enhancement Imaging）、被写界深度拡大（ＥＤＯＦ：Extended Depth of Field）などの機能を搭載する。

　狭帯域光観察では、血液中のヘモグロビンに強く吸収される紫（４１５ｎｍ）と緑（５４０ｎｍ）の特定の波長の光を照射することで、粘膜表層の毛細血管や微細構造が強調された内視鏡画像を取得することができる。赤色光観察では、３色（緑・アンバー・赤）の特定の波長の光を照射することで、深部組織のコントラストが強調された内視鏡画像を取得することができる。構造色彩強調では、通常光観察下での粘膜表面の「構造」・「色調」・「明るさ」の３つの要素が最適化された内視鏡画像が生成される。被写界深度拡大では、近距離と遠距離のそれぞれに焦点が合った２つの画像を合成することで、焦点範囲の広い内視鏡画像を取得することができる。

　内視鏡システム１０は、内視鏡１１から入力される内視鏡画像を処理した内視鏡画像、または内視鏡１１から入力される内視鏡画像をそのまま、内視鏡挿入支援システム３０に出力する。

　内視鏡挿入形状観測装置２０は、被検体の管腔内に挿入された内視鏡１１の３次元形状を観測するための装置である。内視鏡挿入形状観測装置２０には、受信アンテナ２０ａが接続される。受信アンテナ２０ａは、内視鏡１１に内蔵された複数の磁気コイルが発生させる磁界を検出するためのアンテナである。

　図２は、本実施の形態で使用される内視鏡１１の一例を示す図である。内視鏡１１は、可撓性部材で構成される細長い管状の挿入部１１ａと、挿入部１１ａの基端部と連結された操作部１１ｅを有する。挿入部１１ａは、先端側から基端側へ向かって、先端硬質部１１ｂ、湾曲部１１ｃおよび可撓管部１１ｄを有する。先端硬質部１１ｂの基端部は湾曲部１１ｃの先端部と連結し、湾曲部１１ｃの基端部は可撓管部１１ｄの基端部と連結している。

　操作部１１ｅは、可撓管部１１ｄが延出している本体部１１ｆと、本体部１１ｆの基端部と連結している把持部１１ｇを有している。把持部１１ｇは術者によって把持される。操作部１１ｅからは、挿入部１１ａ内から延びた撮像用電気ケーブル、ライトガイドなどを含むユニバーサルコードが延びており、内視鏡システム１０および光源装置１５に接続される。

　先端硬質部１１ｂは、挿入部１１ａの先端部であって、かつ内視鏡１１の先端部でもある。先端硬質部１１ｂには、固体撮像素子、照明光学系、観察光学系などが内蔵される。光源装置１５から出射される照明光が、ライトガイドに沿って、先端硬質部１１ｂの先端面に伝搬され、先端硬質部１１ｂの先端面から管腔内の観察対象に向けて照射される。

　湾曲部１１ｃは、節輪が挿入部１１ａの長手軸方向に沿って連結されることにより構成される。湾曲部１１ｃは、操作部１１ｅに入力される術者の操作に応じて所望の方向に湾曲し、その湾曲に応じて先端硬質部１１ｂの位置および向きが変わる。

　可撓管部１１ｄは、操作部１１ｅの本体部１１ｆから延出した管状部材であり、所望の可撓性を有し、外力によって曲がる。術者は、湾曲部１１ｃを湾曲操作したり可撓管部１１ｄを捻ったりしながら、挿入部１１ａを被検体の大腸へ挿入していく。

　挿入部１１ａの内部に長手方向に沿って、所定の間隔（例えば、１０ｃｍ間隔）で複数の磁気コイル１２が配置される。各磁気コイル１２は、電流が供給されると磁界を発生させる。複数の磁気コイル１２は、挿入部１１ａの各位置を検出するための位置センサとして機能する。

　図１に戻る。受信アンテナ２０ａは、内視鏡１１の挿入部１１ａに内蔵された複数の磁気コイル１２から発信される磁界を受信し、内視鏡挿入形状観測装置２０に出力する。内視鏡挿入形状観測装置２０は、受信アンテナ２０ａで受信された複数の磁気コイル１２のそれぞれの磁界強度を、所定の位置検出アルゴリズムに適用して、複数の磁気コイル１２のそれぞれの３次元位置を推定する。内視鏡挿入形状観測装置２０は、推定した複数の磁気コイル１２の３次元位置を曲線補間することにより、内視鏡１１の挿入部１１ａの３次元内視鏡形状を生成する。

　基準プレート２０ｂは被検体（例えば、被検体の腹部）に装着される。基準プレート２０ｂには、被検体の体位を検出するための体位センサが配置される。体位センサとして例えば、３軸加速度センサやジャイロセンサを使用することができる。図１では基準プレート２０ｂはケーブルで内視鏡挿入形状観測装置２０に接続されており、基準プレート２０ｂは、基準プレート２０ｂの姿勢（即ち、被検体の姿勢）を示す３次元姿勢情報を内視鏡挿入形状観測装置２０に出力する。

　なお、基準プレート２０ｂに配置される体位センサとして、内視鏡１１の挿入部１１ａに内蔵された複数の磁気コイル１２と同様の、複数の磁気コイルが使用されてもよい。この場合、受信アンテナ２０ａは、基準プレート２０ｂに配置された複数の磁気コイルから発信される磁界を受信し、内視鏡挿入形状観測装置２０に出力する。内視鏡挿入形状観測装置２０は、受信アンテナ２０ａで受信された複数の磁気コイルのそれぞれの磁界強度を、所定の姿勢検出アルゴリズムに適用して、基準プレート２０ｂの姿勢（即ち、被検体の姿勢）を示す３次元姿勢情報を生成する。

　内視鏡挿入形状観測装置２０は、生成した３次元内視鏡形状を、３次元姿勢情報の変化に追従させて変化させる。具体的には内視鏡挿入形状観測装置２０は、３次元姿勢情報の変化を打ち消すように、３次元内視鏡形状を変化させる。これにより、内視鏡検査中に被検体の体位変換が実施された場合でも、常に特定の視点（例えば、被検体の腹部を、腹部の正面側から垂直に見る視点）からの内視鏡形状を認識することができる。

　内視鏡挿入形状観測装置２０は、内視鏡１１の大腸に挿入された部分の長さを示す挿入長と、内視鏡１１が大腸に挿入されてからの経過時間（以下、挿入時間という）を取得することができる。内視鏡挿入形状観測装置２０は例えば、術者が入力装置４２に検査開始操作を入力したタイミングの位置を基点として挿入長を計測し、当該タイミングを起点に挿入時間を計測する。なお、内視鏡挿入形状観測装置２０は、生成した３次元内視鏡形状と、体内にある磁気コイルと体外にある磁界コイルの磁界強度の差から、肛門の位置を推定し、推定した肛門の位置を挿入長の基点としてもよい。

　なお、挿入長を高精度に計測するために、被検体の肛門近傍にエンコーダを設置してもよい。内視鏡挿入形状観測装置２０は、エンコーダからの信号をもとに、肛門の位置を基点とした挿入長を検出する。

　内視鏡挿入形状観測装置２０は、３次元姿勢情報に基づく体位補正後の３次元内視鏡形状に、挿入長と挿入時間を付加して、内視鏡挿入支援システム３０に出力する。

　内視鏡挿入支援システム３０は、内視鏡システム１０から入力される内視鏡画像、および内視鏡挿入形状観測装置２０から入力される内視鏡形状をもとに、内視鏡１１の挿入支援情報を生成して術者に呈示する。また、内視鏡挿入支援システム３０は、内視鏡システム１０から入力される内視鏡画像、および内視鏡挿入形状観測装置２０から入力される内視鏡形状をもとに、内視鏡検査履歴情報を生成して記憶装置４３に記録する。

　表示装置４１は、液晶モニタや有機ＥＬモニタを備え、内視鏡挿入支援システム３０から入力される画像を表示する。入力装置４２は、マウス、キーボード、タッチパネルなどを備え、術者などが入力した操作情報を内視鏡挿入支援システム３０に出力する。記憶装置４３はＨＤＤ、ＳＳＤなどの記憶媒体を備え、内視鏡挿入支援システム３０により生成された内視鏡検査履歴情報を保存する。記憶装置４３は、内視鏡システム１０に付随する専用の記憶装置であってもよいし、院内ネットワークを経由して接続された院内サーバ内のデータベースであってもよいし、クラウドサーバ内のデータベースであってもよい。

　図３は、実施の形態１に係る内視鏡挿入支援システム３０の構成例を示す。内視鏡挿入支援システム３０は、内視鏡挿入支援専用の処理装置で構築されてもよいし、汎用のサーバ（クラウドサーバであってもよい）で構築されてもよい。また、内視鏡挿入支援システム３０は、内視鏡挿入支援専用の処理装置、汎用のサーバ（クラウドサーバであってもよい）、および専用の画像診断装置の任意の組み合わせで構築されてもよい。また、内視鏡挿入支援システム３０は内視鏡システム１０と一体的に構築されてもよい。

　内視鏡挿入支援システム３０は、内視鏡形状取得部３１、内視鏡画像取得部３２、挿入状況推定部３３、形状判定部３４、部位推定部３５および挿入支援情報生成部３６を含む。これらの構成要素は、ハードウェア的には任意の少なくとも１つのプロセッサ（例えば、ＣＰＵ、ＧＰＵ）、メモリ（例えば、ＤＲＡＭ）、その他のＬＳＩ（例えば、ＦＰＧＡ、ＡＳＩＣ）で実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　内視鏡形状取得部３１は、内視鏡挿入形状観測装置２０から、内視鏡検査時の内視鏡１１の挿入部１１ａ（以下、単に内視鏡挿入部と表記する）の形状情報を取得する。内視鏡画像取得部３２は、内視鏡システム１０から、内視鏡検査時の内視鏡画像を取得する。

　挿入状況推定部３３は、挿入状況学習モデル３３ａを有する。挿入状況推定部３３は、内視鏡形状取得部３１により取得された内視鏡挿入部の形状情報を挿入状況学習モデル３３ａに入力して、挿入状況学習モデル３３ａから内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得する。内視鏡挿入部の挿入状況は、被検体の体内における内視鏡挿入部全体の配置状況を示している。内視鏡挿入部の挿入状況カテゴリは、内視鏡挿入部が被検体の体内のどこにどんな形状で配置されているかを、内視鏡挿入部全体をいくつかの挿入段階に分け、複数のデフォルメした形に分類したものである。

　挿入状況学習モデル３３ａは、内視鏡挿入部の挿入状況カテゴリがアノテーションとして付与された多数の内視鏡挿入部の形状情報を、教師付きデータセットとする機械学習により生成される。アノテーションは、医師などの専門知識を有するアノテータにより付与される。機械学習には、ディープラーニングの一種であるＣＮＮ、ＲＮＮ、ＬＳＴＭなどを使用することができる。

　なお、データセットは、内視鏡挿入部の挿入状況カテゴリがアノテーションとして付与された、多数の内視鏡挿入部の形状情報と多数の内視鏡画像の組み合わせであってもよい。その場合、挿入状況推定部３３は、内視鏡挿入部の形状情報と、対応する内視鏡画像を挿入状況学習モデル３３ａに入力して、挿入状況学習モデル３３ａから挿入状況カテゴリを取得する。

　部位推定部３５は、部位学習モデル３５ａを有する。部位推定部３５は、内視鏡画像取得部３２により取得された内視鏡画像を部位学習モデル３５ａに入力して、部位学習モデル３５ａから内視鏡画像に映る被検体の部位を取得する。部位学習モデル３５ａは、大腸の部位がアノテーションとして付与された多数の内視鏡画像を、教師付きデータセットとする機械学習により生成される。

　なお、データセットは、大腸の部位がアノテーションとして付与された、多数の内視鏡画像と多数の内視鏡挿入部の形状情報の組み合わせであってもよい。その場合、部位推定部３５は、内視鏡画像と、対応する内視鏡挿入部の形状情報を部位学習モデル３５ａに入力して、部位学習モデル３５ａから大腸の部位を取得する。

　取得される部位は、内視鏡１１の先端硬質部１１ｂ（以下、単に内視鏡先端部と表記する）が位置する部位であってもよいし、内視鏡挿入部の複数の部分がそれぞれ位置する部位であってもよい。内視鏡挿入部の複数の部分は、それぞれ磁気コイル１２が設置されている部分であってもよい。大腸の部位は、Ｓ状結腸、下行結腸、横行結腸、上行結腸、および盲腸の５部位に分類されてもよいし、Ｓ状結腸またはＳ状結腸以降かの２部位に分類されてもよいし、その他の任意の単位に分類されてもよい。

　部位推定部３５は、部位学習モデル３５ａにより検出される被検体の部位が所定時間、連続して検出されない場合、検出された被検体の部位を無効としてもよい。すなわち、部位推定部３５は、部位の推定結果に「Delay」を設けてもよい。ここでいう「Delay」は、部位の切り替わりの際、所定数のフレームで同じ推定結果が返ってこない場合は誤認識と判定する処理である。

　例えば、内視鏡画像のフレームレートが６０Ｈｚで、１秒の「Delay」を設ける場合、部位推定部３５は、時系列に連続する６０フレームの内視鏡画像で同じ推定結果が返ってこない場合、誤認識と判定する。また、内視鏡画像のフレームレートが６０Ｈｚで、内視鏡挿入部の形状情報の取得レートが５Ｈｚで、１秒の「Delay」を設ける場合、部位推定部３５は、時系列に連続する６０フレームの内視鏡画像と対応する５つの内視鏡挿入部の形状情報の組み合わせで同じ推定結果が返ってこない場合、誤認識と判定する。

　形状判定部３４は、形状カテゴリ判定ロジック３４ａを有する。形状判定部３４は、内視鏡形状取得部３１により取得された内視鏡挿入部の形状情報を形状カテゴリ判定ロジック３４ａに適用して、内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得する。形状カテゴリ判定ロジック３４ａは、内視鏡挿入部の形状を幾何学的に分類するための判定ロジック（例えば、幾何学的条件で規定される）であり、設計者により予め決定される。形状判定部３４は例えば、内視鏡挿入部の形状情報を形状カテゴリ判定ロジック３４ａに適用して、内視鏡先端部の各種ループ（逆のの字、Ｎ、α（表裏）、逆α（表裏）、γ（表裏）、再ループ）、横行結腸中央部での引っかけの有無を判定することができる。

　以下、挿入状況推定部３３による内視鏡挿入部の挿入状況の推定と、形状判定部３４による内視鏡挿入部の挿入形状の判定のそれぞれの性質を比較する。挿入状況推定部３３による推定では、挿入状況の認識に幅がある。すなわち、いずれかの挿入状況カテゴリのモデルに完全一致していなくても、類似度が最も高い挿入状況カテゴリに当てはめてくれる。また、部位も含めた形で内視鏡挿入部の挿入状況を推定可能である。また、時系列情報も用いることができる。大腸の部位は、肛門側からＳ状結腸、下行結腸、横行結腸、上行結腸、および盲腸の順に推移する。挿入状況推定部３３による推定では、時系列情報を用いて部位も特定可能である。ただし、挿入状況推定部３３による推定精度は、学習させるデータセットに依存する。挿入状況カテゴリによって推定精度にバラツキがある。

　一方、形状判定部３４による判定では、判定ロジックで設定した形状においては、高い精度で認識できる。ただし、形状判定部３４による判定では、挿入形状の認識に幅がない。すなわち、設定条件から少しでも外れると認識できなくなる。形状判定部３４による判定では、学習データセットを使用しないため、設定できる条件に限度がある。

　挿入状況推定部３３の推定結果と、形状判定部３４の判定結果を組み合わせることで、内視鏡挿入部の形状情報のみから部位を含んだ、幅を持った認識を可能としつつ、学習データセットの精度のバラツキによる誤認識を低減させることができる。例えば、挿入状況推定部３３による、学習データセットが少ない挿入状況カテゴリの推定結果を、形状判定部３４の判定結果で補正することで推定精度を向上させることができる。

　ただし、挿入状況推定部３３による挿入状況の推定と、形状判定部３４による挿入形状の判定のみでは、挿入形状が類似するが部位が異なるケースで誤認識が発生しやすい。挿入状況推定部３３による挿入状況の推定にも、部位推定部３５と同様に「Delay」を設けることが考えられるが、挿入状況推定部３３による挿入状況の推定に長時間の「Delay」を設けることは難しい。長時間の「Delay」を設けると、挿入形状が変わっていくため同じ結果が返ってこない。そのため、挿入状況推定部３３の推定に「Delay」を設けても誤認識防止効果が少ない。

　そこで、誤認識の発生が低減されるように「Delay」を設けている部位推定部３５による部位の推定結果を、挿入状況推定部３３による挿入状況の推定結果と、形状判定部３４による挿入形状の判定結果と組み合わせることで、どの部位でどの挿入形状になっているかをより正しく判定することができる。すなわち、挿入状況推定部３３で部位も含めた挿入状況カテゴリを推定しつつ、形状判定部３４で挿入状況推定部３３が苦手な箇所の挿入形状の正しさを、部位推定部３５で挿入状況推定部３３が苦手な箇所の部位の正しさを補完することで、挿入状況推定部３３で推定可能なほとんど全ての挿入状況をより高精度に認識することが可能となる。

　挿入支援情報生成部３６は、挿入状況カテゴリに基づいて、挿入支援情報を生成する。挿入支援情報生成部３６は、生成した挿入支援情報を表示装置４１に出力して表示する。挿入支援情報には、術者への内視鏡１１の操作支援情報が含まれる。挿入支援情報は、挿入状況カテゴリのそれぞれに予め紐付けられている。

　図４は、大腸内視鏡検査の様子を示す図である。術者は、内視鏡１１を被検体の肛門に挿入し、表示装置４１に表示される内視鏡１１で撮影された内視鏡画像と挿入支援情報を見ながら内視鏡検査を実施する。

　図５は、内視鏡検査中に表示装置４１に表示される画面の一例を示す図である。画面の右側に内視鏡１１により撮影されている内視鏡画像Ａ１が表示され、左側に内視鏡形状Ｂ１が表示されている。内視鏡画像Ａ１の右上に内視鏡１１の進行方向を示すガイドＣ３が表示され、内視鏡画像Ａ１の下に操作支援情報として、プル操作を推奨するガイドＣ１と、右トルク操作を推奨するガイドＣ２が表示されている。

　図６（ａ）－（ｂ）は、形状判定部３４で使用される判定ロジックの一例を説明するための図である。図６（ａ）－（ｂ）に示す例は、右または左に湾曲している内視鏡形状Ｂ２を判定するための判定ロジックを示している。図６（ａ）は内視鏡形状Ｂ２のパラメータを示し、図６（ｂ）は判定ロジックの条件式を示す図である。形状判定部３４は、内視鏡形状Ｂ２の湾曲部の内側の角度θと閾値を比較する（Ｓ３４１ａ）。湾曲部の内側の角度θが閾値以上の場合（Ｓ３４１ａのＮ）、形状判定部３４は、内視鏡形状Ｂ２は当該判定ロジックに該当しないと判定する。

　湾曲部の内側の角度θが閾値未満の場合（Ｓ３４１ａのＹ）、形状判定部３４は、内視鏡形状Ｂ２の湾曲部頂点のｘ軸座標ｘａと湾曲部先端のｘ軸座標ｘｂを比較する（Ｓ３４１ｂ）。湾曲部頂点のｘ軸座標ｘａが湾曲部先端のｘ軸座標ｘｂより小さい場合（Ｓ３４１ｂのＹ）、形状判定部３４は右に湾曲している内視鏡形状と判定する。湾曲部頂点のｘ軸座標ｘａが湾曲部先端のｘ軸座標ｘｂより大きい場合（Ｓ３４１ｂのＮ）、形状判定部３４は左に湾曲している内視鏡形状と判定する。

　挿入支援情報生成部３６は、挿入状況推定部３３から出力される挿入状況カテゴリに含まれる挿入形状カテゴリと、形状判定部３４から出力される挿入形状カテゴリが不一致の場合、挿入状況推定部３３から出力される挿入状況カテゴリに含まれる挿入形状カテゴリを、形状判定部３４から出力される挿入形状カテゴリに補正する。

　挿入支援情報生成部３６は、挿入状況推定部３３から出力される挿入状況カテゴリに含まれる被検体の部位と、部位推定部３５から出力される被検体の部位が不一致の場合、挿入状況推定部３３から出力される挿入状況カテゴリに含まれる被検体の部位を、部位推定部３５から出力される被検体の部位に補正する。

　図７（ａ）－（ｂ）は、挿入状況カテゴリの補正例１を説明するための図である。図７（ａ）は内視鏡挿入部の実際の挿入状況を示し、図７（ｂ）は挿入状況推定部３３で推定された内視鏡挿入部の挿入状況を示す。図７（ａ）に示すように実際の挿入状況（正解）では、内視鏡挿入部の挿入形状Ｂ１１ａが「表αループ」、内視鏡先端部が位置する部位ｄ１１ａが「Ｓ状結腸」である。図７（ｂ）に示すように挿入状況推定部３３で推定された挿入状況（不正解）では、内視鏡挿入部の挿入形状Ｂ１１ｂが「裏αループ」、内視鏡先端部が位置する部位ｄ１１ｂが「Ｓ状結腸」である。

　部位推定部３５で推定された内視鏡先端部が位置する部位は「Ｓ状結腸」である。形状判定部３４で判定された内視鏡挿入部の挿入形状は「表αループ」である。挿入状況推定部３３で推定された内視鏡先端部が位置する部位と、部位推定部３５で推定された内視鏡先端部が位置する部位は「Ｓ状結腸」で一致している。したがって、挿入支援情報生成部３６は、内視鏡先端部が位置する部位を「Ｓ状結腸」と判断する。

　挿入状況推定部３３で推定された内視鏡挿入部の挿入形状である「裏αループ」は、形状判定部３４で判定された内視鏡挿入部の挿入形状である「表αループ」と異なっている。ループの形状の認識は、形状判定部３４の方が精度が高いため、挿入支援情報生成部３６は、挿入状況推定部３３で推定された「裏αループ」を誤認識と判断し、形状判定部３４で判定された「表αループ」を採用する。

　すなわち、挿入支援情報生成部３６は、挿入状況推定部３３で推定された「Ｓ状結腸」および「裏αループ」で規定される挿入形状カテゴリを、「Ｓ状結腸」および「表αループ」で規定される挿入形状カテゴリに補正する。挿入支援情報生成部３６は、補正後の挿入状況カテゴリに紐付いている挿入支援情報を取得し、取得した挿入支援情報に基づく操作ガイドを表示装置４１に表示する。

　図８（ａ）－（ｂ）は、挿入状況カテゴリの補正例２を説明するための図である。図８（ａ）は内視鏡挿入部の実際の挿入状況を示し、図８（ｂ）は挿入状況推定部３３で推定された内視鏡挿入部の挿入状況を示す。図８（ａ）に示すように実際の挿入状況（正解）では、内視鏡挿入部の挿入形状Ｂ１２ａが「ループなし・先端左向きに湾曲」、内視鏡先端部が位置する部位ｄ１２ａが「Ｓ状結腸」である。図８（ｂ）に示すように挿入状況推定部３３で推定された挿入状況（不正解）では、内視鏡挿入部の挿入形状Ｂ１２ｂが「ループなし・先端左向きに湾曲」、内視鏡先端部が位置する部位ｄ１２ｂが「横行結腸（より細かい分類では「脾湾曲」）」である。

　部位推定部３５で推定された内視鏡先端部が位置する部位は「Ｓ状結腸」である。形状判定部３４で判定された内視鏡挿入部の挿入形状は「ループなし・先端左向きに湾曲」である。挿入状況推定部３３で推定された内視鏡先端部が位置する部位である「横行結腸」は、部位推定部３５で推定された内視鏡先端部が位置する部位である「Ｓ状結腸」と異なっている。部位の認識は、部位推定部３５の方が精度が高いため、挿入支援情報生成部３６は、挿入状況推定部３３で推定された「横行結腸」を誤認識と判断し、部位推定部３５で推定された「Ｓ状結腸」を採用する。

　挿入状況推定部３３で推定された内視鏡挿入部の挿入形状と、形状判定部３４で判定された内視鏡挿入部の挿入形状は「ループなし・先端左向きに湾曲」で一致している。したがって、挿入支援情報生成部３６は、内視鏡挿入部の挿入形状を「ループなし・先端左向きに湾曲」と判断する。

　すなわち、挿入支援情報生成部３６は、挿入状況推定部３３で推定された「横行結腸」および「ループなし・先端左向きに湾曲」で規定される挿入形状カテゴリを、「Ｓ状結腸」および「ループなし・先端左向きに湾曲」で規定される挿入形状カテゴリに補正する。

　図９は、実施の形態１に係る内視鏡挿入支援システム３０の動作例を示すフローチャートである。内視鏡画像取得部３２は内視鏡システム１０から内視鏡画像を取得し、内視鏡形状取得部３１は内視鏡挿入形状観測装置２０から内視鏡挿入部の形状情報を取得する（Ｓ１０）。

　挿入状況推定部３３は、内視鏡挿入部の形状情報と内視鏡画像を挿入状況学習モデル３３ａに入力して、挿入状況学習モデル３３ａから内視鏡挿入部の挿入状況カテゴリを取得する（Ｓ２０）。部位推定部３５は、内視鏡画像と内視鏡挿入部の形状情報を部位学習モデル３５ａに入力して、部位学習モデル３５ａから内視鏡先端部が位置する部位を取得する（Ｓ３０）。形状判定部３４は、内視鏡挿入部の形状情報を形状カテゴリ判定ロジック３４ａに適用して、形状カテゴリ判定ロジック３４ａから挿入形状カテゴリを取得する（Ｓ４０）。ステップＳ２０、Ｓ３０、Ｓ４０の処理は、時系列に実行されてもよいし、同時並行で実行されてもよい。

　挿入支援情報生成部３６は、挿入状況推定部３３で推定された挿入状況カテゴリに含まれる挿入形状カテゴリと、形状判定部３４で判定された挿入形状カテゴリを比較する（Ｓ５０）。両者が不一致の場合（Ｓ５０のＮ）、挿入支援情報生成部３６は、挿入状況推定部３３で推定された挿入状況カテゴリに含まれる挿入形状カテゴリを、形状判定部３４で判定された挿入形状カテゴリに補正する（Ｓ６０）。両者が一致する場合（Ｓ５０のＹ）、ステップＳ６０の処理がスキップされる。

　挿入支援情報生成部３６は、挿入状況推定部３３で推定された挿入状況カテゴリに含まれる内視鏡先端部が位置する部位と、部位推定部３５で推定された内視鏡先端部が位置する部位を比較する（Ｓ７０）。両者が不一致の場合（Ｓ７０のＮ）、挿入支援情報生成部３６は、挿入状況推定部３３で推定された挿入状況カテゴリに含まれる内視鏡先端部が位置する部位を、部位推定部３５で推定された内視鏡先端部が位置する部位に補正する（Ｓ８０）。両者が一致する場合（Ｓ７０のＹ）、ステップＳ８０の処理がスキップされる。挿入支援情報生成部３６は、最終的に決定した挿入状況カテゴリに紐付いている挿入支援情報を取得し、取得した挿入支援情報を表示装置４１に表示する（Ｓ９０）。

　なお、挿入状況推定部３３で推定された挿入状況カテゴリに含まれる挿入形状カテゴリと、形状判定部３４で判定された挿入形状カテゴリのどちらを優先するかを指定する優先度情報が、挿入状況学習モデル３３ａの推定結果として用意されている複数の挿入状況カテゴリのそれぞれに、予め付与されていてもよい。

　また、挿入状況推定部３３で推定された挿入状況カテゴリに含まれる挿入形状カテゴリと、形状判定部３４で判定された挿入形状カテゴリのどちらを優先するかを指定する優先度情報が、形状カテゴリ判定ロジック３４ａの判定結果として用意されている複数の挿入形状カテゴリのそれぞれに、予め付与されていてもよい。

　挿入支援情報生成部３６は、挿入状況推定部３３で推定された挿入状況カテゴリに含まれる挿入形状カテゴリおよび形状判定部３４で判定された挿入形状カテゴリの少なくとも一方に付与されている優先度情報に基づき、挿入状況学習モデル３３ａから取得した挿入状況カテゴリに含まれる挿入形状カテゴリを、形状カテゴリ判定ロジック３４ａから取得した挿入形状カテゴリに補正するか否か判定する。

　挿入状況推定部３３で推定された挿入状況カテゴリに含まれる挿入形状カテゴリの優先度の方が高い場合、挿入支援情報生成部３６は、挿入状況学習モデル３３ａから取得した挿入状況カテゴリに含まれる挿入形状カテゴリを補正しない。反対に、形状判定部３４で判定された挿入形状カテゴリの優先度の方が高い場合、挿入支援情報生成部３６は、挿入状況学習モデル３３ａから取得した挿入状況カテゴリに含まれる挿入形状カテゴリを、形状カテゴリ判定ロジック３４ａから取得した挿入形状カテゴリに補正する。

　挿入状況推定部３３は、内視鏡挿入部の形状情報（または形状情報と内視鏡画像の組み合わせ）を挿入状況学習モデル３３ａに入力して挿入状況カテゴリを取得する際、入力した形状情報（または形状情報と内視鏡画像の組み合わせ）と、分類された挿入状況カテゴリとの類似度に基づく信頼度を同時に取得することができる。

　挿入支援情報生成部３６は、挿入状況学習モデル３３ａから取得された挿入状況カテゴリの信頼度に基づき、挿入状況学習モデル３３ａから取得した挿入状況カテゴリに含まれる挿入形状カテゴリを、形状カテゴリ判定ロジック３４ａから取得した挿入形状カテゴリに補正するか否か判定することができる。信頼度が閾値より高い場合、挿入支援情報生成部３６は、挿入状況学習モデル３３ａから取得した挿入状況カテゴリに含まれる挿入形状カテゴリを補正しない。反対に、信頼度が閾値未満の場合、挿入支援情報生成部３６は、挿入状況学習モデル３３ａから取得した挿入状況カテゴリに含まれる挿入形状カテゴリを、形状カテゴリ判定ロジック３４ａから取得した挿入形状カテゴリに補正する。

　上述したように形状判定部３４による判定では、内視鏡挿入部の形状情報が、いずれの形状カテゴリ判定ロジック３４ａの条件も満たさない場合も発生する。挿入支援情報生成部３６は、内視鏡挿入部の形状情報が形状カテゴリ判定ロジック３４ａのいずれの条件も満たさず、かつ挿入状況学習モデル３３ａから取得された挿入状況カテゴリの信頼度が閾値未満の場合、内視鏡挿入部の挿入形状を推定不能と判定する。

　挿入支援情報生成部３６は、内視鏡挿入部の挿入形状を推定できない期間、挿入支援情報に基づく操作ガイドを表示装置４１に表示しない。挿入支援情報生成部３６は、「内視鏡の挿入状況を認識できません。慎重に操作してください。」といったメッセージを表示装置４１に表示してもよい。

　ここまでの説明では、挿入状況推定部３３による挿入状況の推定処理と、形状判定部３４による挿入形状の判定処理と、部位推定部３５による部位の推定処理を全て実行することを前提とした。この点、所定の条件に応じて、挿入状況推定部３３による挿入状況の推定処理と、形状判定部３４による挿入形状の判定処理の一方を省略することも可能である。所定の条件は、挿入状況推定部３３と形状判定部３４のどちらの出力を優先するかを判定する優先度判定の結果に応じて決定される条件であってもよい。

　例えば、挿入状況推定部３３による挿入状況の推定処理が、形状判定部３４による挿入形状の判定処理より先に実行されてもよい。挿入状況学習モデル３３ａから取得された挿入状況カテゴリの信頼度が閾値より高い場合、形状判定部３４による挿入形状の判定処理が省略されてもよい。この場合、挿入支援情報生成部３６は、挿入状況学習モデル３３ａから取得した挿入状況カテゴリをそのまま採用する。

　例えば、形状判定部３４による挿入形状の判定処理が、挿入状況推定部３３による挿入状況の推定処理より先に実行されてもよい。形状カテゴリ判定ロジック３４ａから挿入形状カテゴリを取得できた場合、挿入状況推定部３３による挿入状況の推定処理が省略されてもよい。この場合、挿入支援情報生成部３６は、形状カテゴリ判定ロジック３４ａから取得された挿入形状カテゴリと、部位学習モデル３５ａから取得された部位を含む挿入状況カテゴリを特定する。

　挿入状況推定部３３による挿入状況の推定処理と、形状判定部３４による挿入形状の判定処理のどちらを先に実行するかは、挿入状況学習モデル３３ａから取得された挿入状況カテゴリに含まれる挿入形状カテゴリと、形状カテゴリ判定ロジック３４ａから取得された挿入形状カテゴリとの直近の採用率をもとに決定されてもよい。例えば、形状カテゴリ判定ロジック３４ａから取得した挿入形状カテゴリの直近の採用率の方が高い場合、形状判定部３４による挿入形状の判定処理が先に実行される。

　この例では、上記優先度情報が、挿入状況学習モデル３３ａの推定結果として用意されている各挿入状況カテゴリまたは形状カテゴリ判定ロジック３４ａの判定結果として用意されている各挿入形状カテゴリに予め付与されている必要はない。内視鏡挿入部の形状情報が、挿入状況推定部３３または形状判定部３４のいずれかに入力されれば、実行可能である。

　内視鏡形状取得部３１が取得した内視鏡挿入部の形状情報に基づき、挿入状況推定部３３と形状判定部３４のどちらの出力を優先するかを決める優先度決定部を設けても良い。この場合、挿入支援情報生成部３６は、挿入状況推定部３３と形状判定部３４のうち、優先される一方からの挿入形状カテゴリの出力を得れば良い。また、形状判定部３４を優先する場合、挿入支援情報生成部３６は、形状判定部３４からの挿入形状カテゴリ情報と、部位推定部３５からの内視鏡先端部が位置する部位の情報を組み合わせて用いることができる。すなわち、挿入状況推定部３３と形状判定部３４のうち、優先されない方からの出力は必須では無い。

　以上説明したように実施の形態１によれば、挿入状況推定部３３の推定結果に、形状判定部３４の判定結果と部位推定部３５による部位の推定結果の少なくとも一方を組み合わせることで、内視鏡の挿入状況の誤認識を低減することができる。例えば、ＡＩが誤認識しやすい挿入形状のときは、設計者が設定した判定ロジックに基づいて判定された挿入形状を採用することで、挿入形状の誤認識を低減することができる。

　図１０は、実施の形態２に係る内視鏡挿入支援システム３０の構成例を示す。実施の形態２に係る内視鏡挿入支援システム３０は、図３に示した実施の形態１に係る内視鏡挿入支援システム３０の構成に、体位情報取得部３７および内視鏡形状補正部３８が追加された構成である。

　図１の説明では、体位センサが配置された基準プレート２０ｂが内視鏡挿入形状観測装置２０に接続される例を示した。実施の形態２では体位センサが配置された基準プレート２０ｂが直接、内視鏡挿入支援システム３０に接続される例を想定する。挿入状況推定部３３、形状判定部３４および部位推定部３５で使用される形状情報は、仰臥位の被検体の腹部側からの視点を基本としている。そのため、検査の途中で被検体の体位が変わってしまうと、実際と異なる内視鏡形状を認識してしまう可能性がある。

　体位情報取得部３７は、基準プレート２０ｂから、被検体の姿勢を示す３次元情報を体位情報として取得する。なお実施の形態２では、体位センサを被検体に装着して被検体の体位を計測する例に限定されない。例えば、診察用のベッドに複数の圧力センサを設置して、各圧力センサの検出値から被検体の体位を推定してもよい。また、検査室にカメラを設置し、カメラで撮影した動画像に映っている被検体の動きを画像認識で追従し、被検体の体位を推定してもよい。

　内視鏡形状補正部３８は、内視鏡形状取得部３１により取得された内視鏡挿入部の形状情報を、体位情報取得部３７により取得された体位情報に基づき補正する。具体的には内視鏡形状補正部３８は、体位情報で規定される被検体の姿勢の３次元的変化を打ち消すように、内視鏡挿入部の形状情報を変化させる。

　図１１（ａ）－（ｂ）は、体位変換前後の内視鏡形状Ｂ３の一例を示す図である。図１１（ａ）は、仰臥位の被検体に挿入されている内視鏡形状Ｂ３を天井視点で見た例を示している。図１１（ｂ）は、左側臥位の被検体に挿入されている内視鏡形状Ｂ３を天井視点で見た例を示している。被検体の体位が変わると、天井視点で見た内視鏡形状Ｂ３が大きく変わる。

　図１２は、実施の形態２に係る内視鏡挿入支援システム３０の動作例を示すフローチャートである。内視鏡画像取得部３２は内視鏡システム１０から内視鏡画像を取得し、内視鏡形状取得部３１は内視鏡挿入形状観測装置２０から内視鏡挿入部の形状情報を取得し、体位情報取得部３７は体位センサから体位情報を取得する（Ｓ１０ａ）。

　内視鏡形状補正部３８は、取得された形状情報の向きを体位情報をもとに補正する。内視鏡形状補正部３８は例えば、取得された形状情報を常に、被検体の腹部側からの視点の形状情報になるように補正する（Ｓ１５）。ステップＳ２０以降の処理は、図９に示したフローチャートの処理と同様である。

　以上説明したように実施の形態２では、実施の形態１の効果に加え、さらに以下の効果を奏する。実施の形態２では、体位情報を取得することで、被検体の体位が現在どの体位にあるかを把握することができる。体位情報に基づき内視鏡挿入部の形状情報を補正することで、常に被検体の腹部側からの視点の形状情報を取り扱うことができる。

　図１３は、実施の形態３に係る内視鏡挿入支援システム３０の構成例を示す図である。実施の形態３に係る内視鏡挿入支援システム３０は、図３に示した実施の形態１に係る内視鏡挿入支援システム３０の構成に、腸管状態推定部３９が追加された構成である。

　腸管状態推定部３９は、内視鏡画像取得部３２により取得された内視鏡画像を腸管状態学習モデル３９ａに入力して、腸管状態学習モデル３９ａから、内視鏡先端部と被検体の腸管壁との距離に係る状態（以下、腸管壁距離状態という）を取得する。腸管状態推定部３９は例えば、腸管壁距離状態として、「至適距離」、「土管状」、「赤玉」のいずれかを取得することができる。「至適距離」は内視鏡先端部と腸管壁との距離が所定の範囲に収まっている状態を指す。「土管状」は管腔が真っ直ぐに伸びて視界が良好な状態を指す。「赤玉」は、内視鏡先端部が腸管壁に接触または接近して、真っ赤に見える状態を指す。

　腸管状態推定部３９は、内視鏡画像取得部３２により取得された内視鏡画像を腸管状態学習モデル３９ａに入力して、腸管状態学習モデル３９ａから、残渣または水に係る状態を取得することもできる。すなわち、腸管状態推定部３９は、残渣または水が映った内視鏡画像を特定することができる。さらに、腸管状態推定部３９は、残渣または水の他に、洗浄液、出血、憩室、または病変部（ポリープなど）が映った内視鏡画像を特定できてもよい。

　腸管状態学習モデル３９ａは、腸管壁距離状態、および残渣、水、洗浄液、出血、憩室、または病変部が映っているか否かの情報がアノテーションとして付与された多数の内視鏡画像を、教師付きデータセットとする機械学習により生成される。

　挿入支援情報生成部３６は、挿入状況カテゴリと腸管壁距離状態に基づき、挿入支援情報を生成し、表示装置４１に表示する。挿入支援情報生成部３６は、腸管壁距離状態を参照することで、さらに細かく挿入状況を把握でき、その挿入状況に適したさらにきめ細かな挿入支援情報の呈示が可能となる。

　例えば、内視鏡先端部が位置する部位が「Ｓ状結腸（より具体的にはＳ状結腸の直腸側の最初のカーブ付近）」で、内視鏡挿入部の挿入形状が「ループなし・先端右向きに湾曲」の挿入状況カテゴリにおいて、腸管壁距離状態が取得されていない場合、挿入支援情報生成部３６は、挿入支援情報として、右トルク操作を推奨するガイドを生成する。腸管壁距離状態が取得されている場合で、腸管壁距離状態が「至適距離」の場合も同様に、挿入支援情報生成部３６は、挿入支援情報として、右トルク操作を推奨するガイドを生成する。これに対して、腸管壁距離状態が「土管状」の場合、挿入支援情報生成部３６は、挿入支援情報として、プル操作または吸引で腸管壁に内視鏡先端部を近づける操作を推奨するガイドを生成する。

　挿入支援情報生成部３６は、挿入状況カテゴリと、残渣または水に係る状態に基づき、挿入支援情報を生成することもできる。内視鏡画像に残渣または水が映っている場合、挿入支援情報生成部３６は例えば、洗浄または吸引を推奨するガイドを生成する。

　図１４は、実施の形態３に係る内視鏡挿入支援システム３０の動作例を示すフローチャートである。ステップＳ１０－ステップＳ４０の処理は、図９に示したフローチャートの処理と同様である。腸管状態推定部３９は、内視鏡画像取得部３２により取得された内視鏡画像を腸管状態学習モデル３９ａに入力して、腸管状態学習モデル３９ａから腸管壁距離状態を取得する（Ｓ４２）。ステップＳ５０－ステップＳ８０の処理は、図９に示したフローチャートの処理と同様である。挿入支援情報生成部３６は、最終的に決定した挿入状況カテゴリと腸管壁距離状態の組み合わせに紐付いている挿入支援情報を取得し、取得した挿入支援情報を表示装置４１に表示する（Ｓ９０ａ）。

　なお、挿入状況学習モデル３３ａは、内視鏡挿入部の挿入状況カテゴリがアノテーションとして付与された多数の内視鏡挿入部の形状情報と多数の内視鏡画像（腸管壁距離状態付き）の組み合わせを、教師付きデータセットとする機械学習により生成されていてもよい。この場合、挿入状況推定部３３は、内視鏡挿入部の形状情報と、対応する内視鏡画像と、対応する腸管壁距離状態を挿入状況学習モデル３３ａに入力して、挿入状況学習モデル３３ａから挿入状況カテゴリを取得する。

　以上説明したように実施の形態３では、実施の形態１の効果に加え、さらに以下の効果を奏する。実施の形態３では、腸管状態を参照することで、さらにきめ細かな挿入支援情報を呈示することができる。

　図１５は、実施の形態４に係る内視鏡挿入支援システム３０の構成例を示す。実施の形態４に係る内視鏡挿入支援システム３０は、図３に示した実施の形態１に係る内視鏡挿入支援システム３０の構成に、痛み推定部３１０が追加された構成である。

　痛み推定部３１０は、内視鏡挿入部の挿入形状と内視鏡先端部が位置する部位に基づき、被検体に生じる痛みを示す痛み情報を生成する。痛み情報には、少なくとも痛みの有無が含まれる。痛みの程度も含まれてもよい。内視鏡挿入部の挿入形状と内視鏡先端部が位置する部位の組み合わせごとに痛み情報が規定されたテーブルが予め用意される。内視鏡先端部が位置する部位は、部位推定部３５で推定された内視鏡先端部が位置する部位を使用することができる。

　内視鏡挿入部の挿入形状は、形状判定部３４で判定された挿入形状カテゴリが使用されてもよいし、形状判定部３４による挿入形状のカテゴリ分類と異なるカテゴリ分類で分類された挿入形状が使用されてもよい。後者の場合、痛み推定用の挿入形状の学習モデルを用意するか、痛み推定用の挿入形状の判定ロジックを別に用意する。

　挿入支援情報生成部３６は、挿入状況カテゴリと痛み情報に基づき、挿入支援情報を生成し、挿入支援情報を表示装置４１に表示する。痛み情報を参照することで、痛み発生時に特有の挿入支援情報の呈示が可能となる。

　図１６は、実施の形態４に係る内視鏡挿入支援システム３０の動作例を示すフローチャートである。ステップＳ１０－ステップＳ４０の処理は、図９に示したフローチャートの処理と同様である。痛み推定部３１０は、内視鏡形状取得部３１により取得された内視鏡挿入部の形状情報と、部位推定部３５で推定された内視鏡先端部が位置する部位に基づき、痛み情報を生成する（Ｓ４４）。ステップＳ５０－ステップＳ８０の処理は、図９に示したフローチャートの処理と同様である。挿入支援情報生成部３６は、最終的に決定した挿入状況カテゴリと痛み情報に応じた挿入支援情報を生成し、生成した挿入支援情報を表示装置４１に表示する（Ｓ９０ｂ）。

　以上説明したように実施の形態４では、実施の形態１の効果に加え、さらに以下の効果を奏する。実施の形態４では、痛み情報を参照することで、さらにきめ細かな挿入支援情報を呈示することができる。

　図１７は、実施の形態５に係る内視鏡挿入支援システム３０の構成例を示す。実施の形態５に係る内視鏡挿入支援システム３０は、図３に示した実施の形態１に係る内視鏡挿入支援システム３０の挿入支援情報生成部３６が挿入制御情報生成部３１１に置き換わった構成である。

　挿入制御情報生成部３１１は、挿入状況カテゴリに基づいて、挿入制御情報を生成し、生成した挿入制御情報を内視鏡制御装置５０に送信する。内視鏡制御装置５０は例えば、全自動または半自動の内視鏡操作ロボットである。内視鏡制御装置５０は、内視鏡挿入支援システム３０から受信した挿入制御情報に基づき、内視鏡挿入部の挿入操作を全自動または半自動で実行する。

　以上説明したように実施の形態５によれば、誤った操作指示を内視鏡制御装置５０に送信する可能性を低減することができる。

　以上、本開示を複数の実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

　上記の実施の形態２－５においても、実施の形態１と同様に、所定の条件に応じて、挿入状況推定部３３による挿入状況の推定処理と、形状判定部３４による挿入形状の判定処理の一方を省略することも可能である。所定の条件は、挿入状況推定部３３と形状判定部３４のどちらの出力を優先するかを判定する優先度判定の結果に応じて決定される条件であってもよい。

　上記の実施の形態では、内視鏡１１に複数の磁気コイルを内蔵して内視鏡形状を推定する例を説明した。この点、内視鏡１１に複数の形状センサを内蔵して内視鏡形状を推定してもよい。形状センサは例えば、光ファイバを用いて特定箇所の曲率から曲げ形状を検出するファイバセンサであってもよい。ファイバセンサは例えば、挿入部１１ａの長手方向に沿って配置された光ファイバを有し、光ファイバには、長手方向に沿って複数の光検出器が設けられる。検出光出射装置から光ファイバに検出光が供給され、検出光が光ファイバを伝搬しているときの各光検出器で検出される光量の変化に基づいて、内視鏡形状を推定する。

　本開示は、大腸内視鏡検査に利用できる。

１０・・・内視鏡システム、１１・・・内視鏡、１１ａ・・・挿入部、１１ｂ・・・先端硬質部、１１ｃ・・・湾曲部、１１ｄ・・・可撓管部、１１ｅ・・・操作部、１１ｆ・・・本体部、１１ｇ・・・把持部、１２・・・磁気コイル、１５・・・光源装置、２０・・・内視鏡挿入形状観測装置、２０ａ・・・受信アンテナ、２０ｂ・・・基準プレート、３０・・・内視鏡挿入支援システム、３１・・・内視鏡形状取得部、３２・・・内視鏡画像取得部、３３・・・挿入状況推定部、３３ａ・・・挿入状況学習モデル、３４・・・形状判定部、３４ａ・・・形状カテゴリ判定ロジック、３５・・・部位推定部、３５ａ・・・部位学習モデル、３６・・・挿入支援情報生成部、３７・・・体位情報取得部、３８・・・内視鏡形状補正部、３９・・・腸管状態推定部、３９ａ・・・腸管状態学習モデル、３１０・・・痛み推定部、３１１・・・挿入制御情報生成部、４１・・・表示装置、４２・・・入力装置、４３・・・記憶装置、５０・・・内視鏡制御装置。

Claims (22)

1. 　内視鏡挿入支援システムであって、
   　ハードウェアを有する１つ以上のプロセッサを備え、
   　前記プロセッサは、
   　内視鏡検査時の内視鏡挿入部の形状情報を取得し、
   　所定の条件に応じて、前記形状情報を挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得する、および前記形状情報を所定の形状カテゴリ判定ロジックに適用して、前記内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得する、の少なくとも一方を実行する、
   　内視鏡挿入支援システム。
2. 　請求項１に記載の内視鏡挿入支援システムにおいて、
   　前記プロセッサは、
   　優先度判定の結果に応じて、前記形状情報を前記挿入状況学習モデルに入力して前記挿入状況学習モデルから前記挿入状況カテゴリを取得する、および前記形状情報を前記形状カテゴリ判定ロジックに適用して前記挿入形状カテゴリを取得する、の少なくとも一方を実行する、
   　内視鏡挿入支援システム。
3. 　請求項１に記載の内視鏡挿入支援システムにおいて、
   　前記プロセッサは、
   　前記形状情報を前記挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得し、
   　前記形状情報を前記形状カテゴリ判定ロジックに適用して、前記内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得し、
   　前記挿入状況カテゴリに含まれる挿入形状カテゴリと、前記形状カテゴリ判定ロジックから取得した挿入形状カテゴリが不一致の場合、前記挿入状況カテゴリに含まれる挿入形状カテゴリを、前記形状カテゴリ判定ロジックから取得した挿入形状カテゴリに補正する、
   　内視鏡挿入支援システム。
4. 　請求項１に記載の内視鏡挿入支援システムにおいて、
   　前記プロセッサは、前記挿入状況カテゴリに基づいて、挿入支援情報を生成し、前記挿入支援情報をモニタに表示する、
   　内視鏡挿入支援システム。
5. 　請求項１に記載の内視鏡挿入支援システムにおいて、
   　前記プロセッサは、前記挿入状況カテゴリに基づいて、挿入制御情報を生成する、
   　内視鏡挿入支援システム。
6. 　請求項１に記載の内視鏡挿入支援システムにおいて、
   　前記プロセッサは、
   　前記内視鏡検査時の内視鏡画像を取得し、
   　前記内視鏡画像を部位学習モデルに入力して、前記部位学習モデルから前記内視鏡画像に映る被検体の部位を取得する、
   　内視鏡挿入支援システム。
7. 　請求項６に記載の内視鏡挿入支援システムにおいて、
   　前記プロセッサは、
   　前記形状情報を前記挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得し、
   　前記内視鏡検査時の内視鏡画像を部位学習モデルに入力して、前記部位学習モデルから前記内視鏡画像に映る被検体の部位を取得し、
   　前記挿入状況カテゴリに含まれる被検体の部位と、前記部位学習モデルから取得した被検体の部位が不一致の場合、前記挿入状況カテゴリに含まれる被検体の部位を、前記部位学習モデルから取得した被検体の部位に補正する、
   　内視鏡挿入支援システム。
8. 　請求項３に記載の内視鏡挿入支援システムにおいて、
   　前記プロセッサは、
   　前記内視鏡検査時の内視鏡画像を取得し、
   　前記形状情報と前記内視鏡画像を前記挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記挿入状況カテゴリを取得する、
   　内視鏡挿入支援システム。
9. 　請求項６に記載の内視鏡挿入支援システムにおいて、
   　前記プロセッサは、前記内視鏡画像と前記形状情報を前記部位学習モデルに入力して、前記部位学習モデルから前記内視鏡画像に映る被検体の部位を取得する、
   　内視鏡挿入支援システム。
10. 　請求項１に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、
    　前記形状情報を前記挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得し、
    　前記形状情報を前記形状カテゴリ判定ロジックに適用して、前記内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得し、
    　前記形状情報に基づき、前記挿入状況カテゴリに含まれる挿入形状カテゴリを、前記形状カテゴリ判定ロジックから取得した挿入形状カテゴリに補正するか否か判定する、
    　内視鏡挿入支援システム。
11. 　請求項１に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、
    　前記形状情報を前記挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得し、
    　前記形状情報を前記形状カテゴリ判定ロジックに適用して、前記内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得し、
    　前記挿入状況カテゴリおよび前記挿入形状カテゴリの少なくとも一方に付与されている優先度情報に基づき、前記挿入状況カテゴリに含まれる挿入形状カテゴリを、前記形状カテゴリ判定ロジックから取得した挿入形状カテゴリに補正するか否か判定する、
    　内視鏡挿入支援システム。
12. 　請求項１に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、
    　前記形状情報を前記挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得し、
    　前記形状情報を前記形状カテゴリ判定ロジックに適用して、前記内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得し、
    　前記挿入状況学習モデルから取得された前記挿入状況カテゴリの信頼度に基づき、前記挿入状況カテゴリに含まれる挿入形状カテゴリを、前記形状カテゴリ判定ロジックから取得した挿入形状カテゴリに補正するか否か判定する、
    　内視鏡挿入支援システム。
13. 　請求項１２に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、
    　前記形状情報が前記形状カテゴリ判定ロジックのいずれの条件も満たさず、かつ前記挿入状況カテゴリの信頼度が閾値未満の場合、前記内視鏡挿入部の挿入形状を推定不能と判定する、
    　内視鏡挿入支援システム。
14. 　請求項１に記載の内視鏡挿入支援システムにおいて、
    　前記所定の形状カテゴリ判定ロジックは、設計者により決定された判定ロジックである、
    　内視鏡挿入支援システム。
15. 　請求項７に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、
    　時系列の前記内視鏡画像を取得し、
    　前記部位学習モデルにより検出される前記被検体の部位が所定時間、連続して検出されない場合、検出された前記被検体の部位を無効とする、
    　内視鏡挿入支援システム。
16. 　請求項１に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、
    　被検体の体位情報を取得し、
    　前記体位情報に基づき、前記形状情報を補正する、
    　内視鏡挿入支援システム。
17. 　請求項１に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、
    　前記内視鏡検査時の内視鏡画像を取得し、
    　内視鏡先端部と被検体の腸管壁との距離に係る状態を判定し、
    　前記挿入状況カテゴリと、前記内視鏡先端部と前記被検体の腸管壁との距離に係る状態とに基づき、挿入支援情報または挿入制御情報を生成する、
    　内視鏡挿入支援システム。
18. 　請求項１に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、
    　前記内視鏡検査時の内視鏡画像を取得し、
    　内視鏡先端部と被検体の腸管壁との距離に係る状態を判定し、
    　前記形状情報、前記内視鏡画像および前記内視鏡先端部と被検体の腸管壁との距離に係る状態を前記挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記挿入状況カテゴリを取得する、
    　内視鏡挿入支援システム。
19. 　請求項１に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、
    　前記内視鏡検査時の内視鏡画像を取得し、
    　残渣または水に係る状態を判定し、
    　前記挿入状況カテゴリと、前記残渣または前記水に係る状態とに基づき、挿入支援情報または挿入制御情報を生成する、
    　内視鏡挿入支援システム。
20. 　請求項１に記載の内視鏡挿入支援システムにおいて、
    　前記プロセッサは、前記内視鏡挿入部の挿入形状と、内視鏡先端部が位置する部位に基づき、被検体に生じる痛みを示す痛み情報を生成し、前記痛み情報をモニタに表示する、
    　内視鏡挿入支援システム。
21. 　内視鏡検査時の内視鏡挿入部の形状情報を取得することと、
    　所定の条件に応じて、前記形状情報を挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得する、および前記形状情報を所定の形状カテゴリ判定ロジックに適用して、前記内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得する、の少なくとも一方を実行することと、
    　を有する内視鏡挿入支援方法。
22. 　内視鏡検査時の内視鏡挿入部の形状情報を取得する処理と、
    　所定の条件に応じて、前記形状情報を挿入状況学習モデルに入力して、前記挿入状況学習モデルから前記内視鏡挿入部の挿入状況をカテゴリ分類した挿入状況カテゴリを取得する、および前記形状情報を所定の形状カテゴリ判定ロジックに適用して、前記内視鏡挿入部の挿入形状をカテゴリ分類した挿入形状カテゴリを取得する、の少なくとも一方を実行する処理と、
    　をコンピュータに実行させるプログラムを記憶した記憶媒体。

Images