JPWO2018163644A1 - 情報処理装置、支援システム及び情報処理方法 - Google Patents

Abstract

【課題】術者に対して適切な支援をすることが可能な情報処理装置、支援システム及び情報処理方法を提供する。【解決手段】情報処理装置は、制御部を具備する。上記制御部は、患部を含む術部を撮像することにより得られる第１の画像と、過去の手術又は検査より得られた状況のメタデータを基に、上記メタデータに対応づけられた上記状況に対して行われた支援のパラメータを抽出する。【選択図】図２

Description

本技術は、外科手術などの支援に用いられる情報処理装置、支援システム及び情報処理方法に関する。

術中に手術のライブ画像とその関連画像をモニタに表示させ適正な支援を行うことのできる支援システムが提案されている（例えば特許文献１参照）。この支援システムでは、ライブ画像とともに患者に関連する検査画像及び手技に関連する手術画像がモニタに表示可能に構成されている。

特開２００５−１１０８７８号公報

しかしながら上述の支援システムでは、手技に関連する手術画像等の関連情報がモニタに表示されるものの、術者が、複数の関連画像情報を正しく認識し、その中からその時点での状況に適した関連画像情報を見極める必要がある。
本技術の目的は、術者に対して状況に応じた適切な支援を自動的にすることが可能な情報処理装置、支援システム及び情報処理方法を提供することにある。

本技術の一実施形態に係る情報処理装置は、制御部を具備する。
上記制御部は、患部を含む術部を撮像することにより得られる第１の画像と、過去の手術又は検査より得られた状況のメタデータを基に、上記メタデータに対応づけられた上記状況に対して行われた支援のパラメータを抽出する。

本形態によれば、第１の画像を基に、その第１の画像が示す状況に応じた適切な支援が自動的に行われるので、術者はより適切な手術等を行うことができる。

上記制御部は、上記第１の画像の画像認識結果に類似する上記メタデータを算出し、算出した上記メタデータに対応づけられた上記パラメータを抽出してもよい。
これにより、第１の画像が示す状況に類似したメタデータに対応づけられたパラメータに従った支援が行われる。

上記制御部は、抽出した上記パラメータに基づき、上記術部の撮像条件を変更してもよい。
このように、第１の画像が示す状況に適した撮像条件となるような支援を行うことができる。

上記制御部は、抽出した上記パラメータに基づき、上記術部に照射する照射光を変更して上記撮像条件の変更を行ってもよい。

このように撮像条件の変更が術部に照射する照射光を変更するものでもよい。例えば、照射光を狭帯域光として撮像された画像は表層血管が強調された画像となり、患部の観察をより正確に行うことができる。また、出血量が多く組織の判別が困難な状況において、照射光を血液透過用特殊光として撮像された画像は血液部分が除かれた画像となり組織の判別が容易なものとなる。

上記制御部は、抽出した上記パラメータに基づき、撮像時の倍率及び焦点を調整して撮像条件の変更を行ってもよい。
このように撮像条件の変更が、撮像時の倍率及び焦点の調整でもよい。これにより、例えば拡大表示された患部を観察することが可能となる。

上記制御部は、抽出した上記パラメータに基づき撮像条件を変更して上記術部を撮像することにより得られる第２の画像を表示装置に表示させてもよい。
これにより、術者は表示装置に表示された第２の画像をみながら、より適切な手術等を行うことができる。

上記制御部は、抽出した上記パラメータに基づき、上記第１の画像を画像処理させて画質調整された第２の画像を表示装置に表示させてもよい。

上記術部は第１の組織と第２の組織とを有し、上記制御部は、抽出した上記パラメータに基づき、上記第１の画像における上記第１の組織と上記第２の組織の色相差が拡張されるように画像処理させて画質調整された上記第２の画像を表示装置に表示させてもよい。

これにより、術部中の第１の組織が強調されて画質調整された第２の画像を得ることができ、術者は第１の組織の存在領域を正確に把握することができる。

上記制御部は、抽出した上記パラメータに基づき、参考となる過去の画像又は映像を表示装置に表示させてもよい。
このように、第１の画像が示す状況に類似した状況下で過去生じた参考となる画像又は映像が表示されることにより、術者は危険を予測し、より適切な手術を行うことができる。

上記制御部は、上記第１の画像と上記メタデータを基に、上記第１の画像が視界不良の状況であると判定すると、視界不良となる前に撮像された画像を表示装置に表示させるという上記パラメータを抽出してもよい。
これにより、例えば電気メスで患部を焼くときに生じる煙などで視界不良となっても、視界不良となる前に撮像された画像を確認することができ、術者の視界を確保することができる。

上記制御部は、抽出した上記パラメータに基づき、支援情報を報知させてもよい。
例えば、第１の画像が示す状況が、過去のステープラによる吻合の失敗の時の状況と類似した場合、術者に対して、注意を促す警告の支援情報を報知することができる。報知方法としては、表示装置に注意を促す警告の文を表示してもよいし、音声で報知するようにしてもよい。

本技術の一実施形態に係る支援システムは、メタデータのデータベースと、パラメータのデータベースと、制御部とを具備する。
上記メタデータのデータベースには、過去の手術又は検査より得られた状況のメタデータが格納される。
上記パラメータのデータベースには、上記メタデータに対応づけられた上記状況に対して行われた支援のパラメータが格納される。
上記制御部は、患部を含む術部を撮像することにより得られる第１の画像の画像認識結果に類似するメタデータを上記メタデータのデータベースから算出し、算出した上記メタデータに対応づけられた上記パラメータを抽出する。

本形態によれば、第１の画像が示す状況に類似したメタデータに対応づけられたパラメータに従った支援が自動的に行われ、術者はより適切な手術等を行うことができる。

本技術の一実施形態に係る情報処理方法は、第１の画像の画像認識結果を取得し、メタデータを算出し、パラメータを抽出する。
上記第１の画像の画像認識結果の取得は、患部を含む術部を撮像することにより得られる第１の画像の画像認識結果を取得することにより行われる。
上記メタデータの算出は、過去の手術又は検査より得られた状況のメタデータが格納されたメタデータのデータベースから、上記第１の画像の画像認識結果に類似するメタデータを算出することにより行われる。
上記パラメータの抽出は、算出した上記メタデータに対応づけられた、上記状況に対して行われた支援のパラメータを抽出することにより行われる。

本形態によれば、第１の画像が示す状況に類似したメタデータに対応づけられたパラメータに従った支援が自動的に行われ、術者はより適切な手術等を行うことができる。

以上のように、本技術によれば、術者に対して適切な支援を自動的に行うことが可能となる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術に係るデータベース作成時の支援システムの構成を示す概略図である。 本技術に係るデータベース利用時の支援システムの構成を示す概略図である。 上記支援システムの一部を構成する内視鏡手術システムの概略的な構成の一例を示す図である。 図３に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 図３に示すＣＣＵのハードウェア構成の一例を示す説明図である。 第１の実施形態に係る支援システムにおける画質調整前後の胃の内壁画像を示す図である。 第２の実施形態に係る支援システムにおける表示装置に表示される大腸ポリープ画像とその拡大表示画像の一例を示す図である。 第２の実施形態に係る支援システムにおける表示装置に表示される大腸ポリープ画像とその拡大表示画像を他の例を示す図である。 第２の実施形態に係る支援システムにおける表示装置に表示される大腸ポリープ画像とその拡大表示画像を更に他の例を示す図である。 第３の実施形態に係る支援システムにおける情報処理方法を示す図である。 第３の実施形態に係る支援システムの表示装置に表示される画面の一例を示す図である。 第３の実施形態に係る支援システムにおける、画像認識結果とメタデータとの類似判定の一例を示す図である。 第４の実施形態に係る支援システムにおける情報処理方法を示す図である。 第４の実施形態に係る支援システムの表示装置に表示される画面の一例を示す図である。 第５の実施形態に係る支援システムにおける情報処理方法を示す図である。 第５の実施形態に係る支援システムの表示装置に表示される画面の一例を示す図である。 第６の実施形態に係る支援システムにおける情報処理方法を示す図である。 第６の実施形態に係る支援システムの表示装置に表示される画面の一例を示す図である。 第７の実施形態に係る支援システムにおける情報処理方法を示す図である。 第７の実施形態に係る支援システムにおける画質調整前後の術部の画像を示す図である。 第８の実施形態に係る支援システムにおける情報処理方法を示す図である。 第８の実施形態に係る支援システムにおける照射光切り替え前後の術部の画像を示す図である。 第９の実施形態に係る支援システムにおける情報処理方法を示す図である。 第９の実施形態に係る支援システムにおける脂肪強調処理計算の一例を示す図である。 第９の実施形態に係る支援システムの表示装置に表示される画面の一例を示す図である。 各実施形態における表示装置に表示される画面の他の表示例を示す例である。 各実施形態における表示装置に表示される画面の更に他の表示例を示す例である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。以下の実施形態においては、主に内視鏡手術システムに適用した支援システムについて説明する。以下、内視鏡手術システムに適用する例を中心に挙げるが、対象臓器の状態を検査、診断する内視鏡検査システムにも適用することができる。

［支援システムの概要］
本実施形態に係る支援システムでは、手術の状況に適した、術者に対して支援となるような画像が表示装置に表示されるように構成される。支援システムでは、手術対象又は検査対象の部位を含む術部を撮像することにより得られるライブ画像である第１の画像を基に、その状況に応じた支援が自動的に行われる。具体的な支援としては、撮像画像の倍率や焦点の調整、照射光源の切り替え、患部（病変部位）が強調された第２の画像の表示、患部が拡大表示された第２の画像の表示、アドバイスや危険の可能性の報知、過去に類似の状況下で生じた事例の映像又は画像の表示、視界不良となったときにその直前の画像を表示する等がある。

これにより、術者は、術中に撮像画像の倍率や焦点の調整や照明光源の切り替えといった作業で手を煩わせることがなく、手術の状況に適した画像等を得ることができる。また、術者は、アドバイスや危険の可能性の報知の支援、過去の事例表示の支援を受けるとことにより、気づかなかった点を認識することができ、より適切な手術を行うことができる。また、例えば経験が浅い術者は、その場に経験豊富な医師が不在であっても、支援システムにより行われる支援をもとに、より適切な手術を行うことができる。

従来は、高機能の支援システムがあっても、その機能を使いこなすために、操作者がシステムを熟知し状況に応じた操作を行う必要があった。これに対し、本実施形態の支援システムでは、ライブ画像である第１の画像をもとに、その状況に適した強調画像表示等の支援が自動的に行われるので、手術状況に応じた画像を表示するための煩雑な操作等が不要となる。

図１及び図２は、支援システム１００の構成を示す概略図である。図１はデータベース作成時の支援システム１００の構成を示し、図２はデータベース利用時の支援システム１００の構成を示す。図３は、支援システム１００の一部を構成する内視鏡手術システム５０００の構成を示す概略図である。図４は、図３に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。尚、データベース作成時及び利用時それぞれの支援システム１００の構成についての詳細は後述する。

支援システム１００は、メタデータが格納されたメタデータのデータベース１１０と、該メタデータのデータベース１１０に格納されたメタデータに対応づけられたパラメータが格納されたパラメータのデータベース１２０と、制御部５０６３と、物体認識画像処理部１３０を具備する。

メタデータのデータベース１１０には、過去の手術結果や検査結果より得られた状況のメタデータが予め格納される。パラメータのデータベース１２０には、メタデータに対応づけられて、そのメタデータ（状況）に対して行われた支援がパラメータとして予め格納される。

メタデータのデータベース１１０には、画像に係る状況のメタデータと装置に係る状況のメタデータが格納されている。

画像に係る状況のメタデータには、手技の種類、目的（術式）、術具の有無、術具の画像中の位置、手術対象の部位である患部の画像中の位置、対象患部（注目するべき臓器）の種類、患部（手技の状況）の種類等があり、更に、術部の色成分（Ｒ、Ｇ、Ｂ）、画像勾配情報、テクスチャパターン等といった患部を含む術部の検出結果といったものがある。画像に係る状況のメタデータは、物体認識画像処理部１３０により画像処理分野の物体認識技術を用いて認識される画像認識結果を基に生成される。

装置に係る状況のメタデータには、術部を撮像するカメラの位置・角度情報、照射光の光源の種類、手術機器の操作情報等といったものがある。

１つの画像（状況）には、複数の画像に係る状況のメタデータと、複数の装置に係る状況のメタデータとが対応づけられる。

ここで、手技の種類には、例えば胃癌、胃ポリープ、胃内の異物、尿管結石、消化管出血などがあり、対象臓器と患部の種類等を示す。また、目的（術式）には、例えば、ポリペクトミー術、粘膜切除術、粘膜下層剥離術、ステント留置術、止血術、切開術、結石等の破砕・摘出術、乳頭バルーン拡張術、ドレナージ術、異物等の摘出術、検査等がある。対象患部（注目するべき臓器部分）には、例えば幽門部、胃体部、噴門部、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸等があり、対象臓器中の患部の位置を示す。患部（手技の状況）の種類には、例えば、腺腫性ポリープ、過形成性ポリープ、胃底腺ポリープ、炎症性ポリープ、癌、異物、炎症、結石、出血等がある。

パラメータには、画質調整パラメータ、カメラの照射光の切り替えや撮像画像の倍率や焦点の調整等のカメラヘッドの動作等を制御して撮像条件を変更するカメラの制御パラメータ、過去映像を参照するための過去映像のパラメータ、危険を示すイベント情報のパラメータ、アドバイスや警告等の報知のパラメータ等がある。

［内視鏡手術システム］
次に、内視鏡手術システム５０００について説明する。

図３は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図３では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図３では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図４を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図４は、図３に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図４を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

図５は、図３におけるＣＣＵ５０３９のハードウェア構成の一例を示す説明図である。ＣＣＵ５０３９は、例えばＦＰＧＡ（Field-programmable gate array）ボード６００１と、ＣＰＵ６００５と、ＧＰＵボード６００２、６００３と、メモリ６００４と、ＩＯコントローラ６００６と、記録媒体６００７と、インタフェース６００８とを備える。また、ＦＰＧＡボード６００１、ＣＰＵ６００５、およびＧＰＵボード６００２、６００３は、例えばバス６００９で接続される。ＦＰＧＡボード６００１は、例えばＦＰＧＡと図３の内視鏡５００１から入力画像信号が入力される入力インタフェースと、図３の表示装置５０４１に出力画像信号が出力される出力インタフェースを含む。

ＣＰＵ６００５と、ＧＰＵボード６００２、６００３とは、例えば、関連するソフトウェアなどの各種ソフトウェアを実行して、様々な処理を行う。ＣＰＵ６００５は、プロセッサを備えている。ＧＰＵボード６００２、６００３それぞれは、ＧＰＵ（Graphics Processing Unit）とＤＲＡＭ（Dynamic Random Access Memory）を備えている。

メモリ６００４には、例えば、内視鏡５００１から入力画像信号に対応するデータや、表示装置５０４１への出力画像信号に対応するデータなど、様々なデータが記憶される。ＣＰＵ６００５は、メモリ６００４への各種データの書き込みや読み出しを制御する役目を果たす。

ＣＰＵ６００５は、メモリ６００４に記憶させたデータと、ＧＰＵボード６００２、６００３の処理能力と、処理内容に応じて、メモリ６００４に記憶された画像データを分割する。そして、ＧＰＵボード６００２、６００３のそれぞれのＧＰＵは、分割されて供給されてくるデータに所定の処理を施し、処理結果をＣＰＵ６００５に出力する。

ＩＯコントローラ６００６は、例えば、ＣＰＵ６００５と、記録媒体６００７およびインタフェース６００８との間の信号の伝達を制御する役目を果たす。

記録媒体６００７は、記憶部（図示せず）として機能し、画像データや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体６００７としては、例えば、ソリッドステートドライブなどが挙げられる。また、記録媒体６００７は、ＣＣＵ５０３９から着脱可能であってもよい。

インタフェース６００８としては、例えば、ＵＳＢ（Universal Serial Bus）端子および処理回路や、ＬＡＮ（Local Area Network）端子および送受信回路などが挙げられる。

なお、ＣＣＵ５０３９のハードウェア構成は図５に示す構成に限られない。例えば、図５では、ＧＰＵボード６００２、６００３が２枚である例が示されているが、２枚以上の枚数であってもよい。また、ＣＰＵ６００５がＧＰＵの機能を有している場合には、ＣＣＵ５０３９は、ＧＰＵボード６００２、６００３を備えていなくてもよい。

本開示に係る支援システムは、内視鏡手術システムや内視鏡検査システムに好適に適用される。内視鏡手術システムに本開示に係る技術を適用することにより、手術の状況に適した画像を得ることができるため、手術をより安全にかつより適切に行うことができる。また、内視鏡検査し済む手に本開示係る技術を適用することにより、より確実な診断を行うことができる。

［データベース作成時の支援システムの構成］
図１、図３及び図４を用いて説明する。図１は、データベース作成時の支援システム１００の構成を示す概略図である。ここでは、メタデータ及びパラメータそれぞれのデータベースを作成する場合について説明する。

図１に示すように、データベース作成時の支援システム１００は、内視鏡手術システム５０００と、物体認識画像処理部１３０と、メタデータのデータベース１１０と、パラメータのデータベース１２０と、モニタ１４０とを具備する。

図３では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。カート５０３７には、表示装置５０４１、ＣＣＵ５０３９等が搭載される。図４に示すように、ＣＣＵ５０３９は、制御部５０６３と、通信部５０５９と、画像処理部５０６１とを備える情報処理装置である。

データベース作成時の支援システム１００において、表示装置５０４１には、内視鏡５００１により撮像された第１の画像が表示され、モニタ１４０には、表示装置５０４１に表示された画像と同じものが表示される。モニタ１４０は、術室とは異なる部屋に載置され、支援者（専門医や経験豊富な医師等）１５０によりモニタ１４０の表示が確認可能となっている。また、支援者１５０により術部の撮像条件等が変更可能に構成されている。

データベース作成時の支援システム１００では、術者（医師）５０６７が内視鏡手術システム５０００を用いて患者に手術を行っている様子を、支援者１５０がモニタ１４０を通じて観察し、その状況に適した支援を行うことにより、データベースが作成される。

支援者１５０は、モニタ１４０に表示される第１の画像を見ながら、その手術状況に適した画像表示となるように、倍率や焦点の調整、照射光の切り替え等の撮像条件を変更する支援を行う。支援者１５０によって行われた支援に基づいて撮像され取得された第２の画像は表示装置５０４１に表示される。また、支援者１５０は、その手術状況に適したアドバイスや警告等を表示装置５０４１に表示させて報知する支援等を行う。

データベース作成時の支援システム１００において、制御部５０６３は、物体認識画像処理部１３０で認識された第１の画像の画像認識結果を基に状況のメタデータを生成し、メタデータのデータベース１１０に格納する。そして、制御部５０６３は、パラメータのデータベース１２０に、このメタデータ（状況）に対応づけて、その状況に対して支援者１５０が行った支援のパラメータを格納する。

メタデータのデータベース１１０には、手技の種類、目的、術具の画像中の位置、手術対象の部位である患部の画像中の位置、対象患部（注目するべき臓器）の種類、患部（病変部位）の種類等のメタデータ、術部の色成分（Ｒ、Ｇ、Ｂ）、画像勾配情報、テクスチャパターン等といった患部を含む術部の検出結果などのメタデータといった画像に係る状況のメタデータ、及び、術部を撮像するカメラの位置・角度情報、照射光の光源の種類、手術機器の操作情報等といった装置に係る状況のメタデータが格納される。

画像に係る状況のメタデータは、物体認識画像処理部１３０で認識された画像認識結果を基に生成される。物体認識画像処理部１３０は、患部や術具等といった物体の特徴を示す情報を予め保持しており、カメラヘッド５００５に備えられる撮像部５００９によって撮像された手術対象の部位を含む術部の画像（第１の画像）から、予め保持された特徴を抽出し認識する。物体認識画像処理部１３０による物体認識は、既知の画像処理分野の物体認識技術を用いて行うことができる。

パラメータのデータベース１２０には、メタデータ（状況）に対応づけられた、画質調整パラメータ、カメラの照射光の切り替えや倍率、焦点の調整等のカメラヘッドの動作等を制御するカメラの制御パラメータ、過去映像を参照するための過去映像表示のパラメータ、危険を示すイベント情報表示のパラメータ、アドバイスや警告等の報知のパラメータ等が格納される。

制御部５０６３は、物体認識画像処理部１３０で認識された画像認識結果を基にメタデータを生成し、メタデータのデータベース１１０に格納する。そして、制御部５０６３は、状況（メタデータ）に対して支援者１５０により行われた支援をパラメータとして、そのメタデータに対応づけして、パラメータのデータベース１２０に格納する。

ここで、モニタ１４０に表示された画像が大腸のポリープであり、支援者１５０によって、大腸のポリープの拡大表示及び特殊光での観察の画像となるように、カメラの倍率や焦点の調整、術部に照射される照射光の種類を特殊光に変更するという撮像条件の変更が行われた場合を例にあげて説明する。

このような場合、物体認識画像処理部１３０で、患部の位置、術部の色成分（Ｒ、Ｇ、Ｂ）、画像勾配情報、テクスチャパターン等の状況が画像認識される。制御部５０６３は、この画像認識結果及び予め術者によって入力されている手技の種類（ここでは大腸ポリープ）等を基にメタデータを生成し、メタデータのデータベース１１０に格納する。そして、このメタデータに対応づけて、支援者１５０によって行われた撮像条件の変更（カメラの制御）し、この変更した撮像条件下で撮像して取得される第２の画像を表示するというパラメータを、パラメータのデータベース１２０に格納する。このようにメタデータ及びパラメータのデータベースが作成される。

尚、本実施形態においては、術者５０６７以外の支援者１５０によって支援が行われた例をあげたが、術者５０６７自身が経験豊富な医師の場合、術者５０６７自身が支援者となって、術者５０６７が行った操作等をパラメータとして、データベースを作成してもよい。また、ここでは、手術を例にあげて説明したが、検査にも適用できる。例えば、経験豊富な医師が検査を行い、第１の画像に示される状況をメタデータとして、このメタデータに対して医師が行った操作をパラメータとしてデータベースを作成してもよい。

また、ここでは、支援者が手術をリアルタイムで観察し支援を行ってデータベースを作成する例をあげたが、これに限定されない。例えば、支援者が、術者により既に行われた手術の映像をみながら、その手術状況に応じた支援を提案してデータベースを作成してもよい。支援としては、上述のような照射光の切り替えや倍率、焦点調整などのカメラ制御、アドバイスや警告等の報知以外に、過去の類似の状況で生じた危険なイベントの画像や映像の表示、過去の類似の状況の手術の画像や映像の表示等がある。

［データベース利用時の支援システム］
次に、上述のように作成された支援システム１００を利用する場合について説明する。図２は、データベース利用時の支援システム１００の構成を示す概略図である。上述と同様の構成については同様の符号を付し、説明を省略する場合がある。

図２に示すように、データベース利用時の支援システム１００は、内視鏡手術システム５０００と、物体認識画像処理部１３０と、メタデータのデータベース１１０と、パラメータのデータベース１２０とを具備する。本実施形態においては、術中に、より専門の医師から例えば画像の画質調整操作等のアドバイスといった支援を受けずとも、支援システム１００により術者に対して自動的に支援が行われることが可能となっている。

メタデータのデータベース１１０には、上述のデータベース作成方法により作成された、過去の手術結果等より得られた状況のメタデータが予め格納されている。パラメータのデータベース１２０には、メタデータ（状況）に対応づけられた、状況に対して行われた支援のパラメータが予め格納されている。メタデータのデータベース１１０及びパラメータのデータベース１２０それぞれに格納されるメタデータ及びパラメータについては前述したため、ここでは説明を省略する。

制御部５０６３は、手術対象の部位を含む術部を撮像することにより得られる第１の画像を基に物体認識画像処理部１３０が画像認識した画像認識結果とメタデータとを参照して、画像認識結果に近い状況のメタデータを算出し、この算出したメタデータに対応づけられたパラメータを抽出する。そして、そのパラメータに従って、例えば画像の画質調整、カメラの照射光の切り替えや倍率、焦点の調整等のカメラの制御、画質調整後やカメラ制御後の第２の画像の表示、類似の状況で生じた過去の危険なイベントの画像や映像の表示、類似の状況の過去の手術映像の表示、アドバイスや蛍光等の報知等の支援が行われる。

次に、上述の支援システム１００によりなされる具体的な支援について、以下、第１〜第８の実施形態で説明する。

以下の実施形態において、上述の支援システムを用いた内視鏡下手術（又は検査）では、カメラヘッド５００５の挿入部が患者の体内に挿入され、カメラヘッド５００５の挿入部の先端から照射された光により患者の術部が照射された状態で撮像部５００９によって術部が撮像される。カメラヘッド５００５の体内への挿入、術部の撮像については、下記のいずれの実施形態においても同様であるため、記載を省略する。

表示装置５０４１には、基本的に、通常光（白色光）のもと撮像部５００９により撮像されたライブ画像（第１の画像）と、この第１の画像が示す状況に適した術者５０６７に対して支援となる画像（第２の画像）等が表示される。術者５０６７は、表示装置５０４１に表示される画像を見ながら手術又は検査、診断を行う。

＜第１の実施形態＞
胃の内視鏡検査を例にあげて説明する。本実施形態では、胃炎の炎症状態を強調表示する支援が行われる例をあげて説明する。

図６は胃の内部の画像を示す。図６（ａ）は撮像部５００９によって撮像された出術対象の部位（患部）を含む術部の画像（第１の画像）である。図６（ｂ）は、制御部５０６３によって抽出されたパラメータに従って、第１の画像が画質調整されてなる第２の画像であり、術者５０６７に対して支援となる画像である。ここで、第１の画像とは、通常光（白色光）を術部に照射して撮像して取得される画像のことを示し、通常光による観察は術部を自然な色合いで観察することが可能である。第２の画像とは、第１の画像を基に、その状況に適した支援がなされた画像のことであり、以下同様である。

第１の画像及び第２の画像は、表示装置５０４１に表示される。第１の画像は、ＣＣＵ５０３９の画像処理部５０６１にて画像の輪郭調整、画面の明るさ、コントラスト等が調整されて表示される。

胃の内視鏡検査というように目的や対象臓器等が明確になっている場合、検査前に、予め、それら情報は、内視鏡手術システム５０００に入力される。

制御部５０６３は、物体認識画像処理部１３０に、撮像部５００９によって撮像された第１の画像から特徴を抽出させて画像認識させる。制御部５０６３は、画像認識結果と類似する状況のメタデータを、メタデータのデータベース１１０から算出する。

次に、制御部５０６３は、算出したメタデータに対応づけられた画質調整のパラメータをパラメータのデータベース１２０から抽出する。制御部５０６３は、画像処理部５０６１に、この抽出した画質調整のパラメータに従って第１の画像を画像処理させ第２の画像を生成させる。生成された第２の画像は表示装置５０４１に表示させる。

本実施形態では、メタデータとして、手技の種類（本実施形態では胃炎）、目的（本実施形態では検査）、術部の色成分（Ｒ、Ｇ、Ｂ）、画像勾配情報、テクスチャパターン等といった患部を含む術部の検出結果を用いる。そして、このメタデータには、ＬＣＩ（登録商標。Linked Color Imaging）の画質調整のパラメータが対応づけられている。ＬＣＩは、粘膜色に近い色の彩度差、色相差を拡張する画像処理を行い、わずかな色の違いを強調する画像処理を行うことができるものである。

図６において、正常な粘膜との色の違いがある領域を斜線で埋めて表示しており、斜線の線間隔が広いほど正常な粘膜との色の違いがあまりない状態を示す。図６（ａ）に示すように、画質調整前の第１の画像は、正常な粘膜と炎症のある粘膜（患部）７００１とのわずかな色の違いがわかりにくく、患部か否かの見分けがつきにくい。これに対し、図６（ｂ）に示すように、画質調整された第２の画像は、粘膜のわずかな色の違いが強調されるように画像処理されている。これにより、術者５０６７は、図６（ｂ）に示される、患部７００１が強調表示された第２の画像をみて、炎症の状態及び炎症の範囲をより正確に把握することができ、より適切な診断を行うことができる。

一般に、画質調整の切り替えはユーザによって手動で行なわれており、例えば手術中に頻繁に画質調整をすることは現実的ではない。
これに対し、本実施形態における支援システムでは、撮像部５００９によって撮像された第１の画像とメタデータを基に、術部の状況に応じたパラメータが抽出され、このパラメータに従って第１の画像の画質調整が行われて自動的に第２の画像が生成され、表示される。従って、術者５０６７は画質調整操作に手を煩わされることなく、自動的に表示された第２の画像をみて手術や、検査、診断を行うことができる。

＜第２の実施形態＞
内視鏡下直腸ポリープ粘膜切除術を例にあげて図７〜図９を用いて説明する。本実施形態では、ポリープが存在するという状況の場合に、照射光を切り替え、かつ、倍率、焦点を調整してポリープを拡大表示する支援が行われる。

図７〜図９は大腸ポリープを有する大腸内部の画像を示す。
図７（ａ）は撮像部５００９によって撮像された出術対象の部位（患部）７００２の画像（第１の画像）を示す。図７（ｂ）は、制御部５０６３によって抽出されたパラメータに従って取得された第２の画像を示し、患部７００２の拡大表示画像である。

図８（ａ）は撮像部５００９によって撮像された、他の症例である出術対象の部位（患部）７００３の画像（第１の画像）を示す。図８（ｂ）は、制御部５０６３によって抽出されたパラメータに従って取得された第２の画像を示し、患部７００３の拡大表示画像である。

図９（ａ）は撮像部５００９によって撮像された、更に他の症例である出術対象の部位（患部）７００４を含む術部の画像（第１の画像）を示す。図９（ｂ）は、制御部５０６３によって抽出されたパラメータに従って取得された第２の画像を示し、患部７００４の拡大表示画像である。

図７（ａ）、図８（ａ）において、点線で囲まれた領域がポリープ（患部）であり、図７（ｂ）、図８（ｂ）は、このポリープの拡大表示画像に相当する。

まず、直腸ポリープ粘膜切除術というように手技の種類、目的、対象患部等が明確になっている場合、術前に、予め、それら情報は、内視鏡手術システム５０００に入力される。

制御部５０６３は、物体認識画像処理部１３０に撮像部５００９によって撮像された第１の画像から特徴を抽出させ画像認識をさせる。制御部５０６３は、画像認識結果と類似する状況のメタデータを、メタデータのデータベース１１０から算出する。

次に、制御部５０６３は、算出したメタデータに対応づけられたカメラ制御のパラメータをパラメータのデータベース１２０から抽出する。制御部５０６３は、この抽出されたカメラ制御のパラメータに従って、撮像画像の倍率及び焦点を調整し、照射光をＮＢＩ（狭帯域光観察）に切り替えるという撮像条件の変更を行う。そして、制御部５０６３は、変更後の撮像条件下で撮像部５００９に術部を撮像させ第２の画像を取得し、これを表示装置５０４１に表示させる。第２の画像は、第１の画像の画像認識結果を基にポリープの中心位置を中心として拡大表示されるよう制御される。

本実施形態では、メタデータとして、手技の種類（本実施形態では大腸ポリープ）、目的（本実施形態では切除）、対象患部（本実施形態では直腸）、術部の色成分（Ｒ、Ｇ、Ｂ）、画像勾配情報、テクスチャパターン等といった患部を含む術部の検出結果等を用いる。そして、このメタデータには、ポリープを拡大表示するための倍率及び焦点の調整、及び、ＮＢＩ（狭帯域光観察）のための照射光の狭帯域光への切り替えといったカメラの制御パラメータが対応づけられている。

第２の画像は、ポリープが拡大表示された画像であり、照射光にＮＢＩを用いることにより表層血管が強調された画像となる。術者５０６７は、この第２の画像よりポリープの状態及びポリープの範囲をより正確に確認することができる。従って、ポリープを必要以上に大きく切除したり、反対に小さく切除してポリープを取り残してしまうといったことが生じることを防ぐことができ、より適切な手術が可能となる。

一般に、術者５０６７は、大腸内でカメラヘッドを移動させてポリープを見つけ、それを拡大し、撮影方法を変更（照射光の変更）するという手順を踏む操作を行う必要があるが、このような操作は煩雑であり、術中に、大腸の内壁全てにこの操作を行うことは困難である。

これに対し、本実施形態における支援システムでは、撮像部５００９によって撮像された第１の画像とメタデータを基に、手術状況に適したパラメータが抽出され、このパラメータに従って、自動的に、カメラの倍率、焦点制御、照射光切り替え動作が行われて第２の画像が生成され、表示される。

従って、術者５０６７が大腸内でカメラヘッド５００５を移動させるだけで、支援システム１００により、ポリープが見つけ出され、更に、自動的に撮像条件が変更されて観察に適した状態のポリープの拡大表示画像を得ることができる。これにより、術中に煩雑な作業を行う必要がなく、適切な手術を行うことができる。

＜第３の実施形態＞
第２の実施形態と同様に内視鏡下直腸ポリープ粘膜切除術を例にあげて図１０〜図１２を用いて説明する。本実施形態では、メタデータを算出するための第１の画像の画像認識結果とメタデータとの類似判定の一例を説明する。

また、第３の実施形態では、１つの表示装置５０４１に、第１の画像を主画面として表示させ、抽出されたパラメータに従って画質調整された第２の画像を副画面として表示させている。

図１０は、メタデータを算出するための第１の画像の画像認識結果とメタデータの類似判定に係る情報処理方法を示す図である。図１１は、表示装置５０４１に表示される画面を示す図である。図１２は、撮像部５００９によって撮像された出術対象の部位（患部）を含む術部の画像（第１の画像）の画像認識結果とメタデータとの類似判定を説明するための図である。

以下、図１０のフローに従って、説明する。
内視鏡下直腸ポリープ粘膜切除術というように手技の種類、目的、対象患部等が明確になっている場合、術前に予め術者５０６７によって、それら情報は、内視鏡手術システム５０００に入力される（Ｓ１０１）。

表示装置５０４１には、主画面に患部（本実施形態においてはポリープ）７００５を含む術部の画像（第１の画像）、副画面にポリープ７００５の拡大表示画像（第２の画像）が表示されている。

制御部５０６３は、物体認識画像処理部１３０に撮像部５００９によって撮像された第１の画像から特徴を抽出させ画像認識をさせる。制御部５０６３は、この画像認識結果とメタデータとの類似判定を行う。

ここで、画像認識結果とメタデータの類似判定方法について図１２を用いて説明する。
図１２に示すように、制御部５０６３は、第１の画像を複数の画像ブロックにわけ、画像ブロック毎に、物体認識画像処理部１３０に画像認識させる。

本実施形態では、メタデータに、手技の種類（本実施形態では大腸ポリープ）、目的（本実施形態では粘膜切除術）、対象患部（本実施形態では直腸）、患部の種類（本実施形態では腺腫性ポリープ）、術部の色成分（Ｒ、Ｇ、Ｂ）、画像勾配情報、テクスチャパターン等といった患部を含む術部の検出結果等を用いる。

制御部５０６３は、画像ブロック毎に、画像認識結果に類似するメタデータを算出し、画像認識結果に類似するメタデータの状況番号を付与する。
制御部５０６３は、付与した状況番号のうち、画像ブロックの数が多い状況番号とその状況番号が付与された画像ブロックの重心位置を算出する（Ｓ１０２）。

ここで状況番号とは、手技の種類、目的、対象患部等のメタデータが共通し、術部の検出結果のメタデータが異なる、複数の状況を区別するために付される番号である。例えば大腸ポリープを例にあげると、大腸ポリープでも様々な形状、大きさ、状態があり、複数の状況が存在する。状況番号は、このような複数の状況を区別するために付される。

図１２において、０が表示されている画像ブロックは、類似するメタデータがないことを示す。１が表示されている画像ブロックは、状況１に係るメタデータが画像認識結果に類似することを示す。２が表示されている画像ブロックは、状況２に係るメタデータが画像認識結果に類似することを示す。×が表示されている画像ブロックは、状況１と状況２のうち最も数が多い状況の画像ブロックの重心を示す。

図１２に示すように、Ｓ１０２において、第１の画像を複数の画像ブロックにわけ、画像ブロック毎に画像認識結果が算出され、画像ブロック毎に、画像認識結果とメタデータが参照されて、類似するメタデータの状況番号が付与される。図１２に示すように、状況番号１が最も多く付されており、この最も多い状況番号１が付されている画像ブロックの重心位置（図上、×で示される位置）が算出される。

次に、制御部５０６３は、最も多い状況番号の数、本実施形態においては状況番号１の数が閾値以上であるか否かを判定する（Ｓ１０３）。

Ｓ１０３でＹｅｓと判定すると、制御部５０６３は、状況番号１のメタデータに対応づけされているパラメータに従って、撮像条件を変更し、算出した重心位置が中心となるように術部を撮像して第２の画像を取得し、表示装置５０４１に表示させる（Ｓ１０４）。図１２に示すように、表示装置５０４１には、第１の画像が主画面として、第２の画像が副画面として表示される。

Ｓ１０３でＮｏと判定すると、制御部５０６３は、既に副画面に表示されている画像を保持させる（Ｓ１０５）。これにより、術者５０６７は、例えば、患部が強調表示され、拡大表示された第２の画像をみて手術を行うことができ、より適切な手術を行うことができる。

＜第４の実施形態＞
内視鏡下直腸ポリープ粘膜切除術を例にあげて図１３、図１４を用いて説明する。本実施形態では、第１の画像に示される状況が過去の危険なイベントと類似した場合、過去の危険なイベント時の映像を表示し、再生する支援が行われる。ここでは、過去の危険なイベントが生じたときの状況に係るメタデータに、過去の危険なイベント時の映像の表示というパラメータが対応づけられている。尚、ここでは類似状況下で生じた過去の危険なイベント時の映像を参考映像として表示することを例にあげたが、危険なイベント時の映像や画像に限定されず、類似状況下で過去行われた参考となる手術の映像や画像を参考映像や画像として表示してもよい。

図１３は、本実施形態に係る情報処理方法を示す図である。図１４は、表示装置５０４１に表示される画面を示す図である。

以下、図１３のフローに従って、説明する。
まず、直腸ポリープの内視鏡下手術というように手技の種類、目的、対象患部等が明確になっている場合、術前に予め術者５０６７によって、それら情報は、内視鏡手術システム５０００に入力される。（Ｓ２０１）。

制御部５０６３は、第３の実施形態と同様に、画像ブロックごとに、物体認識画像処理部１３０に撮像部５００９によって撮像された第１の画像から特徴を抽出させて画像認識させる。制御部５０６３は、画像ブロック毎に、画像認識結果に類似するメタデータを算出し、類似するメタデータの状況番号を付与する。

制御部５０６３は、付与した状況番号のうち付与した画像ブロックの数が多い状況番号を算出する（Ｓ２０２）。次に、制御部５０６３は、最も多い状況番号の数が閾値以上であるか否かを判定する（Ｓ２０３）。

Ｓ２０３でＹｅｓと判定すると、制御部５０６３は、第１の画像に示された状況（画像認識結果）が、数が最も多い状況番号が付与されている状況番号の過去の危険なイベント状況（メタデータ）と類似しているとし、このメタデータに対応づけられているパラメータである、過去の危険なイベント時、例えば出血等の参考映像を、表示装置５０４１に表示させる（Ｓ２０４）。

図１４に示すように、表示装置５０４１には、撮像部５００９によって撮像されるライブ画像である第１の画像が主画面に表示され、過去の危険なイベント時の参考映像７００６が副画面に表示される。この過去の危険なイベント時の参考映像はループ再生される。図１４中、符号７００５はポリープを示す。

Ｓ２０３でＮｏと判定すると、制御部５０６３は、既に副画面に表示されている画像を保持させる（Ｓ２０４）。

これにより、術者５０６７は、例えば出血等の過去の危険なイベント時の参考映像を参照することにより、危険を予測し、それを回避するよう、より適切な手術を行うことができる。

＜第５の実施形態＞
内視鏡下大腸ポリープ粘膜切除術を例にあげて図１５、図１６を用いて説明する。手術中、電気メスで患部を焼くときに生じる煙などで視界不良となる場合がある。本実施形態では、ライブ画像である第１の画像が視界不良の状態となった状況の場合、視界不良となる前の第１の画像を副画面に表示させる支援が行われる。ここでは、過去の視界不良となった状況に係るメタデータに、視界不良となる前の第１の画像を副画面に表示させるというパラメータが対応づけされる。

図１５は、本実施形態に係る情報処理方法を示す図である。図１６は、表示装置５０４１に表示される画面を示す図である。

以下、図１５のフローに従って、説明する。
まず、大腸ポリープの内視鏡下手術というように手術の目的及び術式の種類と、対象臓器と対象術部が明確になっている場合、術前に予め術者５０６７によって、それら情報は、内視鏡手術システム５０００に入力される（Ｓ３０１）。

表示装置５０４１には、主画面に患部（本実施形態においてはポリープ）を含む術部の画像（第１の画像）７００７、副画面には例えば第２の実施形態の第２の画像の取得方法によって取得された第２の画像（ポリープの拡大表示画像）が表示される。ここで、術中に、電気メスで焼くときに生じる煙などで視界不良となったとする。

制御部５０６３は、第３の実施形態と同様に、画像ブロック毎に、物体認識画像処理部１３０に撮像部５００９によって撮像された第１の画像から特徴を抽出させ画像認識させる。制御部５０６３は、画像ブロック毎に、画像認識結果に類似するメタデータを算出し、類似するメタデータの状況番号を付与する。制御部５０６３は、付与した状況番号のうち画像ブロックの数が多い状況番号を算出する（Ｓ３０２）。次に、制御部５０６３は、最も多い状況番号の数が閾値以上であるか否かを判定する（Ｓ３０３）。

Ｓ３０３でＹｅｓと判定すると、制御部５０６３は、第１の画像に示された状況（画像認識結果）が、視界不良の状況（メタデータ）と類似しているとし、このメタデータに対応づけされているパラメータに従って、視界不良となる前の第１の画像を副画面に表示させる（Ｓ３０４）。図１６に示すように、表示装置５０４１には、撮像部５００９によって撮像される視界不良となっているライブ画像である第１の画像７００７が主画面に表示され、視界不良となる前の第１の画像が第２の画像７００８として副画面に表示される。

Ｓ３０３でＮｏと判定すると、制御部５０６３は、既に副画面に表示されている画像を保持させる（Ｓ３０４）。

これにより、術者５０６７は、視界不良が発生しても、視界不良となる前の画像をみることにより、視界を確保することができる。

＜第６の実施形態＞
内視鏡下手術でのステープラによる体腔内吻合を例にあげて図１７、図１８を用いて説明する。手術中、組織をステープラで吻合する際、ステープラ先端が組織を正しく把持しておらず、吻合に失敗する場合がある。本実施形態では、第１の画像にステープラの先端が映し出されていない状況の場合、または、ステープラ先端が組織を正しく把持できていない可能性がある状況の場合に、吻合に失敗する可能性があるとして、画面上に警告を表示するという報知の支援が行われる。

図１７は、本実施形態に係る情報処理方法を示す図である。図１８は、表示装置５０４１に表示される画面を示す図である。

以下、図１７のフローに従って、再建術でステープラ７００９によって吻合する場合を例にあげて説明する。

制御部５０６３は、物体認識画像処理部１３０に、撮像部５００９によって撮像された第１の画像から特徴を抽出させ画像認識をさせる。制御部５０６３は、画像認識結果を基に類似するメタデータを算出する。ここでは、メタデータに、術具（本実施形態ではステープラ）の有無、術具の画像中の位置、周囲の状況等を用いる。

類似するメタデータの算出は、以下のＳ４０２〜Ｓ４０４に従って行われる。
制御部５０６３は、物体認識画像処理部１３０による第１の画像の画像認識結果を基に、ステープラ７００９の挿入位置、方向、先端の位置を算出する（Ｓ４０１）。次に、制御部５０６３は、算出結果を基に、第１の画像中にステープラ７００９が存在するか否かを判定する（Ｓ４０２）。第１の画像は、表示装置５０４１に表示される。

Ｓ４０２でＮｏと判定すると、処理は終了し、警告表示は行われない。
Ｓ４０２でＹｅｓと判定すると、制御部５０６３は、ステープラ７００９の先端が画面内に収まっているか否かを判定する（Ｓ４０３）。

Ｓ４０３でＮｏと判定すると、制御部５０６３は、図１８に示すように、ステープラの先端が確認できません、という警告を表示装置５０４１に表示させて報知を行う（Ｓ４０５）。

Ｓ４０３でＹｅｓと判定すると、Ｓ４０４にすすむ。Ｓ４０４では、制御部５０６３は、ステープラ７００９の先端が正しく把持できていない可能性があるか否かを判定する。
Ｓ４０４でＮｏと判定すると、処理が終了し、警告表示は行われない。Ｓ４０４でＹｅｓと判定すると、把持状態が危険です、という警告を表示装置５０４１に表示させて報知を行う（Ｓ４０６）。

本実施形態においては、ステープラが画面中に存在し（術具の有無）、ステープラ先端が画面に収まっていない（術具の画像中の位置）という状況のメタデータに、先端が確認できません、という警告表示をするという報知のパラメータが対応づけられている。
また、ステープラが画面中に存在し（術具の有無）、ステープラ先端が画面に収まっており（術具の画像中の位置）、ステープラ先端が正しく把持できていない（周囲の状況）という状況のメタデータに、把持状態が危険です、という警告表示をするという報知のパラメータが対応づけられている。

これにより、術者５０６７は、ステープラ７００９による吻合の失敗の発生を予測することができ、適切な対応をすることができる。尚、ここでは術具としてステープラを例にあげたが、これに限定されない。例えばエナジーデバイスにも応用可能である。また、ここでは、表示装置５０４１に警告を表示することにより術者５０６７に対して報知を行ったが、これに限定されず、例えば音声のよって報知してもよい。
このように、状況に適したアドバイスや警告が報知される支援が行われることにより、より適切な手術を行うことができる。

＜第７の実施形態＞
胃の内視鏡検査を例にあげて図１９、図２０を用いて説明する。本実施形態では、注目箇所が患部（病変部位）である可能性が高い状況の場合、照射光を特殊光に変更して撮像した画像強調された第２の画像が表示される支援が行われる。

図１９は、本実施形態における情報処理方法を示すフロー図である。図２０は、本実施形態における画像処理前後の術部の画像を示す図である。

図１９のフローに従って、説明する。
制御部５０６３は、物体認識画像処理部１３０に、撮像部５００９によって撮像された第１の画像から特徴を抽出させ画像認識させる。これにより、術具認識によって臓器を判別し、手技の状況等を判定する（Ｓ５０１）。

次に、制御部５０６３は、メタデータのデータベース１１０から画像認識結果と類似するメタデータを算出する。メタデータには、手技の種類、臓器の種類、手技の状況、患部（病変部）の存在確率等を用いる。

制御部５０６３は、算出したメタデータに対応づけられたパラメータに従って、観察時の照射光が制御される。算出したメタデータが、患部の存在確率、すなわち注目箇所が患部である可能性が閾値以上である場合、このメタデータには特殊光観察のパラメータが対応づけされ、観察時の照射光が特殊光となるよう制御される。一方、算出したメタデータが、患部の存在確率、すなわち注目箇所が患部である可能性が閾値よりも低いメタデータである場合、このメタデータには通常光（白色光）観察のパラメータが対応づけされ、観察時の照射光が通常光となるよう制御される。

画像認識結果と類似するメタデータの算出は、次のように行われる。制御部５０６３は、注目箇所が患部である可能性が閾値以上か否かを判定する（Ｓ５０２）。Ｓ５０２でＹｅｓと判定すると、制御部５０６３は、照射光が特殊光となるように制御する（Ｓ５０３）。一方、Ｓ５０２でＮｏと判定すると、制御部５０６３は、照射光が通常光となるように制御する（Ｓ５０４）。

図２０（ａ）は撮像部５００９により通常光照射のもと撮像された画像であり、図２０（ｂ）は特殊光照射のもと撮像された画像を示す。図２０において符号７０１０は血管を指し、符号７０１２は患部（病変部位）を指す。図２０（ａ）において画像上識別しにくい血管７０１０を点線で図示している。図２０に示すように、通常光観察では患部７０１２及び血管７０１０が明瞭でなかったものが、特殊光観察では血管７０１０の識別が可能となり、患部７０１２の位置が特定しやすい画像表示となった。特殊光撮影による画像は表示装置５０４１に表示される。このように特殊光撮影への切り替えにより強調された画像を得ることができ、より正確な診断を行うことができる。

＜第８の実施形態＞
手術中、出血量が多く、組織の識別が困難となった場合を例にあげて図２１、図２２を用いて説明する。本実施形態では、出血により組織の識別が困難な状況の場合、照射光を血液透過用特殊光として撮像が行なわれ、出血部分が取り除かれ組織の識別が明瞭となった第２の画像が表示される支援が行われる。

図２１は、メタデータの算出に係る情報処理方法を示す図である。図２２は、本実施形態における画像処理前後の術部の画像を示す図である。

図２１のフローに従って、説明する。
制御部５０６３は、物体認識画像処理部１３０に、撮像部５００９によって撮像された第１の画像から特徴を抽出させ画像認識させる。これにより、術具認識によって臓器を判別し、手技の状況等を判定する（Ｓ６０１）。

制御部５０６３は、画像認識結果を基に、血液量を算出する。また、制御部５０６３は、メタデータのデータベース１１０から画像認識結果と類似するメタデータを算出し、許容血液量を算出する（Ｓ６０２）。メタデータには、手技の種類、臓器の種類、手技の状況、許容血液量等を用いる。

制御部５０６３は、第１の画像の画像認識結果を基に算出された血液量と、Ｓ６０２で算出した許容血液量とを比較し、血液量が閾値以上、すなわち許容血液量よりも多いか否かを判定する（Ｓ６０３）。

Ｓ６０３でＹｅｓと判定すると、制御部５０６３は、照射光が血液透過用特殊光となるように制御する（Ｓ６０４）。一方、Ｓ６０３でＮｏと判定すると、制御部５０６３は、照射光が通常光となるように制御する（Ｓ６０５）。

本実施形態では、血液量が許容血液量よりも多いという状況のメタデータに、照射光を血液透過用特殊光とするカメラ制御のパラメータが対応づけられる。一方、血液量が許容血液量以下という状況のメタデータに、照射光を通常光とするカメラ制御のパラメータが対応づけられる。

図２２（ａ）は撮像部５００９により通常光照射のもと撮像された第１の画像であり、図２２（ｂ）は血液透過用特殊光照射のもと撮像された第２の画像を示す。図２２において符号７０１３は血液を指し、符号７０１４は組織を指す。図２２に示すように、通常光観察では組織７０１４は血液７０１３により隠れて見えなかったものが、血液透過要特殊光観察では血液７０１３が除かれた組織７０１４の識別が可能な第２の画像となった。このように血液透過用特殊光撮影への切り替えにより組織が強調された画像を得ることができ、手術がより適切に行われる。

血液透過用特殊光には、ＩＲ（Infrared）光を用いることができる。常時ＩＲ光を用いてもよいし、ＩＲ光と通常光である白色光のフレームシーケンシャル方式の光でもよい。

＜第９の実施形態＞
胃癌の内視鏡下手術を例にあげて図２３〜図２５を用いて説明する。胃癌手術の際、胃壁に張り付いた脂肪中のリンパ節廓清を行う場合、胃壁と脂肪の境目がわかりにくく、脂肪剥離作業中に胃壁を傷つけて出血させてしまう場合がある。本実施形態では、画像内の脂肪の占有率がある値よりも大きくなった状況の場合に、胃壁と脂肪との境目がわかりやすくなるように表示させる支援が行われる。

図２３は、メタデータの算出に係る情報処理方法を示すフロー図である。図２４は、脂肪強調処理計算を説明するための図である。図２５は、本実施形態における表示装置５０４１に表示される画面を示す図である。

制御部５０６３は、物体認識画像処理部１３０に撮像部５００９によって撮像された第１の画像から特徴を抽出させ画像認識させる。

制御部５０６３は、メタデータのデータベース１１０から画像認識結果と類似するメタデータを算出する。メタデータには、手技の種類、脂肪の占有率、術具の有無等を用いる。脂肪占有率は、画像中の色相や構造情報等から、脂肪と判定される領域が画像中の何％に相当するかを示す。術具の有無は、剥離鉗子等の剥離用デバイスが画像中に存在するか否かを示し、例えば、存在する場合は１、存在しない場合は０というようにメタデータとして格納される。

以下に、メタデータの算出について図２３を用いて説明する。
ここでは、手技の種類が胃癌であり、脂肪占有率が５０％以上であり、画像中に術具としての剥離用デバイスが有るというメタデータに、副画面に脂肪強調処理を施した画像を表示するという画質調整のパラメータが対応づけされている。一方、手技の種類が胃癌系、脂肪占有率が５０％以上、画像中に術具としての剥離用デバイスが有るという条件が１つでも欠ける場合には、主画面に第１の画像を表示し、副画面には何も表示しないというパラメータが対応づけされている。

図２３に示すように、制御部５０６３は、手技の種類は胃癌系か否かを判定する（Ｓ７０１）。Ｓ７０１でＹｅｓと判定するとＳ７０２に進む。Ｓ７０１でＮｏと判定するとＳ７０５に進み、主画面に第１の画像を表示させ、副画面には何も表示されないよう制御を行う。

Ｓ７０２で、制御部５０６３は脂肪占有率が５０％以上か否かを判定する。Ｓ７０２でＹｅｓと判定すると、Ｓ７０３に進む。Ｓ７０２でＮｏと判定するとＳ７０５に進み、主画面に第１の画像を表示させ、副画面には何も表示されないよう制御を行う。尚、５０％という脂肪占有率の数値は一例であり、支援者によりメタデータのデータベース作成時に任意の数値を設定することが可能である。

Ｓ７０３で、制御部５０６３は剥離用デバイスが画像中に存在するか否かを判定する。Ｓ７０３でＹｅｓと判定すると、主画面に第１の画像を表示させ、副画面に脂肪強調処理を施した画像を表示させるように制御を行う（Ｓ７０４）。Ｓ７０３でＮｏと判定するとＳ７０５に進み、主画面に第１の画像が表示され、副画面には何も表示されないよう制御を行う。

図２５は、表示装置５０４１に、主画面に第１の画像が表示され、副画面に脂肪強調処理が行われた第２の画像が表示された様子を示す図である。脂肪強調処理前の第１の画像では、第１の組織としての脂肪７０１５は黄色に表示され、第２の組織としての脂肪以外の肉組織７０１６は赤色に表示される。

これに対し、脂肪強調処理された第２の画像では、脂肪７０１５は緑色で表示され、脂肪以外の肉組織７０１６は桃色に表示され、脂肪強調処理により、脂肪以外の肉組織７０１６と脂肪７０１５との境が明瞭となった画像となる。これにより、脂肪剥離作業中に誤って脂肪以外の肉組織７０１６を傷つける危険を少なくすることができる。

このように脂肪占有率のメタデータを用いることにより、脂肪が術野の大半を占めて、組織が脂肪に埋もれている場合に、第１の画像に脂肪強調処理を行って第２の画像を得ることができる。

上述の脂肪強調処理は、例えば脂肪付近の色相を中心にして、生体色全体の色相を広げることにより行われる。生体の色は黄色〜赤色〜赤紫色あたりの範囲に分布しており、ＹＣｂＣｒ空間でいうと、図２４に示すように第２象限付近に広がっている。この色分布を、色相方向に拡張する処理を実施することにより、脂肪とそれ以外の肉組織との色の差も広がり、結果として脂肪部分が強調される画像となる画質処理が行える。このような色の差を広げる処理は既知の方法で行うことができる。

上述の強調処理について説明する。
図２４において、Ｈ_１は最大生体色相、Ｈ_２は最小生体色相を示し、Ｈ_１〜Ｈ_２の範囲に生体色が分布する。肉組織７０１６及び脂肪７０１５のカラー信号値ＲＧＢを輝度、色相、彩度成分を表す値に変換すると、第１の画像における肉組織７０１６、脂肪７０１５の色相はＨ_１〜Ｈ_２の範囲（第２象限付近）に位置する。

ここで、図２４において、Ｈ_１をＨ_１１に、Ｈ_２をＨ_２２に色相を拡張する処理をするとする。拡張したい色相範囲の中で、拡張処理しても動かさない色相（中心色相付近）をＨ_０とする。一方、拡張する色相範囲外である縮小する色相範囲中で、縮小処理しても動かさない色相をＨ_００とする。図中、範囲Ａ_Ｅ、範囲Ｂ_Ｅは拡張処理をする範囲、範囲Ａ_Ｓ、範囲Ｂ_Ｓは縮小処理をする範囲である。図中、実線の曲がり両矢印８００１は拡張処理を行う範囲を示す。点線の曲がり両矢印８００２は拡張処理した結果の範囲を示す。実線の矢印８０１１は縮小処理を行う範囲を示す。点線の矢印８０１２は縮小処理した結果の範囲を示す。

このような色相を拡張する強調処理を行うことにより、脂肪以外の肉組織７０１６及び脂肪７０１５の色相が変化し、脂肪が強調表示された第２の画像を得ることができる。ここでは、輝度、彩度、色相を定義する空間としてＹＣｂＣｒ値から定義される色空間を用いたが、これに限定されない。例えば、その他の色空間値であるＹＩＱ、ＨＶＳ、ＬＣＨ等を用いても良いし、ベースとなる色空間もＲＧＢ以外のＬａｂ、Ｌｃｈ、ＸＹＺ等であってもよい。

尚、本実施形態においては、第１の組織として脂肪を例にあげ、第１の組織の第１の画像内における占有率をメタデータとして用いているが、第１の組織は脂肪に限定されず、他の組織であってもよい。この場合、状況及び第１の組織の種類に適した第１の組織の占有率の数値がメタデータとして設定される。脂肪以外に、例えば静脈や動脈などにも適用が可能である。

上述の実施形態においては、１つの表示装置５０４１に、主画面に第１の画像、副画面に第２の画像を表示していたが、これに限定されない。図２６に示すように、２台の表示装置５０４１ａ、５０４１ｂを用意し、一方の表示装置５０４１ａに第１の画像を表示させ、他方の表示装置５０４１ｂに第２の画像を表示させてもよい。また、図２７に示すように、１つの表示装置５０４１を用い、主画面の一部に副画面が重なって表示されてもよい。

なお、本技術は以下のような構成もとることができる。
（１）患部を含む術部を撮像することにより得られる第１の画像と、過去の手術又は検査より得られた状況のメタデータを基に、前記メタデータに対応づけられた前記状況に対して行われた支援のパラメータを抽出する制御部
を具備する情報処理装置。
（２）上記（１）に記載の情報処理装置であって、
前記制御部は、前記第１の画像の画像認識結果に類似する前記メタデータを算出し、算出した前記メタデータに対応づけられた前記パラメータを抽出する
情報処理装置。
（３）上記（１）又は（２）に記載の情報処理装置であって、
前記制御部は、抽出した前記パラメータに基づき、前記術部の撮像条件を変更する
情報処理装置。
（４）上記（３）に記載の情報処理装置であって、
前記制御部は、抽出した前記パラメータに基づき、前記術部に照射する照射光を変更して前記撮像条件の変更を行う
情報処理装置。
（５）上記（３）に記載の情報処理装置であって、
前記制御部は、抽出した前記パラメータに基づき、撮像時の倍率及び焦点を調整して撮像条件の変更を行う
情報処理装置。
（６）上記（３）から（５）いずれかに記載の情報処理装置であって、
前記制御部は、抽出した前記パラメータに基づき撮像条件を変更して前記術部を撮像することにより得られる第２の画像を表示装置に表示させる
情報処理装置。
（７）上記（１）又は（２）に記載の情報処理装置であって、
前記制御部は、抽出した前記パラメータに基づき、前記第１の画像を画像処理させて画質調整された第２の画像を表示装置に表示させる
情報処理装置。
（８）上記（７）に記載の情報処理装置であって、
前記術部は第１の組織と第２の組織とを有し、
前記制御部は、抽出した前記パラメータに基づき、前記第１の画像における前記第１の組織と前記第２の組織の色相差が拡張されるように画像処理させて画質調整された前記第２の画像を表示装置に表示させる
情報処理装置。
（９）上記（１）又は（２）に記載の情報処理装置であって、
前記制御部は、抽出した前記パラメータに基づき、参考となる過去の画像又は映像を表示装置に表示させる
情報処理装置。
（１０）上記（１）又は（２）に記載の情報処理装置であって、
前記制御部は、前記第１の画像と前記メタデータを基に、前記第１の画像が視界不良の状況であると判定すると、視界不良となる前に撮像された画像を表示装置に表示させるという前記パラメータを抽出する
情報処理装置。
（１１）上記（１）又は（２）に記載の情報処理装置であって、
前記制御部は、抽出した前記パラメータに基づき、支援情報を報知させる
情報処理装置。
（１２）過去の手術又は検査より得られた状況のメタデータが格納されたメタデータのデータベースと、
前記メタデータに対応づけられた前記状況に対して行われた支援のパラメータが格納されたパラメータのデータベースと、
患部を含む術部を撮像することにより得られる第１の画像の画像認識結果に類似するメタデータを前記メタデータのデータベースから算出し、算出した前記メタデータに対応づけられた前記パラメータを抽出する制御部
を具備する支援システム。
（１３）患部を含む術部を撮像することにより得られる第１の画像の画像認識結果を取得し、
過去の手術又は検査より得られた状況のメタデータが格納されたメタデータのデータベースから、前記第１の画像の画像認識結果に類似するメタデータを算出し、
算出した前記メタデータに対応づけられた、前記状況に対して行われた支援のパラメータを抽出する
情報処理方法。

１００…支援システム
１１０…メタデータのデータベース
１２０…パラメータのデータベース
５０３９…ＣＣＵ（情報処理装置）
５０４１…表示装置
５０６３…制御部
７００１、７００２、７００３、７００４、７００５、７０１２…患部
７００６…過去の危険イベント時の映像（参考となる過去の画像又は映像）
７００７…視界不良の画像（第１の画像）
７００８…第２の画像
７０１５…脂肪（第１の組織）
７０１６…脂肪以外の肉組織（第２の組織）

Claims (13)

1. 患部を含む術部を撮像することにより得られる第１の画像と、過去の手術又は検査より得られた状況のメタデータを基に、前記メタデータに対応づけられた前記状況に対して行われた支援のパラメータを抽出する制御部
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記第１の画像の画像認識結果に類似する前記メタデータを算出し、算出した前記メタデータに対応づけられた前記パラメータを抽出する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記制御部は、抽出した前記パラメータに基づき、前記術部の撮像条件を変更する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記制御部は、抽出した前記パラメータに基づき、前記術部に照射する照射光を変更して前記撮像条件の変更を行う
   情報処理装置。
5. 請求項３に記載の情報処理装置であって、
   前記制御部は、抽出した前記パラメータに基づき、撮像時の倍率及び焦点を調整して撮像条件の変更を行う
   情報処理装置。
6. 請求項３に記載の情報処理装置であって、
   前記制御部は、抽出した前記パラメータに基づき撮像条件を変更して前記術部を撮像することにより得られる第２の画像を表示装置に表示させる
   情報処理装置。
7. 請求項１に記載の情報処理装置であって、
   前記制御部は、抽出した前記パラメータに基づき、前記第１の画像を画像処理させて画質調整された第２の画像を表示装置に表示させる
   情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記術部は第１の組織と第２の組織とを有し、
   前記制御部は、抽出した前記パラメータに基づき、前記第１の画像における前記第１の組織と前記第２の組織の色相差が拡張されるように画像処理させて画質調整された前記第２の画像を表示装置に表示させる
   情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記制御部は、抽出した前記パラメータに基づき、参考となる過去の画像又は映像を表示装置に表示させる
   情報処理装置。
10. 請求項１に記載の情報処理装置であって、
    前記制御部は、前記第１の画像と前記メタデータを基に、前記第１の画像が視界不良の状況であると判定すると、視界不良となる前に撮像された画像を表示装置に表示させるという前記パラメータを抽出する
    情報処理装置。
11. 請求項１に記載の情報処理装置であって、
    前記制御部は、抽出した前記パラメータに基づき、支援情報を報知させる
    情報処理装置。
12. 過去の手術又は検査より得られた状況のメタデータが格納されたメタデータのデータベースと、
    前記メタデータに対応づけられた前記状況に対して行われた支援のパラメータが格納されたパラメータのデータベースと、
    患部を含む術部を撮像することにより得られる第１の画像の画像認識結果に類似するメタデータを前記メタデータのデータベースから算出し、算出した前記メタデータに対応づけられた前記パラメータを抽出する制御部
    を具備する支援システム。
13. 患部を含む術部を撮像することにより得られる第１の画像の画像認識結果を取得し、
    過去の手術又は検査より得られた状況のメタデータが格納されたメタデータのデータベースから、前記第１の画像の画像認識結果に類似するメタデータを算出し、
    算出した前記メタデータに対応づけられた、前記状況に対して行われた支援のパラメータを抽出する
    情報処理方法。