WO2020045015A1 - 医療システム、情報処理装置及び情報処理方法 - Google Patents

Abstract

医療システム（１）は、コヒーレント光を撮像対象に照射する第１の光照射手段（１１）と、前記コヒーレント光が照射された前記撮像対象による散乱光から得られるスペックル画像を撮像する撮像手段（１２）と、前記スペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段（１３１２）と、前記撮像対象の動きを検出する動き検出手段（１３１１）と、前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段（１３１３）と、前記スペックルコントラスト画像を表示する表示手段（１４）と、を備える。

Description

医療システム、情報処理装置及び情報処理方法

　本開示は、医療システム、情報処理装置及び情報処理方法に関する。

　例えば、医療システムなどにおいて、患者等に対して、薬剤を投与することなく、血流やリンパ流の常時観察が可能なスペックルイメージング技術の開発が進められている。ここで、スペックルとは、例えば、照射されたコヒーレント光が対象物表面の微小な凹凸等によって反射、干渉することによって斑点状のパターンが生じる現象である。このスペックルの現象に基いて、例えば、対象物である生体における血流部と非血流部を識別することができる。

　具体的には、次の通りである。露光時間をある程度長くとると、血流部ではコヒーレント光を反射する赤血球等が動くことによりスペックルコントラスト値が小さくなるのに対し、非血流部では全体が静止していてスペックルコントラスト値が大きくなる。したがって、各画素のスペックルコントラスト値を用いて生成されたスペックルコントラスト画像に基いて、血流部と非血流部を識別することができる。

特開２０１６－１９３０６６号公報

　しかしながら、スペックルイメージング技術を用いる場合、対象物である生体が体動や拍動などによって動いたり、撮像装置が何らかの原因により振動してしまったりすることがある。その場合、撮像画像中で撮像対象の全体または一部が動いてしまうことで、非血流部のスペックルコントラスト値が下がってしまい、血流部と非血流部の識別精度が低下してしまうことがある。

　そこで、本開示では、スペックルイメージング技術において、撮像画像中で撮像対象が動いた場合でも良好なスペックルコントラスト画像を生成することができる医療システム、情報処理装置及び情報処理方法を提案する。

　上記の課題を解決するために、本開示に係る一形態の医療システムは、コヒーレント光を撮像対象に照射する第１の光照射手段と、前記コヒーレント光が照射された前記撮像対象による散乱光から得られるスペックル画像を撮像する撮像手段と、前記スペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、前記撮像対象の動きを検出する動き検出手段と、前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、前記スペックルコントラスト画像を表示する表示手段と、を備える。

本開示の第１の実施形態に係る医療システムの構成例を示す図である。 本開示の第１の実施形態に係る撮像装置の構成例を示す図である。 本開示の第１の実施形態における疑似血管のＳＣ画像例を示す図である。 本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第１の実施形態に係る情報処理装置によるＳＣ画像生成処理を示すフローチャートである。 本開示の第１の実施形態における動きベクトルに基く撮像対象の動き検出の説明図である。 本開示の第１の実施形態におけるスペックル形状変化認識に基く撮像対象の動き検出の説明図である。 本開示の第１の実施形態におけるスペックルの形状変化の様子を示す模式図である。 本開示の第１の実施形態における第１関係情報を示すグラフである。 本開示の第１の実施形態における撮像対象にリファレンスマーカを設置した様子を示す模式図である。 本開示の第２の実施形態に係る情報処理装置によるＳＣ画像生成処理を示すフローチャートである。 本開示の第２の実施形態におけるＳＣ低下に基く第１のＳＣ補正方法の説明図である。 本開示の第２の実施形態におけるＳＣ低下に基く第２のＳＣ補正方法の説明図である。 本開示の第３の実施形態に係る情報処理装置によるＳＣ画像生成処理を示すフローチャートである。 本開示の第４の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第４の実施形態に係る情報処理装置によるＳＣ画像生成処理を示すフローチャートである。 本開示の第４の実施形態に係る情報処理装置による学習処理を示すフローチャートである。 本開示の応用例１に係る内視鏡手術システムの概略的な構成の一例を示す図である。 図１８に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の応用例２に係る顕微鏡手術システムの概略的な構成の一例を示す図である。 図２０に示す顕微鏡手術システムを用いた手術の様子を示す図である。 本開示の変形例における指標５の時間差分絶対値積算法を説明するための血液ファントムモデルを示す模式図である。 本開示の変形例における指標５の時間差分絶対値積算法の説明図である。 時間差分絶対値積算法を使用していないスペックルコントラスト法により生成したＳＣ画像例を示す図である。 本開示の変形例における指標５の時間差分絶対値積算法により生成したＳＣ画像例を示す図である。

　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を適宜省略する。

　脳神経外科手術や心臓外科手術などにおいて、手術時の血流観察のためにＩＣＧ（Indocyanine　Green）を用いた蛍光観察が一般的に行われている。これはＩＣＧが生体内で血漿蛋白と結合し、近赤外の励起光により蛍光を発する特徴を利用して、血管やリンパ管の走行を低侵襲に観察する手法である。

　ＩＣＧ蛍光観察法では観察するタイミングに合わせて事前に適量のＩＣＧを生体に投与する必要があり、繰り返し観察をする場合にはＩＣＧが排出されるまで待機しなければならない。そして、その観察の待機のために迅速な処置ができず、手術の遅延を招く可能性がある。さらに、ＩＣＧ観察では血管やリンパ管の存在を把握することは可能であるが、血液やリンパ液の流れの有無や速さを観察することはできない。

　そこで、上記のような状況に対して、薬剤の投与が不要で、血流やリンパ流の常時観察が可能なスペックルイメージング技術の開発が進められている。具体的な適用例として、脳動脈瘤クリッピング手術における動脈瘤の閉塞評価が挙げられる。ＩＣＧ観察を用いた脳動脈瘤クリッピング手術では、クリッピング後にＩＣＧを注入して動脈瘤の閉塞の有無を判断する。しかしながら、閉塞が充分でない場合にＩＣＧを注入すると、瘤内にＩＣＧが流入してしまうため、再度クリッピングを行った際に残留しているＩＣＧによって閉塞評価を正しく行えないことがある。一方で、スペックルに基く血流観察を用いた脳動脈瘤クリッピング手術では、薬剤を用いることなく、繰り返して動脈瘤の閉塞の有無を高精度で判断することができる。

　そして、以下では、スペックルイメージング技術において、撮像画像中で撮像対象が動いた場合でも良好なスペックルコントラスト画像を生成することができる医療システム、情報処理装置及び情報処理方法について説明する。

（第１の実施形態）
［第１の実施形態に係る医療システムの構成］
　図１は、本開示の第１の実施形態に係る医療システム１の構成例を示す図である。第１の実施形態に係る医療システム１は、大別して、光源１１、撮像装置１２（撮像手段）、情報処理装置１３を少なくとも備える。また、必要に応じて、表示装置１４（表示部）等をさらに備えることも可能である。以下、各部について詳細に説明する。

　（１）光源
　光源１１は、スペックル画像撮像用のコヒーレント光を撮像対象に照射する第１光源（第１の光照射手段）を含む。コヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。本開示に係る第１光源から出力されるコヒーレント光の波長は、例えば８３０ｎｍであることが好ましい。波長が８３０ｎｍであれば、ＩＣＧ観察と光学系を併用できるからである。つまり、ＩＣＧ観察を行う場合は波長が８３０ｎｍの近赤外光を使うのが一般的であるため、スペックル観察にも同波長の近赤外光を使うようにすれば、ＩＣＧ観察を実施可能な顕微鏡の光学系を変更することなく、スペックル観察が可能となるからである。

　ただし、第１光源が照射するコヒーレント光の波長はこれに限定されず、ほかに、例えば、５５０～７００ｎｍであってもよいし、あるいは、さらに他の波長であってもよい。以下では、コヒーレント光として波長が８３０ｎｍの近赤外光を使用する場合を例にとる。

　また、コヒーレント光を照射する第１光源の種類は、本技術の効果を損なわない限り特に限定されない。レーザー光を発する第１光源としては、例えば、アルゴンイオン（Ａｒ）レーザー、ヘリウム－ネオン（Ｈｅ－Ｎｅ）レーザー、ダイ（ｄｙｅ）レーザー、クリプトン（Ｃｒ）レーザー、半導体レーザー、半導体レーザーと波長変換光学素子を組み合わせた固体レーザー等を、単独で、または、組み合わせて、用いることができる。

　また、光源１１は、可視光画像撮像用の可視光（例えば、インコヒーレント光の白色光）を撮像対象に照射する第２光源（第２の光照射手段）を含む。本開示に係る医療システム１では、撮像対象２に対して、コヒーレント光と可視光とが同時に照射される。すなわち、第２光源は、第１光源と同時に光の照射を行う。ここで、インコヒーレント光とは、物体光（物体波）のように干渉性を殆ど示さない光をいう。第２光源の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、発光ダイオード等を挙げることができる。また、他の第２光源としては、キセノンランプ、メタルハライドランプ、高圧水銀ランプ等も挙げられる。

　（２）撮像対象
　撮像対象２は、様々なものでありえるが、例えば、流体を含むものが好適である。スペックルの性質上、ある程度長い露光時間で撮影する場合には非流体に比べて流体のスペックルコントラストは小さくなるという性質がある。そのため、本開示に係る医療システム１を用いて流体を含む撮像対象２をイメージングとすると、流体部と非流体部の境界や流体部の流速等を、求めることができる。

　より具体的には、例えば、撮像対象２を、流体が血液である生体（血管を含む生体）とすることができる。例えば、本開示に係る医療システム１を顕微鏡手術や内視鏡手術などで用いることで、血管の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも貢献することができる。

　（３）撮像装置
　次に、図２を参照して、撮像装置１２について説明する。図２は、本開示の第１の実施形態に係る撮像装置１２の構成例を示す図である。撮像装置１２は、主な構成として、ダイクロイックミラー１２１と、スペックル画像撮像部１２２と、可視光画像撮像部１２３と、を備える。

　ダイクロイックミラー１２１は、受光した近赤外光（散乱光、反射光）と可視光（散乱光、反射光）を分離する。

　スペックル画像撮像部１２２は、ダイクロイックミラー１２１によって分離された近赤外光から得られるスペックル画像を撮像する。スペックル画像撮像部１２２は、例えば、スペックル観察用のＩＲ（Infrared）イメージャである。

　可視光画像撮像部１２３は、ダイクロイックミラー１２１によって分離された可視光から得られる可視光画像を撮像する。可視光画像撮像部１２３は、例えば、可視光観察用のＲＧＢ（Red　Green　Blue）イメージャである。

　このような構成の撮像装置１２によって、近赤外光を用いたスペックル観察と可視光を用いた可視光観察を同時に行うことが可能となる。

　（４）情報処理装置
　次に、図４を参照して、情報処理装置１３について説明する。図４は、本開示の第１の実施形態に係る情報処理装置１３の構成例を示す図である。情報処理装置１３は、画像処理装置であり、主な構成として、処理部１３１と記憶部１３２とを備える。なお、以下において、「ＳＣ」は、スペックルコントラスト（値）を意味する。

　処理部１３１は、例えば、ＣＰＵ（Central　Processing　Unit）により実現され、動き検出部１３１１（動き検出手段）、ＳＣ算出部１３１２（スペックルコントラスト算出手段）、ＳＣ画像生成部１３１３（スペックル画像生成手段）、識別部１３１４、及び、表示制御部１３１５（表示制御手段）を備える。

　動き検出部１３１１は、撮像対象２の動きを検出する。例えば、動き検出部１３１１は、可視光画像撮像部１２３により撮像された可視光画像に基いて撮像対象２の動きを検出する。また、動き検出部１３１１は、撮像対象２の動きを検出した場合に、撮像対象２の動きの速さを算出することもできる。動き検出部１３１１の詳細については後述する。

　ＳＣ算出部１３１２は、スペックル画像撮像部１２２により撮像されたスペックル画像に基いて画素ごとのスペックルコントラスト値を算出する。ここで、例えば、ｉ番目の画素のスペックルコントラスト値は、以下の式（１）で表すことができる。
　ｉ番目の画素のスペックルコントラスト値＝
　　（ｉ番目の画素と周囲の画素の強度の標準偏差）／
　　　　（ｉ番目の画素と周囲の画素の強度の平均）　　　・・・式（１）

　ＳＣ画像生成部１３１３は、ＳＣ算出部１３１２が算出したスペックルコントラスト値に基いてスペックルコントラスト画像（ＳＣ画像）を生成する。ここで、図３を参照して、ＳＣ画像例について説明する。図３は、本開示の第１の実施形態における疑似血管のＳＣ画像例を示す図である。図３のＳＣ画像例に示す通り、非血流部のスペックルコントラストに比べて、血流部のスペックルコントラストは小さい値をもつことが観察される。この観察結果は、刻一刻と変化する血流部のスペックルをある程度長い露光時間で観察したときにスペックルパターンが平均化されて標準偏差が小さくなり、スペックルコントラストが小さくなることを反映している。

　また、動き検出部１３１１によって撮像対象２の動きが検出された場合、ＳＣ画像生成部１３１３は、スペックルコントラスト値、及び、動き検出部１３１１によって検出された撮像対象２の動きに基いてスペックルコントラスト画像を生成する(詳細は後述)。

　識別部１３１４は、ＳＣ画像に基いて流体部と非流体部を識別する。例えば、識別部１３１４は、ＳＣ画像に基いて血流部と非血流部を識別する。より具体的には、識別部１３１４は、ＳＣ画像に基いて、スペックルコントラスト値が所定の閾値以上か否かを判定することによって、血流部と非血流部を識別する。

　表示制御部１３１５は、ＳＣ画像を表示装置１４に表示する制御を行う。例えば、表示制御部１３１５は、識別部１３１４による識別結果に基いて、表示装置１４に、ＳＣ画像を、血流部と非血流部を識別可能に表示させる。

　記憶部１３２は、スペックル画像撮像部１２２によって撮像されたスペックル画像、可視光画像撮像部１２３によって撮像された可視光画像、処理部１３１の各部による演算結果、上述の所定の閾値等の各種情報を記憶する。なお、この記憶部１３２の代わりに、医療システム１の外部の記憶装置を用いてもよい。

　（５）表示装置
　表示装置１４は、表示制御部１３１５から制御されることによって、スペックル画像撮像部１２２によって撮像されたスペックル画像、可視光画像撮像部１２３によって撮像された可視光画像、処理部１３１の各部による演算結果等の各種情報を表示する。なお、この表示装置１４の代わりに、医療システム１の外部の表示装置を用いてもよい。

［第１の実施形態に係るＳＣ画像生成処理］
　次に、図５を参照して、情報処理装置１３によるＳＣ画像生成処理について説明する。図５は、本開示の第１の実施形態に係る情報処理装置１３によるＳＣ画像生成処理を示すフローチャートである。

　ステップＳ１において、まず、情報処理装置１３の処理部１３１は、スペックル観察と可視光観察（ＩＲ＆ＷＬ（White　Light）観察）を開始する。

　次に、ステップＳ２において、動き検出部１３１１は、可視光画像撮像部１２３により撮像された可視光画像に基いて撮像対象２の動きを検出するための動作を行う。

　次に、ステップＳ３において、動き検出部１３１１は、撮像対象２の動きがあったか否かを判定し、Ｙｅｓの場合はステップＳ８に進み、Ｎｏの場合はステップＳ４に進む。

　ステップＳ８において、動き検出部１３１１は、撮像対象２の動きの速さ（動き量）を算出する。ここで、ステップＳ２、Ｓ３、Ｓ８の具体的な処理方法の例として、図６を参照して動きベクトルに基く動き検出方法を説明し、図７を参照してスペックル形状変化認識に基く動き検出方法を説明する。

　図６は、本開示の第１の実施形態における動きベクトルに基く撮像対象の動き検出の説明図である。動き検出部１３１１は、可視光画像の特徴点の動きに基いて、撮像対象２の動きの検出を行う。例えば、動き検出部１３１１は、時系列で複数の可視光画像に基いて、特徴点の動きベクトルを演算することによって、撮像対象２の動きの検出を行う。図６の例では、時間ｔ_ｉでのＦ_ｉフレームにおける位置３にあった被写体が、次の時間ｔ_ｉ＋１でのＦ_ｉ＋１フレームにおいて位置３’に移動しており、移動量Ａ（移動ピクセル量）は以下の式（２）により算出することができる。
　移動量Ａ＝Ｆ_ｉ＋１（ｘ＋ａ，ｙ＋ｂ）－Ｆ_ｉ（ｘ，ｙ）
　　　　　＝（ａ，ｂ）　　　・・・式（２）

　そして、動き検出部１３１１は、この移動量Ａ、光源１１の画角情報、光源１１から撮像対象２までの距離情報等に基いて、撮像対象２の動きの速さを算出することができる。なお、この動きベクトルに基く撮像対象の動き検出は、可視光画像を用いる場合に限定されず、スペックル画像を用いて行うこともできる。

　図７は、本開示の第１の実施形態におけるスペックル形状変化認識に基く撮像対象の動き検出の説明図である。動き検出部１３１１は、スペックル画像のスペックルの形状の変化に基いて、撮像対象２の動きの検出を行う。図７に示すように、撮像対象２の動きがあるとき、スペックルパターンは平均化されて運動方向に伸びた形状となる。

　また、図８は、本開示の第１の実施形態におけるスペックルの形状変化の様子を示す模式図である。図８（ａ）は撮像対象２の動きがない場合のスペックル形状を示し、図８（ｂ）は撮像対象２の動きがある場合のスペックル形状を示す。図７、図８からわかるように、動き検出部１３１１は、スペックル形状の変化を認識することで、撮像対象２の移動量を算出することができる。そして、その移動量を用いて図６の場合と同様に演算することで、撮像対象２の動きの速さを算出することができる。

　図５に戻って、ステップＳ８の後、ステップＳ９において、ＳＣ算出部１３１２は、スペックル画像に基いて画素ごとのＳＣを算出する。次に、ステップＳ１０において、ＳＣ画像生成部１３１３は、ステップＳ９で算出されたＳＣ、及び、ステップＳ８で検出された撮像対象２の動きに基いて、スペックルコントラスト画像を生成する。ここで、ステップＳ１０の具体的な処理方法の例として、図９を参照して第１関係情報に基く方法を説明し、図１０を参照して第２関係情報に基く方法を説明する。

　図９は、本開示の第１の実施形態における第１関係情報を示すグラフである。第１関係情報は、予め定められた関係情報であって、所定の露光時間における被写体の速さ（動き）（横軸）とスペックルコントラスト値（縦軸）との関係を示す。この第１関係情報は、予め実験や理論等によって作成しておけばよい。そして、ＳＣ画像生成部１３１３は、動き検出部１３１１によって算出された撮像対象２の動きと、図９に示す第１関係情報とに基いて、ＳＣ画像を生成することができる。

　図１０は、本開示の第１の実施形態における撮像対象２にリファレンスマーカを設置した様子を示す模式図である。リファレンスマーカは光学特性が既知な散乱体である。ＳＣ画像生成部１３１３は、撮像対象２の動きと、所定の露光時間における撮像対象２上のリファレンスマーカの動きとスペックルコントラスト値との関係を示す第２関係情報とに基いて、スペックルコントラスト画像を生成することができる。なお、設置するリファレンスマーカは１つに限定されず、２つ以上であってもよい。

　図５に戻って、ステップＳ４において、ＳＣ算出部１３１２はスペックル画像に基いて画素ごとのＳＣを算出する。次に、ステップＳ５において、ＳＣ画像生成部１３１３はそのＳＣに基いてＳＣ画像を生成する。

　ステップＳ５とステップＳ１０の後、ステップＳ６において、識別部１３１４は、閾値処理を実行する。つまり、例えば、識別部１３１４は、ＳＣ画像に基いて、スペックルコントラスト値が所定の閾値以上か否かを判定することによって、血流部と非血流部を識別する。

　次に、ステップＳ７において、表示制御部１３１５は、ステップＳ６における閾値処理に基いて、表示装置１４に、ＳＣ画像を、血流部と非血流部を識別可能に表示させる制御を行う。なお、表示の際には、ＳＣ画像と可視光画像を別々のモニタに表示してもよいし、あるいは１つのモニタ内で画像を分割して別々に表示してもよい。また、スペックル画像によって特定した血流部の領域を可視光画像に重畳して表示してもよい。その際にＳＣを反映した表示を行ってもよい。ステップＳ７の後、処理を終了する。

　このように、第１の実施形態の情報処理装置１３によれば、撮像対象２が動いた場合でも良好なＳＣ画像を生成することができる。つまり、撮像対象２が動いた場合、ＳＣが下がるが、撮像対象２の動きに基いてＳＣ補正等を行うことにより、良好なＳＣ画像を生成し、血流部と非血流部の識別を正確に行うことができる。

　なお、撮像対象２の動き検出、動きの速さ算出、ＳＣ補正等は、撮像した画面全体に対して行ってもよいし、あるいは、例えば、あらかじめ可視光画像の色情報や形態情報を解析して血管部と非血管部を識別してから、領域別に行ってもよい。

　また、撮像対象２の動きの検出と動きの速さの算出は、例えば、時系列で複数の可視光画像に基いて特徴点の動きを認識することによって、容易に実現することができる。

　また、撮像対象２の動きの検出と動きの速さの算出は、例えば、スペックル画像に基いてスペックルの形状の変化を認識することによって、容易に実現することができる。

　また、例えば、撮像対象２の動きの速さと上述の第１関係情報に基くことでＳＣ補正量を高精度に算出し、それにより良好なＳＣ画像を生成することができる。

　また、例えば、撮像対象２の動きの速さと上述の第２関係情報に基くことでＳＣ補正量を高精度に算出し、それにより良好なＳＣ画像を生成することができる。

　また、従来技術において、露光時間を短縮することで撮像対象の動きによるスペックルパターンの変化による影響を軽減する手法がある。しかし、この手法では、照明部と撮像部を同期制御するために煩雑な制御機構が必要であり、かつ低露光条件で観察するために高出力のレーザ光源が必要であるため実現が困難であるという短所があった。第１の実施形態の医療システム１によれば、そのような煩雑な制御機構や高出力のレーザ光源は不要である。

（第２の実施形態）
　次に、第２の実施形態について説明する。なお、第１の実施形態と同様の事項については、説明を適宜省略する。第１の実施形態では可視光画像やスペックル画像に基いて撮像対象２の動きを検出していたが、第２の実施形態ではスペックルコントラスト値の急峻な低下を撮像対象２の動きに起因するものとみなし、ＳＣを補正する。

　図１１は、本開示の第２の実施形態に係る情報処理装置１３によるＳＣ画像生成処理を示すフローチャートである。まず、ステップＳ１において、情報処理装置１３の処理部１３１は、スペックル観察と可視光観察（ＩＲ＆ＷＬ観察）を開始する。

　次に、ステップＳ４において、ＳＣ算出部１３１２はスペックル画像に基いて画素ごとのＳＣを算出する。

　次に、ステップＳ５において、ＳＣ画像生成部１３１３は、そのＳＣに基いてＳＣ画像を生成する。

　次に、ステップＳ２において、動き検出部１３１１は、撮像対象２の動きを検出するための動作を行う。次に、ステップＳ３において、動き検出部１３１１は、撮像対象２の動きがあったか否かを判定し、Ｙｅｓの場合はステップＳ１１に進み、Ｎｏの場合はステップＳ６に進む。

　ステップＳ１１において、処理部１３１は、ＳＣ補正処理を行う。ここで、ステップＳ２、Ｓ３、Ｓ１１の具体的な処理方法の例として、図１２を参照してＳＣ低下に基く第１のＳＣ補正方法を説明し、図１３を参照してＳＣ低下に基く第２のＳＣ補正方法を説明する。

　図１２は、本開示の第２の実施形態におけるＳＣ低下に基く第１のＳＣ補正方法の説明図である。図１２（ａ）（ｂ）において、縦軸はＳＣであり、横軸は時間（フレーム）である。ある画素に関し、撮像対象２が動くことで図１２（ａ）に示すようにＳＣの急峻な低下があった場合、つまり、スペックルコントラスト値が所定値以上下がった（変化した場合の一例）場合に、ＳＣ算出部１３１２は、撮像対象２における動きを検出し、その下がったスペックルコントラスト値を時間的に前後のスペックルコントラスト値に基いて補正する。具体的には、例えば、３フレーム分のメディアンフィルタを適用し、当該ＳＣと、１つ前のＳＣと、１つ後のＳＣのうち、中央値を採用する。そして、ＳＣ画像生成部１３１３は、各画素の補正したスペックルコントラスト値に基いて、ＳＣ画像を生成（補正）する。

　図１３は、本開示の第２の実施形態におけるＳＣ低下に基く第２のＳＣ補正方法の説明図である。図１３（ａ）（ｂ）（ｃ）において、縦軸はＳＣであり、横軸は被写体の速さである。また、図１３（ａ）において、ＳＣ_１は被写体の動きがない場合の血流部のＳＣであり、ＳＣ_２は被写体の動きがない場合の非血流部のＳＣであり、ΔＳＣは「ＳＣ_１－ＳＣ_２」の値である。

　また、図１３（ｂ）において、ＳＣ'_１は被写体の動きがある場合の血流部のＳＣであり、ＳＣ'_２は被写体の動きがある場合の非血流部のＳＣであり、ΔＳＣ'は「ＳＣ'_１－ＳＣ'_２」の値である。また、図１３（ｃ）において、ＳＣ''_１は補正後の血流部のＳＣであり、ＳＣ''_２は補正後の非血流部のＳＣであり、ΔＳＣ''は「ＳＣ''_１－ＳＣ''_２」の値である。

　図１３（ａ）（ｂ）に示すように、被写体の動きがあると、血流部のＳＣと非血流部のＳＣの両方が低下する。そこで、動き検出部１３１１が撮像対象２の全体についてスペックルコントラスト値が所定値以上下がって動きを検出した場合、ＳＣ算出部１３１２は、非血流部のスペックルコントラスト値の下がった割合に基いて全画素のスペックルコントラスト値を算出（補正）する。具体的には、以下の式（３）～式（５）を用いて計算する。
　Ｇａｉｎ＝ＳＣ_２／ＳＣ'_２　　・・・式（３）
　ＳＣ''_１＝ＳＣ'_１＊Ｇａｉｎ　・・・式（４）
　ＳＣ''_２＝ＳＣ'_２＊Ｇａｉｎ　・・・式（５）

　そうすると、図１３（ｃ）に示すように、補正後のＳＣ''_１とＳＣ''_２が得られる。そして、ＳＣ画像生成部１３１３は、補正したスペックルコントラスト値に基いて、スペックルコントラスト画像を生成（補正）する。

　図１１に戻って、ステップＳ３でＮｏの後とステップＳ１１の後、ステップＳ６において、識別部１３１４は、閾値処理を実行する。次に、ステップＳ７において、表示制御部１３１５は、ステップＳ６における閾値処理に基いて、表示装置１４に、ＳＣ画像を、血流部と非血流部を識別可能に表示させる制御を行う。ステップＳ７の後、処理を終了する。

　このように、第２の実施形態の情報処理装置１３によれば、撮像対象２が動いた場合でも良好なＳＣ画像を生成することができる。具体的には、撮像対象２の動きそのものを検出せずに、ＳＣの急峻な変化を撮像対象２の動きとみなし、前後の時間のＳＣを用いてＳＣ補正を行うことで、ＳＣを正しい値に近づけ、良好なＳＣ画像を生成し、血流部と非血流部の識別を正確に行うことができる。

　なお、図１１のフローチャートでは、ステップＳ５でＳＣ画像を生成し、その後、撮像対象２に動きがあった場合、ステップＳ１１でＳＣ画像を補正するものとした。しかし、これに限定されず、例えば、撮像対象２の動き検出（ステップＳ２）の前はＳＣ画像を生成せず、撮像対象２に動きがあった場合、ＳＣを補正し、その補正したＳＣに基いて初めてＳＣ画像を生成するようにしてもよい。

（第３の実施形態）
　次に、第３の実施形態について説明する。第１の実施形態と同様の事項については、説明を適宜省略する。図１４は、本開示の第３の実施形態に係る情報処理装置１３によるＳＣ画像生成処理を示すフローチャートである。

　ステップＳ１において、情報処理装置１３の処理部１３１は、スペックル観察と可視光観察（ＩＲ＆ＷＬ観察）を開始する。

　次に、ステップＳ２において、動き検出部１３１１は、可視光画像撮像部１２３により撮像された可視光画像に基いて撮像対象２の動きを検出するための動作を行う。

　次に、ステップＳ３において、動き検出部１３１１は、撮像対象２の動きがあったか否かを判定し、Ｙｅｓの場合はステップＳ２１に進み、Ｎｏの場合はステップＳ４に進む。ステップＳ２、Ｓ３については、第１の実施形態と同様である。

　ステップＳ２１において、ＳＣ算出部１３１２はスペックル画像に基いて画素ごとのＳＣを算出する。

　次に、ステップＳ２２において、ＳＣ算出部１３１２は、各画素について、現在のＳＣと時間的に１つ前のＳＣを、動きの度合いに応じて重み付けした上で加算した値で、現在のＳＣを補正する。例えば、現在の撮像対象２の動きが１つ前の撮像対象２の動きよりも大きい場合、現在のＳＣの重みを小さく、１つ前のＳＣの重みを大きくして加算し、現在のＳＣとする。なお、このＳＣ補正は、画面全体について行ってもよいし、一部の画素について行ってもよい。

　次に、ステップＳ２３において、ＳＣ画像生成部１３１３は、ステップＳ２２で算出されたＳＣに基いて、ＳＣ画像を生成する。ステップＳ４～Ｓ７は、図５と同様である。

　このように、第３の実施形態の情報処理装置１３によれば、撮像対象２が動いた場合でも良好なＳＣ画像を生成することができる。つまり、各画素について、現在のＳＣと時間的に１つ前のＳＣを、動きの度合いに応じて重み付けした上で加算した値で、現在のＳＣを補正することで、ＳＣを正しい値に近づけ、良好なＳＣ画像を生成し、血流部と非血流部の識別を正確に行うことができる。

（第４の実施形態）
　次に、第４の実施形態について説明する。第１の実施形態と同様の事項については、説明を適宜省略する。第４の実施形態では、第１の実施形態～第３の実施形態で示したＳＣ補正処理（撮像対象２の動きを考慮したＳＣ画像生成処理）の実行が難しい場合でも血流部の表示を続けるための方法について説明する。図１５は、本開示の第４の実施形態に係る情報処理装置１３の構成例を示す図である。図４に示す第１の実施形態に係る情報処理装置１３と比較して、処理部１３１に学習部１３１６（学習手段）が追加されている点で異なっている。

　学習部１３１６は、スペックルコントラスト画像及び可視光画像に基いて、撮像対象２の血流部と非血流部を識別する。例えば、学習部１３１６は、識別部１３１４によるＳＣ画像を用いた血流部と非血流部の識別結果に基いて、可視光画像における血流部と非血流部の識別を学習する。また、撮像対象２の動きに応じてＳＣ画像を生成することができない場合に、識別部１３１４は、学習部１３１６による学習結果と可視光画像に基いて、血流部を特定する。

　図１６は、本開示の第４の実施形態に係る情報処理装置１３によるＳＣ画像生成処理を示すフローチャートである。ステップＳ１～Ｓ３は、図５、図１１、図１４のいずれかのステップＳ１～Ｓ３と同様に実行すればよい。

　ステップＳ３でＹｅｓの後、ステップＳ３１において、ＳＣ算出部１３１２は、スペックル画像に基いて画素ごとのＳＣを算出する。次に、ステップＳ３２において、処理部１３１は、第１実施形態～第３実施形態のいずれかの方法でＳＣ補正（または撮像対象２の動きを考慮したＳＣ画像生成。以下同様）が可能か否かを判定し、Ｙｅｓの場合はステップＳ３３に進み、Ｎｏの場合はステップＳ３５に進む。ステップＳ３３において、処理部１３１は、第１実施形態～第３実施形態のいずれかの方法でＳＣ補正を実行する。

　次に、ステップＳ３４において、ＳＣ画像生成部１３１３は、ステップＳ３３で補正されたＳＣに基いて、ＳＣ画像を生成する。

　また、ステップＳ３５において、識別部１３１４は、学習部１３１６による学習結果とＷＬ画像（可視光画像）に基いて血流部を特定する。Ｓ４～Ｓ７は、図５と同様に実行すればよい。ステップＳ７の後、処理を終了する。

　次に、図１７を参照して、学習処理について説明する。図１７は、本開示の第４の実施形態に係る情報処理装置１３による学習処理を示すフローチャートである。

　まず、ステップＳ４１において、処理部１３１は、ＩＲ観察を開始する。次に、ステップＳ４２において、ＳＣ算出部１３１２はＳＣを算出し、ＳＣ画像生成部１３１３はＳＣ画像を生成する。次に、ステップＳ４３において、識別部１３１４は、閾値処理を実行する。つまり、識別部１３１４は、ＳＣ画像に基いて、スペックルコントラスト値が所定の閾値以上か否かを判定することによって、血流部と非血流部を識別する。

　次に、ステップＳ４４において、識別部１３１４は、ＳＣ画像に基いて血流部を特定する。次に、ステップＳ４５において、処理部１３１は、ＷＬ観察を開始する。次に、識別部１３１４は、可視光画像に基いて血管候補を検出する。次に、ステップＳ４７において、学習部１３１６は、ＳＣ画像による識別結果に基いて、ＷＬ画像の識別を学習する。例えば、学習部１３１６は、ＳＣ画像による血流部の検出結果に基いて、ＷＬ画像における血管部分を色情報や形態情報など関連付けて学習する。ステップＳ４７の後、処理を終了する。このような学習処理を行うことにより、図１６のフローチャートのステップＳ３５において、識別部１３１４は、学習部１３１６による学習結果と可視光画像に基いて血流部を特定することができる。

　なお、説明の都合上、ステップＳ４１～Ｓ４４の後、ステップＳ４５～Ｓ４７を実行するものとしたが、これに限定されず、ステップＳ４１～Ｓ４４とステップＳ４５～Ｓ４７を並行して実行してもよい。

　このように、第４の実施形態によれば、予め撮像対象２の動きが小さいか無い状況で、ＳＣ画像による識別結果に基いてＷＬ画像における血流部を学習しておくことで、撮像対象２の動きがあった場合に、例えばＳＣ補正が可能でないときでも、その学習結果に基いて血流部を特定して表示し続けることができる。

（応用例１）
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

　図１８は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１８では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

　内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
　支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
　内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

　鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

　カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
　ＣＣＵ５０３９は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

　表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

　光源装置５０４３は、例えばＬＥＤ（Light　Emitting　Diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

　アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

　入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

　入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

　あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（HeadMounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。さらに、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

　処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

　以下、内視鏡手術システム５０００において特に特徴的な構成について、さらに詳細に説明する。

（支持アーム装置）
　支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１８では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

　関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

　例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

　また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
　光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

　また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

　また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
　図１９を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図１９は、図１８に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

　図１９を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

　まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

　撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

　撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　MetalOxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

　また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

　また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

　駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

　通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

　また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　WhiteBalance）機能が内視鏡５００１に搭載される。

　カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、さらに、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

　なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

　次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

　また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

　画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　Reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

　画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

　制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

　また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

　カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

　ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

　以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡手術システムや、以下に応用例２で説明する顕微鏡手術システムに適用されてもよい。

　本開示に係る技術は、以上説明した構成のうち、内視鏡５００１に好適に適用され得る。具体的には、内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像における血流部と非血流部を容易に視認可能に表示装置５０４１に表示する場合に、本開示に係る技術を適用できる。つまり、内視鏡５００１に本開示に係る技術を適用することにより、撮像画像が動いた場合でも良好なＳＣ画像を生成し、血流部と非血流部の識別を正確に行うことができる。これにより、術者５０６７は、血流部と非血流部が正確に識別された術部の画像を表示装置５０４１においてリアルタイムで見ることができ、手術をより安全に行うことができる。

（応用例２）
　また、本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。

　図２０は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図２０を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。

　顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。

　顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。

　筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light　Emitting　Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。

　撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ又はＣＣＤ（Charge　Coupled　Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

　なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto　Exposure）機能やＡＦ（Auto　Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。

　また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。

　操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。

　アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

　第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

　第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

　第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

　第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

　第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

　第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

　第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

　第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

　第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。

　第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

　第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

　第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

　第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。

　なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。

　ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。

　例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。

　また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。

　また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図２０に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。

　また、第１関節部５３１１ａ～第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。

　このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。

　制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　Reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。

　なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。

　制御装置５３１７は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。

　表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro　Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。

　図２１は、図２０に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図２１では、術者５３２１が、顕微鏡手術システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図２１では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。

　図２Ｃに示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。

　以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。

　本開示に係る技術は、以上説明した構成のうち、制御装置５３１７に好適に適用され得る。具体的には、顕微鏡部５３０３の撮像部によって撮影された患者５３２５の術部の画像における血流部と非血流部を容易に視認可能に表示装置５３１９に表示する場合に、本開示に係る技術を適用できる。つまり、制御装置５３１７に本開示に係る技術を適用することにより、撮像画像が動いた場合でも良好なＳＣ画像を生成し、血流部と非血流部の識別を正確に行うことができる。これにより、術者５３２１は、血流部と非血流部が正確に識別された術部の画像を表示装置５３１９においてリアルタイムで見ることができ、手術をより安全に行うことができる。

（変形例）
　スペックルの変調強度を表す指標としては、上述のスペックルコントラスト以外に、以下のような指標１～５が考えられる。

（指標１：エントロピー）
　単一フレーム内でスペックルコントラストの代わりに局所的な強度分布のエントロピーを導出し、マッピングして使用することができる。そして、スペックルコントラストと同様、フレーム内で処理を完結させることができる。

（指標２：相関時間）
　スペックルの相関時間（信号の性質が持続する時間）より充分短い露光時間で撮影した複数のフレーム間にわたり、画素ごとに信号強度を求め、相関時間を導出して画像を生成する。解像度の低下させることなく使用することができる。

（指標３：フレーム間空間相関）
　相関時間より充分短い露光時間で撮影した隣接フレームあるいは特定時間後のフレームとの間で、同一局所領域のスペックルパターン間の相互相関を求め指標とする。指標２に比べメモリを節約できる。

（指標４：移動体検出法）
　観察時点で、相関時間より充分短い露光時間で撮影した手前の複数フレームにわたりスペックル画像強度信号の平均化を行った画像を生成する。この画像と、観察時点でのスペックル画像強度信号の差分をとることにより、変化のある部分つまり血流部が抽出される。これをスペックル画像にも適用することができる。また、場合に応じて平均化の際にフレームごと重みを付けることもできる。これにより、指標２に比べて少ないメモリ使用量で高解像度の血流画像を生成することができる。

（指標５：時間差分絶対値積算法）
　次に、図２２～図２４Ｂを参照して、指標５の時間差分絶対値積算法について説明する。図２２は、本開示の変形例における指標５の時間差分絶対値積算法を説明するための血液ファントムモデルを示す模式図である。切片方向は、血液ファントムモデルにおける血流部と非血流部の長手方向に垂直な方向である。図２３は、本開示の変形例における指標５の時間差分絶対値積算法の説明図である。

　相関時間より充分短い露光時間で撮影したスペックル画像の強度信号を、複数フレームに渡り逐次差分をとり（図２３（ａ）（ｂ））その絶対値を積算し（図２３（ｃ））、差分絶対値積算画像を生成する。そして、別途同じフレーム数に渡り単純平均あるいは積算を行い差分絶対値積算画像の信号の値を割ることで、血流画像を生成することができる。また、このように算出した差分絶対値積算画像を、必要に応じて平均輝度（強度）画像などで除算あるいは規格化し、輝度（強度）分布の影響を取り除くこともできる。指標４と同様に、多くのメモリを必要とせず解像度を保ったまま血流画像を生成することができる。また、スペックルコントラスト法で検出できない微小流速の血流を検出することも可能となる。

　図２４Ａは、時間差分絶対値積算法を使用していないスペックルコントラスト法により生成したＳＣ画像例を示す図である。図２４Ｂは、本開示の変形例における指標５の時間差分絶対値積算法（積算フレーム数：１００）により生成したＳＣ画像例を示す図である。いずれも、血液の流速は遅い。この場合、図２４ＡのＳＣ画像例よりも、図２４ＢのＳＣ画像例のほうが、血流部と非血流部をより識別しやすくなっていることがわかる。

　なお、本技術は以下のような構成も取ることができる。
（１）
　コヒーレント光を撮像対象に照射する第１の光照射手段と、
　前記コヒーレント光が照射された前記撮像対象による散乱光から得られるスペックル画像を撮像する撮像手段と、
　前記スペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、
　前記撮像対象の動きを検出する動き検出手段と、
　前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、
　前記スペックルコントラスト画像を表示する表示手段と、を備える医療システム。
（２）
　前記撮像対象は、血管を含む生体である、前記（１）に記載の医療システム。
（３）
　前記撮像手段は、さらに、前記撮像対象による反射光から得られる可視光画像を撮像する、前記（１）または前記（２）に記載の医療システム。
（４）
　前記動き検出手段は、前記可視光画像に基いて前記撮像対象の動きを検出する、前記（３）に記載の医療システム。
（５）
　可視光を前記撮像対象に照射する第２の光照射手段を、さらに備える、前記（４）に記載の医療システム。
（６）
　前記医療システムは、顕微鏡手術システム、または、内視鏡手術システムである、前記（１）から前記（５）のいずれかに記載の医療システム。
（７）
　コヒーレント光が照射された撮像対象による散乱光から得られるスペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、
　前記撮像対象の動きを検出する動き検出手段と、
　前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、
　前記スペックルコントラスト画像を表示部に表示する制御を行う表示制御手段と、を備える情報処理装置。
（８）
　前記撮像対象による反射光から得られる可視光画像を取得する、前記（７）に記載の情報処理装置。
（９）
　前記動き検出手段は、前記可視光画像に基いて前記撮像対象の動きを検出する、前記（８）に記載の情報処理装置。
（１０）
　前記スペックル画像生成手段は、前記撮像対象の動きと、所定の露光時間における被写体の動きとスペックルコントラスト値との関係を示す第１関係情報とに基いて、前記スペックルコントラスト画像を生成する、前記（７）から前記（９）のいずれかに記載の情報処理装置。
（１１）
　前記スペックル画像生成手段は、前記撮像対象の動きと、所定の露光時間における前記撮像対象上のリファレンスマーカの動きとスペックルコントラスト値との関係を示す第２関係情報と、に基いて、前記スペックルコントラスト画像を生成する、前記（７）から前記（９）のいずれかに記載の情報処理装置。
（１２）
　前記動き検出手段は、前記可視光画像の特徴点の動きに基いて、前記撮像対象の動きの検出を行う、前記（９）に記載の情報処理装置。
（１３）
　前記動き検出手段は、前記スペックル画像のスペックルの形状の変化に基いて、前記撮像対象の動きの検出を行う、前記（７）に記載の情報処理装置。
（１４）
　前記動き検出手段は、スペックルコントラスト値が所定値以上変化した画素に基いて、前記撮像対象における動きを検出し、
　前記スペックル画像生成手段は、当該画素のスペックルコントラスト値に基いて、前記スペックルコントラスト画像を生成する、前記（７）に記載の情報処理装置。
（１５）
　前記スペックルコントラスト画像及び前記可視光画像に基いて、前記撮像対象の血流部と非血流部を識別する学習手段をさらに備える、前記（８）に記載の情報処理装置。
（１６）
　前記スペックル画像生成手段は、前記学習手段による学習結果に基いて、前記血流部を特定する、前記（１５）に記載の情報処理装置。
（１７）
　コヒーレント光が照射された撮像対象による散乱光から得られるスペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出工程と、
　前記撮像対象の動きを検出する動き検出工程と、
　前記スペックルコントラスト値、及び、前記動き検出工程によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成工程と、
　前記スペックルコントラスト画像を表示部に表示する制御を行う表示制御工程と、を含む情報処理方法。

　以上、本開示の実施形態、変形例について説明したが、本開示の技術的範囲は、上述の実施形態、変形例そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態、変形例にわたる構成要素を適宜組み合わせてもよい。

　上述の実施形態では、例えば、約１．６ｍｓの露光時間でスペックルを撮影し、非露光時間の約１５ｍｓを合わせた６０ｆｐｓで撮影を行えばよいが（デュティー比≒０．１）、露光時間はこれに限らないし、フレームレートもこれに限らない。

　また、撮像対象２の動きを検出したり、その動きに伴ってＳＣを補正したりする範囲は、画像全体でもよいし、画像をいくつかに分割したブロック単位でもよいし、ピクセル単位でもよい。

　また、図１２を用いた説明では、３フレーム分のメディアンフィルタを適用し、当該ＳＣと、１つ前のＳＣと、１つ後のＳＣのうち、中央値を採用するものとしたが、ＳＣの補正方法はこれに限定されない。例えば、５フレーム分のメディアンフィルタを適用してもよいし、あるいは、所定フレーム数分のＳＣの平均値を採用してもよい。

　なお、本明細書に記載された実施形態、変形例における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

　また、第４の実施形態において、学習部１３１６による学習結果の使用場面は、撮像対象２の動きに応じて良好なＳＣ画像を生成することができない場合に限定されない。その学習結果を、それ以外の場合で、例えば、識別部１３１４によるＳＣ画像に基く流体部と非流体部の識別結果を検証するために使用してもよい。

　１　　　　医療システム
　１１　　　光源
　１２　　　撮像装置
　１３　　　情報処理装置
　１４　　　表示装置
　１３１　　処理部
　１３２　　記憶部
　１３１１　動き検出部
　１３１２　ＳＣ算出部
　１３１３　ＳＣ画像生成部
　１３１４　識別部
　１３１５　表示制御部
　１３１６　学習部
　

Claims (17)

1. 　コヒーレント光を撮像対象に照射する第１の光照射手段と、
   　前記コヒーレント光が照射された前記撮像対象による散乱光から得られるスペックル画像を撮像する撮像手段と、
   　前記スペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、
   　前記撮像対象の動きを検出する動き検出手段と、
   　前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、
   　前記スペックルコントラスト画像を表示する表示手段と、を備える医療システム。
2. 　前記撮像対象は、血管を含む生体である、請求項１に記載の医療システム。
3. 　前記撮像手段は、さらに、前記撮像対象による反射光から得られる可視光画像を撮像する、請求項１に記載の医療システム。
4. 　前記動き検出手段は、前記可視光画像に基いて前記撮像対象の動きを検出する、請求項３に記載の医療システム。
5. 　可視光を前記撮像対象に照射する第２の光照射手段を、さらに備える、請求項４に記載の医療システム。
6. 　前記医療システムは、顕微鏡手術システム、または、内視鏡手術システムである、請求項１に記載の医療システム。
7. 　コヒーレント光が照射された撮像対象による散乱光から得られるスペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出手段と、
   　前記撮像対象の動きを検出する動き検出手段と、
   　前記スペックルコントラスト値、及び、前記動き検出手段によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成手段と、
   　前記スペックルコントラスト画像を表示部に表示する制御を行う表示制御手段と、を備える情報処理装置。
8. 　前記撮像対象による反射光から得られる可視光画像を取得する、請求項７に記載の情報処理装置。
9. 　前記動き検出手段は、前記可視光画像に基いて前記撮像対象の動きを検出する、請求項８に記載の情報処理装置。
10. 　前記スペックル画像生成手段は、前記撮像対象の動きと、所定の露光時間における被写体の動きとスペックルコントラスト値との関係を示す第１関係情報とに基いて、前記スペックルコントラスト画像を生成する、請求項７に記載の情報処理装置。
11. 　前記スペックル画像生成手段は、前記撮像対象の動きと、所定の露光時間における前記撮像対象上のリファレンスマーカの動きとスペックルコントラスト値との関係を示す第２関係情報と、に基いて、前記スペックルコントラスト画像を生成する、請求項７に記載の情報処理装置。
12. 　前記動き検出手段は、前記可視光画像の特徴点の動きに基いて、前記撮像対象の動きの検出を行う、請求項９に記載の情報処理装置。
13. 　前記動き検出手段は、前記スペックル画像のスペックルの形状の変化に基いて、前記撮像対象の動きの検出を行う、請求項７に記載の情報処理装置。
14. 　前記動き検出手段は、スペックルコントラスト値が所定値以上変化した画素に基いて、前記撮像対象における動きを検出し、
    　前記スペックル画像生成手段は、当該画素のスペックルコントラスト値に基いて、前記スペックルコントラスト画像を生成する、請求項７に記載の情報処理装置。
15. 　前記スペックルコントラスト画像及び前記可視光画像に基いて、前記撮像対象の血流部と非血流部を識別する学習手段をさらに備える、請求項８に記載の情報処理装置。
16. 　前記スペックル画像生成手段は、前記学習手段による学習結果に基いて、前記血流部を特定する、請求項１５に記載の情報処理装置。
17. 　コヒーレント光が照射された撮像対象による散乱光から得られるスペックル画像に基いて画素ごとのスペックルコントラスト値を算出するスペックルコントラスト算出工程と、
    　前記撮像対象の動きを検出する動き検出工程と、
    　前記スペックルコントラスト値、及び、前記動き検出工程によって検出された前記撮像対象の動きに基いてスペックルコントラスト画像を生成するスペックル画像生成工程と、
    　前記スペックルコントラスト画像を表示部に表示する制御を行う表示制御工程と、を含む情報処理方法。

Images