JP6323184B2 - 画像処理装置、画像処理方法、並びにプログラム - Google Patents

Description

本技術は、画像処理装置、画像処理方法、並びにプログラムに関する。詳しくは、術者の手間をかけずに、術者の所望する術部を映し出すことができるようにする画像処理装置、画像処理方法、並びにプログラムに関する。

内視鏡を体内に挿入し、内視鏡により、手術対象となる体内の部位（術部）を被観察部として撮像して画面に映し出し、画面を見ながら術部に処置を施す内視鏡下手術が利用されている。内視鏡下手術では、光源装置からの照明光が被観察部へ照射され、内視鏡で得られた被観察部の光学像の画像信号に、所望の信号処理が施され、被観察部の光学像の画像が画面に映し出される。

このような内視鏡下手術においては、手術を行う術者にとって最適な術部の視野（術野）を確保するために、状況に応じて、画面に映し出される被観察部の範囲や位置を適宜調整する必要がある。

しかしながら、通常、術者は、手術を行うための手術器具を両手に保持しているため、上記のような画面調整の作業を自ら迅速に行うことができない。また、術者が画面調整を目的として直接調整機器等を操作することは、術部、医療機器、および、手術室等の清浄度を確保する観点から好ましくない。

そこで、一般的には、術者がスコピスト等と呼ばれる補助者に対して指示を与えることにより、補助者が、術者からの指示に応じて調整機器を操作して、上記のような画面調整を行っている。

しかしながら、補助者を介した方法では、術者の指示が正確に伝わらず、術者が希望する画面調整を迅速に行うことが難しい場合がある。

そこで、補助者を介さずに画面調整を行う方法として、例えば、特許文献１では、輝度やコントラストが所定の期間変化しない領域に対してフォーカス制御を行うことが記載されている。

特開２０１１−１３９７６０号公報

しかしながら、特許文献１によると、輝度やコントラストが所定の期間変化しない領域が、術者がフォーカスを合わせたい領域であるとは限らず、誤ったフォーカスが行われてしまう可能性があった。

本開示は、このような状況に鑑みてなされたものであり、術者の手間をかけずに、術者が所望する術部に対してフォーカス制御を行えるようにするものである。

本技術の一側面の画像処理装置は、所定の間隔で配置された第１のセンサと第２のセンサから手術対象の部位を含む術野を撮像することにより得られた第１の画像と第２の画像から奥行き情報を生成する生成部と、生成された奥行き情報から視差画像を生成し、前記視差画像から直線的なエッジを検出することで、手術器具の３次元位置を検出する位置検出部と、前記手術器具の３次元位置に対応する線分を延長した延長線と前記術野との交点を、前記手術器具の操作を行う術者の注目点であると推定する注目点推定部と、前記第１の画像または前記第２の画像を用いて、前記注目点推定部により推定された前記注目点にフォーカスが合うように制御するフォーカス制御部とを備える。

前記注目点を表す所定のマークを、ディスプレイに表示させる前記第１の画像または前記第２の画像に重畳することができる。

前記フォーカス制御部は、前記術者からの指示があったとき、フォーカスの制御を行い、前記術者からの指示は、フットペダルの操作、前記手術器具に備えられているボタンの操作、または所定の言葉の発話により出されるようにすることができる。

前記フォーカス制御部は、光学ズームでピントが外れたと判断されたときにフォーカス制御を行うことができる。

前記フォーカス制御部は、顕微鏡システムにおけるアームが動いたときに、フォーカス制御を行うことができる。

前記手術器具の３次元位置に対応する線分を延長した延長線をさらに表示させるようにすることができる。

前記エッジは、前記視差画像内の輝度情報に基づいて検出されるようにすることができる。

前記エッジは、前記視差画像内の色情報に基づいて検出されるようにすることができる。

前記手術器具の３次元位置は、前記視差画像から、前記手術器具に付されたマーカを検出することで検出されるようにすることができる。

本技術の一側面の画像処理方法は、画像処理装置が、所定の間隔で配置された第１のセンサと第２のセンサから手術対象の部位を含む術野を撮像することにより得られた第１の画像と第２の画像から奥行き情報を生成し、生成された奥行き情報から視差画像を生成し、前記視差画像から直線的なエッジを検出することで、手術器具の３次元位置を検出し、前記手術器具の３次元位置に対応する線分を延長した延長線と前記術野との交点を、前記手術器具の操作を行う術者の注目点であると推定し、前記第１の画像または前記第２の画像を用いて、前記注目点推定部により推定された前記注目点にフォーカスが合うように制御する。

本技術の一側面のプログラムは、所定の間隔で配置された第１のセンサと第２のセンサから手術対象の部位を含む術野を撮像することにより得られた第１の画像と第２の画像から奥行き情報を生成し、生成された奥行き情報から視差画像を生成し、前記視差画像から直線的なエッジを検出することで、手術器具の３次元位置を検出し、前記手術器具の３次元位置に対応する線分を延長した延長線と前記術野との交点を、前記手術器具の操作を行う術者の注目点であると推定し、前記第１の画像または前記第２の画像を用いて、前記注目点推定部により推定された前記注目点にフォーカスが合うように制御するステップを含む処理をコンピュータに実行させる。

本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、所定の間隔で配置された第１のセンサと第２のセンサから手術対象の部位を含む術野を撮像することにより得られた第１の画像と第２の画像から奥行き情報が生成され、生成された奥行き情報から視差画像が生成され、視差画像から直線的なエッジが検出されることで、手術器具の３次元位置が検出され、手術器具の３次元位置に対応する線分を延長した延長線と術野との交点が、手術器具の操作を行う術者の注目点であると推定され、第１の画像または第２の画像を用いて、注目点推定部により推定された注目点にフォーカスが合うように制御される。

本技術の一側面によれば、術者が所望する術部に対してフォーカス制御を行えるようにすることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。 内視鏡システムの使用状態を説明する図である。 奥行き位置の算出方法を説明する図である。 奥行き位置の算出方法を説明する図である。 鉗子の位置検出を説明する図である。 注目点の位置検出を説明する図である。 ディスプレイに表示される重畳画像の例を示す図である。 フォーカス制御について説明するためのフローチャートである。 鉗子位置検出処理の詳細を説明するフローチャートである。 注目点推定処理の詳細を説明するフローチャートである。 フォーカス制御について説明するためのフローチャートである。 本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．内視鏡システムの構成例
２．フォーカス処理フロー
３．他のフォーカス処理フロー
４．記録媒体について

＜内視鏡システムの構成例＞
図１は、本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。

図１の内視鏡システムは、内視鏡カメラヘッド１１、CCU（カメラコントロールユニット）１２、操作部１３、及びディスプレイ１４により構成される。

この内視鏡システムは、手術対象となる体内の部位（術部）を被観察部として撮像してディスプレイ１４に映し出し、ディスプレイ１４を見ながら被観察部に処置を施す内視鏡下手術で用いられる。

内視鏡下手術では、例えば、図２に示されるように、内視鏡カメラヘッド１１の挿入部２５と、手術器具である２本の鉗子８１（８１Ａ及び８１Ｂ）が、患者の体内に挿入される。内視鏡カメラヘッド１１は、挿入部２５の先端から光を照射して患者の術部８２を照明して、２本の鉗子８１及び術部８２の状態を撮像する。

なおここでは、内視鏡を例にあげて説明するが、内視鏡のような医療用機器以外の機器に対しても本技術を適用できる。例えば、術部に該当する注目部位を、手術器具に該当する指示具や所定のデバイス等で何らかの処理を施す機器に対して適用できる。

内視鏡カメラヘッド１１は、図１に示されるように、撮像部２１、光源２２、及び、フォーカスレンズ２３を含んで構成される。

撮像部２１は、第１撮像センサ２４ａと第２撮像センサ２４ｂの２つの撮像センサ２４を少なくとも有する。撮像センサ２４は、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサなどで構成され、被写体を撮像して、その結果得られる画像を生成する。撮像センサ２４には、いわゆる４Ｋカメラと呼ばれる、水平方向×垂直方向の画素数が約４０００×約２０００の画素数を有する高解像度のセンサを採用することができる。２つの撮像センサ２４は、左右方向に所定の間隔離れて配置されており、視点方向の異なる画像を生成し、CCU１２に出力する。

本実施の形態では、２つの撮像センサ２４で撮像されて得られる画像を術部画像と称する。また、本実施の形態では、第１撮像センサ２４ａが右側、第２撮像センサ２４ｂが左側に配置されているものとして、第１撮像センサ２４ａが生成する術部画像をR画像、第２撮像センサ２４ｂが生成する術部画像をL画像ともいう。

光源２２は、例えば、ハロゲンランプ、キセノンランプ、LED (Light Emitting Diode）光源などで構成され、術部を照明するための光を出射する。

フォーカスレンズ２３は、１または複数のレンズで構成されており、CCU１２のフォーカス制御部４６（後述する）によって駆動され、被写体からの入射光（像光）を撮像センサ２４の撮像面上に結像する。

CCU１２は、内視鏡カメラヘッド１１の撮像部２１で撮像されて得られた術部画像を処理する画像処理装置であり、奥行き情報生成部４１、鉗子位置検出部４２、注目点推定部４３、画像重畳部４４、操作制御部４５、及び、フォーカス制御部４６により構成されている。

撮像部２１で生成され、出力されたR画像及びL画像は、CCU１２の奥行き情報生成部４１と画像重畳部４４に供給される。また、R画像及びL画像の一方（例えば、L画像）は、フォーカス制御部４６にも供給される。

奥行き情報生成部４１は、供給されたR画像及びL画像から、術部画像の奥行き情報を生成する。より具体的には、奥行き情報生成部４１は、供給されたR画像及びL画像を用いて、三角測量の原理により、術部画像内の各画素の奥行き方向の位置を算出する。

図３及び図４を参照して、三角測量の原理を用いた、術部画像内の各画素の奥行き位置の算出方法について説明する。

いま、第１撮像センサ２４ａと第２撮像センサ２４ｂが、図３に示されるように、距離Ｔの間隔を開けて、横方向に並んで配置されており、第１撮像センサ２４ａと第２撮像センサ２４ｂのそれぞれが、実世界上の物体Ｐを撮像しているものとする。

第１撮像センサ２４ａと第２撮像センサ２４ｂの垂直方向の位置は同一であり、水平方向の位置だけが異なるので、第１撮像センサ２４ａと第２撮像センサ２４ｂにより得られるR画像とL画像の画像内における物体Ｐの位置は、ｘ座標位置のみが異なることとなる。

そこで、例えば、第１撮像センサ２４ａにより得られるR画像では、R画像内に映る物体Ｐのｘ座標がｘ^ｒであり、第２撮像センサ２４ｂにより得られるL画像では、L画像内に映る物体Ｐのｘ座標がｘ^ｌであるとする。

三角測量の原理を用いると、図４に示されるように、R画像中の物体Ｐのｘ座標＝ｘ^ｒは、第１撮像センサ２４ａの光学中心Ｏ_ｒと物体Ｐとを結んだ直線上の位置に相当する。また、L画像中の物体Ｐのｘ座標＝ｘ^ｌは、第２撮像センサ２４ｂの光学中心Ｏ_ｌと物体Ｐとを結んだ直線上の位置に相当する。

ここで、光学中心Ｏ_ｒまたはＯ_ｌから、R画像またはL画像の撮像平面までの距離をｆ、実世界の物体Ｐまでの距離（奥行き）をＺとすると、視差ｄは、ｄ＝（ｘ^ｌ−ｘ^ｒ）で表される。

また、Ｔ，Ｚ，ｄ，ｆには、

の関係が成り立つ。

従って、物体Ｐまでの距離Ｚは、式（１）を変形して、次式（２）により求めることができる。

図１の奥行き情報生成部４１は、上述した三角測量の原理を用いて、術部画像内の各画素の奥行きＺを算出する。奥行き情報生成部４１で算出された各画素の奥行きＺは、奥行き情報として、鉗子位置検出部４２と注目点推定部４３のそれぞれに供給される。

鉗子位置検出部４２は、奥行き情報生成部４１から供給された術部画像の奥行き情報を用いて、術部画像内に映された鉗子８１の位置を検出する。なお、上述したように、術部画像内には、２本の鉗子８１が被写体として撮像される場合があるが、いずれか一方の鉗子８１の位置が検出されればよい。どちらの鉗子８１の位置を検出するかは、予め決めてもよいし、術部画像内でより検出しやすい方を検出するのでもよい。また、２本の鉗子８１の位置を検出しても勿論よい。

図５を参照して、鉗子位置検出部４２による鉗子８１の位置検出について説明する。

初めに、鉗子位置検出部４２は、奥行き情報生成部４１から供給された術部画像の奥行き情報から、視差画像を生成する。視差画像とは、奥行き情報である各画素の奥行きＺをグレースケールで表した画像である。

図５Aは、視差画像の例を示しており、輝度値が大きい値ほど奥行きＺは小さく、術部画像中の被写体がより手前にあることを表している。

次に、鉗子位置検出部４２は、生成した視差画像から、輝度値の境界となるエッジを検出する。例えば、視差画像のなかで、隣接する画素の画素値の差分が所定の値以上である画素が、エッジとして検出される。

エッジ検出成分を輝度値に基づく検出としているが、例えば、術野は、赤色が主成分であるのに対して、鉗子は、銀、白、黒などの赤とは異なる色であることが一般的である。このように術野と鉗子は、異なる色であるため、色成分情報に基づき、エッジ検出を行うことも可能である。すなわち、視差画像内の特定の色情報に基づいて、鉗子等の手術器具の３次元位置を検出するように構成することも可能である。

ここでは、輝度値を用いる場合を例にあげて説明する。図５Bは、図５Aの視差画像に対して検出されたエッジの例を示している。

次に、鉗子位置検出部４２は、検出されたエッジのなかから、曲線的なエッジを除去し、一定以上の長さを有する直線的なエッジのみを検出する。

鉗子８１は棒状の形状を有しているため、鉗子８１のエッジとして、所定の長さ以上の直線的なエッジが存在する。そこで、鉗子位置検出部４２は、検出されたエッジのなかから、鉗子８１のエッジとして、一定以上の長さを有する直線的なエッジのみを検出する。

なお、鉗子位置検出部４２は、鉗子８１のエッジを特定する際、上記の一定以上の長さを有する直線的なエッジであるか否かの他に、検出された直線的なエッジが、術部画像の外縁部から続く直線であるか否かを判定してもよい。内視鏡カメラヘッド１１の挿入部２５と鉗子８１が、図２に示したような位置関係にある場合、一般に、術部画像内において、鉗子８１は、術部画像の外縁部から中心部へ延びるような位置で撮像されている。そのため、検出された直線的なエッジが術部画像の外縁部から続く直線であるか否かを判定することにより、鉗子８１の検出精度をさらに上げることができる。

次に、鉗子位置検出部４２は、検出された直線的なエッジから、撮像画像内における３次元空間上の鉗子８１の位置、即ち、鉗子８１の姿勢を推定する。

具体的には、鉗子位置検出部４２は、図５Dに示されるように、検出された直線的なエッジから、鉗子８１に対応する線分（直線）１０１を算出する。線分１０１は、例えば、検出された２本の直線的なエッジの中間線などで求めることができる。

そして、鉗子位置検出部４２は、算出された線分１０１上の所定の２点（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）を検出し、検出された２点の位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）の奥行き位置ｚ_１及びｚ_２を、供給された奥行き情報から取得する。これにより、術部画像内における鉗子８１の３次元空間上の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）が特定される。

なお、術部画像内の２本の鉗子８１に対応して２つの線分が検出された場合には、より手前にある方を選択するなどして、検出された２つの線分のいずれか一方を選択することができる。

図１に戻り、鉗子位置検出部４２は、以上のようにして検出された鉗子８１の３次元空間上の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）を、注目点推定部４３に供給する。

注目点推定部４３には、奥行き情報生成部４１から、術部画像の奥行き情報が供給されるとともに、鉗子位置検出部４２から、鉗子８１の姿勢を表す３次元空間上の２点の座標（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）が供給される。

注目点推定部４３は、図６に示されるように、検出された鉗子８１の位置を延長した先に、術部８２の注目点Ｑが存在すると仮定して、３次元空間上の術部８２の注目点Ｑの位置を推定する。術部８２の注目点Ｑは、検出された鉗子８１の姿勢を延長した延長線と、術部８２の表面の交点に相当する。推定された３次元空間上の術部８２の注目点Ｑの位置座標は、画像重畳部４４に供給される。

画像重畳部４４は、注目点推定部４３から供給される注目点Ｑを中心とした所定のマーク、例えば、×印、所定の大きさの円形や四角形を、撮像部２１から供給される術部画像の注目点Ｑを中心とした位置に重畳した重畳画像を生成し、ディスプレイ１４に表示させる。

画像重畳部４４に、操作制御部４５から、３Ｄ表示のオンまたはオフを指定する制御情報である表示モード情報が供給されるように構成することも可能である。画像重畳部４４は、表示モード情報により３Ｄ表示のオフが指定されている場合、R画像及びL画像のいずれか一方をディスプレイ１４に供給し、術部画像を２Ｄ表示させる。

一方、表示モード情報により３Ｄ表示のオンが指定されている場合、画像重畳部４４は、R画像及びL画像の両方をディスプレイ１４に供給し、術部画像を３Ｄ表示させる。ここで、３Ｄ表示とは、R画像とL画像を交互にディスプレイ１４に表示させ、R画像を術者の右眼で視認させ、L画像を術者の左眼で視認させることにより、術者が術部画像を立体的に知覚する画像表示をいう。

操作制御部４５は、操作部１３から供給される操作信号に基づいて、各種の制御信号を所要の各部へ供給する。例えば、操作制御部４５は、操作部１３で行われた注目点Ｑを含む領域にフォーカスを合わせるとの指示に応じて、フォーカスを合わせる指示を、フォーカス制御部４６に供給する。

フォーカス制御部４６は、撮像部２１から供給されるL画像に基づいて、コントラスト法によるフォーカス制御を行う。具体的には、フォーカス制御部４６は、内視鏡カメラヘッド１１のフォーカスレンズ２３を駆動し、撮像部２１から供給されるL画像のコントラストを比較して、フォーカス位置を検出する。フォーカス制御部４６は、注目点推定部４３から、注目点Ｑの位置座標を取得して、注目点Ｑを中心とする所定の範囲内の領域をフォーカス制御対象領域としてフォーカス制御を行うことができる。

操作部１３は、少なくともフットペダル６１を備え、術者（操作者）からの操作を受け付け、術者が行った操作に対応する操作信号を操作制御部４５に供給する。術者は、操作部１３を操作することにより、例えば、ディスプレイ１４に表示される注目点Ｑを表すマークの位置に、フォーカスを合わせる、ディスプレイ１４に表示される術部画像の２Ｄ表示と３Ｄ表示の切替え、内視鏡のズーム倍率の設定、などを行うことができる。

ディスプレイ１４は、例えばLCD(Liquid Crystal Display)などで構成され、画像重畳部４４から供給される画像信号に基づいて、内視鏡カメラヘッド１１の撮像部２１で撮像された術部画像を表示する。また、重畳モードがオンに設定されている場合、ディスプレイ１４は、撮像部２１で撮像された術部画像、またはその述部画像に注目点推定部４３で推定された注目点Ｑの位置を表す所定形状のマークを重畳した重畳画像を表示する。

図７は、ディスプレイ１４に表示される重畳画像の例を示している。

図７の重畳画像１００では、撮像部２１から供給された術部画像１１０に、注目点Ｑを含む領域として決定された所定の大きさの注目領域ＱＡが、四角形状のマークで表されている。

術部画像１１０には、２本の鉗子８１A及び８１Bが撮像されており、注目点Ｑは、左側の鉗子８１Aの位置に基づいて推定されている。そして、重畳画像１００には、推定された注目点Ｑと、その注目点Ｑを術者に認識させるためのマーク(図７では注目領域ＱＡを表す四角形状)、及び、注目点Ｑの推定で計算された延長線に対応するガイド線１１１が表示されている。

ガイド線１１１が表示されるように構成した場合、ガイド線１１１の表示により、腹腔内の３次元距離をより直感的に認識することが可能となり、平面視においても３次元的な距離情報を術者に提示することができるようになる。

図７では、注目点Ｑを術者に認識させるためのマークとして四角形状を例示したが、四角形状に限らず、三角形状など、他の形状でも良い。またバツ（×）印などの形状のマークが表示されるようにしても良い。

＜フォーカス処理フロー＞
次に、図１の内視鏡システムにおいて、注目点Ｑを検出し、その注目点Ｑの位置にフォーカスを合わせるときの処理について図８のフローチャートを参照して説明する。なお、このような注目点Ｑを検出し、フォーカスを合わせるという処理(オートフォーカスの処理)を行うか否かは、術者により設定できるようにし、オートフォーカスを行うと設定されているときに、図８に示したフローチャートの処理が実行されるように構成することも可能である。

また、オートフォーカスを行うか否かの設定は、フットペダル６１を操作することにより行えるように構成することも可能である。

また、図８に示したフォーカス処理フローに基づく処理は、術者が開始ボタン(フットペダル６１でも良い)を操作したとき、光学ズームなどでピントが外れたと判断されたとき、などに開始されるように構成することができる。また本技術は、顕微鏡システムにも適用でき、顕微鏡システムにおけるアームが動いたときをトリガーとして、図８に示したフォーカス処理フローに基づく処理が開始されるように構成することもできる。

図８は、フォーカス処理のフローチャートを示している。図８のフォーカス処理が実行される状態では、内視鏡システムの各機器の電源が入っており、内視鏡カメラヘッド１１の挿入部２５や鉗子８１が患者の体内に挿入され、患者の術部８２が光源２２により照明されている。

初めに、ステップＳ１において、奥行き情報生成部４１は、内視鏡カメラヘッド１１の撮像部２１から供給されたR画像及びL画像から、術部画像の奥行き情報を生成する。より具体的には、奥行き情報生成部４１は、図４を参照して説明した三角測量の原理を用いた式（２）により、術部画像内の各位置（画素）の奥行きＺを算出する。奥行き情報生成部４１で算出された奥行き情報は、注目点推定部４３と鉗子位置検出部４２のそれぞれに供給される。

ステップＳ１における処理は、撮像部２１で撮影されている被写体表面の３次元位置を決定するための処理である。

ステップＳ２において、鉗子位置検出部４２は、奥行き情報生成部４１から供給された術部画像の奥行き情報を用いて術部画像内の鉗子８１の位置を検出する鉗子位置検出処理を実行する。ステップＳ２における処理は、術者が持つ鉗子等の棒状の器具の３次元位置を検出するための処理である。

＜鉗子位置検出処理の詳細フロー＞
図９は、ステップＳ２で実行される鉗子位置検出処理の詳細なフローチャートを示している。

鉗子位置検出処理では、初めに、ステップＳ２１において、鉗子位置検出部４２が、奥行き情報生成部４１から供給された術部画像の奥行き情報から、視差画像を生成する。

ステップＳ２２において、鉗子位置検出部４２は、生成した視差画像から、輝度値の境界となるエッジを検出する。

ステップＳ２３において、鉗子位置検出部４２は、検出されたエッジのなかから、曲線的なエッジを除去し、一定以上の長さを有する直線的なエッジのみを検出する。

ステップＳ２４において、鉗子位置検出部４２は、検出された直線的なエッジから、術部画像内における３次元空間上の鉗子８１の位置を推定する。これにより、図５Dを参照して説明したように、術部画像内における鉗子８１の３次元空間上の位置を示す２点の座標（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）が決定される。

以上のようにして検出された術部画像内の鉗子８１の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）は、注目点推定部４３に供給され、処理は図８のステップＳ３に進む。

ステップＳ３において、注目点推定部４３は、検出された鉗子８１の位置を延長した先に、術部８２の注目点Ｑが存在すると仮定して、３次元空間上の術部８２の注目点Ｑの位置を検出する注目点推定処理を実行する。

＜注目点推定処理の詳細フロー＞
図１０のフローチャートを参照して、図８のステップＳ３で実行される注目点推定処理の詳細について説明する。

初めに、ステップＳ４１において、注目点推定部４３は、鉗子位置検出部４２から供給された、術部画像内における３次元空間上の鉗子８１の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）を取得する。

ステップＳ４２において、注目点推定部４３は、ＸＹ平面における２点の鉗子座標（Ｘ_１，Ｙ_１）及び（Ｘ_２，Ｙ_２）を結ぶ線分Ａの傾きａ_１を計算する。傾きａ_１は、以下の式で算出することができる。
ａ_１＝（Ｙ_２−Ｙ_１）／（Ｘ_２−Ｘ_１）

ステップＳ４３において、注目点推定部４３は、ＸＺ平面における２点の鉗子座標（Ｘ_１，Ｚ_１）及び（Ｘ_２，Ｚ_２）を結ぶ線分Ｂの傾きａ_２を計算する。傾きａ_２は、以下の式で算出することができる。
ａ_２＝（Ｚ_２−Ｚ_１）／（Ｘ_２−Ｘ_１）

ステップＳ４４において、注目点推定部４３は、ＸＹ平面における線分Ａを、画面中心方向に所定の長さＷだけ延長したときのＸ座標値である座標Ｘ_３を決定する。所定の長さＷは、例えば、線分Ａの１／Ｎ（Ｎは正の整数）で定義することができる。

ステップＳ４５において、注目点推定部４３は、Ｙ_３＝ａ_１*Ｘ_３を計算し、ＸＹ平面における線分Ａの延長点（Ｘ_３，Ｙ_３）を計算する。ここで、“*”は乗算を表す。

ステップＳ４６において、注目点推定部４３は、線分Ａの延長点（Ｘ_３，Ｙ_３）のＸＺ平面上の奥行きＺ_３を、Ｚ_３＝ａ_２*Ｘ_３により計算する。ここで計算された延長点（Ｘ_３，Ｙ_３）の奥行きＺ_３は、延長点（Ｘ_３，Ｙ_３）の理論値に相当する。

ステップＳ４７において、注目点推定部４３は、奥行き情報生成部４１から供給された奥行き情報から、線分Ａの延長点（Ｘ_３，Ｙ_３）の奥行きＺ_４を取得する。ここで、取得される延長点（Ｘ_３，Ｙ_３）の奥行きＺ_４は、延長点（Ｘ_３，Ｙ_３）の実値に相当する。

ステップＳ４８において、注目点推定部４３は、延長点（Ｘ_３，Ｙ_３）の理論値である奥行きＺ_３が、実値の奥行きＺ_４よりも大きいか否かを判定する。

鉗子８１に対応する線分Ａを画面中心方向に所定の長さＷだけ延長した延長点（Ｘ_３，Ｙ_３）に術部８２が存在しない場合とは、術部８２がもっと奥の方に存在している場合である。この場合、奥行き情報から得られた延長点（Ｘ_３，Ｙ_３）の実値の奥行きＺ_４は、理論値の奥行きＺ_３よりも大きくなる。

一方、延長点（Ｘ_３，Ｙ_３）に実際に術部８２が存在する場合には、延長点（Ｘ_３，Ｙ_３）の理論値（奥行きＺ_３）よりも、奥行き情報から得られた実値（奥行きＺ_４）が手前に存在する状態となるため、延長点（Ｘ_３，Ｙ_３）の実値の奥行きＺ_４は、理論値の奥行きＺ_３よりも小さくなる。

したがって、ステップＳ４８では、注目点推定部４３は、線分Ａを所定の長さＷだけ延長した延長点（Ｘ_３，Ｙ_３）の理論値（奥行きＺ_３）が、奥行き情報から得られた実値（奥行きＺ_４）よりも手前に存在する状態となっているか否かを判定している。

ステップＳ４８で、延長点（Ｘ_３，Ｙ_３）の理論値である奥行きＺ_３が実値の奥行きＺ_４以下である、即ち、延長点（Ｘ_３，Ｙ_３）の理論値の奥行きＺ_３が実値の奥行きＺ_４よりも手前であると判定された場合、処理はステップＳ４４に戻される。

処理が戻されたステップＳ４４では、ＸＹ平面における線分Ａを、現在の延長点（Ｘ_３，Ｙ_３）よりもさらに画面中心方向に所定の長さＷだけ延長した座標Ｘ_３が、新たな座標Ｘ_３として決定される。そして、決定された新たな座標Ｘ_３に対して、上述したステップＳ４５乃至Ｓ４８が再度実行される。

一方、ステップＳ４８で、延長点（Ｘ_３，Ｙ_３）の理論値である奥行きＺ_３が実値の奥行きＺ_４より大きい、即ち、延長点（Ｘ_３，Ｙ_３）の実値の奥行きＺ_４が理論値の奥行きＺ_３よりも手前であると判定された場合、処理はステップＳ４９に進む。

ステップＳ４９において、注目点推定部４３は、実値の奥行きＺ_４をＺ座標値とする延長点（Ｘ_３，Ｙ_３，Ｚ_４）を注目点Ｑに決定する。

以上により図８のステップＳ３が終了し、処理がステップＳ４に進められる。

ステップＳ４において、推定(検出)された注目点Ｑが画面上に表示される。例えば、図７を参照して説明したように、注目点Ｑの位置に所定のマークが表示される。

ステップＳ５において、合焦点とする指示が出されたか否かが判断される。術者は、ディスプレイ１４に表示された注目点Ｑを、合焦点としたい場合、操作部１３のフットペダル６１を操作する。このような操作が行われた場合、推定された注目点Ｑが合焦点とする指示が出されたと判断される。

なおここでは、フットペダル６１の操作が合焦点とする指示であるとして説明したが、例えば、鉗子に取り付けられているスイッチ(不図示)が操作される、音声認識で予め設定されている言葉が発せされるなどの他の方法で、合焦点とする指示が出されるように構成することも可能である。

ステップＳ５において、合焦点とする指示は出されていないと判断された場合、ステップＳ１に処理が戻され、それ以降の処理が繰り返される。

一方で、ステップＳ５において、合焦点とする指示が出されたと判断された場合、ステップＳ６に処理が進められ、フォーカス制御部４６によるフォーカス制御が行われる。フォーカス制御部４６は、注目点推定部４３から推定された注目点の座標位置などの情報を取得し、その情報から、注目点Ｑの位置にフォーカスが合うように、例えば、上記したコントラスト法により、フォーカス制御を行う。

なお、内視鏡カメラヘッド１１が動き、撮影されている被写体表面の３次元位置が変化する可能性がある場合、図８に示したように、ステップＳ５において、合焦点とする指示は出されていないと判断された場合、ステップＳ１に処理が戻され、再度奥行き情報が生成され、それ以降の処理が繰り返される。

本技術は、上述した内視鏡システムの他、顕微鏡システムについても同様に適用することができる。その場合、図１の内視鏡カメラヘッド１１に代えて、顕微鏡カメラヘッドが設けられ、CCU１２は、顕微鏡カメラヘッドで撮像された術部画像の重畳表示処理を行うことができる。

顕微鏡システムで、顕微鏡カメラヘッドと被写体が固定され、撮影部２１で撮影されている被写体表面の３次元位置が変化する可能性が低い場合、図８に示したステップＳ５において、合焦点とする指示は出されていないと判断された場合、ステップＳ２に処理が戻され、それ以降の処理が繰り返されるような構成としても良い。この場合、撮影されている被写体表面の３次元位置（奥行き情報）は、最初の１回だけ取得され、その後、その取得された奥行き情報が繰り返し利用されて処理が行われる。

なお、ステップＳ５において、合焦点とする指示は出されていないと判断された場合、ステップＳ２に処理が戻され、それ以降の処理が繰り返されるような構成とした場合であっても、例えば、所定の間隔毎にステップＳ１における奥行き情報の生成が行われ、奥行き情報が更新されるように構成することも可能である。

上述した鉗子位置検出処理では、術部画像の奥行き情報から視差画像を生成し、直線的なエッジを検出することにより、鉗子８１を検出する例について説明したが、その他の検出方法を採用することもできる。

例えば、鉗子８１の所定の２か所にマーカを付しておき、術部画像内の鉗子８１の位置（ｘ_１，ｙ_１，ｚ_１）及び（ｘ_２，ｙ_２，ｚ_２）として、鉗子８１に付された２か所のマーカを検出することができる。鉗子８１の形状及び色や、鉗子８１に付されているマーカの形状及び色など、施術で使用される複数種類の鉗子８１の特徴を予めデータベースとして鉗子位置検出部４２内のメモリに記憶させておき、指定された鉗子８１の情報に基づいて、マーカの検出を行うようにすることができる。

このように、鉗子が指す方向が、術者が注目している方向であるとし、その方向に位置する被写体画像にフォーカスが合うように制御するため、術者は、鉗子等の器具から他を離すことなく、希望する部分にフォーカスを合わせることができる。よって、使い勝手の良い、操作性が向上した内視鏡システムや顕微鏡システムを提供することが可能となる。

＜他のフォーカス処理フロー＞
内視鏡システムのフォーカス制御に係わる他の処理について、図１１に示したフローチャートを参照して説明する。

ステップＳ１０１において、鉗子位置検出部４２は、術部画像内の鉗子８１の位置を検出する鉗子位置検出処理を実行する。ステップＳ１０１における処理は、術者が持つ鉗子等の棒状の器具の３次元位置を検出するための処理である。ステップＳ１０１における鉗子位置検出処理は、図８に示したステップＳ２の処理と同様に行うことが可能である。

ステップＳ１０２において、奥行き情報生成部４１は、内視鏡カメラヘッド１１の撮像部２１から供給されたR画像及びL画像から、術部画像の奥行き情報を生成する。ステップＳ１０２における処理は、撮像部２１で撮影されている被写体表面の３次元位置を決定するための処理である。ステップＳ１０２における鉗子位置検出処理は、図８に示したステップＳ１の処理と同様に行うことが可能である。

図１１に示したフローチャートに基づく処理は、図８に示したフローチャートに基づく処理において、奥行き情報を生成した後、鉗子位置を検出するという流れを逆にし、鉗子位置を検出した後に、奥行き情報を生成する流れとなっている。

鉗子位置を検出することで、鉗子の先端部の延長上であり、被写体画像と交わる部分が推定できる。その推定される被写体画像の部分に対して、奥行き情報を生成するための処理が実行される。すなわち、図１１に示したフローチャートの処理においては、奥行き情報を生成する領域を絞り込み、その絞り込まれた領域内から、奥行き情報が生成される。

このように、奥行き情報を生成する領域を絞り込むことで、奥行き情報を生成するために必要される処理能力や処理時間を低減させることが可能となる。

ステップＳ１０３乃至Ｓ１０６における処理は、図８のフローチャートのステップＳ３乃至Ｓ６と同様に行われるため、その説明は省略する。

このように、本技術によれば、鉗子が指している部分の画像にフォーカスを合わせることができるため、操作者は手に持つ鉗子等の器具を手から離すことなく、希望する部分にフォーカスを合わせることが出来る。よって、内視鏡システムの操作性を向上させることができる。

＜記録媒体について＞
CCU１２が実行する画像処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、CCU１２が実行する画像処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

１１ 内視鏡カメラヘッド， １２ CCU， １３ 操作部， １４ ディスプレイ， ２１ 撮像部， ２４ａ 第１撮像センサ， ２４ｂ 第２撮像センサ， ４１ 奥行き情報生成部， ４２ 鉗子位置検出部， ４３ 注目点推定部， ４４ 画像重畳部， ４５ 操作制御部， ６１ フットペダル， Ｑ 注目点， ＱＡ 注目領域， １１１ ガイド線， ＱＢ ズーム画像， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０６ 入力部， ２０７ 出力部， ２０８ 記憶部， ２０９ 通信部， ２１０ ドライブ

Claims (11)

1. 所定の間隔で配置された第１のセンサと第２のセンサから手術対象の部位を含む術野を撮像することにより得られた第１の画像と第２の画像から奥行き情報を生成する生成部と、
   生成された奥行き情報から視差画像を生成し、前記視差画像から直線的なエッジを検出することで、手術器具の３次元位置を検出する位置検出部と、
   前記手術器具の３次元位置に対応する線分を延長した延長線と前記術野との交点を、前記手術器具の操作を行う術者の注目点であると推定する注目点推定部と、
   前記第１の画像または前記第２の画像を用いて、前記注目点推定部により推定された前記注目点にフォーカスが合うように制御するフォーカス制御部と
   を備える画像処理装置。
2. 前記注目点を表す所定のマークを、ディスプレイに表示させる前記第１の画像または前記第２の画像に重畳する
   請求項１に記載の画像処理装置。
3. 前記フォーカス制御部は、前記術者からの指示があったとき、フォーカスの制御を行い、
   前記術者からの指示は、フットペダルの操作、前記手術器具に備えられているボタンの操作、または所定の言葉の発話により出される
   請求項１または２に記載の画像処理装置。
4. 前記フォーカス制御部は、光学ズームでピントが外れたと判断されたときにフォーカス制御を行う
   請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記フォーカス制御部は、顕微鏡システムにおけるアームが動いたときに、フォーカス制御を行う
   請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記手術器具の３次元位置に対応する線分を延長した延長線をさらに表示させる
   請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記エッジは、前記視差画像内の輝度情報に基づいて検出される
   請求項１乃至６のいずれかに記載の画像処理装置。
8. 前記エッジは、前記視差画像内の色情報に基づいて検出される
   請求項１乃至６のいずれかに記載の画像処理装置。
9. 前記手術器具の３次元位置は、前記視差画像から、前記手術器具に付されたマーカを検出することで検出される
   請求項１乃至６のいずれかに記載の画像処理装置。
10. 画像処理装置が、
    所定の間隔で配置された第１のセンサと第２のセンサから手術対象の部位を含む術野を撮像することにより得られた第１の画像と第２の画像から奥行き情報を生成し、
    生成された奥行き情報から視差画像を生成し、前記視差画像から直線的なエッジを検出することで、手術器具の３次元位置を検出し、
    前記手術器具の３次元位置に対応する線分を延長した延長線と前記術野との交点を、前記手術器具の操作を行う術者の注目点であると推定し、
    前記第１の画像または前記第２の画像を用いて、前記注目点推定部により推定された前記注目点にフォーカスが合うように制御する
    画像処理方法。
11. 所定の間隔で配置された第１のセンサと第２のセンサから手術対象の部位を含む術野を撮像することにより得られた第１の画像と第２の画像から奥行き情報を生成し、
    生成された奥行き情報から視差画像を生成し、前記視差画像から直線的なエッジを検出することで、手術器具の３次元位置を検出し、
    前記手術器具の３次元位置に対応する線分を延長した延長線と前記術野との交点を、前記手術器具の操作を行う術者の注目点であると推定し、
    前記第１の画像または前記第２の画像を用いて、前記注目点推定部により推定された前記注目点にフォーカスが合うように制御する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images