JP7140113B2

JP7140113B2 - 内視鏡

Info

Publication number: JP7140113B2
Application number: JP2019519165A
Authority: JP
Inventors: 康昭高橋; 健治高橋; 岳志宮井
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2017-05-15
Filing date: 2018-05-01
Publication date: 2022-09-21
Anticipated expiration: 2038-05-01
Also published as: US20200214539A1; US11399699B2; EP3626156A4; EP3626156A1; WO2018211970A1; JPWO2018211970A1

Description

本技術は、内視鏡に関し、特に、例えば、低消費電力で、高解像度の医用画像を取得することができるようにする内視鏡に関する。

例えば、被写体からの光から分離されたR(Red)，G(Green)、及び、B(Blue)の光による像に対応する画像信号を出力するR用撮像素子、G用撮像素子、及び、B用撮像素子を有し、R用撮像素子を、G用撮像素子及びB用撮像素子よりも多い画素数で構成するとともに、R用撮像素子の1/2画素分だけずれるように、R用撮像素子と、G用撮像素子及びB用撮像素子とを配置することで、Rの光に対する解像度が高い画像を取得する内視鏡が提案されている（例えば、特許文献１を参照）。

R用撮像素子を、G用撮像素子及びB用撮像素子よりも多い画素数で構成する場合、R用撮像素子と、G用撮像素子及びB用撮像素子との受光面（像面）のサイズが同一であるときには、R用撮像素子の画素のサイズは、G用撮像素子及びB用撮像素子の画素のサイズよりも小になる。

サイズが小さい画素の感度は低いため、内視鏡で撮影されるシーンが、赤が支配的でないシーンである場合には、R用撮像素子が出力する画像信号は、ノイズが多い画像信号となり、R用撮像素子の1/2画素分だけずれるように、R用撮像素子と、G用撮像素子及びB用撮像素子とを配置したことが有効に機能しないことがあり得る。

特開2008-136732号公報

内視鏡で撮影される画像は、医療の用に供される医用画像であるから、医師が細かい部分を確認することができるように、高解像度の画像であることが望ましい。

内視鏡で、高解像度の画像を撮影する方法としては、例えば、Rの波長帯の光であるR光を受光するRセンサ、Gの波長帯の光であるG光を受光するGセンサ、及び、Bの波長帯の光であるB光を受光するBセンサとして、すべて、高解像度のイメージセンサ（多画素のイメージセンサ）を用いる方法がある。

しかしながら、高解像度のイメージセンサでは、多くの画素の画素信号（画素値）が伝送されるため、その画素信号の伝送の処理の消費電力が大になり、発熱量が大になる。

内視鏡は、医師やスコピスト等のユーザが手に持って操作を行うため、発熱量、ひいては、消費電力を抑制することが要請される。

本技術は、このような状況に鑑みてなされたものであり、低消費電力で、高解像度の医用画像を取得することができるようにするものである。

本技術の第１の内視鏡は、第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する第２のセンサとを有するカメラヘッドを備え、前記第２のセンサの画素サイズは、前記第１のセンサの画素サイズより大きい内視鏡である。

本技術の第１の内視鏡においては、カメラヘッドにおいて、第１のセンサは、第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する。第２のセンサは、前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する。前記第２のセンサの画素サイズは、前記第１のセンサの画素サイズより大きい。
本技術の第２の内視鏡は、第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する第２のセンサとを有するカメラヘッドを備え、前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像を用いて、前記第２のセンサが出力する、前記G光以外の光に対応する画素値で構成される第２の画像の画像処理が行われる内視鏡である。
本技術の第２の内視鏡においては、カメラヘッドにおいて、第１のセンサは、第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する。第２のセンサは、前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する。前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像を用いて、前記第２のセンサが出力する、前記G光以外の光に対応する画素値で構成される第２の画像の画像処理が行われる。
本技術の第３の内視鏡は、第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する第２のセンサとを有するカメラヘッドを備え、前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像の画像処理が、前記第２のセンサが出力する、前記G光以外の光に対応する画素値で構成される第２の画像を用いて行われ、かつ、前記第１の画像のうちの、前記第２の画像との相関が閾値以上の部分の画像処理が、前記第２の画像を用いて行われる内視鏡である。
本技術の第３の内視鏡においては、カメラヘッドにおいて、第１のセンサは、第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する。第２のセンサは、前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する。前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像の画像処理が、前記第２のセンサが出力する、前記G光以外の光に対応する画素値で構成される第２の画像を用いて行われ、かつ、前記第１の画像のうちの、前記第２の画像との相関が閾値以上の部分の画像処理が、前記第２の画像を用いて行われる。

本技術の第４の内視鏡は、所定の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、前記所定の画素数の画素を有し、前記G光以外の光を受光する第２のセンサとを有するカメラヘッドを備え、前記第２のセンサは、複数の画素の画素値の加算値を、１の画素の画素値として出力するビニング機能を有し、前記ビニング機能により、前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像よりも画素数が少ない、前記G光以外の光に対応する画素値で構成される第２の画像を出力する内視鏡である。

本技術の第４の内視鏡においては、第１のセンサが、所定の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光するとともに、第２のセンサが、前記所定の画素数の画素を有し、前記G光以外の光を受光する。前記第２のセンサは、複数の画素の画素値の加算値を、１の画素の画素値として出力するビニング機能を有しており、前記ビニング機能により、前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像よりも画素数が少ない、前記G光以外の光に対応する画素値で構成される第２の画像が出力される。

本技術によれば、高解像度の医用画像を取得することができる。特に、本技術によれば、低消費電力で、高解像度の医用画像を取得することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。カメラヘッド１０２の第１の構成例及びCCU２０１の第１の構成例を示すブロック図である。イメージセンサ３０３ないし３０５の構成例の概要を説明する平面図である。 CCU２０１の処理の例を説明するフローチャートである。 CCU２０１の第２の構成例を示すブロック図である。カメラヘッド１０２の第２の構成例を示す図である。ビニング制御部４１３が行う動作モードの設定の処理の例を説明するフローチャートである。カメラヘッド１０２の第３の構成例及びCCU２０１の第３の構成例を示すブロック図である。ビニング制御部４２１が行う動作モードの設定の処理の例を説明するフローチャートである。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜本技術を適用した内視鏡手術システムの一実施の形態＞

図１は、本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。

図１では、術者（医師）１３１が、内視鏡手術システム１０を用いて、患者ベッド１３３上の患者１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１０は、内視鏡１００と、気腹チューブ１１１やエネルギ処置具１１２等の、その他の術具１１０と、内視鏡１００を支持する支持アーム装置１２０と、内視鏡下手術のための各種の装置が搭載されたカート２００と、から構成される。

内視鏡１００は、先端から所定の長さの領域が患者１３２の体腔内に挿入される鏡筒１０１と、鏡筒１０１の基端に接続されるカメラヘッド１０２と、から構成される。図示する例では、硬性の鏡筒１０１を有するいわゆる硬性鏡として構成される内視鏡１００を図示しているが、内視鏡１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１００には光源装置２０３が接続されており、光源装置２０３によって生成された光が、鏡筒１０１の内部に延設されるライトガイドによって鏡筒１０１の先端まで導光され、対物レンズを介して患者１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１０２の内部には、光学系及びイメージセンサ（撮像素子）が設けられており、観察対象からの反射光（観察光）は、光学系によってイメージセンサに集光される。イメージセンサによって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)２０１に送信される。

CCU２０１は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡１００及び表示装置２０２の動作を統括的に制御する。さらに、CCU２０１は、カメラヘッド１０２から画像信号（画像データ）を受け取り、その画像信号に対して、例えば、現像処理（デモザイク処理）等の、画像信号に対応する医用画像を表示するための各種の画像処理を施す。

表示装置２０２は、CCU２０１からの制御により、CCU２０１によって画像処理が施された画像信号に対応する医用画像を表示する。

光源装置２０３は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等の観察対象を撮影する際の照射光を内視鏡１００に供給する。

入力装置２０４は、内視鏡手術システム１０に対する入力インタフェースである。ユーザは、入力装置２０４を介して、内視鏡手術システム１０に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギ処置具１１２の駆動を制御する。気腹装置２０６は、内視鏡１００による視野の確保及び術者の作業空間の確保の目的で、患者１３２の体腔を膨らめるために、気腹チューブ１１１を介して体腔内にガスを送り込む。レコーダ２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１００に術部を撮影する際の照射光を供給する光源装置２０３は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGB(Red, Green, Blue)レーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置２０３において画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で術部に照射し、その照射タイミングに同期してカメラヘッド１０２のイメージセンサの駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。以上のようなイメージセンサの駆動の制御を行う場合には、イメージセンサにカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１０２のイメージセンサの駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し、その体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに、体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

＜カメラヘッド１０２の第１の構成例及びCCU２０１の第１の構成例＞

図２は、カメラヘッド１０２の第１の構成例及びCCU２０１の第１の構成例を示すブロック図である。

なお、図２では（後述する図でも同様）、説明を簡単にするため、術部に照射光を照射する構成については、図示を省略する。

図２において、カメラヘッド１０２は、単眼のカメラヘッドであり、レンズ（群）３０１、プリズム３０２、イメージセンサ３０３，３０４，３０５、及び、データ送信部３０６を有する。

ここで、カメラヘッド１０２は、単眼ではなく、多眼に構成することができる。但し、カメラヘッド１０２を単眼に構成する場合には、カメラヘッド１０２を小型に構成することができ、カメラヘッド１０２を持つユーザの負担を軽減することができる。

また、カメラヘッド１０２を構成する一部、すなわち、例えば、レンズ３０１や、プリズム３０２、イメージセンサ３０３ないし３０５は、鏡筒１０１の先端に設けることができる。

レンズ３０１は、カメラヘッド１０２の光学系を構成し、鏡筒１０１から入射する光、すなわち、照射光が術部で反射されて戻ってくる反射光を、プリズム３０２を介して、イメージセンサ３０３ないし３０５に集光させる。

プリズム３０２は、カメラヘッド１０２の光学系を構成する。プリズム３０２には、レンズ３０１によって集光される光が入射する。プリズム３０２は、レンズ３０１からの光を、R光、G光、及び、B光に分離し、G光をイメージセンサ３０３に、B光をイメージセンサ３０４に、R光をイメージセンサ３０５に、それぞれ入射させる。

イメージセンサ３０３は、プリズム３０２から入射するG光を受光し、光電変換を行って、プリズム３０２からのG光に対応する画像信号であるG信号を出力する。

イメージセンサ３０４は、プリズム３０２から入射するB光を受光し、光電変換を行って、プリズム３０２からのB光に対応する画像信号であるB信号を出力する。

イメージセンサ３０５は、プリズム３０２から入射するR光を受光し、光電変換を行って、プリズム３０２からのR光に対応する画像信号であるR信号を出力する。

イメージセンサ３０３が出力するG信号、イメージセンサ３０４が出力するB信号、及び、イメージセンサ３０５が出力するR信号は、データ送信部３０６に供給される。

ここで、イメージセンサ３０３ないし３０５は、光を受光し、光電変換を行うことが可能な受光面のサイズが、同一のサイズのイメージセンサであり、同一の被写体の像が、受光面上に同一サイズに形成されるように配置されている。

また、G光以外の光を受光するイメージセンサ３０４及び３０５（第２のセンサ）の画素数（第２の画素数）は、G光を受光するイメージセンサ３０３（第１のセンサ）の画素数（第１の画素数）よりも少なくなっている。

したがって、イメージセンサ３０３が、例えば、横×縦が3840×2160画素や4096×2160画素等の、いわゆる4K画像を撮影可能な高解像度のイメージセンサであるとすると、イメージセンサ３０４及び３０５は、例えば、1920×1080画素等の、いわゆるHD(High Definition)画像を撮影可能な、解像度がイメージセンサ３０３より落ちるイメージセンサである。

上述したように、本実施の形態では、イメージセンサ３０３ないし３０５の受光面のサイズは、同一のサイズであるが、イメージセンサ３０４及び３０５の画素数が、イメージセンサ３０３の画素数より少ないので、イメージセンサ３０４及び３０５の画素のサイズ（ピッチ）は、イメージセンサ３０３の画素のサイズより大きい（大きく構成することができる）。

したがって、G光を受光するイメージセンサ３０３は、イメージセンサ３０４及び３０５に比較して、画素数が多いが（高解像度であるが）、画素のサイズが小さいイメージセンサである。

また、G光以外の光、すなわち、ここでは、B光及びR光をそれぞれ受光するイメージセンサ３０４及び３０５は、イメージセンサ３０３に比較して、画素のサイズが大きいが、画素数が少ない（解像度が落ちる）イメージセンサである。

データ送信部３０６は、イメージセンサ３０３ないし３０５からそれぞれ供給されるG信号、B信号、及び、R信号を、CCU２０１に伝送（送信）する。

以上のように構成されるカメラヘッド１０２では、鏡筒１０１から入射する光が、レンズ３０１を介して、プリズム３０２に入射する。プリズム３０２では、レンズ３０１からの光が、R光、G光、及び、B光に分離され、G光はイメージセンサ３０３に、B光はイメージセンサ３０４に、R光はイメージセンサ３０５に、それぞれ入射される。

イメージセンサ３０３ないし３０５は、プリズム３０２からのG光、B光、及び、R光をそれぞれ受光し、対応するG信号、B信号、及び、R信号を、データ送信部３０６に出力する。

データ送信部３０６では、イメージセンサ３０３ないし３０５それぞれからのG信号、B信号、及び、R信号が、CCU２０１に送信される。

カメラヘッド１０２では、G光を受光するイメージセンサ３０３として、高解像度のイメージセンサ、すなわち、例えば、4K画像を撮影可能なイメージセンサ（以下、4Kセンサともいう）を採用するとともに、G光以外のB光やR光を受光するイメージセンサ３０４や３０５として、4Kセンサよりも画素数が少ないイメージセンサ、すなわち、例えば、HD画像を撮影可能なイメージセンサ（以下、HDセンサともいう）を採用するので、低消費電力で、高解像度の医用画像（高解像度に見える医用画像）を取得することができる。

すなわち、人の視覚は、G光（G信号）に対して、G光以外の、例えば、R光やB光に対するよりも感度が高く、解像度の情報を、G光から獲得する特性を有する。

したがって、G光は、R光やB光よりも、人の視覚が獲得する（感じる）解像度に寄与する。

カメラヘッド１０２では、以上のように解像度に寄与するG光を受光するイメージセンサ３０３が、B光を受光するイメージセンサ３０４や、R光を受光するイメージセンサ３０５よりも画素数が多い高解像度のイメージセンサ（例えば、4Kセンサ）であるため、そのようなイメージセンサ３０３が出力するG信号を用いて、高解像度の医用画像を取得することができる。

すなわち、表示装置２０２に最終的に表示される医用画像（の画像信号）は、イメージセンサ３０３が出力するG信号、イメージセンサ３０４が出力するB信号、及び、イメージセンサ３０５が出力するR信号から生成される。

イメージセンサ３０４及び３０５は、例えば、4Kセンサであるイメージセンサ３０３よりも画素数が少ない、例えば、HDセンサであるが、イメージセンサ３０４及び３０５がそれぞれ出力するB信号及びR信号は、イメージセンサ３０３が出力するG信号に比較して、（人が感じる）解像度に寄与する程度（以下、解像度寄与度ともいう）が低い。

一方、解像度寄与度が高いG信号を出力するイメージセンサ３０３は、高解像度の4Kセンサであるため、イメージセンサ３０３が出力するG信号、イメージセンサ３０４が出力するB信号、及び、イメージセンサ３０５が出力するR信号から生成される医用画像は、イメージセンサ３０３ないし３０５として、すべて高解像度の4Kセンサを用いた場合とほぼ同様の解像度に感じられる画像となる。

また、G光ほど解像度に寄与しないB光及びR光をそれぞれ受光するイメージセンサ３０４及び３０５は、解像度に寄与するG光を受光するイメージセンサ３０３より画素数が少ない、例えば、HDセンサであるため、イメージセンサ３０４及び３０５がそれぞれ出力するB信号及びR信号の送信に要する消費電力は、B光及びR光を受光するイメージセンサとして、高解像度のイメージセンサ３０３と同一の解像度の、例えば、4Kセンサを用いる場合に比較して、低消費電力になり、発熱量を抑制することができる。

例えば、イメージセンサ３０４及び３０５として、イメージセンサ３０３の画素数Nの1/4の画素数（例えば、横及び縦のそれぞれの画素数が、イメージセンサ３０３の1/2の画素数）N/4のイメージセンサを採用する場合には、イメージセンサ３０３ないし３０５の画素数の合計3N/2=N+N/4+N/4は、イメージセンサ３０３と同一の画素数のイメージセンサをイメージセンサ３０４及び３０５として採用する場合(3N=N+N+N)の1/2になる。

いま、説明を簡単にするため、イメージセンサ３０３ないし３０５が出力する画素信号（G信号、B信号、R信号）の送信に要する消費電力が、イメージセンサ３０３ないし３０５の画素数に比例することとすると、イメージセンサ３０４及び３０５として、イメージセンサ３０３の画素数の1/4の画素数のイメージセンサを採用する場合には、消費電力、ひいては、発熱量を、イメージセンサ３０３と同一の画素数のイメージセンサをイメージセンサ３０４及び３０５として採用する場合の1/2に抑制することができる。

また、カメラヘッド１０２において、G光以外のB光及びR光をそれぞれ受光するイメージセンサ３０４及び３０５は、イメージセンサ３０３に比較して、画素数が少ない（解像度が落ちる）が、画素のサイズが大きい。すなわち、イメージセンサ３０４及び３０５は、イメージセンサ３０３に比較して、光の強度に対する感度が高いイメージセンサであり、低ノイズの（S/N(Signal to Noise ratio)の良い）画素信号（B信号、R信号）を得ることができる。

表示装置２０２に最終的に表示される医用画像は、かかる低ノイズのB信号及びR信号を用いて生成されるので、S/Nの良い医用画像を得ることができる。

また、画素数が少ないイメージセンサは、画素数が多いイメージセンサよりも安価であるため、イメージセンサ３０４及び３０５として、イメージセンサ３０３よりも画素数が少ないイメージセンサを採用することにより、イメージセンサ３０３と同一の画素数のイメージセンサをイメージセンサ３０４及び３０５として採用する場合に比較して、カメラヘッド１０２、ひいては、内視鏡手術システム１０を、安価に構成することができる。

なお、イメージセンサ３０３は、4Kセンサに限定されるものではなく、例えば、より高解像度の8K画像を撮影可能なイメージセンサである8Kセンサ等を採用することができる。同様に、イメージセンサ３０４及び３０５は、HDセンサに限定されるものではない。

さらに、イメージセンサ３０３とイメージセンサ３０４及び３０５との組み合わせは、4KセンサとHDセンサとの組み合わせに限定されるものではない。例えば、イメージセンサ３０３とイメージセンサ３０４及び３０５との組み合わせとしては、8Kセンサと4Kセンサとの組み合わせ等を採用することができる。

また、イメージセンサ３０３ないし３０５の受光面のサイズは、同一でなくてもよい。さらに、イメージセンサ３０３の画素のサイズは、イメージセンサ３０４及び３０５の画素よりも小さいサイズに限定されるものではない。

例えば、イメージセンサ３０３の画素のサイズと、イメージセンサ３０４及び３０５の画素のサイズとは、同一のサイズを採用することができる。この場合、画素数が多いイメージセンサ３０３の受光面のサイズは、画素数が少ないイメージセンサ３０４及び３０５の受光面のサイズよりも大になる。

さらに、前述の特許文献１に記載の内視鏡では、1/2画素分だけずれるように、R用撮像素子と、G用撮像素子及びB用撮像素子とを配置するため、R用撮像素子の横や縦の画素数は、G用撮像素子及びB用撮像素子の横や縦の画素数の整数倍である必要がある。これに対して、カメラヘッド１０２では、イメージセンサ３０３の画素数は、イメージセンサ３０４及び３０５の画素数の整数倍であっても良いし、整数倍でなくても良い。すなわち、イメージセンサ３０３の画素数と、イメージセンサ３０４及び３０５の画素数との関係に、整数倍の制限は課されない。

図２において、CCU２０１は、データ受信部３１１、変換部３１２及び３１３、並びに、カメラ信号処理部３１４を有する。

データ受信部３１１は、データ送信部３０６から送信されてくるG信号、B信号、及び、R信号を受信し、必要なブロックに供給する。

図２では、G信号はカメラ信号処理部３１４に、R信号は変換部３１２に、B信号は変換部３１３に、それぞれ供給される。

変換部３１２は、データ受信部３１１からのR信号を画素値とするR画像（の画像信号）の画素数を、イメージセンサ３０３が出力するG信号を画素値とするG画像の画素数と同一の画素数に変換（アップコンバート）する画像処理を行い、その変換後のR画像を、カメラ信号処理部３１４に供給する。

変換部３１３は、データ受信部３１１からのB信号を画素値とするB画像の画素数を、G画像の画素数と同一の画素数に変換する画像処理を行い、その変換後のB画像を、カメラ信号処理部３１４に供給する。

変換部３１２及び３１３での画素数の変換（アップコンバート）は、例えば、バイキュービックフィルタのようなアップコンバート用のフィルタを用いて行うことができる。変換部３１２及び３１３での画素数の変換は、イメージセンサ３０３の画素数がイメージセンサ３０４及び３０５の画素数の整数倍であるかどうかにかかわらず行うことができる。そのため、上述したように、イメージセンサ３０３の画素数は、イメージセンサ３０４及び３０５の画素数の整数倍であっても良いし、整数倍でなくても良い。

カメラ信号処理部３１４は、データ受信部３１１からのG信号を画素値とするG画像、変換部３１２からの、G画像と同一の画素数に変換されたR画像、変換部３１３からの、G画像と同一の画素数に変換されたB画像に、所定のカメラ信号処理を施すことで、R信号、G信号、及び、B信号を画素値とする医用画像を生成し、表示装置２０２に供給する。

カメラ信号処理としては、例えば、現像や、ガンマ補正、色の調整等の様々な信号処理を行うことができる。

＜イメージセンサ３０３ないし３０５の構成例＞

図３は、イメージセンサ３０３ないし３０５の構成例の概要を説明する平面図である。

すなわち、図３は、イメージセンサ３０３ないし３０５の構成例を模式的に示している。

図３では、イメージセンサ３０３ないし３０５の受光面は、同一のサイズになっている。

但し、イメージセンサ３０４及び３０５の画素数は、イメージセンサ３０３の画素数より少なくなっている。

したがって、図２で説明したように、G光を受光するイメージセンサ３０３は、イメージセンサ３０４及び３０５に比較して、画素のサイズが小さいが、画素数が多く、高解像度の画像を撮影することができる。

また、B光及びR光をそれぞれ受光するイメージセンサ３０４及び３０５は、イメージセンサ３０３に比較して、画素数が少ないが、画素のサイズが大きく、光の強度に対する感度が高い。

＜CCU２０１の処理＞

図４は、図２のCCU２０１の処理の例を説明するフローチャートである。

ステップＳ１１において、データ受信部３１１は、データ送信部３０６から送信されてくるG信号を画素値とするG画像、B信号を画素値とするB画像、及び、R信号を画素値とするR画像を受信する。さらに、ステップＳ１１では、データ受信部３１１は、G画像をカメラ信号処理部３１４に、R画像を変換部３１２に、B画像を変換部３１３に、それぞれ供給し、処理は、ステップＳ１２に進む。

ステップＳ１２では、変換部３１２が、データ受信部３１１からのR画像の画素数を、G画像の画素数と同一の画素数に変換するとともに、変換部３１３が、データ受信部３１１からのB画像の画素数を、G画像の画素数と同一の画素数に変換する。さらに、ステップＳ１２では、変換部３１２が、画素数の変換後のR画像を、カメラ信号処理部３１４に供給するとともに、変換部３１３が、画素数の変換後のB画像を、カメラ信号処理部３１４に供給し、処理は、ステップＳ１３に進む。

ステップＳ１３では、カメラ信号処理部３１４が、データ受信部３１１からのG信号を画素値とするG画像、変換部３１２からのR画像、変換部３１３からのB画像に、所定のカメラ信号処理を施すことで、R信号、G信号、及び、B信号を画素値とする医用画像を生成し、表示装置２０２に供給して、処理は終了する。

＜CCU２０１の第２の構成例＞

図５は、CCU２０１の第２の構成例を示すブロック図である。

なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図５において、CCU２０１は、データ受信部３１１、カメラ信号処理部３１４、NR(Noise Reduction)部３２１、並びに、変換部３２２及び３２３を有する。

したがって、図５のCCU２０１は、データ受信部３１１及びカメラ信号処理部３１４を有する点で、図２の場合と共通する。但し、図５のCCU２０１は、NR部３２１が新たに設けられている点、並びに、変換部３１２及び３１３に代えて、変換部３２２及び３２３が設けられている点で、図２の場合と相違する。

NR部３２１には、データ受信部３１１からG画像、R画像、及び、B画像が供給される。

NR部３２１は、G画像（第１の画像）の画像処理としての、例えば、NRを、R画像やB画像（第２の画像）を用いて行う。NRは、例えば、Bilateralフィルタによるフィルタリングとして行うことができる。

ここで、NR部３２１では、G画像のうちの、R画像やB画像との相関が閾値以上の部分（相関が高い領域）のNRを、R画像やB画像を用いて行い、G画像のうちの、R画像やB画像との相関が閾値以上でない部分のNRを、R画像やB画像を用いずに行うことができる。

すなわち、B画像及びR画像は、光の強度に対する感度が高いイメージセンサ３０４及び３０５で得られる低ノイズの画像であるため、G画像において、R画像やB画像との同位相（同一位置）の画素値の波形パターンの相関が高い部分については、G画像の他、そのG画像と相関が高いR画像やB画像を用いたJointBilateralフィルタのフィルタリングのようなNRを行うことで、G画像のノイズを、低ノイズのR画像やB画像を利用して、より低減することができる。

一方、G画像において、R画像やB画像との同位相の画素値の波形パターンの相関が低い部分については、R画像やB画像を用いずに、G画像を用いたBilateralフィルタのフィルタリングのようなNRを行うことができる。

変換部３２２には、データ受信部３１１からG画像及びR画像が供給される。

変換部３２２は、データ受信部３１１からのR画像（第２の画像）の画像処理としての、例えば、R画像の画素数をG画像の画素数と同一の画素数に変換するアップコンバートを、G画像（第１の画像）を用いて行う。

ここで、変換部３２２では、R画像のうちの、G画像との相関が閾値以上の部分のアップコンバートを、G画像を用いて行い、R画像のうちの、G画像との相関が閾値以上でない部分のアップコンバートを、G画像を用いずに行うことができる。

すなわち、G画像は、画素数の多いイメージセンサ３０３で得られる高解像度の画像であるため、R画像において、G画像との同位相の画素値の波形パターンの相関が高い部分については、そのR画像と相関が高いG画像を用いて、例えば、JointBilateralUpsamplingのようなフィルタでのフィルタリングによるアップコンバートを行うことにより、G画像を用いずにアップコンバートを行った場合よりも、高解像度のR画像を得ることができる。

一方、R画像において、G画像との同位相の画素値の波形パターンの相関が低い部分については、G画像を用いずに、例えば、図２の変換部３１２と同様のバイキュービックフィルタでのフィルタリングによるアップコンバートを行うことができる。

変換部３２３には、データ受信部３１１からG画像及びB画像が供給される。

変換部３２３では、R画像に代えて、B画像が用いられることを除き、変換部３２２と同様の処理が行われるので、その説明は、省略する。

ここで、NR部３２１において、G画像のNRを、R画像やB画像を用いて行うには、G画像と、R画像及びB画像それぞれとの位置関係（G画像と、R画像及びB画像それぞれとにおいて、同一の被写体が映っている位置）を認識することができれば足り、G画像の画素数が、R画像やB画像の画素数の整数倍でなければならない等の、イメージセンサ３０３の画素数と、イメージセンサ３０４及び３０５の画素数との関係に、特に制限はない。

以上の点、変換部３２２において、R画像のアップコンバートを、G画像を用いて行う場合、及び、変換部３２３において、B画像のアップコンバートを、G画像を用いて行う場合についても、同様である。

＜カメラヘッド１０２の第２の構成例＞

図６は、カメラヘッド１０２の第２の構成例を示す図である。

また、図６では、CCU２０１の構成として、図２のCCU２０１の第１の構成例が採用されているが、CCU２０１の構成としては、図５のCCU２０１の第２の構成例を採用することが可能である。

図６において、カメラヘッド１０２は、レンズ３０１、プリズム３０２、イメージセンサ３０３、データ送信部３０６、イメージセンサ４０１及び４０２、温度センサ４１１、動きセンサ４１２、並びに、ビニング制御部４１３を有する。

したがって、図６のカメラヘッド１０２は、レンズ３０１、プリズム３０２、イメージセンサ３０３、及び、データ送信部３０６を有する点で、図２の場合と共通する。但し、図６のカメラヘッド１０２は、イメージセンサ３０４及び３０５に代えて、イメージセンサ４０１及び４０２が設けられている点、並びに、温度センサ４１１、動きセンサ４１２、及び、ビニング制御部４１３が新たに設けられている点で、図２の場合と相違する。

イメージセンサ４０１及び４０２は、それぞれ、図２のイメージセンサ３０４及び３０５と同様に、プリズム３０２から入射するB光及びR光を受光し、光電変換を行って、プリズム３０２からのB光及びR光に対応するB画像及びR画像（の画像信号）を、データ送信部３０６に出力する。

ここで、イメージセンサ４０１及び４０２は、図２のイメージセンサ３０４及び３０５と同様に、受光面のサイズが、イメージセンサ３０３と同一のサイズのイメージセンサであり、イメージセンサ３０４及び３０５と同様に配置されている。

但し、イメージセンサ４０１及び４０２（第２のセンサ）は、イメージセンサ３０３（第１のセンサ）と同一の画素数（所定の画素数）の画素を有する。したがって、イメージセンサ４０１及び４０２は、イメージセンサ３０３と同様に、例えば、4Kセンサである。

さらに、イメージセンサ４０１及び４０２は、１の画素の画素値の加算値を、１の画素の画素値として出力する機能の他、複数の画素、例えば、横×縦が２×２画素の画素値の加算値を、１の画素の画素値として出力するビニング機能を有する。

いま、イメージセンサ４０１及び４０２において、１の画素の画素値の加算値を、１の画素の画素値として出力する機能を有効にする動作モードを、通常モードといい、ビニング機能を有効にする動作モードを、ビニングモードということとする。

通常モードでは、イメージセンサ４０１及び４０２は、イメージセンサ３０３が出力するG画像（第１の画像）と同一の画素数のB画像及びR画像（第２の画像）をそれぞれ出力する。

一方、ビニングモードでは、イメージセンサ４０１及び４０２は、ビニング機能により、イメージセンサ３０３が出力する、G光に対応する画素値で構成されるG画像（第１の画像）よりも画素数が少ない、B光及びR光に対応する画素値で構成されるB画像及びR画像（第２の画像）を、それぞれ出力する。

すなわち、通常モードでは、イメージセンサ４０１及び４０２は、G画像と同一の画素数の、例えば、4K画像を、B画像及びR画像として、それぞれ出力する。一方、ビニングモードでは、イメージセンサ４０１及び４０２は、G画像よりも画素数が少ない、例えば、HD画像を、B画像及びR画像として、それぞれ出力する。

以上のように、通常モードでは、イメージセンサ４０１及び４０２が、G画像と同様の高解像度の4K画像を、B画像及びR画像として、それぞれ出力するので、そのB画像及びR画像の送信に要する消費電力、ひいては、発熱量は、大になる。但し、B画像及びR画像は、G画像と同様に、高解像度の画像であるので、そのようなB画像及びR画像を用いて生成される医用画像は、高解像度の画像になる。

一方、ビニングモードでは、イメージセンサ４０１及び４０２は、G画像よりも画素数が少ないHD画像を、B画像及びR画像として、それぞれ出力するので、そのB画像及びR画像を用いて生成される医用画像は、通常モードの場合よりも、解像度が低下する。但し、ビニングモードのB画像及びR画像は、通常モードの場合（4K画像）よりも画素数が少ない画像（HD画像）であるので、そのB画像及びR画像の送信に要する消費電力、ひいては、発熱量が、小になるとともに、イメージセンサ４０１及び４０２の光の強度に対する感度が高くなって、B画像及びR画像のS/Nが向上する。

温度センサ４１１は、カメラヘッド１０２の温度をセンシングし、その温度を表す温度情報を、ビニング制御部４１３に供給する。

動きセンサ４１２は、例えば、ジャイロ等で構成され、カメラヘッド１０２の動きをセンシングし、その動きを表す動き情報を、ビニング制御部４１３に供給する。

ビニング制御部４１３は、温度センサ４１１からの温度情報や、動きセンサ４１２からの動き情報等に基づいて、カメラヘッド１０２の状態を認識し、そのカメラヘッド１０２の状態に応じて、イメージセンサ４０１及び４０２の動作モードを制御する。

例えば、温度情報に基づいて、カメラヘッド１０２の状態が、温度が高い状態であると認識された場合には、ビニング制御部４１３は、イメージセンサ４０１及び４０２の動作モードを、ビニングモードに設定することができる。この場合、カメラヘッド１０２の消費電力、ひいては、発熱量を低下させることができる。

一方、カメラヘッド１０２の状態が、温度が低い状態であると認識された場合には、ビニング制御部４１３は、イメージセンサ４０１及び４０２の動作モードを、通常モードに設定することができる。この場合、高解像度の医用画像を取得することができる。

また、例えば、動き情報に基づいて、カメラヘッド１０２の状態が、遅い動き（静止を含む）をしている状態であると認識された場合には、ビニング制御部４１３は、イメージセンサ４０１及び４０２の動作モードを、通常モードに設定することができ、これにより、高解像度の医用画像を取得することができる。カメラヘッド１０２が静止している場合、ユーザが医用画像に映っている部分を注視していると推定されるので、高解像度の医用画像を取得することにより、ユーザは、その高解像度の医用画像を見て、所望の箇所の詳細を的確に確認することができる。

一方、カメラヘッド１０２の状態が、速い動きをしている状態であると認識された場合には、ビニング制御部４１３は、イメージセンサ４０１及び４０２の動作モードを、ビニングモードに設定することができ、これにより、カメラヘッド１０２の消費電力及び発熱量を低下させることができる。カメラヘッド１０２がある程度の速度で動いている場合、カメラヘッド１０２を動かして、撮影すべき箇所を探していると推定されるので、医用画像は、カメラヘッド１０２が静止している場合ほど高解像度でなくても良く、消費電力及び発熱量の低下を優先させることができる。

ここで、通常モードとビニングモードとでは、データ送信部３０６からデータ受信部３１１に伝送（送信）される画像のデータ量が異なるので、ビニング制御部４１３は、イメージセンサ４０１及び４０２の動作モードに応じて、データ送信部３０６及びデータ受信部３１１を制御することで、データ送信部３０６とデータ受信部３１１との間の伝送レートや、画像の伝送を行う期間等を制御する。

なお、図６では、カメラヘッド１０２の状態を検出するセンサとして、温度センサ４１１と動きセンサ４１２とを設けたが、カメラヘッド１０２の状態を検出するセンサとしては、温度センサ４１１及び動きセンサ４１２のうちの一方だけや、その他の状態を検出するセンサを設けることができる。

また、ビニング制御部４１３では、カメラヘッド１０２の温度や動き以外の状態に応じて、イメージセンサ４０１及び４０２の動作モードを設定することができる。

さらに、ビニング制御部４１３では、ユーザの操作に応じて、イメージセンサ４０１及び４０２の動作モードを設定することができる。例えば、ユーザは、医用画像に映っている微細な部分を確認したい場合には、通常モードを選択し、S/Nの良い医用画像を見たい場合には、ビニングモードを選択することができる。

また、図６において、CCU２０１の変換部３１２は、イメージセンサ４０１及び４０２の動作モードがビニングモードの場合に、データ受信部３１１から供給されるR画像のアップコンバートを行い、動作モードが通常モードの場合には、データ受信部３１１から供給されるR画像のアップコンバートを行わずに、そのまま、カメラ信号処理部３１４に供給する。通常モードでは、R画像は、G画像と同一の画素数の4K画像であり、アップコンバートの必要がないからである。変換部３１３も同様である。

図７は、図６のビニング制御部４１３が行う動作モードの設定の処理の例を説明するフローチャートである。

ステップＳ２１において、ビニング制御部４１３は、温度センサ４１１からの温度情報、及び、動きセンサ４１２からの動き情報に基づき、カメラヘッド１０２の温度が、温度の閾値THtより大であるか、又は、カメラヘッド１０２の動きの速さが、速さの閾値THvより大であるかを判定する。

ステップＳ２１において、カメラヘッド１０２の温度が閾値THtより大であると判定されるか、又は、カメラヘッド１０２の動きの速さが閾値THvより大であると判定された場合、処理は、ステップＳ２２に進む。

ステップＳ２２では、ビニング制御部４１３は、イメージセンサ４０１及び４０２の動作モードを、ビニングモードに設定し、処理は、ステップＳ２１に戻る。この場合、図２の場合と同様に、消費電力及び発熱量を抑制しつつ、医用画像のある程度の高解像度化を図る（高解像度に見える医用画像を取得する）ことができる。さらに、この場合、図２の場合と同様に、S/Nの良い医用画像を取得することができる。

また、ステップＳ２１において、カメラヘッド１０２の温度が閾値THtより大でなく、かつ、カメラヘッド１０２の動きの速さが閾値THvより大でないと判定された場合、処理は、ステップＳ２３に進む。

ステップＳ２３では、ビニング制御部４１３は、イメージセンサ４０１及び４０２の動作モードを、通常モードに設定し、処理は、ステップＳ２１に戻る。この場合、医用画像の高解像度化を図る（高解像度の医用画像を取得する）ことができる。すなわち、ビニングモードの場合よりも、青色及び赤色の解像度が高い医用画像を取得することができる。

＜カメラヘッド１０２の第３の構成例及びCCU２０１の第３の構成例＞

図８は、カメラヘッド１０２の第３の構成例及びCCU２０１の第３の構成例を示すブロック図である。

なお、図中、図２又は図６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図８において、カメラヘッド１０２は、レンズ３０１、プリズム３０２、イメージセンサ３０３、データ送信部３０６、並びに、イメージセンサ４０１及び４０２を有する。

したがって、図８のカメラヘッド１０２は、レンズ３０１、プリズム３０２、イメージセンサ３０３、データ送信部３０６、並びに、イメージセンサ４０１及び４０２を有する点で、図６の場合と共通する。但し、図８のカメラヘッド１０２は、温度センサ４１１、動きセンサ４１２、及び、ビニング制御部４１３が設けられていない点で、図６の場合と相違する。

また、図８において、CCU２０１は、データ受信部３１１、変換部３１２及び３１３、カメラ信号処理部３１４、並びに、ビニング制御部４２１を有する。

したがって、図８のCCU２０１は、データ受信部３１１、変換部３１２及び３１３、並びに、カメラ信号処理部３１４を有する点で、図２の場合と共通する。但し、図８のCCU２０１は、ビニング制御部４２１が新たに設けられている点で、図２の場合と相違する。

なお、図８のCCU２０１では、データ受信部３１１、変換部３１２及び３１３、カメラ信号処理部３１４に代えて、図５のデータ受信部３１１、カメラ信号処理部３１４、NR部３２１、並びに、変換部３２２及び３２３を設けることができる。

ビニング制御部４２１は、カメラ信号処理部３１４で得られる医用画像（医用画像の生成に用いられるG画像や、R画像、B画像を含む）に応じて、イメージセンサ４０１及び４０２の動作モードを制御する。

例えば、ビニング制御部４２１は、医用画像のノイズ量や、明るさ、色、合焦の程度のうちの１以上に応じて、動作モードを制御することができる。

具体的には、ビニング制御部４２１は、例えば、医用画像のノイズ量が多い場合（S/Nが閾値以下の場合）、動作モードを、ビニングモードに設定し、医用画像のノイズ量が少ない場合、動作モードを、通常モードに設定することができる。医用画像のノイズ量が多い場合、動作モードを、ビニングモードに設定することにより、カメラ信号処理部３１４に、ビニングモードのイメージセンサ４０１及び４０２でそれぞれ撮影されるノイズの少ないR画像及びB画像としてのHD画像を用いて、ノイズの少ない医用画像を生成させることができる。

また、ビニング制御部４２１は、例えば、医用画像の明るさが明るい場合（閾値以上の場合）、動作モードを、通常モードに設定し、医用画像の明るさが暗い場合、動作モードを、ビニングモードに設定することができる。医用画像の明るさが暗い場合に、動作モードを、ビニングモードに設定することにより、カメラ信号処理部３１４に、ビニングモードのイメージセンサ４０１及び４０２でそれぞれ撮影される光の強度に対する感度の高いR画像及びB画像としてのHD画像を用いて、より明るい医用画像を生成させることができる。

さらに、ビニング制御部４２１は、例えば、医用画像において、赤及び（又は）青が支配的な画素の画素数が多い場合（閾値以上である場合）、動作モードを、通常モードに設定し、赤及び青が支配的な画素の画素数が少ない場合、動作モードを、ビニングモードに設定することができる。赤及び青が支配的な画素の画素数が多い場合に、動作モードを、通常モードに設定することにより、カメラ信号処理部３１４に、通常モードのイメージセンサ４０１及び４０２でそれぞれ撮影される高解像度のR画像及びB画像としての4K画像を用いて、赤色や青色について、微細な部分が明確に映った医用画像を生成させることができる。

また、ビニング制御部４２１は、例えば、医用画像の合焦の程度が高い場合（例えば、医用画像のコントラスト（鮮鋭度）が閾値以上であり、合焦状態であると推定される場合）には、動作モードを、ビニングモードに設定し、医用画像の合焦の程度が低い場合には、動作モードを、通常モードに設定することができる。医用画像の合焦の程度が低い場合、すなわち、フォーカスがあっていない場合に、動作モードを通常モードに設定することにより、カメラ信号処理部３１４に、通常モードのイメージセンサ４０１及び４０２でそれぞれ撮影される高解像度のR画像及びB画像としての4K画像を用いて、高解像度の医用画像を生成させ、その医用画像を用いて、より的確に、フォーカスの調整を行うことが可能になる。

ビニング制御部４２１は、その他、図６のビニング制御部４１３と同様に、イメージセンサ４０１及び４０２の動作モードに応じて、データ送信部３０６及びデータ受信部３１１を制御する。

なお、図８では、ビニング制御部４２１が、CCU２０１に設けられているが、ビニング制御部４２１は、カメラヘッド１０２に設けることができる。ビニング制御部４２１を、カメラヘッド１０２に設ける場合には、例えば、CCU２０１のカメラ信号処理部３１４から、カメラヘッド１０２のビニング制御部４２１に、医用画像（又は医用画像の生成に用いられたG画像、R画像、及び、B画像）を供給することや、カメラヘッド１０２のデータ送信部３０６から、カメラヘッド１０２のビニング制御部４２１に、G画像、R画像、及び、B画像を供給することができる。

また、図８の変換部３１２及び３１３では、図６の場合と同様に、動作モードがビニングモードの場合に、アップコンバートを行い、動作モードが通常モードの場合には、アップコンバートを行わない。

図９は、図８のビニング制御部４２１が行う動作モードの設定の処理の例を説明するフローチャートである。

ステップＳ３１において、ビニング制御部４１３は、カメラ信号処理部３１４からの医用画像に応じて、イメージセンサ４０１及び４０２の動作モードを、ビニングモード又は通常モードの設定することを繰り返す。

なお、本実施の形態では、カメラヘッド１０２において、G光を受光するイメージセンサ３０３、B光を受光するイメージセンサ３０４又は４０１、及び、R光を受光するイメージセンサ３０５又は４０２を有する、いわゆる３板式を採用したが、カメラヘッド１０２の構成としては、３板以外の、２板式や４板式等を採用することができる。

また、カメラヘッド１０２では、G光以外の光として、B光及びR光を受光することとしたが、G光以外の光としては、B光やR光以外の可視光や、可視光以外の、例えば、赤外線等を受光することができる。

さらに、本技術は、2D(Dimensional)画像を表示する場合の他、3D画像を表示する場合にも適用することができる。

また、本実施の形態では、本技術を、内視鏡手術システムに適用した場合について説明したが、本技術は、内視鏡手術システム以外の、医用画像を撮影する様々なシステム、すなわち、例えば、顕微鏡手術システム等に適用することができる。

＜本技術を適用したコンピュータの説明＞

次に、上述したCCU２０１の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータのコンピュータ等にインストールされる。

図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク５０５やROM５０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体５１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体５１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体５１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体５１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク５０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)５０２を内蔵しており、CPU５０２には、バス５０１を介して、入出力インタフェース５１０が接続されている。

CPU５０２は、入出力インタフェース５１０を介して、ユーザによって、入力部５０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)５０３に格納されているプログラムを実行する。あるいは、CPU５０２は、ハードディスク５０５に格納されたプログラムを、RAM(Random Access Memory)５０４にロードして実行する。

これにより、CPU５０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU５０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース５１０を介して、出力部５０６から出力、あるいは、通信部５０８から送信、さらには、ハードディスク５０５に記録等させる。

なお、入力部５０７は、キーボードや、マウス、マイク等で構成される。また、出力部５０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、
前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する第２のセンサと
を有するカメラヘッドを備える
内視鏡。
＜２＞
前記第１のセンサと前記第２のセンサとの受光面のサイズが等しい
＜１＞に記載の内視鏡。
＜３＞
前記第２のセンサの画素サイズは、前記第１のセンサの画素サイズより大きい
＜１＞又は＜２＞に記載の内視鏡。
＜４＞
前記第２のセンサは、R(Red)の波長帯の光であるR光、又は、B(Blue)の波長帯の光であるB光を受光する
＜１＞ないし＜３＞のいずれかに記載の内視鏡。
＜５＞
前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像を用いて、前記第２のセンサが出力する、前記G光以外の光に対応する画素値で構成される第２の画像の画像処理が行われる
＜１＞ないし＜４＞のいずれかに記載の内視鏡。
＜６＞
前記第２の画像のうちの、前記第１の画像との相関が閾値以上の部分の画像処理が、前記第１の画像を用いて行われる
＜５＞に記載の内視鏡。
＜７＞
前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像の画像処理が、前記第２のセンサが出力する、前記G光以外の光に対応する画素値で構成される第２の画像を用いて行われる
＜１＞ないし＜６＞のいずれかに記載の内視鏡。
＜８＞
前記第１の画像のうちの、前記第２の画像との相関が閾値以上の部分の画像処理が、前記第２の画像を用いて行われる
＜７＞に記載の内視鏡。
＜９＞
所定の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、
前記所定の画素数の画素を有し、前記G光以外の光を受光する第２のセンサと
を有するカメラヘッドを備え、
前記第２のセンサは、複数の画素の画素値の加算値を、１の画素の画素値として出力するビニング機能を有し、前記ビニング機能により、前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像よりも画素数が少ない、前記G光以外の光に対応する画素値で構成される第２の画像を出力する
内視鏡。
＜１０＞
前記第２のセンサは、動作モードとして、前記ビニング機能により、前記第１の画像よりも画素数が少ない前記第２の画像を出力するビニングモードと、前記第１の画像と同一の画素数の前記第２の画像を出力する通常モードとを有し、
前記第２のセンサの動作モードを制御する制御部をさらに備える
＜９＞に記載の内視鏡。
＜１１＞
前記制御部は、前記カメラヘッドの状態に応じて、前記動作モードを制御する
＜１０＞に記載の内視鏡。
＜１２＞
前記制御部は、前記カメラヘッドの温度及び動きのうちの１以上に応じて、前記動作モードを制御する
＜１１＞に記載の内視鏡。
＜１３＞
前記制御部は、前記第１の画像及び前記第２の画像に応じて、前記動作モードを制御する
＜１０＞に記載の内視鏡。
＜１４＞
前記制御部は、前記第１の画像及び前記第２の画像のノイズ量、明るさ、色、及び、合焦の程度のうちの１以上に応じて、前記動作モードを制御する
＜１３＞に記載の内視鏡。
＜１５＞
前記第２のセンサは、R(Red)の波長帯の光であるR光、又は、B(Blue)の波長帯の光であるB光を受光する
＜９＞ないし＜１４＞のいずれかに記載の内視鏡。
＜１６＞
前記第１の画像を用いて、前記第２の画像の画像処理が行われる
＜９＞ないし＜１５＞のいずれかに記載の内視鏡。
＜１７＞
前記第２の画像のうちの、前記第１の画像との相関が閾値以上の部分の画像処理が、前記第１の画像を用いて行われる
＜１６＞に記載の内視鏡。
＜１８＞
前記第１の画像の画像処理が、前記第２の画像を用いて行われる
＜９＞ないし＜１７＞のいずれかに記載の内視鏡。
＜１９＞
前記第１の画像のうちの、前記第２の画像との相関が閾値以上の部分の画像処理が、前記第２の画像を用いて行われる
＜１８＞に記載の内視鏡。

１０内視鏡，１００内視鏡，１０１鏡筒，１０２カメラヘッド，１１０術具，１１１気腹チューブ，１１２エネルギ処置具，１２０支持アーム装置，１３１術者，１３２患者，１３３患者ベッド，２００カート，２０１ CCU，２０２表示装置，２０３光源装置，２０４入力装置，２０５処置具制御装置，２０６気腹装置，２０７レコーダ，２０８プリンタ，３０１レンズ，３０２プリズム，３０３ないし３０５イメージセンサ，３０６データ送信部，３１１データ受信部，３１２，３１２変換部，３１４カメラ信号処理部，３２１ NR部，３２２，３２３変換部，４０１，４０２イメージセンサ，４１１温度センサ，４１２動きセンサ，４１３，４２１ビニング制御部，５０１バス，５０２ CPU，５０３ ROM，５０４ RAM，５０５ハードディスク，５０６出力部，５０７入力部，５０８通信部，５０９ドライブ，５１０入出力インタフェース，５１１リムーバブル記録媒体

Claims

第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、
前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する第２のセンサと
を有するカメラヘッドを備え、
前記第２のセンサの画素サイズは、前記第１のセンサの画素サイズより大きい
内視鏡。
第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、
前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する第２のセンサと
を有するカメラヘッドを備え、
前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像を用いて、前記第２のセンサが出力する、前記G光以外の光に対応する画素値で構成される第２の画像の画像処理が行われる
内視鏡。
第１の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、
前記第１の画素数より少ない第２の画素数の画素を有し、前記G光以外の光を受光する第２のセンサと
を有するカメラヘッドを備え、
前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像の画像処理が、前記第２のセンサが出力する、前記G光以外の光に対応する画素値で構成される第２の画像を用いて行われ、かつ、前記第１の画像のうちの、前記第２の画像との相関が閾値以上の部分の画像処理が、前記第２の画像を用いて行われる
内視鏡。
前記第１のセンサと前記第２のセンサとの受光面のサイズが等しい
請求項１乃至３のいずれかに記載の内視鏡。
前記第２のセンサは、R(Red)の波長帯の光であるR光、又は、B(Blue)の波長帯の光であるB光を受光する
請求項１乃至３のいずれかに記載の内視鏡。
前記第２の画像のうちの、前記第１の画像との相関が閾値以上の部分の画像処理が、前記第１の画像を用いて行われる
請求項２に記載の内視鏡。
前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像の画像処理が、前記第２のセンサが出力する、前記G光以外の光に対応する画素値で構成される第２の画像を用いて行われる
請求項１又は２に記載の内視鏡。
所定の画素数の画素を有し、G(Green)の波長帯の光であるG光を受光する第１のセンサと、
前記所定の画素数の画素を有し、前記G光以外の光を受光する第２のセンサと
を有するカメラヘッドを備え、
前記第２のセンサは、複数の画素の画素値の加算値を、１の画素の画素値として出力するビニング機能を有し、前記ビニング機能により、前記第１のセンサが出力する、前記G光に対応する画素値で構成される第１の画像よりも画素数が少ない、前記G光以外の光に対応する画素値で構成される第２の画像を出力する
内視鏡。
前記第２のセンサは、動作モードとして、前記ビニング機能により、前記第１の画像よりも画素数が少ない前記第２の画像を出力するビニングモードと、前記第１の画像と同一の画素数の前記第２の画像を出力する通常モードとを有し、
前記第２のセンサの動作モードを制御する制御部をさらに備える
請求項８に記載の内視鏡。
前記制御部は、前記カメラヘッドの状態に応じて、前記動作モードを制御する
請求項９に記載の内視鏡。
前記制御部は、前記カメラヘッドの温度及び動きのうちの１以上に応じて、前記動作モードを制御する
請求項１０に記載の内視鏡。
前記制御部は、前記第１の画像及び前記第２の画像に応じて、前記動作モードを制御する
請求項９に記載の内視鏡。
前記制御部は、前記第１の画像及び前記第２の画像のノイズ量、明るさ、色、及び、合焦の程度のうちの１以上に応じて、前記動作モードを制御する
請求項１２に記載の内視鏡。
前記第２のセンサは、R(Red)の波長帯の光であるR光、又は、B(Blue)の波長帯の光であるB光を受光する
請求項８に記載の内視鏡。
前記第１の画像を用いて、前記第２の画像の画像処理が行われる
請求項８に記載の内視鏡。
前記第２の画像のうちの、前記第１の画像との相関が閾値以上の部分の画像処理が、前記第１の画像を用いて行われる
請求項１５記載の内視鏡。
前記第１の画像の画像処理が、前記第２の画像を用いて行われる
請求項８に記載の内視鏡。
前記第１の画像のうちの、前記第２の画像との相関が閾値以上の部分の画像処理が、前記第２の画像を用いて行われる
請求項１７に記載の内視鏡。