Nothing Special   »   [go: up one dir, main page]

JPWO2019026929A1 - 医療用観察装置 - Google Patents

医療用観察装置 Download PDF

Info

Publication number
JPWO2019026929A1
JPWO2019026929A1 JP2019534544A JP2019534544A JPWO2019026929A1 JP WO2019026929 A1 JPWO2019026929 A1 JP WO2019026929A1 JP 2019534544 A JP2019534544 A JP 2019534544A JP 2019534544 A JP2019534544 A JP 2019534544A JP WO2019026929 A1 JPWO2019026929 A1 JP WO2019026929A1
Authority
JP
Japan
Prior art keywords
image
view
angle
unit
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019534544A
Other languages
English (en)
Other versions
JP7123053B2 (ja
Inventor
素明 小林
素明 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of JPWO2019026929A1 publication Critical patent/JPWO2019026929A1/ja
Application granted granted Critical
Publication of JP7123053B2 publication Critical patent/JP7123053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00013Operational features of endoscopes characterised by signal transmission using optical means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明に係る医療用観察装置は、第1の画角で被写体を撮像する撮像部と、撮像部が撮像した第1の画角の画像を、第1の画角よりも小さい第2の画角で切り出して画像処理を施すことによって表示画像信号を生成する画像生成部と、を備える。この医療用観察装置によれば、視野を変えた場合であっても、ハンドアイコーディネーションおよび解像度を維持することができる。

Description

本発明は、医療用観察装置に関する。
医療用の内視鏡システムにおいて、立体視による観察の需要が高まってきている。従来、立体視用の内視鏡システムとして種々の方式が知られている。例えば、特許文献1には、一次光学系を有する硬性鏡と、一次光学系が集光した光を分割する二次光学系、および二次光学系が分割した光をもとに左目用画像信号および右目用画像信号をそれぞれ撮像する2つの撮像素子と、を備えた立体視用の内視鏡システムが開示されている。特許文献1では、二次光学系としての二つの反射鏡が一次光学系の瞳位置に配置されて、一次光学系により取り込まれた光束を分割する瞳分割方式が採用されている。瞳分割方式では、二つの反射鏡の間隔を変化させることによって、奥行きの立体感が変化する。しかしながら、瞳分割方式の場合、視差を大きくすると、光路を通る光の量が減少してしまうため、視差を大きくするほど解像度が低下する。
一方、視差を大きくしても解像度の低下を抑制できる方式として、硬性鏡が左目用および右目用の光学系を有する二眼リレー方式が知られている。二眼リレー方式では、左目用の光と右目用の光とをそれぞれ独立して取り込むことができるため、視差を大きくした際の解像度の低下を抑制することができる。
特開平8−160316号公報
ところで、硬性鏡を動かして視野を変える際、硬性鏡が光軸と平行な軸のまわりに回転すると、モニタ等に表示される画像も回転する。二眼リレー方式では、硬性鏡の回転による像の回転に伴い、モニタにおける天地関係と、実際の天地関係とが表示画面上で不一致となる。このようなモニタの天地関係と実際の天地関係との不一致によって、目と手との調和、所謂ハンドアイコーディネーションが崩れてしまう。
本発明は、上記に鑑みてなされたものであって、視野を変えた場合であっても、ハンドアイコーディネーションおよび解像度を維持することができる医療用観察装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる医療用観察装置は、第1の画角で被写体を撮像する撮像部と、前記撮像部が撮像した前記第1の画角の画像を、前記第1の画角よりも小さい第2の画角で切り出して画像処理を施すことによって表示画像信号を生成する画像生成部と、を備えることを特徴とする。
また、本発明にかかる医療用観察装置は、上記発明において、前記撮像部は、前記第1の画角で被写体を撮像する第1撮像部と、前記第1撮像部が撮像する画像とは視野が異なり、かつ前記第1の画角で被写体を撮像する第2撮像部と、を有し、前記画像生成部は、前記第1撮像部における前記第1の画角、および前記第2撮像部における前記第1の画角に対し、互いに対応する位置において前記第2の画角で切り出し、切り出し後の画像をもとに視差画像を生成することを特徴とする。
また、本発明にかかる医療用観察装置は、上記発明において、前記第1の画角の画像における切り出し位置の操作入力を受け付ける入力部、をさらに備え、前記画像生成部は、前記入力部が受け付けた前記操作入力に応じた位置において前記第1の画角の画像を前記第2の画角で切り出すことを特徴とする。
また、本発明にかかる医療用観察装置は、上記発明において、前記画像生成部は、前記第1の画角の画像を前記第2の画角で切り出した後、アップコンバートを行って前記表示画像信号を生成することを特徴とする。
本発明によれば、視野を変えた場合であっても、ハンドアイコーディネーションおよび解像度を維持することができるという効果を奏する。
図1は、本発明の一実施の形態に係る医療用内視鏡システムの概略構成を示す図である。 図2は、本発明の一実施の形態に係る医療用内視鏡システムが備える硬性鏡およびカメラヘッドの内部構成を示す図である。 図3は、本発明の一実施の形態にかかる医療用内視鏡システムが備える制御装置の構成を説明するブロック図である。 図4は、図1に示した硬性鏡における一方の光学系のイメージサークルと、その光学系からの光を受光する撮像素子の撮像領域と、表示装置に表示させる切り出し領域とについて説明する図である。 図5は、図4に示した切り出し領域を移動した場合について説明する図である。 図6は、第1撮像素子の撮像領域および切り出し領域と、第2撮像素子の撮像領域および切り出し領域とについて説明する図である。 図7は、被写体の一例を示す図である。 図8は、図7に示す被写体を撮像した際の歪みについて説明する図である。 図9は、図8に示す歪みを補正するための歪補正パラメータについて説明する図である。 図10は、本発明の実施の形態の変形例1にかかる医療用内視鏡システムの概略構成を示す図である。 図11は、本発明の実施の形態の変形例2にかかる医療用内視鏡システムが備える表示装置の表示例を示す図である。 図12は、本発明の実施の形態の変形例3にかかる医療用内視鏡システムが備える表示装置の表示例を示す図である。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる内視鏡装置の一例として、患者等の被検体内の画像を撮像して表示する医療用内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態)
図1は、本発明の一実施の形態に係る医療用内視鏡システム1の概略構成を示す図である。同図に示す医療用内視鏡システム1は、生体内を立体視観察するシステムである。医療用内視鏡システム1は、先端部が生体内に挿入されて生体内の光を集光するとともに生体を照明する硬性鏡2と、硬性鏡2が集光した生体からの光を撮像して互いに視差を有する2つの画像信号を生成するカメラヘッド3と、カメラヘッド3の動作を制御するとともに硬性鏡2に供給する照明光を発生する制御装置4と、制御装置4に接続され、画像等の情報を表示する表示装置5と、カメラヘッド3と制御装置4とを接続し、電気信号等を伝送する伝送ケーブル6と、硬性鏡2と制御装置4とを接続し、照明光を伝送するライトガイドケーブル7と、制御装置4と表示装置5とを接続し、画像等の情報を伝送する映像ケーブル8とを備える。硬性鏡2およびカメラヘッド3は、撮像装置101を構成する。
図2は、硬性鏡2およびカメラヘッド3の内部構成を示す図である。図2は、図1に示す硬性鏡2およびカメラヘッド3を、長手軸を回転軸として90°回転させた図である。
まず、硬性鏡2の構成を説明する。硬性鏡2は、硬質の細長形状をなす挿入管21と、挿入管21の内部に並設される第1集光光学系22および第2集光光学系23と、を有する。また、硬性鏡2には、制御装置4がそれぞれ有する光源からの照明光を伝播して生体に照射する照明光学系が設けられている。硬性鏡2は、カメラヘッド3に対して着脱自在かつ回転不能に接続される。
挿入管21の外周部には、ライトガイドケーブル7の先端部を装着する装着部211が設けられている。装着部211は、挿入管21の中心軸Oと直交する向きに延びている。装着部211は、挿入管21の内部で照明光学系に接続している。照明光学系は、装着部211から入射された光を挿入管21の先端まで導光し、挿入管21の外部に出射する。装着部211は、ライトガイドポストとも呼ばれる。
第1集光光学系22は、挿入管21の先端部側から順に、第1対物光学系221と、第1リレー光学系222とを有する。第1対物光学系221は、挿入管21の先端部に設けられ、生体内の観察部位からの第1観察光を集光する。第1リレー光学系222は、第1対物光学系221が集光した第1観察光を挿入管21の基端(図2中、右端部)まで導光する。第1観察光は、挿入管21の基端からカメラヘッド3に射出される。
第2集光光学系23は、第1集光光学系22と同様、先端側から順に、第2対物光学系231と、第2リレー光学系232とを有する。第2集光光学系23が集光する第2観察光は、挿入管21の基端からカメラヘッド3に射出される。第2集光光学系23は、挿入管21の内部において、挿入管21の径方向に第1集光光学系22と離間している。第2集光光学系23の光軸OP2は、挿入管21の中心軸Oに対して第1集光光学系22の光軸OP1と対称な位置にある。第2集光光学系23は、視差を有している以外、イメージサークルの大きさおよび焦点位置が第1集光光学系22と同じである。
次に、図2を参照してカメラヘッド3の構成を説明する。カメラヘッド3は、第1集光光学系22からの第1観察光の光路と第2集光光学系23からの第2観察光の光路とを分離する光路分離部31と、第1および第2観察光をそれぞれ撮像して2つの画像信号を生成する撮像部32とを有する。
光路分離部31は、第1および第2観察光をそれぞれ反射して互いの光路を反対方向に変更する三角プリズム311と、三角プリズム311によって反射された第1および第2観察光をそれぞれ反射して互いの光路を平行にする一対のミラー312および313と、ミラー312および313でそれぞれ反射された第1および第2観察光を撮像部32へそれぞれ射出する一対の接眼光学系314および315とを有する。
三角プリズム311は、底面が直角二等辺三角形である三角柱状をなしており、互いに面積が等しく直交する第1側面311aおよび第2側面311bが、カメラヘッド3に装着された硬性鏡2における第1集光光学系22の光軸OP1および第2集光光学系23の光軸OP2とそれぞれ45度をなして配置されている。第1側面311aは、第1観察光を反射し、その光路を90度曲げて図2中の上方とする。第2側面311bは、第2観察光を反射し、その光路を90度曲げて図2中の下方とする。
ミラー312およびミラー313は、カメラヘッド3に接続された硬性鏡2の挿入管21の中心軸Oに対して対称な位置にある。ミラー312の表面は、第1側面311aで反射された第1観察光が入射する方向に対して45度の角度をなしており、第1観察光を中心軸Oと平行な方向へ反射する。ミラー313の表面は、第2側面311bで反射された第2観察光が入射する方向に対して45度の角度をなしており、第2観察光を中心軸Oと平行な方向へ反射する。
接眼光学系314および接眼光学系315は、挿入管21の中心軸Oに対して対称な位置にある。ミラー312によって反射された第1観察光は、接眼光学系314を通過して撮像部32に入射する。また、ミラー313によって反射された第2観察光は、接眼光学系315を通過して撮像部32へ入射する。
撮像部32は、第1観察光を撮像して画像信号(右目用画像信号)を生成する第1撮像部321と、第2観察光を撮像して画像信号(左目用画像信号)を生成する第2撮像部322とを有する。
第1撮像部321は、接眼光学系314から射出された第1観察光を集光する第1撮像光学系323と、第1撮像光学系323が集光した第1観察光を光電変換して右目用画像信号を生成する第1撮像素子324とを有する。第1撮像光学系323は、光軸OP1に沿って移動可能な1または複数のレンズを用いて構成され、制御装置4の制御のもとで画角を変化させる光学ズーム機構(図示略)や焦点を変化させるフォーカス機構(図示略)を有する。第1撮像素子324は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて構成される。
第2撮像部322は、接眼光学系315から射出された第2観察光を集光する第2撮像光学系325と、第2撮像光学系325が集光した第2観察光を光電変換して左目用画像信号を生成する第2撮像素子326とを有する。第2撮像光学系325の光軸OP2は、第1撮像光学系323の光軸OP1と平行である。第2撮像光学系325および第2撮像素子326の構成は、第1撮像光学系323および第1撮像素子324の構成とそれぞれ同様である。第2撮像部322は、撮像領域の大きさが、第1撮像部321の撮像領域と同じである。第2撮像光学系325が有する光学ズーム機構やフォーカス機構は、制御装置4の制御のもとで駆動する。
次に、図3を参照して制御装置4の構成を説明する。図3は、本発明の一実施の形態にかかる医療用内視鏡システム1が備える制御装置4の構成を説明するブロック図である。制御装置4は、第1撮像部321が生成した右目用画像信号と、第2撮像部322が生成した左目用画像信号とを受信し、表示用画像信号(三次元画像信号)を生成して表示装置5に出力する。
制御装置4は、信号処理部41と、画像生成部42と、通信モジュール43と、入力部44と、記憶部45と、制御部46と、光源部47とを備える。なお、制御装置4には、制御装置4及びカメラヘッド3を駆動するための電源電圧を生成し、制御装置4の各部にそれぞれ供給するとともに、伝送ケーブル6を介してカメラヘッド3に供給する電源部(図示略)などが設けられていてもよい。
信号処理部41は、カメラヘッド3が出力した右目用画像信号および左目用画像信号に対してノイズ除去や、必要に応じてA/D変換等の信号処理を行うことによって、デジタル化された撮像信号(パルス信号)を画像生成部42に出力する。
また、信号処理部41は、カメラヘッド3及び制御装置4の同期信号、及びクロックを生成する。カメラヘッド3への同期信号(例えば、カメラヘッド3の撮像タイミングを指示する同期信号等)やクロック(例えばシリアル通信用のクロック)は、図示しないラインでカメラヘッド3に送られ、この同期信号やクロックを基に、カメラヘッド3は駆動する。
画像生成部42は、右目用画像信号および左目用画像信号に対して、同時化処理、ホワイトバランス(WB)調整処理、ゲイン調整処理、ガンマ補正処理、フォーマット変換処理等の画像処理を行う。画像生成部42は、画像処理後の右目用画像信号および左目用画像信号を用いて、表示装置5の表示方式に対応した3次元画像信号を表示用画像信号として生成する。画像生成部42は、第1撮像部321および第2撮像部322による撮像領域のうち、設定されている領域を切り出し、切り出し後の右目用画像信号および左目用画像信号を合成することによって三次元画像信号を生成する。
ここで、画像生成部42は、切り出し後の右目用画像信号および左目用画像信号に対し、アップコンバートを行った後に合成して三次元画像信号を生成するようにしてもよい。具体的には、標準解像度(Standard definition:SD)の画像に応じたサイズに切り出した場合、より高精細度(High definition:HD)の画像にアップコンバートする。また、HDの画像に応じたサイズに切り出した場合には、より精細度の高い4Kの画像にアップコンバートする。さらに、4Kの画像に応じたサイズに切り出した場合、より精細度の高い8Kの画像にアップコンバートする。ここで、SDの画像とは、例えば、行方向に720、列方向に480前後の解像度を有する画像である。HDの画像とは、例えば、行方向に1920、列方向に1080前後の解像度を有する画像である。4Kの画像とは、例えば、行方向に3840、列方向に2160前後の解像度を有する画像である。8Kの画像とは、例えば、行方向に7680、列方向に4320前後の解像度を有する画像である。
通信モジュール43は、制御装置4からの信号をカメラヘッド3に出力する。また、カメラヘッド3からの信号を受信する。つまり通信モジュール43は、カメラヘッド3へ出力する制御装置4の各部からの信号を出力し、またカメラヘッド3から入力される信号を制御装置4の各部に出力する、中継デバイスである。
入力部44は、制御装置4を含む医療用内視鏡システム1に関する各種操作信号の入力を受け付けるユーザインタフェースである。入力部44は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現される。
記憶部45は、制御装置4が動作するための各種プログラムを記憶する。このプログラムの中には、制御装置4がマスターとして医療用内視鏡システム1を統括して制御するためのプログラムも含まれる。記憶部45は、RAM(Random Access Memory)等の揮発性メモリやROM(Read Only Memory)等の不揮発性メモリを用いて構成される。
制御部46は、制御装置4を含む医療用内視鏡システム1の動作を制御する。制御部46は、信号処理部41、画像生成部42および光源部47の動作を制御するとともに、カメラヘッド3の動作を制御することにより、医療用内視鏡システム1を統括して制御する。制御部46は、例えば画像から検出される明るさ情報を用いて光源制御を行う。
光源部47は、照明光を発生してライトガイドケーブル7に供給する。光源部47は、LED(Light Emitting Diode)またはハロゲンランプ等を用いて構成される光源と、制御部46の制御のもとで光源を駆動する光源ドライバと、光源が発生した光を集光してライトガイドへ出射する出射光学系とを有する。
以上の機能構成を有する制御装置4において、信号処理部41、画像生成部42および制御部46は、CPU(Central Processing Unit)等の汎用プロセッサや、FPGA(Field Programmable Gate Array)等の特定の機能を実行する専用の集積回路等を用いて構成される。
表示装置5は、例えば、液晶または有機EL(Electro Luminescence)等を用いたインテグラル・イメージング方式または多眼方式等の3次元ディスプレイであり、制御装置4が生成した3次元画像信号に基づく3次元画像を表示する。
伝送ケーブル6は、カメラヘッド3と制御装置4との間の通信をそれぞれ行う。伝送ケーブル6は、電気信号を伝送するメタルケーブルである。なお、伝送ケーブル6を、光信号を伝送するファイバケーブルとしてもよい。この場合には、カメラヘッド3に電光(E/O)変換機能を具備させるとともに、制御装置4に光電(O/E)変換機能をそれぞれ具備させればよい。また、メタルケーブルとファイバケーブルを組み合わせることによって伝送ケーブル6を構成し、画像信号のみを光信号によって伝送し、それ以外の信号は電気信号によって伝送するようにしてもよい。さらに、カメラヘッド3と制御装置4との通信を無線で行うようにしてもよい。
ライトガイドケーブル7は、複数の光ファイバを束ねて構成される。ライトガイドケーブル7は、一端が制御装置4に接続されるとともに他端が硬性鏡2の装着部211に装着され、制御装置4が発生した照明光をライトガイドに導く。
続いて、本実施の形態における視野変更について、図4〜図6を参照して説明する。図4は、図1に示した硬性鏡における一方の光学系のイメージサークルと、その光学系からの光を受光する撮像素子の撮像領域と、表示装置に表示させる切り出し領域とについて説明する図である。図4では、第1集光光学系22におけるイメージサークルと、第1撮像部321による撮像領域とを示す。
第1撮像部321の撮像領域100Lには、表示装置5に表示可能な画像の大きさに対応する切り出し領域101Lが設定されている。切り出し領域101Lは、例えば矩形をなし、撮像領域100Lよりも小さい。
第1集光光学系22のイメージサークル102Lは、撮像領域100Lをほぼ覆うことができる程度の大きさであり、小さくとも切り出し領域101Lに外接する外接円よりも大きくなるように設定される。具体的に、本実施の形態では、イメージサークル102Lは、矩形の撮像領域100Lの長辺よりも大きい直径の円である。イメージサークル102Lは、焦点位置における光軸と直交する面において形成される円であり、第1集光光学系22によって光が取り込まれて結像される範囲に相当する。
図5は、図4に示した切り出し領域を移動した場合について説明する図である。撮像領域100Lが切り出し領域101Lよりも大きく、かつイメージサークル102Lが切り出し領域101Lの外接円よりも大きいため、撮像領域100Lとイメージサークル102Lとが重なる領域内で切り出し領域101Lを移動させることができる。具体的には、マウスやタッチパネルの操作に応じた指示入力を入力部44が受け付けて、制御部46による制御のもと、操作入力に応じた位置に切り出し領域101Lを配置することができる。例えば、図5に示すように、切り出し領域101Lを、中央(図4参照)から撮像領域100Lの左側に移動させることが可能である。
ここで、従来の硬性鏡における切り出し領域は、撮像領域に応じて設計される。従来、切り出し領域は、撮像領域と同程度に設定される。例えば、切り出し領域および撮像領域が、ともに切り出し領域101Lの大きさに設計されている場合、光学系のイメージサークル200は、長方形の切り出し領域101Lに外接する程度の大きさに設計される(図4参照)。このため、従来、撮像領域に対して切り出し領域を移動させることはできない。
例えば、切り出し領域101Lの画角が80°、撮像領域100Lの画角が120°の場合、切り出し領域101Lを移動させることによって、最大で20°程度の範囲で、画像における視野を変えることができる。ここでいう画角とは、切り出し領域101Lまたは撮像領域100Lの対角線方向の両側の端点と、レンズの中心とを結んでなる角度である。
図6は、第1撮像素子の撮像領域および切り出し領域と、第2撮像素子の撮像領域および切り出し領域とについて説明する図である。第2撮像部322における切り出し領域101Rは、撮像領域100Rに対して、第1撮像部321における切り出し領域101Lと同じ方向および同じ距離で移動する。なお、生成する三次元画像をより自然なものとするため、撮像領域に対する切り出し位置によって、切り出し領域の位置を微調整してもよい。第1撮像素子324の撮像領域および切り出し領域と、第2撮像素子326の撮像領域および切り出し領域とは、予め設定され、被写体(切り出し領域)の少なくとも一部が重なる位置であって、各撮像領域において互いに対応する位置となる。
ところで、光学系では、視野の外縁側にいくにしたがって歪曲ひずみが生じることが一般に知られている。上述した実施の形態では、撮像領域において切り出し領域を変化させるため、切り出し位置によっては、歪曲ひずみの影響により左目用画像と右目用画像とが不一致となる部分が生じるおそれがある。左目用画像と右目用画像とが不一致となる部分が生じた場合、生成した三次元画像において視覚的な違和感が生じてしまう。本実施の形態では、上述した歪曲ひずみを補正することによって、切り出し領域の位置によらず、視覚的な違和感を生じさせない三次元画像を生成する。
図7は、被写体の一例を示す図である。図8は、図7に示す被写体を撮像した際の歪みについて説明する図である。被写体300が平面である場合(図7参照)、光学系を介して撮像した画像301は、図8に示すように、外縁にいくにしたがって歪む。例えば、この画像301が、上述した撮像領域100L、100Rである場合、切り出し領域101L、101Rを中央から外れた位置に設定すると、同じ被写体であっても歪みの違いによって、互いに異なる被写体像となる。これにより、三次元画像を生成した際に、視覚的に違和感のあるものになってしまう。
そこで、撮像領域の場所(例えば画素位置や、複数の画素からなる設定領域)ごとに、その歪みを補正するパラメータを予め設定しておく。図9は、図8に示す歪みを補正するための歪補正パラメータについて説明する図である。図9では、矢印の方向が、歪みを補正する方向を示し、矢印の長さがその補正量を示している。この補正する方向と、補正量とを撮像領域において場所ごとに設定し、記憶部45に記憶しておくことによって、歪みの補正を行うことができる。具体的には、画像生成部42が、設定された切り出し領域の位置(画素位置)の歪補正パラメータを、記憶部45を参照して取得し、各位置の歪補正パラメータに応じて歪みの補正を行う。これにより、左目用画像および右目用画像は、歪みのない平面上の被写体302にそれぞれ補正され、この左目用画像および右目用画像から視覚的な違和感のない三次元画像を生成することができる。なお、光学系の特性により歪みが生じなかったり、補正の必要がない場合、画像生成部42は、上述した歪み補正を行わなくてもよい。
上述した実施の形態によれば、撮像領域に対して、切り出し領域の位置を変化させて三次元画像を生成することによって、硬性鏡2の位置を変えずに、被写体の位置(視野)が変化した画像(三次元画像)が得られる。この際、第1撮像部321および第2撮像部322において、撮像領域に対する切り出し領域の位置変化を同じにすることによって、視差の大きさを維持した三次元画像が生成される。この結果、視野を変えた場合であっても、ハンドアイコーディネーションを維持することができる。また、上述した画像における視野変更では、撮像領域における切り出し位置を変えるのみであるため、解像度は維持される。
(変形例1)
図10は、本発明の実施の形態の変形例1にかかる医療用内視鏡システム1Aの概略構成を示す図である。上述した実施の形態では、視野の操作は、マウスやタッチパネルの操作に応じた指示入力を入力部44が受け付けて、制御部46により制御されるものとして説明したが、本変形例1では、ジョイスティック9により切り出し領域の位置(視野)を変更する。
本変形例1にかかる医療用内視鏡システム1Aは、生体内を立体視観察するシステムである。医療用内視鏡システム1Aは、上述した硬性鏡2、カメラヘッド3、制御装置4、表示装置5、伝送ケーブル6、ライトガイドケーブル7および映像ケーブル8と、ジョイスティック9と、制御装置4とジョイスティック9とを接続し、切り出し領域の位置変更の指示信号を伝送する操作入力ケーブル10とを備える。
ジョイスティック9は、所定の方向に傾斜可能なレバーを有し、レバーの傾斜方向を示す入力信号を出力する。
制御部46は、操作入力ケーブル10を介して入力信号が入力されると、レバーの傾斜方向に対応する方向に切り出し領域を移動させる。この際、制御部46は、第1撮像部321における切り出し領域と、第2撮像部322における切り出し領域との両方を移動させる。制御部46は、予め設定された時間経過してもジョイスティック9からの入力信号が入力されない場合、移動完了と判断し、画像生成部42に、移動後に位置する切り出し領域の左目用画像と右目用画像とを用いて三次元画像を生成させる。
なお、本変形例1において、ジョイスティック9の傾斜角度に応じて、切り出し領域の移動量や移動速度を変更するようにしてもよい。
また、上述した変形例1では、ジョイスティック9を制御装置4に接続するものとして説明したが、ジョイスティック9の配設位置は、これに限らない。例えば、ジョイスティック9をカメラヘッド3に組み込んで、カメラヘッド3の操作部材の一部としてもよい。
(変形例2)
図11は、本発明の実施の形態の変形例2にかかる医療用内視鏡システムが備える表示装置の表示例を示す図である。本変形例2では、表示装置5において、撮像領域に対する切り出し領域の位置を表示する。本変形例2にかかる表示装置5では、図11に示すように、三次元画像を表示する表示画面400において、撮像領域を示す画像401と、画像401(撮像領域)において、表示画面400に現在表示されている三次元画像の切り出し領域の位置を示す画像402とが表示される。
本変形例2によれば、表示画面上に、撮像領域に対する切り出し領域の位置表示するようにしたので、視野を変更するうえで、ユーザに移動可能な方向や移動量を視認させることができる。これにより、ユーザは、視野を変更できる範囲を把握することができる。
(変形例3)
図12は、本発明の実施の形態の変形例3にかかる医療用内視鏡システムが備える表示装置の表示例を示す図である。本変形例3では、表示装置5において、撮像領域に対する切り出し領域の位置を表示する。本変形例3にかかる表示装置5では、図12に示すように、三次元画像を表示する表示画面400において、視野移動が可能な方向を示す矢印403U、403D、403Rが表示される。図12では、画面上の上方向(矢印403U)、下方向(矢印403D)および右方向(矢印403R)に移動可能であることを示している。ここでは、左方向には移動できない場合を示しており、左方向にも移動可能な場合は、左方向にも移動可能であることを示す矢印が表示される。
本変形例3によれば、表示画面上に、撮像領域に対する切り出し領域の移動可能方向を表示するようにしたので、視野を変更するうえで、ユーザに移動可能な方向を視認させることができる。これにより、ユーザは、視野を変更できる範囲を把握することができる。
上述した変形例2,3に、変形例1を組み合わせて、表示画面400を確認しながらジョイスティック9を操作することによって、一層効率的に視野を変更することが可能である。
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。上述した実施の形態では、制御装置4が信号処理などを行うものとして説明したが、カメラヘッド3側で行うものであってもよい。
また、上述した実施の形態では、二つの光学系を有する硬性鏡2を例に説明したが、単眼式の硬性鏡であってもよい。単眼式の硬性鏡の場合、例えば第1集光光学系のみが設けられ、カメラヘッド3における撮像部32も一つの光路、一つの撮像素子が設けられる(光路分離部31を有しない)。このような単眼式の硬性鏡により二次元の画像を生成する場合であっても、切り出し領域の位置を変更することによって、視野を変更することが可能である。
以上のように、本発明にかかる医療用観察装置は、視野を変えた場合であっても、ハンドアイコーディネーションおよび解像度を維持するのに有用である。
1、1A 医療用内視鏡システム
2 硬性鏡
3 カメラヘッド
4 制御装置
5 表示装置
9 ジョイスティック
21 挿入管
22 第1集光光学系
23 第2集光光学系
31 光路分離部
32 撮像部
41 信号処理部
42 画像生成部
43 通信モジュール
44 入力部
45 記憶部
46 制御部
311 三角プリズム
312、313 ミラー
314、315 接眼光学系
321 第1撮像部
322 第2撮像部
323 第1撮像光学系
324 第1撮像素子
325 第2撮像光学系
326 第2撮像素子

Claims (4)

  1. 第1の画角で被写体を撮像する撮像部と、
    前記撮像部が撮像した前記第1の画角の画像を、前記第1の画角よりも小さい第2の画角で切り出して画像処理を施すことによって表示画像信号を生成する画像生成部と、
    を備えることを特徴とする医療用観察装置。
  2. 前記撮像部は、
    前記第1の画角で被写体を撮像する第1撮像部と、
    前記第1撮像部が撮像する画像とは視野が異なり、かつ前記第1の画角で被写体を撮像する第2撮像部と、
    を有し、
    前記画像生成部は、前記第1撮像部における前記第1の画角、および前記第2撮像部における前記第1の画角に対し、互いに対応する位置において前記第2の画角で切り出し、切り出し後の画像をもとに視差画像を生成する
    ことを特徴とする請求項1に記載の医療用観察装置。
  3. 前記第1の画角の画像における切り出し位置の操作入力を受け付ける入力部、
    をさらに備え、
    前記画像生成部は、前記入力部が受け付けた前記操作入力に応じた位置において前記第1の画角の画像を前記第2の画角で切り出す
    ことを特徴とする請求項2に記載の医療用観察装置。
  4. 前記画像生成部は、前記第1の画角の画像を前記第2の画角で切り出した後、アップコンバートを行って前記表示画像信号を生成する
    ことを特徴とする請求項1〜3のいずれか一つに記載の医療用観察装置。
JP2019534544A 2017-08-03 2018-07-31 医療用観察装置 Active JP7123053B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017151055 2017-08-03
JP2017151055 2017-08-03
PCT/JP2018/028736 WO2019026929A1 (ja) 2017-08-03 2018-07-31 医療用観察装置

Publications (2)

Publication Number Publication Date
JPWO2019026929A1 true JPWO2019026929A1 (ja) 2020-09-24
JP7123053B2 JP7123053B2 (ja) 2022-08-22

Family

ID=65232880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019534544A Active JP7123053B2 (ja) 2017-08-03 2018-07-31 医療用観察装置

Country Status (5)

Country Link
US (1) US11571109B2 (ja)
EP (1) EP3649913A4 (ja)
JP (1) JP7123053B2 (ja)
CN (1) CN110944567B (ja)
WO (1) WO2019026929A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694335B2 (en) * 2018-12-05 2023-07-04 Stryker Corporation Systems and methods for displaying medical imaging data
JP7480783B2 (ja) 2019-08-02 2024-05-10 ソニーグループ株式会社 内視鏡システム、制御装置、および制御方法
CN115699782A (zh) * 2020-06-22 2023-02-03 索尼集团公司 医疗观察系统、图像处理方法和程序
JP2022020501A (ja) * 2020-07-20 2022-02-01 ソニーグループ株式会社 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2024195562A1 (ja) * 2023-03-17 2024-09-26 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012016406A (ja) * 2010-07-06 2012-01-26 Olympus Medical Systems Corp 内視鏡システム
JP2015005896A (ja) * 2013-06-21 2015-01-08 オリンパス株式会社 内視鏡用の画像処理装置、内視鏡システムおよび内視鏡用の画像処理方法
WO2017038774A1 (ja) * 2015-09-01 2017-03-09 オリンパス株式会社 撮像システム、処理装置、処理方法及び処理プログラム
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
JP2019029876A (ja) * 2017-07-31 2019-02-21 パナソニックIpマネジメント株式会社 画像処理装置、カメラ装置及び出力制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930001365A (ko) 1991-03-27 1993-01-16 빈센트 죠셉 로너 복합 플립 칩 반도체 소자와 그 제조 및 번-인(burning-in) 방법
JP3257640B2 (ja) * 1992-06-09 2002-02-18 オリンパス光学工業株式会社 立体視内視鏡装置
JP3590425B2 (ja) 1994-12-08 2004-11-17 ペンタックス株式会社 立体視硬性内視鏡
JP2004327951A (ja) 2003-03-06 2004-11-18 Shinko Electric Ind Co Ltd 半導体装置
WO2007126033A1 (en) * 2006-04-25 2007-11-08 Canon Kabushiki Kaisha Image sensing apparatus and method for controlling the same
US20110057930A1 (en) * 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
JP5491786B2 (ja) * 2009-07-21 2014-05-14 富士フイルム株式会社 画像再生装置及び方法
US9192286B2 (en) * 2010-03-12 2015-11-24 Viking Systems, Inc. Stereoscopic visualization system
JP2012049219A (ja) 2010-08-25 2012-03-08 Fujitsu Ltd 電子装置
JP5919533B2 (ja) * 2011-12-15 2016-05-18 パナソニックIpマネジメント株式会社 内視鏡およびこれを備えた内視鏡システム
JP5414947B2 (ja) * 2011-12-27 2014-02-12 パナソニック株式会社 ステレオ撮影装置
JP2013244362A (ja) 2012-05-29 2013-12-09 Olympus Corp 立体視内視鏡システム
EP2856759A4 (en) 2012-06-01 2015-12-09 Ultradent Products Inc STEREOSCOPIC VIDEO IMAGING
JP6137921B2 (ja) * 2013-04-16 2017-05-31 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
WO2015083459A1 (ja) * 2013-12-05 2015-06-11 オリンパス株式会社 立体内視鏡システム
WO2015190186A1 (ja) 2014-06-10 2015-12-17 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
JP6121058B2 (ja) * 2014-09-08 2017-04-26 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
CN106576136B (zh) 2015-02-26 2019-07-19 奥林巴斯株式会社 摄像装置、摄像装置的工作方法
JP2018149090A (ja) * 2017-03-13 2018-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置及び医療用観察システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012016406A (ja) * 2010-07-06 2012-01-26 Olympus Medical Systems Corp 内視鏡システム
JP2015005896A (ja) * 2013-06-21 2015-01-08 オリンパス株式会社 内視鏡用の画像処理装置、内視鏡システムおよび内視鏡用の画像処理方法
WO2017038774A1 (ja) * 2015-09-01 2017-03-09 オリンパス株式会社 撮像システム、処理装置、処理方法及び処理プログラム
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
JP2019029876A (ja) * 2017-07-31 2019-02-21 パナソニックIpマネジメント株式会社 画像処理装置、カメラ装置及び出力制御方法

Also Published As

Publication number Publication date
US11571109B2 (en) 2023-02-07
EP3649913A4 (en) 2020-07-08
CN110944567B (zh) 2022-10-11
CN110944567A (zh) 2020-03-31
EP3649913A1 (en) 2020-05-13
WO2019026929A1 (ja) 2019-02-07
JP7123053B2 (ja) 2022-08-22
US20210153719A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
JP7123053B2 (ja) 医療用観察装置
JP5730339B2 (ja) 立体内視鏡装置
US9618726B2 (en) Endoscope apparatus
JP2019086712A (ja) 観察装置、観察ユニット及び観察方法
TWI480017B (zh) 立體影像內視鏡、包含其之系統、及醫學立體影像之顯示方法
US10264236B2 (en) Camera device
JP2010056661A (ja) 頭部装着型映像取得表示装置
JP5946777B2 (ja) 立体撮像装置
KR101650706B1 (ko) 웨어러블 디스플레이장치
JP7094742B2 (ja) 三次元内視鏡システム
JP2009098570A (ja) ヘッドマウント型双眼ルーペ装置
US20200113413A1 (en) Surgical system and surgical imaging device
WO2013161485A1 (ja) 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
US11864732B2 (en) Medical image processing device and medical observation system
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
KR20080027187A (ko) 3차원 영상데이터를 제공하는 내시경
JP2002010293A (ja) 立体画像表示装置
US11418772B2 (en) Imaging device balancing depth of field and resolution
US20210321082A1 (en) Information processing apparatus, information processing method, and program
US11071444B2 (en) Medical endoscope system providing enhanced illumination
JP2018149090A (ja) 医療用撮像装置及び医療用観察システム
WO2022054740A1 (ja) 画像投影装置
JP2011158644A (ja) 表示装置
JP2017106994A (ja) 手術用立体観察装置
JP6843518B2 (ja) 立体視内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220809

R151 Written notification of patent or utility model registration

Ref document number: 7123053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151