JP2003528688A - 内視鏡を較正するための装置および方法 - Google Patents
内視鏡を較正するための装置および方法Info
- Publication number
- JP2003528688A JP2003528688A JP2001572014A JP2001572014A JP2003528688A JP 2003528688 A JP2003528688 A JP 2003528688A JP 2001572014 A JP2001572014 A JP 2001572014A JP 2001572014 A JP2001572014 A JP 2001572014A JP 2003528688 A JP2003528688 A JP 2003528688A
- Authority
- JP
- Japan
- Prior art keywords
- endoscope
- holder
- pattern
- lens
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000694 effects Effects 0.000 claims description 8
- 230000004308 accommodation Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 230000000717 retained effect Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 description 18
- 238000012937 correction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00681—Aspects not otherwise provided for
- A61B2017/00725—Calibration or performance testing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
内視鏡のレンズ位置および視野を較正する際に使用するための装置が開示される。この装置は、内視鏡のシャフトの固定位置に取り付けられている複数の追跡要素、内視鏡によって見られる物体またはパターンを提供するホルダーを備える(この内視鏡がホルダー内に配置され、該位置決め要素が、既知の位置でホルダーに取り付けられる場合)。この装置のプロセッサは、ホルダーガイドに内視鏡シャフトが受け入れらた状態で、追跡要素および位置決め要素の位置を決定し、そしてこの決定された位置から、追跡要素に対する内視鏡レンズの座標、およびレンズの視野を計算する。この装置を使用する較正方法がまた、開示される。
Description
【0001】
(発明の分野)
本発明は、内視鏡上の追跡要素に対して、内視鏡のレンズ位置および視野を較
正するための装置および方法に関する。
正するための装置および方法に関する。
【0002】
(参考文献)
【0003】
【表1】
(発明の背景)
コンピュータ補助方法は、現在、手術手順の間のリアルタイムナビゲーション
を提供し、これは、磁気共鳴(MR)およびコンピュータ連動断層撮影法(CT
)データからの3次元(3D)診断画像の分析および検査を含む(Vierga
ver)。内視鏡技術はまた、急速に発達し、小さな体腔において使用されるこ
とが可能な軽量の内視鏡を提供した。しかし、内視鏡は、可視な表面のみを表示
することが可能であり、そしてまた、不透明な組織の内部の光景を提供すること
の不可能性によって制限されている。内視鏡画像およびコンピュータ生成3D画
像の両方の組み合わせは、容量測定的に再構築された患者の画像を手術領域の内
視鏡での光景と重ねる、以前には利用可能ではなかった能力を提供する可能性を
有する。この技術は、外科医師が、可視表面を超えて見ることを可能にし、そし
て計画およびナビゲーション目的のための、「オンザフライ(on−the−f
ly)」3D情報および2次元(2D)情報を提供し得る(Shahidi、V
ining)。しかし、内視鏡の機能に関係する多くのパラメーターに起因して
、これらのデバイスの設定における複数の小さなエラーは、重ねられた内視鏡画
像の位置と患者の解剖的構造との間の最終的な相違に対する比較的大きくかつ蓄
積的な影響を有し得る。この理由のために、内視鏡の正確な較正および較正され
た内視鏡の正確な試験が、手術の質を保証するために必要とされる。本発明は、
この目的に関する。
を提供し、これは、磁気共鳴(MR)およびコンピュータ連動断層撮影法(CT
)データからの3次元(3D)診断画像の分析および検査を含む(Vierga
ver)。内視鏡技術はまた、急速に発達し、小さな体腔において使用されるこ
とが可能な軽量の内視鏡を提供した。しかし、内視鏡は、可視な表面のみを表示
することが可能であり、そしてまた、不透明な組織の内部の光景を提供すること
の不可能性によって制限されている。内視鏡画像およびコンピュータ生成3D画
像の両方の組み合わせは、容量測定的に再構築された患者の画像を手術領域の内
視鏡での光景と重ねる、以前には利用可能ではなかった能力を提供する可能性を
有する。この技術は、外科医師が、可視表面を超えて見ることを可能にし、そし
て計画およびナビゲーション目的のための、「オンザフライ(on−the−f
ly)」3D情報および2次元(2D)情報を提供し得る(Shahidi、V
ining)。しかし、内視鏡の機能に関係する多くのパラメーターに起因して
、これらのデバイスの設定における複数の小さなエラーは、重ねられた内視鏡画
像の位置と患者の解剖的構造との間の最終的な相違に対する比較的大きくかつ蓄
積的な影響を有し得る。この理由のために、内視鏡の正確な較正および較正され
た内視鏡の正確な試験が、手術の質を保証するために必要とされる。本発明は、
この目的に関する。
【0004】
(発明の要旨)
本発明は、1つの局面において、細長いシャフトおよび遠位端レンズを有する
内視鏡のレンズ位置および視野を較正する際に使用するための装置を包含する。
この装置は、内視鏡のシャフト上の固定位置に取り付けられた複数の追跡要素、
ホルダー内の内視鏡を整列し、そしてホルダー内の標的領域に含まれる3次元物
体を見るために内視鏡レンズを配置するように内視鏡が収容され得るガイドを有
するホルダー、ガイドおよび3次元物体またはパターンに対して既知の位置でホ
ルダー上に取り付けられた位置決め要素、ならびに追跡要素および位置決め要素
を感知するための感知デバイスを備える。これらの要素は、空間内の既知の物体
の位置および内視鏡の位置で既知の3次元物体を見る際に使用される。
内視鏡のレンズ位置および視野を較正する際に使用するための装置を包含する。
この装置は、内視鏡のシャフト上の固定位置に取り付けられた複数の追跡要素、
ホルダー内の内視鏡を整列し、そしてホルダー内の標的領域に含まれる3次元物
体を見るために内視鏡レンズを配置するように内視鏡が収容され得るガイドを有
するホルダー、ガイドおよび3次元物体またはパターンに対して既知の位置でホ
ルダー上に取り付けられた位置決め要素、ならびに追跡要素および位置決め要素
を感知するための感知デバイスを備える。これらの要素は、空間内の既知の物体
の位置および内視鏡の位置で既知の3次元物体を見る際に使用される。
【0005】
この装置内のプロセッサは、以下の操作を行うために、感知デバイスおよびデ
ィスプレイデバイスに作動可能に連結される:(i)追跡要素および位置決め要
素の位置を、ホルダーガイド内に収容される内視鏡シャフトを用いて決定する工
程、(ii)この追跡要素および位置決め要素の決定された位置を使用して、内
視鏡およびホルダーを共通の参照フレーム内に配置する工程、(iii)このデ
ィスプレイデバイスに、このホルダーガイド内に収容された内視鏡シャフトを有
する内視鏡により見えるような三次元ホルダー物体のビデオ画像を投影する工程
、(iv)三次元物体のモデル画像をこのディスプレイデバイスに投影し、この
三次元物体を既知のレンズ位置および視野から見えるように表示する工程、なら
びに(v)2つの画像の相対的なサイズ、位置および配向についての情報を使用
して、追跡要素に対する内視鏡レンズの座標、およびこのレンズの視野を算出す
る工程。
ィスプレイデバイスに作動可能に連結される:(i)追跡要素および位置決め要
素の位置を、ホルダーガイド内に収容される内視鏡シャフトを用いて決定する工
程、(ii)この追跡要素および位置決め要素の決定された位置を使用して、内
視鏡およびホルダーを共通の参照フレーム内に配置する工程、(iii)このデ
ィスプレイデバイスに、このホルダーガイド内に収容された内視鏡シャフトを有
する内視鏡により見えるような三次元ホルダー物体のビデオ画像を投影する工程
、(iv)三次元物体のモデル画像をこのディスプレイデバイスに投影し、この
三次元物体を既知のレンズ位置および視野から見えるように表示する工程、なら
びに(v)2つの画像の相対的なサイズ、位置および配向についての情報を使用
して、追跡要素に対する内視鏡レンズの座標、およびこのレンズの視野を算出す
る工程。
【0006】
好ましい実施形態において、2つの画像の相対的なサイズ、位置および配向に
ついての情報を使用する工程は、一方または両方の画像を、平行移動、回転及び
/または縮尺することによって、内視鏡およびモデル画像を手動で一致させ、そ
してこのような調節の方向および程度から追跡要素に対する内視鏡レンズの座標
およびレンズの視野を決定する工程を包含する。この情報は、レンズのゆがみを
補正するためにさらに使用され得る。
ついての情報を使用する工程は、一方または両方の画像を、平行移動、回転及び
/または縮尺することによって、内視鏡およびモデル画像を手動で一致させ、そ
してこのような調節の方向および程度から追跡要素に対する内視鏡レンズの座標
およびレンズの視野を決定する工程を包含する。この情報は、レンズのゆがみを
補正するためにさらに使用され得る。
【0007】
このホルダーは、このホルダー内またはホルダー上に内視鏡を収容して、この
ホルダーに対して既知の軸方向位置にこの内視鏡を配置するための構造体(例え
ば、ボア)を備え、そして好ましくは、既知の選択された内視鏡位置におけるホ
ルダー構造体内の内視鏡の軸方向位置を阻止するためのストップを備える。
ホルダーに対して既知の軸方向位置にこの内視鏡を配置するための構造体(例え
ば、ボア)を備え、そして好ましくは、既知の選択された内視鏡位置におけるホ
ルダー構造体内の内視鏡の軸方向位置を阻止するためのストップを備える。
【0008】
この装置は、本発明の別の局面によると、内視鏡のレンズ位置および視野を較
正する際に使用される。この方法は、以下の工程を包含する:(a)上記のタイ
プのホルダー内に内視鏡を配置する工程、ならびに(b)感知デバイスを用いて
、内視鏡追跡要素およびホルダー位置決め要素の位置を検出する工程であって、
ここで内視鏡シャフトはこのホルダー内に収容される、工程。
正する際に使用される。この方法は、以下の工程を包含する:(a)上記のタイ
プのホルダー内に内視鏡を配置する工程、ならびに(b)感知デバイスを用いて
、内視鏡追跡要素およびホルダー位置決め要素の位置を検出する工程であって、
ここで内視鏡シャフトはこのホルダー内に収容される、工程。
【0009】
感知デバイスおよびディスプレイデバイスに作動可能に連結されたプロセッサ
は、(i)内視鏡シャフトがホルダーガイド内に収容された状態で、この感知デ
バイスにより提供される入力から、追跡要素および位置決め要素の位置を決定し
、(ii)この追跡要素および位置決め要素の決定された位置を使用して、共通
の参照フレーム内に内視鏡及びホルダーを配置し、(iii)ホルダーガイド内
に収容された内視鏡シャフトを用いて、内視鏡により見られるような三次元ホル
ダー物体のビデオ画像をディスプレイデバイスに投影し、そして(iv)三次元
物体のモデル画像をディスプレイデバイスに投影して、既知のレンズ位置および
視野から見られるような三次元物体を表示し、そして(v)2つの画像の相対的
なサイズ、位置および配向についての情報を使用して、追跡要素に対する内視鏡
レンズの座標およびレンズの視野を算出するように機能する。
は、(i)内視鏡シャフトがホルダーガイド内に収容された状態で、この感知デ
バイスにより提供される入力から、追跡要素および位置決め要素の位置を決定し
、(ii)この追跡要素および位置決め要素の決定された位置を使用して、共通
の参照フレーム内に内視鏡及びホルダーを配置し、(iii)ホルダーガイド内
に収容された内視鏡シャフトを用いて、内視鏡により見られるような三次元ホル
ダー物体のビデオ画像をディスプレイデバイスに投影し、そして(iv)三次元
物体のモデル画像をディスプレイデバイスに投影して、既知のレンズ位置および
視野から見られるような三次元物体を表示し、そして(v)2つの画像の相対的
なサイズ、位置および配向についての情報を使用して、追跡要素に対する内視鏡
レンズの座標およびレンズの視野を算出するように機能する。
【0010】
好ましくは、この2つの画像は、使用者によって整列され、そして整列調整か
ら、プロセッサは、追跡要素に対する内視鏡レンズの座標およびレンズの視野を
算出する。このディスプレイデバイスは、第1および第2のスクリーン領域にビ
デオ画像およびモデル画像を別々に表示するための分割スクリーンまたは2つの
スクリーンを備え得、そしてこの整列工程は、以下の工程を包含し得る:(i)
画像の一方を、他方の画像のおおよその配向の回転位置まで回転させる工程、(
ii)画像の一方を他方の画像のおおよそのサイズにサイズ決めする工程、(i
ii)この2つの画像を重ね合わせる工程、ならびに(iv)この2つの画像が
重なるまで、画像の配向およびサイズの最終調整を実施する工程。
ら、プロセッサは、追跡要素に対する内視鏡レンズの座標およびレンズの視野を
算出する。このディスプレイデバイスは、第1および第2のスクリーン領域にビ
デオ画像およびモデル画像を別々に表示するための分割スクリーンまたは2つの
スクリーンを備え得、そしてこの整列工程は、以下の工程を包含し得る:(i)
画像の一方を、他方の画像のおおよその配向の回転位置まで回転させる工程、(
ii)画像の一方を他方の画像のおおよそのサイズにサイズ決めする工程、(i
ii)この2つの画像を重ね合わせる工程、ならびに(iv)この2つの画像が
重なるまで、画像の配向およびサイズの最終調整を実施する工程。
【0011】
別の局面において、較正装置は、内視鏡レンズの位置、視野、および必要に応
じてビューベクトル(view vector)および/またはレンズの歪みの
自動較正のために設計される。この装置は、内視鏡のシャフト上の固定位置で取
り付けられた複数の追跡要素、ホルダーの標的領域内に含まれる特徴パターンを
有するパターン支持体、このパターンに関して既知の位置においてこのパターン
支持体に取り付けられた位置決め要素、ならびにこの追跡要素および位置決め要
素を検出するための感知デバイス、を備える。
じてビューベクトル(view vector)および/またはレンズの歪みの
自動較正のために設計される。この装置は、内視鏡のシャフト上の固定位置で取
り付けられた複数の追跡要素、ホルダーの標的領域内に含まれる特徴パターンを
有するパターン支持体、このパターンに関して既知の位置においてこのパターン
支持体に取り付けられた位置決め要素、ならびにこの追跡要素および位置決め要
素を検出するための感知デバイス、を備える。
【0012】
この装置内のプロセッサは、(i)三次元のパターンの特徴を観察するために
選択された位置に配置された内視鏡を用いて、追跡要素および位置決め要素の位
置を決定し、(ii)この追跡要素および位置決め要素の決定された位置を使用
して、内視鏡およびホルダーを、共通の参照フレーム内に配置し、(iii)こ
の選択された位置において内視鏡により見られるような、このパターンの特徴の
画像座標を決定し、そして(iv)レンズ投影アルゴリズムを使用して、パター
ン特徴の画像座標およびこの共通参照フレームにおけるパターン特徴の既知の位
置から、この追跡要素に対する内視鏡レンズの座標およびレンズの視野を算出す
るように機能する。プロセッサは、レンズの歪みの影響を補正するようにさらに
操作可能であり得、その結果、ディスプレイデバイスに表示される内視鏡の画像
は、正確な透視画像である。
選択された位置に配置された内視鏡を用いて、追跡要素および位置決め要素の位
置を決定し、(ii)この追跡要素および位置決め要素の決定された位置を使用
して、内視鏡およびホルダーを、共通の参照フレーム内に配置し、(iii)こ
の選択された位置において内視鏡により見られるような、このパターンの特徴の
画像座標を決定し、そして(iv)レンズ投影アルゴリズムを使用して、パター
ン特徴の画像座標およびこの共通参照フレームにおけるパターン特徴の既知の位
置から、この追跡要素に対する内視鏡レンズの座標およびレンズの視野を算出す
るように機能する。プロセッサは、レンズの歪みの影響を補正するようにさらに
操作可能であり得、その結果、ディスプレイデバイスに表示される内視鏡の画像
は、正確な透視画像である。
【0013】
この装置は、ユーザーコントロールを備え得、このコントロールは、作動され
た場合、感知デバイスが、追跡要素および位置決め要素を検出し、そしてプロセ
ッサが内視鏡で見える画像を記録するように同時に信号を送る。このコントロー
ルにより、使用者は、内視鏡をホルダーに対して選択された観察位置に配置し、
そしてこの内視鏡が物理的にホルダー内に保持されていてもいなくても、内視鏡
の視野、ならびに内視鏡およびホルダーの位置の同時スナップショットを撮り得
る。
た場合、感知デバイスが、追跡要素および位置決め要素を検出し、そしてプロセ
ッサが内視鏡で見える画像を記録するように同時に信号を送る。このコントロー
ルにより、使用者は、内視鏡をホルダーに対して選択された観察位置に配置し、
そしてこの内視鏡が物理的にホルダー内に保持されていてもいなくても、内視鏡
の視野、ならびに内視鏡およびホルダーの位置の同時スナップショットを撮り得
る。
【0014】
ホルダーパターンが平面である場合、この内視鏡ビューベクトルは、パターン
平面に対して垂直から少なくとも約30°であり、プロセッサにビュー深さの情
報を提供しなければならない。あるいは、このホルダーは、湾曲した平面(例え
ば、半球状シェル)を含み得、この平面上にパターンが配置され、その結果、こ
のパターンは、内視鏡がパターンを観察し得る任意の選択された位置においてパ
ターン深さの情報を提供する。代表的なパターンは、比較的小さいスポットおよ
び比較的大きなスポットのアレイからなり、このアレイは、アレイの各領域が、
この中の小さなスポットおよび大きなスポットのパターンによって独自に同定さ
れ得るように配置される。
平面に対して垂直から少なくとも約30°であり、プロセッサにビュー深さの情
報を提供しなければならない。あるいは、このホルダーは、湾曲した平面(例え
ば、半球状シェル)を含み得、この平面上にパターンが配置され、その結果、こ
のパターンは、内視鏡がパターンを観察し得る任意の選択された位置においてパ
ターン深さの情報を提供する。代表的なパターンは、比較的小さいスポットおよ
び比較的大きなスポットのアレイからなり、このアレイは、アレイの各領域が、
この中の小さなスポットおよび大きなスポットのパターンによって独自に同定さ
れ得るように配置される。
【0015】
関連の局面において、本発明は、上記の装置を使用する内視鏡レンズの位置、
視野、ならびに必要に応じて、ビューベクトルおよび/またはレンズの歪みの自
動較正のための方法を包含する。この方法は、以下の工程を包含する:(a)パ
ターン支持体に関して選択された位置に内視鏡を配置する工程、ならびに(b)
この選択された位置に配置された内視鏡と共に、感知デバイスを用いて、内視鏡
追跡要素およびホルダー位置決め要素の位置を検出する工程。感知デバイスおよ
びディスプレイデバイスに作動可能に連結されたプロセッサは、この方法におい
て、(i)三次元のこのパターンの観察特徴について選択された位置に配置され
た内視鏡で、追跡要素および位置決め要素の位置を決定し、(ii)この追跡要
素および位置決め要素の決定された位置を使用して、共通参照フレームに内視鏡
およびホルダーを配置し、(iii)この選択された位置において内視鏡により
見られる、このパターンの特徴の画像座標を決定し、そして(iv)カメラ較正
アルゴリズムを使用して、このパターン特徴の画像座標および共通参照フレーム
のパターン特徴の既知の位置から、この追跡要素に対する内視鏡レンズの座標お
よびレンズの視野を算出するように作動する。
視野、ならびに必要に応じて、ビューベクトルおよび/またはレンズの歪みの自
動較正のための方法を包含する。この方法は、以下の工程を包含する:(a)パ
ターン支持体に関して選択された位置に内視鏡を配置する工程、ならびに(b)
この選択された位置に配置された内視鏡と共に、感知デバイスを用いて、内視鏡
追跡要素およびホルダー位置決め要素の位置を検出する工程。感知デバイスおよ
びディスプレイデバイスに作動可能に連結されたプロセッサは、この方法におい
て、(i)三次元のこのパターンの観察特徴について選択された位置に配置され
た内視鏡で、追跡要素および位置決め要素の位置を決定し、(ii)この追跡要
素および位置決め要素の決定された位置を使用して、共通参照フレームに内視鏡
およびホルダーを配置し、(iii)この選択された位置において内視鏡により
見られる、このパターンの特徴の画像座標を決定し、そして(iv)カメラ較正
アルゴリズムを使用して、このパターン特徴の画像座標および共通参照フレーム
のパターン特徴の既知の位置から、この追跡要素に対する内視鏡レンズの座標お
よびレンズの視野を算出するように作動する。
【0016】
本発明のこれらおよび他の目的および特徴は、以下の本発明の詳細な説明を添
付の図面と共に読む場合、より十分に明らかとなる。
付の図面と共に読む場合、より十分に明らかとなる。
【0017】
(発明の詳細な説明)
本発明の装置および方法は、2つの一般的な実施形態を参照して記載される。
第1の実施形態は、例えば、使用者による画像整合を用いて、実際の内視鏡画像
をモデル画像と整列する。内視鏡が選択された配向および位置においてホルダー
内に保持される場合、この内視鏡から見て、この内視鏡画像は、内視鏡ホルダー
により提供される三次元物体の画像である。モデル画像は、これが既知の視野を
有する内視鏡により見られ、そして物体からの所定の距離に配置される場合の三
次元物体の表示画像である。2つの画像を整列するために使用者により行われる
調整、およびホルダー物体に対する内視鏡の既知の位置から、プロセッサは、内
視鏡上の追跡要素に対する内視鏡のレンズ座標および回転座標、ならびに内視鏡
の視野および必要に応じてレンズの歪みを較正する。この一般的な実施形態は、
第1の較正装置および方法と本明細書中で称される。
第1の実施形態は、例えば、使用者による画像整合を用いて、実際の内視鏡画像
をモデル画像と整列する。内視鏡が選択された配向および位置においてホルダー
内に保持される場合、この内視鏡から見て、この内視鏡画像は、内視鏡ホルダー
により提供される三次元物体の画像である。モデル画像は、これが既知の視野を
有する内視鏡により見られ、そして物体からの所定の距離に配置される場合の三
次元物体の表示画像である。2つの画像を整列するために使用者により行われる
調整、およびホルダー物体に対する内視鏡の既知の位置から、プロセッサは、内
視鏡上の追跡要素に対する内視鏡のレンズ座標および回転座標、ならびに内視鏡
の視野および必要に応じてレンズの歪みを較正する。この一般的な実施形態は、
第1の較正装置および方法と本明細書中で称される。
【0018】
第2の一般的な実施形態において、ホルダーは、内視鏡がホルダーに関して選
択された位置に配置される場合、例えば、深さ特徴を有する三次元で観察され得
る特徴パターンを提供する。次いで、このパターンの内視鏡画像は、所定の内視
鏡位置および配向から見られるような、モデルパターンとカメラ較正アルゴリズ
ムによって整合されて、内視鏡上の追跡要素に対して内視鏡レンズの位置および
配向、ならびに内視鏡の視野およびレンズの歪みを較正する。この実施形態はま
た、本明細書中で、第2の較正装置および方法と称される。
択された位置に配置される場合、例えば、深さ特徴を有する三次元で観察され得
る特徴パターンを提供する。次いで、このパターンの内視鏡画像は、所定の内視
鏡位置および配向から見られるような、モデルパターンとカメラ較正アルゴリズ
ムによって整合されて、内視鏡上の追跡要素に対して内視鏡レンズの位置および
配向、ならびに内視鏡の視野およびレンズの歪みを較正する。この実施形態はま
た、本明細書中で、第2の較正装置および方法と称される。
【0019】
(A.第1の較正装置および方法)
図1Aおよび1Bは、本発明に従って構築される内視鏡較正装置を例示する。
例示的な内視鏡8は、中心軸10を規定する細長シャフト16、および遠位レン
ズ12(このビューベクトル、すなわちビューの方向は軸10と整列される)を
有する。
例示的な内視鏡8は、中心軸10を規定する細長シャフト16、および遠位レン
ズ12(このビューベクトル、すなわちビューの方向は軸10と整列される)を
有する。
【0020】
較正手順は、部分的に、内視鏡に取り付けられた位置決め追跡アセンブリ14
と内視鏡のシャフト16および先端部18との間の幾何学的関係を確立する工程
を包含する。手術において内視鏡8を使用する間、追跡システム20は、追跡ア
センブリのみの位置および配向を追跡する。従って、(1)表示される3D容量
斜視画像の位置、配向および視野(FOV)角を正確に選択し、そして(2)内
視鏡から得られる実際の画像と操作前の2Dスキャンから得られる3D容量透視
画像とを正確に合わせるために、追跡アセンブリ14と内視鏡のシャフトおよび
先端部との間の相対位置は、内視鏡の使用前に決定されなければならない。
と内視鏡のシャフト16および先端部18との間の幾何学的関係を確立する工程
を包含する。手術において内視鏡8を使用する間、追跡システム20は、追跡ア
センブリのみの位置および配向を追跡する。従って、(1)表示される3D容量
斜視画像の位置、配向および視野(FOV)角を正確に選択し、そして(2)内
視鏡から得られる実際の画像と操作前の2Dスキャンから得られる3D容量透視
画像とを正確に合わせるために、追跡アセンブリ14と内視鏡のシャフトおよび
先端部との間の相対位置は、内視鏡の使用前に決定されなければならない。
【0021】
図1Aおよび1Bは、内視鏡8に取り付けられた追跡アセンブリ14を示す。
このアセンブリは、クリップ22のような取り外し可能デバイスを使用すること
によって取り付けられ得る。図1Aおよび1Bに示されるように、このアセンブ
リは、好ましくは、内視鏡8の近位端24、例えば、この内視鏡のハンドル26
に取り付けられる。このアセンブリは、アセンブリ上の固定された直線位置に位
置する少なくとも3つの直線状追跡要素28(例えば、発光ダイオード(LED
))を提供する。この追跡要素は、図1Aおよび1Bに示されるように、平面に
非同一直線上に配置される。この配置は、例にすぎない。デバイスの三次元座標
、ならびに接続された内視鏡の迎え角θ2およびねじれ角αを決定するためには
、6の自由度を有するデバイスの運動に関する情報を提供し得る他のタイプの追
跡アセンブリが適切である(以下に記載されるように)。
このアセンブリは、クリップ22のような取り外し可能デバイスを使用すること
によって取り付けられ得る。図1Aおよび1Bに示されるように、このアセンブ
リは、好ましくは、内視鏡8の近位端24、例えば、この内視鏡のハンドル26
に取り付けられる。このアセンブリは、アセンブリ上の固定された直線位置に位
置する少なくとも3つの直線状追跡要素28(例えば、発光ダイオード(LED
))を提供する。この追跡要素は、図1Aおよび1Bに示されるように、平面に
非同一直線上に配置される。この配置は、例にすぎない。デバイスの三次元座標
、ならびに接続された内視鏡の迎え角θ2およびねじれ角αを決定するためには
、6の自由度を有するデバイスの運動に関する情報を提供し得る他のタイプの追
跡アセンブリが適切である(以下に記載されるように)。
【0022】
例示される実施形態において、追跡要素28(例えば、LED)は、内視鏡8
から見えるところに感知デバイス32に取り付けられた複数の赤外線検出器30
により検出されるパルス化した赤外線シグナルの連続ストリームを放射する。内
視鏡および感知デバイスの両方は、追跡コントローラ31と連絡しており、この
コントローラ31は、LEDによるパルス放出のタイミングおよび同期化を制御
し、検出器30により受信される赤外線シグナルの記録および処理を制御する。
追跡コントローラは、CPU34と連絡しており、このCPU34は、追跡コン
トローラから受信したデジタルシグナルを処理する。追跡デバイス14、感知デ
バイス32および追跡コントローラ31は、光学追跡システム(OTS)の一部
を形成する。このOTSは、ソフトウェアにより制御され得、このソフトウェア
は、メモリー56に常駐し、そして追跡コントローラからの入りシグナルを処理
するためのCPUにより実行されて、内視鏡の位置および配向を示すデータおよ
び画像を生成する。このOTSは、連続的なリアルタイムベースで、位置データ
および配向データを生成し得、その結果、本明細書中で記載されるように、較正
の間、または内視鏡8が手術の間に移動される場合、その位置および配向は、感
知デバイス32によって連続的に追跡され、そしてメモリー56に記録される。
このOTSは、「フラッシュポイント3−D光学ローカライザー」(これは、G
uided Technologies of Boulder、Colora
doから市販され、米国特許第5,617,857号および同第5,622,1
70号に記載されるシステムと類似している)として知られるタイプであり得る
。しかし、上記のように、本発明は、いずれの特定のOTSにも限定されず;他
の位置追跡システム(例えば、音響位置検出システム、磁気追跡システム、また
は無線送信機)もまた使用され得る。
から見えるところに感知デバイス32に取り付けられた複数の赤外線検出器30
により検出されるパルス化した赤外線シグナルの連続ストリームを放射する。内
視鏡および感知デバイスの両方は、追跡コントローラ31と連絡しており、この
コントローラ31は、LEDによるパルス放出のタイミングおよび同期化を制御
し、検出器30により受信される赤外線シグナルの記録および処理を制御する。
追跡コントローラは、CPU34と連絡しており、このCPU34は、追跡コン
トローラから受信したデジタルシグナルを処理する。追跡デバイス14、感知デ
バイス32および追跡コントローラ31は、光学追跡システム(OTS)の一部
を形成する。このOTSは、ソフトウェアにより制御され得、このソフトウェア
は、メモリー56に常駐し、そして追跡コントローラからの入りシグナルを処理
するためのCPUにより実行されて、内視鏡の位置および配向を示すデータおよ
び画像を生成する。このOTSは、連続的なリアルタイムベースで、位置データ
および配向データを生成し得、その結果、本明細書中で記載されるように、較正
の間、または内視鏡8が手術の間に移動される場合、その位置および配向は、感
知デバイス32によって連続的に追跡され、そしてメモリー56に記録される。
このOTSは、「フラッシュポイント3−D光学ローカライザー」(これは、G
uided Technologies of Boulder、Colora
doから市販され、米国特許第5,617,857号および同第5,622,1
70号に記載されるシステムと類似している)として知られるタイプであり得る
。しかし、上記のように、本発明は、いずれの特定のOTSにも限定されず;他
の位置追跡システム(例えば、音響位置検出システム、磁気追跡システム、また
は無線送信機)もまた使用され得る。
【0023】
図1Aおよび1Bにおいて、ベースプレート38を備えるホルダー36もまた
示される。このホルダーは、位置決め要素40を備え、この要素40は、ガイド
42に関して既知の位置に取り付けられたLEDの形態であり得る。示される実
施形態において、このガイドは、図1Aに示されるように、内視鏡をスライド可
能に収容するためのこのガイドを通るチャネル44を有する。内視鏡8がガイド
42内に保持される場合、図1Bに示されるように、内視鏡上の選択された基準
点は、ガイド42内の既知の位置に配置される。例えば、位置決め要素40に関
してガイドの低い方の末端部46の位置が予め決定され、そして内視鏡8がこの
ガイドに挿入される場合、この先端部18の位置が、既知の基準点になる。この
位置は、例えば、選択した位置で内視鏡の軸移動を阻止するストップをこのホル
ダー内に設けることによって、または内視鏡上にリングまたは他のストップ部材
を配置して、ホルダーガイド内の内視鏡の軸方向の移動を同様に阻止することに
よって、確立され得る。
示される。このホルダーは、位置決め要素40を備え、この要素40は、ガイド
42に関して既知の位置に取り付けられたLEDの形態であり得る。示される実
施形態において、このガイドは、図1Aに示されるように、内視鏡をスライド可
能に収容するためのこのガイドを通るチャネル44を有する。内視鏡8がガイド
42内に保持される場合、図1Bに示されるように、内視鏡上の選択された基準
点は、ガイド42内の既知の位置に配置される。例えば、位置決め要素40に関
してガイドの低い方の末端部46の位置が予め決定され、そして内視鏡8がこの
ガイドに挿入される場合、この先端部18の位置が、既知の基準点になる。この
位置は、例えば、選択した位置で内視鏡の軸移動を阻止するストップをこのホル
ダー内に設けることによって、または内視鏡上にリングまたは他のストップ部材
を配置して、ホルダーガイド内の内視鏡の軸方向の移動を同様に阻止することに
よって、確立され得る。
【0024】
従って、機器上の先端部または他の基準点が位置決め要素40に関して固定さ
れるように、この機器がガイド内にぴったりとフィットすることが、較正手順お
よび補正手順に重要である。好ましくは、この機器の先端部は、ガイド内で中心
に配置される。従って、チャネルは、特定の機器または機器のタイプを収容する
ために、専用の直径を有し得る。あるいは、チャネルホルダーは、手動で(例え
ば、ネジ、チャックまたは等価なデバイスを用いて)または自動で(例えば、モ
ーター−ギアアセンブリを用いて)調節され得る可変直径を有し得る。
れるように、この機器がガイド内にぴったりとフィットすることが、較正手順お
よび補正手順に重要である。好ましくは、この機器の先端部は、ガイド内で中心
に配置される。従って、チャネルは、特定の機器または機器のタイプを収容する
ために、専用の直径を有し得る。あるいは、チャネルホルダーは、手動で(例え
ば、ネジ、チャックまたは等価なデバイスを用いて)または自動で(例えば、モ
ーター−ギアアセンブリを用いて)調節され得る可変直径を有し得る。
【0025】
例示される実施形態のうちの1つにおいて、このチャネルは、較正を必要とす
る多くの異なるタイプの医療機器を収容するのに十分大きな固定された直径を有
し得る。この場合では、小さい方の直径の機器は、内視鏡シャフトにわたってシ
ースなどを用いることにより、大きい方の直径のチャネルホルダーを使用して較
正され得る。このようなシースは、ホルダーチャネルの直径よりわずかに小さい
外径、および内視鏡シャフトの直径よりわずかに大きい内径を有する。
る多くの異なるタイプの医療機器を収容するのに十分大きな固定された直径を有
し得る。この場合では、小さい方の直径の機器は、内視鏡シャフトにわたってシ
ースなどを用いることにより、大きい方の直径のチャネルホルダーを使用して較
正され得る。このようなシースは、ホルダーチャネルの直径よりわずかに小さい
外径、および内視鏡シャフトの直径よりわずかに大きい内径を有する。
【0026】
較正の前に、内視鏡−シースアセンブリは、矢印48の方向でガイド42に挿
入され、そして角度θ2でガイド内でぴったりと保持され、この角度θ2は、位
置決め要素40に関して予め規定されている。迎え角θ2は、図1Cに示され、
この角度で、内視鏡8は座標系内に矢印50により表される。
入され、そして角度θ2でガイド内でぴったりと保持され、この角度θ2は、位
置決め要素40に関して予め規定されている。迎え角θ2は、図1Cに示され、
この角度で、内視鏡8は座標系内に矢印50により表される。
【0027】
較正手順は、任意の従来の入力デバイス54(例えば、フットペダル、ボイス
コマンド、マウス、スタイラス、またはキーボード)によって実行され得るユー
ザーコマンドにより開始される。
コマンド、マウス、スタイラス、またはキーボード)によって実行され得るユー
ザーコマンドにより開始される。
【0028】
較正の間、この内視鏡は、ガイド42内に入れられたままであり、この時間の
間に、LED28および40は、内視鏡上の位置決め要素40および追跡デバイ
ス14の両方から見て、感知デバイス32の上に取り付けられた検出器30によ
り追跡される。次いで、これらのシグナルは、追跡コントローラに中継され、こ
の追跡コントローラは、図1および2に示されるように、感知デバイス32と連
絡しており、ここで、追跡デバイス14および位置決め要素14の相対的な位置
よび配向が決定される。より詳細には、追跡コントローラまたはCPUは、それ
ぞれ、追跡要素28および位置決め要素40の相対的な位置および配向を決定し
、そしてこれらの相対的な位置から、内視鏡8上の基準点に対する追跡要素28
の位置を決定する。例えば、この追跡システムまたはCPUは、先端部18の位
置に対する追跡デバイス14の位置および配向、ならびに内視鏡のシャフト16
の配向を決定する。これらの関係は、手術中に後の使用のために、メモリー56
に保存される。追跡デバイスおよび内視鏡に関する幾何学的データは、コンピュ
ーターメモリー56に保存され、そして引き続く手術手順の間全体にわたって不
変である。同じ追跡デバイス14が取り出され、そして別の医療機器に配置され
る場合、別の較正手順が実行される。
間に、LED28および40は、内視鏡上の位置決め要素40および追跡デバイ
ス14の両方から見て、感知デバイス32の上に取り付けられた検出器30によ
り追跡される。次いで、これらのシグナルは、追跡コントローラに中継され、こ
の追跡コントローラは、図1および2に示されるように、感知デバイス32と連
絡しており、ここで、追跡デバイス14および位置決め要素14の相対的な位置
よび配向が決定される。より詳細には、追跡コントローラまたはCPUは、それ
ぞれ、追跡要素28および位置決め要素40の相対的な位置および配向を決定し
、そしてこれらの相対的な位置から、内視鏡8上の基準点に対する追跡要素28
の位置を決定する。例えば、この追跡システムまたはCPUは、先端部18の位
置に対する追跡デバイス14の位置および配向、ならびに内視鏡のシャフト16
の配向を決定する。これらの関係は、手術中に後の使用のために、メモリー56
に保存される。追跡デバイスおよび内視鏡に関する幾何学的データは、コンピュ
ーターメモリー56に保存され、そして引き続く手術手順の間全体にわたって不
変である。同じ追跡デバイス14が取り出され、そして別の医療機器に配置され
る場合、別の較正手順が実行される。
【0029】
上記のように医療機器を較正することは、引き続く手術手順の間のこの機器の
より正確な追跡を可能にするだけでなく、内視鏡レンズ12のFOV角θ1を確
立するプロセスを改良して、手術手順の間の内視鏡画像と手術前または手術中の
スキャンデータから構築された3D斜視容積画像との正確な融合も可能にする。
これら2つのタイプの画像を融合する際、画像が一緒に登録され得るように、内
視鏡生成画像およびコンピューター生成画像の両方によって、同じFOV角を使
用することが重要である。
より正確な追跡を可能にするだけでなく、内視鏡レンズ12のFOV角θ1を確
立するプロセスを改良して、手術手順の間の内視鏡画像と手術前または手術中の
スキャンデータから構築された3D斜視容積画像との正確な融合も可能にする。
これら2つのタイプの画像を融合する際、画像が一緒に登録され得るように、内
視鏡生成画像およびコンピューター生成画像の両方によって、同じFOV角を使
用することが重要である。
【0030】
このために、ホルダー36は、内視鏡が、ホルダー38内に配置される場合、
三次元較正パターン、または内視鏡レンズ12により観察するための、ホルダー
内のステージ62上で支持された物体60(ここでは、正角錐)を含む。すなわ
ち、この物体またはパターンは、チャネルの基部に形成されるキャビティ内に配
置され、好ましくは、この物体またはパターンがチャネル44に挿入され、そし
てこのパターン(このパターンの位置および配向は、位置決め要素40に対して
正確に知られている)を目的とする場合に、挿入された内視鏡の中心軸10と整
列されるように、中心に配置される。1つの好ましい実施形態において、この物
体は、三次元形状の物体(例えば、正角錐)である。別の場合、この物体は、持
ち上がった物体の格子である。いずれの場合においても、物体の内視鏡画像は、
三次元の深さ特徴を有する。
三次元較正パターン、または内視鏡レンズ12により観察するための、ホルダー
内のステージ62上で支持された物体60(ここでは、正角錐)を含む。すなわ
ち、この物体またはパターンは、チャネルの基部に形成されるキャビティ内に配
置され、好ましくは、この物体またはパターンがチャネル44に挿入され、そし
てこのパターン(このパターンの位置および配向は、位置決め要素40に対して
正確に知られている)を目的とする場合に、挿入された内視鏡の中心軸10と整
列されるように、中心に配置される。1つの好ましい実施形態において、この物
体は、三次元形状の物体(例えば、正角錐)である。別の場合、この物体は、持
ち上がった物体の格子である。いずれの場合においても、物体の内視鏡画像は、
三次元の深さ特徴を有する。
【0031】
図2Aは、ホルダー内の選択した位置に配置された場合の物体が内視鏡により
見られる場合に、ステージ62上で支持される正角錐60の上面図である。レン
ズにより見られるような画像(「ビデオ画像」または「内視鏡画像」と呼ばれる
)は、図2Bの60aに示される。本発明を実施する際、図3A〜3Eを参照す
ると、このビデオ画像は、2スクリーンディスプレイデバイスの一方のスクリー
ンAに表示され、この2スクリーンディスプレイデバイスは、分割領域Aおよび
Bを有する一分割スクリーンまたは2つの別のディスプレイスクリーンAおよび
Bのいずれかである。同じ物体のモデル画像65aは、第2スクリーンまたはス
クリーン部分Bに表示され、そして物体に対して既知のレンズ位置および既知の
ビューベクトル(代表的には、内視鏡シャフトと整列される)において、既知の
視野を有するレンズにより見えるものと同じ物体のスクリーン画像である。以下
に例示および記載される方法において、使用者は、両方の画像の一方を操作して
、この画像を整列する。これらの操作は、以下の工程を包含する:(i)一方ま
たは両方の画像を平行移動する工程、すなわち、この画像を横方向(x)または
上下方向(y)に移動する工程;(ii)固定された軸のまわりで画像の一方ま
たは両方を回転させる工程;および(iii)例えば、x方向およびy方向のい
ずれかまたは両方で、この画像を拡大または縮小するために、一方または両方の
画像の縮尺を変える工程。次いで、両方の画像を整列させるためにこの両方の画
像に対して行われる調整の程度は、モデル画像とビデオ画像との間の位置、回転
および視野の変換についての適切な変換を決定し、従って、図4および5を参照
して記載されるように、追跡要素に対するレンズ位置および内視鏡回転位置、な
らびに内視鏡レンズの視野を決定するために使用される。
見られる場合に、ステージ62上で支持される正角錐60の上面図である。レン
ズにより見られるような画像(「ビデオ画像」または「内視鏡画像」と呼ばれる
)は、図2Bの60aに示される。本発明を実施する際、図3A〜3Eを参照す
ると、このビデオ画像は、2スクリーンディスプレイデバイスの一方のスクリー
ンAに表示され、この2スクリーンディスプレイデバイスは、分割領域Aおよび
Bを有する一分割スクリーンまたは2つの別のディスプレイスクリーンAおよび
Bのいずれかである。同じ物体のモデル画像65aは、第2スクリーンまたはス
クリーン部分Bに表示され、そして物体に対して既知のレンズ位置および既知の
ビューベクトル(代表的には、内視鏡シャフトと整列される)において、既知の
視野を有するレンズにより見えるものと同じ物体のスクリーン画像である。以下
に例示および記載される方法において、使用者は、両方の画像の一方を操作して
、この画像を整列する。これらの操作は、以下の工程を包含する:(i)一方ま
たは両方の画像を平行移動する工程、すなわち、この画像を横方向(x)または
上下方向(y)に移動する工程;(ii)固定された軸のまわりで画像の一方ま
たは両方を回転させる工程;および(iii)例えば、x方向およびy方向のい
ずれかまたは両方で、この画像を拡大または縮小するために、一方または両方の
画像の縮尺を変える工程。次いで、両方の画像を整列させるためにこの両方の画
像に対して行われる調整の程度は、モデル画像とビデオ画像との間の位置、回転
および視野の変換についての適切な変換を決定し、従って、図4および5を参照
して記載されるように、追跡要素に対するレンズ位置および内視鏡回転位置、な
らびに内視鏡レンズの視野を決定するために使用される。
【0032】
図3A〜3Eは、ビデオ画像60aとモデル画像65aとの整列のためにユー
ザによって用いられる、画像調節の型を示す。最初に、ビデオ画像(例えば、図
3Aに示される)が、x,y調節によって、図3Bに示されるように、スクリー
ンの中央に向けて移動される。次いで、この画像は拡大されて、このスクリーン
の大部分を満たす(図3Cにおいて拡大画像60a’によって示される)。図3
DのスクリーンBは、スクリーンの中央部で、所定の回転位置にあるモデル画像
65aを示す。ユーザは、図3Cにおける画像60a’の位置と類似の位置にこ
の画像を回転させ、次いでこの画像をおおよそ画像60aの大きさに拡大して、
図3Eに示す回転された拡大画像65a’を与える。これら2つの画像(これら
はここで、x,y位置、回転位置、および縮尺がおおよそ一致している)は、図
に示されるように重ねられて、ユーザが最終的な位置および縮尺の調節を行い、
これら2つの画像を整列させることを可能にする。
ザによって用いられる、画像調節の型を示す。最初に、ビデオ画像(例えば、図
3Aに示される)が、x,y調節によって、図3Bに示されるように、スクリー
ンの中央に向けて移動される。次いで、この画像は拡大されて、このスクリーン
の大部分を満たす(図3Cにおいて拡大画像60a’によって示される)。図3
DのスクリーンBは、スクリーンの中央部で、所定の回転位置にあるモデル画像
65aを示す。ユーザは、図3Cにおける画像60a’の位置と類似の位置にこ
の画像を回転させ、次いでこの画像をおおよそ画像60aの大きさに拡大して、
図3Eに示す回転された拡大画像65a’を与える。これら2つの画像(これら
はここで、x,y位置、回転位置、および縮尺がおおよそ一致している)は、図
に示されるように重ねられて、ユーザが最終的な位置および縮尺の調節を行い、
これら2つの画像を整列させることを可能にする。
【0033】
ここで記載した画像一致操作を、図4に流れ図の形態で示す。最初に、82に
あるように、スクリーン(図3Aおよび3B)においてx,y調節を制御するこ
とによって、ビデオ画像が中心合わせされ、次いで84にあるように、そして図
3Cに示されるように、ビデオの視野を最大にするように倍率変更される。次い
で、86にあるように、これら2つの画像の一方(この場合には、モデル画像)
が他方に一致するよう回転され、88にあるように、これら2つの画像におおよ
そ同じ大きさを与えるよう倍率変更され、そして90にあるように、これら2つ
の画像をスクリーンの中央に配置するよう並進される。これら2つの画像(これ
らはここで、スクリーン上での位置、大きさおよび配向がおおよそ同じである)
は、92にあるように、ここで重ねられて、これら2つの画像が正確に整列する
まで、さらなる微調節を可能にする。
あるように、スクリーン(図3Aおよび3B)においてx,y調節を制御するこ
とによって、ビデオ画像が中心合わせされ、次いで84にあるように、そして図
3Cに示されるように、ビデオの視野を最大にするように倍率変更される。次い
で、86にあるように、これら2つの画像の一方(この場合には、モデル画像)
が他方に一致するよう回転され、88にあるように、これら2つの画像におおよ
そ同じ大きさを与えるよう倍率変更され、そして90にあるように、これら2つ
の画像をスクリーンの中央に配置するよう並進される。これら2つの画像(これ
らはここで、スクリーン上での位置、大きさおよび配向がおおよそ同じである)
は、92にあるように、ここで重ねられて、これら2つの画像が正確に整列する
まで、さらなる微調節を可能にする。
【0034】
図5は、本発明の装置を用いる、較正方法を実施する際の工程を示す。好まし
くは、較正(FOV角度の決定を含む)は、内視鏡がホルダ36内に保持されて
いる間に、他の任意のこのような手術前器具調節手順と同時に実施される。
くは、較正(FOV角度の決定を含む)は、内視鏡がホルダ36内に保持されて
いる間に、他の任意のこのような手術前器具調節手順と同時に実施される。
【0035】
図5の66に示されるように、パターンおよび内視鏡が適切に位置した後に、
内視鏡上での追跡要素の位置およびホルダ上での配置要素の位置は、68にある
ように、感知デバイスによって記録され、そしてCPU(またはプロセッサ)に
格納される。同時に、内視鏡は、パターンの画像を捕獲し、この画像が、図1A
に概略的に示す適切なビデオケーブルを通してCPUに送信される。このビデオ
画像が処理され、そして上記のように、そして図5の72に示されるように、デ
ィスプレイスクリーン62に、コンピュータによって作製された、同じ物体また
はパターンのモデルと並べて、表示される。上記のように、このモデル画像は、
光学特性(例えば、焦点距離、FOV角度、およびパターンまたは物体までの距
離)が変化し得るカメラ画像をシミュレートする。コンピュータにより作成され
た透視モデルについてのデータが、コンピュータメモリ56から検索される。適
切なディスプレイデバイスの例は、図1Aに示すような、CRTモニタ64であ
る。
内視鏡上での追跡要素の位置およびホルダ上での配置要素の位置は、68にある
ように、感知デバイスによって記録され、そしてCPU(またはプロセッサ)に
格納される。同時に、内視鏡は、パターンの画像を捕獲し、この画像が、図1A
に概略的に示す適切なビデオケーブルを通してCPUに送信される。このビデオ
画像が処理され、そして上記のように、そして図5の72に示されるように、デ
ィスプレイスクリーン62に、コンピュータによって作製された、同じ物体また
はパターンのモデルと並べて、表示される。上記のように、このモデル画像は、
光学特性(例えば、焦点距離、FOV角度、およびパターンまたは物体までの距
離)が変化し得るカメラ画像をシミュレートする。コンピュータにより作成され
た透視モデルについてのデータが、コンピュータメモリ56から検索される。適
切なディスプレイデバイスの例は、図1Aに示すような、CRTモニタ64であ
る。
【0036】
これら2つの画像は、74にあるように、上に記載しそして図3および4に関
して説明される方法に従って、調節される。これらの調節から、78にあるよう
な、計算されたx,y座標およびFOV角度を有する内視鏡によって見える画像
を再構築するための、画像再構成システムによる使用のための、レンズのx,y
位置、視野、および必要に応じてレンズの歪みが、76にあるように、計算され
る。
して説明される方法に従って、調節される。これらの調節から、78にあるよう
な、計算されたx,y座標およびFOV角度を有する内視鏡によって見える画像
を再構築するための、画像再構成システムによる使用のための、レンズのx,y
位置、視野、および必要に応じてレンズの歪みが、76にあるように、計算され
る。
【0037】
感知デバイスによって記録される、追跡要素および配置要素の位置は、80に
あるように、内視鏡レンズのz位置(内視鏡の軸に沿った位置)を決定するため
に使用される。ビデオ画像をモデル画像と整列させるために必要とされる回転の
量から、追跡要素に対する内視鏡の回転位置もまた、決定される。視線ベクトル
もまた、内視鏡のシャフトと整列していない場合には、追跡要素に対して決定さ
れ得る。
あるように、内視鏡レンズのz位置(内視鏡の軸に沿った位置)を決定するため
に使用される。ビデオ画像をモデル画像と整列させるために必要とされる回転の
量から、追跡要素に対する内視鏡の回転位置もまた、決定される。視線ベクトル
もまた、内視鏡のシャフトと整列していない場合には、追跡要素に対して決定さ
れ得る。
【0038】
上記組み合わせた較正を用いて、このシステムはここで、内視鏡追跡要素に対
する内視鏡レンズの座標、回転位置および視線ベクトル、ならびに内視鏡レンズ
の視野を知っている。従って、空間中の任意の所定の位置に配置された内視鏡、
および追跡要素の座標の知見を用いて、このシステムは、視覚的画像(例えば、
内視鏡によって見られた場合の表面下画像)を、既知の較正されたレンズの座標
、回転位置、視線ベクトル、および内視鏡の視野に基づいて、再構築し得る。
する内視鏡レンズの座標、回転位置および視線ベクトル、ならびに内視鏡レンズ
の視野を知っている。従って、空間中の任意の所定の位置に配置された内視鏡、
および追跡要素の座標の知見を用いて、このシステムは、視覚的画像(例えば、
内視鏡によって見られた場合の表面下画像)を、既知の較正されたレンズの座標
、回転位置、視線ベクトル、および内視鏡の視野に基づいて、再構築し得る。
【0039】
画像の一致は、手動で実施され得るか、または以下の「第二の装置および方法
」に関して記載されるように、自動化手順を包含し得る。上で議論したように、
画像の手動での一致は、シミュレートされたカメラのFOV角度を変化させて、
ビデオがモデル画像と同じ大きさを現すようにすることを包含する。自動一致は
、CPUによって、画像内に見られる格子の数の計算または計数、ならびに格子
の数およびパターンと内視鏡との間の距離に基づくFOVの決定を包含する。一
致の後に、3D透視画像のFOV角度が決定され、そしてメモリ56に格納され
、そして引き続いて表示される全ての適切な3D透視画像に適用される。
」に関して記載されるように、自動化手順を包含し得る。上で議論したように、
画像の手動での一致は、シミュレートされたカメラのFOV角度を変化させて、
ビデオがモデル画像と同じ大きさを現すようにすることを包含する。自動一致は
、CPUによって、画像内に見られる格子の数の計算または計数、ならびに格子
の数およびパターンと内視鏡との間の距離に基づくFOVの決定を包含する。一
致の後に、3D透視画像のFOV角度が決定され、そしてメモリ56に格納され
、そして引き続いて表示される全ての適切な3D透視画像に適用される。
【0040】
本発明の別の局面において、CPUはさらに、表示される内視鏡画像が真の透
視画像であるように、2つの画像の大きさおよび配向を一致させるユーザによっ
て、内視鏡レンズの歪み効果について補正するために操作可能である。例えば、
全ての実際のレンズから生成される画像は、このレンズの湾曲した表面に起因し
て、球状に歪むことが公知である。
視画像であるように、2つの画像の大きさおよび配向を一致させるユーザによっ
て、内視鏡レンズの歪み効果について補正するために操作可能である。例えば、
全ての実際のレンズから生成される画像は、このレンズの湾曲した表面に起因し
て、球状に歪むことが公知である。
【0041】
例えば、内視鏡レンズ12によって得られた画像60は、魚眼歪みまたは糸巻
き型歪みのような様式で、歪んで見え得る。本発明によって、この歪み効果を補
償するために、3D透視画像が、内視鏡8によって得られた歪んだ画像60に一
致するように改変されてモーフィングされ得る。
き型歪みのような様式で、歪んで見え得る。本発明によって、この歪み効果を補
償するために、3D透視画像が、内視鏡8によって得られた歪んだ画像60に一
致するように改変されてモーフィングされ得る。
【0042】
記載される実施形態において、3D透視画像は、内視鏡によって生成されたビ
デオ画像に一致するように、調節される。しかし、代替の実施形態において、内
視鏡によって生成された画像6o自体が、当業者に公知の画像処理手段によって
、調節され得る。内視鏡によって得られた画像は、球形の歪み(例えば、ガウス
座標系(平面画像)において見られるように見える)を最小化または排除するよ
うに、調節され得、その後、3D透視画像と一致され得る。
デオ画像に一致するように、調節される。しかし、代替の実施形態において、内
視鏡によって生成された画像6o自体が、当業者に公知の画像処理手段によって
、調節され得る。内視鏡によって得られた画像は、球形の歪み(例えば、ガウス
座標系(平面画像)において見られるように見える)を最小化または排除するよ
うに、調節され得、その後、3D透視画像と一致され得る。
【0043】
レンズの歪みの補正は、画像60内の格子点の各々の座標を決定および記録す
ること、ならびに更新された歪みモデルに対する費用関数を反復して最小化する
ことによって、実施され得る。費用関数は、記録された座標と、作業中の歪みモ
デルに対して予測された座標との間の誤差の、根平均自乗(RMS)値であり得
る。歪みモデルは、半径方向歪み、非点収差歪み、角の歪みなどを含み得る。
ること、ならびに更新された歪みモデルに対する費用関数を反復して最小化する
ことによって、実施され得る。費用関数は、記録された座標と、作業中の歪みモ
デルに対して予測された座標との間の誤差の、根平均自乗(RMS)値であり得
る。歪みモデルは、半径方向歪み、非点収差歪み、角の歪みなどを含み得る。
【0044】
本明細書中に記載される較正手順の間になされる補償は、メモリ56内に残り
、そして引き続いて表示される全ての適切な3D透視画像または内視鏡画像に適
用される。
、そして引き続いて表示される全ての適切な3D透視画像または内視鏡画像に適
用される。
【0045】
先に記載したように、本発明の種々の局面は、CPU34によって実行される
命令のプログラム(例えば、ソフトウェア)によって実行され得る。1つのこの
ような局面は、ユーザ入力データ、ならびに追跡要素28および位置要素40の
それぞれの相対位置および配向を決定するデータを処理すること、ならびにこれ
らの相対位置から、内視鏡上の参照点(すなわち、チップ18)に対する追跡要
素28の位置を決定することを含む。ソフトウェアに依存しないものであり得る
、本発明の別の局面は、FOV角度θ1の決定、ならびに歪みとオフセットとの
補償手順に関連して、画像を作成し、そして表現するための、データの処理であ
る。
命令のプログラム(例えば、ソフトウェア)によって実行され得る。1つのこの
ような局面は、ユーザ入力データ、ならびに追跡要素28および位置要素40の
それぞれの相対位置および配向を決定するデータを処理すること、ならびにこれ
らの相対位置から、内視鏡上の参照点(すなわち、チップ18)に対する追跡要
素28の位置を決定することを含む。ソフトウェアに依存しないものであり得る
、本発明の別の局面は、FOV角度θ1の決定、ならびに歪みとオフセットとの
補償手順に関連して、画像を作成し、そして表現するための、データの処理であ
る。
【0046】
このような作業のためのソフトウェアは、CPUによる実効のために、メモリ
56からフェッチされ得る。メモリ56は、CPUと通信しており、そしてラン
ダムアクセスメモリ(RAM)および/またはリードオンリーメモリ(ROM)
を含み得る。このソフトウェアは、メモリに運ばれ得るか、あるいは実施のため
のCPUに直接、CPU34と通信する適切なディスクドライブ、モデムなどを
介して、送信され得る。より広義には、ソフトウェアは、CPUによって読み取
り可能な任意の媒体によって運ばれ得る。このような媒体としては、例えば、デ
ィスクまたはテープのような種々の磁気媒体、コンパクトディスクのような種々
の光媒体、ならびにソフトウェアに送信するようコードされた搬送波を含む、ネ
ットワークまたはインターネットを介して送信される信号を含む、電磁スペクト
ルにわたる種々の通信経路が挙げられ得る。
56からフェッチされ得る。メモリ56は、CPUと通信しており、そしてラン
ダムアクセスメモリ(RAM)および/またはリードオンリーメモリ(ROM)
を含み得る。このソフトウェアは、メモリに運ばれ得るか、あるいは実施のため
のCPUに直接、CPU34と通信する適切なディスクドライブ、モデムなどを
介して、送信され得る。より広義には、ソフトウェアは、CPUによって読み取
り可能な任意の媒体によって運ばれ得る。このような媒体としては、例えば、デ
ィスクまたはテープのような種々の磁気媒体、コンパクトディスクのような種々
の光媒体、ならびにソフトウェアに送信するようコードされた搬送波を含む、ネ
ットワークまたはインターネットを介して送信される信号を含む、電磁スペクト
ルにわたる種々の通信経路が挙げられ得る。
【0047】
ソフトウェアの実行の代替として、本発明の上記局面は、別個のコンポーネン
ト、用途特定集積回路(ASIC)、デジタル信号処理回路などを使用する、機
能的に等価なハードウェアを用いて実行され得る。このようなハードウェアは、
CPUと物理的に統合され得るか、またはコンピュータの利用可能なカードスロ
ットに挿入され得るコンピュータカードに埋め込まれ得る、別個の要素であり得
る。
ト、用途特定集積回路(ASIC)、デジタル信号処理回路などを使用する、機
能的に等価なハードウェアを用いて実行され得る。このようなハードウェアは、
CPUと物理的に統合され得るか、またはコンピュータの利用可能なカードスロ
ットに挿入され得るコンピュータカードに埋め込まれ得る、別個の要素であり得
る。
【0048】
従って、本発明の上記局面は、ソフトウェア、ハードウェア、またはこれらの
組み合わせを使用して、実行され得る。説明および図面は、当業者に、システム
を実行して必要な処理を実施するために必要な機能的情報を提供する。
組み合わせを使用して、実行され得る。説明および図面は、当業者に、システム
を実行して必要な処理を実施するために必要な機能的情報を提供する。
【0049】
(B.第二の較正装置および方法)
図6は、本発明の別の一般的な実施形態に従って構成された、内視鏡82のレ
ンズの位置、配向、視野、および必要に応じてレンズの歪みを較正するための、
内視鏡較正装置を示す。上記のように、内視鏡82は、遠位端のレンズ86で終
結する細長シャフト84を備え、このレンズは、内視鏡シャフトの軸に沿って見
るために設置され得るか、または角度の付いた視線ベクトル(例えば、このシャ
フト軸に対して30°の角度である)を有し得る。本発明のこの実施形態の重要
な特徴によれば、そして以下に見られるように、この内視鏡は、視線ベクトルが
このシャフト軸と整列している場合には、ホルダに物理的に接続されることなく
較正され得る。
ンズの位置、配向、視野、および必要に応じてレンズの歪みを較正するための、
内視鏡較正装置を示す。上記のように、内視鏡82は、遠位端のレンズ86で終
結する細長シャフト84を備え、このレンズは、内視鏡シャフトの軸に沿って見
るために設置され得るか、または角度の付いた視線ベクトル(例えば、このシャ
フト軸に対して30°の角度である)を有し得る。本発明のこの実施形態の重要
な特徴によれば、そして以下に見られるように、この内視鏡は、視線ベクトルが
このシャフト軸と整列している場合には、ホルダに物理的に接続されることなく
較正され得る。
【0050】
内視鏡のハンドル88は、このスコープを好都合にガイドするために使用され
、そしてこの内視鏡が装置上に配置されるかまたはこの装置に対して選択された
位置でユーザによって保持される場合にユーザが起動させて較正操作を開始する
、制御ボタン(図示せず)を備える。このボタンは、示されるように、制御要素
を装置に接続する。最後に、この内視鏡は、上記のように、手術環境の座標系に
おける内視鏡の位置を追跡するための、4つの追跡要素(例えば、要素95)を
有する追跡アセンブリ90を備える。上記のように、少なくとも3つの非線形追
跡要素が必要とされる。
、そしてこの内視鏡が装置上に配置されるかまたはこの装置に対して選択された
位置でユーザによって保持される場合にユーザが起動させて較正操作を開始する
、制御ボタン(図示せず)を備える。このボタンは、示されるように、制御要素
を装置に接続する。最後に、この内視鏡は、上記のように、手術環境の座標系に
おける内視鏡の位置を追跡するための、4つの追跡要素(例えば、要素95)を
有する追跡アセンブリ90を備える。上記のように、少なくとも3つの非線形追
跡要素が必要とされる。
【0051】
装置80は、ここに記載した内視鏡追跡アセンブリに加えて、ホルダ94およ
び特徴パターン98を備え、このホルダ94は、クレイドル96(シャフトをホ
ルダに対して既知の配向に保持するために、このクレイドルの中に内視鏡のシャ
フトが配置され得る)を提供し、そしてこの特徴パターン98は、第一の実施形
態において使用した三次元物体と類似の、この方法において使用される較正パタ
ーンである。平坦かまたは湾曲した種々の表面パターンが、図7および8に関し
て以下に説明される。この点において、好ましくは、このパターンの任意の領域
がその領域のパターンによって独特に同定されることを可能にし、そして(ii
)このパターンが、パターン深さ情報を提供するように、内視鏡レンズによって
観察される、特徴(例えば、点または異なる大きさのパターン)のアレイをこの
パターンが有することのみが、注目される。以下に見られるように、このことは
、平坦なパターン(図7Aおよび7B)をある角度において観察すること、また
は湾曲した表面(例えば、半球シェル)上に形成されたパターン(図8Aおよび
8B)を観察することによって、達成され得る。
び特徴パターン98を備え、このホルダ94は、クレイドル96(シャフトをホ
ルダに対して既知の配向に保持するために、このクレイドルの中に内視鏡のシャ
フトが配置され得る)を提供し、そしてこの特徴パターン98は、第一の実施形
態において使用した三次元物体と類似の、この方法において使用される較正パタ
ーンである。平坦かまたは湾曲した種々の表面パターンが、図7および8に関し
て以下に説明される。この点において、好ましくは、このパターンの任意の領域
がその領域のパターンによって独特に同定されることを可能にし、そして(ii
)このパターンが、パターン深さ情報を提供するように、内視鏡レンズによって
観察される、特徴(例えば、点または異なる大きさのパターン)のアレイをこの
パターンが有することのみが、注目される。以下に見られるように、このことは
、平坦なパターン(図7Aおよび7B)をある角度において観察すること、また
は湾曲した表面(例えば、半球シェル)上に形成されたパターン(図8Aおよび
8B)を観察することによって、達成され得る。
【0052】
ホルダー94はまた、上記もされているように、外科環境の座標系においてホ
ルダーの位置を追跡するため、4つの位置決め要素(例えば、要素102)を有
する追跡アセンブリ100を設けられる。このホルダーおよび内視鏡の位置は、
本発明の第1の実施形態について記載されたように、内視鏡較正操作の間、2つ
の追跡アセンブリからのシグナルを受容するために、または2つの追跡アセンブ
リにシグナルを放射するために適切な固定位置に固定されている、検知デバイス
104によって、追跡される。この検知デバイスは、追跡コントローラー106
に作動可能に接続され、このコントローラーが次にCPU108およびメモリー
110を有するプロセッサー107に作動可能に接続され、ディスプレイデバイ
スまたはモニター114に接続され、そして入力デバイス112から選択された
ユーザー入力を受け取る。本発明の較正方法を実行するにおいて、プロセッサー
の操作上の特徴は、下記の操作方法から明白である。
ルダーの位置を追跡するため、4つの位置決め要素(例えば、要素102)を有
する追跡アセンブリ100を設けられる。このホルダーおよび内視鏡の位置は、
本発明の第1の実施形態について記載されたように、内視鏡較正操作の間、2つ
の追跡アセンブリからのシグナルを受容するために、または2つの追跡アセンブ
リにシグナルを放射するために適切な固定位置に固定されている、検知デバイス
104によって、追跡される。この検知デバイスは、追跡コントローラー106
に作動可能に接続され、このコントローラーが次にCPU108およびメモリー
110を有するプロセッサー107に作動可能に接続され、ディスプレイデバイ
スまたはモニター114に接続され、そして入力デバイス112から選択された
ユーザー入力を受け取る。本発明の較正方法を実行するにおいて、プロセッサー
の操作上の特徴は、下記の操作方法から明白である。
【0053】
図7Aは、本発明における使用に適切な、そして上記の型のホルダーにおいて
平坦表面上に支持されている平面特徴パターン120を示す。詳細には、このパ
ターンは、内視鏡シャフトがホルダークレイドル中に配置される場合、内視鏡の
視野ベクトルの軸から好ましくは少なくとも約30°の角度で平坦表面上に保持
される。従って、例えば、視野ベクトルが内視鏡ハンドルと整列されている場合
、ハンドルの軸は、このパターンの表面に対して垂直な線と少なくとも約30°
の角度をなす。このパターンは、比較的小さいドットまたはスポット122、お
よび比較的大きいドット124のアレイから構成され、2つのクラスのドットが
、異なるサイズ(示すように)、異なる色、または異なる形状によって特徴付け
られ得ることが認識される。
平坦表面上に支持されている平面特徴パターン120を示す。詳細には、このパ
ターンは、内視鏡シャフトがホルダークレイドル中に配置される場合、内視鏡の
視野ベクトルの軸から好ましくは少なくとも約30°の角度で平坦表面上に保持
される。従って、例えば、視野ベクトルが内視鏡ハンドルと整列されている場合
、ハンドルの軸は、このパターンの表面に対して垂直な線と少なくとも約30°
の角度をなす。このパターンは、比較的小さいドットまたはスポット122、お
よび比較的大きいドット124のアレイから構成され、2つのクラスのドットが
、異なるサイズ(示すように)、異なる色、または異なる形状によって特徴付け
られ得ることが認識される。
【0054】
図7Bは、例えば、内視鏡がホルダー内に揺籃され、そして視野ベクトルがこ
の内視鏡シャフトと整列される場合、内視鏡レンズを通してみられるように、そ
れぞれ大きいドットおよび小さいドット124a、122aの同じパターン12
0aを示す。理解され得るとおり、この小さいドットおよび大きいドットのパタ
ーンによって、みられている各々の特定の領域およびみられている各々のパター
ンスポットが、この平坦パターンにおける特定のドットで同定されることができ
るようになる。さらに、隣接するドットの間の間隔が、みられるように、パター
ン−深度およびレンズ歪曲の両方の情報を提供する。
の内視鏡シャフトと整列される場合、内視鏡レンズを通してみられるように、そ
れぞれ大きいドットおよび小さいドット124a、122aの同じパターン12
0aを示す。理解され得るとおり、この小さいドットおよび大きいドットのパタ
ーンによって、みられている各々の特定の領域およびみられている各々のパター
ンスポットが、この平坦パターンにおける特定のドットで同定されることができ
るようになる。さらに、隣接するドットの間の間隔が、みられるように、パター
ン−深度およびレンズ歪曲の両方の情報を提供する。
【0055】
図8Aは、ホルダー中の半球状シェル132の内部上に形成された特徴パター
ン130を示す。このパターンは、大きいドットおよび小さいドット(例えば、
ドット134、136)から構成され、このパターンの各領域において2つの異
なってサイズ決めされたドットの特有の整列を有する。図8Bの130aに示さ
れる内視鏡レンズを通じて見えるものと同じパターンが示される。理解され得る
ように、異なるサイズ決めされたドット(例えば、大きいドット136aおよび
さらに小さいスポット)の整列に基づいて、および画像において、このパターン
における各ドットとこの画像におけるドットスポットとの間の対応は、容易に決
定され得、従って、この画像におけるドットの間およびドットの中での距離の関
係は、内視鏡レンズを通してみられる場合、そしてまたレンズ歪曲によって影響
される場合、容易に定量され得る。
ン130を示す。このパターンは、大きいドットおよび小さいドット(例えば、
ドット134、136)から構成され、このパターンの各領域において2つの異
なってサイズ決めされたドットの特有の整列を有する。図8Bの130aに示さ
れる内視鏡レンズを通じて見えるものと同じパターンが示される。理解され得る
ように、異なるサイズ決めされたドット(例えば、大きいドット136aおよび
さらに小さいスポット)の整列に基づいて、および画像において、このパターン
における各ドットとこの画像におけるドットスポットとの間の対応は、容易に決
定され得、従って、この画像におけるドットの間およびドットの中での距離の関
係は、内視鏡レンズを通してみられる場合、そしてまたレンズ歪曲によって影響
される場合、容易に定量され得る。
【0056】
図9は、この装置においてユーザーおよびプロセッサによって実行される、本
発明の方法における工程のフローチャートである。最初に、ユーザーは、ホルダ
ー中の特徴のパターンの内視鏡視のために、150のように、このホルダーに関
して選択された位置に内視鏡を配置する。上記のように、この視野ベクトルが、
内視鏡シャフトと整列される場合、このホルダーのクレイドル中に内視鏡シャフ
トを配置する必要はなく、深度情報を提供する位置でこのホルダーパターンを見
るために内視鏡を配置する必要しかない。このホルダーが平坦パターンを提供す
る場合、この内視鏡は、パターン平面に対して垂直な線に対して少なくとも30
°の角度で配置されるべきである;湾曲した表面上に形成されたパターンについ
て、種々の視角度が選択され得る。内視鏡内に同時に生じない視野ベクトルを有
する内視鏡について、この内視鏡シャフトは、既知の内視鏡シャフト方向を提供
するように、このホルダークレイドルに配置されなければならない。
発明の方法における工程のフローチャートである。最初に、ユーザーは、ホルダ
ー中の特徴のパターンの内視鏡視のために、150のように、このホルダーに関
して選択された位置に内視鏡を配置する。上記のように、この視野ベクトルが、
内視鏡シャフトと整列される場合、このホルダーのクレイドル中に内視鏡シャフ
トを配置する必要はなく、深度情報を提供する位置でこのホルダーパターンを見
るために内視鏡を配置する必要しかない。このホルダーが平坦パターンを提供す
る場合、この内視鏡は、パターン平面に対して垂直な線に対して少なくとも30
°の角度で配置されるべきである;湾曲した表面上に形成されたパターンについ
て、種々の視角度が選択され得る。内視鏡内に同時に生じない視野ベクトルを有
する内視鏡について、この内視鏡シャフトは、既知の内視鏡シャフト方向を提供
するように、このホルダークレイドルに配置されなければならない。
【0057】
次に、ユーザーは、152のように、装置にシグナルを伝達して、内視鏡トラ
ッカー(追跡装置)要素およびホルダー位置決め要素の位置を記録し、そして同
時に、154のように、記録された位置で内視鏡画像を記録する。図7Aおよび
8Bに示されるような生成されたビデオ画像は、156のように、このプロセッ
サによって自動的に強化され、次いでこのプロセッサは、158のように、画像
内の各ドットのサイズ(特徴検出)およびx、y座標を記録する。このシグナル
伝達はまた、内視鏡およびホルダーが、いくつかの所定の期間で固定された較正
位置で保持される場合に生じるように設計され得る。
ッカー(追跡装置)要素およびホルダー位置決め要素の位置を記録し、そして同
時に、154のように、記録された位置で内視鏡画像を記録する。図7Aおよび
8Bに示されるような生成されたビデオ画像は、156のように、このプロセッ
サによって自動的に強化され、次いでこのプロセッサは、158のように、画像
内の各ドットのサイズ(特徴検出)およびx、y座標を記録する。このシグナル
伝達はまた、内視鏡およびホルダーが、いくつかの所定の期間で固定された較正
位置で保持される場合に生じるように設計され得る。
【0058】
ビデオ画像は、160に示されるプロセッサカメラ較正アルゴリズムによって
処理され、以下:(i)内視鏡レンズのx、y、z座標、および内視鏡追跡要素
に関する内視鏡視野ベクトルの方向、ならびに(ii)内視鏡レンズにおける視
野、および必要に応じてレンズ歪曲、を決定する。用いられるアルゴリズムはい
わゆるカメラ較正アルゴリズム(例えば、Tsaiによって報告されたアルゴリ
ズム)である(Tsai)。このアルゴリズムへの入力パラメーターは、内視鏡
ビデオ画像における、1セットの既知のポイントの世界座標(x,y,z)およ
びその対応するu、v座標である。この特徴は、カメラ画像において同定され、
そして参照パターンに対してマッピングされる;この方法で、この特徴の実世界
座標が見出され得る。ポイントの収集が世界座標においてx、y、およびzを横
切って分布され、そして可能な限り大きいカメラ画像を満たす場合、最良の結果
が得られる。
処理され、以下:(i)内視鏡レンズのx、y、z座標、および内視鏡追跡要素
に関する内視鏡視野ベクトルの方向、ならびに(ii)内視鏡レンズにおける視
野、および必要に応じてレンズ歪曲、を決定する。用いられるアルゴリズムはい
わゆるカメラ較正アルゴリズム(例えば、Tsaiによって報告されたアルゴリ
ズム)である(Tsai)。このアルゴリズムへの入力パラメーターは、内視鏡
ビデオ画像における、1セットの既知のポイントの世界座標(x,y,z)およ
びその対応するu、v座標である。この特徴は、カメラ画像において同定され、
そして参照パターンに対してマッピングされる;この方法で、この特徴の実世界
座標が見出され得る。ポイントの収集が世界座標においてx、y、およびzを横
切って分布され、そして可能な限り大きいカメラ画像を満たす場合、最良の結果
が得られる。
【0059】
例えば、図7Aおよび7Bの平坦ドットパターンを有する装置において、この
ドットの世界座標は、この較正ユニットに剛性に接続された追跡ツールに対して
規定される。次いで、普遍的なトラッカー(追跡装置)を装備された内視鏡は、
このパターンの中心から選択された距離、例えば、15mmでそのレンズを有す
るホルダー中に配置される。z方向においてこのポイントの十分な分布を達成す
るために、望遠鏡レンズ視野方向は、パターン平面に垂直から30°の角度に制
約されている。
ドットの世界座標は、この較正ユニットに剛性に接続された追跡ツールに対して
規定される。次いで、普遍的なトラッカー(追跡装置)を装備された内視鏡は、
このパターンの中心から選択された距離、例えば、15mmでそのレンズを有す
るホルダー中に配置される。z方向においてこのポイントの十分な分布を達成す
るために、望遠鏡レンズ視野方向は、パターン平面に垂直から30°の角度に制
約されている。
【0060】
図9に示すように、このアルゴリズムは、最初に、160のように、カメラ座
標系における多数のカメラパラメーターを算出する。この装置の追跡特徴からの
位置情報を用いて、レンズ座標および視野方向が次いで、162のように、追跡
システムの座標系に配置される。さらなる特徴として、パターンに対する垂直方
向と視野ベクトルとの角度が算出され、そして30°未満の場合、(平坦パター
ンに関して)ユーザーは、第二記録の選択を有し、さらに正確かつ信頼性のある
較正を達成し得る。このシステムからの較正情報は、次いで、画像ガイド内視鏡
手順における使用のための画像システムに供給され、これによって内視鏡の位置
およびFOVからの3次元画像の再構成が可能になる。
標系における多数のカメラパラメーターを算出する。この装置の追跡特徴からの
位置情報を用いて、レンズ座標および視野方向が次いで、162のように、追跡
システムの座標系に配置される。さらなる特徴として、パターンに対する垂直方
向と視野ベクトルとの角度が算出され、そして30°未満の場合、(平坦パター
ンに関して)ユーザーは、第二記録の選択を有し、さらに正確かつ信頼性のある
較正を達成し得る。このシステムからの較正情報は、次いで、画像ガイド内視鏡
手順における使用のための画像システムに供給され、これによって内視鏡の位置
およびFOVからの3次元画像の再構成が可能になる。
【0061】
このアルゴリズムによって決定されるパラメーターのうち1つは、立体ラジア
ル(cubic radial)レンズ歪曲モデルの係数である、レンズ弯曲パ
ラメーターκ1である。3次元(3D)透視レンダリングエンジンへのこの非曲
線モデルの取り込みは、能力の低下を生じ;このレンズ歪曲補正が省かれる場合
、バーチャル(仮想)内視鏡の有効FOVに関して選択がなされるべきである。
このFOVが、物理的な内視鏡のFOVに適合するように設定される場合、この
結果は、仮想画像の中央部分がビデオ画像の中央部分よりも小さいことである。
この効果は、所望されない。なぜなら、これは、外科医にとって目的の主な領域
であるからである。ここで、「一定半径線形補正(constant−radi
us linear compensation)」と名付けられた別の方法は
、各画像における目的の領域の半径が等しくなるように、バーチャル(仮想)F
OVの倍率を変更することである。
ル(cubic radial)レンズ歪曲モデルの係数である、レンズ弯曲パ
ラメーターκ1である。3次元(3D)透視レンダリングエンジンへのこの非曲
線モデルの取り込みは、能力の低下を生じ;このレンズ歪曲補正が省かれる場合
、バーチャル(仮想)内視鏡の有効FOVに関して選択がなされるべきである。
このFOVが、物理的な内視鏡のFOVに適合するように設定される場合、この
結果は、仮想画像の中央部分がビデオ画像の中央部分よりも小さいことである。
この効果は、所望されない。なぜなら、これは、外科医にとって目的の主な領域
であるからである。ここで、「一定半径線形補正(constant−radi
us linear compensation)」と名付けられた別の方法は
、各画像における目的の領域の半径が等しくなるように、バーチャル(仮想)F
OVの倍率を変更することである。
【0062】
図10は、線形補正方法における工程を示すフローチャートである。第一工程
として、ユーザーは、170のように、画像の中心に最も近いP1ポイントを見
出す。次いで172のように、内視鏡画像にとって主な目的の画像領域を示す画
像野内の円、およびこの円の端に最も近い第二のP2ポイントを選択する。例え
ば、P1からの距離が画像の総半径の約半分である、ポイントP2を位置決めし
得る。174のように、物理的なP1ポイントおよびP2ポイントの2つのポイ
ントの正確な座標を用いて、較正アルゴリズムを用いて、このカメラの物理的位
置を算出し、これから176のように、カメラと2つの選択された物理的ポイン
トとの間の角度を算出する。次いで、内視鏡の視野は、178のように、完全画
像半径/R×2(算出した角度)の比として算出される。
として、ユーザーは、170のように、画像の中心に最も近いP1ポイントを見
出す。次いで172のように、内視鏡画像にとって主な目的の画像領域を示す画
像野内の円、およびこの円の端に最も近い第二のP2ポイントを選択する。例え
ば、P1からの距離が画像の総半径の約半分である、ポイントP2を位置決めし
得る。174のように、物理的なP1ポイントおよびP2ポイントの2つのポイ
ントの正確な座標を用いて、較正アルゴリズムを用いて、このカメラの物理的位
置を算出し、これから176のように、カメラと2つの選択された物理的ポイン
トとの間の角度を算出する。次いで、内視鏡の視野は、178のように、完全画
像半径/R×2(算出した角度)の比として算出される。
【0063】
例えば、最初に算出されたFOVが60°と仮定すると、全画像の半径は10
インチであり、縮小された画像の半径は5インチであり、そしてP1ポイントと
P2ポイントとの間のFOVは12°である。従って、較正されたまたは補正さ
れたFOVは、10/5×24°、すなわち48°である。実際の60°のFO
Vではなく、48°のFOVを有する内視鏡によって示されるように、画像を再
構築することによって、この再構築された実際の画像は、この画像の中央領域に
密接に一致し得る。
インチであり、縮小された画像の半径は5インチであり、そしてP1ポイントと
P2ポイントとの間のFOVは12°である。従って、較正されたまたは補正さ
れたFOVは、10/5×24°、すなわち48°である。実際の60°のFO
Vではなく、48°のFOVを有する内視鏡によって示されるように、画像を再
構築することによって、この再構築された実際の画像は、この画像の中央領域に
密接に一致し得る。
【0064】
本発明の種々の目的および特徴を満たす方法は、前述から理解され得る。両方
の実施形態において、内視鏡は、容易に較正され、その結果以下:(i)追跡要
素によって決定される場合、その位置は空間であり、このレンズの3次元座標、
視野角度および内視鏡のねじれ、ならびにレンズのFOVと正確に相関され得る
。このことは、記載されたタイプの3次元画像再構築システムを用いて、医師が
、再構築した表面の表面下画像を見ることを可能にする。なぜならこれらは、体
の外側または体のオリフィスの内側のいずれかで、所望の視野位置に配置され方
向付けされた内視鏡を用いて、内視鏡によってみられるからである。別の内視鏡
およびバーチャル画像を、重ね合わせてまたは横に並べてみることができる。こ
のことによって、ユーザーは、内視鏡のレンズが曇っているか邪魔されている場
合、バーチャルな表面画像を用いて、内視鏡画像を増強するか、または内視鏡画
像と置き換えること、ならびに表面下視野を用いて実際の内視鏡視野を「見通す
(see beyond)」することが可能になる。例えば、透視図がX線映像
を通して内視鏡によってみられるように。さらに、両方の実施形態によって、レ
ンズ歪曲補正に関して、特に視野の中心領域で、内視鏡映像およびバーチャル映
像により正確にフィットすることが可能になる。
の実施形態において、内視鏡は、容易に較正され、その結果以下:(i)追跡要
素によって決定される場合、その位置は空間であり、このレンズの3次元座標、
視野角度および内視鏡のねじれ、ならびにレンズのFOVと正確に相関され得る
。このことは、記載されたタイプの3次元画像再構築システムを用いて、医師が
、再構築した表面の表面下画像を見ることを可能にする。なぜならこれらは、体
の外側または体のオリフィスの内側のいずれかで、所望の視野位置に配置され方
向付けされた内視鏡を用いて、内視鏡によってみられるからである。別の内視鏡
およびバーチャル画像を、重ね合わせてまたは横に並べてみることができる。こ
のことによって、ユーザーは、内視鏡のレンズが曇っているか邪魔されている場
合、バーチャルな表面画像を用いて、内視鏡画像を増強するか、または内視鏡画
像と置き換えること、ならびに表面下視野を用いて実際の内視鏡視野を「見通す
(see beyond)」することが可能になる。例えば、透視図がX線映像
を通して内視鏡によってみられるように。さらに、両方の実施形態によって、レ
ンズ歪曲補正に関して、特に視野の中心領域で、内視鏡映像およびバーチャル映
像により正確にフィットすることが可能になる。
【0065】
さらに、第二の実施形態は、較正プロセスを促進およびスピードアップすると
いう、いくつかの特有の利点を提供する。この方法は、迅速であり、そして、6
つ全てのレンズの座標、視野ベクトル、FOV、およびレンズ歪曲効果を決定す
るために、例えば、画像適合について、ユーザーの入力をほとんど、または全く
必要としない。
いう、いくつかの特有の利点を提供する。この方法は、迅速であり、そして、6
つ全てのレンズの座標、視野ベクトル、FOV、およびレンズ歪曲効果を決定す
るために、例えば、画像適合について、ユーザーの入力をほとんど、または全く
必要としない。
【0066】
使用されるカメラ較正アルゴリズムは、内視鏡レンズの3つの(x,y,z)
座標の全て、および内視鏡の3つの回転座標の全てを見出し得るので、内視鏡は
、ホルダー、例えば、ホルダーの回転座標の2つを拘束するホルダー腔またはク
レイドル(内視鏡視野ベクトルがシャフト軸と整列される場合)中に配置されな
くてもよいし、またはz位置を拘束するホルダー中のスポットに突き当てて配置
されなくてもよい。従って、ユーザーは、単に片手で内視鏡を、もう一方の手で
ホルダーを保持でき、較正プロセスを開始するためには、この2つの所望の視野
関係に持ってくればよい。
座標の全て、および内視鏡の3つの回転座標の全てを見出し得るので、内視鏡は
、ホルダー、例えば、ホルダーの回転座標の2つを拘束するホルダー腔またはク
レイドル(内視鏡視野ベクトルがシャフト軸と整列される場合)中に配置されな
くてもよいし、またはz位置を拘束するホルダー中のスポットに突き当てて配置
されなくてもよい。従って、ユーザーは、単に片手で内視鏡を、もう一方の手で
ホルダーを保持でき、較正プロセスを開始するためには、この2つの所望の視野
関係に持ってくればよい。
【0067】
レンズ歪曲効果に関する補正は、特に画像の中心領域において、全視野および
減少した視野で、アルゴリズムからのFOV調節を用いることによって容易に達
成される。
減少した視野で、アルゴリズムからのFOV調節を用いることによって容易に達
成される。
【0068】
本発明を、種々の実施形態に関して記載してきたが、前述の記載に照らせば、
多くのさらなる代替、改変、およびバリエーションが可能であることが当業者に
明白である。本明細書において記載した本発明は、添付の特許請求の精神および
範囲内におさまる場合、このような代替、改変およびバリエーションの全てを包
含することが意図される。
多くのさらなる代替、改変、およびバリエーションが可能であることが当業者に
明白である。本明細書において記載した本発明は、添付の特許請求の精神および
範囲内におさまる場合、このような代替、改変およびバリエーションの全てを包
含することが意図される。
【図1A】
図1Aは、本発明の第1の一般的な実施形態に従って構築された内視鏡較正装
置を例示し、使用中における、この装置のホルダー内における内視鏡の配置の前
(1A)および後(1B)の内視鏡を示す。
置を例示し、使用中における、この装置のホルダー内における内視鏡の配置の前
(1A)および後(1B)の内視鏡を示す。
【図1B】
図1Bは、本発明の第1の一般的な実施形態に従って構築された内視鏡較正装
置を例示し、使用中における、この装置のホルダー内における内視鏡の配置の前
(1A)および後(1B)の内視鏡を示す。
置を例示し、使用中における、この装置のホルダー内における内視鏡の配置の前
(1A)および後(1B)の内視鏡を示す。
【図1C】
図1Cは、迎え角θ2を示し、この角度で、内視鏡8は、座標系内に矢印50
により表される。
により表される。
【図2】
図2Aおよび2Bは、ホルダー内に配置された場合、装置ホルダーにより提供
され、そして内視鏡により見られるような固体物体を例示する。
され、そして内視鏡により見られるような固体物体を例示する。
【図3】
図3A〜3Eは、本発明の方法に従う、モデル画像とビデオ画像の整合の間の
様々な例示的な画像を例示する。
様々な例示的な画像を例示する。
【図4】
図4は、図3A〜3Eの画像整合工程のフローチャートである。
【図5】
図5は、第1の実施形態における、この装置により実施される較正操作のフロ
ーチャートである。
ーチャートである。
【図6】
図6は、本発明の別の一般的な実施形態に従って構築される内視鏡較正装置を
例示し、内視鏡シャフトのシャット(shat)がこの装置のホルダーに挟まれ
ている。
例示し、内視鏡シャフトのシャット(shat)がこの装置のホルダーに挟まれ
ている。
【図7】
図7Aおよび7Bは、この装置ホルダーにより提供される平面ドットパターン
(7A)および約30°より大きな角度でパターンを見るためにホルダー内に配
置される場合の、内視鏡により見える平面ドットパターン(7B)を例示する。
(7A)および約30°より大きな角度でパターンを見るためにホルダー内に配
置される場合の、内視鏡により見える平面ドットパターン(7B)を例示する。
【図8】
図8Aおよび8Bは、別の実施形態における、装置ホルダーにより提供される
半球状ドットパターン(8A)、およびホルダー内に配置される場合の内視鏡に
より見える半球状ドットパターン(8B)を例示する。
半球状ドットパターン(8A)、およびホルダー内に配置される場合の内視鏡に
より見える半球状ドットパターン(8B)を例示する。
【図9】
図9は、第2の実施形態における、この装置により実施される較正操作のフロ
ーチャートである。
ーチャートである。
【図10】
図10は、レンズ歪みの補正が所望されない場合の、FOVを調整するための
較正操作におけるさらなる工程のフローチャートである。
較正操作におけるさらなる工程のフローチャートである。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,CY,
DE,DK,ES,FI,FR,GB,GR,IE,I
T,LU,MC,NL,PT,SE,TR),OA(BF
,BJ,CF,CG,CI,CM,GA,GN,GW,
ML,MR,NE,SN,TD,TG),AP(GH,G
M,KE,LS,MW,MZ,SD,SL,SZ,TZ
,UG,ZW),EA(AM,AZ,BY,KG,KZ,
MD,RU,TJ,TM),AE,AG,AL,AM,
AT,AU,AZ,BA,BB,BG,BR,BY,B
Z,CA,CH,CN,CO,CR,CU,CZ,DE
,DK,DM,DZ,EE,ES,FI,GB,GD,
GE,GH,GM,HR,HU,ID,IL,IN,I
S,JP,KE,KG,KP,KR,KZ,LC,LK
,LR,LS,LT,LU,LV,MA,MD,MG,
MK,MN,MW,MX,MZ,NO,NZ,PL,P
T,RO,RU,SD,SE,SG,SI,SK,SL
,TJ,TM,TR,TT,TZ,UA,UG,UZ,
VN,YU,ZA,ZW
(72)発明者 カデム, ラズール
アメリカ合衆国 カリフォルニア 94303,
パロ アルト, ウエスト ベイショア
2456, アパートメント ナンバー6
Fターム(参考) 2H040 BA00 EA00
4C061 GG11
5B047 AA07 AA17 AB02 BC14 BC20
BC23 CB23 DC09
5B057 AA07 BA02 BA17 CD02 CD03
CD05 DA07 DA20 DB02 DC03
DC08
【要約の続き】
Claims (15)
- 【請求項1】 細長いシャフトおよび遠位端レンズを有する内視鏡のレンズ
位置および視野を較正する際に使用するための装置であって、以下: 複数の追跡要素であって、該追跡要素が、該内視鏡のシャフト上の固定位置に
取り付けられている、複数の追跡要素; ガイドを有するホルダーであって、該ホルダーにおいて、該ホルダー内の標的
範囲に含まれる3次元の物体またはパターンを見るために、該内視鏡が、該ホル
ダー内の該内視鏡シャフトを整列させ、そして該内視鏡レンズを、配置するよう
に受け入れられ得る、ガイドを有する、ホルダー; 位置決め要素であって、該位置決め要素は、該ガイドおよび該3次元物体また
はパターンに対して、既知の位置で該ホルダー上に取り付けられる、位置決め要
素; 該追跡要素および該位置決め要素を感知するための、感知デバイス; ディスプレイデバイス;および プロセッサであって、該プロセッサは、以下の操作: (i)該ホルダーガイドに受け入れられた該内視鏡シャフトを用いて、該追
跡要素および該位置決め要素の位置を決定すること; (ii)該追跡要素および該位置決め要素の該決定された位置を使用して、
共通の参照フレームに該内視鏡および該ホルダーを配置すること; (iii)該ディスプレイデバイス上に、該ホルダーガイド内に収容された
該内視鏡シャフトを有する該内視鏡によって見られる場合の該3次元ホルダー物
体またはパターンのビデオ画像を投影すること; (iv)既知のレンズ位置および視野から見られる場合該3次元物体を表す
、該3次元物体またはパターンのモデル画像を該ディスプレイデバイスに投影す
ること;そして (v)該2つの画像の相対的なサイズ、位置および配向に関する情報を使用
して、該追跡要素に対する該内視鏡レンズの座標および該レンズの視野を計算す
ること、 を実行するために、該感知デバイスおよび該ディスプレイデバイスに操作可能に
接続された、プロセッサ、 を備える、装置。 - 【請求項2】 請求項1に記載の装置であって、前記2つの画像の相対サイ
ズ、位置および配向に関する情報を使用することが、一方または両方の画像を、
平行移動、回転、および/または拡大することによって、前記内視鏡の画像およ
びモデル画像を手動で整合すること、そしてこのような調節の方向および程度か
ら、前記追跡要素に対する該内視鏡レンズの座標および前記レンズの視野を決定
することを含む、装置。 - 【請求項3】 前記2つの画像の相対的サイズ、位置、および配向に関する
情報が、レンズ歪み効果を修正するために使用される、請求項1に記載の装置。 - 【請求項4】 前記ホルダーが、既知で選択された内視鏡位置で、ボア内の
前記内視鏡の軸方向の位置に保持するためのストップを備え、前記内視鏡の視野
が前記内視鏡シャフトと軸方向に整列している、請求項2に記載の装置。 - 【請求項5】 細長いシャフトおよび遠位端レンズを有する内視鏡のレンズ
位置および視野を較正する方法であって、以下: (a)ガイドを有するホルダーに、該内視鏡を配置する工程であって、該ホル
ダーの中において、該内視鏡は、該ホルダー内の標的領域に含まれる3次元物体
を見るために、該ホルダー内の該内視鏡シャフトを整列させ、そして該内視鏡レ
ンズを配置するように受け入れられ得、ここで、該内視鏡が、該内視鏡のシャフ
ト上の固定位置に取り付けられた複数の追跡要素を有し、そして該ホルダーが、
該ガイドおよび3次元物体に対する既知の位置で該ホルダーに取り付けられた位
置決め要素を有する、工程; (b)該内視鏡シャフトを該ホルダー内に受け入れた状態で、感知デバイスを
使用して、追跡要素および位置決め要素を感知する工程; (c)該感知デバイスおよびディスプレイデバイスに操作可能に接続されたプ
ロセッサによって:(i)該内視鏡シャフトを該ホルダー内に受け入れた状態で
、該感知デバイスによって提供された入力から、該追跡要素および該位置決め要
素の位置を決定する工程;(ii)該追跡要素および該位置決め要素の該決定さ
れた位置を使用して、共通の参照フレームに該内視鏡および該ホルダーを配置す
る工程;(iii)ディスプレイデバイス上に、該ホルダーガイド内に受け入れ
られた該内視鏡シャフトを有する該内視鏡によって見られる場合の該3次元ホル
ダー物体のビデオを投影する工程;(iv)既知のレンズ位置および視野から見
られる場合の該3次元物体を表す、該3次元物体のモデル画像を該ディスプレイ
デバイスに投影する工程;ならびに(v)該2つの画像の相対的なサイズ、位置
および配向に関する情報を使用して、該追跡要素に対する該内視鏡レンズの座標
、および該レンズの視野を計算する工程、 を包含する、方法。 - 【請求項6】 請求項5に記載の方法であって、前記ディスプレイデバイス
が、第一のスクリーン領域および第二のスクリーン領域に別個に、前記第一およ
び第二の画像を表示するための、分割スクリーンまたは2つのスクリーンを備え
、そして前記計算工程が、以下: (i)該画像の一方を、他方の画像の配向に近い回転位置に回転する工程; (ii)該画像の一方を、他方の画像のサイズに近いサイズにサイジングする
工程; (iii)該2つの画像を重ねる工程;および (iv)該2つの画像が重なるまで画像の配向およびサイズの最終的な調節を
行う工程、 による、使用者による該2つの画像の整列に基づく、方法。 - 【請求項7】 細長いシャフトおよび遠位端レンズを有する内視鏡のレンズ
位置および視野を較正する際に使用するための装置であって、以下: 複数の追跡要素であって、該追跡要素が、該内視鏡のシャフト上の固定位置に
取り付けられている、複数の追跡要素; パターン支持体であって、該ホルダーの標的領域に含まれる特徴パターンを有
する、パターン支持体; 位置決め要素であって、該位置決め要素は、該パターンに対して、既知の位置
で該パターン支持体上に取り付けられる、位置決め要素; 該追跡要素および該位置決め要素を感知するための、感知デバイス;および プロセッサであって、該プロセッサは、以下の操作: (i)3次元の該パターンの特徴を見るために選択された位置に配置された
該内視鏡を用いて、該追跡要素および該位置決め要素の位置を決定すること; (ii)該追跡要素および該位置決め要素の該決定された位置を使用して、
共通の参照フレームに該内視鏡および該ホルダーを配置すること; (iii)該選択された位置にある該内視鏡によって見られた場合の、該パ
ターンの特徴の画像座標を決定すること; (iv)カメラ較正アルゴリズムを使用して、該パターン特徴の画像座標お
よび該共通の参照フレーム内の該パターン特徴の既知の位置から、該追跡要素お
よび該レンズの視野に対する該内視鏡レンズの座標を計算すること、 を実行するために、該感知デバイスおよび該ディスプレイデバイスに操作可能に
接続された、プロセッサ、 を備える、装置。 - 【請求項8】 請求項7に記載の装置であって、前記ホルダーが、クレイド
ルを備え、該クレイドル内に、前記内視鏡が配置され得、該クレイドルが、該内
視鏡を、前記標的パターンに対して軸方向に整列された位置に保持する、装置。 - 【請求項9】 請求項7に記載の装置であって、前記ホルダーが、実質的に
平坦な特徴パターンを備え、該パターンが、該内視鏡シャフトとに対して少なく
とも約30°の角度で見られ、そして該シャフトが該ホルダー内に保持されてい
る、装置。 - 【請求項10】 請求項7に記載の装置であって、前記ホルダーが、湾曲し
た表面を有し、該表面上に、前記パターンが配置され、その結果、該パターンが
、前記内視鏡が該パターンを見ることができる任意の選択された位置で、パター
ンの深さ情報を提供する、装置。 - 【請求項11】 請求項9または10に記載の装置であって、前記パターン
が、区別可能な特徴を有する2つのクラスのドットから形成されるドットのアレ
イを含む、装置。 - 【請求項12】 細長いシャフトおよび遠位端レンズを有する内視鏡のレン
ズ位置および視野を較正する方法であって、以下: (a)3次元のパターン支持体の特徴パターンの特徴を見るために、該支持体
に対して選択された位置に該内視鏡を配置する工程であって、ここで、該内視鏡
が、該内視鏡のシャフト上の固定位置に取り付けられた複数の追跡要素を有し、
そしてホルダーが、該支持体の該特徴パターンに対する既知の位置において該ホ
ルダー上に取り付けられた位置決め要素を有する、工程; (b)感知デバイスを使用して、該選択された位置に配置される該内視鏡を用
いて、追跡要素および位置決め要素の位置を感知する工程; (c)該感知デバイスおよびディスプレイデバイスに操作可能に接続されたプ
ロセッサによって:(i)3次元の該パターンの特徴を見るために、選択された
位置に配置された該内視鏡を用いて、該追跡要素および該位置決め要素の位置を
決定する工程;(ii)該追跡要素および該位置決め要素の該決定された位置を
使用して、共通の参照フレームに該内視鏡および該ホルダーを配置する工程;(
iii)該選択された位置の該内視鏡によって見られる場合、該パターンの特徴
の画像座標を決定する工程;(iv)レンズ投影アルゴリズムを使用して、該パ
ターン特徴の画像座標および該共通の参照フレーム内の該パターン特徴の既知の
位置から、該追跡要素に対する該内視鏡レンズの座標および該レンズの視野を計
算する工程、 を包含する、方法。 - 【請求項13】 前記配置工程が、前記パターン支持体に対して選択された
位置で前記内視鏡を使用者が保持する工程、および前記感知デバイスが、前記追
跡要素および位置決め要素を感知するように、そしてプロセッサが、該内視鏡に
よって見られる画像を記録するように、同時に信号を伝えるコントロールを作動
させる工程を包含する、請求項12に記載の方法。 - 【請求項14】 前記配置工程が、前記支持体のクレイドルに前記内視鏡を
配置し、それにより前記特徴パターンに対して選択されたシャフト配向で該内視
鏡を配置する工程を包含する、請求項12に記載の方法。 - 【請求項15】 請求項12に記載の方法であって、前記内視鏡画像の中心
領域におけるレンズ歪み効果を最小にするために、該内視鏡画像の決定された視
野を調節する工程をさらに包含する、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US19320900P | 2000-03-30 | 2000-03-30 | |
US60/193,209 | 2000-03-30 | ||
PCT/US2001/010513 WO2001074267A1 (en) | 2000-03-30 | 2001-03-30 | Apparatus and method for calibrating an endoscope |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003528688A true JP2003528688A (ja) | 2003-09-30 |
Family
ID=22712663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001572014A Pending JP2003528688A (ja) | 2000-03-30 | 2001-03-30 | 内視鏡を較正するための装置および方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6511418B2 (ja) |
EP (1) | EP1267740A1 (ja) |
JP (1) | JP2003528688A (ja) |
AU (2) | AU2001247917A1 (ja) |
WO (2) | WO2001074266A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005108108A (ja) * | 2003-10-01 | 2005-04-21 | Canon Inc | 三次元cg操作装置および方法、並びに位置姿勢センサのキャリブレーション装置 |
JP2006218129A (ja) * | 2005-02-10 | 2006-08-24 | Olympus Corp | 手術支援システム |
JP2008104877A (ja) * | 2006-10-23 | 2008-05-08 | Pentax Corp | スコープナビゲーション装置、方法、およびコンピュータ可読な記憶媒体 |
JP2009204372A (ja) * | 2008-02-27 | 2009-09-10 | Hamamatsu Univ School Of Medicine | 長軸部を有する物体の長軸部の先端座標と該物体の位置姿勢を定義する手段との3次元相対関係測定方法およびシステム |
WO2009116535A1 (ja) | 2008-03-18 | 2009-09-24 | 国立大学法人浜松医科大学 | 手術支援システム |
JP2010046276A (ja) * | 2008-08-21 | 2010-03-04 | Fujifilm Corp | 内視鏡画像のズレ量測定装置及び方法、並びに電子内視鏡及び内視鏡用画像処理装置 |
JP2010515947A (ja) | 2007-01-10 | 2010-05-13 | ユニヴァーシティ オブ ワシントン | 走査ビーム装置の較正 |
WO2017170488A1 (ja) * | 2016-03-31 | 2017-10-05 | 国立大学法人浜松医科大学 | 光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラム、光軸位置測定装置 |
WO2022049806A1 (ja) * | 2020-09-02 | 2022-03-10 | 富士フイルム株式会社 | キャリブレーション装置及び方法 |
Families Citing this family (145)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1265547A1 (en) * | 2000-03-15 | 2002-12-18 | Orthosoft Inc. | Automatic calibration system for computer-aided surgical instruments |
US6610007B2 (en) * | 2000-04-03 | 2003-08-26 | Neoguide Systems, Inc. | Steerable segmented endoscope and method of insertion |
US8517923B2 (en) * | 2000-04-03 | 2013-08-27 | Intuitive Surgical Operations, Inc. | Apparatus and methods for facilitating treatment of tissue via improved delivery of energy based and non-energy based modalities |
US6984203B2 (en) * | 2000-04-03 | 2006-01-10 | Neoguide Systems, Inc. | Endoscope with adjacently positioned guiding apparatus |
US6858005B2 (en) | 2000-04-03 | 2005-02-22 | Neo Guide Systems, Inc. | Tendon-driven endoscope and methods of insertion |
US6468203B2 (en) | 2000-04-03 | 2002-10-22 | Neoguide Systems, Inc. | Steerable endoscope and improved method of insertion |
US8888688B2 (en) | 2000-04-03 | 2014-11-18 | Intuitive Surgical Operations, Inc. | Connector device for a controllable instrument |
CA2536163A1 (en) * | 2000-04-03 | 2005-03-03 | Neoguide Systems, Inc. | Activated polymer articulated instruments and methods of insertion |
EP1364183B1 (en) * | 2001-01-30 | 2013-11-06 | Mako Surgical Corp. | Tool calibrator and tracker system |
DE10105592A1 (de) * | 2001-02-06 | 2002-08-08 | Achim Goepferich | Platzhalter zur Arzneistofffreigabe in der Stirnhöhle |
US7262797B2 (en) * | 2001-02-22 | 2007-08-28 | Ge Inspection Technologies Lp | Method and system for storing calibration data within image files |
US20040238732A1 (en) * | 2001-10-19 | 2004-12-02 | Andrei State | Methods and systems for dynamic virtual convergence and head mountable display |
US20030152897A1 (en) * | 2001-12-20 | 2003-08-14 | Bernhard Geiger | Automatic navigation for virtual endoscopy |
CN1764416A (zh) | 2002-01-09 | 2006-04-26 | 新引导系统公司 | 用于内窥镜结肠切除术的设备和方法 |
JP3793100B2 (ja) * | 2002-02-14 | 2006-07-05 | キヤノン株式会社 | 情報処理方法、装置および記録媒体 |
US20040006259A1 (en) * | 2002-06-19 | 2004-01-08 | Christoph Pedain | Method and device for determining migration pathways of cells |
US6892090B2 (en) * | 2002-08-19 | 2005-05-10 | Surgical Navigation Technologies, Inc. | Method and apparatus for virtual endoscopy |
JP3635539B2 (ja) * | 2002-08-29 | 2005-04-06 | オリンパス株式会社 | キャリブレーションパターンユニット |
US8317816B2 (en) | 2002-09-30 | 2012-11-27 | Acclarent, Inc. | Balloon catheters and methods for treating paranasal sinuses |
EP1413258B1 (de) * | 2002-10-25 | 2005-03-23 | BrainLAB AG | Vorrichtung und Verfahren zum Kalibrieren eines Elements |
US8882657B2 (en) | 2003-03-07 | 2014-11-11 | Intuitive Surgical Operations, Inc. | Instrument having radio frequency identification systems and methods for use |
US20040176683A1 (en) * | 2003-03-07 | 2004-09-09 | Katherine Whitin | Method and apparatus for tracking insertion depth |
US20040199052A1 (en) | 2003-04-01 | 2004-10-07 | Scimed Life Systems, Inc. | Endoscopic imaging system |
US8403828B2 (en) * | 2003-07-21 | 2013-03-26 | Vanderbilt University | Ophthalmic orbital surgery apparatus and method and image-guide navigation system |
US7873400B2 (en) * | 2003-12-10 | 2011-01-18 | Stryker Leibinger Gmbh & Co. Kg. | Adapter for surgical navigation trackers |
US7771436B2 (en) | 2003-12-10 | 2010-08-10 | Stryker Leibinger Gmbh & Co. Kg. | Surgical navigation tracker, system and method |
US7848543B2 (en) * | 2004-02-05 | 2010-12-07 | Brainlab Ag | Method and system for prediction and management of material and information transport in an organism |
US20050197558A1 (en) * | 2004-03-04 | 2005-09-08 | Williams James P. | System and method for performing a virtual endoscopy in a branching structure |
US9351750B2 (en) | 2004-04-21 | 2016-05-31 | Acclarent, Inc. | Devices and methods for treating maxillary sinus disease |
US8764729B2 (en) | 2004-04-21 | 2014-07-01 | Acclarent, Inc. | Frontal sinus spacer |
US7654997B2 (en) | 2004-04-21 | 2010-02-02 | Acclarent, Inc. | Devices, systems and methods for diagnosing and treating sinusitus and other disorders of the ears, nose and/or throat |
US7361168B2 (en) | 2004-04-21 | 2008-04-22 | Acclarent, Inc. | Implantable device and methods for delivering drugs and other substances to treat sinusitis and other disorders |
US8747389B2 (en) | 2004-04-21 | 2014-06-10 | Acclarent, Inc. | Systems for treating disorders of the ear, nose and throat |
US20060004323A1 (en) | 2004-04-21 | 2006-01-05 | Exploramed Nc1, Inc. | Apparatus and methods for dilating and modifying ostia of paranasal sinuses and other intranasal or paranasal structures |
US10188413B1 (en) | 2004-04-21 | 2019-01-29 | Acclarent, Inc. | Deflectable guide catheters and related methods |
US9399121B2 (en) | 2004-04-21 | 2016-07-26 | Acclarent, Inc. | Systems and methods for transnasal dilation of passageways in the ear, nose or throat |
US7462175B2 (en) * | 2004-04-21 | 2008-12-09 | Acclarent, Inc. | Devices, systems and methods for treating disorders of the ear, nose and throat |
US8864787B2 (en) | 2004-04-21 | 2014-10-21 | Acclarent, Inc. | Ethmoidotomy system and implantable spacer devices having therapeutic substance delivery capability for treatment of paranasal sinusitis |
US20070167682A1 (en) | 2004-04-21 | 2007-07-19 | Acclarent, Inc. | Endoscopic methods and devices for transnasal procedures |
US8146400B2 (en) | 2004-04-21 | 2012-04-03 | Acclarent, Inc. | Endoscopic methods and devices for transnasal procedures |
US9089258B2 (en) * | 2004-04-21 | 2015-07-28 | Acclarent, Inc. | Endoscopic methods and devices for transnasal procedures |
US20070208252A1 (en) | 2004-04-21 | 2007-09-06 | Acclarent, Inc. | Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses |
US9101384B2 (en) | 2004-04-21 | 2015-08-11 | Acclarent, Inc. | Devices, systems and methods for diagnosing and treating sinusitis and other disorders of the ears, Nose and/or throat |
US7559925B2 (en) | 2006-09-15 | 2009-07-14 | Acclarent Inc. | Methods and devices for facilitating visualization in a surgical environment |
US20060063973A1 (en) * | 2004-04-21 | 2006-03-23 | Acclarent, Inc. | Methods and apparatus for treating disorders of the ear, nose and throat |
US8702626B1 (en) | 2004-04-21 | 2014-04-22 | Acclarent, Inc. | Guidewires for performing image guided procedures |
US7419497B2 (en) * | 2004-04-21 | 2008-09-02 | Acclarent, Inc. | Methods for treating ethmoid disease |
US9554691B2 (en) | 2004-04-21 | 2017-01-31 | Acclarent, Inc. | Endoscopic methods and devices for transnasal procedures |
US7803150B2 (en) | 2004-04-21 | 2010-09-28 | Acclarent, Inc. | Devices, systems and methods useable for treating sinusitis |
US8894614B2 (en) | 2004-04-21 | 2014-11-25 | Acclarent, Inc. | Devices, systems and methods useable for treating frontal sinusitis |
US20190314620A1 (en) | 2004-04-21 | 2019-10-17 | Acclarent, Inc. | Apparatus and methods for dilating and modifying ostia of paranasal sinuses and other intranasal or paranasal structures |
US7410480B2 (en) | 2004-04-21 | 2008-08-12 | Acclarent, Inc. | Devices and methods for delivering therapeutic substances for the treatment of sinusitis and other disorders |
US8932276B1 (en) | 2004-04-21 | 2015-01-13 | Acclarent, Inc. | Shapeable guide catheters and related methods |
US7303528B2 (en) * | 2004-05-18 | 2007-12-04 | Scimed Life Systems, Inc. | Serialization of single use endoscopes |
EP1681028B1 (de) * | 2005-01-12 | 2014-03-26 | Brainlab AG | Video-tracking und -Registrierung |
US7967742B2 (en) * | 2005-02-14 | 2011-06-28 | Karl Storz Imaging, Inc. | Method for using variable direction of view endoscopy in conjunction with image guided surgical systems |
US20080160489A1 (en) * | 2005-02-23 | 2008-07-03 | Koninklijke Philips Electronics, N.V. | Method For the Prediction of the Course of a Catheter |
DE102005012295B4 (de) * | 2005-03-17 | 2007-01-18 | Konen, Wolfgang, Dr. | Verfahren zur endoskopischen Navigation und zur Eichung von Endoskopsystemen sowie System |
US20060235457A1 (en) * | 2005-04-15 | 2006-10-19 | Amir Belson | Instruments having a rigidizable external working channel |
US8951225B2 (en) | 2005-06-10 | 2015-02-10 | Acclarent, Inc. | Catheters with non-removable guide members useable for treatment of sinusitis |
WO2007033379A2 (en) * | 2005-09-14 | 2007-03-22 | Neoguide Systems, Inc. | Methods and apparatus for performing transluminal and other procedures |
US8114113B2 (en) * | 2005-09-23 | 2012-02-14 | Acclarent, Inc. | Multi-conduit balloon catheter |
US20070161857A1 (en) | 2005-11-22 | 2007-07-12 | Neoguide Systems, Inc. | Method of determining the shape of a bendable instrument |
JP2009517608A (ja) * | 2005-11-23 | 2009-04-30 | ネオガイド システムズ, インコーポレイテッド | 操舵可能な装置用の非金属マルチストランド制御ケーブル |
US7547277B2 (en) * | 2005-12-15 | 2009-06-16 | Microvision, Inc. | Method and apparatus for calibrating an endoscope system |
US20070179518A1 (en) * | 2006-02-02 | 2007-08-02 | Becker Bruce B | Balloon Catheters and Methods for Treating Paranasal Sinuses |
US8190389B2 (en) | 2006-05-17 | 2012-05-29 | Acclarent, Inc. | Adapter for attaching electromagnetic image guidance components to a medical device |
US8568299B2 (en) | 2006-05-19 | 2013-10-29 | Intuitive Surgical Operations, Inc. | Methods and apparatus for displaying three-dimensional orientation of a steerable distal tip of an endoscope |
US20110057930A1 (en) * | 2006-07-26 | 2011-03-10 | Inneroptic Technology Inc. | System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy |
WO2008017051A2 (en) | 2006-08-02 | 2008-02-07 | Inneroptic Technology Inc. | System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities |
US7699477B2 (en) * | 2006-08-25 | 2010-04-20 | Olympus Corporation | Alignment method, alignment apparatus, and alignment screen for objective-lens guiding device |
US9820688B2 (en) | 2006-09-15 | 2017-11-21 | Acclarent, Inc. | Sinus illumination lightwire device |
US8052598B2 (en) * | 2006-10-12 | 2011-11-08 | General Electric Company | Systems and methods for calibrating an endoscope |
US8439687B1 (en) | 2006-12-29 | 2013-05-14 | Acclarent, Inc. | Apparatus and method for simulated insertion and positioning of guidewares and other interventional devices |
US8067726B2 (en) * | 2007-02-26 | 2011-11-29 | General Electric Company | Universal instrument calibration system and method of use |
US8118757B2 (en) | 2007-04-30 | 2012-02-21 | Acclarent, Inc. | Methods and devices for ostium measurement |
US20080281207A1 (en) * | 2007-05-08 | 2008-11-13 | University Of Washington | Image acquisition through filtering in multiple endoscope systems |
US8485199B2 (en) | 2007-05-08 | 2013-07-16 | Acclarent, Inc. | Methods and devices for protecting nasal turbinate during surgery |
US20080281159A1 (en) * | 2007-05-08 | 2008-11-13 | University Of Washington | Coordinating image acquisition among multiple endoscopes |
US9265577B2 (en) | 2007-05-18 | 2016-02-23 | The Johns Hopkins University | Methods and systems for providing planning and dispensation of research and/or treatment for brain disease |
US8212884B2 (en) | 2007-05-22 | 2012-07-03 | University Of Washington | Scanning beam device having different image acquisition modes |
US8437587B2 (en) * | 2007-07-25 | 2013-05-07 | University Of Washington | Actuating an optical fiber with a piezoelectric actuator and detecting voltages generated by the piezoelectric actuator |
US20090030409A1 (en) * | 2007-07-27 | 2009-01-29 | Eric Goldfarb | Methods and devices for facilitating visualization in a surgical environment |
US9220398B2 (en) | 2007-10-11 | 2015-12-29 | Intuitive Surgical Operations, Inc. | System for managing Bowden cables in articulating instruments |
US8411922B2 (en) * | 2007-11-30 | 2013-04-02 | University Of Washington | Reducing noise in images acquired with a scanning beam device |
US8485038B2 (en) * | 2007-12-18 | 2013-07-16 | General Electric Company | System and method for augmented reality inspection and data visualization |
US20090163930A1 (en) * | 2007-12-19 | 2009-06-25 | Ahmed Aoude | Calibration system of a computer-assisted surgery system |
US10206821B2 (en) | 2007-12-20 | 2019-02-19 | Acclarent, Inc. | Eustachian tube dilation balloon with ventilation path |
US20090177042A1 (en) * | 2008-01-09 | 2009-07-09 | University Of Washington | Color image acquisition with scanning laser beam devices |
WO2009094646A2 (en) * | 2008-01-24 | 2009-07-30 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for image guided ablation |
US10512392B2 (en) | 2008-02-06 | 2019-12-24 | Intuitive Surgical Operations, Inc. | Segmented instrument having braking capabilities |
JP2009195489A (ja) * | 2008-02-21 | 2009-09-03 | Olympus Medical Systems Corp | マニピュレータ操作システム |
US8182418B2 (en) * | 2008-02-25 | 2012-05-22 | Intuitive Surgical Operations, Inc. | Systems and methods for articulating an elongate body |
US8340379B2 (en) | 2008-03-07 | 2012-12-25 | Inneroptic Technology, Inc. | Systems and methods for displaying guidance data based on updated deformable imaging data |
US8182432B2 (en) | 2008-03-10 | 2012-05-22 | Acclarent, Inc. | Corewire design and construction for medical devices |
US20090312629A1 (en) * | 2008-06-13 | 2009-12-17 | Inneroptic Technology Inc. | Correction of relative tracking errors based on a fiducial |
KR101653180B1 (ko) | 2008-07-30 | 2016-09-01 | 아클라런트, 인코포레이션 | 부비 개구 탐지기 장치 및 방법 |
BRPI0919195A2 (pt) | 2008-09-18 | 2019-09-24 | Acclarent Inc | metodos e aparelhos para o tratamento de transtornos do ouvido, nariz e garganta |
CN102177121B (zh) * | 2008-10-10 | 2015-05-13 | 埃克森美孚化学专利公司 | 生产苯酚的方法 |
US8641621B2 (en) | 2009-02-17 | 2014-02-04 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures |
US11464578B2 (en) | 2009-02-17 | 2022-10-11 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures |
US8554307B2 (en) | 2010-04-12 | 2013-10-08 | Inneroptic Technology, Inc. | Image annotation in image-guided medical procedures |
US8690776B2 (en) * | 2009-02-17 | 2014-04-08 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image guided surgery |
US20100241155A1 (en) | 2009-03-20 | 2010-09-23 | Acclarent, Inc. | Guide system with suction |
US8435290B2 (en) | 2009-03-31 | 2013-05-07 | Acclarent, Inc. | System and method for treatment of non-ventilating middle ear by providing a gas pathway through the nasopharynx |
US8939894B2 (en) * | 2009-03-31 | 2015-01-27 | Intuitive Surgical Operations, Inc. | Three-dimensional target devices, assemblies and methods for calibrating an endoscopic camera |
US7978742B1 (en) | 2010-03-24 | 2011-07-12 | Corning Incorporated | Methods for operating diode lasers |
US20110043612A1 (en) * | 2009-07-31 | 2011-02-24 | Inneroptic Technology Inc. | Dual-tube stereoscope |
US8382657B1 (en) * | 2009-10-05 | 2013-02-26 | Integrated Medical Systems International, Inc | Endoscope testing device and method of using same |
US20110082351A1 (en) * | 2009-10-07 | 2011-04-07 | Inneroptic Technology, Inc. | Representing measurement information during a medical procedure |
US9282947B2 (en) | 2009-12-01 | 2016-03-15 | Inneroptic Technology, Inc. | Imager focusing based on intraoperative data |
DE102009058660A1 (de) * | 2009-12-16 | 2011-06-22 | Karl Storz GmbH & Co. KG, 78532 | Prüfvorrichtung für ein optisches Untersuchungssystem |
US20110160740A1 (en) * | 2009-12-28 | 2011-06-30 | Acclarent, Inc. | Tissue Removal in The Paranasal Sinus and Nasal Cavity |
EP2533679B1 (en) * | 2010-02-12 | 2017-01-11 | Koninklijke Philips N.V. | Laser enhanced reconstruction of 3d surface |
US9155492B2 (en) | 2010-09-24 | 2015-10-13 | Acclarent, Inc. | Sinus illumination lightwire device |
DE102010042540B4 (de) * | 2010-10-15 | 2014-09-04 | Scopis Gmbh | Verfahren und Vorrichtung zum Kalibrieren einer Abstandsbestimmungsvorrichtung eines optischen Systems |
CN103313675B (zh) * | 2011-01-13 | 2017-02-15 | 皇家飞利浦电子股份有限公司 | 用于内窥镜手术的术中照相机校准 |
US20120242828A1 (en) * | 2011-03-24 | 2012-09-27 | Lmk Enterprises, Inc. | Method and apparatus for aligning a component with a target |
US8670816B2 (en) | 2012-01-30 | 2014-03-11 | Inneroptic Technology, Inc. | Multiple medical device guidance |
WO2014141207A2 (en) * | 2013-03-15 | 2014-09-18 | Baylis Medical Company Inc. | Electrosurgical mapping tools and methods |
US10729490B2 (en) | 2012-10-25 | 2020-08-04 | Medtronic Holding Company Sàrl | Electrosurgical mapping tools and methods |
US20140135744A1 (en) | 2012-11-09 | 2014-05-15 | Orthosensor Inc | Motion and orientation sensing module or device for positioning of implants |
US9351782B2 (en) * | 2012-11-09 | 2016-05-31 | Orthosensor Inc. | Medical device motion and orientation tracking system |
US10314559B2 (en) | 2013-03-14 | 2019-06-11 | Inneroptic Technology, Inc. | Medical device guidance |
US9629684B2 (en) | 2013-03-15 | 2017-04-25 | Acclarent, Inc. | Apparatus and method for treatment of ethmoid sinusitis |
US9433437B2 (en) | 2013-03-15 | 2016-09-06 | Acclarent, Inc. | Apparatus and method for treatment of ethmoid sinusitis |
KR101477900B1 (ko) * | 2013-03-27 | 2014-12-30 | (주) 넥스트칩 | 왜곡 영상 보정 장치 및 방법 |
US9901406B2 (en) | 2014-10-02 | 2018-02-27 | Inneroptic Technology, Inc. | Affected region display associated with a medical device |
US10188467B2 (en) | 2014-12-12 | 2019-01-29 | Inneroptic Technology, Inc. | Surgical guidance intersection display |
US10223589B2 (en) | 2015-03-03 | 2019-03-05 | Cognex Corporation | Vision system for training an assembly system through virtual assembly of objects |
US9949700B2 (en) | 2015-07-22 | 2018-04-24 | Inneroptic Technology, Inc. | Medical device approaches |
EP3397188B1 (en) | 2015-12-31 | 2020-09-09 | Stryker Corporation | System and methods for preparing surgery on a patient at a target site defined by a virtual object |
US9675319B1 (en) | 2016-02-17 | 2017-06-13 | Inneroptic Technology, Inc. | Loupe display |
US10292570B2 (en) * | 2016-03-14 | 2019-05-21 | Endochoice, Inc. | System and method for guiding and tracking a region of interest using an endoscope |
SE542045C2 (en) * | 2016-05-15 | 2020-02-18 | Ortoma Ab | Calibration object, system, and method calibrating location of instrument in a navigation system |
US10278778B2 (en) | 2016-10-27 | 2019-05-07 | Inneroptic Technology, Inc. | Medical device navigation using a virtual 3D space |
US11259879B2 (en) | 2017-08-01 | 2022-03-01 | Inneroptic Technology, Inc. | Selective transparency to assist medical device navigation |
US11484365B2 (en) | 2018-01-23 | 2022-11-01 | Inneroptic Technology, Inc. | Medical image guidance |
DE102018129150A1 (de) | 2018-11-20 | 2020-05-20 | Karl Storz Se & Co. Kg | Endoskopvorrichtung sowie Verfahren zum Betrieb einer Endoskopvorrichtung |
US11690680B2 (en) | 2019-03-19 | 2023-07-04 | Mako Surgical Corp. | Trackable protective packaging for tools and methods for calibrating tool installation using the same |
US11839434B2 (en) * | 2019-06-26 | 2023-12-12 | DePuy Synthes Products, Inc. | Instrument calibration |
US11070745B2 (en) | 2019-10-28 | 2021-07-20 | Karl Storz Imaging, Inc. | Automatic image orientation based on use |
US11039085B2 (en) | 2019-10-28 | 2021-06-15 | Karl Storz Imaging, Inc. | Video camera having video image orientation based on vector information |
JP7491711B2 (ja) * | 2020-03-26 | 2024-05-28 | 株式会社フジクラ | 内視鏡 |
CN111915722B (zh) * | 2020-08-04 | 2024-01-23 | 广州珠江天然气发电有限公司 | 一种用于燃气轮机内窥镜的移动控制方法及系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3078085B2 (ja) * | 1991-03-26 | 2000-08-21 | オリンパス光学工業株式会社 | 画像処理装置および画像処理方法 |
AT399647B (de) * | 1992-07-31 | 1995-06-26 | Truppe Michael | Anordnung zur darstellung des inneren von körpern |
US5517990A (en) * | 1992-11-30 | 1996-05-21 | The Cleveland Clinic Foundation | Stereotaxy wand and tool guide |
US5617857A (en) * | 1995-06-06 | 1997-04-08 | Image Guided Technologies, Inc. | Imaging system having interactive medical instruments and methods |
US5682886A (en) * | 1995-12-26 | 1997-11-04 | Musculographics Inc | Computer-assisted surgical system |
US5820547A (en) * | 1996-09-25 | 1998-10-13 | Karl Storz Gmbh & Co. | Endoscope optics tester |
US5921992A (en) * | 1997-04-11 | 1999-07-13 | Radionics, Inc. | Method and system for frameless tool calibration |
JPH11309A (ja) * | 1997-06-12 | 1999-01-06 | Hitachi Ltd | 画像処理装置 |
EP0929267B1 (en) * | 1997-07-03 | 2008-09-10 | Koninklijke Philips Electronics N.V. | Image-guided surgery system |
US6081336A (en) * | 1997-09-26 | 2000-06-27 | Picker International, Inc. | Microscope calibrator |
DE19842798C1 (de) * | 1998-09-18 | 2000-05-04 | Howmedica Leibinger Gmbh & Co | Kalibriervorrichtung |
US6388742B1 (en) * | 2000-05-03 | 2002-05-14 | Karl Storz Endovision | Method and apparatus for evaluating the performance characteristics of endoscopes |
US6850794B2 (en) * | 2000-09-23 | 2005-02-01 | The Trustees Of The Leland Stanford Junior University | Endoscopic targeting method and system |
-
2001
- 2001-03-30 JP JP2001572014A patent/JP2003528688A/ja active Pending
- 2001-03-30 US US09/822,545 patent/US6511418B2/en not_active Expired - Lifetime
- 2001-03-30 WO PCT/US2001/010264 patent/WO2001074266A1/en active Application Filing
- 2001-03-30 AU AU2001247917A patent/AU2001247917A1/en not_active Abandoned
- 2001-03-30 AU AU2001249647A patent/AU2001249647A1/en not_active Abandoned
- 2001-03-30 EP EP01920911A patent/EP1267740A1/en not_active Withdrawn
- 2001-03-30 WO PCT/US2001/010513 patent/WO2001074267A1/en not_active Application Discontinuation
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005108108A (ja) * | 2003-10-01 | 2005-04-21 | Canon Inc | 三次元cg操作装置および方法、並びに位置姿勢センサのキャリブレーション装置 |
US7538782B2 (en) | 2003-10-01 | 2009-05-26 | Canon Kabushiki Kaisha | Image processing apparatus and method, and calibration device for position and orientation sensor |
JP2006218129A (ja) * | 2005-02-10 | 2006-08-24 | Olympus Corp | 手術支援システム |
JP2008104877A (ja) * | 2006-10-23 | 2008-05-08 | Pentax Corp | スコープナビゲーション装置、方法、およびコンピュータ可読な記憶媒体 |
JP2010515947A (ja) | 2007-01-10 | 2010-05-13 | ユニヴァーシティ オブ ワシントン | 走査ビーム装置の較正 |
JP2013065020A (ja) * | 2007-01-10 | 2013-04-11 | Univ Of Washington | 走査ビーム装置の較正 |
JP2009204372A (ja) * | 2008-02-27 | 2009-09-10 | Hamamatsu Univ School Of Medicine | 長軸部を有する物体の長軸部の先端座標と該物体の位置姿勢を定義する手段との3次元相対関係測定方法およびシステム |
WO2009116535A1 (ja) | 2008-03-18 | 2009-09-24 | 国立大学法人浜松医科大学 | 手術支援システム |
US8849374B2 (en) | 2008-03-18 | 2014-09-30 | National University Corporation Hamamatsu University School Of Medicine | Surgery assistance system and optical axis position measurement device |
JP2010046276A (ja) * | 2008-08-21 | 2010-03-04 | Fujifilm Corp | 内視鏡画像のズレ量測定装置及び方法、並びに電子内視鏡及び内視鏡用画像処理装置 |
WO2017170488A1 (ja) * | 2016-03-31 | 2017-10-05 | 国立大学法人浜松医科大学 | 光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラム、光軸位置測定装置 |
WO2022049806A1 (ja) * | 2020-09-02 | 2022-03-10 | 富士フイルム株式会社 | キャリブレーション装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
AU2001247917A1 (en) | 2001-10-15 |
WO2001074267A1 (en) | 2001-10-11 |
US6511418B2 (en) | 2003-01-28 |
US20020010384A1 (en) | 2002-01-24 |
EP1267740A1 (en) | 2003-01-02 |
AU2001249647A1 (en) | 2001-10-15 |
WO2001074266A1 (en) | 2001-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6517478B2 (en) | Apparatus and method for calibrating an endoscope | |
US6511418B2 (en) | Apparatus and method for calibrating and endoscope | |
US11986256B2 (en) | Automatic registration method and device for surgical robot | |
US6850794B2 (en) | Endoscopic targeting method and system | |
CA2140786C (en) | Process for imaging the interior of bodies | |
US5230338A (en) | Interactive image-guided surgical system for displaying images corresponding to the placement of a surgical tool or the like | |
US7912532B2 (en) | Method and instrument for surgical navigation | |
JP2950340B2 (ja) | 三次元データ組の登録システムおよび登録方法 | |
JP4822634B2 (ja) | 対象物の案内のための座標変換を求める方法 | |
US6690960B2 (en) | Video-based surgical targeting system | |
US20070225553A1 (en) | Systems and Methods for Intraoperative Targeting | |
WO2007011306A2 (en) | A method of and apparatus for mapping a virtual model of an object to the object | |
WO1991007726A1 (en) | Probe-correlated viewing of anatomical image data | |
JP2001061861A (ja) | 画像撮影手段を備えたシステムおよび医用ワークステーション | |
JP2003527880A (ja) | 医療診断ならびに医療誘導インターベンションおよび治療のための装置および方法 | |
CN113507898A (zh) | 用于坐标系之间的配准和选定构件的导航的系统 | |
JP2011189117A (ja) | 処置システムの焦点に対するターゲットの位置の検出および可視化を行う方法および装置 | |
CN111670007A (zh) | 医学成像设备的拍摄系统的位置规划方法和医学成像设备 | |
JP7323489B2 (ja) | 誘導された生検針の軌道をロボットによりガイダンスするためのシステムと、関連する方法および装置 | |
CN115177340B (zh) | 一种基于三维坐标颅脑定位穿刺方法 | |
EP4169470B1 (en) | Apparatus and method for positioning a patient's body and tracking the patient's position during surgery | |
JP6392190B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム | |
Weber et al. | A mobile and navigated image viewer for surgery-evaluation of precision | |
Bax et al. | Image-enhanced endoscopy calibration and image registration accuracy testing | |
Watson | Development of an interactive image-guided neurosurgical system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20080317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110715 |