JP2010522573A - 光学的位置測定ならびに硬質または半可撓性のツールの標的への誘導のためのシステムおよび方法 - Google Patents
光学的位置測定ならびに硬質または半可撓性のツールの標的への誘導のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2010522573A JP2010522573A JP2009502331A JP2009502331A JP2010522573A JP 2010522573 A JP2010522573 A JP 2010522573A JP 2009502331 A JP2009502331 A JP 2009502331A JP 2009502331 A JP2009502331 A JP 2009502331A JP 2010522573 A JP2010522573 A JP 2010522573A
- Authority
- JP
- Japan
- Prior art keywords
- tool
- camera
- reference points
- distal end
- patch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 68
- 230000004807 localization Effects 0.000 title claims description 3
- 230000003287 optical effect Effects 0.000 title description 23
- 238000012545 processing Methods 0.000 claims abstract description 20
- 239000003550 marker Substances 0.000 claims description 33
- 230000035515 penetration Effects 0.000 claims description 26
- 238000002591 computed tomography Methods 0.000 claims description 22
- 238000012634 optical imaging Methods 0.000 claims description 19
- 238000005452 bending Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000003780 insertion Methods 0.000 claims description 10
- 230000037431 insertion Effects 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000013213 extrapolation Methods 0.000 claims description 5
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 5
- 238000011282 treatment Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000026676 system process Effects 0.000 abstract 1
- 238000002560 therapeutic procedure Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000002594 fluoroscopy Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 210000004379 membrane Anatomy 0.000 description 6
- 239000012528 membrane Substances 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 5
- 239000004033 plastic Substances 0.000 description 5
- 229920003023 plastic Polymers 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 201000003144 pneumothorax Diseases 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000000994 contrast dye Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000004303 peritoneum Anatomy 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000004800 polyvinyl chloride Substances 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
- A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30021—Catheter; Guide wire
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Robotics (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Machine Tool Sensing Apparatuses (AREA)
- Manipulator (AREA)
Abstract
Description
CTおよびX線透視法で使用されるエネルギーは、電離しており、生体内臓器にとって有害なX線であるため、手術前のCTデータに基づいて標的にツールをナビゲートするために画像誘導システムが開発されてきた。このようなナビゲーションシステムは、身体の部位およびツールの位置を6つの自由度で測定し、身体部位からツール位置を差し引いて身体に対するツールの位置を決定する。治療処置の開始時に、CTデータと身体がこれらの座標を一致させるために登録される。これは、CTデータ内および身体内においても識別される少なくとも3つの基準点を一致させて行われる。このようなほとんどのシステムにおいて、ツールと身体の位置の決定には2種類の技術、すなわち、光学的追跡装置と電磁追跡装置のうちの一方が使用される。光学的追跡装置では、システムは、2台の相隔たるビデオカメラを使用し、追跡される対象に取り付けられた3台またはそれ以上の識別可能な光源をモニターすることによって、三角測量計算による最大6つの自由度(6 DOF)で対象の位置と向きを計算する。電磁追跡装置では、複数のアンテナを有するトランスミッターが複数の準静的な磁界を送信する。複数のアンテナを有するレシーバーが、これらの信号を受信し、これらの信号に基づいてトランスミッターに対するレシーバーの位置を計算する。
これらのシステムにおいて、ツールと身体の両方の位置が、ツールと身体の両方の外部にある中間参照座標系に対して決定される。電磁システムの場合、参照座標は、送信アンテナによって規定される。光学的追跡装置においては、参照座標は、カメラによって規定される。ツールの座標を身体の座標から差し引くと、身体座標におけるツールの直接的な位置が与えられる。各位置決定では本質的にその過程にいくつかの位置誤差が加わるので、身体に対するツールの位置の決定に中間座標系を使用した場合の精度は、身体座標系でツールの位置を直接測定して実現されうる精度よりも低くなる。
前述の画像誘導システムは、硬質ツールを標的に誘導するように設計される。しかし、ニードルは、それらの径が小さいため曲りやすい。特に、標的に向けて皮膚を通して押し込むとき、ニードルを操作して前進させるために加えられる力によって撓みが生じることが多い。前述のシステム内にある位置センサーは、ニードルの近位部(proximal part)に取り付けられるので、ニードルの撓みを補償せずに近位部の向きを測定すると、ニードルの遠位端(distal tip)の位置決定に誤差が生じることになる。その結果、標的までの経路の予測も外れることになる。
身体内の臓器の多くは、胸膜および腹膜などの膜で覆われている。これらの膜は、膜と外側の臓器との間の真空力によって適所に保たれる。膜が破れると、空気が膜と外側の臓器との間の空間の中に漏れて膜が沈む。肺では、この現象は、気胸と呼ばれ、皮膚を通した胸部の針生検の治療処置の約30%でごく一般的に起きるものである。
本発明の教示によると、少なくとも5つの自由度で身体に対してハンドヘルドツールの位置を測定するシステムが提供され、このシステムは、(a)身体の内部に挿入する遠位端を有する硬質または半可撓性のツール、および身体の外部で手動操作する近位部、(b)画像を生成するカメラ、(c)(i)カメラがツールの近位部とともに移動し、(ii)カメラがツールの遠位端の少なくとも一部を含む視野を有しながら導かれるようにカメラをツールに取り付ける機械的リンク機構、ならびに(d)カメラとデータ通信し、カメラの画像を処理し、ツールの少なくとも一部分の位置を決定するように構成された処理システムを備える。
本発明のさらなる特徴によると、複数の基準点を備えるために身体の外面に貼付されるように構成されたマーカー配列もまた備えられ、処理システムは、基準点に対する位置を決定する。
本発明のさらなる特徴によると、マーカー配列は、複数の基準点を担持する単一パッチとして実装される。
本発明のさらなる特徴によると、複数の基準点は、4つ1組の基準点を少なくとも1組含み、パッチは、この4つ1組の基準点を実質的に共通平面内に保持するように構成される。
本発明のさらなる特徴によると、パッチは、非光学的画像システムによって容易に検出されるように構成された複数のマーカーを含む。
本発明のさらなる特徴によると、パッチは、ツールの遠位端の身体内への穿通点を描くように構成される。
本発明のさらなる特徴によると、複数の基準点は、第1の組の基準点と第1の組の基準点から光学的に識別可能な第2の組の基準点とを含み、第1の組の基準点は、第2の組の基準点よりもさらに狭い間隔で配置される。
本発明のさらなる特徴によると、処理システムは、さらにツールの遠位端の現在の先端位置を導出するように構成され、この導出は、ツールの屈曲を概算するステップと、現在の先端位置を決定するための屈曲の概算を採用するステップを含む。
本発明のさらなる特徴によると、カメラと処理システムの少なくとも一部分とは、共通のプロセッサーチップ上に実装される。
本発明のさらなる特徴によると、身体の外面上にある複数の基準点は、マーカー配列を身体の外面に貼付することによって規定される。
本発明のさらなる特徴によると、マーカー配列は、複数の基準点を担持する単一パッチとして実現される。
本発明のさらなる特徴によると、複数の基準点は、4つ1組の基準点を少なくとも1組含み、パッチは、この4つ1組の基準点を実質的に共通平面内に保持するように構成される。
本発明のさらなる特徴によると、基準参照点と標的の空間的関係は、非光学的画像システムを使用して決定され、パッチは、非光学的画像システムによって容易に検出されるように構成された複数のマーカーを含む。
本発明のさらなる特徴によると、ツールの身体内への挿入は、パッチを通じて行われる。
本発明のさらなる特徴によると、パッチは、ツールの遠位端の身体内への穿通点を描くように構成される。
本発明のさらなる特徴によると、ツールの遠位端の身体内への穿通点は、その方法の実行中にカメラ画像を処理することによって導出される。
本発明のさらなる特徴によると、複数の基準点は、第1の光学的に明確なマーキングを含む第1の組の基準点と、第1の光学的に明確なマーキングから光学的に識別可能な第2の光学的に明確なマーキングを含む第2の組の基準点とを含み、第1の組の基準点は、第2の組の基準点よりも穿通点により近い。
本発明のさらなる特徴によると、非光学的画像システムは、コンピュータ断層撮影システムである。
本発明のさらなる特徴によると、非光学的画像システムは、磁気共鳴画像システムである。
本発明のさらなる特徴によると、ツールは、伸長方向に細長いボディーを有し、カメラは、伸長方向を含む視野を有する細長いボディーに隣接して位置するようにツールの近位部に機械的に取り付けられる。
本発明のさらなる特徴によると、ツールを身体内に挿入する前に、(a)ツールの遠位端を基準点に対して規定された空間的関係にある参照点に接するようにするステップと、(b)現在のカメラ位置を導出するステップと、(c)現在のカメラ位置と参照点の位置からカメラから遠位端までの距離を導出するステップと、を含む、長さの較正手順が実行される。
本発明のさらなる特徴によると、ツールの遠位端の現在の先端位置が導出され、この導出するステップは、現在のカメラ位置と身体内へのツールの穿通点との組合せからツールの屈曲を概算するステップと、現在の先端位置を決定するために屈曲の概算を採用するステップとを含む。
本発明のさらなる特徴によると、グラフィック表現はカメラから得られた画像にオーバーレイとして表示される。
本発明のさらなる特徴によると、グラフィック表現は、遠位端から標的までの距離の表示をさらに含む。
本発明のさらなる特徴によると、グラフィック表現は、現在の先端位置の表現をさらに含む。
また、本発明の教示によると、身体内の標的に半可撓性ツールの遠位端を誘導する方法が提供され、そのツールは、身体外から手動操作する近位部を有し、その方法は、(a)ツールの近位部の現在位置をモニターするための位置追跡システムを採用するステップと、(b)身体内へのツールの穿通位置を決定するステップと、(c)ツールの近位部の現在位置と穿通位置とからツールの屈曲を概算し、結果として、身体内のツールの遠位端の現在の先端位置を導出するステップと、(d)少なくとも(i)標的の位置と、(ii)遠位端の指示方向に導かれるツールの遠位端からの外挿と、標的を含み遠位端の指示方向に実質的に垂直な平面との交点のグラフィック表現を表示するステップとを含む。
本発明のさらなる特徴によると、コントラスト生成機能は、X線を通さない機能として実装される。
本発明のさらなる特徴によると、X線を通さない機能は、基準点を形成するために採用されるダイ(die)に添加されたX線を通さない物質として実装される。
本発明は、光学的位置測定ならびに硬質または半可撓性のツールの標的への誘導のためのシステムおよび方法である。
本発明によるシステムおよび方法の原理と操作は、図面および付随する説明を参照すると、よりよく理解される。
また、本発明は、身体内の標的に硬質または半可撓性のツールの遠位端を誘導する方法を提供する。一般に、この方法は、身体の外面と標的に関して規定された複数の光学的に識別可能な基準参照点間の空間的関係を決定するステップを含む。ツールの近位部に機械的に取り付けられたカメラは、この場合、複数の基準点を含む身体の外面の画像を得るためにツールを身体内に挿入している間に使用される。この後、画像が処理されて、遠位端の指示方向に導かれるツールの遠位端からの外挿と、標的を含みツールの遠位端の指示方向に実質的に垂直な平面との交点に実質的に対応する現在の先端の投影を基準点の位置から導出する。この後、少なくとも標的の位置、および現在の先端の投影を示すグラフィック表現が表示され、それによって、標的へのツールの誘導が容易になる。
この段階において、本発明のシステムおよび方法は、前述の先行技術に比べて十分な利点を提供することが既に明らかである。具体的に、カメラをツールに直接取り付けることによって、ツールと身体の両方に対して外部に新たな基準系を使用することが回避される。本発明のこのような利点と他の利点は、以下の詳細な説明からさらに明らかになる。
カメラ115および116は、カメラと処理システムの少なくとも一部とが共通のプロセッサーチップに実装されうるCMOSカメラなどの、自律単一チップ型のものが好ましい。この場合、チップは、典型的にはクロック発生器、タイミング発生器、行列セレクター、および/または シフトレジスター、出力ドライバー、必要に応じて露出補正機構、必要に応じて利得およびオフセット制御、ならびにビデオ信号をこの単一チップカメラに独立に生成させるために必要なその他の電子回路を含む、ビデオ信号の生成に必要なすべての電子回路を内蔵することが好ましい。ビデオという用語は、アナログ出力、デジタル出力、圧縮デジタル出力などを含む画像の流れを供給するいずれかのタイプのカメラ出力を表すために本明細書ではより広い意味で使用され、一般に考えられる連続ビデオのフレームレートでの出力を必ずしも意味しない。カメラは、周辺電子回路によって支えられるCCD技術で設計されて製造されうるが、論理セルと検出セルを同じ物理的なダイ内で結合することができるため、CMOS技術で製造されることが好ましい。カメラレンズは、単一のプラスチック成形レンズであることが好ましい。
本発明の好ましい例示的な例で採用される数値計算との関連で、座標系が図6に示される。追跡される対象は、直交座標系(Cartesian system-of-coordinates)610を規定する。対象は、座標系620を規定するレンズによって観察される。レンズは、対象点612を画像座標系630で規定される像点632に投影している。点612は、ベクトルx=(x,y,z)によって座標系610で規定され、ベクトルk=(k,l,m)によって座標系620で規定される。この点の画像平面への投影は、ベクトル(p,q,f)である。筆者らは、対象からレンズ座標系への変換をベクトルk 0 =(k0,l0,m0)によって表される変換と、3×3の正規直交行列Tによって表される回転として定義する。対象とレンズ座標系の間の変換は、次の通りである。
第1のカメラの焦点面における点612の画像は、このとき、次の通りである。
ここで、faは、第1のカメラのレンズの焦点距離で、saは、その倍率である。第2のカメラが実装され、軸kの方向の距離Dkに設置されると、第2のカメラレンズの焦点面における点612の画像は、次の通りである。
ここで、fbは、第1のカメラレンズの焦点距離で、sbは、その倍率である。Tは、直交行列であるため、行列の行(または列)のドット乗算の結果は、次の通りである。
「基準点」と呼ばれる点を備える参照マーカーは、形、色、または、きめによる視覚的に識別可能なスポットまたは曲線などのいずれかの識別可能な特徴となりうる。これらの参照マーカーは、対象のはっきり見える部分の目印でありうるか、または物理的な対象または印のような特別に追加された対象でもありうる。その他のオプションとして、能動的に照射されるマーカーが挙げられ、これは、光源、またはカメラや他の場所の近くに取り付けられた光源に由来する光を反射する反射物であってもよい。能動的に照射されるマーカーのオプションでは、ビデオの分析を簡素化してもよい場合に信号の符号化が可能になる。能動光源の場合、各マーカーは、各マーカーを明確に識別しやすくするための特殊な符号化が行われてもよい。
最も好ましくは、マーカー配列は、複数の基準点を担持する身体の表面に取り付ける単一パッチとして行われる。一部の好ましい実施形態において、位置を予測する数理解析を簡素化するために、パッチは、4つの基準点1組を実質的に共通の平面内に保持するように構成される。この効果は、例えば、硬いパッチを採用したり、2つの主要方向の一方向だけに同時に屈曲しがちな限られた可撓性を有するパッチを採用したりして多くの方法で実現されてもよい。参照点の共平面性は、システムの必要条件ではなく、十分な処理能力が得られれば必要でない場合もあることに留意されたい。
本発明の好ましい一実施形態において、対象座標の参照点の位置は、例えば、治療処置のナビゲーション段階に先立って行われる較正によって既知である。較正は、機械的手段を使って実行されてもよく、またはCTデータなどの画像データに基づいて決定されてもよい。
カメラのビデオ出力における参照点の識別は、画像処理法によって決定されうる。このような方法は、当技術分野で周知であり、したがって、コンピュータ200上で実行される必要なソフトウェアコードを書き込んでビデオからの参照マーカーの座標を決定することは、当業者の通常技術の範囲内にある。
ツール先端の位置と方向の算出に採用される1つのパラメーターは、身体内へのツールの穿通点である。原理上、穿通点は、ユーザーによってカメラの視野内にある身体表面の任意の位置に選定されうるものであり、この位置は、カメラ115から画像処理されることによって決定されうる。実際に、穿通点をより容易に および/または 通常は可能でないようなより高い精度で決定するためには、パッチの存在を利用することが典型的に好ましい。したがって、身体内へのツールの挿入は、パッチを通して行われることが好ましい。特に好ましい一実施において、パッチ自体は、身体内へのツール遠位端の穿通点を描くように構成される。これは、ツールが挿入される開口を事前に設けることによって実現されてもよい。このように、いったんパッチ内のマーカー位置が標的に対して登録されると、挿入点の位置が直ちに分かる。別の実施において、身体内へのツールの遠位端の穿通点は、治療処置自体の中でカメラ画像の処理によって得られてもよい。この場合、パッチは、画像処理に基づく穿通位置の算出を容易にする長方形格子などの幾何学的パターンを好都合に特徴づけてもよい。穿通位置は、穿通直前にツールの先端をこの位置と接触するようにさせて決定されてもよく、あるいはツールを前進させながら穿通後に行われる計算によって決定され、すなわち精度がより高められてもよい。
特に好ましい一手順によると、治療処置の初めに、調整ステッカー(coordinator sticker)または基準マーカーを含む材料のブロックまたは層で作られた他の「パッチ」が標的の上にある患者の皮膚に貼付される。CT(または、他のボリュームイメージング)スキャンが行われる。マーカーと標的の位置が決定され、例えば、ディスクオンキーメモリー220を介してコンピュータ200に入力される。このデータに基づいて、標的へのツールのナビゲーションが決定されうる。
ツールの屈曲を補正するために多くのモデルが使用されてもよい。非限定の一例として、補正は、ツールが身体内に入る点320が調整パッチの平面300内にあるとの仮定に基づいて決定されてもよい。式(1)〜(4)を解くことによって、平面300の位置と向きのパラメーターが分かる。身体内のツールの経路、その先端位置、および標的平面内のその交点は、図5aおよび図5bに示されるように、前記の接線方向の軌跡として決定される。
具体的に、本明細書に示す場合において、ツールは、パッチの領域内の既知の位置320で身体内に穿通する。理論上は屈曲のないツールの経路は、破線322で表されるが、カメラの光軸は、破線324で表される。これらの軸は、典型的にほぼ平行であり、システムとともに提供される較正データによって規定される。撓みベクトル326は、屈曲のないツール経路322から光軸324に垂直な平面内にある穿通点320までのベクトルとして規定される。身体内におけるツールの補正された方向を計算するために、撓みベクトル326のスケーリング値(scaled value)に対応する補正ベクトル328で現在のツールハンドルの位置を反対方向に補正することによって、補正された理論上のツール位置を実現する。スケーリングファクターは、定数であってもよく、例えば、身体外のツールの長さの関数などの可変パラメーターであってもよい。ツール先端の推定された指示方向は、この場合、補正された理論上のツール位置から実際の挿入点を通過するライン330となるように選ばれる。
2個のカメラを備える追跡システムにおけるツールの撓みの補償は、よく似ており、撓んだツールの弧は、ステレオペア画像から直接決定される可能性があり、式(3)を用いてツールに沿ったいくつかの点の位置決定が簡素化される。
本発明の別の好ましい実施形態において、調整パッチは、可撓性材料から作られたステッカーとして実現され、ステッカーの片側は、患者の皮膚に貼付されるように接着剤で覆われている。ナイロンまたはポリ塩化ビニール(PVC)などのポリマーであることが好ましい可撓性材料は、可撓性材料に埋め込まれた小さい参照マーカーを有する。前述したように、これらのマーカーは、登録に使用される非光学的画像技法の下で高コントラストを提供する材料を使って実現されることが好ましい。CTの場合、これらのマーカーは、X線を通さず、例えば、典型的に1〜2mmの直径を有する鉛の小球で作られる。さらに、「印」などの光学基準点は、ステッカーの表面に印刷される。これらの印は、線、円、またはその他の形、すなわち、光学的に明確な特徴でありうる。これらは、単一色で印刷されうるか、さらに好ましくは、色区分による区別が容易な多色で印刷されうる。総じて、印は、ツールを標的にナビゲートするために使用される座標系を規定する。埋め込まれたマーカーは、ツールの位置をCTボリュームに登録するために使用される。印は、埋め込まれたマークの位置がカメラの画像から決定されるように配置される。
別の光学的特徴によると、パッチ上の一部の位置は、特定のシステム機能に関連する制御位置に指定されてもよい。システムは、次に、システムオペレーターがツールの先端を制御位置の1つと接触(または、最接近)させているかどうかをモニターし、接触(または、最接近)させていれば、割り当てられた対応するシステム機能を実行する。このようにして、パッチ上の位置に割り当てられてもよいシステム制御機能の例は、ツール長さ再較正の開始、ディスプレーの表示モードまたは他のパラメーターの変更、他のリアルタイムデータの入力またはシステムのいずれかの他の操作パラメーターの変更、および電源オフを含むが、これらに限定されない。ユーザーインタフェース入力として、パッチ上の位置へのツールの接触を使用することは、システムオペレーターが滅菌されていないコンピュータ機器に触れたり、治療処置の実施現場付近から注意をそらしたりする必要を避けるため、本発明に照らして特に好都合である。
本発明の一実施形態において、ツールの形状は、事前に分かる。別の実施形態において、ツールの形状は、画像による治療処置の間に決定される。前述の実施形態では、ツールの遠位部は、一部分に隠れているが、本発明は、遠位部がすべての操作において見える場合の用途にも適用可能である。このような実施形態において、ツールの遠位先端の位置は、ビデオ画像から直接随意的に決定される。
先に述べたように、ディスプレーの内容は、標的の位置の表現と、標的を含み指示方向に実質的に垂直な平面上に投影される遠位端の指示方向に沿った現在の先端の投影とを含むことが好ましい。投影に使用される平面は、標的を含みカメラの光軸に垂直な平面であっても実際にはよいが、撓みが典型的には比較的小さいため、このような投影平面は、いずれも「指示方向に実質的に垂直な」という用語の範囲内にあるものと考えられる。
標的の位置と現在の先端の投影に加えて、標的へのツールのナビゲーションを容易にするために、ディスプレーにはほかにも様々な項目が示されることが好ましい。第1の特に好ましいオプションによると、標的の位置と現在の先端の投影のグラフィック表現は、カメラから得られた画像に対するオーバーレイとして表示される。これは、ユーザーが自己の空間定位の維持に役立つために非常に有用であることが分っている。オプションとして、画像内の対応する基準点が正常に追跡されていることを示す各基準点に関連して可視指示が表示されてもよい。オプションとして表示されてもよい他の項目として、mm単位の数値距離、および現在の先端位置の表現など、遠位端から標的までの距離の表示が挙げられる。
ニードルの撓みを推測する際、典型的には、実際の入口点と理論上は撓みのない入口点との差の計算に基づく同様の概念的アプローチによって前述の光学追跡装置以外の追跡技術も使用されてもよい。このような技術は、ツールの近位端に位置センサーと、身体内へのツールの実際の入口点に隣接した別の位置センサーとを埋め込むことを含むが、これらに限定されない。もう1つの方法は、身体外のニードルシャフトに沿ってマークされた座標をスキャンし、さらに、その座標から身体内の経路を予測することによって身体外の撓みを予測することである。このようなスキャニング過程は、光学式立体スキャナーなどのスキャナーによって実行されてもよい。
身体内のニードルの経路を予測する際、CTデータは、予測経路に沿った組織の可撓性と密度など、一部の組織の機械的パラメーターを評価し、このパラメーターを使ってニードルの撓みを予測するために使用されてもよい。
カメラのレンズのゆがみは、当技術分野で周知のように多項式によって補正されることが好ましい。各レンズは、単独に補正されるべき個々のひずみを有する。本発明の好ましい実施形態において、これらの多項式は、カメラの一部分として組み立てられており、すなわち、カメラとともに提供されるデータ記憶媒体上で別途提供されるメモリーに格納される。また、これらの補正は、付属ブラケットなどの製造誤差に起因する、ツールと相対的なカメラ配列のいずれかの変動に対する目盛修正を含むことが好ましい。カメラがシステムに接続されると、多項式が読み取られてアルゴリズムに与えられ、カメラの画像がこれらの多項式によって個別に補正される。
上記の説明は、例としての機能を果たすものにすぎず、添付の特許請求の範囲で規定された本発明の範囲内で他にも多くの実施形態が考えられることは、理解されよう。
Claims (34)
- 少なくとも5つの自由度で身体に対するハンドヘルドツールの位置を測定するシステムであって、
(a)身体の内部に挿入する遠位端と、前記身体の外部で手動操作する近位部とを有する硬質または半可撓性のツールと、
(b)画像を生成するカメラと、
(c)前記ツールに前記カメラを取り付ける機械的リンク機構であって、
(i)前記カメラは、前記ツールの前記近位部とともに移動し、
(ii)前記カメラは、前記ツールの前記遠位端の少なくとも一部を含む視野を有しながら導かれるように、前記ツールに前記カメラを取り付ける機械的リンク機構と、
(d)前記カメラとデータ通信し、前記ツールの少なくとも一部の位置を決定するために前記カメラの画像を処理するように構成された処理システムと、
を備える、システム。 - 複数の基準点を備えるために、前記身体の外面に貼付されるように構成されたマーカー配列をさらに備え、前記処理システムは、前記基準点に対する前記位置を決定する、請求項1に記載の前記システム。
- 前記マーカー配列は、前記複数の基準点を担持する単一パッチとして実装される、請求項2に記載の前記システム。
- 前記複数の基準点は、4つ1組の基準点を少なくとも1組を含み、前記パッチは、前記4つ1組の基準点を実質的に共通平面内に保持するように構成される、請求項3に記載の前記システム。
- 前記パッチは、非光学的画像システムによって容易に検出されるように構成された複数のマーカーを含む、請求項3に記載の前記システム。
- 前記マーカーは、前記パッチ上の前記基準点と一致する、請求項5に記載の前記システム。
- 前記パッチは、前記ツールの前記遠位端の前記身体の内部への穿通点を描くように構成される、請求項3に記載の前記システム。
- 前記複数の基準点は、第1の組の基準点と前記第1の組の基準点から光学的に識別可能な第2の組の基準点とを含み、前記第1の組の基準点は、前記第2の組の基準点よりもさらに狭い間隔で配置される、請求項7に記載の前記システム。
- 前記処理システムは、さらに前記ツールの前記遠位端の現在の先端位置を導出するように構成され、前記導出するステップは、前記ツールの屈曲を概算するステップと、前記現在の先端位置を決定するために前記屈曲の概算を採用するステップとを含む、請求項3に記載の前記システム。
- 前記カメラと前記処理システムの少なくとも一部とは、共通のプロセッサーチップ上に実装される、請求項3に記載の前記システム。
- 身体の内部の標的に硬質または半可撓性のツールの遠位端を誘導する方法であって、前記ツールは、前記身体の外部から手動操作する近位部を有し、
(a)前記身体と前記標的の外面で規定される複数の光学的に識別可能な基準参照点間の空間的関係を決定するステップと、
(b)前記ツールの前記近位部に機械的に取り付けられるカメラを備えるステップと、
(c)前記ツールを前記身体の内部に挿入する間に、
(i)複数の前記基準点を含む前記身体の外面の画像を前記カメラから得るステップと、
(ii)前記遠位端の指示方向に導かれる前記ツールの前記遠位端からの外挿と、前記標的を含み前記ツールの前記遠位端の前記指示方向に実質的に垂直な平面との交点に実質的に対応する現在の先端の投影を、前記画像内に前記基準点の位置から導出するステップと、
(iii)少なくとも前記標的の位置と前記現在の先端の投影のグラフィック表現を表示するステップと、
を備える、方法。 - 前記身体の前記外面上の前記複数の基準点は、マーカー配列を前記身体の前記外面に貼付することによって規定される、請求項11に記載の前記方法。
- 前記マーカー配列は、前記複数の基準点を担持する単一パッチとして実装される、請求項12に記載の前記方法。
- 前記複数の基準点は、4つ1組の基準点を少なくとも1組含み、前記パッチは、前記4つ1組の基準点を実質的に共通平面内に保持するように構成される、請求項13に記載の前記方法。
- 前記基準参照点と前記標的との間の前記空間的関係は、非光学的画像システムを使用して決定され、前記パッチは、前記非光学的画像システムによって容易に検出されるように構成された複数のマーカーを含む、請求項13に記載の前記方法。
- マーカーは、前記パッチ上の前記基準点と一致する、請求項15に記載の前記方法。
- 前記ツールの前記身体の内部への挿入は、前記パッチを通じて行われる、請求項13に記載の前記方法。
- 前記パッチは、前記ツールの前記遠位端の前記身体の内部への穿通点を描くように構成される、請求項17に記載の前記方法。
- 前記ツールの前記遠位端の前記身体の内部への穿通点は、前記方法の実行中に前記カメラ画像を処理することによって導出される、請求項17に記載の前記方法。
- 前記複数の基準点は、第1の光学的に明確なマーキングを含む第1の組の基準点と、前記第1の光学的に明確なマーキングから光学的に識別可能な第2の光学的に明確なマーキングを含む第2の組の基準点とを含み、前記第1の組の基準点は、前記第2の組の基準点よりも前記穿通点に近い、請求項17に記載の前記方法。
- 前記非光学的画像システムは、コンピュータ断層撮影システムである、請求項11に記載の前記方法。
- 前記非光学的画像システムは、磁気共鳴画像システムである、請求項11に記載の前記方法。
- 前記非光学的画像システムは、X線透視装置であり、前記基準参照点と前記標的との間の前記空間的関係は、少なくとも2つの非平行な観察方向に沿って導出される画像から決定される、請求項11に記載の前記方法。
- 前記ツールは、伸長方向に細長いボディーを有し、前記カメラは、伸長方向を含む視野を有する細長いボディーに隣接して位置するように前記ツールの前記近位部に機械的に取り付けられる、請求項11に記載の前記方法。
- 前記ツールを前記身体の内部に挿入する前に、
(a)前記ツールの前記遠位端を前記基準点に対して規定された空間的関係にある参照点に接するようにするステップと、
(b)前記現在のカメラ位置を導出するステップと、
(c)前記現在のカメラ位置と前記参照点の位置から、前記カメラから前記遠位端までの距離を導出するステップと、
を含む、長さ較正手順を実行するステップをさらに備える、請求項11に記載の前記方法。 - 前記ツールの前記遠位端の現在の先端位置を導出するステップをさらに備え、前記導出するステップは、前記現在のカメラ位置と前記身体の内部への前記ツールの穿通点との組合せから前記ツールの屈曲を概算するステップと、前記現在の先端位置を決定するために屈曲の前記概算を採用するステップとを含む、請求項11に記載の前記方法。
- 前記グラフィック表現は、前記カメラから得られた前記画像に対するオーバーレイとして表示される、請求項11に記載の前記方法。
- 前記グラフィック表現は、前記画像内の対応する前記基準点が正常に追跡されていることを示す各基準点に関連した可視指示をさらに含む、請求項27に記載の前記方法。
- 前記グラフィック表現は、前記遠位端から前記標的までの距離の指示をさらに含む、請求項11に記載の前記方法。
- 前記グラフィック表現は、前記現在の先端位置の表現をさらに含む、請求項11に記載の前記方法。
- 身体内の標的に半可撓性ツールの遠位端を誘導する方法であって、前記ツールは、前記身体の外部から手動操作する近位部を有し、
(a)前記ツールの前記近位部の現在位置をモニターするための位置追跡システムを採用するステップと、
(b)前記身体の内部への前記ツールの穿通位置を決定するステップと、
(c)前記ツールの前記近位部の前記現在の位置と前記穿通位置とから前記ツールの屈曲を概算し、結果として、前記身体内の前記ツールの前記遠位端の現在の先端位置を導出するステップと、
(d)少なくとも
(i)前記標的の前記位置と、
(ii)前記遠位端の指示方向に導かれる前記ツールの前記遠位端からの外挿と前記標的を含み前記遠位端の前記指示方向に実質的に垂直な平面との交点と、
のグラフィック表現を表示するステップと、
を備える、方法。 - 身体の内部の標的に硬質または半可撓性のツールの遠位端を誘導する光誘導システムとともに使用する身体の皮膚に貼付するパッチであって、前記ツールは、前記身体の外部から手動操作する近位部を有し、前記パッチは、
(a)前記皮膚に一時的に貼付する下面と、
(b)1組の少なくとも4つの光学的に検出可能な基準点が備えられた上面と、
(c)非光学的画像システムを使って前記パッチの位置確認を容易にする非光学的画像システムの動作の下で高コントラスト点を備えるように構成された複数のコントラスト生成機能と、
(d)前記身体の内部への前記ツールの前記遠位端の穿通点を描くように構成された挿入形態と、
を備える、パッチ。 - 前記コントラスト生成機能は、X線を通さない機能として実装される、請求項32に記載の前記パッチ。
- 前記X線を通さない機能は、前記基準点を形成するために採用されるダイに付加されたX線を通さない物質として実装される、請求項33に記載の前記パッチ。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US78714906P | 2006-03-30 | 2006-03-30 | |
US85240306P | 2006-10-18 | 2006-10-18 | |
US88760507P | 2007-02-01 | 2007-02-01 | |
PCT/IL2007/000416 WO2007113815A2 (en) | 2006-03-30 | 2007-03-29 | System and method for optical position measurement and guidance of a rigid or semi flexible tool to a target |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010522573A true JP2010522573A (ja) | 2010-07-08 |
JP2010522573A5 JP2010522573A5 (ja) | 2012-10-11 |
JP5146692B2 JP5146692B2 (ja) | 2013-02-20 |
Family
ID=38564066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009502331A Active JP5146692B2 (ja) | 2006-03-30 | 2007-03-29 | 光学的位置測定ならびに剛性または半可撓性の針の標的への誘導のためのシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US7876942B2 (ja) |
EP (2) | EP2008244B1 (ja) |
JP (1) | JP5146692B2 (ja) |
KR (1) | KR20090004899A (ja) |
CN (1) | CN101536013B (ja) |
BR (1) | BRPI0709421A2 (ja) |
WO (1) | WO2007113815A2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008302213A (ja) * | 2007-04-17 | 2008-12-18 | C2Cure Inc | 電子アセンブリ、電子アセンブリを作成する方法 |
JP2013104747A (ja) * | 2011-11-11 | 2013-05-30 | Nippon Telegr & Teleph Corp <Ntt> | 作業位置誘導装置及びその誘導方法 |
JP2015526708A (ja) * | 2012-07-03 | 2015-09-10 | ザ ステート オブ クイーンズランド アクティング スルー イッツ デパートメント オブ ヘルスThe State Of Queensland Acting Through Its Department Of Health | 医用撮像のための動き補正 |
JP2016523625A (ja) * | 2013-06-12 | 2016-08-12 | ヌール サイエド | 医療器具用の位置決めシステム |
JP2018506323A (ja) * | 2014-12-16 | 2018-03-08 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | パルス光放射マーカー装置 |
JP7487356B2 (ja) | 2016-05-16 | 2024-05-20 | トラックエックス・テクノロジー,エルエルシー | 医療処置中のエフェクタの画像定位のためのシステム及び方法 |
Families Citing this family (111)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006066022A2 (en) | 2004-12-13 | 2006-06-22 | Acmi Corporation | Hermetic endoscope assemblage |
NZ556655A (en) * | 2005-01-19 | 2010-10-29 | Dermaspect Llc | Devices and methods for identifying and monitoring changes of a suspect area on a patient |
US8560047B2 (en) | 2006-06-16 | 2013-10-15 | Board Of Regents Of The University Of Nebraska | Method and apparatus for computer aided surgery |
WO2008017051A2 (en) | 2006-08-02 | 2008-02-07 | Inneroptic Technology Inc. | System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities |
JP5416900B2 (ja) * | 2007-11-22 | 2014-02-12 | 株式会社東芝 | 超音波診断装置及び穿刺支援用制御プログラム |
WO2009094646A2 (en) | 2008-01-24 | 2009-07-30 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for image guided ablation |
US8340379B2 (en) | 2008-03-07 | 2012-12-25 | Inneroptic Technology, Inc. | Systems and methods for displaying guidance data based on updated deformable imaging data |
US8363259B2 (en) * | 2008-05-24 | 2013-01-29 | Activiews Ltd. | Method for producing printed patches for optical and high-contrast guidance |
US20090312629A1 (en) * | 2008-06-13 | 2009-12-17 | Inneroptic Technology Inc. | Correction of relative tracking errors based on a fiducial |
ES2608820T3 (es) * | 2008-08-15 | 2017-04-17 | Stryker European Holdings I, Llc | Sistema y método de visualización del interior de un cuerpo |
WO2010063117A1 (en) | 2008-12-02 | 2010-06-10 | Andre Novomir Hladio | Method and system for aligning a prosthesis during surgery using active sensors |
US8374723B2 (en) * | 2008-12-31 | 2013-02-12 | Intuitive Surgical Operations, Inc. | Obtaining force information in a minimally invasive surgical procedure |
WO2010086374A1 (en) | 2009-01-29 | 2010-08-05 | Imactis | Method and device for navigation of a surgical tool |
US8641621B2 (en) | 2009-02-17 | 2014-02-04 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures |
US11464578B2 (en) | 2009-02-17 | 2022-10-11 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures |
US8690776B2 (en) | 2009-02-17 | 2014-04-08 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image guided surgery |
US8554307B2 (en) | 2010-04-12 | 2013-10-08 | Inneroptic Technology, Inc. | Image annotation in image-guided medical procedures |
WO2011020505A1 (en) * | 2009-08-20 | 2011-02-24 | Brainlab Ag | Integrated surgical device combining instrument; tracking system and navigation system |
DE112010004349T5 (de) | 2009-11-11 | 2012-12-13 | Activiews Ltd. | Systeme & Verfahren zum Planen und Durchführen perkutaner Nadelverfahren |
EP2501320A4 (en) * | 2009-11-19 | 2014-03-26 | Univ Johns Hopkins | COST-EFFICIENT IMAGE-CONTROLLED NAVIGATION AND INTERVENTION SYSTEMS WITH COOPERATIVE SETS OF LOCAL SENSORS |
US8435033B2 (en) | 2010-07-19 | 2013-05-07 | Rainbow Medical Ltd. | Dental navigation techniques |
US20120071757A1 (en) * | 2010-09-17 | 2012-03-22 | University Of British Columbia | Ultrasound Registration |
US8657809B2 (en) | 2010-09-29 | 2014-02-25 | Stryker Leibinger Gmbh & Co., Kg | Surgical navigation system |
KR20130129246A (ko) | 2010-12-17 | 2013-11-27 | 아브니르 메디컬 아이엔씨. | 수술 중에 보철물을 정렬하기 위한 방법 및 시스템 |
US9538982B2 (en) * | 2010-12-18 | 2017-01-10 | Massachusetts Institute Of Technology | User interface for ultrasound scanning system |
DE102011012460A1 (de) * | 2011-02-25 | 2012-08-30 | Hicat Gmbh | Chirurgisches Instrument mit integrierter Navigationskontrolle |
US9572539B2 (en) | 2011-04-08 | 2017-02-21 | Imactis | Device and method for determining the position of an instrument in relation to medical images |
DE102011007796B4 (de) * | 2011-04-20 | 2019-07-04 | Siemens Healthcare Gmbh | Verfahren zur Ermittlung einer Zielposition für eine medizinische Maßnahme |
WO2012159123A2 (en) * | 2011-05-19 | 2012-11-22 | Alec Rivers | Automatically guided tools |
US9498231B2 (en) | 2011-06-27 | 2016-11-22 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
EP2723270B1 (en) * | 2011-06-27 | 2019-01-23 | Board of Regents of the University of Nebraska | On-board tool tracking system of computer assisted surgery |
US11911117B2 (en) | 2011-06-27 | 2024-02-27 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
US9707043B2 (en) | 2011-09-02 | 2017-07-18 | Stryker Corporation | Surgical instrument including housing, a cutting accessory that extends from the housing and actuators that establish the position of the cutting accessory relative to the housing |
US9387008B2 (en) | 2011-09-08 | 2016-07-12 | Stryker European Holdings I, Llc | Axial surgical trajectory guide, and method of guiding a medical device |
US8670816B2 (en) | 2012-01-30 | 2014-03-11 | Inneroptic Technology, Inc. | Multiple medical device guidance |
US9314188B2 (en) | 2012-04-12 | 2016-04-19 | Intellijoint Surgical Inc. | Computer-assisted joint replacement surgery and navigation systems |
US9439623B2 (en) * | 2012-05-22 | 2016-09-13 | Covidien Lp | Surgical planning system and navigation system |
US9439622B2 (en) * | 2012-05-22 | 2016-09-13 | Covidien Lp | Surgical navigation system |
US9439627B2 (en) * | 2012-05-22 | 2016-09-13 | Covidien Lp | Planning system and navigation system for an ablation procedure |
US9498182B2 (en) | 2012-05-22 | 2016-11-22 | Covidien Lp | Systems and methods for planning and navigation |
US8750568B2 (en) | 2012-05-22 | 2014-06-10 | Covidien Lp | System and method for conformal ablation planning |
DE102012209450B4 (de) | 2012-06-05 | 2019-05-29 | Siemens Healthcare Gmbh | Bestimmung der Lage eines medizinischen Instruments |
DE102012209448B4 (de) | 2012-06-05 | 2019-06-19 | Siemens Healthcare Gmbh | Bestimmung einer Lage eines medizinischen Instruments |
JP5837261B2 (ja) * | 2012-06-20 | 2015-12-24 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | マルチカメラ装置追跡 |
EP2863824B1 (en) | 2012-06-22 | 2017-12-27 | Covidien LP | Microwave thermometry for microwave ablation systems |
RU2641374C2 (ru) | 2012-06-28 | 2018-01-17 | Конинклейке Филипс Н.В. | Специализированный пользовательский интерфейс для интерстициальных вмешательств с магнитно-резонансным наведением |
US20140000516A1 (en) * | 2012-06-29 | 2014-01-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Digital point marking transfer |
CA2893786C (en) * | 2012-12-07 | 2021-01-05 | University Of Houston | Surgical procedure management systems and methods |
US9192445B2 (en) * | 2012-12-13 | 2015-11-24 | Mako Surgical Corp. | Registration and navigation using a three-dimensional tracking sensor |
CN103040525B (zh) * | 2012-12-27 | 2016-08-03 | 深圳先进技术研究院 | 一种多模医学影像手术导航方法及系统 |
WO2014110069A1 (en) * | 2013-01-11 | 2014-07-17 | The Cleveland Clinic Foundation | Alignment of manipulable sensor assembly |
US9993273B2 (en) | 2013-01-16 | 2018-06-12 | Mako Surgical Corp. | Bone plate and tracking device using a bone plate for attaching to a patient's anatomy |
CN108742842B (zh) | 2013-01-16 | 2022-04-19 | 史赛克公司 | 指示视线误差的导航系统和方法 |
EP2945542A1 (en) * | 2013-01-17 | 2015-11-25 | Tractus Corporation | Method, apparatus and system for complete examination of tissue with hand-held imaging devices having mounted cameras |
EP2769689B8 (en) | 2013-02-25 | 2018-06-27 | Stryker European Holdings I, LLC | Computer-implemented technique for calculating a position of a surgical device |
CN104020533A (zh) * | 2013-03-01 | 2014-09-03 | 鸿富锦精密工业(深圳)有限公司 | 光通讯模组组装装置 |
US10314559B2 (en) | 2013-03-14 | 2019-06-11 | Inneroptic Technology, Inc. | Medical device guidance |
US10105149B2 (en) | 2013-03-15 | 2018-10-23 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
US9161814B2 (en) | 2013-03-15 | 2015-10-20 | Covidien Lp | Microwave energy-delivery device and system |
US9301723B2 (en) | 2013-03-15 | 2016-04-05 | Covidien Lp | Microwave energy-delivery device and system |
US9119650B2 (en) | 2013-03-15 | 2015-09-01 | Covidien Lp | Microwave energy-delivery device and system |
US9247998B2 (en) | 2013-03-15 | 2016-02-02 | Intellijoint Surgical Inc. | System and method for intra-operative leg position measurement |
US10405943B2 (en) * | 2015-09-22 | 2019-09-10 | Faculty Physicians And Surgeons Of Loma Linda University School Of Medicine | Kit and method for reduced radiation procedures |
US10792067B2 (en) | 2013-06-03 | 2020-10-06 | Faculty Physicians And Surgeons Of Loma Linda University Of Medicine | Methods and apparatuses for fluoro-less or near fluoro-less percutaneous surgery access |
US10074199B2 (en) | 2013-06-27 | 2018-09-11 | Tractus Corporation | Systems and methods for tissue mapping |
EP3007635B1 (en) * | 2013-08-23 | 2016-12-21 | Stryker European Holdings I, LLC | Computer-implemented technique for determining a coordinate transformation for surgical navigation |
DE102013109486A1 (de) * | 2013-08-30 | 2015-03-05 | Surgiceye Gmbh | Navigationsaufsatz |
US20160267659A1 (en) * | 2013-10-25 | 2016-09-15 | Brainlab Ag | Method and device for co-registering a medical 3d image and a spatial reference |
US8880151B1 (en) | 2013-11-27 | 2014-11-04 | Clear Guide Medical, Llc | Surgical needle for a surgical system with optical recognition |
US9622720B2 (en) | 2013-11-27 | 2017-04-18 | Clear Guide Medical, Inc. | Ultrasound system with stereo image guidance or tracking |
WO2015124159A1 (en) | 2014-02-21 | 2015-08-27 | 3Dintegrated Aps | A set comprising a surgical instrument |
US11227427B2 (en) * | 2014-08-11 | 2022-01-18 | Covidien Lp | Treatment procedure planning system and method |
US9901406B2 (en) | 2014-10-02 | 2018-02-27 | Inneroptic Technology, Inc. | Affected region display associated with a medical device |
US10188467B2 (en) | 2014-12-12 | 2019-01-29 | Inneroptic Technology, Inc. | Surgical guidance intersection display |
US10094651B2 (en) | 2015-01-15 | 2018-10-09 | CSEM Centre Suisse d'Electronique et de Microtechnique SA—Recherche et Développement | Positioning system and method |
US9696185B2 (en) | 2015-01-15 | 2017-07-04 | Csm Centre Suisse D'electronique Et De Microtechnique Sa—Recherche Et Développement | 6D positioning system using a shadow sensor |
EP3054311B1 (en) | 2015-01-15 | 2023-01-11 | Atracsys Sàrl | Positioning system and method |
US11020144B2 (en) | 2015-07-21 | 2021-06-01 | 3Dintegrated Aps | Minimally invasive surgery system |
JP6776327B2 (ja) | 2015-07-21 | 2020-10-28 | スリーディインテグレイテッド アーペーエス3Dintegrated Aps | カニューレアセンブリキット、套管針アセンブリキット、スリーブアセンブリ、低侵襲性手術システム及び方法 |
US9949700B2 (en) | 2015-07-22 | 2018-04-24 | Inneroptic Technology, Inc. | Medical device approaches |
JP6819041B2 (ja) * | 2015-09-10 | 2021-01-27 | ソニー株式会社 | サーバシステムおよびサーバ |
US10082384B1 (en) | 2015-09-10 | 2018-09-25 | Stryker European Holdings I, Llc | Systems and methods for detecting fixation frame parameters |
DK178899B1 (en) | 2015-10-09 | 2017-05-08 | 3Dintegrated Aps | A depiction system |
US10722306B2 (en) * | 2015-11-17 | 2020-07-28 | Biosense Webster (Israel) Ltd. | System for tracking guidewire with ray tracing capability |
JP6952696B2 (ja) * | 2015-12-16 | 2021-10-20 | キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc | 医療ガイダンス装置 |
US9675319B1 (en) | 2016-02-17 | 2017-06-13 | Inneroptic Technology, Inc. | Loupe display |
EP4186458A1 (en) | 2016-05-23 | 2023-05-31 | MAKO Surgical Corp. | System for tracking a physical object |
US10537395B2 (en) | 2016-05-26 | 2020-01-21 | MAKO Surgical Group | Navigation tracker with kinematic connector assembly |
JP7067801B2 (ja) * | 2016-08-12 | 2022-05-16 | エルセント メディカル,インコーポレイテッド | 外科装置のガイド及び監視のための装置、システム、及び方法 |
US10278778B2 (en) | 2016-10-27 | 2019-05-07 | Inneroptic Technology, Inc. | Medical device navigation using a virtual 3D space |
US10010379B1 (en) * | 2017-02-21 | 2018-07-03 | Novarad Corporation | Augmented reality viewing and tagging for medical procedures |
CN117885097A (zh) * | 2017-03-07 | 2024-04-16 | 直观外科手术操作公司 | 用于控制具有可铰接远侧部分的工具的系统和方法 |
EP3621542B1 (en) | 2017-05-09 | 2023-03-15 | Brainlab AG | Generation of augmented reality image of a medical device |
US10667869B2 (en) * | 2017-05-17 | 2020-06-02 | General Electric Company | Guidance system for needle procedures |
EP3406195A1 (en) * | 2017-05-24 | 2018-11-28 | Koninklijke Philips N.V. | Device and a corresponding method for providing spatial information of an interventional device in a live 2d x-ray image |
WO2018235255A1 (ja) * | 2017-06-23 | 2018-12-27 | オリンパス株式会社 | 医療システムとその作動方法 |
WO2019010232A1 (en) | 2017-07-07 | 2019-01-10 | Canon U.S.A. Inc. | MULTI-PROBE ABLATION PLANNING |
US11259879B2 (en) | 2017-08-01 | 2022-03-01 | Inneroptic Technology, Inc. | Selective transparency to assist medical device navigation |
US10432912B2 (en) | 2017-09-29 | 2019-10-01 | Waymo Llc | Target, method, and system for camera calibration |
US11197723B2 (en) * | 2017-10-09 | 2021-12-14 | Canon U.S.A., Inc. | Medical guidance system and method using localized insertion plane |
US11065064B2 (en) | 2017-11-14 | 2021-07-20 | Biosense Webster (Israel) Ltd. | Calibration of a rigid ENT tool |
US11638612B2 (en) | 2017-12-04 | 2023-05-02 | Covidien Lp | Automatic ablation antenna segmentation from CT image |
CN108052771B (zh) * | 2017-12-29 | 2021-04-13 | 上海望友信息科技有限公司 | 光学基准点识别方法、系统、计算机可读存储介质及设备 |
US11484365B2 (en) | 2018-01-23 | 2022-11-01 | Inneroptic Technology, Inc. | Medical image guidance |
WO2020033947A1 (en) | 2018-08-10 | 2020-02-13 | Covidien Lp | Systems for ablation visualization |
US11287874B2 (en) | 2018-11-17 | 2022-03-29 | Novarad Corporation | Using optical codes with augmented reality displays |
US11237627B2 (en) | 2020-01-16 | 2022-02-01 | Novarad Corporation | Alignment of medical images in augmented reality displays |
US11540887B2 (en) | 2020-06-05 | 2023-01-03 | Stryker European Operations Limited | Technique for providing user guidance in surgical navigation |
US12016633B2 (en) | 2020-12-30 | 2024-06-25 | Novarad Corporation | Alignment of medical images in augmented reality displays |
DE102021206971A1 (de) | 2021-07-02 | 2023-01-05 | Carl Zeiss Meditec Ag | Verfahren und System zur optischen Lageerfassung zumindest eines Instruments in einem Operationssaal |
US11948265B2 (en) | 2021-11-27 | 2024-04-02 | Novarad Corporation | Image data set alignment for an AR headset using anatomic structures and data fitting |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000510362A (ja) * | 1996-05-03 | 2000-08-15 | エス. グリーン、フィリップ | 内視鏡的画像法と内視鏡手術のためのシステム及び方法 |
WO2005000139A1 (en) * | 2003-04-28 | 2005-01-06 | Bracco Imaging Spa | Surgical navigation imaging system |
WO2006020943A1 (en) * | 2004-08-12 | 2006-02-23 | Hansen Medical, Inc. | Robotically controlled intravascular tissue injection system |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000500031A (ja) | 1995-07-16 | 2000-01-11 | ウルトラ−ガイド リミティド | フリーハンドでの針案内の照準 |
US6221007B1 (en) * | 1996-05-03 | 2001-04-24 | Philip S. Green | System and method for endoscopic imaging and endosurgery |
US6267760B1 (en) * | 1998-05-05 | 2001-07-31 | Scimed Life Systems, Inc. | Surgical method and apparatus for positioning a diagnostic or therapeutic element within the body and forming an incision in tissue with minimal blood loss |
US6692485B1 (en) * | 1998-02-24 | 2004-02-17 | Endovia Medical, Inc. | Articulated apparatus for telemanipulator system |
US6770081B1 (en) * | 2000-01-07 | 2004-08-03 | Intuitive Surgical, Inc. | In vivo accessories for minimally invasive robotic surgery and methods |
CA2435416C (en) * | 2001-02-28 | 2012-11-13 | Rex Medical, L.P. | Apparatus for delivering ablation fluid to treat lesions |
US7605826B2 (en) * | 2001-03-27 | 2009-10-20 | Siemens Corporate Research, Inc. | Augmented reality guided instrument positioning with depth determining graphics |
US6733458B1 (en) * | 2001-09-25 | 2004-05-11 | Acuson Corporation | Diagnostic medical ultrasound systems and methods using image based freehand needle guidance |
US20030179308A1 (en) * | 2002-03-19 | 2003-09-25 | Lucia Zamorano | Augmented tracking using video, computed data and/or sensing technologies |
US7636595B2 (en) * | 2004-10-28 | 2009-12-22 | Medtronic Navigation, Inc. | Method and apparatus for calibrating non-linear instruments |
-
2007
- 2007-03-29 WO PCT/IL2007/000416 patent/WO2007113815A2/en active Application Filing
- 2007-03-29 EP EP07736156.6A patent/EP2008244B1/en active Active
- 2007-03-29 US US11/915,333 patent/US7876942B2/en active Active
- 2007-03-29 BR BRPI0709421-3A patent/BRPI0709421A2/pt not_active Application Discontinuation
- 2007-03-29 EP EP15002943.7A patent/EP3032456B1/en active Active
- 2007-03-29 CN CN2007800119339A patent/CN101536013B/zh active Active
- 2007-03-29 KR KR1020087024008A patent/KR20090004899A/ko not_active Application Discontinuation
- 2007-03-29 JP JP2009502331A patent/JP5146692B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000510362A (ja) * | 1996-05-03 | 2000-08-15 | エス. グリーン、フィリップ | 内視鏡的画像法と内視鏡手術のためのシステム及び方法 |
WO2005000139A1 (en) * | 2003-04-28 | 2005-01-06 | Bracco Imaging Spa | Surgical navigation imaging system |
WO2006020943A1 (en) * | 2004-08-12 | 2006-02-23 | Hansen Medical, Inc. | Robotically controlled intravascular tissue injection system |
JP2008509754A (ja) * | 2004-08-12 | 2008-04-03 | ハンセン メディカル,インク. | ロボット制御脈管内組織注入システム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008302213A (ja) * | 2007-04-17 | 2008-12-18 | C2Cure Inc | 電子アセンブリ、電子アセンブリを作成する方法 |
JP2009011813A (ja) * | 2007-04-17 | 2009-01-22 | C2Cure Inc | 電子画像化装置、カメラ及びカメラを製造する方法 |
JP2013104747A (ja) * | 2011-11-11 | 2013-05-30 | Nippon Telegr & Teleph Corp <Ntt> | 作業位置誘導装置及びその誘導方法 |
JP2015526708A (ja) * | 2012-07-03 | 2015-09-10 | ザ ステート オブ クイーンズランド アクティング スルー イッツ デパートメント オブ ヘルスThe State Of Queensland Acting Through Its Department Of Health | 医用撮像のための動き補正 |
JP2016523625A (ja) * | 2013-06-12 | 2016-08-12 | ヌール サイエド | 医療器具用の位置決めシステム |
JP2018506323A (ja) * | 2014-12-16 | 2018-03-08 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | パルス光放射マーカー装置 |
JP7487356B2 (ja) | 2016-05-16 | 2024-05-20 | トラックエックス・テクノロジー,エルエルシー | 医療処置中のエフェクタの画像定位のためのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3032456B1 (en) | 2018-04-25 |
JP5146692B2 (ja) | 2013-02-20 |
EP2008244A4 (en) | 2011-06-29 |
EP2008244A2 (en) | 2008-12-31 |
EP3032456A1 (en) | 2016-06-15 |
BRPI0709421A2 (pt) | 2011-07-12 |
CN101536013A (zh) | 2009-09-16 |
KR20090004899A (ko) | 2009-01-12 |
CN101536013B (zh) | 2013-08-28 |
US7876942B2 (en) | 2011-01-25 |
WO2007113815A2 (en) | 2007-10-11 |
EP2008244B1 (en) | 2016-04-27 |
WO2007113815A3 (en) | 2009-04-16 |
US20080208041A1 (en) | 2008-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5146692B2 (ja) | 光学的位置測定ならびに剛性または半可撓性の針の標的への誘導のためのシステム | |
US20220346886A1 (en) | Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery | |
CN108430373B (zh) | 用于在患者体内跟踪内窥镜的位置的装置和方法 | |
JP2010522573A5 (ja) | 光学的位置測定ならびに剛性または半可撓性の針の標的への誘導のためのシステム | |
EP2153794B1 (en) | System for and method of visualizing an interior of a body | |
EP2377457B1 (en) | Medical apparatus | |
US10405825B2 (en) | System and method for automatically determining calibration parameters of a fluoroscope | |
US9572539B2 (en) | Device and method for determining the position of an instrument in relation to medical images | |
EP2800534B1 (en) | Position determining apparatus | |
US8611985B2 (en) | Method and device for navigation of a surgical tool | |
US8131031B2 (en) | Systems and methods for inferred patient annotation | |
US20080119725A1 (en) | Systems and Methods for Visual Verification of CT Registration and Feedback | |
US20190047151A1 (en) | Automatic robotic arm calibration to camera system using a laser | |
JP2010519635A (ja) | 医学的画像形成のためのポインティングデバイス | |
CN111511281A (zh) | 用于外科导航系统的配准面部标志的设备和方法 | |
JP4728456B1 (ja) | 医療機器 | |
Chan et al. | A needle tracking device for ultrasound guided percutaneous procedures | |
WO2023081590A1 (en) | Bronchoscopy assistant system based on image data of the operative field | |
JP7483468B2 (ja) | 医療器具の識別 | |
WO2022125715A1 (en) | Needle guidance system | |
CN118251188A (zh) | 具有改进的器械跟踪的外科手术导航系统和导航方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120308 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120605 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120612 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120628 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20120704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5146692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |