CN102413756B - 从单目内窥镜图像估计实时深度 - Google Patents
从单目内窥镜图像估计实时深度 Download PDFInfo
- Publication number
- CN102413756B CN102413756B CN201080018543.6A CN201080018543A CN102413756B CN 102413756 B CN102413756 B CN 102413756B CN 201080018543 A CN201080018543 A CN 201080018543A CN 102413756 B CN102413756 B CN 102413756B
- Authority
- CN
- China
- Prior art keywords
- depth
- endoscopic
- endoscope
- field
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
一种内窥镜手术方法涉及将内窥镜(20)推进到身体解剖区域内的目标位置；以及在将所述内窥镜(20)推进到所述目标位置时生成多个内窥镜视频帧(22)，内窥镜视频帧(22)示出了所述解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度(例如，支气管的单目内窥镜图像内支气管壁的深度)，该方法还涉及(S41)确定所述解剖区域单目内窥镜图像的帧时间系列内一个或多个像点的光流；以及(S42)根据所述像点的光流估计表示所述单目内窥镜图像内对象深度的景深。
Description
本发明总体上涉及牵涉到内窥镜的微创手术。本发明具体涉及估计从内窥镜获得的图像中所示对象的实时深度。
通常，最小侵入性手术利用内窥镜，内窥镜是具有成像能力的长而柔软或刚性的管。在通过自然孔窍或小切口插入身体内之后，内窥镜提供感兴趣区域的图像，在外科医生执行手术时，可以通过目镜或在屏幕上观察所述图像。对手术而言重要的是图像内(一个或多个)对象的深度信息，该信息将使得外科医生能够推进内窥镜，同时避开(一个或多个)对象，并且将方便对内窥镜位置的实时跟踪。然而，内窥镜图像的帧是二维的，因此外科医生可能会失去对在图像的屏幕快照中观察到的(一个或多个)对象的深度的感知。
本发明提供了一种技术，尽管内窥镜视频帧具有二维局限，但其可以利用来自单目(monocular)内窥镜图像的内窥镜视频帧生成深度图。
本发明的一种形式是一种采用了内窥镜和内窥镜手术控制单元的最小侵入性手术系统。在工作时，在将内窥镜推进到身体解剖区域内的目标位置时，内窥镜生成多个内窥镜视频帧，所述内窥镜视频帧图示了解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度(例如，支气管的单目内窥镜图像内支气管壁的形状)，在将内窥镜推进到目标位置时，内窥镜手术控制单元接收内窥镜视频帧，从而根据解剖区域的单目内窥镜图像帧时间序列内的(一个或多个)像点的光流来估计指示解剖区域的单目内窥镜图像内对象深度的景深。
本发明的第二种形式是一种内窥镜手术方法，其涉及将内窥镜推进到身体解剖区域内的目标位置，以及在将内窥镜推进到目标位置时生成多个内窥镜视频帧，所述内窥镜视频帧图示了解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度(例如，支气管的单目内窥镜图像内支气管壁的形状)，该方法还涉及生成解剖区域的单目内窥镜图像的帧时间序列内的一个或多个像点的光流，以及根据(一个或多个)像点的光流来估计指示单目内窥镜图像内(一个或多个)像点深度的景深。
图1图示了根据本发明的最小侵入性手术系统的示范性实施例。
图2图示了表示根据本发明的深度估计方法的示范性实施例的流程图。
图3图示了表示根据本发明在图2中所示深度估计方法的第一示范性实施例的流程图。
图4图示了图3中所示流程图的示范性应用。
图5图示了现有技术中已知的示范性光流。
图6图示了现有技术中已知的示范性景深。
图7图示了现有技术中已知的示范性深度图。
图8图示了表示根据本发明在图2中所示深度估计方法的第二示范性实施例的流程图。
如图1所示，本发明的最小侵入性手术系统10采用了内窥镜20和内窥镜手术控制单元30。
在这里将内窥镜20宽泛地定义为，在结构上配置成经由光纤、透镜、微型(例如基于CCD的)成像系统等对身体(例如，人或动物)的解剖区域进行内部成像的任何装置。内窥镜20的范例包括，但不限于，任何类型的窥镜(例如，支气管窥镜、结肠镜、腹窥镜等)以及类似于装备有图像系统(例如，成像套管)的窥镜的任何装置。
在这里将单元30的外部成像装置31宽泛地定义为，在结构上配置成对身体的解剖区域进行外部成像的任何装置。外部成像装置31的范例包括，但不限于，计算机断层摄影装置、磁共振成像装置、超声装置和x射线装置。
在这里将单元30的内窥镜路径规划装置32宽泛地定义为，在结构上配置成在手术前规划运动学路径的任何装置，该运动学路径到达身体解剖区域内的目标位置，用于配置内窥镜20(例如，配置成像套管)和/或用于在到达目标位置(例如，操作对支气管窥镜的控制)过程中控制内窥镜20。在内窥镜为支气管窥镜或运动学上相似的窥镜的语境中，装置32可以使用Trovato等人的于2007年4月17日公开的题为“3D Tool Path Planning，Simulation and Control System”的国际申请WO 2007/042986A2提出的路径规划技术，以生成由外部成像装置31采集的解剖区域的3D数据集指示的身体解剖区域(例如，肺)内的内窥镜20的运动学上正确的路径。在内窥镜20为成像嵌套插管或运动学上相似装置的语境中，装置32可以使用Trovato等人的于2008年3月20日公开的题为“Active Cannula configurationFor Minimally Invasive Surgery”的国际申请WO 2008/032230A1提出的路径规划/嵌套插管配置技术，以生成由外部成像装置31采集的解剖区域的3D数据集指示的用于到达身体解剖区域(例如肺)内目标位置对于内窥镜20而言运动学上正确的配置。
在这里将单元30的内窥镜跟踪装置33宽泛地定义为，在结构上配置成跟踪内窥镜20在身体解剖区域内位置的任何装置。内窥镜跟踪装置33的一个范例是Trovato等人于2008年10月20日提交的题为“Image-BasedLocalization Method and System”的美国临时专利申请61/106669(申请人的文档编号No.010259US1)提出的基于图像的跟踪单元。内窥镜跟踪装置33的另一个范例是Konen等人的于2004年10月4日公布的题为“Methodand System for Image-Guided Interventional endoscopic Procedures”的美国专利No.6135946提出的光学跟踪装置。内窥镜跟踪装置33的另一范例是市场上可买到的任何电磁跟踪单元，例如市场上可买到的来自superDimension公司的inReachTM系统的电磁跟踪单元。
在这里将单元30的深度估计装置34宽泛地定义为，在结构上配置成从内窥镜20采集的帧时间序列(即，依据任意类型的时间序列的两个或更多幅图像)中像点/特征的实际运动的图案(pattern)估计景深的任何装置。在实践中，可以由单元30利用深度估计装置34估计景深，以在为内窥镜20到达解剖区域内的目标位置而生成手术前配置时和/或在生成运动学路径的手术前计划以控制内窥镜20到达目标位置时，辅助内窥镜路径规划装置32。此外，在实践中，可以由单元30利用深度估计装置34来估计景深，以便于来自内窥镜20的内窥镜图像与装置31采集的手术前图像的配准，和/或在将内窥镜20推进到目标位置时加强对内窥镜20在解剖区域内位置的实时跟踪。此外，在实践中，深度估计装置34可以独立于来自单元30的其他装置而工作或在内部并入到单元30的其他装置之一中。
图2所示的流程图40表示由深度估计装置34(图1)执行的本发明的深度估计方法。对于这种方法而言，深度估计装置34从流程图40的阶段S41开始，以确定内窥镜20采集的单目内窥镜图像的帧时间序列中像点/特征的运动的光流。接下来，或者与阶段S41的执行同时，深度估计装置34继续进行到流程图40的阶段S42，以从光流估计景深，其中景深指示单目内窥镜图像中一个或多个对象的深度，并在流程图40的阶段S43中使用景深估计来显示深度图。
图3所示的流程图50表示流程图40的示范性实施例(图2)。具体而言，装置34确定光流涉及在流程图50的阶段S52期间生成包括多个矢量的矢量场，每个矢量表示单目内窥镜图像内(例如，两个单目内窥镜图像之间)特定图像点的运动。例如，如图4所示，可以通过表示单目内窥镜图像内像点的运动的矢量(例如，图5中所示的矢量场70)来确定在内窥镜20穿过支气管61内的内窥镜路径21时由内窥镜20拍摄的患者60的支气管61的帧时间序列22中每个内窥镜视频帧的像点/特征的运动的光流。
此外，可以针对内窥镜跟踪装置33跟踪的给定帧从内窥镜20的相对位置计算两个内窥镜视频帧之间的内窥镜20的速度。考虑到假设在帧之间内窥镜20观察的是固定对象，所以帧可以是联贯的或有一些延迟。给定内窥镜20的速度，可以从光流上在相继切片中不运动的点来估计景深，这样的点被称为扩展焦点(“FOE”)，这是因为内窥镜20的光轴是与其运动对准的，并且因此FOE是与内窥镜20的运动对准的。知道了(1)每个点与流程图50的阶段S52识别的FOE之间的距离D，(2)每个点中光流的幅度V和(3)内窥镜20的速度V，可以计算每个点的深度信息。具体而言，深度估计装置34根据以下方程[1]在流程图50的阶段S53期间针对每个像点计算深度信息：
Z＝v*D/V [1]
其中Z是像点的深度。在这种情况下，可以从内窥镜20的固有参数(例如焦点等)计算X和Y位置。
例如，如图4所示，内窥镜跟踪装置33向深度估计装置34提供跟踪数据35，使得深度估计装置34能够在生成帧时间序列23时确定内窥镜20的速度v。这样一来，基于已知每个像点距矢量场中识别的FOE的距离D以及每个点中光流的幅度V，深度估计装置34针对所计算的帧时间序列23的矢量场内的每个点计算Z深度，以估计景深36(例如，图6中所示的景深71)，并生成深度图37(例如，图7中所示的经彩色编码的景深72)。
图8所示的流程图80表示流程图40(图2)的备选实施例。流程图80基于同一场景的两幅视图的立体视觉(即，在稍微不同的时间拍摄的两幅内窥镜视频帧)。具体而言，当在流程图80的阶段S81期间生成矢量场时，并假定内窥镜20正被装置33跟踪，那么对于两幅视图而言内窥镜20的相对位置也是已知的。对于这种情况，将坐标系关联至摄像机姿态，生成第一幅视图。因此，相对于第一幅视图生成第二幅视图的已知姿态是利用3×3旋转矩阵R和3×1平移矢量t定义的。此外，假设内窥镜20的固有摄像机参数是已知的(例如，从摄像机数据手册或从已知的校准方法得知的)，可以定义摄像机固有的3×3矩阵K。从这些数据，流程图80的阶段S82涉及根据以下方程[2]和[3]针对第一视图P1和第二视图P2计算4×4投影矩阵：
P1＝[I|0] [2]
P2＝K*[R|T]*K-1 [3]
流程图80的阶段S83涉及投影矩阵投影元的几何三角测量，以计算每个像点的深度。
如果内窥镜20未被装置33跟踪，可以利用矢量场执行类似程序以估计投影矩阵。在这种情况下，将仅按照比例因子估计深度，实际的物理深度是不知道的。
尽管已经参考示范性方面、特征和实施描述了本发明，但公开的系统和方法不限于这样的示范性方面、特征和/或实施。相反，本领域的技术人员从这里提供的描述将明了，容易对所公开的系统和方法进行修改、变更和改进，而不脱离本发明的主旨或范围。因此，本发明明确地涵盖其范围内的这种修改、变更和增强。
Claims (13)
1.一种微创手术系统（10），包括：
内窥镜（20），其用于在将所述内窥镜（20）推进到身体解剖区域内的目标位置时生成多个内窥镜视频帧（22），所述内窥镜视频帧（22）图示了所述解剖区域的单目内窥镜图像；以及
内窥镜手术控制单元（30），其与所述内窥镜（20）通信，以在将所述内窥镜（20）推进到所述目标位置时接收所述内窥镜视频帧（22），
其中，所述内窥镜手术控制单元（30）能够用于根据所述解剖区域的所述单目内窥镜图像的帧时间序列内的至少一个像点的光流来估计景深（36），所述景深指示所述解剖区域的所述单目内窥镜图像内的对象的深度，并且
其中，所述内窥镜手术控制单元（30）能够用于通过生成包括多个矢量的矢量场来确定所述光流，其中，每个矢量指示所述帧时间序列内的像点之一的运动。
2.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）还能够用于生成表示景深估计的深度图显示（37）。
3.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）还能够用于根据所述景深估计将所述单目内窥镜图像与所述身体解剖区域的手术前图像配准。
4.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）还能够用于在手术前规划所述内窥镜（20）到达所述解剖区域内的所述目标位置的运动学路径（21）。
5.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）还能够用于在将所述内窥镜（20）推进到所述解剖区域内的所述目标位置时跟踪所述内窥镜（20）在所述解剖区域内的位置。
6.根据权利要求5所述的微创手术系统（10），其中，生成所述解剖区域的所述单目内窥镜图像的帧时间序列内的所述至少一个像点的所述光流包括跟踪所述内窥镜（20）在所述解剖区域内的位置。
7.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜（20）是包括支气管窥镜和嵌套插管的组中的一个。
8.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）能够用于通过如下操作来估计所述景深：
（S52）识别所述矢量场内的扩展焦点；以及
（S53）根据每个像点与所述扩展焦点的距离计算针对每个像点的深度点。
9.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）能够用于通过如下操作来估计所述景深：
（S53）根据所述矢量场中每个矢量的幅度计算针对每个像点的深度点。
10.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）能够用于通过如下操作来估计所述景深：
（S53）根据所述矢量场中每个矢量的速度计算针对像点的深度点。
11.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）能够用于通过如下操作来估计所述景深：
（S82）根据所述矢量场计算投影矩阵。
12.根据权利要求11所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）能够用于通过如下操作来估计所述景深：
（S83）根据所述投影矩阵的投影元的几何三角测量来计算针对每个像点的深度点。
13.根据权利要求1所述的微创手术系统（10），其中，所述内窥镜手术控制单元（30）还能够用于：
（S43）显示表示所述景深估计的深度图（37）。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17372209P | 2009-04-29 | 2009-04-29 | |
| US61/173,722 | 2009-04-29 | ||
| PCT/IB2010/051316 WO2010125481A1 (en) | 2009-04-29 | 2010-03-25 | Real-time depth estimation from monocular endoscope images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102413756A CN102413756A (zh) | 2012-04-11 |
| CN102413756B true CN102413756B (zh) | 2015-04-01 |
Family
ID=42269384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080018543.6A Expired - Fee Related CN102413756B (zh) | 2009-04-29 | 2010-03-25 | 从单目内窥镜图像估计实时深度 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9750399B2 (zh) |
| EP (1) | EP2424422B1 (zh) |
| JP (1) | JP2012525190A (zh) |
| CN (1) | CN102413756B (zh) |
| BR (1) | BRPI1007100A2 (zh) |
| RU (1) | RU2529380C2 (zh) |
| WO (1) | WO2010125481A1 (zh) |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2424422B1 (en) | 2009-04-29 | 2019-08-14 | Koninklijke Philips N.V. | Real-time depth estimation from monocular endoscope images |
| US8672837B2 (en) | 2010-06-24 | 2014-03-18 | Hansen Medical, Inc. | Methods and devices for controlling a shapeable medical device |
| DE112010006052T5 (de) | 2010-12-08 | 2013-10-10 | Industrial Technology Research Institute | Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden |
| EP2670291A4 (en) * | 2011-02-04 | 2015-02-25 | Penn State Res Found | METHOD AND DEVICE FOR DETERMINING THE LOCATION OF AN ENDOSCOPE |
| KR101941907B1 (ko) | 2013-01-03 | 2019-01-24 | 삼성전자주식회사 | 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법 |
| CN104968252A (zh) * | 2013-02-05 | 2015-10-07 | 奥林巴斯株式会社 | 自动辅助手术系统及其控制方法 |
| US9057600B2 (en) | 2013-03-13 | 2015-06-16 | Hansen Medical, Inc. | Reducing incremental measurement sensor error |
| US9271663B2 (en) | 2013-03-15 | 2016-03-01 | Hansen Medical, Inc. | Flexible instrument localization from both remote and elongation sensors |
| US9014851B2 (en) | 2013-03-15 | 2015-04-21 | Hansen Medical, Inc. | Systems and methods for tracking robotically controlled medical instruments |
| US9629595B2 (en) | 2013-03-15 | 2017-04-25 | Hansen Medical, Inc. | Systems and methods for localizing, tracking and/or controlling medical instruments |
| CN104103062A (zh) * | 2013-04-08 | 2014-10-15 | 富士通株式会社 | 图像处理设备和图像处理方法 |
| US11020016B2 (en) | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
| EP4070723A1 (en) | 2015-09-18 | 2022-10-12 | Auris Health, Inc. | Navigation of tubular networks |
| US10143526B2 (en) | 2015-11-30 | 2018-12-04 | Auris Health, Inc. | Robot-assisted driving systems and methods |
| JP6908039B2 (ja) * | 2016-06-17 | 2021-07-21 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
| EP3264763A1 (en) * | 2016-06-29 | 2018-01-03 | Thomson Licensing | Method and apparatus for improved significance flag coding using simple local predictor |
| US10244926B2 (en) | 2016-12-28 | 2019-04-02 | Auris Health, Inc. | Detecting endolumenal buckling of flexible instruments |
| KR102558061B1 (ko) | 2017-03-31 | 2023-07-25 | 아우리스 헬스, 인코포레이티드 | 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템 |
| US10022192B1 (en) * | 2017-06-23 | 2018-07-17 | Auris Health, Inc. | Automatically-initialized robotic systems for navigation of luminal networks |
| CN110913788B (zh) | 2017-06-28 | 2024-03-12 | 奥瑞斯健康公司 | 电磁失真检测 |
| US11832889B2 (en) | 2017-06-28 | 2023-12-05 | Auris Health, Inc. | Electromagnetic field generator alignment |
| US11058493B2 (en) | 2017-10-13 | 2021-07-13 | Auris Health, Inc. | Robotic system configured for navigation path tracing |
| US10555778B2 (en) | 2017-10-13 | 2020-02-11 | Auris Health, Inc. | Image-based branch detection and mapping for navigation |
| CN108780577A (zh) * | 2017-11-30 | 2018-11-09 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
| EP3684562A4 (en) | 2017-12-14 | 2021-06-30 | Auris Health, Inc. | SYSTEM AND METHOD OF ESTIMATING THE LOCATION OF AN INSTRUMENT |
| WO2019125964A1 (en) | 2017-12-18 | 2019-06-27 | Auris Health, Inc. | Methods and systems for instrument tracking and navigation within luminal networks |
| CN108459417B (zh) * | 2018-02-05 | 2020-06-26 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
| MX2020010117A (es) | 2018-03-28 | 2020-11-06 | Auris Health Inc | Sistemas y metodos para mostrar la ubicacion estimada de instrumento. |
| MX2020010112A (es) | 2018-03-28 | 2020-11-06 | Auris Health Inc | Sistemas y metodos para el registro de sensores de ubicacion. |
| CN108932734B (zh) | 2018-05-23 | 2021-03-09 | 浙江商汤科技开发有限公司 | 单目图像的深度恢复方法及装置、计算机设备 |
| JP7250824B2 (ja) | 2018-05-30 | 2023-04-03 | オーリス ヘルス インコーポレイテッド | 位置センサベースの分岐予測のためのシステム及び方法 |
| CN110831538B (zh) | 2018-05-31 | 2023-01-24 | 奥瑞斯健康公司 | 基于图像的气道分析和映射 |
| MX2020012897A (es) | 2018-05-31 | 2021-05-27 | Auris Health Inc | Sistemas roboticos y metodos para navegacion de la red luminal que detectan ruido fisiologico. |
| JP7371026B2 (ja) | 2018-05-31 | 2023-10-30 | オーリス ヘルス インコーポレイテッド | 管状網の経路ベースのナビゲーション |
| RU2698402C1 (ru) * | 2018-08-30 | 2019-08-26 | Самсунг Электроникс Ко., Лтд. | Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты) |
| US12076100B2 (en) | 2018-09-28 | 2024-09-03 | Auris Health, Inc. | Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures |
| CN110490856B (zh) * | 2019-05-06 | 2021-01-15 | 腾讯医疗健康(深圳)有限公司 | 医疗内窥镜图像的处理方法、系统、机器设备和介质 |
| CN110473619B (zh) * | 2019-08-16 | 2022-05-27 | 电子科技大学 | 基于深度学习的纤支镜插管辅助决策系统 |
| WO2021038469A1 (en) | 2019-08-30 | 2021-03-04 | Auris Health, Inc. | Systems and methods for weight-based registration of location sensors |
| JP7451686B2 (ja) | 2019-08-30 | 2024-03-18 | オーリス ヘルス インコーポレイテッド | 器具画像信頼性システム及び方法 |
| KR20220056220A (ko) | 2019-09-03 | 2022-05-04 | 아우리스 헬스, 인코포레이티드 | 전자기 왜곡 검출 및 보상 |
| CN118383870A (zh) | 2019-12-31 | 2024-07-26 | 奥瑞斯健康公司 | 用于经皮进入的对准界面 |
| KR20220123273A (ko) | 2019-12-31 | 2022-09-06 | 아우리스 헬스, 인코포레이티드 | 해부학적 특징부 식별 및 표적설정 |
| EP4084720A4 (en) | 2019-12-31 | 2024-01-17 | Auris Health, Inc. | ALIGNMENT TECHNIQUES FOR PERCUTANE ACCESS |
| US12087007B2 (en) * | 2021-03-31 | 2024-09-10 | Auris Health, Inc. | Vision-based 6DOF camera pose estimation in bronchoscopy |
| CN113379821B (zh) * | 2021-06-23 | 2022-10-11 | 武汉大学 | 一种基于深度学习的稳定单目视频深度估计方法 |
| US11928830B2 (en) | 2021-12-22 | 2024-03-12 | Honeywell International Inc. | Systems and methods for generating three-dimensional reconstructions of environments |
| CN116965751B (zh) * | 2022-11-28 | 2024-07-05 | 开立生物医疗科技(武汉)有限公司 | 内窥镜移动速度检测方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100234196B1 (ko) * | 1996-12-31 | 1999-12-15 | 윤종용 | 2차원 비디오 영상으로부터 높이 맵 생성방법 |
| CN101271578A (zh) * | 2008-04-10 | 2008-09-24 | 清华大学 | 一种平面视频转立体视频技术中的深度序列生成方法 |
| CN101282693A (zh) * | 2005-10-11 | 2008-10-08 | 皇家飞利浦电子股份有限公司 | 3d工具路径规划、模拟和控制系统 |
| WO2009024349A1 (en) * | 2007-08-22 | 2009-02-26 | Honda Research Institute Europe Gmbh | Estimating objects proper motion using optical flow, kinematics and depth information |
| EP2030558A1 (en) * | 2006-05-31 | 2009-03-04 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4574199A (en) * | 1983-01-27 | 1986-03-04 | Diffracto Ltd. | Sensing location of an object |
| US5243665A (en) * | 1990-03-07 | 1993-09-07 | Fmc Corporation | Component surface distortion evaluation apparatus and method |
| JP3250126B2 (ja) * | 1993-12-02 | 2002-01-28 | 本田技研工業株式会社 | 移動物体検出装置 |
| JPH07234935A (ja) * | 1994-02-22 | 1995-09-05 | Meidensha Corp | 物体の３次元運動推定方法 |
| US6384859B1 (en) | 1995-03-29 | 2002-05-07 | Sanyo Electric Co., Ltd. | Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information |
| US5920394A (en) * | 1995-09-01 | 1999-07-06 | Research Corporation Technologies, Inc. | Optical coordinate measuring machine |
| JP4113591B2 (ja) | 1997-06-23 | 2008-07-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像誘導手術システム |
| DE19961971B4 (de) | 1999-12-22 | 2009-10-22 | Forschungszentrum Karlsruhe Gmbh | Vorrichtung zum sicheren automatischen Nachführen eines Endoskops und Verfolgen eines Instruments |
| FI108900B (fi) * | 1999-12-28 | 2002-04-15 | Martti Kesaeniemi | Optinen vuo ja kuvan muodostaminen |
| JP4195574B2 (ja) | 2002-04-05 | 2008-12-10 | 日本放送協会 | 立体内視鏡 |
| US6847728B2 (en) | 2002-12-09 | 2005-01-25 | Sarnoff Corporation | Dynamic depth recovery from multiple synchronized video streams |
| US8064684B2 (en) * | 2003-04-16 | 2011-11-22 | Massachusetts Institute Of Technology | Methods and apparatus for visualizing volumetric data using deformable physical object |
| US20050084135A1 (en) | 2003-10-17 | 2005-04-21 | Mei Chen | Method and system for estimating displacement in a pair of images |
| CN1894618A (zh) | 2003-12-19 | 2007-01-10 | 恩里克·德·方特－里奥克斯－罗雅斯 | 用于立体观察实时或静态图像的系统 |
| DE102004027709B4 (de) | 2004-06-07 | 2006-08-10 | Siemens Ag | Verfahren der virtuellen Endoskopie zur medizinischen 3D-Bilddarstellung und -verarbeitung, Computertomografiegerät, Arbeitsstation und Computerprogrammprodukt |
| US20060020562A1 (en) * | 2004-07-21 | 2006-01-26 | University Of Southern Mississippi | Apparatus and method for estimating optical flow |
| EP2105698A1 (en) * | 2005-04-11 | 2009-09-30 | Faro Technologies, Inc. | Three-dimensional coordinate measuring device |
| US8712115B2 (en) | 2005-04-19 | 2014-04-29 | Siemens Medical Solutions Usa, Inc. | Real-time virtual endoscopy |
| US8073528B2 (en) * | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
| JP5525727B2 (ja) * | 2005-05-23 | 2014-06-18 | ザ ペン ステイト リサーチ ファンデーション | ３ｄ−２ｄ姿勢推定に基づく案内方法及び生の気管支鏡検査への応用を有する３ｄ−ｃｔレジストレーション |
| US7756563B2 (en) | 2005-05-23 | 2010-07-13 | The Penn State Research Foundation | Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy |
| CA2620196A1 (en) | 2005-08-24 | 2007-03-01 | Traxtal Inc. | System, method and devices for navigated flexible endoscopy |
| JP5276987B2 (ja) | 2005-11-15 | 2013-08-28 | ザ・ジョンズ・ホプキンス・ユニバーシティー | バイオセンシング及び外科的処置のための能動的カニューレ |
| US20070167714A1 (en) | 2005-12-07 | 2007-07-19 | Siemens Corporate Research, Inc. | System and Method For Bronchoscopic Navigational Assistance |
| WO2008024419A1 (en) * | 2006-08-21 | 2008-02-28 | Sti Medical Systems, Llc | Computer aided analysis using video from endoscopes |
| JP5722542B2 (ja) * | 2006-09-14 | 2015-05-20 | コーニンクレッカ フィリップス エヌ ヴェ | アクティブカニューレシステム |
| TWI342436B (en) | 2006-11-03 | 2011-05-21 | Chimei Innolux Corp | Backlight module and liquid crystal display using same |
| US8672836B2 (en) * | 2007-01-31 | 2014-03-18 | The Penn State Research Foundation | Method and apparatus for continuous guidance of endoscopy |
| US7813538B2 (en) * | 2007-04-17 | 2010-10-12 | University Of Washington | Shadowing pipe mosaicing algorithms with application to esophageal endoscopy |
| US8514218B2 (en) * | 2007-08-14 | 2013-08-20 | Siemens Aktiengesellschaft | Image-based path planning for automated virtual colonoscopy navigation |
| US8547887B2 (en) | 2007-12-31 | 2013-10-01 | Shoretel, Inc. | Wireless interface control to reduce power consumption |
| WO2009156892A1 (en) * | 2008-06-25 | 2009-12-30 | Koninklijke Philips Electronics, N.V. | Nested cannulae for minimally invasive surgery |
| EP2424422B1 (en) | 2009-04-29 | 2019-08-14 | Koninklijke Philips N.V. | Real-time depth estimation from monocular endoscope images |
| US9599456B2 (en) * | 2009-11-26 | 2017-03-21 | Werth Messtechnik Gmbh | Method and arrangement for tactile-optical determination of the geometry of a measurement object |
| KR101428296B1 (ko) | 2012-12-18 | 2014-08-08 | 현대오트론 주식회사 | 차량용 카메라 모듈 및 이를 포함하는 모니터링 시스템 |
-
2010
- 2010-03-25 EP EP10716885.8A patent/EP2424422B1/en active Active
- 2010-03-25 CN CN201080018543.6A patent/CN102413756B/zh not_active Expired - Fee Related
- 2010-03-25 JP JP2012507853A patent/JP2012525190A/ja active Pending
- 2010-03-25 WO PCT/IB2010/051316 patent/WO2010125481A1/en active Application Filing
- 2010-03-25 US US13/266,465 patent/US9750399B2/en active Active
- 2010-03-25 RU RU2011148415/14A patent/RU2529380C2/ru not_active IP Right Cessation
- 2010-03-25 BR BRPI1007100A patent/BRPI1007100A2/pt not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100234196B1 (ko) * | 1996-12-31 | 1999-12-15 | 윤종용 | 2차원 비디오 영상으로부터 높이 맵 생성방법 |
| CN101282693A (zh) * | 2005-10-11 | 2008-10-08 | 皇家飞利浦电子股份有限公司 | 3d工具路径规划、模拟和控制系统 |
| EP2030558A1 (en) * | 2006-05-31 | 2009-03-04 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
| WO2009024349A1 (en) * | 2007-08-22 | 2009-02-26 | Honda Research Institute Europe Gmbh | Estimating objects proper motion using optical flow, kinematics and depth information |
| CN101271578A (zh) * | 2008-04-10 | 2008-09-24 | 清华大学 | 一种平面视频转立体视频技术中的深度序列生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2011148415A (ru) | 2013-06-10 |
| EP2424422B1 (en) | 2019-08-14 |
| EP2424422A1 (en) | 2012-03-07 |
| JP2012525190A (ja) | 2012-10-22 |
| US9750399B2 (en) | 2017-09-05 |
| CN102413756A (zh) | 2012-04-11 |
| RU2529380C2 (ru) | 2014-09-27 |
| US20120056986A1 (en) | 2012-03-08 |
| BRPI1007100A2 (pt) | 2016-03-01 |
| WO2010125481A1 (en) | 2010-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102413756B (zh) | 从单目内窥镜图像估计实时深度 | |
| US11503986B2 (en) | Robotic systems and methods for navigation of luminal network that detect physiological noise | |
| CN103313675B (zh) | 用于内窥镜手术的术中照相机校准 | |
| EP1761160B1 (en) | System and method for image-based alignment of an endoscope | |
| CN102711650B (zh) | 用于内窥镜手术的基于图像整合的配准和导航 | |
| US10506991B2 (en) | Displaying position and optical axis of an endoscope in an anatomical image | |
| US20180071032A1 (en) | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera | |
| US20130259315A1 (en) | Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same | |
| US20090088634A1 (en) | Tool tracking systems and methods for image guided surgery | |
| CA2808757A1 (en) | System and method for determining camera angles by using virtual planes derived from actual images | |
| JP2012165838A (ja) | 内視鏡挿入支援装置 | |
| CA3180841A1 (en) | Using real-time images for augmented-reality visualization of an ophthalmic surgical tool | |
| Luo et al. | Towards hybrid bronchoscope tracking under respiratory motion: evaluation on a dynamic motion phantom | |
| Maharjan et al. | A novel visualization system of using augmented reality in knee replacement surgery: Enhanced bidirectional maximum correntropy algorithm | |
| KR20190004591A (ko) | 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법 | |
| Deguchi et al. | A method for bronchoscope tracking using position sensor without fiducial markers | |
| Eom et al. | Did You Do Well? Real-Time Personalized Feedback on Catheter Placement in Augmented Reality-Assisted Neurosurgical Training | |
| EP4120917B1 (en) | Patient preparation for medical imaging | |
| KR102708210B1 (ko) | 영상 가이드 수술 방법 및 장치 | |
| CN118021445A (zh) | 一种骨科内窥镜导航方法及系统 | |
| Zhang | Combination Technology of SLAM And VR For Minimally Invasive Surgery | |
| Cortadellas et al. | New concepts for intraoperative navigation: calibration of a 3-D laparoscope | |
| Girard et al. | Active self-calibration of thoracoscopic images for assisted minimally invasive spinal surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150401 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |