Nothing Special   »   [go: up one dir, main page]

CN1639675B - 与三维图像中表示的三维表面互动的图像处理方法 - Google Patents

与三维图像中表示的三维表面互动的图像处理方法 Download PDF

Info

Publication number
CN1639675B
CN1639675B CN02813533.4A CN02813533A CN1639675B CN 1639675 B CN1639675 B CN 1639675B CN 02813533 A CN02813533 A CN 02813533A CN 1639675 B CN1639675 B CN 1639675B
Authority
CN
China
Prior art keywords
view
dimensional
image processing
model
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN02813533.4A
Other languages
English (en)
Other versions
CN1639675A (zh
Inventor
J·-M·鲁埃
M·弗拉金
S·马克拉姆-埃贝德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN1639675A publication Critical patent/CN1639675A/zh
Application granted granted Critical
Publication of CN1639675B publication Critical patent/CN1639675B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及利用二维显示装置显示处理过的三维物体的图像并与显示的三维物体的表面互动的图像处理方法,包括构成并显示三维物体表面的至少两个耦接的视图,两个视图包括一个球形三维视图和物体表面上进行互动的连接的局部二维视图。本方法还包括在两个视图的一个中的物体表面上互动导航,并处理所述视图中的数据,自动更新另一耦接视图中的对应数据。

Description

与三维图像中表示的三维表面互动的图像处理方法
本发明涉及一种图像处理方法,利用二维显示装置显示三维(3-D)物体处理过的图像,并与显示的三维物体的表面互动。本发明还涉及医用成像设备或系统,并涉及用于处理由这些设备或系统产生的医用三维图像并与肌体器官等三维物体的表面互动的程序产品。
本发明发现了在医学成像法和程序产品领域以及医用成像设备或系统的具体应用。
人体中管状结构的二维及三维成像系统通过美国专利US5,891,030(Johnson等)已为公众所知。该系统例如利用医用成像装置、如电脑层析照相法(CT)扫描仪和计算机工作站对活体的消化道成像。CT扫描仪用于产生人体结肠的截面轴向图像,然后传递给计算机工作站。随着结肠官腔确定结肠中线。计算机工作站通过产生并显示重新格式化的横截面图像、对于容积的探查和内腔视野来支持结肠中线的明确性。还包括半自动中线确定工具。中线确定之后,显示一个用于诊断目的的图像剪辑。该图像包括轴向部分、半腔横截面和关于内腔容积的图像。
因此,立体图像数据用于产生二维改换格式的视图和三维再现以及对数据的导航。该专利只侧重于柱状和管状表面。根据确定的中线前产生改换格式的二维图像和再现图像再现,并再用于导航。导航限制在预定中线路径周围的区域。因为视场有限并且因而有些表面部位被禁止,所以与模型的直接三维互动很困难。对于用户的困难在于在三维表面上表示且直接绘制线条、轮廓、区域以及与三维图像数据一般地互动。
本发明涉及利用二维显示装置表示三维物体以及在显示的三维物体表面导航并与之互动的图像处理方法。更具体地说,本发明涉及一种利用二维显示装置表示三维物体并在显示的三维肌体器官表面导航和与之互动的图像处理方法,其中三维物体是不限于管状形状的三维肌体器官,可以有很多的盘旋(rotondities)及旋绕代替。
表示三维物体的三维图像通常显示在与计算装置和二维接口装置相关联的二维显示屏上,二维接口装置例如是一个连接到计算装置的鼠标,用于对显示屏上看到的三维图像动作。利用二维鼠标对显示在二维屏幕上的三维图像动作时出现的问题是操作者难以互动操纵三维数据以及同时在三维环境中循环或导航。例如,难以在用鼠标移动或转动三维物体或改变视点的同时选择一个区域、绘制一个轮廓等。甚至当利用网格模型对显示在三维图像中的三维物体分区时,也注意到网格模式难以操纵。附加的一个问题是在医学图像中,代表一个器官的三维物体可以表示使得其表面的可视化以及在其表面的导航都很困难的旋绕。注意,旋绕使得三维数据的处理以及三维表面的二维表像非常困难。
本发明的目的在于提出一种能够易于在三维图像表示的三维物体表面导航的方法。根据本发明,此方法包括三维物体表面的至少两个耦接视图的构成及显示,包括一个球形三维视图和在其上进行局部互动的物体表面连接的局部二维视图。
在权利要求1中保护了提出的一种图像处理方法。
本发明的优点在于在与原始图像数据保形之前提取并检验模型。在医学领域,相关的医学信息可以映射到模型表面。这些医学信息可以代表图像纹理、颜色编码或任何其它可视方式(如灌注、运动、张紧)。
本发明的另一目的在于提供这样一种方法,包括在两个用于处理视图中的数据的视图中的一个中的物体表面上互动导航,其中另一耦接视图中的对应的数据自动更新。
本发明的另一目的在于提供一种成像系统,该系统具有用于显视图像的显示装置,用于对图像数据起作用的接口装置,并具有执行本方法的处理装置。利用成像系统显示耦接的球形三维视图和三维物体表面的局部二维视图。操作者可以例如通过用鼠标点击钮将光标定位到三维表面而选择一个三维视图中由焦点表示的开始导航点。焦点周围的一个区域被自动地投影到二维视图中。为了在三维环境中互动导航,用户只需要在二维视图中导航并在二维视图中处理数据,这比在三维视图中容易。利用二维与三维视图间的耦接,在三维视图中自动且同时更新数据处理。另外,因为两幅视图同时更新,所以焦点可以恒定地设置在两幅视图的中心。因此,操作者可以用二维视图作为还被称作“虚拟鼠标垫”的工具。操作者通过在虚拟鼠标垫上滑动而在二维视图中导航,这导致操作者可以在三维表面连续滑动。操作者还可以在三维视图中重新定位焦点以在二维视图中完成既定的任务。
本发明还涉及一种具有图像处理装置的X射线医用检查设备以及用于执行本方法的程序产品或程序包。
下面参考附图对本发明做详细的描述,其中:
图1A表示在二维屏幕上第一窗口中三维物体的球形三维视图,图1B表示第二窗口中的一个投影的二维局部视图,它们根据图像处理方法进行处理;
图2A和2B分别表示根据图1B的箭头移位之后更新的球形三维视图和投影的局部视图;
图3A和3B分别表示带有标记的图1A和1B的球形三维视图和投影的局部视图;
图4A和4B分别表示带有标记的图2A和2B的球形三维视图和投影的局部视图;
图5A和5B表示用于投影三维物体的一个区域并形成局部二维视图的投影技术;
图6表示一个具有执行图像处理方法的系统的设备。
本发明涉及一种应用到例如由灰度水平表示的三维图像的图像处理方法。图像可以由一个医学检查设备提供,并可以代表称作物体的器官的三维表面,不限于管状器官。为了给用户提供更好的例如相对于背景的物体视图,可以对物体分区。
利用一个包括显示装置如二维屏幕的成像系统显示代表三维物体的三维图像,其中显示装置与计算装置以及用于对图像导航和动作的二维接口装置如鼠标相关联。
图像处理方法包括关于三维物体表面的至少两个耦接视图的同步显示的构成,包括物体表面的球形三维视图和局部二维视图,其中在三维视图上进行局部互动和同时更新。
本方法包括静态和动态表示两个耦接视图的方法。操作者可以例如通过用用户接口装置如鼠标点击钮将光标定位到三维表面而选择一个三维视图中由焦点表示的开始导航点。界定焦点周围的一个区域并自动地将其投影到二维视图中。根据本发明的方法,可以自动地界定区域的大小以避免像元的畸变超过预定的阈值。作为畸变的函数,可以对区域的各个部分分配不同的颜色。一般地,区域中指定点的畸变是分开此点与焦点的距离的反函数。另外,根据本方法,视图还有用于形成相应标记的取向装置。叠加到三维视图上的取向轴线形成一个第一标记,叠加到二维视图上的对应取向轴线形成一个对应的第二标记。优选不同的轴线着不同的颜色,并且对应的轴线着相同的颜色,以便允许操作者能够在两个视图的每个视图中很容易地识别它们。
本方法还包括动态表示耦接视图的方法。此方法包括在用于处理数据的两个视图中的一个中的物体表面互动导航,其中所述的视图自动更新耦接视图中对应的数据。为了在三维环境中互动导航,用户只需在二维视图中导航并在二维视图中处理数据,这比在三维视图中容易很多。由于二维和三维视图的耦接,在三维视图中自动和同步地更新数据处理。另外,因为两幅视图同时更新,所以焦点和标记可以恒定地设置在两幅视图的中心。因此,操作者可以用二维视图作为被称作“虚拟鼠标垫”的工具。通过在二维视图中导航,操作者可以在三维表面连续滑动。操作者还可以在三维视图中重新定位焦点和标记以在二维视图中完成既定的任务。相反,通过指点二维视图,操作者可以更新三维视图。
本图像处理方法包括下列步骤:
1)获取意中物体的三维图像
获取三维图像的方法不是本发明的内容。本方法可以应用到器官的三维图像上,而三维图像通过超声系统或X线设备或本领域技术人员公知的其它系统获得。三维物体示于图1A中。在此例中,根据H.Delingette在题为“SimplexMeshes:aGeneralRepresentationfor3-DshapeReconstruction”的,公开于“ProcessingoftheInternationalConferenceonComputerVisionandPatternRecognition(CVPR’94),20-24June1994,Seattle,UAS”的公开物中揭示的分区技术对三维物体分区。在此论文中给出了一种恢复三维物体的物理方法。该方法是基于“SimplexMeshes”的几何学。网格的弹性性能通过控制在每个顶点(网格的节点)处抽取的单纯角的平均曲率的局部稳定功能来塑造。这些功能是观查点不变的、本征的以及尺度敏感的。因此,单纯的网格是非常适应的结构。提高网格在高度弯曲或不精确部位的分辨率的改进方法包括连接单纯的网格以从具有简单形状的部分中恢复复杂的网格。一个单纯的网格具有恒定的顶点连接性,每个顶点连接到三个相邻的顶点。它可以表示所有类型的可取向表面。定义四种独立的变换以实现所有可能范围内的网格变换。它们在一个面中插入或删除边缘。变形隐含着内力和外力。内力决定物理模型对外部限制的反应。内力表现为本征观察点不变的,并且是与尺度有关的。对于轮廓保持相似类型的限制。因此,引证的公开物提供了用于表示指定三维物体的简单模型。它定义了施加的力,以便将模型重新整形并调节成所关心的三维物体。“SimplexMeshtechnique(单纯网格技术)”是一种提供强制分区图像的互动方法。
2)静态表示两个耦接的视图
参见图1A和1B,在一个屏幕中构成并显示一组两个耦接的视窗。如图1A所示,此组耦接视窗包括用于显示意中物体的三维球形视图的第一视窗32A。对此三维球形视图分区,由此表示带有单纯网格模型的面和边的三维物体。在图1A中,作为一个例子,分区的物体是一个球形或圆形物体10。最好在第一视窗32A的子视窗31A中设置提示,表明视图表示三维球形物体。如图1B所示,此组耦接的视图还包括一个第二视窗32B,用于显示意中物体的局部区域的二维投影视图。第二视窗32B在子视窗31B中有提示,表明视图代表局部二维视图。
用户例如通过在网格模型表面10上定位鼠标光标并点击鼠标钮来选择三维球形视图32A中的开始导航点P0。用户点击的该点也被称为焦点。在本例中,焦点P0位于网格模型的面11A中。利用本领域技术人员公知的平化技术把焦点P0周围未折叠的区域12A投影到第二视窗32B的二维视图中,形成一个投影表面12B。限制投影表面12B的面积尺寸以避免投影畸变。
为了易于使焦点P0和投影区12A、12B可视化,可以对所关心的区域分配不同的颜色。例如,对耦接的第一和第二视窗中焦点位于的网格模型的面11A、11B分配第一种颜色,如图1A和1B中的第一灰度水平。焦点周围的环区可以分配与所述区中发现的畸变值有关的不同颜色。一般地,畸变随着距离焦点的距离增大。以平化畸变为函数地界定选取的投影区域12B。
表现在第二视窗32B中的二维局部视图与表现在第一视窗32A中的三维球形视图耦接。通过模型单元隐含地知道二维视图与三维视图之间一对一的直接映射,因此在两个视图之间有一种直接的对应。利用互动装置在二维局部投影视图32B上执行的任何动作都自动地在三维球形视图32A中更新。
参见图3A和3B,对耦接的视图设置对应的标记。如图3A所示,三维球形视图包括在屏幕平面中的第一轴线1A和第二正交轴线2A;以及与屏幕平面正交的第三轴线3A。如图3B所示,二维局部视图包括屏幕平面中的一个第一对应轴线和一个第二正交对应轴线2B;以及一个与屏幕平面正交的第三对应轴线3B。第一对应轴线1A、1B可以具有图中实线表示的第一种颜色。第二对应轴线2A、2B可以具有图中虚线表示的第二种颜色。第三对应轴线3A、3B可以具有图中的十字表示的第三种颜色。因此,用户可以很容易地识别耦接视图中的对应轴线。
因为从平化过程中传承了二维与三维视图之间直接的一对一的映射,因此,在两幅视图的每个像素之间有一种直接对应关系。由接口装置在二维局部投影视图32B的像素上执行的任何动作都自动地在三维球形视图32A的对应像素中更新。这种特性通过连接到用户界面的计算装置执行的耦合计算而获得。这种特性尤其对利用医学信息简单映射网格模型的三维表面有用。在二维表面视图中引入了这些信息。医学信息可以代表图像纹理、颜色编码或任何其它可视方式,如涉及到器官的灌注、运动、张紧。这种特性还对三维表面的设计尤其有用。对二维表面视图的设计非常容易。设计可以是在特定的器官部位画出标记的线条;用于界定或增亮器官部位的轮廓。
3)动态表示耦接图像中的互动导航
利用二维鼠标在表现在二维屏幕上的三维表面直接导航时出现的困难在于操作者难以在三维环境中循环或导航的同时互动操纵三维数据。例如,难以用鼠标移动或转动三维物体并同时选择一个区域来画出一个轮廓,该轮廓起始于物体前面的一个部位并在该物体或器官后面的一个部位继续。甚至当利用网格模型对表现在三维图像中的三维物体分区时,也注意到网格模型难以操纵。附带的问题在于在医学图像中表现一个器官的三维物体可以表示旋绕,该旋绕使得表面的可视化以及在表面的导航很困难。注意,旋绕使得三维数据以及三维表面的二维表像的处理非常困难。
为了在三维视图32A中互动导航,用户只需要在二维视图32B上放置并点击鼠标。如图1B所示,用户可以相对于起始点P0向上导航。然后,用户选择一个例如位于二维局部视图32B的面21B中的新焦点P1。该焦点自动地沿在点P1发现的箭头100移位。
参见图2A和2B,球形和局部视图都自动地同时更新。根据本发明,在更新的视窗32A和32B中心自动地同步设置新焦点。因此,新焦点恒定地位于更新的视窗中心。这种特性允许用户利用二维视图作为一个用于在二维视图上连续滑动的虚拟鼠标垫自动和同步地在三维视图上滑动。图2A表示在球形视窗32A的中心和在局部视窗32b的中心的新焦点P1。这个新焦点位于面21B中。新算出的投影区是局部视图32B中的22B。在三维视图32A中自动地同步发现对应的三维区域22A。可以重复上述程序直到完成导航。
参见图4A和4B,不仅通过在两个耦接图像中的一个上滑动来更新焦点和像点,而且还更新标记。因此,用户可以没有损失地在复杂表面上很容易地导航。用户可以与三维表面模型执行连续互动,如区域选择、绘制围绕表面模型的曲线,切割部分模型,在复杂表面上界定区域,测量曲线轮廓如短程区域面积等。当可以获得纹理并映射到模型上时,用户可以执行边缘探测、特征提取以及对映射的纹理的其它测量。例如跟踪移动导线、探测伸张都是易于在二维局部视图上执行的可能的操作。与模型的互动不限于引证的实例。本发明尤其适用于可以应用到心室模型的心脏病学领域、可以应用到脊椎骨模型的脊骨病理学研究领域以及动脉造影术和静脉学领域等。
4)投影技术
可以使用本领域技术人员公知的导致局部表面平坦化的任何投影技术。例如,可以使用参见图5A和5B所述的本领域公知的投影技术。这项技术包括与图5A中表示的平面P到三维物体S有关的操作。图5B表示三维物体与平面的截面图。截面轮廓的每个点沿箭头方向D投影到平面截面上。把物体的截面设计成与平面的每一列对应,并且物体截面对应轮廓的点投影到该平面上。由此获得物体轮廓的投影。例如在ANDREWS.GLASSNER编辑的,ACADEMICPRESS(XeroxPaloAltoResearchCenter,PaloAlto,Califonia)的题为“GRAPHICSGEMS”,p.307-317的文章中描述了用于进行投影的各种方法。
5)执行本方法的系统
参见图6,医学诊断成像设备150包括用于获得三维数字图像数据的装置,用于根据上述处理方法处理这些数据的数字处理系统120。医学检查设备包括把图像数据提供给至少有一个输出端106的处理系统120、从而把图像数据提供给显示和/或存储装置130、140的装置。显示和存储装置可以分别是屏幕140和工作站110的存储器。所述的存储装置也可以是外存储装置。此图像处理系统120可以是工作站130的一种适当的编程计算机,由程序产品给予指令,也可以是具有电路装置如LUT、存储器、滤波器、逻辑操作器的特殊用途处理器给予指令,分布这些电路装置以执行根据本发明的方法步骤的功能。工作站130还可以包括一个键盘131和一个鼠标132。

Claims (28)

1.一种图像处理方法,利用二维显示装置显示三维物体的处理图像并与显示的三维物体的表面互动,本方法包括:
构成并显示三维物体表面的至少两个耦接视图,这些视图包括(i)所述物体表面的全局三维视图和(ii)相关的所述物体表面的局部二维视图,其中构造并显示所述两个耦接视图包括:
使用平坦化过程来获得所述三维视图与所述二维视图之间直接的一对一的映射,
选择所述全局三维视图中的所述物体表面上的开始焦点,
将所述全局三维视图的所述开始焦点周围的未折叠区域投影到所述局部二维视图中以形成所述局部二维视图中的投影表面区域,所述未折叠区域是以平化畸变为函数而界定的,
其中所述投影表面区域包括避免投影畸变的有限的面积尺寸,且其中所述相关的局部二维视图包括在其上进行局部互动的表面视图。
2.如权利要求1所述的方法,其中选择所述开始焦点是用于所述两个耦接的视图的静态表示。
3.如权利要求2所述的方法,其特征在于,两个耦接的视图还有用于形成对应标记的取向装置。
4.如权利要求3所述的方法,其特征在于,取向轴线叠加到三维视图上以形成一个第一标记,对应取向轴线叠加到二维视图上以形成一个对应的第二标记,
并且其中,不同的轴线着不同的颜色,并且对应的轴线着相同的颜色,以便在两个视图的每一个中识别这些轴线。
5.如权利要求2至4中任一项所述的方法,其中针对所述耦接的视图的动态表示,所述方法进一步包括:
在物体表面上进行互动导航,具有把焦点滑到二维视图中的一个新位置的子步骤,其中自动更新在三维视图中的新焦点;界定所述三维视图中的新焦点周围的新的未折叠区域并将所述新的区域自动投影到二维视图中,所述新的区域是以平化畸变为函数而界定的;和处理二维视图的所述新区域中数据的子步骤,其中自动且同步地更新耦接的三维视图中对应的数据。
6.如权利要求2至4中任一项所述的方法,其特征在于,因为两个视图同时被更新,所以焦点和标记恒定地设置在两个视图的中心。
7.如权利要求2至4中任一项所述的方法,其特征在于,对三维视图的不同像元分配不同的颜色,包括对不同的轴线用不同的颜色,对不同的区域用不同的颜色,并且对二维视图中的对应像元分配对应的颜色,并且其中,在两幅视图中同步地和自动地更新不同的颜色。
8.如权利要求1至4中任一项所述的方法,其特征在于,利用网格模型技术对所关心的三维物体分区。
9.如权利要求8所述的方法,用于处理表示器官的三维医学图像中的数据,其特征在于,医学信息映射到三维网格模型上,其中该信息被引入到二维表面视图中,并且其中,在医学信息中有可视医学指示。
10.如权利要求9所述的方法,其中所述可视医学指示包括图像纹理、颜色编码或与器官有关的灌注、移动、张紧。
11.如权利要求9所述的方法,其进一步包括:
对二维表面视图进行设计,并在三维视图中自动和同步地更新,其中,所述设计包括(i)在所述二维表面视图上绘制的标记特殊的器官部位的线条、(ii)界定器官部位的轮廓和(iii)用于增强器官或器官部位的特殊设计。
12.如权利要求9所述的方法,其特征在于,在所述物体表面上进行互动导航期间,通过在称作虚拟鼠标垫的二维模型上滑动而进行与三维表面模型的连续互动,并且其中,在互动中有区域选择、在表面模型的任何部位上的曲线绘制、模型部位的切割、在复杂表面上的区域描绘、曲线轮廓的测量;并且当获得纹理并映射到模型上时,在互动中有边缘探测、特征抽取和/或在映射的纹理上的医学测量。
13.如权利要求12所述的方法,其中所述医学测量包括跟踪导线移动和/或探测伸张。
14.如权利要求9所述的方法,其特征在于,器官模型是心脏病学中的心室模型、脊骨病理学中的脊椎骨模型、动脉造影术和静脉学中的血管。
15.一种图像处理装置,用于利用二维显示装置显示三维物体的处理图像并与显示的三维物体的表面互动,所述图像处理装置包括:
用于构成并显示三维物体表面的至少两个耦接视图的装置,这些视图包括(i)所述物体表面的全局三维视图和(ii)相关的所述物体表面的局部二维视图,其中所述用于构造并显示所述两个耦接视图的装置包括:
用于使用平坦化过程来获得所述三维视图与所述二维视图之间直接的一对一的映射的装置,
用于选择所述全局三维视图中的所述物体表面上的开始焦点的装置,
用于将所述全局三维视图的所述开始焦点周围的未折叠区域投影到所述局部二维视图中以形成所述局部二维视图中的投影表面区域的装置,所述未折叠区域是以平化畸变为函数而界定的,
其中所述投影表面区域包括避免投影畸变的有限的面积尺寸,且其中所述相关的局部二维视图包括在其上进行局部互动的表面视图。
16.如权利要求15所述的图像处理装置,其中所述用于选择所述开始焦点的装置是用于所述两个耦接的视图的静态表示。
17.如权利要求16所述的图像处理装置,其特征在于,两个耦接的视图还有用于形成对应标记的取向装置。
18.如权利要求17所述的图像处理装置,其特征在于,取向轴线叠加到三维视图上以形成一个第一标记,对应取向轴线叠加到二维视图上以形成一个对应的第二标记,
并且其中,不同的轴线着不同的颜色,并且对应的轴线着相同的颜色,以便在两个视图的每一个中识别这些轴线。
19.如权利要求16至18中任一项所述的图像处理装置,其中针对所述耦接的视图的动态表示,所述图像处理装置进一步包括:
用于在物体表面上进行互动导航的装置,具有把焦点滑到二维视图中的一个新位置的子装置,其中自动更新在三维视图中的新焦点;用于界定所述三维视图中的新焦点周围的新的未折叠区域并将所述新的区域自动投影到二维视图中的装置,所述新的区域是以平化畸变为函数而界定的;和处理二维视图的所述新区域中数据的子装置,其中自动且同步地更新耦接的三维视图中对应的数据。
20.如权利要求16至18中任一项所述的图像处理装置,其特征在于,因为两个视图同时被更新,所以焦点和标记恒定地设置在两个视图的中心。
21.如权利要求16至18中任一项所述的图像处理装置,其特征在于,对三维视图的不同像元分配不同的颜色,包括对不同的轴线用不同的颜色,对不同的区域用不同的颜色,并且对二维视图中的对应像元分配对应的颜色,并且其中,在两幅视图中同步地和自动地更新不同的颜色。
22.如权利要求15至18中任一项所述的图像处理装置,其特征在于,利用网格模型技术对所关心的三维物体分区。
23.如权利要求22所述的图像处理装置,用于处理表示器官的三维医学图像中的数据,其特征在于,医学信息映射到三维网格模型上,其中该信息被引入到二维表面视图中,并且其中,在医学信息中有可视医学指示。
24.如权利要求23所述的图像处理装置,其中所述可视医学指示包括图像纹理、颜色编码或与器官有关的灌注、移动、张紧。
25.如权利要求23所述的图像处理装置,其进一步包括:
用于对二维表面视图进行设计并在三维视图中自动和同步地更新的装置,其中,所述设计包括(i)在所述二维表面视图上绘制的标记特殊的器官部位的线条、(ii)界定器官部位的轮廓和(iii)用于增强器官或器官部位的特殊设计。
26.如权利要求23所述的图像处理装置,其特征在于,在所述物体表面上进行互动导航期间,通过在称作虚拟鼠标垫的二维模型上滑动而进行与三维表面模型的连续互动,并且其中,在互动中有区域选择、在表面模型的任何部位上的曲线绘制、模型部位的切割、在复杂表面上的区域描绘、曲线轮廓的测量;并且当获得纹理并映射到模型上时,在互动中有边缘探测、特征抽取和/或在映射的纹理上的医学测量。
27.如权利要求26所述的图像处理装置,其中所述医学测量包括跟踪导线移动和/或探测伸张。
28.如权利要求23所述的图像处理装置,其特征在于,器官模型是心脏病学中的心室模型、脊骨病理学中的脊椎骨模型、动脉造影术和静脉学中的血管。
CN02813533.4A 2001-07-06 2002-07-05 与三维图像中表示的三维表面互动的图像处理方法 Expired - Lifetime CN1639675B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01401821 2001-07-06
EP01401821.2 2001-07-06
PCT/IB2002/002818 WO2003005298A2 (en) 2001-07-06 2002-07-05 Image processing method for interacting with a 3-d surface represented in a 3-d image

Publications (2)

Publication Number Publication Date
CN1639675A CN1639675A (zh) 2005-07-13
CN1639675B true CN1639675B (zh) 2015-12-09

Family

ID=8182800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN02813533.4A Expired - Lifetime CN1639675B (zh) 2001-07-06 2002-07-05 与三维图像中表示的三维表面互动的图像处理方法

Country Status (5)

Country Link
US (1) US7450749B2 (zh)
EP (1) EP1451671A2 (zh)
JP (1) JP4584575B2 (zh)
CN (1) CN1639675B (zh)
WO (1) WO2003005298A2 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689014B2 (en) * 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
FI117986B (fi) * 2003-06-17 2007-05-15 Onesys Oy Menetelmä ja järjestelmä navigoimiseksi tosiaikaisesti kolmiulotteisessa lääketieteellisessä kuvamallissa
US7623250B2 (en) * 2005-02-04 2009-11-24 Stryker Leibinger Gmbh & Co. Kg. Enhanced shape characterization device and method
JP4213135B2 (ja) * 2005-04-22 2009-01-21 ザイオソフト株式会社 展開画像投影方法、展開画像投影プログラム、展開画像投影装置
US7773074B2 (en) * 2005-06-28 2010-08-10 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging three dimensional navigation device and methods
US9014438B2 (en) * 2005-08-17 2015-04-21 Koninklijke Philips N.V. Method and apparatus featuring simple click style interactions according to a clinical task workflow
WO2008004171A2 (en) * 2006-07-05 2008-01-10 Philips Intellectual Property & Standards Gmbh Prediction of cardiac shape by a motion model
US7643662B2 (en) * 2006-08-15 2010-01-05 General Electric Company System and method for flattened anatomy for interactive segmentation and measurement
US8866883B2 (en) * 2007-06-29 2014-10-21 3M Innovative Properties Company Synchronized views of video data and three-dimensional model data
EP2162086B1 (en) * 2007-10-01 2019-02-27 Orthosoft Inc. Construction of a non-imaged view of an object using acquired images
JP5337161B2 (ja) * 2007-11-02 2013-11-06 コーニンクレッカ フィリップス エヌ ヴェ 自動動画飛行経路計算
WO2010070585A2 (en) * 2008-12-18 2010-06-24 Koninklijke Philips Electronics N.V. Generating views of medical images
US9099015B2 (en) * 2009-05-12 2015-08-04 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment involving safety margins and cutting planes in rendered 3D space
US20120051608A1 (en) * 2010-08-27 2012-03-01 Gopal Biligeri Avinash System and method for analyzing and visualizing local clinical features
US9554728B2 (en) 2011-03-02 2017-01-31 Koninklijke Philips N.V. Visualization for navigation guidance
US20120259224A1 (en) * 2011-04-08 2012-10-11 Mon-Ju Wu Ultrasound Machine for Improved Longitudinal Tissue Analysis
EP2751779B1 (en) * 2011-10-11 2018-09-05 Koninklijke Philips N.V. A workflow for ambiguity guided interactive segmentation of lung lobes
US8750568B2 (en) 2012-05-22 2014-06-10 Covidien Lp System and method for conformal ablation planning
US9439622B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical navigation system
US9439623B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical planning system and navigation system
US9498182B2 (en) 2012-05-22 2016-11-22 Covidien Lp Systems and methods for planning and navigation
US9439627B2 (en) 2012-05-22 2016-09-13 Covidien Lp Planning system and navigation system for an ablation procedure
US9275302B1 (en) * 2012-08-24 2016-03-01 Amazon Technologies, Inc. Object detection and identification
US9595135B2 (en) * 2013-03-05 2017-03-14 Autodesk, Inc. Technique for mapping a texture onto a three-dimensional model
US9965887B2 (en) 2013-03-05 2018-05-08 Autodesk, Inc. Technique for mapping a texture onto a three-dimensional model
DE102013108115A1 (de) * 2013-07-30 2015-02-05 gomtec GmbH Verfahren und Vorrichtung zum Festlegen eines Arbeitsbereichs eines Roboters
CA2961980A1 (en) * 2014-09-24 2016-03-31 Koninklijke Philips N.V. Visualizing volumetric image of anatomical structure
US10475236B2 (en) 2016-05-03 2019-11-12 Affera, Inc. Medical device visualization
US10376320B2 (en) 2016-05-11 2019-08-13 Affera, Inc. Anatomical model generation
US11728026B2 (en) 2016-05-12 2023-08-15 Affera, Inc. Three-dimensional cardiac representation
CN106373188B (zh) * 2016-08-31 2019-02-01 正元地理信息有限责任公司 一种地下管网三维模型的生成方法及系统
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US10395382B2 (en) * 2016-12-30 2019-08-27 Biosense Webster (Israel) Ltd. Visualization of distances on an electroanatomical map
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
CN107233134B (zh) * 2017-05-15 2020-01-17 青岛海信医疗设备股份有限公司 显示三维医学模型内部标记点的方法、装置和医疗设备
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
CN107812325A (zh) * 2017-07-17 2018-03-20 张坤 采用磁共振成像对体内目标的运动进行跟踪的方法
WO2020033947A1 (en) 2018-08-10 2020-02-13 Covidien Lp Systems for ablation visualization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528735A (en) * 1993-03-23 1996-06-18 Silicon Graphics Inc. Method and apparatus for displaying data within a three-dimensional information landscape
US6083162A (en) * 1994-10-27 2000-07-04 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US6097393A (en) * 1996-09-03 2000-08-01 The Takshele Corporation Computer-executed, three-dimensional graphical resource management process and system

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63150768A (ja) * 1986-12-16 1988-06-23 Fujitsu Ltd 表示装置
JP2657212B2 (ja) * 1987-08-11 1997-09-24 株式会社 日立メディコ 三次元医用画像の表示方法
FR2652180B1 (fr) * 1989-09-20 1991-12-27 Mallet Jean Laurent Procede de modelisation d'une surface et dispositif pour sa mise en óoeuvre.
US5150457A (en) * 1990-05-02 1992-09-22 International Business Machines Corporation Enhanced visualization using translucent contour surfaces
JPH0591997A (ja) * 1991-09-30 1993-04-16 Shimadzu Corp 画像処理装置
JP3206047B2 (ja) * 1991-11-14 2001-09-04 株式会社日立製作所 グラフィックデータ処理システム
NO924390L (no) * 1991-11-20 1993-05-21 Exxon Research Engineering Co Fremgangsmaate og system for fremskaffelse av volumgjengivelse
JPH0816815A (ja) * 1994-06-28 1996-01-19 Ge Yokogawa Medical Syst Ltd 画像処理方法及び画像処理装置
JP3608225B2 (ja) * 1994-08-11 2005-01-05 株式会社日立製作所 3次元画像データを用いた展開図作成方法
US5673377A (en) * 1994-09-02 1997-09-30 Ray Dream, Inc. Method and system for displaying a representation of a three-dimensional object with surface features that conform to the surface of the three-dimensional object
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US5835692A (en) * 1994-11-21 1998-11-10 International Business Machines Corporation System and method for providing mapping notation in interactive video displays
US5611025A (en) * 1994-11-23 1997-03-11 General Electric Company Virtual internal cavity inspection system
US6151404A (en) * 1995-06-01 2000-11-21 Medical Media Systems Anatomical visualization system
JP2991088B2 (ja) * 1995-06-30 1999-12-20 株式会社島津製作所 医用画像表示装置
JP3356617B2 (ja) * 1996-03-27 2002-12-16 株式会社日立製作所 3次元空間における視界移動方法
JP3620918B2 (ja) * 1996-04-18 2005-02-16 株式会社日立製作所 ナビゲーション装置の地図表示方法およびナビゲーション装置
US6175655B1 (en) * 1996-09-19 2001-01-16 Integrated Medical Systems, Inc. Medical imaging system for displaying, manipulating and analyzing three-dimensional images
JP3375258B2 (ja) * 1996-11-07 2003-02-10 株式会社日立製作所 地図表示方法及び装置並びにその装置を備えたナビゲーション装置
US5891030A (en) * 1997-01-24 1999-04-06 Mayo Foundation For Medical Education And Research System for two dimensional and three dimensional imaging of tubular structures in the human body
US6008814A (en) * 1997-05-23 1999-12-28 International Business Machines Corporation Method and system for providing network navigation aids
JPH11283055A (ja) * 1998-01-29 1999-10-15 Hitachi Medical Corp 三次元画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528735A (en) * 1993-03-23 1996-06-18 Silicon Graphics Inc. Method and apparatus for displaying data within a three-dimensional information landscape
US6083162A (en) * 1994-10-27 2000-07-04 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US6097393A (en) * 1996-09-03 2000-08-01 The Takshele Corporation Computer-executed, three-dimensional graphical resource management process and system

Also Published As

Publication number Publication date
JP2004534584A (ja) 2004-11-18
JP4584575B2 (ja) 2010-11-24
CN1639675A (zh) 2005-07-13
WO2003005298A2 (en) 2003-01-16
EP1451671A2 (en) 2004-09-01
WO2003005298A3 (en) 2004-06-17
US7450749B2 (en) 2008-11-11
US20040171922A1 (en) 2004-09-02

Similar Documents

Publication Publication Date Title
CN1639675B (zh) 与三维图像中表示的三维表面互动的图像处理方法
EP2171686B1 (en) Interactive atlas to image registration
Schenk et al. Efficient semiautomatic segmentation of 3D objects in medical images
KR100439756B1 (ko) 3차원 가상내시경 화면 표시장치 및 그 방법
CN109389590B (zh) 结肠图像数据处理系统及方法
US8698795B2 (en) Interactive image segmentation
CN101243475B (zh) 具有根据临床任务工作流程的简单点击风格交互的特征的方法和设备
US20070109299A1 (en) Surface-based characteristic path generation
RU2711140C2 (ru) Редактирование медицинских изображений
CN102525662A (zh) 组织器官三维可视化手术导航方法和系统
CN103229210A (zh) 图像配准装置
CN109427059B (zh) 解剖结构的平面可视化
JP5815513B2 (ja) 画像処理装置及び画像処理方法
CN103593869B (zh) 一种扫描设备及其图像显示方法
CN107507212A (zh) 数字脑可视化方法、装置、计算设备及存储介质
JP5121399B2 (ja) 画像表示装置
Yoshida et al. Clinical planning support system-CliPSS
KR100466409B1 (ko) 가상 내시경 시스템, 가상 내시경 디스플레이 방법과 그 방법을 컴퓨터 상에서 수행하는 프로그램을 저장한 컴퓨터가 판독 가능한 기록 매체
Harders et al. New paradigms for interactive 3D volume segmentation
JP5534580B2 (ja) 医用画像表示装置及び医用画像表示方法
EP4258216A1 (en) Method for displaying a 3d model of a patient
Lee et al. Fast path planning in virtual colonoscopy
WO2023175001A1 (en) Method for displaying a 3d model of a patient
Lagos Fast contextual view generation and region of interest selection in 3D medical images via superellipsoid manipulation, blending and constrained region growing
WO2002041767A1 (en) System and method for displaying a virtual endoscopy and computer readable medium storing thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: QUALCOMM INC.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD.

Effective date: 20090605

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090605

Address after: California, USA

Applicant after: QUALCOMM Inc.

Address before: Holland Ian Deho Finn

Applicant before: KONINKLIJKE PHILIPS ELECTRONICS N.V.

C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20151209

CX01 Expiry of patent term