CN115115810B - 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法 - Google Patents
一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法 Download PDFInfo
- Publication number
- CN115115810B CN115115810B CN202210748143.5A CN202210748143A CN115115810B CN 115115810 B CN115115810 B CN 115115810B CN 202210748143 A CN202210748143 A CN 202210748143A CN 115115810 B CN115115810 B CN 115115810B
- Authority
- CN
- China
- Prior art keywords
- human body
- model
- virtual
- patient
- lesion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000003902 lesion Effects 0.000 title claims description 45
- 230000004807 localization Effects 0.000 title claims 6
- 201000010099 disease Diseases 0.000 claims abstract description 15
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 15
- 230000008447 perception Effects 0.000 claims abstract description 10
- 230000003993 interaction Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000007170 pathology Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000035790 physiological processes and functions Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000007794 visualization technique Methods 0.000 claims 5
- 238000013507 mapping Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 8
- 230000001575 pathological effect Effects 0.000 abstract description 7
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 2
- 230000036541 health Effects 0.000 description 10
- 210000001503 joint Anatomy 0.000 description 6
- 208000017667 Chronic Disease Diseases 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 206010013932 dyslexia Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007310 pathophysiology Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Educational Technology (AREA)
- Medicinal Chemistry (AREA)
- Pure & Applied Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出了一种基于空间姿态捕捉的多人协同病灶定位与展示方法，通过解算患者空间位姿、绑定虚拟人体模型以及病例演示模型库，患者与医生佩戴AR显示设备显示，共享被深度感知设备定位的患者的空间位姿，实现同在增强环境下的医生和患者能够同时观察叠加在患者身上的虚拟病灶模型以及病理发生机制等内容，加强患者对疾病的认识，促进医患在诊疗过程的沟通和理解。
Description
技术领域
本发明涉及医学教育技术领域，具体涉及一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法。
背景技术
健康教育是慢病管理的核心，随着信息化发展，疾病以2D动图的形式展现、通过科普视频、微信公众号、远程医疗等方式推送给患者。然而，对于老年人来说，获取健康信息途径少，有阅读障碍，理解医疗信息以及科学地做出健康决策的能力有限。突破传统的健康教育模式，切实提高疾病管理水平还存在以下问题：
1.医生对于病理解剖需要长时间学习才能掌握病理生理，逐步理解和合理运用所学的知识治疗疾病。
2.全科医生作为社区卫生服务的主体，主要在基层承担预防保健、常见病的诊疗和转诊、慢性病管理等全程健康管理服务。我国慢病管理不足的主要原因为患者健康意识薄弱，忽略健康指导的重要性，健康宣传不到位。
3.医生与患者对沟通，由于彼此认知领域的不同，理解能力的差异，导致医生在向患者解释病理、介绍预防、诊疗建议时难以相互理解导致产生误会。
发明内容
针对现有技术的不足，本发明提出一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法，利用AR增强可视化的手段，有效的促进医生与患者的沟通，帮助患者感性、深入的理解生僻的病理知识以及疾病预防、治疗等知识，进一步帮助社区医生加强患者对自身疾病的防御和监管。
本发明的技术方案是这样实现的：
一种基于空间姿态捕捉的多人协同病灶定位与展示方法，包括以下步骤：
步骤S1：使用深度感知设备识别提取用户相对于相机坐标系下的人体位置姿态数据；
步骤S2：采用人体空间姿态解析算法对人体位置姿态数据进行解析，得到与所述人体位置姿态数据相对应的人体关节点信息；
步骤S3：将虚拟人体模型绑定在所述人体关节点信息上，虚拟人体模型对所述人体位置姿态数据进行定位跟踪，所述虚拟人体模型与所述用户重叠；
步骤S4：将包含了不同病灶模型的病例演示模型库配置到所述虚拟人体模型上；
步骤S5:将所述虚拟人体模型上传到局域网中的增强场景服务器；
步骤S6:将AR显示设备与所述局域网相连接,以使所述AR显示设备中显示所述虚拟人体模型；
步骤S7:通过交互方式对所述病例演示模型库发出控制指令，所述虚拟人体模型上显示与所述控制指令相匹配的所述病灶模型。
进一步地，步骤S2中，所述人体空间姿态解析算法包括以下步骤：
步骤S21：通过深度学习算法训练人体关节点识别算子，所述人体关节点识别算子对所述深度感知设备生成的彩色图像解算以获得人体关节二维坐标点；
步骤S22：将所述人体关节二维坐标点映射到所述深度感知设备生成的深度图中，以获取所述人体关节二维坐标点的深度信息；
步骤S23：通过标定所述深度感知设备的内外参，采用成像原理求解所述深度感知设备空间视野下的关节点空间坐标；
步骤S24：将所述关节点空间坐标绑定到所述虚拟人体模型身上，以实现虚拟人体模型对患者人体姿态的跟踪定位。
进一步的，步骤S4中，所述病例演示模型库包括对病患病灶部位的三维重建模型、疾病病理的三维演示模型、病灶各阶段的生理状态模型以及解剖模型，发病部位的高光指示，文字，视频，图片的多媒介宣传介绍内容。
进一步地，步骤S7中，所述交互方式包括变换自身姿态观察、语音输入指令、裸手交互场景模型、虚拟UI交互的一种或多种。
优选地，步骤S7中，所述虚拟人体模型在接收到所述控制指令时，仅显示所述病灶模型。
优选地，步骤S7中，所述控制指令还包括佩戴所述AR显示设备的患者与医生传递虚拟病理模型、医生打开患者身上叠加的所述病灶模型。
优选地，所述增强场景服务器允许2人或以上的多用户接入并进行交互。
与现有技术相比，本发明具有以下优点。
本发明通过提供一种基于空间姿态捕捉的多人协同病灶定位与展示方法，患者与医生佩戴AR显示设备，被深度感知设备定位的患者的人体位置姿态数据经过处理后与虚拟人体模型绑定，实现虚拟人体模型与患者的跟踪，通过在虚拟人体模型上配置病例演示模型库，使得同在AR环境下的医生和患者能够同时观察叠加在患者身上的病灶模型等内容，医生还能通过各种交互方式对其发出指令，加强患者对疾病的认识，促进医患在诊疗过程的沟通和理解。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于空间姿态捕捉的多人协同病灶定位与展示方法的程序流程图；
图2为本发明一种基于空间姿态捕捉的多人协同病灶定位与展示方法的应用状态示意图；
图3为本发明一种基于空间姿态捕捉的多人协同病灶定位与展示方法的系统框架图；
图4为本发明中人体关节点信息的结构示意图；
图5为本发明中增强场景服务器的程序框架图；
附图标识：01、深度感知设备；02、人体位置姿态数据；03、虚拟人体模型；04、病例演示模型库；05、AR显示设备；06、人体空间姿态解析算法； 07、增强场景服务器。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明提供一种更加直观的用于患者与医生进行沟通的方式，参见图1 至图5，本发明实施方式公开了一种基于空间姿态捕捉的多人协同病灶定位与展示方法，包括以下步骤：
步骤S1：使用深度感知设备01识别提取用户相对于相机坐标系下的人体位置姿态数据02；具体地，深度感知设备01配置为深度相机，深度相机具有红外测距相机，能够同时获得彩色图像以及深度图，彩色图像为正常影像，深度图具体为深度感知设备01利用结构光对测量空间进行编码，整个空间加上了标记，任何物体进入该空间、以及移动时，都可确切纪录物体的位置，经感应器读取编码的光线，交由芯片运算解码后，产生成一张具有深度的图像，这样获得的图像是在空间立体的离散像素点，每个像素点有对应的三维坐标。因此得到的人体位置姿态数据02具体为用户的关节点坐标。识别提取的用户在一般情况即为患者。
步骤S2：采用人体空间姿态解析算法06对人体位置姿态数据02进行解析，得到与所述人体位置姿态数据02相对应的人体关节点信息；具体地，配合深度感知设备01得到的彩色图像识别人体，并对跟踪的人体在深度图中创建分割遮罩，采用分隔策略将人体从复杂的背景中区分出来，以减轻体感计算量。将深度图像上的人体“抠”出来做处理计算，其他的部分不处理。其恢复出来的点云可以减少2/3(一个深度图像可以获得210000左右个点云)，对获得的深度图通过机器学习评估，辨别用户身体的不同部位，并根据追踪到的关节点来生成一幅人体关节点信息构建的“骨架”。优选地实施方式，如图3 所示，在构建时以身体躯干为父节点，分级设置各个子关节点的层级，计算子节点相对于上一节点的相对坐标，使获得的人体关节点信息更加符合虚拟人体模型03的驱动方式。每一个虚拟人体模型03都是以关节点为原点运动，即可以将上一关节点视为下一关节点的父节点，从而调整虚拟人体模型03的驱动 (例如，手臂伸直后，手掌再以腕关节为原点运动，腕关节的运动又受到肩关节的影响)。
步骤S3：将虚拟人体模型03绑定在所述人体关节点信息上，虚拟人体模型03对所述人体位置姿态数据02进行定位跟踪，所述虚拟人体模型03与所述用户重叠；具体地，在深度相机获取用户的姿态实时深度数据识别出人体关节点数据后，就可以知道用户每个时间点的关节点位置，绑定到虚拟人体模型 03上，还原出用户的姿态。
步骤S4：将包含了不同病灶模型的病例演示模型库04配置到所述虚拟人体模型03上；具体地，绑定虚拟人体模型03是为了在给患者展示病灶部位前，先由医生将患者的病例演示模型库04绑定到对应的虚拟人体模型03上。这样将虚拟人体模型03的位置和用户本身的位置通过AR显示设备05重叠在一起后，就能实现患者任意动作，病灶模型也跟着运动。
步骤S5:将所述虚拟人体模型03上传到局域网中的增强场景服务器07；在获取得到用户的人体位置姿态数据02后，将人体位置姿态数据02通过字节流的方式编码，通过TCP/IP网络通信协议打包到增强场景服务器07。为了保证各客户端的数据同步，采用帧同步的方式同步各用户的交互数据以及患者的关节点数据。其他用户(医生)通过接入服务器，同步共享这些数据，并在 AR显示设备05中内实现同步渲染呈现。
步骤S6:将AR显示设备05与所述局域网相连接,以使所述AR显示设备05 中显示所述虚拟人体模型03；具体的，本发明的AR显示设备05优选AR 头盔，佩戴方便，且具有裸手UI交互、语音命令等功能，能够进一步降低患者与医生的沟通成本。通过连接多部AR显示设备05，能够支持多位医生佩戴 AR显示设备05一同参与到对患者的沟通交流中。
步骤S7:通过交互方式对所述病例演示模型库04发出控制指令，所述虚拟人体模型03上显示与所述控制指令相匹配的所述病灶模型；从而实现了医生在AR环境下与患者共享叠加在患者身上的病灶模型等内容。
为方便理解，以下对图1至图2中的名词进行讲解：
恢复空间点云：是在获取深度图像后，根据相机的内参，把深度图像的数据，转换成世界坐标系下的点云，点云的三维坐标点与实际对象一致。实现将对象通过深度相机得到其1:1的点云数据。
病理库：即病例演示模型库04，通过对全科慢病病理建模，建立全套的全科慢病病理库，其中包括了不同疾病的通用展示病灶模型，以及根据患者的医学影像数据(CT图、MR图等)进行三维重建的模型，从而实现了通用和个性化兼顾的模型展示。
如图1所示，步骤S2中，所述人体空间姿态解析算法06包括以下步骤：
步骤S21：通过深度学习算法训练人体关节点识别算子，所述人体关节点识别算子对所述深度感知设备01生成的彩色图像解算以获得人体关节二维坐标点；
步骤S22：将所述人体关节二维坐标点映射到所述深度感知设备01生成的深度图中，以获取所述人体关节二维坐标点的深度信息；
步骤S23：通过标定所述深度感知设备01的内外参，采用成像原理求解深度感知设备01空间视野下的关节点空间坐标；具体的，空间视野指的是以深度感知设备01为原点的真实空间。
步骤S24：将所述关节点空间坐标绑定到所述虚拟人体模型03身上，以实现虚拟人体模型03对患者人体姿态的跟踪定位。
进一步的实施方式，如图4所示，步骤S4中，所述病例演示模型库04 还包括对病患病灶部位的三维重建模型、疾病病理的三维演示模型、病灶各阶段的生理状态模型以及解剖模型，发病部位的高光指示，文字，视频，图片的多媒介宣传介绍内容。
进一步的实施方式，步骤S7中，所述交互方式包括变换自身姿态观察、语音输入指令、裸手交互场景模型、虚拟UI交互等。
本发明优选地实施方式，步骤S7中，所述虚拟人体模型03在接收到所述控制指令时，仅显示所述病灶模型。为了得到更好的AR显示效果，虚拟人体模型03无需展示给患者看，只是起到辅助定位病灶模型部位的作用。当佩戴AR显示设备05进入AR环境后，医生操作病灶模型并将其放置到患者对应的病灶位置后，虚拟人体模型03就不需要显示，但还是需要绑定用户的人体关节点信息以实现病灶部位的跟踪，因此需要关闭虚拟人体模型03的渲染，实现在患者通过AR显示设备05查看自身情况的时候只看到病灶模型，而不需要看见虚拟人体模型03，从而达到“AR透视病灶”呈现的效果。
优选地，步骤S7中，所述控制指令还包括佩戴所述AR显示设备05的患者与医生传递虚拟病理模型、医生打开患者身上叠加的所述病灶模型等。
优选地，所述增强场景服务器07允许2人或以上的多用户接入并进行交互。所述增强场景服务器07允许2人或以上的多用户接入场景协同操作。由于通过增强场景服务器07进行数据交互，因此没有连线等硬件限制，能够实现以下多人协同功能：此外，在本实施方案中，增强场景服务器07可以部署在本地或者云端中，以实现在局域网或者互联网环境下的多人协同观察。
1.通过接入同一局域网，所有带着AR显示设备05的的用户，都可以观察到在深度相机前绑定虚拟人体模型03绑定到患者的病灶模型，模型叠加在深度感知设备01前的患者的病灶位置上。实现了“多医生专家对同一患者病灶的观察、问诊、手术术前规划等”
2.在使用过程中，只需要患者在深度感知设备01前获取其人体位置姿态数据02，其他用户不需要在场，但能显示对应用户的虚拟替身，可以通过裸手交互模型，与其他用户语音交流。实现“远程专家在线会诊”
3.加入场景的用户都可以对患者的病灶模型、演示模型做裸手交互，比如：医生甲拿起患者的病灶模型走向向医生乙展示病变区域，沟通诊疗方案、医生指向患者的病灶位置，演示发病时的生理状态，教授预防知识等。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于空间姿态捕捉的多人协同病灶定位与展示方法，其特征在于：包括以下步骤：
步骤S1：使用深度感知设备(01)识别提取用户相对于相机坐标系下的人体位置姿态数据(02)；
步骤S2：采用人体空间姿态解析算法(06)对人体位置姿态数据(02)进行解析，得到与所述人体位置姿态数据(02)相对应的人体关节点信息；其中，所述人体空间姿态解析算法(06)包括以下步骤：
步骤S21：通过深度学习算法训练人体关节点识别算子，所述人体关节点识别算子对所述深度感知设备(01)生成的彩色图像解算以获得人体关节二维坐标点；
步骤S22：将所述人体关节二维坐标点映射到所述深度感知设备(01)生成的深度图中，以获取所述人体关节二维坐标点的深度信息；
步骤S23：通过标定所述深度感知设备(01)的内外参，采用成像原理求解所述深度感知设备(01)空间视野下的关节点空间坐标；
步骤S3：将虚拟人体模型(03)绑定在所述人体关节点信息上，虚拟人体模型(03)对所述人体位置姿态数据(02)进行定位跟踪，以使所述虚拟人体模型(03)与所述用户重叠；其中，还包括将所述关节点空间坐标绑定到所述虚拟人体模型(03)身上，以实现虚拟人体模型(03)对患者人体姿态的跟踪定位；
步骤S4：将包含了不同病灶模型的病例演示模型库(04)配置到所述虚拟人体模型(03)上；
步骤S5:将所述虚拟人体模型(03)上传到局域网中的增强场景服务器(07)；
步骤S6:将AR显示设备(05)与所述局域网相连接,以使所述AR显示设备(05)中显示所述虚拟人体模型(03)；
步骤S7:通过交互方式对所述病例演示模型库(04)发出控制指令，所述虚拟人体模型(03)上显示与所述控制指令相匹配的所述病灶模型。
2.根据权利要求1所述的基于空间姿态捕捉的多人协同病灶定位与展示方法，其特征在于：步骤S4中，所述病例演示模型库(04)包括对病患病灶部位的三维重建模型、疾病病理的三维演示模型、病灶各阶段的生理状态模型以及解剖模型，发病部位的高光指示，文字，视频，图片的多媒介宣传介绍内容。
3.根据权利要求1所述的基于空间姿态捕捉的多人协同病灶定位与展示方法，其特征在于：步骤S7中，所述交互方式包括变换自身姿态观察、语音输入指令、裸手交互场景模型、虚拟UI交互中的一种或几种。
4.根据权利要求1所述的基于空间姿态捕捉的多人协同病灶定位与展示方法，其特征在于：步骤S7中，所述虚拟人体模型(03)在接收到所述控制指令时，仅显示所述病灶模型。
5.根据权利要求1所述的基于空间姿态捕捉的多人协同病灶定位与展示方法，其特征在于：步骤S7中，所述控制指令还包括佩戴所述AR显示设备(05)的患者与医生传递虚拟病理模型、医生打开患者身上叠加的所述病灶模型。
6.根据权利要求1所述的基于空间姿态捕捉的多人协同病灶定位与展示方法，其特征在于：所述增强场景服务器(07)允许2人或以上的多用户接入并进行交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210748143.5A CN115115810B (zh) | 2022-06-29 | 2022-06-29 | 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210748143.5A CN115115810B (zh) | 2022-06-29 | 2022-06-29 | 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115115810A CN115115810A (zh) | 2022-09-27 |
| CN115115810B true CN115115810B (zh) | 2023-06-02 |
Family
ID=83329665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210748143.5A Active CN115115810B (zh) | 2022-06-29 | 2022-06-29 | 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115115810B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578437B (zh) * | 2022-12-01 | 2023-03-14 | 武汉楚精灵医疗科技有限公司 | 肠体病灶深度数据获取方法、装置、电子设备及存储介质 |
| CN116974369B (zh) * | 2023-06-21 | 2024-05-17 | 广东工业大学 | 术中医学影像操作方法、系统、设备及存储介质 |
| CN116541007B (zh) * | 2023-07-04 | 2023-10-03 | 智慧中医科技(广东)有限公司 | 基于中医辨证论的体征可视化映射封装方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622591A (zh) * | 2012-01-12 | 2012-08-01 | 北京理工大学 | 3d人体姿态捕捉模仿系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10438415B2 (en) * | 2017-04-07 | 2019-10-08 | Unveil, LLC | Systems and methods for mixed reality medical training |
| US10679417B2 (en) * | 2017-07-28 | 2020-06-09 | Edda Technology, Inc. | Method and system for surgical planning in a mixed reality environment |
| EP3810008A2 (en) * | 2018-06-19 | 2021-04-28 | Tornier, Inc. | Mixed reality-aided depth tracking in orthopedic surgical procedures |
| CN109003301B (zh) * | 2018-07-06 | 2022-03-15 | 东南大学 | 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统 |
| CN109118834A (zh) * | 2018-07-12 | 2019-01-01 | 广东工业大学 | 一种虚拟种植牙手术训练系统 |
| CN110522516B (zh) * | 2019-09-23 | 2021-02-02 | 杭州师范大学 | 一种用于手术导航的多层次交互可视化方法 |
| CN110718284A (zh) * | 2019-09-29 | 2020-01-21 | 上海昊骇信息科技有限公司 | 一种三维医疗影像数据的交互方法及系统 |
| CN111507979A (zh) * | 2020-05-08 | 2020-08-07 | 延安大学 | 一种医学影像计算机辅助分析方法 |
| CN113995525A (zh) * | 2021-11-05 | 2022-02-01 | 无锡蓝软智能医疗科技有限公司 | 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质 |
-
2022
- 2022-06-29 CN CN202210748143.5A patent/CN115115810B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622591A (zh) * | 2012-01-12 | 2012-08-01 | 北京理工大学 | 3d人体姿态捕捉模仿系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115115810A (zh) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115115810B (zh) | 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法 | |
| AU2018264095B2 (en) | System and method for managing spatiotemporal uncertainty | |
| US9892655B2 (en) | Method to provide feedback to a physical therapy patient or athlete | |
| US9710968B2 (en) | System and method for role-switching in multi-reality environments | |
| EP3986314A1 (en) | Augmented reality system and method for tele-proctoring a surgical procedure | |
| US20150327794A1 (en) | System and method for detecting and visualizing live kinetic and kinematic data for the musculoskeletal system | |
| CN101743567A (zh) | 虚拟互动式出席系统及方法 | |
| CN102668556A (zh) | 医疗支援装置，医疗支援方法以及医疗支援系统 | |
| US20230114385A1 (en) | Mri-based augmented reality assisted real-time surgery simulation and navigation | |
| JP6312512B2 (ja) | 遠隔見守りシステム | |
| WO2023077660A1 (zh) | 基于混合现实的太极拳训练方法及系统、设备及存储介质 | |
| CN105938665A (zh) | 一种远程音视频手术示教系统 | |
| CN116172493A (zh) | 用于内窥镜系统的成像及显示方法和内窥镜系统 | |
| Zhang et al. | Immersive augmented reality (I am real)–remote clinical consultation | |
| CN111613280B (zh) | 一种用于医疗的h.i.p.s多点触控宣教交互系统 | |
| US10854005B2 (en) | Visualization of ultrasound images in physical space | |
| Narváez et al. | Kushkalla: a web-based platform to improve functional movement rehabilitation | |
| CN117174249A (zh) | 基于5g通信的远程手术ar辅助方法 | |
| CN117111724A (zh) | 一种用于xr的数据处理方法及系统 | |
| KR101302120B1 (ko) | 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 ｓｎｓ 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치 및 방법 | |
| TWM618266U (zh) | 使用三維面部及身體掃描數據提供即時可視化服務的設備 | |
| CN114049951A (zh) | 手术辅助的数据处理方法、装置、系统 | |
| Benavent-Lledo et al. | Holo4Care: a MR framework for assisting in activities of daily living by context-aware action recognition | |
| CN116386885A (zh) | 一种医学影像医师规范化操作学习平台 | |
| Gerós | Capture and Analysis of the Trajectories of Anatomical Points on the Face to Support and Evaluate Reconstructive Plastic Surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |