CN118229931A - 基于扩展现实设备的扫描引导方法、系统及扩展现实设备 - Google Patents
基于扩展现实设备的扫描引导方法、系统及扩展现实设备 Download PDFInfo
- Publication number
- CN118229931A CN118229931A CN202410494746.6A CN202410494746A CN118229931A CN 118229931 A CN118229931 A CN 118229931A CN 202410494746 A CN202410494746 A CN 202410494746A CN 118229931 A CN118229931 A CN 118229931A
- Authority
- CN
- China
- Prior art keywords
- target object
- target
- scanning
- server
- motion planning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012790 confirmation Methods 0.000 claims abstract description 171
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 230000004424 eye movement Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012797 qualification Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 21
- 230000005855 radiation Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002468 fat body Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Pulmonology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及医学影像技术领域,提供了一种基于扩展现实设备的扫描引导方法、系统及扩展现实设备。应用于扩展现实设备,扫描引导方法包括:在目标对象佩戴完成扩展现实设备的情况下,获取目标对象的运动规划结果;根据运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导目标对象到达目标位置并调整姿势为目标位姿;在目标对象到达目标位置并调整为目标位姿时,接收服务器发送的确认指令,并根据确认指令捕获目标对象的确认信号;在捕获到确认信号的情况下,向服务器发送确认信号,触发扫描指令使服务器根据扫描指令控制扫描设备根据对应路径对目标对象进行扫描。上述方案实现了通过扩展现实设备引导患者到指定位置以规范的姿势进行影像拍摄。
Description
技术领域
本申请涉及医学影像技术领域,更具体地,涉及一种基于扩展现实设备的扫描引导方法、系统及扩展现实设备。
背景技术
传统的放射科医学影像拍摄流程存在一些显著的挑战。在典型的流程中,患者进入放射科室,通常就在伸展台上平坐或躺下等待医生使用影像设备拍摄。在这个过程中,医生需要在另一个空间通过手柄控制设备,调整位置以获得合格的影像。然而,初始阶段患者姿势不规范时,医生经常需要通过语音或离开位置亲自调整患者的姿势,这既增加了工作负担,也导致医生暴露在辐射环境中。现有技术中的拍摄流程存在着姿势调整不便、工作效率低下和潜在的辐射风险等缺陷。
因此,亟需提出一种扫描引导方法,可以通过扩展现实设备引导患者到达指定位置以规范的姿势进行影像拍摄,解决现有技术中的拍摄流程存在的姿势调整不便、工作效率低下和潜在的辐射风险等问题。
发明内容
本申请实施例提供了一种基于扩展现实设备的扫描引导方法、系统及扩展现实设备,可以通过扩展现实设备引导患者到达指定位置以规范的姿势进行影像拍摄,以解决现有技术中的拍摄流程存在着姿势调整不便、工作效率低下和潜在的辐射风险等问题。
第一方面,提供了一种基于扩展现实设备的扫描引导方法;应用于扩展现实设备,所述扫描引导方法包括:
在目标对象佩戴完成所述扩展现实设备的情况下,获取所述目标对象的运动规划结果;
根据所述运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导所述目标对象到达目标位置并调整姿势为目标位姿,所述虚拟现实影像包括所述目标对象到达所述目标位置的目标路径和所述目标对象的目标位姿;
在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收服务器发送的确认指令,并根据所述确认指令捕获所述目标对象的确认信号;
在捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制扫描设备对所述目标对象进行扫描。
本申请提供的基于扩展现实设备的扫描引导方法,首先在目标对象佩戴完成扩展现实设备的情况下,获取目标对象的运动规划结果,其次根据运动规划结果,渲染虚拟现实影像,通过虚拟现实影像引导目标对象到达目标位置并调整姿势为目标位姿,在目标对象到达目标位置并调整为目标位姿时,接收服务器发送的确认指令,以根据该确认指令捕获目标对象的确认信号,最后在捕获到目标对象的确认信号时,向服务器发送确认信号,以触发扫描指令使服务器根据扫描指令控制扫描设备对目标对象进行扫描。本申请通过扩展现实设备引导患者到达指定位置以规范的姿势进行影像拍摄,解决了现有技术中的拍摄流程存在的姿势调整不便、工作效率低下和潜在的辐射风险等问题。
在第一方面的一种可能的实现方式中,所述运动规划结果包括初次运动规划结果和再次运动规划结果;所述获取所述目标对象的运动规划结果包括:
接收所述服务器发送的初次运动规划结果;或
在根据所述初次运动规划结果得到所述目标对象的扫描影像不满足预设要求的情况下,接收所述服务器发送的再次运动规划结果,以对所述目标对象进行再次扫描。
在第一方面的一种可能的实现方式中,所述根据所述运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导所述目标对象到达目标位置并调整姿势为目标位姿,包括:
根据所述运动规划结果,获取所述目标路径中关键节点的语音引导和文字引导,并渲染所述虚拟现实影像;
显示所述虚拟现实影像,根据所述关键节点的语音引导、文字引导以及所述目标路径和所述目标位姿对应的影像,引导所述目标对象到达目标位置并调整姿势为目标位姿。
在第一方面的一种可能的实现方式中,在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收服务器发送确认指令,并根据所述确认指令捕获所述目标对象的确认信号,包括:
在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收所述服务器发送的确认指令,所述确认指令用于指示所述扩展现实设备捕获所述目标对象的确认信号;
根据所述确认指令捕获所述目标对象的眼动信号,并根据所述眼动信号确定所述确认信号。
在第一方面的一种可能的实现方式中,所述根据所述确认指令捕获所述目标对象的眼动信号,并根据所述眼动信号确定所述确认信号,包括:
根据所述确认指令捕获所述目标对象的眼动信号,确定所述目标对象的眼动频率;
根据所述目标对象的眼动频率,确定所述目标对象的所述确认信号。
在第一方面的一种可能的实现方式中,所述在捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制扫描设备对所述目标对象进行扫描,包括:
在通过所述目标对象的眼动频率,确定捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制所述扫描设备根据对应路径对所述目标对象进行扫描;
其中,所述对应路径是由服务器根据接收到的所述目标对象的检测项目以及扫描设备与所述目标对象的相对位姿确定。
在第一方面的一种可能的实现方式中,所述扫描引导方法还包括:
在所述目标路径存在误差时,接收实时引导语音。
在第一方面的一种可能的实现方式中,所述运动规划结果的获取步骤包括:
通过全局相机获取所述目标对象和所述扫描设备的全局图像;
将所述全局图像上传至所述服务器中,由所述服务器根据所述全局图像,确定所述目标对象和所述扫描设备的相对位姿;
通过所述服务器分析所述目标对象和所述扫描设备的相对位姿,确定所述目标对象的运动规划结果;
将所述目标对象的运动规划结果发送至所述扩展现实设备。
在第一方面的一种可能的实现方式中,所述运动规划结果的确定步骤包括:
通过所述服务器分析所述目标对象和所述扫描设备的相对位姿,确定所述目标对象的初步运动规划结果;
响应于用户基于所述初步运动规划结果的确认操作,确定所述初步运动规划结果为所述目标对象的运动规划结果;
响应于用户基于所述初步运动规划结果的重新规划操作,再次确认所述目标对象的候选运动规划结果,直至所述服务器接收到所述用户的确认操作,响应于用户基于所述候选运动规划结果的确认操作,确定所述候选运动规划结果为所述目标对象的运动规划结果。
第二方面,提供了一种基于扩展现实设备的扫描引导系统,所述扫描引导系统包括:扩展现实设备、服务器、扫描设备以及全局相机;
所述扩展现实设备,用于在目标对象佩戴完成所述扩展现实设备的情况下,获取所述目标对象的运动规划结果;根据所述运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导所述目标对象到达目标位置并调整姿势为目标位姿,所述虚拟现实影像包括所述目标对象到达所述目标位置的目标路径和所述目标对象的目标位姿;在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收服务器发送的确认指令,并根据所述确认指令捕获所述目标对象的确认信号;在捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制扫描设备对所述目标对象进行扫描;
所述服务器,用于接收所述全局相机获取的所述目标对象和所述扫描设备的全局图像;根据所述全局图像,确定所述目标对象和所述扫描设备的相对位姿;分析所述目标对象和所述扫描设备的相对位姿,确定所述目标对象的运动规划结果;将所述目标对象的运动规划结果发送至所述扩展现实设备;接收所述全局相机发送的所述目标对象到达所述目标位置并调整为所述目标位姿的全局图像,基于该全局图像,向所述扩展现实设备发送所述确认指令;接收所述扩展现实设备发送的扫描指令,并将所述扫描指令和所述扫描设备的运动规划结果发送至扫描设备。
所述扫描设备,用于接收所述服务器的扫描指令和所述扫描设备的运动规划结果,并根据所述扫描指令和所述扫描设备的运动规划结果对所述目标对象进行扫描;获取扫描影像,发送至所述服务器;
所述全局相机,用于获取所述目标对象和所述扫描设备的全局图像,并将所述全局图像发送至所述服务器。
在第二方面的一种可能的实现方式中,所述服务器,还用于接收所述扫描设备发送的扫描影像;并根据所述扫描影像识别病灶,在所述扫描影像上实时标注所述病灶的实时位置,生成候选扫描影像;响应于所述用户基于所述候选扫描影像的确认操作,确定所述候选扫描影像中病灶位置为目标病灶位置。
在第二方面的一种可能的实现方式中,所述服务器,还用于响应于所述用户基于所述候选扫描影像的再次扫描操作,获取所述扫描设备的再次扫描区域;基于所述再次扫描区域,确定所述目标对象和所述扫描设备的再次运动规划结果;将所述目标对象和所述扫描设备的再次运动规划结果分别发送至所述扩展显示设备和所述扫描设备中,以使所述目标对象和所述扫描设备分别根据接收到的再次运动规划结果进行运动。
在第二方面的一种可能的实现方式中,所述服务器,还用于识别所述候选扫描影像的合格度,并在所述合格度达到预设阈值时,将所述候选扫描影像作为目标扫描结果上传。
在第二方面的一种可能的实现方式中,所述扫描引导系统还包括:
影像服务器,用于接收所述服务器上传的目标扫描结果并存储。
第三方面,提供了一种扩展现实设备,所述扩展现实设备包括:
获取模块,用于在目标对象佩戴完成所述扩展现实设备的情况下,获取所述目标对象的运动规划结果;
渲染模块,用于根据所述运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导所述目标对象到达目标位置并调整姿势为目标位姿,所述虚拟现实影像包括所述目标对象到达所述目标位置的目标路径和所述目标对象的目标位姿;
指令接收模块,用于在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收服务器发送的确认指令,并根据所述确认指令捕获所述目标对象的确认信号;
指令发送模块,用于在捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制扫描设备对所述目标对象进行扫描。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
第五方面,提供了一种计算机程序产品,当计算机程序产品在扩展现实设备上运行时,使得扩展现实设备执行上述第一方面所述的方法。
可以理解地,上述提供的第二方面、第三方面、第四方面、第五方面均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可以参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1是本申请实施例提供的一种基于扩展现实设备的扫描引导系统的结构示意图;
图2是本申请实施例提供的一种基于扩展现实设备的扫描引导系统的指令交互流程图;
图3是本申请实施例提供的另一种基于扩展现实设备的扫描引导系统的结构示意图;
图4是本申请实施例提供的一种扩展现实设备的扫描引导方法的流程示意图;
图5是本申请实施例提供的一种扩展现实设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
医院放射科的典型工作流程包括登记预约、初诊、拍片、出片、报告、审核、发片等环节,其中拍片环节在整个流程中至关重要,它决定了最终能否有清晰合格的影像供后续环节中得到准确的诊断结果。传统的放射科医学影像拍摄流程存在一些显著的挑战。在典型的流程中,患者进入放射科室,通常就床伸展台上平坐或躺下等待医生使用影像设备拍摄。在这个过程中,医生需要在另一个空间通过手柄控制设备,调整位置以获得合格的影像。然而,初始阶段患者姿势不规范时,医生经常需要通过语音或离开位置亲自调整患者的姿势。这不仅耗费时间和劳动力,而且可能导致辐射暴露。在实际操作中,由于患者姿势不当,医生频繁离开自己的工位以纠正病人位置,这既增加了工作负担,也可能影响影像的清晰度。现有技术中的拍摄流程存在着姿势调整不便、工作效率低下和潜在的辐射风险等缺陷。
为了解决现有技术中的上述问题,本申请提供了一种基于扩展现实设备的扫描引导方法,首先在目标对象佩戴完成扩展现实设备的情况下,获取目标对象的运动规划结果,其次根据运动规划结果,渲染虚拟现实影像,通过虚拟显示影像引导目标对象到达目标位置并调整姿势为目标位姿,在目标对象到达目标位置并调整为目标位姿时,接收服务器发送的确认指令,以根据该确认指令捕获目标对象的确认信号,最后在捕获到目标对象的确认信号时,向服务器发送扫描指令,以使服务器根据扫描指令控制扫描设备对目标对象进行扫描。本申请通过扩展现实设备引导患者到达指定位置以规范的姿势进行影像拍摄,解决了现有技术中的拍摄流程存在着姿势调整不便、工作效率低下和潜在的辐射风险等问题。
应理解,本实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。为了说明本申请的技术方案,下面通过具体实施例来说明。
参见图1,示出了本申请实施例提供的一种基于扩展现实设备的扫描引导系统的结构示意图,该扫描引导系统包括:扩展现实设备、服务器、扫描设备以及全局相机。
其中,扩展现实设备可以通过将数字信息叠加到现实世界中,为用户提供增强的视听体验。扩展现实设备通常包括显示器和传感器,其显示器可以是眼镜式显示器、头戴式显示器或者手机屏幕等,扩展现实设备能够跟踪用户的头部和身体运动,并将用户置于计算机生成的三维虚拟空间中。举例来说,常见的扩展现实设备是AR眼镜以及扩展现实头戴显示器,这些设备通常由高分辨率的显示屏、跟踪摄像头和传感器组成。用户将这个设备戴在头上,通过显示屏看到计算机生成的虚拟世界,而传感器则追踪用户的头部和身体运动,使用户在虚拟环境中能够自由移动和互动。
其中,扩展现实设备、扫描设备以及全局相机处于同一空间,例如放射科室内。服务器则位于与该空间相互独立的另一空间内。
具体地,可以参见图1,图1中目标对象穿戴有扩展现实设备,扩展现实设备可以展示目标对象到达目标位置的目标路径以及在目标位置处的目标位姿,全局相机可以通过获取全局图像,将全局图像传输至服务器中,由服务器确定目标对象是否到达目标位置并调整为目标位姿,在确定目标对象到达目标位置并调整为目标位姿后,向目标对象发送确认指令,以使扩展现实设备捕获目标对象的确认信号,在捕获到目标对象的确认信号后,向服务器发送确认信号,服务器接收到确认信号后,触发扫描指令控制扫描设备对目标对象进行扫描,以获取扫描影像。
在本申请实施例中,为了实现通过扩展现实设备引导患者到达指定位置以规范的姿势进行影像拍摄,可以在目标对象佩戴完成扩展现实设备的情况下,获取目标对象的运动规划结果;根据运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导目标对象到达目标位置并调整姿势为目标位姿;在目标对象到达目标位置并调整为目标位姿时,接收服务器发送确认指令,并根据确认指令捕获目标对象的确认信号;在捕获到目标对象的确认信号的情况下,向服务器发送确认信号,以触发扫描指令使服务器根据扫描指令控制扫描设备对目标对象进行扫描。服务器可以接收全局相机获取的目标对象和扫描设备的全局图像;根据全局图像,确定目标对象和扫描设备的相对位姿;分析目标对象和扫描设备的相对位姿,确定目标对象的运动规划结果;将目标对象的运动规划结果发送至扩展现实设备;接收全局相机发送的目标对象到达目标位置并调整为目标位姿的全局图像,基于该全局图像,向扩展现实设备发送确认指令。扫描设备可以接收服务器的扫描指令,并根据扫描指令对目标对象进行扫描;获取扫描影像,发送至服务器。全局相机可以获取目标对象和扫描设备的全局图像,并将全局图像发送至服务器。
下面基于上述每个设备的执行步骤,对基于扩展现实设备的扫描引导系统的具体执行过程进行详细解释:
由于全局相机与目标对象、扩展现实设备以及扫描设备位于同一空间,因此全局相机可以采集到包括目标对象、扩展现实设备以及扫描设备的全局图像,因此当目标对象进入该空间时,全局相机可以开始进行全局图像的采集,并将采集到的全局图像发送至服务器,由服务器根据全局图像判断目标对象是否完成扩展现实设备的穿戴,以及目标对象与扫描设备的相对位姿;或者还可以由扩展现实设备通过自身安装的压力传感器或者陀螺仪或者温控传感器以及红外传感器判断用户是否穿戴完成,并在穿戴完成后主动向服务器发送穿戴完成的信号。服务器在判断出目标对象完成扩展现实设备的穿戴后,可以根据目标对象与扫描设备的相对位姿,通过运动规划算法得到目标对象和扫描设备的运动规划结果,其中,该运动规划结果可以是由医生确认后的运动规划结果,若医生判断该运动规划结果不合格,服务器将会重新分析,得到新的运动规划结果,直到医生确认运动规划结果合格后,分别将目标对象和扫描设备的运动规划结果发送至扩展现实设备和扫描设备中。
扩展现实设备接收到目标对象的运动规划结果后,可以根据该运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导目标对象到达目标位置并调整为目标位姿,例如图1中目标对象躺在扫描设备上。当目标对象到达目标位置并调整为目标位姿时,全局相机可以获取到目标对象到达目标位置并调整为目标位姿的全局图像,将该全局图像发送至服务器中,服务器根据该全局图像可以判断出目标对象到达目标位置并调整为目标位姿,此时可以向扩展现实设备发送确认指令,扩展现实设备接收到确定指令后,可以基于该确定指令捕获目标对象的确认信号。
其中,基于该确定指令捕获目标对象的确认信号的具体过程可以为:扩展现实设备接收该确定指令,通过语音或文字的方式引导目标对象对到达目标位置并调整为目标位姿的状态进行确认,进而可以捕获目标对象的确认信号,在捕获到目标对象的确认信号时,向服务器发送确认信号,触发服务器的扫描指令,服务器基于该扫描指令可以控制扫描设备按照接收到的扫描设备对应的运动规划结果进行扫描。扫描设备在获取到扫描影像后,可以将该扫描影像发送至服务器,由服务器确定出最终的目标扫描结果。
需要说明的是,捕获到的目标对象的确认信号可以是眼动频率、视线热区或者表情等信号,本申请对确认信号的具体形式不做限定。
对应于上述基于扩展现实设备的扫描引导系统,可以得到如图2所示的基于扩展现实设备的扫描引导系统的指令交互流程图。
在该指令交互流程图中,全局相机首先采集包括目标对象、扩展现实设备以及扫描设备的全局图像,发送至服务器中,服务器根据该全局图像,判断目标对象是否完成扩展现实设备的穿戴,以及目标对象与扫描设备的相对位姿,并在目标对象完成扩展现实设备穿戴的情况下,根据目标对象与扫描设备的相对位姿,确定目标对象和扫描设备的运动规划结果。分别发送至扩展现实设备和扫描设备中,扩展现实设备接收该目标对象的运动规划结果,根据该运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导目标对象到达目标位置并调整姿势为目标位姿。全局相机持续采集全局图像发送至服务器,服务器若识别到目标对象到达目标位置并调整姿势为目标位姿,向扩展现实设备发送确认指令,扩展现实设备根据该确认指令捕获目标对象的确认信号,并在捕获到目标对象的确认信号的情况下,向服务器发送确认信号,服务器接收到该确认信号,触发扫描指令,控制扫描设备按照对应运动规划结果进行扫描,并将扫描影像发送至服务器,由服务器确定最终的目标扫描结果。
在本申请实施例中,服务器发送的运动规划结果以及控制扫描设备进行扫描均需要经过医生的确认,即通过人机交互以及人机协同的方式实现扫描影像的获取。
其中,若服务器发送的运动规划结果以及扫描设备的扫描过程出现失误,均可以由医生通过服务器终止操作,改由医生直接对目标对象进行运动指导以及检测设备的操作。
在一种可能的实现方式中,服务器还用于接收扫描设备发送的扫描影像;并根据扫描影像识别病灶,在扫描影像上实时标注病灶的实时位置,生成候选扫描影像;响应于用户基于候选扫描影像的确认操作,确定候选扫描影像中病灶位置为目标病灶位置。
具体地,服务器可以按照一定的帧率截取扫描设备发送的扫描影像,并自动识别病灶,在显示屏上实时标注病灶的位置,生成候选扫描影像,进而医生可以通过鼠标按键等操作,与服务器对病灶位置达成共识,即可以确定候选扫描影像中病灶位置为目标病灶位置。
在一种可能的实现方式中,服务器还用于响应于用户基于候选扫描影像的再次扫描操作,获取扫描设备的再次扫描区域;基于再次扫描区域,确定目标对象和扫描设备的再次运动规划结果;将目标对象和扫描设备的再次运动规划结果分别发送至扩展显示设备和扫描设备中,以使目标对象和扫描设备分别根据接收到的再次运动规划结果进行运动。
具体地,若用户基于候选扫描影像发现目标对象可能在其他部位存在病灶,那么用户可以再次触发扫描操作,通过选择再次扫描区域,服务器可以规划出目标对象和扫描设备的再次运动规划结果,若不需要目标对象进行移动,则可以只规划扫描设备的再次运动规划结果,然后将该再次运动规划结果发送至扫描设备,控制扫描设备根据再次运动规划结果对目标对象的其他部位进行扫描。
具体地,若再次进行扫描需要目标对象配合移动,则服务器需要规划目标对象和扫描设备的再次运动规划结果,然后将将目标对象和扫描设备的再次运动规划结果分别发送至扩展显示设备和扫描设备中,以使目标对象和扫描设备分别根据接收到的再次运动规划结果进行运动,再次获取候选扫描影像。
其中再次运动规划结果包括初次运动规划结果后的多次运动规划结果,本申请对再次规划的次数不做限定。
在一种可能的实现方式中,服务器还用于识别候选扫描影像的合格度,并在合格度达到预设阈值时,将候选扫描影像作为目标扫描结果上传影像服务器。
具体地,服务器可以识别当前候选扫描影像在角度、清晰度、信息完整度上是否合格,若服务器判定当前候选扫描影像合格,可以将候选扫描影像作为目标扫描结果上传至影像服务器。或者服务器判定当前候选扫描影像合格后,征求医生达成共识,医生可以通过鼠标按键等确定操作完成与服务器的交互。例如:若医生也判定影像合格,医生会给服务器传递确定信号,服务器自动将当前候选扫描影像作为目标扫描结果上传至影像服务器;若医生判定影像不合格,医生会给服务器传递否定信号,并通过鼠标圈定出重点关注的区域,服务器会在此基础上重新规划目标对象和扫描设备的运动,并由重新执行上述过程,以重新获得候选扫描影像。
还应理解,若服务器判定当前候选扫描影像不合格,服务器会征求医生达成共识,医生通过鼠标按键完成与服务器的交互。例如:若医生判定影像合格,医生会给服务器传递确定信号,服务器自动将当前候选扫描影像作为目标扫描结果上传至影像服务器;若医生判定影像不合格,医生会给算法服务器传递否定信号,并通过鼠标圈定出重点关注的区域,服务器会在此基础上重新规划目标对象和扫描设备的运动,并由重新执行上述过程,以重新获得候选扫描影像。
在一种可能的实现方式中,在服务器将候选扫描影像作为目标扫描结果上传后,目标对象可以归还扩展现实设备,离开放射科室,完成此次检测。
在本申请实施例中,医生无需进入放射科室,即可以完成对目标对象的扫描,并得到精确的目标扫描结果。
参见图3,示出了本申请实施例提供的另一种基于扩展现实设备的扫描引导系统的结构示意图,该扫描引导系统包括:扩展现实设备、服务器、扫描设备、全局相机以及影像服务器。
在本申请实施例中,扩展现实设备、服务器、扫描设备、全局相机的执行步骤均与上述实施例中执行步骤相同,可以相互参考,本申请实施例在此不在赘述。
在本申请实施例中,影像服务器可以用于接收服务器上传的目标扫描结果并存储,可以对目标对象的目标扫描结果进行查找以及溯源。
下面以CT胸部平扫为例,详细描述基于扩展现实设备的扫描引导系统的执行过程:
第一步:目标对象进入放射科室,戴上扩展现实设备;
第二步:扩展现实设备可以通过陀螺仪、压力传感器等感知到患者已经完成扩展现实设备佩戴,此时会触发扩展现实设备在目标对象视线内渲染虚拟现实影像,该影像内容主要包括动态和静态:动态部分包括一个虚拟的三维人体模型走到现实世界的CT设备前,站在指定位置,调整位姿;静态部分包括CT设备、指定站立位置,同时还包括若干醒目的文字、图标说明,方便目标对象更清晰地理解引导内容地含义。目标对象可以通过半透地扩展现实设备同时看清虚拟与现实世界地物体;
第三步:在展示扩展现实设备图像的同时,扩展现实设备还通过耳机向患者播放智能语音,配合虚拟现实影像,让目标对象主动从科室门口走到CT设备前,站在指定位置,并调整位姿(在此过程中服务器会不断接收全局相机通过以太网上传地目标对象于CT设备相对位姿的图像);
第四步:扩展现实设备捕获患者地眼动信号(比如连续眨眼三次),确认目标对象已经准备完成,扩展现实设备通过WIFI向服务器发送目标对象已准备完成地信号;
第五步:服务器接收扩展现实设备的信号,分析全局相机上传的科室内部图像,判断目标对象的位姿是否正确。若不正确,比如站立位置有偏离、身体向某一侧倾倒等等,服务器会立即向扩展现实设备传递该信号,扩展现实设备将其转化为智能语音,让目标对象及时调整,并重复第四步、第五步;若目标对象站立位姿正确,则服务器会主动通过显示器向医生确认是否立即扫描,当医生通过鼠标点击确认后,服务器会向CT设备传递开始扫描的信号,同时传递规划的路径信息(病人可能有高矮胖瘦的区别,因此每次规划的路径会有一定的不同);
第六步:CT设备接收到服务器的运动信号后,会按照服务器规划的路径扫描目标对象胸部位置,CT设备会将影像数据通过以太网实时传递给服务器,并实时渲染展示在显示器上;
第七步:在影像扫描的过程中,服务器会按照一定的频率主动截取帧影像,识别并标记病灶位置,医生也会通过鼠标实时标记自己人为识别的病灶位置;
第八步:服务器根据病灶位置更加细致有针对性地规划路径,以及根据影像效果调整CT辐射剂量(例如对于身体较为肥胖的患者,可能需要调整参数以获得清晰的图像),并将新的指令传递给CT设备;
第九步:CT设备基于服务器下发地指令调整自身参数,并按照指定的路径规划运动,当扫描完成后,CT设备向服务器传递完成的信号;
第十步:服务器通过显示器向医生传递胸部拍片完成的信号,拍片医生通过鼠标点击确认;
第十一步:服务器向扩展现实设备传递拍片完成的信号,扩展现实设备通过AR图像和语音指导患者摘下眼镜、放在指定位置并离开放射科室;
第十二步:服务器主动截取若干帧的影像作为拍片结果,并自动选择3-5张合格的影像供医生选择,医生可以二次筛选,也可以通过鼠标直接点确认将当前患者的影像一件保存或上传到医学图像存储和通信系统(Picture Archiving and CommunicationSystem,PACS)。
应理解,目标对象是否在放射科室内一直头戴扩展现实设备,以及在拍片过程也一直头戴扩展现实设备,主要取决于影像扫描的位置。如果是扫描头部以下的位置,可以一直带着,如果扫描的位置包括了头部,那么就需要在扫描的前一刻摘下扩展现实设备(这之后的引导信息就只能由拍片医生通过麦克风语音传递给目标对象)。
为了保证整个系统中目标对象的绝对安全以及医生的绝对主导地位,医生可以随时接手影像设备的控制权限,以及针对目标对象的信息引导,此时之前所有人工智能部分暂时全部下线,之前的规划也会全部清零。
需要说明的是,上述仅为示例性的说明,不能作为对本申请的场景限定,针对其他场景需结合具体情况进行分析。
参见图4,示出了本申请实施例提供的一种基于扩展现实设备的扫描引导方法的流程示意图,该方法包括以下步骤:
步骤S401,在目标对象佩戴完成扩展现实设备的情况下,获取目标对象的运动规划结果。
其中,目标对象通常是指佩戴扩展现实设备的个体,可能是患者、用户或者需要被引导执行特定动作的对象。在本申请实施例中,目标对象是指佩戴扩展现实设备的患者。
其中,扩展现实设备是一种技术工具,通常是头戴式显示器等设备,能够在用户的视觉和听觉上创造出虚拟的三维环境。用户通过佩戴这些设备,能够与虚拟环境进行互动。在本申请实施例中,扩展现实设备可以是指AR眼镜。
其中,运动规划结果可能包括目标对象应该执行的动作、路径、以及可能的调整姿势。在本申请实施例中,目标对象的运动规划结果,可以是从其他设备获取到的运动规划结果,还可以是存储在扩展现实设备中的运动规划结果,即扩展现实设备可以基于当前目标对象的位置,获取与当前位置对应的运动规划结果,该运动规划结果可以是预先存储至扩展现实设备中的。
在本申请实施例中,扩展现实设备可以接收服务器传输的目标对象的运动规划结果,具体地,运动规划结果的获取步骤包括:通过全局相机获取目标对象和扫描设备的全局图像;将全局图像上传至服务器中,由服务器根据全局图像,确定目标对象和扫描设备的相对位姿;通过服务器分析目标对象和扫描设备的相对位姿,确定目标对象的运动规划结果;将目标对象的运动规划结果发送至扩展现实设备。
在一种可能的实现方式中,获取目标对象的运动规划结果具体可以包括:
接收服务器发送的初次运动规划结果;或
在根据初次运动规划结果得到目标对象的扫描影像不满足预设要求的情况下,接收服务器发送的再次运动规划结果,以对目标对象进行再次扫描。
在本申请实施例中,运动规划结果具体可以包括初次运动规划结果和再次运动规划结果,其再次运动规划结果可以是指初次运动规划结果生成后的多次运动规划结果。
具体地,获取目标对象的运动规划结果,是指获取目标对象的初次运动规划结果或再次运动规划结果,且在本申请中,不论是获取到初次运动规划结果还是再次运动规划结果,其之后的执行操作均相同。而需要理解的是,获取目标对象的再次运动规划结果的触发条件为根据初次运动规划结果得到目标对象的扫描影像不满足预设要求。
在一种可能的实现方式中,确定运动规划结果的过程具体可以包括:
通过服务器分析目标对象和扫描设备的相对位姿,确定目标对象的初步运动规划结果;
响应于用户基于初步运动规划结果的确认操作,确定初步运动规划结果为目标对象的运动规划结果;
响应于用户基于初步运动规划结果的重新规划操作,再次确认目标对象的候选运动规划结果,直至服务器接收到用户的确认操作,响应于用户基于候选运动规划结果的确认操作,确定候选运动规划结果为目标对象的运动规划结果。
在本申请实施例中,用户基于初步运动规划结果的确认操作可以是指用户通过鼠标或键盘等方式实现与服务器的交互,服务器响应于用户点击鼠标或键盘等确认操作,确定初步运动规划结果为目标对象的运动规划结果。
在本申请实施例中,用户基于初步运动规划结果的重新规划操作可以是指用户通过鼠标或键盘等方式实现与服务器的交互,服务器响应于用户点击鼠标或键盘等对初步运动规划结果的否定操作,再次确认目标对象的候选运动规划结果。
步骤S402,根据运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导目标对象到达目标位置并调整姿势为目标位姿。
其中,虚拟现实影像包括目标对象到达目标位置的目标路径和目标对象的目标位姿。
在本申请实施例中,渲染虚拟现实影像可以包括以下三步,3D模型和场景设计以及虚实融合:在虚拟现实系统中,会事先设计好虚拟环境的3D模型和场景。包括目标位置、虚拟路径、调整姿势等元素。运动规划结果应用:运动规划结果被应用于虚拟环境的设计中,以确定目标对象应该移动的路径、执行的动作,以及调整的姿势。这可以通过将运动规划结果与虚拟场景的元素相匹配来实现,即通过虚实融合实现。影像生成:根据运动规划结果和虚拟场景的设计,虚拟现实系统生成相应的虚拟影像。这可能包括动态的运动轨迹、目标位置的标记,以及虚拟场景中目标对象的可视化呈现。
在本申请实施例中,引导目标对象到达目标位置并调整姿势为目标位姿首先可以通过生成的虚拟影像通过扩展现实设备的显示器呈现给目标对象。这可以是头戴显示器、AR眼镜等设备。目标对象根据虚拟影像中的引导元素,如路径标记、调整姿势的提示等,开始执行移动和动作,以达到预定的目标位置和位姿。同时扩展现实系统可以提供实时的反馈,例如通过虚拟影像中的视觉效果或声音提示,以指导目标对象在虚拟环境中实现运动规划的目标。
在一种可能的实现方式中,根据运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导目标对象到达目标位置并调整姿势为目标位姿,包括:
根据运动规划结果,获取目标路径中关键节点的语音引导和文字引导,并渲染虚拟现实影像;
显示虚拟现实影像,根据关键节点的语音引导、文字引导以及目标路径和目标位姿对应的影像,引导目标对象到达目标位置并调整姿势为目标位姿。
步骤S403,在目标对象到达目标位置并调整为目标位姿时,接收服务器发送的确认指令,并根据确认指令捕获目标对象的确认信号。
其中,目标对象到达目标位置并调整为目标位姿的确定可以通过服务器确定得到,其服务器是负责协调和控制整个系统的计算机或系统。它与扩展现实设备和其他相关设备进行通信,发送指令并接收反馈。
其中,确认指令是由服务器发送给目标对象的信号,用于通知目标对象已经成功完成了特定的任务,即到达了目标位置并调整了位姿。
其中,确认信号是指目标对象在接收到确认指令后,通过特定的手势、动作或其他方式发出的信号,以确认可以开始进行扫描。这可以是目标对象按下按钮、做出预定的手势或预定的眼动频率等。
在本申请实施例中,在虚拟现实环境中,目标对象根据虚拟现实影像的引导,执行动作以到达目标位置并调整为目标位姿。一旦目标对象完成任务,服务器向扩展现实设备发送确认指令,通知目标对象任务已成功。扩展现实设备接收服务器发送的确认指令,将其展示给目标对象,通知其已成功完成任务。目标对象在接收到确认指令后,通过执行预定的动作或手势发出确认信号,表示确认可以开始进行扫描。扩展现实设备通过传感器等方式捕获目标对象的确认信号,可以用于后续的处理或反馈。
在一种可能的实现方式中,在目标对象到达目标位置并调整为目标位姿时,接收服务器发送确认指令,并根据确认指令捕获目标对象的确认信号,包括:
在目标对象到达目标位置并调整为目标位姿时,接收服务器发送的确认指令,
根据确认指令捕获目标对象的眼动信号,并根据眼动信号确定确认信号。
其中,确认指令用于指示扩展现实设备捕获目标对象的确认信号。
在一种可能的实现方式中,根据确认指令捕获目标对象的眼动信号,并根据眼动信号确定确认信号,包括:
根据确认指令捕获目标对象的眼动信号,确定目标对象的眼动频率;
根据目标对象的眼动频率,确定目标对象的确认信号。
在本申请实施例中,目标对象的眼动信号可以是通过扩展现实设备中的眼动追踪技术获取的。若目标对象的眼动频率大于预设频率,则可以确定目标对象的确认信号。
步骤S404,在捕获到目标对象的确认信号的情况下,向服务器发送确认信号,以触发扫描指令使服务器根据扫描指令控制扫描设备对目标对象进行扫描。
其中,扫描设备是用于对目标对象进行扫描的设备,可能是医学影像设备如CT扫描仪、MRI等。扫描设备可以捕捉目标对象内部结构的详细信息。
在本申请实施例中,若扩展现实设备捕获到目标对象的确认信号,则确定目标对象已完成扫描准备,可以由扩展现实设备向服务器发送确认信号,该确认信号可以触发服务器中扫描指令的执行,进而使服务器根据扫描指令控制扫描设备对目标对象进行扫描。
在一种可能的实现方式中,在捕获到目标对象的确认信号的情况下,向服务器发送确认信号,以触发扫描指令使服务器根据扫描指令控制扫描设备对目标对象进行扫描,包括:
在通过目标对象的眼动频率,确定捕获到目标对象的确认信号的情况下,向服务器确认信号,以触发扫描指令使服务器根据扫描指令控制扫描设备根据对应路径对目标对象进行扫描;
其中,对应路径是由服务器根据接收到的目标对象的检测项目以及扫描设备与目标对象的相对位姿确定。
应理解,检测项目的不同会导致扫描设备的对应路径存在不同,例如头部扫描项目的扫描路径与胸部扫描项目的扫描路径存在不同。
在本申请实施例中,首先在目标对象佩戴完成扩展现实设备的情况下,获取目标对象的运动规划结果,其次根据运动规划结果,渲染虚拟现实影像,通过虚拟显示影像引导目标对象到达目标位置并调整姿势为目标位姿,在目标对象到达目标位置并调整为目标位姿时,接收服务器发送的确认指令,以根据该确认指令捕获目标对象的确认信号,最后在捕获到目标对象的确认信号时,向服务器发送确认信号,以触发扫描指令使服务器根据扫描指令控制扫描设备对目标对象进行扫描。本申请通过扩展现实设备引导患者到达指定位置以规范的姿势进行影像拍摄,解决了现有技术中的拍摄流程存在着姿势调整不便、工作效率低下和潜在的辐射风险等问题。
在一种可能的实现方式中,扫描引导方法还包括:
在目标路径存在误差时,接收实时引导语音。
在本申请实施例中,若目标路径规划不合理,医生可以触发再次规划的指令,服务器会再次进行运动规划,在此过程中,医生也可以随时终止运动规划,改由医生接手针对目标对象的动作指导。即,医生的语音会通过扩展现实设备自带的耳机传递到目标对象的耳中。
参见图5,示出了本申请实施例提供的一种扩展现实设备的结构示意图;为了便于说明,仅示出了与本申请实施例相关的部分。
扩展现实设备500具体可以包括:
获取模块501,用于在目标对象佩戴完成扩展现实设备的情况下,获取目标对象的运动规划结果;
渲染模块502,用于根据运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导目标对象到达目标位置并调整姿势为目标位姿,虚拟现实影像包括目标对象到达目标位置的目标路径和目标对象的目标位姿;
指令接收模块503,用于在目标对象到达目标位置并调整为目标位姿时,接收服务器发送的确认指令,并根据确认指令捕获目标对象的确认信号;
指令发送模块504,用于在捕获到目标对象的确认信号的情况下,向服务器发送确认信号,以触发扫描指令使服务器根据扫描指令控制扫描设备对目标对象进行扫描。
在本申请实施例中,获取模块501具体可以包括如下单元:
初次结果接收单元,用于接收服务器发送的初次运动规划结果;或
再次结果接收单元,用于在根据初次运动规划结果得到目标对象的扫描影像不满足预设要求的情况下,接收服务器发送的再次运动规划结果,以对目标对象进行再次扫描。
在本申请实施例中,渲染模块502具体可以包括如下单元:
影像渲染单元,用于根据运动规划结果,获取目标路径中关键节点的语音引导和文字引导,并渲染虚拟现实影像;
显示单元,用于显示虚拟现实影像,根据关键节点的语音引导、文字引导以及目标路径和目标位姿对应的影像,引导目标对象到达目标位置并调整姿势为目标位姿。
在本申请实施例中,指令接收模块503具体可以包括如下单元:
接收单元,用于在目标对象到达目标位置并调整为目标位姿时,接收服务器发送的确认指令,确认指令用于指示扩展现实设备捕获目标对象的确认信号;
捕获单元,用于根据确认指令捕获目标对象的眼动信号,并根据眼动信号确定确认信号。
在本申请实施例中,捕获单元还用于:
根据确认指令捕获目标对象的眼动信号,确定目标对象的眼动频率;
根据目标对象的眼动频率,确定目标对象的确认信号。
在本申请实施例中,指令发送模块504具体还可以包括如下单元:
确认单元,用于在通过目标对象的眼动频率,确定捕获到目标对象的确认信号的情况下,向服务器发送确认信号,以触发扫描指令使服务器根据扫描指令控制扫描设备根据对应路径对目标对象进行扫描;
其中,对应路径是由服务器根据接收到的目标对象的检测项目以及扫描设备与目标对象的相对位姿确定。
在本申请实施例中,扩展现实设备500具体还可以包括:
语音接收模块,用于在目标路径存在误差时,接收实时引导语音。
在本申请实施例中,运动规划结果的获取具体可以采用以下单元:
获取单元,用于通过全局相机获取目标对象和扫描设备的全局图像;
确定单元,用于将全局图像上传至服务器中,由服务器根据全局图像,确定目标对象和扫描设备的相对位姿;
结果确定单元,用于通过服务器分析目标对象和扫描设备的相对位姿,确定目标对象的运动规划结果;
发送单元,用于将目标对象的运动规划结果发送至扩展现实设备。
在本申请实施例中,结果确定单元具体可以用于:
通过服务器分析目标对象和扫描设备的相对位姿,确定目标对象的初步运动规划结果;
响应于用户基于初步运动规划结果的确认操作,确定初步运动规划结果为目标对象的运动规划结果;
响应于用户基于初步运动规划结果的重新规划操作,再次确认目标对象的候选运动规划结果,直至服务器接收到用户的确认操作,响应于用户基于候选运动规划结果的确认操作,确定候选运动规划结果为目标对象的运动规划结果。
本申请实施例提供的扩展现实设备可以应用在前述方法实施例中,详情参见上述方法实施例的描述,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/电子设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/电子设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程,也可以通过一种计算机程序产品来完成,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行时可实现上述各个方法实施例中的步骤。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制。尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (16)
1.一种基于扩展现实设备的扫描引导方法,其特征在于,应用于扩展现实设备,所述扫描引导方法包括:
在目标对象佩戴完成所述扩展现实设备的情况下,获取所述目标对象的运动规划结果;
根据所述运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导所述目标对象到达目标位置并调整姿势为目标位姿,所述虚拟现实影像包括所述目标对象到达所述目标位置的目标路径和所述目标对象的目标位姿;
在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收服务器发送的确认指令,并根据所述确认指令捕获所述目标对象的确认信号;
在捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制扫描设备对所述目标对象进行扫描。
2.如权利要求1所述的扫描引导方法,其特征在于,所述运动规划结果包括初次运动规划结果和再次运动规划结果;所述获取所述目标对象的运动规划结果包括:
接收所述服务器发送的初次运动规划结果;或
在根据所述初次运动规划结果得到所述目标对象的扫描影像不满足预设要求的情况下,接收所述服务器发送的再次运动规划结果,以对所述目标对象进行再次扫描。
3.如权利要求1所述的扫描引导方法,其特征在于,所述根据所述运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导所述目标对象到达目标位置并调整姿势为目标位姿,包括:
根据所述运动规划结果,获取所述目标路径中关键节点的语音引导和文字引导,并渲染所述虚拟现实影像;
显示所述虚拟现实影像,根据所述关键节点的语音引导、文字引导以及所述目标路径和所述目标位姿对应的影像,引导所述目标对象到达目标位置并调整姿势为目标位姿。
4.如权利要求1所述的扫描引导方法,其特征在于,在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收服务器发送的确认指令,并根据所述确认指令捕获所述目标对象的确认信号,包括:
在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收所述服务器发送的确认指令,所述确认指令用于指示所述扩展现实设备捕获所述目标对象的确认信号;
根据所述确认指令捕获所述目标对象的眼动信号,并根据所述眼动信号确定所述确认信号。
5.如权利要求4所述的扫描引导方法,其特征在于,所述根据所述确认指令捕获所述目标对象的眼动信号,并根据所述眼动信号确定所述确认信号,包括:
根据所述确认指令捕获所述目标对象的眼动信号,确定所述目标对象的眼动频率;
根据所述目标对象的眼动频率,确定所述目标对象的所述确认信号。
6.如权利要求5所述的扫描引导方法,其特征在于,所述在捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制扫描设备对所述目标对象进行扫描,包括:
在通过所述目标对象的眼动频率,确定捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制所述扫描设备根据对应路径对所述目标对象进行扫描;
其中,所述对应路径是由服务器根据接收到的所述目标对象的检测项目以及扫描设备与所述目标对象的相对位姿确定。
7.如权利要求1所述的扫描引导方法,其特征在于,所述扫描引导方法还包括:
在所述目标路径存在误差时,接收引导语音。
8.如权利要求1所述的扫描引导方法,其特征在于,所述运动规划结果的获取步骤包括:
通过全局相机获取所述目标对象和所述扫描设备的全局图像;
将所述全局图像上传至所述服务器中,由所述服务器根据所述全局图像,确定所述目标对象和所述扫描设备的相对位姿;
通过所述服务器分析所述目标对象和所述扫描设备的相对位姿,确定所述目标对象的运动规划结果;
将所述目标对象的运动规划结果发送至所述扩展现实设备。
9.如权利要求8所述的扫描引导方法,其特征在于,所述运动规划结果的确定步骤包括:
通过所述服务器分析所述目标对象和所述扫描设备的相对位姿,确定所述目标对象的初步运动规划结果;
响应于用户基于所述初步运动规划结果的确认操作,确定所述初步运动规划结果为所述目标对象的运动规划结果;
响应于用户基于所述初步运动规划结果的重新规划操作,再次确认所述目标对象的候选运动规划结果,直至所述服务器接收到所述用户的确认操作,响应于用户基于所述候选运动规划结果的确认操作,确定所述候选运动规划结果为所述目标对象的运动规划结果。
10.一种基于扩展现实设备的扫描引导系统,其特征在于,所述扫描引导系统包括:扩展现实设备、服务器、扫描设备以及全局相机;
所述扩展现实设备,用于在目标对象佩戴完成所述扩展现实设备的情况下,获取所述目标对象的运动规划结果;根据所述运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导所述目标对象到达目标位置并调整姿势为目标位姿,所述虚拟现实影像包括所述目标对象到达所述目标位置的目标路径和所述目标对象的目标位姿;在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收服务器发送的确认指令,并根据所述确认指令捕获所述目标对象的确认信号;在捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制扫描设备对所述目标对象进行扫描;
所述服务器,用于接收所述全局相机获取的所述目标对象和所述扫描设备的全局图像;根据所述全局图像,确定所述目标对象和所述扫描设备的相对位姿;分析所述目标对象和所述扫描设备的相对位姿,确定所述目标对象的运动规划结果;将所述目标对象的运动规划结果发送至所述扩展现实设备;接收所述全局相机发送的所述目标对象到达所述目标位置并调整为所述目标位姿的全局图像,基于该全局图像,向所述扩展现实设备发送所述确认指令;接收所述扩展现实设备发送的扫描指令,并将所述扫描指令和所述扫描设备的运动规划结果发送至扫描设备;
所述扫描设备,用于接收所述服务器的扫描指令和所述扫描设备的运动规划结果,并根据所述扫描指令和所述扫描设备的运动规划结果对所述目标对象进行扫描;获取扫描影像,发送至所述服务器;
所述全局相机,用于获取所述目标对象和所述扫描设备的全局图像,并将所述全局图像发送至所述服务器。
11.如权利要求10所述的扫描引导系统,其特征在于,
所述服务器,还用于接收所述扫描设备发送的扫描影像;并根据所述扫描影像识别病灶,在所述扫描影像上实时标注所述病灶的实时位置,生成候选扫描影像;响应于所述用户基于所述候选扫描影像的确认操作,确定所述候选扫描影像中病灶位置为目标病灶位置。
12.如权利要求11所述的扫描引导系统,其特征在于,
所述服务器,还用于响应于所述用户基于所述候选扫描影像的再次扫描操作,获取所述扫描设备的再次扫描区域;基于所述再次扫描区域,确定所述目标对象和所述扫描设备的再次运动规划结果;将所述目标对象和所述扫描设备的再次运动规划结果分别发送至所述扩展现实设备和所述扫描设备中,以使所述目标对象和所述扫描设备分别根据接收到的再次运动规划结果进行运动。
13.如权利要求10所述的扫描引导系统,其特征在于,
所述服务器,还用于识别候选扫描影像的合格度,并在所述合格度达到预设阈值时,将所述候选扫描影像作为目标扫描结果上传。
14.如权利要求13所述的扫描引导系统,其特征在于,所述扫描引导系统还包括:
影像服务器,用于接收所述服务器上传的目标扫描结果并存储。
15.一种扩展现实设备,其特征在于,所述扩展现实设备包括:
获取模块,用于在目标对象佩戴完成所述扩展现实设备的情况下,获取所述目标对象的运动规划结果;
渲染模块,用于根据所述运动规划结果,渲染虚拟现实影像,以通过虚拟现实影像引导所述目标对象到达目标位置并调整姿势为目标位姿,所述虚拟现实影像包括所述目标对象到达所述目标位置的目标路径和所述目标对象的目标位姿;
指令接收模块,用于在所述目标对象到达所述目标位置并调整为所述目标位姿时,接收服务器发送的确认指令,并根据所述确认指令捕获所述目标对象的确认信号;
指令发送模块,用于在捕获到所述目标对象的确认信号的情况下,向所述服务器发送确认信号,以触发扫描指令使所述服务器根据所述扫描指令控制扫描设备对所述目标对象进行扫描。
16.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410494746.6A CN118229931A (zh) | 2024-04-23 | 2024-04-23 | 基于扩展现实设备的扫描引导方法、系统及扩展现实设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410494746.6A CN118229931A (zh) | 2024-04-23 | 2024-04-23 | 基于扩展现实设备的扫描引导方法、系统及扩展现实设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118229931A true CN118229931A (zh) | 2024-06-21 |
Family
ID=91506623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410494746.6A Pending CN118229931A (zh) | 2024-04-23 | 2024-04-23 | 基于扩展现实设备的扫描引导方法、系统及扩展现实设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118229931A (zh) |
-
2024
- 2024-04-23 CN CN202410494746.6A patent/CN118229931A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11297285B2 (en) | Dental and medical loupe system for lighting control, streaming, and augmented reality assisted procedures | |
CN103106401B (zh) | 一种具有人机交互机制的移动终端虹膜识别装置 | |
US20190240508A1 (en) | Systems and methods for providing medical information and for performing a medically-related process using augmented reality technology | |
EP2919093A1 (en) | Method, system, and computer for identifying object in augmented reality | |
US20140282196A1 (en) | Robotic system providing user selectable actions associated with gaze tracking | |
WO2022147083A1 (en) | Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene | |
AU2020213847B2 (en) | Method and system for proposing and visualizing dental treatments | |
WO2017049776A1 (zh) | 一种可透视型智能眼镜及其透视方法 | |
TW201505603A (zh) | 資訊處理裝置、資訊處理方法及資訊處理系統 | |
EP3445249B1 (en) | Ultrasound imaging probe positioning | |
CN108629845B (zh) | 手术导航装置、设备、系统和可读存储介质 | |
US11737832B2 (en) | Viewing system for use in a surgical environment | |
CN103028198A (zh) | 运动物体追踪放射线治疗系统 | |
CN114730454A (zh) | 场景感知系统和方法 | |
US20220358724A1 (en) | Information processing device, information processing method, and program | |
CN110638525B (zh) | 整合扩增实境的手术导航系统 | |
US20220070365A1 (en) | Mixed reality image capture and smart inspection | |
CN114223040A (zh) | 在成像点处用于对使成像工作流程效率更高的选择的即时建议的设备 | |
EP3701357B1 (en) | Multi-layer viewing system and method | |
CN113768619B (zh) | 路径定位方法、信息显示装置、存储介质及集成电路芯片 | |
JP2007034628A (ja) | 画像処理方法及び装置 | |
CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
CN118229931A (zh) | 基于扩展现实设备的扫描引导方法、系统及扩展现实设备 | |
CN114077243B (zh) | 一种医疗辅助设备的运动控制方法和系统 | |
JP6982656B2 (ja) | 眼で操作するアイポインティングシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |