CN116524124A - 脊柱三维动态重建方法和系统 - Google Patents
脊柱三维动态重建方法和系统 Download PDFInfo
- Publication number
- CN116524124A CN116524124A CN202310462721.3A CN202310462721A CN116524124A CN 116524124 A CN116524124 A CN 116524124A CN 202310462721 A CN202310462721 A CN 202310462721A CN 116524124 A CN116524124 A CN 116524124A
- Authority
- CN
- China
- Prior art keywords
- spine
- joint
- point
- spinechest
- corr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 210000004197 pelvis Anatomy 0.000 claims description 48
- 238000012937 correction Methods 0.000 claims description 47
- 210000000115 thoracic cavity Anatomy 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 27
- 101150005267 Add1 gene Proteins 0.000 claims description 19
- 101150060298 add2 gene Proteins 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 19
- 210000004394 hip joint Anatomy 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 13
- 206010023509 Kyphosis Diseases 0.000 claims description 12
- 208000007623 Lordosis Diseases 0.000 claims description 12
- 239000011436 cob Substances 0.000 claims description 10
- 238000013461 design Methods 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 8
- 238000013481 data capture Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 210000000038 chest Anatomy 0.000 claims description 2
- 210000001624 hip Anatomy 0.000 claims 4
- 206010039722 scoliosis Diseases 0.000 abstract description 16
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000005865 ionizing radiation Effects 0.000 abstract description 5
- 238000012216 screening Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 abstract description 4
- 238000001914 filtration Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 210000001503 joint Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000006073 displacement reaction Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 210000004705 lumbosacral region Anatomy 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000011282 treatment Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 5
- 208000020307 Spinal disease Diseases 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000323 shoulder joint Anatomy 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 208000000875 Spinal Curvatures Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出一种脊柱三维动态重建方法和系统，首先在Unity软件中集成Azure Kinect的人体跟踪功能，选择部分关节点以及附加点作为控制点，通过关节点之间的相对位置对控制点进行校正，并采用基于骨长约束的卡尔曼滤波算法对关节点数据进行平滑处理，其次采用Catmull‑Rom样条对控制点插值拟合生成脊柱曲线，建立通用的3D脊柱模型并配准到拟合的脊柱线上形成自动校准的个性化3D脊柱模型，用于进行脊柱参数分析计算。本发明的优点是建立实时可视化的脊柱三维动态模型并准确的评估脊柱相关参数，无任何电离辐射、成本低廉且便捷易部署，适用于脊柱侧弯筛查和脊柱康复训练评估场景。
Description
技术领域
本发明属于医疗辅助设备技术领域，具体涉及一种脊柱三维动态重建方法和系统。
背景技术
脊柱三维动态重建是一项重要的医学技术，用于对人体脊柱进行三维重建并实时跟踪其运动。这一技术在脊柱疾病的诊断和治疗中具有广泛的应用前景，可以提供详细的脊柱三维解剖结构信息，帮助医生准确定位病变位置并制定合理的治疗方案。然而，目前存在的脊柱三维重建技术仍然存在一些缺陷，限制了其在临床实践中的应用。
脊柱三维重建技术主要基于以下五个方面：一是基于传统二维X光片，通过拍摄多角度的X光片并进行图像处理，对双平面的X光片进行对齐、融合，以生成脊柱的三维模型。该技术能够对脊柱形态和结构可视化，但是使用X射线拍摄可能会使患者和医务人员遭受辐射危害，且二维X光片无法提供完整的三维空间信息；二是基于计算机断层扫描(CT)，通过使用CT扫描仪生成大量横截面图像，然后使用计算机软件将这些图像合并成一个三维模型。这种技术可以提供较高的图像分辨率，能够显示完整的脊柱三维结构信息，但缺点是辐射量较大，是X射线的数百倍；三是基于核磁共振成像(MRI)，这是一种基于磁场和无线电波的成像技术，可以生成详细的脊柱软组织结构图像，但是MRI图像分辨率较低且成像时间较长；四是基于三维激光扫描仪，该技术通过激光扫描仪或深度相机捕捉人体背部表明信息，并利用复杂的数据处理和图像处理得到三维脊柱模型。该技术能够实际安全无辐射的脊柱三维重建，但是由于激光扫描技术的成像深度有限和人的个体差异，可能导致所建立的三维模型无法完全反映脊柱真实的深层结构，且该技术只对静态三维脊柱可视化。五是光栅立体成像，其中具有代表性是DIERS脊柱分析系统，该系统是一种商业化的脊柱动态重建系统，该系统通过结构光投影和立体视觉技术，实现获取脊柱的三维动态数据并进行姿态分析，但是该系统只能在黑暗环境下进行小范围运动的脊柱评估，对于复杂的脊柱疾病和大范围运动或变化较快的情况不适用，且价格较高，因此其临床应用存在一定的局限性。
综上所述，现有的脊柱三维重建技术主要存在具有辐射危害、可靠度低、成本高以及普适性差的问题，因此研究一种安全可靠、使用便捷的低成本脊柱三维动态重建系统具有重大应用价值。
申请人在先申请了CN202211600511.8-脊柱3D建模的方法和系统的中国专利，初步解决了上述问题，但申请人在进一步研究中发现，该种设计方案还有进一步调整和改进的空间。
发明内容
因此，针对现有技术的实际改进需求，本发明提出一种脊柱三维动态重建方法和系统，首先，在Unity软件中集成AzureKinect传感器的人体跟踪功能并捕获原始关节点坐标数据，选择部分关节点以及设计添加的附加点作为控制点，并通过关节点之间的相对位置对控制点进行校正，采用基于骨长约束的卡尔曼滤波算法对控制点数据进行平滑处理；其次，采用Catmull-Rom样条对控制点进行插值得到拟合的脊柱曲线，在Unity场景中建立通用的三维脊柱模型并配准到拟合脊柱曲线上得到个性化三维动态脊柱模型；最后，根据拟合脊柱线的曲率分析算法和关节点的位置分析算法自动计算人体冠状面的Cobb角、骨盆倾斜角、躯干失衡角和矢状面的胸椎后凸角、腰椎前凸角、躯干倾斜角。本发明的优点是建立实时可视化的脊柱三维动态模型并准确的评估脊柱相关参数，无任何电离辐射、成本低廉且便捷易部署，适用于脊柱侧弯筛查和脊柱康复训练评估场景。
本发明解决其技术问题采用的技术方案是：
一种脊柱三维动态重建方法，其特征在于：首先在Unity软件中集成AzureKinect的人体跟踪功能，选择部分关节点以及附加点作为控制点，通过关节点之间的相对位置对控制点进行校正，并采用基于骨长约束的卡尔曼滤波算法对关节点数据进行平滑处理，其次采用Catmull-Rom样条对控制点插值拟合生成脊柱曲线，建立通用的3D脊柱模型并配准到拟合的脊柱线上形成自动校准的个性化3D脊柱模型，用于进行脊柱参数分析计算。
进一步地，采用Neck，SpineChest，SpineNaval，Pelvis，Add1，Add2共6个控制点作用生成脊柱曲线；其中，Neck，SpineChest，SpineNaval，Pelvis作为基础控制点，将Neck关节点到LeftShoulder和RightShoulder连线的垂足作为附加控制点Add1；作一条经过Pelvis关节点且与LeftHip和RightHip连线相垂直的方向朝向Y轴的射线，在该射线上取一点，使该点到Pelvis关节点的距离为LeftHip关节点到RightHip关节点距离的50％，作为附加控制点Add2。
进一步地，对所述控制点的校正具体为：
设Neck关节的三维坐标为：Neckx，Necky，Neckz，Add1点的三维坐标为：Add1x，Add1y，Add1z，SpineChest关节点的三维坐标为：SpineChestx，SpineChesty，SpineChestz；
计算得到校正因子1：
corr1＝[(Neckx-Add1x)(Necky-SpineChesty)]/(Necky-Add1y)
设受试者的身高为h，则校正因子2为：
corr2＝|1-(Necky-SpineChesty)/(0.3h)|,corr2∈[0,1]
对SpineChest关节在X轴方向上的坐标SpineChestx应用校正因子1和校正因子2得：
SpineChestx＝SpineChestx+corr1(1+corr2)
进一步得到校正因子3：
corr3＝[(Neckz-Add1z)(Necky-SpineChesty)]/(Necky-Add1y)
对SpineChest关节点在Z轴方向上的坐标SpineChestz应用校正因子3得：
SpineChestz＝SpineChestz+corr3
SpineChest关节点经过校正后得到的最终三维坐标为：SpineChestx+corr1(1+corr3)，SpineChesty，SpineChestz+corr2；
设SpineNaval关节的三维坐标为：SpineNavalx，SpineNavaly，SpineNavalz，Pelvis关节的三维坐标为：Pelvisx，Pelvisy，Pelvisz，Add2点的三维坐标为：Add2x，Add2y，Add2z；
得到校正因子4：
corr4＝[(Pelvisx-Add2x)(Pelvisy-SpineNavaly)]/(Pelvisy-Add2y)
校正因子5为：
corr5＝|1-(SpineNavaly-Pelvisy)/(0.2h)|,corr5∈[0,1]
对Spine Naval关节点在X轴方向上的坐标SpineNavalx应用校正因子4和校正因子5进行校正后获得：
SpineNavalx＝SpineNavalx+corr4(1+corr5)
再计算得到校正因子6：
corr6＝[(Pelvisz-Add2z)(Pelvisy-SpineNavaly)]/(Pelvisy-Add2y)
对Spine Naval关节点在Z轴方向上的坐标SpineNavalz应用校正因子6得：
SpineNavalz＝SpineNavalz+corr6
SpineNaval关节点经过校正后得到的最终三维坐标为：SpineNavalx+corr4(1+corr5)，SpineNavaly，SpineNavalz+corr6。
进一步地，控制点生成的具体方法为：所述基于骨长约束的卡尔曼滤波具体为：
对于LeftShoulder、RightShoulder、LeftHip、RightHip四个关节点，
设关节点的期望坐标为B(x,y,z)，应用卡尔曼滤波器之后得到的预测值为其父关节坐标为A(x1,y1,z1)，静态测量实验得到的关节对应骨骼长度为L，关节点B应当在以其父关节A为中心的半径为L的球面上，建立骨长约束方程：
(x-x1)2+(y-y1)2+(z-z1)2＝L2
建立关节点A和点P之间的空间线性方程：
联立约束方程和空间线性方程求解得：
选取与点P距离最小的点的解，作为优化后的关节坐标。
进一步地，对于数据处理后得到的控制点，采用Catmull-Rom插值算法生成Catmull-Rom样条函数作为拟合的脊柱曲线，采用由控制点插值得到的Catmull-Rom样条线表示脊柱的中心轮廓曲线，以对脊柱椎骨模型进行三维重建。
进一步地，脊柱的参数分析计算包括：冠状面参数和矢状面参数的计算和评估；所述冠状面参数包括Cobb角、骨盆倾斜角和躯干失衡角；所述矢状面参数包括胸椎后凸角、腰椎前凸角和躯干倾斜角。
进一步地，所述骨盆倾斜角的估计方法为：设右髋关节点的三维坐标别为：RightHipx，RightHipy，RightHipz，左髋关节点的三维坐标为：LeftHipx，LeftHipy，LeftHipz；通过数据处理后得到的左右髋关节的相对位置计算得到骨盆倾斜角：
PelvicTilt＝arctan((RightHipy-LeftHipy)/(RightHipx-LeftHipx))；
通过数据处理后得到的颈部关节和骨盆关节的相对位置计算得到躯干失衡角：
TrunkImbalance＝arctan((Pelvicx-Neckx)/(Pelvicy-Necky))。
进一步地，胸椎后凸角(TK)定义为第四胸椎(T4)上端椎与第十二胸椎(T12)下端椎切线的夹角，腰椎前凸角(LL)定义为第一腰椎(L1)上端椎和尾骨(S1)上端椎切线的夹角；
通过在矢状面投影插值拟合的脊柱曲线，计算所建立的3D脊柱模型中T4中心点所在位置的斜率k4、T12中心点所在位置的斜率k5、L1中心点所在位置的斜率k6、L5中心点所在位置的斜率k7，得到胸椎后凸角(TK)和腰椎前凸角(LL)：
进一步地，通过计算颈部关节点和骨盆关节点的相对位置获得躯干倾斜角：
TrunkInclination＝arctan((Pelvicx-Neckx)/(Pelvicy-Necky))。
以及，一种脊柱三维动态重建的系统，其特征在于：根据以上所述的脊柱三维动态重建方法，包括：
数据捕获模块、数据处理优化模块以及Unity场景建模模块；
所述数据捕获模块用于在Unity中配置AzureKinect使用环境，调用AzureKinectSDK和AzureKinectBodyTrackingSDK中的内置函数，将传感器捕获的关节点数据以队列的形式输入Unity；
所述数据优化处理模块用于通过对原始控制点和设计添加的附加控制点进行校正，再使用基于骨长约束的卡尔曼滤波算法进行平滑处理以减小误差，生成用于进行插值拟合的控制点；
所述Unity场景建模模块用于数据处理得到的控制点进行Catmull-Rom样条插值得到拟合的脊柱曲线，并将导入的3D通用脊柱模型与之配准对齐得到个性化的3D脊柱模型，通过对人体矢状面和冠状面的分析算法对拟合脊柱曲线参数评估，自动计算脊柱参数，最后刷新Unity场景并根据AzureKinect的数据传输不断更新。
本发明及其优选方案可应用于脊柱侧弯筛查和脊柱康复评估训练领域，具有无电离辐射、精度高、自动计算脊柱参数和脊柱三维动态可视化、成本低和使用便捷等优点，可代替现有的采用X光片、CT、MRI、三维激光扫描仪和光栅立体成像仪等脊柱三维建模方法。具有以下优势及用途：
1.无电离辐射。AzureKinect的深度相机是基于红外光的时差测距(TOF)原理对深度信息进行测量，对身体无任何电离辐射，可进行多次重复的检测。
2.算法准确性高。采用高精度的深度传感器AzureKinect捕捉关节点，通过关节点之间的相对位置计算校正系数进行校正，并采用骨长约束的卡尔曼滤波算法减小数据误差，使得结果准确可靠，适用于脊柱侧弯筛查检测场景。
3.实现脊柱三维动态可视化。能够直观地呈现脊柱的三维结构和运动情况，使医生和患者能够直观地了解脊柱的运动、变形，并有助于推测病变情况，从而更好地辅助进行诊断和治疗计划，适用于辅助临床诊断脊柱疾病以及康复训练指导场景。
4.自动计算脊柱参数。通过算法和软件自动化地测量脊柱Cobb角、骨盆倾斜角、躯干前倾角等参数，提高了测量的准确性和效率，减少了人工测量误差，适用于指导临床诊断场景。
5.成本低、使用便捷。本发明仅需要一台AzureKinect深度传感器、相机三脚架以及普通笔记本电脑，相对于使用三维超声探头、三维扫描仪等设备的系统成本较低；且只需要在笔记本电脑中安装Unity软件并导入本发明项目包，搭建三脚架并将传感器连接至电脑运行系统，即可自动计算角度参数和实现3D脊柱可视化，无需人工繁琐操作，产品可部署性强，具有普适性。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明实施例脊柱三维动态重建方法和系统流程图；
图2为本发明实施例关节点检测和处理流程图；
图3为本发明实施例AzureKinect关节点和附加点示意图；
图4为本发明实施例骨长约束模型示意图；
图5为本发明实施例椎骨模型局部坐标系示意图；
图6为本发明实施例冠状面参数计算示意图：其中：(a)脊柱参数，(b)拟合脊柱线；
图7为本发明实施例矢状面参数计算示意图；
图8为本发明实施例脊柱三维动态重建方法和系统设计框图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明解决了现有技术存在有辐射危害、可靠度低的问题以及成本高和普适性差的缺陷，具体技术方案如下：选用低成本、无辐射的深度相机AzureKinect作为研发基础，首先在Unity软件中集成AzureKinect的人体跟踪功能，选择部分关节点以及设计添加的附加点作为控制点，通过关节点之间的相对位置对控制点进行校正，并采用基于骨长约束的卡尔曼滤波算法对关节点数据进行平滑处理，其次采用Catmull-Rom样条对控制点插值拟合生成脊柱曲线，建立通用的3D脊柱模型并配准到拟合的脊柱线上形成自动校准的个性化3D脊柱模型，最后对三维脊柱模型进行脊柱参数分析计算。流程图如图1所示。
1.控制点生成和预处理
在Unity中配置AzureKinect环境并初始化人体跟踪功能，根据AzureKinect数据流的形式，将原始关节点数据排成队列输入，根据原始关节点和设计添加的关节点生成控制点以准确的定位脊柱重要节点的位置，采用基于骨长约束的卡尔曼滤波算法对得到控制点数据进行处理以提高精度，其流程图如图2所示。
1.1控制点生成
AzureKinect人体跟踪自动跟踪的关节点如图3所示，选取其中与脊柱相关的四个点：Neck，SpineChest，SpineNaval，Pelvis作为基础控制点，但是人体的脊柱可能存在一些非正常的弯曲，基础控制点不足以准确的还原脊柱的真实形态，因此需要添加附加控制点以提高脊柱形态识别的精度。
考虑脊柱的胸椎前半段结构稳定，该部分胸椎连线与左右肩关节连线相垂直，且肩关节和颈部关节特征明显、识别率高，因此将Neck关节点到LeftShoulder和RightShoulder连线的垂足作为附加控制点Add1。该控制点由三个关节点共同作用形成，当具有高低肩特征的脊柱侧弯受试者进行测试时，该控制点能够反映脊柱胸椎横向偏移的特征。脊柱的腰椎结构比胸椎结构更不稳定，骨盆的倾斜导致腰椎出现横向偏移，由于腰椎的后半段连线与左右髂嵴的连线相垂直，因此作一条从Pelvis关节点起且与LeftHip和RightHip连线相垂直的方向朝向Y轴的射线，在该射线上取一点，该点到Pelvis关节点的距离为Left Hip关节点到RightHip关节点距离的50％，将该点作为附加控制点Add2。该控制点通过两个髋关节点的相对位置实时校正自己的位置，能够反馈运动情况下骨盆高低的变化和先天性骨盆倾斜所导致的脊柱腰椎横向偏移特征。综上所述，本发明采用Neck，SpineChest，SpineNaval，Pelvis，Add1，Add2共6个控制点作用生成脊柱曲线，能够更加准确地还原脊柱的真实形态，提高对脊柱姿态的识别和追踪精度，进而更好地应用于医疗辅助设备技术领域。
1.2控制点校正
SpineChest和SpineNaval关节点相对于Neck、LeftShoulder和RightShoulder等关节点，没有明确对应的人体关节位置，是通过AzureKinect传感器内置算法估计的脊柱胸椎段和腰椎段的大致位置，然而这两点对于脊柱的整体结构至关重要，因此需要对其进行校正。
由于Neck和Add1关节点估计的位置相对准确，因此通过这两点与SpineChest关节点的相对位置来校正SpineChest关节点。设Neck关节的三维坐标为：Neckx，Necky，Neckz，Add1点的三维坐标为：Add1x，Add1y，Add1z，SpineChest关节点的三维坐标为：SpineChestx，SpineChesty，SpineChestz。
在人体冠状面内，由于脊柱侧弯受试者的高低肩特征可能导致脊柱的胸椎出现横向偏移，因此通过上述三个关节点的相对位置计算得到校正因子1：
corr1＝[(Neckx-Add1x)(Necky-SpineChesty)]/(Necky-Add1y)
对于患有重度脊柱侧弯的受试者，由于脊柱过度变形会导致脊柱胸椎横向偏移距离增大，按照上述方法进行校正可能不足以准确的描述这一变化。通过对人体结构进行分析得到，正常人的脊柱胸椎高度约为身高的0.3倍，而脊柱侧弯患者的脊柱弯曲导致脊柱胸椎横向偏移使得脊柱的纵向高度降低。因此，假设受试者的身高为h，则校正因子2为：
corr2＝|1-(Necky-SpineChesty)/(0.3h)|,corr2∈[0,1]
对SpineChest关节在X轴方向上的坐标SpineChestx应用校正因子1和校正因子2得：
SpineChestx＝SpineChestx+corr1(1+corr2)
在人体矢状面内，由于脊柱存在胸椎后凸，而AzureKinect人体跟踪忽略了这一点，因此同样的通过计算上述三个关节的相对位置得到校正因子3：
corr3＝[(Neckz-Add1z)(Necky-SpineChesty)]/(Necky-Add1y)
对SpineChest关节点在Z轴方向上的坐标SpineChestz应用校正因子3得：
SpineChestz＝SpineChestz+corr3
SpineChest关节点经过校正后得到的最终三维坐标为：SpineChestx+corr1(1+corr3)，SpineChesty，SpineChestz+corr2。
同样的，设SpineNaval关节的三维坐标为：SpineNavalx，SpineNavaly，SpineNavalz，Pelvis关节的三维坐标为：Pelvisx，Pelvisy，Pelvisz，Add2点的三维坐标为：Add2x，Add2y，Add2z。
在人体冠状面内，由于脊柱侧弯患者的骨盆倾斜特征可能导致脊柱的腰椎出现横向偏移，因此通过计算上述三个关节点的相对位置得到校正因子4：
corr4＝[(Pelvisx-Add2x)(Pelvisy-SpineNavaly)]/(Pelvisy-Add2y)
对于重度脊柱侧弯患者，由于脊柱过度变形会导致脊柱腰椎的横向偏移距离增大，通过对人体结构进行分析得到，正常人的脊柱腰椎高度约为身高的0.2倍，而脊柱侧弯患者的脊柱弯曲导致的脊柱腰椎横向偏移使得脊柱的纵向高度降低。因此，校正因子5为：
corr5＝|1-(SpineNavaly-Pelvisy)/(0.2h)|,corr5∈[0,1]
对SpineNaval关节点在X轴方向上的坐标SpineNavalx应用校正因子4和校正因子5进行校正后可得：
SpineNavalx＝SpineNavalx+corr4(1+corr5)
在人体矢状面内，由于脊柱存在腰椎前凸，因此同样的通过计算上述Pelvis、Add2和SpineNaval三个关节点的相对位置得到校正因子6：
corr6＝[(Pelvisz-Add2z)(Pelvisy-SpineNavaly)]/(Pelvisy-Add2y)
对SpineNaval关节点在Z轴方向上的坐标SpineNavalz应用校正因子6得：
SpineNavalz＝SpineNavalz+corr6
SpineNaval关节点经过校正后得到的最终三维坐标为：SpineNavalx+corr4(1+corr5)，SpineNavaly，SpineNavalz+corr6。
1.3基于骨长约束的卡尔曼滤波
尽管AzureKinect的人体跟踪已经达到较高的精度，但是由于其深度摄像头是基于光的飞行时间测距(TOF)原理，导致不可避免的受环境中灰尘、光线以及遮挡物的影响，使得关节点数据可能会出现误差，因此需要对关节点使用平滑滤波算法进行处理。
首先，使用卡尔曼滤波器对数据的噪声进行平滑处理。将状态向量取为骨架关节的真实3D坐标及其速度，表示为测量向量取为骨架关节和声源角度的真实三维坐标，表示为Y＝[x,y,z,arctan(x/z)]T。状态转换过程建模为线性动态系统，测量建模为非线性动态系统，其中时间实例k+1的下一个状态用第k个实例的前一个状态表示，并在数学上表示为：
Xk+1＝FXk+Qk
Yk＝h(Xk)+Rk
其中Xk+1和Yk分别是时间时刻k的状态向量和测量向量，Qk和Rk分别为过程噪声和测量噪声，F是状态转移矩阵，h是状态转换函数。
状态转移矩阵F如下：
采用扩展卡尔曼滤波器对h进行线性化，并将滤波器中的矩阵H替换为h的雅可比矩阵，在当前状态估计下的计算为：
卡尔曼滤波器从具有测量矢量知识Yk的Xk估计分为预测和更新两步，标准的卡尔曼滤波预测步骤可以写成：
其中是与未知真实状态的的预测相关联的协方差矩阵，并且表示为：
基于测量的更新状态表示为：
其中Kk是卡尔曼增益矩阵。卡尔曼滤波器令估计的和真实Xk之间的均方误差最小化，从而提供更平滑的坐标。
其次，由上节分析可知，LeftShoulder、RightShoulder、LeftHip、RightHip四个关节点对于控制点的生成至关重要，实际上人体的骨骼长度是恒定不变的，可通过限制两个关节点之间的距离以减小这种误差。因此，本发明对左右上臂、左右大腿长度进行静态测量实验，在受试者保持数秒钟的直立姿态情况下连续采集多帧数据中波动较小的数据求均值来建立骨长模型。
以右肩关节RightShoulder为例，设RightShoulder关节点的期望坐标为B(x,y,z)，应用卡尔曼滤波器之后得到的预测值为其父关节右肘关节坐标为A(x1,y1,z1)，静态测量实验得到的上臂的长度为L。如图4所示，关节点B应该在以其父关节A为中心的半径为L的球面上，建立骨长约束方程：
(x-x1)2+(y-y1)2+(z-z1)2＝L2
建立关节点A和点P之间的空间线性方程：
联立约束方程和空间线性方程求解得：
选取与点P距离最小的点的解，作为优化后的RightShoulder关节坐标，其余三个关节点同样作次处理。该方法将AzureKinect估计的独立关节点信息通过人体骨长的刚性约束结合，使得估计的人体结构更加完整，能够更加真实、准确的反应脊柱的位置。
2.插值拟合脊柱曲线
Catmull-Rom样条线和贝塞尔样条线的最大不同之处在于它的每个控制点都位于样条线上，这使得当脊柱模型配准到Catmull-Rom样条线上时，每个椎骨都可以根据控制点的变换更准确的进行移动和旋转。因此，对于数据处理后得到的控制点，采用Catmull-Rom插值算法生成Catmull-Rom样条函数作为拟合的脊柱曲线。
Catmull-Rom样条插值本质上是一种分段多项式插值，将每个分段的四个点分别命名为Pi-2、Pi-1、Pi、Pi+1，则可根据四个点的坐标在Pi-1、Pi之间构造三次多项式曲线，将每一个分段的样条曲线拼接便可以构造出一条完整的连续曲线。每个分段的三次多项式：
P(t)＝C0+C1α+C2α2+C3α3
式中：浮点坐标α∈[0,1]，样条函数系数C0～C3由P(t)在端点α＝0、α＝1处的约束条件求得：
式中T称为形状因子，本发明T设置为0.5时插值拟合效果最佳。再由式8求得系数C0～C3后代入式7，可求得插值点Pi-1、Pi之间的Catmull-Rom曲线方程：
3.通用3D脊柱模型建立和配准
3.1通用3D脊柱模型建立
为了能够更加直观地对脊柱侧弯情况做出判断，采用由控制点插值得到的Catmull-Rom样条线表示脊柱的中心轮廓曲线，以对脊柱椎骨模型进行三维重建。脊柱的结构较为复杂，由7块颈椎、12块胸椎、5块腰椎及骶骨、尾骨组成。根据研究表明，脊柱侧弯主要发生在胸椎(T1-T12)和腰椎(L1-L5)。
因此，根据现有文献中数据统计的椎骨几何尺寸比例预建好包括胸椎和腰椎共17个椎骨的3D模型，将所建立的模型导入Unity软件。其中，每个椎骨的中心点高度相对于减去椎间盘高度后的脊柱的相对百分比高度如表1所示。
表1椎骨高度相对百分比
实际上，人体脊柱的椎骨之间存在椎间盘间隙，研究表明所有椎间盘之间的高度约占整个脊柱长度的25％-30％。因此，建立通用3D脊柱模型时应该考虑椎间盘高度，根据文献统计胸椎和腰椎椎间盘之间高度所占百分比如表2所示。
表2椎间盘高度百分比
结合考虑椎骨高度以及椎间盘高度，计算得到每个椎骨实际百分比高度如表3所示。
表3实际椎骨高度百分比
3.2通用3D脊柱模型配准
(1)椎骨模型位置配准
将通用的椎骨模型导入Unity后，对每个椎骨模型建立如图5所示局部坐标系，将坐标系的轴心定位在椎骨的中心(椎体和椎弓根交界处)，左为矢状面视图，右为冠状面视图，Z轴和Y轴分别与椎骨上平面垂直和平行。
在三维空间中，确定物体的坐标轴心以及两个坐标轴的方向就能固定一个物体的位置。根据表1和表2中的椎骨模型参数，计算得到表3中每个椎骨相对于整个脊柱长度的比例关系，得到每个椎骨在拟合脊柱曲线上的百分比位置。将每个椎骨模型的轴心固定到对应拟合脊柱线百分比位置上的点，并将Z轴方向设置为拟合脊柱线上点的切线方向，Y轴方向设置为拟合脊柱线上点的法线方向且朝向相机平面，从而将每个椎骨配准到拟合脊柱曲线上。
(2)自动缩放椎骨模型
所建立的通用脊柱模型对应的脊柱线长度表示为Lnormal，对应不同受试者每次测试计算的拟合脊柱曲线长度表示为L，则椎骨模型的缩放因子表示为：
ScaleFactor＝Lnormal÷L
通过将得到的缩放因子应用于每个椎骨模型的缩放组件上，使得椎骨模型能够根据不同人的拟合脊柱曲线特征自动缩放椎骨模型大小，最终得到个性化3D脊柱模型。
4.脊柱参数评估
4.1冠状面参数
人体的冠状面指的是垂直于前后方向且与地面平行的平面，脊柱的冠状面参数如图6所示，主要包括Cobb角、骨盆倾斜角(PelvicTilt)、躯干失衡角(TrunkImbalance)三个部分。
4.1.1Cobb角
脊柱的Cobb角是目前判断脊柱侧弯程度最常用的衡量指标，它定义为人体冠状面脊柱上端椎的上缘平面与下端椎的下缘平面的最大夹角。本发明根据生成的拟合脊柱曲线计算Cobb角，可自动定位脊柱线弯曲程度最大的位置，同时避免传统方法因单个椎骨异常旋转造成的影响。由于上、下端椎所在的位置是脊柱曲线中倾斜度最大的点，其斜率是曲线斜率的极值点，所以可通过计算拟合脊柱曲线二阶导数为零的点，得到斜率的极值点，以此定位上下端椎所在位置。
本发明采用Catmull-Rom样条线拟合脊柱曲线，由于Catmull-Rom样条函数有C2连续性，即二阶导函数连续，可根据式9对Catmull-Rom样条函数求一阶导数计算斜率：
P′(α)＝(-0.5Pi-2+0.5Pi)+(2Pi-2-5Pi-1+4Pi-Pi+1)α
+(-1.5Pi-2+4.5Pi-1-4.5P+1.5Pi+1)α2
求二阶导数计算极值点：
P″(α)＝(2Pi-2-5Pi-1+4P-iPi+1)+(-3Pi-2+9Pi-1-9P+3Pi+1)α
得到冠状面斜率的极值点(x1,z1)、(x2,z2)、(x3,z3)，以及这些点对应的斜率k1、k2、k3。根据式13计算Cobb角大小：
两个角中最大的角定义为脊柱侧弯Cobb角度，据此评估判断冠状面脊柱弯曲程度。
4.1.2骨盆倾斜角
骨盆倾斜角指的是骨盆倾斜角是指骨盆在前后方向上的倾斜角度，是脊柱侧弯患者的重要特征。静止状态骨盆倾斜角一般在2度以内，在步行状态骨盆倾斜角呈小幅度周期性变化，一般在5至8度之间，骨盆倾斜角超过这两个范围就可能有患脊柱侧弯的风险。因此，本发明在静态和动态情况下估计人体骨盆倾斜角，具有临床应用参考价值。
设右髋关节点的三维坐标别为：RightHipx，RightHipy，RightHipz，左髋关节点的三维坐标为：LeftHipx，LeftHipy，LeftHipz。
通过数据处理后得到的左右髋关节的相对位置计算得到骨盆倾斜角：
PelvicTilt＝arctan((RightHipy-LeftHipy)/(RightHipx-LeftHipx))
4.1.3躯干失衡角
人体的冠状面躯干失衡角是躯干在站立或坐立时相对于重力线的左右倾斜角度。冠状面躯干失衡角是一种测量躯干姿态的指标，可用于评估躯干在左右倾斜方面的平衡状态，帮助医生了解患者脊柱的姿态是否存在脊柱的左右侧倾，对于临床诊断和治疗决策具有重要的意义。本发明通过数据处理后得到的颈部关节和骨盆关节的相对位置计算得到躯干失衡角：
TrunkImbalance＝arctan((Pelvicx-Neckx)/(Pelvicy-Necky))
4.2矢状面参数
人体的矢状面指的是一个沿着前后方向将人体分为左右两半的平面，本发明评估的矢状面参数如图7所示，包括胸椎后凸角(thoracic kyphosis，TK)、腰椎前凸角(lumbarlordosis，LL)和躯干倾斜角(Trunk Inclination)。
4.2.1胸椎后凸角和腰椎前凸角
胸椎后凸角(TK)定义为第四胸椎(T4)上端椎与第十二胸椎(T12)下端椎切线的夹角，腰椎前凸角(LL)定义为第一腰椎(L1)上端椎和尾骨(S1)上端椎切线的夹角。评估胸椎后凸角和腰椎前凸角有助于判断脊柱的生理状态和是否存在畸形或病理性变化，从而辅助临床治疗方案的选择和管理脊柱相关疾病。
本发明通过在矢状面投影插值拟合的脊柱曲线，计算所建立的3D脊柱模型中T4中心点所在位置的斜率k4、T12中心点所在位置的斜率k5、L1中心点所在位置的斜率k6、L5中心点所在位置的斜率k7，得到TK和LL：
4.2.2躯干倾斜角
脊柱的躯干倾斜角是指人体躯干在前后平面上相对于垂直线的倾斜角度，通过测量躯干倾斜角可以确定脊柱是否存在异常的前后弯曲，并分析这种异常情况是否会导致姿势性疼痛等问题，及早发现并进行相对应的矫正治疗。本发明通过计算颈部关节点和骨盆关节点的相对位置得到躯干倾斜角：
TrunkInclination＝arctan((Pelvicx-Neckx)/(Pelvicy-Necky))
5.系统设计
本发明的系统设计主要包括三部分，分别是数据捕获模块、数据处理优化模块以及Unity场景建模模块，如图8所示。
数据捕获模块是在Unity中配置AzureKinect使用环境，调用AzureKinectSDK和AzureKinectBodyTrackingSDK中的内置函数，将传感器捕获的关节点数据以队列的形式输入Unity。数据优化处理模块是通过对原始控制点和设计添加的附加控制点进行校正，再使用基于骨长约束的卡尔曼滤波算法进行平滑处理以减小误差，生成用于进行插值拟合的控制点。Unity场景建模模块根据数据处理得到的控制点进行Catmull-Rom样条插值得到拟合的脊柱曲线，并将导入的3D通用脊柱模型与之配准对齐得到个性化的3D脊柱模型，通过对人体矢状面和冠状面的分析算法对拟合脊柱曲线参数评估，自动计算脊柱参数，最后刷新Unity场景并根据AzureKinect的数据传输不断更新。
本实施例产品的使用过程具体如下：
1.将相机三脚架水平摆放并调至1.4～1.6米高度，安装AzureKinect传感器；
2.受试者直立并正对传感器，距离为1.0～2.0米；
3.启动Unity软件，打开3D脊柱建模和系统项目，点击播放按钮运行系统，令受试者直立约5秒，采集受试者的静态数据并将数据导出到数据库，再次点击播放按钮结束采集；
4.点击播放按钮，受试者可自由走动，系统可实时监测脊柱三维形态和评估角度参数；
再次点击播放按钮结束系统，完成采集。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的脊柱三维动态重建方法和系统，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。
Claims (10)
1.一种脊柱三维动态重建方法，其特征在于：首先在Unity软件中集成Azure Kinect的人体跟踪功能，选择部分关节点以及附加点作为控制点，通过关节点之间的相对位置对控制点进行校正，并采用基于骨长约束的卡尔曼滤波算法对关节点数据进行平滑处理，其次采用Catmull-Rom样条对控制点插值拟合生成脊柱曲线，建立通用的3D脊柱模型并配准到拟合的脊柱线上形成自动校准的个性化3D脊柱模型，用于进行脊柱参数分析计算。
2.根据权利要求1所述的脊柱三维动态重建方法，其特征在于：采用Neck，SpineChest，Spine Naval，Pelvis，Add1，Add2共6个控制点作用生成脊柱曲线；其中，Neck，SpineChest，Spine Naval，Pelvis作为基础控制点，将Neck关节点到Left Shoulder和RightShoulder连线的垂足作为附加控制点Add1；作一条经过Pelvis关节点且与Left Hip和Right Hip连线相垂直的方向朝向Y轴的射线，在该射线上取一点，使该点到Pelvis关节点的距离为Left Hip关节点到Right Hip关节点距离的50％，作为附加控制点Add2。
3.根据权利要求2所述的脊柱三维动态重建方法，其特征在于：对所述控制点的校正具体为：
设Neck关节的三维坐标为：Neckx，Necky，Neckz，Add1点的三维坐标为：Add1x，Add1y，Add1z，Spine Chest关节点的三维坐标为：SpineChestx，SpineChesty，SpineChestz；
计算得到校正因子1：
corr1＝[(Neckx-Add1x)(Necky-SpineChesty)]/(Necky-Add1y)
设受试者的身高为h，则校正因子2为：
corr2＝|1-(Necky-SpineChesty)/(0.3h)|,corr2∈[0,1]
对SpineChest关节在X轴方向上的坐标SpineChestx应用校正因子1和校正因子2得：
SpineChestx＝SpineChestx+corr1(1+corr2)
进一步得到校正因子3：
corr3＝[(Neckz-Add1z)(Necky-SpineChesty)]/(Necky-Add1y)
对SpineChest关节点在Z轴方向上的坐标SpineChestz应用校正因子3得：
SpineChestz＝SpineChestz+corr3
SpineChest关节点经过校正后得到的最终三维坐标为：SpineChestx+corr1(1+corr3)，SpineChesty，SpineChestz+corr2；
设SpineNaval关节的三维坐标为：SpineNavalx，SpineNavaly，SpineNavalz，Pelvis关节的三维坐标为：Pelvisx，Pelvisy，Pelvisz，Add2点的三维坐标为：Add2x，Add2y，Add2z；
得到校正因子4：
corr4＝[(Pelvisx-Add2x)(Pelvisy-SpineNavaly)]/(Pelvisy-Add2y)
校正因子5为：
corr5＝|1-(SpineNavaly-Pelvisy)/(0.2h)|,corr5∈[0,1]
对SpineNaval关节点在X轴方向上的坐标SpineNavalx应用校正因子4和校正因子5进行校正后获得：
SpineNavalx＝SpineNavalx+corr4(1+corr5)
再计算得到校正因子6：
corr6＝[(Pelvisz-Add2z)(Pelvisy-SpineNavaly)]/(Pelvisy-Add2y)
对SpineNaval关节点在Z轴方向上的坐标SpineNavalz应用校正因子6得：
SpineNavalz＝SpineNavalz+corr6
SpineNaval关节点经过校正后得到的最终三维坐标为：SpineNavalx+corr4(1+corr5)，SpineNavaly，SpineNavalz+corr6。
4.根据权利要求1所述的脊柱三维动态重建方法，其特征在于：控制点生成的具体方法为：所述基于骨长约束的卡尔曼滤波具体为：
对于Left Shoulder、Right Shoulder、Left Hip、Right Hip四个关节点，
设关节点的期望坐标为B(x,y,z)，应用卡尔曼滤波器之后得到的预测值为其父关节坐标为A(x1,y1,z1)，静态测量实验得到的关节对应骨骼长度为L，关节点B应当在以其父关节A为中心的半径为L的球面上，建立骨长约束方程：
(x-x1)2+(y-y1)2+(z-z1)2＝L2
建立关节点A和点P之间的空间线性方程：
联立约束方程和空间线性方程求解得：
选取与点P距离最小的点的解，作为优化后的关节坐标。
5.根据权利要求4所述的脊柱三维动态重建方法，其特征在于：对于数据处理后得到的控制点，采用Catmull-Rom插值算法生成Catmull-Rom样条函数作为拟合的脊柱曲线，采用由控制点插值得到的Catmull-Rom样条线表示脊柱的中心轮廓曲线，以对脊柱椎骨模型进行三维重建。
6.根据权利要求5所述的脊柱三维动态重建方法，其特征在于：脊柱的参数分析计算包括：冠状面参数和矢状面参数的计算和评估；所述冠状面参数包括Cobb角、骨盆倾斜角和躯干失衡角；所述矢状面参数包括胸椎后凸角、腰椎前凸角和躯干倾斜角。
7.根据权利要求6所述的脊柱三维动态重建方法，其特征在于：
所述骨盆倾斜角的估计方法为：设右髋关节点的三维坐标别为：RightHipx，
RightHipy，RightHipz，左髋关节点的三维坐标为：LeftHipx，LeftHipy，LeftHipz；
通过数据处理后得到的左右髋关节的相对位置计算得到骨盆倾斜角：
PelvicTilt＝arctan((RightHipy-LeftHipy)/(RightHipx-LeftHipx))；
通过数据处理后得到的颈部关节和骨盆关节的相对位置计算得到躯干失衡角：
TrunkImbalance＝arctan((Pelvicx-Neckx)/(Pelvicy-Necky))。
8.根据权利要求6所述的脊柱三维动态重建方法，其特征在于：
胸椎后凸角(TK)定义为第四胸椎(T4)上端椎与第十二胸椎(T12)下端椎切线的夹角，腰椎前凸角(LL)定义为第一腰椎(L1)上端椎和尾骨(S1)上端椎切线的夹角；
通过在矢状面投影插值拟合的脊柱曲线，计算所建立的3D脊柱模型中T4中心点所在位置的斜率k4、T12中心点所在位置的斜率k5、L1中心点所在位置的斜率k6、L5中心点所在位置的斜率k7，得到胸椎后凸角(TK)和腰椎前凸角(LL)：
9.根据权利要求6所述的脊柱三维动态重建方法，其特征在于：
通过计算颈部关节点和骨盆关节点的相对位置获得躯干倾斜角：
TrunkInclination＝arctan((Pelvicx-Neckx)/(Pelvicy-Necky))。
10.一种脊柱三维动态重建的系统，其特征在于：根据权利要求1-9其中任一所述的脊柱三维动态重建方法，包括：
数据捕获模块、数据处理优化模块以及Unity场景建模模块；
所述数据捕获模块用于在Unity中配置Azure Kinect使用环境，调用Azure KinectSDK和Azure Kinect BodyTracking SDK中的内置函数，将传感器捕获的关节点数据以队列的形式输入Unity；
所述数据优化处理模块用于通过对原始控制点和设计添加的附加控制点进行校正，再使用基于骨长约束的卡尔曼滤波算法进行平滑处理以减小误差，生成用于进行插值拟合的控制点；
所述Unity场景建模模块用于数据处理得到的控制点进行Catmull-Rom样条插值得到拟合的脊柱曲线，并将导入的3D通用脊柱模型与之配准对齐得到个性化的3D脊柱模型，通过对人体矢状面和冠状面的分析算法对拟合脊柱曲线参数评估，自动计算脊柱参数，最后刷新Unity场景并根据Azure Kinect的数据传输不断更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310462721.3A CN116524124A (zh) | 2023-04-26 | 2023-04-26 | 脊柱三维动态重建方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310462721.3A CN116524124A (zh) | 2023-04-26 | 2023-04-26 | 脊柱三维动态重建方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116524124A true CN116524124A (zh) | 2023-08-01 |
Family
ID=87395404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310462721.3A Pending CN116524124A (zh) | 2023-04-26 | 2023-04-26 | 脊柱三维动态重建方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524124A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117338240A (zh) * | 2023-09-15 | 2024-01-05 | 国家体育总局运动医学研究所 | 智能脊柱功能检测装置 |
| CN119048687A (zh) * | 2024-10-25 | 2024-11-29 | 山东脉和增材制造有限公司 | 一种脊柱侧弯三维重建控制方法及系统 |
| CN119048687B (zh) * | 2024-10-25 | 2025-02-18 | 山东脉和增材制造有限公司 | 一种脊柱侧弯三维重建控制方法及系统 |
-
2023
- 2023-04-26 CN CN202310462721.3A patent/CN116524124A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117338240A (zh) * | 2023-09-15 | 2024-01-05 | 国家体育总局运动医学研究所 | 智能脊柱功能检测装置 |
| CN117338240B (zh) * | 2023-09-15 | 2024-04-02 | 国家体育总局运动医学研究所 | 智能脊柱功能检测装置 |
| CN119048687A (zh) * | 2024-10-25 | 2024-11-29 | 山东脉和增材制造有限公司 | 一种脊柱侧弯三维重建控制方法及系统 |
| CN119048687B (zh) * | 2024-10-25 | 2025-02-18 | 山东脉和增材制造有限公司 | 一种脊柱侧弯三维重建控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pazos et al. | Reliability of trunk shape measurements based on 3-D surface reconstructions | |
| EP1718206B1 (en) | Time-dependent three-dimensional musculo-skeletal modeling based on dynamic surface measurements | |
| Pazos et al. | Accuracy assessment of human trunk surface 3D reconstructions from an optical digitising system | |
| US20190274583A1 (en) | Monitoring the location of a probe during patient breathing | |
| CN104282036B (zh) | 由稀疏样本对心脏进行的基于模型的重构 | |
| CN110264504B (zh) | 一种用于增强现实的三维配准方法和系统 | |
| Prabhu | Automatic quantification of spinal curvature in scoliotic radiograph using image processing | |
| JP2017532165A (ja) | 脊椎不安定性を測定して評価するためのシステム及び方法 | |
| US20080193904A1 (en) | Systems and Methods for Simulation of Organ Dynamics | |
| US20070038070A1 (en) | Determining patient-related information on the position and orientation of MR images by the individualisation of a body model | |
| CN114092447B (zh) | 一种基于人体三维图像测量脊柱侧弯的方法、装置和设备 | |
| JP6741305B2 (ja) | 脊椎骨姿勢推定装置 | |
| Cheriet et al. | Towards the self-calibration of a multiview radiographic imaging system for the 3D reconstruction of the human spine and rib cage | |
| WO2021059165A1 (en) | Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device | |
| CN116524124A (zh) | 脊柱三维动态重建方法和系统 | |
| CN115908717A (zh) | 脊柱3d建模的方法和系统 | |
| Cerveri et al. | Non-invasive approach towards the in vivo estimation of 3D inter-vertebral movements: methods and preliminary results | |
| Groisser et al. | 3d reconstruction of scoliotic spines from stereoradiography and depth imaging | |
| Liang et al. | 3D spine model reconstruction based on RGBD images of unclothed back surface | |
| Beyer et al. | Effect of anatomical landmark perturbation on mean helical axis parameters of in vivo upper costovertebral joints | |
| CN115829920A (zh) | 用于根据图像自动确定脊柱变形的方法和设备 | |
| Cukovic et al. | Development of 3D kinematic model of the spine for idiopathic scoliosis simulation | |
| Dobson et al. | Feature based models for anatomical data fitting | |
| Glinkowski et al. | 3D diagnostic system for anatomical structures detection based on a parameterized method of body surface analysis | |
| Nagymáté | Stabilometric parameter analyses and optical based motion analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |