CN111128382A - 一种人工智能多模成像分析装置 - Google Patents

Abstract

本发明一种人工智能多模成像分析装置，该装置包括：人体特征图像与视频采集系统，用于实现人体各部位运动视频信号采集和人体静态图像采集；人体特征图像数据库，用于存储历史图像信息、图像特征信息和历史临床诊断信息；人工智能硬件控制与数据分析处理系统，用于自动控制所述人体特征图像与视频采集处理系统完成视频和图像采集，并与所述人体特征图像数据库存储的信息进行分析比较，完成疾病预警和/或健康状态评估。

Description

一种人工智能多模成像分析装置

技术领域

本发明涉及基于人工智能(Artificial Intelligence，简写成AI)多模成像技术领域，特别是关于一种人工智能多模成像分析装置。

背景技术

“望诊”属于中医“望”、“闻”、“问”、“切”四种基本诊断方法之首，通过观察病人的步态、体征、面相、舌相、手相、眼象(巩膜或白睛、虹膜、玻璃体和眼底等)和身体其它部位的图像特征，例如颜色、斑块、血脉、点、突起等特征信息，来进行人体脏腑疾病诊断和健康状况分析预测等。《黄帝内经》、《金匮要略》、《脉诀汇辨》等医学古籍对“望诊”均有详细记载，逐步建立了“五轮八廓”学说。近代以来“望诊”理论进一步完善，郑徳良将眼睛巩膜划分为14个区域、王今觉著《望目辨证诊断学》中将白睛划分为17个区域，对应不同的脏腑器官，通过观察白睛不同区域的不同特征来进行疾病的诊断，具有较强的临床应用价值。

现阶段中医目诊主要依靠经验丰富的中医(包括壮医、藏医等)进行肉眼观察，通过长期经验的积累进行白睛特征变化现象诊断，并与相关疾病联系起来。目前巩膜目诊应用非常有限，一方面是因为辅助观察巩膜的设备为裂隙灯，检查一位患者需要约30分钟，效率低；另一方面是因为对医生和医疗环境要求较高，经验较少或检查条件较差时易发生误诊，在基层医院和家庭中难以推广。

现有的技术中公开了用于对眼睛成像的设备、基于白睛无影成像的人体健康状况在体分析系统及方法等解决了部分图像采集和图像处理的问题，但式仍普遍存在智能化程度低的问题，采图、处理、诊断等各阶段都依赖受试者的高度配合和专业技术人员的参与，因此难以推广普及。现有技术都着重研究图像采集的软硬件设计和图像初步处理，没有智能化地自动捕捉黑睛，并对黑睛定位采集白睛图像进行球面拼接和畸变修正，存在同一眼睛拍摄多张图片采集的眼象有重复、拍摄畸变造成眼象特征识别不准确等问题；现有技术的一种真彩色眼象图白睛区域的完整提取方法实现了白睛整体的提取，但是没有实现白睛上眼象特征的提取、分类、标记，对提升诊断效率作用十分有限。

综上，需要一种对受试者配合程度和专业人员辅助程度依赖小，高效准确，便于在基层医院和家庭推广，可一站式实现人体重要部位图像、视频采集处理、特征识别标记等。

发明内容

针对上述问题，本发明的主要目的在于提供一种人工智能多模成像分析装置，以实现人体特征图像与健康状况的大数据分析，满足远程医疗、智慧医疗的信息化发展需要。

为了实现上述目的，本发明采用的技术方案为：一种人工智能多模成像分析装置，该装置包括：

人体特征图像与视频采集系统，用于实现人体各部位运动视频信号采集和人体静态图像采集；

人体特征图像数据库，用于存储历史图像信息、图像特征信息和历史临床诊断信息；

人工智能硬件控制与数据分析处理系统，用于自动控制所述人体特征图像与视频采集处理系统完成视频和图像采集，并与所述人体特征图像数据库存储的信息进行分析比较，完成疾病预警和/或健康状态评估。

优选地，该装置包括微处理器，所述微处理器有线或无线连接MedNet云端医疗大数据，所述人工智能硬件控制与数据分析处理系统和人体特征图像数据库直接安装或镜像安装在所述微处理器内使用。

优选地，所述人体特征图像与视频采集系统包括光学成像模块、正入射照明光源模块、斜入射照明光源模块和指示引导模块；

所述光学成像模块用于对人体感兴趣部位进行图像采集或视频录制；

所述正入射照明光源模块用于将发出的光聚焦进入人体感兴趣的部位；

所述斜入射照明光源模块用于对人体感兴部位进行暗场照明；

所述指示引导模块用于产生光标指示引导受试者调整感兴部位的位置及角度。

优选地，所述光学成像模块包括一个以上可前后运动的镜片或镜头、成像探测器和一个配套万向调节支架或云台，所述镜片或镜头用于动态聚焦人体感兴趣部位，所述成像探测器用于对人体感兴趣部位进行图像采集或视频录制，所述配套万向调节支架或云台用于改变所述镜片或镜头、成像探测器的方向与角度，实现对人体移动的跟踪。

优选地，所述正入射照明光源模块包括一个以上可前后运动的镜片或镜头、分束镜、偏振片、耦合准直镜和光源，所述光源发出的光经过所述耦合准直镜和偏振片发射到所述分束镜，经所述分束镜反射的光通过所述镜片或镜头聚焦进入人体感兴趣部位。

优选地，所述斜入射照明光源模块包括可以移动的上、下、左、右四个不同方向照明的第一光源～第四光源，采用第一光源～第四光源中的全部或部分对人体感兴部位进行暗场照明。

优选地，所述指示引导模块包括一个或以上可前后运动的镜片或镜头、分束镜、两个偏振片、透镜和液晶显示器，所述液晶显示器用于产生动态指示光标，光标依次通过所述透镜和第一偏振片发射到所述分束镜，经所述分束镜反射的部分光通过所述镜片或镜头聚焦人体感兴趣部位，光标经所述镜片或镜头反射的光通过所述分束镜透射到第二偏振片后被截止，其中，第一偏振片与第二偏振片形成正交偏振态。

优选地，所述人工智能硬件控制与数据分析处理系统包括模式选择与光照控制模块、图像与视频采集控制模块、反馈引导模块、目标跟踪模块、存储模块和数据分析模块；

所述模式选择与光照控制模块，用于对所述光学成像模块、正入射照明光源模块、斜入射照明光源模块以及指示引导模块的组合模式进行控制，其中，控制所述光学成像模块单独使用或者控制所述光学成像模块与所述正入射照明光源模块、斜入射照明光源模块和指示引导模块中的任意一个或几个自由组合联合使用；

所述图像与视频采集控制模块，用于控制所述光学成像模块，动态采集人体运动视频信号和人体静态图像；

目标跟踪模块，用于动态跟踪人体感兴趣部位，通过动态采集人体感兴趣部位的图像，控制所述光学成像模块随着人体运动自动改变成像角度，并对所述光学成像模块进行自动调焦，保证人体感兴趣部位始终在视场中心且大小基本不变，实现对人体感兴趣部位进行跟踪；

反馈引导模块，用于通过语言提示和/或指示引导模块的光标指示引导受试者调整位置及角度；

存储模块，用于对该感兴趣部位的采集信息进行存储；

数据分析模块，用于通过机器学习方法比较采集信息与人体特征图像数据库存储的大数据信息，如相似度、图像频谱、熵、体征等，进行疾病预警和/或健康状态评估。

优选地，所述人工智能硬件控制与数据分析处理系统还包括：

特征提取模块，用于对采集信息识别并提取图像的特征；

图片拼接与畸变校正，用于采用预先建立的神经网络模型对提取的图像特征进行拼接和畸变校正；

特征标记模块，用于拼接矫正后的特征图像采用预先训练的深度卷积神经网络模型识别特征图像的特征及参数，对识别出的特征及参数进行标记；

其中，所述数据分析模块根据感兴趣部位的特征及参数采用预先训练的网络模型预测疾病，并与人体特征图像数据库存储的大数据信息进行比较，如“步态”、“血脉”、“颜色”、“纹理”、“斑”、“点”、“条带”、“血脉”、“丘”、“翼状胬肉”、“金属环”、“月晕”、“网状”、温度以及生理病理参数等的一种或多种，对受试者疾病进行预警和/或对健康进行评估。

优选地，所述图片拼接与畸变校正步骤的具体过程为：

首先，采用角点匹配方法检测出特征点；

然后，将特征点关联，并采用RANSAC原理删除不需要的角点；

最后，指定参考图像，将输入图像的像素映射到参考图像定义的平面上，并通过图像融合的方法实现拼接图像间的平滑过渡；

其中，所述角点匹配方法采用Harris角点检测算法；

所述特征点关联采用互信息方法；

所述图像融合采用羽化、金字塔或梯度方法实现拼接图像间的平滑过渡。

本发明由于采取以上技术方案，具有以下优点：

1、本发明可以快速准确获取人体运动的步态和体征等视频信号和人体静态的眼象、面相、舌相、手相和身体其它部位等多种特征图像信息，有利于人体健康信息的综合分析评价；

2、本发明可以实现智能化地对人体运动的跟踪、自动调焦、自动调整放大倍数，进行视频信号采集和图像信号采集，大大减少了对受试者配合程度和操作人员的专业技术水平与熟练程度的依赖性；

3、本发明采用斜入射照明和AI反馈引导，降低人体局部成像检测的反射光干扰影响；通过语言提示和光标指示等引导受试者改变观察方向与角度，自动调节眼球各部分的曲率半径和眼睛瞳孔的位置，使眼球各部分对斜入射照明光源的反射像聚集到一点，并与眼睛瞳孔重合，实现对眼睛巩膜、虹膜等的无反射光干扰成像；

4、本发明采用正入射照明和AI反馈引导，将正入射照明光源模块发出的光聚焦进入眼球的瞳孔，照亮眼球的玻璃体和视网膜，通过语言提示和光标指示等引导受试者自动调节眼球各部分的曲率半径和眼睛的位置，正向观察清楚引导指示光标，以便光学成像模块能够自动实现对眼底、视网膜和玻璃体等的清晰成像；

5、本发明可以手工录入信息和自动将提取的特征信息、专家医嘱信息、健康分析数据等进行存储，建立人体特征图像与健康状况分析大数据库，采用多层神经网络与机器学习相结合的人工智能算法，实现多模式人体特征信息存储与人体健康状况分析，包括健康人患病风险预测，亚健康人群筛查与早期预警，发病人群病症(如糖尿病、胸脑血管疾病、肺癌、多囊卵巢综合症、艾滋病等)的快速无创检测与长期跟踪健康状况评估等，为受试者提供疾病风险预警措施和健康管理建议；

6、本发明共享云端资源，具备远程多媒体交互功能，可以实现人体特征图像与健康状况的AI大数据分析，满足远程医疗、智慧医疗的信息化发展需要。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明实施例的人工智能多模成像分析装置结构示意图；

图2是本发明实施例中用于步态、体征等信息采集的过程示意图；

图3是本发明实施例中用于眼象、面相、舌相、手相和身体其它部位等图像采集的过程示意图；

图4是本发明实施例中用于AI反馈语言提示与标示引导下实现无反射光干扰成像的过程示意图；

图5是本发明实施例用于眼底、视网膜和玻璃体等图像采集的过程示意图；

图6是本发明的实施例用于AI多模成像健康分析的工作流程图；

图7是本发明实施例用于眼象采集位置与畸变校正的工作流程图；

图8是本发明实施例用于白睛眼象特征识别标记的工作流程图；

图9是本发明实施例用于机器学习健康分析的工作流程图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。

如图1所示，本实施例提供的人工智能多模成像分析装置，具有对感兴趣目标识别定位、目标跟踪、反馈语言提示与标示引导、自动调焦、图像与视频信号采集、图片拼接与畸变校正、特征识别、特征提取标记、数据分析等功能，可以实现人体运动视频信号采集和人体静态眼象、面相、舌相、手相和身体其它部位图像的采集以及图像处理、特征识别标记等，该装置包括：

人体特征图像与视频采集系统CJXT，人体特征图像数据库BIGDATA和人工智能硬件控制与数据分析处理系统AI。其中：

人体特征图像与视频采集系统CJXT，用于实现人体各部位运动视频信号采集和人体静态图像采集，其中，人体静态图像采集包括人体的眼象、面相、舌相、手相和身体其它部位图像的采集。

人体特征图像数据库BIGDATA，存储有大量历史图像信息、图像特征信息和历史临床诊断信息；

人工智能硬件控制与数据分析处理系统AI，用于采用多层神经网络与机器学习相结合的人工智能算法，自动控制人体特征图像与视频采集处理系统，实现目标跟踪、自动调焦、动态放大、光源控制、视频采集和图像采集等功能，并对与人体特征图像数据库BIGDATA中的存储的信息进行分析比较，对受试者的疾病进行预警和/或对受试者的健康状态进行评估，其中，可以对采集图像和视频信号进行特征识别、特征提取和特征标记等，并将提取的特征信息与人体特征图像数据库BIGDATA中的存储的历史信息进行分析比较；也可以对采集图像和视频信号不提取特征，直接通过比较测试图像与数据库存储图像之间的相似度、频谱差异、熵差异等，进行疾病预警和/或健康状态评估。

本发明的一些实施例中，该装置包括微处理器Processor，微处理器Processor具有数字信号存储、分析处理、显示语言提示MK和远程交互等功能，可以有线或无线连接MedNet云端医疗大数据，人工智能硬件控制与数据分析处理系统AI和人体特征图像数据库BIGDATA可以直接安装或镜像安装在微处理器Processor内进行使用。

本发明的一些实施例中，人体特征图像与视频采集系统CJXT包括光学成像模块、正入射照明光源模块、斜入射照明光源模块和指示引导模块。

具体地，光学成像模块用于对人体感兴趣部位进行图像采集或视频录制，其包括一个以上的镜片或镜头L3、一个成像探测器CCD和一个配套的万向调节支架或云台M，镜片或镜头L3用于聚焦人体感兴趣部位，成像探测器CCD用于对感兴趣部位进行图像采集或视频录制，其中，光学成像模块通过配套的万向调节支架或云台对安装的镜片或镜头L3以及成像探测器CCD进行角度或位置调整。如图2所示，光学成像模块通过人工智能硬件控制与数据分析处理系统AI控制，可以实现对人体Object运动的跟踪、自动调焦、自动调整放大倍数，用于视频信号采集和图像信号采集，获得人体步态、身体形态、体征等信息。

正入射照明光源模块用于将发出的光聚焦进入人体某个局部部位，例如人体眼球瞳孔，照亮眼球玻璃体和视网膜。正入射照明光源模块包括一个以上可前后移动的镜片或镜头L1、一个分束镜SP1、一个偏振片P1、一个耦合准直镜L5和一个光源S0，其中，光源S0发出的光经过耦合准直镜L5和偏振片P1发射到分束镜SP1，经分束镜SP1反射的光通过镜片或镜头L1聚焦进入眼球瞳孔，照亮眼球的玻璃体和视网膜。其中，偏振片P1的作用是使光源S0发出的光具有线偏振的特点。

斜入射照明光源模块用于对人体感兴部位进行暗场照明，降低照明光反射对光学成像模块的成像影响，如图3所示，其包括四个可以移动的从上、下、左、右四个不同方向照明的光源S1、S2、S3、S4，可以在人工智能硬件控制与数据分析处理系统控制下，实现光源S1-S4的全部或部分对人体感兴部位(如巩膜或虹膜)进行暗场照明。

指示引导模块用于通过显示屏产生光标指示，引导受试者调整被测量感兴部位的位置及角度等，其包括一个或以上可前后运动的镜片或镜头L2、一个分束镜SP2、二个偏振片P2和P3、一个透镜L4和一个液晶显示器YJP。其中，液晶显示器YJP用于产生动态指示光标，引导受试者调整被测量感兴部位的位置及角度等，光标依次通过透镜L4、偏振片P2发射到分束镜SP2，经分束镜SP2反射的部分光通过镜片或镜头L2成虚像在人眼的250mm明视距离位置，再通过眼球清晰成像在视网膜上。

如图3所示，在人工智能硬件控制与数据分析处理系统AI控制下，斜入射照明光源模块发出的光采用暗场照明的方式照亮人体感兴趣部位(如人眼巩膜或虹膜)，从人体感兴趣部位(人眼巩膜或虹膜等)反射或散射回来的光，被镜片或镜头L2接收，经分束镜SP2透射后，透过偏振片P3被光学成像模块接收，其中，偏振片P3与偏振片P2形成正交偏振态，确保光源S0经镜片或镜头L1的反射光被完全截止，不会被成像探测器CCD接收，需要说明的是光学成像模块联合使用斜入射照明光源模块和/或正入射照明光源模块，镜片或镜头L1、镜片或镜头L2和镜片或镜头L3位于同一光轴。

优选地，人工智能硬件控制与数据分析处理系统AI可以根据成像探测器CCD探测的图像反馈，控制斜入射照明光源模块和指示引导模块，从任意一个方向或几个方向进行斜入射暗场照明，光源S(可以是S1、S2、S3和S4中任意一个)与光轴的夹角Ψ可变，通过微处理器Processor的语言提示MK和/或指示引导模块的液晶显示器YJP上产生的光标(可以是箭头或十字或其它标志)指示，引导受试者改变观察方向和瞳孔与光轴的夹角

如图4(a)所示，自动调节眼球各部分的曲率半径和眼睛瞳孔的位置，使眼球各部分对斜入射照明光源的反射像聚集到一点，并与眼睛瞳孔重合，实现对眼睛巩膜或虹膜等的无反射光干扰成像，如图4(b)所示。

优选地，光学成像模块可以单独使用，如图2所示；也可以与正入射照明光源模块、斜入射照明光源模块和指示引导模块中的任意一个或几个自由组合联合使用，如图3、图5所示。

如图3所示，是光学成像模块与斜入射照明光源模块和指示引导模块联合使用的示例。人工智能硬件控制与数据分析处理系统可以通过联合控制光学成像模块与斜入射照明光源模块及指示引导模块，实现对人体局部位置进行暗场照明、自动定位、自动调焦、自动调整放大倍数，进行视频信号采集和图像信号采集，获得人体眼象(巩膜、虹膜、玻璃体等的图像)、面相、舌相、手相和身体其它部位等的图像信息。

如图5所示，是光学成像模块与正入射照明光源模块和指示引导模块联合使用的示例。在图5中，光学成像模块与正入射照明光源模块和指示引导模块联合使用，通过微处理器Processor的语言提示和/或指示引导模块的液晶显示器YJP上产生的光标指示，引导受试者自动调节眼球各部分的曲率半径和眼睛的位置，正向观察清楚指示引导模块的光标；然后由人工智能硬件控制与数据分析处理系统AI，控制正入射照明光源模块发光，经镜片或镜头L1聚焦进入眼球的瞳孔，照亮眼球的玻璃体和视网膜，以便光学成像模块能够实现对眼底、视网膜和玻璃体等的清晰成像。

本发明的一些实施例中，人工智能硬件控制与数据分析处理系统AI用于实现感兴趣目标识别定位、目标跟踪、反馈语言提示与标示引导、自动调焦、图像与视频信号采集、图片拼接与畸变校正、特征识别、特征提取、特征标记、数据分析等功能，如图6所示，该系统包括模式选择与光照控制模块、图像与视频采集控制模块、目标跟踪模块、反馈引导及自动调焦模块、特征提取标记模块、图片拼接与畸变校正和存储模块和数据分析模块；

模式选择与光照控制模块，用于对入射照明光源模块、斜入射照明光源模块以及指示引导模块的组合模式进行控制；

图像与视频采集控制模块，用于控制光学成像模块，动态采集人体运动视频信号和人体静态的眼象、面相、舌相、手相和身体其它部位图像；

目标跟踪模块，用于动态跟踪人体感兴趣部位，通过自动动态采集人体感兴趣部位的图像，控制光学成像模块配套的万向调节支架或云台，随着人体运动自动改变成像角度，并对光学成像模块的镜头或镜片L3进行自动调焦、自动调整放大倍数，保证人体感兴趣部位始终在视场中心且大小基本不变，实现对人体运动的步态、身体形态、体征等信息进行跟踪测量。

反馈引导模块，用于通过微处理器的语言提示和指示引导模块的液晶显示器YJP上产生的光标指示，在正入射照明模式，引导受试者自动调节眼球各部分的曲率半径和眼睛的位置，正向观察清楚所述指示引导模块的光标，以便所述光学成像模块能够实现对眼底、视网膜和玻璃体等的清晰成像；在斜入射照明模式，引导受试者改变观察方向和瞳孔与光轴的夹角，自动调节眼球各部分的曲率半径和眼睛瞳孔的位置，使眼球各部分对斜入射照明光源的反射像聚集到一点，并与眼睛瞳孔重合，实现对眼睛巩膜或虹膜等的无反射光干扰成像。

特征提取模块，用于识别并提取采集图像的特征，其中，特征识别信息包括“步态”、“血脉”、“颜色”、“纹理”、“斑”、“点”、“条带”、“血脉”、“丘”、“翼状胬肉”、“金属环”、“月晕”、“网状”、温度、相似度、图像频谱、熵以及生理病理参数等的一种或多种，有利于对人体健康状况进行综合评估；

图片拼接与畸变校正，用于采用预先建立的神经网络模型对提取的特征进行拼接和畸变校正，如图7所示，神经网络模型为现有技术，具体步骤可以包括特征提取、图像配准、计算单应矩阵H、变形和融合，输入眼部特征图像后：首先采用角点匹配方法检测出特征点，然后将特征点关联，用RANSAC原理计算单映矩阵估计并删除不需要的角点，最后计算指定参考图像，将输入图像的像素映射到参考图像定义的平面上，并通过图像融合的方法实现拼接图像间的平滑过渡。

特征标记模块，用于拼接矫正后的特征图像采用预先训练的深度卷积神经网络模型识别特征图像的具体特征及参数，并对识别出的特征及参数进行标记，如图8所示，神经网络模型可以采用现有技术，具体步骤包括利用不同尺寸的滑动窗口框住之前拼接获得的全眼图像的某一部分作为眼象特征候选区域、提取眼象特征候选区域相关的视觉信息、利用分类器进行识别不同的眼象特征，具体不做赘述。

存储模块，用于对该感兴趣部位的特征及参数进行标记和存储；

数据分析模块，可以用于通过比较采集图像或视频信息与人体特征图像数据库存储图像存储的大数据信息，进行疾病预警和/或健康状态评估，即直接通过比较测试图像与数据库存储图像之间的相似度、频谱差异、熵差异等，进行疾病预警或健康状态评估；也可以调用感兴趣部位的特征及参数采用预先训练的网络模型预测疾病，并与人体特征图像数据库存储的内容进行比较，对受试者疾病进行预警和/或对健康进行评估，其中网络模型可以采用BP神经网络进行基于眼象与疾病间的关联进行优化和训练，具体不做赘述。

本发明的一些实施例中，角点匹配方法可以采用现有Harris角点检测算法，该算法检测的特征较多，具有旋转不变性和尺度变异性。将采集图像中各点(x，y)计算自相关矩阵，然后对每个像素点进行高斯滤波，获得新矩阵M，其中，离散二维零均值高斯函数为：

其中，位移(u，v)是每次进行角点探测时窗口的位移。

计算每个点(x，y)的角点度量：

R＝Det(M)-k*trace(M) (2)

选择局部最大值与设置的阈值进行比较，若该局部最大值高于阈值，则为角点。

本发明的一些实施例中，特征点关联方法采用互信息(Mutual Information,MI)方法。

本发明的一些实施例中，图像融合采用羽化(feathering)，金字塔(pyramid)，梯度(gradient)等方法实现拼接图像间的平滑过渡。

本发明的一些实施例中，本实施例所采用的BP神经网络具体为：

在进行神经网络健康分析过程中具有20个输入节点，两个输出节点，两个隐藏层，每个隐藏层中有10个节点，第j层的i节点的激活值为：

在方程(2)，n是j-1层上的结点，是权重；a是激活值，j是偏置。

j层结点的激活值是：

在上述方程，k是j层上的一个结点；n是j-1层上的结点；ω是权重；a是激活值；j是偏置。

本发明的一些实施例中，人体特征图像数据库BIGDATA，用于存储并管理所采集的人体图像、视频信号以及特征提取信息、专家医嘱信息、健康分析数据；储存经过神经网络和机器学习完成训练的特征识别队列、中间数据、特征识别标记结果等，如图9所示，具有手工录入信息和自动将提取的特征信息、专家医嘱信息、健康分析数据等进行分类存储管理的功能。

本发明的一些实施例中，人工智能硬件控制与数据分析处理系统AI和人体特征图像数据库BIGDATA，可以共享云端资源，具备远程多媒体交互功能，共享云端数据信息资源，具备远程医疗交互功能，可以实现人体特征图像与健康状况的AI大数据分析，满足远程医疗、智慧医疗的信息化发展需要。具体使用时，可以从所获得的人体特征图像中拿出一部分样本，用于人工智能硬件控制与数据分析处理系统AI的神经网络参数调整和机器学习，形成训练的特征识别队列、中间数据、特征识别标记结果等，并将全部信息存储入库，联合所采集的人体图像、视频信号和所提取的特征信息、专家医嘱信息、健康分析数据等，构建人体特征图像数据库BIGDATA，以便对受试者剩余样本进行健康分析，最终给出受试者健康状况分析结果，包括为受试者提供健康预警和调理建议等。

下面详细说明采用本实施例提供的人工智能多模成像装置进行成像检测的过程，实现对受试者进行人体运动视频信号采集和人体静态的眼象、面相、舌相、手相和身体其它部位图像的采集，以及进行图像处理、特征识别标记、疾病诊断和健康分析，包括以下内容：

对受试者进行人体运动视频信号采集和人体全身或身体感兴部位图像采集，人工智能硬件控制与数据分析处理系统AI控制光学成像模块配套的万向调节支架或云台，对光学成像模块的镜头L3进行自动调焦以及自动调整放大倍数，实现对人体运动的跟踪，进行视频信号采集和图像信号采集，获得人体步态、身体形态、体征等信息，并将全部信息处理后存储到存储模块，数据分析模块将其与人体特征图像数据库BIGDATA中的信息进行分析比较，获得受试者健康状况。

当需要对受试者进行人体眼象(巩膜、虹膜、玻璃体等的图像)、面相、舌相、手相和身体其它部位等的图像信息采集，由人工智能硬件控制与数据分析处理系统AI，联合控制光学成像模块、斜入射照明光源模块和指示引导模块，先启动斜入射照明光源模块的光源S1-S4的全部或部分对人体感兴部位进行暗场照明，然后对光学成像模块的镜头L3进行自动调焦和放大倍数调整，最后通过微处理器Processor的语言提示MK和/或指示引导模块的液晶显示器YJP上产生的光标指示，引导受试者调整被测量感兴部位的位置、角度等，使斜入射照明光源的反射像完全消失，或聚集到一点并与眼睛瞳孔重合，可以获得被测量感兴部位的清晰图像或录制视频等。后续通过数字图像处理、畸变校正、AI特征识别、特征提取、特征标记，将全部信息存储到存储模块，数据分析系统将其与人体特征图像与健康状况分析大数据库BIGDATA中的信息进行分析比较，获得受试者健康状况分析结果。

当需要对受试者进行人体眼底、视网膜等的图像信息采集时，由人工智能硬件控制与数据分析处理系统AI，联合控制光学成像模块、正入射照明光源模块和指示引导模块，先由微处理器Processor的语言提示MK和/或指示引导模块的液晶显示器YJP上产生的光标指示，引导受试者自动调节眼球各部分的曲率半径和眼睛的位置，正向观察清楚指示引导模块液晶显示器YJP上产生的光标，然后开启正入射照明光源模块的光源S0将光聚焦进入眼球的瞳孔，照亮眼球的玻璃体和视网膜，同步由光学成像模块的镜头L3进行自动调焦和放大倍数调整，最后由光学成像模块实现对眼底、视网膜和玻璃体的清晰成像或录制视频等。后续通过数字图像处理、畸变校正、AI特征识别、特征提取、特征标记，将全部信息存储进入存储模块，数据分析系统将其与人体特征图像与健康状况分析大数据库BIGDATA中的信息进行分析比较，获得受试者健康状况分析结果。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (10)

1.一种人工智能多模成像分析装置，其特征在于，该装置包括：

人体特征图像与视频采集系统，用于实现人体各部位运动视频信号采集和人体静态图像采集；

人体特征图像数据库，用于存储历史图像信息、图像特征信息和历史临床诊断信息；

人工智能硬件控制与数据分析处理系统，用于自动控制所述人体特征图像与视频采集处理系统完成视频和图像采集，并与所述人体特征图像数据库存储的信息进行分析比较，完成疾病预警和/或健康状态评估。

2.根据权利要求1所述的人工智能多模成像分析装置，其特征在于，该装置包括微处理器，所述微处理器有线或无线连接MedNet云端医疗大数据，所述人工智能硬件控制与数据分析处理系统和人体特征图像数据库直接安装或镜像安装在所述微处理器内使用。

3.根据权利要求1或2所述的人工智能多模成像分析装置，其特征在于，所述人体特征图像与视频采集系统包括光学成像模块、正入射照明光源模块、斜入射照明光源模块和指示引导模块；

所述光学成像模块用于对人体感兴趣部位进行图像采集或视频录制；

所述正入射照明光源模块用于将发出的光聚焦进入人体感兴趣的部位；

所述斜入射照明光源模块用于对人体感兴部位进行暗场照明；

所述指示引导模块用于产生光标指示引导受试者调整感兴部位的位置及角度。

4.根据权利要求3所述的人工智能多模成像分析装置，其特征在于，所述光学成像模块包括一个以上可前后运动的镜片或镜头、成像探测器和一个配套万向调节支架或云台，所述镜片或镜头用于动态聚焦人体感兴趣部位，所述成像探测器用于对人体感兴趣部位进行图像采集或视频录制，所述配套万向调节支架或云台用于改变所述镜片或镜头、成像探测器的方向与角度，实现对人体移动的跟踪。

5.根据权利要求3所述的人工智能多模成像分析装置，其特征在于，所述正入射照明光源模块包括一个以上可前后运动的镜片或镜头、分束镜、偏振片、耦合准直镜和光源，所述光源发出的光经过所述耦合准直镜和偏振片发射到所述分束镜，经所述分束镜反射的光通过所述镜片或镜头聚焦进入人体感兴趣部位。

6.根据权利要求3所述的人工智能多模成像分析装置，其特征在于，所述斜入射照明光源模块包括可以移动的上、下、左、右四个不同方向照明的第一光源～第四光源，采用第一光源～第四光源中的全部或部分对人体感兴部位进行暗场照明。

7.根据权利要求3所述的人工智能多模成像分析装置，其特征在于，所述指示引导模块包括一个或以上可前后运动的镜片或镜头、分束镜、两个偏振片、透镜和液晶显示器，所述液晶显示器用于产生动态指示光标，光标依次通过所述透镜和第一偏振片发射到所述分束镜，经所述分束镜反射的部分光通过所述镜片或镜头聚焦人体感兴趣部位，光标经所述镜片或镜头反射的光通过所述分束镜透射到第二偏振片后被截止，其中，第一偏振片与第二偏振片形成正交偏振态。

8.根据权利要求3所述的人工智能多模成像分析装置，其特征在于，所述人工智能硬件控制与数据分析处理系统包括模式选择与光照控制模块、图像与视频采集控制模块、反馈引导模块、目标跟踪模块、存储模块和数据分析模块；

所述模式选择与光照控制模块，用于对所述光学成像模块、正入射照明光源模块、斜入射照明光源模块以及指示引导模块的组合模式进行控制，其中，控制所述光学成像模块单独使用或者控制所述光学成像模块与所述正入射照明光源模块、斜入射照明光源模块和指示引导模块中的任意一个或几个自由组合联合使用；

所述图像与视频采集控制模块，用于控制所述光学成像模块，动态采集人体运动视频信号和人体静态图像；

目标跟踪模块，用于动态跟踪人体感兴趣部位，通过动态采集人体感兴趣部位的图像，控制所述光学成像模块随着人体运动自动改变成像角度，并对所述光学成像模块进行自动调焦，保证人体感兴趣部位始终在视场中心且大小基本不变，实现对人体感兴趣部位进行跟踪；

反馈引导模块，用于通过语言提示和/或指示引导模块的光标指示引导受试者调整位置及角度；

存储模块，用于对该感兴趣部位的采集信息进行存储；

数据分析模块，用于通过机器学习方法比较采集信息与人体特征图像数据库存储的大数据信息，进行疾病预警和/或健康状态评估。

9.根据权利要求8所述的人工智能多模成像分析装置，其特征在于，所述人工智能硬件控制与数据分析处理系统还包括：

特征提取模块，用于对采集信息识别并提取图像的特征；

图片拼接与畸变校正，用于采用预先建立的神经网络模型对提取的图像特征进行拼接和畸变校正；

特征标记模块，用于拼接矫正后的特征图像采用预先训练的深度卷积神经网络模型识别特征图像的特征及参数，对识别出的特征及参数进行标记；

其中，所述数据分析模块根据感兴趣部位的特征及参数采用预先训练的网络模型预测疾病，并与人体特征图像数据库存储的大数据信息进行比较，对受试者疾病进行预警和/或对健康进行评估。

10.根据权利要求9所述的人工智能多模成像分析装置，其特征在于，所述图片拼接与畸变校正步骤的具体过程为：

首先，采用角点匹配方法检测出特征点；

然后，将特征点关联，并采用RANSAC原理删除不需要的角点；

最后，指定参考图像，将输入图像的像素映射到参考图像定义的平面上，并通过图像融合的方法实现拼接图像间的平滑过渡；

其中，所述角点匹配方法采用Harris角点检测算法；

所述特征点关联采用互信息方法；

所述图像融合采用羽化、金字塔或梯度方法实现拼接图像间的平滑过渡。

Images