CN111938604A - 一种基于多模态技术的呼吸系统疾病远程监控系统 - Google Patents
一种基于多模态技术的呼吸系统疾病远程监控系统 Download PDFInfo
- Publication number
- CN111938604A CN111938604A CN202010654996.3A CN202010654996A CN111938604A CN 111938604 A CN111938604 A CN 111938604A CN 202010654996 A CN202010654996 A CN 202010654996A CN 111938604 A CN111938604 A CN 111938604A
- Authority
- CN
- China
- Prior art keywords
- imaging device
- infrared
- module
- processing terminal
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000023504 respiratory system disease Diseases 0.000 title claims abstract description 45
- 238000012544 monitoring process Methods 0.000 title claims abstract description 36
- 238000005516 engineering process Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 67
- 206010011224 Cough Diseases 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000001931 thermography Methods 0.000 claims abstract description 45
- 238000003333 near-infrared imaging Methods 0.000 claims abstract description 33
- 206010037660 Pyrexia Diseases 0.000 claims abstract description 22
- 208000000059 Dyspnea Diseases 0.000 claims abstract description 17
- 206010013975 Dyspnoeas Diseases 0.000 claims abstract description 17
- 208000013220 shortness of breath Diseases 0.000 claims abstract description 17
- 230000036760 body temperature Effects 0.000 claims abstract description 15
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims abstract description 3
- 208000024891 symptom Diseases 0.000 claims description 20
- 230000006399 behavior Effects 0.000 claims description 12
- 230000005236 sound signal Effects 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 7
- 230000036387 respiratory rate Effects 0.000 claims description 6
- 201000010099 disease Diseases 0.000 claims description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 206010006458 Bronchitis chronic Diseases 0.000 description 1
- 206010008479 Chest Pain Diseases 0.000 description 1
- 201000006306 Cor pulmonale Diseases 0.000 description 1
- 206010014561 Emphysema Diseases 0.000 description 1
- 206010016654 Fibrosis Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 208000004186 Pulmonary Heart Disease Diseases 0.000 description 1
- 208000004756 Respiratory Insufficiency Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 206010006451 bronchitis Diseases 0.000 description 1
- 208000007451 chronic bronchitis Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 208000030603 inherited susceptibility to asthma Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 201000004193 respiratory failure Diseases 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Measuring devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Pulmonology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供了一种基于多模态技术的呼吸系统疾病远程监控系统，包括集成成像模块、麦克风阵列模块和处理终端模块，集成成像模块包括集成的远红外热成像装置、可见光成像装置、近红外成像装置，处理终端模块根据远红外热成像装置的热成像图像提取人体的体温和呼吸速率，用于判断人体的发热、呼吸急促情况；处理终端模块根据可见光成像装置、近红外成像装置的成像图像识别人体的咳嗽动作，根据麦克风阵列模块的音频信息识别咳嗽声音，通过人体的咳嗽动作、咳嗽声音来综合判断咳嗽行为。本发明整合了成像模块和麦克风阵列模块，可以实现高精度的呼吸系统疾病典型特征信号提取和分析，满足对于呼吸系统疾病远程监控的应用需求。
Description
技术领域
本发明涉及图像处理技术，音频信号处理领域，具体地，涉及一种基于 可见光成像、近红外成像、远红外热成像、图像处理技术、姿态识别技术和 音频处理技术多模态技术结合的用于呼吸系统疾病远程监控系统。
背景技术
呼吸系统疾病是一种常见病、多发病，主要病变在气管、支气管、肺部及胸 腔，病变轻者多咳嗽、胸痛、呼吸受影响，重者呼吸困难、缺氧，甚至呼吸衰竭 而致死。在城市的死亡率占第3位，而在农村则占首位。更应重视的是由于大气 污染、吸烟、人口老龄化及其他因素，使国内外的慢性阻塞性肺病(简称慢阻肺， 包括慢性支气管炎、肺气肿、肺心病)、支气管哮喘、肺癌、肺部弥散性间质纤 维化，以及肺部感染等疾病的发病率、死亡率有增无减。
如何有效的检测和监测呼吸系统疾病是一个非常重要的问题。不论是在公共 场所的远程监控，还是在医院或者家里的监护都是非常有价值的。呼吸系统疾病 典型特征包含发热，咳嗽，呼吸急促这三种特征。其中，发热的检测已经比较成 熟。非接触式的检测发热症状的仪器主要是依靠体温枪和远红外体温测试仪。这 些仪器主要采用的是通过远红外信号，对人的体温进行检测，当发现人体温过高 时，实现实时警告。但仅仅依靠发热是不足以判断和监测呼吸系统疾病的病情的。
此外，为了实现非接触式的检测呼吸信号，很多非接触式采集远程生理信号 的方法被采用。多普勒雷达通过发射雷达信号来估测胸腔的位移从而获得呼 吸信号，但这种方法对轻微运动的干扰非常敏感，同时也受到待测试对象衣 着等外界因素的影响。也有学者采用超声波的方式来测量呼吸速率，但是这 种方法同样受制于外界环境因素影响。可见光相机也在生理信号的测量中得 到了不少尝试，但是常规的相机在测量过程中受光照等因素影响较大。因此， 有学者采用被动式无源的成像方式如热成像技术对体温、呼吸速率和心率进 行远程测量。也有联合RGB相机和热成像相机一起检测人体的呼吸速率和心 率。
经检索，CN201280042964-使用移动设备来监控员工健康的系统、计算机介 质及计算机实现方法，该专利用可穿戴的方式，将各种传感器放置在员工身上， 用于实时监控员工的健康情况，但是这种方式成本太高，操作不方便。
又如，申请号为201611270849.6基于多模态成像技术的生理信号远程监控 系统及应用，该发明整合了高光谱、可见光、近红外、远红外、激光生物散斑5 种成像模式，可以实现高精度的生理信号提取和分析。同时，本发明可以进行多 模态设备间的协作数据获取和数据间的协同处理分析，以满足睡眠监控和病猪筛 选等不同的应用需求。
但是上述的方法都是单独检测发热特征和呼吸特征，且并没有与呼吸系 统疾病产生关联。同时这些方法存在信息获取单一，干扰因素较多和测量指 标不全面的不足之处。单一的特征检测并不足以满足呼吸系统疾病监测的需 求。
由于对于呼吸系统疾病的判断和强弱监测需要将发热，咳嗽，呼吸急促 等特征一起综合分析，对测量设备的精度要求较高，并且对测量方法的鲁棒 性要求也较高。因此，亟待开发基于多模态技术的呼吸系统疾病远程监控系统， 用于人群呼吸系统疾病的检测以及监测。
发明内容
针对现有技术存在的不足，本发明提供了一种基于多模态技术的呼吸系统 疾病远程监控系统，满足对非接触式呼吸系统疾病的检测和监测需求。
为实现上述目的，本发明通过以下技术方案实现：
本发明提供一种基于多模态技术的呼吸系统疾病远程监控系统，包括：集成 成像模块、麦克风阵列模块和处理终端模块，其中，
所述集成成像模块包括集成的远红外热成像装置、可见光成像装置、近红外 成像装置，其中：所述远红外热成像装置用于获取人体体表温度的热成像图像； 所述可见光成像装置用于获取人体的可见光下的成像图像；所述近红外成像装 置，在光照不足情况下获取近红外成像图像，以辅助所述可见光成像装置；所 述远红外热成像装置、所述可见光成像装置、所述近红外成像装置获取的图像 均输出到所述处理终端模块；
所述麦克风阵列模块，用于收集人体发出的音频信息，并输出到所述处理 终端模块；
所述处理终端模块根据所述远红外热成像装置的热成像图像提取人体的体 温和呼吸速率，用于判断人体的发热、呼吸急促；
所述处理终端模块根据所述可见光成像装置、所述近红外成像装置的成像图 像识别人体的咳嗽动作，根据所述麦克风阵列模块的音频信息识别咳嗽声音，通 过所述人体的咳嗽动作、所述咳嗽声音来综合判断咳嗽行为；
所述处理终端模块还根据所述远红外热成像装置、所述可见光成像装置、所 述近红外成像装置的进行人体的识别定位。
可选地，所述麦克风阵列模块位于集成成像模块上方，所述远红外热成 像装置、所述可见光成像装置、所述近红外成像装置之间并排排列，相邻两个装 置之间紧密设置。
可选地，所述处理终端模块还根据所述麦克风阵列模块的音频信息，来定 位咳嗽人的方位，辅助所述集成成像模块中的人的咳嗽姿势识别，进行视音 频共同分析。
可选地，所述远红外热成像装置实时采集远红外信号，发送给所述处理终 端模块，所述处理终端模块利用人工智能算法进行人的定位识别，将视频中的人 的位置标识出来，再利用远红外信号生成的热成像图像，对于人体的体温信息以 及呼吸速率信息进行实时提取，判断人体是否出现发热症状，并根据呼吸速率信 息判断人体是否存在呼吸急促的症状。
可选地，所述可见光成像装置实时采集RGB视频信号，根据视频亮度自适 应的判断亮度强度，是否需要补光；所述可见光成像装置实时采集RGB视频信 号且如果光线不足时，则自动开启所述近红外成像装置，所述近红外成像装置实 时发送近红外视频至所述处理终端模块，辅助所述可见光成像装置进行被测者咳 嗽姿势识别。
可选地，所述麦克风阵列模块实时采集音频信号发送至所述处理终端模块， 所述处理终端模块进行音频去噪，消除环声的干扰，增强咳嗽信号的音频信息， 当接收到疑似咳嗽信号以后，对其方位进行大致的定位，帮助所述集成成像模块 缩小检索范围；所述处理终端模块通过音频信号识别咳嗽声信号，辅助咳嗽姿势 识别，共同判断被检测者是否存在咳嗽行为。
可选地，所述热成像装置采用远红外相机，所述热成像装置提取的热成像图 像具有光照不变性。
可选地，所述近红外成像装置包括近红外相机和LED阵列，所述LED阵列 设置于近红外相机周围。
本发明上述处理终端模块根据发热症状、呼吸急促症状和咳嗽行为判断检测 者是否存在呼吸系统疾病，以及疾病程度的强弱。
与现有技术相比，本发明具有如下至少一种有益效果：
本发明提供的基于多模态技术的呼吸系统疾病远程监控系统，是基于可见光 成像、近红外成像、远红外热成像、姿态识别技术和音频处理技术的多模态 技术的呼吸系统疾病远程监控系统，为高精度的非接触式呼吸系统疾病检测和 监控提供了一种解决思路。比原有的单一方式的检测，逐步排查发热，咳嗽 等症状更加智能，方便，且准确率高。
本发明提供的基于多模态技术的呼吸系统疾病远程监控系统，对咳嗽行为和 音频进行识别理解综合判断，音视频的结合极大地提高了识别的准确性。
本发明提供的基于多模态技术的呼吸系统疾病远程监控系统，可以实现发 热、呼吸急促和咳嗽症状的远程监测，起到及时发现潜在具有呼吸系统疾病 的人的作用。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其 它特征、目的和优点将会变得更明显：
图1是本发明一实施例中的系统模块布局图；
图2是本发明一实施例中的系统处理流程图；
图3是本发明一实施例中的系统应用示意图；
图中：1为远红外相机，2为近红外相机，3为RGB相机，4为麦克风阵 列，5为LED阵列，6为处理终端。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的 技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本 领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形 和改进。这些都属于本发明的保护范围。本发明实施例中没详细说明的部分可以 采用现有技术实现。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本 构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、 形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变， 且其组件布局型态也可能更为复杂。
图1是本发明一实施例中的系统模块布局图。参照图1所示，一种基于 多模态技术的呼吸系统疾病远程监控系统包括集成成像模块、麦克风阵列模块和 处理终端模块。为使系统更为紧凑、小巧和便携，远红外热成像装置、可见 光成像装置、近红外成像装置组成集成成像模块，麦克风阵列设备被置于集 成成像模块上方，远红外热成像装置、可见光成像装置、近红外成像装置之间 并排排列，相邻两个装置之间紧密设置。远红外热成像装置用于获取人体体表 温度的热成像图像；可见光成像装置用于获取人体的可见光下的成像图像；近 红外成像装置，在光照不足情况下获取近红外成像图像，以辅助可见光成像装 置；远红外热成像装置、可见光成像装置、近红外成像装置获取的图像均输出到 处理终端模块；麦克风阵列模块，用于收集人体发出的音频信息，并输出到处 理终端模块；处理终端模块根据远红外热成像装置的热成像图像提取人体的体 温和呼吸速率，用于判断人体的发热、呼吸急促；处理终端模块根据可见光成像 装置、近红外成像装置的成像图像识别人体的咳嗽动作，根据麦克风阵列模块的 音频信息识别咳嗽声音，通过人体的咳嗽动作、咳嗽声音来综合判断咳嗽行为。
另外，处理终端模块还根据远红外热成像装置、可见光成像装置、近红外成 像装置的图像进行人体的识别定位和追踪。
本发明上述实施例基于可见光成像、近红外成像、远红外热成像、姿态 识别技术和音频处理技术的，可以实现发热、呼吸急促和咳嗽症状的远程检 测，发现病例后及时发出警报。
在一优选实施例中，远红外热成像装置采用远红外相机1，热成像图像由 远红外相机1获得，结合可见光成像装置和近红外成像装置进行人体的识别定 位和追踪，用于提取人体体温信息，判断人体体温是否是在正常范围内的， 是否出现发热症状；用于提取人的呼吸速度特征，判断是否出现呼吸急促的 症状。远红外相机1可用于夜晚条件下生理信号的测量，并且采集的热成像 图像具体光照不变性。
在一优选实施例中，可见光成像装置采用RGB相机3，可见光视频由RGB 相机3获得，用于人体的定位识别和追踪，并进行人的姿势识别，用于判断 人是否出现咳嗽的症状；RGB相机可在光照充足的情况下有较好的细节分辨 能力，可以与其他模态的相机相辅相成使用。
在一优选实施例中，近红外成像装置采用近红外相机2，近红外图像由近 红外相机2获取，近红外成像装置用于辅助光照不足情况下(夜晚)的可见 光成像装置所进行的操作，用于光照不足下的人体的定位识别和追踪，并进 行人的姿势识别，用于判断人是否出现咳嗽的症状。具体的，近红外成像装 置包括近红外相机2和LED阵列4，所述LED阵列设置于近红外相机周围。 LED阵列采用850nm的红外LED阵列，该阵列的光为肉眼不可见，可以适应 于无光照或弱光照的应用场景。
在一优选实施例中，麦克风阵列模块5位于集成成像模块上方，用于收 集人体发出的音频信息，结合集成成像模块，视音频结合分析判断是否有咳 嗽症状。麦克风阵列装置拾音距离不低于5米，拾音范围为360°。
本发明上述实施例中处理终端模块用于系统的数据处理和数据分析，包 根据采集到的成像信息和音频信息，综合判断人体是否出现发热，呼吸急促 和咳嗽症状。以上各装置采集的数据经过WiFi，USB等传输的方式与处理终 端模块6进行信息通信。具体的，在实际使用中，可以基于大数据训练，利 用深度学习卷积神经网络算法对咳嗽行为和音频进行识别理解综合判断。此部分 可以采用现有技术来实现。
如图2所示，在一优选实施例中，集成成像模块中的远红外摄像头实时采 集远红外信号，将其发送给处理终端模块，利用人工智能算法进行人的定位识别 操作，将视频中的人的位置标识出来，再利用远红外信号生成的热成像图像，对 于人体的体温信息以及呼吸速率信息进行实时提取。处理终端模块根据提取的体 温信息，判断被检测者是否出现发热症状；根据呼吸速率信息，判断被检测者是 否存在呼吸急促的症状。同时集成成像模块中的可见光摄像头实时采集RGB视 频信号，并根据视频亮度自适应的判断亮度强度，是否需要补光。如果光线不足， 对人的姿势估计有影响，则处理终端模块自动开启近红外摄像头，实时发送近红 外视频至处理终端模块，辅助可见光摄像头，完成后续任务。接着根据可见光和 近红外视频进行被测者咳嗽姿势识别。此外，麦克风阵列系统实时采集音频信号发送至处理终端，进行音频去噪，消除环声的干扰，增强咳嗽信号的音频信息， 当接收到疑似咳嗽信号以后，对其方位进行大致的定位，帮助集成成像模块缩小 检索范围。接着通过音频识别，识别咳嗽声信号，辅助咳嗽姿势识别，共同判断 被检测者是否存在咳嗽行为。最终处理终端模块根据发热症状，呼吸急促症状和 咳嗽行为判断检测者是否存在呼吸系统疾病。如果发现疾病则发出警告信号，提 醒出现具有呼吸系统疾病的病人。同时，处理终端也可以根据发热的程度，咳嗽 的程度以及呼吸急促的程度，综合评估出呼吸系统疾病病人的生病情况，起到监 控的作用。
在本实施例中，总体系统架构不局限于附图1所示，应包含一切与之相关或 相类似的变形。如根据具体的安装环境将外观调整为圆形和三角形等。
另外，上述实施例中的系统可以用于医疗系统或者呼吸疾病患者在家中的呼 吸系统疾病的监控。如图3所示，6为实施例的系统，7为床，8为待测对象，9 为反馈终端。在医院或者家中，被测对象躺在床上，本发明上述实施例的系统可 以通过对其呼吸速率，咳嗽次数和间隔以及体温，实时监控被测对象的呼吸疾病 的生病情况，在反馈终端实时反馈给医生或者病患家属。当病人出现病情加重或 者突发情况时，可及时报警通知医生或者家属，提供便捷。
本发明上述实施例系统根据人体体温、呼吸速率以及咳嗽行为综合判断呼吸 系统疾病，整合了成像模块和麦克风阵列模块，可以实现高精度的呼吸系统 疾病典型特征信号提取和分析，满足对于呼吸系统疾病远程监控非接触式的 监控方式的应用需求。同时，不需要被测者穿戴任何东西，可以用于机场、车 站、地铁站等地方，也可以放置在家中，保证检测者在成像模块和麦克风阵列 模块范围内即可，操作简单。
本领域那些技术人员可以理解，除了这样的特征和/或过程或者单元中的至 少一些是相互排斥之外，可以采用任何组合对本说明书中公开的所有特征以及如 此公开的任何装置的所有过程或单元进行组合。
本技术领域中的技术人员应当认识到，以上的实施例仅是用来说明本发 明的目的，而并非用作对本发明的限定，只要在本发明权利要求书的相当含 义和实质范围内作任何改变，及对以上所述实施例的变化、变型都将落在本 发明的权利要求的范围内。
Claims (10)
1.一种基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：包括集成成像模块、麦克风阵列模块和处理终端模块，其中，
所述集成成像模块包括集成的远红外热成像装置、可见光成像装置、近红外成像装置，其中：所述远红外热成像装置用于获取人体体表温度的热成像图像；所述可见光成像装置用于获取人体的可见光下的成像图像；所述近红外成像装置，在光照不足情况下获取近红外成像图像，以辅助所述可见光成像装置；所述远红外热成像装置、所述可见光成像装置、所述近红外成像装置获取的图像均输出到所述处理终端模块；
所述麦克风阵列模块，用于收集人体发出的音频信息，并输出到所述处理终端模块；
所述处理终端模块，根据所述远红外热成像装置的热成像图像提取人体的体温和呼吸速率，用于判断人体的发热、呼吸急促情况；根据所述可见光成像装置、所述近红外成像装置的成像图像识别人体的咳嗽动作，根据所述麦克风阵列模块的音频信息识别咳嗽声音，通过所述人体的咳嗽动作、所述咳嗽声音来综合判断咳嗽行为；根据所述远红外热成像装置、所述可见光成像装置、所述近红外成像装置的图像进行人体的识别定位。
2.根据权利要求1所述基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：所述麦克风阵列模块位于集成成像模块上方，所述远红外热成像装置、所述可见光成像装置、所述近红外成像装置之间并排排列，相邻两个装置之间紧密设置。
3.根据权利要求1所述基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：所述处理终端模块还根据所述麦克风阵列模块的音频信息，来定位咳嗽人的方位，辅助所述集成成像模块中的人的咳嗽姿势识别，进行视音频共同分析。
4.根据权利要求1所述基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：所述远红外热成像装置实时采集远红外信号，发送给所述处理终端模块，所述处理终端模块利用人工智能算法进行人的定位识别，将视频中的人的位置标识出来，再利用远红外信号生成的热成像图像，对于人体的体温信息以及呼吸速率信息进行实时提取，判断人体是否出现发热症状，并根据呼吸速率信息判断人体是否存在呼吸急促的症状。
5.根据权利要求1所述基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：所述可见光成像装置实时采集RGB视频信号，根据视频亮度自适应的判断亮度强度，是否需要补光；所述可见光成像装置实时采集RGB视频信号且如果光线不足时，则自动开启所述近红外成像装置，所述近红外成像装置实时发送近红外视频至所述处理终端模块，辅助所述可见光成像装置进行被测者咳嗽姿势识别。
6.根据权利要求1所述基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：所述麦克风阵列模块实时采集音频信号发送至所述处理终端模块，所述处理终端模块进行音频去噪，消除环声的干扰，增强咳嗽信号的音频信息，当接收到疑似咳嗽信号以后，对其方位进行大致的定位，帮助所述集成成像模块缩小检索范围；所述处理终端模块通过音频信号识别咳嗽声信号，辅助咳嗽姿势识别，共同判断被检测者是否存在咳嗽行为。
7.根据权利要求1-6任一项所述基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：所述热成像装置采用远红外相机，所述热成像装置提取的热成像图像具有光照不变性；
所述近红外成像装置包括近红外相机和LED阵列，所述LED阵列设置于近红外相机周围。
8.根据权利要求7所述基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：所述LED阵列采用850nm的红外LED阵列。
9.根据权利要求1-6任一项所述基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：所所述麦克风阵列模块拾音距离不低于5米，拾音范围为360°。
10.根据权利要求1-6任一项所述基于多模态技术的呼吸系统疾病远程监控系统，其特征在于：所述处理终端模块根据发热症状、呼吸急促症状和咳嗽行为判断检测者是否存在呼吸系统疾病，以及疾病程度的强弱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010654996.3A CN111938604A (zh) | 2020-07-09 | 2020-07-09 | 一种基于多模态技术的呼吸系统疾病远程监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010654996.3A CN111938604A (zh) | 2020-07-09 | 2020-07-09 | 一种基于多模态技术的呼吸系统疾病远程监控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111938604A true CN111938604A (zh) | 2020-11-17 |
Family
ID=73339966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010654996.3A Pending CN111938604A (zh) | 2020-07-09 | 2020-07-09 | 一种基于多模态技术的呼吸系统疾病远程监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111938604A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113488183A (zh) * | 2021-06-30 | 2021-10-08 | 南京云上数融技术有限公司 | 一种发热疾病多模态特征融合认知系统、设备、存储介质 |
| CN113925475A (zh) * | 2021-10-16 | 2022-01-14 | 谢俊 | 一种非接触式的人体健康监测装置及方法 |
| CN114668200A (zh) * | 2022-03-17 | 2022-06-28 | 中国人民解放军联勤保障部队第九八八医院 | 一种呼吸科临床诊查防护装置 |
| WO2022247606A1 (zh) * | 2021-05-25 | 2022-12-01 | 华为技术有限公司 | 一种呼吸系统疾病筛查的方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101438604A (zh) * | 2004-12-02 | 2009-05-20 | 皇家飞利浦电子股份有限公司 | 使用扬声器作为麦克风的位置感知 |
| CN106580294A (zh) * | 2016-12-30 | 2017-04-26 | 上海交通大学 | 基于多模态成像技术的生理信号远程监控系统及应用 |
| CN109711395A (zh) * | 2019-02-28 | 2019-05-03 | 李娟娟 | 预防患儿医院呼吸感染的装置 |
| WO2020104465A2 (en) * | 2018-11-19 | 2020-05-28 | Resmed Sensor Technologies Limited | Methods and apparatus for detection of disordered breathing |
| CN111232788A (zh) * | 2020-02-13 | 2020-06-05 | 江苏弘冉智能科技有限公司 | 一种电梯全要素健康及安全监控系统 |
-
2020
- 2020-07-09 CN CN202010654996.3A patent/CN111938604A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101438604A (zh) * | 2004-12-02 | 2009-05-20 | 皇家飞利浦电子股份有限公司 | 使用扬声器作为麦克风的位置感知 |
| CN106580294A (zh) * | 2016-12-30 | 2017-04-26 | 上海交通大学 | 基于多模态成像技术的生理信号远程监控系统及应用 |
| WO2020104465A2 (en) * | 2018-11-19 | 2020-05-28 | Resmed Sensor Technologies Limited | Methods and apparatus for detection of disordered breathing |
| CN109711395A (zh) * | 2019-02-28 | 2019-05-03 | 李娟娟 | 预防患儿医院呼吸感染的装置 |
| CN111232788A (zh) * | 2020-02-13 | 2020-06-05 | 江苏弘冉智能科技有限公司 | 一种电梯全要素健康及安全监控系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022247606A1 (zh) * | 2021-05-25 | 2022-12-01 | 华为技术有限公司 | 一种呼吸系统疾病筛查的方法及相关装置 |
| CN113488183A (zh) * | 2021-06-30 | 2021-10-08 | 南京云上数融技术有限公司 | 一种发热疾病多模态特征融合认知系统、设备、存储介质 |
| CN113488183B (zh) * | 2021-06-30 | 2023-10-31 | 吾征智能技术(北京)有限公司 | 一种发热疾病多模态特征融合认知系统、设备、存储介质 |
| CN113925475A (zh) * | 2021-10-16 | 2022-01-14 | 谢俊 | 一种非接触式的人体健康监测装置及方法 |
| CN114668200A (zh) * | 2022-03-17 | 2022-06-28 | 中国人民解放军联勤保障部队第九八八医院 | 一种呼吸科临床诊查防护装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111938604A (zh) | 一种基于多模态技术的呼吸系统疾病远程监控系统 | |
| Wang et al. | Unobtrusive and automatic classification of multiple people’s abnormal respiratory patterns in real time using deep neural network and depth camera | |
| CN106580294B (zh) | 基于多模态成像技术的生理信号远程监控系统及应用 | |
| CN113925475B (zh) | 一种非接触式的人体健康监测系统及监测方法 | |
| CN105869144B (zh) | 一种基于深度图像数据的非接触式呼吸监测方法 | |
| Mohammadi et al. | Transfer learning for clinical sleep pose detection using a single 2D IR camera | |
| JP5977255B2 (ja) | 嚥下障害検出装置及びその作動方法 | |
| CN103006195B (zh) | 一种基于图像处理的非接触式生命体征数据监测系统和监测方法 | |
| CN107529991A (zh) | 用于检测对象的心脏和/或呼吸疾病的设备、系统和方法 | |
| WO2013060249A1 (zh) | 基于视频图像的非接触式生命体征的检测方法及检测系统 | |
| JP2006507088A (ja) | 対象の呼吸活動をモニターする方法およびシステム | |
| Kim et al. | 1D CNN based human respiration pattern recognition using ultra wideband radar | |
| US20130289432A1 (en) | Detection of breathing in the bedroom | |
| Lo et al. | Wireless body area network node localization using small-scale spatial information | |
| CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
| CN112363139A (zh) | 基于幅度特征的人体呼吸时长检测方法、装置和存储介质 | |
| CN116269298B (zh) | 基于毫米波雷达的非接触式睡眠呼吸监测方法和系统 | |
| Grassi et al. | A hardware-software framework for high-reliability people fall detection | |
| CN113393936A (zh) | 一种基于端-边-云架构的失能老人健康监护系统 | |
| CN110292383B (zh) | 一种基于rf技术的多目标呼吸频率检测方法及系统 | |
| Siciliano et al. | A networked multisensor system for ambient assisted living application | |
| Choi et al. | Non-Contact Respiration Rate Measurement From Thermal Images Using Multi-Resolution Window and Phase-Sensitive Processing | |
| CN115919277A (zh) | 一种基于温度阈值的心率检测方法 | |
| Rinchi et al. | Remote Breathing Monitoring Using LiDAR Technology | |
| Avuthu et al. | A Deep Learning approach for detection and analysis of respiratory infections in covid-19 patients using RGB and infrared images. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201117 |
|
| WD01 | Invention patent application deemed withdrawn after publication |