Nothing Special   »   [go: up one dir, main page]

CN113566395B - 空调器及其控制方法及装置、计算机可读存储介质 - Google Patents

空调器及其控制方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN113566395B
CN113566395B CN202110882359.6A CN202110882359A CN113566395B CN 113566395 B CN113566395 B CN 113566395B CN 202110882359 A CN202110882359 A CN 202110882359A CN 113566395 B CN113566395 B CN 113566395B
Authority
CN
China
Prior art keywords
target object
image
air conditioner
voice
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110882359.6A
Other languages
English (en)
Other versions
CN113566395A (zh
Inventor
汪进
毛跃辉
宋士奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202110882359.6A priority Critical patent/CN113566395B/zh
Publication of CN113566395A publication Critical patent/CN113566395A/zh
Application granted granted Critical
Publication of CN113566395B publication Critical patent/CN113566395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/50—Control or safety arrangements characterised by user interfaces or communication
    • F24F11/52—Indication arrangements, e.g. displays
    • F24F11/526—Indication arrangements, e.g. displays giving audible indications
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/50—Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56—Remote control
    • F24F11/58—Remote control using Internet communication
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/65—Electronic processing for selecting an operating mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明公开了一种空调器及其控制方法及装置、计算机可读存储介质。其中，该方法包括：获取目标对象的语音信息以及图像；对目标对象的语音信息以及图像进行分析，得到目标对象的状态信息；基于状态信息生成控制指令，并利用控制指令控制空调器的运行模式。本发明解决了相关技术中空调器的智能化程度比较低的技术问题。

Description

空调器及其控制方法及装置、计算机可读存储介质
技术领域
本发明涉及智能家电控制领域，具体而言，涉及一种空调器及其控制方法及装置、计算机可读存储介质。
背景技术
空调器是一种空气调节器，用于给空间区域(一般为密闭)提供处理空气的机组，并且可以对该房间(或封闭空间、区域)内空气的温度、湿度、洁净度和空气流速等参数进行调节，以满足人体舒适或工艺过程的要求。
然而，相关技术中的空调器由于智能化程度比较低，无法获取能够确定用户的身体状态信息的数据，进而也无法自动判断是否需要开启空调器的杀菌功能。在需要开启空调器的杀菌功能时，只能由用户手动开完成。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种空调器及其控制方法及装置、计算机可读存储介质，以至少解决了相关技术中空调器的智能化程度比较低的技术问题。
根据本发明实施例的一个方面，提供了一种空调器，包括：语音采集模块，用于采集目标对象的语音信息；图像采集模块，用于获取所述目标对象的图像；处理模块，分别与所述语音采集模块以及所述图像采集模块连接，用于对所述语音信息以及所述图像进行分析，以得到所述目标对象的状态信息，并基于所述状态信息生成控制指令；控制器，与所述处理模块连接，用于在接收到所述控制指令时，控制所述空调器基于所述控制指令运行。
可选地，该空调器还包括：图像识别模块，分别与所述图像采集模块以及所述处理模块连接，用于对所述图像进行识别，以得到所述目标对象的体征信息；语音识别模块，分别与所述语音采集模块以及所述处理模块连接，用于对所述语音信息进行识别，得到所述目标对象的语音特征。
可选地，该空调器还包括：杀菌模块，用于在所述空调器运行于杀菌模式时，对所述空调器所在区域进行杀菌。
可选地，该空调器还包括：通信模块，用于与预定终端设备通信，以将所述目标对象的状态信息发送至所述预定终端设备。
根据本发明实施例的另外一个方面，还提供了一种空调器的控制方法，应用于上述中任一项所述的空调器，包括：获取目标对象的语音信息以及图像；对所述目标对象的语音信息以及图像进行分析，得到所述目标对象的状态信息；基于所述状态信息生成控制指令，并利用所述控制指令控制所述空调器的运行模式。
可选地，获取目标对象的语音信息以及图像，包括：通过语音采集模块采集所述目标对象的语音信息，其中，所述语音采集模块包括：麦克风；通过图像采集设备采集所述目标对象的图像，其中，所述图像采集设备包括以下至少之一：红外摄像头、热电堆。
可选地，对所述目标对象的语音信息以及图像进行分析，得到所述目标对象的状态信息，包括：对所述语音信息进行自然语音处理，得到所述目标对象的语音特征；对所述图像进行图像识别，得到所述目标对象的体征信息。
可选地，对所述语音信息进行自然语音处理，得到所述目标对象的语音特征，包括：将所述语音信息输入至语音识别模型，其中，所述语音识别模型为预先使用多组训练数据通过机器学习训练得到的，所述多组训练数据均包括：语音信息以及与所述语音信息对应的语音特征；获取所述语音识别模型的输出；基于所述语音识别模型的输出得到所述语音特征。
可选地，所述体征信息为所述目标对象的温度信息，对所述图像进行图像识别，得到所述目标对象的体征信息，包括：将所述图像输入至图像识别模型，其中，所述图像识别模型为预先使用多组训练数据通过机器学习训练得到的，所述多组训练数据均包括：图像以及与所述图像对应的温度信息；获取所述图像识别模型的输出；基于所述图像识别模型的输出得到所述温度信息。
可选地，所述温度信息包括所述目标对象各个部位的温度值。
可选地，所述空调器的控制方法还包括：将所述目标对象的状态信息发送至预定终端设备。
可选地，基于所述状态信息生成控制指令，并利用所述控制指令控制所述空调器的运行模式，包括：基于所述控制指令控制所述空调器运行于杀菌模式，并控制所述空调器启动新风功能。
根据本发明实施例的另一方面，还提供了一种空调器的控制装置，应用于上述中任一项所述的空调器的控制方法，包括：获取模块，用于获取目标对象的语音信息以及图像；分析模块，用于对所述目标对象的语音信息以及图像进行分析，得到所述目标对象的状态信息；生成模块，用于基于所述状态信息生成控制指令，并利用所述控制指令控制所述空调器的运行模式。
可选地，所述获取模块，包括：第一采集单元，用于通过语音采集模块采集所述目标对象的语音信息，其中，所述语音采集模块包括：麦克风；第二采集单元，用于通过图像采集设备采集所述目标对象的图像，其中，所述图像采集设备包括以下至少之一：红外摄像头、热电堆。
可选地，所述分析模块，包括：处理单元，用于对所述语音信息进行自然语音处理，得到所述目标对象的语音特征；识别单元，用于对所述图像进行图像识别，得到所述目标对象的体征信息。
可选地，所述处理单元，包括：输入子单元，用于将所述语音信息输入至语音识别模型，其中，所述语音识别模型为预先使用多组训练数据通过机器学习训练得到的，所述多组训练数据均包括：语音信息以及与所述语音信息对应的语音特征；第一获取子单元，用于获取所述语音识别模型的输出；第二获取子单元，用于基于所述语音识别模型的输出得到所述语音特征。
可选地，所述体征信息为所述目标对象的温度信息，对所述图像进行图像识别，得到所述目标对象的体征信息，包括：输入单元，用于将所述图像输入至图像识别模型，其中，所述图像识别模型为预先使用多组训练数据通过机器学习训练得到的，所述多组训练数据均包括：图像以及与所述图像对应的温度信息；第一获取单元，用于获取所述图像识别模型的输出；第二获取单元，用于基于所述图像识别模型的输出得到所述温度信息。
可选地，所述温度信息包括所述目标对象各个部位的温度值。
可选地，所述空调器的控制装置还包括：发送模块，用于将所述目标对象的状态信息发送至预定终端设备。
可选地，所述生成模块，包括：控制单元，用于基于所述控制指令控制所述空调器运行于杀菌模式，并控制所述空调器启动新风功能。
根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述计算机存储介质所在设备执行上述中任一项所述的空调器的控制装置。
根据本发明实施例的另外一个方面，还提供了一种处理器，，所述处理器用于运行计算机程序，其中，所述计算机程序运行时执行上述中任意一项所述的空调器的控制装置。
在本发明实施例中，获取目标对象的语音信息以及图像；对目标对象的语音信息以及图像进行分析，得到目标对象的状态信息；基于状态信息生成控制指令，并利用控制指令控制空调器的运行模式。通过本发明实施例的空调器的控制方法，达到了基于获取到的目标对象的语音信息以及图像来进行分析得到目标对象的状态信息并生成相应的控制指令来控制空调器运行模式的目的，从而实现了提升空调器的智能化程度以及可靠性的技术效果，进而解决了相关技术中空调器的智能化程度比较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的空调器的示意图；
图2是根据本发明实施例的空调器的控制方法的流程图；
图3是根据本发明实施例的用户咳嗽识别模型的示意图；
图4是根据本发明实施例的红外图像识别架构和提取不同部位温度的示意图；
图5是根据本发明实施例的红外图像模型和语音模型识别用户咳嗽判断病情进行空调控制的流程图；
图6是根据本发明实施例的空调器的控制装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了方便描述，下面对本发明实施例中出现的部分名词或术语进行说明。
RNN(Recurrent Neural Network，循环神经网络)：是一种递归神经网络，RNN很适合应用于序列数据的处理。
CNN(前馈神经网络)：是一种前馈神经网络，通常由一个或多个卷积层和全连接层组成，也会包含池化层。
LSTM(Long Short Term Memory，长短时记忆)：是一种神经元更加复杂的循环神经网络，处理时间序列间隔和延迟较长时，LSTM表现很出色。
池化层：是神经网络中的一个训练层，作用是在深度学习中图像尺寸过大时，引入池化层来减小参数矩阵的尺寸，从而减少最后全连接层中的参数数量，来减小过拟合。
卷积层：是卷积神经网络中的一个训练层，由若干卷积单元组成，其目的是提取输入的不同特征。
全连接层：是卷积神经网络中起到分类器作用的一个训练层，作用是将学习到的“分布式特征表示”映射到样本标记空间的作用。
ResNet50：是一种针对训练集准确率下降的问题出现的一种全新的网络，被称为深度残差网络，允许网络尽可能的加深。
YOLOv5(You Only Look Once)：是一种目标检测模型，用来对目标进行识别与检测。
针对上述问题，为了让用户减少与外来人员接触或者进行有效的判断，基于咳嗽语音识别和红外图像模块融合智能健康空调主要是当用室内人员咳嗽声来判断室内人员的身体状态,通过身体状态信息来确定是否开启空调器杀菌功能。其中，用户的体温可以通过红外摄像头或者热电堆识别，非接触方式检测体温非常有用。咳嗽事件分类模型与红外相机相结合，咳嗽语音识别系统和红外系统可以检测室内人员大致的身体状态。
下面结合具体实施例对本发明实施例提供的空调器及其控制方法及装置、计算机可读存储介质进行详细说明。
实施例1
根据本发明实施例的一个方面，提供了一种空调器，图1是根据本发明实施例的空调器的示意图，如图1所示，该空调器包括：语音采集模块11、图像采集模块13、处理模块15以及控制器17。下面对该空调器进行说明。
语音采集模块11，用于采集目标对象的语音信息。
可选的，该语音采集模块可以包括但不限于：麦克风
图像采集模块13，用于获取目标对象的图像。
可选的，上述图像识别模块可以包括但不限于：红外摄像头、者热电堆。处理模块15，分别与语音采集模块11以及图像采集模块13连接，用于对语音信息以及图像进行分析，以得到目标对象的状态信息，并基于状态信息生成控制指令。
控制器17，与处理模块15连接，用于在接收到控制指令时，控制空调器基于控制指令运行。
由上可知，在本发明实施例中提供的空调器，可以利用语音采集模块11采集目标对象的语音信息；以及利用图像采集模块13获取目标对象的图像；以及利用处理模块15分别与语音采集模块11以及图像采集模块13连接，用于对语音信息以及图像进行分析，以得到目标对象的状态信息，并基于状态信息生成控制指令；以及利用控制器17，与处理模块15连接，用于在接收到控制指令时，控制空调器基于控制指令运行。通过本发明实施例提供的空调器，达到了基于获取到的目标对象的语音信息以及图像来进行分析得到目标对象的状态信息并生成相应的控制指令来控制空调器运行模式的目的，从而实现了提高了空调器的智能化程度以及可靠性的技术效果。
因此，通过本发明实施例的空调器，解决了相关技术中空调器的智能化程度比较低的技术问题。
在一种可选的实施例中，该空调器还包括：图像识别模块，分别与图像采集模块以及处理模块连接，用于对图像进行识别，以得到目标对象的体征信息；语音识别模块，分别与语音采集模块以及处理模块连接，用于对语音信息进行识别，得到目标对象的语音特征。
在上述实施例中，对语音信息进行识别，一般采用自然语言处理，得到目标对象的语音特征信息。
在一种可选的实施例中，该空调器还包括：杀菌模块，用于在空调器运行于杀菌模式时，对空调器所在区域进行杀菌。
在上述可选的实施例中，空调器运行杀菌模式时，可以使用释放负离子的方式来为室内杀菌。
在一种可选的实施例中，该空调器还包括：通信模块，用于与预定终端设备通信，以将目标对象的状态信息发送至预定终端设备。
实施例2
根据本发明实施例的另外一个方面，提供了一种空调器的控制方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的空调器的控制方法的流程图，如图2所示，该方法包括如下步骤：
步骤S202，获取目标对象的语音信息以及图像。
在上述步骤中，目标对象可以是常期在室内活动的用户也可以是首次进入室内的外来用户，并且可以通过人脸识别技术进行区分并记录、标记。
步骤S204，对目标对象的语音信息以及图像进行分析，得到目标对象的状态信息。
在上述步骤中，将采集到的数据通过自然语言处理以及神经网络模型匹配得出两者结果，并且将两者结果进行匹配得出数据权重值并根据权重值判断用户的当前健康状态，并且做出对应的提示或者执行对应的操作。
步骤S206，基于状态信息生成控制指令，并利用控制指令控制空调器的运行模式。
由上可知，在本发明实施例中，可以首先获取目标对象的语音信息以及图像；接着对目标对象的语音信息以及图像进行分析，得到目标对象的状态信息；最后基于状态信息生成控制指令，并利用控制指令控制空调器的运行模式。通过本发明实施例的空调器的控制方法，达到了基于获取到的目标对象的语音信息以及图像来进行分析得到目标对象的状态信息并生成相应的控制指令来控制空调器运行模式的目的，从而实现了提高了空调器的智能化程度以及可靠性的技术效果，进而解决了相关技术中空调器的智能化程度比较低的技术问题。
作为一种可选的实施例，在上述步骤S202中，获取目标对象的语音信息以及图像，包括：通过语音采集模块采集目标对象的语音信息，其中，语音采集模块包括：麦克风；通过图像采集设备采集目标对象的图像，其中，图像采集设备包括以下至少之一：红外摄像头、热电堆。
需要说明的是，在上述可选的实施例中，热电堆是一种热释红外线传感器，它是由热电偶构成的一种器件。
作为一种可选的实施例，在上述步骤S204中，对目标对象的语音信息以及图像进行分析，得到目标对象的状态信息，包括：对语音信息进行自然语音处理，得到目标对象的语音特征；对图像进行图像识别，得到目标对象的体征信息。
在上述可选的实施例中，采集到的语音包括但不限于：用户的咳嗽声及其频率，用户的喷嚏声及其频率等可以反映用户身体健康状况的参数。
作为一种可选的实施例，对语音信息进行自然语音处理，得到目标对象的语音特征，包括：将语音信息输入至语音识别模型，其中，语音识别模型为预先使用多组训练数据通过机器学习训练得到的，多组训练数据均包括：语音信息以及与语音信息对应的语音特征；获取语音识别模型的输出；基于语音识别模型的输出得到语音特征。
图3是根据本发明实施例的用户咳嗽识别模型的示意图，如图3所示，首先，该训练模型生成数据库是根据不同咳嗽样本和录入的身体状态信息、性别、情绪数据进行标注。通过麦克风实时读取用户的咳嗽语音,识别到用户的咳嗽语音模块实时将用户的咳嗽声转换为序列音频，然后通过文本导入到基于LSTM循环神经网络模块，通过LSTM模块提取出音频序列和咳嗽声上下音频序列关系文本然后导入到ResNet50分类模块，主要是将识别到的音频序列以及相关的特征分类到具体的类别，咳嗽声数据方面进行处理，事先对不同的咳嗽声进行标注相应的病情并生成数据库导入到咳嗽语音识别模型进行训练。
作为一种可选的实施例，体征信息为目标对象的温度信息，对图像进行图像识别，得到目标对象的体征信息，包括：将图像输入至图像识别模型，其中，图像识别模型为预先使用多组训练数据通过机器学习训练得到的，多组训练数据均包括：图像以及与图像对应的温度信息；获取图像识别模型的输出；基于图像识别模型的输出得到温度信息。
作为一种可选的实施例，温度信息包括目标对象各个部位的温度值。
在上述可选的实施例中，目标对象各个部位主要包括头部，胸部，腹部等散热较多的人体部位。
图4是根据本发明实施例的红外图像识别架构和提取不同部位温度的示意图，如图4所示，热红外图像识别模块，热红外模型结构是YOLOv5网络中的残差层替换为密集卷积块，构建含有5个不同尺度卷积层的特征金字塔，将特征金字塔与深度密集网络进行融合，利用Softmax函数对融合的特征进行分类，形成深度融合的快速目标检测模型。首先进行维度与尺度调整，并通过卷积层与池化层的处理得到尺度大小为单通道的8×8的特征图像，对8×8的特征图像通过3×3的卷积层以两个单位的尺度步长进行下采样操作并融合8×8的特征图像信息，目的是减少图像下采样导致红外图像信息丢失，然后获取尺度大小为4×4的特征图像，对得到的4×4特征图像进行同样的下采样处理，直至获得尺度大小为1×1的特征图像。对1×1的特征图像直接利用双线性插值法进行8倍的上采样操作，并对获取的上采样图像每个像素进行Softmax分类函数预测，即获取每个分割区域得分；同时通过上采样依次按上述可得，将获取的上采样图像与下采样获取的同尺度8×8特征图像进行特征逐点相加的特征融合操作，并对获取的图像每个像素进行Softmax分类函数预测，即获取每个分割区域得分。最终通过对上述四个特征图的Softmax分类函数预测得分进行综合分析，对用户识别和温度值进行评估得出判断结果。
例如，在该实施例中，当麦克风采集到用户的咳嗽声导入到咳嗽语音模块时得到用户的身体状态,然后通过红外摄像头采集到用户体表温度是否超过预定温度，进一步判断用户的身体状态并把系统得出来的结论发送给用户，当咳嗽系统判断用户身体状态并通过红外摄像头判断用户身体状态是否异常，也有用户没有不咳嗽也体温过高，通过内置有咳嗽语音识别系统和红外图像识别系统的空调器共同判断得出室内哪位用户体温过高，内置有咳嗽语音识别系统的空调器只识别训练时训练的哪些病情的咳嗽声，通过类似的咳嗽声进行判断用户实时身体状态，红外模块判断用户体表温度值是否超过37.3度，超过37.3度进行用户提醒。
作为一种可选的实施例，该空调器的控制方法还包括：将目标对象的状态信息发送至预定终端设备。
在上述可选的实施例中，在将目标对象的状态信息发送至终端后，可以通过APP或者网页等其他终端中的应用进行查看。其中，上述终端包括但不限于：手机、平板、PC、智能手表等，使用户可以实时了解自身的身体状况。
作为一种可选的实施例，在上述步骤S206中，基于状态信息生成控制指令，并利用控制指令控制空调器的运行模式，包括：基于控制指令控制空调器运行于杀菌模式，并控制空调器启动新风功能。
在上述可选的实施例中，杀菌模式主要有利用空调的换气功能以及空调机自带的内部杀菌功能对空气中采取消毒杀菌；或者利用空调释放可以起到消毒杀菌目的的物质来对室内空气进行消毒杀菌。
需要指出的是，上述可选的实施例中的新风功能为根据室内用户健康状况对室内温度控制并且对室内空气进行更新、换气的功能。
例如，当内置有咳嗽语音识别系统的空调器判断室内用户身体异常时，空调器就会自动开启相应的杀菌功能和开启新风功能，同时提醒用户做好相应措施，当通过热红外识别系统判断室内人员温度值是否超过37.3度时，用户体温超过37.3度时智能空调提醒用户去专业机构和医院去检测，当温度超过37.3度时和结合咳嗽声识别得出相应结果生成相应的控制信息发送给空调主控并开启相应的送风模式和杀菌功能，伴随空调自动开启26度制冷模式(体温过高时开启制冷模式有利于降低用户体温)，然后并把相应的提示信息发送给用户和提醒用户做相应的防范措施，为用户健康起到了很好的保障。
图5是根据本发明实施例的红外图像模型和语音模型识别用户咳嗽判断病情进行空调控制的流程图，如图5所示，在本发明实施例中，一方面，可以通过红外摄像头或者热电堆采集室内用户的图像特征信息，再发送给红外图像识别模块进行处理，然后识别用户并检测用户各个部位的温度值；另一方面，通过麦克风采集室内用户的声音特征信息，在发送给语音和自然语言处理模块进行处理，然后识别判断出用户的咳嗽声等反映身体健康状态的音频特征信息，然后将两方面的特征信息进行汇总，通过红外摄像头拍摄咳嗽声来源用户或者外来人员身体发热情况与咳嗽声AI诊断模块相结合，最后通过咳嗽声AI判断和红外摄像头处理模块得到结果控制空调送风模式和相应的杀菌功能。
由上可知，在本发明实施例中，通过建立咳嗽识别模型并且使用卷积神经网络进行了监督学习。该模型通过输入一秒钟声音轮廓特征来执行二进制分类，生成的输出要么是咳嗽事件，要么是其他信息并进行分类判断得到准确的身体状况，进一步通过红外摄像头拍摄咳嗽声用户或者外来人员身体发热情况与咳嗽声AI诊断相结合得到最终判断结果，通过判断结果来控制空调送风模式和开启相应传染病菌的杀菌模式，同时反馈给室内人员做好防范措施，达到检测室内人员大致的健康状况，空调就开启相应的杀菌功能并提醒室内其他人员做好防范措施，让室内人员有一定健康安全保障的目的。
实施例3
根据本发明实施例的另外一个方面，还提供了一种空调器的控制装置，图6是根据本发明实施例的空调器的控制装置的示意图，如图6所示，该空调器的控制装置包括：获取模块61、分析模块63以及生成模块65。下面对该空调器的控制装置进行详细说明。
获取模块61，用于获取目标对象的语音信息以及图像。
分析模块63，用于对目标对象的语音信息以及图像进行分析，得到目标对象的状态信息。
生成模块65，用于基于状态信息生成控制指令，并利用控制指令控制空调器的运行模式。
此处需要说明的是，上述获取模块61、分析模块63以及生成模块65对应于实施例2中的步骤S202至S206，上述单元与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述单元作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
由上可知，在本发明实施例中，可以首先利用获取模块61获取目标对象的语音信息以及图像；再利用分析模块63对目标对象的语音信息以及图像进行分析，得到目标对象的状态信息；最后利用生成模块65基于状态信息生成控制指令，并利用控制指令控制空调器的运行模式。通过本发明实施例的空调器的控制装置，达到了基于获取到的目标对象的语音信息以及图像来进行分析得到目标对象的状态信息并生成相应的控制指令来控制空调器运行模式的目的，从而实现了提高了空调器的智能化程度以及可靠性的技术效果，进而解决了相关技术中空调器的智能化程度比较低的技术问题。
可选地，该空调器的控制装置还包括：第一采集单元，用于通过语音采集模块采集目标对象的语音信息，其中，语音采集模块包括：麦克风；第二采集单元，用于通过图像采集设备采集目标对象的图像，其中，图像采集设备包括以下至少之一：红外摄像头、热电堆。
可选地，该空调器的控制装置还包括：处理单元，用于对语音信息进行自然语音处理，得到目标对象的语音特征；识别单元，用于对图像进行图像识别，得到目标对象的体征信息。
可选地，该空调器的控制装置还包括：输入子单元，用于将语音信息输入至语音识别模型，其中，语音识别模型为预先使用多组训练数据通过机器学习训练得到的，多组训练数据均包括：语音信息以及与语音信息对应的语音特征；第一获取子单元，用于获取语音识别模型的输出；第二获取子单元，用于基于语音识别模型的输出得到语音特征。
可选地，该空调器的控制装置还包括：输入单元，用于将图像输入至图像识别模型，其中，图像识别模型为预先使用多组训练数据通过机器学习训练得到的，多组训练数据均包括：图像以及与图像对应的温度信息；第一获取单元，用于获取图像识别模型的输出；第二获取单元，用于基于图像识别模型的输出得到温度信息。
可选地，温度信息包括目标对象各个部位的温度值。
可选地，空调器的控制装置还包括：发送模块，用于将目标对象的状态信息发送至预定终端设备。
可选地，该空调器的控制装置还包括：控制单元，用于基于控制指令控制空调器运行于杀菌模式，并控制空调器启动新风功能。
实施例4
根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序被处理器运行时控制计算机存储介质所在设备执行上述中任一项的空调器的控制装置。
实施例5
根据本发明实施例的另外一个方面，还提供了一种处理器，处理器用于运行计算机程序，其中，计算机程序运行时执行上述中任意一项的空调器的控制装置。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种空调器，其特征在于，包括：
语音采集模块，用于采集目标对象的语音信息，所述语音信息为所述目标对象的咳嗽声及其频率；
图像采集模块，用于获取所述目标对象的图像；
处理模块，分别与所述语音采集模块以及所述图像采集模块连接，用于对所述语音信息以及所述图像进行分析，以得到所述目标对象的状态信息，并基于所述状态信息生成控制指令；
控制器，与所述处理模块连接，用于在接收到所述控制指令时，控制所述空调器基于所述控制指令运行；
图像识别模块，分别与所述图像采集模块以及所述处理模块连接，用于对所述图像进行识别，以得到所述目标对象的体征信息；
语音识别模块，分别与所述语音采集模块以及所述处理模块连接，用于对所述语音信息进行识别，得到所述目标对象的语音特征；
通信模块，用于与预定终端设备通信，以将所述目标对象的状态信息发送至所述预定终端设备；
杀菌模块，用于在所述空调器运行于杀菌模式时，对所述空调器所在区域进行杀菌。
2.一种空调器的控制方法，其特征在于，应用于权利要求1所述的空调器，包括：
获取目标对象的语音信息以及图像，所述语音信息为所述目标对象的咳嗽声及其频率；
对所述目标对象的语音信息以及图像进行分析，得到所述目标对象的状态信息；
基于所述状态信息生成控制指令，并利用所述控制指令控制所述空调器的运行模式；
对所述目标对象的语音信息以及图像进行分析，得到所述目标对象的状态信息，包括：
对所述语音信息进行自然语音处理，得到所述目标对象的语音特征；
对所述图像进行图像识别，得到所述目标对象的体征信息；
所述方法还包括：
将所述目标对象的状态信息发送至预定终端设备；
基于所述状态信息生成控制指令，并利用所述控制指令控制所述空调器的运行模式，包括：
基于所述控制指令控制所述空调器运行于杀菌模式，并控制所述空调器启动新风功能。
3.根据权利要求2所述的方法，其特征在于，获取目标对象的语音信息以及图像，包括：
通过语音采集模块采集所述目标对象的语音信息，其中，所述语音采集模块包括：麦克风；
通过图像采集设备采集所述目标对象的图像，其中，所述图像采集设备包括以下至少之一：红外摄像头、热电堆。
4.根据权利要求2所述的方法，其特征在于，对所述语音信息进行自然语音处理，得到所述目标对象的语音特征，包括：
将所述语音信息输入至语音识别模型，其中，所述语音识别模型为预先使用多组训练数据通过机器学习训练得到的，所述多组训练数据均包括：语音信息以及与所述语音信息对应的语音特征；
获取所述语音识别模型的输出；
基于所述语音识别模型的输出得到所述语音特征。
5.根据权利要求2所述的方法，其特征在于，所述体征信息为所述目标对象的温度信息，对所述图像进行图像识别，得到所述目标对象的体征信息，包括：
将所述图像输入至图像识别模型，其中，所述图像识别模型为预先使用多组训练数据通过机器学习训练得到的，所述多组训练数据均包括：图像以及与所述图像对应的温度信息；
获取所述图像识别模型的输出；
基于所述图像识别模型的输出得到所述温度信息。
6.根据权利要求5所述的方法，其特征在于，所述温度信息包括所述目标对象各个部位的温度值。
7.一种空调器的控制装置，其特征在于，应用于权利要求2至6中任一项所述的空调器的控制方法，包括：
获取模块，用于获取目标对象的语音信息以及图像，所述语音信息为所述目标对象的咳嗽声及其频率；
分析模块，用于对所述目标对象的语音信息以及图像进行分析，得到所述目标对象的状态信息；
生成模块，用于基于所述状态信息生成控制指令，并利用所述控制指令控制所述空调器的运行模式；
处理单元，用于对所述语音信息进行自然语音处理，得到所述目标对象的语音特征；
识别单元，用于对所述图像进行图像识别，得到所述目标对象的体征信息；
发送模块，用于将所述目标对象的状态信息发送至预定终端设备；
控制单元，用于基于所述控制指令控制所述空调器运行于杀菌模式，并控制所述空调器启动新风功能。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述计算机可读存储介质所在设备执行权利要求2至6中任一项所述的空调器的控制方法。
9.一种处理器，其特征在于，所述处理器用于运行计算机程序，其中，所述计算机程序运行时执行权利要求2至6中任一项所述的空调器的控制方法。
CN202110882359.6A 2021-08-02 2021-08-02 空调器及其控制方法及装置、计算机可读存储介质 Active CN113566395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110882359.6A CN113566395B (zh) 2021-08-02 2021-08-02 空调器及其控制方法及装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110882359.6A CN113566395B (zh) 2021-08-02 2021-08-02 空调器及其控制方法及装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113566395A CN113566395A (zh) 2021-10-29
CN113566395B true CN113566395B (zh) 2022-08-02

Family

ID=78169997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110882359.6A Active CN113566395B (zh) 2021-08-02 2021-08-02 空调器及其控制方法及装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113566395B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115507519A (zh) * 2022-09-29 2022-12-23 青岛海尔空调器有限总公司 用于空调器监控的方法及装置、空调器、存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102443052B1 (ko) * 2018-04-13 2022-09-14 삼성전자주식회사 공기 조화기 및 공기 조화기의 제어 방법
CN110726222B (zh) * 2019-10-29 2020-12-29 珠海格力电器股份有限公司 空调控制方法、装置、存储介质以及处理器
CN110749055A (zh) * 2019-10-29 2020-02-04 珠海格力电器股份有限公司 控制空调的方法、装置和系统
CN111380189B (zh) * 2020-03-27 2021-05-04 四川虹美智能科技有限公司 智能空调控制方法及智能空调
CN112325460A (zh) * 2020-10-15 2021-02-05 珠海格力电器股份有限公司 一种空调器的控制方法、控制系统及空调器

Also Published As

Publication number Publication date
CN113566395A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN109492595B (zh) 适用于固定群体的行为预测方法和系统
CN106295313B (zh) 对象身份管理方法、装置和电子设备
CN110291489A (zh) 计算上高效的人类标识智能助理计算机
CN109765991A (zh) 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质
CN115064246B (zh) 一种基于多模态信息融合的抑郁症评估系统及设备
US10610109B2 (en) Emotion representative image to derive health rating
CN110197235B (zh) 一种基于独特性注意力机制的人体活动识别方法
JP7338886B2 (ja) エリア別環境管理システム及び方法とプログラム
CN115797868A (zh) 一种监测对象的行为预警方法、系统、装置和介质
CN110726222B (zh) 空调控制方法、装置、存储介质以及处理器
CN113566395B (zh) 空调器及其控制方法及装置、计算机可读存储介质
Yahaya et al. Gesture recognition intermediary robot for abnormality detection in human activities
CN110749055A (zh) 控制空调的方法、装置和系统
CN111768863B (zh) 一种基于人工智能的婴幼儿发展监测系统及其方法
JP7306152B2 (ja) 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム
CN114830257A (zh) 咳嗽检测系统和方法
Mithil et al. An interactive voice controlled humanoid smart home prototype using concepts of natural language processing and machine learning
CN111202534A (zh) 一种基于群体温度监测的情绪预测方法
CN110427848B (zh) 一种精神分析系统
CN115601836A (zh) 学习状态识别方法、装置、设备及存储介质
CN115100560A (zh) 用户不良状态的监测方法、装置、设备及计算机存储介质
KR102233157B1 (ko) 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템
CN112487980A (zh) 基于微表情治疗方法、装置、系统与计算机可读存储介质
CN112086193A (zh) 一种基于物联网的人脸识别健康预测系统及方法
Kirandziska et al. A concept for building more humanlike social robots and their ethical consequence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant