CN106372604A - 智能机器人检测负面情绪的方法及系统 - Google Patents
智能机器人检测负面情绪的方法及系统 Download PDFInfo
- Publication number
- CN106372604A CN106372604A CN201610797690.7A CN201610797690A CN106372604A CN 106372604 A CN106372604 A CN 106372604A CN 201610797690 A CN201610797690 A CN 201610797690A CN 106372604 A CN106372604 A CN 106372604A
- Authority
- CN
- China
- Prior art keywords
- emotion
- sound
- expression
- negative emotions
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 250
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 230000008921 facial expression Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000030808 detection of mechanical stimulus involved in sensory perception of sound Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 206010015995 Eyelid ptosis Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 201000003004 ptosis Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种智能机器人检测负面情绪的方法及系统，该方法包括：启动人脸检测与追踪；检测到人脸后，进行人脸表情情绪检测；确定表情情绪为负面情绪后，启动录音，进行声音情绪检测；确定声音情绪为负面情绪后，根据该负面情绪生成多模态输出数据并输出。本发明能够提高用户与智能机器人的交互体验，使得智能机器人能够准确识别用户的负面情绪，并依据负面情绪与用户进行交互。
Description
技术领域
本发明涉及智能机器人领域，尤其涉及一种智能机器人检测负面情绪的方法及系统，
背景技术
随着智能机器人产品的逐渐普及，更多的智能机器人走进家庭，成为孩子的玩伴和大人的管家。
在智能机器人进行情绪检测时，一般仅通过表情进行情绪检测，经常会造成检测精度不高，影响用户与机器人的交互体验。因此，需要不断提高智能机器人识别情绪的能力，以满足用户越来越高的交互需求。
因此，亟需提供一种解决方案，该方案能够提高用户与智能机器人的交互体验，使得智能机器人能够准确识别用户的情绪，并依据情绪与用户进行交互。
发明内容
本发明所要解决的技术问题之一是需要提供一种智能机器人检测负面情绪的方法及系统，能够提高用户与智能机器人的交互体验，使得智能机器人能够准确识别用户的情绪，并依据情绪与用户进行交互。
为了解决上述技术问题，本申请的实施例首先提供了一种智能机器人检测负面情绪的方法，包括：启动人脸检测与追踪；检测到人脸后，进行人脸表情情绪检测；确定表情情绪为负面情绪后，启动录音，进行声音情绪检测；确定声音情绪为负面情绪后，根据该负面情绪生成多模态输出数据并输出。
优选地，若进行声音情绪检测时，检测到的声音情绪不是负面情绪，则继续通过人脸检测与追踪进行人脸表情情绪检测。
优选地，若进行人脸表情检测时，检测到的表情情绪不是负面情绪，则继续通过人脸检测与追踪进行人脸表情情绪检测。
优选地，若检测到与设定的负面情绪表情相匹配的人脸表情时，则确定所述表情情绪为负面情绪。
优选地，若检测到与设定的负面情绪声音相匹配的声音或通过语音解析后语义为负面语义时，则确定所述声音情绪为负面情绪。
另一方面，本发明还提供了一种智能机器人检测负面情绪的系统，包括：启动模块，其启动人脸检测与追踪；表情情绪检测模块，其检测到人脸后，进行人脸表情情绪检测；声音情绪检测模块，其在所述表情情绪检测模块确定表情情绪为负面情绪后，启动录音，进行声音情绪检测；多模态数据输出模块，其在所述声音情绪检测模块确定声音情绪为负面情绪后，根据该负面情绪生成多模态输出数据并输出。
优选地，所述声音情绪检测模块若进行声音情绪检测时，检测到的声音情绪不是负面情绪，则所述表情情绪检测模块继续通过人脸检测与追踪进行人脸表情情绪检测。
优选地，所述表情情绪检测模块若进行人脸表情检测时，检测到的表情情绪不是负面情绪，则继续通过人脸检测与追踪进行人脸表情情绪检测。
优选地，所述表情情绪检测模块若检测到与设定的负面情绪表情相匹配的人脸表情时，则确定所述表情情绪为负面情绪；所述声音情绪检测模块若检测到与设定的负面情绪声音相匹配的声音或通过语音解析后语义为负面语义时，则确定所述声音情绪为负面情绪。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
本发明实施例通过基于表情情绪检测和声音情绪检测来检测用户的负面情绪，相比现有的只采用表情情绪识别或是声音情绪识别负面情绪的技术，识别的准确率更高，而且在准确检测到用户的负面情绪后，机器人会进行合适的安抚行为，帮助用户更好的应对负面情绪。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
图1是根据本发明实施例的智能机器人检测负面情绪的系统100的结构框图。
图2是根据本发明实施例的智能机器人检测负面情绪的方法的流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
心理学上把焦虑、紧张、愤怒、沮丧、悲伤、痛苦等情绪统称为负性情绪(NegativeEmotion)，有时又称为负面情绪，人们之所以这样称呼这些情绪，是因为此类情绪体验是不积极的，身体也会有不适感，甚至影响工作和生活的顺利进行，进而有可能引起身心的伤害。
下面以愤怒、恐惧和悲伤为例，对这三种负面情绪所展现出来的面部表情进行说明。
当人们愤怒时，额眉内皱，目光凝视，鼻翼扩张，张口呈方形或紧闭，并在愤怒的大哭中表现最明显。
当人们恐惧时，额眉平直，眼睛张大时，额头有些抬高或平行皱纹，眉头微皱，上眼睑上抬，下眼睑紧张。口微张，双唇紧张，显示口部向后平拉，窄而平。严重恐惧时，面部肌肉都较为紧张，口角后拉，双唇紧贴牙齿。
当人们悲伤时，额眉下垂，眼角下塌，口角下拉，可能伴有流泪。婴幼儿悲伤常伴随哭泣，有鲜明的外显形式。
在家庭环境中的机器人，一般的功能是陪伴家庭成员，与家庭成员进行沟通交流。但是在用户出现负面情绪时，现有的机器人无法识别这种负面情绪或者仅是通过表情情绪识别方式来识别用户的负面情绪，这样会导致负面情绪识别率较低。另外，现有技术的机器人即使在检测到用户负面情绪后，也不会针对不同的负面情绪采取不同的动作，无法依据情绪与用户进行交互。
根据本发明实施例的方法，机器人可以通过表情情绪检测和声音情绪检测的双模式来检测用户的负面情绪，并根据不同的负面情绪采取相应的行为。例如，用户开始哭泣时，机器人通过表情情绪检测和声音情绪检测两种模式检测到用户的悲伤情绪，机器人还会通过拥抱的方式来安抚用户，或者与用户进行对话。这是悲伤情绪的应对方式。
图1是根据本发明实施例的智能机器人检测负面情绪的系统100的结构框图。如图1所示，本申请实施例的智能机器人检测负面情绪的系统100，主要包括：启动模块110、表情情绪检测模块120、声音情绪检测模块130以及多模态数据输出模块140。
启动模块110，其启动人脸检测与追踪。
表情情绪检测模块120，其与启动模块110相连，在检测到人脸后，进行人脸表情情绪检测。表情情绪检测模块120可以是基于视觉人脸检测的一种表情识别的系统，其可以检测出目前用户表情所表达出来的情绪。
具体来说，表情情绪检测模块120通过使用机器人摄像头收集人类面部表情图像，而后转换成可分析数据，再利用图像处理、人工智能等技术进行表情情绪分析。理解面部表情，通常需要对表情的微妙变化进行检测，比如脸颊肌肉、嘴部的变化以及挑眉等。
事先可以采用机器学习的方法来教机器人如何以一种适用于大多数面孔的方式来识别和追踪面部表情，并根据学习结果建立人脸情绪数据库。例如，机器人可以先学习上面提到的愤怒、恐惧和悲伤这三种负面情绪所展现出来的面部表情，随后建立与这些面部表情对应的数据信息，在进行负面情绪识别时可以通过将获取的人脸表情图像与数据库中的信息进行比对来确定用户是否处于负面情绪。
表情情绪检测模块120若检测到与设定的负面情绪表情相匹配的人脸表情时，则确定表情情绪为负面情绪。例如，表情情绪检测模块120若检测到与悲伤的面部表情图像相匹配的人脸表情时，则确定用户处于悲伤状态，判定该表情情绪为负面情绪。
表情情绪检测模块120若进行人脸表情检测时，检测到的表情情绪不是负面情绪，则继续通过人脸检测与追踪进行人脸表情情绪检测。
为了更加准确地判断出负面情绪，本系统还包括用来进行声音情绪检测的声音情绪检测模块130。
声音情绪检测模块130，其与表情情绪检测模块120相连，在表情情绪检测模块120确定表情情绪为负面情绪后，启动录音，进行声音情绪检测。声音情绪检测模块130可以是基于声音检测的一种情绪识别系统，其可以检测出用户当前发出的声音所表达出的情绪。
具体地，声音情绪检测模块130若检测到与设定的负面情绪声音相匹配的声音或通过语音解析后语义为负面语义时，则确定声音情绪为负面情绪。
事先可以通过录音、特征提取和模型训练来建立声音模型数据库。数据库中包括不同的声音模型，其中主要为设定的负面情绪声音和将声音转换成文字后的语义。在声音情绪检测模块130进行声音情绪检测时，通过录音、特征提取、模式匹配(与数据库中的声音模型进行匹配)等步骤来确定声音情绪是否为负面情绪。例如，若通过将语音转换成文本后的结果是“我生气了”，由于该语义为负面语义，因此确定声音情绪为负面情绪。例如，若检测到“呜呜呜”或“哇哇哇”的哭泣声音，由于这些声音与设定的负面情绪声音相匹配则确定该声音情绪为负面情绪。
另外，声音情绪检测模块130除了识别一些关键词、短语和设定声音，还可以通过测量语速和音频来评估说话人的情绪状态。在测量出语速由慢转急和/或音频由低转高时，声音情绪检测模块130能更加准确确认用户当前情绪的状态，用户此刻很可能表现出愤怒的情绪。
声音情绪检测模块130若进行声音情绪检测时，检测到的声音情绪不是负面情绪，则表情情绪检测模块120继续通过人脸检测与追踪进行人脸表情情绪检测。
多模态数据输出模块140，其在声音情绪检测模块130确定声音情绪为负面情绪后，根据该负面情绪生成多模态输出数据并输出。多模态数据输出模块140可以包含多种情绪应对决策，针对不同的负面情绪匹配对应的应对决策。
多模态输出数据可以是针对不同的负面情绪输出的语音信息或是机器人要进行肢体动作时对应的执行指令，或是机器人内部进行数据处理时对应的处理指令等。
例如，若检测到幼儿悲伤的负面情绪，机器人可以根据处理指令对该情绪发出者进行录像、录音，并将录制的信息发送给家庭成员。除此之外，机器人还可以根据执行指令拥抱安慰情绪发出者，或者发出类似于“不要哭了，让我好好安慰安慰你”等一系列语音信息。
在用户处于负面情绪的状态下，机器人能够及时应对用户的负面情绪，这样，用户就会产生对智能机器人的“依赖性”，而这种依赖性再促使机器人为用户提供更好的服务，满足用户更多的情感需求。通过本申请提供的检测负面情绪的方法，智能机器人能够与用户建立一种信任关系，然后在此基础上形成一种情感交流和需求满足的良性循环。
下面参照图2中的流程对智能机器人检测负面情绪的方法进行分步说明。
(步骤S210)
首先，启动模块110启动人脸检测与追踪，检测到人脸。
此处可以使用人脸检测技术来检测人脸，人脸检测技术包括基于人脸规则的方法、基于特征不变量的方法、基于神经网络的方法、基于概率分布的方法、基于模板匹配的方法和基于几何特性的方法等，并不局限。
(步骤S220)
其次，表情情绪检测模块120检测到人脸后，进行人脸表情情绪检测。判断检测到的表情情绪是否是负面情绪，若检测到与设定的负面情绪表情相匹配的人脸表情时，则确定表情情绪为负面情绪，并进入到步骤S230。
若进行人脸表情检测时，检测到的表情情绪不是负面情绪，则继续通过人脸检测与追踪进行人脸表情情绪检测。
(步骤S230)
接着，在确定表情情绪为负面情绪后，声音情绪检测模块130启动录音，进行声音情绪检测。判断检测到的声音情绪是否是负面情绪，若检测到与设定的负面情绪声音相匹配的声音或通过语音解析后语义为负面语义时，则确定声音情绪为负面情绪。
若进行声音情绪检测时，检测到的声音情绪不是负面情绪，则返回步骤S220继续通过人脸检测与追踪进行人脸表情情绪检测。
(步骤S240)
接下来，在确定声音情绪为负面情绪后，多模态数据输出模块140根据该负面情绪生成多模态输出数据并输出。
综上所述，本发明实施例通过基于表情情绪检测和声音情绪检测来检测用户的负面情绪，相比现有的只采用表情情绪识别或是声音情绪识别负面情绪的技术，识别的准确率更高，而且在准确检测到用户的负面情绪后，机器人会进行合适的安抚行为，帮助用户更好的应对负面情绪。
本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法中的全部或部分步骤，所述的存储介质，如：ROM/RAM、磁碟、光盘等。
Claims (9)
1.一种智能机器人检测负面情绪的方法，包括：
启动人脸检测与追踪；
检测到人脸后，进行人脸表情情绪检测；
确定表情情绪为负面情绪后，启动录音，进行声音情绪检测；
确定声音情绪为负面情绪后，根据该负面情绪生成多模态输出数据并输出。
2.根据权利要求1所述的方法，其特征在于，
若进行声音情绪检测时，检测到的声音情绪不是负面情绪，则继续通过人脸检测与追踪进行人脸表情情绪检测。
3.根据权利要求1或2所述的方法，其特征在于，
若进行人脸表情检测时，检测到的表情情绪不是负面情绪，则继续通过人脸检测与追踪进行人脸表情情绪检测。
4.根据权利要求1所述的方法，其特征在于，
若检测到与设定的负面情绪表情相匹配的人脸表情时，则确定所述表情情绪为负面情绪。
5.根据权利要求1所述的方法，其特征在于，
若检测到与设定的负面情绪声音相匹配的声音或通过语音解析后语义为负面语义时，则确定所述声音情绪为负面情绪。
6.一种智能机器人检测负面情绪的系统，包括：
启动模块，其启动人脸检测与追踪；
表情情绪检测模块，其检测到人脸后，进行人脸表情情绪检测；
声音情绪检测模块，其在所述表情情绪检测模块确定表情情绪为负面情绪后，启动录音，进行声音情绪检测；
多模态数据输出模块，其在所述声音情绪检测模块确定声音情绪为负面情绪后，根据该负面情绪生成多模态输出数据并输出。
7.根据权利要求6所述的系统，其特征在于，
所述声音情绪检测模块若进行声音情绪检测时，检测到的声音情绪不是负面情绪，则所述表情情绪检测模块继续通过人脸检测与追踪进行人脸表情情绪检测。
8.根据权利要求6或7所述的系统，其特征在于，
所述表情情绪检测模块若进行人脸表情检测时，检测到的表情情绪不是负面情绪，则继续通过人脸检测与追踪进行人脸表情情绪检测。
9.根据权利要求8所述的系统，其特征在于，
所述表情情绪检测模块若检测到与设定的负面情绪表情相匹配的人脸表情时，则确定所述表情情绪为负面情绪；
所述声音情绪检测模块若检测到与设定的负面情绪声音相匹配的声音或通过语音解析后语义为负面语义时，则确定所述声音情绪为负面情绪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610797690.7A CN106372604A (zh) | 2016-08-31 | 2016-08-31 | 智能机器人检测负面情绪的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610797690.7A CN106372604A (zh) | 2016-08-31 | 2016-08-31 | 智能机器人检测负面情绪的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106372604A true CN106372604A (zh) | 2017-02-01 |
Family
ID=57900266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610797690.7A Pending CN106372604A (zh) | 2016-08-31 | 2016-08-31 | 智能机器人检测负面情绪的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106372604A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106863300A (zh) * | 2017-02-20 | 2017-06-20 | 北京光年无限科技有限公司 | 一种用于智能机器人的数据处理方法及装置 |
| CN106910514A (zh) * | 2017-04-30 | 2017-06-30 | 上海爱优威软件开发有限公司 | 语音处理方法及系统 |
| CN107886953A (zh) * | 2017-11-27 | 2018-04-06 | 四川长虹电器股份有限公司 | 一种基于表情和语音识别的婴儿哭声翻译系统 |
| CN108090474A (zh) * | 2018-01-17 | 2018-05-29 | 华南理工大学 | 一种基于云语音沟通和情绪感知的酒店服务机器人系统 |
| CN108573695A (zh) * | 2017-03-08 | 2018-09-25 | 松下知识产权经营株式会社 | 装置、机器人、方法以及程序 |
| CN108742516A (zh) * | 2018-03-26 | 2018-11-06 | 浙江广厦建设职业技术学院 | 智能家居的情绪测调系统及方法 |
| CN109068109A (zh) * | 2018-09-29 | 2018-12-21 | 深圳技威时代科技有限公司 | 一种实时掌握小孩情绪的方法及系统 |
| CN109101953A (zh) * | 2018-09-07 | 2018-12-28 | 大连东锐软件有限公司 | 基于人类面部表情的分区要素化的表情动作生成方法 |
| CN109190652A (zh) * | 2018-07-06 | 2019-01-11 | 中国平安人寿保险股份有限公司 | 坐席分类管理方法、装置、计算机设备和存储介质 |
| CN110096600A (zh) * | 2019-04-16 | 2019-08-06 | 上海图菱新能源科技有限公司 | 人工智能情绪改善互动程序和方法 |
| CN110405794A (zh) * | 2019-08-28 | 2019-11-05 | 重庆科技学院 | 一种用于儿童的拥抱机器人及其控制方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514455A (zh) * | 2012-06-19 | 2014-01-15 | 国际商业机器公司 | 用于表征情绪提示的方法和系统 |
| CN103530912A (zh) * | 2013-09-27 | 2014-01-22 | 深圳市迈瑞思智能技术有限公司 | 一种具有情绪识别功能的考勤系统及方法 |
| CN203861914U (zh) * | 2014-01-07 | 2014-10-08 | 深圳市中科睿成智能科技有限公司 | 一种宠物机器人 |
| CN104091153A (zh) * | 2014-07-03 | 2014-10-08 | 苏州工业职业技术学院 | 应用于聊天机器人的情绪判断方法 |
| CN104102346A (zh) * | 2014-07-01 | 2014-10-15 | 华中科技大学 | 一种家用信息采集和用户情感识别设备及其工作方法 |
| CN104586410A (zh) * | 2014-12-02 | 2015-05-06 | 惠州Tcl移动通信有限公司 | 移动终端、可穿戴式设备、判断用户状态的系统及方法 |
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
| CN105700682A (zh) * | 2016-01-08 | 2016-06-22 | 北京乐驾科技有限公司 | 基于视觉和语音的智能性别、情绪识别检测系统及方法 |
| CN105726045A (zh) * | 2016-01-28 | 2016-07-06 | 惠州Tcl移动通信有限公司 | 一种情绪监控方法及其移动终端 |
| CN105867633A (zh) * | 2016-04-26 | 2016-08-17 | 北京光年无限科技有限公司 | 面向智能机器人的信息处理方法及系统 |
-
2016
- 2016-08-31 CN CN201610797690.7A patent/CN106372604A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514455A (zh) * | 2012-06-19 | 2014-01-15 | 国际商业机器公司 | 用于表征情绪提示的方法和系统 |
| CN103530912A (zh) * | 2013-09-27 | 2014-01-22 | 深圳市迈瑞思智能技术有限公司 | 一种具有情绪识别功能的考勤系统及方法 |
| CN203861914U (zh) * | 2014-01-07 | 2014-10-08 | 深圳市中科睿成智能科技有限公司 | 一种宠物机器人 |
| CN104102346A (zh) * | 2014-07-01 | 2014-10-15 | 华中科技大学 | 一种家用信息采集和用户情感识别设备及其工作方法 |
| CN104091153A (zh) * | 2014-07-03 | 2014-10-08 | 苏州工业职业技术学院 | 应用于聊天机器人的情绪判断方法 |
| CN104586410A (zh) * | 2014-12-02 | 2015-05-06 | 惠州Tcl移动通信有限公司 | 移动终端、可穿戴式设备、判断用户状态的系统及方法 |
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
| CN105700682A (zh) * | 2016-01-08 | 2016-06-22 | 北京乐驾科技有限公司 | 基于视觉和语音的智能性别、情绪识别检测系统及方法 |
| CN105726045A (zh) * | 2016-01-28 | 2016-07-06 | 惠州Tcl移动通信有限公司 | 一种情绪监控方法及其移动终端 |
| CN105867633A (zh) * | 2016-04-26 | 2016-08-17 | 北京光年无限科技有限公司 | 面向智能机器人的信息处理方法及系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106863300A (zh) * | 2017-02-20 | 2017-06-20 | 北京光年无限科技有限公司 | 一种用于智能机器人的数据处理方法及装置 |
| CN108573695A (zh) * | 2017-03-08 | 2018-09-25 | 松下知识产权经营株式会社 | 装置、机器人、方法以及程序 |
| CN106910514A (zh) * | 2017-04-30 | 2017-06-30 | 上海爱优威软件开发有限公司 | 语音处理方法及系统 |
| CN107886953A (zh) * | 2017-11-27 | 2018-04-06 | 四川长虹电器股份有限公司 | 一种基于表情和语音识别的婴儿哭声翻译系统 |
| CN108090474A (zh) * | 2018-01-17 | 2018-05-29 | 华南理工大学 | 一种基于云语音沟通和情绪感知的酒店服务机器人系统 |
| CN108742516A (zh) * | 2018-03-26 | 2018-11-06 | 浙江广厦建设职业技术学院 | 智能家居的情绪测调系统及方法 |
| CN109190652A (zh) * | 2018-07-06 | 2019-01-11 | 中国平安人寿保险股份有限公司 | 坐席分类管理方法、装置、计算机设备和存储介质 |
| CN109101953A (zh) * | 2018-09-07 | 2018-12-28 | 大连东锐软件有限公司 | 基于人类面部表情的分区要素化的表情动作生成方法 |
| CN109068109A (zh) * | 2018-09-29 | 2018-12-21 | 深圳技威时代科技有限公司 | 一种实时掌握小孩情绪的方法及系统 |
| CN110096600A (zh) * | 2019-04-16 | 2019-08-06 | 上海图菱新能源科技有限公司 | 人工智能情绪改善互动程序和方法 |
| CN110405794A (zh) * | 2019-08-28 | 2019-11-05 | 重庆科技学院 | 一种用于儿童的拥抱机器人及其控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106372604A (zh) | 智能机器人检测负面情绪的方法及系统 | |
| AU2018204246B2 (en) | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method | |
| CN111368609B (zh) | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 | |
| US11393206B2 (en) | Image recognition method and apparatus, terminal, and storage medium | |
| Wöllmer et al. | LSTM-modeling of continuous emotions in an audiovisual affect recognition framework | |
| CN106361356A (zh) | 情绪监控和预警方法及系统 | |
| Cowie et al. | Emotion recognition in human-computer interaction | |
| Zhang et al. | Intelligent facial emotion recognition and semantic-based topic detection for a humanoid robot | |
| Ren | Affective information processing and recognizing human emotion | |
| CN107301168A (zh) | 智能机器人及其情绪交互方法、系统 | |
| CN110110169A (zh) | 人机交互方法及人机交互装置 | |
| CN108227932A (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
| CN107368572A (zh) | 多功能智能人机交互方法及系统 | |
| CN109308466A (zh) | 一种对交互语言进行情绪识别的方法 | |
| CN109101663A (zh) | 一种基于互联网的机器人对话系统 | |
| CN107016046A (zh) | 基于视觉场景化的智能机器人对话方法及系统 | |
| Busso et al. | Interplay between linguistic and affective goals in facial expression during emotional utterances | |
| CN109426653A (zh) | 心理咨询机器人 | |
| Sun et al. | Personality assessment based on multimodal attention network learning with category-based mean square error | |
| CN106326980A (zh) | 机器人和机器人模拟人脸面部运动的方法 | |
| Caridakis et al. | Multimodal user’s affective state analysis in naturalistic interaction | |
| JP2017182261A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Ayoub | Multimodal Affective Computing Using Temporal Convolutional Neural Network and Deep Convolutional Neural Networks | |
| US12011828B2 (en) | Method for controlling a plurality of robot effectors | |
| O'Dwyer et al. | Affective computing using speech and eye gaze: a review and bimodal system proposal for continuous affect prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170201 |
|
| RJ01 | Rejection of invention patent application after publication |