Nothing Special   »   [go: up one dir, main page]

CN106503646A - 多模态情感辨识系统及方法 - Google Patents

多模态情感辨识系统及方法 Download PDF

Info

Publication number
CN106503646A
CN106503646A CN201610912302.5A CN201610912302A CN106503646A CN 106503646 A CN106503646 A CN 106503646A CN 201610912302 A CN201610912302 A CN 201610912302A CN 106503646 A CN106503646 A CN 106503646A
Authority
CN
China
Prior art keywords
emotion
identification result
emotion identification
voice signal
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610912302.5A
Other languages
English (en)
Other versions
CN106503646B (zh
Inventor
简仁贤
杨闵淳
林志豪
孙廷伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Technology (shanghai) Co Ltd
Original Assignee
Intelligent Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Technology (shanghai) Co Ltd filed Critical Intelligent Technology (shanghai) Co Ltd
Priority to CN201610912302.5A priority Critical patent/CN106503646B/zh
Publication of CN106503646A publication Critical patent/CN106503646A/zh
Application granted granted Critical
Publication of CN106503646B publication Critical patent/CN106503646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种多模态情感辨识系统及方法，其中，系统包括，语音接收器，第一情感辨识子系统，第二情感辨识子系统，视觉图像接收器，第三情感辨识子系统，情感输出器；语音接收器，用于接收目标对象发出的语音信号；视觉图像接收器，用于接收关于目标对象的视觉图像数据；第一情感辨识子系统，用于根据语音信号获取第一情感辨识结果；第二情感辨识子系统，用于根据语音信号获取第二情感辨识结果；第三情感辨识子系统，用于根据视觉图像数据获取第三情感辨识结果；情感输出器，用于根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态。

Description

多模态情感辨识系统及方法
技术领域
本发明涉及计算机处理技术，尤其涉及一种多模态情感辨识系统及方法。
背景技术
目前，情感辨识机器通常通过采用文字识别技术，语音识别技术或视觉图像识别技术中的某一种技术对人类的情感进行辨识，这种情感辨识方式单一，进行情感辨识时所采用的信息量少，难以实现复杂情境下的人类情感辨识。
发明内容
本发明要解决的技术问题是提供一种多模态情感辨识系统及方法，融合文字识别技术，语音识别技术和视觉图像识别技术，同时从多个通道进行人类情感辨识，以使得情感辨识机器能够在人机交互过程中精准识别目标对象的情感。
为解决上述技术问题，本发明提供的技术方案是：
一方面，本发明提供一种多模态情感辨识系统，包括：语音接收器，第一情感辨识子系统，第二情感辨识子系统，视觉图像接收器，第三情感辨识子系统，情感输出器；语音接收器，用于接收目标对象发出的语音信号；视觉图像接收器，用于接收关于目标对象的视觉图像数据；第一情感辨识子系统，用于根据语音信号获取第一情感辨识结果；第二情感辨识子系统，用于根据语音信号获取第二情感辨识结果；第三情感辨识子系统，用于根据视觉图像数据获取第三情感辨识结果；情感输出器，用于根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态。
进一步地，第一情感辨识子系统，具体包括，情感显著性分割器，第一情感辨识器；情感显著性分割器，用于对语音接收器的语音信号提取声学韵律特征；第一情感辨识器，用于根据声学韵律特征获取语音信号的第一情感辨识结果；第二情感辨识子系统，具体包括，语音识别器，语句特征值提取器，第二情感辨识器；语音识别器，用于将语音接收器的语音信号转换成文字序列；语句特征值提取器，用于提取文字序列中的语句特征值；第二情感辨识器，用于根据语句特征值获取语音信号的第二情感辨识结果；第三情感辨识子系统，具体包括，人脸识别跟踪器，人体识别跟踪器，面部表情特征提取器，身体动作特征提取器，第三情感辨识器；人脸识别跟踪器，用于识别并跟踪视觉图像数据中的人脸数据；人体识别跟踪器，用于识别并跟踪视觉图像数据中的包括头部在内的整个人体数据；面部表情特征提取器，用于提取人脸数据中的脸部关键点，并根据脸部关键点获取面部表情特征值；身体动作特征提取器，用于提取人体数据中的身体动作关键点，并根据身体动作关键点获取身体动作特征值；第三情感辨识器，用于根据面部表情特征值和身体动作特征值获取视觉图像数据的第三情感识别结果；情感输出器，用于根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态。
进一步地，第一情感辨识器，根据声学韵律特征获取语音信号的第一情感辨识结果，具体包括，第一情感辨识器，将声学韵律特征代入预先构建的类脑机器学习模型中，以获取类神经语音特征，并将类神经语音特征代入预先存储的情感模型，以获得语音信号的第一情感以及第一情感所对应的第一情感识别置信度。
进一步地，声学韵律特征包括，音高、强度、音质，声谱，倒谱，线性感知预测倒谱系数，方均根强度，过零率，频谱流，频谱质心，频带宽度，频谱商，频谱平坦度，频谱斜度，频谱尖度，声音色度，频谱衰减点，频谱斜率，单频泛音，声音机率，声音共振峰，语音爬升点，频谱包络。
进一步地，语句特征值提取器，提取文字序列中的语句特征值，具体包括，对文字序列进行分词处理以获得分词特征值，对文字序列进行词语类别分析以获得词语类别特征值，以及对文字序列进行句型句法分析以获得句型句法特征值；第二情感辨识器，根据语句特征值获取语音信号的第二情感辨识结果，具体包括，第二情感辨识器，将语句特征值中的分词特征值，词语类别特征值和句型句法特征值，输入预先构建的文本情感辨识模型中，以获取语音信号的第二情感以及第二情感所对应的第二情感识别置信度。
进一步地，第三情感辨识器，根据面部表情特征值和身体动作特征值获取视觉图像数据的第三情感识别结果，具体包括，第三情感辨识器，将面部表情特征值和身体动作特征值代入预先构建的情感分类器中，以获得视觉图像数据的第三情感以及第三情感所对应的第三情感识别置信度。
进一步地，情感输出器，根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态，具体包括，在第一情感辨识结果的第一情感识别置信度，第二情感辨识结果的第二情感识别置信度，第三情感辨识结果的第三情感识别置信度中，任一情感识别置信度大于或等于设定阈值时，将此情感识别置信度所对应的情感判定为目标对象的情感状态；在第一情感辨识结果的第一情感识别置信度，第二情感辨识结果的第二情感识别置信度，第三情感辨识结果的第三情感识别置信度，均小于设定阈值时，则按照预设的权重规则，给第一情感辨识结果的第一情感，第二情感辨识结果的第二情感和第三情感辨识结果的第三情感分别计算情感标签，以获得第一情感标签，第二情感标签，第三情感标签；根据第一情感标签，第二情感标签，第三情感标签，以及根据预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态。
另一方面，本发明提供一种多模态情感辨识方法，包括：语音接收器接收目标对象发出的语音信号；视觉图像接收器接收关于目标对象的视觉图像数据；第一情感辨识子系统根据语音信号获取第一情感辨识结果；第二情感辨识子系统根据语音信号获取第二情感辨识结果；第三情感辨识子系统根据视觉图像数据获取第三情感辨识结果；情感输出器根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态。
进一步地，第一情感辨识子系统根据语音信号获取第一情感辨识结果，具体包括，对语音接收器的语音信号提取声学韵律特征；根据声学韵律特征获取语音信号的第一情感辨识结果；第二情感辨识子系统根据语音信号获取第二情感辨识结果，具体包括，将语音接收器的语音信号转换成文字序列；提取文字序列中的语句特征值；根据语句特征值获取语音信号的第二情感辨识结果；第三情感辨识子系统根据视觉图像数据获取第三情感辨识结果，具体包括，识别并跟踪视觉图像数据中的人脸数据；识别并跟踪视觉图像数据中的包括头部在内的整个人体数据；提取人脸数据中的脸部关键点，并根据脸部关键点获取面部表情特征值；提取人体数据中的身体动作关键点，并根据身体动作关键点获取身体动作特征值；根据面部表情特征值和身体动作特征值获取视觉图像数据的第三情感识别结果；情感输出器根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态，具体包括，根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态。
进一步地，声学韵律特征包括，音高、强度、音质，声谱，倒谱，线性感知预测倒谱系数，方均根强度，过零率，频谱流，频谱质心，频带宽度，频谱商，频谱平坦度，频谱斜度，频谱尖度，声音色度，频谱衰减点，频谱斜率，单频泛音，声音机率，声音共振峰，语音爬升点，频谱包络。
本发明提供的多模态情感辨识系统及方法，融合文字识别技术，语音识别技术和视觉图像识别技术，同时从多个通道进行人类情感辨识，可以使得情感辨识机器能够在人机交互过程中精准识别目标对象的情感。
附图说明
图1是本发明实施例提供的多模态情感辨识系统的框图；
图2是本发明实施例提供的多模态情感辨识系统的又一框图；
图3是本发明实施例提供的多模态情感辨识方法的流程图；
图4是本发明实施例提供的多模态情感辨识方法的又一流程图。
具体实施方式
下面通过具体的实施例进一步说明本发明，但是，应当理解为，这些实施例仅仅是用于更详细具体地说明之用，而不应理解为用于以任何形式限制本发明。
实施例一
结合图1，本实施例提供的多模态情感辨识系统，包括：语音接收器1，第一情感辨识子系统3，第二情感辨识子系统4，视觉图像接收器2，第三情感辨识子系统5，情感输出器6；语音接收器1，用于接收目标对象发出的语音信号；视觉图像接收器2，用于接收关于目标对象的视觉图像数据；第一情感辨识子系统3，用于根据语音信号获取第一情感辨识结果；第二情感辨识子系统4，用于根据语音信号获取第二情感辨识结果；第三情感辨识子系统5，用于根据视觉图像数据获取第三情感辨识结果；情感输出器6，用于根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态。
优选地，如图2所示地，第一情感辨识子系统3，具体包括，情感显著性分割器301，第一情感辨识器302；情感显著性分割器301，用于对语音接收器1的语音信号提取声学韵律特征；第一情感辨识器302，用于根据声学韵律特征获取语音信号的第一情感辨识结果；第二情感辨识子系统4，具体包括，语音识别器401，语句特征值提取器402，第二情感辨识器403；语音识别器401，用于将语音接收器1的语音信号转换成文字序列；语句特征值提取器402，用于提取文字序列中的语句特征值；第二情感辨识器403，用于根据语句特征值获取语音信号的第二情感辨识结果；第三情感辨识子系统5，具体包括，人脸识别跟踪器501，人体识别跟踪器503，面部表情特征提取器502，身体动作特征提取器504，第三情感辨识器505；人脸识别跟踪器501，用于识别并跟踪视觉图像数据中的人脸数据；人体识别跟踪器503，用于识别并跟踪视觉图像数据中的包括头部在内的整个人体数据；面部表情特征提取器502，用于提取人脸数据中的脸部关键点，并根据脸部关键点获取面部表情特征值；身体动作特征提取器504，用于提取人体数据中的身体动作关键点，并根据身体动作关键点获取身体动作特征值；第三情感辨识器505，用于根据面部表情特征值和身体动作特征值获取视觉图像数据的第三情感识别结果；情感输出器6，用于根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态。
本发明实施例提供的多模态情感辨识系统，融合文字识别技术，语音识别技术和视觉图像识别技术，同时从多个通道进行人类情感辨识，可以使得情感辨识机器能够在人机交互过程中精准识别目标对象的情感。
需要说明的是，本实施例提及的心理行为学映射关系图谱，为根据行为心理学关系所预先构建的关系库，其实质为，从人的行为表象到人的真实情感的映射关系图谱。
进一步优选地，第一情感辨识器302，根据声学韵律特征获取语音信号的第一情感辨识结果，具体包括，第一情感辨识器302，将声学韵律特征代入预先构建的类脑机器学习模型中，以获取类神经语音特征，并将类神经语音特征代入预先存储的情感模型，以获得语音信号的第一情感以及第一情感所对应的第一情感识别置信度。
具体地，声学韵律特征包括，音高、强度、音质，声谱，倒谱，线性感知预测倒谱系数，方均根强度，过零率，频谱流，频谱质心，频带宽度，频谱商，频谱平坦度，频谱斜度，频谱尖度，声音色度，频谱衰减点，频谱斜率，单频泛音，声音机率，声音共振峰，语音爬升点，频谱包络。
进一步优选地，语句特征值提取器402，提取文字序列中的语句特征值，具体包括，对文字序列进行分词处理以获得分词特征值，对文字序列进行词语类别分析以获得词语类别特征值，以及对文字序列进行句型句法分析以获得句型句法特征值；第二情感辨识器403，根据语句特征值获取语音信号的第二情感辨识结果，具体包括，第二情感辨识器403，将语句特征值中的分词特征值，词语类别特征值和句型句法特征值，输入预先构建的文本情感辨识模型中，以获取语音信号的第二情感以及第二情感所对应的第二情感识别置信度。
进一步优选地，第三情感辨识器505，根据面部表情特征值和身体动作特征值获取视觉图像数据的第三情感识别结果，具体包括，第三情感辨识器505，将面部表情特征值和身体动作特征值代入预先构建的情感分类器中，以获得视觉图像数据的第三情感以及第三情感所对应的第三情感识别置信度。
本实施例中，将面部表情结合身体动作一起，来对视觉图像数据进行情感辨识，可以提高情感辨识率。例如，当人挺胸且下颌扬起，面带微笑时，则对应的情感为骄傲，但是，若只有挺胸与下颌扬起动作，或只有微笑时，无法判断出骄傲这一情感。此外，本实施例是结合Paul Ekman的心理学研究成果，采用脸部表情与身体动作的深度学习模型来对人的情感进行判别。
进一步优选地，情感输出器6，根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态，具体包括，在第一情感辨识结果的第一情感识别置信度，第二情感辨识结果的第二情感识别置信度，第三情感辨识结果的第三情感识别置信度中，任一情感识别置信度大于或等于设定阈值时，将此情感识别置信度所对应的情感判定为目标对象的情感状态；在第一情感辨识结果的第一情感识别置信度，第二情感辨识结果的第二情感识别置信度，第三情感辨识结果的第三情感识别置信度，均小于设定阈值时，则按照预设的权重规则，给第一情感辨识结果的第一情感，第二情感辨识结果的第二情感和第三情感辨识结果的第三情感分别计算情感标签，以获得第一情感标签，第二情感标签，第三情感标签；根据第一情感标签，第二情感标签，第三情感标签，以及根据预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态。
实施例二
结合图3，本发明实施例提供一种多模态情感辨识方法，包括：
步骤S1：语音接收器1接收目标对象发出的语音信号；
步骤S2：视觉图像接收器2接收关于目标对象的视觉图像数据；
步骤S3：第一情感辨识子系统3根据语音信号获取第一情感辨识结果；
步骤S4：第二情感辨识子系统4根据语音信号获取第二情感辨识结果；
步骤S5：第三情感辨识子系统5根据视觉图像数据获取第三情感辨识结果；
步骤S6：情感输出器6根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态。
优选地，如图4所示地，第一情感辨识子系统3根据语音信号获取第一情感辨识结果，具体包括，
步骤S3.1：对语音接收器1的语音信号提取声学韵律特征；
步骤S3.2：根据声学韵律特征获取语音信号的第一情感辨识结果；
第二情感辨识子系统4根据语音信号获取第二情感辨识结果，具体包括，
步骤S4.1：将语音接收器1的语音信号转换成文字序列；
步骤S4.2：提取文字序列中的语句特征值；
步骤S4.3：根据语句特征值获取语音信号的第二情感辨识结果；
第三情感辨识子系统5根据视觉图像数据获取第三情感辨识结果，具体包括，
步骤S5.1：识别并跟踪视觉图像数据中的人脸数据；
步骤S5.2：识别并跟踪视觉图像数据中的包括头部在内的整个人体数据；
步骤S5.3：提取人脸数据中的脸部关键点，并根据脸部关键点获取面部表情特征值；
步骤S5.4：提取人体数据中的身体动作关键点，并根据身体动作关键点获取身体动作特征值；
步骤S5.5：根据面部表情特征值和身体动作特征值获取视觉图像数据的第三情感识别结果；
情感输出器6根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态，具体包括，
步骤S6.1：根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态。
本发明实施例提供的多模态情感辨识方法，融合文字识别技术，语音识别技术和视觉图像识别技术，同时从多个通道进行人类情感辨识，可以使得情感辨识机器能够在人机交互过程中精准识别目标对象的情感。
需要说明的是，本实施例提及的心理行为学映射关系图谱，为根据行为心理学关系所预先构建的关系库，其实质为，从人的行为表象到人的真实情感的映射关系图谱。
具体地，声学韵律特征包括，音高、强度、音质，声谱，倒谱，线性感知预测倒谱系数，方均根强度，过零率，频谱流，频谱质心，频带宽度，频谱商，频谱平坦度，频谱斜度，频谱尖度，声音色度，频谱衰减点，频谱斜率，单频泛音，声音机率，声音共振峰，语音爬升点，频谱包络。
尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于所述实施方案，而归于权利要求的范围，其包括所述每个因素的等同替换。

Claims (10)

1.一种多模态情感辨识系统，其特征在于，包括：语音接收器，第一情感辨识子系统，第二情感辨识子系统，视觉图像接收器，第三情感辨识子系统，情感输出器；
所述语音接收器，用于接收目标对象发出的语音信号；
所述视觉图像接收器，用于接收关于所述目标对象的视觉图像数据；
所述第一情感辨识子系统，用于根据所述语音信号获取第一情感辨识结果；
所述第二情感辨识子系统，用于根据所述语音信号获取第二情感辨识结果；
所述第三情感辨识子系统，用于根据所述视觉图像数据获取第三情感辨识结果；
所述情感输出器，用于根据所述第一情感辨识结果，所述第二情感辨识结果和所述第三情感辨识结果确定出所述目标对象的情感状态。
2.根据权利要求1所述的多模态情感辨识系统，其特征在于，
所述第一情感辨识子系统，具体包括，情感显著性分割器，第一情感辨识器；
所述情感显著性分割器，用于对所述语音接收器的所述语音信号提取声学韵律特征；
所述第一情感辨识器，用于根据所述声学韵律特征获取所述语音信号的所述第一情感辨识结果；
所述第二情感辨识子系统，具体包括，语音识别器，语句特征值提取器，第二情感辨识器；
所述语音识别器，用于将所述语音接收器的所述语音信号转换成文字序列；
所述语句特征值提取器，用于提取所述文字序列中的语句特征值；
所述第二情感辨识器，用于根据所述语句特征值获取所述语音信号的所述第二情感辨识结果；
所述第三情感辨识子系统，具体包括，人脸识别跟踪器，人体识别跟踪器，面部表情特征提取器，身体动作特征提取器，第三情感辨识器；
所述人脸识别跟踪器，用于识别并跟踪所述视觉图像数据中的人脸数据；
所述人体识别跟踪器，用于识别并跟踪所述视觉图像数据中的包括头部在内的整个人体数据；
所述面部表情特征提取器，用于提取所述人脸数据中的脸部关键点，并根据所述脸部关键点获取面部表情特征值；
所述身体动作特征提取器，用于提取所述人体数据中的身体动作关键点，并根据所述身体动作关键点获取身体动作特征值；
所述第三情感辨识器，用于根据所述面部表情特征值和所述身体动作特征值获取所述视觉图像数据的第三情感识别结果；
所述情感输出器，用于根据所述第一情感辨识结果，所述第二情感辨识结果和所述第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出所述目标对象的情感状态。
3.根据权利要求2所述的多模态情感辨识系统，其特征在于，所述第一情感辨识器，根据所述声学韵律特征获取所述语音信号的所述第一情感辨识结果，具体包括，
所述第一情感辨识器，将所述声学韵律特征代入预先构建的类脑机器学习模型中，以获取类神经语音特征，并将所述类神经语音特征代入预先存储的情感模型，以获得所述语音信号的第一情感以及所述第一情感所对应的第一情感识别置信度。
4.根据权利要求3所述的多模态情感辨识系统，其特征在于，所述声学韵律特征包括，音高、强度、音质，声谱，倒谱，线性感知预测倒谱系数，方均根强度，过零率，频谱流，频谱质心，频带宽度，频谱商，频谱平坦度，频谱斜度，频谱尖度，声音色度，频谱衰减点，频谱斜率，单频泛音，声音机率，声音共振峰，语音爬升点，频谱包络。
5.根据权利要求2所述的多模态情感辨识系统，其特征在于，
所述语句特征值提取器，提取所述文字序列中的语句特征值，具体包括，
对所述文字序列进行分词处理以获得分词特征值，对所述文字序列进行词语类别分析以获得词语类别特征值，以及对所述文字序列进行句型句法分析以获得句型句法特征值；
所述第二情感辨识器，根据所述语句特征值获取所述语音信号的所述第二情感辨识结果，具体包括，
所述第二情感辨识器，将所述语句特征值中的所述分词特征值，所述词语类别特征值和所述句型句法特征值，输入预先构建的文本情感辨识模型中，以获取所述语音信号的第二情感以及所述第二情感所对应的第二情感识别置信度。
6.根据权利要求2所述的多模态情感辨识系统，其特征在于，所述第三情感辨识器，根据所述面部表情特征值和所述身体动作特征值获取所述视觉图像数据的第三情感识别结果，具体包括，
所述第三情感辨识器，将所述面部表情特征值和所述身体动作特征值代入预先构建的情感分类器中，以获得所述视觉图像数据的第三情感以及所述第三情感所对应的第三情感识别置信度。
7.根据权利要求1至6中任一项所述的多模态情感辨识系统，其特征在于，所述情感输出器，根据所述第一情感辨识结果，所述第二情感辨识结果和所述第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出所述目标对象的情感状态，具体包括，
在所述第一情感辨识结果的第一情感识别置信度，所述第二情感辨识结果的第二情感识别置信度，所述第三情感辨识结果的第三情感识别置信度中，任一情感识别置信度大于或等于设定阈值时，将此情感识别置信度所对应的情感判定为所述目标对象的情感状态；
在所述第一情感辨识结果的第一情感识别置信度，所述第二情感辨识结果的第二情感识别置信度，所述第三情感辨识结果的第三情感识别置信度，均小于设定阈值时，则按照预设的权重规则，给所述第一情感辨识结果的第一情感，所述第二情感辨识结果的第二情感和所述第三情感辨识结果的第三情感分别计算情感标签，以获得第一情感标签，第二情感标签，第三情感标签；
根据所述第一情感标签，所述第二情感标签，所述第三情感标签，以及根据所述预先构建的心理行为学映射关系图谱，确定出所述目标对象的情感状态。
8.一种多模态情感辨识方法，其特征在于，包括：
语音接收器接收目标对象发出的语音信号；
视觉图像接收器接收关于所述目标对象的视觉图像数据；
第一情感辨识子系统根据所述语音信号获取第一情感辨识结果；
第二情感辨识子系统根据所述语音信号获取第二情感辨识结果；
第三情感辨识子系统根据所述视觉图像数据获取第三情感辨识结果；
情感输出器根据所述第一情感辨识结果，所述第二情感辨识结果和所述第三情感辨识结果确定出所述目标对象的情感状态。
9.根据权利要求8所述的多模态情感辨识方法，其特征在于，
所述第一情感辨识子系统根据所述语音信号获取第一情感辨识结果，具体包括，
对所述语音接收器的所述语音信号提取声学韵律特征；
根据所述声学韵律特征获取所述语音信号的所述第一情感辨识结果；
所述第二情感辨识子系统根据所述语音信号获取第二情感辨识结果，具体包括，
将所述语音接收器的所述语音信号转换成文字序列；
提取所述文字序列中的语句特征值；
根据所述语句特征值获取所述语音信号的所述第二情感辨识结果；
所述第三情感辨识子系统根据所述视觉图像数据获取第三情感辨识结果，具体包括，
识别并跟踪所述视觉图像数据中的人脸数据；
识别并跟踪所述视觉图像数据中的包括头部在内的整个人体数据；
提取所述人脸数据中的脸部关键点，并根据所述脸部关键点获取面部表情特征值；
提取所述人体数据中的身体动作关键点，并根据所述身体动作关键点获取身体动作特征值；
根据所述面部表情特征值和所述身体动作特征值获取所述视觉图像数据的第三情感识别结果；
所述情感输出器根据所述第一情感辨识结果，所述第二情感辨识结果和所述第三情感辨识结果确定出所述目标对象的情感状态，具体包括，
根据所述第一情感辨识结果，所述第二情感辨识结果和所述第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出所述目标对象的情感状态。
10.根据权利要求8或9所述的多模态情感辨识方法，其特征在于，所述声学韵律特征包括，音高、强度、音质，声谱，倒谱，线性感知预测倒谱系数，方均根强度，过零率，频谱流，频谱质心，频带宽度，频谱商，频谱平坦度，频谱斜度，频谱尖度，声音色度，频谱衰减点，频谱斜率，单频泛音，声音机率，声音共振峰，语音爬升点，频谱包络。
CN201610912302.5A 2016-10-19 2016-10-19 多模态情感辨识系统及方法 Active CN106503646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610912302.5A CN106503646B (zh) 2016-10-19 2016-10-19 多模态情感辨识系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610912302.5A CN106503646B (zh) 2016-10-19 2016-10-19 多模态情感辨识系统及方法

Publications (2)

Publication Number Publication Date
CN106503646A true CN106503646A (zh) 2017-03-15
CN106503646B CN106503646B (zh) 2020-07-10

Family

ID=58294258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610912302.5A Active CN106503646B (zh) 2016-10-19 2016-10-19 多模态情感辨识系统及方法

Country Status (1)

Country Link
CN (1) CN106503646B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092895A (zh) * 2017-05-09 2017-08-25 重庆邮电大学 一种基于深度信念网络的多模态情感识别方法
CN107180236A (zh) * 2017-06-02 2017-09-19 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN107194151A (zh) * 2017-04-20 2017-09-22 华为技术有限公司 确定情感阈值的方法和人工智能设备
CN107943299A (zh) * 2017-12-07 2018-04-20 上海智臻智能网络科技股份有限公司 情感呈现方法和装置、计算机设备及计算机可读存储介质
CN108091323A (zh) * 2017-12-19 2018-05-29 想象科技（北京）有限公司 用于自语音中识别情感的方法与装置
CN108108849A (zh) * 2017-12-31 2018-06-01 厦门大学 一种基于弱监督多模态深度学习的微博情感预测方法
CN108664932A (zh) * 2017-05-12 2018-10-16 华中师范大学 一种基于多源信息融合的学习情感状态识别方法
CN108899050A (zh) * 2018-06-14 2018-11-27 南京云思创智信息科技有限公司 基于多模态情绪识别系统的语音信号分析子系统
CN109241912A (zh) * 2018-09-08 2019-01-18 河南大学 面向无人自主系统的基于类脑跨媒体智能的目标识别方法
CN109254669A (zh) * 2017-07-12 2019-01-22 腾讯科技（深圳）有限公司 一种表情图片输入方法、装置、电子设备及系统
CN109829363A (zh) * 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 表情识别方法、装置、计算机设备和存储介质
CN109903392A (zh) * 2017-12-11 2019-06-18 北京京东尚科信息技术有限公司 增强现实方法和装置
CN110033029A (zh) * 2019-03-22 2019-07-19 五邑大学 一种基于多模态情感模型的情感识别方法和装置
CN110287912A (zh) * 2019-06-28 2019-09-27 广东工业大学 基于深度学习的目标对象情感状态确定方法、装置及介质
CN110688499A (zh) * 2019-08-13 2020-01-14 深圳壹账通智能科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN110910903A (zh) * 2019-12-04 2020-03-24 深圳前海微众银行股份有限公司 语音情绪识别方法、装置、设备及计算机可读存储介质
EP3627304A1 (en) * 2018-09-20 2020-03-25 XRSpace CO., LTD. Interactive responding method and computer system using the same
US20210192332A1 (en) * 2019-12-19 2021-06-24 Sling Media Pvt Ltd Method and system for analyzing customer calls by implementing a machine learning model to identify emotions
CN110085211B (zh) * 2018-01-26 2021-06-29 上海智臻智能网络科技股份有限公司 语音识别交互方法、装置、计算机设备和存储介质
CN113128284A (zh) * 2019-12-31 2021-07-16 上海汽车集团股份有限公司 一种多模态情感识别方法和装置
US11455472B2 (en) 2017-12-07 2022-09-27 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
US12080285B2 (en) 2020-03-20 2024-09-03 Google Llc Semi-delegated calling by an automated assistant on behalf of human participant

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007092795A2 (en) * 2006-02-02 2007-08-16 Neuric Technologies, Llc Method for movie animation
CN102298694A (zh) * 2011-06-21 2011-12-28 广东爱科数字科技有限公司 一种应用于远程信息服务的人机交互识别系统
US20120308971A1 (en) * 2011-05-31 2012-12-06 Hyun Soon Shin Emotion recognition-based bodyguard system, emotion recognition device, image and sensor control apparatus, personal protection management apparatus, and control methods thereof
CN102881284A (zh) * 2012-09-03 2013-01-16 江苏大学 非特定人语音情感识别方法及系统
CN103123619A (zh) * 2012-12-04 2013-05-29 江苏大学 基于情感上下文的视觉语音多模态协同分析方法及系统
CN103456314A (zh) * 2013-09-03 2013-12-18 广州创维平面显示科技有限公司 一种情感识别方法以及装置
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
CN105334743A (zh) * 2015-11-18 2016-02-17 深圳创维－Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其系统
CN105739688A (zh) * 2016-01-21 2016-07-06 北京光年无限科技有限公司 一种基于情感体系的人机交互方法、装置和交互系统
CN105869657A (zh) * 2016-06-03 2016-08-17 竹间智能科技（上海）有限公司 语音情感辨识系统及方法
CN105975594A (zh) * 2016-05-09 2016-09-28 清华大学 基于组合特征向量和SVMperf的情感分类方法及装置
CN105976809A (zh) * 2016-05-25 2016-09-28 中国地质大学（武汉） 基于语音和面部表情的双模态情感融合的识别方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007092795A2 (en) * 2006-02-02 2007-08-16 Neuric Technologies, Llc Method for movie animation
US20120308971A1 (en) * 2011-05-31 2012-12-06 Hyun Soon Shin Emotion recognition-based bodyguard system, emotion recognition device, image and sensor control apparatus, personal protection management apparatus, and control methods thereof
CN102298694A (zh) * 2011-06-21 2011-12-28 广东爱科数字科技有限公司 一种应用于远程信息服务的人机交互识别系统
CN102881284A (zh) * 2012-09-03 2013-01-16 江苏大学 非特定人语音情感识别方法及系统
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
CN103123619A (zh) * 2012-12-04 2013-05-29 江苏大学 基于情感上下文的视觉语音多模态协同分析方法及系统
CN103456314A (zh) * 2013-09-03 2013-12-18 广州创维平面显示科技有限公司 一种情感识别方法以及装置
CN105334743A (zh) * 2015-11-18 2016-02-17 深圳创维－Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其系统
CN105739688A (zh) * 2016-01-21 2016-07-06 北京光年无限科技有限公司 一种基于情感体系的人机交互方法、装置和交互系统
CN105975594A (zh) * 2016-05-09 2016-09-28 清华大学 基于组合特征向量和SVMperf的情感分类方法及装置
CN105976809A (zh) * 2016-05-25 2016-09-28 中国地质大学（武汉） 基于语音和面部表情的双模态情感融合的识别方法及系统
CN105869657A (zh) * 2016-06-03 2016-08-17 竹间智能科技（上海）有限公司 语音情感辨识系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TANJA BANZIGER 等: "Emotion Recognition From Expressions in Face, Voice, and Body:The Multimodal Emotion Recognition Test(MERT)", 《EMOTION》 *
吴启迪: "《自然计算导论》", 31 January 2011, 《上海科学技术出版社》 *
王蓓 等: "基于表情和语音的多模态情感识别研究", 《信息化研究》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194151A (zh) * 2017-04-20 2017-09-22 华为技术有限公司 确定情感阈值的方法和人工智能设备
WO2018192567A1 (zh) * 2017-04-20 2018-10-25 华为技术有限公司 确定情感阈值的方法和人工智能设备
CN107092895A (zh) * 2017-05-09 2017-08-25 重庆邮电大学 一种基于深度信念网络的多模态情感识别方法
CN108664932B (zh) * 2017-05-12 2021-07-09 华中师范大学 一种基于多源信息融合的学习情感状态识别方法
CN108664932A (zh) * 2017-05-12 2018-10-16 华中师范大学 一种基于多源信息融合的学习情感状态识别方法
CN107180236A (zh) * 2017-06-02 2017-09-19 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN107180236B (zh) * 2017-06-02 2020-02-11 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN109254669A (zh) * 2017-07-12 2019-01-22 腾讯科技（深圳）有限公司 一种表情图片输入方法、装置、电子设备及系统
CN109254669B (zh) * 2017-07-12 2022-05-10 腾讯科技（深圳）有限公司 一种表情图片输入方法、装置、电子设备及系统
CN107943299B (zh) * 2017-12-07 2022-05-06 上海智臻智能网络科技股份有限公司 情感呈现方法和装置、计算机设备及计算机可读存储介质
CN107943299A (zh) * 2017-12-07 2018-04-20 上海智臻智能网络科技股份有限公司 情感呈现方法和装置、计算机设备及计算机可读存储介质
US11455472B2 (en) 2017-12-07 2022-09-27 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
CN109903392A (zh) * 2017-12-11 2019-06-18 北京京东尚科信息技术有限公司 增强现实方法和装置
US11257293B2 (en) 2017-12-11 2022-02-22 Beijing Jingdong Shangke Information Technology Co., Ltd. Augmented reality method and device fusing image-based target state data and sound-based target state data
CN109903392B (zh) * 2017-12-11 2021-12-31 北京京东尚科信息技术有限公司 增强现实方法和装置
CN108091323B (zh) * 2017-12-19 2020-10-13 想象科技（北京）有限公司 用于自语音中识别情感的方法与装置
CN108091323A (zh) * 2017-12-19 2018-05-29 想象科技（北京）有限公司 用于自语音中识别情感的方法与装置
CN108108849A (zh) * 2017-12-31 2018-06-01 厦门大学 一种基于弱监督多模态深度学习的微博情感预测方法
CN110085211B (zh) * 2018-01-26 2021-06-29 上海智臻智能网络科技股份有限公司 语音识别交互方法、装置、计算机设备和存储介质
CN108899050A (zh) * 2018-06-14 2018-11-27 南京云思创智信息科技有限公司 基于多模态情绪识别系统的语音信号分析子系统
CN109241912B (zh) * 2018-09-08 2020-08-07 河南大学 面向无人自主系统的基于类脑跨媒体智能的目标识别方法
CN109241912A (zh) * 2018-09-08 2019-01-18 河南大学 面向无人自主系统的基于类脑跨媒体智能的目标识别方法
EP3627304A1 (en) * 2018-09-20 2020-03-25 XRSpace CO., LTD. Interactive responding method and computer system using the same
CN109829363A (zh) * 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 表情识别方法、装置、计算机设备和存储介质
CN110033029A (zh) * 2019-03-22 2019-07-19 五邑大学 一种基于多模态情感模型的情感识别方法和装置
CN110287912A (zh) * 2019-06-28 2019-09-27 广东工业大学 基于深度学习的目标对象情感状态确定方法、装置及介质
CN110688499A (zh) * 2019-08-13 2020-01-14 深圳壹账通智能科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN110910903A (zh) * 2019-12-04 2020-03-24 深圳前海微众银行股份有限公司 语音情绪识别方法、装置、设备及计算机可读存储介质
CN110910903B (zh) * 2019-12-04 2023-03-21 深圳前海微众银行股份有限公司 语音情绪识别方法、装置、设备及计算机可读存储介质
US20210192332A1 (en) * 2019-12-19 2021-06-24 Sling Media Pvt Ltd Method and system for analyzing customer calls by implementing a machine learning model to identify emotions
US11630999B2 (en) * 2019-12-19 2023-04-18 Dish Network Technologies India Private Limited Method and system for analyzing customer calls by implementing a machine learning model to identify emotions
CN113128284A (zh) * 2019-12-31 2021-07-16 上海汽车集团股份有限公司 一种多模态情感识别方法和装置
US12080285B2 (en) 2020-03-20 2024-09-03 Google Llc Semi-delegated calling by an automated assistant on behalf of human participant

Also Published As

Publication number Publication date
CN106503646B (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN106503646A (zh) 多模态情感辨识系统及方法
Harwath et al. Learning word-like units from joint audio-visual analysis
US20180018974A1 (en) System and method for detecting tantrums
CN105632501B (zh) 一种基于深度学习技术的自动口音分类方法及装置
EP3198589B1 (en) Method and apparatus to synthesize voice based on facial structures
US9031293B2 (en) Multi-modal sensor based emotion recognition and emotional interface
CN106205633B (zh) 一种模仿、表演练习打分系统
US20170270922A1 (en) Smart home control method based on emotion recognition and the system thereof
US20030171921A1 (en) Speech recognition system, speech recognition method, speech synthesis system, speech synthesis method, and program product
CN106297826A (zh) 语音情感辨识系统及方法
CN104575519B (zh) 特征提取方法、装置及重音检测的方法、装置
CN108446278B (zh) 一种基于自然语言的语义理解系统及方法
CN106960181A (zh) 一种基于rgbd数据的行人属性识别方法
KR102607373B1 (ko) 음성감성 인식 장치 및 방법
CN106489148A (zh) 一种基于用户画像的意图场景识别方法及系统
CN112418172A (zh) 基于多模信息智能处理单元的多模信息融合情感分析方法
Jazouli et al. Automatic detection of stereotyped movements in autistic children using the Kinect sensor
CN108806686B (zh) 一种语音搜题应用的启动控制方法及家教设备
CN118098587A (zh) 一种基于数字医生的ai自杀风险分析方法及系统
JP5180116B2 (ja) 国籍判定装置、方法およびプログラム
CN107452370A (zh) 一种中文鼻韵母发音障碍患者的判断装置的使用方法
Bhat et al. Vision sensory substitution to aid the blind in reading and object recognition
CN108305629B (zh) 一种场景学习内容获取方法、装置、学习设备及存储介质
Amin et al. HMM based automatic Arabic sign language translator using Kinect
CN112489787A (zh) 一种基于微表情检测人体健康的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant