KR20160054392A - 전자 장치 및 그 동작 방법 - Google Patents
전자 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR20160054392A KR20160054392A KR1020150113854A KR20150113854A KR20160054392A KR 20160054392 A KR20160054392 A KR 20160054392A KR 1020150113854 A KR1020150113854 A KR 1020150113854A KR 20150113854 A KR20150113854 A KR 20150113854A KR 20160054392 A KR20160054392 A KR 20160054392A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- emotional
- emotion
- user
- source information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 52
- 230000008451 emotion Effects 0.000 claims abstract description 446
- 230000014509 gene expression Effects 0.000 claims abstract description 241
- 230000000638 stimulation Effects 0.000 claims abstract description 57
- 238000012544 monitoring process Methods 0.000 claims abstract description 52
- 230000002996 emotional effect Effects 0.000 claims description 393
- 230000008859 change Effects 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 34
- 238000007405 data analysis Methods 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 230000007613 environmental effect Effects 0.000 description 12
- 230000036760 body temperature Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 241001481828 Glyptocephalus cynoglossus Species 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 206010016825 Flushing Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010027783 Moaning Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
메모리, 디스플레이부 및 사용자의 감정을 나타내는 감정 표현 정보를 획득하고, 상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하고, 상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장하며, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이하는 제어부를 포함하는 전자 장치가 개시된다.
Description
본 출원은 컴퓨터 기술 분야에 관한 것이고, 상세하게는 휴먼-컴퓨터 상호 작용 기술 분야에 관한 것이고, 더 상세하게는 감정들을 모니터링하기 위한 전자 장치 및 그 동작 방법에 관한 것이다.
과학 및 기술의 계속적인 발달과 함께, 사람들의 생활 속도는 점점 더 빨라지고 있고, 이는 사람들이 그들 자신의 감정 변화들에 주목하는 데 더 짧은 시간 및 더 적은 노력을 소비하게 한다. 따라서 사람들이 감정 변화들과 관계된 상태를 기록하는 것을 돕는 어떤 보충 수단이 필요하다.
본 출원은 감정들을 모니터링하기 위한 전자 장치 및 그 동작 방법을 제공한다.
일부 실시예에 따른 전자 장치는 메모리, 디스플레이부 및 사용자의 감정을 나타내는 감정 표현 정보를 획득하고, 상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하고, 상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장하며, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이하는 제어부를 포함하는 전자 장치를 포함한다.
상기 제어부는 시간에 따른 상기 사용자의 감정을 나타내는 콘텐트를 상기 디스플레이부에 디스플레이할 수 있다.
상기 전자 장치는 상기 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하며, 상기 제어부는 상기 선택된 시간과 관계된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이할 수 있다.
상기 제어부는 멀티미디어 정보, 환경 정보 및 상기 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 자극 소스 정보를 획득할 수 있고, 상기 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함할 수 있다.
상기 제어부는 상기 멀티미디어 정보 및 상기 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 표현 정보를 획득할 수 있다.
상기 전자 장치는 서버 및 제2 사용자가 사용하는 제2 전자 장치 중 적어도 하나와 통신하도록 구성된 통신부를 더 포함할 수 있으며, 상기 제어부는 상기 멀티미디어 정보에 기초하여 상기 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득하고, 상기 제2 감정 표현 정보 및 상기 제2 감정 자극 소스 정보 중 적어도 하나를 상기 제2 사용자와 공유하도록 상기 통신부를 제어할 수 있다.
상기 제어부는 상기 제2 사용자에 의해 공유되는, 상기 사용자의 감정을 나타내는 제3 감정 표현 정보 및 상기 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 상기 통신부를 통해 수신하고, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 제3 감정 표현 정보 및 상기 제3 감정 자극 소스 정보 중 적어도 하나와 결합시킬 수 있다.
상기 제어부는 상기 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장한 후, 상기 사용자의 상기 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링하여, 상기 감정 유형은 변하지 않고, 상기 감정 강도의 변화가 임계값보다 커지면, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 업데이트할 수 있다.
상기 제어부는 상기 감정 강도를 정규화할 수 있다.
상기 제어부는 상기 감정 표현 정보 및 상기 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득할 수 있고, 상기 감정 관리 추천 정보를 상기 디스플레이부에 디스플레이할 수 있다.
일부 실시예에 따른 전자 장치의 동작 방법은, 사용자의 감정을 나타내는 감정 표현 정보를 획득하는 단계, 상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하는 단계, 상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키는 단계, 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 저장하는 단계 및 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계를 포함한다.
상기 방법은, 시간에 따른 상기 사용자의 감정을 나타내는 콘텐트를 디스플레이하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 단계를 더 포함할 수 있고, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계는, 상기 선택된 시간과 관계된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계일 수 있다.
상기 감정 자극 소스 정보를 획득하는 단계는, 멀티미디어 정보, 환경 정보 및 상기 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 자극 소스 정보를 획득하는 단계를 포함하고, 상기 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함할 수 있다.
상기 감정 표현 정보를 획득하는 단계는, 상기 멀티미디어 정보 및 상기 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 표현 정보를 획득하는 단계를 포함할 수 있다.
상기 방법은 상기 멀티미디어 정보에 기초하여 상기 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득하는 단계 및 상기 제2 감정 표현 정보 및 상기 제2 감정 자극 소스 정보 중 적어도 하나를 상기 제2 사용자와 공유하는 단계를 더 포함할 수 있다.
상기 방법은 상기 제2 사용자에 의해 공유되는, 상기 사용자의 감정을 나타내는 제3 감정 표현 정보 및 상기 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 수신하는 단계 및 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 제3 감정 표현 정보 및 상기 제3 감정 자극 소스 정보 중 적어도 하나와 결합시키는 단계를 더 포함할 수 있다.
상기 방법은 상기 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 저장한 후, 상기 사용자의 상기 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링하는 단계 및 상기 감정 유형은 변하지 않고, 상기 감정 강도의 변화가 임계값보다 커지면, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 업데이트하는 단계를 더 포함할 수 있다.
상기 방법은 상기 감정 표현 정보 및 상기 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득하는 단계 및 상기 감정 관리 추천 정보를 디스플레이하는 단계를 더 포함할 수 있다.
첨부된 도면들을 참고하여 제한되지 않는 실시예들의 상세한 설명을 읽은 후, 이 기술 분야에서 숙련된 자는 다른 특징들, 목적들 및 본 출원의 효과들이 더 명확해 짐을 인식할 것이다.
도 1은 감정 정보를 기록하는 도식도이다;
도 2는 본 출원의 일 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 3은 도 2에 도시된 실시예의 적용 장면의 도식도이다;
도 4는 본 출원의 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 5는 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 6은 도 5에 도시된 실시예의 적용 장면의 도식도이다;
도 7a는 실시예의 적용 장면의 도식도이다;
도 7b는 실시예의 적용 장면의 다른 도식도이다;
도 8은 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 9는 도 8에 도시된 실시예의 적용 장면의 도식도이다;
도 10은 본 출원의 일 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다;
도 11은 본 출원의 다른 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다;
도 12는 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다; 그리고
도 13은 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다.
도 14는 일부 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 15는 도 14의 전자 장치의 또 다른 구성을 나타내는 블록도이다.
도 1은 감정 정보를 기록하는 도식도이다;
도 2는 본 출원의 일 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 3은 도 2에 도시된 실시예의 적용 장면의 도식도이다;
도 4는 본 출원의 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 5는 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 6은 도 5에 도시된 실시예의 적용 장면의 도식도이다;
도 7a는 실시예의 적용 장면의 도식도이다;
도 7b는 실시예의 적용 장면의 다른 도식도이다;
도 8은 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 9는 도 8에 도시된 실시예의 적용 장면의 도식도이다;
도 10은 본 출원의 일 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다;
도 11은 본 출원의 다른 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다;
도 12는 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다; 그리고
도 13은 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다.
도 14는 일부 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 15는 도 14의 전자 장치의 또 다른 구성을 나타내는 블록도이다.
본 출원이 첨부된 도면들 및 실시예들과 연결하여 아래에서 더 서술된다. 여기에서 특정 실시예들은 본 개시를 설명하기 위해 사용되는 것이고, 본 개시를 제한하는 것이 아님이 이해되어야만 한다. 또한, 편의를 위해 본 개시와 관계 있는 부분만이 도면들에 도시되다.
다양한 실시예들 및 실시예들의 특징들은 모순되지 않는 경우 결합될 수 있음을 설명할 필요가 있다. 본 출원은 첨부된 도면들 및 실시예들을 참고하여 아래에서 설명될 것이다.
도 1은 감정 정보를 기록하는 도식도이다.
도 1에 도시된 것과 같이, 다른 감정 이미지들은 감정 유형들에 따라 구별될 수 있고, "happy", "surprised", "sad", "angry" 등과 같은 단순한 감정 태그가 각 감정 유형에 부착될 수 있다. 사용자의 감정 정보를 기록할 때, 어떤 순간에 사용자의 감정 상태가 먼저 획득되고, 다음 관계된 태그(tag)가 획득된 감정 상태에 부착되고, 태그된 감정 상태가 저장된다. 그러나, 감정을 기록하기 위해 이러한 방식을 사용하면, 사용자는 단지 단순한 감정 태그만을 획득할 수 있고, 미래에 감정을 회상할 때 감정 변화들을 효과적으로 관리하거나 분석할 수 없다.
도 2는 일 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도(200)를 도시한다. 이 실시예에서, 상기 방법은 스마트 폰들, 스마트 TV들, 태블릿 컴퓨터들, 포터블 랩탑 컴퓨터들, 데스크탑 컴퓨터들, 웨어러블 디바이스들 등과 같은 다양한 단말들에서 사용될 수 있다. 감정들을 모니터링하기 위한 방법은 다음 단계들을 포함한다.
단계 201에서, 사용자의 현재 감정의 감정 표현 정보가 획득된다.
실시예에서, 감정 표현 정보는 사용자의 현재 감정의 특징들을 반영할 수 있는 외부 표시(representation) 정보이고, 구체적으로 사용자의 현재 얼굴의 표현, 사용자의 신체 움직임, 사용자의 음성의 발음 및 억양 및 사용자의 입력 텍스트 또는 감정들을 표현하는 스피치와 같은 정보를 포함할 수 있다. 사용자의 현재 감정의 감정 표현 정보를 획득할 때, 단말은 카메라 및 마이크로폰과 같이 다양한 정보 수집 디바이스들을 포함할 수 있으며, 사용자의 현재 감정의 감정 표현 정보를 능동적으로 수집할 수 있고, 또는 텍스트 및 스피치와 같은 사용자의 입력 정보로부터 감정 표현 정보를 추출할 수 있다.
단계 202에서, 현재 감정의 감정 자극 소스 정보가 획득된다.
실시예에서, 감정 자극 소스 정보는 사용자의 현재 감정을 야기한 원인들일 수 있다. 사용자의 감정을 자극하는 원인들은 사람, 객체(object), 이벤트, 문장, 행동(action) 및 그것들의 조합을 포함하는 가능한 다양한 원인들일 수 있다. 현재 감정의 감정 자극 소스 정보를 획득할 때, 단말에 의해 현재 획득된 모든 정보가 분석될 수 있고, 감정 자극 소스 정보가 추출될 수 있다.
단계 203에서, 감정 표현 정보는 감정 자극 소스 정보와 연관되고, 연관된 감정 표현 정보 및 감정 자극 소스 정보는 저장된다.
실시예에서, 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장할 때, 시간 포인트에서 또는 미리 설정된(preset) 시간 구간에서 획득된 감정 표현 정보 및 감정 자극 소스 정보는 정보 획득의 시간 관계에 따라 연관될 수 있고, 연관된 감정 표현 정보 및 감정 자극 소스 정보는 단말 자체의 저장소 또는 클라우드 저장소 및 서버와 같은 외부의 디바이스에 저장될 수 있다.
본 출원의 전술한 실시예에 대해, 도 3은 적용 장면을 도시한다. 도 3에 도시된 것과 같이, 사용자가 단말(301)을 통해 소셜 플랫폼(social platform)의 개인 홈페이지상에 "Today I have a dinner with my family together. Happy!"를 나타내는 텍스트 메시지(302)를 게재(publish)하고, 연관된 사진(303)을 첨부하면, 단말(301)은 메시지(302)로부터 자기 감정(self-emotional) 표현을 나타내는 단어(word) 정보 "Happy"를 획득할 수 있고, 또한 사진(303)으로부터 사용자의 미소 진 얼굴을 식별할 수 있다. 미소 진 얼굴 및 워드 정보 "Happy"는 사용자의 현재 감정의 감정 표현 정보이다. 동시에, 단말은 또한 텍스트 메시지(302)로부터 이벤트 정보 "I have a dinner with my family together"를 획득할 수 있고, 시맨틱 분석에 의해 이벤트가 현재 감정의 감정 자극 소스 정보임을 더 결정할 수 있다. 그 후에, 단말은 감정 표현 정보 "Happy" 및 사진 안의 미소 진 얼굴을 이벤트 정보 "I have a dinner with my family together"와 연관시킬 수 있고, 연관된 감정 표현 정보 및 이벤트 정보를 저장할 수 있어, 사용자가 나중에 그 미소 진 얼굴을 보았을 때, 사용자는 그 당시 그렇게 행복했던 이유가 사용자가 그 가족과 함께 저녁을 먹었기 때문임을 알 수 있다.
감정 표현 정보가 얼굴의 표현 및 음성과 같은 사용자의 생물학적 특징들로부터 획득되는 경우, 다양하게 현재 수집된 정보로부터 사용자와 연관된 감정 표현 정보를 추출하기 위해, 사용자의 현재 감정의 감정 표현 정보를 획득하기 전에 사용자의 생물학적 특징 정보가 기록될 수 있음이 지적되어야 한다. 생물학적 특징 정보는 얼굴의 특징 정보, 성문(voiceprint) 정보, 홍채(iris) 정보 및 생리적 신호 특징 정보를 포함하나 이에 제한되는 것은 아니다.
저장된 감정 표현 정보 및 감정 자극 소스 정보는 사용자 기기에 디스플레이될 수 있다.
본 출원의 전술한 실시예는, 사용자의 현재 감정의 감정 표현 정보 및 현재 감정의 감정 자극 소스 정보를 획득하고, 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장함으로써 감정들을 모니터링하기 위한 방법을 제공하고, 사용자의 감정 표현을 기록하는 동안 감정 표현의 자극 소스 정보를 기록할 수 있어, 감정들을 모니터링하는 범위를 확장하고, 감정 표현의 추적성(traceability)을 보장한다.
도 4는 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도(400)를 나타낸다. 흐름도(400)는 다음 단계들을 포함한다.
단계 401에서, 사용자의 현재 감정의 감정 표현 정보는 현재 수집된 멀티미디어 정보 및/또는 생리적 신호 정보에 따라 결정되고, 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함한다.
실시예에서, 단말은 멀티미디어 정보를 수집하기 위해 멀티미디어 센서를 사용할 수 있고, 그리고/또는 사용자의 생리적 신호 정보를 수집하기 위해 생리적 신호 센서를 사용할 수 있다. 멀티미디어 정보를 수집할 때, 단말은 이미지 정보를 수집하기 위한 이미지 센서를 사용할 수 있고, 오디오 정보를 수집하기 위한 오디오 센서를 사용할 수 있고, 비디오 정보를 수집하기 위해 위 2개의 센서들을 사용할 수 있고, 또는 사용자에 의해 편집된 단문 메시지, 사진에 첨부된 텍스트 설명 등과 같은, 사용자에 의해 입력된 텍스트 메시지를 획득하기 위한 텍스트 획득 기술을 사용할 수 있다. 생리적 신호 정보를 수집하는 단계에서, 수집된 생리적 신호 정보는 심박동수(heart rate), 심전도(electrocardiogram), 피부 전도도(skin conductance), 신체 온도 및 혈압을 포함하나, 이에 제한되는 것은 아니다. 그러면 단말은 사용자의 현재 감정의 감정 표현 정보를 결정하기 위해, 수집된 텍스트 정보, 이미지 정보, 오디오 정보, 비디오 정보 및 생리적 신호 정보 중 적어도 하나에 대해 데이터 분석을 수행할 수 있다. 예를 들어, 슬픔 및 행복과 같은 감정을 특징짓는 텍스트상 묘사가 현재 수집된 텍스트 정보로부터 획득되면, 텍스트 정보가 감정 표현 정보일 수 있고; 사용자의 미소 진 얼굴이 현재 수집된 이미지 정보로부터 추출되면, 이미지 정보가 감정 표현 정보일 수 있고; 사용자의 우는 음성이 현재 수집된 오디오 정보로부터 추출되면, 오디오 정보가 감정 표현 정보일 수 있고; 고혈압을 특징짓는 신호가 현재 수집된 생리적 신호 정보로부터 추출되면, 생리적 신호 정보가 감정 표현 정보일 수 있고; 사용자의 괴로운 표현 및/또는 괴로운 신음이 현재 수집된 비디오 정보로부터 추출되면, 비디오 정보가 감정 표현 정보일 수 있고; 다른 파일 포맷들로 하나 이상의 감정 표현 정보가 동시에 수집되면, 하나 이상의 감정 표현 정보가 감정 표현 정보로 고려된다.
단계 402에서, 현재 감정의 감정 자극 소스 정보가 획득된다.
실시예에서, 감정 자극 소스 정보는 사용자의 현재 감정을 야기한 원인들일 수 있다. 그 원인들은 사람, 객체, 이벤트, 문장, 행동 등일 수 있다. 현재 감정의 감정 자극 소스 정보를 획득할 때, 단말에 의해 현재 획득된 모든 정보가 분석될 수 있고, 감정 자극 소스 정보가 추출될 수 있다.
단계 403에서, 현재 감정의 변화가 검출되면, 감정 표현 정보는 감정 자극 소스 정보와 연관되고, 연관된 감정 표현 정보 및 감정 자극 소스 정보는 저장된다.
실시예에서, 사용자의 감정 상태는 단계 401에서 획득된 감정 표현 정보에 의해 어떤 샘플링 주파수에서 계속 수집될 수 있다. 사용자의 감정의 변화가 검출되면, 감정 표현 정보 및 단계 402에서 획득된 감정 자극 소스 정보가 연관되고, 저장된다. 즉, 단말은 감정 표현 정보를 계속 수집할 수 있고, 감정 표현 정보에 의해 사용자의 현재 감정을 결정할 수 있다. 또한, 사용자의 감정이 안정 상태(stable state)로 유지되면, 단말은 수집된 감정 표현 정보 및 수집된 감정 자극 소스 정보를 저장할 필요가 없다. 현재 감정이 상당히 변화하는 경우에만, 단말은 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장할 필요가 있다.
실시예의 대체 구현에서, 현재 감정의 변화는 현재 감정의 감정 유형 변화 또는 감정 강도 변화를 포함한다. 감정 유형은 인간의 감정 인지에 따른 감정들의 분류를 나타낼 수 있고, 특히, 평온(calmness), 기쁨(joy), 슬픔(sadness), 놀람(surprise), 분노(anger) 및 공포(fear)를 포함한다; 감정 강도 변화는 각각의 감정들을 표현하는 측면에서 특정 유형의 감정의 포화도(saturation degree)를 나타낼 수 있다. 감정은 두 개의 속성들, 즉 감정 유형 및 감정 강도를 포함할 수 있기 때문에, 현재 감정의 변화 또한 두 가지 측면의 변화들을 포함할 수 있다. 하나는 평온에서 기쁨으로 변화하는 것과 같은 감정 유형의 변화이고, 다른 하나는 다소 기쁨에서 매우 기쁨으로의 변화와 같은 감정 강도의 변화이다. 구체적으로, 감정 유형 및 감정 강도는 감정 표현 정보에 따라 획득될 수 있는데, 다른 감정 유형들 및 감정 강도들은, 표현 파라미터들 및 스피치 파라미터들을 포함할 수 있는 다른 감정 특징 파라미터들 대응하기 때문이다(예를 들어, 얼굴의 특징 "입 각도의 상승"은 감정 유형 "기쁨"에 대응하고, 상승의 크기(amplitude)가 클수록, 감정 강도는 더 높다). 감정 특징 파라미터들은 현재 감정의 수집된 감정 표현 정보로부터 추출될 수 있고, 현재 감정의 감정 유형 및 감정 강도는 감정 특징 파라미터들에 따라 더 결정될 수 있다.
실시예의 대체 구현에서, 감정 강도 변화는 감정 강도 변화의 크기가 미리 설정된 임계값에 도달하는지로 구현된다. 실시예에서, 감정 강도들이 평가될 때, 감정의 포화도에 정비례하는 다른 강도 값들이 다른 감정 강도들로 할당될 수 있다. 따라서, 감정 강도의 변화는 감정 강도 값의 변화를 나타낼 수 있고, 감정 강도 값의 변화의 크기는 미리 설정된 임계값에 도달한다. 다시 말해, 동일한 감정 유형에 대해, 감정 강도 변화량이 어느 정도에 도달하는 경우에만, 감정 표현 정보 및 감정 자극 소스 정보가 저장될 수 있다. 그렇지 않으면, 관련된 감정 정보는 저장될 필요가 없다.
실시예의 대체 구현에서, 수집된 감정 표현 정보에 대해 변환(conversion)이 수행될 수 있고, 변환된 감정 표현 정보 및 감정 자극 소스 정보는 연관될 수 있고, 저장될 수 있다. 구체적으로, 단말은 직접 수집된 감정 표현 정보에 대해 정보화 추출을 수행할 수 있어, 현재 감정의 특징들을 나타낼 수 있는 정보 요소들이 획득되고, 정보 요소들에 대해 표현 형태 변환이 더 수행될 수 있어, 감정 표현 정보의 정보 변환을 달성한다. 예를 들어, 그룹 사진으로부터 사용자의 미소 진 얼굴이 얼굴 특징 인식 기술에 의해 사용자의 감정 특징들을 나타내는 정보 요소로 추출될 수 있고, 미소 진 얼굴에 대해 표현 형태 변환이 수행된다. 다시 말해, 실제 미소 진 얼굴은 애니메이션화된(animated) 미소 진 얼굴, 웃음 소리를 포함하는 오디오 정보, 또는 단어 "happy"를 포함하는 텍스트 정보로 변환될 수 있다. 그러면 변환된 감정 표현 정보 및 감정 자극 소스 정보는 연관되고, 저장된다. 그러한 것과 같이, 감정 표현 정보가 저장될 필요가 있으면, 모든 감정 표현 정보는 먼저 동일한 유형의 정보로 변환될 수 있고, 동일한 유형의 정보는 후속 정보 관리를 위해 저장된다. 대안으로, 수집된 오디오 정보는 텍스트 메시지로 변환될 수 있고 저장될 수 있어, 정보 저장을 위해 요구되는 공간을 줄일 수 있다.
실시예의 대체 구현에서, 감정 표현 정보는 텍스트 정보, 이미지 정보, 오디오 정보, 비디오 정보 및 생리적 신호 정보 중 적어도 하나를 포함한다.
도 2에 도시된 실시예와 비교하면, 도 4에 도시된 실시예의 감정들을 모니터링하기 위한 방법은, 감정 표현 정보를 획득하는 방식 및 감정 표현 정보 및 감정 자극 소스 정보가 저장되는 때를 보여주는 예시적인 구현을 설명한다. 구체적으로, 사용자의 현재 감정의 감정 표현 정보는 먼저 현재 수집된 이미지 정보, 오디오 정보, 비디오 정보 및 생리적 신호 정보 중 적어도 하나에 따라 결정되고, 현재 감정의 감정 자극 소스 정보가 획득되고, 현재 감정의 변화가 검출되면, 감정 표현 정보 및 감정 자극 소스 정보가 연관되고 저장된다. 실시예는 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장하기 위한 트리거(trigger)를 더 결정하여, 저장된 감정 관계 정보가 감정 변화의 상태를 효과적으로 특징지어지게 하고, 감정들을 모니터링하는 효율을 향상시킨다.
도 5를 더 참고하면, 도 5는 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도(500)를 도시한다. 감정들을 모니터링하기 위한 방법은 다음 단계들을 포함한다.
단계 501에서, 사용자의 현재 감정의 감정 표현 정보가 획득된다.
단계 502에서, 현재 감정의 감정 자극 소스 정보는 현재 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나에 따라 결정된다.
실시예에서, 현재 감정의 감정 자극 소스 정보가 획득될 때, 현재 감정의 감정 자극 소스 정보는 현재 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나에 따라 결정된다. 구체적으로, 단말은 다양한 신호 센서들에 의해 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나를 획득할 수 있고, 수집된 정보 중 적어도 하나에 데이터 분석을 수행할 수 있고, 데이터 분석의 결과에 따라 현재 감정의 감정 자극 소스 정보를 결정할 수 있다.
실시예의 대체 구현에서, 현재 획득된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것을 포함한다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함한다. 실시예에서, 단말에 의해 출력된 그리고/또는 수집된 멀티미디어 정보가 획득된다. 데이터 분석이 멀티미디어 정보에 수행되고, 감정 변화를 야기하는 감정 자극 소스 정보가 데이터 분석의 결과에 따라 결정될 수 있다.
실시예의 대체 구현에서, 현재 획득된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 오디오 정보, 오디오 정보로부터 유도(derive)된 속성 정보, 오디오 정보의 미리 설정된 시간 구간에서 오디오 세그먼트 및 오디오 정보로부터 유도된 시맨틱 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하는 것을 포함한다.
실시예에서, 단말에 의해 현재 출력된 그리고/또는 수집된 오디오 정보가 먼저 획득된다. 다음 오디오 정보에 대한 데이터 분석이 수행되어, 오디오 정보로부터 유도된 속성 정보, 오디오 정보의 미리 설정된 시간 구간에서 오디오 세그먼트, 오디오 정보로부터 유도된 시맨틱 정보, 오디오 정보로부터 유도된 이벤트 정보, 오디오 정보로부터 유도된 개인 정보를 획득한다. 그 후에, 오디오 정보, 오디오 정보로부터 유도된 속성 정보, 오디오 정보의 미리 설정된 시간 구간에서 오디오 세그먼트 및 오디오 정보로부터 유도된 시맨틱 정보 중 적어도 하나가 감정 자극 소스 정보로 선택된다. 미리 설정된 시간 구간은 현재 시간 포인트 전 및/또는 후의 구간일 수 있다. 일 예에서, 단말이 노래를 출력(즉, 재생)하면, 현재 재생되는 노래는 단말의 동작 상태를 검출함으로써 획득될 수 있는데, 다음 세 가지 아이템들 중 적어도 하나를 획득하기 위해서이다: a) 노래 제목, 가수/연주자 및 앨범과 같은 속성 정보는 노래에 대한 데이터 분석을 수행함으로써 획득될 수 있다; b) 시맨틱 분석에 의해 획득되는, 노래 가사 및 가사의 중심 내용과 같은 시맨틱 정보가 획득될 수 있다; 그리고 c) 미리 설정된 시간 구간 내의 오디오 세그먼트는 노래를 분할(splitting)함으로써 획득될 수 있다. 다른 예에서, 사용자가 음성 통화를 걸기 위해 단말을 사용할 때, 단말은 통화의 오디오를 능동적으로 수집할 수 있고, 오디오에 대한 데이터 분석을 수행할 수 있는데, 다음 세 가지 아이템들 중 적어도 하나를 획득하기 위해서이다: a) 통화한 사람, 통화 시간 및 콜러(caller) 및 통화한 사람 사이의 통화(calling) 주파수와 같은 속성 정보가 획득될 수 있다; b) 시맨틱 정보는 통화 내용에 대한 시맨틱 분석에 의해 획득될 수 있다; c) 미리 설정된 시간 구간 내의 오디오 세그먼트는 통화 오디오를 분할함으로써 획득될 수 있다. 자극 소스 정보를 결정하기 위해, 자극 소스 분석이 위 두 예시들에서 획득되는 오디오와 관계된 정보에 대해 수행된다.
본 구현의 대체 실시예에서, 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 비디오 정보, 비디오 정보로부터 유도된 속성 정보, 비디오 정보의 미리 설정된 시간 구간에서 비디오 세그먼트, 비디오 정보로부터 유도된 시맨틱 정보, 비디오 정보로부터 유도된 이벤트 정보, 비디오 정보로부터 유도된 개인 정보, 비디오 정보로부터 유도된 스크린샷 정보 및 비디오 정보로부터 유도된 오디오 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하는 것을 포함한다.
실시예에서, 단말에 의해 현재 출력된 그리고/또는 수집된 비디오 정보가 먼저 획득된다. 다음 비디오 정보에 대한 데이터 분석이 수행되어, 속성 정보, 시맨틱 정보, 이벤트 정보, 개인 정보 및 비디오 정보의 미리 설정된 시간 구간에서 비디오 세그먼트를 획득한다. 그 후에, 자극 소스 분석에 의한 상기 정보로부터 적어도 하나의 감정 자극 소스 정보가 결정된다. 미리 설정된 시간 구간은 현재 시간 포인트 전 및/또는 후의 구간일 수 있다. 일 예에서, 단말이 영화를 출력(즉, 재생)하면, 현재 재생되는 영화는 단말의 동작 상태를 검출함으로써 획득될 수 있는데, 다음 네 가지 아이템들 중 적어도 하나를 획득하기 위해서이다: a) 영화 제목, 주연 배우들, 감독, 제작사와 같은 속성 정보는 영화에 대한 데이터 분석을 수행함으로써 획득될 수 있다; b) 시맨틱 분석에 의해 획득되는, 영화 대사 및 대사의 요약과 같은 시맨틱 정보가 획득될 수 있다; 그리고 c) 스크린샷이 영화에 대해 수행될 수 있고, 스크린샷은 이벤트 정보 및 개인 정보를 획득하기 위해 분석된다; 그리고 d) 미리 설정된 시간 구간 내의 비디오 세그먼트는 영화를 분할함으로써 획득될 수 있다. 다른 예에서, 사용자가 비디오 통화를 걸기 위해 단말을 사용할 때, 단말은 통화 비디오를 능동적으로 수집할 수 있고, 비디오에 대한 데이터 분석을 수행할 수 있는데, 다음 네 가지 아이템들 중 적어도 하나를 획득하기 위해서이다: a) 통화한 사람, 통화 시간 및 콜러(caller) 및 통화한 사람 사이의 통화 주파수과 같은 속성 정보가 획득될 수 있다; b) 시맨틱 정보는 비디오 통화 내용에 대한 시맨틱 분석에 의해 획득될 수 있다; c) 스크린샷이 비디오에 대해 수행될 수 있고, 스크린샷은 이벤트 정보 및 개인 정보를 획득하기 위해 분석된다; 그리고 d) 미리 설정된 시간 구간 내의 비디오 세그먼트는 통화 비디오를 분할함으로써 획득될 수 있다. 자극 소스 정보를 결정하기 위해, 자극 소스 분석이 위 두 예시들에서 획득되는 비디오와 관계된 정보에 대해 수행된다.
실시예의 대체 구현에서, 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 이미지 정보, 이미지 정보로부터 유도된 이벤트 정보 및 이미지 정보로부터 유도된 개인 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하는 것을 포함한다.
실시예에서, 단말에 의해 현재 출력된 그리고/또는 수집된 이미지 정보가 먼저 획득된다. 다음 이미지 정보에 대한 데이터 분석이 수행되어, 이미지 정보에 포함되는 이벤트 정보 및 개인 정보를 획득한다. 그 후에, 자극 소스 분석에 의한 상기 정보로부터 적어도 하나의 감정 자극 소스 정보가 결정된다. 일 예에서, 단말이 카메라에 의해 사진(picture)을 출력(즉, 디스플레이) 또는 수집하면, 현재 브라우징(browsing)되는 사진은 단말의 동작 상태를 검출함으로써 획득될 수 있는데, 사진에 대한 분석을 수행함으로써 이벤트 정보 또는 개인 정보를 획득하기 위해서이다. 구체적으로, 사람 이름, 성별 및 나이와 같은 개인 정보는 사람 얼굴의 특징 및 옷차림을 통해 결정될 수 있다. 다른 예에서, 사진에 포함되는 이벤트 정보는 사진에서 신체 움직임 또는 사람의 얼굴 표현, 사진 배경 등에 대한 분석을 수행함으로써 결정된다. 자극 소스 정보를 결정하기 위해, 자극 소스 분석이 위 두 예시들에서 획득되는 사진과 관계된 정보에 대해 수행된다.
도 6은 실시예의 적용 장면의 도식도이다. 도 6에 도시된 것과 같이, 사용자가 사진(602)을 브라우징하기 위해 단말(601)을 사용할 때, 단말은 사용자의 감정이 갑자기 두려워하는 것임을 검출하고, 이미지 분석 기술을 통해 사진(602)에 대한 분석을 수행하면, 단말은 사진(602)을 획득할 수 있다. 사진(602)에 대한 분석 수행에 대해, 먼저 개인 정보, 즉 사진(602)에서 백설 공주(제1 개인 정보) 및 늙은 마녀(제2 개인 정보)가 사람 얼굴의 특징들 및 옷에 따라 식별된다; 두 번째로, 이미지의 제1 이벤트 정보(즉 늙은 마녀가 백설 공주에게 사과를 주고 있음)가 사람의 행동들을 분석함으로써 결정될 수 있다. 기존 지식에 기초하여 사진에서 여왕이 늙은 마녀로 변장하고, 사과에 독이 있음이 인식될 수 있어, 제2 이벤트 정보(즉 여왕이 독이 든 사과를 백설 공주에게 주기 원함)가 획득될 수 있다. 마지막으로, 두 가지 개인 정보 및 두 가지 이벤트 정보에 대한 종합적인 분석에 의해, 사용자에게 공포를 가져오는 감정 자극 소스 정보는 여왕이 독이 든 사과를 백설 공주에게 주기 원함임이 결정될 수 있다.
실시예의 대체 구현에서, 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 텍스트 정보 및 텍스트 정보로부터 유도된 시맨틱 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하는 것을 포함한다.
실시예에서, 단말에 의해 현재 출력된 그리고/또는 수집된 텍스트 정보가 먼저 획득된다. 다음 텍스트 정보에 대한 데이터 분석이 수행되어, 텍스트 정보로부터 유도된 시맨틱 정보를 획득한다. 그 후에, 텍스트 정보 및 시맨틱 정보 중 적어도 하나가 감정 자극 소스 정보로 결정된다. 예를 들어, 단말이 텍스트 정보를 출력(즉, 디스플레이)하면, 현재 브라우징되는 텍스트 이미지는 단말의 동작 상태를 검출함으로써 획득될 수 있는데, 특징 인식 기술에 의해 텍스트 이미지에 포함되는 텍스트 정보를 획득하기 위해서이다. 다른 예로서, 사용자가 단말에 의해 단어들을 입력하면, 입력된 단어들은 수집된 텍스트 정보로 사용되도록 직접 수집될 수 있다. 텍스트 정보를 획득한 후, 시맨틱 정보를 획득하기 위해, 시맨틱 분석이 획득된 텍스트 정보에 대해 수행될 수 있다. 다음 감정 자극 소스 정보를 결정하기 위해, 자극 소스 분석이 획득된 텍스트 정보 및/또는 시맨틱 정보에 대해 수행될 수 있다. 실시예의 적용 장면에서, 만일 사용자에 입력되며 단말에 의해 수집된 텍스트 메시지가 "A lonely stranger in a strange land I am cast, I miss my family all the more on every festive day"이면, 이 텍스트 메시지는 사용자에게 슬픔을 느끼게 하는 감정 자극 소스 정보로 직접 사용될 수 있다. 대안으로, 시맨틱 분석이 텍스트 정보에 대해 수행될 수 있어, 시맨틱 정보 "being far away from my hometown, I can’t reunite with families"를 획득하고, 시맨틱 정보는 감정 자극 소스 정보로 사용될 수 있다.
실시예의 대체 구현에서, 생리적 신호 정보는 사용자의 현재 생리적 신호 정보 또는 생리적 신호 정보에 따라 획득되는 건강 정보(health information)를 포함한다. 건강 정보는 생리적 신호 정보를 분석함으로써 획득될 수 있고, 사용자의 건강 상태를 반영할 수 있다. 예를 들어, 사용자의 수집된 신체 온도 신호가 38℃이면, 온도 신호는 온도 신호가 정상 사람 신체 온도 36℃보다 높음을 발견하도록 분석될 수 있고, 따라서 사용자가 열이 있음이 추론될 수 있고, 건강 정보는 "열(fever)"을 나타내는 이미지 또는 텍스트일 수 있다.
만일 생리적 신호 정보가 감정 자극 소스 정보로 사용되면, 획득된 감정 표현 정보는 더 이상 생리적 신호 정보를 포함하지 않을 것임이 지적되어야만 한다. 대신에, 예를 들어 획득된 이미지 정보(예를 들어 열에 의한 안면 홍조의 사진)가 감정 표현 정보로 사용될 것이다.
실시예의 대체 구현에서, 환경 정보는 시간 정보, 위치 정보, 기상 정보, 온도 정보 및 습도 정보 중 적어도 하나를 포함한다. 실시예에서, 환경 정보는 감정 자극 소스 정보로 사용될 수 있다. 환경 정보는 감정 표현 정보를 수집하는 동안 획득될 수 있는 현재 환경과 관계된 정보일 수 있다. 현재 환경과 관계된 정보는 획득된 감정 표현 정보와 연관된, 시간 정보, 지리적 정보 및 현재 기상, 온도 및 습도와 같은 기후 정보를 포함할 수 있다. 환경 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보에 의해 특징지어질 수 있다. 예를 들어, 파란 하늘을 묘사한 사진은, 사진이 기상 정보 "맑음(sunny)"을 포함하기 때문에 감정 자극 소스 정보로 사용될 수 있다.
앞에서 언급된 멀티미디어 정보, 환경 정보 및 생리적 정보 중 두 개 또는 세 개의 정보는, 두 개 또는 세 개의 정보가 감정의 변화를 야기하면 감정 자극 소스 정보로 사용될 수 있음이 지적되어야 한다. 대안으로, 사용자가 전술한 정보 중 하나를 감정 자극 소스 정보가 되도록 선택할 수 있다. 예를 들어, 단말은 현재 수집된 감정 표현 정보에 따라 사용자의 현재 감정이 슬픔임을 결정하고, 단말의 동작 상태를 검출함으로써, 현재 재생되는 것이 "Butterfly Lovers"라는 제목의 영화임을 결정하고, 인터넷을 통한 기상 예보 웹사이트로부터 현재 기상 정보가 보슬비(light rain)임을 결정하고, 그리고 생리적 신호 센서에 의해 획득된 온도 신호에 따라 사용자의 현재 체온이 정상 체온보다 높음을 결정한다. 세 개의 정보 모두 사용자에게 슬픔을 느끼게 하는 감정 자극 소스 정보로 사용될 수 있다. 대안으로, 사용자는 세 개의 정보 모두를 수신할 수 있고, 하나 또는 그 이상의 정보를 감정 자극 소스 정보로 선택할 수 있다. 예를 들어, 만일 사용자가 비 오는 날을 좋아한다면, 사용자는 보슬비를 지시하는 기상 정보를 슬픔을 야기하는 감정 자극 소스 정보로 선택하지 않을 것이다.
두 개 또는 그 이상의 정보가 감정 자극 소스 정보로 선택될 때, 멀티미디어 정보, 환경 정보 및 생리적 신호 정보는 단순히 또는 감정 자극 소스 정보로 열거될 수 있다. 대안으로, 정보는 논리적으로 분석될 수 있고, 분석 결과는 감정 자극 소스 정보로 사용될 수 있다. 예를 들어, 만일 획득된 시간 정보가 사용자의 생일이고, 사용자가 그의 생일을 그의 친구들과 함께 축하하는 것을 나타내는 비디오 정보가 수집되면, "my friends celebrate my birthday"에 대해 관계된 텍스트 또는 음성이 시간 정보 및 비디오 정보의 논리적 분석에 따라 감정 자극 소스 정보로 사용될 수 있다.
단계 503에서, 감정 표현 정보 및 감정 자극 소스 정보는 연관되며 저장된다.
실시예의 대체 구현에서, 감정 표현 유형 및 감정 강도는 감정 자극 소스 정보와 연관되고, 연관된 감정 표현 유형, 감정 강도 및 감정 자극 소스 정보가 저장된다. 실시예에서, 감정 표현 정보가 저장될 때, 감정 표현 정보에 의해 획득된 감정 유형 및 감정 강도는 감정 자극 소스 정보와 연관될 수 있고, 저장될 수 있다. 그것과 같이, 사용자는 특정한 감정 유형 및 감정 강도를 획득할 수 있고, 또는 감정 유형들에 따라 수집된 감정들 모두를 분류할 수 있다.
실시예의 대체 구현에서, 감정 강도는 정규화(normalization)될 수 있다. 구체적으로, 다른 사용자들은 다른 방식들로 그들 자신의 감정들을 표현한다. 예를 들어, 외향적인 사람은 그의 감정들을 보이는 것을 개의치 않는다. 그는 행복을 느끼면 웃을 것이고, 슬픔을 느끼면 울 것이다. 그에 반해, 내향적인 사람은 다소 침착하다. 그는 행복을 느끼면 단지 미소 지을 것이고, 슬픔을 느끼면 눈물을 흘릴 것이다. 따라서, 더 정확한 방식으로 모든 사용자의 감정 변화를 묘사하기 위해, 감정 강도가 정규화될 수 있다. 구체적으로, 동일한 감정 유형의 감정들에 대해, 사용자에 의해 표현되는 가장 강한 감정 강도가 최대값(MAX)으로 설정되고, 사용자에 의해 표현되는 가장 침착한 감정 강도는 최소값(MIN)으로 설정되고, 다른 감정 레벨들(X)은 MAX 및 MIN에 기초하여 정규화될 수 있다. 예를 들어, 정규화된 감정 강도(X')는 공식 X' = (X - MIN) / (MAX - MIN)에 따라 계산될 수 있다. 이런 방식으로, 각 사용자의 감정 강도가 정규화에 의해 0에서 1 사이의 범위에 속할 수 있음이 보장되어, 다른 사용자의 감정 강도들을 표현하는 효과가 동일함을 보장한다.
실시예의 대체 구현에서, 현재 감정의 감정 유형이 미리 설정된 샘플링 시간 구간에서 변화되지 않고 유지될 때, 현재 감정의 감정 강도가 저장된 감정 강도보다 크면, 저장된 감정 표현 정보 및 저장된 감정 자극 소스 정보는 각각 현재 감정의 감정 표현 정보 및 현재 감정의 감정 자극 소스 정보로 교체된다. 구체적으로, 감정 표현 정보와 감정 자극 소스 정보의 연관 및 연관된 정보의 저장 후에, 그리고 현재 감정의 감정 유형이 미리 설정된 샘플링 구간(예를 들어, 10분)에서 변화되지 않고 유지되며, 감정 강도가 범위 내에서 변동하면, 오직 최대 감정 강도에 대응하는 감정 표현 정보 및 관계된 감정 자극 소스 정보가 저장되어, 사용자의 감정 상태를 충분히 반영할 뿐 아니라 요구되는 저장 공간을 감소시킨다.
실시예의 적용 장면에서, 사용자의 감정 유형이 침착에서 행복으로 변화하면, 변화가 일어난 시간에 획득된 감정 표현 정보 및 감정 자극 소스 정보가 연관되고, 저장되며, 이 시간에서 감정 강도의 값이 60%로 저장될 수 있다. 하나의 경우에, 사용자의 감정 유형이 다음 10분 후에 행복으로 유지되고, 감정 강도의 값이 변하면, 예를 들어, 7분에서 감정 강도의 값이 70%로 변하면, 이전에 저장된 정보는 7분에서 획득된 감정 표현 정보 및 감정 자극 소스 정보로 교체된다; 다른 경우에, 7분에서 감정 강도의 값이 95%로 증가하면(즉 변화의 크기가 미리 설정된 크기 임계값, 예를 들어, 30%보다 큰 35%임), 7분에서 획득된 감정 표현 정보 및 감정 자극 소스 정보가 연관되고 저장되며, 반면, 이전에 저장된 정보는 여전히 보존된다.
실시예의 대체 구현에서, 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보는 공유되고, 디스플레이된다. 실시예에서, 사용자는 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보를 유선 또는 무선 방식으로 공유할 수 있고, 예를 들어, 사용자는 소셜 플랫폼상에 정보를 게재할 수 있고, 또는 어떤 연락 가능한 사람에게 정보를 보낼 수 있다. 대안으로, 사용자는 사용자의 단말상에 정보를 디스플레이할 수 있다. 게다가, 사용자는 등록된 사용자의 식별자(identity: ID)에 의해 시스템에 로그인할 수 있고, 그 시스템에서는 다른 플랫폼들의 다양한 단말들을 통해 정보가 저장되고, 저장된 감정 표현 정보 및 감정 자극 소스 정보가 브라우징되다. 사용자의 ID를 등록할 때 사용자는 사용자의 생물학적 정보 및 사용자의 ID를 묶을 수 있어, 단말이 현재 사용자를 자동으로 식별할 수 있고, 관계된 시스템에 로그인할 수 있다.
실시예의 대체 구현에서, 데이터 분석이 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보에 수행되고, 분석 결과는 공유되거나 또는 디스플레이된다. 실시예에서, 데이터 분석은 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보에 대해 수행될 수 있고, 주로 감정의 변동 및 변동을 야기하는 원인들에 초점을 맞춰 수행될 수 있다. 구체적으로, 저장된 감정 표현 정보와 같이 관계된 정보는 감정 유형, 자극 소스(시간, 장소, 사람)에 기초하여 분석될 수 있고, 분석 결과는 텍스트, 차트, 슬라이드들 또는 한 곡의 오디오의 형태로 디스플레이되거나 공유된다. 예를 들어, 시간 구간 동안 감정 변화들을 보여주는 그래프가 표현될 수 있다. 대안으로, 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보는 슬라이드 파일이 되도록 형성될 수 있다. 그 후, 그래프 또는 슬라이드 파일은 공유될 수 있거나 디스플레이될 수 있다.
실시예의 대체 구현에서, 데이터 분석은 감정 표현 정보 및 연관된 감정 자극 소스 정보에 대해 수행되고, 감정 관리 추천 정보가 데이터 분석 결과에 따라 출력된다. 실시예에서, 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보를 분석한 후, 감정 관리 추천 정보가 데이터 분석 결과에 따라 입력될 수 있다. 예를 들어, 데이터 분석에 의해, 사용자의 감정이 시간 구간에서 화남이고, 화를 야기한 원인들이 사소한 것임을 알아내면, 감정 관리 추천 정보는 사용자에게 그의 기분을 조절할 것, 화가 나기 쉬운 감정을 제어할 것을 상기시킬 수 있고, 그리고 사용자가 좋은 기분이 되도록 도울 수 있는 몇몇 비결들을 제공할 수 있다.
도 7a는 실시예의 다른 적용 장면의 도식도이다. 도 7a에 도시된 것과 같이, 도표(702)가 단말(701)상에 보여지고, 도표(702)에서 히스토그램은 사용자의 기쁨의 변화 정도를 나타내고, 히스토그램의 각 컬럼들은 기쁨에 대한 기록을 나타내고, 컬럼의 높이는 사용자의 기쁨의 강도 정도를 나타낸다. 사용자가 어떤 기쁜 감정의 특정 조건을 더 알기 원하면, 사용자는 히스토그램의 맨 위에 있는 스타 패턴(703)을 클릭할 수 있다. 도 7b에 도시된 것과 같이, 단말은 사용자의 기쁜 감정의 감정 표현 정보, 즉 사용자의 미소 진 얼굴(704) 및 사용자의 기쁜 감정을 야기한 감정 자극 소스 정보, 즉 SMS(705)를 포함하는, 이 기쁜 감정에 대한 특정 정보를 보여줄 것이다. 도 7b로부터, 사용자는 그때 그의 기쁜 감정을 볼 수 있을 뿐 아니라, 그가 기뻤던 원인이 그가 승진했음을 그에게 알리는 메시지를 수신했기 때문임을 회상할 수 있다.
실시예에서, 위 흐름도에서 단계 501 및 단계 503은 각각 전술한 실시예에서 단계 201 및 단계 203과 동일하므로, 상세하게 설명하지 않을 것이다.
도 2에 도시된 실시예와 비교하면, 도 5의 실시예에서 감정들을 모니터링하기 위한 방법은 감정 자극 소스 정보를 획득하는 예시적인 구현을 더 상세하게 보여줌을 알 수 있다. 구체적으로, 사용자의 현재 감정의 감정 표현 정보가 먼저 획득된다. 다음 현재 감정의 감정 자극 소스 정보는 현재 수집된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나에 따라 결정된다. 그 후에, 감정 표현 정보 및 감정 자극 소스 정보는 연관되며, 저장된다. 실시예에서, 감정 자극 소스 정보는 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보에 따라 결정되고, 그러한 방식으로 획득된 감정 자극 소스 정보는 감정 변화들을 일으키는 가능한 거의 모든 자극 소스 정보를 포함한다. 따라서, 이와 같이 획득된 자극 소스들은 더 종합적이어서, 감정을 모니터링하는 정확도를 더 향상시킨다.
도 8은 또 다른 실시예에 따라 감정을 모니터링하기 위한 방법을 나타내는 흐름도(800)를 도시한다. 감정들을 모니터링하기 위한 방법은 다음 단계들을 포함한다.
단계 801에서, 미리 설정된 감정 모니터링 프로그램이 실행됨이 검출되면, 사용자의 감정 표현 정보 및 감정 자극 소스 정보가 획득되며, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보가 획득된다.
실시예에서, 감정 모니터링 프로그램은 감정들을 모니터링하기 위해 설계된 프로그램 또는 단문 메시지 프로그램과 같은 일반 프로그램일 수 있고, 일반 프로그램이 실행되도록 설정될 때, 단말이 감정 관계 정보를 수집할 수 있도록 단말에 구현된 프로그램일 수 있다. 따라서, 미리 설정된 감정 모니터링 프로그램이 실행되면, 단말은 사용자의 현재 감정의 감정 표현 정보 및 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 능동적으로 획득할 수 있다.
연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 획득하기 전, 연관된 사용자의 생물학적 정보가 기록될 수 있어, 생물학적 정보에 따라 현재 수집된 다양한 정보로부터 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 식별할 수 있음이 지적되어야만 한다.
실시예의 적용 장면에서, 사용자 A에 의해 촬영된 셀피(selfie)가 사용자 A의 미소 진 얼굴 및 배경에서 사용자 B의 미끄러짐(slipping) 및 무서운 감정을 포함하며, 사용자 A가 사용자 B를 사용자 A의 연관된 사용자로 설정해 놓은 경우, 단말은 사용자 A의 감정 표현 정보, 즉 미소 진 얼굴을 획득할 수 있을 뿐 아니라, 사용자 B의 감정 표현 정보, 즉 무서운 감정 및 사용자 B의 감정 자극 소스 정보, 즉 미끄러짐(slipping)을 획득할 수 있다.
실시예에서, 현재 감정의 감정 표현 정보를 위에서 획득하는 것과 유사하게, 단말은 감정 자극 소스 정보를 수집할 수 있고, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 획득할 수 있고, 감정 모니터링 프로그램이 실행됨이 검출되면, 사용자의 감정 표현 정보 및 감정 자극 소스 정보가 획득되고, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보가 획득된다. 이 실시예에서, 연관된 사용자 B의 미소 진 얼굴은 사용자 A의 감정 자극 소스 정보일 수 있고, 이 미소 진 얼굴은 연관된 사용자 B의 감정 표현 정보이다.
단계 802에서, 현재 감정의 감정 표현 정보 및 감정 자극 소스 정보는 연관되며 저장된다.
단계 803에서, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보는 연관된 사용자와 공유된다.
실시예에서, 단계 801에서 단말이 연관된 사용자의 감정 표현 정보를 획득하면, 단말은 상기 정보를 기록할 수 있고, 상기 정보를 연관된 사용자와 유선 또는 무선 방식으로 공유할 수 있다. 공유 전, 현재 사용자가 감정 표현 정보를 연관된 사용자와 공유할지 여부를 선택 가능하도록 하기 위해, 단말은 또한 프롬프팅(prompting) 메시지를 출력할 수 있다.
실시예의 대체 구현에서, 연관된 사용자의 감정 표현 정보에 대응하는 감정 자극 소스 정보가 획득되면, 연관된 사용자의 감정 표현 정보 및 대응하는 감정 자극 소스 정보는 연관된 사용자와 공유될 것이다. 실시예에서, 연관된 사용자의 감정 표현 정보가 획득될 때, 감정 표현 정보에 대응하는 감정 자극 소스 정보는 정확하게 획득되지 않을 수도 있다. 그런 상황하에서는, 감정 표현 정보만이 공유될 것이다. 그렇지 않으면, 대응하는 감정 자극 소스 정보와 함께 감정 표현 정보가 공유될 것이다.
도 9는 실시예의 적용 장면의 도식도이다. 도 9에 도시된 것과 같이, 단말(901)은 막 촬영된 그룹 사진(902)을 디스플레이한다. 얼굴 인식 기술에 의해, 현재 사용자 A의 미소 진 얼굴(903)뿐 아니라, 사용자 A의 친구, 즉 연관된 사용자 B의 미소 진 얼굴(904)이 존재함이 판별될 수 있다. 그러한 것과 같이, 단말(901)은 사용자 A에게 사용자 B와 사진을 공유할지 여부를 결정하도록 촉구하는 프롬프팅 메시지(905)를 출력할 수 있다.
단계 804에서, 연관된 사용자의 감정 표현 정보 및 감정 자극 소스 정보가 수신된다.
실시예에서, 단말은 또한 현재 사용자와 관계되며, 연관된 사용자와 공유되는 감정 표현 정보 및 감정 자극 소스 정보를 수신할 수 있다. 수신 전에, 단말은 또한 현재 사용자가 감정 표현 정보 및 감정 자극 소스 정보의 수신 여부를 선택하도록 촉구하는 프롬프팅 메시지를 출력할 수 있다.
단계 805에서, 연관된 사용자의 감정 표현 정보 및 감정 자극 소스 정보는 저장된 감정 표현 정보 및 감정 자극 소스 정보와 결합된다.
실시예에서, 연관된 사용자에 의해 공유된, 감정 표현 정보 및 감정 자극 소스 정보를 수신한 후, 단말은 각 정보가 생성된 시간 순서(time sequence) 및/또는 위치 정보에 따라 수신된 정보를 저장된 정보와 결합할 수 있다.
실시예의 한 적용 장면에서, 단말은 음향 센서를 통해 현재 사용자 A의 웃음 소리 및 노래 X의 멜로디를 수집하고, 이미지 센서를 통해 연관된 사용자 B의 춤추는 행동 및 미소 진 얼굴을 수집한다. 수집된 오디오 정보 및 이미지 정보의 데이터 분석을 통해, 사용자 A의 감정 표현 정보는 웃음 소리이고 및 사용자 A의 감정 자극 소스 정보는 사용자 B의 춤추는 행동이고, 그리고 사용자 B의 감정 표현 정보는 미소 진 얼굴이며, 사용자 B의 감정 자극 소스 정보는 노래 X의 멜로디임이 결정될 수 있다. 보여지는 것과 있듯이, 현재 사용자 및 연관된 사용자의 감정 표현 정보 및 감정 자극 정보는 함께 혼합될 수 있다. 실제로, 다른 감정 관계 정보는 다른 적용 장면들에 따라 구별될 수 있다.
사용자 B가 연관된 사용자 A에 의해 공유되며, 사용자 B 자신과 관계된 감정 표현 정보 및 감정 자극 소스 정보를 수신하면, 수신된 정보는 단말에 저장된 정보와 결합될 수 있다.
하나의 가능한 구현에서, 수신된 감정 관계 정보가 생성되는 시간이 획득될 수 있고, 수신된 감정 관계 정보는 대응하는 시간에 관계된 정보로 저장된다. 예를 들어, 하루에 저장된 사용자 B의 감정 표현 정보는 9시에 생성된 감정 표현 정보 X 및 11시에 생성된 감정 표현 정보 Y를 포함한다. 사용자 B가 10시에 생성되며, 연관된 사용자 A에 의해 공유되는 감정 표현 정보 Z를 수신하면, 정보 Z는 사용자 B의 감정 표현 정보로 저장될 수 있다. 게다가, 사용자 B가 9시에 생성된 다른 감정 표현 정보 M을 수신하면, 수신된 정보 M 및 이전에 저장된 정보 X가 함께 9시에 생성된 감정 표현 정보로 사용된다; 대안으로, 정보 M 및 정보 X의 공통된 감정 표현 특징이 9시의 감정 표현 정보로 형성되도록 추출될 수 있다.
다른 가능한 구현에서, 수신된 감정 관계 정보가 생성된 장소를 지시하는 위치 정보가 획득될 수 있고, 감정 관계 정보는 동일한 위치에서 생성된 다른 저장된 정보와 결합된다. 예를 들어, 사용자 B의 저장된 감정 자극 소스 정보는 위치 1에서 생성된 감정 자극 소스 정보 N이다. 사용자 B가 위치 2에서 생성되며, 연관된 사용자 A에 의해 공유되는 감정 자극 소스 정보 P를 수신하면, 정보 P는 사용자 B의 감정 자극 소스 정보로 저장될 수 있다. 게다가, 사용자 B가 위치 1에서 생성된 다른 감정 표현 정보 Q를 수신하면, 수신된 정보 Q 및 이전에 저장된 정보 N은 모두 위치 1에서 생성된 감정 표현 정보로 사용된다.
다른 가능한 구현에서, 수신된 감정 관계 정보가 생성된 시간 및 장소 각각에 관한 시간 정보 및 위치 정보는 동시에 획득될 수 있고, 동일한 위치에서 생성된 감정 관계 정보는 시간 링크들에 따라 결합된다.
도 2에 도시된 실시예와 비교하면, 실시예의 감정들을 모니터링하기 위한 방법은 연관된 사용자의 감정 표현 정보 및 감정 자극 소스 정보를 획득하는 예시적인 구현을 더 상세하게 서술한다. 구체적으로, 단말은 현재 사용자의 감정 관계 정보를 수집하는 동안 연관된 사용자의 감정 관계 정보를 수집할 수 있으며, 이를 연관된 사용자와 공유할 수 있다. 게다가, 단말은 연관된 사용자로부터 전송된 감정 관계 정보를 수신할 수 있다. 실시예는 감정 관계 정보가 획득될 수 있는 소스를 넓혀, 감정들을 모니터링하는 범위를 더 향상시킨다.
도 10은 일 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도를 도시한다. 도 10에 도시된 것과 같이, 실시예의 감정들을 모니터링하기 위한 장치는: 표현 정보 획득 모듈(1010), 자극 정보 획득 모듈(1020), 그리고 연관 및 저장 모듈(1030)을 포함한다.
표현 정보 획득 모듈(1010)은 사용자의 현재 감정의 감정 표현 정보를 획득하도록 구성된다;
자극 정보 획득 모듈(1020)은 현재 감정의 감정 자극 소스 정보를 획득하도록 구성된다;
연관 및 저장 모듈(1030)은 표현 정보 획득 모듈(1010)에 의해 획득된 감정 표현 정보를 자극 정보 획득 모듈(1020)에 의해 획득된 감정 자극 소스 정보와 연관시키도록 구성되고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장하도록 구성된다.
본 출원의 전술한 실시예는 감정들을 모니터링하기 위한 장치를 제공한다. 사용자의 현재 감정의 감정 표현 정보는 표현 정보 획득 모듈에 의해 획득되고, 현재 감정의 감정 자극 소스 정보는 자극 정보 획득 모듈에 의해 획득되며, 감정 표현 정보 및 감정 자극 소스 정보는 연관 및 저장 모듈에 의해 연관되고 저장된다. 장치는 사용자의 감정 표현 및 감정 표현을 야기한 자극 소스 정보 모두를 기록할 수 있어, 감정들을 모니터링하는 범위를 넓히며, 감정 표현의 추적성을 보장한다.
실시예의 대체 구현에서, 도 11에 도시된 것과 같이, 표현 정보 획득 모듈(1010)은 현재 수집된 멀티미디어 정보 및/또는 생리적 신호 정보에 따라 사용자의 현재 감정의 감정 표현 정보를 결정하기 위한 표현 정보 획득 서브모듈을 더 포함한다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는 현재 감정의 변화를 검출하기 위한, 도면들에서 도시되지 않은 변화 검출 모듈을 더 포함한다. 현재 감정의 변화가 일어남을 검출하면, 연관 및 저장 모듈(1030)은 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장한다.
실시예의 대체 구현에서, 현재 감정의 변화는 감정 유형 변화 또는 감정 강도 변화를 포함한다.
실시예의 대체 구현에서, 감정 강도 변화는 미리 설정된 임계값에 도달하는 감정 강도 변화의 크기를 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는 감정 표현 정보의 정보 변환을 수행하기 위한, 도면들에서 도시되지 않은 표현 정보 변환 모듈을 더 포함한다.
전술한 연관 및 저장 모듈(1030)은 변환된 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장하기 위한 연관 및 저장 서브모듈을 포함한다.
실시예의 대체 구현에서, 감정 표현 정보는 텍스트 정보, 이미지 정보, 오디오 정보, 비디오 정보 및 생리적 신호 정보 중 적어도 하나를 포함한다.
도 10에 도시된 실시예와 비교하면, 도 11에 도시된 실시예의 감정들을 모니터링하기 위한 장치는 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장하기 위한 트리거를 더 결정하여, 저장된 감정 관계 정보가 감정 변화의 상태를 효과적으로 특징지어지게 하고, 감정들을 모니터링하는 효율을 향상시킨다.
실시예의 대체 구현에서, 도 12에 도시된 것과 같이, 전술한 자극 소스 정보 획득 모듈(1020)은 현재 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나에 따라 현재 감정의 감정 자극 소스 정보를 결정하기 위한 자극 소스 정보 획득 서브모듈(1021)을 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하도록 구성된다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 오디오 정보, 오디오 정보로부터 유도된 속성 정보, 오디오 정보의 미리 설정된 시간 구간에서 오디오 세그먼트 및 오디오 정보로부터 유도된 시맨틱 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하기 위한, 도면들에서 도시되지 않은 오디오 정보 유닛을 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 비디오 정보, 비디오 정보로부터 유도된 속성 정보, 비디오 정보의 미리 설정된 시간 구간에서 비디오 세그먼트, 비디오 정보로부터 유도된 시맨틱 정보, 비디오 정보로부터 유도된 이벤트 정보, 비디오 정보로부터 유도된 개인 정보, 비디오 정보로부터 유도된 스크린샷 정보 및 비디오 정보로부터 유도된 오디오 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하기 위한, 도면들에서 도시되지 않은 비디오 정보 유닛을 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 이미지 정보, 이미지 정보로부터 유도된 이벤트 정보 및 이미지 정보로부터 유도된 개인 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하기 위한, 도면들에서 도시되지 않은 이미지 정보 유닛을 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 텍스트 정보 및 텍스트 정보로부터 유도된 시맨틱 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하기 위한, 도면들에서 도시되지 않은 텍스트 정보 유닛을 포함한다.
본 구현의 대체 실시예에서, 생리적 신호 정보는 사용자의 현재 생리적 신호 정보 또는 현재 생리적 신호 정보로부터 유도된 건강 정보를 포함한다.
실시예의 대체 구현에서, 환경 정보는 시간 정보, 위치 정보, 기상 정보, 온도 정보 및 습도 정보 중 적어도 하나를 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는, 현재 감정의 감정 유형 및 감정 강도를 감정 표현 정보와 연관시키고, 연관된 감정 유형, 감정 강도 및 감정 자극 소스 정보를 저장하기 위한, 도면들에서 도시되지 않은 감정 저장 모듈을 더 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는 감정 강도를 정규화하기 위한 정규화 모듈을 더 포함한다.
실시예의 대체 구현에서, 상기 장치는, 현재 감정의 감정 유형이 미리 설정된 샘플링 시간 구간에서 변화되지 않고 유지되며, 현재 감정의 감정 강도가 저장된 감정 강도보다 크면, 저장된 감정 표현 정보 및 저장된 감정 자극 소스 정보를 현재 감정의 감정 표현 정보 및 현재 감정의 감정 자극 소스 정보로 각각 교체하기 위한, 도면들에서 도시되지 않은 감정 업데이트 모듈을 더 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는, 감정 모니터링 프로그램의 실행을 검출하기 위한, 도면들에서 도시되지 않은 프로그램 검출 모듈을 더 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는, 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보를 공유 또는 디스플레이하기 위한, 도면들에서 도시되지 않은 디스플레이 및 공유 모듈; 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보에 대해 데이터 분석을 수행하고, 데이터 분석 결과를 공유 또는 디스플레이하기 위한, 도면들에서 도시되지 않은 데이터 분석 모듈; 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보 에 대해 데이터 분석을 수행하고, 데이터 분석 결과에 따라 감정 관리 추천 정보를 출력하기 위한, 도면들에서 도시되지 않은 감정 추천 모듈을 더 포함한다.
실시예의 감정들을 모니터링하기 위한 장치는, 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보에 따라 감정 자극 소스 정보를 결정하고, 그러한 방식으로 획득된 감정 자극 소스 정보는 감정 변화들을 야기하는 가능한 거의 모든 자극 소스 정보를 포함하고, 이와 같이 획득된 자극 소스들은 더 종합적이어서, 감정을 모니터링하는 정확도를 더 향상시킨다.
실시예의 대체 구현에서, 도 13에 도시된 것과 같이, 전술한 감정들을 모니터링하기 위한 장치는, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 획득하기 위한 연관 감정 획득 모듈(1040) 및 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 공유하기 위한 연관 감정 공유 모듈(1050)을 더 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는, 연관된 사용자에 의해 공유되는 감정 표현 정보 및 감정 자극 소스 정보를 수신하기 위한 감정 수신 모듈(1060), 그리고 감정 수신 모듈(1060)에 의해 수신되며, 연관된 사용자에 의해 공유되는 감정 표현 정보 및 감정 자극 소스 정보를 저장된 감정 표현 정보 및 저장된 감정 자극 소스 정보와 결합하기 위한 감정 결합 모듈(1070)를 더 포함한다.
실시예의 감정들을 모니터링하기 위한 장치는, 현재 사용자의 감정 관계 정보로부터 수집된 연관된 사용자의 감정 관계 정보를 획득할 수 있고, 이를 연관된 사용자와 공유할 수 있다. 게다가, 상기 장치는 연관된 사용자로부터 전송된 감정 관계 정보를 수신할 수 있다. 실시예는 감정 관계 정보가 획득될 수 있는 소스를 넓혀, 감정들을 모니터링하는 범위를 더 향상시킨다.
앞의 실시예들에서 설명된 모듈들은 소프트웨어 또는 하드웨어에 구현되거나, 또는 프로세서에 배치될 수 있다. 예를 들어, 프로세서는 표현 정보 획득 모듈, 자극 소스 정보 획득 모듈 및 연관 및 저장 모듈을 포함하는 것이 설명될 수 있다. 일부 상황들 하에서, 각 모듈의 이름은 모듈 자체를 제한하지 않는다. 예를 들어, 표현 정보 획득 모듈은 또한 "사용자의 현재 감정의 감정 표현 정보를 획득하기 위해 사용되는 모듈"로 설명될 수 있다.
도 14는 일부 실시예에 따른 전자 장치(1000)의 구성도를 도시한다. 전자 장치(1000)는 전술한 도면들에서 설명한 감정을 모니터링하는 장치의 구현예일 수 있고, 전술한 내용이 모두 적용될 수 있다. 전자 장치(1000)는 스마트 폰, 스마트 TV, 태블릿 컴퓨터, 포터블 랩탑 컴퓨터, 데스크탑 컴퓨터, 웨어러블 디바이스 등과 같은 다양한 전자 장치일 수 있다.
도 14를 참고하면, 전자 장치(1000)는 메모리(1700), 디스플레이부(1210) 및 제어부(1300)를 포함한다.
제어부(1300)는 전자 장치(1000)의 전반적인 동작을 제어하며, 전자 장치(1000)의 동작에 필요한 각종 데이터를 처리할 수 있다. 전술한 도면들에서 설명한 감정을 모니터링하는 장치의 동작의 제어나, 그 동작에 필요한 데이터 처리는 모두 제어부(1300)에서 수행될 수 있다. 따라서 전술된 내용은 특별히 언급하지 않더라도 도 14의 전자 장치(1000)에 적용 가능하다. 제어부(1300)는 CPU, 마이크로 프로세서, GPU 등을 포함할 수 있다. 제어부(1300)는 전술한 도면들에 도시된 모듈들을 포함할 수 있다.
제어부(1300)는 사용자의 감정을 나타내는 감정 표현 정보를 획득할 수 있다. 제어부(1300)는 감정의 원인을 나타내는 감정 자극 소스 정보를 획득할 수 있다. 제어부(1300)는 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 감정 자극 소스 정보를 메모리(1700)에 저장할 수 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보를 상기 디스플레이부(1210)에 디스플레이할 수 있다. 제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보가 획득된 시간에 대한 시간 정보를 감정 표현 정보 및 감정 자극 소스 정보와 함께 연관시켜 메모리(1700)에 저장할 수 있다.
제어부(1300)는 시간에 따른 사용자의 감정을 나타내는 콘텐트를 디스플레이부(1210)에 디스플레이할 수 있다. 콘텐트는 시간에 따른 감정을 나타내는 텍스트, 차트, 슬라이드, 그래프 등 다양할 수 있다. 시간에 따른 사용자의 감정을 나타내는 콘텐트의 예는 도 7a에서 설명하였다.
사용자 입력에 의해 콘텐트에서 특정 시간이 선택되면, 제어부(1300)는 선택된 시간과 관계된 감정 표현 정보 및 감정 자극 소스 정보를 디스플레이부(1210)에 디스플레이할 수 있다. 전자 장치(1000)는 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함할 수 있다.
전술한 도 7a에서와 같이 시간에 따른 사용자의 감정을 나타내는 콘텐트에서 특정 시간을 선택하는 사용자 입력이 수신되면, 도 7b와 같이 디스플레이(1210)부의 화면이 전환될 수 있다. 즉, 제어부(1300)는 선택된 시간과 관계된 감정 표현 정보 및 감정 자극 소스 정보를 디스플레이부(1210)에 디스플레이할 수 있다.
제어부(1300)는 멀티미디어 정보, 환경 정보 및 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 감정 자극 소스 정보를 획득할 수 있다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함할 수 있다.
제어부(1300)는 멀티미디어 정보 및 생리적 신호 정보 중 적어도 하나에 기초하여 감정 표현 정보를 획득할 수 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보를 메모리(1700)에 저장한 후, 사용자의 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링할 수 있다. 모니터링 결과, 감정 유형은 변하지 않고, 감정 강도의 변화가 제1 임계값보다 커지면, 제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보를 업데이트할 수 있다. 제어부(1300)는 메모리(1700)에 이전에 저장된 감정 표현 정보 및 감정 자극 소스 정보를 업데이트된 감정 표현 정보 및 감정 자극 소스 정보로 교체할 수 있다. 만일, 감정 강도의 변화가 제1 임계값보다 큰 제2 임계값보다 크다면, 제어부(1300)는 메모리(1700)에 이전에 저장된 감정 표현 정보 및 감정 자극 소스 정보를 보존하고, 업데이트된 감정 표현 정보 및 감정 자극 소스 정보를 메모리(1700)에 새로 저장할 수도 있다.
제어부(1300)는 감정 강도를 정규화할 수 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득할 수 있다.
도 15는 도 14의 전자 장치(1000)의 또 다른 구성을 나타내는 블록도이다. 도 15에 도시된 전자 장치(1000)의 구성은 전술한 감정을 모니터링하기 위한 장치들에 모두 적용될 수 있다.
도 15를 참고하면, 전자 장치(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 및 통신부(1500)를 포함할 수 있다. 그러나, 도 15에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니다. 도 15에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 도 15에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.
전자 장치(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 및 통신부(1500) 이외에 센싱부(1400), A/V 입력부(1600), 및 메모리(1700)를 더 포함할 수도 있다.
제어부(1300)는 사용자의 감정을 나타내는 감정 표현 정보를 획득할 수 있다. 제어부(1300)는 감정의 원인을 나타내는 감정 자극 소스 정보를 획득할 수 있다. 제어부(1300)는 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 감정 자극 소스 정보를 메모리(1700)에 저장할 수 있다.
제어부(1300)는 멀티미디어 정보, 환경 정보 및 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 감정 자극 소스 정보를 획득할 수 있다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함할 수 있다.
제어부(1300)는 멀티미디어 정보 및 생리적 신호 정보 중 적어도 하나에 기초하여 감정 표현 정보를 획득할 수 있다.
제어부(1300)는, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600)를 통해 멀티미디어 정보, 환경 정보, 사용자의 생리적 신호 정보 중 적어도 하나를 회득할 수 있다.
멀티미디어 정보는 사용자 입력부(1100) 또는 통신부(1500)를 통해 수신된 것일 수 있고, 출력부(1200)에 출력된 것일 수 있다. 또한, 멀티미디어 정보는 A/V 입력부(1600)를 통해 획득된 것일 수도 있다. 환경 정보나 사용자의 생리적 신호 정보는 센싱부(1400)에서 획득된 것일 수 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는, 사용자에 의해 입력되는 멀티미디어 정보를 수신할 수 있다. 제어부(1300)는 사용자 입력부(1100)를 통해 수신된 멀티미디어 정보에 기초하여 사용자의 감정에 대한 감정 표현 정보 및 감정 자극 소스 정보를 획득할 수 있다.
사용자 입력부(1100)는, 감정 모니터링 수행을 지시하는 명령을 수신할 수도 있다. 구체적으로, 사용자 입력부(1100)는 사용자에 의해 감정 모니터링 프로그램 실행을 지시하는 명령을 수신할 수 있다. 명령을 수신한 후, 전자 장치(1000)는 감정을 모니터링하는 동작을 수행할 수 있다.
출력부(1200)는, 오디오 정보 또는 비디오 정보 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다. 제어부(1300)는 출력부(1200)가 출력하는 오디오 정보 또는 비디오 정보에 기초하여 사용자의 감정에 대한 감정 표현 정보 및 감정 자극 소스 정보를 획득할 수 있다.
출력부(1200)는 감정 표현 정보 및 감정 자극 소스 정보를 출력할 수 있다. 또한, 출력부(1200)는 감정 관리 추천 정보를 출력할 수도 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 장치(1000)의 구현 형태에 따라 전자 장치(1000)는 디스플레이부(1210)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(1210)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보를 디스플레이부(1210)에 디스플레이할 수 있다. 제어부(1300)는 시간에 따른 사용자의 감정을 나타내는 콘텐트를 디스플레이부(1210)에 디스플레이할 수 있다.
사용자 입력부(1100)는 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신할 수 있다. 제어부(1300)는 선택된 시간과 관계된 감정 표현 정보 및 감정 자극 소스 정보를 디스플레이부(1210)에 디스플레이할 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 정보를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1220)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(1230)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1230)는 오디오 정보 또는 비디오 정보(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
제어부(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어할 수 있다. 제어부(1300)는 전술한 도면들의 전자 장치(예를 들어, 도 1의 100)의 동작을 수행하기 위하여 전자 장치(1000)를 제어할 수 있다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태 또는 사용자의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
센싱부(1400)는 감정 표현 정보 또는 감정 자극 소스 정보 획득에 이용되는 환경 정보를 획득할 수 있다. 환경 정보는 시간 정보, 위치 정보, 기상 정보, 온도 정보 및 습도 정보 중 적어도 하나를 포함한다.
센싱부(1400)는 사용자의 생리적 신호 정보를 획득하는 생리적 신호 센서를 더 포함할 수 있다. 생리적 신호 센서는 예를 들어 심박동수(heart rate), 심전도(electrocardiogram), 피부 전도도(skin conductance), 신체 온도 및 혈압 등을 획득할 수 있다.
통신부(1500)는, 클라우드, 서버 및/또는 다른 전자 장치와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 사용자와 연관된 제2 사용자는 다른 전자 장치의 사용자일 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보 중 적어도 하나인 감정 관계 정보를 사용자와 연관된 제2 사용자와 공유하도록 통신부(1500)를 제어할 수 있다.
예를 들어, 제어부(1300)는 통신부(1500)를 통해 제2 사용자가 접속할 수 있는 클라우드 또는 서버, 제2 사용자가 사용하는 제2 전자 장치 중 적어도 하나에 감정 관계 정보를 전송할 수 있다. 또한, 제어부(1300)는 제2 사용자에 의해 공유되는 감정 관계 정보를 통신부(1500)를 통해 수신할 수 있다. 이와 같이, 통신부(1500)에 의해, 전자 장치(1000)는 감정 관계 정보를 제2 사용자와 공유할 수 있다.
제어부(1300)는 멀티미디어 정보에 기초하여 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득할 수 있다. 제어부(1300)는 제2 감정 표현 정보 및 제2 감정 자극 소스 정보 중 적어도 하나를 제2 사용자와 공유하도록 통신부(1500)를 제어할 수 있다.
제어부(1300)는 제2 사용자에 의해 공유되는, 사용자의 감정을 나타내는 제3 감정 표현 정보 및 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 통신부(1500)를 통해 수신할 수 있다. 통신부(1500)는 감정 표현 정보 및 감정 자극 소스 정보를 제3 감정 표현 정보 및 제3 감정 자극 소스 정보 중 적어도 하나와 결합시킬 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 카메라(1610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 전자 장치 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
카메라(1610)는 사용자를 촬영하여 이미지 정보를 획득할 수 있다. 카메라(1610) 및 마이크로폰(1620)은 사용자를 촬영하여 비디오 정보를 획득할 수 있다. 마이크로폰(1620)은 사용자의 음성에 대한 오디오 정보를 획득할 수 있다. 이와 같이, A/V 입력부(1600)는 이미지 정보, 비디오 정보 및 오디오 정보 중 적어도 하나를 포함할 수 있는 멀티미디어 정보를 획득할 수 있다.
제어부(1300)는 A/V 입력부(1600)를 통해 획득된 멀티미디어 정보에 기초하여 감정 표현 정보나 감정 자극 소스 정보를 획득할 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
다른 측면에서, 본 출원은 컴퓨터 판독 가능 저장 매체를 더 제공하고, 이는 앞의 실시예의 장치에 포함되는 컴퓨터 판독 가능 저장 매체일 수 있고, 또는 단말에 인스톨되지 않는 별개의 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는, 본 출원의 감정을 모니터링하기 위한 방법을 구현하기 위한 하나 또는 그 이상의 프로세서에 의해 실행되는 하나 또는 그 이상의 프로그램을 저장한다.
여기에 개시된 설명들은 바람직한 실시예들이 되도록 현재 고려된 것이고, 발명의 원리를 설명하였지만, 이 기술 분야에서 통상의 지식을 가진 자에 의해 발명의 범위는 앞의 기술적 특징들 중 하나와 다른 것들 사이의 조합들로 구성된 기술적 해결책에 제한하는 것이 아니라, 발명의 범위를 벗어나지 않으면서, 앞의 기술적 특징들에 대한 유사한 기능들로, 기술적 특징들 중 하나와 다른 것들 사이의 임의의 조합으로 구성된 기술적 해결책과 같은, 앞의 기술적 특징들 또는 그와 등가물들 중 하나와 다른 것들 사이의 조합들로 구성된 다른 기술적 해결책을 포함하도록 의도된 것임이 인정될 것이다.
Claims (20)
- 메모리;
디스플레이부; 및
사용자의 감정을 나타내는 감정 표현 정보를 획득하고, 상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하고, 상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장하며,
상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이하는 제어부를 포함하는 전자 장치. - 제1항에 있어서,
상기 제어부는 시간에 따른 상기 사용자의 감정을 나타내는 콘텐트를 상기 디스플레이부에 디스플레이하는, 전자 장치. - 제2항에 있어서,
상기 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하며,
상기 제어부는 상기 선택된 시간과 관계된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이하는, 전자 장치. - 제1항에 있어서,
상기 제어부는 멀티미디어 정보, 환경 정보 및 상기 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 자극 소스 정보를 획득하고,
상기 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함하는, 전자 장치. - 제4항에 있어서,
상기 제어부는 상기 멀티미디어 정보 및 상기 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 표현 정보를 획득하는, 전자 장치. - 제4항에 있어서,
서버 및 제2 사용자가 사용하는 제2 전자 장치 중 적어도 하나와 통신하도록 구성된 통신부를 더 포함하며,
상기 제어부는 상기 멀티미디어 정보에 기초하여 상기 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득하고,
상기 제2 감정 표현 정보 및 상기 제2 감정 자극 소스 정보 중 적어도 하나를 상기 제2 사용자와 공유하도록 상기 통신부를 제어하는, 전자 장치. - 제6항에 있어서,
상기 제어부는 상기 제2 사용자에 의해 공유되는, 상기 사용자의 감정을 나타내는 제3 감정 표현 정보 및 상기 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 상기 통신부를 통해 수신하고,
상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 제3 감정 표현 정보 및 상기 제3 감정 자극 소스 정보 중 적어도 하나와 결합시키는, 전자 장치. - 제1항에 있어서,
상기 제어부는 상기 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장한 후, 상기 사용자의 상기 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링하여, 상기 감정 유형은 변하지 않고, 상기 감정 강도의 변화가 임계값보다 커지면, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 업데이트하는, 전자 장치. - 제8항에 있어서,
상기 제어부는 상기 감정 강도를 정규화하는, 전자 장치. - 제1항에 있어서,
상기 제어부는 상기 감정 표현 정보 및 상기 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득하고,
상기 감정 관리 추천 정보를 상기 디스플레이부에 디스플레이하는, 전자 장치. - 사용자의 감정을 나타내는 감정 표현 정보를 획득하는 단계;
상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하는 단계;
상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키는 단계;
연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 저장하는 단계; 및
상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계를 포함하는 전자 장치의 동작 방법. - 제11항에 있어서,
시간에 따른 상기 사용자의 감정을 나타내는 콘텐트를 디스플레이하는 단계를 더 포함하는 방법. - 제12항에 있어서,
상기 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 단계를 더 포함하고,
상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계는, 상기 선택된 시간과 관계된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계인, 방법. - 제11항에 있어서,
상기 감정 자극 소스 정보를 획득하는 단계는, 멀티미디어 정보, 환경 정보 및 상기 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 자극 소스 정보를 획득하는 단계를 포함하고, 상기 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함하는, 방법. - 제14항에 있어서,
상기 감정 표현 정보를 획득하는 단계는, 상기 멀티미디어 정보 및 상기 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 표현 정보를 획득하는 단계를 포함하는, 방법. - 제14항에 있어서,
상기 멀티미디어 정보에 기초하여 상기 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득하는 단계;
상기 제2 감정 표현 정보 및 상기 제2 감정 자극 소스 정보 중 적어도 하나를 상기 제2 사용자와 공유하는 단계를 더 포함하는 방법. - 제16항에 있어서,
상기 제2 사용자에 의해 공유되는, 상기 사용자의 감정을 나타내는 제3 감정 표현 정보 및 상기 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 수신하는 단계; 및
상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 제3 감정 표현 정보 및 상기 제3 감정 자극 소스 정보 중 적어도 하나와 결합시키는 단계를 더 포함하는 방법. - 제11항에 있어서,
상기 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 저장한 후, 상기 사용자의 상기 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링하는 단계; 및
상기 감정 유형은 변하지 않고, 상기 감정 강도의 변화가 임계값보다 커지면, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 업데이트하는 단계를 더 포함하는 방법. - 제11항에 있어서,
상기 감정 표현 정보 및 상기 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득하는 단계; 및
상기 감정 관리 추천 정보를 디스플레이하는 단계를 더 포함하는 방법. - 제11항 내지 제19항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15857415.2A EP3217254A4 (en) | 2014-11-06 | 2015-08-13 | Electronic device and operation method thereof |
| PCT/KR2015/008471 WO2016072595A1 (ko) | 2014-11-06 | 2015-08-13 | 전자 장치 및 그 동작 방법 |
| US15/524,419 US20180285641A1 (en) | 2014-11-06 | 2015-08-13 | Electronic device and operation method thereof |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410638408.1 | 2014-11-06 | ||
| CN201410638408.1A CN105615902A (zh) | 2014-11-06 | 2014-11-06 | 情绪监控方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160054392A true KR20160054392A (ko) | 2016-05-16 |
| KR102327203B1 KR102327203B1 (ko) | 2021-11-16 |
Family
ID=56031563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150113854A KR102327203B1 (ko) | 2014-11-06 | 2015-08-12 | 전자 장치 및 그 동작 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20180285641A1 (ko) |
| EP (1) | EP3217254A4 (ko) |
| KR (1) | KR102327203B1 (ko) |
| CN (1) | CN105615902A (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180111467A (ko) * | 2017-03-31 | 2018-10-11 | 삼성전자주식회사 | 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법 |
| CN109154860A (zh) * | 2016-05-18 | 2019-01-04 | 微软技术许可有限责任公司 | 情感/认知状态触发记录 |
| KR20190100124A (ko) * | 2019-08-16 | 2019-08-28 | (주)아크릴 | 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6509459B2 (ja) * | 2016-12-14 | 2019-05-08 | 三菱電機株式会社 | 状態推定装置 |
| JP6751536B2 (ja) * | 2017-03-08 | 2020-09-09 | パナソニック株式会社 | 装置、ロボット、方法、及びプログラム |
| CN106878787B (zh) * | 2017-03-08 | 2020-02-14 | 深圳创维－Rgb电子有限公司 | 电视影院模式实现方法及装置 |
| CN107293309B (zh) * | 2017-05-19 | 2021-04-30 | 四川新网银行股份有限公司 | 一种基于客户情绪分析提升舆情监控效率的方法 |
| JP7073640B2 (ja) * | 2017-06-23 | 2022-05-24 | カシオ計算機株式会社 | 電子機器、感情情報取得システム、プログラム及び感情情報取得方法 |
| KR102387400B1 (ko) * | 2017-08-08 | 2022-04-15 | 라인 가부시키가이샤 | 통화 중 감정을 인식하여 인식된 감정을 활용하는 방법 및 시스템 |
| US10783329B2 (en) * | 2017-12-07 | 2020-09-22 | Shanghai Xiaoi Robot Technology Co., Ltd. | Method, device and computer readable storage medium for presenting emotion |
| CN108093526A (zh) * | 2017-12-28 | 2018-05-29 | 美的智慧家居科技有限公司 | Led灯的控制方法、装置和可读存储介质 |
| US10664513B2 (en) * | 2018-01-10 | 2020-05-26 | Adobe Inc. | Automatic environmental presentation content selection |
| US20190266282A1 (en) * | 2018-02-28 | 2019-08-29 | Ent. Services Development Corporation Lp | Systems and methods for constrained directed media searches |
| CN108646914A (zh) * | 2018-04-27 | 2018-10-12 | 安徽斛兵信息科技有限公司 | 一种多模态的情感数据收集方法及装置 |
| CN108693974B (zh) * | 2018-05-11 | 2021-09-21 | 新华网股份有限公司 | 数据处理方法、系统及非易失性计算机存储介质 |
| CN108888281A (zh) * | 2018-08-16 | 2018-11-27 | 华南理工大学 | 精神状态评估方法、设备及系统 |
| CN109819325B (zh) * | 2019-01-11 | 2021-08-20 | 平安科技（深圳）有限公司 | 热点视频标注处理方法、装置、计算机设备及存储介质 |
| CN109948780A (zh) * | 2019-03-14 | 2019-06-28 | 江苏集萃有机光电技术研究所有限公司 | 基于人工智能的辅助决策方法、装置及设备 |
| CN110121026A (zh) * | 2019-04-24 | 2019-08-13 | 深圳传音控股股份有限公司 | 智能拍摄设备及其基于生物特征识别的场景生成方法 |
| CN110881987B (zh) * | 2019-08-26 | 2022-09-09 | 首都医科大学 | 一种基于可穿戴设备的老年人情绪监测系统 |
| CN110517085B (zh) * | 2019-08-27 | 2022-06-07 | 新华网股份有限公司 | 生成展示报告方法、装置、电子设备及存储介质 |
| US11386712B2 (en) * | 2019-12-31 | 2022-07-12 | Wipro Limited | Method and system for multimodal analysis based emotion recognition |
| CN111000572A (zh) * | 2019-12-31 | 2020-04-14 | 南京煌和信息技术有限公司 | 一种智能工程师情绪监测系统 |
| CN111859025A (zh) * | 2020-07-03 | 2020-10-30 | 广州华多网络科技有限公司 | 表情指令生成方法、装置、设备及存储介质 |
| CN112149610A (zh) * | 2020-10-09 | 2020-12-29 | 支付宝(杭州)信息技术有限公司 | 一种目标对象的识别的方法和系统 |
| KR20220081090A (ko) * | 2020-12-08 | 2022-06-15 | 라인 가부시키가이샤 | 감정 기반 멀티미디어 컨텐츠 생성 방법 및 시스템 |
| JP7540588B2 (ja) | 2021-05-14 | 2024-08-27 | 日本電信電話株式会社 | 感情状態推定学習装置、感情状態推定装置、それらの方法、およびプログラム |
| US11978475B1 (en) | 2021-09-03 | 2024-05-07 | Wells Fargo Bank, N.A. | Systems and methods for determining a next action based on a predicted emotion by weighting each portion of the action's reply |
| US11735207B1 (en) | 2021-09-30 | 2023-08-22 | Wells Fargo Bank, N.A. | Systems and methods for determining a next action based on weighted predicted emotions, entities, and intents |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070162283A1 (en) * | 1999-08-31 | 2007-07-12 | Accenture Llp: | Detecting emotions using voice signal analysis |
| US20140234815A1 (en) * | 2013-02-18 | 2014-08-21 | Electronics And Telecommunications Research Institute | Apparatus and method for emotion interaction based on biological signals |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7788104B2 (en) * | 2004-09-10 | 2010-08-31 | Panasonic Corporation | Information processing terminal for notification of emotion |
| US20090002178A1 (en) * | 2007-06-29 | 2009-01-01 | Microsoft Corporation | Dynamic mood sensing |
| US20120324492A1 (en) * | 2011-06-20 | 2012-12-20 | Microsoft Corporation | Video selection based on environmental sensing |
| US20130337420A1 (en) * | 2012-06-19 | 2013-12-19 | International Business Machines Corporation | Recognition and Feedback of Facial and Vocal Emotions |
| CN103546503B (zh) * | 2012-07-10 | 2017-03-15 | 百度在线网络技术（北京）有限公司 | 基于语音的云社交系统、方法及云分析服务器 |
| US10009644B2 (en) * | 2012-12-04 | 2018-06-26 | Interaxon Inc | System and method for enhancing content using brain-state data |
| CN103729406B (zh) * | 2013-12-09 | 2017-09-08 | 宇龙计算机通信科技(深圳)有限公司 | 环境信息的搜索方法及系统 |
| US20160015307A1 (en) * | 2014-07-17 | 2016-01-21 | Ravikanth V. Kothuri | Capturing and matching emotional profiles of users using neuroscience-based audience response measurement techniques |
-
2014
- 2014-11-06 CN CN201410638408.1A patent/CN105615902A/zh active Pending
-
2015
- 2015-08-12 KR KR1020150113854A patent/KR102327203B1/ko active IP Right Grant
- 2015-08-13 US US15/524,419 patent/US20180285641A1/en not_active Abandoned
- 2015-08-13 EP EP15857415.2A patent/EP3217254A4/en not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070162283A1 (en) * | 1999-08-31 | 2007-07-12 | Accenture Llp: | Detecting emotions using voice signal analysis |
| US20140234815A1 (en) * | 2013-02-18 | 2014-08-21 | Electronics And Telecommunications Research Institute | Apparatus and method for emotion interaction based on biological signals |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109154860A (zh) * | 2016-05-18 | 2019-01-04 | 微软技术许可有限责任公司 | 情感/认知状态触发记录 |
| CN109154860B (zh) * | 2016-05-18 | 2022-03-15 | 微软技术许可有限责任公司 | 情感/认知状态触发记录 |
| KR20180111467A (ko) * | 2017-03-31 | 2018-10-11 | 삼성전자주식회사 | 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법 |
| KR20190100124A (ko) * | 2019-08-16 | 2019-08-28 | (주)아크릴 | 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105615902A (zh) | 2016-06-01 |
| KR102327203B1 (ko) | 2021-11-16 |
| EP3217254A1 (en) | 2017-09-13 |
| EP3217254A4 (en) | 2017-11-08 |
| US20180285641A1 (en) | 2018-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102327203B1 (ko) | 전자 장치 및 그 동작 방법 | |
| US11227626B1 (en) | Audio response messages | |
| US11503197B2 (en) | Retrieving and displaying key words from prior conversations | |
| JP6777201B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20200412975A1 (en) | Content capture with audio input feedback | |
| CN105573573B (zh) | 基于图像管理用户信息的设备和方法 | |
| US12046037B2 (en) | Adding beauty products to augmented reality tutorials | |
| US20180075490A1 (en) | System and method for providing recommendation on an electronic device based on emotional state detection | |
| EP3852044A1 (en) | Method and device for commenting on multimedia resource | |
| KR102304701B1 (ko) | 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치 | |
| CN112154411B (zh) | 使用音频数据进行设备控制 | |
| KR20160065670A (ko) | 컨텐트를 제공하는 방법 및 디바이스 | |
| US20200412864A1 (en) | Modular camera interface | |
| US12047660B2 (en) | Information processing apparatus, information processing method, and program | |
| CN115699130A (zh) | 增强现实美容产品教程 | |
| US9525841B2 (en) | Imaging device for associating image data with shooting condition information | |
| KR20150119785A (ko) | 라이프 로그 서비스 제공 시스템 및 그 서비스 방법 | |
| US20210280218A1 (en) | Tap to advance by subtitles | |
| CN114079730A (zh) | 一种拍摄方法和拍摄系统 | |
| KR20220149803A (ko) | 정보를 공유하기 위한 전자 장치 및 그 동작 방법 | |
| US12069013B1 (en) | User initiated augmented reality system | |
| WO2016072595A1 (ko) | 전자 장치 및 그 동작 방법 | |
| CN116137080A (zh) | 虚拟形象渲染方法、装置、系统、电子设备、介质及产品 | |
| KR20150055647A (ko) | 감성 컨텐츠 제공 방법 및 감성 컨텐츠 제공 시스템, 이를 위한 서비스 제공 장치 및 단말기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |