KR101336641B1 - Emotional Sympathy Robot Service System and Method of the Same - Google Patents
Emotional Sympathy Robot Service System and Method of the Same Download PDFInfo
- Publication number
- KR101336641B1 KR101336641B1 KR1020120014745A KR20120014745A KR101336641B1 KR 101336641 B1 KR101336641 B1 KR 101336641B1 KR 1020120014745 A KR1020120014745 A KR 1020120014745A KR 20120014745 A KR20120014745 A KR 20120014745A KR 101336641 B1 KR101336641 B1 KR 101336641B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- user
- expression
- recognition
- robot
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002996 emotional effect Effects 0.000 title claims abstract description 35
- 230000002889 sympathetic effect Effects 0.000 claims abstract description 28
- 230000000694 effects Effects 0.000 claims abstract description 6
- 230000014509 gene expression Effects 0.000 claims description 97
- 238000012545 processing Methods 0.000 claims description 62
- 230000008451 emotion Effects 0.000 claims description 42
- 230000009471 action Effects 0.000 claims description 18
- 230000006399 behavior Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000001939 inductive effect Effects 0.000 claims description 9
- 230000008921 facial expression Effects 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 description 5
- 230000036651 mood Effects 0.000 description 5
- 230000006698 induction Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44557—Code layout in executable memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Developmental Disabilities (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- Evolutionary Computation (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
Abstract
본 발명은 감성 교감 로봇 서비스 시스템 및 그 방법에 관한 것이다. 본 발명의 감성 교감 로봇 서비스 시스템 및 그 방법은, 감지센서, 영상센서 및 음성센서로부터 수신된 감지 정보, 영상 정보, 음성 정보를 이용하여 사용자를 적극적으로 유도하고, 사용자의 영상 정보 및 음성 정보를 획득함에 있어서, 로봇 시스템 측에서 사용자에 대해 원하는 필요한 인식 정보를 얻을 때까지, 미리 설정된 형태의 표현을 사용자에게 계속 준다. 이렇게 획득된 사용자의 영상 정보 및 음성 정보를 이용하여, 사용자의 상황 및 감정 상태를 파악하여, 로봇 시스템은 사용자와의 맞춤형 대화를 수행하고 사용자가 원하는 서비스를 제공할 수 있게 된다. 이와 같은 본 발명에 의하면, 로봇이 원하는 정보를 얻을 때까지 로봇이 사용자(인간)에게 표현(피드백)을 해줌으로써, 최종적으로는 사용자(인간)와 로봇 간에 상황에 맞는 대화를 나눌 수 있거나 또는 사용자가 원하는 서비스를 제공할 수 있는 장점이 있으며, 이로 인해 어떠한 상황이나 장소, 시간 등에 적합한 맞춤형 감성 교감 서비스를 제공할 수 있는 효과가 있다.The present invention relates to an emotional sympathetic robot service system and method thereof. Emotional sympathetic robot service system and method thereof of the present invention actively guides the user by using the sensing information, the image information, and the voice information received from the sensor, the image sensor, and the voice sensor, and obtains the image information and the voice information of the user. In obtaining, the robot continues to give a preset form of representation until the robotic system obtains the required recognition information desired for the user. By using the user's image information and audio information thus obtained, the user's situation and emotional state can be grasped so that the robot system can perform a customized conversation with the user and provide a service desired by the user. According to the present invention, the robot expresses the feedback (feedback) to the user (human) until the robot obtains the desired information, so that the user can finally have a dialogue between the user (human) and the robot, or the user There is an advantage that can provide the desired service, and this has the effect of providing a customized emotional sympathetic service suitable for any situation, place, time, etc.
Description
본 발명은 로봇 서비스 시스템에 관한 것으로서, 더 상세하게는 로봇이 원하는 인식 정보를 얻을 때까지 로봇이 사용자(인간)에게 표현(피드백)을 해줌으로써, 궁극적으로 사용자(인간)와 로봇 간에 원만한 대화가 이루어지거나 또는 사용자에게 필요한 서비스를 제공할 수 있도록 하는 감성 교감 로봇 서비스 시스템 및 그 방법에 관한 것이다.
The present invention relates to a robot service system, and more particularly, the robot expresses (feedback) to the user (human) until the robot obtains the desired recognition information, thereby ultimately creating a smooth dialogue between the user (human) and the robot. The present invention relates to an emotional sympathetic robot service system and a method for providing a service required by a user.
오늘날, 시각이나 청각, 촉각 센서와 같은 다양한 센서 정보를 이용하여 감정이나 행동을 생성하거나 선택하여 표현하는 시스템은 애완용 로봇이나 지능형 로봇 형태로 개발되어 있고, 동물을 모사하거나 의인화된 감정을 기반으로 더욱 자연스러운 행동을 표현하기 위해 감정 엔진이나 이와 관련된 시스템에 관한 기능 개선 연구가 꾸준히 진행되고 있다.Today, systems that create or select emotions or actions using various sensor information such as visual, auditory, and tactile sensors are developed in the form of pet robots or intelligent robots. In order to express natural behavior, research on improving the function of the emotion engine and related systems is continuously conducted.
또한, 인간과 로봇의 자연스러운 상호작용을 위해 사용자에 의한 입력과 상태 변화를 감지하기 위한 센서 장치의 기능 개선과 함께 이러한 센서를 이용하여 사용자의 의도를 파악하기 위한 기술 개발이 시도되고 있으며, 로봇 구동 장치에 있어서도 자연스러운 행동을 표현하기 위해 구동기 기술에 대한 다양한 연구가 이루어지고 있다.In addition, the development of a technology for detecting the user's intention by using such a sensor with the improvement of the function of the sensor device for detecting a change in the input and the state by the user for the natural interaction between the human and the robot, and driving the robot In order to express natural behavior even in a device, various researches on driver technology have been conducted.
이러한 로봇 환경하에서의 종래 로봇의 경우에는 얼굴, 음성 등을 센서로 인식하여 사용자의 얼굴이나 말 등을 인식했다. 이러한 인식 방식은 협조적인 상황, 예를 들면 실험실이나 개발자의 연구실, 고요한 실내 등과 같은 상황에서는 인식률이 비교적 높았으나, 비협조적인 상황, 예를 들면 실제의 주변 상황이나, 조명, 소음, 일반인, 다수 등과 같은 상황에서는 인식률이 현저히 떨어졌다. 따라서, 협조적 상황 중심으로 개발되었던 기존의 서비스 로봇의 경우 실제 현장에서 인간(사용자)과 능동적 상호작용을 하지 못해 원격제어 등에 의해 서비스가 이루어지는 문제점이 발생하게 된다. 실환경에서 로봇의 영상 또는 음성의 인지기술을 높이기 위한 연구개발이 진행되고 있으나, 이를 위해서는 막대한 투자비와 연구기간이 소요되고 또는 투자만큼의 결과물이 도출되지 않아 산업현장에서 기업의 시장 진출 및 수익 창출에 어려움이 발생하게 된다.In the case of a conventional robot in such a robot environment, a face, a voice, and the like are recognized by a sensor to recognize a face or a horse of a user. This recognition method has a relatively high recognition rate in cooperative situations, such as a laboratory or developer's lab, or a quiet room.However, non-cooperative situations, such as actual surroundings, lighting, noise, general public, majority, etc. In the situation, the recognition rate dropped significantly. Therefore, in the case of the existing service robot developed in a cooperative context, a problem occurs in that service is performed by remote control due to a lack of active interaction with a human (user) in the actual field. Research and development is underway to improve the recognition technology of robot video or audio in real environment, but this requires enormous investment costs and research periods, or the result of investment is not derived so that the company can enter the market and generate profit in the industrial field. Difficulties arise.
한편, 최근의 음성인식 스마트 기기(스마트 폰, 스마트 탭, 태블릿 PC 등)나 로봇 등의 경우, 아주 가까운 거리에서 말해야 인식률이 높아지나, 조금이라도 떨어져 있는 경우 인식률이 현저히 떨어져 관련성이 없는 결과물들을 도출시키는 문제가 있다. 결과적으로, 종래 로봇의 경우에는 비협조적인 상황에서는 바로 상황이 종료되거나 의도하지 않는 결과물을 도출시키는 문제점이 있다.
On the other hand, in the case of recent voice recognition smart devices (smartphones, smart tabs, tablet PCs, etc.) or robots, the recognition rate increases when speaking at a close distance, but when the distance is a little, the recognition rate drops significantly, resulting in irrelevant results. There is a problem. As a result, in the case of the conventional robot, there is a problem that the situation is immediately terminated or an unintended result is derived in an uncooperative situation.
본 발명은 상기와 같은 사항을 감안하여 창출된 것으로서, 로봇이 원하는 정보를 얻을 때까지 로봇이 사용자(인간)에게 유도 표현을 줌으로써 의도적 협조상황을 만들어, 최종적으로는 사용자와 로봇 간에 상황에 맞는 대화를 나누거나 사용자에게 필요한 서비스를 제공할 수 있도록 하는 감성 교감 로봇 서비스 시스템 및 그 방법을 제공함에 그 목적이 있다.
The present invention was created in view of the above matters, and the robot creates an intentional cooperative situation by inducing the robot to guide the user (human) until the robot obtains the desired information, and finally, a dialogue appropriate to the situation between the user and the robot. The purpose of the present invention is to provide an emotional sympathetic robot service system and a method for sharing the information or providing a service required by a user.
상기의 목적을 달성하기 위하여 본 발명에 따른 감성 교감 로봇 서비스 시스템은, 감지센서와 영상센서 및 음성센서를 포함하는 센서 모듈; 상기 감지센서로부터 수신된 정보를 이용하여 행동 정보를 추출하는 감지 인식부와, 상기 영상센서로부터 수신된 정보를 이용하여 얼굴 정보를 추출하는 영상 인식부 및 상기 음성센서로부터 수신된 정보를 이용하여 음성 언어 정보를 추출하는 음성 인식부를 포함하는 상황인식 모듈; 상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 수신하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하여, 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 정보를 얻기 위해 사용자의 유도를 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 사용자에게 감정 및 상황에 맞는 서비스를 제공하는 서비스 처리 모듈; 및, 상기 서비스 처리 모듈의 처리 신호에 따라 외부에 미리 설정된 표현을 하는 표현 모듈을 포함한다.In order to achieve the above object, the emotional sympathetic robot service system according to the present invention includes a sensor module including a sensor, an image sensor, and a voice sensor; A detection recognition unit extracting behavior information using the information received from the sensor, an image recognition unit extracting face information using the information received from the image sensor, and a voice using the information received from the voice sensor A situation recognition module including a speech recognition unit extracting language information; Receiving recognition information extracted from the detection recognition unit, the image recognition unit, and the voice recognition unit, it is determined whether the information is suitable for preset desired recognition information, and if the information is not suitable for the preset desired recognition information, the desired information is obtained. A service processing module for expressing the user's induction, and analyzing the user's situation and emotions using the recognition information when the user's information is suitable for the desired recognition information, and providing a service suitable for the user's emotions and situations; And an expression module configured to pre-set an expression externally according to the processing signal of the service processing module.
한편, 상기 서비스 처리 모듈은 상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 이용하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 인식 정보 판단부; 상기 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 정보를 얻기 위해 상기 표현 모듈을 통해 사용자의 유도를 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 상기 표현 모듈을 통해 사용자에게 상황 및 감정에 맞는 서비스를 제공하도록 판단하는 로봇 서비스 판단부; 및, 상기 로봇 서비스 판단부를 통해 상황 및 감정에 맞는 서비스를 로봇 표현에 적합하도록 필요한 데이터로 정보 처리하는 로봇 표현 처리부를 포함한다.On the other hand, the service processing module includes a recognition information determining unit for determining whether the information is suitable for the predetermined desired recognition information by using the recognition information extracted from the detection recognition unit, the image recognition unit and the voice recognition unit; When the information is not suitable for the preset desired recognition information, the expression module is used to guide the user to obtain desired information. When the information is suitable for the desired recognition information, the user's situation and emotions are used by using the recognition information. A robot service determination unit configured to analyze the determination to provide a service suitable for a situation and emotion to a user through the expression module; And a robot expression processor configured to process information corresponding to a situation and emotion into data necessary for the robot expression through the robot service determiner.
한편, 상기 표현 모듈은 음악이나 효과음의 소리나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현, 또는 가시적으로 볼 수 있는 광의 표시를 하는 감성 표현부; 특정 동작이나 몸짓을 표현하거나 또는 주행을 하도록 하는 행위 표현부; 언어로 표현하는 발화 표현부; 및, 상기 서비스 처리 모듈로부터 수신된 처리 신호를 상기 감성 표현부, 행위 표현부, 발화 표현부로 표현 데이터를 할당하도록 하는 로봇 표현부를 포함한다.The expression module may include an emotion expression unit configured to display a sound of music or sound effects, a representation of a human face or a certain character shape, or a visible light on a display; An action expression unit for expressing a specific motion or gesture or for driving; Speech expression unit to express in language; And a robot expression unit configured to allocate expression data to the emotion expression unit, the action expression unit, and the speech expression unit by using the processing signal received from the service processing module.
또한, 상기 표현 모듈은 상기 서비스 처리 모듈로부터 제공된 상황 및 감정 정보와 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 이용하여, 사용자와의 맞춤형 대화를 수행할 수 있도록 대화를 통합적으로 관리하여 상기 발화 표현부를 통해 표현하도록 하는 대화 관리부를 더 포함한다.In addition, the expression module integrates and manages a conversation so as to perform a customized conversation with a user by using context and emotion information provided from the service processing module and information on a form or language of a conversation to be recommended. The conversation management unit for expressing through the speech expression unit further comprises.
또한, 상기 대화 관리부는 통합 대화 관리 체계로서 목적형 대화처리부, 잡담형 대화처리부, 및 질의 응답부를 포함한다.In addition, the conversation manager includes an objective conversation processor, a chat conversation processor, and a query response unit as an integrated conversation management system.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 감성 교감 로봇 서비스 방법은, 감지센서와 영상센서 및 음성센서를 포함하는 센서 모듈, 상황인식 모듈, 서비스 처리 모듈, 표현 모듈을 포함하는 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법으로서, a) 상기 감지센서, 영상센서, 음성센서로부터 수신된 정보를 이용하여 상황인식 모듈이 행동 정보, 얼굴 정보, 음성 언어 정보를 추출하는 단계; b) 상기 추출된 인식 정보를 이용하여 서비스 처리 모듈이 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 단계; c) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 상기 서비스 처리 모듈이 사용자의 유도를 위한 표현을 하도록 처리하는 단계; d) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한 경우 상기 서비스 처리 모듈이 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하는 단계; 및, e) 상기 사용자의 상황 및 감정을 분석한 결과 및 상기 사용자의 유도를 위한 표현 처리 정보를 수신하여, 상기 표현 모듈이 외부에 미리 설정된 표현을 하는 단계를 포함한다.On the other hand, Emotional sympathetic robot service method according to the present invention for achieving the above object, Emotional sympathetic robot service including a sensor module, a situation recognition module, a service processing module, a representation module including a sensor and an image sensor and a voice sensor An emotional sympathetic robot service method using a system, the method comprising: a) extracting behavior information, face information, and voice language information by a situation recognition module using information received from the sensor, image sensor, and voice sensor; b) determining, by the service processing module, whether the recognition information is suitable for preset desired recognition information by using the extracted recognition information; c) processing the service processing module to make a representation for user's induction when the recognition information does not fit the preset desired recognition information; d) analyzing, by the service processing module, the situation and emotion of the user using the recognition information when the recognition information is suitable for preset desired recognition information; And e) receiving a result of analyzing the situation and emotion of the user and expression processing information for inducing the user, and expressing, by the expression module, a preset expression externally.
한편, 상기 단계 d) 단계는 사용자의 영상 정보 및 음성 정보를 이용하여, 사용자의 언어와 표정을 같이 분석하여 사용자의 연령대, 성별, 표정에 따라 상황 및 감정을 분석하는 동시에, 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 제공하는 것을 포함한다.On the other hand, step d) is to analyze the user's language and facial expressions by using the user's video information and audio information to analyze the situation and emotions according to the user's age, gender, and facial expression, This includes providing information about the form or language used.
또한, 상기 단계 e) 단계에서 사용자의 유도를 위한 미리 설정된 형태의 표현은, 미리 설정된 언어를 표현하거나, 가시적으로 볼 수 있는 광을 표시하거나, 미리 설정된 음악이나 효과음의 사운드를 출력하거나, 특정 동작(제스처) 또는 주행을 하거나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현을 하는 것 중의 적어도 하나를 포함한다.
In addition, in the step e), the preset type of expression for inducing the user may represent a preset language, display a visible light, output a preset music or sound effect, or perform a specific operation. (Gesture) or traveling, or at least one of expressing a human face or a certain character shape on a display.
이와 같은 본 발명에 의하면, 로봇이 원하는 정보를 얻을 때까지 로봇이 사용자(인간)에게 유도 표현을 해줌으로써, 능동적으로 사용자 참여를 유도하고 의도적 협조상황을 만들게 하여, 최종적으로는 로봇과 사용자 간에 상황에 맞는 대화를 나누거나 사용자가 필요로 하는 적절한 서비스를 제공할 수 있게 된다. 이로 인해, 본 발명이 적용되는 다양한 목적의 서비스 로봇 예를 들면 안내 로봇, 교육 로봇, 노약자를 위한 말벗 로봇, 가정/오피스 로봇 등이 어떠한 상황이나 장소, 시간 등에서 사용자에게 적합한 맞춤형 감성 교감 서비스를 제공할 수 있어 결국 사용자 만족도를 높이는 효과가 있다.
According to the present invention, the robot expresses the user (human) until the robot obtains the desired information, thereby actively inducing user participation and creating an intentional cooperative situation, and finally, the situation between the robot and the user. It is possible to have a suitable conversation or to provide a proper service required by the user. Accordingly, the service robot for various purposes to which the present invention is applied, for example, a guide robot, an education robot, a robot for the elderly, a robot for home and office, and a home / office robot provide a customized emotional sympathetic service suitable for a user in any situation, place, and time. This can increase the user's satisfaction.
도 1은 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 시스템의 개략적인 구성도.
도 2는 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 방법의 실행 과정을 보여주는 흐름도.1 is a schematic configuration diagram of an emotional sympathetic robot service system according to an embodiment of the present invention.
2 is a flow chart showing an execution process of the emotional sympathetic robot service method according to an embodiment of the present invention.
본 발명을 설명함에 있어서, 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의를 위해 과장되거나 단순화되어 나타날 수 있다. 또한 본 발명의 구성 및 작용을 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 이러한 용어들은 본 명세서 전반에 걸친 내용을 토대로 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.In describing the present invention, the sizes and shapes of the components shown in the drawings may be exaggerated or simplified for clarity and convenience of explanation. In addition, terms that are specifically defined in consideration of the configuration and operation of the present invention may vary depending on the intention or custom of the user or operator. These terms are to be construed in accordance with the meaning and concept consistent with the technical idea of the present invention based on the contents throughout the present specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module, "and" device " Lt; / RTI >
이하 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 시스템의 구성을 개략적으로 보여주는 도면이다. 본 발명에 따른 감성 교감 로봇 서비스 시스템은 일반적으로 몸체를 포함하는 로봇 등에 구체적으로 적용되며, 로봇 몸체에는 터치 에 의한 입력과 출력이 동시에 이루어지는 디스플레이부가 구비된다.1 is a view schematically showing the configuration of an emotional sympathetic robot service system according to an embodiment of the present invention. Emotional sympathetic robot service system according to the present invention is generally specifically applied to a robot including a body, the robot body is provided with a display unit which is simultaneously input and output by a touch.
도 1을 참조하면, 본 발명에 따른 감성 교감 로봇 서비스 시스템은 센서 모듈(110), 상황 인식 모듈(120), 서비스 처리 모듈(130), 표현 모듈(150), 데이터베이스부(140,160)를 포함한다. Referring to FIG. 1, the emotional sympathetic robot service system according to the present invention includes a
센서 모듈(110)은 보통 로봇 몸체의 외부에 설치되며, 사용자와의 거리나 동작을 감지하는 감지센서(112)와, 이미지를 포함하는 영상을 감지하는 영상센서(114) 및 음성을 감지하는 음성센서(116)를 포함한다. 감지센서(112)는 예를 들어 물체를 감지하고 거리를 파악하는 초음파 센서나 적외선 센서 또는 레이저 센서 등의 거리센서와, 동작 또는 제스처를 감지하는 모션감지센서 등을 포함한다. 한편, 영상센서(114) 및 음성센서(116)는 영상 및 음성 정보를 수집하기 위해 필요한 장치 예를 들어 카메라, 마이크 등을 포함하는 개념으로 해석될 수 있다.
상황 인식 모듈(120)은 상기 센서 모듈(110)의 각종 센서들로부터 수신된 정보를 이용하여 거리 정보, 영상 정보, 음성 정보 중 필요한 정보를 추출하여 후속 장치요소로 전달하며, 구체적으로 감지 인식부(122)와 영상 인식부(124) 및 음성 인식부(126)를 포함한다. The
감지 인식부(122)는 감지센서(112)로부터 입력된 감지정보로부터 사용자와의 거리 및 위치, 동작, 자세 또는 제스처 등에 대한 행동 정보를 추출하게 된다. 영상 인식부(124)는 영상센서(114)로부터 입력된 정보를 영상 처리하여 그 중 사용자의 얼굴 정보를 추출하게 된다. 그리고 음성 인식부(126)는 음성센서(116)로부터 입력된 정보에서 언어 정보를 추출하게 된다. The sensor recognizer 122 extracts behavior information about a distance and a location, an operation, a posture, or a gesture with a user from the sensor information input from the
서비스 처리 모듈(130)은 상기 상황 인식 모듈(120)의 감지 인식부(122), 영상 인식부(124), 음성 인식부(126)로부터 추출된 각종 인식 정보를 이용하여 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하여, 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 인식 정보를 얻기 위해 사용자 유도를 위한 표현을 하도록 처리한다. 그리고, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 종합적으로 분석하여 사용자에게 상황 및 감정에 맞는 서비스를 제공하게 된다. 구체적으로, 서비스 처리 모듈(130)은 인식 정보 판단부(132)와, 로봇 서비스 판단부(134) 및 로봇 표현 처리부(136)를 포함한다. The
인식 정보 판단부(132)는 감지 인식부(122), 영상 인식부(124), 음성 인식부(126)로부터 추출된 각종 인식 정보를 이용하여 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단한다. 예를 들어, 감지 인식부(122)를 통해 수신된 사용자 행동 정보를 이용하여, 사용자와의 거리가 설정된 거리를 벗어나는 경우, 또는 사용자가 뛰거나 달리는 등으로 인해 미리 설정된 속도를 벗어나는 경우 등 감지 DB(141)에 저장되어 있는 행동 정보와 비교하기 곤란하거나 비교할 수 없어 미리 설정된 행동 정보를 벗어나는 경우 원하는 인식 정보에 해당하지 않는 것으로 판단하게 된다. 또한, 영상 인식부(124)를 통해 수신된 얼굴 인식 정보가 부족하거나 또는 식별할 수 없어 영상 DB(142)에 저장되어 있는 얼굴 정보와 비교하기 곤란하거나 비교할 수 없는 경우 원하는 인식 정보에 해당하지 않는 것으로 판단하게 된다. 그리고, 음성 인식부(126)를 통해 수신된 음성 언어 정보가 부족하거나 또는 식별할 수 없어 음성 DB(143)에 저장되어 있는 언어 정보와 비교하기 곤란하거나 비교할 수 없는 경우 원하는 인식 정보에 해당하지 않는 것으로 판단하게 된다.The recognition
로봇 서비스 판단부(134)는 인식 정보 판단부(132)에 의해 판단된 결과를 이용하여, 사용자 유도 표현을 하도록 하거나 또는 사용자에게 각각의 상황에 맞는 서비스를 제공하도록 처리한다.The robot
먼저 인식 정보 판단부(132)에서 원하는 인식 정보에 적합하지 않다고 판단하는 경우, 로봇 서비스 판단부(134)는 원하는 정보를 얻기 위해 표현 모듈(150)을 통해 사용자 유도를 위한 표현(피드백)을 하도록 처리한다. 예를 들어 감지된 사용자의 행동이 미리 설정된 행동 정보를 벗어나서 원하는 인식 정보에 해당하지 않는 것으로 판단되면, 로봇 서비스 판단부(134)는 상기 표현 모듈(150)을 통해 설정된 형태의 행동으로 표현을 하도록 처리한다. 또한, 얼굴 정보가 원하는 인식 정보에 해당하지 않는 것으로 판단되면, 로봇 서비스 판단부(134)는 상기 표현 모듈(150)을 통해 얼굴 인식이 잘되는 위치 또는 자세로 사용자를 유도하도록 처리한다. 그리고, 음성 언어 정보가 원하는 인식 정보에 해당하지 않는 것으로 판단되면, 로봇 서비스 판단부(134)는 상기 표현 모듈(150)을 통해 음성 인식이 잘되도록 다시 말하게 하거나 또는 음성 인식이 잘되는 위치로 사용자를 유도하는 표현을 하도록 처리한다.First, when the
한편, 인식 정보 판단부(132)에서 원하는 인식 정보에 적합하다고 판단하는 경우, 로봇 서비스 판단부(134)는 상기 각각의 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 판단하고, 상기 표현 모듈(150)을 통해 각각의 상황 및 감정에 대응하는 서비스를 제공하도록 한다. 또한, 로봇 서비스 판단부(134)는 사용자의 언어(언어 인식 정보) 및 얼굴 표정(얼굴 인식 정보)을 분석하여 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 제공한다. 사용자의 언어 만으로는 정확한 의도나 감정, 상태 등을 알기 어렵다. 따라서, 사용자의 얼굴 표정을 분석하여 사용자의 정확한 의도나 감정, 상태 등을 더욱 자세하게 파악하는데 도움이 된다. 예를 들어, 웃거나 미소짓거나 찡그리거나 화난 표정을 인식하여 기분상태를 알 수 있고, 입모양을 인식하여 음성의 인식율을 높일 수 있고, 얼굴을 인식하여 사용자의 성별 및 나이 등을 파악할 수 있게 된다. 따라서, 로봇 서비스 판단부(134)는 음성 및 영상 정보를 이용하여 연령대, 나이대, 성별 등의 요소를 모두 고려하여 사용자의 대화 의도, 감정, 기분, 상황 등을 파악할 수 있게 된다.On the other hand, when it is determined that the recognition
로봇 표현 처리부(136)는 로봇 서비스 판단부(134)를 통해 사용자 유도를 위한 표현과, 상황 및 감정에 맞는 서비스를 로봇 표현에 적합하도록 필요한 데이터로 처리하여 표현 모듈(150)에 송신한다.The robot
표현 모듈(150)은 서비스 처리 모듈(130)의 서비스 처리 신호에 따라 외부에 미리 설정된 표현을 하며, 구체적으로 로봇 표현부(152), 감성 표현부(153), 행위 표현부(154), 발화 표현부(156), 대화 관리부(155)를 포함한다.The
감성 표현부(153)는 로봇 표현부(152)로부터 처리신호를 받아 감성 DB(161)에 저장되어 있는 감성 표현 정보 즉, 음악이나 효과음 등의 소리나, 또는 사람 얼굴 또는 일정 캐릭터 형상의 표시, 또는 가시적으로 볼 수 있는 광의 표시를 하도록 하는 한다. 이를 위해 본 시스템이 적용되는 로봇 본체에는 소리 표현을 위한 스피커, 사람 얼굴 또는 일정 캐릭터 형상의 표현을 위한 디스플레이부, 광 표시를 위한 LED와 같은 다양한 램프 등이 설치되며, 또한, 상기 디스플레이부에는 터치 입력부가 같이 구비되어 감성 표현부(153)는 사용자 안내를 위한 UI 화면을 제공하거나, 전술한 바와 같이 사람 또는 일정 캐릭터 형상을 표시하도록 하여, 사용자와의 대화 또는 표현을 수행할 때 적합한 감정 표현을 할 수 있도록 할 수 있다.The
행위 표현부(154)는 로봇 표현부(152)로부터 처리신호를 받아 행위 DB(162)에 저장되어 있는 행위 정보 즉, 로봇 몸체가 특정 동작이나 몸짓(로봇 얼굴을 기웃거린다거나 팔을 흔들거나, 몸체를 흔들거나 춤을 추는 동작 등 로봇 본체의 광범위한 움직임을 포함)을 표현하거나 또는 주행을 하도록 하게 한다. 로봇의 동작 표현 및 주행을 위해 로봇 몸체에는 바퀴 등을 포함하는 구동부와 기타 다양한 구성요소가 구비될 수 있다. The
대화 관리부(155)는 발화를 하기 위해 필요한 말들을 만드는 역할을 수행하게 된다. 또한 대화 관리부(155)는 상기 서비스 처리 모듈(130)로부터 제공된 상황 및 감정 정보와 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 이용하여, 로봇 표현부(152)로부터 처리신호를 받아 대화 DB(163)에 저장되어 있는 대화 정보를 이용하여 사용자와의 맞춤형 대화를 수행할 수 있도록 대화를 통합적으로 관리한다. 이와 같은 대화 관리부(155)는 하나의 통합 대화 관리 체계로서 어떤 주제에 관해 사용자와 대화를 하게 하는 목적형 대화처리부, 사용자와 일상 생활 용어의 대화를 하도록 하는 잡담형 대화처리부), 사용자의 질문에 대해 답을 할 수 있도록 하는 질의 응답부(153)를 포함할 수 있다. The
발화 표현부(156)는 대화 관리부(155)에서 만들어진 말들을 스피커를 통해 발화할 수 있도록 하며, 텍스트(문자)를 음성으로 합성하여 말(언어)로 표현하는 TTS(text-to-speech)가 구비될 수 있다. The
로봇 표현부(152)는 서비스 처리 모듈(130)로부터 수신된 처리 신호를 상기 감성 표현부(153), 행위 표현부(154), 대화 관리부(155) 및 발화 표현부(156)로 표현 데이터를 할당하도록 하여 상기 각 구성요소들이 기능에 맞는 적합한 표현을 하도록 한다.The
데이터베이스부(140,160)는 각종 감지 정보가 저장되어 있는 감지 DB(141), 영상 특히 얼굴 정보가 저장되어 있는 영상 DB(142), 음성 특히 언어 정보가 저장되어 있는 음성 DB(143)를 구비하는 제1데이터베이스부(140)와, 감성 정보가 저장되어 있는 감성 DB(161), 행위 정보가 저장되어 있는 행위 DB(62), 대화 정보가 저장되어 있는 대화 DB(163)을 구비하는 제2데이터베이스부(160)를 포함한다. 상기 데이터베이스부(140,160)는 본 시스템이 적용되는 로봇 몸체에 설치되거나, 또는 외부에 설치된 서버 등에 설치되어 로봇 본체와 통신을 수행하여 정보를 주고받을 수 있도록 할 수 있다. The
이하, 상기와 같은 구성을 가지는 본 발명에 따른 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법에 대하여 설명해 보기로 한다.Hereinafter, the emotional sympathetic robot service method by the emotional sympathetic robot service system according to the present invention having the above configuration will be described.
도 2는 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 방법의 실행 과정을 보여주는 흐름도이다.2 is a flowchart illustrating an execution process of an emotional sympathetic robot service method according to an exemplary embodiment of the present invention.
도 2를 참조하면, 본 발명에 따른 감성 교감 로봇 서비스 방법은, 전술한 바와 같은 센서 모듈(110), 상황 인식 모듈(120), 서비스 처리 모듈(130), 표현 모듈(150)을 포함하는 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법으로서, 먼저 상황 인식 모듈(120)은 센서 모듈(110)의 각각의 센서로부터 수집된 정보를 이용하여 정보를 추출하게 된다.Referring to FIG. 2, the emotional sympathetic robot service method according to the present invention includes an emotion including the
감지센서(112)로부터 감지 정보를 수신하게 되면(S211), 감지 인식부(122)는 이러한 감지 정보를 이용하여 행동 정보를 추출하게 된다(S212). 추출된 인식 정보(거리 정보)를 이용하여 서비스 처리 모듈(130)은 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하게 된다(S213).When receiving the detection information from the sensor 112 (S211), the
원하는 인식 정보에 적합하지 않은 경우, 서비스 처리 모듈(130)은 사용자의 행동을 유도하는 표현을 하도록 필요한 정보를 처리하게 되고, 표현 모듈(150)은 서비스 처리 모듈(130)의 지시에 따라 미리 설정된 형태의 표현을 하도록 한다(S214).If it is not suitable for the desired recognition information, the
즉, 사용자를 감지하였으나 미리 설정된 거리, 위치, 자세, 속도 등을 벗어나는 상태에 있는 경우, 서비스 처리 모듈(130)의 처리 신호에 따라 표현 모듈(150)은 미리 설정된 형태의 표현(피드백)을 사용자에게 준다. 예를 들면, 발화 표현부(156)를 통해 "가까이 오세요, 멀리 계시네요", "조금만 더 다가와 주세요", "뛰지 말고 천천히 다가와 주세요", "서서 걸어오세요" 라고 말로 표현하거나, 또는 감성 표현부(153)를 통해 램프로 깜빡깜빡 시각적으로 표시하거나 디스플레이부 상에 대기 화면에서 서비스 화면으로 화면 전환을 하거나, 또는 행위 표현부(154)를 통해 춤을 추거나 또는 구동부를 동작하여 사용자에게 다가가는 행위 등의 표현을 하도록 한다.That is, when the user is detected but is out of a preset distance, position, posture, speed, etc., according to the processing signal of the
또한, 영상센서(114)로부터 영상 정보를 수신하게 되면(S221), 영상 인식부(124)는 이러한 영상 정보를 이용하여 그 중 얼굴 정보를 추출하게 된다(S222). 추출된 인식 정보(얼굴 정보)를 이용하여 서비스 처리 모듈(130)은 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하게 된다(S223).In addition, when receiving image information from the image sensor 114 (S221), the
원하는 인식 정보에 적합하지 않은 경우, 서비스 처리 모듈(130)은 사용자의 얼굴을 정확하게 인식하도록 위치 이동 또는 접근을 유도하는 표현을 하도록 필요한 정보를 처리하게 되고, 표현 모듈(150)은 서비스 처리 모듈(130)의 지시에 따라 미리 설정된 형태의 표현을 하도록 한다(S224).If it is not suitable for the desired recognition information, the
즉, 사용자의 영상 정보를 획득한 후, 이 중에서 필요한 사람의 얼굴 정보를 추출하는데, 추출된 얼굴 정보가 식별이 정확히 안되거나 불명료하여 원하는 인식 정보가 아니라고 판단된 경우, 서비스 처리 모듈(130)의 처리 신호에 따라 표현 모듈(150)은 미리 설정된 형태의 표현(피드백)을 사용자에게 준다. 예를 들어, 발화 표현부(156)를 통해 "똑바로 봐주세요, 제(로봇) 얼굴을 정확히 봐주세요"라는 말로 표현하거나, 감성 표현부(153)를 통해 미리 저장된 음악을 재생하거나 또는/동시에 디스플레이부 상에 사람 얼굴 또는 캐릭터의 유혹하는 표정 또는 놀라는 표정 등의 화면을 제공하도록 하여 사용자의 얼굴을 인식하도록 유도하는 표현을 한다. That is, after acquiring the user's image information and extracting the face information of the required person from among them, if it is determined that the extracted face information is not correctly identified or unclear and not the desired recognition information, the
한편, 음성센서(116)로부터 음성 정보를 수신하게 되면(S231), 음성 인식부(126)는 이러한 음성 정보를 이용하여 그 중 언어 정보를 추출하게 된다(S232). 추출된 인식 정보(언어 정보)를 이용하여 서비스 처리 모듈(130)은 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하게 된다(S233).On the other hand, when the voice information is received from the voice sensor 116 (S231), the
원하는 인식 정보에 적합하지 않은 경우, 서비스 처리 모듈(130)은 사용자의 언어를 정확하게 인식하도록 유도하는 표현을 하기 위해 필요한 정보를 처리하게 되고, 표현 모듈(150)은 서비스 처리 모듈(130)의 지시에 따라 미리 설정된 형태의 표현을 하도록 한다(S224).If it is not suitable for the desired recognition information, the
즉, 사용자의 음성 정보를 획득한 후, 이 중에서 필요한 사람의 언어 정보를 추출하는데, 추출된 언어 정보가 인식이 정확히 안되거나 언어 정보를 획득할 수 없는 경우, 서비스 처리 모듈(130)의 처리 신호에 따라 표현 모듈(150)은 미리 설정된 형태의 표현(피드백)을 사용자에게 준다. 예를 들어, 발화 표현부(156)를 통해 "무슨 말씀인지 잘 모르겠어요."라든가, "정확하게(분명하게) 말씀해 주세요." 또는 "∼라는 말이 맞습니까?" 라고 표현하여 사용자 언어 인식을 유도하도록 한다.That is, after acquiring the voice information of the user and extracting the language information of the required person from among them, when the extracted language information is not recognized correctly or the language information cannot be obtained, the processing signal of the
획득한 거리 정보, 얼굴 정보, 언어 정보가 원하는 인식 정보에 적합하다고 판단된 경우, 그 획득된 사용자의 얼굴 정보 및 언어 정보를 이용하여 서비스 처리 모듈(130)은 사용자의 상황 및 감정을 분석하고 사용자에게 상황 및 감정에 맞는 서비스를 제공하도록 처리하게 된다(S240). 즉, 서비스 처리 모듈(130)은 인식된 영상 정보 예를 들면, 표정(기분상태 알고자 함), 입모양(음성인식율 높이고자 함), 성별, 나이(존대말 유무) 등을 이용하여 사용자의 연령대, 성별, 기분 등을 파악한다. 그리고, 서비스 처리 모듈(130)은 인식된 얼굴 정보(감정, 기분, 연령대, 성별, 키) 및 언어 정보를 종합적으로 고려하여 감정, 상황, 개별적 지식 등에 맞는 목적형 대화, 잡담형 대화, 질의 응답, 검색, 일상대화, 평소 언어 등을 사용자와 대화하도록 처리하거나, 이러한 대화가 수행될 때 또는 별개로 상황에 적합한 표정이나 제스처를 표출하거나 터치 입력을 수행하도록 처리한다.When it is determined that the acquired distance information, face information, and language information are suitable for the desired recognition information, the
그런 후, 서비스 처리 모듈(130)의 처리 신호에 의해 표현 모듈(150)은 사용자와의 맞춤형 대화를 수행하거나(S260), 또는 디스플레이부에 사용자 터치 입력을 유도하는 발화 또는 UI 제공 또는 표정이나 캐릭터 형상을 표시하게 된다(S250). Then, the
이상의 설명에서와 같이, 본 발명에 의하면 로봇이 원하는 필요한 정보를 얻을 때까지 로봇이 사용자(인간)에게 유도를 위한 표현(피드백)을 줌으로써, 능동적으로 사용자 참여를 유도하고 의도적 협조상황을 만들게 하여, 최종적으로는 로봇과 사용자 간에 상황에 맞는 대화 또는 사용에게 필요한 서비스를 제공할 수 있게 된다. 이로 인해, 어떠한 상황이나 장소, 시간 등에서 사용자에게 적합한 맞춤형 감성 교감 서비스를 제공할 수 있어 사용자 만족도가 높아지는 효과가 있다. As described above, according to the present invention, the robot gives the user (human) an expression for induction (feedback) until the robot obtains necessary information, thereby actively inducing user participation and creating an intentional cooperation situation. Finally, it is possible to provide a service necessary for a dialogue or use between a robot and a user. As a result, it is possible to provide a customized emotional sympathetic service suitable for a user in any situation, place, time, etc., thereby increasing user satisfaction.
본 발명은 다양한 서비스 로봇에 적용될 수 있다. 예를 들어 전시회나 대형마트 또는 백화점 등에서 목적에 맞는 서비스 대화를 하거나 안내 등 고객 맞춤형 대화를 할 수 있는 안내 로봇, 대화형 학습 콘텐츠를 제공하거나 또는 자율형 학습 및 학습에 대한 진도 평가를 할 수 있는 교육 로봇, 양로원이나 요양원 또는 노인 병원 등에서 노약자의 말벗 상대가 되어 노약자의 외로움을 해소하고 친밀감을 느껴 정서적 안정감을 제공하도록 하는 실버 로봇, 유아원이나 유치원 또는 고아원 등에서 영유아와 같이 대화와 놀이를 할 수 있도록 하는 키즈 로봇, 가정 또는 회사에서 개인화/최적화된 서비스를 제공하는 가정/오피스 로봇 등에 적용될 수 있다. The present invention can be applied to various service robots. For example, an exhibition robot, a guide robot that can have a customized service conversation such as a guide, an interactive learning content, or an evaluation of self-paced learning and learning can be conducted at an exhibition, a hypermarket or a department store. To be able to talk and play with infants in educational robots, nursing homes, nursing homes, or senior hospitals, as a partner of the elderly, to solve the loneliness of the elderly and to feel intimacy and provide emotional stability. It can be applied to a kids robot, a home / office robot that provides personalized / optimized services in a home or a company.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당업자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Accordingly, the true scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of the same should be construed as being included in the scope of the present invention.
110: 센서 모듈 120: 상황 인식 모듈
122. 감지 인식부 124. 영상 인식부
126. 음성 인식부 130. 서비스 처리 모듈
132. 인식 정보 판단부 134. 로봇 서비스 판단부
136. 로봇 표현 처리부 150. 표현 모듈
152. 로봇 표현부 153. 감성 표현부
154. 행위 표현부 155. 대화 관리부
156. 발화 표현부110: sensor module 120: situation recognition module
122.
126.
132. Recognition
136. Robot
152.
154.
156. Speech Representation Department
Claims (8)
상기 감지센서로부터 수신된 정보를 이용하여 행동 정보를 추출하는 감지 인식부와, 상기 영상센서로부터 수신된 정보를 이용하여 얼굴 정보를 추출하는 영상 인식부 및 상기 음성센서로부터 수신된 정보를 이용하여 음성 언어 정보를 추출하는 음성 인식부를 포함하는 상황인식 모듈;
상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 수신하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하여, 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 인식 정보를 얻기 위해 사용자의 행위를 유도하기 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 사용자에게 상황 및 감정에 맞는 서비스를 제공하는 서비스 처리 모듈; 및,
상기 서비스 처리 모듈의 처리 신호에 따라 외부에 미리 설정된 표현을 하는 표현 모듈을 포함하며,
상기 서비스 처리 모듈은, 상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 이용하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 인식 정보 판단부; 상기 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 인식 정보를 얻기 위해 상기 표현 모듈을 통해 사용자의 행위를 유도하기 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 상기 표현 모듈을 통해 사용자에게 상황 및 감정에 맞는 서비스를 제공하도록 판단하는 로봇 서비스 판단부; 및, 상기 로봇 서비스 판단부를 통해 상황 및 감정에 맞는 서비스를 로봇 표현에 적합하도록 필요한 데이터로 정보 처리하는 로봇 표현 처리부를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
A sensor module including a detection sensor, an image sensor, and a voice sensor;
A detection recognition unit extracting behavior information using the information received from the sensor, an image recognition unit extracting face information using the information received from the image sensor, and a voice using the information received from the voice sensor A situation recognition module including a speech recognition unit extracting language information;
Receiving recognition information extracted from the detection recognition unit, the image recognition unit, and the voice recognition unit, it is determined whether the information is suitable for preset desired recognition information, and if the information is not suitable for the preset desired recognition information, A service processing module for expressing to induce a user's action to obtain, and analyzing a user's situation and emotions using the recognition information when the user's desired information is appropriate; And
A representation module configured to pre-set a representation externally according to a process signal of the service processing module,
The service processing module may include: a recognition information determiner configured to determine whether the information is suitable for predetermined preset recognition information using recognition information extracted from the detection recognition unit, the image recognition unit, and the voice recognition unit; If the information is not suitable for the preset desired recognition information, to express the user's behavior through the expression module to obtain the desired recognition information, if it is suitable for the desired recognition information by using the recognition information of the user A robot service determination unit that analyzes a situation and an emotion and determines to provide a service suitable for a situation and an emotion to a user through the expression module; And a robot expression processor configured to process information corresponding to situations and emotions through data required by the robot service determiner into data necessary for the robot expression.
상기 표현 모듈은 음악이나 효과음의 소리나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현, 또는 램프로 광(光)의 표시를 하는 감성 표현부;
특정 동작이나 몸짓을 표현하거나 또는 주행을 하도록 하는 행위 표현부;
언어로 표현하는 발화 표현부; 및,
상기 서비스 처리 모듈로부터 수신된 처리 신호를 상기 감성 표현부, 행위 표현부, 발화 표현부로 표현 데이터를 할당하도록 하는 로봇 표현부를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
The method of claim 1,
The expression module may include an emotional expression unit configured to display a sound of music or sound effects, or an expression of a human face or a certain character shape on a display, or light by a lamp;
An action expression unit for expressing a specific motion or gesture or for driving;
Speech expression unit to express in language; And
Emotional sympathetic robot service system comprising a robot expression unit for allocating expression data received from the service processing module to the emotional expression unit, the behavior expression unit, the speech expression unit.
상기 표현 모듈은 상기 서비스 처리 모듈로부터 제공된 상황 및 감정 정보와 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 이용하여, 사용자와의 맞춤형 대화를 수행할 수 있도록 대화를 통합적으로 관리하여 상기 발화 표현부를 통해 표현하도록 하는 대화 관리부를 더 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
The method of claim 3, wherein
The expression module uses the context and emotion information provided from the service processing module and information on the form or language of the conversation to be recommended, and manages the conversation in an integrated manner so as to perform a customized conversation with the user. Emotional sympathetic robot service system, characterized in that it further comprises a dialogue management unit to express through the wealth.
상기 대화 관리부는 통합 대화 관리 체계로서 목적형 대화처리부, 잡담형 대화처리부, 및 질의 응답부를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
5. The method of claim 4,
The conversation manager includes an interactive conversation management unit, a chat conversation unit, and a question answering unit as an integrated conversation management system.
a) 상기 감지센서, 영상센서, 음성센서로부터 수신된 정보를 이용하여 상황인식 모듈이 행동 정보, 얼굴 정보, 음성 언어 정보를 추출하는 단계;
b) 상기 추출된 인식 정보를 이용하여 서비스 처리 모듈이 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 단계;
c) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 상기 서비스 처리 모듈이 원하는 인식 정보를 얻기 위해 상기 표현 모듈을 통해 사용자의 행위를 유도하기 위한 표현을 하도록 처리하는 단계;
d) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한 경우 상기 서비스 처리 모듈이 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여, 상기 사용자의 상황 및 감정에 맞는 서비스를 상기 표현 모듈을 통해 제공하도록 처리하는 단계;
e1) 상기 서비스 처리 모듈이 사용자의 상황 및 감정에 맞는 서비스와 사용자의 행위를 유도하기 위한 표현을 로봇 표현에 접합하도록 필요한 데이터로 정보 처리하는 단계; 및,
e2) 상기 표현 모듈이 외부에 미리 설정된 표현을 하는 단계를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 방법.
An emotional sympathetic robot service method by an emotional sympathetic robot service system including a sensor module including a sensor, an image sensor, and a voice sensor, a situation recognition module, a service processing module, and a representation module,
a) extracting behavior information, face information, and voice language information by the situation recognition module using the information received from the sensor, the image sensor, and the voice sensor;
b) determining, by the service processing module, whether the recognition information is suitable for preset desired recognition information by using the extracted recognition information;
c) processing the service processing module to present an expression for inducing a user's action through the expression module in order to obtain desired recognition information when the recognition information does not match preset preset recognition information;
d) if the recognition information is suitable for the preset desired recognition information, the service processing module analyzes the user's situation and emotion using the recognition information, and provides a service suitable for the user's situation and emotion through the expression module. Processing to make;
e1) the service processing module processing information with data necessary for bonding the service suitable for the user's situation and emotion and the expression for inducing the user's action to the robot representation; And
e2) Emotional sympathetic robot service method comprising the step of expressing the expression set in advance by the expression module.
상기 d) 단계는 사용자의 영상 정보 및 음성 정보를 이용하여, 사용자의 언어와 표정을 같이 분석하여 사용자의 연령대, 성별, 표정에 따라 상황 및 감정을 분석하는 동시에, 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 제공하는 것을 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 방법.
The method according to claim 6,
Step d) analyzes the user's language and facial expression by using the user's video information and audio information to analyze the situation and emotion according to the user's age, gender, and facial expression, and at the same time, the form or use of the conversation to be recommended. Emotional sympathetic robot service method comprising providing information about the language.
상기 e2) 단계에서 사용자의 행위를 유도하기 위한 미리 설정된 형태의 표현은, 미리 설정된 언어를 표현하거나, 램프로 광(光)을 표시하거나, 미리 설정된 음악이나 효과음의 사운드를 출력하거나, 특정 동작(제스처) 또는 주행을 하거나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현을 하는 것 중의 적어도 하나를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 방법.
The method according to claim 6,
In the step e2), the expression of a preset form for inducing a user's action may represent a preset language, display light with a lamp, output sound of a preset music or sound effect, or perform a specific operation ( Gestures) or driving, or expressing a human face or a predetermined character shape on a display.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120014745A KR101336641B1 (en) | 2012-02-14 | 2012-02-14 | Emotional Sympathy Robot Service System and Method of the Same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120014745A KR101336641B1 (en) | 2012-02-14 | 2012-02-14 | Emotional Sympathy Robot Service System and Method of the Same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130093290A KR20130093290A (en) | 2013-08-22 |
KR101336641B1 true KR101336641B1 (en) | 2013-12-16 |
Family
ID=49217623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120014745A KR101336641B1 (en) | 2012-02-14 | 2012-02-14 | Emotional Sympathy Robot Service System and Method of the Same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101336641B1 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180082777A (en) * | 2017-01-11 | 2018-07-19 | 한국기술교육대학교 산학협력단 | Communion robot system for senior citizen |
US10289076B2 (en) | 2016-11-15 | 2019-05-14 | Roborus Co., Ltd. | Concierge robot system, concierge service method, and concierge robot |
WO2019133710A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for dialogue management |
WO2019133698A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for personalizing dialogue based on user's appearances |
WO2019133715A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for artificial intelligence driven automated companion |
WO2019132063A1 (en) * | 2017-12-27 | 2019-07-04 | (주)퓨처로봇 | Robot service learning system and method thereof |
WO2019133694A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs |
WO2019133689A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for selective animatronic peripheral response for human machine dialogue |
KR20190115504A (en) * | 2018-03-15 | 2019-10-14 | 연세대학교 산학협력단 | Apparatus and method controlling emotional expresion robot |
USD888165S1 (en) | 2018-11-05 | 2020-06-23 | DMAI, Inc. | Robot |
KR20210019818A (en) | 2019-08-13 | 2021-02-23 | 주식회사 프론트유 | Interactive sympathetic learning contents providing system and method |
USD916161S1 (en) | 2018-11-05 | 2021-04-13 | DMAI, Inc. | Robot |
US11331807B2 (en) | 2018-02-15 | 2022-05-17 | DMAI, Inc. | System and method for dynamic program configuration |
US12005579B2 (en) | 2018-01-29 | 2024-06-11 | Samsung Electronics Co., Ltd | Robot reacting on basis of user behavior and control method therefor |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101640410B1 (en) * | 2014-04-09 | 2016-07-18 | 주식회사 도브투래빗 | Multiple digital interacting method and system |
JP7351745B2 (en) * | 2016-11-10 | 2023-09-27 | ワーナー・ブラザース・エンターテイメント・インコーポレイテッド | Social robot with environmental control function |
KR101887637B1 (en) * | 2016-11-15 | 2018-08-10 | 주식회사 로보러스 | Robot system |
KR101970297B1 (en) * | 2016-11-22 | 2019-08-13 | 주식회사 로보러스 | Robot system for generating and representing emotion and method thereof |
US20180336412A1 (en) * | 2017-05-17 | 2018-11-22 | Sphero, Inc. | Computer vision robot control |
US20200251105A1 (en) * | 2017-09-29 | 2020-08-06 | Torooc Inc. | Method and system for providing conversation service by using autonomous behavior robot, and non-transitory computer-readable recording medium |
KR102012968B1 (en) | 2018-08-07 | 2019-08-27 | 주식회사 서큘러스 | Method and server for controlling interaction robot |
KR102228866B1 (en) * | 2018-10-18 | 2021-03-17 | 엘지전자 주식회사 | Robot and method for controlling thereof |
KR102135077B1 (en) * | 2018-11-05 | 2020-07-17 | 글로벌사이버대학교 산학협력단 | System for providing topics of conversation in real time using intelligence speakers |
KR102696974B1 (en) * | 2019-01-28 | 2024-08-20 | 현대모비스 주식회사 | Social robot and operating method therof |
CN109697577A (en) * | 2019-02-01 | 2019-04-30 | 北京清帆科技有限公司 | A kind of voice-based Classroom instruction quality evaluation method |
KR102276951B1 (en) * | 2019-09-19 | 2021-07-13 | 주식회사 세미콘네트웍스 | Output method for artificial intelligence speakers based on emotional values calculated from voice and face |
KR102278162B1 (en) * | 2020-02-19 | 2021-07-19 | 한동대학교 산학협력단 | Method for operating speech assistant robot with user interaction |
CN113580166B (en) * | 2021-08-20 | 2023-11-28 | 安徽淘云科技股份有限公司 | Interaction method, device, equipment and storage medium of anthropomorphic robot |
KR102378885B1 (en) * | 2021-09-29 | 2022-03-28 | 주식회사 인피닉 | Method for generating metadata using face of speaker, and computer program recorded on record-medium for executing method therefor |
CN114463938B (en) * | 2022-02-09 | 2024-04-09 | 辽宁工业大学 | Intelligent monitoring system for empty nest old people |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100850352B1 (en) * | 2006-09-26 | 2008-08-04 | 한국전자통신연구원 | Emotion Expression Apparatus for Intelligence Robot for expressing emotion using status information and Method thereof |
-
2012
- 2012-02-14 KR KR1020120014745A patent/KR101336641B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100850352B1 (en) * | 2006-09-26 | 2008-08-04 | 한국전자통신연구원 | Emotion Expression Apparatus for Intelligence Robot for expressing emotion using status information and Method thereof |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10289076B2 (en) | 2016-11-15 | 2019-05-14 | Roborus Co., Ltd. | Concierge robot system, concierge service method, and concierge robot |
KR20180082777A (en) * | 2017-01-11 | 2018-07-19 | 한국기술교육대학교 산학협력단 | Communion robot system for senior citizen |
WO2019132063A1 (en) * | 2017-12-27 | 2019-07-04 | (주)퓨처로봇 | Robot service learning system and method thereof |
KR102140292B1 (en) * | 2017-12-27 | 2020-07-31 | (주) 퓨처로봇 | System for learning of robot service and method thereof |
KR20190079255A (en) * | 2017-12-27 | 2019-07-05 | (주) 퓨처로봇 | System for learning of robot service and method thereof |
US11024294B2 (en) | 2017-12-29 | 2021-06-01 | DMAI, Inc. | System and method for dialogue management |
US11222632B2 (en) | 2017-12-29 | 2022-01-11 | DMAI, Inc. | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs |
WO2019133689A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for selective animatronic peripheral response for human machine dialogue |
WO2019133715A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for artificial intelligence driven automated companion |
WO2019133694A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs |
US11504856B2 (en) | 2017-12-29 | 2022-11-22 | DMAI, Inc. | System and method for selective animatronic peripheral response for human machine dialogue |
WO2019133698A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for personalizing dialogue based on user's appearances |
US11468894B2 (en) | 2017-12-29 | 2022-10-11 | DMAI, Inc. | System and method for personalizing dialogue based on user's appearances |
WO2019133710A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for dialogue management |
US12005579B2 (en) | 2018-01-29 | 2024-06-11 | Samsung Electronics Co., Ltd | Robot reacting on basis of user behavior and control method therefor |
US11331807B2 (en) | 2018-02-15 | 2022-05-17 | DMAI, Inc. | System and method for dynamic program configuration |
KR102083229B1 (en) * | 2018-03-15 | 2020-03-02 | 연세대학교 산학협력단 | Apparatus and method controlling emotional expresion robot |
KR20190115504A (en) * | 2018-03-15 | 2019-10-14 | 연세대학교 산학협력단 | Apparatus and method controlling emotional expresion robot |
USD934323S1 (en) | 2018-11-05 | 2021-10-26 | DMAI, Inc. | Robot |
USD916161S1 (en) | 2018-11-05 | 2021-04-13 | DMAI, Inc. | Robot |
USD888165S1 (en) | 2018-11-05 | 2020-06-23 | DMAI, Inc. | Robot |
KR20210019818A (en) | 2019-08-13 | 2021-02-23 | 주식회사 프론트유 | Interactive sympathetic learning contents providing system and method |
Also Published As
Publication number | Publication date |
---|---|
KR20130093290A (en) | 2013-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101336641B1 (en) | Emotional Sympathy Robot Service System and Method of the Same | |
US11358285B2 (en) | Robot and method of recognizing mood using the same | |
KR102374910B1 (en) | Voice data processing method and electronic device supporting the same | |
KR20200143764A (en) | Emotional Sympathy Service System and Method of the Same | |
CN112204564A (en) | System and method for speech understanding via integrated audio and visual based speech recognition | |
WO2016080553A1 (en) | Learning robot, learning robot system, and learning robot program | |
KR20210008089A (en) | Dynamic and/or context specific hotwords for invoking automated assistants | |
JP7439826B2 (en) | Information processing device, information processing method, and program | |
KR102511517B1 (en) | Voice input processing method and electronic device supportingthe same | |
KR20180046550A (en) | Apparatus and method for conversaion using artificial intelligence | |
Goetze et al. | Multimodal human-machine interaction for service robots in home-care environments | |
KR101019655B1 (en) | Apparatus and method having a function of guiding user's controlling behavior | |
US12011828B2 (en) | Method for controlling a plurality of robot effectors | |
Stavropoulou et al. | Voice user interfaces for service robots: Design principles and methodology | |
WO2024190616A1 (en) | Action control system and program | |
WO2024190445A1 (en) | Behavior control system and program | |
KR102460553B1 (en) | Method, device and computer program for providing sign language response using neural network in avehicle | |
Bakare et al. | Multimodal Framework for Multilingual Social Interaction Assistive Application (MSIAA) for Elderly People | |
JP2024157531A (en) | Behavior Control System | |
JP2024155799A (en) | Electronics | |
JP2024159728A (en) | Electronics | |
JP2024155786A (en) | Electronics | |
JP2024159686A (en) | Electronics | |
JP2024155774A (en) | Electronics | |
JP2024154394A (en) | Electronics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161128 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180323 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20181128 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20191128 Year of fee payment: 7 |