Nothing Special   »   [go: up one dir, main page]

KR20150115522A - Device for acquiring sign language motion and sign language/text conversion system using thereof - Google Patents

Device for acquiring sign language motion and sign language/text conversion system using thereof Download PDF

Info

Publication number
KR20150115522A
KR20150115522A KR1020140040721A KR20140040721A KR20150115522A KR 20150115522 A KR20150115522 A KR 20150115522A KR 1020140040721 A KR1020140040721 A KR 1020140040721A KR 20140040721 A KR20140040721 A KR 20140040721A KR 20150115522 A KR20150115522 A KR 20150115522A
Authority
KR
South Korea
Prior art keywords
user
information
sensor
sign language
text
Prior art date
Application number
KR1020140040721A
Other languages
Korean (ko)
Inventor
황석민
이종하
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020140040721A priority Critical patent/KR20150115522A/en
Publication of KR20150115522A publication Critical patent/KR20150115522A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to an apparatus for acquiring sign language motion information and converting the same into a text. More specifically, the apparatus comprises: a position sensor for acquiring position information of a hand and an arm of a user; and an electromyogram sensor for acquiring muscle movement information of the user. The sign language motion information of the user shown as the position information of a hand and an arm of a user and the muscle movement information that the position sensor and the electromyogram sensor acquire is data-processed to convert the signal language motion information into the text. According to the apparatus for acquiring the sign language motion and a text conversion system of a sign language motion using the same of the present invention, by making sign language motion information of the user into a data form by using the position sensor which acquires the position information of a hand and an arm of a user and the electromyogram sensor which acquires the muscle movement information of the user, the sign language motion information can be acquired with simple portable equipment, and a fine movement of a finger can be exactly acquired. In addition, according to the present invention, by further including a communications module to the apparatus for acquiring sign language motion and making the same communicate with a user terminal such as a smart device, the present invention can make a conversation between the user who directly speaks with the sign language and a user who would like to understand the sign language easy.

Description

수화 동작 획득 장치 및 이를 이용한 수화 동작의 텍스트 변환 시스템{DEVICE FOR ACQUIRING SIGN LANGUAGE MOTION AND SIGN LANGUAGE/TEXT CONVERSION SYSTEM USING THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a device for capturing a sign language,

본 발명은 수화 동작 정보를 획득하여 텍스트로 변환할 수 있는 장치에 관한 것으로서, 보다 구체적으로는 위치 센서 및 근전도 센서를 포함하는 수화 동작 획득 장치, 수화 동작 정보를 텍스트로 변환하는 사용자 단말기 및 이를 이용한 수화 동작의 텍스트 변환 시스템에 관한 것이다.The present invention relates to a device capable of acquiring hydration operation information and converting it into text, and more particularly, to a hydration acquisition device including a position sensor and an EMG sensor, a user terminal for converting hydration operation information into text, To a text conversion system for sign language operations.

수화는 구화를 대신하여 몸짓이나 손짓으로 표현하는 의사 전달방법을 말하는 것으로서, 손이나 팔로 그리는 모양, 그 위치나 이동의 움직임을 종합하여 행하여진다. 이와 같은 수화는 각각의 언어마다 정해진 규칙에 따라 표현 방식을 가지고 있으므로, 새로운 언어를 익히는 것과 거의 동일한 노력을 들여 학습을 하여야 한다. 따라서 수화를 알지 못하는 일반인은 수화로 표현되는 의사를 이해할 수 없어 일반인과 청각 장애인 등과 간은 수화 사용자 간의 대화는 쉽지 않다.
Sign language refers to a method of communicating by gestures or hand gestures instead of phrases. It is a combination of the shape drawn by the hand or the arm, and the movement of the position or movement. Such a sign language has an expression method according to a predetermined rule for each language, so it is necessary to study almost the same effort as learning a new language. Therefore, the general public who does not know the sign language can not understand the doctor expressed by the sign language, and conversation between the sign language user and the general person and the hearing impaired person is not easy.

최근에는 컴퓨터 기술의 발달로, 수화의 동작 정보를 데이터화하여 이를 텍스트 또는 음성으로 변환시키는 기술이 개발되었다(특허출원 제10-2001-0062085, 제10-2008-0085809호 참조). 이와 같은 수화의 텍스트화 또는 음성화 기술에 있어서는, 수화 동작 정보를 데이터화하는 기술이 주요하다. 종래에는, 수화 동작을 카메라로 촬영하고, 촬영된 영상을 컴퓨터로 분석하여 이를 음성 등으로 출력되도록 하는 방식을 채택하였다.
Recently, with the development of computer technology, a technique has been developed in which the operation information of sign language is converted into text and converted into text or voice (see Patent Application No. 10-2001-0062085, No. 10-2008-0085809). In such a text or speech technology for sign language, there is a technique for converting sign language operation information into data. Conventionally, a method has been adopted in which a hydration operation is photographed by a camera, a captured image is analyzed by a computer, and the resulting image is output as a voice or the like.

그러나 이와 같은 방식은, 카메라가 필수적으로 필요하여 일상생활에서 편리하게 이용하기 어렵고, 카메라가 취득한 영상의 선명도 등에 따라 분석 정확도가 크게 달라지며, 미세한 손가락의 움직임을 획득하지 못하는 문제도 있다.However, such a method is difficult to use conveniently in everyday life because a camera is indispensably necessary, and analysis accuracy varies greatly depending on the sharpness of the image captured by the camera, and there is also a problem that minute finger movements can not be obtained.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 사용자의 손과 팔의 위치 정보를 획득하는 위치 센서 및 사용자의 근육 움직임 정보를 획득하는 근전도 센서를 이용하여 사용자의 수화 동작 정보를 데이터화함으로써, 간단한 휴대용 장비만으로 수화 동작 정보 획득이 가능하고, 미세한 손가락 움직임까지도 정확하게 획득할 수 있는, 수화 동작 획득 장치 및 이를 이용한 수화 동작의 텍스트 변환 시스템을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. The present invention proposes a positional sensor for acquiring position information of the user's hand and arm, and an electromyographic sensor for acquiring muscle motion information of the user, It is an object of the present invention to provide a sign language acquisition apparatus and a text conversion system of a sign language operation using the sign language information, which can acquire sign language operation information with only simple portable equipment and accurately acquire even minute finger movements .

또한, 본 발명은, 수화 동작 획득 장치에 통신 모듈을 더 구비하고, 스마트 기기와 같은 사용자 단말기와 통신할 수 있도록 구성함으로써, 수화를 직접 동작하는 사용자와 수화를 이해하고자 하는 사용자 간의 대화가 용이한, 수화 동작 획득 장치 및 이를 이용한 수화 동작의 텍스트 변환 시스템을 제공하는 것을 또 다른 목적으로 한다.Further, the present invention is characterized in that the sign language acquisition device further includes a communication module and is configured to be able to communicate with a user terminal such as a smart device, thereby facilitating conversation between a user who operates sign language directly and a user who understands sign language Another object of the present invention is to provide a hydration operation obtaining apparatus and a text conversion system of a hydration operation using the same.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 수화 동작 획득 장치는,According to an aspect of the present invention,

사용자의 손과 팔의 위치 정보를 획득하는 위치 센서; 및A position sensor for acquiring position information of the user's hand and arm; And

상기 사용자의 근육 움직임 정보를 획득하는 근전도 센서를 포함하고,And an electromyogram sensor for acquiring muscle motion information of the user,

상기 위치 센서 및 상기 근전도 센서가 획득한 상기 사용자의 손과 팔의 위치 정보 및 근육 움직임 정보로 표현되는 상기 사용자의 수화 동작 정보를 데이터 처리하여 텍스트로 변환하는데 사용되는 것을 그 구성상의 특징으로 한다.
Processing the information on the user's handwriting motion represented by the position information of the hand and arm of the user and the muscle motion information acquired by the position sensor and the electromyography sensor and converting the handwriting motion information into a text.

바람직하게는, 상기 위치 센서는,Preferably, the position sensor comprises:

X, Y, Z 3축의 회전각을 측정하여 위치 정보를 도출하는 자이로 센서일 수 있다.
And may be a gyro sensor that measures positional information by measuring rotation angles of three axes of X, Y, and Z.

바람직하게는, 상기 근전도 센서는,Preferably, the electromyogram sensor comprises:

상기 사용자의 손목, 손등 및 손바닥을 포함하는 군에서 선택되는 어느 한 부위에 접촉 구비되어, 상기 사용자의 손동작 정보를 획득할 수 있다.
The user's hand movement information can be obtained by being in contact with any one portion selected from the group including the wrist, the hand, and the palm of the user.

바람직하게는, 상기 수화 동작 획득 장치는,Preferably, the hydration operation obtaining apparatus further comprises:

상기 위치 센서 및 근전도 센서가 획득한 위치 정보 및 근육 움직임 정보를 저장하는 저장 모듈을 더 포함할 수 있다.
And a storage module for storing position information and muscle motion information acquired by the position sensor and the electromyogram sensor.

바람직하게는, 상기 수화 동작 획득 장치는,Preferably, the hydration operation obtaining apparatus further comprises:

상기 위치 센서 및 근전도 센서가 획득한 위치 정보 및 근육 움직임 정보를, 미리 저장된 수화 동작 정보 테이블에 매칭 시켜 상기 사용자가 수화로 표현한 콘텐츠를 텍스트로 변환하는 텍스트 변환 모듈을 더 포함할 수 있다.
The text conversion module may further include a text conversion module for converting the contents represented by the user's sign language into text by matching the positional information and the muscle motion information acquired by the position sensor and the electromyogram sensor to a previously stored sign language operation information table.

더욱 바람직하게는, 상기 수화 동작 획득 장치는,More preferably, the hydration operation obtaining apparatus further comprises:

상기 텍스트 변환 모듈이 도출한 텍스트를 표시하는 표시 모듈, 또는 상기 텍스트 변환 모듈이 도출한 텍스트를 음성으로 변환하여 표현하는 음성 모듈을 더 포함할 수 있다.
A display module for displaying the text derived by the text conversion module, or a voice module for converting the text derived by the text conversion module into a voice and expressing the voice.

바람직하게는, 상기 수화 동작 획득 장치는,Preferably, the hydration operation obtaining apparatus further comprises:

상기 위치 센서 및 상기 근전도 센서가 획득한 상기 사용자의 손과 팔의 위치 및 근육 움직임 정보를, 수화 텍스트 변환 프로그램이 탑재된 사용자 단말기에 전송하는 통신 모듈을 더 포함할 수 있다.
And a communication module for transmitting the position and muscle motion information of the user's hand and arm acquired by the position sensor and the electromyography sensor to a user terminal equipped with a sign language text conversion program.

더욱 바람직하게는, 상기 통신 모듈은,More preferably, the communication module includes:

블루투스, 지그비, 적외선 통신 및 UWB(Ultra Wide Band)을 포함하는 군에서 선택된 적어도 하나 이상의 무선 근거리 통신 모듈을 포함할 수 있다.
At least one wireless local area communication module selected from the group including Bluetooth, ZigBee, infrared communication, and UWB (Ultra Wide Band).

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 수화 동작 정보를 텍스트로 변환하는 사용자 단말기는,According to an aspect of the present invention, there is provided a user terminal for converting sign language operation information into text,

사용자의 신체에 착용되어 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 획득하는 수화 동작 획득 장치로부터 상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 전송받는 통신 모듈;A communication module that receives position information and muscle motion information of the user's arm and hand from a hydration operation acquiring device that is worn on a user's body and acquires position information and muscle motion information of a user's arm and hand;

상기 통신 모듈이 전송받은 상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 데이터 처리하여 텍스트로 변환하는 데이터 처리 모듈; 및A data processing module for processing the position information and the muscle motion information of the arm and the hand of the user, which are transmitted from the communication module, into a text; And

상기 데이터 처리 모듈이 도출한 텍스트를 표시하는 표시 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
And a display module for displaying the text derived by the data processing module.

바람직하게는, 상기 사용자 단말기는,Preferably, the user terminal further comprises:

수화 텍스트 변환 애플리케이션이 탑재된 스마트 기기일 수 있다.
It may be a smart device equipped with a sign language text conversion application.

바람직하게는, 상기 통신 모듈은,Advantageously, the communication module further comprises:

상기 수화 동작 획득 장치와, 블루투스, 지그비, 적외선 통신 및 UWB(Ultra Wide Band)을 포함하는 군에서 선택된 적어도 하나 이상을 이용하여 근거리 무선 통신할 수 있다.
Wireless communication using at least one selected from the group consisting of Bluetooth, ZigBee, infrared communication, and UWB (Ultra Wide Band).

바람직하게는, 상기 데이터 처리 모듈은,Advantageously, the data processing module further comprises:

상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 미리 저장된 수화 동작 정보 테이블에 매칭 시켜 상기 사용자가 수화로 표현한 콘텐츠를 텍스트로 변환할 수 있다.
The position information of the user's arms and hands and the muscle motion information are matched with the hydration operation information table stored in advance so that the content expressed by the user's sign language can be converted into text.

바람직하게는,Preferably,

상기 데이터 처리 모듈은, 상기 변환된 텍스트를 음성으로 변환하는 기능을 포함하고,Wherein the data processing module includes a function of converting the converted text into speech,

상기 사용자 단말기는, 상기 데이터 처리 모듈이 도출한 음성을 표현하는 스피커 모듈을 더 포함할 수 있다.
The user terminal may further include a speaker module for expressing a voice derived from the data processing module.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템은,According to an aspect of the present invention, there is provided a text conversion system for a hydration operation using a position sensor and an electromyography sensor,

사용자의 손과 팔의 위치 정보를 획득하는 위치 센서, 상기 사용자의 근육 움직임 정보를 획득하는 근전도 센서, 및 상기 위치 센서 및 상기 근전도 센서가 획득한 상기 사용자의 손과 팔의 위치 및 근육 움직임 정보를 사용자 단말기에 전송하는 제1 통신 모듈을 포함하는 수화 동작 획득 장치; 및A position sensor for acquiring positional information of a user's hand and an arm, an electromyogram sensor for acquiring muscle motion information of the user, and a position and muscle movement information of the user's hand and arm acquired by the position sensor and the electromyogram sensor A first communication module for transmitting the first communication module to the user terminal; And

상기 수화 동작 획득 장치로부터 상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 전송받는 제2 통신 모듈, 상기 제2 통신 모듈이 전송받은 상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 데이터 처리하여 텍스트로 변환하는 데이터 처리 모듈, 및 상기 데이터 처리 모듈이 도출한 텍스트를 표시하는 표시 모듈을 포함하는 사용자 단말기를 포함하는 것을 그 구성상의 특징으로 한다.
A second communication module for receiving position information and muscle motion information of the user's arm and hand from the hydration operation obtaining device, position information and arm motion information of the user's arm and hand, And a display module for displaying a text derived by the data processing module. The present invention also relates to a data processing system including a data processing module and a display module.

바람직하게는, 상기 위치 센서는,Preferably, the position sensor comprises:

X, Y, Z 3축의 회전각을 측정하여 위치 정보를 도출하는 자이로 센서일 수 있다.
And may be a gyro sensor that measures positional information by measuring rotation angles of three axes of X, Y, and Z.

바람직하게는, 상기 근전도 센서는,Preferably, the electromyogram sensor comprises:

상기 사용자의 손목, 손등 및 손바닥을 포함하는 군에서 선택되는 어느 한 부위에 접촉 구비되어, 상기 사용자의 손동작 정보를 획득할 수 있다.
The user's hand movement information can be obtained by being in contact with any one portion selected from the group including the wrist, the hand, and the palm of the user.

바람직하게는, 상기 수화 동작 획득 장치는,Preferably, the hydration operation obtaining apparatus further comprises:

상기 위치 센서 및 근전도 센서가 획득한 위치 정보 및 근육 움직임 정보를 저장하는 저장 모듈을 더 포함할 수 있다.
And a storage module for storing position information and muscle motion information acquired by the position sensor and the electromyogram sensor.

바람직하게는, 상기 수화 동작 획득 장치와 상기 사용자 단말기는,Preferably, the hydration-operation acquiring device and the user terminal further comprise:

블루투스, 지그비, 적외선 통신 및 UWB(Ultra Wide Band)을 포함하는 군에서 선택된 적어도 하나 이상을 이용하여 근거리 무선 통신할 수 있다.
Bluetooth, ZigBee, infrared communication, and UWB (Ultra Wide Band).

바람직하게는, 상기 데이터 처리 모듈은,Advantageously, the data processing module further comprises:

상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 미리 저장된 수화 동작 정보 테이블에 매칭 시켜 상기 사용자가 수화로 표현한 콘텐츠를 텍스트로 변환할 수 있다.
The position information of the user's arms and hands and the muscle motion information are matched with the hydration operation information table stored in advance so that the content expressed by the user's sign language can be converted into text.

바람직하게는, Preferably,

상기 데이터 처리 모듈은, 상기 변환된 텍스트를 음성으로 변환하는 기능을 포함하고,Wherein the data processing module includes a function of converting the converted text into speech,

상기 사용자 단말기는, 상기 데이터 처리 모듈이 도출한 음성을 표현하는 스피커 모듈을 더 포함할 수 있다.The user terminal may further include a speaker module for expressing a voice derived from the data processing module.

본 발명에서 제안하고 있는 수화 동작 획득 장치 및 이를 이용한 수화 동작의 텍스트 변환 시스템에 따르면, 사용자의 손과 팔의 위치 정보를 획득하는 위치 센서 및 사용자의 근육 움직임 정보를 획득하는 근전도 센서를 이용하여 사용자의 수화 동작 정보를 데이터화함으로써, 간단한 휴대용 장비만으로 수화 동작 정보 획득이 가능하고, 미세한 손가락 움직임까지도 정확하게 획득할 수 있다.
According to the present invention, there is provided a handwriting acquisition apparatus and a text conversion system for a sign language operation using the same. The handwriting recognition system includes a position sensor for acquiring position information of a user's hand and an arm, The hydration operation information can be acquired by using only a simple portable equipment, and fine finger movements can be obtained accurately.

또한, 본 발명에 따르면, 수화 동작 획득 장치에 통신 모듈을 더 구비하고, 스마트 기기와 같은 사용자 단말기와 통신할 수 있도록 구성함으로써, 수화를 직접 동작하는 사용자와 수화를 이해하고자 하는 사용자 간의 대화가 용이하다.Further, according to the present invention, a communication module is further provided in the sign language acquisition device, and by configuring to communicate with a user terminal such as a smart device, it is easy to communicate between a user who operates sign language directly and a user who understands sign language Do.

도 1은 종래의 수화 인식 방법을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 수화 동작 획득 장치의 구성을 도식화한 도면.
도 3은 본 발명의 일실시예에 따른 수화 동작 획득 장치를 도시한 도면.
도 4는 본 발명의 다른 실시예에 따른 수화 동작 획득 장치의 구성을 도식화한 도면.
도 5는 본 발명의 또 다른 실시예에 따른 수화 동작 획득 장치의 구성을 도식화한 도면.
도 6은 본 발명의 또 다른 실시예에 따른 수화 동작 획득 장치의 사용례를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 수화 동작 정보를 텍스트로 변환하는 사용자 단말기를 도시한 도면.
도 8은 본 발명의 다른 실시예에 따른 수화 동작 정보를 텍스트로 변환하는 사용자 단말기를 도시한 도면.
도 9는 본 발명의 다른 실시예에 따른 수화 동작 정보를 텍스트로 변환하는 사용자 단말기의 사용례를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템의 사용례를 도시한 도면.1 illustrates a conventional sign language recognition method;
BACKGROUND OF THE INVENTION Field of the Invention [0001]
3 is a view showing a hydration operation obtaining apparatus according to an embodiment of the present invention.
4 is a diagram illustrating a configuration of a hydration operation obtaining apparatus according to another embodiment of the present invention.
FIG. 5 is a diagram illustrating a configuration of a hydration operation obtaining apparatus according to another embodiment of the present invention; FIG.
6 is a view showing the use of a hydration operation obtaining apparatus according to another embodiment of the present invention.
FIG. 7 illustrates a user terminal for converting sign language information into text in accordance with an embodiment of the present invention. FIG.
FIG. 8 illustrates a user terminal for converting the hydration operation information into text according to another embodiment of the present invention. FIG.
9 is a view showing an example of the use of a user terminal for converting sign language information into text in accordance with another embodiment of the present invention.
10 illustrates a text conversion system for a hydration operation using a position sensor and an EMG sensor according to an embodiment of the present invention.
11 is a view showing an example of the use of a text conversion system for a hydration operation using a position sensor and an electromyographic sensor according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 종래의 수화 인식 방법을 도시한 도면이다. 도 1에 도시된 바와 같이, 종래의 수화 인식 방법은, 컴퓨터와 연결된 카메라가 수화 동작을 촬영하고, 촬영된 영상의 다양한 알고리즘을 이용하여 분석하는 방식에 따랐다. 그러나 이와 같은 방식은, 카메라가 필수적으로 필요하여 일상생활에서 편리하게 이용하기 어렵고, 카메라가 취득한 영상의 선명도 등에 따라 분석 정확도가 크게 달라지며, 미세한 손가락의 움직임을 획득하지 못하는 문제도 있다.
1 is a diagram showing a conventional sign language recognition method. As shown in FIG. 1, the conventional sign recognition method is based on a method in which a camera connected to a computer captures a hydration operation and analyzes the captured image using various algorithms. However, such a method is difficult to use conveniently in everyday life because a camera is indispensably required, analysis accuracy varies greatly depending on the sharpness of the image captured by the camera, and the problem of not obtaining the fine finger movement is also present.

도 2는 본 발명의 일실시예에 따른 수화 동작 획득 장치의 구성을 도식화한 도면이고, 도 3은 본 발명의 일실시예에 따른 수화 동작 획득 장치를 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 수화 동작 획득 장치(100)는, 위치 센서(110) 및 근전도 센서(120)를 포함하여 구성될 수 있으며, 도 3에 도시된 바와 같이, 위치 센서 및 근전도 센서가 획득한 사용자의 손과 팔의 위치 정보 및 근육 움직임 정보로 표현되는 사용자의 수화 동작 정보를 데이터 처리하여 텍스트로 변환하는 데 사용될 수 있다.
FIG. 2 is a diagram illustrating a configuration of a hydration operation obtaining apparatus according to an embodiment of the present invention, and FIG. 3 is a diagram illustrating a hydration operation obtaining apparatus according to an embodiment of the present invention. 2, the hydration operation obtaining apparatus 100 according to an embodiment of the present invention may include a position sensor 110 and an electromyogram sensor 120, and may be configured as shown in FIG. 3 Likewise, the position sensor and the electromyogram sensor may be used to convert the user's hydration operation information, which is obtained by the acquired position information of the user's hands and arms, and the muscle movement information, into data and process the data into text.

위치 센서(110)는, 사용자의 손과 팔의 위치 정보를 획득할 수 있다. 사용자의 손과 팔의 물리적인 위치인 X축, Y축, Z축 위치 정보를 데이터화하여 획득하는 것으로서, 실시예에 따라서는, X, Y, Z 3축의 회전각을 측정하여 위치 정보를 도출하는 자이로 센서일 수 있다. 그러나 이는 일실시예에 한하는 것으로서, 다양한 공지된 위치 센서가 이용될 수 있다. 본 발명의 다른 실시예에 따르면, 종래의 카메라를 이용하는 방식을 접목하여, 사용자의 손과 팔의 위치 정보는 카메라를 통하여 획득할 수도 있고, 이 경우, 위치 센서(110)는, 카메라 모듈을 포함하는 개념으로 해석될 수 있다.
The position sensor 110 may obtain positional information of the user's hands and arms. Axis, Y-axis, and Z-axis position information, which is a physical position of the user's hand and arm, by acquiring data. In some embodiments, rotation angles of X, Y, and Z axes are measured to derive position information May be a gyro sensor. However, this is for one embodiment, and various known position sensors can be used. According to another embodiment of the present invention, the position information of the user's hand and arm may be obtained through the camera by combining the conventional method using the camera. In this case, the position sensor 110 may include a camera module As a whole.

근전도 센서(120)는, 사용자의 근육 움직임 정보를 획득할 수 있다. 근전도는 근육의 활동 전위를 기록한 것으로서, 인체의 피부 표면에 전극을 접촉시켜 전위를 인도하는 표면도출법과, 침상전극을 근육에 꽂아 넣고 근육 내의 한 지점에 생긴 활동전위를 이끌어내어 운동단위의 활동을 검출하는 바늘전극법이 있다. 본 발명에서는 사용 및 착용 편의성을 고려하여 표면도출법을 사용하는 것이 바람직하다. 실시예에 따라서는, 근전도 센서(120)는 사용자의 손목, 손등 및 손바닥을 포함하는 군에서 선택되는 어느 한 부위에 접촉 구비되어, 사용자의 손동작 정보를 획득할 수 있다.
The electromyogram sensor 120 can acquire the user's muscle motion information. The electromyogram is a record of the activity potential of the muscles. It is a method of deriving the surface by bringing the electrode into contact with the skin surface of the human body and the method of drawing the action potential by drawing the needle electrode into the muscle, There is a needle electrode method to detect. In the present invention, it is preferable to use the surface derivation method in consideration of convenience of use and wearing. According to the embodiment, the electromyogram sensor 120 may be provided in contact with any one portion selected from the group including the wrist of the user, the back of the hand, and the palm of the hand so as to obtain the information of the user's hand gesture.

도 4는 본 발명의 다른 실시예에 따른 수화 동작 획득 장치의 구성을 도식화한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 다른 실시예에 따르면, 수화 동작 획득 장치(100)는, 위치 센서(110) 및 근전도 센서(120)가 획득한 위치 정보 및 근육 움직임 정보를 저장하는 저장 모듈(130)을 더 포함할 수 있다. 또한, 수화 동작 획득 장치(100) 자체가 수화 동작을 텍스트로 변환하여 표시하거나 음성으로 표현하도록 하는 구성으로서, 위치 센서(110) 및 근전도 센서(120)가 획득한 위치 정보 및 근육 움직임 정보를 미리 저장된 수화 동작 정보 테이블에 매칭 시켜 사용자가 수화로 표현한 콘텐츠를 텍스트로 변환하는 텍스트 변환 모듈(140)과, 텍스트 변환 모듈(140)이 도출한 텍스트를 표시하는 표시 모듈(150) 및/또는 텍스트 변환 모듈(140)이 도출한 텍스트를 음성으로 변환하여 표현하는 음성 모듈(150)을 더 포함할 수 있다. 이와 같은 방식에 따르면, 별도의 다른 장치와의 통신과정을 거치지 않고, 하나의 장치만으로 수화 동작 획득 및 텍스트(음성) 변환 표시(표현)가 가능해진다. 그러나 수화 동작을 수행하는 사용자가 지나치게 많은 구성이 포함된 부피와 무게가 큰 장비를 착용해야 한다는 단점이 있다.
4 is a diagram illustrating a configuration of a hydration operation obtaining apparatus according to another embodiment of the present invention. 4, the hydration-operation obtaining apparatus 100 may include a position sensor 110 and a storage for storing position information and muscle motion information acquired by the electromyogram sensor 120, according to another embodiment of the present invention. Module 130 may be further included. In addition, the hydration operation obtaining apparatus 100 itself may be configured to convert the hydration operation into text and display it or to express it by voice. The positional information and the muscle movement information acquired by the position sensor 110 and the EMG sensor 120 A text conversion module 140 for converting the content expressed by a user into a text into a text by matching with a stored sign language operation information table, a display module 150 for displaying text derived by the text translation module 140, and / And a voice module 150 for converting the text derived by the module 140 into voice and expressing the converted voice. According to this method, it is possible to acquire a sign language operation and display a text (voice) conversion (expression) by only one device without going through a process of communication with another device. However, there is a disadvantage that the user performing the hydration operation must wear a bulky and heavy equipment that contains too many components.

도 5는 본 발명의 또 다른 실시예에 따른 수화 동작 획득 장치의 구성을 도식화한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따르면, 수화 동작 획득 장치(100)는, 위치 센서(110) 및 근전도 센서(120)가 획득한 사용자의 손과 팔의 위치 및 근육 움직임 정보를 수화 텍스트 변환 프로그램이 탑재된 사용자 단말기에 전송하는 통신 모듈(170)을 더 포함하여 구성될 수 있다. 통신 모듈(170)은, 블루투스, 지그비, 적외선 통신 및 UWB(Ultra Wide Band)을 포함하는 군에서 선택된 적어도 하나 이상의 무선 근거리 통신 모듈을 포함하여 구성될 수 있다.
5 is a diagram illustrating a configuration of a hydration operation obtaining apparatus according to another embodiment of the present invention. 5, according to another embodiment of the present invention, the hydration operation acquiring apparatus 100 may acquire the position and the position of the user's hands and arms acquired by the position sensor 110 and the electromyogram sensor 120, And a communication module 170 for transmitting the motion information to the user terminal equipped with the sign language text conversion program. The communication module 170 may include at least one wireless local area communication module selected from the group including Bluetooth, ZigBee, infrared communication, and UWB (Ultra Wide Band).

도 6은 본 발명의 또 다른 실시예에 따른 수화 동작 획득 장치의 사용례를 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따르면, 수화 동작 획득 장치(100)는, 위치 센서(110) 및 근전도 센서(120)와 필요에 따라 저장 모듈(130)만을 구비하여 사용자가 행하는 수화 동작 정보를 획득 및 저장하는 기능만을 수행하고, 이를 외부의 사용자 단말기(200)에 전송하고, 사용자 단말기(200)가 이 정보를 연산 처리하여 텍스트(음성)화 하는 방식을 채택할 수도 있다. 이 경우, 수화를 행하는 자(제1 사용자)는 간단한 장비 착용만으로도 목적을 달성할 수 있게 되고, 상대방 대화자(제2 사용자)는 자신의 휴대폰 등의 단말기에 수화 동작 정보를 전달받아 더욱 용이하게 의사소통이 이루어질 수 있다.
6 is a view showing an example of the use of a hydration operation obtaining apparatus according to another embodiment of the present invention. 6, according to another embodiment of the present invention, the hydration operation obtaining apparatus 100 includes only the position sensor 110, the electromyogram sensor 120, and the storage module 130 as needed Only the function of acquiring and storing the hydration operation information performed by the user is transmitted to the external user terminal 200 and the user terminal 200 adopts a method of calculating and processing the information to text It is possible. In this case, the person who performs the sign language (first user) can achieve the purpose by simply wearing the equipment, and the conversation partner (second user) receives the sign language operation information from his or her mobile phone, Communication can be achieved.

도 7은 본 발명의 일실시예에 따른 수화 동작 정보를 텍스트로 변환하는 사용자 단말기를 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 수화 동작 정보를 텍스트로 변환하는 사용자 단말기(200)는, 사용자의 신체에 착용되어 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 획득하는 수화 동작 획득 장치(100)로부터 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 전송받는 통신 모듈(210), 통신 모듈(210)이 전송받은 사용자의 손과 팔의 위치 정보 및 근육 움직임 정보를 데이터 처리하여 텍스트로 변환하는 데이터 처리 모듈(220) 및 데이터 처리 모듈(220)이 도출한 텍스트를 표시하는 표시 모듈(230)을 포함하여 구성될 수 있다.
FIG. 7 is a diagram illustrating a user terminal for converting sign language information into text according to an embodiment of the present invention. Referring to FIG. As shown in FIG. 7, the user terminal 200 for converting the handwriting motion information into text according to an exemplary embodiment of the present invention includes a user's arm and hand position information and muscle motion information A communication module 210 for receiving position information and muscle motion information of a user's arm and hand from the acquired sign language motion obtaining apparatus 100, position information of a user's hands and arms transmitted from the communication module 210, A data processing module 220 for converting the information into text and converting the text into text, and a display module 230 for displaying the text derived by the data processing module 220.

본 발명은, 제1 사용자(수화를 행하는 자)와 제2 사용자(상대방 대화자)가 일상생활에서 편리하게 의사소통이 이루어지도록 하는 것을 목적으로 하는 것이므로, 사용자 단말기(200)는 수화 텍스트 변환 애플리케이션이 탑재된 스마트 기기인 것이 바람직하다. 스마트 기기란 기능이 제한되어 있지 않고 애플리케이션 프로그램을 통해 상당 부분 기능을 변경하거나 확장할 수 있는 제품을 가리키는 것으로서, 스마트폰, 스마트 노트, 태블릿 PC 등이 이에 해당한다. 스마트 기기에, 수화 동작을 미리 정해진 알고리즘에 따라 텍스트 또는 음성으로 변환하는 애플리케이션을 설치하여 본 발명의 사용자 단말기(200)로 사용할 수 있다. 또한, ‘사용자’란, 수화를 행하는 자와 상대방 대화자를 모두 지칭하는 것이므로, ‘사용자 단말기(200)’는, 수화를 행하는 자의 단말기뿐만 아니라, 상대방 대화자의 단말기를 포함하는 개념으로 해석할 수 있다.
The present invention is intended to facilitate communication between a first user (a sign language person) and a second user (a conversation partner) in everyday life, so that the user terminal 200 can receive a sign language text conversion application It is preferable that the smart device is mounted. Smart devices are smart phones, smart notes, and tablet PCs that are not limited in functionality and that can be significantly modified or extended by application programs. An application for converting a sign language into a text or voice according to a predetermined algorithm may be installed in the smart device and used as the user terminal 200 of the present invention. Since the 'user' refers to both the signer and the other party's talker, the 'user terminal 200' can be interpreted as a concept including not only the terminal of the signer but also the terminal of the other party's talker .

실시예에 따라서는, 손과 팔의 물리적인 위치인 X축, Y축, Z축 위치 정보를 도출한 후, 근전도로 근육의 움직임 정보를 획득하여 손동작까지 인식하여, 각 동작에 대한 값을 종합하여 각기 다른 수화 표현을 인식할 수 있다. 각각의 다른 값을 수화 동작으로 인식하여 그 데이터에 해당하는 동작을 텍스트로 변환하는 알고리즘을 통하여 텍스트로 변환하고, C언어로 배포한 후, C, C++, Java 등과 같은 언어로 변환하여 윈도우, 안드로이드, 리눅스 등의 OS에 삽입시켜서 개인용 PC 또는 모바일, 기타 기기에 삽입함으로써, 수화 동작의 텍스트 변환 시스템이 구축될 수 있다.
According to the embodiment, after deriving the X, Y, and Z axis positional information that is the physical positions of the hand and arm, the motion information of the muscles is acquired by the EMG to recognize the hand movements, So that different sign language expressions can be recognized. Each of the other values is recognized as a sign language, and the corresponding action is converted to text through an algorithm that converts the data into text. The text is then distributed in the C language and converted into a language such as C, C ++, Java, , Linux, or the like, and inserted into a personal computer, mobile, or other device, a text conversion system for a sign language operation can be constructed.

본 발명의 일실시예에 따르면, 통신 모듈(210)은, 수화 동작 획득 장치(100)와, 블루투스, 지그비, 적외선 통신 및 UWB(Ultra Wide Band)을 포함하는 군에서 선택된 적어도 하나 이상을 이용하여 근거리 무선 통신할 수 있다. 데이터 처리 모듈(220)은, 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 미리 저장된 수화 동작 정보 테이블에 매칭 시켜 사용자가 수화로 표현한 콘텐츠를 텍스트로 변환할 수 있다.
According to an embodiment of the present invention, the communication module 210 may use at least one selected from the group consisting of Bluetooth, ZigBee, infrared communication, and UWB (Ultra Wide Band) It is possible to perform short-range wireless communication. The data processing module 220 may convert the contents represented by the user's sign language into text by matching the position information of the user's arm and hand and the muscle motion information with a previously stored sign language operation information table.

도 8은 본 발명의 다른 실시예에 따른 수화 동작 정보를 텍스트로 변환하는 사용자 단말기를 도시한 도면이고, 도 9는 본 발명의 다른 실시예에 따른 수화 동작 정보를 텍스트로 변환하는 사용자 단말기의 사용례를 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 다른 실시예에 따르면, 데이터 처리 모듈(220)은, 변환된 텍스트를 음성으로 변환하는 기능을 더 포함할 수 있고, 사용자 단말기(200)는 데이터 처리 모듈(220)이 도출한 음성을 표현하는 스피커 모듈(230)을 더 포함할 수 있다. 도 9에 도시된 바와 같이, 수화 동작 획득 장치(100)를 착용한 사용자가 수화 동작을 행하면, 이와 통신하는 사용자 단말기(200)는 사용자가 표현하는 수화 내용을 음성으로 변환하여 표현할 수 있다.
FIG. 8 is a diagram illustrating a user terminal for converting the hydration operation information into text according to another embodiment of the present invention. FIG. 9 is a flowchart illustrating a method of converting the hydration operation information into text according to another embodiment of the present invention, Fig. 8, according to another embodiment of the present invention, the data processing module 220 may further include a function of converting the converted text into voice, and the user terminal 200 may include a data processing module And a speaker module 230 expressing the voice derived by the speaker 220. As shown in FIG. 9, when a user wearing the hydration operation obtaining apparatus 100 performs a hydration operation, the user terminal 200 communicating with the hydration operation obtaining apparatus 100 can convert the hydration contents expressed by the user into speech and express it.

도 10은 본 발명의 일실시예에 따른 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템은, 위치 센서(110), 근전도 센서(120) 및 제1 통신 모듈(170)을 포함하여 구성되는 수화 동작 획득 장치(100)와 제2 통신 모듈(210), 데이터 처리 모듈(220) 및 표시 모듈(230)을 포함하여 구성되는 사용자 단말기(200)를 포함하여 구성될 수 있다.
10 is a diagram illustrating a text conversion system for a hydration operation using a position sensor and an EMG sensor according to an embodiment of the present invention. 10, a text conversion system for a hydration operation using a position sensor and an EMG sensor according to an embodiment of the present invention includes a position sensor 110, an EMG sensor 120, and a first communication module 170, And a user terminal 200 including the second communication module 210, the data processing module 220, and the display module 230, .

수화 동작 획득 장치(100)는, 사용자의 손과 팔의 위치 정보를 획득하는 위치 센서(110), 사용자의 근육 움직임 정보를 획득하는 근전도 센서(120) 및 위치 센서(110) 및 근전도 센서(120)가 획득한 사용자의 손과 팔의 위치 정보 및 근육 움직임 정보를 사용자 단말기(200)에 전송하는 제1 통신 모듈(170)을 포함하여 구성될 수 있다. 각 구성요소에 대해서는 도 2, 도 3, 도 5 및 도 6과 관련하여 설명한 바와 유사하므로 상세한 설명은 생략하기로 한다.
The hydration operation obtaining apparatus 100 includes a position sensor 110 for obtaining positional information of a user's hand and an arm, an electromyogram sensor 120 for obtaining user's muscle motion information, a position sensor 110, and an electromyogram sensor 120 And a first communication module 170 for transmitting position information and muscle motion information of the user's hands and arms acquired by the user terminal 200 to the user terminal 200. The constituent elements are similar to those described with reference to Figs. 2, 3, 5 and 6, and thus detailed description thereof will be omitted.

사용자 단말기(200)는, 수화 동작 획득 장치(100)로부터 사용자의 손과 팔의 위치 정보 및 근육 움직임 정보를 전송받는 제2 통신 모듈(210), 제2 통신 모듈(210)이 전송받은 사용자의 손과 팔의 위치 정보 및 근육 움직임 정보를 데이터 처리하여 텍스트로 변환하는 데이터 처리 모듈(220) 및 데이터 처리 모듈(220)이 도출한 텍스트를 표시하는 표시 모듈(230)을 포함하여 구성될 수 있다. 실시예에 따라서는, 데이터 처리 모듈이 도출한 음성을 표현하는 스피커 모듈(240)을 더 포함할 수 있다. 각 구성요소에 대해서는 도 7 내지 도 9와 관련하여 설명한 바와 유사하므로 상세한 설명은 생략하기로 한다.
The user terminal 200 includes a second communication module 210 for receiving position information and muscle motion information of a user's hand and arm from the sign language acquisition device 100, A data processing module 220 for converting the position information of the hands and arms and the muscle motion information into texts and a display module 230 for displaying the text derived by the data processing module 220 . In some embodiments, the data processing module may further include a speaker module 240 that represents the voice derived from the data processing module. The constituent elements are similar to those described with reference to Figs. 7 to 9, and thus detailed description thereof will be omitted.

도 11은 본 발명의 일실시예에 따른 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템의 사용례를 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템을 사용하면, 수화 동작 획득 장치(100)를 착용한 제1 사용자(수화를 행하는 자)와, 수화 텍스트 변환 애플리케이션이 설치된 사용자 단말기(200)를 보유한 제2 사용자(상대방 대화자)가 일상생활에서 편리하게 의사소통이 가능해진다. 이 시스템을 구축함으로써, 수화라는 언어를 데이터화하는 것이 가능해진다. 수화라는 언어를 데이터화시켜서 컴퓨터로 가져올 수 있기 때문에 다양한 활동을 할 수 있게 된다. 예를 들면, 장애인도 정상인처럼 현재 활성화되고 있는 음성 인식 기능을 음성 대신 수화를 인식하여 사용할 수 있고, 현재 통용되는 TTS 기능을 사용하면 화상 대화는 물론 오프라인에서 수화를 모르는 정상인 또는 시각 장애인과도 자유롭게 대화가 가능하다.
11 is a diagram showing an example of the use of a text conversion system for a hydration operation using a position sensor and an EMG sensor according to an embodiment of the present invention. 11, using the text conversion system of the hydration operation using the position sensor and the electromyography sensor according to the embodiment of the present invention, the first user wearing the hydration operation obtaining apparatus 100 And the second user (the other party's talker) having the user terminal 200 in which the sign language text conversion application is installed can communicate conveniently in daily life. By constructing this system, it becomes possible to digitize the language of sign language. The language of sign language can be digitized and imported into a computer, so that various activities can be performed. For example, a disabled person can use a currently recognized voice recognition function to recognize a sign language instead of a voice. By using the currently available TTS function, the user can freely communicate with a normal person or a visually impaired person who does not know the sign language Conversation is possible.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics and scope of the invention.

100: 본 발명의 일실시예에 따른 수화 동작 획득 장치
110: 위치 센서 120: 근전도 센서
130: 저장 모듈 140: 텍스트 변환 모듈
150: 표시 모듈 160: 음성 모듈
170: 통신 모듈, 제1 통신 모듈 200: 사용자 단말기
210: 통신 모듈, 제2 통신 모듈 220: 데이터 처리 모듈
230: 표시 모듈 240: 스피커 모듈100: A hydration operation obtaining apparatus according to an embodiment of the present invention
110: position sensor 120: electromyogram sensor
130: storage module 140: text conversion module
150: display module 160: audio module
170: communication module, first communication module 200: user terminal
210: communication module, second communication module 220: data processing module
230: Display module 240: Speaker module

Claims (20)

사용자의 손과 팔의 위치 정보를 획득하는 위치 센서; 및
상기 사용자의 근육 움직임 정보를 획득하는 근전도 센서를 포함하고,
상기 위치 센서 및 상기 근전도 센서가 획득한 상기 사용자의 손과 팔의 위치 정보 및 근육 움직임 정보로 표현되는 상기 사용자의 수화 동작 정보를 데이터 처리하여 텍스트로 변환하는데 사용되는 것을 특징으로 하는, 수화 동작 획득 장치.
A position sensor for acquiring position information of the user's hand and arm; And
And an electromyogram sensor for acquiring muscle motion information of the user,
Wherein the information processing device is used for data processing of the user's hydration operation information represented by the position information of the user's hands and arms and the muscle movement information acquired by the position sensor and the electromyogram sensor, Device.
제1항에 있어서, 상기 위치 센서는,
X, Y, Z 3축의 회전각을 측정하여 위치 정보를 도출하는 자이로 센서인 것을 특징으로 하는, 수화 동작 획득 장치.
The position sensor according to claim 1,
And a gyro sensor for measuring the rotation angles of the three axes X, Y and Z to derive position information.
제1항에 있어서, 상기 근전도 센서는,
상기 사용자의 손목, 손등 및 손바닥을 포함하는 군에서 선택되는 어느 한 부위에 접촉 구비되어, 상기 사용자의 손동작 정보를 획득하는 것을 특징으로 하는, 수화 동작 획득 장치.
[2] The apparatus of claim 1, wherein the electromyogram sensor comprises:
Wherein the controller is provided in contact with any one portion selected from the group including the wrist of the user, the back of the hand, and the palm of the hand to obtain the hand movement information of the user.
제1항에 있어서, 상기 수화 동작 획득 장치는,
상기 위치 센서 및 근전도 센서가 획득한 위치 정보 및 근육 움직임 정보를 저장하는 저장 모듈을 더 포함하는 것을 특징으로 하는, 수화 동작 획득 장치.
The handwriting recognition apparatus according to claim 1,
And a storage module for storing position information and muscle motion information acquired by the position sensor and the electromyogram sensor.
제1항에 있어서, 상기 수화 동작 획득 장치는,
상기 위치 센서 및 근전도 센서가 획득한 위치 정보 및 근육 움직임 정보를, 미리 저장된 수화 동작 정보 테이블에 매칭 시켜 상기 사용자가 수화로 표현한 콘텐츠를 텍스트로 변환하는 텍스트 변환 모듈을 더 포함하는 것을 특징으로 하는, 수화 동작 획득 장치.
The handwriting recognition apparatus according to claim 1,
Further comprising a text conversion module for converting the content represented by the user's sign language into text by matching position information and muscle motion information obtained by the position sensor and the electromyogram sensor to a previously stored sign language operation information table, A hydration operation acquisition device.
제5항에 있어서, 상기 수화 동작 획득 장치는,
상기 텍스트 변환 모듈이 도출한 텍스트를 표시하는 표시 모듈, 또는 상기 텍스트 변환 모듈이 도출한 텍스트를 음성으로 변환하여 표현하는 음성 모듈을 더 포함하는 것을 특징으로 하는, 수화 동작 획득 장치.
6. The handwriting recognition apparatus according to claim 5,
Further comprising a display module for displaying the text derived by the text conversion module, or a voice module for converting the text derived by the text conversion module into voice and expressing the voice.
제1항에 있어서, 상기 수화 동작 획득 장치는,
상기 위치 센서 및 상기 근전도 센서가 획득한 상기 사용자의 손과 팔의 위치 및 근육 움직임 정보를, 수화 텍스트 변환 프로그램이 탑재된 사용자 단말기에 전송하는 통신 모듈을 더 포함하는 것을 특징으로 하는, 수화 동작 획득 장치.
The handwriting recognition apparatus according to claim 1,
Further comprising a communication module for transmitting the position and muscle motion information of the user's hand and arm acquired by the position sensor and the electromyogram sensor to a user terminal equipped with a sign language text conversion program, Device.
제7항에 있어서, 상기 통신 모듈은,
블루투스, 지그비, 적외선 통신 및 UWB(Ultra Wide Band)을 포함하는 군에서 선택된 적어도 하나 이상의 무선 근거리 통신 모듈을 포함하는 것을 특징으로 하는, 수화 동작 획득 장치.
8. The communication system according to claim 7,
And at least one wireless local area communication module selected from the group including Bluetooth, ZigBee, infrared communication, and UWB (Ultra Wide Band).
사용자의 신체에 착용되어 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 획득하는 수화 동작 획득 장치로부터 상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 전송받는 통신 모듈;
상기 통신 모듈이 전송받은 상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 데이터 처리하여 텍스트로 변환하는 데이터 처리 모듈; 및
상기 데이터 처리 모듈이 도출한 텍스트를 표시하는 표시 모듈을 포함하는 것을 특징으로 하는, 수화 동작 정보를 텍스트로 변환하는 사용자 단말기.
A communication module that receives position information and muscle motion information of the user's arm and hand from a hydration operation acquiring device that is worn on a user's body and acquires position information and muscle motion information of a user's arm and hand;
A data processing module for processing the position information and the muscle motion information of the arm and the hand of the user, which are transmitted from the communication module, into a text; And
And a display module for displaying the text derived by the data processing module.
제9항에 있어서, 상기 사용자 단말기는,
수화 텍스트 변환 애플리케이션이 탑재된 스마트 기기인 것을 특징으로 하는, 수화 동작 정보를 텍스트로 변환하는 사용자 단말기.
10. The method of claim 9,
A sign language text conversion application, and a smart device on which a sign language text conversion application is installed.
제9항에 있어서, 상기 통신 모듈은,
상기 수화 동작 획득 장치와, 블루투스, 지그비, 적외선 통신 및 UWB(Ultra Wide Band)을 포함하는 군에서 선택된 적어도 하나 이상을 이용하여 근거리 무선 통신하는 것을 특징으로 하는, 수화 동작 정보를 텍스트로 변환하는 사용자 단말기.
10. The communication system according to claim 9,
Wherein the wireless communication device performs near field wireless communication using at least one selected from the group consisting of Bluetooth, ZigBee, infrared communication, and UWB (Ultra Wide Band) terminal.
제9항에 있어서, 상기 데이터 처리 모듈은,
상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 미리 저장된 수화 동작 정보 테이블에 매칭 시켜 상기 사용자가 수화로 표현한 콘텐츠를 텍스트로 변환하는 것을 특징으로 하는, 수화 동작 정보를 텍스트로 변환하는 사용자 단말기.
10. The data processing system according to claim 9,
And converting the content represented by the user's sign language into text by matching the position information of the user's arms and hands and the muscle motion information with a previously stored sign language operation information table, .
제9항에 있어서,
상기 데이터 처리 모듈은, 상기 변환된 텍스트를 음성으로 변환하는 기능을 포함하고,
상기 사용자 단말기는, 상기 데이터 처리 모듈이 도출한 음성을 표현하는 스피커 모듈을 더 포함하는 것을 특징으로 하는, 수화 동작 정보를 텍스트로 변환하는 사용자 단말기.
10. The method of claim 9,
Wherein the data processing module includes a function of converting the converted text into speech,
Wherein the user terminal further comprises a speaker module for expressing a voice derived from the data processing module.
사용자의 손과 팔의 위치 정보를 획득하는 위치 센서, 상기 사용자의 근육 움직임 정보를 획득하는 근전도 센서, 및 상기 위치 센서 및 상기 근전도 센서가 획득한 상기 사용자의 손과 팔의 위치 및 근육 움직임 정보를 사용자 단말기에 전송하는 제1 통신 모듈을 포함하는 수화 동작 획득 장치; 및
상기 수화 동작 획득 장치로부터 상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 전송받는 제2 통신 모듈, 상기 제2 통신 모듈이 전송받은 상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 데이터 처리하여 텍스트로 변환하는 데이터 처리 모듈, 및 상기 데이터 처리 모듈이 도출한 텍스트를 표시하는 표시 모듈을 포함하는 사용자 단말기를 포함하는 것을 특징으로 하는, 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템.
A position sensor for acquiring positional information of a user's hand and an arm, an electromyogram sensor for acquiring muscle motion information of the user, and a position and muscle movement information of the user's hand and arm acquired by the position sensor and the electromyogram sensor A first communication module for transmitting the first communication module to the user terminal; And
A second communication module for receiving position information and muscle motion information of the user's arm and hand from the hydration operation obtaining device, position information and arm motion information of the user's arm and hand, And a display module for displaying a text derived by the data processing module. The text conversion system for a sign language operation using a position sensor and an electromyography sensor, .
제14항에 있어서, 상기 위치 센서는,
X, Y, Z 3축의 회전각을 측정하여 위치 정보를 도출하는 자이로 센서인 것을 특징으로 하는, 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템.
15. The apparatus according to claim 14,
Wherein the gyro sensor is a gyro sensor for measuring the rotation angles of three axes of X, Y and Z to derive position information.
제14항에 있어서, 상기 근전도 센서는,
상기 사용자의 손목, 손등 및 손바닥을 포함하는 군에서 선택되는 어느 한 부위에 접촉 구비되어, 상기 사용자의 손동작 정보를 획득하는 것을 특징으로 하는, 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템.
15. The electrophysiological sensor according to claim 14,
And the hand movement information of the user is provided in contact with any one portion selected from the group including the wrist, the hand, and the palm of the user, thereby obtaining the text information of the handwriting of the user using the position sensor and the electromyography sensor.
제14항에 있어서, 상기 수화 동작 획득 장치는,
상기 위치 센서 및 근전도 센서가 획득한 위치 정보 및 근육 움직임 정보를 저장하는 저장 모듈을 더 포함하는 것을 특징으로 하는, 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템.
15. The handwriting recognition apparatus according to claim 14,
Further comprising a storage module for storing position information and muscle motion information acquired by the position sensor and the electromyogram sensor.
제14항에 있어서, 상기 수화 동작 획득 장치와 상기 사용자 단말기는,
블루투스, 지그비, 적외선 통신 및 UWB(Ultra Wide Band)을 포함하는 군에서 선택된 적어도 하나 이상을 이용하여 근거리 무선 통신하는 것을 특징으로 하는, 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템.
15. The handwriting recognition apparatus according to claim 14,
Wherein the short range wireless communication is performed using at least one selected from the group consisting of Bluetooth, ZigBee, infrared communication, and UWB (Ultra Wide Band).
제14항에 있어서, 상기 데이터 처리 모듈은,
상기 사용자의 팔과 손의 위치 정보 및 근육 움직임 정보를 미리 저장된 수화 동작 정보 테이블에 매칭 시켜 상기 사용자가 수화로 표현한 콘텐츠를 텍스트로 변환하는 것을 특징으로 하는, 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템.
15. The data processing apparatus according to claim 14,
Wherein the positional information and the muscle motion information of the user's arm and hand are matched to a previously stored hydration operation information table to convert the content represented by the user's hydration into text, Text conversion system.
제14항에 있어서,
상기 데이터 처리 모듈은, 상기 변환된 텍스트를 음성으로 변환하는 기능을 포함하고,
상기 사용자 단말기는, 상기 데이터 처리 모듈이 도출한 음성을 표현하는 스피커 모듈을 더 포함하는 것을 특징으로 하는, 위치 센서 및 근전도 센서를 이용한 수화 동작의 텍스트 변환 시스템.15. The method of claim 14,
Wherein the data processing module includes a function of converting the converted text into speech,
Wherein the user terminal further comprises a speaker module for expressing a voice derived from the data processing module.
KR1020140040721A 2014-04-04 2014-04-04 Device for acquiring sign language motion and sign language/text conversion system using thereof KR20150115522A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140040721A KR20150115522A (en) 2014-04-04 2014-04-04 Device for acquiring sign language motion and sign language/text conversion system using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140040721A KR20150115522A (en) 2014-04-04 2014-04-04 Device for acquiring sign language motion and sign language/text conversion system using thereof

Publications (1)

Publication Number Publication Date
KR20150115522A true KR20150115522A (en) 2015-10-14

Family

ID=54357654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140040721A KR20150115522A (en) 2014-04-04 2014-04-04 Device for acquiring sign language motion and sign language/text conversion system using thereof

Country Status (1)

Country Link
KR (1) KR20150115522A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017131318A1 (en) * 2016-01-27 2017-08-03 연세대학교 원주산학협력단 Sign language recognition system and method
KR20180026711A (en) * 2018-03-05 2018-03-13 연세대학교 원주산학협력단 Finger language recognition system and method
KR20200046665A (en) * 2018-10-25 2020-05-07 주식회사 멀틱스 Sign language interpretation / translation service system using motion recognition apparatus and avatar display

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017131318A1 (en) * 2016-01-27 2017-08-03 연세대학교 원주산학협력단 Sign language recognition system and method
US10685219B2 (en) 2016-01-27 2020-06-16 University Industry Foundation, Yonsei University Wonju Campus Sign language recognition system and method
KR20180026711A (en) * 2018-03-05 2018-03-13 연세대학교 원주산학협력단 Finger language recognition system and method
KR101875472B1 (en) * 2018-03-05 2018-07-06 연세대학교 원주산학협력단 Finger language recognition system and method
KR20200046665A (en) * 2018-10-25 2020-05-07 주식회사 멀틱스 Sign language interpretation / translation service system using motion recognition apparatus and avatar display

Similar Documents

Publication Publication Date Title
JP2021072136A (en) Methods and devices for combining muscle activity sensor signals and inertial sensor signals for gesture-based control
US10019078B2 (en) Device, method, and system to recognize motion using gripped object
US11294466B2 (en) Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method
CN108427910B (en) Deep neural network AR sign language translation learning method, client and server
KR20160109708A (en) Sign language translator, system and method
EP2691954B1 (en) Method and apparatus for detecting facial changes
Kumar et al. Neuro-phone: An assistive framework to operate Smartphone using EEG signals
KR20150115522A (en) Device for acquiring sign language motion and sign language/text conversion system using thereof
KR20190098806A (en) A smart hand device for gesture recognition and control method thereof
US20170024380A1 (en) System and method for the translation of sign languages into synthetic voices
Brückner et al. Real-time low latency movement sonification in stroke rehabilitation based on a mobile platform
Srivastava et al. Whispering wearables: Multimodal approach to silent speech recognition with head-worn devices
KR101520462B1 (en) Apparatus for interface with disabled upper limbs
KR20160035517A (en) Smart Sign Language Glove
KR20220116329A (en) Intraoral device control system
CN109310403A (en) The optical monitoring of facial characteristics during the menstrual cycle of women
CN112083797A (en) Intelligent handheld terminal control system and control method based on electro-oculogram
Peters An assessment of single-channel emg sensing for gestural input
CN211207290U (en) Intelligent handheld terminal control system based on electro-oculogram
Tessendorf et al. Ear-worn reference data collection and annotation for multimodal context-aware hearing instruments
KR102570418B1 (en) Wearable device including user behavior analysis function and object recognition method using the same
CN203522997U (en) Multifunctional earphone based on MEMS sensor
Kumari et al. Gesture Recognizing Smart System
Radhakrishnan et al. Wearables for in-situ monitoring of cognitive states: Challenges and opportunities
CN117389408A (en) Intelligent glove system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment