KR102570418B1 - Wearable device including user behavior analysis function and object recognition method using the same - Google Patents
Wearable device including user behavior analysis function and object recognition method using the same Download PDFInfo
- Publication number
- KR102570418B1 KR102570418B1 KR1020220100464A KR20220100464A KR102570418B1 KR 102570418 B1 KR102570418 B1 KR 102570418B1 KR 1020220100464 A KR1020220100464 A KR 1020220100464A KR 20220100464 A KR20220100464 A KR 20220100464A KR 102570418 B1 KR102570418 B1 KR 102570418B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- wearable device
- voice
- control unit
- user
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 2
- 210000000103 occipital bone Anatomy 0.000 claims description 2
- 230000005236 sound signal Effects 0.000 claims description 2
- 230000001771 impaired effect Effects 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 239000004984 smart glass Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 4
- 208000010415 Low Vision Diseases 0.000 description 3
- 230000004303 low vision Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 사용자 행동을 분석하는 웨어러블 디바이스 및 이를 이용한 대상인식방법에 관한 것으로, 보다 상세히는 시각장애인의 신체에 착용되어 시각장애인의 행동 분석을 바탕으로 장치 전반이 제어될 수 있는 웨어러블 디바이스 및 이를 이용한 대상인식방법에 관한 것이다.The present invention relates to a wearable device that analyzes user behavior and an object recognition method using the same, and more particularly, to a wearable device worn on the body of a visually impaired person and capable of controlling the entire device based on the behavior analysis of the visually impaired person and using the same It is about object recognition method.
일반적으로, 시각장애인은 맹인과 저시력자를 모두 포함하는 개념이다. 즉, 시각장애인은 빛을 완전히 볼 수 없는 전맹에서부터 사물을 어렴풋이 인식할 수 있는 저시력자까지 개인별로 다양한 임상적인 양상이 나타난다. 시각 장애는 단순히 개인의 시력이 정상적이지 않다는 문제에서 그치지 않고 주변 환경에 대처하는 능력의 저하로 이어지며, 시각장애인의 실외 활동에 대한 욕구와 동기 부여가 감퇴되고 개인의 삶의 질 저하로 직결된다.In general, the visually impaired is a concept that includes both the blind and the low vision. In other words, the blind have various clinical aspects for each individual, ranging from blindness, which cannot see light completely, to low-vision, who can vaguely recognize objects. Visual impairment does not simply stop at a problem that an individual's eyesight is not normal, but leads to a decrease in the ability to cope with the surrounding environment, a decrease in the desire and motivation for outdoor activities of the visually impaired, and is directly related to a decrease in the quality of life of the individual. .
이에 따라, 전맹 및 저시력자의 활동을 보조하기 위한 여러 가지 수단들이 종래에 강구된 바 있다. 그러나, 지팡이 형태의 보조 수단의 경우 사용자가 상시 휴대하기 불편하고 분실될 가능성이 크다는 한계가 있고, 사용자의 머리 전체를 둘러싸는 디바이스의 경우 부피가 크고 중량이 무거워 타인의 시선을 의식하거나 심미적인 이유로 일상생활에서 사용하기 어렵다는 한계가 있었다.Accordingly, various means for assisting the activities of blind and low-vision persons have been devised in the past. However, in the case of an assistive means in the form of a cane, there is a limit in that it is inconvenient for the user to carry at all times and is likely to be lost, and in the case of a device that surrounds the user's entire head, it is bulky and heavy, so it is conscious of others' gaze or for aesthetic reasons. There was a limitation that it was difficult to use in everyday life.
이에 따라, 한국등록특허공보 제10-2401233호(이하, '선행문헌'이라 함.)에서는 사용자가 상시 착용 가능하면서도 휴대성이 확보된 스마트 안경이 개시되어 있다. 도 1을 참조하면, 선행문헌의 전체 시스템은 카메라를 구비하는 스마트 안경(1), 시각장애인이 소지하는 스마트폰 등 스마트 단말(2), 스마트 단말(2)에 설치된 안내 앱, 및, 오프라인 매장 내를 안내하는 안내서버(3)로 구성된다. 또한, 스마트 안경(1)과 스마트 단말(2)은 블루투스 등 근거리 통신 기능을 통해 서로 연결되고, 안내서버(3)와 스마트 단말(2)은 유무선 등 네트워크(8)를 통해 서로 연결되도록 구성된다.Accordingly, Korean Patent Registration No. 10-2401233 (hereinafter, referred to as 'prior literature') discloses smart glasses that can be worn by a user at all times and have portability. Referring to FIG. 1, the entire system of the prior art document includes smart glasses (1) having a camera, a smart terminal (2) such as a smartphone possessed by a visually impaired person, a guide app installed on the smart terminal (2), and an offline store. It consists of a guide bar (3) that guides the interior. In addition, the smart glasses 1 and the smart terminal 2 are connected to each other through a short-range communication function such as Bluetooth, and the guide server 3 and the smart terminal 2 are configured to be connected to each other through a network 8 such as wired or wireless .
위 선행문헌의 스마트 안경과 같이 기존 제품들은 시각장애인이 흔히 착용하는 안경 등에 생활의 편의를 향상시킬 수 있는 기능들을 부가하여 서비스를 제공하도록 구성된다. 하지만 스마트 안경의 경우에 여러 기능을 부가하면, 무게감이 증가하고 안면에서 쉽게 이탈될 수 있는 문제가 있으며, 장치에 탑재된 배터리 성능의 한계로 인해 장시간 사용하기가 어려운 문제점으로 이어질 수 있다.Existing products, such as the smart glasses of the above prior literature, are configured to provide services by adding functions that can improve the convenience of life, such as glasses commonly worn by visually impaired people. However, in the case of smart glasses, if various functions are added, there is a problem that the weight increases and can be easily separated from the face, and it can lead to problems that it is difficult to use for a long time due to the limitation of battery performance mounted in the device.
본 발명은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 본 발명은 시각장애인의 신체에 착용되어 시각장애인의 행동 분석을 바탕으로 장치 전반이 제어될 수 있는 웨어러블 디바이스 및 이를 이용한 대상인식방법에 관한 것이다.The present invention was made to solve the problems of the prior art, and the present invention relates to a wearable device that can be worn on the body of a visually impaired person and control the overall device based on the behavior analysis of the visually impaired person and an object recognition method using the same will be.
상기한 바와 같은 목적을 달성하기 위해 본 발명은, 사용자의 신체에 착용되는 웨어러블 디바이스에 있어서, 데이터를 연산 및 제어하는 제어부; 외부로부터 정보가 수신되어 상기 제어부로 데이터를 입력하는 정보입력부; 및 상기 제어부의 제어 신호에 따라 외부로 정보를 출력하는 정보출력부;를 포함하되, 상기 정보입력부는, 음성데이터가 입력되는 마이크 및, 외부를 촬영하여 영상데이터를 생성하는 카메라를 포함하고, 상기 정보출력부는, 음성신호가 출력되는 스피커를 포함하며, 상기 제어부는, 상기 음성데이터 또는 영상데이터를 분석하는 분석모듈, 상기 분석모듈에서 분석된 데이터와 연관된 관련데이터의 출력에 관한 제어신호를 생성하는 연산모듈 및 상기 제어부에서 전달되는 데이터를 음성신호로 변환하는 변환모듈을 포함할 수 있다.In order to achieve the above object, the present invention provides a wearable device worn on a user's body, comprising: a control unit for calculating and controlling data; an information input unit receiving information from the outside and inputting data to the control unit; and an information output unit outputting information to the outside according to a control signal of the control unit, wherein the information input unit includes a microphone to which audio data is input and a camera to photograph the outside and generate image data, wherein the The information output unit includes a speaker outputting a voice signal, and the control unit generates a control signal related to an analysis module for analyzing the audio data or video data and an output of related data associated with the data analyzed by the analysis module. It may include an arithmetic module and a conversion module for converting data transmitted from the control unit into a voice signal.
또한, 상기 분석모듈은, 상기 영상데이터에서 객체를 추출하여 추출된 객체를 정의하고, 상기 연산모듈은, 정의된 객체와 연관된 관련데이터를 생성하여 상기 관련데이터를 출력하도록 제어신호를 생성할 수 있다.In addition, the analysis module may extract an object from the image data to define the extracted object, and the calculation module may generate a control signal to generate related data associated with the defined object and output the related data. .
또한, 상기 분석모듈은, R-CNN, Fast R-CNN 및 Faster R-CNN 중 어느 하나의 신경망이 탑재될 수 있다.In addition, the analysis module may be loaded with any one of R-CNN, Fast R-CNN, and Faster R-CNN neural networks.
또한, 상기 제어부는, 상기 연산모듈과 연결되어 데이터를 저장하는 데이터베이스를 더 포함하고, 상기 연산모듈이 추출된 객체와 연관된 관련데이터들을 상기 데이터베이스로부터 전달받아 음성 출력을 위한 제어신호를 생성할 수 있다.In addition, the control unit may further include a database connected to the calculation module to store data, and the calculation module may receive related data related to the extracted object from the database and generate a control signal for audio output. .
또한, 상기 제어부는, 상기 분석모듈이 상기 영상데이터에 기등록된 사용자의 손과 사용자의 손이 파지하고 있는 사물을 각각 객체로 검출한 경우에 상기 연산모듈이 상기 사물에 대한 관련데이터를 생성하고, 상기 연산모듈은 상기 사물에 대한 관련데이터를 음성으로 출력하도록 제어신호를 생성하되 관련데이터가 상기 변환모듈을 통해 상기 스피커에서 음성신호로 출력될 수 있다.In addition, when the analysis module detects the user's hand pre-registered in the image data and the object held by the user's hand as objects, the operation module generates data related to the object, and , The arithmetic module generates a control signal to output the data related to the object as a voice, and the related data can be output as a voice signal from the speaker through the conversion module.
또한, 상기 제어부는, 상기 분석모듈이 상기 영상데이터에 기등록된 기준데이터인 사용자의 손과 사용자의 손이 가리키고 있는 사물을 각각 객체로 검출한 경우에 상기 연산모듈이 상기 사물에 대한 관련데이터를 생성하고, 상기 연산모듈은 상기 사물에 대한 관련데이터를 음성으로 출력하도록 제어신호를 생성하되 관련데이터가 상기 변환모듈을 통해 상기 스피커에서 음성신호로 출력될 수 있다.In addition, when the analysis module detects the user's hand, which is the reference data previously registered in the image data, and the object pointed by the user's hand as objects, the operation module calculates data related to the object. and the operation module generates a control signal to output the data related to the thing as a voice, but the related data can be output as a voice signal from the speaker through the conversion module.
또한, 상기 제어부는 사용자의 양손을 각각 식별하고, 상기 분석모듈이 하나의 손의 모션을 검출하되 상기 연산모듈이 손의 모션에 따른 제어신호를 생성하고, 상기 분석모듈이 다른 하나의 손을 통해 사물을 객체로 검출하되 상기 연산모듈이 상기 사물에 대한 관련데이터가 상기 변환모듈을 통해 상기 스피커에서 음성신호로 출력되도록 제어신호를 생성할 수 있다.In addition, the controller identifies both hands of the user, the analysis module detects the motion of one hand, the calculation module generates a control signal according to the motion of the hand, and the analysis module detects the motion of the other hand. The object may be detected as an object, but the calculation module may generate a control signal so that data related to the object is output as a voice signal from the speaker through the conversion module.
또한, 상기 연산모듈은 서로 다른 관련데이터와 연결되는 복수의 모션을 포함하고, 상기 연산모듈은 모션의 종류에 따라 상기 사물에 대한 관련데이터가 달라지도록 제어신호를 생성할 수 있다.In addition, the calculation module may include a plurality of motions connected to different related data, and the calculation module may generate a control signal so that the related data for the object is changed according to the type of motion.
또한, 상기 연산모듈은 모션의 종류에 따라 사물의 명칭, 사물의 용도, 사물의 위치, 사물의 세부정보 중 적어도 하나의 관련데이터를 음성신호로 출력할 수 있다.In addition, the calculation module may output at least one related data among the name of the object, the purpose of the object, the location of the object, and detailed information of the object as a voice signal according to the type of motion.
또한, 본 발명은 웨어러블 디바이스를 이용한 대상인식방법에 있어서, 상기 마이크에 음성데이터가 입력되면 상기 제어부의 분석모듈이 음성데이터를 분석하는 A단계; 분석된 음성데이터가 카메라를 통한 식별명령이면 상기 제어부가 카메라를 가동하여 영상데이터를 수신받는 B단계; 상기 제어부가 영상데이터를 분석하여 기준데이터를 중심으로 사물을 인식하는 C단계; 및 상기 제어부가 인식된 사물에 대한 관련데이터를 상기 스피커에서 음성으로 출력되도록 제어하는 D단계;를 포함할 수 있다.In addition, the present invention is a method for recognizing an object using a wearable device, comprising: step A of analyzing the voice data by an analysis module of the control unit when voice data is input to the microphone; If the analyzed voice data is an identification command through a camera, step B of receiving image data by operating the camera; Step C in which the control unit analyzes the image data and recognizes the object based on the reference data; and D step of controlling, by the control unit, the data related to the recognized object to be output as voice through the speaker.
또한, 본 발명에 따른 웨어러블 디바이스를 이용한 대상인식방법은 상기 B단계에서 상기 분석된 음성데이터가 카메라를 통한 식별명령이 아니면, 상기 제어부는 상기 음성데이터를 기반으로 제어신호를 생성할 수 있다.In addition, in the object recognition method using a wearable device according to the present invention, if the analyzed voice data in step B is not an identification command through a camera, the control unit may generate a control signal based on the voice data.
또한, 본 발명에 따른 웨어러블 디바이스를 이용한 대상인식방법은 상기 C단계 이전, 상기 제어부가 영상데이터에서 사용자의 양손 중 적어도 한손을 객체로 추출하여 기준데이터로 설정할 수 있다.In addition, in the object recognition method using a wearable device according to the present invention, before step C, the control unit may extract at least one of both hands of the user from image data as an object and set it as reference data.
또한, 본 발명에 따른 웨어러블 디바이스를 이용한 대상인식방법은 상기 D단계에서 상기 분석모듈이 하나의 손의 모션을 검출하되 상기 연산모듈이 하나의 손의 모션에 따른 관련데이터를 음성으로 출력하도록 제어신호를 생성하고, 상기 C단계에서 상기 분석모듈이 다른 하나의 손을 통해 사물을 객체로 검출하되 상기 연산모듈이 상기 사물에 대한 관련데이터가 상기 변환모듈을 통해 상기 스피커에서 음성신호로 출력되도록 제어신호를 생성할 수 있다.In addition, in the object recognition method using a wearable device according to the present invention, in step D, the analysis module detects the motion of one hand, and the operation module outputs the related data according to the motion of one hand as a control signal In step C, the analysis module detects the object as an object through the other hand, and the operation module controls the data related to the object to be output as a voice signal from the speaker through the conversion module. can create
상술한 구성에 의한 본 발명에 따른 웨어러블 디바이스 및 이를 이용한 대상인식방법은, 시각장애인이 말하는 음성이나 행동에 따라 관련데이터들이 음성으로 출력되도록 제어신호를 생성됨에 따라 보다 사용자의 편의성이 향상되는 장점이 있다.The wearable device according to the present invention and the object recognition method using the same according to the above configuration has the advantage of improving user convenience as a control signal is generated so that related data is output as voice according to the voice or action of the visually impaired person there is.
아울러 본 발명에 따른 웨어러블 디바이스는 및 이를 이용한 대상인식방법은, 음성데이터를 기반으로 카메라가 작동되어 영상데이터를 취득할 수 있음에 따라 배터리의 소비량을 줄일 수 있어 보다 장시간 사용이 가능한 장점이 있다.In addition, the wearable device and the object recognition method using the same according to the present invention have the advantage of being able to use the camera for a longer period of time because the consumption of the battery can be reduced as the camera can be operated based on the voice data to acquire the image data.
아울러 본 발명에 따른 웨어러블 디바이스는, 사용자의 양손을 이용하여 제어명령을 생성하거나 사물을 식별하는 기준데이터로 활용할 수 있어 보다 활용도가 높은 장치를 제공할 수 있는 장점이 있다.In addition, the wearable device according to the present invention can generate a control command using both hands of a user or use it as reference data for identifying an object, thereby providing a device with higher usability.
도 1은 종래기술에 따른 스마트 안경을 이용한 시스템 구성도.
도 2는 본 발명에 따른 웨어러블 디바이스를 착용한 사용자를 도시한 도면.
도 3은 본 발명에 따른 웨어러블 디바이스를 이용한 시스템 구성도.
도 4는 본 발명에 따른 웨어러블 디바이스의 구성도.
도 5는 본 발명에 따른 웨어러블 디바이스의 제어 흐름도.
도 6은 본 발명에 따른 웨어러블 디바이스를 이용한 대상인식방법의 플로차트
도 7은 본 발명에 따른 사물과 기준정보를 각각 도시한 예시도.
도 8은 본 발명에 따른 웨어러블 디바이스를 이용한 실시간영상 분석을 도시한 플로차트.
도 9는 본 발명에 따른 다양한 영상 명령동작을 도시한 예시도.
도 10은 본 발명에 따른 웨어러블 디바이스를 착용한 사용자를 도시한 도면.
도 11은 본 발명에 따른 웨어러블 디바이스의 사시도.1 is a system configuration diagram using smart glasses according to the prior art.
2 is a diagram showing a user wearing a wearable device according to the present invention.
3 is a system configuration diagram using a wearable device according to the present invention.
4 is a configuration diagram of a wearable device according to the present invention.
5 is a control flow chart of a wearable device according to the present invention.
6 is a flow chart of an object recognition method using a wearable device according to the present invention
7 is an exemplary diagram each illustrating an object and reference information according to the present invention;
8 is a flowchart showing real-time image analysis using a wearable device according to the present invention.
9 is an exemplary diagram illustrating various image command operations according to the present invention;
10 is a diagram showing a user wearing a wearable device according to the present invention.
11 is a perspective view of a wearable device according to the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, process, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, processes, operations, components, parts, or combinations thereof is not precluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings in the context of the related art, and unless explicitly defined in this application, they should not be interpreted in ideal or excessively formal meanings. don't
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. Prior to this, the terms or words used in this specification and claims should not be construed as being limited to ordinary or dictionary meanings, and the inventor appropriately uses the concept of terms in order to explain his/her invention in the best way. Based on the principle that it can be defined, it should be interpreted as meaning and concept consistent with the technical spirit of the present invention. In addition, unless there is another definition in the technical terms and scientific terms used, they have meanings commonly understood by those of ordinary skill in the art to which this invention belongs, and the gist of the present invention is described in the following description and accompanying drawings. Descriptions of well-known functions and configurations that may be unnecessarily obscure are omitted. The drawings introduced below are provided as examples to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention may be embodied in other forms without being limited to the drawings presented below. Also, like reference numerals denote like elements throughout the specification. It should be noted that like elements in the drawings are indicated by like numerals wherever possible.
도 2 및 도 3은 본 발명에 따른 웨어러블 디바이스에 관한 것으로, 도 2는 웨어러블 디바이스를 착용한 사용자를 도시한 도면을, 도 3은 웨어러블 디바이스를 이용한 시스템 구성도를 각각 나타낸다.2 and 3 relate to a wearable device according to the present invention, FIG. 2 shows a diagram showing a user wearing the wearable device, and FIG. 3 shows a system configuration diagram using the wearable device, respectively.
도 2를 참조하면, 본 발명에 따른 웨어러블 디바이스(10)는, 사용자의 신체에 착용될 수 있으며, 보다 바람직하게는 사용자의 귀와 가까운 머리에 착용될 수 있고, 이어셋(Earset) 등의 형태로 구성될 수 있다. 여기서 본 발명에 따른 웨어러블 디바이스(10)는 기술된 이어셋 이외에도 안경, 헤드셋 등 머리에 착용될 수 있는 다양한 형태로 구성될 수 있다. 스피커와 마이크를 포함하는 이어셋으로 구성된 웨어러블 디바이스(10)는 시각장애인이 착용하여, 시각장애인의 음성에 따라 다양한 기능을 수행하고 여러 정보들을 처리하도록 구성될 수 있으며, 관련 정보가 음성신호로 출력되어 시각장애인이 청취하도록 제공될 수 있다. Referring to FIG. 2 , the wearable device 10 according to the present invention can be worn on the user's body, more preferably on the head close to the user's ear, and is configured in the form of an earset, etc. It can be. Here, the wearable device 10 according to the present invention may be configured in various forms that can be worn on the head, such as glasses and a headset, in addition to the ear set described above. The wearable device 10 composed of an ear set including a speaker and a microphone may be worn by a visually impaired person to perform various functions and process various information according to the voice of the visually impaired person, and the related information is output as a voice signal. It can be provided for the visually impaired to hear.
도 3을 참조하면, 본 발명에 따른 웨어러블 디바이스(10)는, 홈 오토메이션 기기(20), 이동형 단말(30) 또는 고정형 단말(40)과 네트워크(Network)를 통해 데이터 통신할 수 있다. 이때 상기 네트워크의 예로 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다. Referring to FIG. 3 , the wearable device 10 according to the present invention may perform data communication with a home automation device 20, a mobile terminal 30, or a fixed terminal 40 through a network. At this time, examples of the network include a 3rd Generation Partnership Project (3GPP) network, a Long Term Evolution (LTE) network, a World Interoperability for Microwave Access (WIMAX) network, the Internet, a Local Area Network (LAN), and a Wireless Local Area Network (Wireless LAN). Network), WAN (Wide Area Network), PAN (Personal Area Network), Bluetooth (Bluetooth) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc. are included, but are not limited thereto.
상기 홈 오토메이션 기기(20)는, 사물인터넷(Internet of Things)이 접목된 실내 기기들과 컴퓨터 시스템을 활용하여 가정의 각종 설비들과 전자제품들을 제어하고 관리하는 가정의 자동화를 의미한다. 이때 홈 오토메이션의 도입으로 실내에서 하나의 컨트롤러을 통해 다수의 실내 기기들을 제어하는 것이 가능하며, 나아가 원격지에서 무선 네트워크로 통신하여 실내 기기들을 제어하는 것이 가능할 수 있다. 이때 상기 홈 오토메이션 기기(20)는 월패드(Wall pad) 형태로 실내 벽면에 부착되어 연결된 실내 기기들을 제어할 수 있으며, 상기 웨어러블 디바이스(10)와 통신하여 상기 웨어러블 디바이스(10)에서 전송된 제어신호를 기반으로 실내 기기들을 제어할 수도 있다. 또한 상기 홈 오토메이션 기기(20)는 연결된 실내 기기들에 대한 정보들을 상기 웨어러블 디바이스(10)로 송신하여, 상기 웨어러블 디바이스(10)를 착용한 사용자가 음성신호를 통해 해당 정보를 인식할 수도 있다. 아울러 상기 웨어러블 디바이스(10)는 상기 홈 오토메이션 기기(20)를 통해 연결된 실내 기기들의 위치 정보를 수신받을 수도 있다.The home automation device 20 refers to home automation that controls and manages various facilities and electronic products in the home by utilizing indoor devices and a computer system to which the Internet of Things is grafted. In this case, with the introduction of home automation, it is possible to control a plurality of indoor devices indoors through a single controller, and furthermore, it may be possible to control indoor devices by communicating with a wireless network from a remote location. At this time, the home automation device 20 can control indoor devices that are attached to and connected to an indoor wall in the form of a wall pad, communicate with the wearable device 10, and control transmitted from the wearable device 10 Indoor devices may be controlled based on signals. In addition, the home automation device 20 transmits information about connected indoor devices to the wearable device 10, so that a user wearing the wearable device 10 can recognize the corresponding information through a voice signal. In addition, the wearable device 10 may receive location information of indoor devices connected through the home automation device 20 .
상기 이동형 단말(30)은 디지털방송용 단말기, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 다른 웨어러블 디바이스(wearable device) 및 스마트 글라스(smart glass) 등으로 구현될 수 있다. 또한 상기 고정형 단말(40)은 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등으로 구현될 수 있다. 그리고 상기 이동형 단말(30) 또는 고정형 단말(40)은 상술한 바와 같이 네트워크를 통해 본 발명에 따른 웨어러블 디바이스(10)와 연결되어 서로 데이터 통신할 수 있다. The mobile terminal 30 is a digital broadcasting terminal, mobile phone, PDA (personal digital assistants), PMP (portable multimedia player), navigation, tablet PC, other wearable devices and smart glasses etc. can be implemented. In addition, the fixed terminal 40 may be implemented as a personal computer such as a desktop PC, a laptop computer, and an ultrabook. Also, the mobile terminal 30 or the fixed terminal 40 can communicate data with each other by being connected to the wearable device 10 according to the present invention through a network as described above.
도 4 및 도 5는 본 발명에 따른 웨어러블 디바이스에 관한 것으로, 도 4는 웨어러블 디바이스의 구성도를, 도 5는 웨어러블 디바이스의 제어 흐름도를 각각 나타낸다.4 and 5 relate to a wearable device according to the present invention, FIG. 4 shows a configuration diagram of the wearable device, and FIG. 5 shows a control flowchart of the wearable device, respectively.
도 4를 참조하면, 본 발명에 따른 웨어러블 디바이스(10)는, 데이터를 연산 및 제어하는 제어부(100), 외부로부터 정보가 수신되어 상기 제어부(100)로 데이터를 입력하는 정보입력부(200), 상기 제어부(100)의 제어 신호에 따라 외부로 정보를 출력하는 정보출력부(300) 및 네트워크를 통해 외부의 기기와 통신하는 통신부(400)를 포함할 수 있다. 여기서 상기 통신부(400)는 상술한 바와 같이, 본체를 기준으로 외부에 배치된 홈 오토메이션 기기(20), 이동형 단말(30) 또는 고정형 단말(40)과 통신할 수 있으며, 상기 제어부(200)에서 전달된 제어신호를 외부로 전송하거나, 외부로부터 통신 신호를 수신하여 상기 제어부(200)로 전달할 수 있다.Referring to FIG. 4 , the wearable device 10 according to the present invention includes a controller 100 that calculates and controls data, an information input unit 200 that receives information from the outside and inputs data to the controller 100, It may include an information output unit 300 that outputs information to the outside according to a control signal of the control unit 100 and a communication unit 400 that communicates with an external device through a network. As described above, the communication unit 400 can communicate with the home automation device 20, the mobile terminal 30, or the fixed terminal 40 disposed outside the main body, and in the control unit 200 The transferred control signal may be transmitted to the outside or a communication signal may be received from the outside and transmitted to the control unit 200 .
상기 정보입력부(200)는 센서부(210), 마이크(220) 및 카메라(230)를 포함할 수 있다. 이때 상기 센서부(210)는 외부의 정보를 측정할 수 있으며, 자이로센서, GPS센서, 변위센서, 터치센서 또는 환경측정센서 등 다양한 센서를 포함할 수 있다. 그리고 상기 마이크(220)는 외부의 음성을 수신하여 음성신호를 생성하여 상기 제어부(100)로 전달할 수 있으며, 상기 카메라(230)는 외부를 촬영하여 영상데이터를 생성하여 상기 제어부(100)로 전달할 수 있다.The information input unit 200 may include a sensor unit 210 , a microphone 220 and a camera 230 . At this time, the sensor unit 210 may measure external information and may include various sensors such as a gyro sensor, a GPS sensor, a displacement sensor, a touch sensor, or an environment measurement sensor. In addition, the microphone 220 may receive an external voice to generate a voice signal and transmit it to the control unit 100, and the camera 230 may photograph the outside to generate image data and transmit it to the control unit 100. can
상기 정보출력부(300)는 음성신호가 출력되는 스피커(310)를 포함할 수 있으며, 사용자가 화상을 통해 정보를 파악하도록 디스플레이(320)를 더 포함할 수도 있다. 그리고 상기 스피커(310)는 상기 제어부(100)와 연결되어 상기 제어부(100)의 제어신호 신호에 따라 다양한 음성이 출력될 수 있으며, 상기 스피커(310)는 대기에 음향을 발생시키는 장치 뿐만 아니라 골전도 방식 등과 같이 사용자가 음성을 인식할 수 있는 수단으로 구성될 수도 있다.The information output unit 300 may include a speaker 310 outputting a voice signal, and may further include a display 320 so that a user can grasp information through an image. In addition, the speaker 310 is connected to the control unit 100 and can output various voices according to the control signal of the control unit 100, and the speaker 310 is not only a device for generating sound in the air, but also a bone electrode. It may also be configured as a means through which a user can recognize a voice, such as a drawing method.
이때 별도로 도시되지는 않았으나, 본 발명에 따른 웨어러블 디바이스(10)는 상기 정보입력부(200)에 전력을 공급하는 배터리를 더 포함할 수 있다. 아울러 상기 제어부(100) 및 정보출력부(300) 또한 전력을 공급받을 수 있으며, 단일의 상기 배터리가 상기 제어부(100), 정보입력부(200) 및 정보출력부(300)에 모두 전력을 공급하거나, 복수의 배터리가 구비되어 각각에 연결될 수도 있다. Although not separately shown, the wearable device 10 according to the present invention may further include a battery that supplies power to the information input unit 200 . In addition, the control unit 100 and the information output unit 300 can also receive power, and the single battery supplies power to all of the control unit 100, the information input unit 200 and the information output unit 300, or , A plurality of batteries may be provided and connected to each.
도 5를 참조하면, 상기 제어부(100)는 분석모듈(110), 연산모듈(120) 및 변환모듈(130)을 포함할 수 있다. 이때 상기 분석모듈(110)은 상기 마이크(220)에서 입력되는 음성데이터 또는 상기 카메라(230)에서 입력되는 영상데이터를 분석하여 외부 음성신호에서 사용자의 음성명령을 추출하여 디지털화하거나, 상기 영상데이터의 이미지를 분석하여 화상 내에 객체들을 추출할 수 있다. 그리고 상기 연산모듈(120)은 디지털화된 음성명령의 내용을 기반으로 제어신호를 생성하거나, 추출된 객체들의 속성에 따라 연관된 관련데이터를 상기 스피커(310)를 통해 음성신호로 출력하도록 제어신호를 생성할 수 있다. 여기서 상기 분석모듈(110) 및 연산모듈(120)은 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 그리고 상기 분석모듈(110)은 Faster R-CNN 신경망 모델이 탑재되거나, 광학 문자인식(Optical Character Recognition, OCR)을 통해 스캐닝하는 기능이 포함될 수도 있다. 이때 상기 Faster R-CNN 신경망은 상기 카메라(230)에서 촬영되어 상기 분석모듈(110)로 입력된 영상데이터에 대해 객체를 검출하여 객체를 정의할 수 있는 것으로, 상기 분석모듈(110)은 Faster R-CNN 이외에도 R-CNN, Fast R-CNN 등 다양한 객체 검출 모델이 탑재될 수도 있다. 그리고 상기 광학 문자인식 기능은, 상기 카메라(230)에서 촬영된 영상데이터에서 문자나 도형 등을 추출하여 데이터연산 가능한 디지털 문자 데이터로 변환하는 것으로, 상기 광학 문자인식 기능을 가지는 별도의 센서를 상기 센서부(210)가 포함할 수도 있다. 상기 연산모듈(120)은 상기 카메라(230)를 On/Off 제어 및 기능을 조절하도록 구성될 수 있으며, 나아가 상기 센서부(210), 마이크(220) 또는 스피커(310)에 대한 On/Off 제어 혹은 기능 조절이 가능할 수도 있다. Referring to FIG. 5 , the control unit 100 may include an analysis module 110, an arithmetic module 120, and a conversion module 130. At this time, the analysis module 110 analyzes the audio data input from the microphone 220 or the video data input from the camera 230, extracts and digitizes the user's voice command from an external audio signal, or converts the video data into By analyzing the image, objects within the picture can be extracted. The calculation module 120 generates a control signal based on the content of the digitized voice command or generates a control signal to output related data as a voice signal through the speaker 310 according to the properties of the extracted objects. can do. Here, the analysis module 110 and the calculation module 120 include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs). ), controllers, micro-controllers, microprocessors, and other electrical units for performing functions. In addition, the analysis module 110 may be equipped with a Faster R-CNN neural network model or may include a function of scanning through Optical Character Recognition (OCR). At this time, the Faster R-CNN neural network can define an object by detecting an object in the image data captured by the camera 230 and input to the analysis module 110, and the analysis module 110 is capable of defining an object. -In addition to CNN, various object detection models such as R-CNN and Fast R-CNN may be loaded. The optical character recognition function extracts characters or figures from image data captured by the camera 230 and converts them into digital character data capable of data operation. A separate sensor having the optical character recognition function is used as the sensor. Section 210 may include. The arithmetic module 120 may be configured to control On/Off of the camera 230 and adjust functions, and furthermore, On/Off control of the sensor unit 210, the microphone 220, or the speaker 310. Or, it may be possible to control the function.
상기 제어부(100)는 데이터를 기록하거나 리딩하도록 저장하는 데이터베이스(140)를 더 포함할 수 있다. 이때 상기 데이터베이스(120)는 복수의 기억장치로 구성되거나, 메타데이터로 구성된 메타 데이터베이스(Meta Database) 또는 그래프 데이터베이스(Graph Database, GDB)를 포함하여 상호연결성이 높은 데이터 세트를 보다 손쉽게 탐색하도록 구현될 수 있다. 여기서 상기 데이터베이스(140)는 상기 분석모듈(110), 연산모듈(120) 또는 변환모듈(130)과 연결되어 수신된 데이터를 기록하거나 저장된 데이터를 제공해줄 수 있다. The control unit 100 may further include a database 140 for storing data to be recorded or read. At this time, the database 120 is composed of a plurality of storage devices, or is implemented to more easily search for highly interconnected data sets including a meta database or a graph database (GDB) composed of metadata. can Here, the database 140 may be connected to the analysis module 110, calculation module 120 or conversion module 130 to record received data or provide stored data.
도 6 및 도 7은 본 발명에 따른 웨어러블 디바이스를 이용한 대상인식방법에 관한 것으로, 도 6은 웨어러블 디바이스를 이용한 대상인식방법의 플로차트를, 도 7은 사물과 기준정보를 각각 도시한 예시도를 각각 나타낸다. 6 and 7 relate to a method for recognizing an object using a wearable device according to the present invention, FIG. 6 is a flow chart of the method for recognizing an object using a wearable device, and FIG. indicate
도 6을 참조하면, 본 발명에 따른 웨어러블 디바이스를 이용한 대상인식방법은, 상기 마이크(220)에 음성데이터가 입력되면 상기 제어부(100)의 분석모듈(110)이 음성데이터를 분석하는 A단계, 분석된 음성데이터가 카메라(230)를 통한 식별명령이면 상기 제어부(100)가 카메라(230)를 가동하여 영상데이터를 수신받는 B단계, 상기 제어부(100)가 영상데이터를 분석하여 기준데이터를 중심으로 사물을 인식하는 C단계 및, 상기 제어부(100)가 인식된 사물에 대한 관련데이터를 상기 스피커(310)에서 음성으로 출력되도록 제어하는 D단계를 포함할 수 있다. 이때 A단계 내지 D단계는 제어 흐름에 따라 임의로 정의된 단계들의 순서일 수 있다.Referring to FIG. 6, the object recognition method using a wearable device according to the present invention includes step A in which the analysis module 110 of the control unit 100 analyzes the voice data when voice data is input to the microphone 220; If the analyzed voice data is an identification command through the camera 230, step B in which the controller 100 operates the camera 230 to receive image data, and the controller 100 analyzes the image data to center the reference data. It may include step C of recognizing the object and step D of controlling the control unit 100 to output data related to the recognized object through the speaker 310 as voice. At this time, steps A to D may be a sequence of steps arbitrarily defined according to the control flow.
상기 A단계는 마이크(220)에 외부 음성신호가 수신되면 음성신호에서 사용자의 음성을 추출하여 음성명령을 디지털화할 수 있는 것으로, 음성데이터와 더불어 사용자의 터치 조작이나 별도의 입력장치와 함께 혼용될 수도 있다. 이때 상기 A단계는 상기 분석모듈(110)에서 입력된 음성신호에서 노이즈를 제거하거나, 소정 주파수 대역의 소리를 증폭하여 사용자의 음성을 보다 정밀하게 인식하는 과정을 거칠 수도 있다. 그리고 상기 A단계에서 상기 분석모듈(110)이 사용자의 음성에서 형태소를 분석하여 디지털화된 문장에서 주요 내용을 추출함에 따라, 사용자의 음성명령의 내용을 분석하는 과정을 거칠 수도 있다. 예시적으로, 상기 A단계에서 사용자가 "이 제품의 명칭을 알려줘"라고 음성명령을 입력한 경우, 상기 분석모듈(110)은 제품과 명칭에 대한 키워드와 제품 및 명칭 사이의 관계분석을 통해 사용자가 원하는 의도를 분석할 수 있다. 그리고 이 예시와 같은 경우처럼 제품이 무엇인지를 파악하기 위해 카메라(230)가 활용되어야 하는 상태, 즉 영상을 통한 대상의 식별명령이 음성에 포함된 경우에는 상가 카메라(230)가 가동되어 B단계로 이어질 수 있다.In step A, when an external voice signal is received by the microphone 220, the user's voice can be extracted from the voice signal and the voice command can be digitized. may be At this time, in step A, noise may be removed from the voice signal input from the analysis module 110 or a sound of a predetermined frequency band may be amplified to more accurately recognize the user's voice. In step A, as the analysis module 110 analyzes morphemes in the user's voice and extracts main content from the digitized sentence, a process of analyzing the content of the user's voice command may be performed. Illustratively, in the case where the user inputs a voice command, "Tell me the name of this product" in step A, the analysis module 110 analyzes the relationship between the keyword for the product and the name and the product and the name to analyze the user's voice command. can analyze the desired intention. And, as in the case of this example, when the camera 230 must be used to determine what the product is, that is, when the identification command of the target through the video is included in the voice, the shopping mall camera 230 is operated to step B can lead to
상기 B단계는, 상술한 바와 같이 분석된 음성데이터가 카메라(230)를 통한 식별명령이면 상기 제어부(100)가 카메라(230)를 가동하여 영상데이터를 수신받는 단계일 수 있다. 이때 상기 제어부(100)의 연산모듈(120)이 상기 카메라(230)가 작동되도록 제어할 수 있으며, 상기 카메라(230)에서 촬영된 영상데이터는 상기 분석모듈(110)로 입력될 수 있다. Step B may be a step in which the control unit 100 activates the camera 230 to receive image data if the analyzed voice data is an identification command through the camera 230 as described above. At this time, the operation module 120 of the control unit 100 may control the camera 230 to operate, and image data captured by the camera 230 may be input to the analysis module 110 .
상기 C단계는, 상기 영상데이터가 상기 분석모듈(110)로 입력되면, 상기 분석모듈(110)이 영상데이터의 이미지를 분석하여 객체들을 추출하는 과정을 포함할 수 있다. 이때 상기 분석모듈(110)이 이미지를 분석하는 경우에 여러 객체들이 이미지 내에서 추출될 수 있음에 따라 본 발명은 도 7에서 도시된 바와 같이 기 입력된 기준정보를 기반으로 기준데이터가 설정될 수도 있다. 일 예로 사용자의 양손 중에서 한 손이 기준데이터일 수 있으며, 사용자의 한 손이 파지하고 있는 사물이 분석 대상 객체일 수 있다. 이때 상기 C단계에서는 기준데이터가 기 등록된 경우에는 상술한 바와 같이 기준데이터를 중심으로 영상을 분석하여 객체를 추출하고 사물을 정의할 수 있다. Step C may include a process in which, when the image data is input to the analysis module 110, the analysis module 110 analyzes images of the image data to extract objects. At this time, when the analysis module 110 analyzes the image, as various objects can be extracted from the image, the present invention may set reference data based on previously input reference information as shown in FIG. 7 . there is. For example, one hand among both hands of the user may be reference data, and an object held by one hand of the user may be an object to be analyzed. At this time, in step C, if the reference data is already registered, as described above, an image may be analyzed based on the reference data to extract an object and define the object.
상기 C단계에서 사물이 인식된 경우에 상기 D단계로 이어져 상기 연산모듈(120)이 추출된 상기 사물의 정보들을 데이터베이스(140)로부터 전달받을 수 있다. 이때 상기 사물의 정보들은 관련데이터일 수 있으며, 앞선 예시처럼 제품의 명칭을 요청한 상황에서는 상기 관련데이터가 상기 사물의 명칭일 수 있다. 혹은 상기 사물의 정보들은 사물의 용도, 사물의 위치, 사물의 세부정보 중 어느 하나의 관련데이터일 수도 있다. 이때 사물의 세부정보는 사물의 제조사, 성분, 혹은 함께 사용되는 다른 제품이나 해당 사물의 사용법 등 다양한 형태일 수 있다. When an object is recognized in the step C, the operation module 120 may receive the extracted object information from the database 140 in the step D. In this case, the information of the thing may be related data, and in a situation where the name of a product is requested as in the previous example, the related data may be the name of the thing. Alternatively, the information of the object may be data related to any one of the purpose of the object, the location of the object, and detailed information of the object. At this time, the detailed information of the object may be in various forms, such as the manufacturer of the object, ingredients, other products used together, or usage of the object.
상기 B단계에서 분석된 음성데이터가 카메라(230)를 통한 식별명령이 아니면, 상기 제어부(100)는 상기 음성데이터를 기반으로 제어신호를 생성할 수도 있다. 예컨데 상기 분석모듈(110)에서 음성데이터를 분석 시에 "TV를 켜줘" 등의 음성명령인 경우, 상기 연산모듈(120)은 TV의 전원을 On하기 위해 상기 통신모듈(400)을 통해 홈 오토메이션에 연동하여 제어하거나 직접 전원을 켜는 신호를 TV로 전송할 수 있다. If the voice data analyzed in step B is not an identification command through the camera 230, the controller 100 may generate a control signal based on the voice data. For example, when the analysis module 110 analyzes the voice data, in the case of a voice command such as “Turn on the TV”, the calculation module 120 performs home automation through the communication module 400 to turn on the power of the TV. It can be controlled by interlocking with the TV, or a signal to turn on the power directly can be transmitted to the TV.
본 발명에 따른 웨어러블 디바이스를 이용한 대상인식방법은, 상기 C단계 이전, 상기 제어부(100)가 영상데이터에서 사용자의 양손 중 적어도 한손을 객체로 추출하여 기준데이터로 설정하는 과정을 포함할 수 있다. 혹은 상기 C단계에서 기준데이터가 있는지 여부를 판별할 수도 있으며, 기준데이터가 없는 경우는 영상에 기준데이터가 인식되지 않거나 기등록된 기준데이터가 없는 경우 등을 포함할 수 있다. 그리고 기준데이터가 없는 경우, 상기 연산모듈(120)은 스피커(310)를 통해 사용자의 한 손을 상기 카메라(230)로 촬영하여 사용자의 손의 형상과 특징을 추출하여 기준 데이터로 설정할 수 있다. 아울러 상기 C단계에서는 상기 기준데이터인 사용자의 한 손이 가리키는 곳에 위치한 사물의 정보를 분석하여 사용자에게 제공할 수도 있다. The method for recognizing an object using a wearable device according to the present invention may include, prior to step C, a process in which the control unit 100 extracts at least one of both hands of the user from image data as an object and sets it as reference data. Alternatively, it may be determined whether there is reference data in the step C, and the case in which there is no reference data may include a case in which reference data is not recognized in the image or there is no previously registered reference data. In addition, when there is no reference data, the calculation module 120 can capture the user's hand with the camera 230 through the speaker 310, extract the shape and characteristics of the user's hand, and set it as reference data. In addition, in the step C, information of an object located at a location pointed by a user's hand, which is the reference data, may be analyzed and provided to the user.
도 8 및 도 9는 본 발명에 따른 웨어러블 디바이스를 이용한 대상인식방법에 관한 것으로, 도 8은 웨어러블 디바이스를 이용한 실시간영상 분석을 도시한 플로차트를, 도 9는 다양한 영상 명령동작을 도시한 예시도를 각각 나타낸다. 8 and 9 relate to a method for recognizing an object using a wearable device according to the present invention. FIG. 8 is a flow chart showing real-time image analysis using a wearable device, and FIG. 9 is an exemplary view showing various image command operations. represent each.
도 8을 참조하면, 상기 D단계 이후 상기 카메라(230)는 설정된 시간동안 작동하거나 사용자가 종료신호를 입력하기 전까지 실시간으로 외부를 촬영하여 분석하도록 구성될 수도 있다. 이때 상기 분석모듈(110)은 상기 카메라(230)를 통해 촬영된 영상데이터들을 분석하여, 영상데이터 내에 명령동작이 있는지 여부를 판별할 수 있다. 이때 명령동작은 사용자의 양손 중 기준데이터로 등록된 사용자의 한 손을 제외한 다른 손의 모션일 수 있다. 도 9에서 도시된 바와 같이 상기 카메라(230)에서 촬영된 사용자의 손 동작이 달라지는 경우, 상기 연산모듈(120)은 서로 다른 관련데이터를 데이터베이스로부터 전달받아 음성출력하거나, 서로 다른 제어명령인 것으로 판단하여 기기들을 제어할 수도 있다. 예거하자면 도 9-(a)의 동작은 인식된 사물의 명칭, 도 9-(b)의 동작은 인식된 사물의 세부정보, 도 9-(c)의 동작은 사물의 용도로 구성될 수도 있다. 혹은 각 모션들은 서로 다른 기기들을 On/Off하거나 기기들의 다른 동작으로 조절하는 관련데이터와 연결될 수도 있다. 이에 따라 본 발명에 따른 웨어러블 디바이스를 이용한 대상인식방법은, 상기 분석모듈(110)이 하나의 손의 모션을 검출하되 상기 연산모듈(120)이 하나의 손의 모션에 따른 관련데이터를 음성으로 출력하도록 제어신호를 생성하고, 상기 분석모듈(110)이 다른 하나의 손을 통해 사물을 객체로 검출하되 상기 연산모듈(120)이 상기 사물에 대한 관련데이터가 상기 변환모듈(130)을 통해 상기 스피커에서 음성신호로 출력되도록 제어신호를 생성할 수 있다.Referring to FIG. 8 , after step D, the camera 230 may be configured to photograph and analyze the outside in real time until it operates for a set time or until the user inputs an end signal. At this time, the analysis module 110 may analyze the image data photographed through the camera 230 to determine whether there is a command operation in the image data. At this time, the command operation may be a motion of the user's hands other than the user's one hand registered as reference data. As shown in FIG. 9 , when the motion of the user's hand photographed by the camera 230 changes, the calculation module 120 receives different related data from the database and outputs them as audio or determines that they are different control commands. You can also control your devices. As an example, the operation of FIG. 9-(a) may consist of the name of the recognized object, the operation of FIG. 9-(b) the detailed information of the recognized object, and the operation of FIG. 9-(c) the purpose of the object. . Alternatively, each motion may be connected to related data that turns on/off different devices or controls different operations of the devices. Accordingly, in the object recognition method using a wearable device according to the present invention, the analysis module 110 detects the motion of one hand, and the calculation module 120 outputs related data according to the motion of one hand as voice The analysis module 110 detects the object as an object through the other hand, and the calculation module 120 transmits data related to the object through the conversion module 130 to the speaker. A control signal can be generated to be output as a voice signal.
도 10 및 도 11은 본 발명에 따른 웨어러블 디바이스에 관한 것으로, 도 10은 웨어러블 디바이스를 착용한 사용자를 도시한 도면을, 도 11은 웨어러블 디바이스의 사시도를 각각 나타낸다. 10 and 11 relate to a wearable device according to the present invention, and FIG. 10 is a diagram showing a user wearing the wearable device, and FIG. 11 is a perspective view of the wearable device, respectively.
도 10 및 도 11을 참조하면, 본 발명에 따른 웨어러블 디바이스(10)는 사용자의 신체에 착용되는 본체(500)를 포함할 수 있으며, 보다 바람직하게는 상기 본체(500)는 사용자의 귀에 착용되는 이어셋 타입으로 구성될 수 있다. 이때 상기 본체(500)는 사용자의 귀의 전방에 배치되는 전방몸체(510), 사용자의 귀의 후방에 배치되는 후방몸체(520) 및 상기 전방몸체(510)와 후방몸체(520)를 연결하되 사용자의 귀의 상측에 배치되는 제1연결부(530)를 포함할 수 있다. 10 and 11, the wearable device 10 according to the present invention may include a body 500 worn on the user's body, and more preferably, the body 500 is worn on the user's ear. It may be configured as an earphone type. At this time, the main body 500 connects the front body 510 disposed in front of the user's ear, the rear body 520 disposed in the rear of the user's ear, and the front body 510 and the rear body 520, but the user's It may include a first connection part 530 disposed above the ear.
상기 전방몸체(510)의 전방면에는 카메라(230)가 배치되어 사용자 전방 시야에 대한 영상을 촬영할 수 있으며, 카메라(230) 이외에도 센서부 마이크와 같은 정보입력부(200)가 배치될 수 있다. 그리고 상기 전방몸체(510)에는 스피커(310)가 배치되어 사용자에게 음성신호를 출력할 수 있으며. 상기 스피커(310)는 골전도 등의 방식으로 구성될 수도 있다. 그리고 상기 제1연결부(530)는 상측으로 절곡된 호 형상으로 구성되어 상기 전방몸체(510), 제1연결부(530) 및 후방몸체(520)가 제1절곡홈(H1)을 형성할 수 있다. 이때 상기 제1연결부(530)의 상하방향 폭은 상기 전방몸체(510) 및 후방몸체(520) 각각의 상하방향 폭 보다 작게 형성될 수 있으며, 상기 제1연결부(530)는 호의 중심이 하측에 배치되어 상측으로 절곡된 호일 수 있다.A camera 230 is disposed on the front surface of the front body 510 to take an image of the user's front view, and an information input unit 200 such as a sensor unit microphone may be disposed in addition to the camera 230. In addition, a speaker 310 is disposed on the front body 510 to output a voice signal to the user. The speaker 310 may be configured in a manner such as bone conduction. And, the first connection portion 530 is configured in an arc shape bent upward, so that the front body 510, the first connection portion 530, and the rear body 520 may form a first bent groove H1. . At this time, the vertical width of the first connection portion 530 may be smaller than the vertical width of each of the front body 510 and the rear body 520, and the first connection portion 530 has the center of the arc on the lower side. It may be an arc that is disposed and bent upward.
상기 전방몸체(510), 후방몸체(520) 및 제1연결부(530)는 사용자의 양 귀에 배치되도록 한 쌍으로 이루어질 수 있으며, 상기 본체(500)는 한 쌍의 후방몸체(520) 사이에 배치되는 센터부(540)를 더 포함할 수 있다. 여기서 상기 센터부(540)는 사용자의 목의 뒤쪽 부분이나 후두골, 후두하근 등에 위치할 수 있다. 아울러 상기 본체(100)는 상기 센터부(540)와 한 쌍의 후방몸체(520) 사이를 연결하는 한 쌍의 제2연결부(520)를 더 포함할 수 있다. 이때 상기 제2연결부(520) 또한 상측으로 절곡된 호 형상으로 호의 중심이 하측에 배치될 수 있다. 그리고 상기 제2연결부(520)의 호 반지름은 상기 제1연결부(520)의 호 반지름 보다 크게 형성되어 상기 제2연결부(540)가 상기 제1연결부(520) 보다 완만한 곡선으로 이루어질 수도 있다. 그리고 상기 후방몸체(520) 또는 센터부(540)에는 배터리, MCU 등이 탑재될 수도 있다. The front body 510, the rear body 520, and the first connection part 530 may be formed as a pair to be disposed in both ears of the user, and the body 500 is disposed between the pair of rear bodies 520. A center portion 540 may be further included. Here, the center portion 540 may be located at the back of the user's neck, the occipital bone, or the suboccipital muscle. In addition, the main body 100 may further include a pair of second connection parts 520 connecting between the center part 540 and the pair of rear bodies 520. At this time, the second connection portion 520 may also have an arc shape bent upward, and the center of the arc may be disposed on the lower side. Also, the arc radius of the second connection part 520 is larger than that of the first connection part 520 so that the second connection part 540 has a gentler curve than the first connection part 520. In addition, a battery, an MCU, or the like may be mounted on the rear body 520 or the center portion 540.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.Specific implementations described in the present invention are examples and do not limit the scope of the present invention in any way. For brevity of the specification, description of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection of lines or connecting members between the components shown in the drawings are examples of functional connections and / or physical or circuit connections, which can be replaced in actual devices or additional various functional connections, physical connection, or circuit connections. In addition, if there is no specific reference such as "essential" or "important", it may not necessarily be a component necessary for the application of the present invention.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.In addition, the detailed description of the present invention described has been described with reference to preferred embodiments of the present invention, but those skilled in the art or those having ordinary knowledge in the art will find the spirit of the present invention described in the claims to be described later. And it will be understood that the present invention can be variously modified and changed without departing from the technical scope. Therefore, the technical scope of the present invention is not limited to the contents described in the detailed description of the specification, but should be defined by the claims.
10 : 웨어러블 디바이스
20 : 홈 오토메이션 기기
30 : 이동형 단말
40 : 고정형 단말
100 : 제어부
110 : 분석모듈
120 : 연산모듈
130 : 변환모듈
140 : 데이터베이스
200 : 정보입력부
210 : 센서부
220 : 마이크
230 : 카메라
300 : 정보출력부
310 : 스피커
320 : 디스플레이
400 : 통신부
500 : 본체
510 : 전방몸체
520 : 후방몸체
530 : 제1연결부
540 : 센터부
550 : 제2연결부
H1 : 제1절곡홈
H2 : 제2절곡홈10: wearable device
20: home automation device
30: mobile terminal
40: fixed terminal
100: control unit
110: analysis module
120: calculation module
130: conversion module
140: database
200: information input unit
210: sensor unit
220: microphone
230: camera
300: information output unit
310: speaker
320: display
400: Ministry of Communication
500: body
510: front body
520: rear body
530: first connection part
540: center part
550: second connection part
H1: 1st bending groove
H2: 2nd bending groove
Claims (13)
사용자의 신체에 착용되는 본체;
데이터를 연산 및 제어하는 제어부;
외부로부터 정보가 수신되어 상기 제어부로 데이터를 입력하는 정보입력부;
상기 제어부의 제어 신호에 따라 외부로 정보를 출력하는 정보출력부;
를 포함하되,
상기 정보입력부는,
음성데이터가 입력되는 마이크 및, 외부를 촬영하여 영상데이터를 생성하는 카메라를 포함하고,
상기 정보출력부는,
음성신호가 출력되는 스피커를 포함하며,
상기 제어부는,
상기 음성데이터 또는 영상데이터를 분석하는 분석모듈, 상기 분석모듈에서 분석된 데이터와 연관된 관련데이터의 출력에 관한 제어신호를 생성하는 연산모듈 및 상기 제어부에서 전달되는 데이터를 음성신호로 변환하는 변환모듈을 포함하고,
상기 분석모듈은,
상기 영상데이터에서 객체를 추출하여 추출된 객체를 정의하고,
상기 연산모듈은,
정의된 객체와 연관된 관련데이터를 생성하여 상기 관련데이터를 출력하도록 제어신호를 생성하며,
상기 제어부는 사용자의 양손을 각각 식별하고,
상기 분석모듈이 하나의 손의 모션을 검출하되 상기 연산모듈이 손의 모션에 따른 제어신호를 생성하고,
상기 분석모듈이 다른 하나의 손을 통해 사물을 객체로 검출하되 상기 연산모듈이 상기 사물에 대한 관련데이터가 상기 변환모듈을 통해 상기 스피커에서 음성신호로 출력되도록 제어신호를 생성하고,
상기 연산모듈은 서로 다른 관련데이터와 연결되는 복수의 모션을 포함하고,
상기 연산모듈은 모션의 종류에 따라 상기 사물에 대한 관련데이터가 달라지도록 제어신호를 생성하여,
상기 연산모듈은,
하나의 손의 모션을 명령동작으로 인식하여 모션의 종류에 따라 사물의 명칭, 사물의 용도, 사물의 위치, 사물의 세부정보 중 적어도 하나의 관련데이터를 음성신호로 출력하되 다른 하나의 손을 통해 상기 사물을 검출하며,
상기 웨어러블 디바이스는 사용자의 귀에 착용되는 이어셋 타입으로 형성되되,
상기 본체는,
사용자의 귀의 전방에 배치되는 전방몸체, 사용자의 귀의 전방에 배치되는 후방몸체, 및 상기 전방몸체와 후방몸체를 연결하는 제1연결부를 포함하고,
상기 전방몸체, 제1연결부 및 후방몸체가 사용자의 양 귀에 배치되도록 한 쌍으로 이루어지고,
상기 본체는,
한 쌍의 후방몸체 사이에 배치되어 사용자의 후두골에 배치되는 센터부, 상기 센터부와 한 쌍의 후방몸체 사이를 연결하는 한 쌍의 제2연결부를 더 포함하되,
상기 제1연결부 및 제2연결부는 호의 중심이 하측에 배치되어 상측으로 절곡된 호 형상으로, 상기 제2연결부의 호 반지름이 상기 제1연결부의 호 반지름 보다 크게 형성되며,
상기 센터부에 배터리가 탑재되는 것을 특징으로 하는 웨어러블 디바이스.
In the wearable device worn on the user's body,
a body worn on a user's body;
a controller that calculates and controls data;
an information input unit receiving information from the outside and inputting data to the control unit;
an information output unit outputting information to the outside according to a control signal of the control unit;
Including,
The information input unit,
It includes a microphone for inputting audio data and a camera for generating image data by photographing the outside,
The information output unit,
It includes a speaker outputting an audio signal,
The control unit,
An analysis module for analyzing the audio data or video data, an arithmetic module for generating a control signal related to the output of related data associated with the data analyzed by the analysis module, and a conversion module for converting the data transmitted from the control unit into a voice signal include,
The analysis module,
Extracting an object from the image data and defining the extracted object;
The calculation module,
generating related data related to the defined object and generating a control signal to output the related data;
The control unit identifies both hands of the user respectively,
The analysis module detects a motion of one hand, and the calculation module generates a control signal according to the motion of the hand;
The analysis module detects the object as an object through the other hand, and the calculation module generates a control signal so that data related to the object is output as a voice signal from the speaker through the conversion module;
The calculation module includes a plurality of motions connected to different related data,
The operation module generates a control signal so that data related to the object varies according to the type of motion,
The calculation module,
Recognizes the motion of one hand as a command motion, and outputs at least one related data among the name of the object, the purpose of the object, the location of the object, and the detailed information of the object as a voice signal according to the type of motion, but through the other hand. detect the object,
The wearable device is formed of an earphone type worn on the user's ear,
the body,
A front body disposed in front of the user's ear, a rear body disposed in front of the user's ear, and a first connection portion connecting the front body and the rear body,
The front body, the first connection part and the rear body are made of a pair so as to be disposed on both ears of the user,
the body,
Further comprising a center portion disposed between the pair of rear bodies and disposed on the user's occipital bone, and a pair of second connection portions connecting the center portion and the pair of rear bodies,
The first connection part and the second connection part have an arc shape bent upward with the center of the arc disposed at the lower side, and the arc radius of the second connection part is larger than the arc radius of the first connection part,
Wearable device characterized in that the battery is mounted in the center portion.
상기 분석모듈은,
R-CNN, Fast R-CNN 및 Faster R-CNN 중 어느 하나의 신경망이 탑재된 것을 특징으로 하는 웨어러블 디바이스.
According to claim 1,
The analysis module,
Wearable device characterized in that any one of R-CNN, Fast R-CNN and Faster R-CNN neural network is mounted.
상기 제어부는,
상기 연산모듈과 연결되어 데이터를 저장하는 데이터베이스를 더 포함하고,
상기 연산모듈이 추출된 객체와 연관된 관련데이터들을 상기 데이터베이스로부터 전달받아 음성 출력을 위한 제어신호를 생성하는 것을 특징으로 하는 웨어러블 디바이스.
According to claim 1,
The control unit,
Further comprising a database connected to the calculation module to store data,
The wearable device, characterized in that the operation module generates a control signal for audio output by receiving related data associated with the extracted object from the database.
상기 제어부는,
상기 분석모듈이 상기 영상데이터에 기등록된 사용자의 손과 사용자의 손이 파지하고 있는 사물을 각각 객체로 검출한 경우에 상기 연산모듈이 상기 사물에 대한 관련데이터를 생성하고,
상기 연산모듈은 상기 사물에 대한 관련데이터를 음성으로 출력하도록 제어신호를 생성하되 관련데이터가 상기 변환모듈을 통해 상기 스피커에서 음성신호로 출력되는 것을 특징으로 하는 웨어러블 디바이스.
According to claim 1,
The control unit,
When the analysis module detects a user's hand pre-registered in the image data and an object held by the user's hand as objects, the calculation module generates data related to the object;
The wearable device of claim 1 , wherein the operation module generates a control signal to output the data related to the object as a voice, and the related data is output as a voice signal from the speaker through the conversion module.
상기 제어부는,
상기 분석모듈이 상기 영상데이터에 기등록된 기준데이터인 사용자의 손과 사용자의 손이 가리키고 있는 사물을 각각 객체로 검출한 경우에 상기 연산모듈이 상기 사물에 대한 관련데이터를 생성하고,
상기 연산모듈은 상기 사물에 대한 관련데이터를 음성으로 출력하도록 제어신호를 생성하되 관련데이터가 상기 변환모듈을 통해 상기 스피커에서 음성신호로 출력되는 것을 특징으로 하는 웨어러블 디바이스.
According to claim 1,
The control unit,
When the analysis module detects the user's hand and the object pointed by the user's hand, which are reference data previously registered in the image data, as objects, the calculation module generates data related to the object;
The wearable device of claim 1 , wherein the operation module generates a control signal to output the data related to the object as a voice, and the related data is output as a voice signal from the speaker through the conversion module.
A) 상기 마이크에 음성데이터가 입력되면 상기 제어부의 분석모듈이 음성데이터를 분석하는 단계;
B) 분석된 음성데이터가 카메라를 통한 식별명령이면 상기 제어부가 카메라를 가동하여 영상데이터를 수신받는 단계;
C) 상기 제어부가 영상데이터를 분석하여 기준데이터를 중심으로 사물을 인식하는 단계; 및
D) 상기 제어부가 인식된 사물에 대한 관련데이터를 상기 스피커에서 음성으로 출력되도록 제어하는 단계;
를 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 대상인식방법.
In the object recognition method using the wearable device of claim 6,
A) analyzing the voice data by an analysis module of the control unit when the voice data is input to the microphone;
B) if the analyzed voice data is an identification command through a camera, operating the camera to receive image data;
C) analyzing the image data by the control unit and recognizing the object based on the reference data; and
D) controlling, by the control unit, output of data related to the recognized object as voice through the speaker;
Object recognition method using a wearable device comprising a.
상기 B단계에서 상기 분석된 음성데이터가 카메라를 통한 식별명령이 아니면, 상기 제어부는 상기 음성데이터를 기반으로 제어신호를 생성하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 대상인식방법.
According to claim 10,
If the voice data analyzed in step B is not an identification command through a camera, the control unit generates a control signal based on the voice data.
상기 C단계 이전,
상기 제어부가 영상데이터에서 사용자의 양손 중 적어도 한손을 객체로 추출하여 기준데이터로 설정하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 대상인식방법.
According to claim 10,
Before step C,
The object recognition method using a wearable device, characterized in that the control unit extracts at least one of the user's hands from the image data as an object and sets it as reference data.
상기 D단계에서 상기 분석모듈이 하나의 손의 모션을 검출하되 상기 연산모듈이 하나의 손의 모션에 따른 관련데이터를 음성으로 출력하도록 제어신호를 생성하고,
상기 C단계에서 상기 분석모듈이 다른 하나의 손을 통해 사물을 객체로 검출하되 상기 연산모듈이 상기 사물에 대한 관련데이터가 상기 변환모듈을 통해 상기 스피커에서 음성신호로 출력되도록 제어신호를 생성하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 대상인식방법.According to claim 12,
In step D, the analysis module detects the motion of one hand, and the calculation module generates a control signal to output related data according to the motion of one hand as voice;
In step C, the analysis module detects the object as an object through the other hand, but the calculation module generates a control signal so that data related to the object is output as a voice signal from the speaker through the conversion module. Object recognition method using a wearable device characterized by.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220100464A KR102570418B1 (en) | 2022-08-11 | 2022-08-11 | Wearable device including user behavior analysis function and object recognition method using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220100464A KR102570418B1 (en) | 2022-08-11 | 2022-08-11 | Wearable device including user behavior analysis function and object recognition method using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102570418B1 true KR102570418B1 (en) | 2023-08-25 |
Family
ID=87847101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220100464A KR102570418B1 (en) | 2022-08-11 | 2022-08-11 | Wearable device including user behavior analysis function and object recognition method using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102570418B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017199379A (en) * | 2013-02-19 | 2017-11-02 | ミラマ サービス インク | Tracking display system, tracking display program, tracking display method, wearable device using the same, tracking display program for wearable device, and manipulation method for wearable device |
| US20180189354A1 (en) * | 2016-12-29 | 2018-07-05 | Microsoft Technology Licensing, Llc | Replacing pronouns with focus-specific objects in search queries |
| US20190027147A1 (en) * | 2017-07-18 | 2019-01-24 | Microsoft Technology Licensing, Llc | Automatic integration of image capture and recognition in a voice-based query to understand intent |
| JP2019109849A (en) * | 2017-12-20 | 2019-07-04 | セイコーエプソン株式会社 | Transmissive head-mounted display device, display control method, and computer program |
| KR102401233B1 (en) | 2021-11-22 | 2022-05-24 | 이동민 | An offline shopping guidance system using smart glasses for the visually impaired |
| KR20220075980A (en) | 2020-11-30 | 2022-06-08 | 한국전자통신연구원 | Wearable assistive device for cognitive impairment based on context awareness interface and method for providing service using the device |
-
2022
- 2022-08-11 KR KR1020220100464A patent/KR102570418B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017199379A (en) * | 2013-02-19 | 2017-11-02 | ミラマ サービス インク | Tracking display system, tracking display program, tracking display method, wearable device using the same, tracking display program for wearable device, and manipulation method for wearable device |
| US20180189354A1 (en) * | 2016-12-29 | 2018-07-05 | Microsoft Technology Licensing, Llc | Replacing pronouns with focus-specific objects in search queries |
| US20190027147A1 (en) * | 2017-07-18 | 2019-01-24 | Microsoft Technology Licensing, Llc | Automatic integration of image capture and recognition in a voice-based query to understand intent |
| JP2019109849A (en) * | 2017-12-20 | 2019-07-04 | セイコーエプソン株式会社 | Transmissive head-mounted display device, display control method, and computer program |
| KR20220075980A (en) | 2020-11-30 | 2022-06-08 | 한국전자통신연구원 | Wearable assistive device for cognitive impairment based on context awareness interface and method for providing service using the device |
| KR102401233B1 (en) | 2021-11-22 | 2022-05-24 | 이동민 | An offline shopping guidance system using smart glasses for the visually impaired |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11030917B2 (en) | Wearable apparatus and method for monitoring posture | |
| US9542613B2 (en) | Systems and methods for processing images | |
| CN108427910B (en) | Deep neural network AR sign language translation learning method, client and server | |
| US11546690B2 (en) | Processing audio and video | |
| CN104983511A (en) | Voice-helping intelligent glasses system aiming at totally-blind visual handicapped | |
| US20180357479A1 (en) | Body-worn system providing contextual, audio-based task assistance | |
| WO2022193989A1 (en) | Operation method and apparatus for electronic device and electronic device | |
| US20230005471A1 (en) | Responding to a user query based on captured images and audio | |
| KR102570418B1 (en) | Wearable device including user behavior analysis function and object recognition method using the same | |
| US10643636B2 (en) | Information processing apparatus, information processing method, and program | |
| US11493959B2 (en) | Wearable apparatus and methods for providing transcription and/or summary | |
| CN111524518B (en) | Augmented reality processing method and device, storage medium and electronic equipment | |
| Bhuiyan et al. | An assistance system for visually challenged people based on computer vision and iot | |
| KR102516155B1 (en) | Wearable device based on voice recognition that works with home automation | |
| US20230104182A1 (en) | Smart Wearable Sensor-Based Bi-Directional Assistive Device | |
| Sneha et al. | AI-powered smart glasses for blind, deaf, and dumb | |
| US20240062548A1 (en) | Converting spatial information to haptic and auditory feedback | |
| Jain et al. | Survey on Various Techniques based on Voice Assistance for Blind | |
| CN117056822A (en) | Sign language identification method and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |