Nothing Special   »   [go: up one dir, main page]

KR20170090956A - 청각 장애인을 위한 알림 시스템 - Google Patents

청각 장애인을 위한 알림 시스템 Download PDF

Info

Publication number
KR20170090956A
KR20170090956A KR1020160011993A KR20160011993A KR20170090956A KR 20170090956 A KR20170090956 A KR 20170090956A KR 1020160011993 A KR1020160011993 A KR 1020160011993A KR 20160011993 A KR20160011993 A KR 20160011993A KR 20170090956 A KR20170090956 A KR 20170090956A
Authority
KR
South Korea
Prior art keywords
control command
voice
feature vector
main body
processing unit
Prior art date
Application number
KR1020160011993A
Other languages
English (en)
Inventor
전준혁
김호중
문준혁
강민우
박종승
정창화
Original Assignee
한서대학교 산학협력단
문준혁
강민우
전준혁
박종승
김호중
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한서대학교 산학협력단, 문준혁, 강민우, 전준혁, 박종승, 김호중 filed Critical 한서대학교 산학협력단
Priority to KR1020160011993A priority Critical patent/KR20170090956A/ko
Publication of KR20170090956A publication Critical patent/KR20170090956A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 청각 장애인을 위한 알림 시스템은 청각 장애인의 신체 일부에 착용 가능한 형태로 형성되는 본체부; 상기 본체부의 내부에 구비되며, 상대방의 음성에 대응하는 음성 신호를 인식하는 음성 인식부; 상기 본체부의 내부에 구비되며, 상기 음성 신호를 시간 영역에서 주파수 영역으로 푸리에 변환하여 특징 벡터를 추출하고, 사전에 설정된 제어 명령 세트로부터 상기 특징 벡터에 대응하는 제어 명령을 추출하는 음성 처리부; 및 상기 본체부의 내부에 구비되며, 상기 제어 명령에 기초하여 발생하는 소정 패턴의 진동을 알림 신호로서 출력하여 상기 청각 장애인에게 상기 상대방의 음성을 전달하는 진동 알림부를 포함한다.

Description

청각 장애인을 위한 알림 시스템{ALARM SYSTEM FOR HEARING-IMPAIRED PERSON}
본 발명의 실시예들은 알림 시스템에 관한 것으로, 더욱 상세하게는 청각 장애인을 위한 알림 시스템에 관한 것이다.
일반적으로 청각 장애인(청각 장애우)는 청각 기능이 이상 또는 발달하지 못하여 소리를 귀로 인식하지 못하는 사람을 일컫는다. 따라서, 청각 장애인은 미리 정해진 손의 모양의 집합인 수화를 보고 상대방에게 의사를 전달하거나 의사를 전달받는다.
현재 우리나라에는 약 35만여 명 이상의 청각 장애인이 있는 것으로 추산되며, 전 세계적으로 각 국에는 많은 청각 장애인이 있으나, 청각 장애인의 의사 소통 수단인 수화를 모르는 일반인이 청각 장애인들과 의사 소통하기에는 많은 어려움이 있다.
특히, 기업이나 공공 기관에 고용된 많은 청각 장애인이 동료나 상사와 의사 소통의 어려움을 겪고 있으며, 수화를 모르는 일반 직장 동료나 상사들로서는 청각 장애인과 의사 소통이 수월하지 않아 업무에 지장을 초래하기도 한다.
또한, 청각 장애인을 자녀로 둔 정상적인 청각 기능이 있는 가족 또는 친구 간의 경우에도 수화를 모르는 경우가 많다. 이로 인해, 청각 장애인은 가족 또는 친구 간에 의사소통에 매우 어려움을 겪고 있는 실정이다.
따라서, 청각 장애인이 상대방의 말을 알아들을 수 있도록 하여, 수화를 모르는 일반인(비장애인)들과 원활한 의사소통이 가능하도록 하는 기술의 개발이 절실히 요청되고 있다.
관련 선행기술로는 대한민국 공개특허공보 제10-2009-0094572호(발명의 명칭: 청각장애인 등을 위한 알림 시스템, 공개일자: 2009.09.08)가 있다.
본 발명의 일 실시예는 상대방의 음성을 그에 대응되는 진동 패턴으로 변환하여 청각 장애인에게 알려줌으로써 청각 장애인과 비장애인 간의 의사 소통을 원활하게 할 수 있는 청각 장애인을 위한 알림 시스템을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 청각 장애인을 위한 알림 시스템은 청각 장애인의 신체 일부에 착용 가능한 형태로 형성되는 본체부; 상기 본체부의 내부에 구비되며, 상대방의 음성에 대응하는 음성 신호를 인식하는 음성 인식부; 상기 본체부의 내부에 구비되며, 상기 음성 신호를 시간 영역에서 주파수 영역으로 푸리에 변환하여 특징 벡터를 추출하고, 사전에 설정된 제어 명령 세트로부터 상기 특징 벡터에 대응하는 제어 명령을 추출하는 음성 처리부; 및 상기 본체부의 내부에 구비되며, 상기 제어 명령에 기초하여 발생하는 소정 패턴의 진동을 알림 신호로서 출력하여 상기 청각 장애인에게 상기 상대방의 음성을 전달하는 진동 알림부를 포함한다.
본 발명의 일 실시예에 따른 청각 장애인을 위한 알림 시스템은 상기 본체부의 내부에 구비되며, 텍스트(Text)로 구성된 문자열 정보를 특징 벡터별로 대응되게 메모리에 미리 저장하는 메모리 저장부를 더 포함하고, 상기 음성 처리부는 상기 추출된 특징 벡터를 분석하여 그에 대응하는 문자열 정보를 상기 메모리로부터 추출하고, 상기 추출된 문자열 정보를 상기 제어 명령 세트와 비교하여 상기 텍스트에 대응하는 제어 명령을 추출할 수 있다.
상기 음성 처리부는 상기 추출된 특징 벡터의 분석 결과에 기초하여, 상기 추출된 문자열 정보를 구성하는 텍스트가 단일 문장인지 복합 문장인지 여부를 판단하고, 상기 복합 문장인 경우 상기 복합 문장에 포함된 둘 이상의 문장을 분리한 후 순서대로 정렬하여 상기 둘 이상의 문장에 대응하는 둘 이상의 제어 명령을 상기 제어 명령 세트로부터 순차적으로 추출할 수 있다.
상기 문자열 정보는 복수의 후보 텍스트 및 상기 후보 텍스트 각각에 대한 순위를 포함하고, 상기 음성 처리부는 미리 학습된 데이터를 토대로 한 기계 학습 모델을 이용하여, 상기 추출된 특징 벡터의 분석 결과에 대한 상기 후보 텍스트 각각의 만족 지수를 산출하고, 상기 산출된 만족 지수에 따라 상기 후보 텍스트 각각의 순위를 재정렬하여 최상위 순위에 해당하는 후보 텍스트를 상기 제어 명령 세트와 비교함으로써 상기 최상위 순위에 해당하는 후보 텍스트에 대응하는 제어 명령을 추출할 수 있다.
본 발명의 일 실시예에 따른 청각 장애인을 위한 알림 시스템은 상기 본체부의 내부에 구비되며, 상기 본체부의 외부에 구비된 카메라를 통해 촬영된 촬영 영상으로부터 복수의 연속 프레임을 추출하여 상기 상대방의 입술 영역을 검출하고, 상기 입술 영역에 대한 특징 벡터를 추출하여 음성 구간을 추출하는 영상 처리부를 더 포함하고, 상기 음성 처리부는 상기 음성 신호 중 상기 음성 구간에 해당하는 음성 신호로부터 추출된 특징 벡터의 상한 특징 값과 하한 특징 값에 기초하여, 상기 음성 구간의 시작점과 종료점을 검출하고, 상기 음성 구간의 시작점과 종료점 사이에 해당하는 음성 신호의 특징 벡터를 이용하여 상기 제어 명령 세트로부터 상기 제어 명령을 추출할 수 있다.
상기 음성 처리부는 상기 특징 벡터에 포함된 특징 비트와 클래스 비트 중에서 감정 상태를 나타내는 상기 클래스 비트에 유전자 알고리즘(GA)을 적용하여, 상기 클래스 비트를 구성하는 비트 중 선택된 비트와 선택되지 않은 비트를 제1 및 제2 그룹으로 구분하여 최적 해를 결정하고, 상기 최적 해를 이용하여 상기 상대방의 감정 정보를 생성하여 상기 제어 명령에 포함시킬 수 있다.
상기 음성 처리부는 상기 특징 벡터를 은닉 마르코프 모델(HMM)을 기반으로 생성된 음향 모델 데이터와 비교하여, 상기 음향 모델 데이터로부터 상기 특징 벡터에 대응하는 감정 정보를 추출하고, 상기 추출된 감정 정보를 상기 제어 명령에 포함시킬 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 상대방의 음성을 그에 대응되는 진동 패턴으로 변환하여 청각 장애인에게 알려줌으로써 청각 장애인과 비장애인 간의 의사 소통을 원활하게 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 청각 장애인을 위한 알림 시스템을 설명하기 위해 도시한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 청각 장애인을 위한 알림 시스템을 설명하기 위해 도시한 블록도이다.
도 3은 본 발명의 또 다른 실시예에 따른 청각 장애인을 위한 알림 시스템을 설명하기 위해 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 청각 장애인을 위한 알림 시스템의 제어 방법을 설명하기 위해 도시한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 청각 장애인을 위한 알림 시스템의 제어 방법을 설명하기 위해 도시한 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 청각 장애인을 위한 알림 시스템의 제어 방법을 설명하기 위해 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 청각 장애인을 위한 알림 시스템을 설명하기 위해 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 청각 장애인을 위한 알림 시스템(100)은 본체부(110), 음성 인식부(120), 음성 처리부(130), 및 진동 알림부(140)를 포함한다.
상기 본체부(110)는 청각 장애인의 신체 일부에 착용 가능한 형태로 형성된다. 상기 본체부(110)는 도면에서와 같이 청각 장애인의 손목에 착용 가능한 스마트 워치(Smart Watch) 형태로 형성될 수 있다. 하지만, 상기 본체부(110)는 손목 외에 다른 신체 부위에도 착용 가능하며, 그 착용 부위에 따라 다양한 형태로 형성될 수 있다.
상기 본체부(110)는 상기 스마트 워치 형태로 형성된 경우, 외부에 시계(디지털 시계 또는 아날로그 시계)(112)를 구비할 수 있다. 이와 더불어, 상기 본체부(110)는 후술하는 음성 처리부(130)에 의해 추출된 제어 명령에 따라 화면에 상대방의 음성을 문자로 표시하는 디스플레이부(114)를 구비할 수도 있다.
상기 음성 인식부(120)는 상기 본체부(110)의 내부에 구비되며, 상대방의 음성에 대응하는 음성 신호를 인식한다. 이를 위해, 상기 음성 인식부(120)는 마이크로폰(Microphone)으로 구현될 수 있다.
상기 음성 처리부(130)는 상기 본체부(110)의 내부에 구비되며, 상기 음성 인식부(120)에 의해 인식된 음성 신호를 이용하여, 진동을 발생시키기 위한 제어 명령을 추출한다.
즉, 상기 음성 처리부(130)는 상기 음성 신호를 시간 영역에서 주파수 영역으로 푸리에 변환하여 특징 벡터를 추출하고, 사전에 설정된 제어 명령 세트(Set)로부터 상기 특징 벡터에 대응하는 제어 명령을 추출한다.
이때, 상기 음성 처리부(130)는 상기 음성 신호로부터 상기 특징 벡터를 추출하기 위해 고속 푸리에 변환(FFT)을 이용할 수 있다. 하지만, 이에 한정되지 않고 상기 음성 처리부(130)는 다른 변환 방식, 예컨대 일반 푸리에 변환(FT) 등을 이용할 수도 있다.
한편, 상기 특징 벡터는 상기 음성 신호에 대한 특징 값을 나타내는 특징 비트와 감정 상태를 나타내는 클래스 비트(Class Bit)를 포함할 수 있다. 여기서, 상기 음성 처리부(130)는 상기 클래스 비트에 유전자 알고리즘(GA)을 적용하여, 상기 클래스 비트를 구성하는 비트 중 선택된 비트와 선택되지 않은 비트를 제1 및 제2 그룹으로 구분하여 최적 해를 결정할 수 있다.
즉, 상기 음성 처리부(130)는 상기 제1 그룹에 포함된 비트, 즉 상기 클래스 비트로부터 선택된 비트를 최적 해로서 결정할 수 있다. 상기 음성 처리부(130)는 상기 최적 해를 이용하여 상대방의 감정 정보를 생성할 수 있다.
예를 들면, 상기 음성 처리부(130)는 상기 클래스 비트로부터 선택된 비트가 '기쁨'을 나타내는 비트인 경우, '기쁨'에 관한 감정 정보를 생성할 수 있으며, 상기 클래스 비트로부터 선택된 비트가 '슬픔'을 나타내는 비트인 경우, '슬픔'에 관한 감정 정보를 생성할 수 있다.
상기 음성 처리부(130)는 상기 생성된 감정 정보를 상기 제어 명령에 포함시킬 수 있다. 즉, 상기 음성 처리부(130)는 상대방의 음성 신호에 대응하는 문자 정보뿐만 아니라, '기쁨', '슬픔' 등과 같이 상대방의 감정 상태를 나타내는 감정 정보를 상기 제어 명령에 포함시킬 수 있다.
이로써, 본 발명의 일 실시예에 의하면 상대방의 음성 신호에 대응하는 문자 정보를 감정 정보와 함께 제공할 수 있는 환경을 마련할 수 있으며, 이를 통해 청각 장애인이 상대방(예: 수화를 하지 못하는 일반인)과의 커뮤니케이션을 보다 정확하고 원활하게 할 수 있는 편의성을 제공할 수 있다.
또 달리, 상기 음성 처리부(130)는 상기 특징 벡터를 은닉 마르코프 모델(HMM)을 기반으로 생성된 음향 모델 데이터와 비교하여, 상기 음향 모델 데이터로부터 상기 특징 벡터에 대응하는 감정 정보를 추출하고, 상기 추출된 감정 정보를 상기 제어 명령에 포함시킬 수도 있다.
즉, 본 발명의 일 실시예에서는 은닉 마르코프 모델을 기반으로 특징 벡터별로 감정 정보를 매칭하여 상기 음향 모델 데이터를 생성할 수 있다. 이에 따라, 상기 음성 처리부(130)는 상기 음향 모델 데이터로부터 상기 특징 벡터에 대응하는 감정 정보를 추출하고, 상기 추출된 감정 정보를 상기 제어 명령에 포함시킬 수 있다.
상기 진동 알림부(140)는 상기 본체부(110)의 내부에 구비되며, 상기 제어 명령에 기초하여 발생하는 소정 패턴의 진동을 알림 신호로서 출력하여 청각 장애인에게 상대방의 음성을 전달한다.
이때, 상기 진동 알림부(140)는 미리 설정된 다양한 진동 패턴 중에서, 상기 제어 명령에 해당하는 진동 패턴으로 상기 알림 신호를 출력할 수 있다. 이로써, 청각 장애인은 소정의 진동 패턴을 갖는 알림 신호를 통해 상대방의 음성을 전달받아 인지할 수 있다. 여기서, 상기 진동 패턴은 진동의 길이 및 세기를 달리 설정하여 다양하게 출력될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 청각 장애인을 위한 알림 시스템을 설명하기 위해 도시한 블록도이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 청각 장애인을 위한 알림 시스템(200)은 본체부(210), 메모리 저장부(220), 음성 인식부(230), 음성 처리부(240), 및 진동 알림부(250)를 포함할 수 있다.
상기 본체부(210)는 청각 장애인의 신체 일부에 착용 가능한 형태로 형성된다. 상기 본체부(210)는 도면에서와 같이 청각 장애인의 손목에 착용 가능한 스마트 워치(Smart Watch) 형태로 형성될 수 있다. 하지만, 상기 본체부(210)는 손목 외에 다른 신체 부위에도 착용 가능하며, 그 착용 부위에 따라 다양한 형태로 형성될 수 있다.
상기 본체부(210)는 상기 스마트 워치 형태로 형성된 경우, 외부에 시계(디지털 시계 또는 아날로그 시계)(212)를 구비할 수 있다. 이와 더불어, 상기 본체부(210)는 후술하는 음성 처리부(240)에 의해 추출된 제어 명령에 따라 화면에 상대방의 음성을 문자로 표시하는 디스플레이부(214)를 구비할 수도 있다.
상기 메모리 저장부(220)는 상기 본체부(210)의 내부에 구비되며, 텍스트(Text)로 구성된 문자열 정보를 특징 벡터별로 대응되게 메모리에 미리 저장할 수 있다. 상기 메모리는 상기 본체부(210)의 내부에 구비되어 상기 메모리 저장부(220)와 연계하여 동작할 수 있다.
상기 음성 인식부(230)는 상기 본체부(210)의 내부에 구비되며, 상대방의 음성에 대응하는 음성 신호를 인식한다. 이를 위해, 상기 음성 인식부(230)는 마이크로폰(Microphone)으로 구현될 수 있다.
상기 음성 처리부(240)는 상기 본체부(210)의 내부에 구비되며, 상기 음성 인식부(230)에 의해 인식된 음성 신호를 이용하여, 진동을 발생시키기 위한 제어 명령을 추출한다.
즉, 상기 음성 처리부(240)는 상기 음성 신호를 시간 영역에서 주파수 영역으로 푸리에 변환하여 특징 벡터를 추출하고, 상기 추출된 특징 벡터를 분석하여 그에 대응하는 문자열 정보를 상기 메모리로부터 추출할 수 있다. 상기 음성 처리부(240)는 상기 추출된 문자열 정보를 상기 제어 명령 세트와 비교하여, 상기 제어 명령 세트로부터 상기 텍스트에 대응하는 제어 명령을 추출할 수 있다.
이때, 상기 음성 처리부(240)는 상기 추출된 특징 벡터의 분석 결과에 기초하여, 상기 추출된 문자열 정보를 구성하는 텍스트가 단일 문장인지 복합 문장인지 여부를 판단할 수 있다. 상기 음성 처리부(240)는 상기 문자열 정보를 구성하는 텍스트가 복합 문장인 경우, 상기 복합 문장에 포함된 둘 이상의 문장을 분리한 후 순서대로 정렬하여 상기 둘 이상의 문장에 대응하는 둘 이상의 제어 명령을 상기 제어 명령 세트로부터 순차적으로 추출할 수 있다.
이로써, 본 실시예에 의하면 상대방이 단일 문장이 아닌 복합 문장을 말한 경우에도 그 순서에 맞는 제어 명령을 순차적으로 추출함으로써 청각 장애인에게 상대방의 연속된 음성을 정확히 전달할 수 있으며, 이를 통해 청각 장애인이 다른 사람들과 커뮤니케이션을 보다 원활히 할 수 있는 환경을 제공할 수 있다.
한편, 상기 메모리로부터 추출된 문자열 정보는 복수의 후보 텍스트 및 상기 후보 텍스트 각각에 대한 순위를 포함할 수 있다. 상기 음성 처리부(240)는 미리 학습된 데이터를 토대로 한 기계 학습 모델을 이용하여, 상기 추출된 특징 벡터의 분석 결과에 대한 상기 후보 텍스트 각각의 만족 지수를 산출할 수 있다. 상기 음성 처리부(240)는 상기 산출된 만족 지수에 따라 상기 후보 텍스트 각각의 순위를 재정렬하여 최상위 순위에 해당하는 후보 텍스트를 상기 제어 명령 세트와 비교할 수 있다. 상기 음성 처리부(240)는 상기 비교 결과에 따라, 최상위 순위에 해당하는 후보 텍스트에 대응하는 제어 명령을 추출할 수 있다.
상기 진동 알림부(250)는 상기 본체부(210)의 내부에 구비되며, 상기 제어 명령에 기초하여 발생하는 소정 패턴의 진동을 알림 신호로서 출력하여 청각 장애인에게 상대방의 음성을 전달한다.
이때, 상기 진동 알림부(250)는 미리 설정된 다양한 진동 패턴 중에서, 상기 제어 명령에 해당하는 진동 패턴으로 상기 알림 신호를 출력할 수 있다. 이로써, 청각 장애인은 소정의 진동 패턴을 갖는 알림 신호를 통해 상대방의 음성을 전달받아 인지할 수 있다. 여기서, 상기 진동 패턴은 진동의 길이 및 세기를 달리 설정하여 다양하게 출력될 수 있다.
도 3은 본 발명의 또 다른 실시예에 따른 청각 장애인을 위한 알림 시스템을 설명하기 위해 도시한 블록도이다.
도 3을 참조하면, 본 발명의 또 다른 실시예에 따른 청각 장애인을 위한 알림 시스템(300)은 본체부(310), 음성 인식부(320), 영상 처리부(330), 음성 처리부(340), 및 진동 알림부(350)를 포함할 수 있다.
상기 본체부(310)는 청각 장애인의 신체 일부에 착용 가능한 형태로 형성된다. 상기 본체부(310)는 도면에서와 같이 청각 장애인의 손목에 착용 가능한 스마트 워치(Smart Watch) 형태로 형성될 수 있다. 하지만, 상기 본체부(310)는 손목 외에 다른 신체 부위에도 착용 가능하며, 그 착용 부위에 따라 다양한 형태로 형성될 수 있다.
상기 본체부(310)는 상기 스마트 워치 형태로 형성된 경우, 외부에 시계(디지털 시계 또는 아날로그 시계)(312)를 구비할 수 있다. 이와 더불어, 상기 본체부(310)는 후술하는 음성 처리부(340)에 의해 추출된 제어 명령에 따라 화면에 상대방의 음성을 문자로 표시하는 디스플레이부(314)를 구비할 수도 있다.
상기 음성 인식부(320)는 상기 본체부(310)의 내부에 구비되며, 상대방의 음성에 대응하는 음성 신호를 인식한다. 이를 위해, 상기 음성 인식부(320)는 마이크로폰(Microphone)으로 구현될 수 있다.
상기 영상 처리부(330)는 상기 본체부(310)의 내부에 구비되며, 상기 본체부(310)의 외부에 구비된 카메라를 통해 촬영된 촬영 영상으로부터 복수의 연속 프레임을 추출하여 상대방의 입술 영역을 검출할 수 있다. 상기 영상 처리부(330)는 상기 입술 영역에 대한 특징 벡터를 추출하여 음성 구간을 추출할 수 있다.
상기 음성 처리부(340)는 상기 본체부(310)의 내부에 구비되며, 상기 음성 인식부(230)에 의해 인식된 음성 신호를 이용하여, 진동을 발생시키기 위한 제어 명령을 추출한다.
즉, 상기 음성 처리부(340)는 상기 음성 신호를 시간 영역에서 주파수 영역으로 푸리에 변환하여 상기 음성 신호에 관한 특징 벡터를 추출하고, 상기 음성 신호에 관한 특징 벡터를 상기 제어 명령 세트와 비교하여, 상기 제어 명령 세트로부터 상기 텍스트에 대응하는 제어 명령을 추출할 수 있다.
이때, 상기 음성 처리부(340)는 상기 음성 구간에 해당하는 음성 신호로부터 추출된 특징 벡터의 상한 특징 값과 하한 특징 값을 구하고, 그 상한 특징 값과 하한 특징 값에 기초하여, 상기 음성 구간의 시작점과 종료점을 검출할 수 있다. 상기 음성 처리부(340)는 상기 음성 구간의 시작점과 종료점 사이에 해당하는 음성 신호의 특징 벡터를 이용하여 상기 제어 명령 세트로부터 상기 제어 명령을 추출할 수 있다.
상기 진동 알림부(350)는 상기 본체부(310)의 내부에 구비되며, 상기 제어 명령에 기초하여 발생하는 소정 패턴의 진동을 알림 신호로서 출력하여 청각 장애인에게 상대방의 음성을 전달한다.
이때, 상기 진동 알림부(350)는 미리 설정된 다양한 진동 패턴 중에서, 상기 제어 명령에 해당하는 진동 패턴으로 상기 알림 신호를 출력할 수 있다. 이로써, 청각 장애인은 소정의 진동 패턴을 갖는 알림 신호를 통해 상대방의 음성을 전달받아 인지할 수 있다. 여기서, 상기 진동 패턴은 진동의 길이 및 세기를 달리 설정하여 다양하게 출력될 수 있다.
도 4는 본 발명의 일 실시예에 따른 청각 장애인을 위한 알림 시스템(이하, '알림 시스템'으로 약칭함)의 제어 방법을 설명하기 위해 도시한 흐름도이다.
도 4를 참조하면, 단계(410)에서 상기 알림 시스템은 상대방의 음성에 대응하는 음성 신호를 인식한다.
다음으로, 단계(420)에서 상기 알림 시스템은 상기 인식된 음성 신호를 시간 영역에서 주파수 영역으로 푸리에 변환하여 특징 벡터를 추출한다.
다음으로, 단계(430)에서 상기 알림 시스템은 사전에 설정된 제어 명령 세트(Set)로부터 상기 특징 벡터에 대응하는 제어 명령을 추출한다.
다음으로, 단계(440)에서 상기 알림 시스템은 상기 제어 명령에 기초하여 발생하는 소정 패턴의 진동을 알림 신호로서 출력하여 청각 장애인에게 상대방의 음성을 전달한다.
도 5는 본 발명의 다른 실시예에 따른 청각 장애인을 위한 알림 시스템의 제어 방법을 설명하기 위해 도시한 흐름도이다.
도 5를 참조하면, 단계(510)에서 상기 알림 시스템은 텍스트(Text)로 구성된 문자열 정보를 특징 벡터별로 대응되게 메모리에 미리 저장한다.
다음으로, 단계(520)에서 상기 알림 시스템은 상대방의 음성에 대응하는 음성 신호를 인식한다.
다음으로, 단계(530)에서 상기 알림 시스템은 상기 음성 신호를 시간 영역에서 주파수 영역으로 푸리에 변환하여 특징 벡터를 추출한다.
다음으로, 단계(540)에서 상기 알림 시스템은 상기 추출된 특징 벡터를 분석하여 그에 대응하는 문자열 정보를 상기 메모리로부터 추출한다.
다음으로, 단계(550)에서 상기 알림 시스템은 상기 추출된 문자열 정보를 상기 제어 명령 세트와 비교하여, 상기 제어 명령 세트로부터 상기 텍스트에 대응하는 제어 명령을 추출한다.
다음으로, 단계(560)에서 상기 알림 시스템은 상기 제어 명령에 기초하여 발생하는 소정 패턴의 진동을 알림 신호로서 출력하여 청각 장애인에게 상대방의 음성을 전달한다.
도 6은 본 발명의 또 다른 실시예에 따른 청각 장애인을 위한 알림 시스템의 제어 방법을 설명하기 위해 도시한 흐름도이다.
도 6을 참조하면, 단계(610)에서 상기 알림 시스템은 상대방의 음성에 대응하는 음성 신호를 인식한다.
다음으로, 단계(620)에서 상기 알림 시스템은 카메라를 통해 촬영된 촬영 영상으로부터 복수의 연속 프레임을 추출하여 상대방의 입술 영역을 검출한다.
다음으로, 단계(630)에서 상기 알림 시스템은 상기 입술 영역에 대한 특징 벡터(제1 특징 벡터)를 추출하여 음성 구간을 추출한다.
다음으로, 단계(640)에서 상기 알림 시스템은 상기 음성 구간에 해당하는 음성 신호로부터 추출된 특징 벡터(제2 특징 벡터)의 상한 특징 값과 하한 특징 값에 기초하여, 상기 음성 구간의 시작점과 종료점을 검출한다.
다음으로, 단계(650)에서 상기 알림 시스템은 상기 음성 구간의 시작점과 종료점 사이에 해당하는 음성 신호의 특징 벡터(제2 특징 벡터)를 이용하여 상기 제어 명령 세트로부터 상기 제어 명령을 추출한다.
다음으로, 단계(660)에서 상기 알림 시스템은 상기 제어 명령에 기초하여 발생하는 소정 패턴의 진동을 알림 신호로서 출력하여 청각 장애인에게 상대방의 음성을 전달한다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110, 210, 310: 본체부
120, 230, 320: 음성 인식부
130, 240, 340: 음성 처리부
140, 250, 350: 진동 알림부
220: 메모리 저장부
330: 영상 처리부

Claims (7)

  1. 청각 장애인의 신체 일부에 착용 가능한 형태로 형성되는 본체부;
    상기 본체부의 내부에 구비되며, 상대방의 음성에 대응하는 음성 신호를 인식하는 음성 인식부;
    상기 본체부의 내부에 구비되며, 상기 음성 신호를 시간 영역에서 주파수 영역으로 푸리에 변환하여 특징 벡터를 추출하고, 사전에 설정된 제어 명령 세트로부터 상기 특징 벡터에 대응하는 제어 명령을 추출하는 음성 처리부; 및
    상기 본체부의 내부에 구비되며, 상기 제어 명령에 기초하여 발생하는 소정 패턴의 진동을 알림 신호로서 출력하여 상기 청각 장애인에게 상기 상대방의 음성을 전달하는 진동 알림부
    를 포함하는 것을 특징으로 하는 청각 장애인을 위한 알림 시스템.

  2. 제1항에 있어서,
    상기 본체부의 내부에 구비되며, 텍스트(Text)로 구성된 문자열 정보를 특징 벡터별로 대응되게 메모리에 미리 저장하는 메모리 저장부
    를 더 포함하고,
    상기 음성 처리부는
    상기 추출된 특징 벡터를 분석하여 그에 대응하는 문자열 정보를 상기 메모리로부터 추출하고, 상기 추출된 문자열 정보를 상기 제어 명령 세트와 비교하여 상기 텍스트에 대응하는 제어 명령을 추출하는 것을 특징으로 하는 청각 장애인을 위한 알림 시스템.
  3. 제2항에 있어서,
    상기 음성 처리부는
    상기 추출된 특징 벡터의 분석 결과에 기초하여, 상기 추출된 문자열 정보를 구성하는 텍스트가 단일 문장인지 복합 문장인지 여부를 판단하고, 상기 복합 문장인 경우 상기 복합 문장에 포함된 둘 이상의 문장을 분리한 후 순서대로 정렬하여 상기 둘 이상의 문장에 대응하는 둘 이상의 제어 명령을 상기 제어 명령 세트로부터 순차적으로 추출하는 것을 특징으로 하는 청각 장애인을 위한 알림 시스템.
  4. 제2항에 있어서,
    상기 문자열 정보는
    복수의 후보 텍스트 및 상기 후보 텍스트 각각에 대한 순위를 포함하고,
    상기 음성 처리부는
    미리 학습된 데이터를 토대로 한 기계 학습 모델을 이용하여, 상기 추출된 특징 벡터의 분석 결과에 대한 상기 후보 텍스트 각각의 만족 지수를 산출하고, 상기 산출된 만족 지수에 따라 상기 후보 텍스트 각각의 순위를 재정렬하여 최상위 순위에 해당하는 후보 텍스트를 상기 제어 명령 세트와 비교함으로써 상기 최상위 순위에 해당하는 후보 텍스트에 대응하는 제어 명령을 추출하는 것을 특징으로 하는 청각 장애인을 위한 알림 시스템.
  5. 제1항에 있어서,
    상기 본체부의 내부에 구비되며, 상기 본체부의 외부에 구비된 카메라를 통해 촬영된 촬영 영상으로부터 복수의 연속 프레임을 추출하여 상기 상대방의 입술 영역을 검출하고, 상기 입술 영역에 대한 특징 벡터를 추출하여 음성 구간을 추출하는 영상 처리부
    를 더 포함하고,
    상기 음성 처리부는
    상기 음성 신호 중 상기 음성 구간에 해당하는 음성 신호로부터 추출된 특징 벡터의 상한 특징 값과 하한 특징 값에 기초하여, 상기 음성 구간의 시작점과 종료점을 검출하고, 상기 음성 구간의 시작점과 종료점 사이에 해당하는 음성 신호의 특징 벡터를 이용하여 상기 제어 명령 세트로부터 상기 제어 명령을 추출하는 것을 특징으로 하는 청각 장애인을 위한 알림 시스템.
  6. 제1항에 있어서,
    상기 음성 처리부는
    상기 특징 벡터에 포함된 특징 비트와 클래스 비트 중에서 감정 상태를 나타내는 상기 클래스 비트에 유전자 알고리즘(GA)을 적용하여, 상기 클래스 비트를 구성하는 비트 중 선택된 비트와 선택되지 않은 비트를 제1 및 제2 그룹으로 구분하여 최적 해를 결정하고, 상기 최적 해를 이용하여 상기 상대방의 감정 정보를 생성하여 상기 제어 명령에 포함시키는 것을 특징으로 하는 청각 장애인을 위한 알림 시스템.
  7. 제1항에 있어서,
    상기 음성 처리부는
    상기 특징 벡터를 은닉 마르코프 모델(HMM)을 기반으로 생성된 음향 모델 데이터와 비교하여, 상기 음향 모델 데이터로부터 상기 특징 벡터에 대응하는 감정 정보를 추출하고, 상기 추출된 감정 정보를 상기 제어 명령에 포함시키는 것을 특징으로 하는 청각 장애인을 위한 알림 시스템.
KR1020160011993A 2016-01-29 2016-01-29 청각 장애인을 위한 알림 시스템 KR20170090956A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160011993A KR20170090956A (ko) 2016-01-29 2016-01-29 청각 장애인을 위한 알림 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160011993A KR20170090956A (ko) 2016-01-29 2016-01-29 청각 장애인을 위한 알림 시스템

Publications (1)

Publication Number Publication Date
KR20170090956A true KR20170090956A (ko) 2017-08-08

Family

ID=59653056

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160011993A KR20170090956A (ko) 2016-01-29 2016-01-29 청각 장애인을 위한 알림 시스템

Country Status (1)

Country Link
KR (1) KR20170090956A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933228A (zh) * 2019-11-28 2020-03-27 江苏紫米电子技术有限公司 一种闹钟设置方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933228A (zh) * 2019-11-28 2020-03-27 江苏紫米电子技术有限公司 一种闹钟设置方法、电子设备及存储介质
CN110933228B (zh) * 2019-11-28 2021-04-20 江苏紫米电子技术有限公司 一种闹钟设置方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10276164B2 (en) Multi-speaker speech recognition correction system
US10621968B2 (en) Method and apparatus to synthesize voice based on facial structures
US8762144B2 (en) Method and apparatus for voice activity detection
JP4786384B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP6654611B2 (ja) 成長型対話装置
US20190355352A1 (en) Voice and conversation recognition system
KR20200111853A (ko) 전자 장치 및 전자 장치의 음성 인식 제어 방법
EP2393082A2 (en) System and method of multi model adaptation and voice recognition
JP2018072650A (ja) 音声対話装置及び音声対話方法
WO2020044543A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20190032557A (ko) 음성 기반 통신
KR20170090956A (ko) 청각 장애인을 위한 알림 시스템
JP2017198790A (ja) 音声評定装置、音声評定方法、教師変化情報の生産方法、およびプログラム
JP4296290B2 (ja) 音声認識装置、音声認識方法及びプログラム
JP5818753B2 (ja) 音声対話システム及び音声対話方法
JP6696878B2 (ja) 音声処理装置、ウェアラブル端末、携帯端末、および音声処理方法
US12142279B2 (en) Speech processing device, speech processing method, and recording medium
CN106971734B (zh) 一种可根据模型的提取频率训练识别模型的方法及系统
KR102300303B1 (ko) 발음 변이를 적용시킨 음성 인식 방법
KR101737083B1 (ko) 음성 활동 감지 방법 및 장치
CN113112996A (zh) 用于基于语音的音频和文本对齐的系统和方法
JP2005283646A (ja) 音声認識率推定装置
KR101830210B1 (ko) 적어도 하나의 의미론적 유닛의 집합을 개선하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US20210064640A1 (en) Information processing apparatus and information processing method
WO2019030810A1 (ja) 音声認識装置および音声認識方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160129

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170621

Patent event code: PE09021S01D

PG1501 Laying open of application
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20171219

Patent event code: PE09021S02D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180402

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20171219

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20170621

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I