RU2691864C1 - Телекоммуникационный комплекс - Google Patents
Телекоммуникационный комплекс Download PDFInfo
- Publication number
- RU2691864C1 RU2691864C1 RU2018121852A RU2018121852A RU2691864C1 RU 2691864 C1 RU2691864 C1 RU 2691864C1 RU 2018121852 A RU2018121852 A RU 2018121852A RU 2018121852 A RU2018121852 A RU 2018121852A RU 2691864 C1 RU2691864 C1 RU 2691864C1
- Authority
- RU
- Russia
- Prior art keywords
- hearing
- speech
- people
- person
- communication
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims abstract description 29
- 230000007547 defect Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 12
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 230000005236 sound signal Effects 0.000 claims description 6
- 208000016354 hearing loss disease Diseases 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000006735 deficit Effects 0.000 claims description 2
- 230000008921 facial expression Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 206010011878 Deafness Diseases 0.000 description 11
- 208000032041 Hearing impaired Diseases 0.000 description 11
- 238000000034 method Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W8/00—Network data management
- H04W8/18—Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/12—Messaging; Mailboxes; Announcements
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Abstract
Изобретение относится к области вычислительной техники для обработки и передачи данных с корректировкой орфографических ошибок. Технический результат заключается в расширении коммуникативной функции языка общения людей с дефектами слуха и речи с говорящим и слышащим человеком за счет увеличения объема передаваемой информации. Технический результат достигается за счет телекоммуникационного комплекса, содержащего устройства для общения людей с дефектом слуха и/или речи с говорящим и слышащим человеком по беспроводной связи с возможностью отправки с одного устройства на другое текстовых сообщений с обратной связью в режиме реального времени, встроенного синтезатора речи, клавиатуры с подтверждением входящих сообщений вибрацией устройств, персонального компьютера, снабженного программой проверки орфографии вводимого текста, видеокамеры с микрофоном, проектора, интерактивной доски, видеотелефонного средства связи в виде смартфона или персонального компьютера. 1 з.п. ф-лы, 1 ил.
Description
Изобретение относится к области обработки и передачи данных с корректировкой орфографических ошибок с помощью пособий для общения людей с дефектами слуха и речи с говорящим и слышащим человеком и может быть использовано в образовательном процессе дистанционного обучения студентов с дефектами слуха и речи в режиме реального времени.
Известен комплекс «Interpretype» (www.interpretype.com) для общения глухих людей со слышащими, представляющий собой два устройства, предназначенных для обмена текстовыми сообщениями.
Известен комплекс «UbiDuo» (www.scomm.com), состоящий из двух механически соединенных устройств. После разъединения устройств одно из устройств передается слышащему человеку, второе находится у глухого человека. Затем устанавливается соединение между устройствами с помощью беспроводной связи. Далее происходит обмен текстовыми сообщениями между глухим и слышащим, ввод сообщений производится встроенной в каждое устройство физической клавиатурой, вывод сообщений производится на дисплеи устройств.
Известен способ общения глухих (слабослышащих) со слышащими, включающий получение информации с характерных жестикуляций пальцев рук и\или мимических движений частей лица (губ, носа, переносицы, глаз) с помощью мини-видеокамеры в виде аудио- и видеосигналов, и передачу ее на персональный компьютер слышащего, которые затем синтезируют с аудио- и видеосигналами и преобразовывают с помощью программного обеспечения телекоммуникационного устройства в текстовый формат и выводят его на экран смартфона и/или персонального компьютера. Для этого слабослышащий набирает информацию в текстовом формате, которую корректируют в соответствии с правилами языка с помощью специального программного обеспечения телекоммуникационного устройства, и отправляет ее на экран в окно обмена сообщений (чат) через беспроводные/ проводные виды связи для считывания слышащим. Причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, наряду с чем весь диалог отображают на экранах в режиме реального времени. Заявка №2016139836 А на изобретение «Способ общения глухих (слабослышащих) со слышащими». - МПК: G06F 17/28, G09B 21/00, G10L 15/26, G10L 21/06. - 10.04.2018).
Наиболее близким аналогом, выбранным в качестве прототипа, является программно-аппаратный комплекс для общения слабослышащих, глухих, глухонемых, немых людей со слышащими говорящими людьми, содержащий два устройства, соединенные между собой беспроводной связью, с возможностью отправки с устройства на устройство текстовых сообщений. Устройства выполнены с возможностью синтезирования речи и проговаривания текстовых сообщений первым из устройств, голосового набора сообщений вторым из устройств, и ввода сообщений с помощью встроенной виртуальной клавиатуры в каждом из устройств с подтверждением входящих сообщений вибрацией устройств. Устройства закреплены на общей платформе с возможностью вращения устройств относительно друг друга, снятия с платформы каждого из устройств, разъединения частей платформы вместе с устройствами или использования устройств независимо от платформы. (Патент RU №123556 U1 на полезную модель. Программно-аппаратный комплекс для расширения возможностей общения слабослышащих, глухих, глухонемых, немых людей со слышащими говорящими людьми. - МПК: G06F 17/20. - 27.12.2012).
Недостатком данного технического решения является ограниченность общения слабослышащих и глухих людей со слышащими, заключающееся в искажении смыслового содержания предложений при переводе на язык жестов и мимики из-за недостаточности коммуникативной функции языка, что не позволяет вести качественный диалог в образовательном процессе и общении со слабослышащими и глухими людьми.
Основной задачей изобретения является повышение качества общения людей с дефектами слуха и речи со слышащими и говорящими людьми в процессе обучения в режиме реального времени путем увеличения объема передаваемой информации за счет расширения коммуникативной функции языка общения.
Техническим результатом заявляемого технического решения является расширение коммуникативной функции языка общения людей с дефектами слуха и речи с говорящим и слышащим человеком за счет увеличения объема передаваемой информации.
Указанный технический результат достигается тем, что в телекоммуникационном комплексе, содержащем устройства приема\передачи информации для общения людей с дефектом слуха и/или речи с говорящим и слышащим человеком по телекоммуникационной связи с возможностью отправки с одного устройства на другое текстовых сообщений с обратной связью в режиме реального времени, встроенный в устройство для человека с дефектом слуха и/или речи синтезатор речи для преобразования речи в текст с помощью специальных сервисов распознавания речи или встроенным программным обеспечением, а также ввода текстовых сообщений в каждое из устройств встроенной в них клавиатурой с подтверждением вибрацией устройств для тактильного восприятия входящих сообщений, согласно предложенному техническому решению,
устройство приема\передачи информации для говорящего и слышащего человека включает персональный компьютер, снабженный программным обеспечением для проверки орфографии вводимого текста, и видеокамеру с микрофоном для считывания информации с характерных жестикуляций пальцев рук и/или мимических движений частей лица (губ, носа, переносицы, глаз) и дублирования проговариваемых текстовых сообщений в виде картины, сопровождаемой субтитрами, проектор и интерактивную доску, снабженную звуковыми колонками, соединенные локальной проводной связью, а устройство для человека с дефектом слуха и/или речи содержит видеотелефонное средство связи в виде смартфона или персонального компьютера с возможностью использования в них функции выделения и повтора определенной картины проговаривания или всего диалога общения и дополнительного оповещения человека с дефектом слуха о получении информации световым сигналом, а слышащего - звуковым сигналом;
он содержит несколько видеотелефонных средств связи для людей с дефектом слуха и/или речи, связанных телекоммуникационной сетью с устройством приема\передачи информации говорящим и слышащим человеком, причем второе устройство включает программное обеспечение для сортировки очередности входящей информации при одновременном поступлении сигналов от людей с дефектом слуха и/или речи.
Проведенный заявителем анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностями признаков, тождественных всем признакам заявленного телекоммуникационного комплекса, отсутствуют. Следовательно, заявленное техническое решение соответствует условию патентоспособности «новизна».
Результаты поиска известных решений в данной области техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявляемого технического решения, показали, что они не следуют явным образом из уровня техники. Из определенного заявителем уровня техники не выявлена известность влияния предусматриваемых существенными признаками заявляемого технического решения преобразований на достижение указанного технического результата. Следовательно, заявляемое техническое решение соответствуют условию патентоспособности «изобретательский уровень».
Заявленное техническое решение может быть реализовано для ведения обучения студентов в образовательном процессе. Следовательно, заявляемые технические решения соответствуют условию патентоспособности «промышленная применимость».
На приведенной фигуре показана схема телекоммуникационного комплекса для общения людей с дефектами слуха и речи с говорящим и слышащим человеком.
Сущность заявленного телекоммуникационного комплекса заключается в следующем.
Телекоммуникационный комплекс содержит одно или несколько (n) устройств 1 приема\передачи информации для людей с дефектом слуха и/или речи и одно устройство 2 приема\передачи информации говорящим и слышащим человеком, связанные телекоммуникационной сетью 3 с возможностью отправки с одного устройства на другое текстовых сообщений с обратной связью в режиме реального времени, видеокамеру 4 для считывания информации с характерных жестикуляций пальцев рук и/или мимических движений частей лица (губ, носа, переносицы, глаз) и дублирования проговариваемых текстовых сообщений в виде картины, сопровождаемой субтитрами, микрофон 5, проектор 6 и интерактивную доску 7, снабженную звуковыми колонками 8, соединенные локальной проводной связью 9. Каждое из устройств 1 для людей с дефектом слуха и/или речи содержит видеотелефонное средство связи, выполненное в виде смартфона или персонального компьютера, с возможностью использования в них функции выделения и повтора определенной картины проговаривания или всего диалога общения и дополнительного оповещения человека с дефектом слуха о получении информации световым сигналом. В каждое из устройств 1 встроен синтезатор речи (условно не показан) для преобразования речи в текст с помощью специальных сервисов распознавания речи или встроенным программным обеспечением, а также клавиатура для ввода исходящих текстовых сообщений из каждого из устройств 1 с функцией подтверждения входящих сообщений вибрацией устройства 1 для тактильного их восприятия. Устройство 2 приема\передачи информации говорящим и слышащим человеком включает персональный компьютер 10, с возможностью проверки орфографии вводимого текста, с возможностью использования в них функции выделения и повтора определенной картины проговаривания или всего диалога общения, сортировки очередности входящей информации при одновременном поступлении сигналов от людей с дефектом слуха и/или речи и дополнительного оповещения слышащего человека звуковым сигналом.
Телекоммуникационный комплекс работает следующим образом.
Преподаватель по микрофону 5 произносит речь, которую фиксирует мини-видеокамера 4, закрепленные на его теле. При этом микрофоном 5 фиксируют аудио сигнал, а мини-видеокамерой 4 считывают информацию с характерных жестикуляций пальцев рук и/или мимических движений частей лица (губ, носа, переносицы, глаз) и передают их на персональный компьютер 10 преподавателя. С помощью программы RealSpeaker жестикуляции пальцев рук и мимические движения частей лица (губ, носа, переносицы, глаз) синтезируют с аудио- и видеосигналами и преобразовывают их с помощью программного обеспечения 11 устройства 2 говорящего и слышащего человека в текстовый формат, который в виде картины с субтитрами в режиме реального времени по локальной проводной связи 9 выводят на одно из диалоговых окон интерактивной доски 7 и по телекоммуникационной сети 3 на видеотелефон смартфона или персонального компьютера студентов с дефектами речи и слуха. Информация от студентов с дефектами слуха и речи с помощью клавиатуры, встроенной в каждое из устройств 1, поступившая на персональный компьютер (смартфон) студента в виде текста, с помощью программного обеспечения корректируется в соответствии с правилами языка. Далее студент по телекоммуникационной сети 3 отправляет информацию на персональный компьютер 10 преподавателя, которую с помощью проектора 6 отображают на экране компьютера 10 преподавателя и интерактивной доске 7 в окне обмена сообщениями (чате), снабженную звуковыми колонками 8. При одновременном поступлении сигналов от нескольких студентов с ограниченными возможностями здоровья по слуху благодаря специальному программному обеспечению 11 их сортируют в порядке очередности. С помощью функции оповещения смартфонов или персональных компьютеров, как студентов, так и преподавателя, уведомляют о поступлении сообщения в чат, причем студента с дефектом слуха и речи оповещают о получении информации вибро- и световым сигналами, а слышащего - звуковым сигналом. При необходимости пояснения интересующей области сообщения, студент с дефектом речи и слуха использует функцию выделения и повтора всей картины или всего диалога общения на смартфоне или персональном компьютере в режиме реального времени.
Предлагаемое изобретение позволяет более качественно общаться людям с дефектами слуха и речи с говорящим и слышащим человеком, как в обычной жизни, так и в процессе образовательного процесса в режиме реального времени, путем ведения диалога в текстовом формате и картины проговаривания без искажения и сокращения смыслового содержания информации за счет расширения коммуникативной функции языка общения.
Claims (2)
1. Телекоммуникационный комплекс, содержащий устройства для общения людей с дефектом слуха и/или речи с говорящим и слышащим человеком по беспроводной связи с возможностью отправки с одного устройства на другое текстовых сообщений с обратной связью в режиме реального времени, встроенный синтезатор речи для проговаривания текстовых сообщений устройством для человека с дефектом слуха и/или речи синтезированным голосом и преобразования речи в текст голосовым набором сообщений от устройства для говорящего и слышащего человека посредством программного обеспечения, а также ввода сообщений в каждое из устройств с помощью встроенной в них клавиатуры с подтверждением входящих сообщений вибрацией устройств, отличающийся тем, что устройство для говорящего и слышащего человека дополнительно включает персональный компьютер, снабженный программой проверки орфографии вводимого текста, и видеокамеру с микрофоном для считывания информации с характерных движений пальцев рук и/или мимики частей лица и дублирования проговариваемых текстовых сообщений в виде картины с субтитрами, проектор и интерактивную доску, соединенные локальной проводной связью, а устройство для человека с дефектом слуха и/или речи содержит видеотелефонное средство связи в виде смартфона или персонального компьютера с возможностью использования в них функции выделения и повтора определенной картины проговаривания или всего диалога общения и дополнительного оповещения человека с дефектом слуха о получении информации световым сигналом, а слышащего - звуковым сигналом.
2. Телекоммуникационный комплекс по п. 1, отличающийся тем, что содержит несколько видеотелефонных средств связи для людей с дефектом слуха и/или речи, связанных телекоммуникационной сетью с устройством для говорящего и слышащего человека, причем второе устройство включает программное обеспечение для сортировки очередности входящей информации при одновременном поступлении сигналов от людей с дефектом слуха и/или речи.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018121852A RU2691864C1 (ru) | 2018-06-13 | 2018-06-13 | Телекоммуникационный комплекс |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018121852A RU2691864C1 (ru) | 2018-06-13 | 2018-06-13 | Телекоммуникационный комплекс |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2691864C1 true RU2691864C1 (ru) | 2019-06-18 |
Family
ID=66947756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018121852A RU2691864C1 (ru) | 2018-06-13 | 2018-06-13 | Телекоммуникационный комплекс |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2691864C1 (ru) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5982853A (en) * | 1995-03-01 | 1999-11-09 | Liebermann; Raanan | Telephone for the deaf and method of using same |
| US6240392B1 (en) * | 1996-08-29 | 2001-05-29 | Hanan Butnaru | Communication device and method for deaf and mute persons |
| US20020069069A1 (en) * | 2000-12-01 | 2002-06-06 | Dimitri Kanevsky | System and method of teleconferencing with the deaf or hearing-impaired |
| US20100231556A1 (en) * | 2009-03-10 | 2010-09-16 | Tandberg Telecom As | Device, system, and computer-readable medium for an interactive whiteboard system |
| RU123566U1 (ru) * | 2012-06-15 | 2012-12-27 | Вячеслав Николаевич Дианов | Охранная система аэропорта повышенной надежности |
| US20130339025A1 (en) * | 2011-05-03 | 2013-12-19 | Suhami Associates Ltd. | Social network with enhanced audio communications for the Hearing impaired |
-
2018
- 2018-06-13 RU RU2018121852A patent/RU2691864C1/ru not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5982853A (en) * | 1995-03-01 | 1999-11-09 | Liebermann; Raanan | Telephone for the deaf and method of using same |
| US6240392B1 (en) * | 1996-08-29 | 2001-05-29 | Hanan Butnaru | Communication device and method for deaf and mute persons |
| US20020069069A1 (en) * | 2000-12-01 | 2002-06-06 | Dimitri Kanevsky | System and method of teleconferencing with the deaf or hearing-impaired |
| US20100231556A1 (en) * | 2009-03-10 | 2010-09-16 | Tandberg Telecom As | Device, system, and computer-readable medium for an interactive whiteboard system |
| US20130339025A1 (en) * | 2011-05-03 | 2013-12-19 | Suhami Associates Ltd. | Social network with enhanced audio communications for the Hearing impaired |
| RU123566U1 (ru) * | 2012-06-15 | 2012-12-27 | Вячеслав Николаевич Дианов | Охранная система аэропорта повышенной надежности |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10885318B2 (en) | Performing artificial intelligence sign language translation services in a video relay service environment | |
| US9111545B2 (en) | Hand-held communication aid for individuals with auditory, speech and visual impairments | |
| CN108702580A (zh) | 具有自动语音转录的听力辅助 | |
| JP2005513619A (ja) | リアルタイム翻訳機および多数の口語言語のリアルタイム翻訳を行う方法 | |
| Millett | Accuracy of Speech-to-Text Captioning for Students Who are Deaf or Hard of Hearing. | |
| Glasser et al. | Deaf, hard of hearing, and hearing perspectives on using automatic speech recognition in conversation | |
| Samonte et al. | BridgeApp: An assistive mobile communication application for the deaf and mute | |
| JP2020181022A (ja) | 会議支援装置、会議支援システム、および会議支援プログラム | |
| Pragt et al. | Preliminary evaluation of automated speech recognition apps for the hearing impaired and deaf | |
| US20240233745A1 (en) | Performing artificial intelligence sign language translation services in a video relay service environment | |
| RU2691864C1 (ru) | Телекоммуникационный комплекс | |
| Wald | Hearing disability and technology | |
| Hanson | Computing technologies for deaf and hard of hearing users | |
| JP6172770B2 (ja) | 要約筆記支援システム、情報配信装置、要約筆記支援方法、及びプログラム | |
| US11848026B2 (en) | Performing artificial intelligence sign language translation services in a video relay service environment | |
| RU2660600C2 (ru) | Способ общения глухих (слабослышащих) со слышащими | |
| CN113973095A (zh) | 发音教学方法 | |
| Soetemans et al. | When (Shared) Space and Time Don’t Matter. Remote Video-Mediated (Synchronous and Asynchronous) Communication in Flemish Sign Language. | |
| CN112309183A (zh) | 适用于外语教学的交互式听说练习系统 | |
| KR20170056942A (ko) | 청각장애인을 위한 음성인식 및 보청지원이 가능한 회의 관리 방법 및 시스템 | |
| Chaikaew et al. | Mobile Application for Thai Sign language | |
| TWI719699B (zh) | 人工智慧輔助說好話的方法 | |
| JP2002244542A (ja) | 教育システム、受講者用端末装置、教師用端末装置、データ通信による遠隔教育方法、及び教育システムプログラムが格納された記憶媒体 | |
| JP2020119043A (ja) | 音声翻訳システムおよび音声翻訳方法 | |
| Hanson | Computing technologies for deaf and hard of hearing users |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200614 |