RU42905U1 - Система для обнаружения эмоций - Google Patents

Abstract

Полезная модель относится к устройствам обработки данных, предназначенных для специфических функций, а именно к системам цифровой обработки голосовых данных для определения рефлекторных реакций в ответ на вербальное воздействие, и может быть использована в сфере телекоммуникаций, развлечений, медицине, в средствах массовой информации. Предлагаемая система для обнаружения эмоций содержит средство ввода, выполненное с возможностью ввода голосовых данных индивидуума и/или ввода мультимедийных данных, анализатор голоса, выполненный с возможностью обнаружения эмоций путем обработки голосовых данных индивидуума, преобразованных в цифровую форму, и включающий средство генерирования данных уровня эмоционального состояния, выполненное с возможностью представления пользователю сгенерированных данных через средство воспроизведения. Новым является то, что средство генерирования выполнено с возможностью изменения голосовых данных и/или данных видеоизображения в зависимости от уровня обнаруженных эмоций, при этом средство воспроизведения выполнено с возможностью воспроизведения голосовых данных и/или данных видеоизображения с характеристиками, измененными средством генерирования. Т.о. пользователь воспринимает информацию об обнаруженных эмоциях непосредственно вместе с голосовыми данными или видеоизображением индивидуума, к которому они относятся и не будет отвлекаться на другие объекты, например анимационные картинки, как по известным техническим решениям, что позволяет упростить как саму систему, так и анализ эмоционального состояния при ее использовании даже при быстром темпе подачи голосовых данных.

Description

Полезная модель относится к устройствам обработки данных, предназначенных для специфических функций, а именно к системам цифровой обработки голосовых данных для определения рефлекторных реакций в ответ на вербальное воздействие, и может быть использована в сфере телекоммуникаций, развлечений, медицине, в средствах массовой информации.

Известны различные системы и способы видеоконференций в компьютерных сетях, когда мультимедийные данные передаются по телекоммуникационной сети и включают в себя, по меньшей мере, данные изображений абонентов, голосовые и/или текстовые данные абонентов (например, патент US 5488686, опубл. 30.01.1996). Такие системы обработки данных не отражают рефлекторные реакции абонентов.

Известна система видеоконференций, содержащая абонентские станции видеоконференции, которые соединены друг с другом через телекоммуникационную сеть и включают в себя коммуникационный блок, устройство воспроизведения для одновременного визуального представления данных изображений абонентов и модуль выдачи тональных данных для воспроизведения тональных данных абонентов, а также модуль ввода данных изображений для сбора данных изображений абонентов и модуль ввода тональных данных для сбора тональных данных абонентов (WO 01/84838, опубл. 08.11.2001). Абонентские станции видеоконференции содержат систему слежения за положением глаз, посредством которой регистрируется направление наблюдения абонента и посредством которой данные слежения за положением глаз передаются в коммуникационный блок, при этом система видеоконференции содержит средства, которые передают с полным разрешением и скоростью передачи изображений по телекоммуникационной сети на коммуникационный блок абонентской станции видеоконференции данные изображения того абонента, данные изображения которого воспроизводятся на устройстве воспроизведения абонентской станции в текущем направлении взгляда абонента этой абонентской станции, в то время как данные изображений остальных абонентов передаются с пониженным разрешением и/или с пониженной скоростью передачи изображений. Такая система отражает только факт внимания или невнимания абонента к видеоконференции.

Известен способ телекоммуникаций в компьютерных сетях, включающий в себя

обмен текстовой, звуковой и видеоинформацией между пользователями, связанными сетью и представляемыми масками на экране компьютера (патент RU 2218593, опубл. 10.12.2003). Видеоинформацию представляют посредством экранного объекта с изменяемыми формой, структурой, цветом и пространственной ориентацией по меньшей мере одной из его частей, управляемых поведением пользователя и позволяющих идентифицировать пользователя, управляющего поведением этого экранного объекта по характерным признакам и манерам. Однако, при этом не отражается объективная рефлекторная реакция пользователей при обмене информацией.

Известны устройства для определения рефлекторных реакций по голосу, например стресс-детекторы по голосу. Принцип работы таких устройств основан на существенном различии в характере изменений динамических характеристик голоса при ответе испытуемого на релевантный и иррелевантный вопросы. При работе известных устройств осуществляется регистрация, обработка и представление в удобном виде изменения динамических характеристик голоса (например, патент US 3971034, опубл. 20.07.1976). Анализ выведенных динамических характеристик требует относительно высокой квалификации, при этом затруднено проведение такого анализ непосредственно во время общения.

Известна система обнаружения эмоций субъекта, содержащая блок ввода голоса, блоки обнаружения интенсивности, темпа и интонации голоса, блок обнаружения величин изменения этих характеристик, и блок обнаружения эмоций для выдачи сигналов, выражающих эмоциональные состояния по меньшей мере гнева, печали и удовольствия, на основе указанных величин изменения характеристик (WO 02/23524, опубл. 21.03.2002). Система требует дополнительной проработки для встраивания ее в телекоммуникационные системы и устройства.

Известно устройство для обнаружения эмоций (WO 99/31653, опубл. 24.06.1999). Устройство включает анализатор голоса, на вход которого подают образец речи, произведенный индивидуумом, и с которого получают информацию об интонации голоса, а также генератор эмоций, для генерации на его выходе данных об эмоциональном состоянии индивидуума, в частности о честности или нечестности индивидуума, основанных на информации об интонации голоса. Данное устройство может использоваться автономно, так и встраиваться в сети. Однако, анализ выводимых данных требует относительно

высокой квалификации, при этом затруднено проведение такого анализ непосредственно во время общения, особенно если общение ведется в быстром темпе.

В качестве прототипа выбрано устройство для обнаружения эмоций, подобное вышеописанному, того же изобретателя (WO 00/62279, опубл. 19.10.2000). Устройство содержит анализатор голоса, на вход которого подают образец речи, включающий аналого-цифровой конвертер для преобразования звуков голоса в цифровую форму, а также универсальный генератор эмоций для определения практически любого вида эмоций. Аналого-цифровой конвертер может использовать любой вид источника голосовых данных, при этом на вход анализатора могут подаваться голосовые данные от телефона или с телефонной линии, с микрофона, через телекоммуникационную сеть, например через Интеренет. Уровень эмоционального состояния выводится пользователю с помощью экрана, текстового дисплея, графического дисплея и/или звукового сообщения. Эмоциональное состояние говорящего, в частности его честность или нечестность, представляется, в частности, в виде визуальной индикации уровня конкретных эмоций в процентах с предоставлением отчета в конце прослушивания, или в виде генерируемого анимированного изображения, например цветка с лепестками, по уменьшению или увеличению числа которых можно судить об уровне эмоций непосредственно во время прослушивания или просмотра видеоматериалов (см. например, сайты www.v-entertainment.com, www.nemesysco.com, подробно описывающие продукцию по данному техническому решению). Устройство позволяет определить широкую гамму эмоциональных состояний, однако устройству присущи те же недостатки, которые отмечены для предыдущего технического решения. Кроме того, известное техническое решение предполагает оснащение устройства пользователя специфическими программно-аппаратными средствами, что увеличивает стоимость отдельного устройства или стоимость модернизации имеющегося устройства, например персонального компьютера.

Решаемая техническая задача - упрощение системы для обнаружения эмоций по голосу, а также анализа эмоционального состояния при ее использовании.

Предлагается система для обнаружения эмоций, содержащая средство ввода, выполненное с возможностью ввода голосовых данных индивидуума и/или ввода мультимедийных данных, включающих по крайней мере голосовые данные индивидуума вместе с данными видеоизображения индивидуума или видеоизображения индивидуума вместе с объектами обстановки вблизи этого индивидуума, анализатор голоса, выполненный с возможностью обнаружения эмоций путем обработки голосовых данных индивидуума,

преобразованных в цифровую форму, и включающий средство генерирования для генерирования данных уровня эмоционального состояния, выполненное с возможностью представления пользователю сгенерированных данных уровня эмоционального состояния через средство воспроизведения. Новым является то, что средство генерирования выполнено с возможностью изменения голосовых данных и/или данных видеоизображения в зависимости от уровня обнаруженных эмоций, при этом средство воспроизведения выполнено с возможностью воспроизведения голосовых данных и/или данных видеоизображения с характеристиками, измененными средством генерирования. Т.о. пользователь воспринимает информацию об обнаруженных эмоциях непосредственно вместе с голосовыми данными или видеоизображением индивидуума, к которому они относятся и не будет отвлекаться на другие объекты, например анимационные картинки, как по известным техническим решениям, что позволяет упростить как саму систему, так и анализ эмоционального состояния при ее использовании даже при быстром темпе подачи голосовых данных.

Средство ввода может включать аналого-цифровой преобразователь для преобразования в цифровую форму по крайней мере голосовых данных, например звуковую карту.

Анализатор голоса может быть выполнен с возможностью обнаружения эмоций по характеристикам голосовых данных, выбранных из группы: интонация, интенсивность, темп.

Анализатор голоса выполнен с возможностью обнаружения эмоций, соответствующих честности или нечестности индивидуума. При этом средство генерирования может быть выполнено с возможностью изменения характеристик голосовых данных и/или данных видеоизображения в случае обнаружения эмоций, соответствующих нечестности индивидуума. Это дополнительно упрощает анализ.

Средство воспроизведения выполнено с возможностью воспроизведения голосовых данных в звуковой форме, например с помощью громкоговорителя, наушников и т.п. При этом средство генерирования лучше выполнять с возможностью изменения амплитудно-частотных характеристик голосовых данных, например путем изменения тембра и/или высоты звуков голосовых данных, что сразу позволяет определить эмоциональное состояние индивидуума.

Система может дополнительно содержать средство преобразования для преобразования голосовых данных в текстовую форму, при этом средство воспроизведения

выполняют с возможностью воспроизведения голосовых данных в текстовой форме любым известным способом. При этом средство генерирования лучше выполнять с возможностью изменения формы и/или цвета и/или яркости и/или контрастности и/или частоты появления текста голосовых данных, воспроизводимого средством воспроизведения.

Средство воспроизведения может быть выполнено с возможностью воспроизведения данных видеоизображения индивидуума или видеоизображения индивидуума вместе с объектами обстановки вблизи этого индивидуума, т.е. это может быть любой известный дисплей. При этом средство генерирования лучше выполнять с возможностью изменения формы и/или цвета и/или яркости и/или контрастности и/или частоты появления видеоизображения индивидуума и/или объектов обстановки вблизи индивидуума, воспроизводимых средством воспроизведения.

Система может быть выполнена с возможностью записи и хранения по крайней мере голосовых данных и/или данных видеоизображения с характеристиками, измененными средством генерирования. Запись может производиться на любой известный материальный носитель: жесткий диск, CD, DVD, FD, аудиокассету, видеокассету и т.п.

Система может быть интегрирована в состав одного устройства, например в состав персонального компьютера, ноутбука, телефонного аппарата, мобильного телефона, видеокамеры.

Система может входить в состав телекоммуникационной сети, например в сеть телефонной связи, сеть мобильной телефонной связи, в локальную или компьютерную сеть.

Когда система входит в состав сети телефонной связи, анализатор голоса со средством генерирования могут быть включены в состав телефонной или передающей станции, при этом телефонный аппарат или мобильный телефон пользователя включает в себя по крайней мере средство воспроизведения.

Когда система входит в состав компьютерной сети (локальной или глобальной, например Интернет), анализатор голоса со средством генерирования могут быть включены в состав сервера компьютерной сети, при этом удаленное устройство пользователя включает в себя по крайней мере средство воспроизведения.

Полезная модель поясняется чертежом, на котором приведена принципиальная схема частного случая осуществления заявляемой системы с использованием персонального компьютера.

Полезная модель поясняется на примере выполнения системы для обнаружения эмоций. Сплошной линией со стрелками показаны возможные пути соединения портов персонального компьютера с периферийньми устройствами.

Рабочее место пользователя заявляемой системы включает IBM-совместимый персональный компьютер, в частности снабженный системным блоком 1 с дисководами 2 (CD, DVD, FD), монитором 3, колонками 4, микрофоном 5, цифровой мини видеокамерой 6. С помощью системы портов с соответствующими картами и модемом (не показаны), персональный компьютер может быть соединен с локальной компьютерной сетью, сетью Интернет, телефонной сетью, с мобильным телефоном 7, автономной видеокамерой 8 и другими периферийными устройствами. Аппаратно-программные средства персонального компьютера обеспечивают ввод голосовых данных и/или ввода мультимедийных данных, включающих голосовые данные индивидуума вместе с данными видеоизображения индивидуума или видеоизображения индивидуума вместе с объектами обстановки вблизи этого индивидуума, а также обнаруживать эмоции индивидуума путем обработки голосовых данных индивидуума, преобразованных в цифровую форму, с последующим генерированием данных уровня эмоционального состояния и представлением их пользователю, например с помощью устройств 3 и/или 4, а также с помощью других периферийных устройств, имеющих возможность вывода графической, текстовой или звуковой информации. При этом обработки голосовых данных для вышеуказанных целей может производиться любым известным способом с определенной степенью достоверности (например, раскрытых в следующих источниках: WO 99/31653, опубл. 24.06.1999; WO 00/62279, опубл. 19.10.2000; WO 02/23524. опубл. 21.03.2002).

Возможны следующие варианты работы системы.

Мультимедийные данные, включающие видеозапись индивидуума со звуком его голоса (т.е. с голосовыми данными), загружают в систему следующим образом:

а) с материального носителя, например в виде диска CD или DVD - с помощью дисковода 2;

б) из локальной компьютерной сети - с помощью сетевой карты системного блока 2;

в) из сети Интернет, например в режиме телеконференции с удаленным индивидуум, персональный компьютер которого также оснащен цифровой мини видеокамерой и микрофоном - с помощью модема, карты радио доступа, через мобильный телефон 7,

имеющий возможность связи с системным блоком (проводная, радио-, инфракрасная и т.п.);

г) с мобильного телефона 7 и видеокамеры 8 - с помощью устройств проводной, радио", инфракрасной связи;

д) непосредственно с помощью мини видеокамеры 6 и микрофона 5 при расположении индивидуума, в частности самого пользователя, перед ними.

Голосовые данные, помимо описанных выше способов, могут быть загружены с телефонной сети с помощью соответствующих устройств ввода, включающих звуковую карту, для преобразования их в цифровую форму.

Голосовые данные обрабатываются анализатором голоса, входящим в аппаратно-программные средства системного блока 1, а результаты об уровне эмоционального состояния индивидуума, в простейшем случае о честности иди нечестности индивидуума, выводятся пользователю в одном из следующих видов или их сочетаний:

а) с помощью колонок 4 (или наушников) - при нечестности индивидуума тембр и высота его голоса изменяется средством генерирования, например голос делают более высоким (например, «писклявым») во время произнесения нечестной фразы;

б) с помощью монитора 3 - при нечестности индивидуума средство генерирования изменяет видеоизображение говорящего индивидуума на экране монитора или видеоизображение объектов обстановки вблизи этого индивидуума (в частности фона) путем изменения формы и/или цвета и/или яркости и/или контрастности и/или частоты их появления на экране монитора 3; простейший случай - когда цветное изображение индивидуума изменяют на черно-белое во время произнесения нечестной фразы;;

в) с помощью монитора 3 и/или принтера (не показан) - программно-аппаратные средства дополнительно включают блок преобразования голосовых данных в текстовую форму любым известным способом (например, раскрытым в WO 03/041364, опубл. 15.05.2003), и такая текстовая форма выводится на экран монитора 3 и/или распечатывается на бумажном носителе с помощью принтера, при этом во время произнесения нечестной фразы размер шрифта, цвет шрифта или тип изменяется средством генерирования. Измененные данные, как описано выше, равно как и неизмененные данные, могут быть записаны на жесткий диск системного блока 1, а также на CD, DVD, и повторно воспроизведены для дополнительного анализа.

Следует отметить еще ряд разновидностей осуществления системы:

1) Сетевая версия системы может предусматривать, что анализатор голоса со средством генерирования реализован на серверном устройстве и уже измененные данные поступают на компьютер пользователя, т.е. отпадает необходимость оснащать удаленные устройства пользователей специфическими программно-аппаратными средствами. То же можно отнести к телефонной сети и сети мобильной телефонной связи, когда анализатор голоса со средством генерации реализован на АТС или передающей станции соответственно.

2) При непосредственно записи мультимедийных данных с помощью персонального компьютера пользователя, пользователь может отправить такие данные с этого персонального компьютера по телекоммуникационной сети для передачи их на сервер, станцию и удаленные устройства воспроизведения других пользователей.

3) Возможно интегрирование заявляемой системы как в конструкции мобильного телефона 7, так и в конструкции видеокамеры 8, которые могут работать при этом автономно.

4) Возможно использование системы только в сети мобильной связи, например только для передачи голосовых данных.

Приведенные примеры использованы только для целей иллюстрации частных случаев осуществления полезной модели, они не ограничивают объем правовой охраны, представленный в формуле, при этом специалист в данной области техники относительно просто способен осуществить множество других вариантов осуществления полезной модели в рамках заявленной формулы. Требуемое для осуществления заявляемой системы программное обеспечение также относительно просто может быть создано специалистом в области вычислительной техники на основе заявляемой совокупности существенных признаков, указанное программное обеспечение не входит в объем правовой охраны в рамках заявляемой полезной модели.

Claims (19)

1. Система для обнаружения эмоций, содержащая средство ввода, выполненное с возможностью ввода голосовых данных индивидуума и/или ввода мультимедийных данных, включающих по крайней мере голосовые данные индивидуума вместе с данными видеоизображения индивидуума или видеоизображения индивидуума вместе с объектами обстановки вблизи этого индивидуума, анализатор голоса, выполненный с возможностью обнаружения эмоций путем обработки голосовых данных индивидуума, преобразованных в цифровую форму, и включающий средство генерирования для генерирования данных уровня эмоционального состояния, выполненное с возможностью представления пользователю сгенерированных данных уровня эмоционального состояния через средство воспроизведения, отличающаяся тем, что средство генерирования выполнено с возможностью изменения голосовых данных и/или данных видеоизображения в зависимости от уровня обнаруженных эмоций, при этом средство воспроизведения выполнено с возможностью воспроизведения голосовых данных и/или данных видеоизображения с характеристиками, измененными средством генерирования.

2. Система по п.1, отличающаяся тем, что средство ввода включает аналого-цифровой преобразователь для преобразования в цифровую форму по крайней мере голосовых данных.

3. Система по п.1, отличающаяся тем, что анализатор голоса выполнен с возможностью обнаружения эмоций по характеристикам голосовых данных, выбранных из группы: интонация, интенсивность, темп.

4. Система по п.1, отличающаяся тем, что анализатор голоса выполнен с возможностью обнаружения эмоций, соответствующих честности или нечестности индивидуума.

5. Система по п.4, отличающаяся тем, что средство генерирования выполнено с возможностью изменения характеристик голосовых данных и/или данных видеоизображения в случае обнаружения эмоций, соответствующих нечестности индивидуума.

6. Система по п.1, отличающаяся тем, что средство воспроизведения выполнено с возможностью воспроизведения голосовых данных в звуковой форме.

7. Система по п.6, отличающаяся тем, что средство генерирования выполнено с возможностью изменения амплитудно-частотных характеристик голосовых данных.

8. Система по п.7, отличающаяся тем, что средство генерирования выполнено с возможностью изменения тембра и/или высоты звуков голосовых данных.

9. Система по п.1, отличающаяся тем, что дополнительно содержит средство преобразования для преобразования голосовых данных в текстовую форму, а средство воспроизведения выполнено с возможностью воспроизведения голосовых данных в текстовой форме.

10. Система по п.9, отличающаяся тем, что средство генерирования выполнено с возможностью изменения формы, и/или цвета, и/или яркости, и/или контрастности, и/или частоты появления текста голосовых данных, воспроизводимого средством воспроизведения.

11. Система по п.1, отличающаяся тем, что средство воспроизведения выполнено с возможностью воспроизведения данных видеоизображения индивидуума или видеоизображения индивидуума вместе с объектами обстановки вблизи этого индивидуума.

12. Система по п.11, отличающаяся тем, что средство генерирования выполнено с возможностью изменения формы, и/или цвета, и/или яркости, и/или контрастности, и/или частоты появления видеоизображения индивидуума и/или объектов обстановки вблизи индивидуума, воспроизводимых средством воспроизведения.

13. Система по п.1, отличающаяся тем, что выполнена с возможностью записи и хранения по крайней мере голосовых данных и/или данных видеоизображения с характеристиками, измененными средством генерирования.

14. Система по любому из пп.1-13, отличающаяся тем, что интегрирована в состав одного устройства.

15. Система по любому из пп.1-13, отличающаяся тем, что интегрирована в состав одного устройства, выбранного из группы: персональный компьютер, ноутбук, телефонный аппарат, мобильный телефон, видеокамера.

16. Система по любому из пп.1-13, отличающаяся тем, что входит в состав телекоммуникационной сети.

17. Система по любому из пп.1-13, отличающаяся тем, что входит в состав телекоммуникационной сети, выбранной из группы: сеть телефонной связи, сеть мобильной телефонной связи, локальная компьютерная сеть, глобальная компьютерная сеть.

18. Система по любому из пп.1-13, отличающаяся тем, что входит в состав сети телефонной связи, при этом телефонная станция или передающая станция включает в себя по крайней мере анализатор голоса со средством генерирования, а телефонный аппарат или мобильный телефон пользователя включает в себя по крайней мере средство воспроизведения.

19. Система по любому из пп.1-13, отличающаяся тем, что входит в состав компьютерной сети, при этом сервер компьютерной сети включает в себя по крайней мере анализатор голоса со средством генерирования, а удаленное устройство пользователя включает в себя по крайней мере средство воспроизведения.