Nothing Special   »   [go: up one dir, main page]

CN106856094B - 环绕式直播立体声方法 - Google Patents

环绕式直播立体声方法 Download PDF

Info

Publication number
CN106856094B
CN106856094B CN201710117263.4A CN201710117263A CN106856094B CN 106856094 B CN106856094 B CN 106856094B CN 201710117263 A CN201710117263 A CN 201710117263A CN 106856094 B CN106856094 B CN 106856094B
Authority
CN
China
Prior art keywords
audio
sound
fade
live broadcast
audio segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710117263.4A
Other languages
English (en)
Other versions
CN106856094A (zh
Inventor
王家彬
白旭
任婧婧
张向东
白鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Television Technology Center Of Beijing Peony Electronics Group Co ltd
Original Assignee
Digital Television Technology Center Of Beijing Peony Electronics Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Television Technology Center Of Beijing Peony Electronics Group Co ltd filed Critical Digital Television Technology Center Of Beijing Peony Electronics Group Co ltd
Priority to CN201710117263.4A priority Critical patent/CN106856094B/zh
Publication of CN106856094A publication Critical patent/CN106856094A/zh
Application granted granted Critical
Publication of CN106856094B publication Critical patent/CN106856094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明的环绕式直播立体声方法，用于通过Java插件的软件算法来实现多声音源定位效果，包括：步骤1：直播服务器通过音频输入设备接收源声音信号；步骤2：直播服务器调用Java插件，来将源声音信号转换为立体声信号；步骤3：Java插件提取源声音信号的方位、高度和频率；步骤4：Java插件根据源声音信号的方位、高度和频率来分别计算用户左耳和右耳感知的音频信号的方位、高度和频率，以及根据左耳和右耳感知的音频信号的方位、高度和频率合成左音频信号和右音频信号；步骤5：直播服务器的音频输出设备分别输出左音频信号和右音频信号。本发明仅仅通过直播服务器调用Java插件来对声音采集和运算，仅仅通过软件算法即可输出环绕立体声，采集声音简单。

Description

环绕式直播立体声方法
技术领域
本发明涉及立体声技术，尤其涉及一种环绕式立体声技术。
背景技术
单声道缺乏对声音的位置定位，而立体声技术则彻底改变了这一状况。声音在录制过程中被分配到两个独立的声道，从而达到了很好的声音定位效果。这种技术广泛的应用于音乐欣赏中，通过支持Sound Blaster Pro音频标准的声卡来播放立体声，这样听众可以清晰地分辨出每一种乐器的方位，从而使音乐更富想象力，能够使听众有身临其境的感觉。
目前，市面上的立体声设备，采集声音要通过多个设备依次传递声音信号，采集声音步骤繁琐，存储声音成本高。并且，都是依靠硬件和摆放位置来实现环绕立体声的效果。因此，在空间狭小的家庭环境中，很难布置出环绕立体声音响系统。在房间内即便勉强布置了立体声系统，因为摆放位置受限，也很难实现环绕立体声的效果。
本领域迫切需要一款能克服上述缺陷的环绕式直播立体声技术。
发明内容
本发明之目的是提供一种环绕式直播立体声方法，其不仅采集声音简单，而且仅仅通过软件算法即可实现多声音源定位效果。
本发明提供一种环绕式直播立体声方法，用于通过Java插件的软件算法来实现多声音源定位效果，包括：
步骤1：直播服务器通过音频输入设备接收源声音信号；
步骤2：直播服务器调用Java插件，来将源声音信号转换为立体声信号，其中，立体声信号包括左音频信号和右音频信号；
步骤3：Java插件提取源声音信号的方位、高度和频率；
步骤4：Java插件根据源声音信号的方位、高度和频率来分别计算用户左耳和右耳感知的音频信号的方位、高度和频率，以及根据左耳和右耳感知的音频信号的方位、高度和频率合成左音频信号和右音频信号；
步骤5：直播服务器的音频输出设备分别输出左音频信号和右音频信号。
作为优选方式，本发明提供一种环绕式直播立体声方法，其中，步骤4包括：
步骤41：Java插件确定音频播放时间点，根据音频播放时间点将音频分割为多个音频段。
作为优选方式，本发明提供一种环绕式直播立体声方法，其中，步骤4还包括：
步骤42：Java插件对每一份音频段和相对应空间位置的两个函数分别卷积，以计算出左耳和右耳感知到的声音，其中，相对应空间位置的两个函数包括：
xL(t)＝∫hL(τ)x(t-τ)dτ
xR(t)＝∫hR(τ)x(t-τ)dτ
x(t)代表声源；
xL(t)代表经过hL(τ)运算过左耳感知到的声音；
xR(t)代表经过hR(τ)运算过右耳感知到的声音。
作为优选方式，本发明提供一种环绕式直播立体声方法，其中，步骤4还包括：
步骤43：淡化音频段的开始和结束部分；
步骤44：按照音频段的顺序依次合并前一音频段结尾的淡化部分与后一音频段开头的淡化部分。
作为优选方式，本发明提供一种环绕式直播立体声方法，其中，淡化音频段包括：
步骤431：对起始音频段的开始部分进行淡出处理；
步骤432：对末尾音频段的结束部分进行淡入处理。
作为优选方式，本发明提供一种环绕式直播立体声方法，其中，淡化音频段包括：
步骤433：当音频段分割为两个以上时，对起始音频段和末尾音频段之间的所有中间音频段的开始部分进行淡出处理，以及对所有中间音频段的结束部分进行淡入处理。
作为优选方式，本发明提供一种环绕式直播立体声方法，其中，淡化音频段包括：
预设淡入曲线函数和淡出曲线函数；
将音频段的淡出部分和淡出曲线函数相乘，以输出音频段的淡出部分；
将音频段的淡入部分和淡入曲线函数相乘，以输出音频段的淡入部分。
作为优选方式，本发明提供一种环绕式直播立体声方法，其中，步骤5包括：
步骤51：根据相应的音频输出设备支持的音频类型，将左音频信号和右音频信号转换为相应的音频类型。
作为优选方式，本发明提供一种环绕式直播立体声方法，其中，音频输出设备包括：
录像机、LD与VCD影碟机、CD唱机、LP电唱机、多媒体电脑、电视机、电子游戏机、功放和收音调谐器。
本发明提供的一种环绕式直播立体声方法仅仅通过直播服务器调用Java插件来对声音采集和运算，即可输出环绕立体声，不仅采集声音简单，而且仅仅通过软件算法即可实现多声音源定位效果。这样一方面对声源没有要求可对任何双声道立体声音源进行处理，无需装配5～7声道功放及音箱，而仅仅通过原有的双声道功放和音箱即可实现3D环绕声，从而可大幅度节省成本。另一方面适合小空间、近距离欣赏，对音箱摆位及播放空间要求不高，可在近距离聆听或在狭小空间内聆听，特别适用于多媒体电脑、汽车音响、随身听及我国城乡居住面积狭小的情况。此外，对音响软硬件要求不高，接线简单，使用方便。另外，配合多媒体电脑或电子游戏机，可方便地实现交互式环绕声，允许用户经常性地改变声音的类型和顺序。
附图说明
下面将简要说明本申请所使用的附图，显而易见地，这些附图仅用于解释本发明的构思。
图1为本发明的步骤流程图；
图2为本发明的结构示意图；
图3为本发明的第一原理图；
图4为本发明的第二原理图。
附图标记汇总：
1、源声音信号 2、直播服务器 3、Java插件
4、立体声信号
具体实施方式
在下文中，将参照附图描述本发明的环绕式直播立体声方法的实施例。
在此记载的实施例为本发明的特定的具体实施方式，用于说明本发明的构思，均是解释性和示例性的，不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施例外，本领域技术人员还能够基于本申请权利要求书和说明书所公开的内容采用显而易见的其它技术方案，这些技术方案包括对在此记载的实施例做出任何显而易见的替换和修改的技术方案。
本说明书的附图为示意图，辅助说明本发明的构思，示意性地表示各部分的相互关系。相同或相似的参考标记用于表示相同或相似的部分。
参见图1和图2，本发明提出的一种环绕式直播立体声方法，用于通过Java插件3的软件算法来实现多声音源定位效果，包括：
步骤1：直播服务器2通过音频输入设备接收源声音信号1；
步骤2：直播服务器2调用Java插件3，来将源声音信号1转换为立体声信号4，其中，立体声信号4包括左音频信号和右音频信号；
步骤3：Java插件3提取源声音信号1的方位、高度和频率；
步骤4：Java插件3根据源声音信号1的方位、高度和频率来分别计算用户左耳和右耳感知的音频信号的方位、高度和频率，以及根据左耳和右耳感知的音频信号的方位、高度和频率合成左音频信号和右音频信号；
步骤5：直播服务器2的音频输出设备分别输出左音频信号和右音频信号。
在本实施例中，步骤4包括：
步骤41：Java插件3确定音频播放时间点，根据音频播放时间点将音频分割为多个音频段。
步骤42：Java插件3对每一份音频段和相对应空间位置的两个函数分别卷积，以计算出左耳和右耳感知到的声音，其中，参见图3，相对应空间位置的两个函数包括：
xL(t)＝∫hL(τ)x(t-τ)dτ
xR(t)＝∫hR(τ)x(t-τ)dτ
x(t)代表声源；
xL(t)代表经过hL(τ)运算过左耳感知到的声音；
xR(t)代表经过hR(τ)运算过右耳感知到的声音。
步骤43：淡化音频段的开始和结束部分；
步骤44：按照音频段的顺序依次合并前一音频段结尾的淡化部分与后一音频段开头的淡化部分。
通过源声音信号1来模拟多声音源定位效果的测试步骤如下：
参见图4，制作一个头部模型并安装一支麦克风到耳膜的位置。从固定的位置发出一些声音。分析从麦克风中得到声音并得出被模型所改变的具体数据。设计一个音频过滤器来模仿那个效果。当你需要模仿某个位置所发出的声音的时候就使用上述过滤器来模仿即可。
通过测试数据，可以对相对应空间位置的两个函数进行修正，使得源声音信号1转换的左音频信号和右音频信号更加真实。
直播服务器2可以为输出H.264直播流的rtmp服务器。rtmp服务器向本地或远程的播放器发送直播流。直播流包括立体声信号4。播放器根据立体声信号4的相关信息，在播放设备自动播放立体声。
直播服务器2发送直播流的步骤如下：
直播服务器2首先和用户的播放器进行握手协议，请求播放源声音信号1。直播服务器2通过音频输入设备接收相应的源声音信号1；直播服务器2调用Java插件3，来将源声音信号1转换为立体声信号4。其次，直播服务器2和用户的播放器之间根据连接协议相互连接。然后直播服务器2创建立体声信号4的直播流，并发送给用户的播放器。用户根据播放协议加载直播流并播放。当直播流结束，用户播放器自动停止播放。
本发明仅仅通过直播服务器2调用Java插件3来对声音采集和运算，即可输出环绕立体声，不仅采集声音简单，而且仅仅通过软件算法即可实现多声音源定位效果。这样一方面对声源没有要求可对任何双声道立体声音源进行处理，无需装配5～7声道功放及音箱，而仅仅通过原有的双声道功放和音箱即可实现3D环绕声，从而可大幅度节省成本。另一方面适合小空间、近距离欣赏，对音箱摆位及播放空间要求不高，可在近距离聆听或在狭小空间内聆听，特别适用于多媒体电脑、汽车音响、随身听及我国城乡居住面积狭小的情况。此外，对音响软硬件要求不高，接线简单，使用方便。另外，配合多媒体电脑或电子游戏机，可方便地实现交互式环绕声，允许用户经常性地改变声音的类型和顺序。
本实施例进一步优选地，提供了一种环绕式直播立体声方法，其中，淡化音频段包括：
步骤431：对起始音频段的开始部分进行淡出处理；
步骤432：对末尾音频段的结束部分进行淡入处理。
本实施例进一步优选地，提供了一种环绕式直播立体声方法，其中，淡化音频段包括：
步骤433：当音频段分割为两个以上时，对起始音频段和末尾音频段之间的所有中间音频段的开始部分进行淡出处理，以及对所有中间音频段的结束部分进行淡入处理。
这样分别通过为音频段的开头和结尾加上淡入淡出的效果，使得音频听起来更连贯。
本实施例进一步优选地，提供了一种环绕式直播立体声方法，其中，淡化音频段包括：
预设淡入曲线函数和淡出曲线函数；
将音频段的淡出部分和淡出曲线函数相乘，以输出音频段的淡出部分；
将音频段的淡入部分和淡入曲线函数相乘，以输出音频段的淡入部分。
本实施例进一步优选地，提供了一种环绕式直播立体声方法，其中，步骤5包括：
步骤51：根据相应的音频输出设备支持的音频类型，将左音频信号和右音频信号转换为相应的音频类型。
本实施例进一步优选地，提供了一种环绕式直播立体声方法，其中，音频输出设备包括：
录像机、LD与VCD影碟机、CD唱机、LP电唱机、多媒体电脑、电视机、电子游戏机、功放和收音调谐器。
以上对本发明的环绕式直播立体声方法进行了说明。对于本发明的环绕式直播立体声方法涉及的装置的具体特征可以根据本发明披露的特征的作用进行具体设计，这些设计均是本领域技术人员能够实现的。而且，本发明披露的各技术特征并不限于已披露的与其它特征的组合，本领域技术人员还可根据本发明之目的进行各技术特征之间的其它组合，以实现本发明之目的为准。

Claims (7)

1.一种环绕式直播立体声方法，用于通过Java插件的软件算法来实现多声音源定位效果，包括：
步骤1：直播服务器通过音频输入设备接收源声音信号；
步骤2：直播服务器调用Java插件，来将源声音信号转换为立体声信号，其中，直播服务器输出H.264直播流的rtmp服务器，rtmp服务器向本地或远程的播放器发送直播流，直播流包括立体声信号，所述立体声信号包括左音频信号和右音频信号；
步骤3：Java插件提取源声音信号的方位、高度和频率；
步骤4：Java插件根据源声音信号的方位、高度和频率来分别计算用户左耳和右耳感知的音频信号的方位、高度和频率，以及根据左耳和右耳感知的音频信号的方位、高度和频率合成左音频信号和右音频信号；
步骤5：直播服务器的音频输出设备分别输出左音频信号和右音频信号；
其中，步骤4包括：
步骤41：Java插件确定音频播放时间点，根据音频播放时间点将音频分割为多个音频段；
步骤4还包括：
步骤42：Java插件对每一份音频段和相对应空间位置的两个函数分别卷积，以计算出左耳和右耳感知到的声音，其中，相对应空间位置的两个函数包括：
xL(t)＝∫hL(τ)x(t-τ)dτ
xR(t)＝∫hR(τ)x(t-τ)dτ
x(t)代表声源；
xL(t)代表经过hL(τ)运算过左耳感知到的声音；
xR(t)代表经过hR(τ)运算过右耳感知到的声音。
2.根据权利要求1所述的环绕式直播立体声方法，其中，步骤4还包括：
步骤43：淡化所述音频段的开始和结束部分；
步骤44：按照音频段的顺序依次合并前一音频段结尾的淡化部分与后一音频段开头的淡化部分。
3.根据权利要求2所述的环绕式直播立体声方法，其中，淡化所述音频段包括：
步骤431：对起始音频段的开始部分进行淡出处理；
步骤432：对末尾音频段的结束部分进行淡入处理。
4.根据权利要求3所述的环绕式直播立体声方法，其中，淡化所述音频段包括：
步骤433：当所述音频段分割为两个以上时，对起始音频段和末尾音频段之间的所有中间音频段的开始部分进行淡出处理，以及对所有中间音频段的结束部分进行淡入处理。
5.根据权利要求2所述的环绕式直播立体声方法，其中，淡化所述音频段包括：
预设淡入曲线函数和淡出曲线函数；
将音频段的淡出部分和淡出曲线函数相乘，以输出音频段的淡出部分；
将音频段的淡入部分和淡入曲线函数相乘，以输出音频段的淡入部分。
6.根据权利要求1所述的环绕式直播立体声方法，其中，步骤5包括：
步骤51：根据相应的音频输出设备支持的音频类型，将左音频信号和右音频信号转换为相应的音频类型。
7.根据权利要求6所述的环绕式直播立体声方法，其中，音频输出设备包括：
录像机、LD与VCD影碟机、CD唱机、LP电唱机、多媒体电脑、电视机、电子游戏机、功放和收音调谐器。
CN201710117263.4A 2017-03-01 2017-03-01 环绕式直播立体声方法 Active CN106856094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710117263.4A CN106856094B (zh) 2017-03-01 2017-03-01 环绕式直播立体声方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710117263.4A CN106856094B (zh) 2017-03-01 2017-03-01 环绕式直播立体声方法

Publications (2)

Publication Number Publication Date
CN106856094A CN106856094A (zh) 2017-06-16
CN106856094B true CN106856094B (zh) 2021-02-09

Family

ID=59125271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710117263.4A Active CN106856094B (zh) 2017-03-01 2017-03-01 环绕式直播立体声方法

Country Status (1)

Country Link
CN (1) CN106856094B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707742B (zh) * 2017-09-15 2020-01-03 维沃移动通信有限公司 一种音频文件播放方法及移动终端
CN109529336A (zh) * 2018-11-20 2019-03-29 网易（杭州）网络有限公司 声音事件播放的控制方法、控制装置、存储介质与处理器
CN112788350B (zh) * 2019-11-01 2023-01-20 上海哔哩哔哩科技有限公司 直播控制方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976546A (zh) * 2005-11-30 2007-06-06 三星电子株式会社 使用单声道扬声器再现扩展声音的方法和装置
CN101977348A (zh) * 2010-07-09 2011-02-16 瑞声声学科技(深圳)有限公司 滤波器设计方法及虚拟立体环绕声信号的处理方法
CN104205878A (zh) * 2012-03-23 2014-12-10 杜比实验室特许公司 用于通过头相关传输函数的线性混合生成头相关传输函数的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026745A1 (en) * 2009-07-31 2011-02-03 Amir Said Distributed signal processing of immersive three-dimensional sound for audio conferences

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976546A (zh) * 2005-11-30 2007-06-06 三星电子株式会社 使用单声道扬声器再现扩展声音的方法和装置
CN101977348A (zh) * 2010-07-09 2011-02-16 瑞声声学科技(深圳)有限公司 滤波器设计方法及虚拟立体环绕声信号的处理方法
CN104205878A (zh) * 2012-03-23 2014-12-10 杜比实验室特许公司 用于通过头相关传输函数的线性混合生成头相关传输函数的方法及系统

Also Published As

Publication number Publication date
CN106856094A (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
US10674262B2 (en) Merging audio signals with spatial metadata
JP6676801B2 (ja) マルチチャンネル音声コンテンツを表すビットストリームを生成する方法、およびデバイス
CN105210387B (zh) 用于提供三维增强音频的系统和方法
US7379552B2 (en) Smart speakers
CN108616800B (zh) 音频的播放方法和装置、存储介质、电子装置
CN114339297B (zh) 音频处理方法、装置、电子设备和计算机可读存储介质
JP2001503942A (ja) 記録およびプレイバックにおいて使用するマルチチャンネルオーディオエンファシスシステムおよび同じものを提供する方法
WO2014085006A1 (en) Image generation for collaborative sound systems
CN101489173B (zh) 信号处理装置和信号处理方法
CN106856094B (zh) 环绕式直播立体声方法
EP1259097A2 (en) Surround sound field reproduction system and surround sound field reproduction method
JP2012502557A (ja) 多重オーディオチャンネル群の再現の向上
KR20160061315A (ko) 사운드 신호 처리 방법
CN103609143A (zh) 用于捕获和回放源自多个声音源的声音的方法
US10999678B2 (en) Audio signal processing device and audio signal processing system
CN101458951A (zh) 具有多功能的影音节目信号处理系统
TW202105164A (zh) 用於低頻率效應之音訊呈現
CN203206451U (zh) 一种3d音频处理系统
CN102752691A (zh) 一种音频处理技术、3d幻音及其应用
CN104333828A (zh) 一种自适应音频控制方法
CN114915874B (zh) 音频处理方法、装置、设备及介质
CN202353812U (zh) 3d幻音
Pike et al. Delivering object-based 3d audio using the web audio api and the audio definition model
CN213693982U (zh) 一种影音系统
CN105979468A (zh) 一种音频处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant