CN104919822A - 对不同重放扬声器组的空间音频信号的分段式调整 - Google Patents

Abstract

一种装置(100)，用于将初始扬声器组的空间音频信号(2)适配成不同于初始扬声器组的重放扬声器组。该装置包括直达环境分解器(130)，直达环境分解器被配置为将初始扬声器组的片段中的信道信号分解成直达声音(D)和环境分量(A)，并且确定直达声音分量的到达方向。直达声音渲染器(150)接收重放扬声器组信息并且利用重放扬声器组信息调整直达声音分量(D)，以使得重放扬声器组中的直达声音分量达到的感知方向与直达声音分量的到达方向大致相同。组合器(180)将调整的直达声音分量与可能修改的环境分量组合，以获得用于重放扬声器组的扬声器的扬声器信号。

Description

对不同重放扬声器组的空间音频信号的分段式调整

技术领域

本发明整体涉及空间音频信号处理，具体地，涉及一种将旨在用于初始扬声器组的空间音频信号适配成不同于初始扬声器组的重放扬声器组的装置和方法。本发明的进一步实施方式涉及灵活的高品质多信道声音情景转换。

背景技术

近年来，对现代音频重放系统的需求已经改变。从单信道(单频)至双信道(立体声)、再至多信道系统，如5.1-Surround和7.1Surround或者甚至波场合成，所使用的扬声器信道的数目增加了。甚至在现代电影院中看到了具有架高扬声器的系统。目的是让收听者体会录制或者人工创建的音频情景相对于真实情景的音频体验、沉浸感、以及尽可能接近真实音频情景或可替代地最佳反应音响师的意图的体验环境(例如，参见M.Morimoto在1997年第103届AES会议上的“空间感中的后扬声器的作用”；D.Griesinger在1996年第101届AES会议上的“音乐声学中的空间感和环绕感”；K.Hamasaki、K.Hiyama、以及R.Okumura在2005年第118届AES会议上的“22.2多信道声音系统及其应用”)。然而，存在至少两个缺点：由于相对于所使用的扬声器的数目及其推荐定位存在多个可用声音系统，所以所有这些系统之间缺少通用兼容性。而且，与推荐的扬声器定位的任何偏离将导致音频情景被损坏，因此，使收听者的空间音频体验以及由此空间品质降低。

在现实世界应用中，多信道重放系统相对于扬声器定位通常不被正确配置。为了不使音频情景的初始空间图像因错误定位而失真，需要能够补偿这些设置失配的灵活高质量系统。最先进的解决方法通常缺少描述复杂并且可能是人工生成的声音情景的能力，例如，每个频带和时刻出现一个以上直达源。

因此，本发明的目的是提供一种用于适配空间音频信号的改善概念，以使得如果重放扬声器组偏离初始扬声器组，即，空间音频信号的音频内容最初显示的扬声器组，则保持音频情景的空间图像大致相同。

发明内容

通过根据权利要求1所述的装置、根据权利要求14所述的方法、或者根据权利要求15所述的计算机程序实现该目的。

根据本发明的实施方式，装置被设置成用于将初始扬声器组的空间音频信号适配成不同于初始扬声器组的重放扬声器组。空间音频信号包括多个信道信号。该装置包括被配置为将至少两个信道信号分组成片段的分组器。该装置还包括直达环境分解器，直达环境分解器被配置为将该片段中的至少两个信道信号分解成至少一个直达声音分量和至少一个环境分量。直达环境分解器可被进一步配置为确定该至少一个直达声音分量的到达方向。该装置还包括直达声音渲染器，直达声音渲染器被配置为接收关于与该片段相关联的至少一个重放片段的重放扬声器组信息并且利用该片段的重放扬声器组信息调整至少一个直达声音分量，以使得与未经进行任何调整的情形相比较，重放扬声器组中的至少一个直达声音分量的到达感知方向与该片段的到达方向相同或者接近于该至少一个直达声音分量的到达方向。而且，该装置包括组合器，组合器被配置为将调整的直达声音分量和环境分量或者修改的环境分量组合，以获得用于重放扬声器组的至少两个扬声器的扬声器信号。

本发明的底层基本理念是将相邻的扬声器信道分组成片段(例如，圆形扇段、圆柱形扇段、或者球形扇段)并且将各个片段信号分解成对应的直达信号部分和环境信号部分。直达信号导致各个片段内的幻象生源位置(或者若干个幻象生源位置)，而环境信号对应于扩散声音并且负责收听者的体验环境(环绕感)。在渲染过程中，通过幻象生源位置重新映射、加权、并且调整直达分量，从而配合实际重放扬声器组并且保存该声源的初始位置。环境分量被重新映射和加权成在修改的收听设置中产生相同的环绕感量。基于时频二进制可完成该过程中的至少一些。通过该方法论，甚至可以处理输出设置中的增加或者减少数目的扬声器。

为便于在下列描述中参考，初始扬声器组的片段也可被称为“初始片段”。同样，重放扬声器组中的片段也可被称为“重放片段”。通常，片段跨两个或者多个扬声器与收听者的位置或者由两个或者多个扬声器与收听者的位置界定，即，片段通常对应于由两个或者多个扬声器与收听者界定的空间。可将给定扬声器指定给两个或者多个片段。在二维扬声器组中，通常将特定的扬声器指定给“左”片段和“右”片段，即，扬声器主要将声音发射至左片段和右片段。分组器(或者分组元件)被配置为聚集与给定片段相关联的那些信道信号。由于可将各个信道信号指定给两个或者多个信道，所以通过分组器或者通过若干个分组器可将其分发给两个或者多个片段。

直达环境分解器可被配置为确定各个信道的直达声音分量和环境分量。可替代地，直达环境分解器可被配置为确定每个片段的单直达声音分量和单环境分量。通过对至少两个信道信号进行分析(例如，互关联)可确定到达方向。可替代地，基于从该装置的进一步部件或者从外部实体提供给直达环境分解器的信息可确定到达方向。

通常，直达声音渲染器可考虑初始扬声器组与重放扬声器组之间的差异如何影响初始扬声器组的当前预期片段并且考虑采取哪些措施保持所述片段内的声音分量的方向感知。这些措施可包括(非穷尽列表)：

-修改所述片段的扬声器之中的直达声音分量的振幅权重；

-修改所述片段的扬声器中的特定扬声器直达声音分量之间的相关系和/或延迟关系；

-由于在重放扬声器组中可使用更为合适的扬声器，所以从具体扬声器中除去用于所述片段的直达声音分量；

-因为所述扬声器更为适合用于重新产生所述直达声音分量(例如，由于片段边界在从初始扬声器组转换至重放扬声器组时与幻象声源的到达方向交叉)，所以将用于初始扬声器组中的相邻片段的直达声音分量施加给当前预期片段中的扬声器；

-将直达声音分量施加给在重放扬声器组中可用、而在初始扬声器组中不可用的附加扬声器(额外扬声器)；

-如下所述的进一步可能措施。

直达声音渲染器可包括多个分段渲染器，每个分段渲染器均执行一个片段的信道信号的处理。

组合器可将通过直达声音渲染器(或者进一步的直达声音渲染器)针对与当前预期片段有关的一个或者多个相邻片段产生的调整直达声音分量、环境分量、和/或修改的环境分量组合。根据一些实施方式，环境分量可与通过直达环境分解器确定的至少一个环境分量大致相同。根据可替代的实施方式，考虑初始片段与重放片段之间的差异，基于通过直达环境分解器确定的环境分量可确定修改的环境分量，

根据进一步实施方式，重放扬声器组可包括该片段内的额外扬声器。因此，初始扬声器组的片段对应于重放扬声器片段中的两个或者多个片段，即，将初始扬声器组中的初始片段分割成重放扬声器组中的两个或者多个重放片段。直达声音渲染器可被配置为产生重放扬声器组中的至少两个扬声器和额外扬声器的调整直达声音分量。

相反情况也是可能的：根据进一步实施方式，与初始扬声器组相比较，重放扬声器组可缺少扬声器，因此，初始扬声器组中的该片段与相邻片段被合并成重放扬声器组中的一个合并片段。然后，直达声音渲染器可被配置为将对应于重放扬声器组中缺少的扬声器的信道信号的调整直达声音分量分发给重放扬声器组中的合并片段的至少两个剩余扬声器。存在于初始扬声器组中、但不存在于重放扬声器组中的扬声器也可被称之为“缺少扬声器”。

根据进一步实施方式，当从初始扬声器组转换至重放扬声器组时，如果该片段与相邻片段之间的边界侵占或者交叉于确定到达方向，则直达声音渲染器可被配置为将具有确定到达方向的直达声音分量从初始扬声器组中的片段重新分配给重放扬声器组中的相邻片段。

根据进一步实施方式，直达声音渲染器可进一步被配置为将具有确定到达方向的直达声音分量从该至少一个第一扬声器重新分配给至少一个第二扬声器，该至少一个第一扬声器被指定给初始扬声器组中的片段，而非被指定给重放扬声器组中的相邻片段，并且该至少一个第二扬声器被指定给重放扬声器组中的相邻片段。

根据进一步实施方式，直达声音渲染器可被配置为产生重放扬声器组的至少两个有效扬声器片段对、提及重放扬声器组中的同一扬声器的至少两个有效扬声器片段对与两个相邻片段的扬声器片段特定直达声音分量。组合器可被配置为将提及同一扬声器的至少两个有效扬声器片段对的扬声器片段特定直达声音分量组合，以获得关于重放扬声器组中的至少两个扬声器的扬声器信号中的一个。有效扬声器片段对指扬声器和将该扬声器指定给其的片段中的一个。如果将该扬声器指定给进一步的片段(通常是这种情况)，则该扬声器可以是进一步有效扬声器片段对的一部分。同样，该片段可以是(并且通常是)进一步有效扬声器片段对的一部分。直达声音渲染器可被配置为考虑每个扬声器的矛盾性并且提供该扬声器的片段特定直达声音分量。组合器可被配置为从将该具体扬声器指定给其的各个片段中聚集旨在用于重放扬声器组的具体扬声器的不同片段特定直达声音分量(以及可能的片段特定环境分量，视情况而定)。应注意，在重放扬声器组中添加或者除去扬声器可对有效扬声器片段对产生影响：添加扬声器通常将初始片段分割成至少两个重放片段，因此，受影响的扬声器被指定给重放扬声器组中的新片段。除去扬声器可导致将两个或者多个初始片段合并成一个重放片段并且对有效扬声器片段对产生相应的影响。

本发明的进一步实施方式提供一种将旨在用于初始扬声器组的孔径音频信号适配成不同于初始扬声器组的重放扬声器组的方法。空间音频信号包括多个信道。该方法包括：将至少两个信道信号分组成片段，并且将该片段中的至少两个信道信号分解成至少一个直达声音分量和至少一个环境分量。该方法进一步包括确定该至少一个直达声音分量的到达方向。该方法还包括利用关于该片段的重放扬声器组信息调整该至少一个直达声音分量，以使得重放扬声器组中的直达声音分量的到达的感知方向与该片段的到达方向大致相同。至少与未经进行任何调整的情形相比较，该至少一个直达声音分量的到达的感知方向接近于该片段的到达方向。该方法进一步包括将调整的直达声音分量与环境分量或者修改的环境分量组合，以获得关于重放扬声器组的至少两个扬声器的扬声器信号。

附图说明

在下文中，将参考附图对本发明的实施方式进行说明，其中：

图1示出了可能应用情景的示意性框图；

图2示出了用于调整空间音频信号的装置和方法的系统概述的示意性框图；

图3示出了具有被移动/移位的一个扬声器的修改扬声器组的实施例的示意图；

图4示出了具有增加数目的扬声器的另一修改扬声器组的实施例的示意图；

图5示出了具有减少数目的扬声器的另一修改扬声器组的实施例的示意图；

图6A和图6B示出了具有移位扬声器的进一步修改扬声器组的实施例的示意图；

图7示出了用于调整空间音频信号的装置的示意性框图；并且

图8示出了用于调整空间音频信号的方法的示意性流程图。

具体实施方式

在使用附图进一步详细地讨论本发明之前，指出了在图中，相同元件、具有相同功能或者相同效应的元件设置有相同或者相似的参考标号，因此，不同实施方式中示出的这些元件及其功能的描述可相互交换或者可适用于不同实施方式中的另一个。

用于调整空间音频信号的一些方法并不足以灵活，以致于能够处理复杂的声音情景，特别是基于全球物理假设的情景(例如，参见V.Pulkki,“具有方向音频编码的空间声音再现”,J.Audio Eng.Soc，2007年，第55卷，编号：6，第503页至第516页与V.Pulkki和J.Herre“用于多信号音频格式之间换换的方法和装置”，美国专利申请公开号：US2008/0232616 A1)或者受限于整个音频情景中的每个频带的一个可定位(方向)分量的情景(例如，参见M.Goodwin和J.-M.Jot在2008年第125届AES会议上的“空间音频情景编码”与J.Thompson、B.Smith、A.Warner、以及J.-M.Jot在2012年10月的第133届2012AES会议上的“使用两两关联的系统的多信道信号的直达扩散分解”)。在一些空间情景中，一个平面波或者方向分量假设可能足以，但是，通常，这种假设不能够一次捕捉具有若干个激活声源的复杂音频情景。从而导致空间失真和不稳定或者甚至重放过程中的跳源。

存在为与作为虚拟扬声器的输出设置不匹配的输入设置扬声器建模的系统)(通过相邻扬声器将整个扬声器信号平移至扬声器的目的地址)(A.Ando的“保持再现声场中的声音的物理特性的多信道声音信号的转换”，关于音频、语音、以及语言处理的IEEE交易，2011年，第19卷，编号：6，第1467页至1457页)。从而还导致这些扬声器信号贡献的幻象声源的空间失真。A.Laborie、R.Bruno、以及S.Montoya在2005年第118届的AES会议上的“使多信道声音在任何扬声器布局中再现”中所提及的解决方法需要用户首先校准器扬声器并且之后渲染用于计算强度信号变换的设置输出的信号。

而且，高质量系统应该具有波形保持性。当将输入信道给予与输入设置相等的扬声器组时，波形不应发生明显变化，否则，信息丢失，从而可导致音频伪像并且使空间和音频质量下降。基于对象的方法可能遭遇在对象提取过程中引入的额外串扰(F.Melchior的“Vorrichtung zumeiner Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion”，德国专利申请公开号：DE 10 2010 030 534 A1,2011)。全局物理假设也导致产生不同的波形(例如，参见M.Goodwin和J.-M.Jot在2008年第125届AES会议上的“空间音频情景编码”；V.Pulkki的“具有方向音频编码的空间声音再现”，J.Audio Eng.Soc，2007年，第55卷，编号：6，第503页至第516页；以及V.Pulkki和J.Herre的“用于多信道音频格式之间的转换的方法和装置”，美国专利申请公开号：US 2008/0232616 A1)。

可以使用多信道平移器(panner)将某处的幻象声源放置在音频情景中。Eppolito,Pulkki,and Blauert提及的算法基于相对简单的假设，可导致使声源平移并且感知声源的空间位置的若干不准确性(A.Eppolito的“多信道声音平移器”，美国专利申请公开号：US 2012/0170758 A1；V.Pulkki的“利用矢量基振幅平移的虚拟声源定位”，J.Audio Eng.Soc，1997年，第45卷，编号：6，第456页至第466页；以及J.Blauert的“空间聆听：人类声音定位的心理学”，第3版，Cambridge and Mass：MIT期刊，2001年，第2.2.2部分)。

环境提取上混法被设计成提取环境信号部分并且将其分发给额外扬声器，以产生特定量的环绕感(J.S.Usher和J.Benesty的“空间声音质量的增强：新混响提取音频上混器”，关于音频、语音、以及语言处理的IEEE交易，2007年，第15卷，编号：7，第2141页至第2150页；C.Faller的“立体声信号的多扬声器重放”，J.Audio Eng.Soc，2006年，第54卷，编号：11，第1051页至第1064页；C.Avendano和J.-M.Jot的“对多信道音频上混的立体声信号的环境提取和合成”，声学、语音、以及信号处理(ICASSP),2002IEEE国际会议，2002年，第2卷，第II章第1957页至第II章第1960页；以及R.Irwan和R.M.Aarts的“二至五信道声音处理”，J.Audio Eng.Soc，200年，第50卷，编号：11，第914页至第926页)。该提取仅基于一个或者两个信道，这就是产生的音频情景不再是初始情景的准确图像的原因，并且这些方法不是出于我们目的的有用解决方法的原因。这对于Dressler在“杜比环绕定向逻辑第II章：解码器的操作原理”中所描述的矩阵化解决方法也是如此(在线可用，显示地址位于下方)。Vickers在美国专利申请公开号US 2010/0296672 A1“用于中央信道偏离的二至三信道上混”中提及的二至三上混解决方法利用了关于第三扬声器的位置以及产生的信号在其他两个扬声器之间的分布的一些现有知识，因此，缺少在插入扬声器的任意位置处产生准确信号的能力。

本发明的实施方式旨在提供一种能够保持重放环境中的初始音频情景的系统，其中，通过将合适的扬声器分组成各个片段并且应用上混、下混、和/或移位调整处理，扬声器组偏离于初始的扬声器组。正常音频编解码器的后处理阶段是可能的应用情景。在图1中描述了这种情况，其中，N、ρ_s、θ_s、以及M、是扬声器的数目及其分别在初始和修改/移位扬声器组中的极坐标的对应位置。然而，通常，所提议的方法适用于作为后处理工具的任何音频信号链。在实施方式中，扬声器组(初始和/或重放扬声器组)的各个片段均代表二维(2D)平面或者三维(3D)空间内的方向的子集。根据实施方式，对于平面二维(2D)扬声器组，可将感兴趣的整个方位角范围划分成覆盖方位角的减小范围的多个扇段。类似地，在3D情况下，可将全立体角范围(方位和仰角)分割成覆盖较小角范围的片段。

各个片段的特征在于用于指定或者指对应片段的相关联方向测量。例如，方向性测量可以是指向该片段中心的矢量，或者在2D情况下，为方位角，或者在3D情况下，为方位角和仰角的集合。该片段可被称之为2D平面或者3D空间内的方向的子集。为直觉简便起见，示例性地描述了2D情况下的下列实施例，然而，3D配置的延伸易于理解。

图1示出了用于调整空间音频信号的装置和/或方法的上述所述可能应用情景的示意性框图。通过编码器10将编码器端的空间音频信号1编码。编码器端的空间音频信号具有N个信道并且针对初始烟升起设置而产生，例如，相对于收听者的方位具有0度、+/-30度、以及+/-110度的扬声器位置的5.0扬声器组或者5.1扬声器组。编码器10产生可被传输或者存储的编码音频信号。通常，与编码器端的空间音频信号1相比较，编码的音频信号已被压缩，以放宽对存储和/或传输的需求。解码器20被设置成执行解码，具体地，解压已编码的空间音频信号。解码器20产生与编码器端空间音频信号1高度相似或者甚至相同的已解码空间音频信号2。此时，在处理空间音频信号时，可采用用于调整空间音频信号的方法或者装置100。方法或者装置100的目的是将空间音频信号2调整至不同于初始扬声器组的重放扬声器组。该方法或者装置提供为现有重放扬声器组定制的调整空间音频信号3或者4。

图2中描述了所提议方法的系统概况。通过分组器110(分组元件)将输入信道的短时频域表示分组成K个片段并且反馈至直达/环境分解130和DOA-估测阶段140，其中，A指环境并且D指每个扬声器和片段的直达信号，θ、φ指每个片段的估测DOA。将这些信号分别反馈至环境渲染器170或者直达声音渲染器150，从而导致用于输出设置的每个扬声器和片段的新渲染直达信号和新渲染环境信号通过组合器180将分段信号组合成角度校正的输出信号。为了补偿输出设置中相对于距离的移位，在距离调整阶段中使信道缩放和延迟，最后，产生重放设置的扬声器信道。如下所述，所述方法还可被扩展成处理具有增加数目以及减少数目的扬声器的重放设置。

在第一步骤中，该方法或者装置将合适的相邻扬声器信号分组成K个片段，其中，每个扬声器信号均可贡献于若干个片段并且每个片段均由至少两个扬声器信号构成。例如，在类似图3中描述的一个的扬声器组中，输入设置片段由扬声器对Seg_in＝[{L₁,L₂},{L₂,L₃},{L₃,L₄},{L₄,L₅},{L₅,L₁}]形成，并且输出片段为Seg_out＝[{L₁,L′₂},{L′₂,L₃},{L₃,L₄},{L₄,L₅},{L₅,L₁}]。将初始扬声器组(以虚线绘制的扬声器)中的扬声器L₂修改为重放扬声器组中的移动或者移位扬声器L′₂。

在分析过程中，完成每个片段基于归一化互关联的直达/环境分解，从而针对每个考虑的片段产生各个扬声器(各个信道)的直达信号分量D和换进信号分量A。即，提议的方法/装置能够估测各个片段内的不同声源的直达信号和环境信号。直达/环境分解并不局限于基于所提及的归一化互关联的解决方法，而是可通过任何合适的分解算法完成。产生的每个片段的直达信号和环境信号的数目从至少一个高达至贡献于考虑片段的扬声器的数目。例如，对于图3中的给定输入设置，每个片段存在至少一个直达信号和一个环境信号或者最多两个直达信号和两个环境信号。

而且，因为在直达/环境分解过程中，一个具体扬声器信号贡献于若干个片段，所以在输入直达/环境分解之前，可将信号缩小或者划分。实现此目的的最简单方式就是将每个片段内的各个扬声器信号缩小该具体扬声器所贡献的片段数目。例如，对于图3中的情况，每个扬声器信道均贡献于两个片段，因此，对于每个扬声器信道，缩小因数为1/2。但是，通常，更为精密和不平衡的划分也是可能的。

到达方向估测阶段(DOA估测阶段)140可被附接至直达/环境分解130。根据选择的直达/环境分解方法，估测每个片段和每个频率的DOA(由方位角θ与可能的仰角φ构成)。例如，如果使用归一化互关联分解方法，则DOA估测利用该估测的输入和提取直达声音信号的能量考虑因素。然而，通常，可以在若干个直达/环境分解与位置检测算法之间选择。

在渲染阶段170、150(环境和直达声音渲染器)，输入扬声器组与输出扬声器组之间发生实际转换，且分别不同地处理直达信号和环境信号。对输入设置的任意修改均可被描述为三种基本情况的组合：插入、移除、或者移位扬声器。为简便起见，单独描述了这些情况，但是，在现实世界情景中，其同时发生，因此，也被同时处理。通过叠加基本情况可完成上述操作。插入和移除扬声器仅影响所考虑的片段并且被视为基于片段的上混和下混技术。在渲染过程中，可将直达信号反馈至重新平移函数，从而确保输出设置中的幻象声源的准确定位。因此，信号相对于输入设置可被“反向平移”并且可相对于输出设置被再次平移。通过将重新平移系数应用于片段内的直达信号可实现此目的。例如，对于移位情况，重新平移系数的可能实现方式如下：

$c_{D,k}^s=\frac{h_k^s+\∈}{g_k^s+\∈},---\left(1\right)$

其中，是输入设置中的平移增益(从估测DOA导出)，并且是输出设置中的平移增益。k＝1...K指示考虑片段并且s＝1...S指该片段内的考虑扬声器。Ε是较小的正规化常数。从而产生重新平移的直达信号：

${\hat{D}}_k^s=c_{D,k}^s\·D_k^s.---\left(2\right)$

在输入设置和输出设置中的贡献扬声器匹配的任何片段中，导致乘法乘以1并且保持提取的直达分量不变。

还将校正系数施加给通常与片段大小改变的程度相关的环境信号。校正系数可被实施为如下：

$c_{A,k}=\sqrt{\frac{\∠{\mathrm{Seg}}_{out}\[k\]}{\∠{\mathrm{Seg}}_{in}\[k\]}},---\left(3\right)$

其中，＜Seg_in[k]和＜Seg_out[k]分别表示输入设置(初始扬声器组)或者输出设置(重放扬声器组)中的片段k内的扬声器位置之间的角。从而产生校正环境信号：

${\hat{A}}_k^s=c_{A,k}\·A_k^s---\left(4\right)$

如同直达信号，在输入设置和输出设置中的贡献扬声器匹配的任何片段中，使环境信号乘以一并且保持不变。如果扬声器信道贡献的任何片段均不发生变化，则直达渲染和环境渲染的行为确保具体扬声器信道的波形保持处理。而且，如果将片段的扬声器位置逐渐移向至输入设置的位置，则该过程顺利地收敛于波形保持解决方案。

图4使将扬声器(L₆)添加到标准5.1扬声器配置中的情景可视化，即，增加数目的扬声器。添加扬声器可引起下列效应中的一种或者多种：如果收听者移出至理想的收听点(所谓的甜蜜点)，则可改善音频情景的偏离甜蜜点稳定性，即，增强感知的空间音频情景的稳定性。例如，如果幻象声源被实际扬声器替代，则可改善收听者的环绕感和/或可改善空间定位。在图4中，S表示由扬声器L₂和L₃形成的片段中的估测幻象声源位置。基于通过直达/环境分解器130执行的直达/环境分解以及对该片段内的一个或者多个幻象声源的到达方向估测可确定估测的幻象声源位置。对于添加的扬声器，需要创建适当的直达信号和环境信号，并且需要调整相邻扬声器的直达信号和环境信号。从而有效地导致当前片段与信号处理的上混，如下：

直达信号：在具有额外扬声器L₆的重放扬声器组(输出设置)中，将幻象声源S指定给重放扬声器组中的片段{L₂,L₆}。因此，将对应于初始扬声器或者信道L₃中的S的直达信号部分重新指定并且重新分配给额外扬声器L₆并且通过重新平移函数处理，重新平移函数确保重放扬声器组中的S的感知方向保持相同。重新分配包括从L₃中移除重新分配的信号。还需要通过重新平移处理L₂中的S的直达部分。

环境信号：在L₂和L₃中的环境信号部分之外产生用于L₆的环境信号并且将环境信号传递至解关联器，以确保对产生信号的环境感知。根据下面被称之为AERS的可选择环境能量再映射方案调整L₂、L₆、以及L₃(新形成输出设置片段{L₂,L₆}和{L₆,L₃}中的每个扬声器)中的环境信号的能量。这些方案的一部分是恒定环境能量(CAE)方案(其中，保持整体环境能量恒定)和恒定环境密度(CAD)方案(其中，保持片段内的环境能量密度恒定)(例如，新片段{L₂,L₆}和{L₆,L₃}内与初始片段{L₂,L₃}内的环境能量密度应相同)。在下文中，这些方案分别被简称为CAE和CAD。

如果将S定位在重放片段{L₆,L₃}中，则直达信号和环境信号的处理遵循相同的规则并且通过类似方式完成。

如图4所示，重放扬声器组包括初始片段{L₂,L₃}内的额外扬声器L₆，因此，初始扬声器组的初始片段对应于重放扬声器组的两个片段{L₂,L₆}和{L₆,L₃}。通常，初始片段可对应于重放片段的两个或者多个片段，即，额外扬声器将初始片段再分成两个或者多个片段。在这种情景中，直达声音渲染器150被配置为产生用于重放扬声器组的至少两个扬声器L₂、L₃与额外扬声器L₆的调整直达声音分量。

图5示意性地示出了相比较于初始扬声器组为减少数目的扬声器的情形。在图5中，描述了从标准5.1扬声器组中移除扬声器(L₂)的情景，S₁和S₂分别代表输入设置片段{L₁,L₂}和{L₂,L₃}中的每个频带的估测幻象声源位置。如下所述，信号处理有效地导致两个片段{L₁,L₂}和{L₂,L₃}至新片段{L₁,L₃}的下混。

直达信号：需要将L₂的直达信号部分重新分配给L₁和L₃并且使其合并，以使得感知的幻象声源位置S₁和S₂不改变。通过将L₂中的S₁的直达部分重新分配给L₃并且将L₂中的S₂的直达部分重新分配给L₁可实现此目的。通过假设正确感知重放扬声器组中的幻象声源位置的重新平移函数处理L₁和L₃中的S₁和S₂的对应信号。通过对应信号的叠加完成合并。

环境信号：将对应于位于L₂中的片段{L₁,L₂}和{L₂,L₃}的环境信号分别重新分配给L₁和L₃。再次，根据引入的环境能量重新映射方案(AERS)中的一个可使重新分配的信号缩放并且将其与L₁和L₃中的初始环境信号合并。

如图5所示，与初始扬声器组相比较，重放扬声器组缺少扬声器L₂，以使得将片段{L₁,L₂}与相邻片段{L₂,L₃}合并成重放扬声器组中的一个合并片段。通常，具体地，在三维扬声器组中，移除扬声器可导致若干个初始片段被合并成一个重放片段。

图6A和图6B示意性地示出了移位扬声器的两种情形。具体地，初始扬声器组中的扬声器L₂被移至新的位置并且被称之为重放扬声器组中的扬声器L′₂。对于移位扬声器情况的提议处理如下。

在图6A和图6B中描述了可能的扬声器移位情景的两种实施例，其中，在图6A中，仅重新调整了片段尺寸，并且需要重新分配幻象声源，而在图6B中，移位扬声器L′₂被移至幻象声源S₂的估测位置(方向)之外，因此，该声源需要被重新分配并且合并到输出片段{L₁,L′₂}。在图6A和图6B中从收听者角度以虚线绘制了初始扬声器L₂及其方向。

在图6A中示意性地示出的情况中，直达信号的处理如下。如上所述，不需要重新分配。因此，该处理被限定成分别将扬声器L₁、L₂、以及L₃中的S1和S2的直达信号分量传递至调整信号的重新平移函数，以使得通过移位扬声器L′₂在其初始位置处感知幻象声源。

图6A中所示的情况下的环境信号的处理如下。因为也不再需要信号重新分配，所以仅根据AERS中的一个调整对应片段和扬声器中的环境信号。

关于图6B，现将描述直达信号的处理。如果扬声器被移至幻象声源位置之外，则需要将该声源重新分配至不同的输出片段。此处，需要将S₂的相应声源信号重新分配给输出片段{L₁,L′₂}并且通过重新平移函数进行处理，以确保同等的声源位置感知。因此，需要重新平移{L₁,L₂}中的S₂的对应声源信号，以使新输出片段{L₁,L′₂}与各个扬声器L₁和L′₂中将被合并的新声源信号部分匹配。

因此，当从初始扬声器组转换至重放扬声器组时，如果该片段与相邻片段之间的边界侵占S₂的确定到达方向，则直达声音渲染器被配置为将具有S₂的确定到达方向的直达声音分量从初始扬声器组中的片段{L₂,L₃}重新分配给重放扬声器组中的相邻片段{L₁,L′₂}。而且，直达声音渲染器可被配置为将具有确定到达方向的直达声音分量从初始片段{L₂,L₃}中的至少一个扬声器重新分配给输出设置{L₁,L'₂}中的相邻片段的至少一个扬声器。具体地，直达渲染器可被配置为将被指定给输入设置中的片段{L₂,L₃}的L₃中的S₂的直达分量重新分配给被指定给重放设置中的片段{L₁,L’₂}的移位扬声器L’₂，并且将被指定给输入设置中的片段{L₂,L₃}的L₂中的S₂的直达分量重新分配给重放设置中的片段{L₁,L’₂}。应注意，重新分配的动作还包括例如通过相对于扬声器信号的相对振幅和/或相对延迟执行重新平移而调整直达声音分量。

对于图6B中的环境信号，可以执行相似的处理；通过使用AERS中的一个调整片段{L₂,L₃}中的环境信号。此外，对于较大的移位，可将这些环境信号的一部分添加到片段{L₁,L′₂}中并且通过AERS进行调整。

在组合阶段180内(图2)，形成用于重放扬声器组(输出设置)的实际扬声器信号。通过在扬声器的相应左片段与右片段之间添加对应的重新映射和重新渲染的直达信号和环境信号而实现此操作(术语“左”和“右”扬声器适用于二维情况，即，所有扬声器皆处于同一平面内，通常，水平平面)。在组合阶段180的输出处，发射关于初始音频情景的信号，但是，现在被渲染用于具有处于位置和的M个扬声器的新扬声器组(重放扬声器组)。

此时，即，在组合器或者组合阶段180的输出处，新型系统提供其中已经校正相对于输出设置中的扬声器的方位角和仰角的所有变形的扬声器信号。如果输出设置中的扬声器被移至使得将其距收听点的距离改变至新距离则可选的距离调整阶段190可将校正系数和延迟施加给该信道，以补偿距离变化。该阶段的输出4导致产生实际重放设置中的扬声器信道。

另一实施方式可利用本发明实现重放扬声器组的移动甜蜜点。因此，在第一步骤中，该算法或者装置需要确定收听者的位置。通过利用跟踪技术/设备确定收听者的当前位置可容易实现此操作。然后，该装置重新计算扬声器相对于收听者的位置的位置，即，以收听者为原点的新坐标系。这相当于具有固定的收听者和移动的扬声器。然后，该算法计算可选地用于新设置的信号。

图7示出了根据至少一种实施方式的用于将空间音频信号2调整至重放扬声器组的装置100的示意性框图。装置100包括被配置为将至少两个信道信号702分组成片段的分组器110。装置100进一步包括直达环境分解器130，直达环境分解器130被配置为将该片段中的至少两个信道信号702分解成至少一个直达声音分量732和至少一个环境分量734。可选地，直达环境分解器130可包括被配置为估测至少一个直达声音分量732的到达方向估测器140。可替代地，可从外部DOA估测提供DOA或者作为伴随空间音频信号2的元信息/端信息提供DOA。

直达声音渲染器150被配置为接收关于与该片段相关联的至少一个重放片段的重放扬声器组信息并且利用该片段的重放扬声器组信息调整该至少一个直达声音分量732，以使得重放扬声器组中的至少一个直达声音分量的到达的感知方向与该片段的到达方向大致相同。至少与未经进行任何调整的情形相比较，通过直达声音渲染器150执行的渲染导致到达的感知方向接近于该至少一个直达声音分量的到达方向。在图7中的插图中，示意性地示出了初始扬声器组的初始片段和重放扬声器组的对应重放片段。通常，初始扬声器组已众所周知或者标准化，因此，并不一定需要将关于初始扬声器组的信息提供给直达声音渲染器150，更确切地，直达声音渲染器已经获得该信息。无需多言，直达声音渲染器可被配置为接收初始扬声器组信息。同样，直达声音渲染器150可被配置为支持作为针对不同初始扬声器组而记录或者创建的输入的空间音频信号，诸如，5.1设置、7.1设置、10.2设置、或者甚至22.2设置。

装置100进一步包括组合器180，组合器180被配置为将调整的直达声音分量752和环境分量734或者修改的环境分量组合，以获得关于重放扬声器组的至少两个扬声器的扬声器信号。关于重放扬声器组的至少两个扬声器的扬声器信号是通过装置100输出的调整空间音频信号3的一部分。如上所述，可对DOA调整的空间音频信号执行距离调整，以获得DOA与距离调整的空间音频信号4(见图2)。组合器180还可被配置为将调整的直达声音分量752和环境分量534与来自和预期片段共享扬声器的一个或者多个相邻片段的直达声音和/或环境分量组合。

图8示出了用于将空间音频信号调整至不同于初始扬声器组(旨在用于显示通过空间音频信号传递的音频内容)的重放扬声器组的方法的示意性流程图。该方法包括将至少两个信道信号分组成片段的步骤802。通常，片段是初始扬声器组中的片段中的一个。在步骤804中，将片段中的至少两个信道信号分解成直达声音分量和环境分量。该方法进一步包括用于确定直达声音分量的到达方向的步骤806。在步骤808中，利用该片段的重放扬声器组信息调整直达声音分量，以使得与未经进行任何调整的情形相比较，重放扬声器组中的直达声音分量的到达的感知方向与片段的到达方向相同或者接近于该片段的到达方向。该方法还包括步骤809，即，将调整的直达声音分量与环境分量或者修改的环境分量组合，以获得关于重放扬声器组的至少两个扬声器的扬声器信号。

对交会重放扬声器组的空间音频信号的提议调整可与下列方面中的一个或者多个有关：

-将初始设置的相邻扬声器信道分组成片段

-基于片段的直达/环境分解

-可选择的若干个不同直达/环境分解和位置提取算法

-直达分量的重新映射，以使得感知方向保持大致相同

-环境分量的重新映射，以使得感知环绕感保持大致相同

-通过施加缩放系数和/或延迟校正扬声器距离

-可选择的若干平移算法

-直达分量与环境分量的独立重新映射

-时间和频率选择处理

-如果输出设置与输入设置匹配，对于所有扬声器信道的整体波形保持处理

-关于各个扬声器的信道式波形保持，其中，未相对于输入设置和输出设置修改扬声器贡献的片段

·特殊情况：

-利用不同平移算法的给定输入情景的“反向平移”与平移

-每个片段具有至少一个直达和环境信号。

在由两个扬声器构成的片段中：最多两个直达信号和两个环境信号。所使用的直达信号与环境信号的数目彼此无关，但是，取决于被渲染的直达信号和环境信号的目的空间目标质量。

-基于片段的下混/上混

-根据环境能量重新映射方案(AERS)执行环境重新映射，包括：

恒定的环境能量

恒定的环境(角)密度

本发明中的至少一些实施方式被配置为执行基于信道的灵活声音情景变换，其中包括根据每个之前建立的片段，将初始扬声器信道分解成每个之前建立片段内的(幻象)声源的直达信号部分和环境信号部分。与直达信号和环境信号一起估测每个直达声源的到达方向(DOA)并且将其反馈至渲染器和距离调整器，且根据重放扬声器组和DOA修改初始扬声器信号，以保留实际音频情景。所提议的方法和装置行使波形保持的功能并且甚至能够处理具有比输入设置中可用的增加或者减少数目的扬声器组的输出设置。

尽管已经在以框表示实际或者逻辑硬件部件的框图的上下文中描述了本发明，然而，还可通过计算机实现方法实现本发明。在后者情况下，框表示对应的方法步骤，其中，这些步骤代表通过对应逻辑或者物理硬件块执行的功能。

所描述的实施方式仅用于示出本发明的原理。应当理解的是，此处所描述的布置和细节的改造和变形对本领域技术人员显而易见。因此，其旨在仅受所附专利权利要求的范围的限制并且并不受通过此处实施方式的描述和说明而展示的具体细节的限制。

尽管已经在装置的上下文中描述了一些方面，然而，很显然，这些方面也表示对相应方法的描述，其中，块或者设备对应于方法步骤或者方法步骤的特征。类似地，在方法步骤的上下文中描述的各方面也表示对相应块或者相应装置的项或特征的描述。通过(或者使用)硬件装置可执行一些或者全部方法步骤，例如，微处理器、可编程计算机、或者电路。在一些实施方式中，通过该装置可执行最为中央的方法步骤中的某一个或者某一些。

根据特定的实现方式需求，可在硬件或者软件中实现本发明的实施方式。使用数字存储介质(其与可编程计算机系统协作(或者能够协作)，以执行相应的方法)可以执行该实现方式，例如，软盘、DVD、蓝光、CD、ROM、EPROM、EEPROM或FLASH存储器(具有存储在其上的电可读控制信号)。因此，数字存储介质可以是计算机可读介质。

根据本发明的一些实施方式包括能够与可编程计算机系统协作的具有电可读控制信号的数据载波，以使得执行此处所描述的方法中的一种。

通常，本发明的实施方式可被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，程序代码被操作为用于执行各种方法中的一种。例如，程序代码可被存储在机器可读载波上。

其他实施方式包括用于执行此处所描述的方法中的一种的存储在机器可读载波上的计算机程序。

因此，换言之，本发明的实施方式是具有程序代码的计算机程序，当计算机程序在计算机上运行时，计算机程序用于执行此处所描述的方法中的一种。

因此，本发明方法的进一步实施方式是包括存储在其上的用于执行此处所描述的方法中的一种的计算机程序数据载波(或者数字存储介质，或者计算机可读介质)。数据载波、数字存储介质、或者记录介质通常是易失性和/或非易失性介质。

因此，本发明方法的进一步实施方式是表示用于执行此处所描述的方法中的一种的计算机程序的数据流或者信号序列。例如，数据流或者信号序列可被配置为经由数据通信连接(例如，经由因特网)被传输。

进一步实施方式包括被配置为或者被适配成执行此处所描述的方法中的一种的处理装置，例如，计算机或者可编程的逻辑设备。

进一步实施方式包括具有安装在其上的用于执行此处所描述的方法中的一种的计算机程序的计算机。

根据本发明的进一步实施方式包括被配置为将用于执行此处所描述的方法中的一种的计算机程序传输(例如，通过电或者光学方式)至接收器的装置或者系统。例如，接收器可以是计算机、移动设备、存储器设备等。例如，该装置或者系统可包括用于将计算机程序传输至接收器的文件服务器。

在一些实施方式中，可以使用可编程逻辑设备(例如，场可编程门阵列)执行此处所描述的方法中的一些或者全部功能。在一些实施方式中，场可编程门阵列可与微处理器一起运行，以执行此处所描述的方法中的一种。通常，方法优选为由任何硬件装置执行。

本发明的实施方式可基于用于直达环境分解的技术。基于信号模型或者物理模型可完成直达环境分解。

基于信号模型的直达环境分解的基础理念是假设直达感知和定位声音由一个单一或者多个相干或者相关联信号构成。因此，环境中不可定位的声音对应于不相关联的信号部分。方向与环境之间的转变是无缝的并且取决于信号之间的关联性。在下列文献中可以找出关于直达环境分解的进一步信息：C.Faller的“立体声信号的多扬声器重放”，J.Audio Eng.Soc，2006年，第54卷，编号：11，第1051页至第1064页；J.S.Usher和J.Benesty的“空间声音质量的增强：新混响提取音频上混器”，关于音频、语音、以及语言处理的IEEE交易，2007年，第15卷，编号：7，第2141页至第2150页；以及M.Goodwin和J.-M.Jot的“空间音频编码和增强的主要环境信号分解和基于矢量的定位”，关于声学、语音、以及信号处理的IEEE国际会议(ICASSP)，2007年，第1卷，第I章第9页至第I章第12页。

方向音频编码(DirAC)是基于物理模型将信号分解成直达信号能量和扩散信号能量的一种可能方法。此处，通过实际或者虚拟B格式记录捕捉关于收听点处的声压和声(颗粒)速的声场特性。之后，假设声场仅由一个单一的平面波和为扩散能量的其余部分构成，信号可被分解成直达信号部分和扩散信号部分。从直达部分可以计算所谓的到达方向(DOA)。在获知实际扬声器位置时，通过使用专用平移法则(例如，参见V.Pulkki的“使用矢量基振幅平移的虚拟声源定位”J.Audio Eng.Soc，1997年，第45卷，编号：6，第456页至第466页)可以使直达信号部分平移，以在渲染阶段保持其目标位置。最后，再次将去相关的环境信号部分与平移的直达信号部分组合，从而产生扬声器信号(例如，如V.Pulkki的“利用方向音频编码的空间声音再现”，J.Audio Eng.Soc，2007年，第55卷，编号：6，第503页至第516页或者V.Pulkki和J.Herre的“用于多信道音频格式之间转换的方法和装置”，美国专利申请公开号US2008/0232616 A1,2008中所述)。

J.Thompson、B.Smith、A.Warner、以及J.-M.Jot在“使用两两相关的系统的多信道信号的直达扩散分解”(2012年10月在第133届2012AES会议上展示的)中描述了另一解决方法，其中，通过两两相关联系统估测多信道信号的直达能量和扩散能量。此处所使用的信号模型允许检测各个信道内的一个直达和扩散信号(其中包括信道之间的直达信号的相移)。该解决方法的一种假设是所有信道中的直达信号皆相关联，即，其皆表示同一声源信号。在频域内完成各个频带的处理。

现将结合作为实施例的立体声信号描述直达扩散分解(或者直达环境分解)的可能实现方式。用于直达扩散分解的其他技术也是可能的，并且除立体声信号之外的信号也可经过直达扩散分解。通常，将立体声信号记录或者混合成使得各个声源中的信号连贯地进入具有特定方向性提示(电平差，时差)的左信号信道和右信号信道中并且使反射/反响独立信号进入确定音频对象宽度和收听者环绕感cue的信道中。通过模拟来自由因数a确定的方向的方向声音的信号s并且通过对应于横向反射的独立信号n₁和n₂可为单个的声源立体声信号建模。立体声信号对x₁、x₂通过下列等式与这些信号s、n₁、以及n₂相关：

x₁(k)＝s(k)+n₁(k)

x₂(k)＝a^.s(k)+n₂(k),

其中，k是时间指数。因此，立体声信号x₁和x₂中出现直达声音信号s，然而，通常具有不同的振幅。在多个频带内通过自适应时间方式可完成所描述的分解，从而获得不仅在一个音频对象情景中有效、而且对于具有多个并存有源声源的非静态声源情景也有效的分解。因此，针对具体的时间指数k和具体的频带m可编写上述等式；如下：

x_1,m(k)＝s_m(k)+n_1,m(k)

x_2,m(k)＝A_bs_m(k)+n_2,m(k),

其中，m是子带指数，k是时间指数，A_b是用于可包括子带信号的一个或者多个子带的特定参数频带b中的信号s_m的振幅因数。在具有指数m和k的各个时频段内，分别独立估测信号s_m、n_1,m、n_2,m以及因数A_b。可以使用感知的激励子带分解。该分解可基于快速傅里叶变换、正交镜滤波器组、或者其他滤波器组。对于每个参数带b，基于具有特定时间长度(例如，约20ms)的片段估测信号s_m、n_1,m、n_2,m、以及A_b。给定立体声子频带信号对x_1,m和x_2,m，目标是估测各个参数频带内的s_m、n_1,m、n_2,m、以及A_b。最后，可以对立体声信号对的功率和相互关联性进行分析。变量p_x1,b表示对参数频带b中的x_1,m的功率的短时估测。可以假设n_1,m和n_2,m的功率相同，即，假设横向独立声音的量与左侧信号和右侧信号的量相同：p_n1,b＝p_n1,b＝p_n,b。

使用立体声信号的子带表示可计算参数频带b内的功率(p_x1,b,p_x2,b)和归一化互关联p_x1x2,b。随后，对作为估测p_x1,b、p_x2,b、以及p_x1x2,b的函数的变量A_b、p_s,b、以及p_n,b进行估测。与已知变量和未知变量有关的三个等式如下：

p_x1，b＝p_s，b+p_n，b

$p_{x_2,b}=A_b^2{p}_{s,b}+p_{n,b}$

${\mathrm{\ρ}}_{x_1{x}_2,b}=\frac{A_b{p}_{s,b}}{\sqrt{p_{x_1,b}{p}_{x_2,b}}}$

三个等式中A_b、p_s,b、以及p_n,b的解如下：

$A_b=\frac{B_b}{2C_b}$

$p_{s,b}=\frac{2C_b^2}{B_b}$

$p_{n,b}=p_{x_1,b}-\frac{2C_b^2}{B_b}$

且

$B_b=p_{x_2,b}-p_{x_1,b}+\sqrt{{(p_{x_1,b}-p_{x_2,b})}^2+4p_{x_1,b}{p}_{x_2,b}{\mathrm{\ρ}}_{x_1{x}_2,b}^2}$

$C_b={\mathrm{\ρ}}_{x_1{x}_2,b}\sqrt{p_{x_1,b}{p}_{x_2,b}}$

接着，将s_m、n_1,m、以及n_2,m的最小平方法估计值计算为A_b、p_s,b、以及p_n,b的函数。对于各个参数频带b和独立信号帧，估计信号s_m为：

$\begin{array}{c}{\hat{s}}_m\left(k\right)=w_{1,b}{x}_{1,m}\left(k\right)+w_{2,b}{x}_{1,m}\left(k\right)\\ =w_{1,b}\left(s_m\right(k)+n_{1,m}(k\left)\right)+w_{2,b}\left(A_b{s}_m\right(k)+n_{2,m}(k\left)\right)\end{array}$

其中，w_1,b和w_2,b是实值权重。当错误信号E正交于参数频带b中的x_1,m和x_2,m时，就最小均方意义而言，权重w_1,b和w_2,b是最佳值。可以相似方式估计信号n_1,m和n_2,m。例如，n_1,m可被估测为：

$\begin{array}{c}{\hat{n}}_{1,m}\left(k\right)=w_{3,b}{x}_{1,m}\left(k\right)+w_{4,b}{x}_{2,m}\left(k\right)\\ =w_{3,b}\left(s_m\right(k)+n_{1,m}(k\left)\right)+w_{4,b}\left(A_b{s}_m\right(k)+n_{2,m}(k\left)\right)\end{array}$

然后，可对初始最小平方估计值以及执行后拉伸，从而使各个参数带中的估计的功率与p_s,b和p_n,b匹配。在J.Breebart和C.Faller编写的课本“空间音频处理”的第10.3章中可以找到对最小均方法的更为详细的描述，通过引用将其接合在此。可以结合或者在空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

本发明的实施方式可涉及或者采用一个或者多个多信道平移器。多信道平移器是能够使声响师将虚拟声源或者幻象声源放置在人工音频情景中的工具。通过若干种方式可实现此目的。在专用增益函数或者平移法则之后，通过将振幅权重或者延迟或者振幅权重和延迟施加给声源信号可将幻象声源放置在音频情景中。在下列文献中可以找到关于多信道平移器的进一步信息：A.Eppolito的美国专利申请公开号：US 2012/0170758 A1“多信道声音平移器”；V.Pulkki的“使用矢量基振幅平移的虚拟声源定位”，J.Audio Eng.Soc，1997年，第45卷，编号：6，第456页至第466页；以及J.Blauert的“空间聆听：人类声音定位的心理学”，2001年，Cambridgeand Mass：MIT期刊，第2.2.2部分，第3版，。例如，可以采用支持任意数目的输入信道和对输出声音空间的配置的更改的平移器。例如，平移器可无缝处理输入信道的数目变化。此外，平移器可支持对输出空间中的扬声器的数目和位置的更改。平移器可允许连续控制衰减和崩溃。当信道崩溃时，平移器可保持声源信道位于声音空间的外围。平移器可允许控制使声源崩溃的路径。通过包括接收具有多个扬声器的声音空间中的声音音频的多个信道的输入请求再平衡的方法可实现这些方面，其中，通过声音空间中的初始位置和初始振幅描述初始声音音频的多个信道，并且其中，信道的位置和振幅限定声音空间中的信道的平衡。基于输入确定声音空间中的声源信道中的至少一个的新位置。基于输入确定声源信道中的至少一个的振幅的变化，其中，新位置和振幅变化实现了再平衡。响应确定输入指示多个扬声器中的特定扬声器被禁用，可将源自于该特定扬声器的声音自动传输至与该特定扬声器邻近的其他扬声器。通过一个或者多个计算设备执行该方法。可以结合或者在对空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

本发明的一些实施方式可涉及或者采用用于更改现有音频情景的概念。通过IOSONO引入了组成或者甚至更改现有音频情景的系统(如德国专利申请第DE 10 2010 030 534 A1号“Vorrichtung zumeinerAudio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion”中描述的)。其使用了基于对象的声源表示加上额外的元数据以及定位音频情景内的声源位置的方向函数。如果已经将没有音频对象和元数据的现有音频情景反馈至该系统，则首先需要从该音频情景中确定音频对象、方向、以及方向函数。可结合或者在空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

本发明的一些实施方式可涉及或者采用信道转换和定位校正。旨在校正重放信道中的错误扬声器定位或者偏离的大多数系统尝试保留声场的物理特性。对于下混情景，可能的解决方法是通过平移为作为虚拟扬声器的遗漏扬声器建模，通过这种方式，保持收听点的声压和颗粒速度(如A.Ando的“保持再现声场中的声音的物理特性的多信道声音信号的转换”中所述，关于音频、语音、以及语言处理的IEEE交易，2011年，第19卷，编号：6，第1467页至第1457页)。另一方法是计算目标设置中的扬声器信号，以重新存储初始声场。通过将初始扬声器信号转换成声场表示并且从该表示渲染新的扬声器信号可实现此目的(如A.Laborie、R.Bruno、以及S.Montoya的“使多信道声音在任何扬声器布局中再现”中所述，2005年，第118届AES会议)。

根据音频，通过将初始多信道声音系统中的信号转换成具有不同数目的信道的可替代系统中的信号，同时，保持再现声场中的收听点处的声音的物理特征，可以转换多信道声音信号。通过下面确定的线性等式描述了这种转换问题。为了获得该等式的分析解，该方法基于三个扬声器的位置将可替代系统的声场划分并且解出各个子场中的“局部解”。因此，可替代系统使作为幻象声源的对应扬声器位置处的初始声音系统的各个信道信号局部化。局部解的合成引入了“目标解”，即，转换问题的分析解。通过22.2多信道声音系统中的22信道信号，而不利用通过该方法被转换成10信道、8信道、以及6信道信号的两个低频有效信道，执行实验。主观估测显示所提议的方法可利用八个扬声器使初始22信道声音的空间感再现。可结合或者在空间音频信号的提议调整上下文中采用这些方法中的一个或者多个。

空间音频情景编码(SASC)是非物理激励系统的实施例(M.Goodwin和J.-M.Jot的“空间音频情景编码”，2008年，第125届AES会议)。其执行主要分量分析(PCA)，以根据一些信道间关联性约束将多信道输入信号分解成其主要分量和环境分量(M.Goodwin和J.-M.Jot的“关于空间音频编码和增强的主要环境信号分解和基于矢量的定位”，关于声学、语音、以及信号处理的IEEE会议(ICASSP)、2007年，第1卷，第I章第9页至第I章第12页)。此处，主要分量被识别为具有最大特征值的输入信道关联矩阵的特征矢量。之后，执行主要定位分析和环境定位分析，从而确定直达定位矢量和环境定位矢量。通过产生包含指向输出信道的空间方向的单位矢量的格式矩阵完成对输出信号的渲染。基于该格式矩阵，导出空权重的集合，因此，权重矢量是格式矩阵的空白空间。通过这些矢量之间的两两平移产生方向分量并且通过利用格式矩阵中的矢量的整个集合产生非方向分量。通过在方向与非方向平移信号部分之间插值产生最终输出信号。在空间音频情景编码(SASC)框架中，中心理念是通过独立于任何假设或者目的再现格式的方式展示输入音频情景。与格式无关的参数化法能够支持任何给定重放系统中的最佳再现以及灵活的情景修改。描述了SASC所需的信号分析和合成工具，其中包括用于多信道主要环境分解的新解决方法的展示。可结合或者在空间音频信号的提议调整上下文中采用SASC对空间音频编码、上混、相位-振幅矩阵解码、多信道格式转换、以及二进制再现的应用。可结合或者在空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

本发明的一些试试发可涉及或者采用上混技术。通常，将上混技术分类成两个主要类别：从现有输入信道反馈具有合成或者提取环境的周围信道的方法种类(例如，参见J.S.Usher和J.Benesty的“空间声音质量的增强：新混响提取音频上混器”，关于音频、语音、以及语言处理的IEEE交易，2007年，第15卷，编号：7，第2141页至第2150页；C.Faller的“立体声信号的多扬声器重放“，J.Audio Eng.Soc，2006年，第54卷，编号：11，第1051页至第1064页；C.Avendano和J.-M.Jot的“对用于多信道音频上混的立体声信号的环境提取和合成”，声学、语音、以及信号处理(ICASSP)，2002年IEEE国际会议，2002年，第2卷，第II章第1957页至第II章第1960页；以及R.Irwan和R.M.Aarts的“二至五信道声音处理”，J.Audio Eng.Soc，2002年，第50卷，编号：11，第914页至第926页)和通过使现有一些信道矩阵化而创建用于额外信道的驱动信号的方法(例如，参见R.Dressler(05.08.2004)杜比环绕定位逻辑第II章：解码器的操作原理。【在线】。可用网址：http://www.dolby.com/uploadedFiles/Assets/US/Doc/Professional/

209_Dolby_Surround_Pro_Logic_II_Decoder_Principles_of_Operation.pdf)。特殊情况是在E.Vickers的美国专利申请公开号US2010/0296672 A1“对于中央信道偏离的二至三信道上混”中提议的方法，其实现了空间分解，而非环境提取。其中，环境产生方法可包括应用人工混响、计算左信号与右信号的差异、对周围信道应用小延迟并且应用基于关联性的信号分析。矩阵化技术的实施例是线性矩阵转换器和矩阵指导方法。C.Avendano和J.-M.Jot在2002年关于虚拟、合成、以及增强音频的第22届AES国际会议上的“从立体声至多信道上混的频域技术”和相同作者在2002年IEEE国际会议上关于声学、语音、以及信号处理(ICASSP)的“关于多信道音频上混的立体声信号的环境提取和合成”的2002年第2卷第II章第1957页至第II章第1960页中给出的这些方法中的简要概述。可结合或者在空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

通过频域技术可以实现对多信道音频上混的立体声信号的环境提取和合成。该方法基于对信道间相干指数和非线性映射函数的计算，从而允许我们确定主要构成两信道信号中的环境分量的时域区域。然后，将环境信号合成并且使用合成的环境信号反馈多信道重放系统的周围信道。模拟结果表明提取环境信息时的技术效力和对实际音频的上混测试显示了该系统与之前上混战略相比较的各种优点和缺点。可结合或者在空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

还可结合或者在将空间音频信号调整至重放扬声器组的上下文中采用立体声至多信道上混的频域技术。可以使用从立体声记录产生多信道音频的若干上混技术。基于左立体声信号与右立体声信号的短时傅里叶变换之间的比较，各种技术皆使用共同的分析框架。使用信道间相干性测量识别主要由环境分量构成的时域区域，然后，经由非线性映射函数将环境分量加权，并且提取环境分量，以合成环境信号。使用相似测量识别时频平面内的混合的各个声源的平移系数，并且将不同的映射函数应用于上混(提取)一个或者多个声源和/或将信号重新平移至任意数目的信道中。各种技术中的一种可能应用涉及二至五信道上混系统的设计。可结合或者在空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

周围解码器可被适配成通过自然、令人信服的方式带出常规音乐记录中的隐藏空间提示。从而将收听者带入三维空间，而非倾听无力的二维展示。这不仅有助于开发更为宽泛的声场，而且还解决了常规立体声再现的狭窄“甜蜜点”问题。在一些逻辑解码器中，控制电路示图寻找输入信号之间的相对电平和相位。该信息被发送至可变输出矩阵阶段，以调整控制反相信号的电平的VCA。反相信号抵消不需要的串扰信号，从而导致改进的信道分离。这被称为前馈设计。通过寻找相同的输入信号并且执行闭合回路控制可使该概念得到延伸，以使输入信号与其电平匹配。这些匹配的音频信号被直接发送至矩阵阶段，以导出各个输出信道。因为反馈输出矩阵的相同音频信号自身用于控制伺服回路，所以其被称为反馈逻辑设计。反馈控制的概念可提高准确度并且优化动态特征。整合逻辑指导过程中的全局反馈将产生与指导准确度和动态行为相似的益处。可结合或者在空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

可以结合多个扬声器重放使用用于两信道立体声音频信号的感知激励型空间分解，从而捕捉关于虚拟声音阶段的信息。空间分解允许重新合成用于在除两信道立体声之外的声音系统中重放的音频信号。通过使用多个前置扬声器，可以将虚拟声音阶段的宽度增加至±30°之外并且扩大甜蜜点区域。可选地，可以将横向独立声音分量放置在分别位于收听者旁边的扬声器后面，以增大收听者环绕感。可以利用周围声音和基于波场合成的音频系统使用空间分解。可结合或者在空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

用于空间音频编码和增强的主要环境信号分解和基于矢量的定位解决了对存储和分发多信道音频并且在任意再现系统中最佳渲染内容的增加商业需求。空间分析合成方案可对初始音频的STFT域(短时频变换域)表示应用主要分量分析，以将其分离成主要分量和环境分量，然后，对主要分量和环境分量分别进行分析，以获得描述以每段为基础的音频情景的空间感知的提示；在合成时可以使用这些提示在可用重放系统中适当地渲染音频。这个框架为健全的空间音频编码定制，或者其可直接应用于增强情景(对中间空间数据和音频表示没有任何速率约束)。

关于音乐声学的空间感和环绕感，传统观点认为由室内的横向声音能量产生空间感和环绕感，并且主要是最为负责的早期到达横向能量。然而，通过限定没有空间感的小房间，其可承载早期横向反射。因此，用于空间感和环绕感的感知机制可对空间音频信号的调整产生影响。如摘录中持有的观点，在摘录结束时发现，感知通常与大厅中的横向(扩散)能量(背景混响)有关并且(但是，重要地)通常与声场的特性关联性较低，建议称为横向早期延时(LEDT)的空间感测量。可以结合或者在空间音频信号的提议调整上下文中采用这些方面中的一个或者多个。

Claims (16)

1.一种装置(100)，用于将初始扬声器组的空间音频信号(2)适配成不同于所述初始扬声器组的重放扬声器组，其中，所述空间音频信号(2)包括多个信道信号，所述装置包括：

分组器(110)，被配置为将至少两个信道信号分组成片段；

直达环境分解器(130)，被配置为将所述片段中的所述至少两个信道信号分解成至少一个直达声音分量(D；732)和至少一个环境分量(A；734)，并且所述直达环境分解器(130)被配置为确定所述至少一个直达声音分量(S,S₁,S₂)的到达方向；

直达声音渲染器(150)，被配置为接收关于与所述片段相关联的至少一个重放片段的重放扬声器组信息并且利用关于所述片段的所述重放扬声器组信息调整所述至少一个直达声音分量(D；732)，以使得与未经进行任何调整的情形相比较，所述重放扬声器组中的所述至少一个直达声音分量(S,S₁,S₂)到达的感知方向与所述片段的到达方向相同或者接近于所述至少一个直达声音分量的到达方向；以及

组合器(180)，被配置为将调整的直达声音分量(752)与所述环境分量(734)或者修改的环境分量组合，以获得关于所述重放扬声器组的至少两个扬声器的扬声器信号。

2.根据权利要求1所述的装置(100)，其中，所述重放扬声器组包括所述片段内的额外扬声器(L₆)，使得所述初始扬声器组的所述片段对应于所述重放扬声器片段中的两个以上片段；

其中，所述直达声音渲染器(150)被配置为生成所述重放扬声器组的所述至少两个扬声器与所述额外扬声器的所调整的直达声音分量(752)。

3.根据权利要求1或2所述的装置(100)，其中，与所述初始扬声器组相比较，所述重放扬声器组缺少扬声器，因此，所述初始扬声器组的所述片段与相邻片段被合并成所述重放扬声器组的一个合并片段；

其中，所述直达声音渲染器(150)被配置为将对应于所述重放扬声器组中缺少的所述扬声器的信道的调整直达声音分量(752)分发给所述重放扬声器组的所述合并片段的至少两个剩余扬声器(L₁,L₃)。

4.根据权利要求1至3中任一项所述的装置(100)，其中，所述直达声音渲染器(150)被配置为当从所述初始扬声器组转换至所述重放扬声器组时，如果所述片段({L₂,L₃})与所述相邻片段({L₁,L′₂})之间的边界侵占确定的到达方向，则将具有确定的到达方向的直达声音分量(S₂)从所述初始扬声器组的所述片段({L₂,L₃})重新分配给所述重放扬声器组的相邻片段({L₁,L′₂})。

5.根据权利要求4所述的装置(100)，其中，所述直达声音渲染器(150)被进一步配置为将具有所确定的到达方向的所述直达声音分量(S₂)从至少一个第一扬声器(L₃)重新分配给至少一个第二扬声器(L′₂)，所述至少一个第一扬声器(L₃)被指定给所述初始扬声器组中的所述片段({L₂,L₃})，而非被指定给所述重放扬声器组中的所述相邻片段({L₁,L′₂})，并且所述至少一个第二扬声器(L′₂)被指定给所述重放扬声器组中的所述相邻片段({L₁,L′₂})。

6.根据权利要求1至5中任一项所述的装置(100)，其中，所述直达声音渲染器(150)被配置为利用所述重放扬声器组信息和所述至少一个直达声音分量的所述到达感知方向执行所述至少一个直达声音分量(S,S₁,S₂)的重新平移。

7.根据权利要求6所述的装置(100)，其中，所述直达声音渲染器(150)被进一步配置为在不侵占所确定的到达方向的情况下，如果在所述重放扬声器组的对应的修改片段{L₁,L′₂}中，所述初始扬声器组中的所述片段({L₁,L₂})中的所述扬声器(L₁,L₂)中的至少一个移位，则通过调整关于所述初始扬声器组的所述片段({L₁,L₂})中的扬声器(L₁,L₂)的扬声器信号，对具有所确定的到达方向的所述至少一个直达声音分量(S₁)执行所述重新平移，以获得所述重放扬声器组的所述对应的修改片段{L₁,L′₂}中关于扬声器(L₁,L′₂)的调整扬声器信号。

8.根据权利要求1至7中任一项所述的装置(100)，其中，所述直达声音渲染器(150)被配置为产生关于所述重放扬声器组中的至少两个有效扬声器片段对的扬声器片段特定直达声音分量，所述至少两个有效扬声器片段对涉及所述重放扬声器组中的相同扬声器和两个相邻片段；并且

其中，所述组合器(180)被配置为将关于涉及所述同一扬声器的所述至少两个有效扬声器片段对的所述扬声器片段特定直达声音分量组合，以获得关于所述重放扬声器组中的所述至少两个扬声器的所述扬声器信号中的一个。

9.根据权利要求1至8中任一项所述的装置(100)，其中，所述直达声音渲染器(150)被进一步配置为处理用于所述重放扬声器组的给定片段的所述至少一个直达声音分量(D；732)并且由此产生被指定给所述给定片段的各个扬声器的调整直达声音分量。

10.根据权利要求1至9中任一项所述的装置(100)，进一步包括环境渲染器(170)，所述环境渲染器(170)被配置为接收关于所述至少一个重放片段的所述重放扬声器组信息并且利用所述片段的所述重放扬声器组信息调整所述至少一个环境分量，以使得与未经进行任何调整的情形相比较，所述重放扬声器组中的所述至少一个环境分量的感知环绕感与所述片段的所述环绕感相同或者接近于所述至少一个环境分量的所述环绕感。

11.根据权利要求1至10中任一项所述的装置(100)，其中，所述分组器(110)被进一步配置为使所述至少两个信道根据所述至少两个信道中的信道被指定给所述初始扬声器组中的片段数目而缩放。

12.根据权利要求1至11中任一项所述的装置(100)，进一步包括距离调整器(190)，所述距离调整器(190)被配置为利用与收听者和对所述重放扬声器组的关注的扬声器之间的距离有关的距离信息调整关于所述重放扬声器组的所述至少两个扬声器的所述扬声器信号中的至少一个的振幅和延迟中的至少一个。

13.根据权利要求1至12中任一项所述的装置(100)，进一步包括收听者跟踪器，所述收听者跟踪器被配置为确定收听者相对于所述重放扬声器组的当前位置，并且利用所述收听者的所述当前位置确定所述重放扬声器组信息。

14.根据权利要求1至13中任一项所述的装置(100)，进一步包括时频变换器，所述时频变换器被配置为将所述空间音频信号从时域表示变换成频域表示或者变换成时频域表示，其中，所述直达环境分解器和所述直达声音渲染器被配置为处理所述频域表示或者所述时频域表示。

15.一种方法，用于将初始扬声器组的空间音频信号(2)适配成不同于所述初始扬声器组的重放扬声器组，其中，所述空间音频信号(2)包括多个信道，所述方法包括：

将至少两个信道信号分组成片段(802)；

将所述片段中的所述至少两个信道信号分解成直达声音分量(D；732)和环境分量(A；734)(804)；

确定所述直达声音分量的到达方向(806)；

利用所述片段的重放扬声器组信息调整所述直达声音分量(808)，以使得与未经进行任何调整的情形相比较，所述重放扬声器组中的所述直达声音分量的到达感知方向与所述片段的到达方向相同或者接近于所述片段的到达方向；并且

将调整的直达声音分量(752)与所述环境分量(A；734)或者修改的环境分量组合(809)，以获得关于所述重放扬声器组的至少两个扬声器的扬声器信号。

16.一种计算机程序，具有当在电脑上执行所述计算机程序时用于执行根据权利要求14所述的方法的程序代码。