Nothing Special   »   [go: up one dir, main page]

CN114143699B - 一种音频信号处理方法、装置及计算机可读存储介质 - Google Patents

一种音频信号处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114143699B
CN114143699B CN202111274850.7A CN202111274850A CN114143699B CN 114143699 B CN114143699 B CN 114143699B CN 202111274850 A CN202111274850 A CN 202111274850A CN 114143699 B CN114143699 B CN 114143699B
Authority
CN
China
Prior art keywords
signal
channel signal
target
opening angle
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111274850.7A
Other languages
English (en)
Other versions
CN114143699A (zh
Inventor
刘阳
刘长滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202111274850.7A priority Critical patent/CN114143699B/zh
Publication of CN114143699A publication Critical patent/CN114143699A/zh
Application granted granted Critical
Publication of CN114143699B publication Critical patent/CN114143699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本发明提供了一种音频信号处理方法、装置及计算机可读存储介质,属于音视频增强领域。所述方法包括:确定待处理的多通路环绕声信号对应的标准张角,以及所述外放设备的扬声器张角,所述多通路环绕声信号包括左侧信号和右侧信号;基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号;通过外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号。本发明可以突破外放设备的扬声器张角对声场的限制,拓宽了外放设备输出的音频信号的声场,使得处理后的音频信号可以通过外放设备呈现出全方位的环绕声场,增加了外放设备输出的音频信号的空间感,提升了环绕音效。

Description

一种音频信号处理方法、装置及计算机可读存储介质
技术领域
本发明属于音视频增强领域,特别是涉及一种音频信号处理方法、装置及计算机可读存储介质。
背景技术
目前多通路环绕声已被广泛应用,其中,5.1通路环绕声是国际电信联盟(ITU)推荐的环绕声标准。与双声道立体声相比,多声道环绕声的整体声场可以呈现一个全方位的空间感,能够给听音者一种置身其中的现场感。
若要完整呈现多通路环绕声的环绕声场,往往需要一定数目的扬声器,且各个扬声器的摆放位置需要满足一定条件。然而绝大多数音频外放设备,如智能电视、笔记本电脑等,往往只有一对扬声器,只能重放多通路环绕声的两个通路信号,无法呈现全方位的环绕声场。
现有的方案通常是将多通路环绕声混合成双声道的立体声信号,从而通过外放设备呈现。然而,在实际应用中,外放设备的扬声器张角往往小于标准的环绕声张角,张角越小,呈现的声场越窄。受外放设备的扬声器张角的限制,混合后的立体声信号通过外放设备的扬声器输出后,最终呈现的声场有限,无法呈现出全方位的空间感,环绕音效差。
发明内容
本发明提供一种音频信号处理方法、装置及计算机可读存储介质,以便在一定程度上解决由多通路环绕声混合后的立体声信号,通过外放设备的扬声器输出后,最终呈现的声场有限,无法呈现出全方位的空间感,环绕音效差的问题。
依据本发明的第一方面,提供了一种音频信号处理方法,应用于外放设备,所述外放设备包括至少两个扬声器,所述方法包括:
确定待处理的多通路环绕声信号对应的标准张角,以及所述外放设备的扬声器张角,所述多通路环绕声信号包括左侧信号和右侧信号;
基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号;
通过所述外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号。
依据本发明的第二方面,提供了一种音频信号处理装置,应用于外放设备,所述外放设备包括至少两个扬声器,所述装置包括:
张角确定模块,用于确定待处理的多通路环绕声信号对应的标准张角,以及所述外放设备的扬声器张角,所述多通路环绕声信号包括左侧信号和右侧信号;
下混增强处理模块,用于基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号;
信号输出模块,用于通过所述外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号。
依据本发明的第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面中任一所述的音频信号处理方法。
针对在先技术,本发明具备如下优点:
本发明通过多通路环绕声信号混合立体声信号时,先确定待处理的多通路环绕声信号对应的标准张角,以及所述外放设备的扬声器张角,所述多通路环绕声信号包括左侧信号和右侧信号;然后,基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号,所述目标左声道信号和目标右声道信号即为混合后的立体声信号对应的左声道信号和右声道信号;最后,通过所述外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号。相比于现有技术中直接对多通路环绕声信号进行混合处理得到立体声信号,本发明基于多通路环绕声信号和外放设备的扬声器张角,对多通路环绕声信号中的左侧信号进行了下混增强处理,使得处理后的目标左声道信号和目标右声道信号通过外放设备输出后,虚拟张角与多通路环绕声信号的标准张角保持一致,从而突破了所述外放设备的扬声器张角对声场的限制,拓宽了外放设备输出的音频信号的声场,使得处理后的音频信号可以通过外放设备呈现出全方位的环绕声场,增加了外放设备输出的音频信号的空间感,提升了环绕音效。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例提供的一种音频信号处理方法的步骤流程图;
图2是本发明实施例提供的一种张角示意图;
图3是本发明实施例提供的一种音频信号的处理流程图;
图4是本发明实施例提供的一种音频信号处理装置的框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供的音频信号处理方法,应用于通过外放设备输出多通路环绕声信号这一场景中。需要说明的是,所述外放设备包括至少两个扬声器。其中,所述外放设备可以包括但不限于音箱、音响等、智能家居设备(包括智能音箱、电视、语音助手等),智能终端(包括智能手机、可视电话、平板电脑、会议桌面智能终端等),以及影厅音频播放设备、车载设备、多媒体计算机等。
与双声道立体声相比,多声道环绕声可以呈现一个全方位的声场,能够给听音者一种置身其中的现场感。若要完整呈现多通路环绕声的环绕声场,往往需要一定数目的扬声器,且各个扬声器的摆放位置需要满足一定条件。然而绝大多数音频外放设备,如智能电视、笔记本电脑等,往往只有一对扬声器,只能重放多通路环绕声的两个通路信号,无法呈现全方位的环绕声场。现有技术中,通常将多通路环绕声信号混合成双声道的立体声信号,然后再通过外放设备输出。然而,受外放设备的扬声器张角的限制,混合后的双声道立体声信号呈现的声场有限,环绕音效差。
为了突破外放设备的扬声器张角对声场的限制、提升环绕音效,本发明提供了一种音频信号处理方法,基于多通路环绕声信号和外放设备的扬声器张角,对多通路环绕声信号中的左侧信号和右侧信号进行了下混增强处理,使得处理后的目标左声道信号和目标右声道信号通过外放设备输出后,虚拟张角与多通路环绕声信号的标准张角保持一致。
参照图1,示出了本发明实施例提供的一种音频信号处理方法的步骤流程图,如图1所示,该方法可以包括:
步骤101、确定待处理的多通路环绕声信号对应的标准张角,以及所述外放设备的扬声器张角,所述多通路环绕声信号包括左侧信号和右侧信号。
步骤102、基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号。
步骤103、通过所述外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号。
需要说明的是,本发明实施例中的多通路环绕声信号至少包含左侧信号和右侧信号和低音通路信号。例如,本发明实施例中的多通路环绕声信号可以为2.1通路环绕声,包含左通路信号、右通路信号和低音通路信号;或者,3.1通路环绕声,包含左通路信号、右通路信号、中置通路信号和低音通路信号;或者,5.1通路环绕声,包含左通路信号、右通路信号、中置通路信号、左环绕通路信号、右环绕通路信号和低音通路信号,等等。其中,如果所述多通路环绕声信号为2.1通路环绕声、3.1通路环绕声,则所述左侧信号包括左通路信号,所述右侧信号包括右通路信号;如果所述多通路环绕声信号为5.1通路环绕声信号,则所述左侧信号包括左通路信号和左环绕通路信号,所述右侧信号包括右环绕通路信号。
张角为外放设备的两侧扬声器与听者之间的夹角。参照图2,示出了一个张角示意图。如图2所示,左右两侧分别存在一个扬声器,这两个扬声器与听者组成的夹角θ即为外放设备的扬声器张角。
多通路环绕声信号对应的标准张角,即为多声道环绕声信号的配置标准中限定的一对扬声器与听者之间的标准夹角。在本发明实施例中,所述多通路环绕声信号对应的标准张角,特指所述多通路环绕声信号的配置标准中,用于输出左侧信号的左侧扬声器,与用于输出右侧信号的右侧扬声器,以及听者之间的夹角。
其中,若所述左侧信号为左通路信号,所述右侧信号为右通路信号,则所述标准张角为用于输出左通路信号的左侧扬声器,与用于输出右通路信号的右侧扬声器,以及听者之间的夹角。若所述左侧信号包括左通路信号和左环绕通路信号,所述右侧信号包括右通路信号和右环绕通路信号,则所述标准张角有两个,分别为左通路信号和右通路信号对应的第一标准张角,以及左环绕通路信号和右环绕通路信号对应的第二标准张角。以5.1通路环绕声为例,所述第一标准张角为用于输出左通路信号的左前置扬声器,与用于输出右通路信号的右前置扬声器,以及听者之间的夹角;所述第二标准张角为用于输出左环绕通路信号的左后置扬声器,与用于输出右环绕通路信号的右后置扬声器,以及听者之间的夹角。
针对每一种多通路环绕声信号,其标准张角是固定的,以5.1通路环绕声为例,其第一标准张角,也即左通路信号和右通路信号对应的标准张角,为60°;其第二标准张角,也即左环绕通路信号和右环绕通路信号对应的标准张角,为240°。
下面,将以所述左侧信号为左通路信号,所述右侧信号为右通路信号为例,说明本发明提供的音频信号处理方法。
根据声源的合成定位原理,听者两侧的扬声器合成的声场通常分布在两个扬声器及其之间的区域。声场的分布区域受扬声器张角的限制,扬声器张角越大,声场的分布区域越宽大;扬声器张角越小,声场的分布区域越窄小。在实际应用中,外放设备的扬声器张角往往小于多通路环绕声的标准张角,导致通过外放设备输出的音频信号产生的实际声场的分布区域小于多通路环绕声信号产生的声场的分布区域,无法呈现出全方位的环绕声场,环绕音效差。因此,在本发明实施例中,基于多通路环绕声信号的标准张角和外放设备的扬声器张角,对多通路环绕声信号中的左侧信号和右侧信号进行下混增强处理,在最终生成的目标左声道信号和目标右声道信号中增加空间信息,使得通过外放设备的扬声器输出的目标左声道信号和目标右声道信号产生的声场与所述多通路环绕声信号产生的声场基本保持一致,从而提升环绕音效。
需要说明的是,本发明中生成的目标左声道信号为双声道立体声信号的左声道信号,目标右声道信号为双声道立体声信号的右声道信号。通过外放设备的左侧扬声器输出所述目标左声道信号,并通过外放设备的右侧扬声器输出所述目标右声道信号,可以呈现出类似于多通路环绕声的环绕声场。
可选地,所述下混增强处理包括立体声展宽处理,或者,所述下混增强处理包括立体声展宽处理和信号均衡处理。其中,所述立体声展宽处理用于对所述左侧信号和所述右侧信号产生的声场进行展宽处理,使得展宽后的声场与多通路环绕声信号产生的声场相匹配。所述信号均衡处理用于对立体声展宽处理后的信号进行均衡,避免立体声展宽处理后的信号出现突变,影响听感。
音频信号产生的声场受音频信号对应的张角限制,换言之,对所述左侧信号和所述右侧信号进行立体声展宽处理,主要用于为所述左侧信号和所述右侧信号增加虚拟张角,使得处理后的左侧信号和右侧信号对应的张角与所述多通路环绕声信号的标准张角一致。例如,假设所述左侧信号和所述右侧信号对应的张角θ为30°,所述多通路环绕声信号的标准张角为60°,则需要通过立体声展宽处理,为所述左侧信号和所述右侧信号增加的虚拟张角为30°,使得处理后的左侧信号和右侧信号对应的张角θ'为60°。
在实际信号处理过程中,难以直接对音频信号对应的声场或张角进行改变,可以通过对影响声场或张角的参数进行处理,以实现立体声展宽的目的。示例性的,可以基于处理前后的音频信号产生的双耳声压,对左侧信号和右侧信号进行立体声展宽处理。
在本发明的一种可选实施例中,所述下混增强处理包括立体声展宽处理,步骤102所述基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号,包括:
步骤S11、根据所述标准张角计算所述多通路环绕声信号对应的第一双耳声压;
步骤S12、基于所述扬声器张角和所述第一双耳声压,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到目标左声道信号和目标右声道信号;其中,所述目标左声道信号与所述目标右声道信号产生的第二双耳声压与所述第一双耳声压相同。
其中,声压为介质压强的变化量,也即介质中有声场时的压强P与没有声场时压强P0之差。所述双耳声压,包括左侧扬声器输出的音频信号产生的左耳声压PL,以及右侧扬声器输出的音频信号产生的右耳声压PR
声压与介质中的声场相关,声场受张角的限制,在同一介质中,针对同一对扬声器输出的音频信号,张角与双耳声压一一对应。因此,在本发明实施例中,可以先根据所述多通路环绕声信号的标准张角,计算所述多通路环绕声信号对应的第一双耳声压,也即,所述多通路环绕声信号的左侧信号产生的左耳声压PL,和所述多通路环绕声信号的右侧信号产生的右耳声压PR
然后,基于外放设备的扬声器张角和所述第一双耳声压,对所述左侧信号和所述右侧信号进行立体声展宽处理,使得生成的目标左声道信号和目标右声道信号产生的第二双耳声压与所述第一双耳声压相同。也即,使得目标左声道信号产生的左耳声压P'L与所述左侧信号产生的左耳声压PL相同,以及,使得目标右声道信号产生的右耳声压P'R与所述右侧信号产生的右耳声压PR相同。
在同一介质中,两个音频信号在某个位置产生的声压相同,意味着两个音频信号在该处对应的声场相同。因此,本发明实施例通过对多通路环绕声信号的左侧信号和右侧信号进行立体声展宽处理,使得最终生成的目标左声道信号和目标右声道信号产生的第二双耳声压,与多通路环绕声信号对应的第一双耳声压相同。换言之,目标左声道信号和目标右声道信号产生的声场,与所述左侧信号和所述右侧信号产生的声场相同,从而突破了所述外放设备的扬声器张角对声场的限制,拓宽了外放设备输出的音频信号的声场,使得处理后的音频信号可以通过外放设备呈现出全方位的环绕声场,增加了外放设备输出的音频信号的空间感,提升了环绕音效。
在本发明的一种可选实施例中,步骤S12所述基于所述扬声器张角和所述第一双耳声压,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到目标左声道信号和目标右声道信号,包括:
步骤A11、确定所述扬声器张角对应的第一头相关传输函数和第二头相关传输函数,所述第一头相关传输函数为同侧耳头相关传输函数,所述第二头相关传输函数为异侧耳头相关传输函数;
步骤A12、确定所述第一头相关传输函数和所述第二头相关传输函数的对称矩阵的逆矩阵;
步骤A13、对所述逆矩阵和所述第一双耳声压进行时域卷积处理,得到目标左声道信号和目标右声道信号,使得所述目标左声道信号与所述目标右声道信号产生的第二双耳声压与所述多通路环绕声信号对应的第一双耳声压相同。
需要说明的是,每一个张角对应一组头相关传输函数,分别为同侧耳头相关传输函数和异侧耳头相关传输函数。张角对应的头相关传输函数可以直接从头相关传输函数数据库中提取。
假设所述扬声器张角对应的第一头相关传输函数为H'LL和H'RR,第二头相关传输函数为H'LR和H'RL,其中,H'LL=H'RR,H'RL=H'RL。记立体声展宽处理后的目标左声道信号为L',目标右声道信号为R',则通过外放设备的扬声器输出目标左声道信号和目标右声道信号,产生的第二双耳声压,也即目标左声道信号产生的左耳声压P'L和目标右声道信号产生的右耳声压P'R,可以表示为:
其中,为所述第一头相关传输函数和所述第二头相关传输函数的对称矩阵。
假设通过多通路环绕声信号对应的标准张角输出所述左侧信号和所述右侧信号,产生的左耳声压为PL,右耳声压为PR。在本发明实施例中,所述目标左声道信号和目标右声道信号产生的第二双耳声压,与所述多通路环绕声对应的第一双耳声压相同,也即P'L=PL,P'R=PR。那么,目标左声道信号L'与目标右声道信号R'可以表示为:
需要说明的是,上述公式(2)为频域运算公式,依据上述公式(2)对所述第一头相关传输函数和所述第二头相关传输函数的对称矩阵的逆矩阵,和所述第一双耳声压进行频域相乘处理,也即,计算矩阵与矩阵/>就可以得到目标左声道信号和目标右声道信号。
将上述公式(2)对应于时域,对所述第一头相关传输函数和所述第二头相关传输函数的对称矩阵的逆矩阵,和所述第一双耳声压进行时域卷积处理,就可以得到目标左声道信号和目标右声道信号。
由上述公式(1)可知,声压也可以直接基于头相关传输函数计算得到,因此,在本发明实施例中,在对所述左侧信号和所述右侧信号进行立体声展宽处理时,还可以直接基于多通路环绕声信号的标准张角对应的头相关传输函数,对所述左侧信号和所述右侧信号进行立体声展宽处理。
在本发明的一种可选实施例中,步骤S12所述基于所述扬声器张角和所述第一双耳声压,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到目标左声道信号和目标右声道信号,包括:
步骤A21、确定所述扬声器张角对应的第一头相关传输函数和第二头相关传输函数,所述第一头相关传输函数为同侧耳头相关传输函数,所述第二头相关传输函数为异侧耳头相关传输函数;
步骤A22、确定所述标准张角对应的第三头相关传输函数和第四头相关传输函数,所述第三头相关传输函数为同侧耳头相关传输函数,所述第四头相关传输函数为异侧耳头相关传输函数;
步骤A23、根据所述第一头相关传输函数、所述第二头相关传输函数、所述第三头相关传输函数和所述第四头相关传输函数,计算目标滤波系数,所述目标滤波系数用于确定所述左侧信号和所述右侧信号对应的待展宽信息;
步骤A24、基于所述目标滤波系数对所述左侧信号和所述右侧信号进行滤波处理,得到目标左声道信号和目标右声道信号,所述目标左声道信号与所述目标右声道信号产生的第二双耳声压与所述多通路环绕声信号对应的第一双耳声压相同。
假设所述标准张角对应的第三头相关传输函数为HLL和HRR,第四头相关传输函数为HLR和HRL。其中,HLL=HRR,HLR=HRL。所述多通路环绕声信号对应的第一双耳声压,也即所述左侧信号L产生的左耳声压PL,和所述右侧信号R产生的右耳声压PR,可以表示为:
又因为P'L=PL,P'R=PR,那么,目标左声道信号L'与目标右声道信号R'可以表示为:
由上述公式(4)可以看出,在保证所述第一双耳声压和所述第二双耳声压相同的情况下,对所述左侧信号和所述右侧信号进行立体声展宽处理,本质上是基于所述标准张角对应的头相关传输函数组成的矩阵以及所述扬声器张角对应的头相关传输函数组成的矩阵/>对所述左侧信号和所述右侧信号进行滤波处理,目标滤波系数即为:
在本发明的一种可选实施例中,步骤A23所述根据所述第一头相关传输函数、所述第二头相关传输函数、所述第三头相关传输函数和所述第四头相关传输函数,计算目标滤波系数,包括:
子步骤A231、确定所述第一头相关传输函数和所述第二头相关传输函数对应的第一对称矩阵的逆矩阵;
子步骤A232、确定所述第三头相关传输函数和所述第四头相关传输函数对应的第二对称矩阵;
子步骤A233、计算所述第一对称矩阵的逆矩阵与所述第二对称矩阵的乘积,得到目标滤波系数;其中,所述目标滤波系数为同侧滤波系数和异侧滤波系数组成的对称矩阵。
对上述公式(5)进行矩阵运算并化简,所述目标滤波系数可以表示为:
其中,
由于HLL=HRR,HLR=HRL,所以GLL,f)=GRR,f),GLR,f)=GRL,f)。其中,GLL,f)和GRR,f)为同侧滤波系数,GLR,f)和GRL,f)为异侧滤波系数。
基于上述公式(6)表示的目标滤波系数,对多通路环绕声信号的左侧信号和右侧信号进行滤波处理,就可以得到目标左声道信号和目标右声道信号。
在本发明的一种可选实施例中,步骤A24所述基于所述目标滤波系数对所述左侧信号和所述右侧信号进行滤波处理,得到目标左声道信号和目标右声道信号,包括:
子步骤P11、分别基于所述同侧滤波系数和所述异侧滤波系数对所述左侧信号进行滤波处理,得到第一左侧信号和第二左侧信号,所述第一左侧信号对应同侧滤波系数,所述第二左侧信号对应异侧滤波系数;
子步骤P12、分别基于所述同侧滤波系数和所述异侧滤波系数对所述右侧信号进行滤波处理,得到第一右侧信号和第二右侧信号,所述第一右侧信号对应同侧滤波系数,所述第二右侧信号对应异侧滤波系数;
子步骤P13、对所述第一左侧信号和所述第二右侧信号进行叠加处理,得到目标左声道信号;
子步骤P14、对所述第二左侧信号和所述第一右侧信号进行叠加处理,得到目标右声道信号。
基于上述公式(6)表示的目标滤波系数对左侧信号L和右侧信号R进行滤波处理,得到的目标左声道信号L'与目标右声道信号R'可以表示为:
对上述公式(7)进行矩阵运算,目标左声道信号L'与目标右声道信号R'可以表示为:
L'=GLL,f)L+GLR,f)R (8)
R'=GRL,f)L+GRR,f)R (9)
其中,GLL,f)和GRR,f)为同侧滤波系数,GLR,f)和GRL,f)为异侧滤波系数,且GLL,f)=GRR,f),GLR,f)=GRL,f)。
分别基于所述同侧滤波系数和所述异侧滤波系数对所述左侧信号进行滤波处理,就可以得到第一左侧信号GLL,f)L,以及第二左侧信号GRL,f)L。
分别基于所述同侧滤波系数和所述异侧滤波系数对所述右侧信号进行滤波处理,就可以得到第一右侧信号GRR,f)R,以及第二右侧信号GLR,f)R。
由上述公式(8)和公式(9)可以看出,要得到目标左声道信号L'与目标右声道信号R',还需要进一步对滤波后的第一左侧信号、第一右侧信号、第二左侧信号和第二右侧信号进行叠加处理。具体的:对所述第一左侧信号和所述第二右侧信号进行叠加处理,得到目标左声道信号,对所述第二左侧信号和所述第一右侧信号进行叠加处理,得到目标右声道信号。
需要说明的是,在本发明实施例中,所述下混增强处理除了包括立体声展宽处理,还可以包括信号均衡处理。其中,所述信号均衡处理用于对立体声展宽处理后的信号进行均衡,避免立体声展宽处理后的信号出现突变,影响听感,以提高音频信号的音色保真度、对白清晰度,提升整体听感。
在本发明的一种可选实施例中,所述下混增强处理包括立体声展宽处理和信号均衡处理,步骤102所述基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号,包括:
步骤S21、基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到展宽后的第三左声道信号和第三右声道信号;
步骤S22、对所述第三左声道信号和所述第三右声道信号进行信号均衡处理,得到目标左声道信号和目标右声道信号。
需要说明的是,信号均衡处理在立体声展宽处理之后:先对所述左侧信号和所述右侧信号进行立体声展宽处理,得到第三左声道信号和第三右声道信号;然后,再对所述第三左声道信号和所述第三右声道信号进行信号均衡处理,得到目标左声道信号和目标右声道信号。可以采用前述任意方式对所述左侧信号和所述右侧信号进行立体声展宽处理,本发明实施例在此不做进一步赘述。并且,本发明实施例对信号均衡处理的具体实现方式也不做限定,只要能够避免立体声展宽处理后的信号出现突变,提升目标左声道信号和目标右声道信号的音质即可。
其中,所述信号均衡处理包括功率均衡处理和/或频响均衡处理。作为一种示例,所述信号均衡处理包括功率均衡处理,步骤S22所述对所述第三左声道信号和所述第三右声道信号进行信号均衡处理,得到目标左声道信号和目标右声道信号,包括:
步骤A31、根据所述标准张角和所述扬声器张角计算同侧滤波系数和异侧滤波系数;
步骤A32、计算所述同侧滤波系数和所述异侧滤波系数的平方和,得到第一目标值;
步骤A33、计算所述第一目标值的平方值,得到第二目标值;
步骤A34、确定所述第二目标值的倒数,得到功率均衡系数;
步骤A35、根据所述功率均衡系数分别对所述第三左声道信号和所述第三右声道信号进行信号调制,得到目标左声道信号和目标右声道信号。
其中,所述同侧滤波系数与所述异侧滤波系数可以根据所述扬声器张角对应的第一头相关传输函数和第二头相关传输函数,以及所述标准张角对应的第三头相关传输函数和第四头相关传输函数计算得到。具体的计算过程可以参照前述公式(6)所示的处理过程,本发明实施例在此不做进一步赘述。
记所述同侧滤波系数为GLL,f),所述异侧滤波系数为GLR,f),则所述第一目标值可以表示为:
M1=GLL,f)2+GLR,f)2 (10)
所述第二目标值可以表示为:
所述功率均衡系数可以表示为:
根据所述功率均衡系数EQP对所述第三左声道信号和所述第三右声道信号进行信号调制,就可以得到目标左声道信号和目标右声道信号。
具体的,结合前述公式(8)和公式(9),将所述第三左声道信号L3和所述第三右声道信号R3分别表示为:
L3=GLL,f)L+GLR,f)R (13)
R3=GLR,f)L+GLL,f)R (14)
那么,目标左声道信号L'与目标右声道信号R'就可以表示为:
在本发明实施例中,通过对立体声展宽处理后的第三左声道信号和第三右声道信号进行功率均衡处理,可以有效减少目标左声道信号和目标右声道信号中的音色失真,提高音质。
需要说明的是,在本发明实施例中,示出了两种立体声展宽处理过程,分别为步骤A11至步骤A13所示的处理过程,和步骤A21至步骤A24所示的处理过程。上述步骤A31至步骤A35所示的功率均衡处理过程适用于任意的立体声展宽处理过程。
上述步骤A31至步骤A35所述的功率均衡处理过程仅为本发明的一种示例性说明,并不构成对本发明的限定。在实际应用过程中,可以采用任意方式对立体声展宽处理得到的所述第三左声道信号和所述第三右声道信号进行功率均衡处理,只要能够减少目标左声道信号和目标右声道信号的音色失真即可。
在本发明实施例中,除了可以通过对所述第三左声道信号和所述第三右声道信号进行功率均衡处理,以避免生成的目标左声道信号和目标右声道信号出现音色失真,提升音色保真度和对白清晰度;还可以对所述第三左声道信号和所述第三右声道信号进行频响均衡处理,以减少生成的目标左声道信号和目标右声道信号的频率失真。
作为另一种示例,所述信号均衡处理包括频响均衡处理,步骤S22所述对所述第三左声道信号和所述第三右声道信号进行信号均衡处理,得到目标左声道信号和目标右声道信号,包括:
步骤A41、对所述第三左声道信号和所述第三右声道信号分别进行高通滤波处理和低通滤波处理,得到左声道高频信号、右声道高频信号、左声道中低频信号和右声道中低频信号;
步骤A42、对所述左声道高频信号和所述左声道中低频信号进行叠加处理,得到目标左声道信号;
步骤A43、对所述右声道高频信号和所述右声道中低频信号进行叠加处理,得到目标右声道信号。
需要说明的是,对于音频信号,通常包含低音频段、中音频段、中高音频段和高音频段等。其中,低音频段指80Hz-250Hz的频率段,包含音频信号中各声部的基础音,对低音频段的调整可以改变音频信号的平衡状态,使其趋向丰满或单薄,过多地提升则会引发“隆隆”声,并且,若音频信号中100Hz-160Hz的频段占比较多,就会导致音频信号的听感比较沉闷。中音频段指250Hz-2000Hz的频率段,对中音频段的调整可以改变音频信号的音色力度,但过多地提升则会产生类似铁皮声的音色,影响听感。中高频段指2000Hz-4000Hz的频率段,该频段的音色比较尖锐,并且对中、高频的层次感有破坏作用,对中高音频段的过度提升会掩蔽语音的识别,容易引起听者疲劳、心烦等不良反应。高音频段指4000Hz-6000Hz的频率段,该频段可以为听者带来临场感,可以增加语言、音乐的清晰度,对高频频段的提升可以改变听者对音频信号的声场定位,给听者带来身临其境的感觉。
因此,在本发明实施例中,可以通过对所述第三左声道信号和所述第三右声道信号进行频率均衡,适度的改变所述第三左声道信号和所述第三右声道信号中各个频段的占比,避免因立体声展宽处理造成的频率失真,并进一步提升生成的目标左声道信号和目标右声道信号的音质,优化听感。
具体的,可以通过高通滤波器和低通滤波器分别对所述第三左声道信号和所述第三右声道信号进行滤波处理,滤除高低频噪声,使得所述第三左声道信号和所述第三右声道信号的频响曲线趋于平直,达到避免频率失真的目的。
并且,在对立体声展宽处理后的第三左声道信号和第三右声道信号进行频率均衡处理时,可以对所述第三左声道信号和所述第三右声道信号的音频特征进行主客观分析,确定频率均衡参数。
需要说明的是,在本发明实施例中,可以对立体声展宽处理得到的第三左声道信号和第三右声道信号进行功率均衡处理或频响均衡处理,也可以对所述第三左声道信号和所述第三右声道信号同时进行功率均衡处理和频响均衡处理。其中,本发明实施例对所述功率均衡处理和所述频响均衡处理的先后顺序不做具体限定,可以先对所述第三左声道信号和所述第三右声道信号同时进行功率均衡处理,再进行频响均衡处理;也可以先对所述第三左声道信号和所述第三右声道信号同时进行频响均衡处理,再进行功率均衡处理。具体的处理过程可以参照前述对所述第三左声道信号和所述第三右声道的功率均衡处理和频响均衡处理的处理步骤,本发明实施例在此不做进一步赘述。
本发明实施例,多通路环绕声信号除了可以包括左通路信号和右通路信号,还可以包含环绕声通路信号。换言之,所述左侧信号可以包括左通路信号和左环绕通信号,所述右侧信号可以包括右通路信号和右环绕通路信号。例如,目前应用比较广泛的环绕声信号:5.1声道音频信号,就包含中置通路信号、左通路信号、右通路信号、低频效果通路信号、左环绕效果通路信号和右环绕效果通路信号。
在本发明的一种可选实施例中,所述左侧信号包括左通路信号和左环绕通路信号,所述右侧信号包括右通路信号和右环绕通路信号,步骤101所述确定待处理的多通路环绕声信号对应的标准张角,包括:
步骤S31、确定所述多通路环绕声信号的单通路信号对应的第一标准张角,以及所述多通路环绕声信号的环绕通路信号对应的第二标准张角,所述单通路信号包括左通路信号和右通路信号,所述环绕通路信号包括左环绕通路信号和右环绕通路信号;
步骤102所述基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号,包括:
步骤S32、基于所述第一标准张角和所述扬声器张角,对所述左通路信号和所述右通路信号进行下混增强处理,得到第一左声道信号和第一右声道信号;
步骤S33、基于所述第二标准张角和所述扬声器张角,对所述左环绕通路信号和所述右环绕通路信号进行下混增强处理,得到第二左声道信号和第二右声道信号;
步骤S34、对所述第一左声道信号和所述第二左声道信号进行叠加处理,得到目标左声道信号;
步骤S35、对所述第一右声道信号和所述第二右声道信号进行叠加处理,得到目标右声道信号。
多通路环绕声信号对应的标准张角,即为多声道环绕声信号的配置标准中限定的一对扬声器与听者之间的标准夹角。在本发明实施例中,所述多通路环绕声信号对应的标准张角,特指所述多通路环绕声信号的配置标准中,用于输出左侧信号的左侧扬声器,与用于输出右侧信号的右侧扬声器,以及听者之间的夹角。
因此,当所述左侧信号包括左通路信号和左环绕通路信号,所述右侧信号包括右通路信号和右环绕通路信号时,所述标准张角也存在两个,分别为左通路信号和右通路信号对应的第一标准张角,以及左环绕通路信号和右环绕通路信号对应的第二标准张角。以5.1通路环绕声为例,所述第一标准张角为用于输出左通路信号的左前置扬声器,与用于输出右通路信号的右前置扬声器,以及听者之间的夹角;所述第二标准张角为用于输出左环绕通路信号的左后置扬声器,与用于输出右环绕通路信号的右后置扬声器,以及听者之间的夹角。
需要说明的是,在本发明实施例中,对所述左环绕通路信号和所述右环绕通路信号进行下混增强处理的处理过程,与所述左通路信号和所述右环绕通路信号的下混增强处理过程类似,只需将标准张角替换为所述左环绕通路信号和所述右环绕通路信号对应的第二标准张角即可。换言之,前述在所述左侧信号为左通路信号,所述右侧信号为右通路信号的情况下,列举的所有与下混增强处理相关的步骤,均可应用于左环绕通路信号和右环绕通路信号。具体的处理过程参照前述的说明即可,本发明实施例在此不做进一步赘述。
此外,在本发明实施例中,基于多通路环绕声信号生成立体声信号的目标左声道信号和目标右声道信号时,除了可以对多通路环绕声的左侧信号和右侧信号进行处理,还可以对多通路环绕声的中置通路信号和低音通路信号进行处理。
具体的,在本发明的一种可选实施例中,步骤103所述多通路环绕声信号还包括中置通路信号和低音通路信号,所述通过所述外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号,包括:
步骤S41、对所述中置通路信号和所述低音通路信号分别进行衰减处理,得到衰减后的中置通路信号和衰减后的低音通路信号;
步骤S42、将所述衰减后的中置通路信号和所述衰减后的低音通路信号分别与所述目标左声道信号和所述目标右声道信号进行叠加,得到混合左声道信号和混合右声道信号;
步骤S43、通过所述外放设备的扬声器分别输出所述混合左声道信号和所述混合右声道信号。
参照图3,示出了本发明实施例的一种音频信号的处理流程图。如图3所示,其中,所述多通路环绕声信号包括左通路信号L、右通路信号R、左环绕通路信号LS、右环绕通路信号RS、中置通路信号C和低音通路信号LFE。下面,将结合图3,说明本发明实施例对多通路环绕声信号的各个通路信号的具体处理过程。
分别对左通路信号L和右通路信号R,以及左环绕通路信号LS和右环绕通路信号RS,进行下混增强处理。其中,所述下混增强处理包括立体声展宽处理和信号均衡处理,所述信号均衡处理还可以包括功率均衡处理和频响均衡处理。在进行下混增强处理之前,首先通过模式匹配确定左通路信号L和右通路信号R对应的第一标准张角,以及确定左环绕通路信号LS和右环绕通路信号RS的第二标准张角,然后再基于各自的标准张角进行下混增强。具体的处理过程可以参照前述各个实施例中所述左侧信号和所述右侧信号的下混增强处理过程,本发明实施例在此不做具体限定。
通过对左通路信号L、右通路信号R、左环绕通路信号LS和右环绕通路信号RS进行下混增强处理,得到第一左声道信号L1、第一右声道信号R1、第二左声道信号LS2和第二右声道信号RS2
然后,对第一左声道信号L1和第二左声道信号LS2进行叠加处理,得到目标左声道信号L'和目标右声道信号R'。
对于中置通路信号C和低音通路信号LFE,可以进行衰减处理,并将衰减后的中置通路信号和衰减后的低音通路信号分别与目标左声道信号L'和目标右声道信号R'进行叠加,得到混合左声道信号L”和混合右声道信号R”。
最后,通过外放设备的左右扬声器分别输出混合左声道信号L”和混合右声道信号R”。
在本发明实施例中,最终输出的混合左声道信号L”和混合右声道信号R”包含多通路环绕声信号中各个通路信号的相关成分,能够最大限度的保留多通路环绕声信号的空间信息,增加了外放设备输出的音频信号的空间感,提升了环绕音效。
在本发明的一种可选实施例中,步骤S41所述对所述中置通路信号和所述低音通路信号分别进行衰减处理,得到衰减后的中置通路信号和衰减后的低音通路信号,包括:
子步骤S411、根据所述多通路环绕声信号的音频内容,调整所述中置通路信号和/或所述低音通路信号的信号能量增益;
子步骤S412、对信号能量增益调整后的中置通路信号和低音通路信号分别进行衰减处理,得到衰减后的中置通路信号和衰减后的低音通路信号。
其中,各通路信号的信号能量增益用于表征信号强度,信号能量增益越大,该通路信号的信号强度越大。针对不同类型的音频内容目标音频信号中,各通路信号的信号能量增益可以不同。例如,在综艺类节目、影视类节目的音频信号中,人物对白较多,因此为了保证最终输出的音频信号的对白清晰度,可以适当增加中置通路信号的信号能量增益;在音乐类节目的音频信号中,任务对白较少,因此可以适当降低中置通路信号的信号能量增益,等等。
在一些常用的头相关传输函数库中存在低频衰减情况,部分头相关传输函数在低频部分存在一定的损失,而本发明是基于多通路环绕声信号的标准张角对应的头相关传输函数,对左侧信号和右侧信号进行下混增强处理。如果采用的头相关传输函数存在低频损失,就会导致生成的目标左声道信号和目标右声道信号中损失多通路环绕声信号的部分低频信号。因此,可以通过适当的提高低音通路信号的信号能量增益,对目标左声道信号和目标右声道信号进行低音补偿。
本发明实施例可以根据实际需求适当调整多通路环绕声信号的中置通路信号,和/或,低音通路信号的信号能量增益,可以满足多种环绕声音效的呈现需求,得到个性化的音效,提高了音频信号生成方法的适用性。
综上所述,本发明实施例基于多通路环绕声信号和外放设备的扬声器张角,对多通路环绕声信号中的左侧信号进行了下混增强处理,使得处理后的目标左声道信号和目标右声道信号通过外放设备输出后,虚拟张角与多通路环绕声信号的标准张角保持一致,从而突破了所述外放设备的扬声器张角对声场的限制,拓宽了外放设备输出的音频信号的声场,使得处理后的音频信号可以通过外放设备呈现出全方位的环绕声场,增加了外放设备输出的音频信号的空间感,提升了环绕音效。
图4是本发明实施例提供的一种音频信号处理装置的框图,所述装置应用于外放设备,所述外放设备包括至少两个扬声器,如图4所示,该装置40可以包括:
张角确定模块401,用于确定待处理的多通路环绕声信号对应的标准张角,以及所述外放设备的扬声器张角,所述多通路环绕声信号包括左侧信号和右侧信号;
下混增强处理模块402,用于基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号;
信号输出模块403,用于通过所述外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号。
在本发明的一种可选实施例中,所述下混增强处理包括立体声展宽处理,所述下混增强处理模块,包括:
第一双耳声压计算子模块,用于根据所述标准张角计算所述多通路环绕声信号对应的第一双耳声压;
第一立体声展宽处理子模块,用于基于所述扬声器张角和所述第一双耳声压,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到目标左声道信号和目标右声道信号;其中,所述目标左声道信号与所述目标右声道信号产生的第二双耳声压与所述第一双耳声压相同。
在发明的一种可选实施例中,所述第一立体声展宽处理子模块,包括:
第一头相关传输函数确定单元,用于确定所述扬声器张角对应的第一头相关传输函数和第二头相关传输函数,所述第一头相关传输函数为同侧耳头相关传输函数,所述第二头相关传输函数为异侧耳头相关传输函数;
矩阵确定单元,用于确定所述第一头相关传输函数和所述第二头相关传输函数的对称矩阵的逆矩阵;
时域卷积处理单元,用于对所述逆矩阵和所述第一双耳声压进行时域卷积处理,得到目标左声道信号和目标右声道信号,使得所述目标左声道信号与所述目标右声道信号产生的第二双耳声压与所述多通路环绕声信号对应的第一双耳声压相同。
在本发明的一种可选实施例中,所述第一立体声展宽处理子模块,包括:
第二头相关传输函数确定单元,用于确定所述扬声器张角对应的第一头相关传输函数和第二头相关传输函数,所述第一头相关传输函数为同侧耳头相关传输函数,所述第二头相关传输函数为异侧耳头相关传输函数;
第三头相关传输函数确定单元,用于确定所述标准张角对应的第三头相关传输函数和第四头相关传输函数,所述第三头相关传输函数为同侧耳头相关传输函数,所述第四头相关传输函数为异侧耳头相关传输函数;
目标滤波系数计算单元,用于根据所述第一头相关传输函数、所述第二头相关传输函数、所述第三头相关传输函数和所述第四头相关传输函数,计算目标滤波系数,所述目标滤波系数用于确定所述左侧信号和所述右侧信号对应的待展宽信息;
第一滤波处理单元,用于基于所述目标滤波系数对所述左侧信号和所述右侧信号进行滤波处理,得到目标左声道信号和目标右声道信号,所述目标左声道信号与所述目标右声道信号产生的第二双耳声压与所述多通路环绕声信号对应的第一双耳声压相同;其中,所述目标滤波系数为同侧滤波系数和异侧滤波系数组成的对称矩阵。
在本发明的一种可选实施例中,所述目标滤波系数计算单元,包括:
第一矩阵确定子单元,用于确定所述第一头相关传输函数和所述第二头相关传输函数对应的第一对称矩阵的逆矩阵;
第二矩阵确定子单元,用于确定所述第三头相关传输函数和所述第四头相关传输函数对应的第二对称矩阵;
矩阵运算子单元,用于计算所述第一对称矩阵的逆矩阵与所述第二对称矩阵的乘积,得到目标滤波系数。
在本发明的一种可选实施例中,所述滤波处理单元,包括:
第一滤波处理子单元,用于分别基于所述同侧滤波系数和所述异侧滤波系数对所述左侧信号进行滤波处理,得到第一左侧信号和第二左侧信号,所述第一左侧信号对应同侧滤波系数,所述第二左侧信号对应异侧滤波系数;
第二滤波处理子单元,用于分别基于所述同侧滤波系数和所述异侧滤波系数对所述右侧信号进行滤波处理,得到第一右侧信号和第二右侧信号,所述第一右侧信号对应同侧滤波系数,所述第二右侧信号对应异侧滤波系数;
第一信号叠加子单元,用于对所述第一左侧信号和所述第二右侧信号进行叠加处理,得到目标左声道信号;
第二信号叠加子单元,用于对所述第二左侧信号和所述第一右侧信号进行叠加处理,得到目标右声道信号。
在本发明的一种可选实施例中,所述下混增强处理包括立体声展宽处理和信号均衡处理,所述下混增强处理模块,包括:
第二立体声展宽处理子模块,用于基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到展宽后的第三左声道信号和第三右声道信号;
第一信号均衡处理子模块,用于对所述第三左声道信号和所述第三右声道信号进行信号均衡处理,得到目标左声道信号和目标右声道信号,所述信号均衡处理包括功率均衡处理和/或频响均衡处理。
在本发明的一种可选实施例中,所述信号均衡处理包括功率均衡处理,所述第一信号均衡处理子模块,包括:
第一均衡系数计算单元,用于根据所述标准张角和所述扬声器张角计算同侧滤波系数和异侧滤波系数;
第一目标值计算单元,用于计算所述同侧滤波系数和所述异侧滤波系数的平方和,得到第一目标值;
第二目标值计算单元,用于计算所述第一目标值的平方值,得到第二目标值;
第二均衡系数计算单元,用于确定所述第二目标值的倒数,得到功率均衡系数;
信号调制单元,用于根据所述功率均衡系数分别对所述第三左声道信号和所述第三右声道信号进行信号调制,得到目标左声道信号和目标右声道信号。
在本发明的一种可选实施例中,所述信号均衡处理包括频响均衡处理,所述第一信号均衡处理子模块,包括:
第二滤波处理单元,用于对所述第三左声道信号和所述第三右声道信号分别进行高通滤波处理和低通滤波处理,得到左声道高频信号、右声道高频信号、左声道中低频信号和右声道中低频信号;
第一叠加处理单元,用于对所述左声道高频信号和所述左声道中低频信号进行叠加处理,得到目标左声道信号;
第二叠加处理单元,用于对所述右声道高频信号和所述右声道中低频信号进行叠加处理,得到目标右声道信号。
在本发明的一种可选实施例中,所述左侧信号包括左通路信号和左环绕通路信号,所述右侧信号包括右通路信号和右环绕通路信号,
所述张角确定模块,包括:
张角确定子模块,用于确定所述多通路环绕声信号的单通路信号对应的第一标准张角,以及所述多通路环绕声信号的环绕通路信号对应的第二标准张角,所述单通路信号包括左通路信号和右通路信号,所述环绕通路信号包括左环绕通路信号和右环绕通路信号;
所述下混增强处理模块,包括:
第一下混增强处理子模块,用于基于所述第一标准张角和所述扬声器张角,对所述左通路信号和所述右通路信号进行下混增强处理,得到第一左声道信号和第一右声道信号;
第二下混增强处理子模块,用于基于所述第二标准张角和所述扬声器张角,对所述左环绕通路信号和所述右环绕通路信号进行下混增强处理,得到第二左声道信号和第二右声道信号;
第一叠加处理子模块,用于对所述第一左声道信号和所述第二左声道信号进行叠加处理,得到目标左声道信号;
第二叠加处理子模块,用于对所述第一右声道信号和所述第二右声道信号进行叠加处理,得到目标右声道信号。
在本发明的一种可选实施例中,所述多通路环绕声信号还包括中置通路信号和低音通路信号,所述信号输出模块,包括:
衰减处理子模块,用于对所述中置通路信号和所述低音通路信号分别进行衰减处理,得到衰减后的中置通路信号和衰减后的低音通路信号;
第三叠加处理子模块,用于将所述衰减后的中置通路信号和所述衰减后的低音通路信号分别与所述目标左声道信号和所述目标右声道信号进行叠加,得到混合左声道信号和混合右声道信号;
信号输出子模块,用于通过所述外放设备的扬声器分别输出所述混合左声道信号和所述混合右声道信号。
在本发明的一种可选实施例中,所述衰减处理子模块,包括:
信号能量增益调整单元,用于根据所述多通路环绕声信号的音频内容,调整所述中置通路信号和/或所述低音通路信号的信号能量增益;
衰减处理单元,用于对信号能量增益调整后的中置通路信号和低音通路信号分别进行衰减处理,得到衰减后的中置通路信号和衰减后的低音通路信号。
综上所述,本发明实施例提供的音频信号处理装置,可以基于多通路环绕声信号和外放设备的扬声器张角,对多通路环绕声信号中的左侧信号进行了下混增强处理,使得处理后的目标左声道信号和目标右声道信号通过外放设备输出后,虚拟张角与多通路环绕声信号的标准张角保持一致,从而突破了所述外放设备的扬声器张角对声场的限制,拓宽了外放设备输出的音频信号的声场,使得处理后的音频信号可以通过外放设备呈现出全方位的空间感,提升了环绕音效。
对于上述装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
另外,本发明实施例还提供一种终端,包括处理器,存储器,存储在存储器上并可在所述处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述音频信号处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述音频信号处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是:上述各个实施例的任意组合应用都是可行的,故上述各个实施例之间的任意组合都是本发明的实施方案,但是由于篇幅限制,本说明书在此就不一一详述了。
在此提供的音频信号处理方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造具有本发明方案的系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的操作执行方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (14)

1.一种音频信号处理方法,其特征在于,应用于外放设备,所述外放设备包括至少两个扬声器,所述方法包括:
确定待处理的多通路环绕声信号对应的标准张角,以及所述外放设备的扬声器张角,所述多通路环绕声信号包括左侧信号和右侧信号;
基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号;
通过所述外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号;
所述多通路环绕声信号还包括中置通路信号和低音通路信号,所述通过所述外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号,包括:
对所述中置通路信号和所述低音通路信号分别进行衰减处理,得到衰减后的中置通路信号和衰减后的低音通路信号;
将所述衰减后的中置通路信号和所述衰减后的低音通路信号分别与所述目标左声道信号和所述目标右声道信号进行叠加,得到混合左声道信号和混合右声道信号;
通过所述外放设备的扬声器分别输出所述混合左声道信号和所述混合右声道信号。
2.根据权利要求1所述的方法,其特征在于,所述下混增强处理包括立体声展宽处理,所述基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号,包括:
根据所述标准张角计算所述多通路环绕声信号对应的第一双耳声压;
基于所述扬声器张角和所述第一双耳声压,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到目标左声道信号和目标右声道信号;其中,所述目标左声道信号与所述目标右声道信号产生的第二双耳声压与所述第一双耳声压相同。
3.根据权利要求2所述的方法,其特征在于,所述基于所述扬声器张角和所述第一双耳声压,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到目标左声道信号和目标右声道信号,包括:
确定所述扬声器张角对应的第一头相关传输函数和第二头相关传输函数,所述第一头相关传输函数为同侧耳头相关传输函数,所述第二头相关传输函数为异侧耳头相关传输函数;
确定所述第一头相关传输函数和所述第二头相关传输函数的对称矩阵的逆矩阵;
对所述逆矩阵和所述第一双耳声压进行时域卷积处理,得到目标左声道信号和目标右声道信号,使得所述目标左声道信号与所述目标右声道信号产生的第二双耳声压与所述多通路环绕声信号对应的第一双耳声压相同。
4.根据权利要求2所述的方法,其特征在于,所述基于所述扬声器张角和所述第一双耳声压,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到目标左声道信号和目标右声道信号,包括:
确定所述扬声器张角对应的第一头相关传输函数和第二头相关传输函数,所述第一头相关传输函数为同侧耳头相关传输函数,所述第二头相关传输函数为异侧耳头相关传输函数;
确定所述标准张角对应的第三头相关传输函数和第四头相关传输函数,所述第三头相关传输函数为同侧耳头相关传输函数,所述第四头相关传输函数为异侧耳头相关传输函数;
根据所述第一头相关传输函数、所述第二头相关传输函数、所述第三头相关传输函数和所述第四头相关传输函数,计算目标滤波系数,所述目标滤波系数用于确定所述左侧信号和所述右侧信号对应的待展宽信息;
基于所述目标滤波系数对所述左侧信号和所述右侧信号进行滤波处理,得到目标左声道信号和目标右声道信号,所述目标左声道信号与所述目标右声道信号产生的第二双耳声压与所述多通路环绕声信号对应的第一双耳声压相同;其中,所述目标滤波系数为同侧滤波系数和异侧滤波系数组成的对称矩阵。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一头相关传输函数、所述第二头相关传输函数、所述第三头相关传输函数和所述第四头相关传输函数,计算目标滤波系数,包括:
确定所述第一头相关传输函数和所述第二头相关传输函数对应的第一对称矩阵的逆矩阵;
确定所述第三头相关传输函数和所述第四头相关传输函数对应的第二对称矩阵;
计算所述第一对称矩阵的逆矩阵与所述第二对称矩阵的乘积,得到目标滤波系数。
6.根据权利要求4所述的方法,其特征在于,所述基于所述目标滤波系数对所述左侧信号和所述右侧信号进行滤波处理,得到目标左声道信号和目标右声道信号,包括:
分别基于同侧滤波系数和异侧滤波系数对所述左侧信号进行滤波处理,得到第一左侧信号和第二左侧信号,所述第一左侧信号对应同侧滤波系数,所述第二左侧信号对应异侧滤波系数;
分别基于所述同侧滤波系数和所述异侧滤波系数对所述右侧信号进行滤波处理,得到第一右侧信号和第二右侧信号,所述第一右侧信号对应同侧滤波系数,所述第二右侧信号对应异侧滤波系数;
对所述第一左侧信号和所述第二右侧信号进行叠加处理,得到目标左声道信号;
对所述第二左侧信号和所述第一右侧信号进行叠加处理,得到目标右声道信号。
7.根据权利要求1所述的方法,其特征在于,所述下混增强处理包括立体声展宽处理和信号均衡处理,所述基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号,包括:
基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行立体声展宽处理,得到展宽后的第三左声道信号和第三右声道信号;
对所述第三左声道信号和所述第三右声道信号进行信号均衡处理,得到目标左声道信号和目标右声道信号,所述信号均衡处理包括功率均衡处理和/或频响均衡处理。
8.根据权利要求7所述的方法,其特征在于,所述信号均衡处理包括功率均衡处理,所述对所述第三左声道信号和所述第三右声道信号进行信号均衡处理,得到目标左声道信号和目标右声道信号,包括:
根据所述标准张角和所述扬声器张角计算同侧滤波系数和异侧滤波系数;
计算所述同侧滤波系数和所述异侧滤波系数的平方和,得到第一目标值;
计算所述第一目标值的平方值,得到第二目标值;
确定所述第二目标值的倒数,得到功率均衡系数;
根据所述功率均衡系数分别对所述第三左声道信号和所述第三右声道信号进行信号调制,得到目标左声道信号和目标右声道信号。
9.根据权利要求7所述的方法,其特征在于,所述信号均衡处理包括频响均衡处理,所述对所述第三左声道信号和所述第三右声道信号进行信号均衡处理,得到目标左声道信号和目标右声道信号,包括:
对所述第三左声道信号和所述第三右声道信号分别进行高通滤波处理和低通滤波处理,得到左声道高频信号、右声道高频信号、左声道中低频信号和右声道中低频信号;
对所述左声道高频信号和所述左声道中低频信号进行叠加处理,得到目标左声道信号;
对所述右声道高频信号和所述右声道中低频信号进行叠加处理,得到目标右声道信号。
10.根据权利要求1所述的方法,其特征在于,所述左侧信号包括左通路信号和左环绕通路信号,所述右侧信号包括右通路信号和右环绕通路信号,
所述确定待处理的多通路环绕声信号对应的标准张角,包括:
确定所述多通路环绕声信号的单通路信号对应的第一标准张角,以及所述多通路环绕声信号的环绕通路信号对应的第二标准张角,所述单通路信号包括左通路信号和右通路信号,所述环绕通路信号包括左环绕通路信号和右环绕通路信号;
所述基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号,包括:
基于所述第一标准张角和所述扬声器张角,对所述左通路信号和所述右通路信号进行下混增强处理,得到第一左声道信号和第一右声道信号;
基于所述第二标准张角和所述扬声器张角,对所述左环绕通路信号和所述右环绕通路信号进行下混增强处理,得到第二左声道信号和第二右声道信号;
对所述第一左声道信号和所述第二左声道信号进行叠加处理,得到目标左声道信号;
对所述第一右声道信号和所述第二右声道信号进行叠加处理,得到目标右声道信号。
11.根据权利要求1所述的方法,其特征在于,所述对所述中置通路信号和所述低音通路信号分别进行衰减处理,得到衰减后的中置通路信号和衰减后的低音通路信号,包括:
根据所述多通路环绕声信号的音频内容,调整所述中置通路信号和/或所述低音通路信号的信号能量增益;
对信号能量增益调整后的中置通路信号和低音通路信号分别进行衰减处理,得到衰减后的中置通路信号和衰减后的低音通路信号。
12.一种音频信号处理装置,其特征在于,应用于外放设备,所述外放设备包括至少两个扬声器,所述装置包括:
张角确定模块,用于确定待处理的多通路环绕声信号对应的标准张角,以及所述外放设备的扬声器张角,所述多通路环绕声信号包括左侧信号和右侧信号;
下混增强处理模块,用于基于所述标准张角和所述扬声器张角,对所述左侧信号和所述右侧信号进行下混增强处理,得到目标左声道信号和目标右声道信号;
信号输出模块,用于通过所述外放设备的扬声器分别输出所述目标左声道信号和所述目标右声道信号;
所述多通路环绕声信号还包括中置通路信号和低音通路信号,所述信号输出模块,包括:
衰减处理子模块,用于对所述中置通路信号和所述低音通路信号分别进行衰减处理,得到衰减后的中置通路信号和衰减后的低音通路信号;
第三叠加处理子模块,用于将所述衰减后的中置通路信号和所述衰减后的低音通路信号分别与所述目标左声道信号和所述目标右声道信号进行叠加,得到混合左声道信号和混合右声道信号;
信号输出子模块,用于通过所述外放设备的扬声器分别输出所述混合左声道信号和所述混合右声道信号。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至11中任一所述的音频信号处理方法。
14.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的数据处理程序,以实现权利要求1至11任一所述的音频信号处理方法。
CN202111274850.7A 2021-10-29 2021-10-29 一种音频信号处理方法、装置及计算机可读存储介质 Active CN114143699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111274850.7A CN114143699B (zh) 2021-10-29 2021-10-29 一种音频信号处理方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111274850.7A CN114143699B (zh) 2021-10-29 2021-10-29 一种音频信号处理方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114143699A CN114143699A (zh) 2022-03-04
CN114143699B true CN114143699B (zh) 2023-11-10

Family

ID=80395068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111274850.7A Active CN114143699B (zh) 2021-10-29 2021-10-29 一种音频信号处理方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114143699B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117135557A (zh) * 2022-08-05 2023-11-28 深圳Tcl数字技术有限公司 音频处理方法、装置、电子设备、存储介质和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050019001A (ko) * 1995-07-28 2005-02-28 에스알에스 랩스, 인크. 음향 교정 장치
CN101902679A (zh) * 2009-05-31 2010-12-01 比亚迪股份有限公司 立体声音频信号模拟5.1声道音频信号的处理方法
CN108632714A (zh) * 2017-03-23 2018-10-09 展讯通信(上海)有限公司 扬声器的声音处理方法、装置及移动终端
CN109525922A (zh) * 2019-01-18 2019-03-26 音王电声股份有限公司 一种新型的数字音频信号分配解码系统
CN113038355A (zh) * 2014-03-24 2021-06-25 三星电子株式会社 用于渲染声信号的方法和设备,以及计算机可读记录介质
CN113347551A (zh) * 2021-04-30 2021-09-03 北京奇艺世纪科技有限公司 一种单声道音频信号的处理方法、装置及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108156575B (zh) * 2017-12-26 2019-09-27 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
US10841728B1 (en) * 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050019001A (ko) * 1995-07-28 2005-02-28 에스알에스 랩스, 인크. 음향 교정 장치
CN101902679A (zh) * 2009-05-31 2010-12-01 比亚迪股份有限公司 立体声音频信号模拟5.1声道音频信号的处理方法
CN113038355A (zh) * 2014-03-24 2021-06-25 三星电子株式会社 用于渲染声信号的方法和设备,以及计算机可读记录介质
CN108632714A (zh) * 2017-03-23 2018-10-09 展讯通信(上海)有限公司 扬声器的声音处理方法、装置及移动终端
CN109525922A (zh) * 2019-01-18 2019-03-26 音王电声股份有限公司 一种新型的数字音频信号分配解码系统
CN113347551A (zh) * 2021-04-30 2021-09-03 北京奇艺世纪科技有限公司 一种单声道音频信号的处理方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN114143699A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
US9398391B2 (en) Stereo widening over arbitrarily-configured loudspeakers
US9232312B2 (en) Multi-channel audio enhancement system
US7467021B2 (en) System and method for enhanced streaming audio
JP5341919B2 (ja) ステレオ音響の拡幅
US7720240B2 (en) Audio signal processing
CN108632714B (zh) 扬声器的声音处理方法、装置及移动终端
WO2001026422A2 (en) Acoustic correction apparatus
CN102611966B (zh) 用于虚拟环绕渲染的扬声器阵列
TW201926321A (zh) 用於不匹配聽覺傳輸技術揚聲器系統之增強虛擬立體聲重現
US11736863B2 (en) Subband spatial processing and crosstalk cancellation system for conferencing
WO2020151837A1 (en) Method and apparatus for processing a stereo signal
CN111556425B (zh) 一种扬声器虚拟声重放的音色均衡方法
CN102550048B (zh) 一种用于处理音频信号的方法和装置
US12183358B2 (en) Sound field related rendering
CN114143699B (zh) 一种音频信号处理方法、装置及计算机可读存储介质
CN114143698B (zh) 一种音频信号处理方法、装置及计算机可读存储介质
CN113645531B (zh) 一种耳机虚拟空间声回放方法、装置、存储介质及耳机
CN116367076A (zh) 车辆内音频处理方法、设备及存储介质
WO2023221607A1 (zh) 声场均衡调整方法、装置、设备和计算机可读存储介质
JP7332745B2 (ja) 音声処理方法及び音声処理装置
KR20240023210A (ko) 올패스 필터 네트워크를 사용한 고도 지각적 큐의 무색 생성
WO2024081957A1 (en) Binaural externalization processing
CN118301535A (zh) 音频上混算法处理方法、装置、电子设备和存储介质
Bharitkar An alternative design for multichannel and multiple listener room acoustic equalization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant