Nothing Special   »   [go: up one dir, main page]

CN102057424A - 用于经编码的音频数据的错误隐藏的方法和装置 - Google Patents

用于经编码的音频数据的错误隐藏的方法和装置 Download PDF

Info

Publication number
CN102057424A
CN102057424A CN2009801219526A CN200980121952A CN102057424A CN 102057424 A CN102057424 A CN 102057424A CN 2009801219526 A CN2009801219526 A CN 2009801219526A CN 200980121952 A CN200980121952 A CN 200980121952A CN 102057424 A CN102057424 A CN 102057424A
Authority
CN
China
Prior art keywords
parameter
parameter value
value
frame
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801219526A
Other languages
English (en)
Other versions
CN102057424B (zh
Inventor
L·拉克索南
M·塔米
A·瓦希拉谢
A·拉莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102057424A publication Critical patent/CN102057424A/zh
Application granted granted Critical
Publication of CN102057424B publication Critical patent/CN102057424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种经编码的音频数据中的帧错误隐藏的方法包括：接收多个帧中的经编码的音频数据；并且使用保存的来自一个或多个先前帧的一个或多个参数值来重建有帧错误的帧。使用所述保存的一个或多个参数值包括至少部分地基于所述保存的一个或多个参数值来推导参数值并且将推导出的值应用到所述有帧错误的帧。

Description

用于经编码的音频数据的错误隐藏的方法和装置
技术领域
本发明涉及音频数据的编码和解码。特别地，本发明涉及经编码的音频数据中的错误隐藏。
背景技术
本节旨在于提供关于在权利要求中所叙述的本发明的背景或概况。此处的描述可包括可以实行但不一定在先前已被设想或实行的概念。因此，除非本文中另有说明，否则本节中所描述的不是关于本申请书中的描述和权利要求的现有技术并且不因包含于本节之中而被承认是现有技术。
也被称为分层编码的嵌入式可变速率编码一般指的是产生比特流使得可以以高质量对比特流的子集进行解码的语音编码算法。通常情况下，核心编解码器工作在低比特速率上并且在核心之上使用了若干个层以提高输出质量(例如可能包括扩展频率带宽或者改善编码的粒度)。在解码器上，可以解码对应于核心编解码器的仅仅一部分比特流，或者额外地解码对应于在核心之上的一个或多个层的部分的比特流或整个比特流，以产生输出信号。
国际电信联盟电信标准化部门(ITU-T)正处于开发针对G.718(被称为EV-VBR)和G.729.1型嵌入式可变速率语音编解码器的超宽带(SWB)和立体声的扩展的过程中。将EV-VBR编解码器的频率带宽从7kHz扩展到14kHz的SWB扩展和待标准化的立体声扩展弥合了语音与音频编码之间的间隙。G.718和G.729.1是可以在其之上应用扩展的核心编解码器的例子。
信道错误发生在无线通信网络和分组网络中。这些错误可能导致到达接收器的一些数据段损坏(例如，被误码所污染)，并且一些数据段可能完全丢失或被擦除。例如，在G.718和G.729.1编解码器的情况中，信道错误导致需要处理帧擦除。在SWB(以及立体声)扩展中(特别是从G.718的角度来看)需要提供信道错误的鲁棒性。
发明内容
在本发明的一个方面中，一种在经编码的音频数据中的帧错误隐藏的方法，包括：接收多个帧中的经编码的音频数据；并且使用保存的来自一个或多个先前帧的一个或多个参数值来重建有帧错误的帧。使用保存的一个或多个参数值包括：至少部分地基于保存的一个或多个参数值来推导参数值并且将推导出的值应用到有帧错误的帧。
在一个实施方式中，保存的参数值对应于一个或多个无错先前帧的参数值。在一个实施方式中，保存的参数值对应于最近的无错先前帧的参数值。在一个实施方式中，保存的参数值对应于先前的经重建的有错帧的参数值。
在一个实施方式中，缩放保存的参数值，以保持较高频率中的周期性分量。
在一个实施方式中，保存的参数值包括修正离散余弦变换(MDCT)谱值。可以根据下式为整个较高频率范围缩放MDCT谱值：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect。
在一个实施方式中，保存的参数值包括正弦分量值。可以根据下式来缩放正弦分量值：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin。
在一个实施方式中，缩放被配置成逐步地降低较长错误突发的能量。
在本发明的另一方面中，一种装置包括解码器，该解码器被配置成接收多个帧中的经编码的音频数据；并且使用保存的来自先前帧的参数值来重建有帧错误的帧。使用保存的参数值包括：缩放保存的参数值并且将经缩放的值应用到有帧错误的帧。
在一个实施方式中，保存的参数值对应于一个或多个无错先前帧的参数值。在一个实施方式中，保存的参数值对应于最近的无错先前帧的参数值。在一个实施方式中，保存的参数值对应于先前的经重建的有错帧的参数值。
在一个实施方式中，缩放保存的参数值，以保持较高频率中的周期性分量。
在一个实施方式中，保存的参数值包括修正离散余弦变换(MDCT)谱值。可以根据下式为整个较高频率范围缩放MDCT谱值：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect。
在一个实施方式中，保存的参数值包括正弦分量值。可以根据下式来缩放正弦分量值：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin。
在一个实施方式中，缩放被配置成逐步地降低较长错误突发的能量。
在又一方面中，本发明涉及一种装置，其包括处理器以及通信地连接到所述处理器的存储器单元。存储器单元包括：用于接收多个帧中的经编码的音频数据的计算机代码；以及用于使用保存的来自先前帧的参数值来重建有帧错误的帧的计算机代码。用于使用保存的参数值的计算机代码包括用于缩放保存的参数值并且将经缩放的值应用到有帧错误的帧的计算机代码。
在一个实施方式中，保存的参数值对应于一个或多个无错先前帧的参数值。在一个实施方式中，保存的参数值对应于最近的无错先前帧的参数值。在一个实施方式中，保存的参数值对应于先前的经重建的有错帧的参数值。
在一个实施方式中，缩放保存的参数值，以保持较高频率中的周期性分量。
在一个实施方式中，保存的参数值包括修正离散余弦变换(MDCT)谱值。用于缩放的计算机代码可以被配置成根据下式为整个较高频率范围缩放MDCT谱值：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect。
在一个实施方式中，保存的参数值包括正弦分量值。用于缩放的计算机代码可以被配置成根据下式来缩放正弦分量值：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin。
在一个实施方式中，计算机代码缩放被配置成逐步地降低较长错误突发的能量。
在另一方面中，一种实施于计算机可读介质上的计算机程序产品，包括：用于接收多个帧中的经编码的音频数据的计算机代码；以及用于使用保存的来自先前帧的参数值来重建有帧错误的帧的计算机代码。用于使用保存的参数值的计算机代码包括用于缩放保存的参数值并且将经缩放的值应用到有帧错误的帧的计算机代码。
在一个实施方式中，保存的参数值对应于一个或多个无错先前帧的参数值。在一个实施方式中，保存的参数值对应于最近的无错先前帧的参数值。在一个实施方式中，保存的参数值对应于先前的经重建的有错帧的参数值。
在一个实施方式中，缩放保存的参数值，以保持较高频率中的周期性分量。
在一个实施方式中，保存的参数值包括修正离散余弦变换(MDCT)谱值。用于缩放的计算机代码可以被配置成根据下式为整个较高频率范围缩放MDCT谱值：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect。
在一个实施方式中，保存的参数值包括正弦分量值。用于缩放的计算机代码可以被配置为根据下式来缩放正弦分量值：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin。
在一个实施方式中，计算机代码缩放被配置成逐步地降低较长错误突发的能量。
本发明的各种实施方式的这些和其他优点，连同其操作的组织和方式一起，将从下面结合附图的详细描述中变得明晰。
附图说明
本发明的示例性实施方式通过参照附图进行描述，其中：
图1为示例说明根据本发明的一个实施方式的示例性帧错误隐藏方法的流程图；
图2A和图2B示例说明根据本发明的一个实施方式的帧错误隐藏方法对于通用帧的应用；
图3A和图3B示例说明根据本发明的一个实施方式的帧错误隐藏方法对于音调帧的应用；
图4为在其内可以实现本发明的各种实施方式的系统的概况图；
图5示例说明可以根据本发明的各种实施方式进行利用的示例性电子设备的透视图；
图6为可以包括在图5的电子设备中的电路的示意图；以及
图7为在其内可以实现各种实施方式的通用多媒体通信系统的图示。
具体实施方式
在下面的描述中，为了解释而非限制的目的而阐述了细节和描述，以提供对本发明的透彻理解。然而，本领域中的技术人员将会清楚，本发明可以在偏离这些细节和描述的其他实施方式中实行。
帧擦除可以使核心编解码器输出产生失真。尽管已经通过用于编解码器(如G.718)中的现有机制最小化了帧擦除的可感知效应，但在时域和频域中的信号形状可能受到相当大的影响，特别是有数量繁多的帧丢失的情况下。用于扩展编码的方法的一个例子为将较低频率内容映射到较高频率。在这样的方法中较低频率内容上的帧擦除也可能影响较高频率上的信号质量。这在重建的输出信号中可能会导致可听到的和令人烦扰的失真。
用于如上述G.718和G.729.1编解码器之类的核心编解码器的扩展编码框架的一个示例性实施方式可以利用两个模式。一个模式可以为音调编码模式，其被优化用于处理表现出周期性较高频率范围的音调信号。第二模式可以为对其他类型的帧进行处理的通用编码模式。扩展编码可以例如在修正离散余弦变换(MDCT)域中操作。在其他实施方式中，可以使用其它变换，如快速傅立叶变换(FFT)。在音调编码模式中，向变换域谱(例如，MDCT谱)中插入了对在感知上最为相关的信号分量进行近似的正弦。在通用编码模式中，将较高频率范围分为一个或多个频带，并且利用一组增益因子(例如，两个独立的增益因子)将与每个频带中的较高频率内容最相似的低频区域映射到该较高频率。技术的这一变化通常被称为“带宽扩展”。
本发明的实施方式使用采用了通用和音调编码模式的上述示例性框架(即，一个框架)的扩展编码参数来进行帧错误隐藏，用以最小化令人烦扰的赝像并且用以在帧错误期间保持扩展部分的可感知信号特性。
在一个实施方式中，将错误隐藏实现为扩展编码框架的一部分，包括：基于帧的分类；通用编码模式(例如，带宽扩展模式)，其中上频率范围是通过将较低频率映射到较高频率而构建的；以及音调编码模式，其中帧是通过插入若干正弦分量而编码的。在另一实施方式中，将错误隐藏实现为如下所述的扩展编码框架的一部分，该扩展编码框架在无分类步骤的情况下为所有的帧采用这些方法的组合(即，在通用编码模式和音调编码模式中使用的机制的组合)。而在又一实施方式中，可以采用除通用模式和音调模式之外的额外的编码模式。
结合某些核心编码(例如结合G.718核心编解码器)使用的扩展编码提供可为帧错误隐藏所利用的各种参数。扩展编码框架中的可用参数可包括：核心编解码器编码模式、扩展编码模式、通用编码模式参数(例如，带的滞后指数、正负号、用于频带映射的一组增益、时域能量调节参数，以及如用于音调模式的类似参数)，以及音调模式参数(正弦位置、正负号和幅度)。此外，经处理的信号可能包含有单通道或者多通道(例如，立体声或者双声道信号)。
对于个别的帧错误，本发明的实施方式允许将较高频率在感知上维持与前一帧类似；而对于较长错误突发，则将能量逐渐降低。因此，本发明的实施方式还可以用于从包括扩展贡献的信号(例如，SWB信号)到仅包含核心编解码器输出的信号(例如，WB信号)的切换，这可以例如在比特流在被解码前被截断时发生在嵌入式可缩放编码或传输中。
由于音调模式一般用于信号在较高频率中具有周期性质的部分，因此本发明的某些实施方式使用这样的假设：在帧错误期间也应在信号中保留这些特质，而不是产生间断点。尽管在一些帧中突然改变能量水平可能产生在感知上恼人的效应，但在通用帧中的目的可能是衰减错误的输出。根据本发明的某些实施方式，能量的降低完成得相当缓慢，从而针对单帧错误保持一个或多个先前帧的感知特性。就这点而言，本发明的实施方式可用于从扩展编解码器输出切换到仅有核心编解码器输出(例如，当SWB层被截断时，从SWB到WB)。由于MDCT的重叠相加性质，来自先前(有效)帧的贡献影响到第一擦除帧(或者紧随比特流截断之后的帧)，并且对于一些信号而言，能量的缓慢降低与插入包含具有零值的样本的帧之间的差异可能不一定明显。
现在参考图1，其示例说明了根据本发明的一个实施方式的用于帧错误隐藏的示例性处理过程200。为了实现本发明的各种实施方式，可以将来自一个或多个先前帧的较高层MDCT谱和关于正弦分量的信息(例如位置、正负号和幅度)保存在存储器中，以备在有帧错误时用于下一帧(框202)。在框204，处理过程前进到下一帧并且确定是否存在帧错误(框206)。如果不存在帧错误，那么处理过程返回到框202并且保存上述参数。在帧错误期间，一个或多个先前帧的MDCT谱因此可用并且可被处理，例如缩减，并且作为当前帧的高频贡献而传递下去。此外，在MDCT谱中关于正弦分量的信息(例如位置、正负号和幅度)的信息也是已知的。相应地，可以产生经重建的帧(框208)。
图2A、图2B、图3A和图3B示例说明了根据本发明的实施方式的帧错误隐藏的示例性实现。图2A和图2B示例说明了向通用帧应用帧错误隐藏的效果。就这点而言，图2A示例说明了无帧错误的有效帧210的谱。如上所述，可以保存来自一个或多个先前的有效帧210的较高层MDCT谱和正弦分量信息。图2B示例说明了在应用根据本发明的实施方式的帧错误隐藏后替换掉丢失帧的经重建的帧220的谱的例子。如可从图2A和图2B中注意到的那样，从一个或多个先前帧推导出的内容的能量(图2A)衰减得更为强烈，而在正弦分量212、214、222、224上则应用了较弱的衰减。
图3A和图3B示例说明了帧错误隐藏对于音调帧的应用。就这点而言，图3A示例说明了无帧错误的有效帧230，而图3B示例说明了用以在应用了根据本发明的实施方式的帧错误隐藏后替换掉丢失的帧的经重建的帧240。对于音调帧230、240，应用了甚至比对于图2A和图2B的通用信号的正弦分量212、214、222、224的衰减更弱的衰减。
因此，根据本发明的实施方式，MDCT谱的处理可以描述如下。为整个较高频率范围执行第一缩放：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect。
为正弦分量执行如下式所给出的第二缩放：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin。
在其他实施方式中，替代于向所有频率分量应用恒定缩放因子，还可以使用例如相较于高频范围的较低部分更大地衰减较高部分的缩放函数。
根据本发明的实施方式，可以基于诸如用于错误隐藏处理的在前帧的类型之类的信息来决定缩放因子值。在一个实施方式中，仅考虑在前有效帧的扩展编码模式，例如SWB模式。如果其为通用帧，那么使用取值为例如0.5和0.6的缩放因子。对于音调帧，对于正弦分量的幅度可以使用取值为0.9的缩放因子。因此，在这一实施方式中，在音调帧中的MDCT谱中除了正弦分量以外没有其他内容，并且因此可以大大简化用以获得当前帧的MDCT谱(m(k))的处理过程。在其他实施方式中，在可被视为音调模式的模式中可能有正弦以外的内容。
注意，在某些实施方式中，可以考虑来自一个以上的先前帧的数据。此外，一些实施方式可以使用例如来自除最近的帧以外的单个先前帧的数据。而在又一实施方式中，可以考虑来自一个或多个未来帧的数据。
在构建了丢失的帧的MDCT谱后，可以用类似于有效帧的方式对其进行处理。因此，可以应用逆变换来获得时域信号。在某些实施方式中，也可以保存来自丢失帧的MDCT谱，以备在一旦下一帧也被丢失以及需要调用错误隐藏处理的情况下在该帧中使用。
在本发明的某些实施方式中，可以向信号应用现在在时域中的进一步缩放。在例如可以结合G.718或G.729.1编解码器使用的、在这里用作例子的框架中，可以在时域中执行信号的缩小，例如在每个帧中的8个子帧上以一个子帧接一个子帧为基础，假如这在编码器侧看来是必要的。根据本发明的实施方式，为了避免在较高频率中引入不必要的强能量内容，接下来展示可用来避免这种情况的措施的两个例子。
首先，如果在前的有效帧为通用编码，那么可以进行一个子帧接一个子帧的缩小。其可以利用例如在前有效帧的缩放值或者为帧擦除而设计的特殊缩放方案。后者可以例如为当前帧高频能量的简单降低。
其次，可以利用一个或多个丢失的(经重建的)帧上的平滑窗口来降低较高频带中的贡献。在各种实施方式中，可以附加于先前的时域缩放来执行这一动作，或者执行这一动作来替代先前的时域缩放。
用于缩放方案的判定逻辑在本发明的不同实施方式中可以更复杂一些，也可以更简单一些。特别是，在一些实施方式中，核心编解码器编码模式可以与扩展编码模式一同考虑。在一些实施方式中，可以考虑核心编解码器的一些参数。在一个实施方式中，音调模式标签在第一丢失帧后被切换到零，以在帧擦除状态长于一个帧的情况下更快地衰减正弦分量。
因此，本发明的实施方式在不引入令人烦扰的赝像的情况下在帧擦除发生时提供提高的性能。
图4示出了在其中可以利用本发明的各种实施方式的系统10，其包括可以通过一个或多个网络进行通信的多个通信设备。系统10可以包括有线或无线网络的任何组合，这些网络包括但不限于：移动电话网、无线局域网(LAN)、蓝牙个人区域网络、以太网LAN、令牌环LAN、广域网、因特网，等等。系统10可以既包括有线通信设备又包括无线通信设备。
举例而言，图4中所示的系统10包括移动电话网11和因特网28。到因特网28的连接性可以包括但不限于：远程无线连接、短程无线连接，以及各种有线连接，这些有线连接包括但不限于：电话线、电缆线、电源线，等等。
系统10的示例性通信设备包括但不限于：形式为移动电话的电子设备12、个人数字助理(PDA)与移动电话的组合体14、PDA16、集成式消息收发设备(IMD)18、台式计算机20、笔记本计算机22，等等。通信设备可以为固定式，或者如由移动中的个人所携带时的情况那样为移动式。通信设备还可以位于运输模式之中，该模式包括但不限于：汽车、卡车、出租车、公共汽车、火车、船舶、飞机、自行车、摩托车，等等。一些通信设备或所有通信设备可以通过到基站24的无线连接25发送和接收呼叫和消息并与服务提供商通信。基站24可以连接到允许在移动电话网11与因特网28之间进行通信的网络服务器26。系统10可以包括额外的通信设备和不同类型的通信设备。
通信设备可以使用各种传输技术来进行通信，这些传输技术包括但不限于：码分多址接入(CDMA)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/互联网协议(TCP/IP)、短消息收发服务(SMS)、多媒体消息收发服务(MMS)、电子邮件、即时消息收发服务(IMS)、蓝牙、IEEE 802.11，等等。在本发明的各种实施方式的实现中所涉及的通信设备可以使用各种介质来通信，这些介质包括但不限于：无线电、红外线、激光、电缆连接，等等。
图5和图6示出了一个可以根据本发明的各种实施方式而被用作网络节点的具代表性的电子设备28。然而应当理解，本发明的范围无意限于一种特定类型的设备。图5和图6的电子设备28包括壳体30、形式为液晶显示器的显示器32、小键盘34、话筒36、听筒38、电池40、红外端口42、天线44、根据一个实施方式形式为UICC的智能卡46、读卡器48、无线电接口电路52、编解码器电路54、控制器56以及存储器58。上述组件使电子设备28能够向/从可驻留在根据本发明的各种实施方式的网络上的其他设备发送/接收各种消息。单独的电路和元件全都是本领域中众所周知的类型，例如在移动电话的诺基亚(Nokia)范围中。
图7为在其内可以实现各种实施方式的通用多媒体通信系统的图示。如图7中所示，数据源100以模拟、未压缩数字或者压缩数字格式或者这些格式的任何组合来提供源信号。编码器110将源信号编码为经编码的媒体比特流。应当注意的是，待解码的比特流可以从位于几乎任何类型的网络内的远程设备直接或间接地接收。此外，比特流可以从本地硬件或软件接收。编码器110可以能够编码一种以上的媒体类型，如音频和视频；或者可能需要一个以上的编码器110来编码不同媒体类型的源信号。编码器110还可能得到合成产生的输入，如图形和文字；或者其可以能够产生合成媒体的经编码的比特流。在下文中，仅考虑了一种媒体类型的一个经编码的媒体比特流的处理，以简化描述。然而应当注意，通常情况下实时广播服务包括几个流(通常情况下至少一个音频、视频和文字字幕流)。还应当注意，系统可能包括许多编码器，但在图7中仅呈现了一个编码器110，以在不失普遍性的情况下简化描述。还应当理解，尽管在本文中所含的文字和例子可能具体描述编码处理过程，但本领域中的技术人员将会理解相同的概念和原理也适用于相应的解码处理过程，并且反之亦然。
经编码的媒体比特流被传输到存储器120。存储器120可以包括任何类型的大容量存储器用以储存经编码的媒体比特流。存储器120中的经编码的媒体比特流的格式可以是基本的自包含比特流格式，或者可以将一个或多个经编码的媒体比特流封装在容器文件中。一些系统“现场式”地工作，即省略掉存储器并将经编码的媒体比特流从编码器110直接地传输到发送器130。随后根据需要将经编码的媒体比特流传输到发送器130(也被称为服务器)。在传输中所使用的格式可以为基本的自包含比特流格式、分组流格式，或者可以将一个或多个经编码的媒体比特流封装在容器文件中。编码器110、存储器120和服务器130可以驻留在同一物理设备之中，或者它们可以被包含于分立的设备之中。可以用现场的实时内容操作编码器110和服务器130，在这种情况下经编码的媒体比特流通常不会永久储存，而是在内容编码器110和/或在服务器130中短时缓冲，以平滑掉在处理延迟、传输延迟和被编码媒体比特率中的变动。
服务器130使用通信协议堆栈发送经编码的媒体比特流。堆栈可以包括但不限于：实时传输协议(RTP)、用户数据报协议(UDP)以及因特网协议(IP)。当通信协议堆栈面向分组时，服务器130将经编码的媒体比特流封装在分组中。例如，在使用RTP时，服务器130根据RTP载荷格式将经编码的媒体比特流封装在RTP分组中。通常情况下，每种媒体类型具有专用的RTP载荷格式。应当再次注意，系统可能包括一个以上的服务器130，但是为简单起见，下面的描述仅考虑一个服务器130。
服务器130可以或可以不通过通信网络连接到网关140。网关140可以执行不同类型的功能，例如从根据一种通信协议堆栈的分组流到另一通信协议堆栈的转译、数据流的合并和分叉，以及根据下行链路和/或接收器性能的数据流操纵，如根据现时的下行链路网络条件控制转发的流的比特速率。网关140的例子包括：MCU、电路交换与分组交换视频电话之间的网关、无线一键通(PoC)服务器、数字视频广播-手持(DVB-H)系统中的IP封装器，或者将广播传输本地地转发到家庭无线网络的机顶盒。在使用RTP时，网关140被称为RTP混合器或者RTP译码器并且通常作为RTP连接的端点。
系统包括一个或多个接收器150，通常能够接收并解调经传输的信号，并将其解封装为经编码的媒体比特流。经编码的媒体比特流被传输到记录存储器155。记录存储器155可以包括任何类型的大容量存储器以储存经编码的媒体比特流。记录存储器155可以备选地或附加地包括计算存储器，如随机存取存储器。记录存储器155中的经编码的媒体比特流的格式可以为基本的自包含比特流格式；或者可以将一个或多个经编码的媒体比特流封装在容器文件中。如果有多个相互关联的经编码的媒体比特流，如音频流和视频流，那么通常使用容器文件并且接收器150包括或者附接到从输入流中产生容器文件的容器文件生成器。一些系统“现场式”地操作，即省略掉记录存储器155并将经编码的媒体比特流从接收器150直接地传输到解码器160。在一些系统中，在记录存储器155中仅保持经记录的流的最近部分，例如经记录的流的最近10分钟选录，而任何更早的经记录的数据都将被从记录存储器155中丢弃。
经编码的媒体比特流从记录存储器155传输到解码器160。如果有许多相互关联并且封装在容器文件中的经编码的媒体比特流，如音频流和视频流，那么使用文件解析器(未在图中示出)从容器文件中解封装每个经编码的媒体比特流。记录存储器155或解码器160可以包含文件解析器，或者文件解析器附接到记录存储器155或解码器160。
经编码的媒体比特流通常由解码器160进一步处理，该解码器160的输出为一个或多个未压缩的媒体流。最后，渲染器170可以例如用扬声器或显示器重现所述未压缩的媒体流。接收器150、记录存储器155、解码器160以及渲染器170可以驻留于同一物理设备之中，或者它们可以被包含于分立的设备之中。
可将根据本发明的各种实施方式的发送器130配置成出于多种原因，如响应于接收器150的请求或者在其上传送比特流的网络的现时情况等，而选择传输的层。来自接收器的请求可以例如为针对改变用于显示的层的请求或者针对改变与之前的渲染器相比具有不同性能的渲染器设备的请求。
在此描述的各种实施方式是在方法步骤或处理过程的一般上下文下描述的，所述方法步骤或处理过程在一个实施方式中可以由计算机程序产品实现，所述计算机程序产品实施于计算机可读介质中，包括诸如程序代码的计算机可执行指令，由网络环境中的计算机执行。计算机可读介质可以包括可拆卸和不可拆卸的存储设备，包括但不限于：只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字多功能盘(DVD)，等等。一般而言，程序模块可以包括执行特定任务或者实现特定抽象数据类型的例程、程序、对象、组件、数据结构，等等。计算机可执行指令、相关的数据结构以及程序模块代表用于执行在此公开的方法的步骤的程序代码的例子。这样的可执行指令或相关的数据结构的特定次序代表用于实现在这样的步骤或处理过程中所描述的功能的相应行动的例子。
本发明的实施方式可以以软件、硬件、应用逻辑，或者软件、硬件和应用逻辑的组合来实现。软件、应用逻辑和/或硬件可以例如居于芯片组、移动设备、台式计算机、笔记本计算机或者服务器上。各种实施方式的软件和网络实现可以使用标准编程技术来完成，所述标准编程技术具有基于规则的逻辑或其他逻辑用以完成各种数据库搜索步骤或处理、相关步骤或处理、比较步骤或处理以及决策步骤或处理。各种实施方式还可以完全地或部分地在网络元件或模块内实现。应当注意，在此处及以下的权利要求中所使用的词语“组件”和“模块”意欲涵盖使用一行或多行软件代码的实现，以及/或者硬件实现，以及/或者用于接收手动输入的装置。
实施方式的前述描述是为了示例说明和描述的目的而介绍的。前述描述并未是穷尽的或者将本发明的实施方式限制在所公开的确切形式，并且改进和变型根据上述教义都是可能的或者可以从对各种实施方式的实践中获得。在此讨论的实施方式是为了解释各种实施方式的原理和性质及其实际应用而被选取和描述的，以使本领域中的技术人员能够以各种实施方式并且以适合于所设想的特定使用的各种改进来利用本发明。在此所述的实施方式的特征可以以方法、装置、模块、系统以及计算机程序产品的所有可能组合进行结合。
在本发明的一个方面中，一种经编码的音频数据中的帧错误隐藏的方法，包括：接收多个帧中的经编码的音频数据；并且使用保存的来自一个或多个先前帧的一个或多个参数值来重建有帧错误的帧。使用保存的一个或多个参数值包括至少部分地基于保存的一个或多个参数值推导参数值并且将推导出的值应用到有帧错误的帧。
在一个实施方式中，保存的参数值对应于一个或多个无错先前帧的参数值。在一个实施方式中，保存的参数值对应于最近的无错先前帧的参数值。在一个实施方式中，保存的参数值对应于先前的经重建的有错帧的参数值。
在一个实施方式中，缩放保存的参数值，以保持较高频率中的周期性分量。
在一个实施方式中，保存的参数值包括修正离散余弦变换(MDCT)谱值。可以根据下式为整个较高频率范围缩放MDCT谱值：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect。
在一个实施方式中，保存的参数值包括正弦分量值。可以根据下式来缩放正弦分量值：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin。
在一个实施方式中，缩放被配置成逐步地降低用于较长错误突发的能量。
在本发明的另一方面，一种装置包括解码器，该解码器被配置用以接收多个帧中的经编码的音频数据；并且使用保存的来自先前帧的参数值来重建有帧错误的帧。使用保存的参数值包括缩放保存的参数值并且将经缩放的值应用到有帧错误的帧。
在一个实施方式中，保存的参数值对应于一个或多个无错先前帧的参数值。在一个实施方式中，保存的参数值对应于最近的无错先前帧的参数值。在一个实施方式中，保存的参数值对应于先前的经重建的有错帧的参数值。
在一个实施方式中，缩放保存的参数值，以保持较高频率中的周期性分量。
在一个实施方式中，保存的参数值包括修正离散余弦变换(MDCT)谱值。可以根据下式为整个较高频率范围缩放MDCT谱值：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect。
在一个实施方式中，保存的参数值包括正弦分量值。可以根据下式来缩放正弦分量值：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin。
在一个实施方式中，缩放被配置成逐步地降低用于较长错误突发的能量。
在又一方面中，本发明涉及一种装置，该装置包括处理器以及通信地连接到所述处理器的存储器单元。存储器单元包括：用于接收多个帧中的经编码的音频数据的计算机代码；以及用于使用保存的来自先前帧的参数值来重建有帧错误的帧的计算机代码。用于使用保存的参数值的计算机代码包括用于缩放保存的参数值并且将经缩放的值应用到有帧错误的帧的计算机代码。
在一个实施方式中，保存的参数值对应于一个或多个无错先前帧的参数值。在一个实施方式中，保存的参数值对应于最近的无错先前帧的参数值。在一个实施方式中，保存的参数值对应于先前的经重建的有错帧的参数值。
在一个实施方式中，缩放保存的参数值，以保持较高频率中的周期性分量。
在一个实施方式中，保存的参数值包括修正离散余弦变换(MDCT)谱值。用于缩放的计算机代码可以被配置成根据下式为整个较高频率范围缩放MDCT谱值：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect。
在一个实施方式中，保存的参数值包括正弦分量值。用于缩放的计算机代码可以被配置成根据下式来缩放正弦分量值：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin。
在一个实施方式中，计算机代码缩放被配置成逐步地降低用于较长错误突发的能量。
在另一方面中，一种在计算机可读介质上实施的计算机程序产品包括：用于接收多个帧中的经编码的音频数据的计算机代码；以及用于使用保存的来自先前帧的参数值来重建有帧错误的帧的计算机代码。用于使用保存的参数值的计算机代码包括用于缩放保存的参数值并且将经缩放的值应用到有帧错误的帧的计算机代码。
在一个实施方式中，保存的参数值对应于一个或多个无错先前帧的参数值。在一个实施方式中，保存的参数值对应于最近的无错先前帧的参数值。在一个实施方式中，保存的参数值对应于先前的经重建的有错帧的参数值。
在一个实施方式中，缩放保存的参数值，以保持较高频率中的周期性分量。
在一个实施方式中，保存的参数值包括修正离散余弦变换(MDCT)谱值。用于缩放的计算机代码可以被配置成根据下式为整个较高频率范围缩放MDCT谱值：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect。
在一个实施方式中，保存的参数值包括正弦分量值。用于缩放的计算机代码可以被配置成根据下式来缩放正弦分量值：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin。
在一个实施方式中，计算机代码缩放被配置成逐步地降低用于较长错误突发的能量。

Claims (28)

1.一种用于经编码的音频数据中的帧错误隐藏的方法，其包括：
接收多个帧中的经编码的音频数据；以及
基于来自所述多个帧的至少一个其他帧的至少一个保存的参数值来重建用于有帧错误的帧的至少一个参数，
其中重建至少一个参数包括：
使用第一方法至少部分地基于所述至少一个保存的参数值来推导第一组参数的值；
使用第二方法至少部分地基于所述至少一个保存的参数值来推导第二组参数的值；并且
将推导出的值应用到有帧错误的帧。
2.根据权利要求1的方法，其中所述至少一个保存的参数值包括以下所列中的至少一个：
至少一个无错先前帧的至少一个参数值；
最近的无错先前帧的至少一个参数值；
至少一个经重建的有错先前帧的至少一个参数值；以及
至少一个未来帧的至少一个参数值。
3.根据权利要求1或者2中任意一项所述的方法，其中所述的使用所述第一方法推导值包括用第一组缩放因子来缩放所述至少一个保存的参数值，并且所述的使用所述第二方法推导值包括使用第二组缩放因子来缩放所述至少一个保存的参数值。
4.根据权利要求1到3中任意一项所述的方法，其中所述第一组参数包括用于高频范围的参数。
5.根据权利要求1到4中任意一项所述的方法，其中所述第二组参数包括所述第一组参数的子集。
6.根据权利要求1到5中任意一项所述的方法，其中所述第一组参数包括修正离散余弦变换(MDCT)谱值，并且所述第二组参数包括插入在所述MDCT谱中的正弦分量。
7.根据权利要求1到6中任意一项所述的方法，其中所述第一方法包括根据下式为所述第一组参数推导参数值m：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect
其中mprev表示所述至少一个保存的参数值，而facspect表示相应的缩放因子。
8.根据权利要求1到7中任意一项所述的方法，其中所述第二方法包括根据下式为所述第二组参数推导参数值m：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin
其中mprev表示所述至少一个保存的参数值，facsint表示相应的缩放因子，并且possin为描述所述第二组参数在m和mprev内的位置的变量。
9.根据权利要求1到8中任意一项所述的方法，其中推导参数值包括逐步地降低信号能量。
10.一种装置，其包括：
解码器，其被配置用以：
接收多个帧中的经编码的音频数据；以及
基于来自所述多个帧的至少一个其他帧的至少一个保存的参数值来重建用于有帧错误的帧的至少一个参数，
其中重建至少一个参数包括：
使用第一方法至少部分地基于所述至少一个保存的参数值来推导用于第一组参数的值；
使用第二方法至少部分地基于所述至少一个保存的参数值来推导用于第二组参数的值；
将推导出的值应用到所述有帧错误的帧。
11.根据权利要求10的装置，其中所述至少一个保存的参数值包括以下所列中的至少一个：
至少一个无错先前帧的至少一个参数值；
最近的无错先前帧的至少一个参数值；
至少一个经重建的有错先前帧的至少一个参数值；以及
至少一个未来帧的至少一个参数值。
12.根据权利要求10或者11中任意一项所述的装置，其中所述的使用第一方法推导值包括用第一组缩放因子来缩放所述至少一个保存的参数值，并且所述的使用第二方法推导值包括用第二组缩放因子来缩放所述至少一个保存的参数值。
13.根据权利要求10到12中任意一项所述的装置，其中所述第一组参数包括用于高频范围的参数。
14.根据权利要求10到13中任意一项所述的装置，其中所述第二组参数包括所述第一组参数的子集。
15.根据权利要求10到14中任意一项所述的装置，其中所述第一组参数包括修正离散余弦变换(MDCT)谱值，并且所述第二组参数包括插入在所述MDCT谱中的正弦分量。
16.根据权利要求10到15中任意一项所述的装置，其中所述第一方法包括根据下式为所述第一组参数推导参数值m：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect
其中mprev表示所述至少一个保存的参数值，而facspect表示相应的缩放因子。
17.根据权利要求10到16中任意一项所述的装置，其中所述第二方法包括根据下式为所述第二组参数推导参数值m：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin
其中mprev表示所述至少一个保存的参数值，facsint表示相应的缩放因子，并且possin为描述所述第二组参数在m和mprev内的位置的变量。
18.根据权利要求10到17中任意一项所述的装置，其中推导参数值包括逐步地降低信号能量。
19.一种装置，其包括：
处理器；以及
通信地连接到所述处理器的存储器单元，并且该存储器单元包括：
使得所述装置接收多个帧中的经编码的音频数据的计算机代码；以及
用于基于来自所述多个帧的至少一个其他帧的至少一个保存的参数值来重建用于有帧错误的帧的至少一个参数的计算机代码，
其中所述用于重建至少一个参数的计算机代码包括：
用于使用第一方法至少部分地基于所述至少一个保存的参数值来推导用于第一组参数的值的计算机代码；
用于使用第二方法至少部分地基于所述至少一个保存的参数值来推导用于第二组参数的值的计算机代码；以及
将推导出的值应用到所述有帧错误的帧。
20.一种计算机程序产品，其包括用于与计算机一同使用的、承载有实施于其中的计算机程序代码的计算机可读介质，所述计算机程序代码包括：
用于使得装置接收多个帧中的经编码的音频数据的代码；以及
用于基于来自所述多个帧的至少一个其他帧的至少一个保存的参数值来重建至少一个用于有帧错误的帧的参数的代码，
其中所述用于重建至少一个参数的代码包括：
用于使用第一方法至少部分地基于所述至少一个保存的参数值来推导用于第一组参数的值的代码；
用于使用第二方法至少部分地基于所述至少一个保存的参数值来推导用于第二组参数的值的代码；以及
将推导出的值应用到所述有帧错误的帧。
21.根据权利要求20的计算机程序产品，其中所述至少一个保存的参数值包括以下所列中的至少一个：
至少一个无错先前帧的至少一个参数值；
最近的无错先前帧的至少一个参数值；
至少一个经重建的有错先前帧的至少一个参数值；以及
至少一个未来帧的至少一个参数值。
22.根据权利要求20或者21中任意一项所述的计算机程序产品，其中所述的使用所述第一方法推导值包括用第一组缩放因子来缩放所述至少一个保存的参数值，并且所述的使用所述第二方法推导值包括用第二组缩放因子来缩放所述至少一个保存的参数值。
23.根据权利要求20到22中任意一项所述的计算机程序产品，其中所述第一组参数包括用于高频范围的参数。
24.根据权利要求20到23中任意一项所述的计算机程序产品，其中所述第二组参数包括所述第一组参数的子集。
25.根据权利要求20到24中任意一项所述的计算机程序产品，其中所述第一组参数包括修正离散余弦变换(MDCT)谱值，并且所述第二组参数包括插入在所述MDCT谱中的正弦分量。
26.根据权利要求20到25中任意一项所述的计算机程序产品，其中所述第一方法包括根据下式为所述第一组参数推导参数值m：
for k＝0；k＜Lhighspectrum；k++
m(k+Llowspectrum)＝mprev(k)*facspect
其中mprev表示所述至少一个保存的参数值，而facspect表示相应的缩放因子。
27.根据权利要求20到26中任意一项所述的计算机程序产品，其中所述第二方法包括根据下式为所述第二组参数推导参数值m：
for k＝0；k＜Nsin；k++
m(possin(k)+Llowspectrum)＝mprev(possin(k))*facsin
其中mprev表示所述至少一个保存的参数值，facsint表示相应的缩放因子，并且possin为描述所述第二组参数在m和mprev内的位置的变量。
28.根据权利要求20到27中任意一项所述的计算机程序产品，其中推导参数值包括逐步地降低信号能量。
CN200980121952.6A 2008-06-13 2009-05-15 用于经编码的音频数据的错误隐藏的方法和装置 Active CN102057424B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US6157208P 2008-06-13 2008-06-13
US61/061,572 2008-06-13
PCT/FI2009/050403 WO2009150290A1 (en) 2008-06-13 2009-05-15 Method and apparatus for error concealment of encoded audio data

Publications (2)

Publication Number Publication Date
CN102057424A true CN102057424A (zh) 2011-05-11
CN102057424B CN102057424B (zh) 2015-06-17

Family

ID=41416403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980121952.6A Active CN102057424B (zh) 2008-06-13 2009-05-15 用于经编码的音频数据的错误隐藏的方法和装置

Country Status (10)

Country Link
US (1) US8397117B2 (zh)
EP (1) EP2301015B1 (zh)
KR (1) KR101228165B1 (zh)
CN (1) CN102057424B (zh)
AU (1) AU2009256551B2 (zh)
BR (1) BRPI0915358B1 (zh)
RU (1) RU2475868C2 (zh)
TW (1) TWI466102B (zh)
WO (1) WO2009150290A1 (zh)
ZA (1) ZA201100279B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646647A (zh) * 2013-12-13 2014-03-19 武汉大学 混合音频解码器中帧差错隐藏的谱参数代替方法及系统
CN105374367A (zh) * 2014-07-29 2016-03-02 华为技术有限公司 异常帧检测方法和装置
CN105453173A (zh) * 2013-06-21 2016-03-30 弗朗霍夫应用科学研究促进协会 利用改进的脉冲再同步化的似acelp隐藏中的自适应码本的改进隐藏的装置及方法
CN107068156A (zh) * 2011-10-21 2017-08-18 三星电子株式会社 帧错误隐藏方法和设备以及音频解码方法和设备
CN107103909A (zh) * 2013-02-13 2017-08-29 瑞典爱立信有限公司 帧错误隐藏
US10381011B2 (en) 2013-06-21 2019-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improved concealment of the adaptive codebook in a CELP-like concealment employing improved pitch lag estimation
CN113544773A (zh) * 2019-02-13 2021-10-22 弗劳恩霍夫应用研究促进协会 用于包括全丢帧隐藏和部分丢帧隐藏的lc3隐藏的解码器和解码方法
CN117354585A (zh) * 2023-12-06 2024-01-05 深圳感臻智能股份有限公司 一种针对视频网络丢包的优化方法及装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8489403B1 (en) * 2010-08-25 2013-07-16 Foundation For Research and Technology—Institute of Computer Science ‘FORTH-ICS’ Apparatuses, methods and systems for sparse sinusoidal audio processing and transmission
PL2975610T3 (pl) * 2010-11-22 2019-08-30 Ntt Docomo, Inc. Sposób i urządzenie do kodowania audio
KR20150056770A (ko) * 2012-09-13 2015-05-27 엘지전자 주식회사 손실 프레임 복원 방법 및 오디오 복호화 방법과 이를 이용하는 장치
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
WO2014108738A1 (en) 2013-01-08 2014-07-17 Nokia Corporation Audio signal multi-channel parameter encoder
FR3004876A1 (fr) * 2013-04-18 2014-10-24 France Telecom Correction de perte de trame par injection de bruit pondere.
CN104751849B (zh) * 2013-12-31 2017-04-19 华为技术有限公司 语音频码流的解码方法及装置
WO2015104447A1 (en) 2014-01-13 2015-07-16 Nokia Technologies Oy Multi-channel audio signal classifier
CN104934035B (zh) 2014-03-21 2017-09-26 华为技术有限公司 语音频码流的解码方法及装置
US10424305B2 (en) 2014-12-09 2019-09-24 Dolby International Ab MDCT-domain error concealment
CA3016730C (en) 2016-03-07 2021-09-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Error concealment unit, audio decoder, and related method and computer program using characteristics of a decoded representation of a properly decoded audio frame
CN109313905B (zh) * 2016-03-07 2023-05-23 弗劳恩霍夫应用研究促进协会 隐藏音频帧丢失的错误隐藏单元、音频解码器及相关方法
US10217467B2 (en) * 2016-06-20 2019-02-26 Qualcomm Incorporated Encoding and decoding of interchannel phase differences between audio signals
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
WO2019091573A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
WO2020165262A2 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs
WO2020207593A1 (en) * 2019-04-11 2020-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for determining a set of values defining characteristics of a filter, methods for providing a decoded audio representation, methods for determining a set of values defining characteristics of a filter and computer program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007051124A1 (en) * 2005-10-26 2007-05-03 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148487A (en) 1990-02-26 1992-09-15 Matsushita Electric Industrial Co., Ltd. Audio subband encoded signal decoder
US5144671A (en) 1990-03-15 1992-09-01 Gte Laboratories Incorporated Method for reducing the search complexity in analysis-by-synthesis coding
JP3102015B2 (ja) * 1990-05-28 2000-10-23 日本電気株式会社 音声復号化方法
TW241350B (zh) * 1991-11-07 1995-02-21 Rca Thomson Licensing Corp
JP3085606B2 (ja) * 1992-07-16 2000-09-11 ヤマハ株式会社 ディジタルデータの誤り補正方法
IT1257065B (it) 1992-07-31 1996-01-05 Sip Codificatore a basso ritardo per segnali audio, utilizzante tecniche di analisi per sintesi.
DE4331376C1 (de) * 1993-09-15 1994-11-10 Fraunhofer Ges Forschung Verfahren zum Bestimmen der zu wählenden Codierungsart für die Codierung von wenigstens zwei Signalen
SE504397C2 (sv) 1995-05-03 1997-01-27 Ericsson Telefon Ab L M Metod för förstärkningskvantisering vid linjärprediktiv talkodning med kodboksexcitering
US5797121A (en) 1995-12-26 1998-08-18 Motorola, Inc. Method and apparatus for implementing vector quantization of speech parameters
US5825320A (en) 1996-03-19 1998-10-20 Sony Corporation Gain control method for audio encoding device
RU2214047C2 (ru) * 1997-11-19 2003-10-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для масштабируемого кодирования/декодирования аудиосигналов
US6810377B1 (en) * 1998-06-19 2004-10-26 Comsat Corporation Lost frame recovery techniques for parametric, LPC-based speech coding systems
FI106325B (fi) 1998-11-12 2001-01-15 Nokia Networks Oy Menetelmä ja laite tehonsäädön ohjaamiseksi
US6775649B1 (en) * 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
US6959274B1 (en) * 1999-09-22 2005-10-25 Mindspeed Technologies, Inc. Fixed rate speech compression system and method
US6438518B1 (en) * 1999-10-28 2002-08-20 Qualcomm Incorporated Method and apparatus for using coding scheme selection patterns in a predictive speech coder to reduce sensitivity to frame error conditions
US7069208B2 (en) * 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
US20030135374A1 (en) * 2002-01-16 2003-07-17 Hardwick John C. Speech synthesizer
US7047187B2 (en) * 2002-02-27 2006-05-16 Matsushita Electric Industrial Co., Ltd. Method and apparatus for audio error concealment using data hiding
US6985856B2 (en) * 2002-12-31 2006-01-10 Nokia Corporation Method and device for compressed-domain packet loss concealment
JP4303687B2 (ja) * 2003-01-30 2009-07-29 富士通株式会社 音声パケット消失隠蔽装置，音声パケット消失隠蔽方法，受信端末および音声通信システム
FI118550B (fi) 2003-07-14 2007-12-14 Nokia Corp Parannettu eksitaatio ylemmän kaistan koodaukselle koodekissa, joka käyttää kaistojen jakoon perustuvia koodausmenetelmiä
US7546508B2 (en) * 2003-12-19 2009-06-09 Nokia Corporation Codec-assisted capacity enhancement of wireless VoIP
US7356748B2 (en) 2003-12-19 2008-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Partial spectral loss concealment in transform codecs
WO2005104094A1 (ja) 2004-04-23 2005-11-03 Matsushita Electric Industrial Co., Ltd. 符号化装置
WO2006001841A1 (en) * 2004-06-10 2006-01-05 Imerys Kaolin, Inc. Ultra-low residue, high solids, wet cake products and methods of making same
EP1849156B1 (en) * 2005-01-31 2012-08-01 Skype Method for weighted overlap-add
US20060184363A1 (en) 2005-02-17 2006-08-17 Mccree Alan Noise suppression
WO2006116024A2 (en) 2005-04-22 2006-11-02 Qualcomm Incorporated Systems, methods, and apparatus for gain factor attenuation
EP1943643B1 (en) 2005-11-04 2019-10-09 Nokia Technologies Oy Audio compression
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
KR101292771B1 (ko) * 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
KR101161866B1 (ko) 2007-11-06 2012-07-04 노키아 코포레이션 오디오 코딩 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007051124A1 (en) * 2005-10-26 2007-05-03 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107068156A (zh) * 2011-10-21 2017-08-18 三星电子株式会社 帧错误隐藏方法和设备以及音频解码方法和设备
US11657825B2 (en) 2011-10-21 2023-05-23 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US10984803B2 (en) 2011-10-21 2021-04-20 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
CN107103909B (zh) * 2013-02-13 2020-08-04 瑞典爱立信有限公司 帧错误隐藏
CN107103909A (zh) * 2013-02-13 2017-08-29 瑞典爱立信有限公司 帧错误隐藏
CN105453173B (zh) * 2013-06-21 2019-08-06 弗朗霍夫应用科学研究促进协会 利用改进的脉冲再同步化的似acelp隐藏中的自适应码本的改进隐藏的装置及方法
US10381011B2 (en) 2013-06-21 2019-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improved concealment of the adaptive codebook in a CELP-like concealment employing improved pitch lag estimation
US10643624B2 (en) 2013-06-21 2020-05-05 Fraunhofer-Gesellschaft zur Föerderung der Angewandten Forschung E.V. Apparatus and method for improved concealment of the adaptive codebook in ACELP-like concealment employing improved pulse resynchronization
CN105453173A (zh) * 2013-06-21 2016-03-30 弗朗霍夫应用科学研究促进协会 利用改进的脉冲再同步化的似acelp隐藏中的自适应码本的改进隐藏的装置及方法
US11410663B2 (en) 2013-06-21 2022-08-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for improved concealment of the adaptive codebook in ACELP-like concealment employing improved pitch lag estimation
CN103646647A (zh) * 2013-12-13 2014-03-19 武汉大学 混合音频解码器中帧差错隐藏的谱参数代替方法及系统
CN103646647B (zh) * 2013-12-13 2016-03-16 武汉大学 混合音频解码器中帧差错隐藏的谱参数代替方法及系统
CN105374367A (zh) * 2014-07-29 2016-03-02 华为技术有限公司 异常帧检测方法和装置
CN105374367B (zh) * 2014-07-29 2019-04-05 华为技术有限公司 异常帧检测方法和装置
CN113544773A (zh) * 2019-02-13 2021-10-22 弗劳恩霍夫应用研究促进协会 用于包括全丢帧隐藏和部分丢帧隐藏的lc3隐藏的解码器和解码方法
US11875806B2 (en) 2019-02-13 2024-01-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-mode channel coding
US12009002B2 (en) 2019-02-13 2024-06-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs
US12039986B2 (en) 2019-02-13 2024-07-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method for LC3 concealment including full frame loss concealment and partial frame loss concealment
US12057133B2 (en) 2019-02-13 2024-08-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-mode channel coding
US12080304B2 (en) 2019-02-13 2024-09-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio transmitter processor, audio receiver processor and related methods and computer programs for processing an error protected frame
CN113544773B (zh) * 2019-02-13 2024-09-03 弗劳恩霍夫应用研究促进协会 用于lc3隐藏的解码器和解码方法
CN117354585A (zh) * 2023-12-06 2024-01-05 深圳感臻智能股份有限公司 一种针对视频网络丢包的优化方法及装置

Also Published As

Publication number Publication date
US20100115370A1 (en) 2010-05-06
AU2009256551A1 (en) 2009-12-17
TW201005730A (en) 2010-02-01
KR20110040835A (ko) 2011-04-20
EP2301015B1 (en) 2019-09-04
US8397117B2 (en) 2013-03-12
ZA201100279B (en) 2012-06-27
RU2475868C2 (ru) 2013-02-20
EP2301015A4 (en) 2016-04-13
BRPI0915358A2 (pt) 2015-11-03
CN102057424B (zh) 2015-06-17
RU2010154191A (ru) 2012-07-20
KR101228165B1 (ko) 2013-01-30
TWI466102B (zh) 2014-12-21
AU2009256551B2 (en) 2015-08-13
EP2301015A1 (en) 2011-03-30
WO2009150290A1 (en) 2009-12-17
BRPI0915358B1 (pt) 2020-04-22

Similar Documents

Publication Publication Date Title
CN102057424B (zh) 用于经编码的音频数据的错误隐藏的方法和装置
Steele et al. Mobile radio communications: Second and third generation cellular and WATM systems: 2nd
US8280729B2 (en) System and method for encoding and decoding pulse indices
CN102144256B (zh) 用于针对矢量量化器的快速最近邻搜索的方法和设备
Sun et al. Guide to voice and video over IP: for fixed and mobile networks
CN100435506C (zh) 音频数据编码转换发送方法以及编码转换接收方法、设备和系统
CN101536088B (zh) 用于提供冗余管理的系统和方法
CN101273403A (zh) 可扩展编码装置、可扩展解码装置以及其方法
CN101790754B (zh) 用于提供amr-wb dtx同步的系统和方法
US7486207B2 (en) Method and device for changing an encoding mode of encoded data streams
US11646042B2 (en) Digital voice packet loss concealment using deep learning
KR20080054057A (ko) 적응적 멀티 레이트 코덱 모드 디코딩 방법 및 장치
Shahbazi et al. Data transmission over GSM adaptive multi rate voice channel using speech-like symbols
CN101322375A (zh) 音频数据包格式及其解码方法、校正移动通信终端编解码器安装错误的方法以及执行该方法的移动通信终端
CN101478616A (zh) 一种即时语音通信方法
CN104113394B (zh) 通信调制信号的压缩及解压方法
US8009594B2 (en) Method and apparatus for automatic power saving mode insertion when an unknown or an offensive receiver detected in a wireless access system
Shahbazi et al. A novel speech-like symbol design for data transmission through gsm voice channel
CN106131252A (zh) 嵌入型多通道信号手机加密通信装置及算法编码方法
CN1319045C (zh) 信号接收和传输方法及相应的背景信号发生器
Kim End-to-End Digital Secure Speech Communication over UHF and PSTN
Jain An Introduction to Joint Source and Channel Coding
Ehret et al. Evaluation of real-time transport protocol configurations using aacPlus
US20070005347A1 (en) Method and apparatus for data frame construction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160113

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj