Nothing Special   »   [go: up one dir, main page]

JP2014160280A - フレームエラー隠匿方法及び装置、これを利用した復号化方法及び装置 - Google Patents

フレームエラー隠匿方法及び装置、これを利用した復号化方法及び装置 Download PDF

Info

Publication number
JP2014160280A
JP2014160280A JP2014100896A JP2014100896A JP2014160280A JP 2014160280 A JP2014160280 A JP 2014160280A JP 2014100896 A JP2014100896 A JP 2014100896A JP 2014100896 A JP2014100896 A JP 2014100896A JP 2014160280 A JP2014160280 A JP 2014160280A
Authority
JP
Japan
Prior art keywords
error
frame
signal
unit
regression analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014100896A
Other languages
English (en)
Other versions
JP6073830B2 (ja
Inventor
Ho-Sang Sung
ソン，ホ−サン
Kang-Eun Lee
リー，カン−ウン
Jung-Hoe Kim
キム，ジュン−フェ
Eun-Mi Oh
オー，ウン−ミ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014160280A publication Critical patent/JP2014160280A/ja
Application granted granted Critical
Publication of JP6073830B2 publication Critical patent/JP6073830B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07—Line spectrum pair [LSP] vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Error Detection And Correction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

【課題】信号の特性に最適化した方式によってフレームエラーを隠匿することによって、正確に復元できるフレームエラー隠匿方法及び装置を提供する。
【解決手段】エラーを含むフレームの一つ以上の信号特性に基づいて、エラーを隠匿するための方式を設定するステップ１４４と、設定された方式を使用してエラーを隠匿するステップ１５０と、を含む。また、設定ステップは、一つ以上の信号特性に基づいて、エラーを隠匿するための回帰分析方式を設定するステップである。
【選択図】図１Ｂ

Description

本発明の実施形態は、音声信号またはオーディオ信号を復号化する方法及び装置に係り、より詳細には、復号化した信号にフレームエラーが発生した場合、フレームエラーを隠匿する方法及び装置に関する。
有無線網を通じて符号化されたオーディオ信号を伝送する過程で一部パケットが損失するか、または歪曲される場合、伝送上のエラーによって復号化したオーディオ信号の一部フレーム信号にエラーが発生しうる。この場合、フレームに発生したエラーを適切に処理しなければ、エラーが発生したフレーム区間でオーディオ信号の音質が低下することはもとより、この復号化装置では予測技法により信号を復元するため、１フレームのエラーが以後のフレームにも影響を及ぼして、以後フレーム区間でも持続的に音質が低下する現象が現れる。したがって、復元されたオーディオ信号の音質低下を防止するためには、フレームエラーを効率的に隠匿することが非常に重要な問題である。
フレームエラーを隠匿するための方法には、次のような方法がある。例えば、エラーが発生したフレーム（Ｅｒｒｏｒ Ｆｒａｍｅ、ＥＦ）で音を小さくすることでエラーが出力信号に及ぼす影響を弱化させる黙音（ｍｕｔｉｎｇ）法、ＥＦの以前正常フレーム（Ｐｒｅｖｉｏｕｓ Ｇｏｏｄ Ｆｒａｍｅ、ＰＧＦ）を反復して再生することでＥＦの信号を復元する反復（ｒｅｐｅｔｉｔｉｏｎ）法、ＰＧＦと以後正常フレーム（Ｎｅｘｔ Ｇｏｏｄ Ｆｒａｍｅ、ＮＧＦ）とのパラメータを補間してＥＦのパラメータを予測する補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ＰＧＦのパラメータを補外してＥＦのパラメータを求める補外法（ｅｘｔｒａｐｏｌａｔｉｏｎ）、ＰＧＦのパラメータを回帰分析してＥＦのパラメータを求める回帰分析法（Ｒｅｇｒｅｓｓｉｏｎ Ａｎａｌｙｓｉｓ）などがある。
しかし、従来にはあらゆる入力信号に対して同じ方式によって画一的な方法でＥＦを復元したため、フレームエラーが効率的に隠匿されずに音質が低下する問題があった。
本発明の実施形態は、信号の特性に最適化した方式によってフレームエラーを隠匿することによって、ＥＦをさらに正確に復元できるフレームエラー隠匿方法及び装置を提供することである。
また、本発明の実施形態は、信号の特性に最適化した方式によってＥＦをさらに正確に復元することによって、フレームエラーによる音質低下を最小化できる復号化方法及び装置を提供することである。
また、本発明の実施形態は、前記フレームエラー隠匿方法及び復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。
本発明の実施形態によれば、フレームエラー隠匿方法は、エラーを含むフレームの一つ以上の信号特性に基づいて、前記エラーを隠匿するための方式を設定するステップと、前記設定された方式を使用して前記エラーを隠匿するステップと、を含む。また、前記設定ステップは、前記一つ以上の信号特性に基づいて、前記エラーを隠匿するための回帰分析方式を設定するステップである。
また、前記設定ステップは、前記一つ以上の信号特性を分析するステップと、前記一つ以上の分析された信号特性に基づいて、前記回帰分析方式を設定するステップと、を含む。また、前記分析ステップは、以前正常フレームに関する情報に基づいて、前記一つ以上の信号特性を分析するステップである。
また、前記回帰分析方式設定ステップは、前記一つ以上の信号特性に基づいて、線形回帰分析方式または非線形回帰分析方式のうち、前記エラーを隠匿するためのいずれか一つの方式を選択するステップを含み、前記一つ以上の信号特性に基づいて、前記回帰分析方式によって前記エラーを隠匿するために参照する以前正常フレームの数を設定するステップを含み、前記一つ以上の信号特性に基づいて、前記回帰分析方式によって前記エラーを隠匿するために参照する以前正常フレームのパラメータを抽出する周期を設定するステップを含む。
また、前記隠匿ステップは、前記設定された回帰分析方式によって、以前正常フレームの一つ以上のパラメータから前記エラーが発生したフレームの一つ以上のパラメータを予測するステップを含み、前記隠匿ステップは、前記設定された回帰分析方式によって、前記以前正常フレームの一つ以上のパラメータから予測のための回帰分析関数を導出するステップと、前記導出された回帰分析関数により、前記エラーが発生したフレームのパラメータを予測するステップと、を含む。また、前記隠匿ステップは、前記予測されたパラメータの値が所定範囲を外れる場合、前記予測されたパラメータの値を前記所定範囲以内の値に調節するステップをさらに含む。
また、前記設定ステップは、前記一つ以上の信号特性によって前記予測されたパラメータ値を調節するための調節関数を設定するステップをさらに含み、前記パラメータ予測ステップは、前記設定された調節関数を利用して前記導出された関数の係数を調節し、前記係数が調節された関数により前記エラーが発生したフレームのパラメータを予測するステップである。また、前記設定された調節関数により係数が調節される関数は、前記エラーフレームのエネルギー情報と関連したパラメータを予測するための関数である。
また、前記本発明によるフレームエラー隠匿方法は、ビットストリームからエラーが発生したフレームを検出するステップをさらに含む。
また、本発明の実施形態によれば、フレームエラー隠匿方法は、エラーが発生したフレームの一つ以上の信号特性を考慮して、前記フレームで前記エラーが発生した位置を含む階層及び、それ以後の階層のエラーを隠匿するための方式を設定するステップと、前記設定された方式によって前記エラーを隠匿するステップと、を含む。また、前記設定ステップは、以前正常フレーム及び前記検出された位置を含む階層の以前階層に関する情報に基づいて、前記一つ以上の信号特性を分析するステップと、前記一つ以上の分析された信号特性を考慮して、前記エラーを隠匿するための方式を設定するステップと、を含む。
また、前記隠匿ステップは、前記設定された方式によって、以前正常フレーム及び前記検出された位置を含む階層の以前階層の一つ以上のパラメータから、前記検出された位置を含む階層及びそれ以後の階層の一つ以上のパラメータを予測するステップを含む。
また、本発明の実施形態によれば、フレームエラー隠匿装置は、エラーが発生したフレームの一つ以上の信号特性に基づいて前記エラーを隠匿するための方式を設定する隠匿方式設定部と、前記設定された方式によって前記エラーを隠匿するエラー隠匿部と、を備える。また、前記隠匿方式設定部は、前記エラーが発生したフレームの一つ以上の信号特性に基づいて回帰分析方式を設定し、前記エラー隠匿部は、前記設定された回帰分析方式によって前記エラーを隠匿する。
また、前記隠匿方式設定部は、前記一つ以上の信号特性を分析する信号特性分析部と、前記一つ以上の分析された信号特性に基づいて、前記回帰分析方式を設定する設定部と、を備える。また、前記信号特性分析部は、以前正常フレームに関する情報に基づいて前記信号特性を分析する。
また、前記隠匿方式設定部は、前記一つ以上の信号特性に基づいて、線形回帰分析方式または非線形回帰分析方式のうち、前記エラーを隠匿するためのいずれか一つの方式を選択でき、前記一つ以上の信号特性に基づいて、前記回帰分析方式によって前記エラーを隠匿するために参照する以前正常フレームの数を設定でき、前記一つ以上の信号特性に基づいて、前記回帰分析方式によって前記エラーを隠匿するために参照する以前正常フレームの一つ以上のパラメータを抽出する周期を設定する。
また、前記エラー隠匿部は、前記設定された回帰分析方式によって、以前正常フレームのパラメータから前記エラーが発生したフレームの一つ以上のパラメータを予測できる。
また、前記エラー隠匿部は、前記設定された回帰分析方式によって、前記以前正常フレームのパラメータから予測のための回帰分析関数を導出する関数導出部と、前記導出された回帰分析関数により、前記エラーが発生したフレームの一つ以上のパラメータを予測する予測部と、を備え、前記予測されたパラメータの値が所定範囲を外れる場合に、前記予測されたパラメータの値を前記所定範囲以内に調節する後処理部をさらに備える。
また、前記隠匿方式設定部は、前記一つ以上の信号特性によって前記予測されたパラメータ値を調節するための調節関数を設定し、前記エラー隠匿部は、前記設定された調節関数を利用して前記導出された関数の係数を調節する調節部をさらに備え、前記予測部は、前記調節部で前記係数が調節された関数により前記エラーが発生したフレームのパラメータを予測する。また、前記設定された調節関数により係数が調節される関数は、前記エラーフレームのエネルギー情報と関連したパラメータを予測するための関数である。
また、前記フレームエラー隠匿装置は、ビットストリームからエラーが発生したフレームを検出するエラー検出部をさらに備える。
また、本発明の実施形態によれば、フレームエラー隠匿装置は、エラーが発生したフレームの一つ以上の信号特性を考慮して、前記フレームで前記エラーが発生した位置を含む階層及び以後階層のエラーを隠匿するための方式を設定する隠匿方式設定部と、前記設定された方式によって前記エラーを隠匿するエラー隠匿部と、を備える。また、前記隠匿方式設定部は、以前正常フレーム及び前記検出された位置を含む階層の以前階層の情報に基づいて、前記一つ以上の信号特性を分析する信号特性分析部と、前記一つ以上の分析された信号の特性を考慮して、前記エラーを隠匿するための方式を設定する設定部と、を備える。
また、前記エラー隠匿部は、前記設定された方式によって、以前正常フレーム及び前記検出された位置を含む階層の以前階層の一つ以上のパラメータから、前記検出された位置を含む階層及びそれ以後の階層の一つ以上のパラメータを予測する。
また、本発明の実施形態によれば、復号化方法は、ビットストリームからエラーが発生したフレームを検出するステップと、前記ビットストリームでエラーが発生していないフレームを復号化するステップと、前記検出されたエラーが発生したフレームの一つ以上の信号特性を考慮して、前記エラーを隠匿するための方式を設定するステップと、前記設定された方式によって前記エラーを隠匿するステップと、を含む。
また、本発明の実施形態によれば、復号化方法は、ビットストリームからエラーが発生したフレーム及び前記フレームでエラーが発生した位置を検出するステップと、前記ビットストリームでエラーが発生していないフレーム及び前記検出されたエラーが発生したフレームで、前記検出されたエラーが発生した位置を含む階層の以前階層を復号化するステップと、前記検出されたエラーが発生したフレームの一つ以上の信号特性を考慮して、前記エラーを隠匿するための方式を設定するステップと、前記設定された方式によって前記エラーを隠匿するステップと、を含む。
また、本発明の実施形態によれば、復号化装置は、ビットストリームからエラーが発生したフレームを検出するエラー検出部と、前記ビットストリームでエラーが発生していないフレームを復号化する復号化部と、前記検出されたフレームの一つ以上の信号特性を考慮して前記エラーを隠匿するための方式を設定し、前記設定された方式によって前記エラーを隠匿するエラー隠匿部と、を備える。
また、本発明の実施形態によれば、復号化装置は、ビットストリームでエラーが発生したフレーム及び前記フレームでエラーが発生した位置を検出するエラー検出部と、前記ビットストリームでエラーが発生していないフレーム及び前記エラーが発生したフレームの検出された位置を含む階層の以前階層を復号化する復号化部と、前記検出されたフレームの一つ以上の信号特性を考慮して前記エラーを隠匿するための方式を設定し、前記設定された方式によって前記エラーを隠匿するエラー隠匿部と、を備える。
また、本発明の実施形態によれば、エラーを含むフレームの一つ以上の信号特性に基づいて、前記エラーを隠匿するための方式を設定するステップと、前記設定された方式を使用して、前記エラーを隠匿するステップと、を含むフレームエラー隠匿方法を行うためのコンピュータで読み取り可能なコードを記録したコンピュータで読み取り可能な記録媒体を提供できる。
また、本発明の実施形態によれば、複数のフレームに伝送されたオーディオ信号のエラーを隠匿する方法は、前記複数のフレームのうちエラーを持つエラーフレームを検出するステップと、前記エラーフレームの一つ以上の信号特性に基づいて前記エラーを隠匿するための隠匿プロセスを設定するステップと、前記設定されたエラープロセスを使用して前記エラーを隠匿するステップと、を含むことができる。
また、本発明の実施形態によれば、オーディオ信号を復元する方法を提供できる。
また、本発明の実施形態によれば、オーディオ信号を復元する方法は、エラーを持つエラーフレームの存否を決定するステップと、エラーフレームが存在する場合に、エラーを持っていない以前フレームについての情報に基づいて一つ以上の信号特性を分析するステップと、前記分析された一つ以上の信号特性に基づいて回帰分析方式を設定するステップと、前記回帰分析方式を使用して、前記以前フレームの一つ以上のスプクトルパラメータから前記エラーフレームのスペクトルパラメータを復元するステップと、前記エラーフレームのオーディオ信号と前記復元されたスペクトルパラメータとを使用して前記オーディオ信号を復元するステップと、を含む。
また、本発明の実施形態によれば、オーディオ信号を復元する方法は、エラーを持つエラーフレームの存否を決定するステップと、エラーフレームが存在する場合に、エラーを持っていない以前フレームについての情報に基づいて一つ以上の信号特性を分析するステップと、前記分析された一つ以上の信号特性に基づいて回帰分析方式を設定するステップと、前記回帰分析方式を使用して、エラーを持っていない以前フレームの一つ以上の利得パラメータから前記エラーフレームの利得パラメータを復元するステップと、復元された利得パラメータに基づいて前記エラーフレームの励起信号を復元するステップと、前記回帰分析方式を使用して、以前フレームのＬＳＰパラメータから前記エラーフレームのＬＳＰパラメータを復元するステップと、前記エラーフレームのオーディオ信号、前記復元されたＬＳＰパラメータ及び前記復元された励起信号を用いて前記オーディオ信号を復元するステップと、を含む。
本発明の実施形態によってフレームエラー隠匿装置を示す復号化装置のブロック図である。 図１Ａにおいて、フレームエラー隠匿部の細部ブロック図である。 実施形態によってフレームエラー隠匿装置を示す音声復号化装置のブロック図である。 図２に示した励起信号復元部の細部ブロック図である。 図２に示したＬＳＰ（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｐａｉｒ）復元部の細部ブロック図である。 線形回帰分析により導出された関数の一例を示すグラフである。 非線形回帰分析により導出された関数の一例を示すグラフである。 本発明の実施形態によって、フレームエラー隠匿装置を示すオーディオ復号化装置の構成を示すブロック図である。 本発明の実施形態によって、フレームエラー隠匿装置を示すオーディオ復号化装置の構成を示すブロック図である。 本発明の実施形態によって、フレームエラー隠匿方法を示す音声復号化方法のフローチャートである。 図７に示した信号特性分析及び隠匿方式設定ステップの細部フローチャートである。 図７に示した励起信号復元ステップの細部フローチャートである。 図７に示したＬＳＰパラメータ復元ステップの細部フローチャートである。 本発明の実施形態によって、フレームエラー隠匿方法を示すオーディオ復号化方法のフローチャートである。 図１１に示した信号特性分析及び隠匿方式設定ステップの細部フローチャートである。 本発明の実施形態によってフレームエラー隠匿方法を示すオーディオ復号化方法のフローチャートである。
以下、添付した図面を参照して、本発明の望ましい実施形態を説明する。
図１Ａは、本発明の実施形態によってフレームエラー隠匿装置を備えた復号化装置のブロック図であり、図１Ｂは、図１Ａに示したフレームエラー隠匿部１３０の細部ブロック図である。図１Ａ及び図１Ｂを参照するに、前記復号化装置１００は、エラー検出部１１０、復号化部１２０、フレームエラー隠匿部１３０を備え、フレームエラー隠匿部１３０は、信号特性分析部１４２及び設定部１４４を備える隠匿方式設定部１４０及びエラー隠匿部１５０を備える。
エラー検出部１１０は、伝送されたビットストリームにＥＦを検出し、ＥＦが検出されたことをフレームエラー隠匿部１３０に知らせる。ここでフレームは、一つのフレームまたは一つのフレームを構成するサブフレームでありうる。
復号化部１２０は、ビットストリームでエラーが発生していない正常フレーム（Ｇｏｏｄ Ｆｒａｍｅ、ＧＦ）を復号化する。復号化部１２０は、ＩＴＵ−Ｔ Ｇ．７２９のような音声コーデックまたはＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−２／４ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、ＭＰＥＧ−ＢＳＡＣ（Ｂｉｔ Ｓｌｉｃｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）のようなオーディオコーデックで具現できる。
信号特性分析部１４２は、エラー検出部１１０で検出されたＥＦの信号の特性を分析し、分析された信号特性を設定部１４４に伝送する。設定部１４４は、伝送された信号特性を考慮してフレームエラーを隠匿するための方式を決定し、決定された方式によって隠匿部１４６で行われたフレームエラー隠匿方式を設定する。エラー隠匿部１５０は、設定された隠匿方式によってフレームエラーを隠匿する。
以下、復元する信号が音声信号である場合とオーディオ信号である場合、本発明の実施形態によるフレームエラー隠匿装置、これを利用した復号化装置の具体的な動作を説明する。
図２は、本発明の実施形態によってフレームエラー隠匿装置２３０を備えた音声復号化装置２００を示したブロック図であって、音声復号化装置２００は、エラー検出部２１０、復号化部２２０及びフレームエラー隠匿部２３０を備え、復号化部２２０は、励起信号復号化部２４０、線スペクトル対（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｐａｉｒ、以下、ＬＳＰという）復号化部２５０、ＬＰＳ／ＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）変換部２６０、合成フィルター２７０を備える。また、フレームエラー隠匿部２３０は、隠匿方式設定部２８０及びエラー隠匿部２９０を備え、隠匿方式設定部２８０は、信号特性分析部２８２及び設定部２８４を備え、エラー隠匿部２９０は、励起信号復元部２９２及びＬＳＰ復元部２９４を備える。
以下、図２に示した音声復号化装置２００の動作を説明する。
エラー検出部２１０は、ビットストリームでＥＦを検出してフレームエラー隠匿部２３０に提供し、残りの正常フレームは復号化部２２０に提供する。
復号化部２２０は、提供された正常フレームのパラメータを復号化し、復号化したパラメータを利用して該当音声信号を復元する。本発明の実施形態で音声発声モデルに基づいたＣＥＬＰ（Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）アルゴリズムを使用する場合、復号化部２２０は、音声信号の周波数特性を分析した１０個の根（ｒｏｏｔｓ）を持つＬＳＰパラメータと、励起信号を合成するためのパラメータとを復元し、復元されたパラメータを利用して音声信号を合成して出力する。励起信号を合成するためのパラメータには、ピッチ周期、パルス音源（パルスの位置）、パルス音源信号に対する利得ｇｃ及び適応コードブック音源信号に対する利得ｇｐが含まれる。励起信号復号化部２４０は、励起信号を合成するためのパラメータを復号化し、復号化したパラメータを利用して励起信号を合成する。
フレームエラー隠匿部２３０は、信号の特性によってＥＦを隠匿するための方式を設定し、設定された方式によってフレームエラーを隠匿する。
本発明の実施形態によれば、隠匿方式設定部２８０は信号の特性を分析し、分析された信号特性を考慮して回帰分析方式を設定し、エラー隠匿部２９０は、隠匿方式設定部２８０で設定された回帰分析方式によってフレームエラーを隠匿する。説明の便宜のために、隠匿方式設定部２８０でフレームエラーを隠匿するための回帰分析方式を設定する前に、エラー隠匿部２９０で回帰分析方式によってフレームエラーを隠匿する過程を先ず説明する。
前述したように、励起信号を合成するためのパラメータには、ピッチ周期、固定コードブックインデックス、適応コードブック利得パラメータｇｐ及び固定コードブック利得パラメータｇｃが含まれる。励起信号復元部２９２は、ＰＧＦの励起信号合成パラメータから、エラーが発生したフレームの励起信号の合成のためのパラメータを予測し、予測されたパラメータを利用して励起信号を合成することによって励起信号を復元する。ＰＧＦの励起信号合成のためのパラメータは、図２に示した励起信号復号化部２４０で復元され、ＥＦを復元するために使われるように、所定バッファ（図示せず）に保存されることが望ましい。励起信号復元部２９２は、フレームにエラーが発生した場合、所定バッファに保存されたＰＧＦのパラメータを読み取ってエラーフレームの励起信号を復元できる。
以下、図３Ａを参照して励起信号復元部２９２の動作を説明する。図３Ａは、図２に示した励起信号復元部２９２を図示したブロック図であって、励起信号復元部２９２は、第１関数導出部３００、利得調節部３１０、第１予測部３２０、第１後処理部３３０及び励起信号合成部３４０を備える。
第１関数導出部３００は、ＰＧＦの利得パラメータｇｐ、ｇｃから回帰分析を通じて関数を導出する。導出される関数は、線形関数または非線形関数である。非線形関数には、指数関数、ログ関数または累乗関数（ｐｏｗｅｒ ｆｕｎｃｔｉｏｎ）などがある。隠匿方式設定部２８０（図２）で線形回帰分析によりエラーフレームのパラメータを予測するように設定された場合には線形関数が導出され、非線形回帰分析により予測するように設定された場合には非線形関数のうちいずれか一つが導出される。一つのフレームは複数のサブフレームで構成されるが、各サブフレーム別に持つ利得パラメータ値から、回帰分析を通じて各利得値に関する関数が導出される。
図４Ａ及び図４Ｂは、ＰＧＦまたはサブフレームのパラメータを回帰分析して導出される関数の例を示したものである。図４Ａは、ＰＧＦの利得パラメータ値ｘ１，ｘ２，…，ｘ８から導出された線形関数の例を示したものである。図４Ｂは、ＰＧＦの利得パラメータ値ｘ１，ｘ２，…，ｘ８から導出された非線形関数の例を示したものである。図４Ａ及び図４Ｂにおいて、ａ及びｂは回帰分析により求められる定数である。
図３Ａを参照するに、利得調節部３１０は、ＰＧＦの有声レベルによって前記導出された関数の係数を調節する。例えば、第１関数導出部３００では、次の式（１）のような線形関数が導出された場合、利得調節部３１０では、導出された非線形関数の係数を次の式（２）のように調節する。
Figure 2014160280
ここで、ａ及びｂは、回帰分析により求められる定数であり、ｆ（ ）は、利得調節関数であり、有声レベルが高い時に勾配ａ’を小さくする役割を行う。
Figure 2014160280
は、ＰＧＦの適応コードブック利得パラメータである。有声音は、同じ信号が一定時間持続することが特徴であるので、有声レベルが高い時に勾配ａ’を小さくすることで、音声信号の大きさが過度に減少することを適応的に防止できる。これら調節部３１０は、回帰分析により正確にエラーフレームの利得が予測されない場合にこれを補完する役割を行う。特に、利得パラメータに利得調節が適用されるのは、有声音で現在信号と以前信号との相関度が高いのは音声信号のエネルギー分布と関係あるが、利得パラメータは、音声信号のエネルギーと相関関係にあるパラメータであるためである。
図２及び図３Ａを参照するに、第１予測部３２０は、利得調節部３１０で係数が調節された関数により、エラーが発生したフレームのパラメータを予測する。後述する隠匿方式設定部２８０で、線形回帰分析によりパラメータを予測するように設定された場合は、例えば、図４Ａのように、線形関数によりＥＦの利得パラメータｘＰＬが予測され、非線形回帰分析によりパラメータを予測するように設定された場合は、図４Ｂのように、非線形関数によりＥＦの利得パラメータｘＰＮが予測される。もし、第１関数導出部３００から式（１）のような線形関数が導出され、利得調節部３１０で、例えば、式（２）のように導出された関数の係数が調節された場合、この係数が調節された関数により予測される利得パラメータ
Figure 2014160280
は次のように予測される。
Figure 2014160280
ここで、ａ’は、調節された係数であり、ｂは、回帰分析により求められる定数である。
第１後処理部３３０は、予測された利得パラメータを最適化する。例えば、予測された利得パラメータの値が所定範囲内に含まれるように上限値と下限値とをあらかじめ定めておき、予測された利得パラメータ値が上限値より高いか、または下限値より低ければ、該当ＬＰＳパラメータ値を上限値と下限値との間の値に修正する。このようにして、利得パラメータ値が予想できなかった値に予測されることを防止する。
励起信号合成部３４０は、利得調節部３１４または第１予測部３２０で予測されたＥＦの利得パラメータｇｐ、ｇｃを参照して、ＥＦの励起信号を合成する。本発明の実施形態によれば、励起信号を合成するために必要なピッチ周期や固定コードブックインデックスを、以前フレームの値を再使用するか、または任意の値を生成して使用できる。より詳細な内容は、ここにレファレンスによって併合されたＩＴＵ−Ｔ Ｇ．７２９でフレームエラーを隠匿するために設けられた固有の機能を通じて説明する。
励起信号合成部３４０で合成された励起信号は、ＥＦの復元された励起信号であって、図２に示した合成フィルター２７０に出力される。
以下、図３Ｂを参照してＬＳＰ復元部２９４の動作を説明する。図３Ｂは、図２に示したＬＳＰ復元部２９２の細部ブロック図であって、ＬＰＳ復元部２９４は、ＬＳＰ／スペクトル変換部３５０、第２関数導出部３６０、第２予測部３７０、第２後処理部３８０及びスペクトル／ＬＳＰ変換部３９０を備える。ＬＳＰ復元部２９２は、ＰＧＦのＬＳＰパラメータから回帰分析を利用してエラーフレームのＬＳＰパラメータを復元する。
図２及び図３Ｂを参照するに、ＰＧＦのＬＳＰパラメータは、図２に示したＬＳＰ復号化部２４０で復元され、励起信号復元部２９２と同じく、ＥＦを復元するために使われるように所定バッファ（図示せず）に保存されることが望ましい。ＬＳＰ復元部２９４は、フレームにエラーが発生した場合、所定バッファに保存されたＰＧＦのパラメータを読み取ってエラーフレームのＬＳＰパラメータを復元できる。
ＬＳＰ／スペクトル変換部３５０は、ＰＧＦの１０個の根を持つＬＳＰパラメータをスペクトル領域に変換してスペクトルパラメータを得る。
第２関数導出部３６０は、ＰＧＦのスペクトルパラメータから回帰分析を通じて関数を導出する。第１関数導出部３００と同様に、この関数は、隠匿方式設定部２８０の設定事項によって線形関数または非線形関数でありうる。図４Ａ及び図４Ｂは、ＰＧＦまたはサブフレームのパラメータを回帰分析して導出される関数の例を示したものである。図４Ａは、ＰＧＦのスペクトルパラメータ値ｘ１，ｘ２，…，ｘ８から導出された線形関数ｘ（ｉ）＝ａｘ＋ｂの例を示したものである。図４Ｂは、ＰＧＦのスペクトルパラメータ値ｘ１，ｘ２，…，ｘ８から非線形関数ｘ（ｉ）＝ａが導出される例を示したものである。ここで、ａ及びｂは、回帰分析により求められる定数である。
第２予測部３７０は、導出された関数を利用してＥＦのスペクトルパラメータを予測する。図４Ａでは、線形関数によりＥＦのスペクトルパラメータｘＰＬが予測され、図４Ｂでは、非線形関数によりＥＦのスペクトルパラメータｘＰＮが予測される。
第２後処理部３８０は、予測されたＬＳＰパラメータを最適化する。例えば、予測されたＬＳＰパラメータが所定境界（ｔｈｒｅｓｈｏｌｄ）内の値を持つように、上限値と下限値とをあらかじめ定めておき、予測されたＬＰＳパラメータ値が上限値より高いか、または下限値より低ければ、該当ＬＰＳパラメータ値を上限値と下限値との間の値に修正する。このようにして、予想できなかった値にＬＳＰパラメータが予測されることを防止できる。
スペクトル／ＬＳＰ変換部３９０は、前記予測されたスペクトルパラメータをＬＳＰパラメータに変換することによって、ＥＦのＬＳＰパラメータを復元する。復元されたＬＳＰパラメータは、図２に示したＬＳＰ／ＬＰＣ変換部２５０に出力される。
前述したように、ＬＳＰ復元部２９４で復元されたＥＦのＬＳＰパラメータはＬＳＰ／ＬＰＣ変換部２６０に出力され、励起信号復元部２９２で復元されたＥＦの励起信号は合成フィルター２７０に出力される。したがって、復号化部２２０は、正常フレーム信号を復元して出力することと同様に、フレームエラー隠匿部２３０で復元されたＬＳＰパラメータ及び励起信号を利用して、エラーが発生したフレームの信号を復元して出力する。このようにして、ＥＦのエラーが隠匿される結果をもたらす。
以下、本発明の実施形態によって、隠匿方式設定部３００で信号の特性を考慮して回帰分析方式を設定する過程について説明する。図２を参照するに、隠匿方式設定部２８０は、信号特性分析部２８２及び設定部２８４とを備える。
信号特性分析部２８２は、ＰＧＦの情報に基づいてエラーが発生したフレーム信号特性を分析する。分析された信号特性は、後述する設定部２３４でフレームエラーを隠匿するための方式を設定する根拠として使われる。本発明の実施形態によれば、信号特性分析部２８２は、ＰＧＦの分類情報に基づいて信号の特性を分析する。分類情報とは、音声信号を周波数推移の特徴によって分類した情報であって、例えば、有声音（Ｖｏｉｃｅｄ）、無声音（Ｕｎｖｏｉｃｅｄ）、転移（Ｔｒａｎｓｉｔｉｏｎ）、オンセット（Ｏｎｓｅｔ）、オフセット（Ｏｆｆｓｅｔ）、黙音（Ｓｉｌｅｎｃｅ）、背景雑音（Ｂａｃｋｇｒｏｕｎｄ Ｎｏｉｓｅ）などの類型がありうる。
信号特性分析部２８２で、ＰＧＦの分類情報に基づいて信号の特性を分析する場合、各分類情報によって次のように信号の特性を分析することができる。有声音は、所定の長い期間に一定周波数が持続するので、ＰＧＦが有声音である場合、現在信号と以前信号との相関度が高い特性がある。一方、無声音や背景雑音は、現在信号と以前信号との相関度が低い特性がある。したがって、音声が有声音であるか、無声音であるか、または転移状態であるかによって、音声の特徴を代表するパラメータが線形的に変化するか、非線形的に変化するか、以前フレームと相関度が高いか低いかに関する特性を分析することができる。
本発明の実施形態によれば、信号特性分析部２８２は、ＰＧＦのエネルギー情報に基づいて信号の特性を分析することができる。したがって、エネルギーの変化推移によって信号が安定か不安定かを分析して、現在フレームと以前フレームとの信号の相関度などを分析することができる。前記言及した実施形態以外にもその他の多様な観点での信号特性分析が可能であろう。
設定部２８４は、信号特性分析部２８２で分析された信号の特性を考慮して、フレームエラーを隠匿するための回帰分析方式を設定する。設定できる事項には、線形回帰分析を使用するか、または非線形回帰分析を使用するか、回帰分析を参照するＰＧＦの数などがある。また、回帰分析を利用してＥＦの利得パラメータを予測した場合、予測されたパラメータ値を調節するための調節関数を設定することもできる。
本発明の実施形態による隠匿方式設定部２８０の設定過程を、図２及び図８に示した分析及び設定ステップに関するフローチャートを参照して説明する。図８は、図７に示した信号特性分析及び隠匿方式設定ステップの細部フローチャートである。
第８００ステップで、信号特性分析部２８２は、ＰＧＦの分類情報またはエネルギー情報に基づいて信号の特性を分析する。信号特性分析部２８２は、分析結果に基づいて現在信号が有声音であるか、無声音であるか、黙音であるか、転移状態であるか、オンセット状態であるか、オフセット状態であるか、背景雑音であるかなどを分析する。
第８１０ステップで、設定部２８４は、分析結果に基づいて現在信号が黙音であるかどうかを判断する。第８１０ステップで黙音であると判断された場合には、第８２０ステップで線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第８３０ステップで、以前Ｍ個の正常フレームを参照して回帰分析をすると設定する。第８１０ステップで、現在信号が黙音ではないと判断された場合には、第８４０ステップで非線形回帰分析を通じてエラーフレームのパラメータを復元すると設定する。そして、第８５０ステップで、現在信号が有声音であるかどうかを判断する。第８５０ステップで有声音と判断される場合には、第８６０ステップで、Ｍ個のＰＧＦのパラメータを参照して回帰分析するように設定し、第８５０ステップで有声音でないと判断される場合には、第８７０ステップで、Ｎ個のＰＧＦのパラメータを参照して回帰分析するように設定する。ここでＭは、Ｎより大きい整数であることが望ましい。有声音は、以前信号との相関度が高いため、さらに正確で自然な信号を復元するために、さらに長い区間の以前信号を参照することが望ましいが、無声音は以前信号との相関度が低いため、さらに短い区間の以前信号を参照することが望ましいためである。これは、一実施形態による設定方式であるので、信号特性を分析する方式や分析された信号特性によってフレームエラー隠匿方式を設定する多様な方法があり得、当業者が容易に変形して使用できる方法はいずれも本発明の実施形態の保護範囲に属する。
エラー隠匿部２９０は、隠匿方式設定部２８０で設定された隠匿方式によってフレームエラーを隠匿する。エラー隠匿部２９０の動作は前述した通りである。
次いで、図５を参照して本発明の実施形態によるフレームエラー隠匿部５３０を備えるオーディオ復号化装置５００の動作を説明する。図５に示したオーディオ復号化装置５００は、エラー検出部５１０、復号化部５２０及びフレームエラー隠匿部５３０を備える。また、復号化部５２０は、無損失復号化部５４０、逆量子化部５５０及びフィルターバンク５６０を備え、フレームエラー隠匿部５３０は、信号特性分析部５７２、設定部５７４を備える隠匿方式設定部５７０及びエラー隠匿部５８０を備える。
一般的にＭＰＥＧ−２／４ＡＡＣによるオーディオ符号化装置は、オーディオ信号をＭＤＣＴ（Ｍｏｄｕｌａｔｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｍａｔｉｏｎ）変換してオーディオ信号の周波数成分に関するスペクトルパラメータを抽出する。オーディオ信号は、抽出されたスペクトルパラメータを無損失符号化してビットストリームを生成し、生成されたビットストリームをオーディオ復号化装置５００に伝送する。
エラー検出部５１０は、図２のように、伝送されたビットストリームでＥＦを検出してフレームエラー隠匿部５３０に提供し、残りの正常フレームは復号化部５２０に提供する。
復号化部５２０は、提供された正常フレームのスペクトルパラメータを復元し、復元されたスペクトルパラメータから正常フレームのオーディオ信号を合成して出力する。無損失復号化部５４０は、正常フレームに該当するビットストリームをハフマンアルゴリズムなどを利用して無損失復号化し、逆量子化部５５０で逆量子化してスペクトルパラメータを復元する。フィルターバンク５６０は、復元されたスペクトルパラメータを逆ＭＤＣＴ変換して時間領域のオーディオ信号を復元して出力する。
信号特性分析部５７２は、ＥＦのＰＧＦの情報に基づいて信号の特性を分析する。オーディオ信号の特性を分析するために利用できるＰＧＦの情報には、アタック情報、ウィンドウ情報及びエネルギー情報などがある。
アタック信号情報とは、フレームに含まれたアタックサウンドに関する情報を含むことができる。アタックサウンドとは、オーディオ信号に含まれた低帯域の強度が強いサウンドをいい、これらのアタックサウンドは周期的ではない。したがって、信号特性分析部５６０は、アタックサウンドがオーディオ信号に含まれているならば、現在信号と以前信号との相関度が高くないと信号特性を分析することができる。
ウィンドウ情報とは、オーディオ符号化装置でオーディオ信号をサンプリングし、かつ量子化して得られたＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄａｕｌａｔｉｏｎ）サンプルをＭＤＣＴ変換する時に使われたウィンドウのサイズや形態に関する情報を含むことができる。オーディオ符号化装置でオーディオ信号の周波数スペクトルがあまり変わらない静的な信号は、サイズの大きいウィンドウを使用して時間領域信号をＭＤＣＴ変換してスペクトルパラメータを抽出するが、周波数スペクトルが多く変化する躍動的な信号は、さらに小さなサイズのウィンドウを使用してＭＤＣＴ変換をする。したがって、信号特性分析部５７２は、オーディオ符号化装置で使われたウィンドウのサイズが大きければ、信号が静的であると判断して現在信号と以前信号との相関度が高く、相関度の高い以前信号の区間が長いと信号特性を分析することができる。しかし、逆にウィンドウのサイズが小さいならば、現在信号と以前信号との相関度が低いか、または相関度の高い以前信号の区間が短いと信号特性を分析することができる。
エネルギー情報とは、フレームまたはサブフレームのエネルギー情報を含むことができる。信号特性分析部５７２は、ＰＧＦのエネルギー情報から以前信号のエネルギー変化推移を把握し、エネルギー変化推移によって信号が静的であるか、または動的であるかを分析する。以前信号のエネルギーがほぼ変化がないか、または安定している場合ならば、現在信号が以前信号との相関度が高い静的な信号であると分析し、エネルギーが急激に変わるか、または変化を予測し難い場合には、現在信号が以前信号との相関度が低い動的な信号であると分析することができる。前記実施形態以外にもその他の多様な観点での信号特性分析が可能であろう。
本発明の実施形態によれば、信号特性分析部５７２が突発情報、ウィンドウ情報及びエネルギー情報のうち少なくともいずれか一つの情報を総合的に考慮して信号の特性が静的であるか、または動的であるかを分析し、分析された信号特性を設定部５７４に提供する。
設定部５７４は、信号特性分析部５７２で提供された信号特性を考慮してフレームエラーを隠匿するための回帰分析方式を設定する。設定部５７４で設定できる事項は、図３に示した設定部２８４と同様に、線形回帰分析を使用するか、または非線形回帰分析を使用するか、回帰分析を参照するＰＧＦの数などがある。また、回帰分析を利用してエラー発生したフレームＥＦのスペクトルパラメータを予測した場合、予測されたパラメータ値を調節するための調節関数を設定することもできる。
本発明の実施形態による隠匿方式設定部５７０の設定過程を、図５及び図１２に示した分析及び設定ステップに関するフローチャートを参照して説明する。図１２は、図１１に示した信号特性分析及び隠匿方式設定ステップの細部フローチャートである。
第１２００ステップで、信号特性分析部５６０は、ＰＧＦのウィンドウ情報及びエネルギー情報に基づいて信号の特性を分析する。
第１２１０ステップで、設定部５７０は、分析結果現在信号が静的であるかどうかを判断する。第１２１０ステップで、現在信号が静的であると判断される場合、第１２２０ステップで線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第１２３０ステップで、以前Ｋ個の正常フレームを参照して回帰分析すると設定する。第１２１０ステップで現在信号が静的でないと判断される場合には、第１２４０ステップで、非線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第１２５０ステップで、以前Ｌ個の正常フレームを参照して回帰分析すると設定する。したがって、ＫはＬより大きい整数でありうる。静的なオーディオ信号は以前信号と相関度が高いため、さらに正確で自然な信号を復元するために、さらに長い区間の以前信号を参照することが望ましいが、動的なオーディオ信号は以前信号との相関度が低いため、さらに短い区間の以前信号を参照することが望ましいためである。これは実施形態に過ぎず、信号特性を分析する方式や分析された信号特性によってフレームエラー隠匿方式を設定する多様な方法があり、当業者が容易に変形して使用できる方法はいずれも本発明の保護範囲に属する。
エラー隠匿部５８０は、設定部５７４で設定された回帰分析方式によってフレームエラーを隠匿する。図２のエラー隠匿部２９０と同様に、ＰＧＦのスペクトルパラメータから回帰分析を通じてＥＦのスペクトルパラメータを復元することによって、フレームエラーを隠匿する。復元されたスペクトルパラメータは復号化部５２０のフィルターバンク５６０に提供され、フィルターバンク５６０は、正常フレームのスペクトルパラメータを使用して該当フレームのオーディオ信号を復元することと同様に、エラーが発生したフレームの復元されたスペクトルパラメータを使用してエラーが発生したフレームのオーディオ信号を復元する。ただし、ＰＧＦのＭＤＣＴパラメータが周波数帯域のサブバンド別に復号化されるならば、エラー隠匿部５８０でも各サブバンドごとに区別して、ＰＧＦのパラメータからＥＦのパラメータを復元せねばならない。
以下、本発明の実施形態によってエラー隠匿部５８０の動作を説明する。図５に示したエラー隠匿部５８０で、ＰＧＦがスペクトルパラメータから回帰分析を通じてＥＦのスペクトルパラメータを予測する過程は、図３に示した励起信号復元部３４０及びＬＳＰ復元部３５０で、以前正常フレームパラメータから回帰分析を通じてエラーが発生したフレームのパラメータを予測する過程と類似しているので、詳細な説明は省略する。
次いで、図６を参照して本発明の実施形態によるフレームエラー隠匿部６３０を備えたオーディオ復号化装置６００の動作を説明する。本発明の実施形態によれば、オーディオ復号化装置６００は、複数の階層で構成されたビットストリームを復号化する。ＢＳＡＣ（Ｂｉｔ Ｓｌｉｃｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）のように複数の階層でビットストリームが構成され、各階層別に周波数帯域が割り当てられた場合、ビットストリームの中間にエラーが発生してもエラーが発生した位置の以前階層まではそのまま復元ができる。これによって実施形態では、エラーが発生したフレームであっても、エラーが発生するまで復号化した情報を検出することによってオーディオの音質を改善できる。
図６は、本発明の実施形態によるフレームエラー隠匿部６３０を備えたオーディオ復号化装置６００のブロック図であって、オーディオ復号化装置６００は、エラー検出部６１０、復号化部６２０及びフレームエラー隠匿部６３０を備える。また、復号化部６２０は、無損失復号化部６４０、逆量子化部６５０及びフィルターバンク６６０を備え、フレームエラー隠匿部６３０は、信号特性分析部６７２、設定部６７４を備える隠匿方式設定部６７０及びエラー隠匿部６８０を備える。
図６に示したオーディオ復号化装置６００は、図５に示したオーディオ復号化装置５００の構成と類似した部分があるので、類似した部分については簡略に説明し、区別される差異点を中心に記述する。
エラー検出部６１０は、伝送されたビットストリームでＥＦを検出し、それに加えて前記フレームでエラーが発生した位置を検出する。エラーが発生したフレームであってもビットストリームが階層構造を持つ場合、エラーが発生した位置の以前正常階層（Ｐｒｅｖｉｏｕｓ Ｇｏｏｄ Ｌａｙｅｒ、ＰＧＬ）は、復号化部６２０で正常に復号化が可能なためである。
復号化部６２０は、提供された正常フレームまたは正常階層のスペクトルパラメータを復元し、復元されたスペクトルパラメータから該当フレームのオーディオ信号を復元して出力する。無損失復号化部６４０は、正常フレームまたはエラーフレームの正常階層に該当するビットストリームを算術復号化方式によって無損失復号化し、逆量子化部６５０で逆量子化することでスペクトルパラメータを復元する。フィルターバンク６６０は、復元されたスペクトルパラメータを逆ＭＤＣＴ変換して時間領域のオーディオ信号を復元して出力する。
フレームエラー隠匿部６３０は、エラー検出部６１０からエラーが発生したフレームでエラーが発生した位置を含む階層及びそれ以後の階層を伝送され、エラーを隠匿する。
本発明の実施形態によれば、信号特性分析部６６０は、以前正常階層ＰＧＦの情報に基づいて信号特性を分析するだけではなく、エラーが発生した位置の以前正常階層ＰＧＬの情報に基づいても信号特性を分析する（Ｓ１３３０ステップ）。ＰＧＦまたは以前正常階層ＰＧＬの情報には、図５で既に説明したアタック信号情報、ウィンドウ情報及びエネルギー情報などが含まれうる。これら情報については前述したので、ここでは省略する。
設定部６７０は、信号特性分析部６６０で分析した信号特性を考慮してフレームエラーを隠匿するための回帰分析方式を設定する（Ｓ１３３０ステップ）。設定部６７０のさらに具体的な動作は、図５Ａに示した設定部５７０の動作と類似しているので、説明を省略する。
エラー隠匿部６８０は、設定部６７０で設定された回帰分析方式でフレームのエラーを隠匿する。エラー隠匿部６８０は、ＰＧＦのスペクトルパラメータに加えて、ＥＦの以前正常階層ＰＧＬのスペクトルパラメータも利用して、フレームでエラーが発生した階層及びそれ以後の階層のスペクトルパラメータを復元する（Ｓ１３４０ステップ）。以前信号のスペクトルパラメータから回帰分析を通じて現在信号のスペクトルパラメータを予測する具体的な方法は、図３Ａに示したＬＳＰ復元部２９４または励起信号復元部２９２の予測方法と類似しているので、説明を省略する。
エラー隠匿部６８０で復元されたエラーが発生した階層及びそれ以後の階層のスペクトルパラメータは、復号化部６６０のフィルターバンク６５０に伝送される。
フィルターバンク６５０は、復号化部６２０で正常に復号化したエラーが発生したフレームの以前正常階層ＰＧＬのスペクトルパラメータと、フレームエラー隠匿部６３０で復元されたエラーが発生した階層及びそれ以後の階層のスペクトルパラメータとを利用して、エラーが発生したフレームのオーディオ信号を復元して出力する。
ＢＳＡＣのように複数の階層を持つビットストリームの場合には、ビットストリームの中間にエラーが発生しても、エラーが発生した以前階層までは復号化部６２０で正常に復号化できるので、前記以前階層のスペクトルパラメータは復号化部６２０で復元させ、残りのエラーが発生した階層及びそれ以後の階層のスペクトルパラメータのみフレームエラー隠匿部６３０で復元させることによって、さらに正確にエラーが発生したフレームのオーディオ信号を復元できる。
以下、図７を参照して本発明の実施形態によるフレームエラー隠匿方法を利用した音声復号化方法を説明する。図７は、本発明の実施形態によるフレームエラー隠匿方法を利用した音声復号化方法を示すフローチャートである。
第７００ステップで、ビットストリームのフレームにエラーが発生したかどうかを判断する。第７００ステップでエラーが発生していないと判断されれば、第７１０ステップで、エラーが発生していないＧＦの音声信号を復元する。第７００ステップでエラーが発生したと判断されれば、第７２０ステップで、ＰＧＦの情報に基づいて信号の特性を分析する。第７３０ステップで、分析された信号の特性を考慮して、フレームに発生したエラーを隠匿するための回帰分析方式を設定する。第７４０ステップで、設定された回帰分析方式によって、ＰＧＦの利得パラメータｇｐ、ｇｃを利用してＥＦの利得パラメータを復元し、第７４５ステップで、復元された利得パラメータを利用してＥＦの励起信号を復元する。第７５０ステップで、設定された隠匿方式によってＰＧＦのＬＳＰパラメータから、ＥＦのＬＳＰパラメータを復元する。第７６０ステップで復元された励起信号及びＬＳＰパラメータを利用して、ＥＦの音声信号を復元する。
以下、図８を参照して図７に示した信号特性分析及び隠匿方式設定ステップ（第７２０及び第７３０ステップ）を説明する。図８は、第７２０及び第７３０ステップのさらに詳細なフローチャートである。
第８００ステップで、ＰＧＦの情報に基づいて信号の特性を分析する。第８１０ステップで分析された信号特性に基づいて現在信号が黙音であるかどうかを判断する。第８１０ステップで、黙音であると判断された場合には、第８２０ステップで、線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第８３０ステップで、以前Ｍ個の正常フレームを参照して回帰分析をすると設定する。第８１０ステップで現在信号が黙音ではないと判断された場合には、第８４０ステップで、非線形回帰分析を通じてエラーフレームのパラメータを復元すると設定する。第８５０ステップで現在信号が有声音であるかどうかを判断する。第８５０ステップで、有声音であると判断される場合には、第８６０ステップで、Ｍ個のＰＧＦのパラメータを参照して回帰分析するように設定する。第８５０ステップで有声音ではないと判断される場合には、第８７０ステップで、Ｎ個のＰＧＦのパラメータを参照して回帰分析するように設定する。ここでＭは、Ｎより大きい整数であることが望ましい。有声音は以前信号との相関度が高いため、さらに正確で自然な信号を復元するためにさらに長い区間の以前信号を参照することが望ましいが、無声音は以前信号との相関度が低いため、さらに短い区間の以前信号を参照することが望ましいためである。
以下、図９を参照して図７に示した励起信号復元ステップ（第７４０ステップ）を説明する。図９は、図７に示した第７４０ステップの細部フローチャートである。
第９００ステップで、ＰＧＦの利得パラメータｇｐ、ｇｃから回帰分析を通じて関数を導出する。第９１０ステップで、ＰＧＦの有声レベルによって前記導出された関数の係数を調節する。第９２０ステップで、係数の調節された関数によりＥＦの利得パラメータを予測する。第９３０ステップで、予測された利得パラメータ値が所定範囲を外れるかどうかを判断する。第９３０ステップで、前記予測された利得パラメータ値が前記所定範囲を外れる場合、第９４０ステップで、前記予測された利得パラメータ値を所定範囲内の値に修正する。第９３０ステップで、前記予測された利得パラメータ値が前記所定範囲を外れない場合に第９５０ステップに進む。第９５０ステップで、前記第９２０ステップで予測された利得パラメータまたは第９４０ステップで、値が修正された利得パラメータを利用して励起信号を合成する。第９６０ステップで、合成された励起信号をＥＦの復元された励起信号として出力する。
以下、図１０を参照して、図７に示したＬＳＰパラメータ復元ステップ（第７５０ステップ）を説明する。図１０は、図７に示した第７５０ステップの細部フローチャートである。
第１０００ステップで、ＰＧＦのＬＳＰパラメータをスペクトル領域に変換してスペクトルパラメータを生成する。第１０１０ステップで、生成されたスペクトルパラメータから回帰分析を通じて関数を導出する。第１０２０ステップで、導出された関数によりＥＦのスペクトルパラメータを予測する。第１０３０ステップで、予測されたスペクトルパラメータ値が所定範囲を外れるかどうかを判断する。第１０３０ステップで所定範囲を外れると判断される場合、第１０４０ステップで前記予測されたスペクトルパラメータ値を所定範囲内の値に修正する。第１０３０ステップで前記所定範囲を外れないと判断される場合、第１０５０ステップに進む。第１０５０ステップで、前記第１０２０ステップで予測されたスペクトルパラメータまたは第１０４０ステップで修正されたスペクトルパラメータをＬＳＰパラメータに変換する。第１０６０ステップで、変換されたＬＳＰパラメータをＥＦの復元されたＬＳＰパラメータとして出力する。
以下、図１１を参照して本発明の実施形態によるフレームエラー隠匿を利用したオーディオ復号化方法を説明する。
第１１００ステップで、ビットストリームのフレームにエラーが発生したかどうかを判断する。第１１００ステップでエラーが発生していないと判断されれば、第１１０５ステップで、エラーが発生していないＧＦのスペクトルパラメータを復号化する。第１１１０ステップで、復号化したスペクトルパラメータを利用して正常フレームのオーディオ信号を復元する。第１１００ステップでエラーが発生したと判断されれば、第１１２０ステップで、ＰＧＦの情報に基づいて信号の特性を分析する。第１１３０ステップで、分析された信号の特性を考慮してフレームに発生したエラーを隠匿するための回帰分析方式を設定する。第１１４０ステップで、設定された回帰分析方式によって、ＰＧＦスペクトルパラメータを利用してＥＦのスペクトルパラメータを復元する。第１１５０ステップで、復元されたスペクトルパラメータを利用して、エラーが発生したフレームのオーディオ信号を復元する。
以下、図１２を参照して、図１１に示した第１１２０及び第１１３０ステップを説明する。図１２は、図１１に示した第１１２０及び第１１３０ステップのさらに詳細なフローチャートである。
第１２００ステップで、ＰＧＦの情報に基づいて信号の特性を分析する。第１２１０ステップで分析された結果に基づいて現在信号が静的であるかどうかを判断する。第１２１０ステップで現在信号が静的であると判断される場合、第１２２０ステップで、線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第１２３０ステップで、以前Ｋ個の正常フレームを参照して回帰分析を行うと設定する。第１２１０ステップで現在信号が静的でないと判断される場合には、第１２４０ステップで、非線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第１２５０ステップで、以前Ｌ個の正常フレームを参照して回帰分析するように設定する。ここでＫは、Ｌより大きい整数であることが望ましい。静的なオーディオ信号は、以前信号と相関度が高いため、さらに正確で自然な信号を復元するためにさらに長い区間の以前信号を参照することが望ましいが、動的なオーディオ信号は以前信号との相関度が低いため、さらに短い区間の以前信号を参照することが望ましいためである。
以下、図１３を参照して、本発明の実施形態によるフレームエラー隠匿を利用したオーディオ復号化方法を説明する。
第１３００ステップで、ビットストリームのフレームにエラーが発生したかどうかを判断する。第１３００ステップでエラーが発生していないと判断されれば、第１３１０ステップで、エラーが発生していないＧＦのスペクトルパラメータを復号化する。第１３２０ステップで、復号化したスペクトルパラメータを利用してＧＦのオーディオ信号を復元する。
第１３００ステップでエラーが発生したと判断されれば、第１３３０ステップで、前記フレームでエラーが発生した位置を検出する。エラーが発生したフレームであってもビットストリームが階層構造を持つ場合、エラーが発生した位置の以前正常階層ＰＧＬは正常に復号化できるためである。したがって、第１３４０ステップで、フレームでのエラーが発生した位置の以前正常階層ＰＧＬのスペクトルパラメータを復号化する。第１３５０ステップで、ＰＧＦの情報及び以前正常階層ＰＧＬの情報に基づいて信号の特性を分析する。１３６０ステップで、分析された結果に基づいて、エラーが発生した位置を含む階層及びそれ以後の階層のスペクトルパラメータを復元するための回帰分析方式を設定する。第１３７０ステップで、前記設定された回帰分析方式によって、ＰＧＦのスペクトルパラメータ及び以前正常階層ＰＧＬのスペクトルパラメータを利用して、エラーが発生した位置を含む階層及びそれ以後の階層のスペクトルパラメータを復元する。第１３８０ステップで、第１３４０ステップで復号化した以前正常階層ＰＧＬのスペクトルパラメータ及び、第１３７０ステップで復元されたエラーが発生した階層及びそれ以後の階層のスペクトルパラメータを利用して、エラーが発生したフレームのオーディオ信号を復元する。
説明したように、本発明の実施形態によるフレームエラー隠匿を利用した復号化方法及び装置はエラーが発生したフレームの信号特性を分析し、分析された信号特性を考慮してエラーが発生したフレームを復元するための最適化した回帰分析方式を設定し、設定された方式によってエラーが発生したフレームのパラメータを復元することによって、さらに正確にエラーが発生したフレームを復元することによってフレームエラーによる音質低下を最小化できる。
それに加えて実施形態によるフレームエラー隠匿を利用した復号化方法及び装置は、ビットストリームが階層構造を持つ場合、エラーが発生したフレーム全体をフレームエラー隠匿方式によって復元するのではなく、エラーが発生した位置の以前階層は正常に復元し、復元された以前正常階層のパラメータを参照して残りのエラーが発生した位置を含む階層及びそれ以後の階層のみをフレームエラー隠匿方式によって復元することによって、さらに正確にエラーが発生したフレームを復元でき、それによって音質低下を最小化できる。
本発明の実施形態はまた、コンピュータで読み取り可能な媒体にコンピュータで読み取り可能なコードとして具現することができる。コンピュータで読み取り可能な媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じるデータ伝送）の形態で具現されるものも含む。またコンピュータで読み取り可能な媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて行われうる。そして実施形態を具現するための機能的なプログラム、コード及びコードセグメントは、当業界のプログラマーにより容易に推論される。
以上、図面と明細書で最適の実施形態が開示された。ここで特定の用語が使われたが、これは単に本発明を説明するための目的で使われたものであって、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これより多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により定められねばならない。
前述したように、本発明の実施形態によるフレームエラー隠匿方法及び装置は、信号の特性を考慮して設定された方式によってフレームエラーを隠匿することによって、エラーが発生したフレームをさらに正確に復元できる。
また、階層構造を持つビットストリームの場合には、フレームでエラーが発生した階層の以前階層は正常に復号化し、残りの階層を以前正常フレームと以前階層の復号化した結果を参照して復元することで、エラーが発生した階層をさらに正確に復元できる。
また、本発明の実施形態によるフレームエラー隠匿方法及び装置は、回帰分析を利用してフレームエラーを隠匿することによって、以前正常フレーム及び以前階層の推移をさらに細密に考慮してエラーが発生したフレームまたは階層をさらに正確に予測できる。
本発明の実施形態による復号化方法及び装置は、本発明によるフレームエラー隠匿方法及び装置を利用してエラーが発生したフレームを隠匿するので、フレームエラーによる音質低下を最小化できる。
１００ 復号化装置
１１０ エラー検出部
１２０ 復号化部
１３０ フレームエラー隠匿部
１４０ 隠匿方式設定部
１４２ 信号特性分析部
１４４ 設定部
１５０ エラー隠匿部
２００ 音声復号化装置
２１０ エラー検出部
２２０ 復号化部
２３０ フレームエラー隠匿装置
２４０ 励起信号復号化部
２５０ ＬＳＰ復号化部
２６０ ＬＰＳ／ＬＰＣ変換部
２７０ 合成フィルター
２８０ 隠匿方式設定部
２８２ 信号特性分析部
２８４ 設定部
２９０ エラー隠匿部
２９２ 励起信号復元部
２９４ ＬＳＰ復元部
３００ 第１関数導出部
３１０ 利得調節部
３２０ 第１予測部
３３０ 第１後処理部
３４０ 励起信号合成部
３５０ ＬＳＰ／スペクトル変換部
３６０ 第２関数導出部
３７０ 第２予測部
３８０ 第２後処理部
３９０ スペクトル／ＬＳＰ変換部
５００ オーディオ復号化装置
５１０ エラー検出部
５２０ 復号化部
５３０ フレームエラー隠匿部
５４０ 無損失復号化部
５５０ 逆量子化部
５６０ フィルターバンク
５７０ 隠匿方式設定部
５７２ 信号特性分析部
５７４ 設定部
５８０ エラー隠匿部
６００ オーディオ復号化装置
６１０ エラー検出部
６２０ 復号化部
６３０ フレームエラー隠匿部
６４０ 無損失復号化部
６５０ 逆量子化部
６６０ フィルターバンク
６７０ 隠匿方式設定部
６７２ 信号特性分析部
６７４ 設定部
６８０ エラー隠匿部

Claims (1)

  1. エラーを含むフレームの一つ以上の信号特性に基づいて、線形回帰分析方式を前記エラーを隠匿するための方式として設定するステップと、
    前記一つ以上の信号特性に基づいて、前記線形回帰分析で参照するための以前正常フレームの数を設定するステップと、
    前記設定された数だけの前記以前正常フレームのパラメータに対して前記線形回帰分析を行って、前記エラーを含むフレームのためのパラメータを予測するステップと、
    前記予測されたパラメータに基づいて前記エラーを隠蔽するステップと、
    を含むことを特徴とするフレームエラー隠匿方法。
JP2014100896A 2006-11-28 2014-05-14 フレームエラー隠匿装置 Active JP6073830B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2006-0118563 2006-11-28
KR1020060118563A KR100862662B1 (ko) 2006-11-28 2006-11-28 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009539176A Division JP5607365B2 (ja) 2006-11-28 2007-11-13 フレームエラー隠匿方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017000620A Division JP6423460B2 (ja) 2006-11-28 2017-01-05 フレームエラー隠匿装置

Publications (2)

Publication Number Publication Date
JP2014160280A true JP2014160280A (ja) 2014-09-04
JP6073830B2 JP6073830B2 (ja) 2017-02-01

Family

ID=39465262

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009539176A Active JP5607365B2 (ja) 2006-11-28 2007-11-13 フレームエラー隠匿方法
JP2014100896A Active JP6073830B2 (ja) 2006-11-28 2014-05-14 フレームエラー隠匿装置
JP2017000620A Active JP6423460B2 (ja) 2006-11-28 2017-01-05 フレームエラー隠匿装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009539176A Active JP5607365B2 (ja) 2006-11-28 2007-11-13 フレームエラー隠匿方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017000620A Active JP6423460B2 (ja) 2006-11-28 2017-01-05 フレームエラー隠匿装置

Country Status (8)

Country Link
US (3) US8843798B2 (ja)
EP (6) EP2450886A1 (ja)
JP (3) JP5607365B2 (ja)
KR (1) KR100862662B1 (ja)
AT (1) ATE544149T1 (ja)
ES (1) ES2865099T3 (ja)
PL (1) PL2482278T3 (ja)
WO (1) WO2008066264A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
US8831933B2 (en) 2010-07-30 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-stage shape vector quantization
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
PL2975610T3 (pl) * 2010-11-22 2019-08-30 Ntt Docomo, Inc. Sposób i urządzenie do kodowania audio
TWI585747B (zh) 2011-10-21 2017-06-01 三星電子股份有限公司 訊框錯誤修補方法與裝置、音訊解碼方法與裝置
WO2013183977A1 (ko) 2012-06-08 2013-12-12 삼성전자 주식회사 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
US9280975B2 (en) 2012-09-24 2016-03-08 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
CA3210225A1 (en) * 2012-11-15 2014-05-22 Ntt Docomo, Inc. Audio coding device, audio coding method, audio coding program, audio decoding device, audio decoding method, and audio decoding program
BR112015017082B1 (pt) 2013-02-13 2021-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Método de ocultação de erro de quadro com base em quadros incluindo vetores de coeficiente de transformada, meio legível por computador, decodificador, e, terminal de usuário
KR102132326B1 (ko) * 2013-07-30 2020-07-09 삼성전자 주식회사 통신 시스템에서 오류 은닉 방법 및 장치
JP5981408B2 (ja) 2013-10-29 2016-08-31 株式会社Ｎｔｔドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
ES2661732T3 (es) 2013-10-31 2018-04-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador de audio y método para proporcionar una información de audio decodificada usando una ocultación de error que modifica una señal de excitación de dominio de tiempo
ES2746034T3 (es) 2013-10-31 2020-03-04 Fraunhofer Ges Forschung Decodificador de audio y método para proporcionar una información de audio decodificada usando un ocultamiento de error sobre la base de una señal de excitación de dominio de tiempo
CN105225670B (zh) 2014-06-27 2016-12-28 华为技术有限公司 一种音频编码方法和装置
US10424305B2 (en) * 2014-12-09 2019-09-24 Dolby International Ab MDCT-domain error concealment
JP6133454B2 (ja) * 2016-02-01 2017-05-24 株式会社Ｎｔｔドコモ 音声信号処理方法及び音声信号処理装置
JP6352487B2 (ja) * 2017-04-19 2018-07-04 株式会社Ｎｔｔドコモ 音声信号処理方法及び音声信号処理装置
CN108510993A (zh) * 2017-05-18 2018-09-07 苏州纯青智能科技有限公司 一种网络传输中实时音频数据丢包恢复的方法
CN109688531B (zh) * 2017-10-18 2021-01-26 宏达国际电子股份有限公司 获取高音质音频变换信息的方法、电子装置及记录介质
US10763885B2 (en) 2018-11-06 2020-09-01 Stmicroelectronics S.R.L. Method of error concealment, and associated device
CN111383643B (zh) * 2018-12-28 2023-07-04 南京中感微电子有限公司 一种音频丢包隐藏方法、装置及蓝牙接收机
WO2020164752A1 (en) 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs
WO2020223797A1 (en) * 2019-05-07 2020-11-12 Voiceage Corporation Methods and devices for detecting an attack in a sound signal to be coded and for coding the detected attack
CN110278436B (zh) * 2019-06-28 2021-04-27 瓴盛科技有限公司 图像帧差错隐藏方法及装置
CN111554309A (zh) * 2020-05-15 2020-08-18 腾讯科技（深圳）有限公司 一种语音处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004522178A (ja) * 2000-10-23 2004-07-22 ノキア コーポレーション 音声復号器におけるフレームエラー隠蔽に対する改善されたスペクトルパラメータ代替
WO2005086138A1 (ja) * 2004-03-05 2005-09-15 Matsushita Electric Industrial Co., Ltd. エラー隠蔽装置およびエラー隠蔽方法
JP5607365B2 (ja) * 2006-11-28 2014-10-15 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3018366B2 (ja) * 1989-02-08 2000-03-13 ソニー株式会社 ビデオ信号処理回路
SE501340C2 (sv) * 1993-06-11 1995-01-23 Ericsson Telefon Ab L M Döljande av transmissionsfel i en talavkodare
US5502713A (en) * 1993-12-07 1996-03-26 Telefonaktiebolaget Lm Ericsson Soft error concealment in a TDMA radio system
US5673210A (en) 1995-09-29 1997-09-30 Lucent Technologies Inc. Signal restoration using left-sided and right-sided autoregressive parameters
US6157830A (en) * 1997-05-22 2000-12-05 Telefonaktiebolaget Lm Ericsson Speech quality measurement in mobile telecommunication networks based on radio link parameters
US6584104B1 (en) * 1999-07-06 2003-06-24 Lucent Technologies, Inc. Lost-packet replacement for a digital voice signal
US6493667B1 (en) * 1999-08-05 2002-12-10 International Business Machines Corporation Enhanced likelihood computation using regression in a speech recognition system
US6775649B1 (en) 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
US6782360B1 (en) 1999-09-22 2004-08-24 Mindspeed Technologies, Inc. Gain quantization for a CELP speech coder
US6636829B1 (en) 1999-09-22 2003-10-21 Mindspeed Technologies, Inc. Speech communication system and method for handling lost frames
US6445696B1 (en) * 2000-02-25 2002-09-03 Network Equipment Technologies, Inc. Efficient variable rate coding of voice over asynchronous transfer mode
US6993488B2 (en) * 2000-06-07 2006-01-31 Nokia Corporation Audible error detector and controller utilizing channel quality data and iterative synthesis
FR2813722B1 (fr) 2000-09-05 2003-01-24 France Telecom Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
US6968309B1 (en) * 2000-10-31 2005-11-22 Nokia Mobile Phones Ltd. Method and system for speech frame error concealment in speech decoding
US6697126B2 (en) * 2001-02-09 2004-02-24 Webtv Networks, Inc. Intra-frame video error concealment
US7647223B2 (en) * 2001-08-16 2010-01-12 Broadcom Corporation Robust composite quantization with sub-quantizers and inverse sub-quantizers using illegal space
US7617096B2 (en) * 2001-08-16 2009-11-10 Broadcom Corporation Robust quantization and inverse quantization using illegal space
US7610198B2 (en) * 2001-08-16 2009-10-27 Broadcom Corporation Robust quantization with efficient WMSE search of a sign-shape codebook using illegal space
US7406411B2 (en) * 2001-08-17 2008-07-29 Broadcom Corporation Bit error concealment methods for speech coding
CA2388439A1 (en) 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
JP2004361731A (ja) 2003-06-05 2004-12-24 Nec Corp オーディオ復号装置及びオーディオ復号方法
US7835916B2 (en) * 2003-12-19 2010-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Channel signal concealment in multi-channel audio systems
KR100682888B1 (ko) * 2004-02-11 2007-02-15 삼성전자주식회사 가중된 회귀모델 결정 방법 및 이를 이용한 혼합물의 성분농도 예측 방법
KR20050089457A (ko) * 2004-03-05 2005-09-08 엘지전자 주식회사 동영상 복호화 시 에러 은닉 방법
KR100871646B1 (ko) * 2004-07-15 2008-12-02 콸콤 인코포레이티드 인트라-예측 방향에 기반한 ｈ.264 공간 에러 은닉 방법 및장치
JP4989971B2 (ja) 2004-09-06 2012-08-01 パナソニック株式会社 スケーラブル復号化装置および信号消失補償方法
US7813499B2 (en) * 2005-03-31 2010-10-12 Microsoft Corporation System and process for regression-based residual acoustic echo suppression
KR100723409B1 (ko) 2005-07-27 2007-05-30 삼성전자주식회사 프레임 소거 은닉장치 및 방법, 및 이를 이용한 음성복호화 방법 및 장치
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
US7349823B2 (en) * 2006-02-22 2008-03-25 Sun Microsystems, Inc. Using a genetic technique to optimize a regression model used for proactive fault monitoring
US8358704B2 (en) * 2006-04-04 2013-01-22 Qualcomm Incorporated Frame level multimedia decoding with frame information table

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004522178A (ja) * 2000-10-23 2004-07-22 ノキア コーポレーション 音声復号器におけるフレームエラー隠蔽に対する改善されたスペクトルパラメータ代替
WO2005086138A1 (ja) * 2004-03-05 2005-09-15 Matsushita Electric Industrial Co., Ltd. エラー隠蔽装置およびエラー隠蔽方法
JP5607365B2 (ja) * 2006-11-28 2014-10-15 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JONAS LINDBLOM, ET AL.: ""PACKET LOSS CONCEALMENT BASED ON SINUSOIDAL EXTRAPOLATION"", PROCEEDINGS OF THE 2002 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, vol. Vol.I, JPN6013033442, 13 May 2002 (2002-05-13), pages 173 - 176, ISSN: 0003452449 *

Also Published As

Publication number Publication date
ES2865099T3 (es) 2021-10-15
EP2482278B1 (en) 2020-03-04
EP2450884B1 (en) 2021-03-31
US9424851B2 (en) 2016-08-23
EP2450886A1 (en) 2012-05-09
US20080126904A1 (en) 2008-05-29
EP2482278A1 (en) 2012-08-01
EP2450883A1 (en) 2012-05-09
EP2450884A1 (en) 2012-05-09
EP2102862A1 (en) 2009-09-23
JP5607365B2 (ja) 2014-10-15
JP2017078870A (ja) 2017-04-27
US10096323B2 (en) 2018-10-09
JP6073830B2 (ja) 2017-02-01
US20140245091A1 (en) 2014-08-28
EP2450885A1 (en) 2012-05-09
EP2450885B1 (en) 2021-07-07
US20160358612A1 (en) 2016-12-08
EP2450883B1 (en) 2021-07-21
ATE544149T1 (de) 2012-02-15
WO2008066264A1 (en) 2008-06-05
US8843798B2 (en) 2014-09-23
KR20080048317A (ko) 2008-06-02
JP2010511201A (ja) 2010-04-08
PL2482278T3 (pl) 2020-06-29
EP2102862A4 (en) 2011-01-26
JP6423460B2 (ja) 2018-11-14
KR100862662B1 (ko) 2008-10-10
EP2102862B1 (en) 2012-02-01

Similar Documents

Publication Publication Date Title
JP6423460B2 (ja) フレームエラー隠匿装置
RU2496156C2 (ru) Маскирование ошибки передачи в цифровом аудиосигнале в иерархической структуре декодирования
KR101455915B1 (ko) 일반 오디오 및 음성 프레임을 포함하는 오디오 신호용 디코더
US9524721B2 (en) Apparatus and method for concealing frame erasure and voice decoding apparatus and method using the same
KR101413968B1 (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
JP7297803B2 (ja) 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
KR20140005277A (ko) 저-지연 통합 스피치 및 오디오 코딩에서 에러 은닉을 위한 장치 및 방법
MXPA04011751A (es) Metodo y dispositivo para ocultamiento de borrado adecuado eficiente en codecs de habla de base predictiva lineal.
JP2013084002A (ja) 音声コーデックの品質向上装置およびその方法
US20080255860A1 (en) Audio decoding apparatus and decoding method
KR20220045260A (ko) 음성 정보를 갖는 개선된 프레임 손실 보정
KR101413969B1 (ko) 오디오 신호의 복호화 방법 및 장치
KR20080092823A (ko) 부호화/복호화 장치 및 방법
KR20080034818A (ko) 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20150915

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170105

R150 Certificate of patent or registration of utility model

Ref document number: 6073830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250