Nothing Special   »   [go: up one dir, main page]

JP6181773B2 - Celp状コーダのためのサイド情報を用いないノイズ充填 - Google Patents

Celp状コーダのためのサイド情報を用いないノイズ充填 Download PDF

Info

Publication number
JP6181773B2
JP6181773B2 JP2015554202A JP2015554202A JP6181773B2 JP 6181773 B2 JP6181773 B2 JP 6181773B2 JP 2015554202 A JP2015554202 A JP 2015554202A JP 2015554202 A JP2015554202 A JP 2015554202A JP 6181773 B2 JP6181773 B2 JP 6181773B2
Authority
JP
Japan
Prior art keywords
current frame
noise
audio
audio decoder
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015554202A
Other languages
English (en)
Other versions
JP2016504635A (ja
Inventor
フッハス,ギローム
ヘルムリッヒ,クリスチャン
ヤンデル,マニュエル
シューベルト,ベンヤミン
ヨコタニ,ヨシカズ
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2016504635A publication Critical patent/JP2016504635A/ja
Application granted granted Critical
Publication of JP6181773B2 publication Critical patent/JP6181773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002Dynamic bit allocation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Description

本発明は、線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供するオーディオ復号器、線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供する方法、コンピュータ上で作動されたとき、前記方法を実行するコンピュータプログラム、及び前記方法で処理されたオーディオ信号又は当該オーディオ信号を格納した記憶媒体に関するものである。
符号励振線形予測(CELP)符号化原理に基づく低ビットレート・デジタルスピーチコーダは、そのビットレートが1サンプル当り約0.5〜1ビット以下になると、通常、信号疎ら性アーチファクト(signal sparseness artifacts)の影響を受け、そのことがいくらかの人工的、金属的音をもたらす。特に、入力信号が背景の中に環境ノイズを含んでいる場合、低レートアーチファクトは明瞭に可聴となり、背景ノイズは活性スピーチ部分の期間中、減衰されるであろう。本発明は、AMR−WB(非特許文献1)及びG.718(非特許文献4、7)のような(A)CELPコーダ(符/復号器)についてのノイズ挿入スキームを提案しており、そのノイズ挿入スキームは、xHE−AAC(非特許文献5、6)のような変換ベースのコーダにおいて使用されているノイズ充填技術と同様に、背景ノイズを再構成するために、ランダムノイズ生成器の出力を復号化済みスピーチ信号に付加するものである。
特許文献1は、線形予測ベースであり、スペクトルドメイン・ノイズ整形を使用する符号化概念を開示している。オーディオ入力信号の、スペクトル列を含むスペクトログラムへのスペクトル分解は、線形予測係数の計算と、その線形予測係数に基づく周波数ドメイン整形に対する入力と、の両方のために使用される。その引用文献によれば、オーディオ符号器は、入力オーディオ信号を分析してそこから線形予測係数を導出するための線形予測分析部を含む。オーディオ符号器の周波数ドメイン整形部は、線形予測分析部によって提供された線形予測係数に基づいて、スペクトログラムのスペクトル列の現在のスペクトルをスペクトル的に整形するよう構成されている。量子化されスペクトル的に整形されたスペクトルは、スペクトル整形において使用された線形予測係数に関する情報と共にデータストリーム内へと挿入され、その結果、復号器側では逆整形及び逆量子化が実行されてもよい。時間的ノイズ整形を実行するために、時間的ノイズ整形モジュールもまた存在してもよい。
従来技術からみて、そのような方法を実行するための改善されたオーディオ復号器、改善された方法、改善されたコンピュータプログラム、及び、そのような方法で処理された改善されたオーディオ信号、又はそのようなオーディオ信号を格納した記憶媒体についての要求が依然として残る。より具体的には、符号化済みビットストリーム内で伝送されたオーディオ情報の音声品質を改善する解決策を発見することが望ましい。
国際公開公報WO2012/110476A1
B. Bessette et al., "The Adaptive Multi-rate Wideband Speech Codec (AMR-WB)," IEEE Trans. On Speech and Audio Processing, Vol. 10, No. 8, Nov. 2002. R. C. Hendriks, R. Heusdens and J. Jensen, "MMSE based noise PSD tracking with low complexity," in IEEE Int. Conf. Acoust., Speech, Signal Processing, pp. 4266 - 4269, March 2010. R. Martin, "Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics," IEEE Trans. On Speech and Audio Processing, Vol. 9, No. 5, Jul. 2001. M. Jelinek and R. Salami, "Wideband Speech Coding Advances in VMR-WB Standard," IEEE Trans. On Audio, Speech, and Language Processing, Vol. 15, No. 4, May 2007. J. Makinen et al., "AMR-WB+: A New Audio Coding Standard for 3rd Generation Mobile Audio Services," in Proc. ICASSP 2005, Philadelphia, USA, Mar. 2005. M. Neuendorf et al., "MPEG Unified Speech and Audio Coding - The ISO/MPEG Standard for High-Efficiency Audio Coding of All Content Types," in Proc. 132nd AES Convention, Budapest, Hungary, Apr. 2012. Also appears in the Journal of the AES, 2013. T. Vaillancourt et al., "ITU-T EV-VBR: A Robust 8 - 32 kbit/s Scalable Coder for Error Prone Telecommunications Channels," in Proc. EUSIPCO 2008, Lausanne, Switzerland, Aug. 2008.
本発明の請求項及び実施例の詳細な説明における参照符号は、単に読みやすさを改善するために付け加えられたものであり、限定のために意図されたものではない。
本発明の目的は、線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供するオーディオ復号器によって解決され、そのオーディオ復号器は、現在フレームの線形予測係数を使用してノイズの傾き(tilt)を調整し、傾き情報を取得するよう構成された傾き調整部と、傾き調整部によって取得された傾き情報に依存して現在フレームにノイズを付加するよう構成されたノイズ挿入部とを含む。さらに、本発明の目的は、線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供する方法によって解決され、その方法は、現在フレームの線形予測係数を使用してノイズの傾きを調整し、傾き情報を取得するステップと、取得された傾き情報に依存して現在フレームにノイズを付加するステップとを含む。
本発明の第2の解決策として、本発明は線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供するオーディオ復号器を提案し、そのオーディオ復号器は、少なくとも1つの以前のフレームの線形予測係数を使用して現在フレームについてのノイズレベルを推定し、ノイズレベル情報を取得するよう構成されたノイズレベル推定部と、ノイズレベル推定部によって提供されたノイズレベル情報に依存して現在フレームにノイズを付加するよう構成されたノイズ挿入部とを含む。さらに、本発明の目的は、線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供する方法によって解決され、その方法は、少なくとも1つの以前のフレームの線形予測係数を使用して現在フレームについてのノイズレベルを推定し、ノイズレベル情報を取得するステップと、ノイズレベル推定によって提供されたノイズレベル情報に依存して現在フレームにノイズを付加するステップとを含む。追加的に、本発明の目的は、コンピュータ上で実行されたとき、前述の方法を実行するためのコンピュータプログラムによって解決され、前述の方法によって処理されたオーディオ信号又は当該オーディオ信号が格納された記憶媒体によって解決される。
提案された解決策では、ノイズ充填期間中に復号器側で提供されるノイズを調整するために、CELPビットストリーム内でサイド情報を提供する必要がない。このことは、ビットストリームによって伝送されるべきデータ量を削減でき、その一方で、現在又は以前の復号化済みフレームの線形予測係数だけに基づいて、挿入されるノイズの品質を高めることができることを意味している。換言すると、ビットストリームによって伝送されるべきデータ量を増大させるであろうノイズに関するサイド情報は省略されてもよい。本発明は、ビットストリームに関するより小さい帯域幅を消費する低ビットレート・デジタルコーダ及び方法の提供を可能とし、かつ従来技術の解決策に比べて背景ノイズの改善された品質を提供することを可能にする。
オーディオ復号器は現在フレームのフレームタイプを決定するフレームタイプ決定部を備えるのが望ましく、フレームタイプ決定部は、現在フレームのフレームタイプがスピーチタイプであると検出された場合には、ノイズの傾きを調整する傾き調整部を活性化させるよう構成される。幾つかの実施形態では、フレームタイプ決定部は、フレームがACELP又はCELP符号化されている場合には、そのフレームをスピーチタイプフレームであると認識するよう構成されている。現在フレームの傾きに従ってノイズを整形することは、より自然な背景ノイズを提供し、ビットストリーム内に符号化された所望信号の背景ノイズに関してオーディオ圧縮の望ましくない効果を低減できる可能性がある。これらの不所望な圧縮効果やアーチファクトはスピーチ情報の背景ノイズに関して知覚可能になり易いので、現在フレームにノイズを付加する前に、ノイズの傾きを調整することによってスピーチタイプフレームに付加されるべきノイズの品質を向上させることが有利であり得る。したがって、ノイズ挿入部は、現在フレームがスピーチフレームである場合だけ現在フレームにノイズを付加するようにしてもよい。なぜなら、スピーチフレームだけがノイズ充填によって処理される場合には、復号器側での作業負荷を低減できる可能性があるからである。
本発明の好ましい実施形態によれば、傾き調整部は現在フレームの線形予測係数の一次分析の結果を使用して、傾き情報を取得するよう構成されている。そのような線形予測係数の一次分析を使用することによって、ビットストリーム内でノイズを特徴付けるサイド情報を省略することが可能になる。さらに、追加すべきノイズの調整は、現在フレームのオーディオ情報の復号化を可能にするために、いずれにせよビットストリームと共に伝送されるべき現在フレームの線形予測係数に基づくことが可能になる。このことは、現在フレームの線形予測係数がノイズの傾きを調整するプロセスにおいて有利に再利用されることを意味する。さらに、一次分析は適度に簡易であるから、オーディオ復号器の演算複雑性が有意に増加しない。
本発明の幾つかの実施形態では、傾き調整部は、一次分析として現在フレームの線形予測係数のゲインgの計算を使用して、傾き情報を取得するよう構成されている。さらに好ましくは、ゲインgは次式によって与えられ、
g=Σ[ak・ak+1]/Σ[ak・ak],
ここで、akは現在フレームのLPC係数である。幾つかの実施形態では、2つ又はそれ以上のLPC係数akが計算において使用される。好ましくは、全体として16個のLPC係数が使用され、そのためk=0・・・15である。本発明の実施形態では、16個より多いか又は少ないLPC係数を使用して、ビットストリームが符号化されてもよい。現在フレームの線形予測係数がビットストリーム内に利用可能に存在するので、傾き情報はサイド情報を使用せずに取得可能であり、そのためビットストリーム内で伝送されるべきデータ量を削減できる。付加されるべきノイズは、符号化済みオーディオ情報を復号化するのに必要な線形予測係数だけを使用して調整されてもよい。
好ましくは、傾き調整部は現在フレームに関する直接形フィルタ(direct form filter)x(n)−g・x(n−1)の伝達関数の計算を使用して傾き情報を取得するよう構成されている。このタイプの計算は適度に容易であり、復号器側での高い演算能力を必要としない。上述のように、ゲインgは現在フレームのLPC係数から容易に計算し得る。このことは、符号化済みオーディオ情報を復号化するために必須のビットストリームデータだけを使用しながら、低ビットレートのデジタルコーダにおけるノイズ品質の改善を可能にする。
本発明の好ましい実施形態では、ノイズ挿入部は、現在フレームにノイズを付加する前に、ノイズの傾きを調整するために現在フレームの傾き情報をノイズに適用するよう構成される。ノイズ挿入部がしかるべく構成されている場合には、簡素なオーディオ復号器が提供され得る。まず傾き情報を適用し、次に調整済みノイズを現在フレームに付加することで、オーディオ復号器の簡素で効果的な方法が提供され得る。
本発明のある実施形態では、オーディオ復号器はさらに、ノイズレベル情報を取得するために少なくとも1つの以前のフレームの線形予測係数を使用して、現在フレームのノイズレベルを推定するよう構成されたノイズレベル推定部を含み、ノイズ挿入部は、ノイズレベル推定部によって提供されたノイズレベル情報に依存して現在フレームにノイズを付加するよう構成されている。これにより、現在フレームに付加されるべきノイズが現在フレーム内に恐らく存在しているノイズレベルに従って調整され得るので、背景ノイズの品質及びそれにより全体のオーディオ伝送の品質が向上されうる。例えば、高いノイズレベルが以前のフレームから推定されたために高いノイズレベルが現在フレーム内で予想される場合、ノイズ挿入部は、現在フレームにノイズを付加する前に現在フレームに付加されるべきノイズのレベルを増加させるよう構成され得る。よって、付加されるべきノイズは、現在フレームにおいて予測されたノイズレベルに比較して余り静かすぎず又は余りうるさすぎないように調整され得る。この調整は、やはりビットストリーム内の専用のサイド情報に基づかず、ビットストリーム内で伝送された必要データの情報を単に使用するだけであり、この場合、以前のフレームにおけるノイズレベルについての情報をも提供する少なくとも1つの以前のフレームの線形予測係数が使用される。このように、現在フレームに付加されるべきノイズは、gから導出された傾きを使用して整形されかつノイズレベル推定を視野に入れてスケールされることが望ましい。さらに好ましくは、現在フレームに付加されるべきノイズの傾きとノイズレベルとは、現在フレームがスピーチタイプである場合に調整される。幾つかの実施形態では、現在フレームに付加されるべきノイズの傾き及び/又はノイズレベルは、現在フレームが通常のオーディオタイプ、例えばTCX又はDTX型である場合にも調整される。
好ましくは、オーディオ復号器は現在フレームのフレームタイプを決定するフレームタイプ決定部を含み、そのフレームタイプ決定部は、現在フレームのフレームタイプがスピーチであるか又は通常のオーディオであるかを識別するよう構成され、その結果、ノイズレベル推定が現在フレームのフレームタイプに依存して実行され得る。例えば、フレームタイプ決定部は、現在フレームがスピーチフレームの一つのタイプであるCELPフレーム若しくはACELPフレームであるか、又は通常のオーディオフレームの一つのタイプであるTCX/MDCTフレーム若しくはDTXフレームであるかを検出するよう構成可能である。これら符号化フォーマットは異なる法則に基づくので、ノイズレベル推定を実行する前にフレームタイプを決定することが望ましく、その結果、フレームタイプに依存して好適な計算方法を選択できる。
本発明の幾つかの実施形態において、オーディオ復号器は、現在フレームのスペクトル的に未整形の励振を表す第1情報を計算し、かつ現在フレームのスペクトルスケーリングに関する第2情報を計算するよう適応されており、その結果、第1情報と第2情報との商を計算してノイズレベル情報を取得する。これにより、ノイズレベル情報は、如何なるサイド情報も使用せずに取得され得る。よって、符号器のビットレートを低く保つことができる。
好ましくは、現在フレームがスピーチタイプであるという条件下において、オーディオ復号器は、現在フレームの励振信号を復号化し、かつその二乗平均平方根ermsを、ノイズレベル情報を取得するための第1情報として現在フレームの時間ドメイン表現から計算するよう適応されている。この実施例においては、現在フレームがCELPタイプ又はACELPタイプである場合に、オーディオ復号器がそのように実行するよう適応されるのが望ましい。スペクトル的に平坦化された励振信号(知覚ドメインにおいて)はビットストリームから復号化され、ノイズレベル推定を更新するために使用される。現在フレームについての励振信号の二乗平均平方根ermsは、ビットストリームが読み込まれた後で計算される。このタイプの演算は高い演算能力を必要としないので、低い演算能力しか持たないオーディオ復号器でも実行可能である。
好ましい一実施形態では、現在フレームがスピーチタイプであるという条件下において、オーディオ復号器は、現在フレームのLPCフィルタの伝達関数のピークレベルpを第2情報として計算するよう適応されており、従って線形予測係数を使用して、ノイズレベル情報を取得する。ここでも、現在フレームがCELPタイプ又はACELPタイプであることが望ましい。ピークレベルpの計算はむしろ安価であり、現在フレームに含まれているオーディオ情報を復号化するためにも使用される現在フレームの線形予測係数を再利用することにより、サイド情報は省略可能であり、ビットストリームのデータレートを増大させずに背景ノイズを向上させることができる。
本発明の好ましい一実施形態では、現在フレームがスピーチタイプであるという条件下において、オーディオ復号器は、二乗平均平方根ermsとピークレベルpとの商を計算することによって、現在のオーディオフレームのスペクトル最小値mfを計算して、ノイズレベル情報を取得するよう適応されている。この計算はむしろ簡易であり、多数のオーディオフレームの範囲に亘ってノイズレベルを推定するのに有用な数値を提供し得る。よって、連続した現在のオーディオフレームのスペクトル最小値mfは、そのような連続したオーディオフレームによってカバーされた期間中のノイズレベルを推定するのに使用されてもよい。このことは、複雑性を適度に低く保ちながら、現在フレームのノイズレベルの良好な推定を得ることを可能にし得る。ピークレベルpは以下の式、
p=Σ|ak|,
を使用して好適に計算され、ここでakは好ましくはk=0・・・15である線形予測係数である。よって、そのフレームが16個の線形予測係数を含む場合には、幾つかの実施形態では、pは好ましくは16個のakの振幅を合計することによって計算される。
好ましくは、現在フレームが通常のオーディオタイプである場合、オーディオ復号器は、現在フレームの未整形のMDCT励振を復号化し、かつその二乗平均平方根ermsを、ノイズレベル情報を取得するための第1情報として、現在フレームのスペクトルドメイン表現から計算するよう適応されている。これは、現在フレームがスピーチフレームではなく通常のオーディオフレームであれば常に、本発明の好ましい実施形態である。MDCT又はDTXフレームにおけるスペクトルドメイン表現は、例えばCELPや(A)CELPフレームのようなスピーチフレームにおける時間ドメイン表現と殆ど等価である。違いは、MDCTはパーセバルの定理(Parseval's theorem)を考慮しないという点である。よって、通常のオーディオフレームについての二乗平均平方根ermsは、スピーチフレームについての二乗平均平方根ermsと同様にして計算されるのが望ましい。次に、特許文献1に記載のように、例えばバーク尺度におけるMDCT値の平方を参照するMDCTパワースペクトルを使用して、通常のオーディオフレームのLPC係数等価値を計算するのが望ましい。代替的な一実施形態では、スペクトルの尺度が線形尺度に対応するよう、MDCTパワースペクトルの周波数帯域が一定の幅を持ち得る。このような線形尺度を使用することで、計算されたLPC係数等価値は、同じフレームの時間ドメイン表現におけるLPC係数と類似し、例えば、ACELPやCELPフレームについて計算されたものと同等となる。さらに、現在フレームが通常のオーディオタイプである場合に、特許文献1で開示されているように、MDCTフレームから計算されている現在フレームのLPCフィルタの伝達関数のピークレベルpが第2情報として計算されるのが望ましく、それにより、現在フレームが通常のオーディオタイプであるという条件下で、線形予測係数を使用してノイズレベル情報を取得することになる。次に、現在フレームが通常のオーディオタイプである場合に、二乗平均平方根ermsとピークレベルpとの商を計算することによって、現在のオーディオフレームのスペクトル最小値を計算し、現在フレームが通常のオーディオタイプであるという条件下でのノイズレベル情報を取得することが望ましい。よって、現在フレームがスピーチタイプか通常のオーディオタイプかに拘わらず、現在のオーディオフレームのスペクトル最小値mfを表す商を取得することが可能になる。
好ましい一実施形態では、オーディオ復号器は、フレームタイプに関係なくノイズレベル推定部において現在のオーディオフレームから取得される商をエンキュー(enqueue)するよう適応され、ノイズレベル推定部は、異なるオーディオフレームから取得された2つ又はそれ以上の商のためのノイズレベル記憶部を含む。このことは、例えば低遅延統合型スピーチ及びオーディオ復号化(LO−USAC、EVS)を適用する場合に、もしオーディオ復号器がスピーチフレームの復号化と通常のオーディオフレームの復号化とを切り替えるときに有利であり得る。これにより、フレームタイプを考慮せずに多数のフレームにわたる平均ノイズレベルが取得され得る。好ましくは、ノイズレベル記憶部は10個又はそれ以上の以前のオーディオフレームから取得された10個又はそれ以上の商を保持できる。例えば、ノイズレベル記憶部は30フレームの商のための空間(room)を含み得る。よって、ノイズレベルは現在フレームより以前の拡張された時間について計算され得る。幾つかの実施形態では、商は、現在フレームがスピーチタイプであると検出された場合にノイズレベル推定部においてエンキューされるだけでもよい。他の実施形態では、商は、現在フレームが通常のオーディオタイプであると検出された場合にノイズレベル推定部においてエンキューされるだけでもよい。
ノイズレベル推定部は、異なるオーディオフレームの2つ又はそれ以上の商の統計的分析に基づいてノイズレベルを推定するよう構成される。本発明の一実施形態では、オーディオ復号器は、前記商を統計的に分析するために、最小二乗平均誤差ベースのノイズパワースピーチ密度追跡を使用するよう構成される。この追跡は、非特許文献2に記載されている。非特許文献2に従う方法が適用される場合には、オーディオ復号器は、現在の事例において振幅スペクトルが直接的にサーチされるように、統計的分析における追跡値の平方根を使用するよう構成される。本発明の他の実施形態では、異なるオーディオフレームの2つ又はそれ以上の商を分析するために、非特許文献3から知られている最小統計値が使用される。
好ましい一実施形態では、オーディオ復号器は、現在フレームの線形予測係数を使用して、現在フレームのオーディオ情報を復号化し、復号化済みコアコーダ出力信号を取得するよう構成された復号器コアを含み、ノイズ挿入部は、現在フレームのオーディオ情報を復号化する際に使用され、及び/又は1つ又は複数の以前のフレームのオーディオ情報を復号化する際に使用された、線形予測係数に依存してノイズを付加する。よって、ノイズ挿入部は、現在フレームのオーディオ情報を復号化するために使用されているのと同じ線形予測係数を利用する。ノイズ挿入部に指令するためのサイド情報は省略可能である。
好ましくは、オーディオ復号器は、現在フレームをデ・エンファサイズするデ・エンファシスフィルタ(de-emphasis filter)を備えており、オーディオ復号器は、ノイズ挿入部がノイズを現在フレームに付加した後で、現在フレームに対してデ・エンファシスフィルタを適用するよう構成されている。デ・エンファシスは低周波数を増強する一次のIIRであるから、このことは、低周波数における可聴のノイズアーチファクトを回避しながら、付加されたノイズの低複雑性で急峻なIIR高域通過フィルタリングを可能とする。
好ましくは、オーディオ復号器はノイズ発生部を含み、このノイズ発生部は、ノイズ挿入部によって現在フレームに付加されるべきノイズを発生するよう構成される。オーディオ復号器に含まれるノイズ発生部を備えることで、如何なる外部のノイズ発生部を必要としないので、一層簡便なオーディオ復号器を提供できる。代替的に、ノイズは外部のノイズ発生部によって供給されてもよく、そのノイズ発生部はインターフェースを介してオーディオ復号器に接続されてもよい。例えば、現在フレーム内において強化されるべき背景ノイズに依存して、特殊なタイプのノイズ発生部が適用されてもよい。
好ましくは、ノイズ発生部はランダム・ホワイトノイズを発生するよう構成される。そのようなノイズは一般的な背景ノイズに適度に似ており、そのようなノイズ発生部は容易に提供し得る。
本発明の好ましい実施形態では、ノイズ挿入部は、符号化済みオーディオ情報のビットレートが1サンプル当り1ビットより小さいという条件下で、現在フレームにノイズを付加するよう構成されている。好ましくは、符号化済みオーディオ情報のビットレートが1サンプル当り0.8ビットより小さい。ノイズ挿入部は、符号化済みオーディオ情報のビットレートが1サンプル当り0.5ビットより小さいという条件下で、現在フレームにノイズを付加するよう構成されているのがさらに望ましい。
好ましい実施形態では、オーディオ復号器は、符号化済みオーディオ情報を復号化するために、1つ又は複数のAMR−WB、G.718又はLD−USAC(EVS)デコーダに基づくデコーダを使用するよう構成されている。これらデコーダは、上述のノイズ充填法の追加的使用が殊に有利である、周知でかつ広く普及した(A)CELPデコーダである。
以下に、本発明の実施形態について図面を参照しながら以下に説明する。
本発明に係るオーディオ復号器の第1実施形態を示す。 図1に示すオーディオ復号器によって実行され得る本発明に係るオーディオ復号化を実行する第1の方法を示す。 本発明に係るオーディオ復号器の第2実施形態を示す。 図3に示すオーディオ復号器によって実行され得る本発明に係るオーディオ復号化を実行する第2の方法を示す。 本発明に係るオーディオ復号器の第3実施形態を示す。 図5に示すオーディオ復号器によって実行され得る本発明に係るオーディオ復号化を実行する第3の方法を示す。 ノイズレベル推定のためにスペクトル最小値mfを計算する方法を示す図である。 LPC係数から導出された傾きを表すダイヤグラムである。 LPCフィルタ等価値がMDCTパワースペクトルからどのように決定されるかを示すダイヤグラムである。
本発明を図1〜図9に関して詳細に説明する。本発明が図示された実施例に限定されることを意味するものではない。
図1は本発明に係るオーディオ復号器の第1実施形態を示す。このオーディオ復号器は、符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供するよう構成されている。オーディオ復号器は、符号化済みオーディオ情報を復号化するために、AMR−WB、G.718、及びLD−USAC(EVS)に基づいてもよいデコーダを使用するよう構成されている。符号化済みオーディオ情報は線形予測係数(LPC)を含み、それら線形予測係数(LPC)は個々に係数akとして示されてもよい。オーディオ復号器は、現在フレームの線形予測係数を使用してノイズの傾きを調整し、傾き情報を取得するよう構成された傾き調整部と、傾き調整部によって取得された傾き情報に依存して現在フレームにノイズを付加するよう構成されたノイズ挿入部とを含む。ノイズ挿入部は、符号化済みオーディオ情報のビットレートが1サンプル当り1ビットより小さいという条件下で、現在フレームにノイズを付加するよう構成されている。さらに、ノイズ挿入部は、現在フレームがスピーチフレームであるという条件下で現在フレームにノイズを付加するよう構成されてもよい。このように、特にスピーチ情報の背景ノイズに関して、符号化アーチファクトにより害される可能性のある復号化済みオーディオ情報の全体の音響品質を改善するために、ノイズが現在フレームに付加されてもよい。ノイズの傾きが現在のオーディオフレームの傾きに応じて調整された場合には、全体の音響品質はビットストリーム内のサイド情報に依存せずに改善され得る。よって、ビットストリームによって伝送されるべきデータ量を削減できる。
図2は、図1に従うオーディオ復号器によって実行可能な本発明に係るオーディオ復号化を実行するための第1方法を示す。図1に示されたオーディオ復号器の技術的詳細は、この方法の特徴と共に説明される。オーディオ復号器は符号化済みオーディオ情報のビットストリームを読み取るよう構成される。オーディオ復号器は、現在フレームのフレームタイプを決定するフレームタイプ決定部を備え、このフレームタイプ決定部は、現在フレームのフレームタイプがスピーチタイプであると検出された場合に、ノイズの傾きを調整するための傾き調整部を活性化させるよう構成されている。このように、オーディオ復号器は、フレームタイプ決定部を適用することによって、現在のオーディオフレームのフレームタイプを決定する。もし現在フレームがACELPフレームであれば、フレームタイプ決定部は傾き調整部を活性化させる。傾き調整部は、現在フレームの線形予測係数の一次分析の結果を使用して、傾き情報を取得するよう構成されている。さらに具体的には、傾き調整部は、一次分析として次式を使用して現在フレームの線形予測係数のゲインgを計算し、
g=Σ[ak・ak+1]/Σ[ak・ak],
ここで、akは現在フレームのLPC係数である。図8は、LPC係数から導出された傾きを示すダイヤグラムである。図8は単語「see」の2つのフレームを示している。高周波数成分を多く含む文字「s」については、傾きは上昇している。低周波数成分を多く含む文字「ee」については、傾きは下降している。図8に示されたスペクトルの傾きは、直接形フィルタx(n)−g・x(n−1)の伝達関数であり、gは上記のように定義される。このように、傾き調整部は、ビットストリーム内で提供されかつ符号化済みオーディオ情報を復号化するために使用されるLPC係数を利用する。サイド情報はそれに応じて省略可能であり、ビットストリームによって伝送されるべきデータ量を削減し得る。さらに、傾き調整部は直接形フィルタx(n)−g・x(n−1)の伝達関数の計算を使用して、傾き情報を取得するよう構成される。したがって、傾き調整部は、以前に計算されたゲインgを使用して直接形フィルタx(n)−g・x(n−1)の伝達関数を計算することによって、現在フレーム内のオーディオ情報の傾きを計算する。傾き情報が取得された後、傾き調整部は現在フレームの傾き情報に依存して現在フレームに付加されるべきノイズの傾きを調整する。その後、調整済みノイズは現在フレームに付加される。さらに、図2には図示されていないが、オーディオ復号器は、現在フレームをデ・エンファサイズするデ・エンファシスフィルタを備えており、オーディオ復号器は、ノイズ挿入部がノイズを現在フレームに付加した後で、現在フレームに対してデ・エンファシスフィルタを適用するよう構成されている。付加されたノイズの低複雑性で急峻なIIR高域通過フィルタリングとしても作用する、フレームのデ・エンファサイズの後、オーディオ復号器は復号化済みオーディオ情報を提供する。このように、図2に従う方法は、背景ノイズの品質を向上させるために現在フレームに付加されるべきノイズの傾きを調整することによって、オーディオ情報の音響品質を向上させることを可能にする。
図3は、本発明に係るオーディオ復号器の第2実施形態を示す。このオーディオ復号器も、符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供するよう構成されている。オーディオ復号器は、符号化済みオーディオ情報を復号化するために、AMR−WB、G.718、又はLD−USAC(EVS)に基づいてもよいコーダを使用するよう構成されている。符号化済みオーディオ情報は線形予測係数(LPC)を含み、それら線形予測係数(LPC)は個々に係数akとして示されてもよい。第2実施形態に従うオーディオ復号器は、少なくとも1つの以前のフレームの線形予測係数を使用して現在フレームについてのノイズレベルを推定し、ノイズレベル情報を取得するよう構成されたノイズレベル推定部と、ノイズレベル推定部によって提供されたノイズレベル情報に依存して現在フレームにノイズを付加するよう構成されたノイズ挿入部と、を含む。ノイズ挿入部は、符号化済みオーディオ情報のビットレートが1サンプル当り0.5ビットより小さいという条件下で、現在フレームにノイズを付加するよう構成されている。さらに、ノイズ挿入部は、現在フレームがスピーチフレームであるという条件下で現在フレームにノイズを付加するよう構成されている。よって、この場合でも、特にスピーチ情報の背景ノイズに関して、符号化アーチファクトにより害される可能性のある復号化済みオーディオ情報の全体の音響品質を改善するために、ノイズが現在フレームに付加されてもよい。ノイズのノイズレベルが少なくとも1つの以前のオーディオフレームのノイズレベルに応じて調整された場合には、全体の音響品質はビットストリーム内のサイド情報に依存せずに改善され得る。よって、ビットストリームによって伝送されるべきデータ量を削減できる。
図4は、図3に従うオーディオ復号器によって実行可能な本発明に係るオーディオ復号化を実行するための第2方法を示す。図3に示されたオーディオ復号器の技術的詳細は、この方法の特徴と共に説明される。図4に従えば、オーディオ復号器は、現在フレームのフレームタイプを決定するためにビットストリームを読み取るよう構成される。さらに、オーディオ復号器は、現在フレームのフレームタイプを決定するフレームタイプ決定部を備え、このフレームタイプ決定部は、現在フレームのフレームタイプがスピーチか通常オーディオかを識別するよう構成され、その結果、現在フレームのフレームタイプに依存してノイズレベル推定が実行可能となる。全体的には、オーディオ復号器は、現在フレームのスペクトル的に未整形の励振を表す第1情報を計算し、かつ現在フレームのスペクトルスケーリングに関する第2情報を計算するよう適応されており、その結果、第1情報と第2情報との商を計算してノイズレベル情報を取得する。例えば、もしフレームタイプがスピーチフレームタイプであるACELPである場合、オーディオ復号器は現在フレームの励振信号を復号化し、かつその二乗平均平方根ermsをその励振信号の時間ドメイン表現から現在フレームfについて計算する。このことは、現在フレームがスピーチタイプであるという条件下において、オーディオ復号器は、現在フレームの励振信号を復号化し、かつその二乗平均平方根ermsを、ノイズレベル情報を取得するための第1情報として現在フレームの時間ドメイン表現から計算するよう適応されていることを意味する。他の場合、すなわちフレームタイプが通常のオーディオフレームタイプであるMDCTやDTXの場合には、オーディオ復号器は現在フレームの励振信号を復号化し、現在フレームfのためのその二乗平均平方根ermsを、励振信号の時間ドメイン表現等価値から計算する。このことは、現在フレームが通常のオーディオタイプであるという条件下において、オーディオ復号器は、現在フレームの未整形のMDCT励振を復号化し、かつ現在フレームのスペクトルドメイン表現からその二乗平均平方根ermsを計算して、ノイズレベル情報を取得するよう適応されていることを意味する。これが如何にして詳細に実行されるかは、特許文献1に開示されている。さらに、図9はLPCフィルタ等価値がMDCTパワースペクトルから如何にして決定されるかを説明するダイヤグラムを示す。示された尺度はバーク尺度であるが、LPC係数等価値は線形尺度から取得することもできる。特にそれら等価値が線形尺度から取得される場合、計算されたLPC係数等価値は、例えばACELPで符号化されたとき、同じフレームの時間ドメイン表現から計算されたものと非常に近似している。
加えて、図3に従うオーディオ復号器は、図4の方法チャートによって示されるように、第2情報として現在フレームのLPCフィルタの伝達関数のピークレベルpを計算するよう構成され、それにより、現在フレームがスピーチタイプであるという条件下で線形予測係数を使用してノイズレベル情報を取得するよう構成される。このことは、オーディオ復号器が現在フレームfのLPC分析フィルタの伝達関数のピークレベルpを次式に従って計算し、
p=Σ|ak|,
ここで、akはk=0・・・15である線形予測係数である。もしフレームが通常のオーディオフレームであれば、LPC係数等価値は図9に示され、かつ特許文献1に開示されるように、現在フレームのスペクトルドメイン表現から取得される。図4から明らかなように、ピークレベルpの計算後、ermsをpで除算することにより、現在フレームfのスペクトル最小値mfが計算される。よって、オーディオ復号器は、現在フレームのスペクトル的に未整形の励振を表す第1情報、この実施形態ではermsと、現在フレームのスペクトルスケーリングに関する第2情報、この実施形態ではピークレベルpと、を計算するよう構成され、第1情報と第2情報との商を計算することでノイズレベル情報を取得する。現在フレームのスペクトル最小値は、次にノイズレベル推定部内でエンキューされ、オーディオ復号器は、フレームタイプに関係なくノイズレベル推定部において現在のオーディオフレームから取得された商をエンキューするよう構成され、ノイズレベル推定部は2つ又はそれ以上の商、この場合には異なるオーディオフレームから取得されたスペクトル最小値mfのためのノイズレベル記憶部を備える。より具体的には、ノイズレベル記憶部は、ノイズレベルを推定するために50個のフレ―ムから商を格納することができる。さらに、ノイズレベル推定部は、異なるオーディオフレームの2つ又はそれ以上の商、即ちスペクトル最小値mfの集合、の統計的分析に基づいて、ノイズレベルを推定するよう構成されている。商mfを計算するステップは、必要な計算ステップを図示した図7にその詳細が示されている。第2実施形態では、ノイズレベル推定部は、非特許文献3から知られている最小統計に基づいて作動する。ノイズは、現在フレームの推定されたノイズレベルに従って最小統計に基づいてスケールされ、その後、現在フレームがスピーチフレームであれば、現在フレームに付加される。最後に、現在フレームはデ・エンファサイズされる(図4には図示せず)。このように、この第2実施形態でも、ノイズ充填のためのサイド情報を省略でき、ビットストリームで伝送されるべきデータ量を削減できる。したがって、復号化段階の間に背景ノイズを向上させることにより、データレートを増大させずにオーディオ情報の音響品質が改善され得る。時間/周波数変換が不要であり、ノイズレベル推定部が(多数のサブバンド上ではなく)フレーム毎に1回だけ作動するので、上述のノイズ充填は非常に低い複雑性を持ちながら、ノイズの多いスピーチの低ビットレート符号化を改善し得るという点に注目すべきである。
図5は、本発明に係るオーディオ復号器の第3実施形態を示す。このオーディオ復号器は、符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供するよう構成されている。オーディオ復号器は、符号化済みオーディオ情報を復号化するために、LD−USACに基づくデコーダを使用するよう構成されている。符号化済みオーディオ情報は線形予測係数(LPC)を含み、それら線形予測係数(LPC)は個々に係数akとして示されてもよい。このオーディオ復号器は、現在フレームの線形予測係数を使用してノイズの傾きを調整し、傾き情報を取得するよう構成された傾き調整部と、少なくとも1つの以前のフレームの線形予測係数を使用して現在フレームについてのノイズレベルを推定し、ノイズレベル情報を取得するよう構成されたノイズレベル推定部と、を含む。さらに、オーディオ復号器は、傾き調整部によって取得された傾き情報とノイズレベル推定部によって提供されたノイズレベル情報とに依存して、現在フレームにノイズを付加するよう構成されたノイズ挿入部を含む。よって、特にスピーチ情報の背景ノイズに関して、符号化アーチファクトにより害される可能性のある復号化済みオーディオ情報の全体の音響品質を改善するために、傾き調整部によって取得された傾き情報とノイズレベル推定部によって提供されたノイズレベル情報とに依存して、ノイズが現在フレームに付加されてもよい。この実施形態では、オーディオ復号器に含まれるランダムノイズ発生器(図示せず)がスペクトル的ホワイトノイズを生成し、次にそのホワイトノイズが、前述のようにノイズレベル情報に従ってスケールされ、ゲインgから導出された傾きを使用して整形される。
図6は、図5に従うオーディオ復号器によって実行可能な本発明に係るオーディオ復号化を実行するための第3方法を示す。ビットストリームが読み込まれ、フレームタイプ検出部と呼ばれるフレームタイプ決定部は、現在フレームがスピーチフレーム(ACELP)であるか又は通常のオーディオフレーム(TCX/MDCT)であるかを決定する。フレームタイプに関係なく、フレームヘッダが復号化され、知覚ドメインにおけるスペクトル的に平坦で未整形の励振信号が復号化される。スピーチフレームの場合には、この励振信号は前述のように時間ドメイン励振である。もしフレームが通常のオーディオフレームである場合には、MDCTドメイン残余が復号化される(スペクトルドメイン)。図7に示されかつ前述したように、時間ドメイン表現とスペクトルドメイン表現とがノイズレベルを推定するためにそれぞれ使用され、LPC係数もまた、如何なるサイド情報又は追加的なLPC係数を使用する代わりに、ビットストリームを復号化するために使用される。フレームの2つのタイプのノイズ情報は、現在フレ―ムがスピーチフレームであるという条件下で、現在フレームに付加されるべきノイズの傾きとノイズレベルとを調整するためにエンキューされる。ノイズをACELPスピーチフレームに付加(ACELPノイズ充填を適用)した後、ACELPスピーチフレームはIIRによってデ・エンファサイズされ、スピーチフレームと通常のオーディオフレームとが復号化済みオーディオ情報を表す時間信号に結合される。付加されたノイズのスペクトルに対するデ・エンファシスの急峻な高域通過効果は、図6内の小さな挿入図I,II,IIIによって示されている。
換言すると、図6によれば、上述のACELPノイズ充填システムは、フレーム毎のベースでACELP(スピーチ)符号化とMDCT(音楽/ノイズ)符号化との間で切替可能なxHE−AAC(非特許文献6)の低遅延変異形である、LD−USAC(EVS)復号器内に構成されていた。図6に従う挿入プロセスは以下のように要約される。
1.ビットストリームが読み込まれ、現在フレームがACELPフレーム、MDCTフレーム、又はDTXフレームのどれであるかが決定される。フレームタイプに関係なく、スペクトル的に平坦化された励振信号(知覚ドメインにおいて)が復号化され、以下に詳細に説明するようにノイズレベル推定を更新するために使用される。次に、その信号は最終ステップであるデ・エンファシスまで完全に再構成される。
2.フレームがACELP符号化されている場合には、ノイズ挿入のための傾き(全体のスペクトル形状)がLPCフィルタ係数の一次のLPC分析によって計算される。この傾きは、16個のLPC係数akのゲインgから次式により導出される。
g=Σ[ak・ak+1]/Σ[ak・ak],
3.フレームがACELP符号化されている場合には、ノイズ整形レベルと傾きとを使用して、復号化済みフレームに対するノイズ付加が実行される。ランダムノイズ発生部はスペクトル的ホワイトノイズを生成し、そのノイズは、次にゲインgから導出された傾きを使用してスケールされ整形される。
4.ACELPフレームについて整形されかつレベル化されたノイズ信号は、最終のデ・エンファシス・フィルタリングステップの直前に復号化済み信号に対して付加される。デ・エンファシスは低周波数を増強する一次のIIRであるから、このことは、図6のように、低周波数における可聴のノイズアーチファクトを回避しながら、付加されたノイズの低複雑性で急峻なIIR高域通過フィルタリングを可能とする。
ステップ1のノイズレベル推定は、現在フレームについて励振信号の二乗平均平方根ermsを計算することで実行され(又は、MDVTドメイン励振である場合には、時間ドメイン等価値であり、ACELPフレームであった場合にはそのフレームについて計算されるであろうermsを意味する)、次にそのermsをLPC分析フィルタの伝達関数のピークレベルpで除算することによって実行される。これにより、図7に示すようにフレームfのスペクトル最小値のレベルmfがもたらされる。mfは、例えば最小統計(非特許文献3)に基づいて作動するノイズレベル推定部において最終的にエンキューされる。時間/周波数変換が不要であり、レベル推定部が(多数のサブバンド上ではなく)フレーム毎に1回だけ作動するので、上述のCELPノイズ充填システムは非常に低い複雑性を持ちながら、ノイズの多いスピーチの低ビットレート符号化を改善し得るという点に注目すべきである。
これまでオーディオ復号器の文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応するオーディオ復号器の対応するブロックもしくは項目又は特徴を表している。方法ステップの幾つか又は全てが、例えばマイクロプロセッサ、プログラマブルコンピュータ、又は電子回路のようなハードウエア装置によって(又は使用して)実行されてもよい。幾つかの実施形態では、最も重要なステップの幾つか又はそれ以上がそれら装置によって実行されてもよい。
本発明の符号化済みオーディオ信号は、デジタル記憶媒体に記憶されることができ、又はインターネットのような無線伝送媒体もしくは有線伝送媒体などの伝送媒体を通じて伝送されることができる。
所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、デジタル記憶媒体、例えばフレキシブルディスク,DVD,ブルーレイ,CD,ROM,PROM,EPROM,EEPROM,フラッシュメモリなどのデジタル記憶媒体を使用して実行することができる。したがって、デジタル記憶媒体はコンピュータ読み取り可能であってもよい。
本発明に従う幾つかの実施形態は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。
本発明の他の実施形態は、上述した方法の1つを実行するための、機械読み取り可能なキャリアに記憶されたコンピュータプログラムを含む。
換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の他の実施形態は、上述した方法の1つを実行するために記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体)である。そのデータキャリア、デジタル記憶媒体、又は記録媒体は、典型的に有形及び又は非一時的である。
本発明の他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットを介するデータ通信接続を介して伝送されるよう構成されても良い。
他の実施形態は、上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
本発明に従う他の実施形態は、ここで説明した方法の1つを実行するためのコンピュータプログラムを、受信器へ(例えば電子的に又は光学的に)伝送するよう構成された装置又はシステムを含む。受信器は、例えばコンピュータ、携帯デバイス、メモリーデバイス又はそれらの類似物であってもよい。装置又はシステムは、例えばコンピュータプログラムを受信器へと転送するファイルサーバを含んでもよい。
幾つかの実施形態においては、(例えば書換え可能ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
ここで説明した装置は、ハードウエア装置、コンピュータ、又はハードウエア装置とコンピュータとの組合せを使用して構成されてもよい。
ここで説明した方法は、ハードウエア装置、コンピュータ、又はハードウエア装置とコンピュータとの組合せを使用して実行されてもよい。
上述した実施形態は、本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。

Claims (19)

  1. 線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供するオーディオ復号器であって、
    傾き情報を使用して背景ノイズの傾きを調整するよう構成された傾き調整部であって、現在フレームの線形予測係数を使用して前記傾き情報を取得するよう構成された傾き調整部と、
    現在フレームについてのノイズレベルを推定するノイズレベル推定部と、
    前記現在フレームの線形予測係数を使用して、前記現在フレームのオーディオ情報を復号化し、復号化済みコアコーダ出力信号を取得するよう構成された復号器コアと、
    前記現在フレームに調整済みの前記背景ノイズを付加し、ノイズ充填を実行するよう構成されたノイズ挿入部と、
    を含むオーディオ復号器。
  2. 請求項1に記載のオーディオ復号器において、
    前記現在フレームのフレームタイプを決定するフレームタイプ決定部を含み、前記フレームタイプ決定部は、前記現在フレームのフレームタイプがスピーチタイプであると検出された場合に、前記背景ノイズの傾きを調整する前記傾き調整部を活性化させるよう構成された、オーディオ復号器。
  3. 請求項1又は2に記載のオーディオ復号器において、
    前記傾き調整部は、前記現在フレームの線形予測係数の一次分析の結果を使用して前記傾き情報を取得するよう構成された、オーディオ復号器。
  4. 請求項3に記載のオーディオ復号器において、
    前記傾き調整部は、前記一次分析として前記現在フレームの線形予測係数のゲインgの計算を使用して、前記傾き情報を取得するよう構成された、オーディオ復号器。
  5. 請求項1乃至4のいずれか1項に記載のオーディオ復号器において、
    前記ノイズレベル推定部は、少なくとも1つの以前のフレームの複数の線形予測係数を使用して現在フレームについてのノイズレベルを推定し、ノイズレベル情報を取得するよう構成され、
    前記ノイズ挿入部は、前記ノイズレベル推定部によって提供された前記ノイズレベル情報に依存して、前記現在フレームに前記背景ノイズを付加するよう構成され、
    前記オーディオ復号器は、前記現在フレームの励振信号を復号化し、その二乗平均ermsを計算するよう適応され、
    前記オーディオ復号器は、前記現在フレームのLPCフィルタの伝達関数のピークレベルpを計算するよう適応され、
    前記オーディオ復号器は、前記二乗平均平方根ermsと前記ピークレベルpとの商を計算することによって、前記現在のオーディオフレームのスペクトル最小値mfを計算して、前記ノイズレベル情報を取得するよう適応され、
    前記ノイズレベル推定部は、異なるオーディオフレームの2つ又はそれ以上の商に基づいて前記ノイズレベルを推定するよう適応される、オーディオ復号器。
  6. 線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供するオーディオ復号器であって、
    少なくとも1つの以前のフレームの複数の線形予測係数を使用して現在フレームについてのノイズレベルを推定し、ノイズレベル情報を取得するよう構成されたノイズレベル推定部と、
    前記ノイズレベル推定部によって提供された前記ノイズレベル情報に依存して、前記現在フレームにノイズを付加するよう構成されたノイズ挿入部と、を含み、
    前記オーディオ復号器は、前記現在フレームの励振信号を復号化し、その二乗平均平方根ermsを計算するよう適応され、
    前記オーディオ復号器は、前記現在フレームのLPCフィルタの伝達関数のピークレベルpを計算するよう適応され、
    前記オーディオ復号器は、前記二乗平均平方根ermsと前記ピークレベルpとの商を計算することによって、前記現在のオーディオフレームのスペクトル最小値mfを計算して、前記ノイズレベル情報を取得するよう適応され、
    前記ノイズレベル推定部は、異なるオーディオフレームの2つ又はそれ以上の商に基づいて前記ノイズレベルを推定するよう適応され、
    前記オーディオ復号器は、前記現在フレームの線形予測係数を使用して、前記現在フレームのオーディオ情報を復号化し、復号化済みコアコーダ出力信号を取得するよう構成された復号器コアを含み、
    前記ノイズ挿入部は、前記現在フレームのオーディオ情報の復号化に使用されかつ1つ又は複数の以前のフレームのオーディオ情報の復号化に使用された線形予測係数に依存して、前記ノイズを付加する、
    オーディオ復号器。
  7. 請求項6に記載のオーディオ復号器において、
    前記オーディオ復号器は前記現在フレームのフレームタイプを決定するフレームタイプ決定部を含み、前記フレームタイプ決定部は、前記ノイズレベル推定が前記現在フレームのフレームタイプに依存して実行され得るように、前記現在フレームのフレームタイプがスピーチであるか又は通常のオーディオであるかを識別するよう構成されている、オーディオ復号器。
  8. 請求項6又は7に記載のオーディオ復号器において、
    前記現在フレームがスピーチタイプであるという条件下で、前記ノイズレベル情報を取得するために、前記現在フレームの時間ドメイン表現から前記現在フレームの二乗平均平方根ermsを計算するよう構成される、オーディオ復号器。
  9. 請求項6乃至8のいずれか1項に記載のオーディオ復号器において、
    前記現在フレームが通常のオーディオタイプである場合に、前記ノイズレベル情報を取得するために、前記現在フレームの未整形のMDCT励振を復号化し、かつその二乗平均平方根ermsを前記現在フレームのスペクトルドメイン表現から計算するよう適応される、オーディオ復号器。
  10. 請求項6乃至9のいずれか1項に記載のオーディオ復号器において、
    前記オーディオ復号器は、フレームタイプに関係なく前記ノイズレベル推定部において前記現在のオーディオフレームから取得された商をエンキューするよう適応され、前記ノイズレベル推定部は、異なるオーディオフレームから取得された2つ又はそれ以上の商のためのノイズレベル記憶部を含む、オーディオ復号器。
  11. 請求項6乃至10のいずれか1項に記載のオーディオ復号器において、
    前記ノイズレベル推定部は、異なるオーディオフレームの2つ又はそれ以上の商の統計的分析に基づいて前記ノイズレベルを推定するよう構成される、オーディオ復号器。
  12. 請求項1乃至11のいずれか1項に記載のオーディオ復号器において、
    前記オーディオ復号器は、前記現在フレームをデ・エンファサイズするデ・エンファシスフィルタを備え、前記オーディオ復号器は、前記ノイズ挿入部が前記ノイズを前記現在フレームに付加した後で、前記現在フレームに対して前記デ・エンファシスフィルタを適用するよう構成されている、オーディオ復号器。
  13. 請求項1乃至12のいずれか1項に記載のオーディオ復号器において、
    前記オーディオ復号器はノイズ発生部を含み、このノイズ発生部は、前記ノイズ挿入部によって前記現在フレームに付加されるべきノイズを発生するよう構成される、オーディオ復号器。
  14. 請求項13に記載のオーディオ復号器において、
    前記ノイズ発生部は、ランダム・ホワイトノイズを発生するよう構成される、オーディオ復号器。
  15. 請求項1乃至14のいずれか1項に記載のオーディオ復号器において、
    前記オーディオ復号器は、前記符号化済みオーディオ情報を復号化するために、1つ又は複数のデコーダAMR−WB、G.718又はLD−USAC(EVS)に基づくデコーダを使用するよう構成されている、オーディオ復号器。
  16. 線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供する方法であって、
    現在フレームについてのノイズレベルを推定するステップと、
    傾き情報を使用して背景ノイズの傾きを調整するステップであって、現在フレームの線形予測係数が前記傾き情報を取得するために使用されるステップと、
    前記現在フレームの線形予測係数を使用して前記現在フレームのオーディオ情報を復号化し、復号化済みコアコーダ出力信号を取得するステップと、
    前記現在フレームに調整済み背景ノイズを付加し、ノイズ充填を実行するステップと、
    を含む方法。
  17. コンピュータ上で作動されたとき請求項16に記載の方法を実行する、コンピュータプログラム。
  18. 線形予測係数(LPC)を含む符号化済みオーディオ情報に基づいて復号化済みオーディオ情報を提供する方法であって、
    少なくとも1つの以前のフレームの複数の線形予測係数を使用して現在フレームについてのノイズレベルを推定し、ノイズレベル情報を取得するステップと、
    前記ノイズレベル推定によって提供された前記ノイズレベル情報に依存して、前記現在フレームにノイズを付加するステップと、を含み、
    前記現在フレームの励振信号が復号化され、その二乗平均平方根ermsが計算され、
    前記現在フレームのLPCフィルタの伝達関数のピークレベルpが計算され、
    前記ノイズレベル情報を取得するために、前記二乗平均平方根ermsと前記ピークレベルpとの商を計算することによって、前記現在のオーディオフレームのスペクトル最小値mfが計算され、
    前記ノイズレベルは、異なるオーディオフレームの2つ又はそれ以上の商に基づいて推定され、
    前記方法は、前記現在フレームの線形予測係数を使用して、前記現在フレームのオーディオ情報を復号化し、復号化済みコアコーダ出力信号を取得するステップを含み、
    前記方法は、前記現在フレームのオーディオ情報の復号化に使用されかつ1つ又は複数の以前のフレームのオーディオ情報の復号化に使用された線形予測係数に依存して、前記ノイズを付加するステップを含む、
    方法。
  19. コンピュータ上で作動されたとき請求項18に記載の方法を実行する、コンピュータプログラム。
JP2015554202A 2013-01-29 2014-01-28 Celp状コーダのためのサイド情報を用いないノイズ充填 Active JP6181773B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361758189P 2013-01-29 2013-01-29
US61/758,189 2013-01-29
PCT/EP2014/051649 WO2014118192A2 (en) 2013-01-29 2014-01-28 Noise filling without side information for celp-like coders

Publications (2)

Publication Number Publication Date
JP2016504635A JP2016504635A (ja) 2016-02-12
JP6181773B2 true JP6181773B2 (ja) 2017-08-16

Family

ID=50023580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015554202A Active JP6181773B2 (ja) 2013-01-29 2014-01-28 Celp状コーダのためのサイド情報を用いないノイズ充填

Country Status (20)

Country Link
US (3) US10269365B2 (ja)
EP (4) EP2951816B1 (ja)
JP (1) JP6181773B2 (ja)
KR (1) KR101794149B1 (ja)
CN (3) CN105264596B (ja)
AR (1) AR094677A1 (ja)
AU (1) AU2014211486B2 (ja)
BR (1) BR112015018020B1 (ja)
CA (2) CA2960854C (ja)
ES (3) ES2732560T3 (ja)
MX (1) MX347080B (ja)
MY (1) MY180912A (ja)
PL (3) PL3683793T3 (ja)
PT (2) PT3121813T (ja)
RU (1) RU2648953C2 (ja)
SG (2) SG11201505913WA (ja)
TR (1) TR201908919T4 (ja)
TW (1) TWI536368B (ja)
WO (1) WO2014118192A2 (ja)
ZA (1) ZA201506320B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2618919C2 (ru) 2013-01-29 2017-05-12 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для синтезирования аудиосигнала, декодер, кодер, система и компьютерная программа
ES2732560T3 (es) * 2013-01-29 2019-11-25 Fraunhofer Ges Forschung Llenado de ruido sin información secundaria para codificadores tipo celp
AU2014283196B2 (en) 2013-06-21 2016-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating an adaptive spectral shape of comfort noise
US10008214B2 (en) * 2015-09-11 2018-06-26 Electronics And Telecommunications Research Institute USAC audio signal encoding/decoding apparatus and method for digital radio services
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックIpマネジメント株式会社 音声信号復号装置及び音声信号復号方法
US10582754B2 (en) 2017-03-08 2020-03-10 Toly Management Ltd. Cosmetic container
BR112020008223A2 (pt) * 2017-10-27 2020-10-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. decodificador para decodificação de um sinal de domínio de frequência definido em um fluxo de bits, sistema que compreende um codificador e um decodificador, métodos e unidade de armazenamento não transitório que armazena instruções
JP7130878B2 (ja) * 2019-01-13 2022-09-05 華為技術有限公司 高分解能オーディオコーディング
JP7528277B2 (ja) * 2020-09-02 2024-08-05 グーグル エルエルシー データ密度の勾配の推定による条件付き出力生成

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2237296C2 (ru) * 1998-11-23 2004-09-27 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование речи с функцией изменения комфортного шума для повышения точности воспроизведения
JP3490324B2 (ja) * 1999-02-15 2004-01-26 日本電信電話株式会社 音響信号符号化装置、復号化装置、これらの方法、及びプログラム記録媒体
US6691085B1 (en) * 2000-10-18 2004-02-10 Nokia Mobile Phones Ltd. Method and system for estimating artificial high band signal in speech codec using voice activity information
CA2327041A1 (en) * 2000-11-22 2002-05-22 Voiceage Corporation A method for indexing pulse positions and signs in algebraic codebooks for efficient coding of wideband signals
US6941263B2 (en) * 2001-06-29 2005-09-06 Microsoft Corporation Frequency domain postfiltering for quality enhancement of coded speech
US8725499B2 (en) * 2006-07-31 2014-05-13 Qualcomm Incorporated Systems, methods, and apparatus for signal change detection
JP5061111B2 (ja) * 2006-09-15 2012-10-31 パナソニック株式会社 音声符号化装置および音声符号化方法
JP5377287B2 (ja) * 2007-03-02 2013-12-25 パナソニック株式会社 ポストフィルタ、復号装置およびポストフィルタ処理方法
ATE500588T1 (de) * 2008-01-04 2011-03-15 Dolby Sweden Ab Audiokodierer und -dekodierer
CA2716817C (en) 2008-03-03 2014-04-22 Lg Electronics Inc. Method and apparatus for processing audio signal
MX2011000361A (es) * 2008-07-11 2011-02-25 Ten Forschung Ev Fraunhofer Un aparato y un metodo para generar datos de salida por ampliacion de ancho de banda.
ES2372014T3 (es) 2008-07-11 2012-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para calcular datos de ampliación de ancho de banda utilizando un encuadre controlado por pendiente espectral.
CN103077722B (zh) * 2008-07-11 2015-07-22 弗劳恩霍夫应用研究促进协会 提供时间扭曲激活信号以及使用该时间扭曲激活信号对音频信号编码
BR122021009252B1 (pt) 2008-07-11 2022-03-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Codificador e decodificador de áudio para estruturas de codificação de sinais de áudio amostrados
EP2144171B1 (en) * 2008-07-11 2018-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder for encoding and decoding frames of a sampled audio signal
MX2011000375A (es) 2008-07-11 2011-05-19 Fraunhofer Ges Forschung Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada.
TWI413109B (zh) 2008-10-01 2013-10-21 Dolby Lab Licensing Corp 用於上混系統之解相關器
TWI520128B (zh) 2008-10-08 2016-02-01 弗勞恩霍夫爾協會 多解析度切換音訊編碼/解碼方案(一)
CA2862715C (en) * 2009-10-20 2017-10-17 Ralf Geiger Multi-mode audio codec and celp coding adapted therefore
BR112012009447B1 (pt) * 2009-10-20 2021-10-13 Voiceage Corporation Codificador de sinal de áudio, decodificador de stnai, de áudio, método para codificar ou decodificar um sinal de áudio usando um cancelamento de aliasing
CN102081927B (zh) * 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
JP5316896B2 (ja) * 2010-03-17 2013-10-16 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、並びにプログラム
DE102010015163A1 (de) 2010-04-16 2011-10-20 Liebherr-Hydraulikbagger Gmbh Baumaschine oder Umschlaggerät
US9208792B2 (en) * 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
KR101826331B1 (ko) * 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
RU2575993C2 (ru) 2011-02-14 2016-02-27 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Основанная на линейном предсказании схема кодирования, использующая формирование шума в спектральной области
US9037456B2 (en) * 2011-07-26 2015-05-19 Google Technology Holdings LLC Method and apparatus for audio coding and decoding
ES2732560T3 (es) * 2013-01-29 2019-11-25 Fraunhofer Ges Forschung Llenado de ruido sin información secundaria para codificadores tipo celp

Also Published As

Publication number Publication date
MY180912A (en) 2020-12-11
US20210074307A1 (en) 2021-03-11
CN105264596B (zh) 2019-11-01
AU2014211486B2 (en) 2017-04-20
EP3683793A1 (en) 2020-07-22
WO2014118192A2 (en) 2014-08-07
TWI536368B (zh) 2016-06-01
EP4503023A3 (en) 2025-03-19
EP2951816B1 (en) 2019-03-27
ZA201506320B (en) 2016-10-26
JP2016504635A (ja) 2016-02-12
ES2732560T3 (es) 2019-11-25
CN110827841A (zh) 2020-02-21
ES3009687T3 (en) 2025-03-31
TR201908919T4 (tr) 2019-07-22
EP3121813A1 (en) 2017-01-25
WO2014118192A3 (en) 2014-10-09
HK1218181A1 (en) 2017-02-03
PT2951816T (pt) 2019-07-01
EP3121813B1 (en) 2020-03-18
ES2799773T3 (es) 2020-12-21
PL3683793T3 (pl) 2025-04-22
PT3121813T (pt) 2020-06-17
TW201443880A (zh) 2014-11-16
RU2015136787A (ru) 2017-03-07
MX347080B (es) 2017-04-11
AR094677A1 (es) 2015-08-19
EP3683793B1 (en) 2024-12-18
KR20150114966A (ko) 2015-10-13
US10269365B2 (en) 2019-04-23
CN110827841B (zh) 2023-11-28
PL3121813T3 (pl) 2020-08-10
CA2899542A1 (en) 2014-08-07
EP3683793C0 (en) 2024-12-18
US12100409B2 (en) 2024-09-24
BR112015018020B1 (pt) 2022-03-15
AU2014211486A1 (en) 2015-08-20
KR101794149B1 (ko) 2017-11-07
CA2899542C (en) 2020-08-04
EP2951816A2 (en) 2015-12-09
US10984810B2 (en) 2021-04-20
US20150332696A1 (en) 2015-11-19
SG10201806073WA (en) 2018-08-30
BR112015018020A2 (ja) 2017-07-11
EP4503023A2 (en) 2025-02-05
SG11201505913WA (en) 2015-08-28
RU2648953C2 (ru) 2018-03-28
PL2951816T3 (pl) 2019-09-30
CA2960854A1 (en) 2014-08-07
CA2960854C (en) 2019-06-25
MX2015009750A (es) 2015-11-06
US20190198031A1 (en) 2019-06-27
CN105264596A (zh) 2016-01-20
CN117392990A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
JP6181773B2 (ja) Celp状コーダのためのサイド情報を用いないノイズ充填
KR101698905B1 (ko) 정렬된 예견 부를 사용하여 오디오 신호를 인코딩하고 디코딩하기 위한 장치 및 방법
JP6849619B2 (ja) 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
KR101792712B1 (ko) 주파수 도메인 내의 선형 예측 코딩 기반 코딩을 위한 저주파수 강조
MX2013009305A (es) Generacion de ruido en codecs de audio.
MX2013009303A (es) Codec de audio utilizando sintesis de ruido durante fases inactivas.
KR102099293B1 (ko) 오디오 인코더 및 오디오 신호를 인코딩하는 방법
US10950251B2 (en) Coding of harmonic signals in transform-based audio codecs
HK1233762A (en) Noise filling without side information for celp-like coders
HK1233762B (en) Noise filling without side information for celp-like coders
HK1218181B (en) Noise filling without side information for celp-like coders

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150908

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20150907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170720

R150 Certificate of patent or registration of utility model

Ref document number: 6181773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250