Nothing Special   »   [go: up one dir, main page]

KR101373207B1 - 오디오 디코더에서 신호를 사후-프로세싱하는 방법 - Google Patents

오디오 디코더에서 신호를 사후-프로세싱하는 방법 Download PDF

Info

Publication number
KR101373207B1
KR101373207B1 KR1020087025600A KR20087025600A KR101373207B1 KR 101373207 B1 KR101373207 B1 KR 101373207B1 KR 1020087025600 A KR1020087025600 A KR 1020087025600A KR 20087025600 A KR20087025600 A KR 20087025600A KR 101373207 B1 KR101373207 B1 KR 101373207B1
Authority
KR
South Korea
Prior art keywords
frequency
envelope
module
post
signal
Prior art date
Application number
KR1020087025600A
Other languages
English (en)
Other versions
KR20080109038A (ko
Inventor
슈테판 라고트
시릴 기욤
Original Assignee
오렌지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오렌지 filed Critical 오렌지
Publication of KR20080109038A publication Critical patent/KR20080109038A/ko
Application granted granted Critical
Publication of KR101373207B1 publication Critical patent/KR101373207B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 디코더에서, 제 1 주파수 대역에서 적어도 하나의 파라미터에 기초하여 획득된 여기 신호의 시간 및 주파수 성형(805 807)에 의해 재구성된 신호를 사후-프로세싱하는 방법에 관한 것이고, 상기 시간 및 주파수 성형은 적어도, 제 2 주파수 대역에서, 수신되어 디코딩된(801, 802) 시간 포락선 및 주파수 포락선에 기초하여 수행된다. 본 방법은 일단 상기 성형(805, 807)이 수행되면, 재구성된 신호의 진폭과 수신되어 디코딩된 시간 포락선(σ)을 비교하는 단계가 수반되고, 시간 포락선의 적어도 하나의 임계치가 초과되면 진폭 압축이 재구성된 신호에 적용된다. 본 발명은 본 발명의 방법을 구현하기 위한 사후-프로세싱 모듈 및 오디오 디코더에 관한 것이다. 그것은 음성, 음악 등과 같은 오디오 주파수 신호들과 같은 디지털 신호들을 전송하거나 저장하는데 사용된다.

Description

오디오 디코더에서 신호를 사후-프로세싱하는 방법{METHOD FOR POST-PROCESSING A SIGNAL IN AN AUDIO DECODER}
본 발명은 오디오 디코더에서 신호를 사후-프로세싱하는 방법에 관한 것이다.
본 발명은 디지털 신호들, 예를 들어, 음성, 음악 등과 같은 오디오-주파수 신호들을 전송하고 저장하는 것에 특히 유리한 응용예를 발견한다.
오디오-주파수 음성, 음악 등의 신호를 디지털화하고 압축하기 위한 다양한 기술들이 존재한다. 가장 흔한 방법들은 PCM 및 ADPCM 코딩과 같은 "파형 코딩(waveform coding)" 방법, 코드 여기 선형 예측(code excited linear prediction; CELP) 코딩과 같은 "합성 코딩(synthesis coding)에 의한 파라미터 분석" 방법, 및 "서브-대역 또는 변환 인지 코딩(transform perceptual coding)" 방법들이다.
오디오-주파수 신호들을 코딩하기 위한 이러한 전통적인 기술들은 예를 들어, A. Gersho 및 R.M. Gray에 의한 1992년 Kluwer Academic Publisher 발행, "Vector Quantization and Signal Compression(벡터 양자화 및 신호 압축)" 및 편집자 B. Kleijn 및 K.K. Paliwal에 의한 1995년 Elsevier 발행 "Speech Coding and Systhesis(음성 코딩 및 합성)"에 기술된다.
종래의 음성 코딩에서, 코더는 고정된 비트 레이트로 비트 스트림을 생성한다. 이러한 고정된 비트 레이트 제약은 코더 및 디코더(코덱)의 구현과 사용을 단순화한다. 이러한 시스템들의 예는 64 kbps에서의 ITU-T G.711 코딩, 8kbps에서의 ITU-T G.729 코딩, 그리고 12.2 kbps에서의 GSM-EFR 시스템이다.
이동 전화 및 보이스 오버 IP와 같은 소정의 응용예들에서, 가변 비트 레이트 비트 스트림을 생성하는 것이 바람직하고, 비트 레이트 값들은 미리 정의된 세트로부터 취한다.
고정 비트 레이트 코딩보다 더 유연성이 있는 다중 비트 레이트 코딩 기술들은 이하를 포함한다:
○ AMR-NB, AMR-WB, SMV 및 VMR-WB 시스템들에 사용되는 것과 같이, 소스 및/또는 채널에 의해 제어되는 멀티모드 코딩;
○ 계층적("스케일링 가능") 코딩, 여기서, 계층적 코딩은 계층으로서 언급되는 비트 스트림을 생성하는데, 그 이유는 그것이 코어 비트 레이트 및 하나 이상의 향상 계층(enhancement layer)들을 포함하기 때문이다. 48 kbps, 56 kbps 및 64 kbps G.722 시스템은 비트 레이트 스케일링 가능 코딩의 단순한 예이다. MPEG-4 CELP 코덱은 스케일링 가능한 비트 레이트 및 대역폭이고, 그러한 코더들의 다른 예들은 B. Kovesi, D. Massaloux, A. Sollaud에 의한 논문, "A Scalable Speech and Audio Coding Scheme with Continuous Bit rate Flexibility(연속적인 비트 레이트 유연성을 가진 스케일링 가능한 음성 및 오디오 코딩 방법)", ICASSP 2004, 그리고 H. Taddei 등에 의한 논문, "A Scalable Three Bit rate (8, 14.2 and 24 kbps) Audio Coder(스케일링 가능한 3개의 비트 레이트(8, 14.2 및 24 kbps) 오디오 코더)", 107회 컨벤션 AES, 1999에서 발견된다.
○ 다중 표현 코딩(multiple description coding)
본 발명은 특히 계층적 코딩에 관련된다.
계층적 오디오 코딩의 기본 개념은 예를 들어, 2004년 3월, NTT Technical Review 발행, Y. Hiwasaki, T. Mori, H. Ohmuro, J. Ikedo, D. Tokumoto 및 A. Kataoka에 의한 논문, "Scalable Speech Coding Technology for High-Quality Ubiquitous Communications(고품질 유비쿼터스 통신을 위한 스케일링 가능한 음성 코딩 기술)"에 기술된다. 비트 스트림은 기본 계층 및 하나 이상의 향상 계층들을포함한다. 기본 계층은 고정된 낮은 비트 레이트에서 "코어 코덱"으로 알려진 코덱에 의해 생성되어, 최소 코딩 품질을 보장하고, 이러한 계층은 허용가능한 품질 레벨을 유지하도록 디코더에 의해 수신되어야 한다. 향상 계층들은 품질을 향상시키기 위하여 사용되고, 향상 계층들 모두가 디코더에 의해 수신되는 것은 아닐 수도 있다. 계층적 코딩의 주된 이점은 단순히 비트 스트림을 절단(truncate)함으로써 비트 레이트가 적응될 수 있게 한다는 것이다. 가능한 계층들의 개수, 즉, 비트 스트림의 가능한 절단 개수가 코딩 입도(coding granularity)를 정의하고, 만약 비트 스트림이 약 4 kbps 내지 8 kbps 정도의 증분을 가진 몇 개의 계층들(2 내지 4개 정도의 계층들)을 포함한다면 표현 "큰 입도"가 사용되고, 표현 "미세한 입도 코딩"은 1 kbps 정도의 증분을 가진 다수의 계층들을 의미한다.
본 발명은 특히 전화 대역 및 하나 이상의 광대역 향상 계층들에서의 CELP 코어 코더를 사용하는 비트 레이트 및 대역폭 스케일링 가능 코딩에 관한 것이다. 그러한 시스템들의 예는 H. Taddei 등에 의한 전술한 논문에서 8 kbps, 14.2 및 24 kbps에서의 큰 입도로 주어지고, B. Kovesi 등에 의한 전술한 논문에서 6.4 kbps 내지 32 kbps에서의 미세 입도로 주어진다.
2004년 ITU-T는 코어 계층적 코더에 대한 드래프트 표준을 내 놓았다. 이러한 G.729EV 표준(EV는 "embedded variable bit rate(임베디드 가변 비트 레이트)"를 나타냄)은 널리 알려진 G.729 코더 표준에 부속한다. G.729EV 표준의 목적은 대화 서비스를 위하여 8 kbps 내지 32 kbps의 비트 레이트에서 협대역(300 헤르쯔(Hz)-3400 Hz)부터 광대역(50 Hz-7000 Hz)까지의 대역에 있는 신호를 생성하는 G.729 코어 계층적 코더를 획득하는 것이다. 이러한 코더는 본질적으로 G.729 플랜트와 상호작용할 수 있고, 이것은 기존의 보이스 오버 IP 플랜트와의 호환성을 보장한다.
이러한 드래프트에 응하여, 특히, 8 kbps-12 kbps에서의 캐스케이드 CELP 코딩, 그 다음 14 kbps에서의 파라미터 대역 확장, 그 다음 14 내지 32 kbps에서의 변환 코딩을 포함하는 3-계층 코딩 시스템이 제안되었다. 이러한 코더는 ITU-T SG16/WP3 D214 코더(ITU-T, COM 16, D214 (WP 3/16), "High level description of the scalable 8 kbps-32 kbps algorithm submitted to the Qualification Test by Matsushita, Mindspeed and Siemens(마쓰시다, 마인드스피드 및 지멘스에 의해 자격 테스트에 제출된 스케일링가능한 8 kbps-32 kbps 알고리즘의 상위 수준 표현)", Q.10/16, 연구 주기 2005-2008, 제네바, 2005년 7월 26일-2005년 8월 5일)로서 알려져 있다.
대역 확장 개념은 신호의 고대역을 코딩하는 것에 관한 것이다. 본 발명의 맥락에서, 입력 오디오 신호들은 50 Hz 내지 7000 Hz의 이용가능한 대역에 대하여 16 kHz에서 샘플링된다. 앞서 언급된 ITU-T SG16/WP3 D214 코더에 대하여, 고대역은 전형적으로 범위 3400 Hz 내지 7000 Hz의 주파수들에 대응한다. 이러한 대역은 코더에서 시간 및 주파수 포락선들을 추출하는 것에 기초한 대역 확장 기술을 사용하여 코딩되고, 상기 포락선들은 디코더에서, 8 kHz에서 샘플링된, 저대역(50 Hz 내지 3400 Hz 범위에 있음)에서 추정된 파라미터들로부터 고대역에서 재구성된 합성 여기 신호(synthesized excitation signal)에 인가된다. 저대역은 이하에서 "제 1 주파수 대역"으로 언급되고, 고대역은 "제 2 주파수 대역"으로 언급된다.
도 1은 이러한 대역 확장 기술의 다이어그램이다.
코더에서, 3400 Hz 내지 4000 Hz에서의 원래 신호의 고주파수 성분들은 대역통과 필터(100)에 의해 분리된다. 그 다음 신호의 시간 및 주파수 포락선들은 각각 모듈들(101 및 102)에 의해 계산된다. 포락선들은 블록(103)에서 2 kbps에서 공동으로 양자화된다.
디코더에서, 합성 여기가 재구성 모듈(104)에 의하여 캐스케이드 CELP 디코더의 파라미터들로부터 재구성된다. 시간 및 주파수 포락선들은 역 양자화기 블록(105)에 의해 디코딩된다. 재구성 모듈(104)로부터 나온 합성된 여기 신호는 그 다음 스케일링 모듈(106)(시간 포락선)에 의해, 그리고 필터 모듈(107)(주파수 포 락선)에 의해 성형(shaping)된다.
따라서 ITU-T SG16/WP3 D214 코덱을 참조하여 전술한 대역 확장 메커니즘은 시간 및 주파수 포락선들을 사용하여 합성 여기 신호을 형성하는 것에 의존한다. 그러나, 여기와 성형 간의 어떠한 커플링도 없이, 이러한 종류의 모델을 적용하는 것은 어렵고, 청취가능한 로컬라이징된 "클릭들"의 형태로 잡파(artifact)들을 야기하는데, 그 이유는 진폭 상한이 많이 초과하기 때문이다.
그리하여, 본 발명의 대상에 의해 해결되어야 하는 기술적 과제는 제 1 주파수 대역에서 추정된 파라미터로부터 획득된 여기 신호를 시간 및 주파수 성형함으로써 재구성된 신호를 오디오 디코더에서 사후-프로세싱하는 방법을 제안하는 것이고, 상기 방법은 합성된 여기 신호를 성형함으로써 유도된 잡파를 방지하여야 하며, 상기 시간 및 주파수 성형은 제 2 주파수 대역에서 수신되어 디코딩된 시간 포락선 및 주파수 포락선에 기초하여 수행된다.
전술한 기술적 과제에 대한 본 발명에 따른 해결책은 상기 시간 포락선의 함수인 임계치를 초과하는 경우에 상기 재구성된 신호의 진폭을 상기 수신되어 디코딩된 시간 포락선과 비교하는 단계, 및 상기 재구성된 신호에 진폭 압축을 적용하는 단계를 포함하는 상기 방법으로 구성된다.
그리하여, 본 발명의 방법은 제 2 주파수 대역(고대역)에서 디코더에 의해 공급된 오디오 신호를 사후-프로세싱하기 위한 진폭 압축을 사용함으로써 여기와 성형 간의 적당한 커플링 부재를 보상한다.
일 실시예에서, 상기 진폭 압축은 상기 진폭이 트리거 임계치보다 더 크다면 상기 신호의 진폭에 선형 감쇠를 적용하는 것으로 구성되고, 상기 트리거 임계치는 상기 수신되어 디코딩된 시간 포락선의 함수이다.
신호의 진폭을 제한하고, 그에 따라 높은 진폭들과 연관된 잡파들을 제한하는 것에 부가하여, 본 발명의 방법은 트리거 임계치가 가변이라는 견지에서 적응성이 있다는 이점을 갖는데, 그 이유는 트리거 임계치가 상기 수신되어 디코딩된 시간 포락선의 값을 뒤따르기 때문이다.
본 발명은 또한 컴퓨터 상에서 실행될 때 본 발명의 사후-프로세싱 방법을 실행하기 위한 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램에 관한 것이다.
본 발명은 부가하여 오디오 디코더에서, 제 1 주파수 대역에서 추정된 파라미터로부터 획득된 여기 신호를 성형함으로써 재구성된 신호를 사후-프로세싱하기 위한 모듈에 관한 것이고, 시간 및 주파수 성형은 제 2 주파수 대역에서 수신되어 디코딩된 시간 포락선 및 주파수 포락선에 기초하여 달성되고, 상기 모듈은 상기 재구성된 신호의 진폭과 상기 수신되어 디코딩된 시간 포락선을 비교하기 위한 비교기, 및 양의 비교 결과의 경우에 상기 재구성된 신호에 진폭 압축을 적용하도록 적응된 진폭 압축 수단을 포함한다.
마지막으로 본 발명은 제 1 주파수 대역에서 여기 신호의 적어도 하나의 파라미터를 추정하는 모듈, 상기 파라미터로부터 여기 신호를 재구성하는 모듈, 제 2 주파수 대역에서 시간 포락선을 디코딩하는 모듈, 제 2 주파수 대역에서 주파수 포락선을 디코딩하는 모듈, 적어도 상기 디코딩된 시간 포락선을 사용하여 상기 여기 신호를 시간 성형하는 모듈, 및 적어도 상기 디코딩된 주파수 포락선을 사용하여 상기 여기 신호를 주파수 성형하는 모듈을 포함하는 오디오 디코더에 관한 것이고, 상기 디코더는 본 발명에 따른 사후-프로세싱 모듈을 포함한다.
비제한적인 예시의 방식으로 제공된 첨부 도면들을 참조한 이하 설명은 본 발명이 무엇으로 구성되는지, 그리고 어떻게 구현될 수 있는지를 명확히 설명한다.
도 1은 선행기술에 따른 고대역 코딩-디코딩 단의 다이어그램이다.
도 2는 8 kbps, 12 kbps, 13.65 kbps 계층적 오디오 코더의 상위 수준 다이어그램이다.
도 3은 도 2의 코더의 13.65 kbps 모드에 대한 고대역 코더의 다이어그램이다.
도 4는 도 3으로부터의 고대역 코더에 의해 달성되는 프레임들로의 분할을 보여주는 다이어그램이다.
도 5는 도 2로부터의 코더와 연관된 8 kbps, 12 kbps, 13.65 kbps 계층적 오디오 디코더의 상위 수준 다이어그램이다.
도 6은 도 5로부터 나온 디코더의 13.65 kbps 모드에 대한 고대역 디코더의 다이어그램이다.
도 7은 진폭 압축 함수의 제 1 실시예에 대한 흐름도이다.
도 8은 도 7의 진폭 압축 함수의 그래프이다.
도 9는 진폭 압축 함수의 제 2 실시예에 대한 흐름도이다.
도 10은 도 9의 진폭 압축 함수의 그래프이다.
도 11은 진폭 압축 함수의 제 3 실시예에 대한 흐름도이다.
도 12는 도 11의 진폭 압축 함수의 그래프이다.
본 발명의 일반적인 맥락은 3개의 비트 레이트, 8 kbps, 12 kbps 및 13.65 kbps에서의 서브-대역 계층적 오디오 코딩 및 디코딩이다. 실제로, 코더는 항상 13.65 kbps의 최대 비트 레이트에서 동작하고, 디코더는 8 kbps 코어 및 12 kbps 또는 13.65 kbps 중 하나 또는 양쪽 모두의 향상 계층을 수신할 수 있다.
도 2는 계층적 오디오 코더의 다이어그램이다.
16 kHz에서 샘플링되는 광대역 입력 신호는 먼저 QMF(quadrature mirror filter bank; 직각 대칭 필터 뱅크) 기술을 사용하여 필터링함으로써 2개의 서브-대역으로 나누어진다. 0 내지 4000 Hz 범위의 제 1 주파수 대역(저대역)은 저역통과(L) 필터링(400) 및 데시메이션(decimation)(401)에 의해 달성되고, 4000 Hz 내지 8000 Hz 범위의 제 2 주파수 대역(고대역)은 고역통과(H) 필터링(402) 및 데시메이션(403)에 의해 달성된다. 바람직한 실시예에서, L 및 H 필터들은 길이 64로 이루어지고, J. Johnston에 의한 논문, "A filter family designed for use in quadrature mirror filter banks(직각 대칭 필터 뱅크들에 사용하기 위해 설계된 필터 그룹)", ICASSP, vol. 5, pp. 291-294, 1980에 기술된 것들에 충족된다.
저대역은 8 kbps 및 12 kbps 협대역 CELP 코딩(405) 이전에 50 Hz 아래의 성분들을 제거하기 위하여 고역통과 필터(404)에 의해 사전-프로세싱된다. 이러한 고역통과 필터링은 광대역이 범위 50 Hz - 7000 Hz 범위를 커버하는 것으로서 정의된다는 사실을 감안한다. 일 실시예에서, 협대역 CELP 코더는 ITU-T SG16/WP3 D135 코더(ITU-T, COM 16, D135 (WP 3/16), "France Telecom G.729EV Candidate: High level description and complexity evaluation(프랑스 텔레콤 G.729EV 후보: 상위 수준 표현 및 복잡도 평가)", Q.10/16, 연구 주기 2005-2008, 제네바, 2005년 7월 26일-8월 5일)이고, 이것은 어떠한 사전-프로세싱 필터도 갖지 않는 변형된 G.729 8 kbps 제 1 단 코딩(ITU-T 권고안 G.729, CS-ACELP(Conjugate Structure Algebraic Code Excited Linear Prediction)를 사용한 8 kbps에서의 음성 코딩, 1996년 3월) 및 부가의 고정된 CELP 사전을 사용하는 12 kbps 제 2 단 코딩을 포함하는 캐스케이드 CELP 코딩을 수행한다. CELP 코딩은 저대역에서 여기 신호의 파라미터들을 결정한다.
고대역은 먼저 데시메이션(403)과 함께 고역통과 필터링(402)에 의해 야기된 에일리어싱을 보상하기 위하여 안티-에일리어싱 프로세싱(406)을 거친다. 그 다음 고대역은 3000 Hz 내지 4000 Hz 범위의 고대역에서의 성분들, 즉, 7000 Hz 내지 8000 Hz 범위의 원래 신호의 성분들을 제거하기 위하여 저역통과 필터(407)에 의해 사전-프로세싱된다. 그 다음 13.65 kbps에서의 대역 확장(고대역 코딩)(408)이 수반된다.
코딩 모듈들(405 및 408)에 의해 생성된 비트 스트림들은 멀티플렉서(409)에서 계층적 비트 스트림으로서 멀티플렉싱되고 구조화된다.
코딩은 320 샘플들(20 밀리초(ms) 프레임들)의 블록들 상에서 수행된다. 계 층적 코딩 비트 레이트들은 8 kbps, 12 kbps 및 13.65 kbps이다.
도 3은 고대역 코더(408)를 더 상세히 도시한다. 그것의 원리는 ITU-T SG16/WP3 D214 코더의 파라미터 대역 확장과 유사하다.
고대역 신호 xhi는 N/2 샘플들의 프레임들로 코딩되고, 여기서 N은 원래의 광대역 프레임의 샘플들의 개수이고 2로 나누는 것은 2배 만큼 고대역을 데시메이팅한 결과이다. 바람직한 실시예에서, N/2 = 160이고, 이것은 8 kHz의 샘플링 주파수에서의 20 ms 프레임들에 대응한다. 각각의 프레임에 대하여, 즉, 매 20 ms마다, 모듈들(600 및 601)은 ITU-T SG16/WP3 D214 코더에서와 같이 시간 및 주파수 포락선을 추출한다. 그 다음 이러한 포락선들은 블록(602)에서 공동으로 양자화된다.
모듈(600)에 의해 수행되는 주파수 포락선 추출은 이하에서 간단히 설명한다.
스펙트럼 분석이 미래 프레임과 중첩하는 현재 프레임 상에 중심이 맞추어진 시간 윈도우를 사용하기 때문에, 이러한 동작은 보통 "예견(lookahead)"으로 불리우는 "미래의" 샘플들이 필요하다. 바람직한 실시예에서, 고대역 예견은 L = 16 샘플들, 즉, 2 ms로 설정된다. 주파수 포락선 추출은 예를 들어, 이하의 방식으로 수행될 수 있다.
○ 현재 프레임 및 예견의 윈도우잉을 갖는 단기 스펙트럼의 계산 및 이산 푸리에 변환;
○ 스펙트럼을 서브-대역들로 분할;
○ 서브-대역들의 단기 에너지의 계산 및 rms 값으로의 변환
따라서 주파수 포락선은 신호 xhi의 각각의 서브-대역들의 rms 값으로서 정의된다.
모듈(601)에 의한 시간 포락선 추출은 도 4를 참조하여 다음에 설명되고, 도 4는 신호 xhi의 시간 분할을 보다 상세히 도시한다.
각각의 20 ms 프레임은 160개의 샘플들로 구성된다.
○ xhi = [x0 x1 ....x159]
xhi의 마지막 16개 샘플들은 현재 프레임에 대한 예견을 구성한다.
현재 프레임의 시간 포락선은 이하의 방식으로 계산된다.
○ xhi를 10개 샘플들의 16개의 서브-프레임들로 분할;
○ 각각의 서브-프레임들의 에너지의 계산 및 rms 값으로 변환
따라서 시간 포락선은 신호 xhi의 16개 서브-프레임들 각각의 rms 값으로서 정의된다.
도 5는 도 2 및 도 3을 참조하여 기술된 코더와 연관된 계층적 오디오 디코더는 나타낸다.
각각의 20 ms 프레임을 정의하는 비트들은 디멀티플렉서(500)에 의해 디멀티플렉싱된다. 8 kbps 및 12 kbps 계층들의 비트 스트림은 0 내지 4000 Hz 범위의 저대역에서 여기 신호의 합성된 파라미터들을 생성하기 위하여 CELP 디코딩 모듈(501)에 의해 사용된다. 그 다음 저대역 합성 음성 신호는 블록(502)에 의해 사후-필터링된다.
13.65 kbps 계층과 연관된 비트 스트림의 부분은 대역 확장 모듈(503)에 의해 디코딩된다.
16 kHz에서 샘플링된 광대역 출력 신호는 안티-에일리어싱(506)을 통합하여, 합성된 QMF 필터 뱅크(504, 505, 507, 508 및 509)를 사용하여 획득된다.
도 5로부터 고대역 디코더(503)가 도 6을 참조하여 보다 상세히 기술된다.
이러한 디코더는 도 1의 코더에 대해 기술된 고대역 합성 원리를 사용하나, 2가지 변형예들을 갖는다: 그것은 주파수 포락선 보간 모듈(frequency envelope interpolation module)(806) 및 사후-프로세싱 모듈(808)을 포함한다. 주파수 포락선 보간 모듈 및 사후-프로세싱 모듈은 고대역에서의 코딩의 품질을 향상시킨다. 모듈(806)은 선행 프레임의 주파수 포락선과 현재 프레임의 주파수 포락선 간의 보간을 수행하고, 그 결과 이러한 포락선은 20 ms마다가 아니라, 10 ms마다 전개된다.
도 6에서, 디멀티플렉서(800)에서의 고대역 디코더는 비트 스트림으로 수신된 파라미터들을 디멀티플렉싱하고 디코딩 모듈들(801 및 802)에서 시간 및 주파수 포락선 정보를 디코딩한다. 합성된 여기 신호는 8 kbps 및 12 kbps 계층들에 의해 수신된 CELP 여기 파라미터들로부터 재구성 모듈(803)에서 생성된다. 이러한 여기는 원래 신호의 4000 Hz 내지 7000 Hz 대역에 대응하는 0 내지 3000 Hz 범위에서의 주파수들만을 보유하기 위하여 저역통과 필터(804)에서 필터링된다. 도 1의 코더에서와 같이, 합성된 여기 신호는 모듈들(805 및 807)에 의해 성형된다.
○ 시간 성형 모듈(805)의 출력은 이상적으로, 디코딩된 시간 포락선에 대응하는 서브-프레임들 각각에 대하여 rms 값을 갖는다. 따라서 모듈(805)은 시간에서 적응성이 있는 이득의 적용에 대응한다.
○ 주파수 성형 모듈(807)의 출력은 이상적으로, 디코딩된 주파수 포락선에 대응하는 서브-대역들 각각에 대하여 rms 값을 갖는다. 모듈(807)은 필터 뱅크 또는 중첩과의 변환(transform with overlap)을 사용하여 구현될 수 있다.
여기 신호를 성형하는 것으로부터 야기된 신호 x는 재구성된 고대역 y을 획득하기 위하여 사후-프로세싱 모듈(808)에 의해 프로세싱된다.
사후-프로세싱 모듈(808)은 이하에서 더 상세히 기술된다.
모듈(808)에 의해 수행된 사후-프로세싱은 신호의 진폭을 제한하기 위하여 주파수-성형 모듈(807)로부터 나온 신호 x에 진폭 압축을 적용하고, 그리하여 여기와 성형 간의 커플링 부족으로 생성될 수 있는 잡파들을 방지한다.
사후-프로세싱 모듈(808)의 출력 신호 y는 이하의 형태로 표현되고, 여기서, σ는 디코딩된 시간 포락선을 지시한다:
y = C(x) = σ·F(x/σ)
본 발명에 의해 제안된 사후-프로세싱의 속성들은 이하와 같다.
○ 그것은 어떠한 프로세싱 지연도 생성하지 않으면서 즉각적으로, 즉, 샘플 당(sample by sample) 동작한다.
○ 진폭 압축에 대한 트리거 임계치는 시간 포락선 디코딩 모듈(801)에 의해 디코딩된 것으로서 시간 포락선에 의해 주어지고, 정의에 의해, σ ≥ 0이다.
○ 사후-프로세싱은 σ의 값이 10개 샘플들의 매 서브-프레임마다, 즉, 매 1.25 ms마다 변화하기 때문에 적응성이 있다.
○ 현재 프레임에 대해 디코딩된 시간 포락선은 도 4에 도시된 바와 같이, 2 ms의 이동, 즉, 16개 샘플들에 대응한다. 그리하여, 적응성 사후-프로세싱은 상기 예견과 연관된 2개의 서브-프레임들의 rms 값을 저장한다: 이러한 2개의 서브-프레임들은 현재 프레임의 시작에서 2개의 서브-프레임들에 대응한다.
도 7의 흐름도는 제 1 사후-프로세싱 압축 함수 C1(x)를 보여준다. 계산의 시작 및 종료는 블록들(1000 및 1006)에 의해 식별된다. 출력 값 y는 먼저 x로 초기화된다(블록(1001)). 그 다음 2가지 테스트들이 y가 범위 [-σ, σ]에 있는지 여부를 확인하기 위하여 수행된다(블록들(1002 및 1004)). 3가지 상황들이 가능하다:
○ 만약 y가 범위 [-σ, σ]에 있다면, y의 계산이 완료된다: y = x 그리고 C1(x) = x; F1(x/σ) = x/σ;
○ 만약 y > σ이면, 그것은 값은 블록(1003)에서 정의된 대로 변형되고, y와 +σ 간의 차이는 16배 만큼 감쇠된다.
○ 만약 y < -σ이면, 그것의 값은 블록(1005)에서 정의된 대로 변형되고; y와 -σ 간의 차이는 16배 만큼 감쇠된다.
동작 y = C1(x)이 어떻게 기능하는지를 명확히 보여주기 위하여, 도 8은 x/σ의 함수로서 y/σ의 곡선을 보여준다. 데이터는 σ의 값에 독립적인 입력/출력 특성을 만들기 위하여 σ에 의해 정규화된다. 이러한 정규화된 특성은 F1(x/σ)으로 표시되고, 결과적으로: C1(x) = σ F1(x/σ)이다.
도 8은 함수 C1(x)가 +/-σ에서 설정된 트리거 임계치로 대칭적인 진폭 압축을 수행함을 명확히 보여준다. 보다 정확히, F1(x/σ)의 경사도는 범위 [-1, +1]에서 1이고, 그 외에서는 1/16이다. 균등한 방식으로, C1(x)의 경사도는 범위 [-σ, +σ]에서 1이고, 그 외에서는 1/16이다.
사후-프로세싱의 2가진 변수들이 도 9 내지 도 12를 참조하여 기술된다. 대응하는 함수들은 각각 C2(x) 및 C3(x)로 표시된다.
도 9 및 도 10에 도시된 사후-프로세싱 C2(x)은 C1(x)와 동일하나, 트리거 임계치 값이 +/-σ에서 +/-2σ로 변화된다. 그리하여 C2(x)의 경사도는 범위 [-2σ, +2σ]에서 1이고, 그 외에서는 1/16이다.
사후-프로세싱 C3(x)은 보다 전개된 C1(x)의 변수이고, 여기서 진폭 압축이 2개의 연속 단계들로 수행된다. 도 11에 도시된 바와 같이, 트리거 범위는 여전히 [-σ, +σ]에서 설정되나(블록(1402) 및 블록(1406)), 대조적으로 y의 값은 단지 1/2배만큼 감쇠되고, 그렇지 않으면 블록들(1403 및 1407)에 의해 변형된 것으로서 y의 값은 범위 [-2.5σ, +2.5σ] 밖에 있고, 이러한 경우 y의 값은 다시 블록들(1405 및 1409)에 의해 변형된다. C3(x)의 기능은 도 12에 도시되고, 이하가 관찰될 수 있다. C3(x)의 경사도는:
○ 범위 [-∞, -4σ] 및 [4σ, +∞]에서 1/16
○ 범위 [-4σ, -σ] 및 [σ, 4σ]에서 1/2
○ 범위 [-σ, +σ]에서 1
이다.

Claims (8)

  1. 제 1 주파수 대역에서 추정된 파라미터로부터 획득된 여기 신호의 시간 및 주파수 성형(805, 807)에 의해 재구성된 신호를 오디오 디코더에서 사후-프로세싱하는 방법으로서,
    상기 시간 및 주파수 성형은 제 2 주파수 대역(801, 802)에서 수신되어 디코딩된 시간 포락선 및 주파수 포락선에 적어도 기초하여 수행되고,
    상기 방법은, 상기 성형(805, 807) 이후에,
    상기 재구성된 신호의 각 샘플의 진폭과 상기 수신되어 디코딩된 시간 포락선(σ)을 비교하는 단계, 및
    상기 샘플의 진폭이 상기 수신되어 디코딩된 시간 포락선에 의해 주어지는 임계치들의 세트보다 큰 경우에, 상기 재구성된 신호의 진폭에 선형 감쇠 함수를 적용하는 것으로 구성되는 진폭 압축을 적용하는 단계
    를 포함하는,
    사후-프로세싱 방법.
  2. 제 1 항에 있어서, 상기 수신되어 디코딩된 시간 포락선(σ)은 상기 제 2 주파수 대역(xhi)의 신호의 서브-프레임들 각각에 대하여 rms 값으로서 정의되는,
    사후-프로세싱 방법.
  3. 삭제
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 진폭 압축은 상기 수신되어 디코딩된 시간 포락선(σ)의 함수로서 트리거 임계치들에 의해 트리거된 부분들에 의해 선형 감쇠 법칙에 따라 수행되는,
    사후-프로세싱 방법.
  5. 컴퓨터에서 실행될 때, 제 1 항 또는 제 2 항에 따른 사후-프로세싱 방법을 실행하기 위한 프로그램 코드 명령들을 포함하는 컴퓨터-판독 가능 매체.
  6. 제 1 주파수 대역에서 추정된 파라미터로부터 획득된 여기 신호의 시간 및 주파수 성형에 의해 재구성된 신호를 오디오 디코더에서 사후-프로세싱하기 위한 모듈로서,
    상기 시간 및 주파수 성형은 제 2 주파수 대역에서 수신되어 디코딩된 시간 포락선 및 주파수 포락선에 적어도 기초하여 수행되고,
    상기 사후-프로세싱하기 위한 모듈(808)은,
    상기 재구성된 신호의 각 샘플의 진폭과 상기 수신되어 디코딩된 시간 포락선(σ)을 비교하기 위한 비교기, 및
    상기 샘플의 진폭이 상기 수신되어 디코딩된 시간 포락선에 의해 주어지는 임계치들의 세트보다 큰 경우에, 진폭 압축을 적용하도록 구성된 진폭 압축 수단을 포함하고,
    상기 진폭 압축은 상기 재구성된 신호의 진폭에 선형 감쇠 함수를 적용하는 것으로 구성되는,
    사후-프로세싱하기 위한 모듈.
  7. 오디오 디코더로서,
    제 1 주파수 대역에서 여기 신호의 파라미터를 추정하기 위한 모듈(501), 상기 파라미터로부터 여기 신호를 재구성하기 위한 모듈(803), 제 2 주파수 대역에서 시간 포락선(σ)을 디코딩하기 위한 모듈(801), 제 2 주파수 대역에서 주파수 포락선을 디코딩하기 위한 모듈(802), 적어도 상기 디코딩된 시간 포락선(σ)에 의해 상기 여기 신호를 시간 성형하기 위한 모듈(805), 및 적어도 상기 디코딩된 주파수 포락선에 의해 상기 여기 신호를 주파수 성형하기 위한 모듈(807)을 포함하고,
    상기 오디오 디코더는 제 6 항에 따른 사후-프로세싱하기 위한 모듈(808)을 더 포함하는,
    오디오 디코더.
  8. 제 7 항에 있어서,
    주파수 포락선 보간(interpolation) 모듈(806)을 포함하는,
    오디오 디코더.
KR1020087025600A 2006-03-20 2007-03-20 오디오 디코더에서 신호를 사후-프로세싱하는 방법 KR101373207B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0650954 2006-03-20
FR0650954 2006-03-20
PCT/FR2007/050959 WO2007107670A2 (fr) 2006-03-20 2007-03-20 Procede de post-traitement d'un signal dans un decodeur audio

Publications (2)

Publication Number Publication Date
KR20080109038A KR20080109038A (ko) 2008-12-16
KR101373207B1 true KR101373207B1 (ko) 2014-03-12

Family

ID=37500047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087025600A KR101373207B1 (ko) 2006-03-20 2007-03-20 오디오 디코더에서 신호를 사후-프로세싱하는 방법

Country Status (6)

Country Link
US (1) US20090299755A1 (ko)
EP (1) EP2005424A2 (ko)
JP (1) JP5457171B2 (ko)
KR (1) KR101373207B1 (ko)
CN (1) CN101405792B (ko)
WO (1) WO2007107670A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602007014059D1 (de) * 2006-08-15 2011-06-01 Broadcom Corp Zeitverschiebung eines dekodierten audiosignals nach einem paketverlust
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
EP2362376A3 (en) 2010-02-26 2011-11-02 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for modifying an audio signal using envelope shaping
WO2011127832A1 (en) * 2010-04-14 2011-10-20 Huawei Technologies Co., Ltd. Time/frequency two dimension post-processing
JP5997592B2 (ja) 2012-04-27 2016-09-28 株式会社Nttドコモ 音声復号装置
JP6001814B1 (ja) 2013-08-28 2016-10-05 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイブリッドの波形符号化およびパラメトリック符号化発話向上
JP6035270B2 (ja) * 2014-03-24 2016-11-30 株式会社Nttドコモ 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、および音声符号化プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010080476A (ko) * 1999-09-20 2001-08-22 요트.게.아. 롤페즈 오디오 신호를 정정하기 위한 처리 회로, 수신기, 통신시스템, 이동 장치 및 이에 관련된 방법
JP2007089171A (ja) 2005-09-21 2007-04-05 Nec (China) Co Ltd 順応性のある匿名証明書システム及びその方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193548A (ja) * 1993-12-25 1995-07-28 Sony Corp 雑音低減処理方法
US5945932A (en) * 1997-10-30 1999-08-31 Audiotrack Corporation Technique for embedding a code in an audio signal and for detecting the embedded code
GB2351889B (en) * 1999-07-06 2003-12-17 Ericsson Telefon Ab L M Speech band expansion
JP3810257B2 (ja) * 2000-06-30 2006-08-16 松下電器産業株式会社 音声帯域拡張装置及び音声帯域拡張方法
SE0004818D0 (sv) * 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
US7590525B2 (en) * 2001-08-17 2009-09-15 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
US7173966B2 (en) * 2001-08-31 2007-02-06 Broadband Physics, Inc. Compensation for non-linear distortion in a modem receiver
US6988066B2 (en) * 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010080476A (ko) * 1999-09-20 2001-08-22 요트.게.아. 롤페즈 오디오 신호를 정정하기 위한 처리 회로, 수신기, 통신시스템, 이동 장치 및 이에 관련된 방법
JP2007089171A (ja) 2005-09-21 2007-04-05 Nec (China) Co Ltd 順応性のある匿名証明書システム及びその方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
'High level description of the scalable 8-32kbit/s algorithm submitted to the Qualification Test by Matsushita, Mindspeed and Siemens', International Telecommunication union, 2005.7.26~8.5 *
'High level description of the scalable 8-32kbit/s algorithm submitted to the Qualification Test by Matsushita, Mindspeed and Siemens', International Telecommunication union, 2005.7.26~8.5*

Also Published As

Publication number Publication date
US20090299755A1 (en) 2009-12-03
CN101405792A (zh) 2009-04-08
EP2005424A2 (fr) 2008-12-24
JP5457171B2 (ja) 2014-04-02
WO2007107670A3 (fr) 2007-11-08
CN101405792B (zh) 2012-09-05
JP2009530679A (ja) 2009-08-27
KR20080109038A (ko) 2008-12-16
WO2007107670A2 (fr) 2007-09-27

Similar Documents

Publication Publication Date Title
KR101366124B1 (ko) 오디오 인코딩/디코딩에서의 인지 가중 장치
KR101295729B1 (ko) 비트 레이트­규모 가변적 및 대역폭­규모 가변적 오디오디코딩에서 비트 레이트 스위칭 방법
JP5112309B2 (ja) 階層符号化/復号化装置
US7529660B2 (en) Method and device for frequency-selective pitch enhancement of synthesized speech
KR101364979B1 (ko) 신호 엔벨로프의 양자화 인덱스들의 이진 코딩 방법과 신호엔벨로프의 디코딩 방법, 및 대응하는 코딩 모듈과 디코딩모듈
KR101380431B1 (ko) 스위칭가능한 모델 코어를 이용하는 내장된 스피치 및 오디오 코딩
JP5978227B2 (ja) 予測符号化と変換符号化を繰り返す低遅延音響符号化
KR101373207B1 (ko) 오디오 디코더에서 신호를 사후-프로세싱하는 방법
KR20090104846A (ko) 디지털 오디오 신호에 대한 향상된 코딩/디코딩
KR101610765B1 (ko) 음성 신호의 부호화/복호화 방법 및 장치
EP2132732B1 (en) Postfilter for layered codecs
Ragot et al. A 8-32 kbit/s scalable wideband speech and audio coding candidate for ITU-T G729EV standardization
Gibson Speech coding for wireless communications
KR101770301B1 (ko) 부호화 모드를 이용한 음성신호의 부호화/복호화 장치 및 방법
Jax et al. A scalable wideband add-on for the G. 729 speech codec

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20081020

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120320

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130430

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20131113

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130430

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20131212

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20131113

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20140203

Appeal identifier: 2013101008721

Request date: 20131212

PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20131212

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20131212

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20130701

Patent event code: PB09011R02I

Comment text: Amendment to Specification, etc.

Patent event date: 20120320

Patent event code: PB09011R02I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20140203

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20140114

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140305

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140306

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20171216