KR101315617B1

KR101315617B1 - 모드 스위칭에 기초하여 윈도우 시퀀스를 처리하는 통합 음성/오디오 부/복호화기

Info

Publication number: KR101315617B1
Application number: KR1020090114783A
Authority: KR
Inventors: 백승권; 이태진; 김민제; 강경옥; 장대영; 서정일; 홍진우; 안치득; 박호종; 박영철
Original assignee: 광운대학교 산학협력단; 한국전자통신연구원
Priority date: 2008-11-26
Filing date: 2009-11-25
Publication date: 2013-10-08
Also published as: CN104282313B; WO2010062123A3; US8954321B1; KR101478438B1; EP2373014A4; KR20100059726A; WO2010062123A2; CN104282313A; EP2373014A2; CN102388607A; EP3151241A1; CN102388607B; KR20130054976A

Abstract

모드 스위칭에 기초하여 윈도우 시퀀스를 처리하는 통합 음성/오디오 부/복호화기가 개시된다. 통합 음성/오디오 부/복호화기는 모드 스위칭이 발생하는 경우, 폴딩 포인트를 기준으로 프레임 간 오버랩을 수행하여 부호화하거나 또는 복호화할 수 있다. 통합 음성/오디오 부/복호화기는 부호화 또는 복호화를 수행하기 위해 상황에 따라 다른 윈도우 시퀀스를 처리함으로써, 코딩 성능을 향상시킬 수 있다.

USAC(Unified Speech/Audio Coder), 윈도우 시퀀스, FD, MDCT, LPD

Description

모드 스위칭에 기초하여 윈도우 시퀀스를 처리하는 통합 음성/오디오 부/복호화기{UNIFIED SPEECH/AUDIO CODER(USAC) PROCESSING WINDOWS SEQUENCE BASED MODE SWITCHING}

본 발명은 MDCT 기반의 통합 음성/오디오 부/복호화기(USAC)에서 모드 스위칭이 발생하는 경우 부호화 또는 복호화를 수행하기 위한 윈도우 시퀀스를 처리하는 방법에 관한 것이다.

본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-01, 과제명: 차세대DTV핵심기술개발(표준화연계)-무안경개인형3D방송기술개발].

통합 음성/오디오 부/복호화기는 입력 신호의 특성에 따라 부호화 또는 복호화 방법을 달리하는 경우, 코딩 성능을 향상시킬 수 있다. 이 때, 통합 음성/오디오 부/복호화기는 입력 신호 중 음성과 유사한 신호를 음성 부호화기/복호화기에서 부호화/복호화할 수 있고, 오디오와 유사한 신호를 오디오 부호화기/복호화기에서 부호화/복호화할 수 있다.

이와 같은 통합 음성/오디오 부/복호화기는 LPD 모드 간 모드 스위칭에 따라 입력 신호를 처리할 수 있다. 그리고, 통합 음성/오디오 부/복호화기는 LPD 모드와 FD 모드 간 모드 스위칭에 따라 입력 신호를 처리할 수 있다. 통합 음성/오디오 부/복호화기는 모드 스위칭에 따라 입력 신호의 프레임에 윈도우 시퀀스를 적용하여 신호를 처리하였다. 그러나, 종래의 통합 음성/오디오 부/복호화보다 코딩 효율을 향상시킬 수 있는 윈도우 시퀀스 처리 방법이 요구된다.

본 발명의 일실시예에 따르면, LPD 모드 간 모드 스위칭이 발생하는 경우, 프레임 간 오버랩 애드되는 영역이 확장된 시퀀스를 적용하여 부호화 또는 복호화를 수행하는 통합 음성/오디오 부호화기/복호화기를 제공한다.

본 발명의 일실시예에 따르면, LPD 모드와 FD 모드 간 모드 스위칭이 발생하는 경우, 프레임 간 오버랩 애드되는 영역이 확장된 시퀀스를 적용하여 부호화 또는 복호화를 수행하는 통합 음성/오디오 부호화기/복호화기를 제공한다.

본 발명의 일실시예에 따른 통합 음성/오디오 부호화기(USAC)는 입력 신호의 프레임을 구성하는 서브 프레임에 대해 LPD 모드 간 스위칭하는 모드 스위칭부; 및 상기 서브 프레임 중 부호화하고자 하는 현재 서브 프레임에 상기 스위칭된 LPD 모드에 기초한 윈도우를 적용하여 상기 입력 신호를 부호화하는 부호화부를 포함하고, 상기 부호화부는 이전 서브 프레임의 LPD 모드와 다음 서브 프레임의 LPD 모드에 따라 변형되는 윈도우를 상기 현재 프레임에 적용하여 상기 입력 신호를 부호화할 수 있다.

본 발명의 일실시예에 따른 통합 음성/오디오 부호화기(USAC)는 입력 신호의 프레임에 대해 FD 모드에서 LPD 모드로 스위칭하는 모드 스위칭부; 및 상기 FD 모드의 윈도우 시퀀스와 상기 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 부호화하는 부호화부를 포함할 수 있다.

본 발명의 일실시예에 따른 통합 음성/오디오 부호화기(USAC)는 입력 신호의 프레임에 대해 LPD 모드에서 FD 모드로 스위칭하는 모드 스위칭부; 및 상기 FD 모드의 윈도우 시퀀스와 상기 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 부호화하는 부호화부를 포함할 수 있다.

본 발명의 일실시예에 따른 통합 음성/오디오 복호화기(USAC)는 입력 신호의 프레임을 구성하는 서브 프레임에 대해 LPD 모드 간 스위칭하는 모드 스위칭부; 및 상기 서브 프레임 중 복호화하고자 하는 현재 서브 프레임에 상기 스위칭된 LPD 모드에 기초한 윈도우를 적용하여 상기 입력 신호를 복호화하는 복호화부를 포함하고, 상기 복호화부는 이전 서브프레임의 LPD 모드와 다음 서브 프레임의 LPD 모드에 따라 변형되는 윈도우를 상기 현재 프레임에 적용하여 상기 입력 신호를 복호화할 수 있다.

본 발명의 일실시예에 따른 통합 음성/오디오 복호화기(USAC)는 입력 신호의 프레임에 대해 FD 모드에서 LPD 모드로 스위칭하는 모드 스위칭부; 및 상기 FD 모드의 윈도우 시퀀스와 상기 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 복호화하는 복호화부를 포함할 수 있다.

본 발명의 일실시예에 따른 통합 음성/오디오 복호화기(USAC)는 입력 신호의 프레임에 대해 LPD 모드에서 FD 모드로 스위칭하는 모드 스위칭부; 및 상기 FD 모드의 윈도우 시퀀스와 상기 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 복호화하는 복호화부를 포함할 수 있다.

본 발명에 따른 통합 음성/오디오 부호화/복호화기(USAC)는 종래의 통합 음성/오디오 부호화/복호화기에서 처리하는 윈도우 시퀀스보다 블록 아티팩트에 영향이 적고, MDCT의 TDAC 조건을 충분히 활용하여 향상된 코딩 이득을 획득할 수 있다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 통합 음성/오디오 코딩을 수행하는 부호화기의 전체 구성을 도시한 도면이다.

도 1에 도시된 통합 음성/오디오 부호화기는 입력 신호의 특성에 따라 부호화 방법을 다르게 수행하여 부호화 성능 및 음질을 극대화할 수 있다. 예를 들어, 통합 음성/오디오 부호화기는 입력 신호 중 음성(speech)과 유사한 신호에 대해 CELP 방식(Code Excitation Linear Prediction)에 따라 부호화하여 코딩 효율을 향상시킬 수 있다. 또한, 통합 음성/오디오 부호화기는 입력 신호 중 오디오(Audio)와 유사한 신호에 대해 트랜스폼(transform) 방식에 따라 부호화하여 코딩 효율을 향상시킬 수 있다.

도 1의 MPEGS는 스테레오 신호를 코딩하기 위한 것으로, MPEG Surround의 OTT(One-To-Two)를 수행할 수 있다. 그리고, eSBR은 고주파 성분을 분석하여 입력 신호에 대한 대역폭을 확장시킬 수 있다. Mode Switch-1은 신호 분석기(Signal classifier)에 대응하는 것으로, 입력 신호의 현재 프레임이 음성 신호인지 또는 오디오 신호인지 여부를 판단할 수 있다. 여기서, 신호 분석기는 입력 신호가 음성과 유사한지 또는 오디오와 유사한 지 여부를 판단하여 신호의 특성에 따라 부호화기를 선택할 수 있다. 본 발명의 일실시예에 따른 통합 음성/오디오 부호화기는 ideal하게 동작하는 신호 분석기를 포함하는 것으로 가정한다.

만약, 입력 신호의 현재 프레임이 오디오와 유사하다고 판단된 경우, Mode Switch-1은 현재 프레임을 FD 모드(Frequency Domain Mode)인 'AAC-MODE(Advanced Audio Coding MODE)'로 스위칭하고, 입력 신호의 현재 프레임은 AAC-MODE에 따라 부호화될 수 있다. AAC-MODE에서, 입력 신호는 기본적으로 청각심리음향모델에 따라 부호화될 수 있다. 그리고, Blockswitching-1은 현재 프레임에 대해 입력 신호의 특성에 따라 윈도우(window)를 다르게 적용할 수 있다. 이 때, 윈도우 형태는 이전 프레임 또는 이후 프레임의 코딩모드에 따라 결정될 수 있다. 이후 filterbank는 윈도우가 적용된 현재 프레임에 대해 T/F(Time to Frequency) 변환을 수행할 수 있다. Filterbank는 부호화 효율을 향상시키기 위해 기본적으로 MDCT(Modified Discrete Cosine Transform)를 적용하여 부호화를 수행할 수 있다.

반대로, 입력 신호의 현재 프레임이 음성과 유사하다고 판단된 경우, Mode Switch-1은 현재 프레임을 'LPD-MODE(Linear Prediction Domain Mode)'로 스위칭하고, 입력 신호의 현재 프레임은 LPC(Linear Prediction Coding)에 따라 부호화될 수 있다. Block Switching-2는 LPD 모드 간에 모드 스위칭이 발생하는 경우, 서브 프레임마다 LPD 모드에 따른 윈도우를 적용할 수 있다. AMR-WB+ 또는 USAC에서 와 같이 기본적으로 입력 신호의 현재 프레임은 LPD 모드에서 4개의 서브 프레임(sub-frame)으로 구성될 수 있다. 여기서, 입력 신호의 현재 프레임은 super-frame신호로 정의될 수 있다. 본 발명에서 정의하는 윈도우 시퀀스는 super-frame을 구성하는 서브 프레임에 적용되는 적어도 하나의 윈도우들을 조합한 형태라고 정의할 수 있다.

예를 들어, super-frame을 1개의 서브 프레임으로 처리하는 경우, super-frame의 lpd_mode는 {3,3,3,3}으로 결정될 수 있다. 이 경우, 윈도우 시퀀스는 1개의 윈도우로 구성된다. 그리고, super-frame을 2 개의 서브 프레임으로 처리하는 경우, super-frame의 lpd_mode는 {2,2,2,2}으로 결정될 수 있다. 이 경우, 윈도우 시퀀스는 2개의 윈도우로 구성된다. 또한, super-frame을 4개의 서브 프레임으로 처리하는 경우, sub-frame의 lpd_mode는 {1,1,1,1}로 결정될 수 있다. 이 경우, 윈도우 시퀀스는 4개의 윈도우로 구성된다.

여기서, lpd_mode=0인 경우, 하나의 서브 프레임은 ACELP(Algebraic code excited linear prediction)에 따라 부호화가 된다. 이 때, ACELP 가 적용되는 경우, T/F 변환 및 윈도우는 적용되지 않는다. 즉, LPC 기반의 LPD 모드에 따라 부호화하는 과정은 시간 도메인 코딩 기반의 ACELP 블록과 Filter Bank를 기반으로 하는 TCX (Transform Code eXcitation) 블록을 통해 수행될 수 있다. Filter Bank 방법은 MDCT와 DFT(Discrete Fourier Transform) 방법이 있으며, 본 발명은 MDCT기반의 TCX를 이용한다. 본 발명은 Block Switching-1과 Block Swithching-2에서 윈도우 시퀀스를 처리하는 방법에 대해 설명된다.

도 2는 MDCT기반의 TDAC를 설명하기 위한 도면이다.

MDCT(Modified Discrete Cosine Transform)는 오디오 부호화기에 널리 사용되는 T/F 변환 방식으로, 프레임 간 overlap add를 수행하더라도 비트레이트(Bit rate)가 증가하지 않는 장점이 있다. 반면에, MDCT는 시간 도메인에서 aliasing을 발생시키는 변환 방식이므로, MDCT는 주파수 도메인에서 시간 도메인으로 입력 신호를 역 변환 후, 현재 프레임과 이웃하는 프레임과 윈도우에 대해 50% overlap-add을 반드시 수행해야 원래의 입력 신호가 복원될 수 있는 변환 방식(TDAC transform: Time-Domain Aliasing Cancellation transform)이다.

도 2를 참고하면, 입력 신호는 윈도우 처리 후에 MDCT가 수행된다. MDCT수행은 시간 도메인에서 aliasing을 발생시킨다. 도 2에서 R_k는 입력 신호에 적용된 윈도우의 오른쪽 부분을 나타낸다. 입력 신호에 대해 MDCT가 수행되면, R_k/2을 기준으로 윈도우가 폴딩(folding)되어, Time-Domain Aliasing(TDA)이 발생할 수 있다. 이 후, 입력 신호에 대해 IMDCT가 수행되면, 윈도우는 R_k로 언폴딩(unfolding)될 수 있으나, TDA가 발생한 후 언폴딩된 윈도우는 원래 윈도우와 다른 형태를 나타낸다.

그러나, 현재 프레임과 마찬가지로 다음 프레임이 Windowing-MDCT-IMDCT-windowing된 후, 윈도우가 적용된 다음 프레임의 왼쪽 신호와 윈도우가 적용된 현재 프레임의 오른쪽 신호가 서로 overlap-add가 수행되면, TDA가 제거된 원래의 입력 신호가 추출될 수 있다. 이러한 과정이 TDA 조건에서 Aliasing을 제거하기 위 해 overlap-add하는 방법이다. 상기 언급한 중첩 원리(overlap-add and TDAC)가 적용되기 위해서, 윈도우가 적용된 프레임이 overlap-add되는 지점은 윈도우가 folding지점이다. 이 때, folding 위치는 R_k/2이다.

도 3은 종래의 RM에 정의되어 있는 윈도우 시퀀스를 도시한 도면이다.

도 3은 도 1의 Block switching-1에 적용 가능한 윈도우를 나타낸다. 이 때, 도 3에서 인덱스 2의 경우, 8개의 SHORT_WINDOW가 하나의 셋트를 구성하기 때문에, 윈도우 시퀀스로 표현되었으며, 다른 변환 모드에서는 1개의 윈도우가 1개의 윈도우 시퀀스를 구성할 수 있다. 도 3에서 볼 수 있듯이, 윈도우 시퀀스는 삼각 윈도우를 가정하고 도시된 것이다. 현재 프레임의 길이 N을 2048로 설정하는 경우, 점선의 간격은 128을 나타낸다. 다만 STOP_START_1152_SEQUENCE의 경우, 현재 프레임의 길이는 2304로 설정된다.

도 4는 윈도우 시퀀스 (CASE 1: ONLY_LONG_SEQUENCE to LPD_START_SEQUENCE)를 도시한 도면이다.

USAC의 RM에 의하면, ONLY_LONG_SEQUENCE(401) 다음에 LPD_START_SEQENCE(404)가 나타날 수 있으며, LPD_START_SEQENCE(405) 다음에 LPD_SEQUENCE가 나타나는 것으로 정의되어 있다. LPD_SEQUENCE는 영역(405)에 나타날 수 있다.

LPD_SEQUENCE는 LPD 모드가 적용되는 윈도우 시퀀스를 의미한다. 여기서 라인(402)과 라인(403) 사이의 영역은 복호화기에서 입력 신호를 복원할 때, 이웃하 는 두 개의 윈도우 시퀀스가 overlap-add되는 영역을 의미한다.

도 5는 윈도우 시퀀스(CASE 2: LONG_STOP_SEQUENCE to LPD_START_SEQUENCE)를 도시한 도면이다.

USAC의 RM에 의하면, LONG_STOP_SEQUENCE(501) 다음에 LPD_START_SEQUENCE(504)가 나타나고, LPD_START_SEQUENCE(504) 다음에 LPD_SEQUENCE가 나타나는 것으로 정의되어 있다. LPD_SEQUENCE는 영역(505)에 나타날 수 있다.

도 4와 마찬가지로, LPD_SEQUENCE는 LPD모드에서 생성되는 윈도우 시퀀스를 의미한다. 여기서 라인(502)과 라인(503) 사이의 영역은 복호화기에서 입력 신호를 복원할 때, 이웃하는 두 개의 윈도우가 overlap-add되는 영역을 의미한다.

도 6은 FD 모드에서 LPD 모드로 모드 스위칭시, 윈도우 시퀀스(CASE 3: LPD_START_SEQUENCE to LPD_SEQUENCE)를 도시한 도면이다.

USAC의 RM에 의하면, LPD_START_SEQUENCE(601) 다음에 LPD_SEQUENCE가 나타나는 것으로 정의되어 있다. LPD_START_SEQUENCE(601)은 Mode Switch-1에서 FD 모드인 'AAC MODE'에서 LPD 모드인 'LPC MODE'로 스위칭이 발생할 때 AAC MODE가 적용되는 마지막 윈도우 시퀀스를 의미한다. LPD_SEQUENCE는 영역(604)에 나타날 수 있다.

도 4와 마찬가지로, LPD_SEQUENCE는 LPD 모드가 적용되는 윈도우 시퀀스를 의미한다. 여기서 라인(602)과 라인(603) 사이의 영역은 복호화기에서 입력 신호를 복원할 때, 이웃하는 두 개의 윈도우 시퀀스가 overlap-add되는 영역을 의미한 다. 이 때, 윈도우 시퀀스가 overlap-add되는 영역의 간격은 64-point이다.

도 7은 LPD 모드에서 LPD 모드로 모드 스위칭시, 윈도우 시퀀스(CASE 4: LPD_SEQUENCE to LPD_SEQUENCE)와 LPD 모드에서 FD 모드로 모드 스위칭시, 윈도우 시퀀스(CASE 4: LPD_SEQUENCE to STOP_1152_SEQUENCE or STOP_START_1152_SEQUENCE)를 도시한 도면이다.

USAC의 RM에 의하면, 영역(701)에서 LPD 모드가 적용되는 LPD_SEQUENCE가 나타나고, 다음에 영역(704)에서 LPD 모드가 적용되는 LPD_SEQUENCE가 나타나는 것으로 정의되어 있다. 도 7에서, LPD_SEQUENCE와 LPD_SEQUENCE가 overlap-add되는 영역은 라인(702)과 라인(703) 사이에 영역이며, overlap-add되는 영역의 간격은 128-point이다.

그리고, 도 7에서 볼 수 있듯이, 영역(701)에 LPD 모드가 적용되는 LPD_SEQUENCE가 나타나고, 다음에 AAC 모드가 적용되는 STOP_1152_SEQUENCE(705)가 나타날 수 있다. 또한, 영역(701)에 LPD 모드가 적용되는 LPD_SEQUENCE가 나타나고, 다음에 AAC 모드가 적용되는STOP_START_1152_SEQUENCE(706)가 나타날 수 있다.

본 발명의 일실시예에 따르면, CASE 3, CASE 4에서 윈도우 시퀀스를 처리하는 방법 및 LPD_SEQUENCE 처리 방법에 대해 제안한다. CASE 3은 FD 모드에서 LPD 모드로 변경되는 경우로, 도 13 내지 도 16에서 설명되고, CASE 4는 LPD 모드에서 FD 모드로 변경되는 경우로, 도 20 내지 도 24에서 설명된다. LPD_SEQUENCE는 도 8 내지 도 12에서 설명된다. CASE 3 및 CASE 4는 FD 모드와 LPD 모드 간의 모드 스위칭시 윈도우 시퀀스의 처리 방법을 나타내는 것으로, 도 1의 Block Switching- 1가 윈도우 시퀀스를 처리한다. 그리고, LPD_SEQUENCE는 LPD 모드 간의 모드 스위칭시 윈도우 시퀀스의 처리 방법을 나타내는 것으로, 도 1의 Blockswitching-2가 윈도우 시퀀스를 처리한다.

LPD 모드 간의 모드 스위칭과 관련하여, 통합 음성/오디오 부호화기(USAC)는 입력 신호의 프레임을 구성하는 서브 프레임에 대해 LPD 모드 간 스위칭하는 모드 스위칭부; 및 서브 프레임 중 부호화하고자 하는 현재 서브 프레임에 스위칭된 LPD 모드에 기초한 윈도우를 적용하여 입력 신호를 부호화하는 부호화부를 포함할 수 있다.

이 때, 모드 스위칭부는 도 1의 Mode switch-2에 대응하고, 부호화부는 도 1의 Block Switching-2에 대응한다. 부호화부는 이전 서브 프레임의 LPD 모드와 다음 서브 프레임의 LPD 모드에 따라 변형되는 윈도우를 현재 서브 프레임에 적용하여 입력 신호를 부호화할 수 있다. 그리고, 부호화부는 서브 프레임의 경계에 존재하는 폴딩 포인트를 중심으로 프레임 간 오버랩 애드를 수행할 수 있다.

일례로, 현재 서브 프레임의 LPD 모드가 1이고, 이전 서브 프레임 또는 다음 서브 프레임의 LPD 모드가 0이 아닌 경우, 통합 음성/오디오 부호화기(USAC)의 부호화부는 이전 서브 프레임 또는 상기 다음 서브 프레임과 오버랩 애드(overlap-add)되는 영역의 간격이 256인 상기 현재 서브 프레임에 적용되는 윈도우를 이용하여 부호화할 수 있다.

그리고, 현재 서브 프레임의 LPD 모드가 2이고, 이전 서브 프레임 또는 다음 서브 프레임의 LPD 모드가 0이 아닌 경우, 통합 음성/오디오 부호화기(USAC)의 부 호화부는 이전 서브 프레임 또는 상기 다음 서브 프레임과 오버랩 애드(overlap-add)되는 영역의 간격이 512인 상기 현재 서브 프레임에 적용되는 윈도우를 이용하여 부호화할 수 있다.

또는, 현재 서브 프레임의 LPD 모드가 3이고, 이전 서브 프레임 또는 다음 서브 프레임의 LPD 모드가 0이 아닌 경우, 통합 음성/오디오 부호화기(USAC)의 부호화부는 이전 서브 프레임 또는 상기 다음 서브 프레임과 오버랩 애드(overlap-add)되는 영역의 간격이 1024인 상기 현재 서브 프레임에 적용되는 윈도우를 이용하여 부호화할 수 있다.

만약, 이전 서브 프레임의 LPD 모드가 0인 경우, 부호화부는 현재 서브 프레임에 적용되는 윈도우의 왼쪽 부분을 1의 값을 갖는 직각 형태로 처리할 수 있다. 그리고, 다음 서브 프레임의 LPD 모드가 0인 경우, 부호화부는 현재 서브 프레임에 적용되는 윈도우의 오른쪽 부분을 1의 값을 갖는 직각 형태로 처리할 수 있다.

이 때, 부호화부는 서브 프레임의 경계에 존재하는 폴딩 포인트를 중심으로 서브 프레임 간 오버랩 애드를 수행할 수 있다.

FD 모드에서 LPD 모드로의 모드 스위칭과 관련하여, 통합 음성/오디오 부호화기는 입력 신호의 프레임에 대해 FD 모드에서 LPD 모드로 스위칭하는 모드 스위칭부; 및 FD 모드의 윈도우 시퀀스와 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 부호화하는 부호화부를 포함할 수 있다. 이 때, FD 모드는 AAC 모드일 수 있다.

이 때, LPD 모드의 윈도우 시퀀스 중 시작 서브 프레임의 LPD 모드가 0인 경 우, 부호화부는 시작 서브 프레임에 대응하는 윈도우는 LPD 모드가 1에 대응하는 윈도우로 대체할 수 있다.

그리고, 부호화부는 LPD 모드의 윈도우 시퀀스를 FD 모드의 윈도우 시퀀스와 폴딩 포인트를 기준으로 오버랩 애드될 수 있도록 쉬프팅할 수 있다.

또한, 부호화부는 FD 모드의 윈도우 시퀀스를 LPD 모드의 윈도우 시퀀스에 따라 형태를 변형할 수 있다.

또한, 부호화부는 입력 신호의 프레임을 구성하는 서브 프레임의 경계에 위치하는 폴딩 포인트를 중심으로 윈도우 시퀀스 간에 오버랩 애드를 수행하고, 상기 폴딩 포인트를 시작점으로 설정하여 서브 프레임 단위에 따라 LPC(Linear Prediction Coefficient)를 추출할 수 있다.

LPD 모드에서 FD 모드로의 모드 스위칭과 관련하여, 통합 음성/오디오 부호화기(USAC)는 입력 신호의 프레임에 대해 LPD 모드에서 FD 모드로 스위칭하는 모드 스위칭부; 및 상기 FD 모드의 윈도우 시퀀스와 상기 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 부호화하는 부호화부를 포함할 수 있다.

그리고, 부호화부는 LPD 모드에 따라 FD 모드의 윈도우 시퀀스 형태를 변형할 수 있다.

또한, 부호화부는 LPD 모드의 윈도우 시퀀스와 FD 모드의 윈도우 시퀀스를 256 포인트만큼 오버랩할 수 있다. 여기서, LPD 모드의 윈도우 시퀀스 중 종료 서브 프레임의 LPD 모드가 0인 경우 종료 서브 프레임에 대응하는 윈도우는 LPD 모드가 1에 대응하는 윈도우로 대체될 수 있다.

이에 대해, 통합 음성/오디오 복호화기(USAC)는 앞서 설명한 LPD 모드 간의 모드 스위칭, FD 모드에서 LPD 모드로의 모드 스위칭 또는 LPD 모드에서 FD 모드로의 모드 스위칭과 관련한 통합 음성/오디오 부호화기와 동일하게 윈도우 시퀀스를 처리할 수 있다. 이하에서는 본 발명에 의한 통합 음성/오디오 부호화기(USAC)와 통합 음성/오디오 복호화기(USAC)에서 처리하는 윈도우 시퀀스에 대해서 구체적으로 설명된다.

도 8은 타입별 LPD_SEQUENCE의 윈도우 형태를 도시한 도면이다.

도 8은 도 4 내지 도 7에서 설명되는 LPD_SEQUENCE의 윈도우 형태를 나타낸다. 도 8에 도시된 LPD_SEQUENCE는 하기 표 1에 따라 정의될 수 있다.

Type	Value of last_lpd_mode	value of mod[x]	Number lg of spectral coefficients	ZL	L	M	R	ZR
0	0	1	320	160	0	256	128	96
1	0	2	576	288	0	512	128	224
2	0	3	1152	512	128	1024	128	512
3	1..3	1	256	64	128	128	128	64
4	1..3	2	512	192	128	384	128	192
5	1..3	3	1024	448	128	896	128	448

표 1은 이전 서브 프레임의 lpd_mode(last_lpd_mode)에 따라 변경되는 현재 서브 프레임에 대한 LPD_SEQUENCE의 윈도우 형태를 정의한 것이다. 표 1에서, ZL은 LPD_SEQUENCE에서 윈도우의 왼쪽에 삽입되는 zero block에 대응하는 구간의 길이이며, ZR은 LPD_SEQUENCE에서 윈도우의 오른쪽에 삽입되는 zero block에 대응하는 구간의 길이를 의미한다. 그리고, M은 LPD_SEQUENCE에서 값이 1인 윈도우의 구간의 길이를 나타낸다. 또한, L과 R은 각각 LPD_SEQUENCE에서 윈도우의 중심점을 기준으로 각각 왼쪽과 오른쪽에 이웃하는 윈도우와 overlap-add되는 구간의 길이를 의미한다. 표 1에서 볼 수 있듯이, 하나의 프레임에 대해서, 1024 또는 1152개의 spectral coefficients가 발생할 수 있다.

lpd_mode=0인 경우, 이전 서브 프레임의 lpd_mode와 상관없이 현재 서브 프레임의 LPD_SEQUENCE는 도 8의 type 6의 윈도우를 나타낸다. 여기서, 도 8의 type 6에 대응하는 윈도우는 zero block 없는 rectangular 형태의 윈도우이다. 즉, lpd_mode=0인 경우, 입력 신호가 ACELP에 따라 부호화되는 것으로, 입력 신호를 복원시 aliasing이 발생하지 않기 때문에 overlap-add를 위한 윈도우가 적용되지 않는다. 따라서, 도 1의 ACELP 블록은 TCX 블록과 달리 Block-switching을 수행하지 않는다.

도 8에 의하면, 하나의 super-frame에 대해 LPD_SEQUENCE로 생성될 수 있는 조합은 총 26가지이다. 도 9 내지 도 12는 생성될 수 있는 26가지의 LPD_SEQUENCE 중 일부를 도시한다.

도 9는 (a) LPD 모드가 {1,1,1,1}일 때, (b) LPD 모드가 {2,2,2,2}일 때, 및 (c) LPD모드가 {3,3,3,3,}일 때, LPD_SEQUENCE를 도시한 도면이다.

도 9(a)는 super-frame 내에서 각 서브 프레임의 lpd_mode가 모두 1인 경우, LPD_SEQUENCE를 도시한다. 이 때, 도 9(a)의 LPD_SEQUNECE는 도 8의 type 3에 대응하는 윈도우(901) 4개로 구성될 수 있다. 도 9(a)의 LPD_SEQUENCE의 lpd_mode는 {1,1,1,1}이다.

도 9(b)는 super-frame 내에서 각 서브 프레임의 lpd_mode가 모두 2인 경우, LPD_SEQUENCE를 도시한다. 이 때, 도 9(b)의 LPD_SEQUNECE는 도 8의 type 4에 대응하는 윈도우(902) 2개로 구성될 수 있다. 도 9(b)의 LPD_SEQUENCE의 lpd_mode는 {2,2,2,2}이다.

도 9(c)는 super-frame 내에서 각 서브 프레임의 lpd_mode가 모두 3인 경우, LPD_SEQUENCE를 도시한다. 이 때, 도 9(c)의 LPD_SEQUNECE는 도 8의 type 5에 대응하는 윈도우(903) 1개로 구성될 수 있다. 도 9(c)의 LPD_SEQUENCE의 lpd_mode는 {3,3,3,3}이다.

도 10은 LPD 모드가 {0,1,1,1}일 때, LPD_SEQUENCE를 도시한 도면이다.

도 11은 LPD 모드가 {1,0,2,2}일 때, LPD_SEQUENCE를 도시한 도면이다.

도 12는 이전 프레임의 종료 서브 프레임의 LPD 모드가 {0}일 때, LPD 모드가 {3,3,3,3}인 LPD_SEQUENCE를 도시한 도면이다.

도 13은 종래의 CASE 3에 대한 윈도우 시퀀스의 처리 방법을 도시한 도면이다.

도 6에서 설명하였듯이, CASE 3은 LPD_START_SEQUENCE(1301)에서 LPD_SEQUENCE(1302 내지 1305)로 윈도우 시퀀스가 처리되는 경우를 나타낸다. 이 때, Mode Switch-1에서 FD 모드인 'AAC MODE'에서 LPD 모드인 'LPC MODE'로 모드 스위칭이 발생할 때 LPD_START_SEQUENCE(1301)는 AAC MODE에서 마지막으로 적용되는 윈도우 시퀀스를 의미한다.

도 13에서, LPD_SEQUENCE(1302)는 lpd_mode={3,3,3,3}인 경우를 나타내고, LPD_SEQUENCE(1303)는 lpd_mode={2,2,2,2}인 경우를 나타낸다. 그리고, LPD_SEQUENCE(1304)는 lpd_mode={1,1,1,1}인 경우를 나타내며, LPD_SEQUENCE(1305)는 lpd_mode={0,0,0,0}인 경우를 나타낸다. 도 13에서 LPD_SEQUENCE(1302~1305)는 점선으로 수정된 후 64-point의 영역(1306)에서 `폴딩 포인트(Folding Point)를 중심으로 LPD_START_SEQUENCE(1301)과 overlap-add될 수 있다.

도 14는 본 발명의 실시예에 따른 CASE 3에 대한 윈도우 시퀀스의 처리 방법을 도시한 도면이다(제1예).

도 14를 참고하면, LPD_START_SEQUENCE(1401)는 TDAC를 고려하지 않고 LPD_SEQUENCE(1402~1405)와 영역(1406)에서 overlap-add된다. 따라서, LPD_SEQUENCE(1402~1405) 각각은 점선으로 수정된 후, LPD_START_SEQUENCE(1401)와 영역(1406)에서 폴딩 포인트를 중심으로 overlap-add된다. 이 때, 영역(1406)의간격은 64-point를 나타낸다.

폴딩 포인트는 MDCT 및 IMDCT가 수행된 후, TDA가 발생하여 윈도우가 folding되는 위치를 의미한다. 즉, 본 발명의 실시예에 따르면, LPD_START_SEQUENCE(1401)의 오른쪽 윈도우는 MDCT 및 IMDCT가 수행되더라도, TDA가 발생하지 않으며, 이웃하는 프레임과 windowing 후 overlap-add되어 연결된다.

도 15는 본 발명의 실시예에 따른 CASE 3에 대한 윈도우 시퀀스의 처리 방법을 도시한 도면이다(제2예).

도 15에 도시된 LPD_SEQUENCE(1502~1505)는 도 14에 도시된 LPD_SEQUENCE(1402~1405)보다 오른쪽으로 128 point만큼 쉬프트(shift)되었다. 즉, 도 15에 도시된 LPD_SEQUENCE(1502~1505)는 LPD_SEQUENCE(1402~1405)와 달리 수정되지 않고 LPD_START_SEQUENCE(1501)과 폴딩 포인트를 중심으로 overlap-add될 수 있다. 또한, overlap-add되는 영역(1506)의 간격은 128-point로 영역(1406)보다 64-point만큼 간격이 증가하였다. 그리고, 도 15에 도시된 LPD_SEQUENCE(1502~1505) 도 13에 도시된 LPD_SEQUENCE(1302~1305)보다 오른쪽으로 64 point만큼 쉬프트(shift)되었다. 이 때, LPD_SEQUENCE(1505)의 lpd_mode가 {0,0,0,0}일 경우, LPD_SEQUENCE(1505)의 시작 서브 프레임의 lpd_mode는 1로 변경될 수 있다.

도 15에 따르면, Mode switching-1가 FP 모드인 AAC Mode에서 LPD Mode로 모드 스위칭하는 경우, AAC Mode의 윈도우 시퀀스인 LPD_START_SEQUENCE(1501)와 LPD Mode의 윈도우 시퀀스인 LPD_SEQUENCE(1502~1505)는 MDCT folding point를 기준으로 서로 연결된다. 즉. 도 15의 LPD_SEQUENCE(1502~1505)는 TDA 폴딩 포인트를 중심으로 LPD_START_SEQUENCE(1501)와 영역(1506)에서 overlap-add됨으로써 시간 도메인에서 발생되는 aliasing이 제거될 수 있다.

따라서, 도 15의 LPD_SEQUENCE(1502~1505)는 도 13의 LPD_SEQUENCE(1302~1305)보다 64 point만큼 오른쪽으로 쉬프트되어 overlap-add될 수 있다. 그리고, 도 15의 LPD_SEQUENCE(1502~1505)는 도 14의 LPD_SEQUENCE(1402~1405)보다 128 point만큼 오른쪽으로 쉬프트되어 overlap-add될 수 있다. 즉, 도 15의 윈도우 시퀀스를 적용하는 방법은 도 1의 Mode Switch-1가 FP 모드에서 LPD 모드로 모드 스위칭할 때마다 도 13의 윈도우 시퀀스를 적용하는 방법과 비교하여 64 point, 그리고, 도 14의 윈도우 시퀀스를 적용하는 방법과 비교하여 128 point만큼 향상된 코딩 이득(coding gain)을 얻을 수 있다.

따라서, CASE 3에 대해 본 발명의 일실시예에 따른 윈도우 시퀀스 처리 방법은 다음과 같다.

(1) FD Mode의 윈도우 시퀀스(LPD_START_SEQUENCE)와 LPD Mode의 윈도우 시퀀스(LPD_SEQUENCE)는 MDCT folding point를 중심으로 overlap-add될 수 있다.

(2) LPD_START_SEQUENCE에서 LPD_SEQUENCE와 연결되는 영역에 대응하는 윈도우가 folding point를 지나가도록 변형되어야 한다.

(3) LPD_SEQUENCE의 시작 위치는 MDCT folding point에 매칭될 수 있도록 도13과 도 14에 비해 각각 오른쪽으로 64, 128 point만큼 쉬프트되어야 한다.

(4) 예외적으로, ACELP 서브 프레임으로 시작하는 LPD_SEQUENCE는 ACELP 서브 프레임이 TCX20(lpd_mode={1})으로 대체될 수 있다.

도 16은 본 발명의 실시예에 따른 CASE 3에 대한 윈도우 시퀀스의 처리 방법을 도시한 도면이다(제3예).

도 16은 다음 프레임의 LPD_SEQUENCE의 lpd_mode에 따라 LPD_START_SEQUENCE에서 LPD_SEQUENCE와 overlap-add되는 영역의 윈도우가 변형되는 것을 나타낸다. 즉, LPD_START_SEQUENCE의 오른쪽 윈도우는 LPD_SEQUENCE의 lpd_mode에 따라 변형될 수 있다. 도 16에서, LPD_START_SEQUENCE의 오른쪽 윈도우가 라인(1601)인 경우, 도 16의 LPD_START_SEQUENCE는 LPD_START_SEQUENCE(1501)과 동일한 형태를 나타낸다.

만약, 다음 프레임에 대응하는 LPD_SEQUENCE의 lpd_mode={3,3,3,3}인 경우, 현재 프레임에 대응하는 LPD_START_SEQUENCE의 오른쪽 윈도우는 라인(1604)으로 변형될 수 있다. 그리고, LPD_START_SEQUENCE의 오른쪽 윈도우가 변형된 것에 대응하여 lpd_mode={3,3,3,3}인 LPD_SEQUENCE의 왼쪽 윈도우는 라인(1605)에서 라인(1606)으로 변형될 수 있다. 그러면, LPD_START_SEQUENCE와 LPD_SEQUENCE는 1024 point만큼 overlap-add될 수 있다.

만약, 다음 프레임에 대응하는 LPD_SEQUENCE의 lpd_mode= {2,2,x,x}인 경우, 현재 프레임에 대응하는 LPD_START_SEQUENCE의 오른쪽 윈도우는 라인(1603)으로 변형될 수 있다. 그리고, LPD_START_SEQUENCE의 오른쪽 윈도우가 변형된 것에 대응하여 lpd_mode= {2,2,x,x}인 LPD_SEQUENCE의 왼쪽 윈도우는 라인(1607)에서 라인(1608)으로 변형될 수 있다. 그러면, LPD_START_SEQUENCE와 LPD_SEQUENCE는 512 point만큼 overlap-add될 수 있다.

만약, 다음 프레임에 대응하는 LPD_SEQUENCE의 lpd_mode={1,x,x,x}인 경우, 현재 프레임에 대응하는 LPD_START_SEQUENCE의 오른쪽 윈도우는 라인(1602)으로 변형될 수 있다. 그리고, LPD_START_SEQUENCE의 오른쪽 윈도우가 변형된 것에 대응하여 lpd_mode={1,x,x,x}인 LPD_SEQUENCE의 왼쪽 윈도우는 라인(1609)에서 라인(1610)으로 변형될 수 있다. 그러면, LPD_START_SEQUENCE와 LPD_SEQUENCE는 1024 point만큼 overlap-add될 수 있다.

만약, 다음 프레임에 대응하는 LPD_SEQUENCE의 lpd_mode={0,x,x,x}인 경우, LPD_SEQUENCE의 시작 서브 프레임의 lpd_mode는 1로 대체될 수 있다. 그러면, 현재 프레임에 대응하는 LPD_START_SEQUENCE의 오른쪽 윈도우는 LPD_SEQUENCE의 lpd_mode={1,x,x,x}인 경우와 마찬가지로 라인(1602)으로 변형될 수 있다. 그리고, LPD_START_SEQUENCE의 오른쪽 윈도우가 변형된 것에 대응하여 lpd_mode={0,x,x,x}인 LPD_SEQUENCE의 왼쪽 윈도우는 라인(1611)에서 라인(1612)으로 변형될 수 있다. 그러면, LPD_START_SEQUENCE와 LPD_SEQUENCE는 512 point만큼 overlap-add될 수 있다.

도 17은 본 발명의 실시예에 따라 현재 서브 프레임에 대한 LPD_SEQUENCE의 lpd_mode가 3이고 다음 서브 프레임에 대한 LPD_SEQUENCE의 lpd_mode가 3인 경우 윈도우를 도시한 도면이다.

도 17에 의하면, 다음 서브 프레임에 대한 LPD_SEQUENCE의 lpd_mode가 3인 경우, 현재 서브 프레임에 대한 LPD_SEQUENCE의 오른쪽 윈도우는 라인(1701)에서 라인(1703)으로 변형된다. 그러면, 다음 서브 프레임에 대응하는 LPD_SEQUENCE의 왼쪽 윈도우는 라인(1702)에서 라인(1704)으로 변형된다. 결국, 도 17에 의하면, 폴딩 포인트를 중심으로 윈도우 시퀀스 간에 overlap-add되는 영역(1705)은 영역(1706)으로 확장된다.

도 18은 본 발명의 실시예에 따라 현재 서브 프레임에 대한 LPD_SEQUENCE의 lpd_mode가 2이고 다음 서브 프레임에 대한 LPD_SEQUENCE의 lpd_mode가 2인 경우 윈도우를 도시한 도면이다.

도 18에 의하면, 다음 서브 프레임에 대한 LPD_SEQUENCE의 lpd_mode가 2인 경우, 현재 서브 프레임에 대한 LPD_SEQUENCE의 오른쪽 윈도우는 라인(1801)에서 라인(1803)으로 변형된다. 그러면, 다음 서브 프레임에 대응하는 LPD_SEQUENCE의 왼쪽 윈도우는 라인(1802)에서 라인(1804)으로 변형된다. 결국, 도 18에 의하면, 폴딩 포인트를 중심으로 윈도우 시퀀스 간에 overlap-add되는 영역(1805)은 영역(1806)으로 확장된다.

도 19는 본 발명의 실시예에 따라 현재 서브 프레임에 대한 LPD_SEQUENCE의 lpd_mode가 1이고 다음 서브 프레임에 대한 LPD_SEQUENCE의 lpd_mode가 1인 경우 윈도우를 도시한 도면이다.

도 19에 의하면, 다음 서브 프레임에 대한 LPD_SEQUENCE의 lpd_mode가 1인 경우, 현재 서브 프레임에 대한 LPD_SEQUENCE의 오른쪽 윈도우는 라인(1901)에서 라인(1903)으로 변형된다. 그러면, 다음 서브 프레임에 대응하는 LPD_SEQUENCE의 왼쪽 윈도우는 라인(1902)에서 라인(1904)으로 변형된다. 결국, 도 19에 의하면, 폴딩 포인트를 중심으로 윈도우 시퀀스 간에 overlap-add되는 영역(1905)은 영역(1906)으로 확장된다.

도 20은 종래의 CASE 4에 대한 윈도우 시퀀스의 처리 방법을 도시한 도면이다.

도 20을 참고하면, LPD_SEQUENCE(2101~2104)는 TDA가 발생하지 않은 구간에 대해 FD 모드인 AAC 모드의 윈도우 시퀀스(2005)와 영역(2006)에 대해 overlap하고, 인위적인 TDA가 LPD_SEQUENCE(2101~2104)의 영역(2006)에 생성되어 LPD_SEQUENCE(2101~2104)는 윈도우 시퀀스(2005)와 add 될 수 있다.

도 21은 본 발명의 실시예에 따른 CASE 4에 대한 윈도우 시퀀스의 처리 방법을 도시한 도면이다(제1예).

도 21은 CASE 4와 같이 도 1의 Mode Switch-1이 LPD MODE에서 FD MODE로 모드 스위칭하는 경우, Block switching-1에서 처리하는 윈도우 시퀀스를 도시한다. 도 21에서 볼 수 있듯이, Block_switching-1은 TDA가 발생하는 영역(2106)에서 폴딩 포인트를 중심으로 LPD MODE에 대응하는 LPD_SEQUENCE(2101~2103)와 FD MODE에 대응하는 윈도우 시퀀스(2104)를 overlap-add를 수행하여 aliasing을 제거(cancellation)할 수 있다.

도 22는 본 발명의 실시예에 따른 CASE 4에 대한 윈도우 시퀀스의 처리 방법을 도시한 도면이다(제2예).

도 22를 참고하면, 현재 프레임에 대응하는STOP_1024_SEQUENCE의 왼쪽 윈도우는 이전 프레임의 LPD_SEQUENCE의 lpd_mode에 따라 변형된다. 예를 들어, 이전 프레임의 LPD_SEQUENCE의 lpd_mode={3,3,3,3}인 경우, 현재 프레임에 대응하는 STOP_1024_SEQUENCE의 왼쪽 윈도우는 라인(2207)으로 변형된다. 그리고, 이전 프레임의 LPD_SEQUENCE의 lpd_mode={2,2,2,2}인 경우, 현재 프레임에 대응하는 STOP_1024_SEQUENCE의 왼쪽 윈도우는 라인(2208)으로 변형된다. 또한, 이전 프레임의 LPD_SEQUENCE의 lpd_mode={1,1,1,1}인 경우, 현재 프레임에 대응하는 STOP_1024_SEQUENCE의 왼쪽 윈도우는 라인(2209)으로 변형된다. 라인(2210)은 도 21의 STOP_1024_SEQUENCE의 왼쪽 윈도우를 나타낸다.

이 후, STOP_1024_SEQUENCE의 왼쪽 윈도우가 변형되는 것에 대응하여 LPD_SEQUENCE의 오른쪽 윈도우도 변형된다. 즉, STOP_1024_SEQUENCE의 왼쪽 윈도우가 라인(2207)으로 변형되는 경우, LPD_SEQUENCE의 오른쪽 윈도우는 라인(2201)에서 라인(2202)으로 변형된다. 또한, STOP_1024_SEQUENCE의 왼쪽 윈도우가 라인(2208)으로 변형되는 경우, LPD_SEQUENCE의 오른쪽 윈도우는 라인(2203)에서 라인(2204)으로 변형된다. 그리고, STOP_1024_SEQUENCE의 왼쪽 윈도우가 라인(2209)으로 변형되는 경우, LPD_SEQUENCE의 오른쪽 윈도우는 라인(2205)에서 라인(2206)으로 변형된다.

그러면, 변형된 LPD_SEQUENCE와 변형된 STOP_1024_LPD_SEQUENCE는 폴딩포인트를 중심으로 overlap-add될 수 있다.

도 23은 본 발명의 실시예에 따른 CASE 4에 대한 윈도우 시퀀스의 처리 방법을 도시한 도면이다(제3예).

도 23에서, FD MODE에 대응하는 윈도우 시퀀스는 STOP_1024_SEQUENCE(2305)이다. 도 23을 참고하면, LPD_SEQUENCE(2301~2304)의 오른쪽 윈도우는 라인(2307~2310)으로 변형된다. 그러면, 도 1의 Mode Switching-1은 256-point 만큼의 영역(2306)에서 LPD_SEQUENCE(2301~2304)와 STOP_1024_SEQUENCE(2305) 간에 overlap add를 수행한다. 그리고, LPD_SEQUENCE(2304)와 같이 마지막 서브 프레임의 lpd_mode=0인 경우, LPD_SEQUENCE(2304)의 마지막 서브 프레임의 lpd_mode=1로 변경될 수 있다.

도 23에서 볼 수 있듯이, LPD_SEQUENCE(2301~2304)와 STOP_1024_SEQUENCE(2305)는 폴딩 포인트를 중심으로 overlap-add된다. 그리고, FD 모드에 대응하는 STOP_1024_SEQUENCE(2305)를 처리하기 위한 블록 사이즈가 2304가 아닌 2048이다.

도 22과 도 23에 의하면, LPD_SEQUENCE와 연결되는 FD 모드의 윈도우 시퀀스는 블록 사이즈가 2048- MDCT를 수행할 수 있도록 변경될 수 있다. 따라서, 도 20과 같이, LPD SEQUENCE와 연결되는 FD 모드의 윈도우 시퀀스는 2304-MDCT를 수행할 필요없다. 다시 말해서, 본 발명의 일실시예에 따르면, LPD 모드에서 FD 모드로 변경되더라도, 도 3에 도시된 'STOP_1152_SEQUENCE'와 'STOP_START_WINDOW_1152'와 같이 2304 크기의 블록 사이즈를 갖는 FD 모드의 윈도우 시퀀스가 필요하지 않는다. 따라서, 모드 스위칭시 블록 사이즈가 다른 윈도우 시퀀스가 요구되지 않아, 부호화 효율이 향상될 수 있다.

따라서, CASE 4에 대해 본 발명의 일실시예에 따른 윈도우 시퀀스 처리 방법은 다음과 같다.

(1) FD Mode의 윈도우 시퀀스와 LPD Mode의 윈도우 시퀀스(LPD_SEQUENCE)는 MDCT folding point를 중심으로 overlap-add될 수 있다.

(2) LPD_SQUENCE와 연결되는 FD 모드의 윈도우 시퀀스는 LPD_SEQUENCE의 마지막 윈도우의 lpd_mode에 따라 변형될 수 있다.

(3) LPD_SEQUENCE와 연결되는 FD 모드의 윈도우 시퀀스에 대한 블록 사이즈는, 즉 MDCT transform 사이즈는, 모두 2048이므로, 2304와 같은 블록이 요구되지 않는다.

본 발명의 일실시예에 따른 복호화기는 부호화기에서 적용한 윈도우 시퀀스를 overlap-add에 동일하게 적용하여 aliasing이 제거된 출력 신호를 얻을 수 있다.

도 24는 본 발명의 실시예에 따른 도 22의 윈도우 시퀀스를 반영한 STOP_1024_SEQUENCE를 도시한 도면이다.

도 24를 참고하면, 이전 프레임의 AAC 모드의 윈도우 시퀀스의 왼쪽 윈도우는 LPD 모드에 따라 각각 라인(2401~2403)으로 변형된다. 라인(2404)은 AAC 모드의 윈도우 시퀀스(2105)인 경우를 의미한다.

본 발명의 일실시예에 따르면, MDCT 계수가 1024이기 때문에, 도 24의 윈도우 시퀀스는 'STOP_1024_SEQUENCE'로 정의되었다. 반면에, 도 3의 RM에 정의되어 있는 윈도우 시퀀스는 블록 사이즈가 2304(MDCT 계수가 1152)이므로, 도 3의 윈도우 시퀀스는 'STOP_1152_SEQUENCE'로 정의되었다.

도 25는 본 발명의 실시예에 따른 도 16 및 도 24의 윈도우 시퀀스를 적용한 결과를 도시한 도면이다.

도 25를 참고하면, 본 발명의 일실시예에 따른, LPD_START_SEQUENCE와 LPD_SEQUENCE 및 STOP_1024_SEQUENCE가 도시되어 있다. 즉, 도 25에 도시된 윈도우 시퀀스는 Mode Switch-1에서 FD MODE->LPD MODE->FD MODE로 모드 스위칭되었을 때, 처리되는 윈도우 시퀀스를 의미한다.

도 25를 참고하면, LPD_START_SEQUENCE의 오른쪽 윈도우와 STOP_1024_SEQUENCE의 왼쪽 윈도우는 LPD_SEQUENCE에 따라 변형된다. 그리고, LPD_SEQUENCE에 따라 LPD_START_SEQUENCE 및 STOP_1024_SEQUENCE 각각에 대해 overlap-add되는 영역의 간격이 달라진다.

도 26은 본 발명의 실시예에 따라 ACELP에서 FD로 변환될 때 윈도우 형태를 도시한 도면이다.

이전 프레임에 대응하는 LPD_SEQUENCE의 lpd_mode={x,x,x,0}인 경우, 즉, 이전 프레임의 종료 서브 프레임이 ACELP인 경우, 도 26과 같이 LPD_SEQUENCE의 종료 서브 프레임의 윈도우가 라인(2601)에서 라인(2602)으로 변형된다. 그러면, 도 26에 도시된 이전 프레임에 대응하는 LPD_SEQUENCE와 현재 프레임의 윈도우 시퀀스는 overlap-add 된 후 cross folding된다. 여기서 lpd_mode={x, x, x, 0}인 윈도우 시퀀스는 복호화기만으로 처리가 될 수 있다. 왜냐하면, 이는 ACELP 신호는 TDA가 없는 time-domain신호이기 때문이다.

도 27은 본 발명의 실시예에 따라 현재 프레임의 LPD 모드와 다음 프레임의 LPD 모드에 따른 윈도우 시퀀스와 LPC 추출 위치를 도시한 도면이다.

다음 프레임의 LPD_SEQUENCE(2702~2704)의 lpd_mode에 따라 현재 프레임의LPD_SEQUENCE의 오른쪽 윈도우는 변형된다. 도 27에서, 현재 프레임의 LPD_SEQUENCE의 lpd_mode-{3,3,3,3}이다.

도 27에서 볼 수 있듯이, 다음 프레임에서 lpd_mode{3,3,3,3}인 LPD_SEQUENCE(2704)가 연결되는 경우, 현재 프레임에서 LPD_SEQUENCE의 오른쪽 윈도우는 라인(2703)으로 변형된다. 그리고, 다음 프레임에서 lpd_mode{2,2,2,2}인 LPD_SEQUENCE(2705)가 연결되는 경우, 현재 프레임에서 LPD_SEQUENCE의 오른쪽 윈도우는 라인(2702)으로 변형된다. 또한, 다음 프레임에서 lpd_mode{1,1,1,1}인 LPD_SEQUENCE(2706)가 연결되는 경우, 현재 프레임에서 LPD_SEQUENCE의 오른쪽 윈도우는 라인(2701)로 변형된다.

즉, 본 발명의 일실시예에 따르면, LPD MODE에서 LPD MODE로 모드가 변경될 때, 현재 프레임의 LPD_SEQUENCE는 다음 프레임의 LPD_SEQUENCE의 lpd_mode에 따라 변형될 수 있다. 그러면, 현재 프레임에서 변형된 LPD_SEQUENCE는 다음 프레임의 LPD_SEQUENCE와 overlap-add될 수 있다.

도 27에서, 선형예측계수(Linear Prediction Coefficient: LPC)는 256 point의 서브 프레임 단위로 추출된다. 본 발명의 일실시예에 따르면, 윈도우 시퀀스 간에 overlap-add되는 폴딩 포인트는 서브 프레임의 경계에 위치한다. 그러면, LPC도 폴딩 포인트를 시작점으로 설정하여 256point의 서브 프레임 단위로 추출될 수 있다. 현재 프레임의 LPD_SEQUENCE에 대한 LPC 추출 위치는 서브 프레임(2707~2703)에 해당한다. 즉, 본 발명의 일실시예에 따르면, LPC는 폴딩 포인트를 시작점으로 하여 서브 프레임의 경계에 매칭되어 추출될 수 있다. LPC(n)(2707)와 LPC(n+3)(2710)는 해당 서브 프레임 이외에 전체 프레임 중 나머지 영역까지 LPC를 추출할 수 있다.

도 28은 종래의 LPC 추출 위치와 본 발명의 실시예에 따른 LPC 추출 위치를 비교한 도면이다.

도 28(a)는 종래의 LPC 추출 위치를 나타내고, 도 28(b)는 본 발명의 실시예에 따른 LPC 추출 위치를 나타낸다. 도 28(a)에 의하면, LPC는 폴딩 포인트와 상관없이 서브 프레임의 경계로부터 64-point떨어진 위치인 LPC 추출 위치(2803~2806)에서 추출된다. 그리고, 도 28(a)를 참고하면, 윈도우 간 overlap-add되는 영역은 128-point임을 알 수 있다.

도 28(b)에 의하면, LPC는 서브 프레임의 경계에 위치하는 폴딩 포인트를 시작점으로 하여, 서브 프레임에 대응하는 LPC 추출 위치(2803~2806)에서 추출된다. 그리고, 도 28(b)를 참고하면, 윈도우 간 overlap-add되는 영역은 256-point임을 알 수 있다. 따라서, 본 발명에 의하면, LPC 추출을 위한 추가적인 64-point만큼의 정보가 요구되지 않는다.

도 29는 LPD 모드에서 lpd_mode={1, 0, 1, 1}일 경우, 본 발명의 실시예에 따른 윈도우 시퀀스를 도시한 도면이다.

도 29을 참고하면, 첫 번째 서브 프레임에서 ACELP 모드인 경우, 첫 번째 서브 프레임에 대응하는 윈도우(2901)와 두 번째 서브 프레임에 대응하는 윈도우(2902)는 서로 overlap되지 않는다. 다만, 윈도우(2902)의 오른쪽은 세 번째 서브 프레임에 대응하는 윈도우(2903)의 lpd_mode에 따라 결정된다.

그리고, 마지막 서브 프레임 다음에 나타나는 윈도우의 lpd_mode가 ACELP(lpd_mode=0)일 때, 윈도우(2904)는 도 3의 RM에 정의된 윈도우가 적용된다. 반대로, 마지막 서브 프레임 다음에 나타나는 윈도우의 lpd_mode가 ACELP 모드(lpd_mode=0)가 아니면, 윈도우(2904)의 오른쪽은 256만큼 overlap될 수 있도록 변형될 수 있다.

도 30은 LPD 모드에서 lpd_mode={1, 0, 2, 2}일 경우, 본 발명의 실시예에 따른 윈도우 시퀀스를 도시한 도면이다.

lpd_mode=0인 ACELP가 이전 서브 프레임 또는 다음 서브 프레임에서 발생하는 경우, lpd_mode=1, lpd_mode=2 또는 lpd_mode=3인 현재 서브 프레임에 대응하는 윈도우(3002)의 연결 부분의 형태는 표 1과 동일하다.

그리고, 이전 서브 프레임에 대응하는 윈도우(3001)의 lpd_mode=0(ACELP)이고, 다음 서브 프레임의 lpd_mode=1, lpd_mode=2 또는 lpd_mode=3인 경우, 현재 서브 프레임에 대응하는 윈도우(3002)의 오른쪽은 다음 서브 프레임의 lpd_mode에 따라 변형될 수 있다. 그리고, 윈도우(3002)의 왼쪽은 직각 형태가 되어 이전 서브 프레임에 대응하는 윈도우(3001)와 overlap되지 않는다.

도 31은 현재 프레임의 lpd_mode={3, 3, 3, 3}이고 이전 프레임의 lpd_mode={x, x, x, 0}인 경우, 본 발명의 실시예에 따른 윈도우 시퀀스를 도시한 도면이다.

도 31도 도 29 및 도 30과 마찬가지로, 이전 프레임에 대응하는 윈도우(3102)의 lpd_mode=0일 때, 현재 프레임에 대응하는 윈도우(3101)의 형태를 도시한다. 여기서, 현재 프레임에 대응하는 윈도우(3101)의 lpd_mode={3,3,3,3}이다. 윈도우(3101)의 오른쪽은 다음 프레임의 윈도우에 대한 lpd_mode에 따라 변형될 수 있다. 도 31에서, TCX 1024는 다음 프레임에 대응하는 윈도우의 lpd_mode=3인 경우를 의미하고, TCX 512는 다음 프레임에 대응하는 윈도우의 lpd_mode=2인 경우를 의미한다. 그리고, ACELP는 다음 프레임에 대응하는 윈도우의 lpd_mode=0인 경우를 의미한다.

도 32는 본 발명의 실시예에 따라 현재 서브 프레임의 (a) lpd_mode=1(TCX 256), (b) lpd_mode=2(TCX 512) 또는 (c) lpd_mode=3(TCX 1024)인 경우, 이전 서브 프레임 및 다음 서브 프레임의 lpd_mode=0(ACELP)에 따른 윈도우 시퀀스를 도시한 도면이다.

도 32(a)를 참고하면, 현재 프레임의 lpd_mode=1(TCX256)이고, 다음 프레임에 대응하는 윈도우가 ACELP인 경우, 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3203)이 된다. 만약, 이전 프레임의 lpd_mode=1이고, 다음 프레임에 대응하는 윈도우가 lpd_mode=1인 경우, 현재 프레임에 대응하는 윈도우의 왼쪽은 라인(3202)이고, 오른쪽은 라인(3201)이 된다. 다만, 이전 프레임의 lpd_mode=0(ACELP)인 경우, 현재 프레임에 대응하는 윈도우는 도 29의 윈도우(2902)의 형태를 나타낸다.

이 때, 도 29에서 볼 수 있듯이, 다음 윈도우가 lpd_mode=1인 경우, 윈도우(2902)의 오른쪽은 실선으로 처리되고, 다음 윈도우가 lpd_mode=0인 경우, 윈도우(2902)의 오른쪽은 점선으로 처리될 수 있다.

도 32(b)를 참고하면, 현재 프레임의 lpd_mode=2(TCX512)이고, 다음 프레임에 대응하는 윈도우가 ACELP인 경우, 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3204)이 된다. 만약, 이전 프레임의 lpd_mode=1인 경우, 현재 프레임에 대응하는 윈도우의 왼쪽은 라인(3207)이 된다. 또한, 다음 프레임의 lpd_mode=1인 경우, 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3205)이 된다.

만약, 이전 프레임의 lpd_mode=2인 경우, 현재 프레임에 대응하는 윈도우의 왼쪽은 라인(3208)이 된다. 또한, 다음 프레임의 lpd_mode=2인 경우, 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3206)이 된다.

다만, 이전 프레임의 lpd_mode=0(ACELP)인 경우, 현재 프레임에 대응하는 윈도우는 도 30의 윈도우(3002)의 형태를 나타낸다. 이 때, 도 30에서 볼 수 있듯이, 윈도우(3002)의 오른쪽은 다음 윈도우의 lpd_mode에 따라 형태가 변경되는 것을 알 수 있다.

그리고, 현재 프레임의 lpd_mode가 1 또는 2인 경우, 다음 프레임의 lpd_mode가 현재 프레임의 lpd_mode보다 크다면, 현재 프레임에 대응하는 윈도우는 다음 프레임의 lpd_mode에 매칭되도록 변형될 수 있다.

예를 들어, 현재 프레임의 lpd_mode가 1이고, 다음 프레임의 lpd_mode가 2인 경우, 도 32에서 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3201)이 된다. 그리고, 현재 프레임의 lpd_mode가 2이고, 다음 프레임의 lpd_mode가 3인 경우, 도 32에서 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3204)이 된다.

도 32(c)를 참고하면, 현재 프레임의 lpd_mode=3(TCX1024)이고, 다음 프레임에 대응하는 윈도우가 ACELP인 경우, 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3209)이 된다. 만약, 이전 프레임의 lpd_mode=1인 경우, 현재 프레임에 대응하는 윈도우의 왼쪽은 라인(3213)이 된다. 또한, 다음 프레임의 lpd_mode=1인 경우, 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3210)이 된다.

만약, 이전 프레임의 lpd_mode=2인 경우, 현재 프레임에 대응하는 윈도우의 왼쪽은 라인(3214)이 된다. 또한, 다음 프레임의 lpd_mode=2인 경우, 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3211)이 된다.

만약, 이전 프레임의 lpd_mode=3인 경우, 현재 프레임에 대응하는 윈도우의 왼쪽은 라인(3215)이 된다. 또한, 다음 프레임의 lpd_mode=3인 경우, 현재 프레임에 대응하는 윈도우의 오른쪽은 라인(3212)이 된다.

다만, 이전 프레임의 lpd_mode=0(ACELP)인 경우, 현재 프레임에 대응하는 윈도우는 도 31의 윈도우(3101)의 형태를 나타낸다. 이 때, 도 31에서 볼 수 있듯이, 윈도우(3101)의 오른쪽은 다음 프레임의 lpd_mode에 따라 형태가 변경되는 것을 알 수 있다.

결론적으로, 도 32에 도시된 현재 프레임에 대응하는 윈도우는 중심선을 기준으로 왼쪽은 이전 프레임의 lpd_mode에 따라 변경되고, 오른쪽은 다음 프레임의 lpd_mode에 따라 변경될 수 있다.

도 33은 현재 서브 프레임의 lpd_mode가 1(TCX 256)이고, 이전 서브 프레임의 lpd_mode가 0일 때, 본 발명의 실시예에 따른 윈도우 시퀀스를 도시한 도면이다.

도 33에 의하면, ACELP 모드가 현재 프레임의 이전 프레임과 다음 프레임이 나타나더라도, 현재 프레임에 대한 윈도우는 모양만 달리할 수 있다. 예를 들어, 현재 프레임의 lpd_mode=1(TCX256)이고, 이전 프레임이 ACELP 모드인 경우, 현재 프레임에 대응하는 윈도우(3301)의 왼쪽은 직각 형태가 될 수 있다. 그리고, 현재 프레임에 대응하는 윈도우(3301)의 오른쪽은 다음 프레임의 lpd_mode(TCX256, TCX512, TCX1024)에 따라 변형될 수 있다.

도 34는 현재 서브 프레임의 lpd_mode가 2(TCX 512)이고, 이전 서브 프레임의 lpd_mode가 0일 때, 본 발명의 실시예에 따른 윈도우 시퀀스를 도시한 도면이다.

도 34에 의하면, ACELP 모드가 현재 프레임의 이전 프레임과 다음 프레임이 나타나더라도, 현재 프레임에 대한 윈도우는 모양만 달리할 수 있다. 예를 들어, 현재 프레임의 lpd_mode=2(TCX512)이고, 이전 프레임이 ACELP 모드인 경우, 현재 프레임에 대응하는 윈도우(3401)의 왼쪽은 직각 형태가 될 수 있다. 그리고, 현재 프레임에 대응하는 윈도우(3401)의 오른쪽은 다음 프레임의 lpd_mode(TCX512, TCX1024)에 따라 변형될 수 있다.

도 35는 현재 서브 프레임의 lpd_mode가 3(TCX 1024)이고, 이전 서브 프레임의 lpd_mode가 0일 때, 본 발명의 실시예에 따른 윈도우 시퀀스를 도시한 도면이다.

도 35에 의하면, ACELP 모드가 현재 프레임의 이전 프레임과 다음 프레임이 나타나더라도, 현재 프레임에 대한 윈도우는 모양만 달리할 수 있다. 예를 들어, 현재 프레임의 lpd_mode=3(TCX1024)이고, 이전 프레임이 ACELP 모드인 경우, 현재 프레임에 대응하는 윈도우(3501)의 왼쪽은 직각 형태가 될 수 있다. 그리고, 현재 프레임에 대응하는 윈도우(3501)의 오른쪽은 다음 프레임의 lpd_mode(TCX256, TCX512, TCX1024)에 따라 변형될 수 있다.

도 36은 도 33 내지 도 35의 윈도우 시퀀스를 결합한 결과를 도시한 도면이다.

도 36(a)는 현재 프레임의 lpd_mode가 1인 경우, 도 36(b)는 현재 프레임의 lpd_mode가 2인 경우, 도 36(c)는 현재 프레임의 lpd_mode가 3인 경우를 나타낸다. 이 때, 도 36은 현재 프레임에 대응하는 윈도우의 왼쪽이 이전 프레임의 lpd_mode에 따라 결정되는 경우와 현재 프레임에 대응하는 윈도우의 오른쪽이 다음 프레임의 lpd_mode에 따라 결정되는 경우를 도시한다.

도 37은 본 발명의 실시예에 따라 모드 스위칭시 윈도우 시퀀스를 도시한 도면이다.

도 1의 Mode Switch-1은 입력 신호의 프레임에 따라 (a) FD와 FD간, (b)LPD에서 FD로, (c)FD에서 LPD로 모드를 스위칭할 수 있다. 그리고, 도 2의 Mode Switch-2는 입력 신호의 서브 프레임에 따라 LPD 모드와 LPD 모드 간 모드 스위칭을 할 수 있다. 이 때, LPD 모드가 0이면, LPD 모드는 ACELP이고, LPD 모드가 0이 아닌 경우, LPD 모드는 wLPT 또는 TCX 일 수 있다.

도 37은 Mode Switch-1과 Mode Switch-2에서 모드 스위칭이 발생하는 경우, Block-Switching-1과 Block Switching-2에서 처리하는 윈도우 시퀀스를 도시한다. 도 37에 따르면, 폴딩 포인트는 서브 프레임의 경계에 위치하고, 프레임의 크기는 1024임을 알 수 있다. 도 37의 경우, 본 발명의 원리를 간략하게 정리하기 위해서, 윈도우 간 overlap-add되는 영역의 간격은 128-point만을 표현하였다.

도 38은 본 발명의 실시예에 따라 도 3의 LPD_START_SEQUENCE 및 STOP_1152_SEQUENCE가 변형된 결과를 도시한 도면이다.

도 38(a)는 도 3의 LPD_START_SEQUENCE가 변형된 형태로, MDCT transform size는 1024이다. 도 38(a)에서, LPD_START_SEQUENCE는 도 16과 동일하며, 다음에 나타나는 LPD_SEQUENCE의 lpd_mode에 따라 LPD_START_SEQUENCE의 오른쪽은 라인(3802~3804)으로 변형된다. 라인(3801)은 LPD_SEQUENCE와의 overlap-add되는 영역의 간격이 128point임을 나타내며, 이는 도 37의 FD to wLPT(또는 TCX)인 경우의 윈도우 시퀀스와 동일하다.

도 38(b)는 도 3의 STOP_1024_SEQUENCE가 변형된 형태로, MDCT transform size는 1024이다. 참고로, 도 3에서는 MDCT의 크기가 1152이므로, 윈도우 시퀀스도 "STOP_1152_SEQUENCE"로 정의되었다. 도 38(b)에서, STOP_1024_SEQUENCE는 도 24과 동일하며, 다음에 나타나는 LPD_SEQUENCE의 lpd_mode에 따라 LPD_START_SEQUENCE의 오른쪽은 라인(3805~3807)으로 변형된다. 라인(3808)은 LPD_SEQUENCE와의 overlap-add되는 영역의 간격이 128point임을 나타내며, 이는 도 37의 wLPT(또는 TCX) or FD인 경우의 윈도우 시퀀스와 동일하다.

도 39는 종래의 방법에 따라 모드 스위칭시 윈도우 시퀀스를 도시한 도면이다.

도 37과 비교해 볼 때, FD 모드에서 LPD 모드로 모드 스위칭시, 64 point만큼 time-domain overlap-add로 인하여, 전반적으로 프레임 alignment 가 어긋나 있다. 또한 wLPC(TCX) to FD 변환 시에도, FD 모드의 window size가 2304(코딩계수 1152)로 본 발명에서 제안하는 window size 2048(코딩계수 1024)보다 64 point만큼 코딩효율이 떨어지고 있음을 확인할 수 있다.

이상으로, 설명한 본 발명을 정리하면 다음과 같다.

본 발명은 이종의 부호화/복호화 모드를 갖는 통합 오디오/음성 부호화/복호화기에서 프레임 또는 서브 프레임에 대응하는 윈도우 형태 및 이들의 연결 형태인 윈도우 시퀀스를 처리하는 방법에 관한 것이다. 본 발명의 일실시예에 따르면, 다음과 같은 코딩 이득을 기대할 수 있다.

(1) 종래의 방법

-FD 프레임과 LPD 프레임의 연결방법은 64 point time domain overlap 방법을 사용한다. 따라서 64 point만큼의 잉여정보가 필요하다.

(2) 본 발명의 방법

-FD 프레임과 LPD 프레임의 연결방법은 folding point를 기준으로 동일한 윈도우 형태의 complement한 형태로 overlap-add된다. 따라서, 종래의 방법보다 모드 스위칭시 64 point만큼의 코딩 이득이 있다.

<LPD-FD>

(1) 종래의 방법

-FD 프레임과 LPD 프레임의 연결방법은 LPD 프레임에서 TDA가 발생하지 않는 구간을 인위적으로 TDA를 발생시키고, 128 point FD TDA영역과 overlap 방법을 사용한다. 그리고, FD-LPD에서 손실되었던 64 point data rate을 맞추기 위하여 STOP_1152_Window를 사용한다. 즉, MDCT transform size가 2304이다. 이러한 mdct는 2th order가 아니며, 구현이 용이하지 않다.

(2) 본 발명의 방법

-LPD 프레임에서 발생하는 TDA 영역과 FD의 TDA영역을 연결 overlap하는 방법이다.

-FD 프레임의 윈도우는 STOP_1024_window로 명명할 수 있으며, MDCT transform size가 2048이다. 즉, transform 사이즈를 줄일 수 있으며, 2th order size로 맞출 수 있다. 이는 종래의 방법보다 코딩의 복잡도를 줄일 수 있으며, targeting하는 coding coefficient의 개수도 줄어들어 코딩효율을 높일 수 있다. (1152 - 1024)

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

도 2는 MDCT기반의 TDAC를 설명하기 위한 도면이다.

도 4는 윈도우 시퀀스(CASE 1: ONLY_LONG_SEQUENCE to LPD_START_SEQUENCE)를 도시한 도면이다.

도 8은 타입별 LPD_SEQUENCE의 윈도우 형태를 도시한 도면이다.

도 20은 종래의 CASE 4에 대한 윈도우 시퀀스의 처리 방법을 도시한 도면이 다.

도 37은 본 발명의 실시예에 따라 모드 스위칭시 윈도우 시퀀스를 도시한 도 면이다.

Claims

통합 음성/오디오 부호화기(USAC)에 있어서,

입력 신호의 프레임을 구성하는 서브 프레임에 대해 LPD 모드(Linear Prediction Domain Mode) 간 스위칭하는 모드 스위칭부; 및

상기 서브 프레임 중 부호화하고자 하는 현재 서브 프레임에 상기 스위칭된 LPD 모드에 기초한 윈도우를 적용하여 상기 입력 신호를 부호화하는 부호화부

를 포함하고,

상기 부호화부는,

이전 서브 프레임의 LPD 모드와 다음 서브 프레임의 LPD 모드에 따라 변형되는 윈도우를 상기 현재 서브 프레임에 적용하여 상기 입력 신호를 부호화하는 것을 특징으로 하는 통합 음성/오디오 부호화기.
제1항에 있어서,

상기 부호화부는,

상기 현재 서브 프레임의 LPD 모드가 1이고, 상기 이전 서브 프레임 또는 상기 다음 서브 프레임의 LPD 모드가 0이 아닌 경우, 상기 이전 서브 프레임 또는 상기 다음 서브 프레임과 오버랩 애드(overlap-add)되는 영역의 간격이 256인 상기 현재 서브 프레임에 적용되는 윈도우를 이용하여 부호화하는 것을 특징으로 하는 통합 음성/오디오 부호화기.
제1항에 있어서,

상기 부호화부는,

상기 현재 서브 프레임의 LPD 모드가 2이고, 상기 이전 서브 프레임 또는 상기 다음 서브 프레임의 LPD 모드가 0이 아닌 경우, 상기 이전 서브 프레임 또는 상기 다음 서브 프레임과 오버랩 애드(overlap-add)되는 영역의 간격이 512인 상기 현재 서브 프레임에 적용되는 윈도우를 이용하여 부호화하는 것을 특징으로 하는 통합 음성/오디오 부호화기.
제1항에 있어서,

상기 부호화부는,

상기 현재 서브 프레임의 LPD 모드가 3이고, 상기 이전 서브 프레임 또는 상기 다음 서브 프레임의 LPD 모드가 0이 아닌 경우, 상기 이전 서브 프레임 또는 상기 다음 서브 프레임과 오버랩 애드(overlap-add)되는 영역의 간격이 1024인 상기 현재 서브 프레임에 적용되는 윈도우를 이용하여 부호화하는 것을 특징으로 하는 통합 음성/오디오 부호화기.
제2항 내지 제4항 중 어느 한 항에 있어서,

상기 부호화부는,

상기 이전 서브 프레임의 LPD 모드가 0인 경우, 상기 현재 서브 프레임에 적 용되는 윈도우의 왼쪽 부분을 1의 값을 갖는 직각 형태로 처리하고,

상기 다음 서브 프레임의 LPD 모드가 0인 경우, 상기 현재 서브 프레임에 적용되는 윈도우의 오른쪽 부분을 1의 값을 갖는 직각 형태로 처리하는 것을 특징으로 하는 통합 음성/오디오 부호화기.
제1항에 있어서,

상기 현재 서브 프레임에 적용되는 윈도우는,

상기 이전 서브 프레임 또는 다음 서브 프레임과 오버랩 애드되는 영역이 256인 윈도우인 것을 특징으로 하는 통합 음성/오디오 부호화기.
삭제
삭제
제1항에 있어서,

상기 부호화부는,

상기 서브 프레임의 경계에 존재하는 폴딩 포인트를 중심으로 서브 프레임 간 오버랩 애드를 수행하는 것을 특징으로 하는 통합 음성/오디오 부호화기.
통합 음성/오디오 부호화기(USAC)에 있어서,

입력 신호의 프레임에 대해 FD 모드(Frequency Domain Mode)에서 LPD 모드(Linear Prediction Domain Mode)로 스위칭하는 모드 스위칭부; 및

상기 FD 모드의 윈도우 시퀀스와 상기 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 부호화하는 부호화부

를 포함하는 통합 음성/오디오 부호화기.
제10항에 있어서,

상기 부호화부는,

상기 LPD 모드의 윈도우 시퀀스 중 시작 서브 프레임의 LPD 모드가 0인 경우, 상기 시작 서브 프레임에 대응하는 윈도우를 LPD 모드가 1에 대응하는 윈도우로 대체하는 것을 특징으로 하는 통합 음성/오디오 부호화기.
제10항에 있어서,

상기 부호화부는,

상기 LPD 모드의 윈도우 시퀀스를 상기 FD 모드의 윈도우 시퀀스와 폴딩 포인트를 기준으로 오버랩 애드될 수 있도록 쉬프팅하는 통합 음성/오디오 부호화기.
제10항에 있어서,

상기 부호화부는,

상기 FD 모드의 윈도우 시퀀스를 상기 LPD 모드의 윈도우 시퀀스에 따라 오버랩 애드(overlap-add)되는 영역의 간격이 256이 되도록 변형하는 통합 음성/오디오 부호화기.
제10항에 있어서,

상기 부호화부는,

입력 신호의 프레임을 구성하는 서브 프레임의 경계에 위치하는 폴딩 포인트를 중심으로 윈도우 시퀀스 간에 오버랩 애드를 수행하고, 상기 폴딩 포인트를 시작점으로 설정하여 서브 프레임 단위에 따라 LPC(Linear Prediction Coefficient)를 추출하는 것을 특징으로 하는 통합 음성/오디오 부호화기.
통합 음성/오디오 부호화기(USAC)에 있어서,

입력 신호의 프레임에 대해 LPD 모드에서 FD 모드로 스위칭하는 모드 스위칭부; 및

상기 FD 모드의 윈도우 시퀀스와 상기 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 부호화하는 부호화부

를 포함하는 통합 음성/오디오 부호화기.
제15항에 있어서,

상기 부호화부는,

LPD 모드에 따라 FD 모드의 윈도우 시퀀스 형태를 오버랩 애드(overlap-add)되는 영역의 간격이 256이 되도록 변형하는 통합 음성/오디오 부호화기.
제15항에 있어서,

상기 부호화부는,

LPD 모드의 윈도우 시퀀스와 FD 모드의 윈도우 시퀀스를 256 포인트만큼 오버랩하는 통합 음성/오디오 부호화기.
통합 음성/오디오 복호화기(USAC)에 있어서,

입력 신호의 프레임을 구성하는 서브 프레임에 대해 LPD 모드 간 스위칭하는 모드 스위칭부; 및

상기 서브 프레임 중 복호화하고자 하는 현재 서브 프레임에 상기 스위칭된 LPD 모드에 기초한 윈도우를 적용하여 상기 입력 신호를 복호화하는 복호화부

를 포함하고,

상기 복호화부는,

이전 서브 프레임의 LPD 모드와 다음 서브 프레임의 LPD 모드에 따라 변형되는 윈도우를 상기 현재 서브 프레임에 적용하여 상기 입력 신호를 복호화하는 것을 특징으로 하는 통합 음성/오디오 복호화기.
통합 음성/오디오 복호화기(USAC)에 있어서,

입력 신호의 프레임에 대해 FD 모드에서 LPD 모드로 스위칭하는 모드 스위칭부; 및

상기 FD 모드의 윈도우 시퀀스와 상기 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 복호화하는 복호화부

를 포함하는 통합 음성/오디오 복호화기.
통합 음성/오디오 복호화기(USAC)에 있어서,

입력 신호의 프레임에 대해 LPD 모드에서 FD 모드로 스위칭하는 모드 스위칭부; 및

상기 FD 모드의 윈도우 시퀀스와 상기 LPD 모드의 윈도우 시퀀스를 폴딩 포인트를 기준으로 오버랩 애드하여 복호화하는 복호화부를 포함하는 통합 음성/오디오 복호화기.