KR20220123752A - 교차 곱 강화된 서브밴드 블록 기반 고조파 전위 - Google Patents

Abstract

본 발명은 교차 곱 강화 고-주파수 복원(HFR)의 효율적인 구현을 제공하고, 주파수(QΩ+rΩ₀)의 새로운 성분은 Ω 및 Ω+Ω₀에서의 기존의 성분들을 기반으로 생성된다. 본 발명은 블록-기반 고조파 전위를 제공하고, 복소 서브대역 샘플들의 시간 블록은 공통 위상 수정으로 처리된다. 여러 개의 수정된 샘플들의 중첩은 바람직하지 않은 상호 변조 곱들을 제한하는 순 효과를 갖고, 그에 의해 보다 조악한 주파수 분해능 및/또는 보다 낮은 정도의 오버샘플링이 이용될 수 있게 한다. 하나의 실시예에서, 본 발명은 또한 블록-기반 교차 곱 강화된 HFR로 이용하기 위해 적합한 윈도우 함수를 포함한다. 본 발명의 하드웨어 실시예는 분석 필터 뱅크(101), 제어 데이터(104)에 의해 구성가능한 서브대역 프로세싱 유닛(102), 및 합성 필터 뱅크(103)를 포함할 수 있다.

Description

교차 곱 강화된 서브밴드 블록 기반 고조파 전위{CROSS PRODUCT ENHANCED SUBBAND BLOCK BASED HARMONIC TRANSPOSITION}

본 발명은 고-주파수 복원(high-frequncy reconstruction; HFR)을 위한 고조파 전위 방법을 이용하는 오디오 소스 코딩 시스템들, 프로세싱된 신호에 밝기를 부가하기 위해 고조파 왜곡을 생성하는 여진기들과 같은 디지털 효과 프로세서들, 및 유지된 스펙트럼 콘텐트를 갖고 신호 지속기간을 연장시키는 시간 신장기들(time stretchers)에 관한 것이다.

WO98/57436에서, 전위(transposition)의 개념은 오디오 신호의 저 주파수 대역으로부터 고 주파수 대역을 재생성하기 위한 방법으로서 확립되었다. 비트레이트에서의 상당한 절감이 오디오 코딩에서 이러한 개념을 이용함으로써 획득될 수 있다. HFR 기반 오디오 코딩 시스템에서, 저 대역-폭 신호는 코어 파형 코더에 제공되고 고 주파수들은 디코더 측에서 타겟 스펙트럼 형상을 기술하는 매우 낮은 비트레이트의 부가적인 보조 정보 및 전위를 이용하여 재생성된다. 상기 코어 코딩된 신호의 대역폭이 좁은 낮은 비트레이트들에 대해, 지각적으로 기분 좋은 특성들을 갖고 주파수를 재생성하는 것이 점차 중요해지고 있다. WO98/57436에 규정된 고조파 전위는 낮은 크로스 오버 주파수를 가진 상황에서 복합적인 음악 재료에 대해 확실히 수행한다. 고조파 전위의 원리는 주파수(ω)를 가진 사인 곡선이 주파수(

)를 가진 사인 곡선에 매핑된다는 것이고, 여기서

은 전위의 차수를 규정하는 정수이다. 이와 반대로, 단일 측파대 변조(single sideband modulation; SSB) 기반 HFR은 주파수(ω+△ω)를 가진 사인 곡선에 주파수(ω)를 가진 사인 곡선을 매핑시키며, 여기서 △ω은 고정된 주파수 편이이다. 낮은 대역폭을 가진 코어 신호를 고려해 볼 때, 부조화 링잉 아티팩트는 SSB 전위로부터 기인할 것이다.

최고의 가능한 오디오 품질에 도달하기 위해, 최신식 고품질 고조파 HFR 방법들은 요구된 오디오 품질에 도달하기 위해 매우 미세한 주파수 분해능 및 고도의 오버샘플링을 가진 복소 변조된 필터 뱅크들을 이용한다. 상기 미세한 분해능은 사인 곡선들의 합계들의 비선형 처리로부터 발생하는 원치 않는 상호 변조 왜곡을 회피하기 위해 필요하다. 충분히 좁은 서브대역들을 갖고, 고품질 방법들은 각각의 서브대역에서 최대 하나의 사인 곡선을 갖는 것을 목표로 한다. 시간에서의 고도의 오버샘플링은 앨리어스형 왜곡을 회피하기 위해 필요하고, 주파수에서의 특정 정도의 오버샘플링은 천이 신호들에 대한 프리-에코들(pre-echoes)을 회피하기 위해 필요하다. 분명한 결함은 계산 복잡도가 매우 높아질 것이라는 것이다.

고조파 트랜스포저들(harmonic transposers)과 연관된 또 다른 공통적인 결함은 현저한 주기적인 구조를 가진 신호들에 대해 명백해진다. 이러한 신호들은 주파수들(Ω, 2Ω, 3Ω,...)을 가진 화성적으로 관련된 사인 곡선들의 중첩들이고, 여기서 Ω은 기본 주파수이다. 차수(

)의 고조파 전위일 때, 출력 사인 곡선들은 주파수들(

,...)을 갖고, 이것은

의 경우에, 단지 원하는 전체 고조파 시리즈의 엄격한 서브세트이다. 결과적인 오디오 품질에 관하여, 전위된 기본 주파수(

)에 대응하는 "고스트(ghost)" 피치가 통상적으로 지각될 것이다. 종종 상기 고조파 전위는 인코딩 및 디코딩된 오디오 신호의 "금속성" 사운딩 특징을 초래한다.

참조로서 여기에 통합되는 WO2010/081892에서, 교차 곱들의 방법은 고 품질 전위의 경우에 상기 고스트 피치 문제를 처리하기 위해 개발되었다. 보다 높은 충실도를 갖고 전위될 신호의 우세한 고조파 부분의 기본 주파수 값에 대한 부분적이거나 송신된 전체 정보를 고려해볼 때, 비선형 서브대역 수정들은 적어도 두 개의 상이한 분석 서브대역들의 비선형 조합들로 보완되고, 상기 분석 서브대역 인덱스들 간의 거리들은 상기 기본 주파수와 관련된다. 상기 결과는 전위된 출력에서의 손실 부분들을 재생성하는 것이고, 이것은 그러나 상당한 계산 비용이 발생한다.

이용가능한 HFR 방법들의 상기 단점을 고려할 때, 본 발명의 목적은 교차 곱 강화된 HFR의 보다 효율적인 구현을 제공하는 것이다. 특히, 이용가능한 기술들과 비교하여 감소된 계산 노력으로 고-충실도 오디오 재현을 가능하게 하는 이러한 방법을 제공하는 것이 목적이다.

본 발명은 독립 청구항들에 제시된 바와 같은 디바이스들 및 방법들을 제공함으로써 이들 목적들 중 적어도 하나를 달성한다.

제 1 양태에서, 본 발명은 입력 신호로부터 시간 신장되고/신장되거나 주파수 전위된 신호를 생성하도록 구성된 시스템을 제공한다. 상기 시스템은:

ㆍ상기 입력 신호로부터 다수(Y)의 분석 서브대역 신호들을 도출하도록 구성된 분석 필터 뱅크로서, 각각의 분석 서브대역 신호는 각각이 위상 및 크기를 갖는 복수의 복소-값 분석 샘플들을 포함하는, 상기 분석 필터 뱅크;

ㆍ서브대역 전위 인자(subband transposition factor)(Q) 및 서브대역 신장 인자(subband stretch factor)(S)를 이용하여 상기 Y개의 분석 서브대역 신호들로부터 합성 서브대역 신호를 결정하도록 구성된 서브대역 프로세싱 유닛으로서, Q 및 S 중 적어도 하나는 1보다 크고, 상기 서브대역 프로세싱 유닛은:

°블록 추출기로서,

■ i) L개의 입력 샘플들의 Y개의 프레임들을 형성하는 것으로서, 각각의 프레임은 분석 서브대역 신호에서 상기 복수의 복소-값 분석 샘플들로부터 추출되고 상기 프레임 길이는 L>1인, 상기 Y개의 프레임들을 형성하고;

■ ii) L개의 입력 샘플들의 후속 프레임을 형성하기 이전에, 상기 복수의 분석 샘플들에 h개의 샘플들의 블록 홉 크기를 적용하여, 입력 샘플들의 프레임들의 시퀀스를 생성하도록 구성된, 상기 블록 추출기;

°상기 블록 추출기에 의해 형성된 입력 샘플들의 Y개의 대응하는 프레임들을 기반으로, 상기 프레임의 각각의 프로세싱된 샘플에 대한 위상 및 크기를 결정함으로써 프로세싱된 샘플들의 한 프레임을 생성하도록 구성된 비선형 프레임 프로세싱 유닛으로서, 적어도 하나의 프로세싱된 샘플에 대해:

■ i) 상기 프로세싱된 샘플의 위상은 입력 샘플들의 상기 Y개의 프레임들 각각에서 상기 대응하는 입력 샘플들 각각의 위상들에 기초하고;

■ ii) 상기 프로세싱된 샘플의 크기는 입력 샘플들의 상기 Y개의 프레임들 각각에서 상기 대응하는 입력 샘플의 크기에 기초하는, 상기 비선형 프레임 프로세싱 유닛; 및

°프로세싱된 샘플들의 프레임들의 시퀀스의 상기 샘플들을 중첩시키고 가산함으로써 상기 합성 서브대역 신호를 결정하도록 구성된 중첩 및 가산 유닛을 포함하는, 상기 서브대역 프로세싱 유닛; 및

ㆍ상기 합성 서브대역 신호로부터 상기 시간 신장되고/신장되거나 주파수 전위된 신호를 생성하도록 구성된 합성 필터 뱅크를 포함한다.

상기 시스템은 Y의 임의의 양의 정수 값에 대해 동작가능할 수 있다. 그러나, 그것은 적어도 Y=2에 대해 동작가능하다.

제 2 양태에서, 본 발명은 입력 신호로부터 시간 신장되고/신장되거나 주파수-전위된 신호를 생성하기 위한 방법을 제공한다. 상기 방법은:

ㆍ상기 입력 신호로부터 다수(Y≥2)의 분석 서브대역 신호들을 도출하는 단계로서, 각각의 분석 서브대역 신호는 각각이 위상 및 크기를 가진 복수의 복소-값 분석 샘플들을 포함하는, 상기 도출 단계;

ㆍL개의 입력 샘플들의 Y개의 프레임들을 형성하는 단계로서, 각각의 프레임은 분석 서브대역 신호에서의 상기 복수의 복소-값 분석 샘플들로부터 추출되고 상기 프레임 길이는 L>1인, 상기 형성 단계;

ㆍL개의 입력 샘플들의 후속 프레임을 도출하기 전에, 상기 복수의 분석 샘플들에 h개의 샘플들의 블록 홉 크기를 적용하고, 그에 의해 입력 샘플들의 프레임들의 시퀀스를 생성하는 단계;

ㆍ입력 샘플들의 Y개의 대응하는 프레임들을 기반으로, 상기 프레임의 각각의 프로세싱된 샘플에 대한 위상 및 크기를 결정함으로써 프로세싱된 샘플들의 한 프레임을 생성하는 단계로서, 적어도 하나의 프로세싱된 샘플에 대해:

°상기 프로세싱된 샘플의 위상은 입력 샘플들의 상기 Y개의 프레임들 중 적어도 하나에서의 대응하는 입력 샘플의 각각의 위상들에 기초하고;

°상기 프로세싱된 샘플의 크기는 입력 샘플들의 상기 Y개의 프레임들 각각에서의 대응하는 입력 샘플의 크기에 기초하는, 상기 생성 단계;

ㆍ프로세싱된 샘플들의 프레임들의 시퀀스의 샘플들을 중첩시키고 가산함으로써 상기 합성 서브대역 신호를 결정하는 단계; 및

ㆍ상기 합성 서브대역 신호로부터 상기 시간 신장되고/신장되거나 주파수 전위된 신호를 생성하는 단계를 포함한다.

여기에서, Y는 1보다 큰 임의의 정수이다. 상기 제 1 양태에 따른 시스템은 적어도 Y=2에 대해 상기 방법을 실행하도록 동작가능하다.

본 발명의 제 3 양태는 프로그래밍가능한 컴퓨터가 상기 제 2 양태에 따른 상기 방법을 실행하게 하기 위한 소프트웨어 지시를 저장하는 컴퓨터 판독가능한 저장매체를 포함하는 컴퓨터 프로그램 제품을 제공한다.

본 발명은, 교차 곱 강화된 HFR의 일반적인 개념이 복소 서브대역 샘플들의 블록들로 배열된 데이터가 프로세싱될 때 향상된 결과들을 제공할 것이라는 인식에 기초한다. 그 중에서도, 이것은 프레임-단위 위상 오프셋을 상기 샘플들에 적용하는 것을 가능하게 하고, 이것은 몇몇 상황들에서 상호 변조 곱들을 감소시킨다는 것이 발견되었다. 또한 유사한 유익한 효과를 이끌 수 있는, 크기 조정을 적용하는 것이 가능하다. 교차 곱 강화된 HFR의 본 발명의 구현은 서브대역 블록 기반 고조파 전위를 포함하고, 이것은 상호 변조 곱들을 상당히 감소시킬 수 있다. 그러므로, 보다 조악한 주파수 분해능 및/또는 보다 낮은 정도의 오버샘플링을 가진 필터 뱅크(QMF 필터 뱅크와 같은)가 높은 출력 품질을 보존하면서 이용될 수 있다. 서브대역 블록 기반 프로세싱에서, 복소 서브대역 샘플들의 시간 블록은 공통 위상 수정을 갖고 프로세싱되고, 출력 서브대역 샘플을 형성하기 위한 여러 개의 수정된 샘플들의 중첩은, 샘플의 중첩이 없다면 상기 입력 서브대역 신호가 여러 개의 사인 곡선들로 이루어질 때 발생할 상호 변조 곱들을 억제하는 순 효과를 가진다. 블록 기반 서브대역 프로세싱에 기초한 전위는 고-분해능 트랜스포저들보다 훨씬 더 낮은 계산 복잡도를 갖고 많은 신호들에 대해서 거의 동일한 품질에 도달한다.

본 개시의 목적을 위해, Y≥2인 실시예들에서, 비-선형 프로세싱 유닛은 프레임들이 동기식이거나 거의 동기식이라는 의미에서 볼 때 입력 샘플들의 입력 Y "대응" 프레임들로서 이용한다. 예를 들면, 각각의 프레임들에서의 샘플들은 상기 프레임들 간의 상당한 시간 중첩을 가진 시간 간격들과 관련될 수 있다. 용어 "대응"은 또한 이것들이 동기식이거나 거의 그렇다는 것을 표시하기 위해 샘플들에 대하여 이용된다. 또한, 상기 용어 "프레임"은 "블록"과 상호 교환가능하게 이용될 것이다. 결과적으로, 상기 "블록 홉 크기"는 프레임 길이(가능하게는 그러한 것이 적용된다면 다운샘플링에 대하여 조정된)와 동일할 수 있거나 상기 프레임 길이(가능하게는 그러한 것이 적용된다면 다운샘플링에 대하여 조정된)보다 작을 수 있으며, 이러한 경우에 연속적인 프레임들은 입력 샘플이 1개 이상의 프레임에 속할 수 있다는 의미에서 중첩한다. 상기 시스템은 입력 샘플들의 모든 Y개의 대응 프레임들의 위상 및 크기에 기초하여 그것의 위상 및 크기를 결정함으로써 프레임에서의 모든 프로세싱된 샘플을 반드시 생성하는 것은 아니며; 본 발명으로부터 벗어나지 않고, 상기 시스템은 보다 작은 수의 대응하는 입력 샘플들에 기초하여, 또는 단지 하나의 입력 샘플에 기초하여 몇몇 프로세싱된 샘플들의 위상 및/또는 크기를 생성할 수 있다.

하나의 실시예에서, 상기 분석 필터 뱅크는 임의의 수의 탭들 및 포인트들을 가진 직교 미러 필터(quadrature mirror filter; QMF) 뱅크 또는 의사-QMF 뱅크이다. 그것은 예를 들면, 64-포인트 QMF 뱅크일 수 있다. 상기 분석 필터 뱅크는 또한 윈도우잉(windowing)된 이산 푸리에 변환들 또는 웨이블릿 변환들(wavelet transforms)의 클래스로부터 선택될 수 있다. 유리하게는, 상기 합성 필터 뱅크는 각각 역 QMF 뱅크, 역 의사-QMF 뱅크 등이 됨으로써 상기 분석 필터 뱅크를 매칭시킨다. 이러한 필터 뱅크들은 비교적 조악한 주파수 분해능 및/또는 비교적 낮은 정도의 오버샘플링을 가질 수 있다는 것이 알려져 있다. 종래 기술과 달리, 본 발명은 반드시 감소된 출력 품질을 겪지 않고 이러한 비교적 더 간단한 구성요소들을 이용하여 구체화될 수 있으며, 그러므로 이러한 실시예들은 종래 기술에 비하여 경제적 이점을 나타낸다.

하나의 실시예에서, 다음 중 하나 이상은 분석 필터 뱅크에 관하여 사실이다.

ㆍ 분석 시간 스트라이드는 △t_A이다;

ㆍ 분석 주파수 간격은 △f_A이다;

ㆍ 분석 필터 뱅크는 분석 서브대역 인덱스(n=0, ..., N-1)에 의해 인덱싱된 N>1개의 분석 서브대역들을 포함한다;

ㆍ 분석 서브대역은 입력 신호의 주파수 대역과 연관된다.

하나의 실시예에서, 다음 중 하나 이상은 합성 필터 뱅크에 대하여 사실이다:

ㆍ 합성 시간 스트라이드는 △t_S이다;

ㆍ 합성 주파수 간격은 △f_S이다;

ㆍ 상기 합성 필터 뱅크는 합성 버스대역 인덱스(m=0,..., M-1)에 의해 인덱싱된 M>1개의 합성 서브대역들을 포함한다;

ㆍ 합성 서브대역은 시간 신장되고/신장되거나 주파수-전위된 신호의 주파수 대역과 연관된다.

하나의 실시예에서, 상기 비선형 프레임 프로세싱 유닛은 프로세싱된 샘플들의 하나의 프레임을 생성하기 위해 2개의 프레임들(Y=2)을 입력하도록 적응되고, 상기 서브대역 프로세싱 유닛은 교차 프로세싱 제어 데이터를 생성하기 위한 교차 프로세싱 제어 유닛을 포함한다. 그에 의해, 상기 서브대역 프로세싱의 양적 및/또는 질적 특성들을 지정함으로써, 본 발명은 유연성 및 적응가능성을 달성한다. 상기 제어 데이터는 상기 입력 신호의 기본 주파수에 의해 주파수가 다른 서브대역들(예를 들면, 인덱스들에 의해 식별된)을 지정할 수 있다. 즉, 상기 서브대역들을 식별하는 인덱스들은 상기 분석 주파수 간격에 의해 분할된 이러한 기본 주파수의 비를 근사시키는 정수만큼 다를 수 있다. 이것은, 상기 고조파 전위에 의해 생성된 새로운 스펙트럼 성분들이 일련의 자연 고조파들과 호환가능하기 때문에, 음향심리학적으로 기분 좋은 출력을 이끌 것이다.

앞선 실시예의 추가 개발에 있어서, 상기 (입력) 분석 및 (출력) 합성 서브대역 인덱스들은 이하에 식(16)을 만족시키도록 선택된다. 이 식에서 나타나는 파라미터(σ)는 홀수로 또는 짝수로 적층된 필터 뱅크들 모두에 적용가능해진다. 서브대역 인덱스들이 식(16)에 대한 근사(예를 들면, 최소 자승) 해로서 획득되었을 때, 고조파 전위에 의해 획득된 새로운 스펙트럼 성분은 상기 일련의 자연 고조파들과 호환가능할 가능성이 높을 것이다. 그러므로, 상기 HFR은 제거된 그것의 고-주파수 콘텐트를 가진 원래 신호의 충실한 복원을 제공할 가능성이 높을 것이다.

이전 실시예들의 추가 개발은 식(16)에서 나타나는 파라미터(r)를 선택하고 상기 교차 곱 전위의 차수를 표현하는 방법을 제공한다. 출력 서브대역 인덱스(m)를 고려해볼 때, 상기 전위 차수(r)의 각각의 값은 2개의 분석 서브대역 인덱스들(n₁, n₂)을 결정할 것이다. 이러한 추가 개발은 다수의 r개의 옵션들에 대한 두 개의 서브대역들의 크기들을 평가하고 상기 두 개의 분석 서브대역 크기들의 최소치들의 최대화를 제공하는 값을 선택한다. 인덱스들을 선택하는 이러한 방식은 열악한 출력 품질을 야기할 수 있는, 상기 입력 신호의 약한 성분들을 증폭시킴으로써 충분한 크기를 회복시키기 위한 요구를 회피할 수 있다. 이와 관련하여, 상기 서브대역 크기들은, 프레임의 일부 또는 프레임(블록)을 형성하는 제곱 입력 샘플들의 제곱근에 의해서와 같이, 그 자체로서 알려진 방식으로 계산될 수 있다. 서브대역 크기는 또한 프레임에서 중심의 또는 거의 중심의 샘플의 크기로서 계산될 수 있다. 이러한 계산은 단순하지만 적절한 크기 측정치를 제공할 수 있다.

앞선 실시예의 추가 개발에서, 합성 서브대역이 직접 프로세싱 및 교차-곱 기반 프로세싱 둘 모두에 따라 고조파 전위 인스턴스들로부터의 기여들을 수신할 수 있다. 이와 관련하여, 결정 기준들은 교차-곱 기반 프로세싱에 의해 손실 부분을 재생성하는 특정 가능성이 이용되는지의 여부를 결정하기 위해 적용될 수 있다. 예를 들면, 이러한 추가 개발은 다음의 조건들 중 하나가 이행된다면 하나의 교차 서브대역 프로세싱 유닛을 이용하는 것을 억제하도록 적응될 수 있다.

a) 상기 합성 서브대역을 산출하는 직접 소스 항 분석 서브대역의 크기(M_S) 및 상기 합성 서브대역을 산출하는 교차 소스 항들의 최적의 쌍에서의 최소 크기(M_C)의 비는 미리 결정된 상수보다 크다;

b) 상기 합성 서브대역은 이미 직접 프로세싱 유닛으로부터의 상당한 기여를 수신한다;

c) 기본 주파수(Ω₀)는 분석 필터 뱅크 간격(△f_A)보다 작다.

하나의 실시예에서, 본 발명은 상기 입력 신호의 다운샘플링(데시메이션)을 포함한다. 실제로, 입력 샘플들의 프레임들 중 하나 이상은 상기 블록 추출기에 의해 실행될 수 있는 바와 같이, 서브대역에서의 복소-값 분석 샘플들을 다운샘플링함으로써 결정될 수 있다.

앞선 실시예의 추가 개발에서, 적용될 다운샘플링 인자들은 이하의 식(15)을 만족시킨다. 다운샘플링 인자들 둘 모두는 이것이 사소한 경우에 대응하기 때문에, 0이 되도록 허용되지 않는다. 식(15)은 서브대역 신장 인자(S) 및 서브대역 전위 인자(Q)를 갖고, 또한 프로세싱된 샘플의 위상을 결정하기 위한 표현(13)에 나타나는 위상 계수들(T₁, T₂)을 갖는 다운샘플링 인자들(D₁, D₂) 사이에서의 관계를 규정한다. 이것은 상기 프로세싱된 샘플들이 부가되는 상기 입력 신호의 다른 구성요소들과 상기 프로세싱된 샘플들의 위상의 매칭을 보장한다.

하나의 실시예에서, 프로세싱된 샘플들의 프레임들은 그것들이 함께 중첩되고 가산되기 전에 윈도우잉된다. 윈도우잉 유닛은 프로세싱된 샘플들의 프레임들에 유한-길이 윈도우 함수를 적용하도록 적응될 수 있다. 적절한 윈도우 함수들이 첨부된 청구항들에 열거된다.

본 발명자는 WO2010/081892에 개시된 유형의 교차-곱 방법들이 시작부터 서브대역 블록 기반 프로세싱 기술들과 전체적으로 호환가능하지 않음을 인식하였다. 이러한 방법은 블록에서의 상기 서브대역 샘플들 중 하나에 만족스럽게 적용될 수 있지만, 그것은 상기 블록의 다른 샘플들에 간단한 방식으로 확대된다면 앨리어싱 아티팩트들을 야기할 수 있다. 이것 때문에, 하나의 실시예는, 복소 가중치들에 의해 가중되고 홉 크기만큼 시프트될 때, 합산하는 윈도우 샘플들을 포함하는 윈도우 함수들을 실질적으로 일정한 시퀀스에 적용한다. 상기 홉 크기는 블록 홉 크기(h) 및 상기 서브대역 신장 인자(S)의 곱일 수 있다. 이러한 윈도우 함수들의 이용은 앨리어싱 아티팩트들의 영향을 감소시킨다. 대안적으로 또는 부가적으로, 이러한 윈도우 함수들은 또한 프로세싱된 샘플들의 위상 회전들과 같은, 아티팩트들을 감소시키기 위한 다른 측정치들을 허용한다.

바람직하게는, 상기 윈도우 샘플들 상에서의 조건을 평가하기 위해 적용되는, 연속된 복소 가중치들은 단지 고정된 위상 회전에 의해서만 다르다. 또한 바람직하게는, 상기 고정된 위상 회전은 상기 입력 신호의 기본 주파수에 비례한다. 상기 위상 회전은 또한 적용될 교차 곱 전위의 차수에 및/또는 상기 물리적 전위 파라미터에 및/또는 상기 다운샘플링 인자들의 차이에 및/또는 상기 분석 시간 스트라이드에 비례할 수 있다. 상기 위상 회전은 적어도 비슷한 의미에서, 식(21)에 의해 주어질 수 있다.

하나의 실시예에서, 본 발명은 기본 주파수 파라미터에 응답하여 상기 합성 윈도우잉을 수정함으로써 교차 곱 강화된 고조파 전위를 가능하게 한다.

하나의 실시예에서, 프로세싱된 샘플들의 연속적인 프레임들은 특정 중첩을 갖고 가산된다. 적절한 중첩을 달성하기 위해, 프로세싱된 샘플들의 프레임들은 상기 서브대역 신장 인자(S)에 의해 업스케일링된 블록 홉 크기(h)인 홉 크기만큼 적절하게 시프트된다. 그러므로, 입력 샘플들의 연속된 프레임들의 중첩이 L-h이면, 프로세싱된 샘플들의 연속된 프레임들의 중첩은 S(L-h)일 수 있다.

하나의 실시예에서, 본 발명에 따른 시스템은 Y=2 입력 샘플들을 기반으로, 뿐만 아니라 또한 단지 Y=1 샘플을 기반으로 프로세싱된 샘플을 생성하도록 동작 가능하다. 그러므로, 상기 시스템은 교차-곱 기반 방식(식(13)에 의해서와 같은)에 의해서 뿐만 아니라 직접 서브대역 방식에 의해(식(5) 또는 (11)에 의해서와 같은) 손실 부분들을 재생성할 수 있다. 바람직하게는, 제어 유닛은 방식이 특정 손실 부분을 재생성하기 위해 이용되는 것을 포함하여, 상기 시스템의 동작을 제어하도록 구성된다.

앞선 실시예의 추가 개발에서, 상기 시스템은 또한 3개 이상의 샘플들을 기반으로, 즉 Y≥3에 대한 프로세싱된 샘플을 생성하도록 적응된다. 예를 들면, 프로세싱된 샘플은 교차-곱 기반 고조파 전위의 다수의 인스턴스들에 의해 획득될 수 있고, 직접 서브대역 프로세싱의 다수의 인스턴스들에 의해, 또는 교차-곱 전위 및 직접 전위의 조합에 의해 프로세싱된 샘플에 기여할 수 있다. 전위 방법들을 적응시키는 이러한 옵션은 강력한 다용도의 HFR을 제공한다. 결과적으로, 이 실시예는 Y=3, 4, 5 등에 대해 본 발명의 제 2 양태에 따른 방법을 실행하도록 동작가능하다.

하나의 실시예는 대응하는 입력 샘플들 각각의 크기들의 평균 값인 크기를 가진 복소수로서 프로세싱된 샘플을 결정하도록 구성된다. 상기 평균 값은 둘 이상의 입력 샘플들의 (가중된) 연산, (가중된) 기하학 또는 (가중된) 고조파 평균일 수 있다. Y=2의 경우에, 상기 평균은 2개의 복소 입력 샘플들에 기초한다. 바람직하게는, 상기 프로세싱된 샘플의 크기는 가중된 기하학적 값이다. 보다 바람직하게는, 상기 기하학적 값은 식(13)에서와 같이, 파라미터들(ρ 및 1-ρ)에 의해 가중된다. 여기에서, 상기 기하학적 크기 가중 파라미터(ρ)는 서브대역 전위 인자(Q)에 반비례하는 실수이다. 상기 파라미터(ρ)는 또한 신장 인자(S)에 반비례할 수 있다.

하나의 실시예에서, 상기 시스템은 입력 샘플들의 프레임들에서 대응하는 입력 샘플들 각각의 위상들의 선형 조합인 위상을 가진 복소수로서 프로세싱된 샘플을 결정하도록 적응된다. 특히, 상기 선형 조합은 2개의 입력 샘플들(Y=2)에 관한 위상들을 포함할 수 있다. 2개의 위상들의 선형 조합은 정수 비-제로 계수들을 적용할 수 있으며, 그 합계는 상기 서브대역 전위 인자(Q)로 곱해진 신장 인자(S)와 동일하다. 선택적으로, 이러한 선형 조합에 의해 획득된 위상은 또한 고정된 위상 보정 파라미터에 의해 조정된다. 상기 프로세싱된 샘플의 위상은 식(13)에 의해 주어질 수 있다.

하나의 실시예에서, 상기 블록 추출기(또는 본 발명에 따른 방법에서 유사한 단계)는 프레임(블록)에 포함될 하나의 입력 샘플을 획득하기 위해 분석 서브대역 신호로부터 2개 이상의 분석 샘플들을 보간하도록 적응된다. 이러한 보간은 비-정수 인자에 의해 상기 입력 신호의 다운믹싱을 가능하게 할 수 있다. 보간될 상기 분석 샘플들은 연속되거나 연속되지 않을 수 있다.

하나의 실시예에서, 상기 서브대역 프로세싱의 구성은 상기 프로세싱을 실행하는 유닛의 밖으로부터 제공된 제어 데이터에 의해 제어될 수 있다. 상기 제어 데이터는 상기 입력 신호의 순간적인 음향 속성들과 관련될 수 있다. 예를 들면, 상기 시스템 자체는 상기 신호의 (우세한) 기본 주파수와 같이, 상기 신호의 순간적인 음향 속성들을 결정하도록 적응된 섹션을 포함할 수 있다. 기본 주파수의 지식은 상기 프로세싱된 샘플들이 도출되어야 하는 분석 서브대역들을 선택할 때 안내를 제공한다. 적절하게, 상기 분석 서브대역들의 간격은 상기 입력 신호의 이러한 기본 주파수에 비례한다. 대안으로서, 상기 제어 데이터는 또한 바람직하게는, 디지털 통신 네트워크를 통해 비트 스트림으로서 송신하기에 적합한 코딩 포맷에 포함됨으로써, 상기 시스템 밖으로부터 제공될 수 있다. 상기 제어 데이터 외에, 이러한 코딩 포맷은 신호의 저-주파수 성분들(도 7에서 pos. 701에서의 성분들)에 관한 정보를 포함할 수 있다. 그러나, 대역폭 절약을 위해, 상기 포맷은 바람직하게는 본 발명에 의해 재생성될 수 있는, 더 높은-주파수 성분들(pos. 702)에 관한 완전한 정보를 포함하지 않는다. 본 발명은 특히 상기 입력 신호를 또한 인코딩하는 수신된 비트 스트림에 포함되거나 별개의 신호 또는 비트 스트림으로서 수신되는지에 상관없이, 이러한 제어 데이터를 수신하도록 구성된 제어 데이터 수신 유닛을 디코딩 시스템에 제공할 수 있다.

하나의 실시예는 본 발명의 방법에 의해 일어난 계산들을 효율적으로 실행하기 위한 기술을 제공한다. 이를 위해, 하드웨어 구현은 프로세싱된 샘플들의 프레임이 기초로 해야 하는 Y 프레임들의 일부에서의 대응하는 입력 샘플들의 크기들을 재스케일링하기 위한 사전-정규화기를 포함할 수 있다. 이러한 재스케일링 후, 프로세싱된 샘플은 재스케일링된, 그리고 가능하게는 재스케일링되지 않은 입력 샘플들의 (가중된) 복소 곱으로서 계산될 수 있다. 상기 곱에서의 재스케일링된 인자로서 나타나는 입력 샘플은 보통 재-스케일링된 인자로서 다시 나타날 필요가 없다. 상기 위상 보정 파라미터(θ)의 경우에 예외가 있을 수 있지만, (가능하게는 재스케일링된) 복소 입력 샘플들의 곱으로서 식(13)을 평가하는 것이 가능하다. 이것은 프로세싱된 샘플의 크기 및 위상의 별개의 처리들과 비교해 볼 때 계산 이점을 나타낸다.

하나의 실시예에서, 경우(Y=2)에 대해 구성된 시스템은 각각 병렬 동작으로 입력 샘플들의 하나의 프레임을 형성하도록 적응된 두 개의 블록 추출기들을 포함한다.

Y≥3을 나타내는 실시예들의 추가 개발에 있어, 시스템은, 그 각각이 상이한 서브대역 전위 인자 및/또는 상이한 서브대역 신장 인자 및/또는 교차-곱 기반 또는 직접인 것에 의해 다른 전위 방법을 이용하여 중간 합성 서브대역 신호를 결정하도록 구성되는, 복수의 서브대역 프로세싱 유닛들을 포함할 수 있다. 상기 서브대역 프로세싱 유닛들은 병렬 동작을 위해, 병렬로 배열될 수 있다. 이 실시예에서, 상기 시스템은 또한 상기 합성 필터 뱅크의 업스트림 및 상기 서브대역 프로세싱 유닛들의 다운스트림으로 배열된 병합 유닛을 포함한다. 상기 병합 유닛은 상기 합성 서브대역 신호를 획득하기 위해 대응하는 중간 합성 서브대역 신호들을 병합하도록(예를 들면, 함께 믹싱함으로써) 적응될 수 있다. 이미 주지된 바와 같이, 병합되는 상기 중간 합성 서브대역은 직접 및 교차-곱 기반 고조파 전위 둘 모두에 의해 획득될 수 있다. 상기 실시예에 따른 시스템은 또한 비트 스트림을 입력 신호로 디코딩하기 위한 코어 디코더를 포함할 수 있다. 그것은 또한 특히 스펙트럼 성형을 수행함으로써 스펙트럼 대역 정보를 적용하도록 적응된 HFR 프로세싱 유닛을 포함할 수 있다. 상기 HFR 프로세싱 유닛의 동작은 비트 스트림으로 인코딩된 정보에 의해 제어될 수 있다.

하나의 실시예는, 예를 들면, 좌, 우, 중심, 서라운드 등과 같은, Z 채널들을 포함한 스테레오 포맷으로 오디오를 재생하기 위한 시스템에서, 다-차원 신호들의 HFR을 제공한다. 복수의 채널들을 가진 입력 신호를 프로세싱하기 위한 하나의 가능한 구현에서, 각각의 채널의 프로세싱된 샘플들은 비록 각각의 대역에 대한 상기 신장 인자(S) 및 전위 인자(Q)가 채널들 사이에서 변할 수 있지만 동일한 수의 입력 샘플들에 기초한다. 이를 위해, 상기 구현은 각각의 채널로부터 Y 분석 서브대역 신호들을 생성하기 위한 분석 필터 뱅크, Z 서브대역 신호들을 생성하기 위한 서브대역 프로세싱 유닛, 및 출력 신호를 형성하는 Z 시간 신장되고/신장되거나 주파수 전위된 신호들을 생성하기 위한 합성 필터 뱅크를 포함할 수 있다.

앞선 실시예에 대한 변형들에서, 상기 출력 신호는 상이한 수들의 분석 서브대역 신호들에 기초하는 출력 채널들을 포함할 수 있다. 예를 들면, 음향적으로 두드러진 채널들의 HFR에 많은 양의 계산 리소스들을 쏟는 것이 바람직할 수 있으며; 예를 들면, 청취자의 앞에 위치된 오디오 소스들에 의해 재생될 채널들은 서라운드 또는 후방 채널들에 대해 유익할 수 있다.

본 발명은, 비록 이들은 상이한 청구항들에서 열거될지라도, 상기 특징들의 모든 조합들과 관련한다는 것이 강조된다.

본 발명은 이제, 첨부한 도면들을 참조하여, 본 발명의 범위 또는 사상을 제한하지 않고, 예시적인 예들로서 설명될 것이다.

도 1은 서브대역 블록 기반 고조파 전위의 원리를 도시한 도면.
도 2는 하나의 서브대역 입력을 가진 비선형 서브대역 블록 프로세싱의 동작을 도시한 도면.
도 3은 두 개의 서브대역 입력들을 가진 비선형 서브대역 블록 프로세싱의 동작을 도시한 도면.
도 4는 교차 곱 강화된 서브대역 블록 기반 고조파 전위의 동작을 도시한 도면.
도 5는 HFR 강화된 오디오 코덱에서의 여러 차수들의 전위를 이용한 서브대역 블록 기반 전위의 적용에 대한 예시적인 시나리오를 도시한 도면.
도 6은 64 대역 QMF 분석 필터 뱅크를 적용한 다차 서브대역 블록 기반 전위의 동작에 대한 예시적인 시나리오를 도시한 도면.
도 7 및 도 8은 설명된 서브대역 블록 기반 전위 방법의 실험 결과들을 도시한 도면들.
도 9는 사전-정규화기 및 곱셈기를 포함하는, 도 2의 비-선형 프로세싱 유닛의 상세를 도시한 도면.

이하에 설명된 실시예들은 본 발명의 교차 곱 강화된 서브대역 블록 기반 고조파 전위의 원리들에 대해 단지 예시적이다. 여기에 설명된 배열들 및 상세들에 대한 수정들 및 변형들은 당업자들에게 명백할 것임이 이해된다. 그러므로, 본 발명은 단지 첨부된 특허 청구항들의 범위에 의해서만 제한되고 여기에서의 실시예들의 기술 및 설명에 의해 제공된 특정 상세들에 의해서 제한되지 않는다는 것이 의도된다.

도 1은 서브대역 블록 기반 전위, 시간 스트레치, 또는 전위 및 시간 스트레치의 조합의 원리를 도시한다. 입력 시간 도메인 신호는 다수의 복소수 값의 서브대역 신호들을 제공하는 분석 필터 뱅크(101)에 공급된다. 이것들은 서브대역 프로세싱 유닛(102)에 공급되고, 그 동작은 제어 데이터(104)에 의해 영향을 받을 수 있다. 각각의 출력 서브대역은 하나의 프로세싱으로부터 또는 두 개의 입력 서브대역들로부터 획득되거나, 심지어 여러 개의 이러한 프로세싱된 서브대역들의 결과의 중첩으로서 획득될 수 있다. 상기 다수의 복소수 값의 출력 서브대역들은 합성 필터 뱅크(103)에 공급되어, 결과적으로 수정된 시간 도메인 신호를 출력한다. 선택적 제어 데이터(104)는 상기 서브대역 프로세싱의 구성 및 파라미터들을 설명하고, 이것은 상기 신호가 전위되도록 적응될 수 있다. 교차 곱 강화된 전위의 경우에 대해, 이 데이터는 우세한 기본 주파수에 관한 정보를 운반할 수 있다.

도 2는 하나의 서브대역 입력을 가진 비선형 서브대역 블록 프로세싱의 동작을 도시한다. 물리적 시간 스트레치 및 전위의 타겟 값들, 및 상기 분석 및 합성 필터 뱅크들(101, 103)의 물리적 파라미터들을 고려해볼 때, 각각의 타겟 서브대역 인덱스에 대한 소스 서브대역 인덱스 뿐만 아니라 서브대역 시간 스트레치 및 전위 파라미터들을 추론한다. 상기 서브대역 블록 프로세싱의 목표는 그 후 상기 타겟 서브대역 신호를 생성하기 위해 상기 복소수 값의 소스 서브대역 신호의 대응하는 전위, 시간 스트레치, 또는 전위 및 시간 스트레치의 조합을 실현하는 것이다.

블록 추출기(201)는 상기 복소수 값 입력 신호로부터 샘플들의 유한 프레임을 샘플링한다. 상기 프레임은 입력 포인터 위치 및 상기 서브대역 전위 인자에 의해 규정된다. 이러한 프레임은 프로세싱 섹션(202)에서 비선형 프로세싱을 겪으며 그 후 윈도우잉 섹션(203)에서 한정된 및 가능하게는 가변 길이의 윈도우들에 의해 윈도우잉된다. 결과적인 샘플들은 상기 출력 프레임 위치가 출력 포인터 위치에 의해 규정되는 중첩 및 가산 유닛(204)에서 이전에 출력된 샘플들에 부가된다. 상기 입력 포인터는 고정된 양만큼 증분되고 상기 출력 포인터는 서브대역 신장 인자 곱하기 동일한 양만큼 증분된다. 이러한 일련의 동작들의 반복은 최대 상기 합성 윈도우의 길이까지, 상기 서브대역 신장 인자 곱하기 상기 입력 서브대역 신호 지속기간인 지속기간을 가진, 및 상기 서브대역 전위 인자에 의해 전위된 복소 주파수들을 갖고 출력 신호를 생성할 것이다. 상기 제어 신호(104)는 3개의 섹션들(201, 202, 203)의 각각에 영향을 미칠 수 있다.

도 3은 두 개의 서브대역 입력들을 가진 비선형 서브대역 블록 프로세싱의 동작을 도시한다. 물리적 시간 스트레치 및 전위의 타겟 값들, 및 상기 분석 및 합성 필터 뱅크들(101, 103)의 물리적 파라미터들을 고려해볼 때, 각각의 타겟 서브대역 인덱스에 대한 두 개의 소스 서브대역 인덱스들 뿐만 아니라 서브대역 시간 스트레치 및 전위 파라미터들을 추론한다. 상기 비선형 서브대역 블록 프로세싱이 교차 곱 부가를 통해 손실 부분들의 생성을 위해 이용되어야 하는 경우에, 섹션들(301-1, 301-2, 302, 303)의 구성, 뿐만 아니라 두 개의 소스 서브대역 인덱스들의 값들은 교차 프로세싱 제어 유닛(404)의 출력(403)에 의존할 수 있다. 상기 서브대역 블록 프로세싱의 목표는 상기 타겟 서브대역 신호를 생성하기 위해 대응하는 전위, 시간 스트레치, 또는 전위 및 시간 스트레치의 조합을 실현하는 것이다. 제 1 블록 추출기(301-1)는 제 1 복소수 값 소스 서브대역으로부터 샘플들의 유한 시간 프레임을 샘플링하고, 제 2 블록 추출기(301-2)는 제 2 복소수 값의 소스 서브대역으로부터 샘플들의 유한 프레임을 샘플링한다. 상기 프레임들은 공통 입력 포인터 위치 및 상기 서브대역 전위 인자에 의해 규정된다. 상기 두 개의 프레임들은 302에서 비선형 프로세싱을 겪으며 그 후 윈도우잉 섹션(303)에서 유한 길이 윈도우에 의해 윈도우잉된다. 상기 중첩 및 가산 유닛(204)은 도 2에서 도시된 것과 유사하거나 동일한 구조를 가질 수 있다. 이러한 일련의 동작들의 반복은 상기 서브대역 신장 인자 곱하기 상기 두 개의 입력 서브대역 신호들 중 가장 긴 것인 지속 기간을 가진(최대 합성 윈도우의 길이까지), 출력 신호를 생성할 것이다. 상기 두 개의 서브대역 신호들이 동일한 주파수들을 운반하는 경우에, 상기 출력 신호는 상기 서브대역 전위 인자에 의해 전위된 복소 주파수들을 가질 것이다. 상기 두 개의 서브대역 신호들이 상이한 주파수들을 운반하는 경우에, 본 발명은 상기 윈도우잉(303)이 상기 전위된 신호에서 손실 부분들의 생성에 적합한 타겟 주파수를 가진 출력 신호를 생성하도록 적응될 수 있다는 것을 교시한다.

도 4는 교차 곱 강화된 서브대역 블록 기반 전위, 시간 스트레치, 또는 전위 및 시간 스트레치의 조합의 원리를 도시한다. 직접 서브대역 프로세싱 유닛(401)은 도 2(섹션(202)) 또는 도 3을 참조하여 이미 설명된 종류일 수 있다. 교차 서브대역 프로세싱 유닛(402)은 또한 다수의 복소수 값 서브대역 신호들을 공급받으며, 그것의 동작은 상기 교차 프로세싱 제어 데이터(403)에 의해 영향을 받는다. 상기 교차 서브대역 프로세싱 유닛(402)은 도 3에 설명된 두 개의 서브대역 입력들을 가진 상기 유형의 비선형 서브대역 블록 프로세싱을 수행하고, 상기 출력 타겟 서브대역들은 가산기(405)에서 상기 직접 서브대역 프로세싱(401)으로부터 이것들에 부가된다. 상기 교차 프로세싱 제어 데이터(403)는 각각의 입력 포인터 위치에 대해 변할 수 있으며, 적어도 다음의 것으로 이루어진다.

ㆍ 타겟 서브대역 인덱스들의 선택된 리스트

ㆍ 각각의 선택된 타겟 서브대역 인덱스에 대한 한 쌍의 소스 서브대역 인덱스들; 및

ㆍ 유한 길이 합성 윈도우.

교차 프로세싱 제어 유닛(404)은 상기 분석 필터 뱅크(101)로부터 출력된 다수의 복소수 값 서브대역 신호들 및 기본 주파수를 설명하는 제어 데이터(104)의 일부를 고려해볼 때 이러한 교차 프로세싱 제어 데이터(403)를 제공한다. 상기 제어 데이터(104)는 또한 상기 교차 곱 프로세싱에 영향을 미치는 다른 신호 종속적 구성 파라미터들을 운반할 수 있다.

다음의 텍스트에서, 교차 곱 강화된 서브대역 블록 기반 시간 스트레치 및 전위의 원리들에 대한 설명은 도 1 내지 도 4를 참조하여 및 적절한 수학적 용어를 부가함으로써 개괄될 것이다.

전체 고조파 트랜스포저 및/또는 시간 신장기의 두 개의 주요 구성 파라미터들은,

ㆍ

: 원하는 물리적 시간 신장 인자; 및

ㆍ

: 원하는 물리적 전위 인자이다.

상기 필터 뱅크들(101, 103)은 QMF 또는 윈도우잉된 DFT 또는 웨이블릿 변환과 같은 임의의 복소 지수 변조된 유형일 수 있다. 상기 분석 필터 뱅크(101) 및 상기 합성 필터 뱅크(103)는 상기 변조에서 짝수로 또는 홀수로 적층될 수 있으며 광범위한 프로토타입 필터들 및/또는 윈도우들로부터 규정될 수 있다. 이들 2차 선택들 모두는 위상 보정들 및 서브대역 매핑 관리와 같은 후속 설계에서의 상세들에 영항을 미치지만, 상기 서브대역 프로세싱에 대한 주요 시스템 설계 파라미터들은 통상적으로 모두가 물리 유닛들로 측정된, 다음의 4개의 필터 뱅크 파라미터들의 두 개의 몫들(△t_S/△t_A 및 △f_S/△f_A)로부터 도출될 수 있다. 상기 몫들에서,

ㆍ△t_A는 (예를 들면, 초들[s]로 측정된) 분석 필터 뱅크(101)의 서브대역 샘플 시간 단계 또는 시간 스트라이드이다;

ㆍ△f_A는 (예를 들면, Hertz[1/2]로 측정된) 분석 필터 뱅크(101)의 서브대역 주파수 간격이다;

ㆍ△t_S는 (예를 들면, 초들[s]로 측정된) 합성 필터 뱅크(103)의 서브대역 샘플 시간 단계 또는 시간 스트라이드이다;

ㆍ△f_S는 (예를 들면, Hertz[1/2]로 측정된) 합성 필터 뱅크(103)의 서브대역 주파수 간격이다.

상기 서브대역 프로세싱 유닛(102)의 구성에 대해, 다음의 파라미터들이 계산되어야 한다.

ㆍ S: 서브대역 신장 인자, 즉

에 의해 상기 시간 도메인 신호의 전체 물리적 시간 스트레치를 달성하기 위해 입력 및 출력 샘플들의 비로서 상기 서브대역 프로세싱 유닛(102) 내에서 적용되는 신장 인자;

ㆍ Q: 서브대역 전위 인자, 즉 상기 인자(

)에 의해 상기 시간 도메인 신호의 전체 물리적 주파수 전위를 달성하기 위해 상기 서브대역 프로세싱 유닛(102) 내에서 적용된 전위 인자; 및

ㆍ 소스 및 타겟 서브대역 인덱스들 사이에서의 관련성, n은 상기 서브대역 프로세싱 유닛(102)에 들어가는 분석 서브대역의 인덱스를 나타내고, m은 상기 서브대역 프로세싱 유닛(102)의 출력에서 대응하는 합성 서브대역의 인덱스를 나타낸다.

상기 서브대역 신장 인자(S)를 결정하기 위해, 물리적 지속기간(D)의 분석 필터 뱅크(101)로의 입력 신호는 상기 서브대역 프로세싱 유닛(102)으로의 입력에서 분석 서브대역 샘플들의 수(D/△t_A)에 대응한다. 이들(D/△t_A)은 상기 서브대역 신장 인자(S)를 이용하는 서브대역 프로세싱 유닛(102)에 의해 SㆍD/△t_A 샘플들로 스트레칭될 것이다. 상기 합성 필터 뱅크(103)의 출력에서, 이들 SㆍD/△t_A 샘플들은 △t_SㆍSㆍD/△t_A의 물리적 지속기간을 갖는 출력 신호를 야기한다. 이러한 후자의 지속기간은 특정 값(

ㆍD)을 충족시켜야 하기 때문에, 즉 상기 시간 도메인 출력 신호의 지속기간이 상기 물리적 시간 신장 인자(

)에 의해 상기 시간 도메인 입력 신호와 비교하여 시간 신장되어야 하기 때문에, 다음의 설계 규칙이 획득된다:

(1)

물리적 전위(

)를 달성하기 위해 상기 서브대역 프로세싱 유닛(102) 내에서 적용되는 상기 서브대역 전위 인자(Q)를 결정하기 위해, 물리 주파수(Ω)의 분석 필터 뱅크(101)로의 입력 사인 곡선은 이산 시간 각 주파수(

)를 가진 복소 분석 서브대역 신호를 초래할 것이고, 상기 주요 기여는 인덱스(

)를 가진 분석 서브대역 내에서 발생한다는 것이 관찰된다. 원하는 전위된 물리 주파수(

)의 합성 필터 뱅크(103)의 출력에서의 출력 사인 곡선은 이산 각 주파수(

)의 복소 서브대역 신호를 가진 인덱스(

)를 가진 합성 서브대역을 공급하는 것을 초래할 것이다. 이러한 문맥에서,

과 상이한 앨리어싱된 출력 주파수들의 합성을 회피하기 위해 주의해야 한다. 통상적으로, 이것은 예를 들면, 적절한 분석 및/또는 합성 필터 뱅크들을 선택함으로써, 논의된 바와 같은 적절한 2차 선택들을 함으로써 회피될 수 있다. 상기 서브대역 프로세싱 유닛(102)의 출력에서 상기 이산 주파수(

)는 상기 서브대역 전위 인자(Q)에 의해 곱해진 서브대역 프로세싱 유닛(102)의 입력에서의 이산 시간 주파수(

)에 대응해야 한다. 즉, 동일한

및

를 설정함으로써, 물리적 전위 인자(

) 및 서브대역 전위 인자(Q) 사이에서의 다음의 관계가 결정될 수 있다:

(2)

마찬가지로, 주어진 타겟 또는 합성 서브대역 인덱스(m)를 위한 서브대역 프로세싱 유닛(102)의 적절한 소스 또는 분석 서브대역 인덱스(n)는 다음을 따라야 한다.

(3)

하나의 실시예에서,

, 즉 상기 합성 필터 뱅크(103)의 주파수 간격은 물리적 전위 인자에 의해 곱해진 분석 필터 뱅크(101)의 주파수 간격에 대응하고, 분석 대 합성 서브대역 인덱스(n=m)의 일-대-일 매핑이 적용될 수 있다는 것을 유지한다. 다른 실시예들에서, 상기 서브대역 인덱스 매핑은 상기 필터 뱅크 파라미터들의 상세들에 의존할 수 있다. 특히, 상기 합성 필터 뱅크(103) 및 상기 분석 필터 뱅크(101)의 주파수 간격의 부분이 물리적 전위 인자(

)와 상이하다면, 하나 또는 두 개의 소스 서브대역들은 주어진 타겟 서브대역에 할당될 수 있다. 두 개의 소스 서브대역들의 경우에, 각각 인덱스(n, n+1)를 가진 두 개의 인접한 소스 서브대역들을 이용하는 것이 바람직할 수 있다. 즉, 제 1 및 제 2 소스 서브대역들은 (n(m), n(m)+1) 또는 (n(m)+1, n(m))에 의해 주어진다.

단일 소스 서브대역을 가진 도 2의 서브대역 프로세싱이 이제 서브대역 프로세싱 파라미터들(S, Q)의 함수로서 설명될 것이다. x(k)를 상기 블록 추출기(201)에 대한 입력 신호라고 하고, h를 상기 입력 블록 스트라이드라고 하자. 즉, x(k)는 인덱스(n)를 가진 분석 서브대역의 복소수 값 분석 서브대역 신호이다. 상기 블록 추출기(201)에 의해 추출된 블록은 일반성의 손실 없이 L=R₁+R₂ 샘플들에 의해 규정되는 것으로 고려될 수 있다.

, (4)

여기서, 정수(l)는 블록 계수 인덱스이고, L은 블록 길이이고, R₁, R₂는 음이 아닌 정수들이다. Q=1에 대해, 상기 블록은 연속된 샘플들로부터 추출되지만, Q>1에 대해, 다운샘플링은 상기 입력 어드레스들이 상기 인자(Q)에 의해 뻗치는 방식으로 수행된다는 것을 주의하자. Q가 정수이면, 이 동작은 통상적으로 수행하기에 간단하지만, 보간 방법이 Q의 비-정수 값들에 대해 요구될 수 있다. 이러한 서술은 또한 즉, 입력 블록 스트라이드의 증분(h)의 비-정수 값들에 대해 관련 있다. 하나의 실시예에서, 단 보간 필터들, 예를 들면 두 개의 필터 탭들을 가진 필터들은 상기 복소수 값의 서브대역 신호에 적용될 수 있다. 예를 들면, 단편적인 시간 인덱스(K+0.5)에서의 샘플이 요구된다면, 계수들(a, b)가 상수들일 수 있거나 서브대역 인덱스(예를 들면, WO2004/097794 및 WO2007/085275를 참조)에 의존할 수 있는, 형태(

)의 두 개의 탭 보간은 충분한 품질을 보장할 수 있다.

식(4)의 관심 있는 특수한 경우는 추출된 블록이 단일 샘플로 이루어진, 즉 블록 길이가 L=1인 R₁=0, R₂=1이다.

복소수의 극 표현(

)을 갖고(여기서 |z|는 상기 복소수의 크기이고

는 상기 복소수의 위상이다), 상기 입력 프레임(x_i)으로부터 출력 프레임(y_i)을 처리하는 비선형 프로세싱 유닛(202)이 유리하게는 다음을 통해 위상 수정 인자(T=SQ)에 의해 유리하게 규정된다.

(5)

여기서, ρ∈[0,1]은 기하학적 크기 가중 파라미터이다. 상기 경우(ρ=0)는 추출된 블록의 순수 위상 수정에 대응한다. 상기 크기 가중치의 특히 매력적인 값은 특정 계산 복잡도 경감이 상기 블록 길이(L)와 상관없이 획득되는 ρ= l-1/T이고, 결과적인 과도 응답은 경우(ρ=0)에 대해 다소 향상된다. 상기 위상 보정 파라미터(θ)는 상기 필터 뱅크 상세들 및 소스 및 타겟 서브대역 인덱스들에 의존한다. 하나의 실시예에서, 상기 위상 보정 파라미터(θ)는 입력 사인 곡선들의 세트를 스위핑(sweeping)함으로써 실험적으로 결정될 수 있다. 더욱이, 상기 위상 보정 파라미터(θ)는 인접한 타겟 서브대역 복소 사인 곡선들의 위상 차를 연구함으로써 또는 디랙 펄스형의 입력 신호에 대한 성능을 최적화함으로써 도출될 수 있다. 마침내, 분석 및 합성 필터 뱅크들(101, 103)의 적절한 설계를 이용하여, 상기 위상 보정 파라미터(θ)가 0으로 설정되거나 생략될 수 있다. 상기 위상 수정 인자(T)는 식(5)의 제 1 라인에서 상기 계수들(T-1, 1)이 위상들의 선형 조합에서 정수들이도록 정수이어야 한다. 이러한 가정을 갖고, 즉 위상 수정 인자(T)가 정수라고 가정하여, 상기 비선형 수정의 결과는 위상들이 식별 모듈로(2π)에 의해 애매할지라도 잘 규정된다.

즉, 식(5)는 출력 프레임 샘플의 위상이 일정한 오프셋 값에 의해 대응하는 입력 프레임 샘플의 위상을 오프셋함으로써 결정된다는 것을 특정한다. 이러한 일정한 오프셋 값은 상기 수정 인자(T)에 의존할 수 있으며, 그 자체는 상기 서브대역 신장 인자 및/또는 상기 서브대역 전위 인자에 의존한다. 더욱이, 상기 일정한 오프셋 값은 입력 프레임으로부터의 특정 입력 프레임 샘플의 위상에 의존할 수 있다. 이러한 특정 입력 프레임 샘플은 주어진 블록의 모든 출력 프레임 샘플들 모두의 위상의 결정에 대해 고정되게 유지된다. 식(5)의 경우에서, 상기 입력 프레임의 중심 샘플의 위상은 특정 입력 프레임 샘플의 위상으로서 이용된다.

식(5)의 제 2 라인은 출력 프레임의 샘플의 크기가 입력 프레임의 대응하는 샘플의 크기에 의존할 수 있음을 특정한다. 더욱이, 상기 출력 프레임의 샘플의 크기는 특정 입력 프레임 샘플의 크기에 의존할 수 있다. 이러한 특정 입력 프레임 샘플은 모든 출력 프레임 샘플들의 크기의 결정을 위해 이용될 수 있다. 식(5)의 경우에, 상기 입력 프레임의 중심 샘플은 특정 입력 프레임 샘플로서 이용된다. 일 실시예에서, 상기 출력 프레임의 샘플의 크기는 상기 입력 프레임의 대응 샘플 및 특정 입력 프레임 샘플의 크기의 기하 평균에 대응할 수 있다.

윈도우잉 유닛(203)에서, 길이(L)의 윈도우(w)는 출력 프레임 상에 적용되고, 윈도우잉된 출력 프레임을 야기한다.

(6)

최종적으로, 모든 프레임들은 제로들만큼 확대되고, 중첩 및 가산 동작(204)은 다음에 의해 규정된다고 가정된다.

(7)

여기에서, 상기 중첩 및 가산 유닛(204)은 Sh의 블록 스트라이드, 즉 상기 입력 블록 스트라이드(h)보다 S배 높은 시간 스트라이드를 적용한다는 것이 주의되어야 한다. 식(4) 및 식(7)의 시간 스트라이드들의 이러한 차이로 인해, 상기 출력 신호(z(k))의 지속기간은 상기 입력 신호(x(k))의 지속기간의 S배이고, 즉 합성 서브대역 신호는 상기 분석 서브대역 신호에 비교하여 서브대역 신장 인자(S)만큼 신장되었다. 이러한 관찰은 통상적으로 상기 윈도우의 길이(L)가 상기 신호 지속기간과 비교할 때 무시해도 될 정도이면 적용한다는 것이 주의되어야 한다.

복소 사인 곡선이 상기 서브대역 프로세싱(102)으로의 입력, 즉 복소 사인 곡선에 대응하는 분석 서브대역 신호로서 이용되는 경우에 대해,

(8)

그것은 식(4) 내지 식(7)을 적용함으로써 상기 서브대역 프로세싱(102)의 출력, 즉 대응하는 합성 서브대역 신호는 ρ와 관계없이,

(9)

에 의해 주어진다는 것이 결정될 수 있다. 그러므로, 이산 시간 주파수(ω)의 복소 사인 곡선은 Sh의 스트라이드를 가진 합성 윈도우 시프트들이 모든 k에 대해 동일한 상수 값(K)으로 합산되는 경우에만 이산 시간 주파수(Qω)를 가진 복소 사인 곡선으로 변환될 것이다.

(10)

S=1 및 T=Q인 순수 전위의 특수한 경우를 고려하는 것은 예시적이다. 입력 블록 스트라이드가 h=1이고, R₁=0, R₂=1이라면, 상기 모두, 즉 특히 식(5)는 포인트-단위 또는 샘플 기반 위상 수정 규칙으로 감소한다

(11).

상기 서브대역 프로세싱 유닛(102)은 특정 프로세싱 파라미터들, 예를 들면 상기 블록 추출기들의 블록 길이를 설정하기 위해 상기 제어 데이터(104)를 이용할 수 있다.

다음에서, 상기 서브대역 프로세싱의 설명은 두 개의 서브대역 입력들을 가진 도 3의 경우를 커버하도록 확대될 것이다. x⁽¹⁾(k)는 제 1 블록 추출기(301-1)에 대한 입력 서브대역 신호라고 하고, x⁽²⁾(k)는 제 2 블록 추출기(301-2)에 대한 입력 서브대역 신호라고 하자. 각각의 추출기는 상이한 다운샘플링 인자를 이용할 수 있으며, 추출된 블록들을 초래한다

. (12)

상기 비선형 프로세싱(302)은 출력 프레임(y₁)을 생성하고, 다음에 의해 규정될 수 있다

. (13)

303에서의 프로세싱은 다시 (6) 및 (7)에 의해 설명되고 204는 단일 입력 경우의 문맥에서 설명된 중첩 및 가산 프로세싱과 동일하다.

음이 아닌 실수 파라미터들(D₁, D₂, ρ) 및 음이 아닌 정수 파라미터들(T₁, T₂) 및 합성 윈도우(w)의 규정은 이제 원하는 동작 모드에 의존한다. 동일한 서브대역이 입력들(x⁽¹⁾(k)=x⁽²⁾(k) 및 D₁=Q, D₂=0, T₁=1, T₂=T-1) 둘 모두에 공급된다면, (l2) 및 (l3)에서의 동작들은 단일 입력 경우에서 (4) 및 (5)의 것들로 감소한다는 것을 주의하자.

하나의 실시예에서, 상기 합성 필터 뱅크(103)의 주파수 간격(△f_S) 및 상기 분석 필터 뱅크(101)의 주파수 간격(△f_A)의 비는 원하는 물리 전위 인자(

)와 상이하고, 각각 인덱스(n, n+1)를 가진 두 개의 분석 서브대역들로부터의 인덱스(m)를 가진 합성 서브대역의 샘플들을 결정하는 것이 유리할 수 있다. 주어진 인덱스(m)에 대해, 대응하는 인덱스(n)는 식(3)에 의해 주어진 분석 인덱스 값(n)을 절단함으로써 획득된 정수 값에 의해 주어질 수 있다. 상기 분석 서브대역 신호들 중 하나, 예를 들면 인덱스(n)에 대응하는 분석 서브대역 신호는 제 1 블록 추출기(301-1)로 공급되고 다른 분석 서브대역 신호, 예를 들면 인덱스(n+1)에 대응하는 것은 제 2 블록 추출기(301-2)에 공급된다. 이들 두 개의 분석 서브대역 신호들에 기초하여, 인덱스(m)에 대응하는 합성 서브대역 신호가 상기 개괄된 프로세싱에 따라 결정된다. 두 개의 블록 추출기들(301-1, 302-1)로의 인접한 분석 서브대역 신호들의 할당은 식(3)의 인덱스 값을 절단할 때 획득되는 나머지, 즉 식(3)에 의해 주어진 정확한 인덱스 값 및 식(3)으로부터 획득된 절단된 정수 값(n)의 차이에 기초할 수 있다. 상기 나머지가 0.5보다 크다면, 인덱스(n)에 대응하는 상기 분석 서브대역 신호는 제 2 블록 추출기(301-2) 할당될 수 있으며, 그렇지 않다면, 이러한 분석 서브대역 신호가 상기 제 1 블록 추출기(301-1)에 할당될 수 있다. 이러한 동작 모드에서, 상기 파라미터들은 동일한 복소 주파수(ω)를 공유하는 입력 서브대역 신호들이,

(14)

이산 시간 주파수(Qω)를 가진 복소 사인 곡선인 출력 서브대역 신호를 야기하도록 설계될 수 있다.

이것은 다음의 관계들이 유지된다면 발생한다는 것이 밝혀진다:

(15)

교차 곱들에 의해 손실 부분들을 생성하는 동작 모드에 대해, 상기 설계 기준들은 상이하다. 물리적 전위 파라미터(

)로 돌아가면, 교차 곱 부가의 목표는 주파수들(Ω, Ω+Ω₀)에서의 입력들을 고려해볼 때, r=1,...,

-1에 대한 주파수들(

)에서 출력을 생성하는 것이고, 여기서 Ω₀는 입력 신호의 우세한 피치된 성분에 속하는 기본 주파수이다. WO2010/081892에 설명된 바와 같이, 이들 항들의 선택적인 부가는 고조파 시리즈의 완료 및 고스트 피치 아티팩트의 상당한 감소를 야기할 것이다.

교차 프로세싱 제어(404)를 동작시키기 위한 구성 알고리즘이 이제 개괄될 것이다. 타겟 출력 서브대역 인덱스(m), 파라미터(r=1,...,

-1), 및 기본 주파수(Ω₀)를 고려해볼 때, 이것은 적절한 의미에서 다음의 시스템의 식들을 풂으로써 적절한 소스 서브대역 인덱스들(n₁, n₂)을 추론할 수 있다.

(16)

여기서 σ=1/2는 홀수로 적층된 필터 뱅크 변조(통상적으로 QMF 및 MDCT 필터 뱅크들에 대해 이용되는 바와 같은)를 위한 것이고 σ=0은 짝수로 적층된 필터 뱅크 변조(통상적으로 FFT 필터 뱅크들을 위해 이용되는 바와 같은)를 위한 것이다.

상기 규정들을 이용하면,

ㆍ

: 상기 분석 필터 뱅크 주파수 간격의 단위들로 측정된 기본 주파수;

ㆍ

: 분석 서브대역 주파수 간격에 대한 합성의 몫

ㆍ

: 정수 값의 더 낮은 쪽의 소스 인덱스에 대한 실수 값이다.

(16)에 대한 유리한 근사해의 일 예는 n^f에 가장 가까운 정수로서 n₁, 및 n^f+p에 가장 가까운 정수로서 n₂를 선택함으로써 주어진다.

기본 주파수가 상기 분석 필터 뱅크 간격보다 작다면, 즉 p<1이라면, 교차 곱의 부가를 취소하는 것이 유리할 수 있다.

WO2010/081892에 교시된 바와 같이, 교차 곱은 교차 곱들 없이 상기 전위로부터 상당한 주요 기여를 이미 가진 출력 서브대역에 부가되지 않아야 한다. 게다가, 기껏해야 경우들(r=1,...,

-1) 중 하나는 교차 곱 출력에 기여해야 한다. 여기에서, 이들 규칙들은 각각의 타겟 출력 서브대역 인덱스(m)에 대해 다음의 3개의 단계들을 수행함으로써 실행될 수 있다:

1. 중심 시간 슬롯(k=hl)에서(또는 그것의 근처로부터) 평가된 후보 소스 서브대역 크기들(|x⁽¹⁾|, |x⁽²⁾|)의 최소치의 R=1,...,

-1의 모든 선택들에 걸쳐 최대치(M_C)를 계산하고, 상기 소스 서브대역들(x⁽¹⁾, x⁽²⁾)은 식(16)에서처럼 인덱스들(n₁, n₂)에 의해 주어질 수 있다.

2. 인덱스(

)(식 3과 비교)를 가진 소스 서브대역으로부터 획득된 직접 소스 항(|x|)에 대한 대응 크기(M_S)를 계산한다;

3. 단지 M_C > qM_S인 경우에만 상기 포인트(1)에서의 M_C에 대한 승리 선택으로부터의 교차 항을 활성화시키며, 여기서 q는 미리 결정된 임계 값이다.

이러한 절차에 대한 변형들은 특정 시스템 구성 파라미터들에 의존하여 바람직할 수 있다. 하나의 이러한 변형은 몫(M_C/M_S)에 의존하는 보다 매끄러운 규칙들을 가진 포인트(3)로 하드 임계점을 대신하는 것이다. 또 다른 변형은 예를 들면, 분석 주파수 간격 단위들(p)로 측정된 기본 주파수에 대한 한정된 리스트의 후보 값들에 의해 규정된,

-1보다 많게 포인트(1)에서의 극대화를 확대하는 것이다. 또 다른 변형은 고정된 샘플의 크기, 최대 크기, 평균 크기, l^p-놈 의미에서의 크기 등과 같은 서브대역 크기들의 상이한 측정들을 적용하는 것이다.

n₁ 및 n₂의 값들과 함께 교차 곱의 부가를 위해 선택된 타겟 소스 대역들(m)의 리스트는 교차 프로세싱 제어 데이터(403)의 주요 부분을 구성한다. 아직 설명되어야 하는 것은 구성 파라미터들(D₁, D₂, ρ), 위상 회전(l3)에 나타나는 음이 아닌 정수 파라미터들(T₁, T₂) 및 교차 서브대역 프로세싱(402)에 이용될 합성 윈도우(w)이다. 교차 곱 상황을 위해 사인 곡선 모델을 삽입하는 것은 다음의 소스 서브대역 신호들을 야기한다:

, (17)

여기서

및

. 마찬가지로, 원하는 출력 서브대역은 다음의 형태이다,

. (18)

계산들은 이러한 타겟 출력이 (15)가 다음과 함께 이행된다면 달성될 수 있다는 것을 드러낸다,

. (19)

조건식들(15) 및 (19)는 다음과 같으며,

, (20)

이것은 (13)에서 위상 수정에 대한 정수 인자들(T1, T2)을 규정하고 다운샘플링 인자들(D1, D2)의 값들을 설정할 때 몇몇 설계 자유도를 제공한다. 크기 가중 파라미터는 유리하게는

에 대해 선택될 수 있다. 보여질 수 있는 바와 같이, 이들 구성 파라미터들은 단지 r의 선택을 통해 기본 주파수(Ω₀)에 의존한다. 그러나, 유지하기 위한 (18)에 대해, 상기 합성 윈도우(w) 상에서의 새로운 조건, 즉

(21)

이 나타난다.

정확하게 또는 대략 (21)을 만족시키는 합성 윈도우(w)는 교차 프로세싱 제어 데이터(403)의 마지막 조각으로서 제공되는 것이다.

타겟 출력 서브대역 인덱스(m) 및 기본 주파수(Ω₀)와 같은 입력 파라미터들에 기초하여 교차 프로세싱 제어 데이터(403)를 계산하기 위한 상기 알고리즘은 전적으로 대표적인 특성이고 본 발명의 범위를 제한하지 않는다는 것이 주의된다. 숙련자의 지식 및 보통의 실험 내에서 본 개시의 변형들, 예를 들면 입력 신호들(17)에 응답하여 출력으로서 신호(18)를 제공하는 추가의 서브대역 블록 기반 프로세싱 방법은 본 발명의 범위 내에 완전히 속한다.

도 5는 HFR 강화 오디오 코덱에서 여러 차수들의 전위를 이용하여 서브대역 블록 기반 전위의 적용에 대한 예시적인 시나리오를 도시한다. 송신된 비트-스트림은 코어 디코더(501)에서 수신되고, 이것은 샘플링 주파수(fs)에서 저 대역폭 디코딩된 코어 신호를 제공한다. 상기 저 대역폭 디코딩된 코어 신호는 64 대역 QMF 합성 뱅크(역 QMF)(505)에 앞서 복소 변조된 32 대역 QMF 분석 뱅크(502)에 의해 출력 샘플링 주파수(2fs)로 재샘플링된다. 상기 두 개의 필터 뱅크들(502 및 505)은 동일한 물리 파라미터들(△t_S=△t_A, △f_S=△f_A)을 공유하고, 상기 HFR 프로세싱 유닛(504)은 간단히 상기 저 대역폭 코어 신호에 대응하는 수정되지 않은 보다 낮은 서브대역들을 통과시킨다. 상기 출력 신호의 고 주파수 콘텐트는 HFR 프로세싱 유닛(504)에 의해 수행된 스펙트럼 성형 및 수정의 대상이 되는, 다수의 트랜스포저 유닛(503)으로부터의 출력 대역들을 상기 64 대역 QMF 합성 뱅크(505)의 보다 높은 서브대역들에 공급함으로써 획득된다. 상기 다수의 트랜스포저(503)는 상기 디코딩된 코어 신호의 입력으로서 취하고 여러 개의 전위된 신호 성분들의 조합 또는 중첩의 64 QMF 대역 분석을 나타내는 다수의 서브대역 신호들을 출력한다. 목표는 상기 HFR 프로세싱이 바이패스된다면, 각각의 성분은 상기 코어 신호(

=2, 3,..., 및

=1)의 시간 스트레치 없이 정수 물리적 전위에 대응한다. 본 발명의 시나리오에서, 상기 트랜스포저 제어 신호(104)는 기본 주파수를 설명하는 데이터를 포함한다. 이 데이터는 대응하는 오디오 인코더로부터의 비트스트림을 통해 송신되고, 상기 디코더에서의 피치 검출에 의해 추론되거나, 송신 및 검출된 정보의 조합으로부터 획득될 수 있다.

도 6은 단일 64 대역 QMF 분석 필터 뱅크를 적용하는 다차 서브대역 블록 기반 전위의 동작을 위한 예시적인 시나리오를 도시한다. 여기에서 3개의 전위 차수들(

=2, 3, 4)은 출력 샘플링 레이트(2fs)에서 동작하는 64 대역 QMF의 도메인에서 생성 및 전달되어야 한다. 상기 병합 유닛(603)은 간단히 각각의 전위 인자 브랜치로부터 상기 HFR 프로세싱 유닛에 공급될 단일의 다수의 QMF 서브대역들로 관련 서브대역들을 선택 및 조합한다. 상기 목표는 구체적으로 64 대역 QMF 분석(601), 서브대역 프로세싱 유닛(602-

), 및 64 대역 QMF 합성(505)의 프로세싱 체인이

=1(즉, 스트레치가 없음)를 가진

의 물리적 전위를 야기한다는 것이다. 도 1의 101, 102, 및 103을 갖는 이들 3개의 블록들을 식별할 때, △t_A=64fs 및 △f_A=fs/128이고, 따라서 △t_S/△t_A=1/2 및 F=△f_S/△f_A임을 발견한다. 602-

에 대한 특정 구성 파라미터들의 설계는 각각의 경우(

=2, 3, 4)에 대해 개별적으로 설명될 것이다. 모든 경우들에 대해, 상기 분석 스트라이드는 h=1이 되도록 선택되고, 정규화된 기본 주파수 파라미터(ρ=Ω₀/△f_A=128Ω₀/fs)가 알려져 있다고 가정된다.

먼저 경우(

=2)를 고려하자. 그 후 602-2는 S=2의 서브대역 스트레치를 수행해야 하고, Q=1(즉, 아무것도 없음)의 서브대역 전위 및 소스(n)와 타겟 서브대역들(m) 간의 관련성은 직접 서브대역 프로세싱에 대해 n=m에 의해 주어진다. 교차 곱 부가에 대한 본 발명의 시나리오에서, 고려할 단지 하나의 유형의 교차 곱, 즉 r=1(상기 참조, 식(15) 후)이 있으며, 식들(20)은 T₁=T₂=1 및 D₁+D₂=1로 감소한다. 대표적인 해는 D₁=0 및 D₂=1을 선택하는 것으로 이루어진다. 직접 프로세싱 합성 윈도우에 대해, R₁=R₂=5를 가진 같은 길이(L=10)의 직사각형 윈도우는 그것이 조건(10)을 만족시키기 때문에 이용될 수 있다. 교차 프로세싱 합성 윈도우에 대해, R₁=R₂=1를 가진 짧은 L=2 탭 윈도우가 최소치에 대한 교차 곱들 부가의 부가적인 복잡도를 유지하기 위해, 이용될 수 있다. 결국, 상기 서브대역 프로세싱에 대한 긴 블록을 이용하는 유익한 효과는 복소 오디오 신호들의 경우에서 가장 주목할 만하고, 여기에서 원치 않은 상호 변조 항들이 억제되고; 우세 피치의 경우에 대해, 이러한 아티팩트들은 발생할 가능성이 적다. L=2 탭 윈도우는 h=1 및 S=2이기 때문에 (10)을 만족시킬 수 있는 가장 짧은 것이다. 그러나, 본 발명에 의해, 상기 윈도우는 유리하게는 (21)을 만족시킨다. 가까이에 있는 파라미터들에 대해, 이것은 다음에 이르며,

이것은 w(0)=1 및

를 선택함으로써 이행된다.

경우(

=3)에 대해, (1) 내지 (3)에 의해 주어진 602-3의 명세들은 그것이 S=2의 서브대역 스트레치, Q=3/2의 서브대역 전위를 수행해야 하고 직접 항 프로세싱에 대한 소스(n) 및 타겟(m) 서브대역들 간의 관련성은

에 의해 주어진다. 두 개의 유형들의 교차 곱 항들(r=1, 2)이 존재하고 상기 식들(20)은 다음으로 감소한다.

대표적인 해는 다음과 같은 다운샘플링 파라미터들을 선택하는 것으로 이루어진다.

ㆍ r=1에 대해 D₁=0 및 D₂=3/2;

ㆍ r=2에 대해 D₁=3/2 및 D₂=0.

직접 프로세싱 합성 윈도우에 대해, R₁=R₂=4를 가진 동일 길이(L=8)의 직사각형 윈도우가 이용될 수 있다. 교차 프로세싱 합성 윈도우에 대해, R₁=R₂=1을 갖는 짧은 L=2 탭 윈도우가 이용될 수 있고,

를 만족하고,

이것은 w(0)=1 및 w(-1)=exp(iα)를 선택함으로써 이행된다.

경우(

=4)에 대해, (1) 내지 (3)에 의해 주어진 602-4에 대한 명세들은 그것이 S=2의 서브대역 스트레치, Q=2의 서브대역 전위를 수행해야 하고 상기 직접 항 프로세싱에 대한 소스(n) 및 타겟 서브대역들(m) 간의 관련성이 n=2m에 의해 주어진다는 것이다. 3개의 유형들의 교차 곱 항들(r=1, 2, 3)이 존재하고, 식들(20)은 다음으로 감소한다.

.

대표적인 해는 다음을 선택하는 것으로 이루어진다.

ㆍ r=1에 대해 D₁=0 및 D₂=2;

ㆍ r=2에 대해 D₁=0 및 D₂=1;

ㆍ r=3에 대해 D₁=2 및 D₂=0;

직접 프로세싱 합성 윈도우에 대해, R₁=R₂=3을 가진 동일 길이(L=6)의 직사각형 윈도우가 이용될 수 있다. 상기 교차 프로세싱 합성 윈도우에 대해, R₁=R₂=1을 갖는 짧은 L=2 탭 윈도우가 이용될 수 있고,

를 만족시키고,

이것은 w(0)=1 및 w(-1)=exp(iα)를 선택함으로써 이행된다.

1 이상의 r 값이 적용가능한 상기 경우들의 각각에서, 선택은 예를 들면, 식(17) 전에 설명된 3-단계 절차와 유사하게 일어날 것이다.

도 7은 기본 주파수(Ω₀=564.7 Hz)를 가진 고조파 신호의 진폭 스펙트럼을 묘사한다. 상기 신호의 저 주파수 부분(701)은 다수의 트랜스포저를 위한 입력으로서 이용된다. 상기 트랜스포저의 목적은 상기 입력 신호의 고 주파수 부분(702)에 가능한 가까운 신호를 생성하는 것이고, 따라서 상기 고-주파수 부분(702)의 송신은 비강제적이고 이용가능한 비트 레이트는 경제적으로 이용될 수 있다.

도 8은 입력으로서 도 7의 신호의 저 주파수 부분(701)을 가진 트랜스포저로부터의 출력들의 진폭 스펙트럼을 묘사한다. 상기 다수의 트랜스포저는 64 대역 QMF 필터 뱅크들, 입력 샘플링 주파수(fs=14400 Hz)를 이용함으로써 및 도 5의 설명에 따라 구성된다. 그러나 명료함을 위해, 단지 두 개의 전위 차수들(

=2,3)이 고려된다. 3개의 상이한 패널들(801 내지 803)은 상기 교차 프로세싱 제어 데이터의 상이한 설정들을 이용함으로써 획득된 최종 출력을 나타낸다.

상부 패널(801)은 모든 교차 곱 프로세싱이 취소되고 단지 상기 직접 서브대역 프로세싱(401)만이 활성이면, 획득된 출력 스펙트럼을 묘사한다. 이것은 상기 교차 프로세싱 제어(404)가 어떤 피치도 수신하지 않거나 p=0일 때의 경우일 것이다.

=2에 의한 전위는 4 내지 8 kHz의 범위에 있는 출력을 생성하고

=3에 의한 전위는 8 내지 12 kHz의 범위에서의 출력을 생성한다. 보여질 수 있는 바와 같이, 생성된 부분들은 점차 멀리 떨어지며 출력은 타겟 고 주파수 신호(702)로부터 상당히 벗어난다. 가청의 이중 및 삼중 "고스트" 피치 아티팩트들은 결과적인 오디오 출력에 존재할 것이다.

중간 패널(802)은 교차 곱 프로세싱이 활성이면, 획득된 출력 스펙트럼을 묘사하고, 상기 피치 파라미터(p=5)가 이용되지만(이것은 128Ω₀/fs=5.0196에 대한 근사치인), 조건(10)을 만족시키는 w(0)=w(-1)=1을 가진 단순한 두 개의 탭 합성 윈도우가 교차 서브대역 프로세싱을 위해 이용된다. 이것은 서브대역 블록 기반 프로세싱 및 교차 곱 강화된 고조파 전위의 간단한 조합에 이른다. 보여질 수 있는 바와 같이, 801과 비교하여 부가적인 출력 신호 성분들은 원하는 고조파 시리즈에 맞추어 잘 정렬되지 않는다. 이것은 그것이 상기 교차 곱 프로세싱에 대한 직접 서브대역 프로세싱의 설계로부터 물려받은 절차를 이용하기 위해 불충분한 오디오 품질을 초래한다는 것을 보여준다.

하부 패널(803)은 중간 패널(802)에 대한 것과 동일한 시나리오로부터 획득되지만, 이제 도 5의 상기 경우들(

=2, 3)에서 설명된 식들에 의해 주어진 교차 서브대역 프로세싱 합성 윈도우들을 가진 출력 스펙트럼을 묘사한다. 즉, 형태(w(0)=1 및 w(-1)=exp(iα))의 두 개의 탭 윈도우는 (21)을 만족시키고 그것이 p의 값에 의존하는 본 발명에 의해 교시된 특징을 갖는다. 보여질 수 있는 바와 가티, 상기 조합된 출력 신호는 702의 원하는 고조파 시리즈에 맞추어 매우 잘 정렬한다.

도 9는 두 개의 입력 샘플들(u₁, u₂)을 수신하고, 그 크기가 입력 샘플들의 크기들의 기하 평균에 의해 주어지고 그 위상이 상기 입력 샘플들의 위상들의 선형 조합인, 이들 프로세싱된 샘플(w)에 기초하여 생성하도록 구성된 섹션들을 포함한 비-선형 프로세싱 프레임 프로세싱 유닛(202)의 일부를 도시하고, 즉

(22)

각각의 사전-정규화기(901, 902)에서 상기 입력 샘플들(u₁, u₂) 각각을 사전-정규화하고

를 출력하는 가중된 곱셈기(910)에서 상기 사전-정규화된 입력 샘플들(

)을 곱함으로써 본 명세서에 따라 상기 프로세싱된 샘플(w)을 획득하는 것이 가능하다. 명백하게, 상기 사전-정규화기들(901, 902) 및 가중된 곱셈기(910)의 동작은 입력 파라미터들(a, b, α, 및 β)에 의해 결정된다. 식들(22)은 α=T₁, β=T₂, a=1-ρ/T₁, b=1-(1-ρ)/T₂이면 이행될 것임을 증명하는 것은 쉽다. 숙련자는 입력 샘플들의 임의의 수(N₀)에 대한 이러한 레이아웃을 쉽게 일반화할 수 있을 것이고, 여기서 곱셈기는 그 일부 또는 모두가 사전-정규화를 겪는 N₀ 입력 샘플들을 공급받는다. 그 후 공통 사전-정규화(a=b, 사전-정규화기들(901, 902)이 동일한 결과들을 생성한다는 것을 내포하는)는 파라미터(ρ)가 ρ=T₁/(T₁+T₂)로 설정된다면 가능하다는 것을 주시한다. 이것은 공통 사전-정규화 단계가 곱셈 이전에 모든 후보 서브대역들 상에서 실시될 수 있기 때문에, 많은 서브대역들이 고려될 때 계산 이점을 야기한다. 유리한 하드웨어 구현에 있어서, 복수의 동일하게 기능하는 사전-정규화기들은 시간-분할 방식으로 상이한 서브대역들로부터의 샘플들 사이에서 교번하는 단일 유닛으로 교체된다.

본 발명의 추가 실시예들은 상기 설명을 판독한 후 당업자에게 명백해질 것이다. 본 설명 및 도면들은 실시예들 및 예들을 개시하지만, 본 발명은 이들 특정 예들에 제한되지 않는다. 다수의 수정들 및 변형들이 첨부한 청구항들에 의해 규정되는 본 발명의 범위로부터 벗어나지 않고 이루어질 수 있다.

상기에 개시된 시스템들 및 방법들은 소프트웨어, 펌웨어, 하드웨어 또는 그 조합으로서 구현될 수 있다. 특정 구성요소들 또는 모든 구성요소들은 디지털 신호 프로세서 또는 마이크로프로세서에 의해 실행된 소프트웨어로서 구현될 수 있거나, 하드웨어로서 또는 주문형 반도체로서 구현될 수 있다. 이러한 소프트웨어는 컴퓨터 저장 미디어(또는 비-일시적 미디어) 및 통신 미디어(또는 일시적 미디어)를 포함할 수 있는 컴퓨터 판독가능한 미디어 상에 배포될 수 있다. 당업자에게 잘 알려진 바와 같이, 컴퓨터 저장 미디어는 컴퓨터 판독가능한 지시들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈가능한 및 비-착탈가능한 미디어 모두를 포함한다. 컴퓨터 저장 미디어는 이에 제한되지 않지만, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다목적 디스크들(DVD) 또는 다른 광 디스크 저장장치, 자기 카세트들, 자기 테이프, 자기 디스크 저장장치 또는 다른 자기 저장 디바이스들, 또는 원하는 정보를 저장하기 위해 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다. 또한, 통신 미디어는 통상적으로 컴퓨터 판독가능한 지시들, 데이터 구조들, 프로그램 모듈들, 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호에서의 다른 데이터를 구체화하고 임의의 정보 전달 미디어를 포함한다.

101: 분석 필터 뱅크 102: 서브대역 프로세싱 유닛
103: 합성 필터 뱅크 104: 제어 데이터
201: 블록 추출기 204: 중첩 및 가산 유닛
301-1: 제 1 블록 추출기 301-2: 제 2 블록 추출기
302: 비선형 프로세싱 401: 직접 서브대역 프로세싱
402: 교차 서브대역 프로세싱 유닛 404: 교차 프로세싱 제어 유닛
405: 가산기 501: 코어 디코더
502: 32 대역 QMF 분석 뱅크 503: 트랜스포저 유닛
504: HFR 프로세싱 유닛 505: 64 대역 QMF 합성 뱅크
602-2, 602-3, 602-4: 서브대역 프로세싱 유닛
603: 병합 유닛 901, 902: 사전-정규화기
910: 곱셈기

Claims (3)

1. 입력 신호로부터 시간 신장되고(stretched)/되거나 주파수 전위된(transposed) 신호를 생성하도록 구성된 시스템에 있어서,
   상기 시스템은 하나 이상의 프로세싱 요소들을 포함하는 것으로서, 상기 하나 이상의 프로세싱 요소들은:
   상기 입력 신호로부터 Y개(Y ≥ 1)의 분석 서브대역 신호들을 도출하는 것으로서, 각각의 분석 서브대역 신호는 각각이 위상 및 크기(magnitude)를 갖는 복수의 복소-값 분석 샘플들을 포함하고;
   서브밴드 전위 인자(Q) 및 서브밴드 신장 인자(S)를 이용하여 상기 Y개의 분석 서브대역 신호들로부터 합성 서브대역 신호를 생성하는 것으로서, Q 및 S 중 적어도 하나는 1보다 크고:
   L개의 입력 샘플들의 Y개의 프레임들을 생성하는 것으로서, 각각의 프레임은 분석 서브밴드 신호에서의 상기 복수의 복소-값 분석 샘플들로부터 추출되고, 프레임 길이 L은 1보다 크고, 상기 L개의 입력 샘플들 중 적어도 하나는 상기 복수의 복소-값 분석 샘플들 중 두 개 이상을 보간함으로써 도출되고;
   L개의 입력 샘플들의 후속 프레임을 형성하기 전에, 상기 복수의 복소-값 분석 샘플들에 h개의 샘플들의 블록 홉 크기를 적용하여 입력 샘플들의 프레임들의 시퀀스를 생성하고;
   입력 샘플들의 Y개의 대응하는 프레임들을 기반으로, 상기 프레임의 각각의 프로세싱된 샘플에 대한 위상 및 크기를 결정함으로써, 프로세싱된 샘플들의 프레임을 생성하는 것으로서, 적어도 하나의 프로세싱된 샘플에 대해:
   i) 상기 프로세싱된 샘플의 위상은 상기 입력 샘플들의 Y개의 프레임들 각각에서의 상기 대응하는 입력 샘플들의 각각의 위상들에 기반하고;
   ii) 상기 프로세싱된 샘플의 크기는 상기 입력 샘플들의 Y개의 프레임들 중 제 1 프레임에서의 상기 대응하는 입력 샘플의 크기와 상기 입력 샘플들의 Y개의 프레임들 중 제 2 프레임에서의 상기 대응하는 입력 샘플의 크기의 평균값으로서 결정되고;
   상기 프로세싱된 샘플들의 프레임에 상기 프레임 길이 L에 대응하는 길이의 윈도우 함수를 적용하고;
   상기 프로세싱된 샘플들의 프레임들의 시퀀스의 샘플들을 중첩 및 가산함으로써 상기 합성 서브대역 신호를 결정하고; 및
   상기 합성 서브대역 신호로부터 상기 시간 신장되고/되거나 주파수 전위된 신호를 생성하는 것으로서, 상기 시스템은 적어도 Y=2에 대하여 동작가능한, 시간 신장되고/되거나 주파수 전위된 신호를 생성하도록 구성된 시스템.
2. 입력 신호로부터 시간 신장되고(stretched)/되거나 주파수 전위된 신호를 생성하는 방법에 있어서,
   상기 입력 신호로부터 Y개(Y ≥ 2)의 분석 서브대역 신호들을 도출하는 단계로서, 각각의 분석 서브대역 신호는 각각이 위상 및 크기(magnitude)를 갖는 복수의 복소-값 분석 샘플들을 포함하는, 상기 Y개의 분석 서브대역 신호들을 도출하는 단계;
   L개의 입력 샘플들의 Y개의 프레임들을 형성하는 단계로서, 각각의 프레임은 분석 서브대역 신호에서 상기 복수의 복소-값 분석 샘플들로부터 추출되고, 프레임 길이 L은 1보다 크고, 상기 L개의 입력 샘플들 중 적어도 하나는 상기 복수의 복소-값 분석 샘플들 중 2개 이상을 보간함으로써 도출되는, 상기 L개의 입력 샘플들의 Y개의 프레임들을 형성하는 단계;
   L개의 입력 샘플들의 후속 프레임을 도출하기 이전에, 상기 복수의 복소-값 분석 샘플들에 h개의 샘플들의 블록 홉 사이즈를 적용하여 입력 샘플들의 프레임들의 시퀀스를 생성하는 단계;
   상기 입력 샘플들의 Y개의 대응하는 프레임들을 기반으로, 상기 프레임의 각각의 프로세싱된 샘플에 대한 위상 및 크기를 결정함으로써, 프로세싱된 샘플들의 프레임을 생성하는 단계로서, 적어도 하나의 프로세싱된 샘플에 대해:
   i) 상기 프로세싱된 샘플의 위상은 상기 입력 샘플들의 Y개의 프레임들 각각에서의 대응하는 입력 샘플들의 각 위상들에 기반하고,
   ii) 상기 프로세싱된 샘플의 크기는 상기 입력 샘플들의 Y개의 프레임들 중 제 1 프레임에서의 상기 대응하는 입력 샘플의 크기와 상기 입력 샘플들의 Y개의 프레임들 중 제 2 프레임에서의 상기 대응하는 입력 샘플의 크기의 평균값으로서 결정되는, 상기 프로세싱된 샘플들의 프레임을 생성하는 단계;
   상기 프로세싱된 샘플들의 프레임의 프레임 길이 L에 대응하는 길이의 윈도우 함수를 적용하고, 상기 프로세싱된 샘플들의 윈도우잉된 프레임들의 시퀀스의 샘플들을 중첩 및 가산함으로써 상기 합성 서브대역 신호를 결정하는 단계; 및
   상기 합성 서브대역 신호로부터 상기 시간 신장되고/되거나 주파수 전위된 신호를 생성하는 단계를 포함하는, 시간 신장되고/되거나 주파수 전위된 신호를 생성하는 단계를 포함하는, 시간 신장되고/되거나 주파수 전위된 신호를 생성하는 방법.
3. 제 2 항의 방법을 수행하기 위한 컴퓨터-판독가능한 지시들을 저장하는 비-일시적 데이터 캐리어.

Images