Nothing Special   »   [go: up one dir, main page]

KR20170024581A - 압축된 hoa 표현을 디코딩하기 위한 방법 및 장치와 압축된 hoa 표현을 인코딩하기 위한 방법 및 장치 - Google Patents

압축된 hoa 표현을 디코딩하기 위한 방법 및 장치와 압축된 hoa 표현을 인코딩하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20170024581A
KR20170024581A KR1020167035529A KR20167035529A KR20170024581A KR 20170024581 A KR20170024581 A KR 20170024581A KR 1020167035529 A KR1020167035529 A KR 1020167035529A KR 20167035529 A KR20167035529 A KR 20167035529A KR 20170024581 A KR20170024581 A KR 20170024581A
Authority
KR
South Korea
Prior art keywords
hoa
dir
rti
subband
sub
Prior art date
Application number
KR1020167035529A
Other languages
English (en)
Other versions
KR102296067B1 (ko
Inventor
알렉산더 크뢰거
스벤 고돈
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Publication of KR20170024581A publication Critical patent/KR20170024581A/ko
Application granted granted Critical
Publication of KR102296067B1 publication Critical patent/KR102296067B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

HOA(Higher Order Ambisonics) 신호들의 인코딩은 통상적으로 높은 데이터 레이트로 이어진다. 계수 시퀀스들을 갖는 입력 HOA 신호의 프레임들을 낮은 비트 레이트 인코딩하기 위한 방법은, 절삭된 HOA 표현(
Figure pct00778
)을 계산하는 단계 (s110), 활성 계수 시퀀스들(IC,ACT(k))을 결정하는 단계(s111), 후보 방향들(MDIR(k))을 추정하는 단계(s16), 입력 HOA 신호를 복수의 주파수 부대역들(
Figure pct00779
)로 분할하는 단계(s15), 주파수 부대역들 각각에 대해 후보 방향들(MDIR(k))의 서브셋을 활성 방향들(MDIR(k,f1),..., MDIR(k,fF))로서 그리고 각각의 활성 방향에 대해 궤적을 추정하는 단계(s161), 각각의 주파수 부대역에 대해, 활성 방향들에 따라 주파수 부대역의 계수 시퀀스들로부터 방향 부대역 신호들을 계산하는 단계(s17), 각각의 주파수 부대역에 대해, 각각의 활성 계수 시퀀스들(IC,ACT(k))을 이용하여 주파수 부대역의 계수 시퀀스들로부터 방향 부대역 신호들을 예측하는데 이용될 수 있는 예측 행렬(A(k,f1),...,A(k,fF))을 계산하는 단계(s18), 및 후보 방향들, 활성 방향들, 예측 행렬들 및 절삭된 HOA 표현을 인코딩하는 단계(s19)를 포함한다.

Description

압축된 HOA 표현을 디코딩하기 위한 방법 및 장치와 압축된 HOA 표현을 인코딩하기 위한 방법 및 장치{METHOD AND APPARATUS FOR DECODING A COMPRESSED HOA REPRESENTATION, AND METHOD AND APPARATUS FOR ENCODING A COMPRESSED HOA REPRESENTATION}
본 발명은 주어진 개수의 계수 시퀀스들을 갖는 입력 HOA 신호의 프레임들을 인코딩하기 위한 방법, HOA 신호를 디코딩하기 위한 방법, 주어진 개수의 계수 시퀀스들을 갖는 입력 HOA 신호의 프레임들을 인코딩하기 위한 장치, 및 HOA 신호를 디코딩하기 위한 장치에 관한 것이다.
HOA(Higher Order Ambisonics)는 음장 합성(WFS; wave field synthesis)이나 "22.2"로서 알려진 것과 유사한 채널 기반 접근법과 같은 기타의 기술들 중에서 3차원 사운드를 표현할 수 있는 한 가능성을 제공한다. 채널 기반 방법과는 대조적으로, HOA 표현은 특정한 확성기 셋업과는 독립적이라는 이점을 제공한다. 이러한 융통성은 특정한 확성기 셋업에 관한 HOA 표현의 재생에 요구되는 디코딩 프로세스를 댓가로 나오는 것이다. 요구되는 확성기의 수가 대개는 매우 큰 WFS 접근 방식에 비해, HOA는 단지 수 개의 확성기만으로 구성된 셋업으로 렌더링될 수 있다. HOA의 추가 이점은, 헤드폰으로의 쌍이성 렌더링(binaural rendering)을 위한 임의의 수정없이 동일한 표현이 역시 사용될 수 있다는 것이다.
HOA는, 소위, 절삭된 구면 고조파(SH; Spherical Harmonics) 확장에 의한 복합 고조 평면파 진폭의 공간 밀도의 표현에 기초한다. 각각의 확장 계수는 시간 영역 함수로 등가적으로 표현될 수 있는 각주파수(angular frequency)의 함수이다. 따라서, 일반성을 잃지 않고, 완전한 HOA 음장 표현은 실제로 O개의 시간 영역 함수들로 구성되는 것으로 이해될 수 있으며, 여기서, O는 확장 계수의 개수를 나타낸다. 이들 시간 영역 함수는 이하에서는 등가적으로 HOA 계수 시퀀스 또는 HOA 채널이라고 지칭될 것이다.
확장의 최대 차수
Figure pct00001
이 증가함에 따라 HOA 표현의 공간 해상도가 향상된다. 불행히도, 확장 계수의 개수
Figure pct00002
는 차수 N에 따라 2차식으로(quadratically) 증가한다, 특히,
Figure pct00003
이다. 차수
Figure pct00004
를 이용한 전형적인 HOA 표현은
Figure pct00005
개의 HOA (확장) 계수들을 요구한다. 상기 고려사항들에 따라, 원하는 단일-채널 샘플링 레이트
Figure pct00006
및 샘플 당 비트수
Figure pct00007
가 주어지면, HOA 표현의 전송을 위한 총 비트 레이트는
Figure pct00008
에 의해 결정된다. 결과적으로, 예를 들어, 샘플링 레이트
Figure pct00009
와 샘플당
Figure pct00010
비트를 이용하여 차수
Figure pct00011
의 HOA 표현을 전송하는 것은,
Figure pct00012
의 비트 레이트를 야기하고, 이것은, 예를 들어, 스트리밍 등의 많은 실제 응용에 대해 매우 높다. 따라서, HOA 표현의 압축이 매우 바람직하다.
HOA 음장 표현의 압축에 대한 다양한 접근법이 [4, 5, 6]에서 제안되었다. 이들 접근법들은, 음장 분석을 수행하고 주어진 HOA 표현을 방향 성분 및 잔여 환경 성분으로 분해한다는 공통점을 갖고 있다. 한편, 최종 압축된 표현은, 환경 HOA 성분의 관련 계수 시퀀스 뿐만 아니라 소위 방향 및 벡터-기반 신호의 인지 코딩(perceptual coding)으로부터 생기는 다수의 양자화된 신호를 포함한다. 또 한편으로는, 이것은, 압축된 버전으로부터의 HOA 표현의 재구성에 필요한 양자화된 신호와 관련된 추가적인 부가 정보를 포함한다.
접근법들 [4, 5, 6]에 대한 양자화된 신호의 합리적인 최소 개수는 8이다. 따라서, 각각의 개개의 인지 코더에 대해 32 kbit/s의 데이터 레이트를 가정할 때, 이들 방법들 중 하나에서의 데이터 레이트는 통상적으로 256 kbit/s보다 낮지 않다. 예를 들어, 모바일 디바이스로의 오디오 스트리밍과 유사한 소정의 응용의 경우, 이러한 총 데이터 레이트가 너무 높을 수 있다. 따라서, 명백하게 더 낮은 데이터 레이트, 예를 들어, 128 kbit/s를 해결하기 위한 HOA 압축 방법에 대한 요구가 존재한다.
음장의 HOA(Higher Order Ambisonics) 표현의 낮은 비트-레이트 압축을 위한 새로운 방법 및 장치가 개시된다.
음장의 HOA 표현을 위한 낮은 비트 레이트 압축 방법의 한 주요 양태는, HOA 표현을 복수의 주파수 부대역들로 분해하고, 각각의 주파수 부대역(즉, 부-대역) 내의 계수들을, 절삭된 HOA 표현과 다수의 예측된 방향성 부대역 신호들에 기초하는 표현의 조합으로 근사화하는 것이다.
절삭된 HOA 표현은 작은 개수의 선택된 계수 시퀀스들을 포함하고, 여기서 선택은 시간에 따라 변하는 것이 허용된다. 예를 들어, 모든 프레임마다 새로운 선택이 이루어진다. 절삭된 HOA 표현을 나타내는 선택된 계수 시퀀스들은 인지 코딩되고 최종 압축된 HOA 표현의 일부이다. 한 실시 예에서, 코딩 효율을 증가시키고 렌더링시 노이즈 언마스킹(unmasking) 효과를 감소시키기 위해, 선택된 계수 시퀀스들은 인지 코딩 이전에 무상관화(de-correlate)된다. 부분적 무상관화는 미리정의된 개수의 선택된 HOA 계수 시퀀스들에 공간 변환을 적용함으로써 달성된다. 압축해제의 경우, 무상관화는 재상관화에 의해 역전된다. 이러한 부분적인 무상관화의 큰 이점은 압축해제시 무상관화를 되돌리기 위해 추가적인 부가 정보가 필요하지 않다는 것이다.
근사화된 HOA 표현의 다른 성분은 대응하는 방향들을 갖는 다수의 방향 부대역 신호들에 의해 표현된다. 이들은 절삭된 HOA 표현의 계수 시퀀스들로부터의 예측을 포함하는 파라메타 표현에 의해 코딩된다. 실시예에서, 각각의 방향 부대역 신호는 절삭된 HOA 표현의 계수 시퀀스들의 스케일링된 합에 의해 예측(또는 표현)되고, 여기서, 스케일링은 일반적으로 복소값이다. 압축해제를 위한 방향 부대역 신호들의 HOA 표현을 재합성할 수 있기 위하여, 압축된 표현은 복소값 예측 스케일링 계수들의 양자화된 버전들 뿐만 아니라 방향들의 양자화된 버전들을 포함한다.
한 실시예에서, 주어진 개수의 계수 시퀀스 ―각각의 계수 시퀀스는 인덱스를 가짐― 를 갖는 입력 HOA 신호의 프레임들을 인코딩(및 그에 의해 압축)하기 위한 방법은,
절삭된 HOA 표현에 포함될 활성 계수 시퀀스들 IC,ACT(k)의 인덱스들의 세트를 결정하는 단계,
감소된 개수의 비제로 계수 시퀀스들(즉, 입력 HOA 신호보다 적은 수의 비제로 계수 시퀀스들 및 그에 따라 더 많은 수의 제로 계수 시퀀스들)을 갖는 절삭된 HOA 표현
Figure pct00013
을 계산하는 단계,
입력 HOA 신호로부터 제1 세트의 후보 방향들 MDIR(k)을 추정하는 단계,
입력 HOA 신호를 복수의 주파수 부대역으로 분할 ―여기서, 주파수 부대역들의 계수 시퀀스들
Figure pct00014
이 획득됨― 하는 단계,
주파수 부대역들 각각에 대해 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF)을 추정 ―제2 세트의 방향들의 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향의 인덱스이며 제1 인덱스는 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 입력 HOA 신호의 제1 세트의 후보 방향들 MDIR(k)에 포함됨(즉, 제2 세트의 방향들 중의 활성 부대역 방향들은 제1 세트의 전체 대역 방향들의 서브셋임)― 하는 단계,
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF)에 따라 주파수 부대역의 계수 시퀀스들
Figure pct00015
로부터 방향 부대역 신호들
Figure pct00016
을 계산하는 단계,
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 시퀀스들 IC,ACT(k)의 인덱스들의 세트를 이용하여 주파수 부대역의 계수 시퀀스들
Figure pct00017
로부터 방향 부대역 신호
Figure pct00018
를 예측하기 위해 구성된 예측 행렬 A(k,f1),...,A(k,fF)을 계산하는 단계, 및
제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF), 예측 행렬들 A(k,f1),...,A(k,fF) 및 절삭된 HOA 표현
Figure pct00019
을 인코딩하는 단계를 포함한다.
제2 세트의 방향들은 주파수 부대역들에 관련된다. 제1 세트의 후보 방향들은 전체 주파수 대역과 관련된다. 유익하게는, 주파수 부대역들 각각에 대해 제2 세트의 방향들을 추정하는 단계에서, 주파수 부대역의 방향들 MDIR(k,f1),..., MDIR(k,fF)은, 제2 세트의 부대역 방향들은 제1 세트의 전체 대역 방향들의 서브셋이기 때문에, 전체 대역 HOA 신호의 방향들 MDIR(k) 중에서만 탐색될 필요가 있다. 한 실시예에서, 각각의 튜플 내의 제1 및 제2 인덱스의 순차적 순서는 스왑된다, 즉, 제1 인덱스는 현재 주파수 부대역에 대한 활성 방향의 인덱스이고, 제2 인덱스는 활성 방향의 궤적 인덱스이다.
완전한 HOA 신호는 복수의 계수 시퀀스 또는 계수 채널을 포함한다. 이들 계수 시퀀스들 중 하나 이상이 제로로 설정되는 HOA 신호는 여기서는 절삭된 HOA 표현이라고 불린다. 절삭된 HOA 표현을 계산하거나 생성하는 것은 일반적으로 제로로 설정되거나 설정되지 않는 계수 시퀀스들의 선택을 포함한다. 이 선택은, 다양한 기준에 따라, 예를 들어, 제로로 설정되지 않을 계수 시퀀스로서 최대 에너지를 포함하는 것들을, 또는 인지적으로 가장 관련있는 것들을 선택하거나, 계수 시퀀스들을 임의로 선택함으로써, 이루어질 수 있다. HOA 신호를 주파수 부대역들로 분할하는 것은, 예를 들어, 직교 거울 필터(QMF)를 포함하는 분석 필터 뱅크에 의해 수행될 수 있다.
한 실시예에서, 절삭된 HOA 표현
Figure pct00020
을 인코딩하는 단계는, 절삭된 HOA 채널 시퀀스들의 부분적 무상관화, (상관된 또는 무상관화된) 절삭된 HOA 채널 시퀀스들 y1(k),..., yI(k)을 전송 채널들에 할당하기 위한 채널 할당, 전송 채널들 각각에 관한 이득 제어를 수행 ―여기서, 각각의 전송 채널에 대한 이득 제어 부가 정보가 생성됨― 하는 단계, 이득 제어된 절삭된 HOA 채널 시퀀스 z1(k),..., zI(k)를 인지 인코더에서 인코딩하는 단계, 이득 제어 부가 정보
Figure pct00021
,
Figure pct00022
, 제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF) 및 예측 행렬들 A(k,f1),...,A(k,fF)을 부가 정보 소스 인코더에서 인코딩하는 단계, 및 인지 인코더와 부가 정보 소스 코더의 출력들을 멀티플렉싱하여 인코딩된 HOA 신호 프레임
Figure pct00023
을 획득하는 단계를 포함한다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터로 하여금, 입력 HOA 신호의 프레임들을 인코딩 또는 압축하기 위한 상기 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있다.
한 실시예에서, 주어진 개수의 계수 시퀀스들 ―각각의 계수 시퀀스는 인덱스를 가짐― 을 갖는 입력 HOA 신호의 프레임들을 프레임별로 인코딩(및 그에 의해 압축)하기 위한 장치는, 프로세서와, 프로세서에서 실행될 때 입력 HOA 신호의 프레임들을 인코딩 또는 압축하기 위한 전술된 방법의 단계들을 수행하게 하는 소프트웨어 프로그램을 위한 메모리를 포함한다.
또한, 한 실시예에서, 압축된 HOA 표현을 디코딩(및 그에 의해 압축해제)하기 위한 방법은,
압축된 HOA 표현으로부터 복수의 절삭된 HOA 계수 시퀀스들
Figure pct00024
, 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내는(또는 포함하는) 할당 벡터
Figure pct00025
, 부대역 관련 방향 정보 MDIR(k+1,f1),...,MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보
Figure pct00026
Figure pct00027
를 추출하는 단계,
복수의 절삭된 HOA 계수 시퀀스들
Figure pct00028
, 이득 제어 부가 정보
Figure pct00029
Figure pct00030
, 및 할당 벡터
Figure pct00031
로부터, 절삭된 HOA 표현
Figure pct00032
을 재구성하는 단계,
분석 필터 뱅크에서, 재구성된 절삭된 HOA 표현
Figure pct00033
을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들
Figure pct00034
로 분해하는 단계,
방향 부대역 합성 블록에서, 주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현
Figure pct00035
, 부대역 관련 방향 정보 MDIR(k+1,f1),..., MDIR(k+1,fF), 및 예측 행렬들 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현
Figure pct00036
을 합성하는 단계,
F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터
Figure pct00037
에 포함되는(즉, 할당 벡터의 요소인) 인덱스 n을 갖는 경우 절삭된 HOA 표현
Figure pct00038
의 계수 시퀀스들로부터 획득되거나, 그렇지 않으면 방향 부대역 합성 블록들 중 하나에 의해 제공된 예측된 방향 HOA 성분
Figure pct00039
의 계수 시퀀스들로부터 획득되는 계수 시퀀스들
Figure pct00040
,
Figure pct00041
을 갖는 디코딩된 부대역 HOA 표현
Figure pct00042
을 조성하는 단계,
합성 필터 뱅크에서, 디코딩된 HOA 표현
Figure pct00043
을 획득하기 위해 디코딩된 부대역 HOA 표현들
Figure pct00044
을 합성하는 단계를 포함한다.
한 실시예에서, 추출하는 단계는 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 압축된 HOA 표현을 디멀티플렉싱하는 단계를 포함한다. 한 실시예에서, 인지 코딩된 부분은 인지 인코딩된 절삭된 HOA 계수 시퀀스들
Figure pct00045
을 포함하고, 추출하는 단계는 인지 인코딩된 절삭된 HOA 계수 시퀀스들
Figure pct00046
을 인지 디코더에서 디코딩하여 절삭된 HOA 계수 시퀀스들
Figure pct00047
을 획득하는 단계를 포함한다. 한 실시예에서, 추출하는 단계는, 인코딩된 부가 정보 부분을 부가 정보 소스 디코더에서 디코딩하여, 부대역 관련 방향들의 세트 MDIR(k+1,f1),..., MDIR(k+1,fF), 예측 행렬들 A(k+1,f1),...,A(k+1,fF), 이득 제어 부가 정보
Figure pct00048
Figure pct00049
, 및 할당 벡터
Figure pct00050
를 획득하는 단계를 포함한다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터로 하여금 우세 방향 신호들의 방향들을 디코딩하기 위한 상기 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있다.
한 실시예에서, 압축된 HOA 표현을 프레임별로 디코딩(및 그에 의해 압축해제)하기 위한 장치는, 프로세서와, 프로세서에서 실행될 때 입력 HOA 신호의 프레임들을 디코딩 또는 압축해제하기 위한 전술된 방법의 단계들을 수행하게 하는 소프트웨어 프로그램을 위한 메모리를 포함한다.
한 실시예에서, HOA 신호를 디코딩하기 위한 장치는,
디코딩될 HOA 신호 표현에 대한 최대 개수의 방향들 D의 인덱스들을 수신하도록 구성된 제1 모듈, 디코딩될 HOA 신호 표현의 최대 개수의 방향들 D의 방향들을 재구성하도록 구성된 제2 모듈, 부대역당 활성 방향 신호들의 인덱스들을 수신하도록 구성된 제3 모듈, 디코딩될 HOA 신호 표현의 재구성된 방향들 D로부터 부대역당 활성 방향 신호를 재구성하도록 구성된 제4 모듈, 및 부대역들의 방향 신호들을 예측하도록 구성된 제5 모듈을 포함하며, 여기서, 부대역의 현재 프레임에서 방향 신호를 예측하는 것은, 부대역의 선행 프레임의 방향 신호를 결정하는 것을 포함하고, 여기서, 방향 신호의 인덱스가 선행 프레임에서 제로이고 현재 프레임에서 비제로이면 새로운 방향 신호가 생성되고, 방향 신호의 인덱스가 선행 프레임에서 비제로이고 현재 프레임에서 제로이면 이전 방향 신호는 취소되고, 방향 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 신호의 방향은 제1 방향으로부터 제2 방향으로 이동된다.
부대역들은 일반적으로 복소값 필터 뱅크로부터 획득된다. 할당 벡터의 한 목적은, 전송된/수신된, 그에 따라 절삭된 HOA 표현에 포함되는 계수 시퀀스들의 시퀀스 인덱스들을 표시하여, 이들 계수 시퀀스들의 최종 HOA 신호로의 할당을 가능케하는 것이다. 바꾸어 말하면, 할당 벡터는, 절삭된 HOA 표현의 계수 시퀀스들 각각에 대해, 최종 HOA 신호의 어느 계수 시퀀스에 대응하는지를 나타낸다. 예를 들어, 절삭된 HOA 표현이 4개의 계수 시퀀스를 포함하고 최종 HOA 신호가 9개의 계수 시퀀스를 갖는다면, 할당 벡터는 (원칙적으로) [1,2,5,7]이 될 수 있으며, 따라서, 절삭된 HOA 표현의 제1, 제2, 제3, 및 제4 계수 시퀀스는, 실제로 최종 HOA 신호의 제1, 제2, 제5 및 제7 계수 시퀀스이다.
본 발명의 추가적인 목적, 피쳐 및 이점들은, 첨부된 도면들과 연계한 이하의 설명과 첨부된 청구항들의 고려로부터 명백해질 것이다.
본 발명의 예시적 실시형태들이 첨부된 도면을 참조하여 설명되며, 여기서,
도 1은 공간 HOA 인코더의 아키텍쳐이다,
도 2는 방향 추정 블록의 아키텍쳐이다,
도 3은 인지 부가 정보 소스 인코더이다,
도 4는 인지 부가 정보 소스 디코더이다,
도 5는 공간 HOA 디코더의 아키텍쳐이다,
도 6은 구면 좌표계이다,
도 7은 방향 추정 처리 블록이다,
도 8은, 절삭된 HOA 표현의 방향, 궤적 인덱스 세트 및 계수들이다,
도 9는 MPEG에서 이용되는 종래의 오디오 인코더이다,
도 10은 MPEG에서 이용가능한 개선된 오디오 인코더이다,
도 11은 MPEG에서 이용되는 종래의 오디오 디코더이다,
도 12는 MPEG에서 이용가능한 개선된 오디오 디코더이다,
도 13은 인코딩 방법의 플로차트이다,
도 14는 디코딩 방법의 플로차트이다.
음장의 HOA 표현들을 위한 제안된 낮은-비트 레이트 압축 방법의 한 주요한 사상은, 2개의 부분들: 절삭된 HOA 표현과 다수의 예측된 방향 부대역 신호들에 기초한 표현의 조합에 의해, 원래의 HOA 표현을 프레임별로 및 부대역별로, 즉, 각각의 HOA 프레임의 개개의 주파수 부대역 내에서 근사화하는 것이다. HOA 기본에 대한 요약이 이하에서 더 제공된다.
근사화된 HOA 표현의 제1 부분은, 작은 개수의 선택된 계수 시퀀스들로 구성된 절삭된 HOA 버전이며, 여기서, 선택은 시간에 따라(예를 들어, 프레임별로) 달라지는 것이 허용된다. 그 다음, 절삭된 HOA 버전을 나타내는 선택된 계수 시퀀스들은 인지 코딩되고 최종 압축된 HOA 표현의 일부이다. 코딩 효율을 증가시키고 렌더링시 노이즈 언마스킹(unmasking) 효과를 감소시키기 위하여, 인지 코딩 이전에 선택된 계수 시퀀스들을 무상관화하는 것이 유익하다. 부분적인 무상관화는, 미리정의된 개수의 선택된 HOA 계수 시퀀스들에 공간 변환을 적용함으로써 달성되며, 이것은 주어진 개수의 가상 확성기 신호들로의 렌더링을 의미한다. 이러한 부분적인 무상관화의 큰 이점은 압축해제시 무상관화를 되돌리기 위해 추가적인 부가 정보가 필요하지 않다는 것이다.
근사화된 HOA 표현의 제2 부분은 대응하는 방향들을 갖는 다수의 방향 부대역 신호들에 의해 표현된다. 그러나, 이들은 통상적으로 코딩되지 않는다. 대신에, 이들은, 제1 부분, 즉, 절삭된 HOA 표현의 계수 시퀀스들로부터의 예측에 의한 파라메타 표현으로서 코딩된다. 특히, 실시예에서, 각각의 방향 부대역 신호는 절삭된 HOA 표현의 계수 시퀀스들의 스케일링된 합에 의해 예측되고, 여기서, 스케일링은 선형이고 일반적으로 복소값이다. 양쪽 부분들은 함께 HOA 신호의 압축된 표현을 형성하고, 그에 따라, 낮은 비트 레이트를 달성한다. 압축해제를 위한 방향 부대역 신호들의 HOA 표현을 재합성할 수 있기 위하여, 압축된 표현은 복소값 예측 스케일링 계수들의 양자화된 버전들 뿐만 아니라 방향들의 양자화된 버전들을 포함한다.
이 맥락에서 특히 중요한 양태들은, 방향 및 복소값 예측 스케일링 계수의 계산, 및 이들을 효율적으로 코딩하는 방법이다.
낮은 비트 레이트 HOA 압축
제안된 낮은 비트 레이트 HOA 압축의 경우, 낮은 비트 레이트 HOA 압축기는, 공간 HOA 인코딩부와, 인지 및 소스 인코딩부로 세분될 수 있다. 공간적 HOA 인코딩부의 예시적인 아키텍처가 도 1에 도시되어 있고, 인지 및 소스 인코딩부분 예시적인 아키텍처가 도 3에 도시되어 있다. 공간적 HOA 인코더(10)는
Figure pct00051
개의 신호들을 포함하는 제1 압축된 HOA 표현을 그 HOA 표현을 생성하는 방법을 기술하는 부가 정보와 함께 제공한다. 인지 및 부가 정보 소스 코더(30)에서, 이들
Figure pct00052
개 신호들은 인지 코더(31)에서 인지 인코딩되고, 부가 정보는 부가 정보 소스 코더(32)에서 소스 인코딩된다. 부가 정보 소스 코더(32)는 코딩된 부가 정보
Figure pct00053
를 제공한다. 그 다음, 인지 코더(31) 및 부가 정보 소스 코더(32)에 의해 제공된 2개의 코딩된 표현은 멀티플렉서(33)에서 멀티플렉싱되어 낮은 비트 레이트의 압축된 HOA 데이터 스트림
Figure pct00054
를 획득한다.
공간 HOA 인코딩
도 1에 도시된 공간 HOA 인코더는 프레임별 처리를 수행한다. 프레임들은,
Figure pct00055
개의 시간-연속적인 HOA 계수 시퀀스들의 부분들로서 정의된다. 예를 들어, 인코딩될 입력 HOA 표현의
Figure pct00056
번째 프레임
Figure pct00057
는 시간-연속적인 HOA 계수 시퀀스들의 벡터 c(t)(수학식 46 참조)에 관해 다음과 같이 정의된다:
Figure pct00058
여기서,
Figure pct00059
는 프레임 인덱스를 나타내고,
Figure pct00060
은 프레임 길이(샘플 단위)를 나타내며,
Figure pct00061
은 HOA 계수 시퀀스들의 개수를 나타내고,
Figure pct00062
는 샘플링 기간을 나타낸다.
절삭된 HOA 표현의 계산
도 1에 도시 된 바와 같이, 절삭된 HOA 표현을 계산하는 제1 단계는 원래의 HOA 프레임
Figure pct00063
로부터 절삭된 버전
Figure pct00064
을 계산하는 단계(11)를 포함한다. 이 맥락에서의 절삭이란, 입력 HOA 표현의
Figure pct00065
개의 계수 시퀀스들 중에서
Figure pct00066
개의 특정한 계수 시퀀스들의 선택 및 모든 다른 계수 시퀀스들을 제로로 설정하는 것을 의미한다. 계수 시퀀스들의 선택을 위한 다양한 솔루션이 [4,5,6]에서 알려져 있고, 예를 들어, 인간의 인지와 관련하여 최대의 파워(power) 또는 가장 높은 관련성을 갖는 것들이 해당된다. 선택된 계수 시퀀스들은 절삭된 HOA 버전을 나타낸다. 선택된 계수 시퀀스들의 인덱스들을 포함하는 데이터 세트
Figure pct00067
가 생성된다. 그 다음, 이하에서 더 설명되는 바와 같이, 절삭된 HOA 버전
Figure pct00068
은 부분적으로 무상관화되고(12), 부분적으로 무상관화된 절삭된 HOA 버전
Figure pct00069
은, 선택된 계수 시퀀스가 이용가능한
Figure pct00070
개의 전송 채널에 할당되는 채널 할당 (13)을 거칠 것이다. 이하에서 더 설명되는 바와 같이, 이들 계수 시퀀스들은 인지 인코딩되고(30) 최종적으로 압축된 표현의 일부가 된다. 채널 할당 후에 인지 인코딩을 위한 평활 신호들을 얻기 위해, k 번째 프레임에서 선택되지만 (k+1) 번째 프레임에서 선택되지 않는 계수 시퀀스들이 결정된다. 한 프레임에서 선택되고 다음 프레임에서 선택되지 않는 이들 계수 시퀀스들은 페이드 아웃(fade out)된다. 그들의 인덱스들은,
Figure pct00071
의 서브세트인, 데이터 세트
Figure pct00072
에 포함된다. 마찬가지로 k 번째 프레임에서 선택되지만 (k-1) 번째 프레임에서 선택되지 않은 계수 시퀀스들은 페이드 인(fade in)된다. 그들의 인덱스들은, 역시
Figure pct00073
의 서브세트인, 세트
Figure pct00074
에 포함된다. 페이딩을 위해, (이하의 수학식 39에서 도입되는 것과 같은) 윈도우 함수
Figure pct00075
,
Figure pct00076
이 이용될 수 있다.
결론적으로, 다음과 같이, 절삭된 버전
Figure pct00077
의 HOA 프레임 k가 각각의
Figure pct00078
개의 개개의 계수 시퀀스 프레임들의 L개의 샘플로 구성된다면,
Figure pct00079
이 절삭은 계수 시퀀스 인덱스들
Figure pct00080
과 샘플 인덱스들
Figure pct00081
에 대해 다음과 같이 표현할 수 있다:
Figure pct00082
계수 시퀀스의 선택 기준에는 수 개의 가능성이 있다. 예를 들어, 하나의 유익한 해결책은 대부분의 신호 전력을 나타내는 계수 시퀀스들을 선택하는 것이다. 또 다른 유익한 해결책은 인간의 인지와 관련하여 가장 관련성이 큰 계수 시퀀스들을 선택하는 것이다. 후자의 경우에, 관련성은, 예를 들면, 상이하게 절삭된 표현을 가상 확성기 신호로 렌더링하고, 원래의 HOA 표현에 대응하는 이들 신호와 확성기 신호 간의 에러를 결정하고, 사운드 마스킹 효과를 고려하여 최종적으로 에러의 관련성을 해석함으로써, 결정될 수 있다.
한 실시예에서, 세트
Figure pct00083
내의 인덱스를 선택하기 위한 합리적인 전략은, 항상 제1
Figure pct00084
인덱스들,
Figure pct00085
을 선택하는 것으로, 여기서
Figure pct00086
이고
Figure pct00087
은 절삭된 HOA 표현의 주어진 최소 전체 차수를 나타낸다. 그 다음, 위에서 언급된 기준 중 하나에 따라 세트 {OMIN+1,…,OMAX}에서 나머지
Figure pct00088
개의 인덱스들을 선택한다, 여기서,
Figure pct00089
이고
Figure pct00090
는 선택을 위해 고려되는 HOA 계수 시퀀스들의 최대 차수를 나타낸다.
Figure pct00091
는 샘플당 전송가능한 계수들의 최대 개수로서 계수들의 총 개수
Figure pct00092
보다 작거나 같다는 점에 유의한다. 이 전략에 따르면, 절삭 처리 블록(11)은 또한 소위 할당 벡터
Figure pct00093
를 제공하고, 그 요소들
Figure pct00094
,
Figure pct00095
은 하기에 따라 설정된다
Figure pct00096
여기서, n(
Figure pct00097
)은, 나중에 i번째 전송 신호
Figure pct00098
에 할당되는, 추가로 선택된 HOA 계수 시퀀스
Figure pct00099
의 HOA 계수 시퀀스 인덱스를 나타낸다.
Figure pct00100
의 정의는 이하의 수학식 10에서 주어진다.
Figure pct00101
의 처음
Figure pct00102
개의 행들은 디폴트로 HOA 계수 시퀀스들
Figure pct00103
을 포함하고,
Figure pct00104
의 그 다음
Figure pct00105
(또는,
Figure pct00106
이면,
Figure pct00107
)개의 행들 중에는, 그 인덱스들이 할당 벡터
Figure pct00108
에 저장되어 있는 프레임별로 변하는 HOA 계수 시퀀스들을 포함하는
Figure pct00109
개의 행들이 있다. 마지막으로,
Figure pct00110
의 나머지 행들은 제로를 포함한다. 결과적으로, 이하에서 설명되는 바와 같이, 이용가능한
Figure pct00111
개의 전송 신호들의 처음(또는, 수학식 10에서와 같이, 마지막)
Figure pct00112
개는 디폴트로 HOA 계수 시퀀스들
Figure pct00113
에 할당되고, 나머지
Figure pct00114
개의 전송 신호들은, 그 인덱스들이 할당 벡터
Figure pct00115
에 저장되어 있는 프레임별로 변화하는 HOA 계수 시퀀스들에 할당된다.
부분적 무상관화
제2 단계에서, 후속 인지 인코딩의 효율성을 증가시키고, 렌더링시에 선택된 HOA 계수 시퀀스를 행렬화한 후에 발생하는 코딩 노이즈 언마스킹을 피하기 위하여, 선택된 HOA 계수 시퀀스들의 부분적 무상관화(12)가 실행된다. 예시적인 부분 무상관화(12)는 처음
Figure pct00116
개의 선택된 HOA 계수 시퀀스들에 공간 변환을 적용함으로써 달성되며, 이것은
Figure pct00117
개의 가상 확성기 신호들로의 렌더링을 의미한다. 각각의 가상 확성기 위치는 도 6에 도시된 구면 좌표계에 의해 표현되며, 여기서 각각의 위치는 단위 구면 상에 놓여 있다고 가정된다. 즉, 반경 1을 갖는다. 따라서, 위치는 방향
Figure pct00118
로 등가적으로 표현될 수 있고, 여기서,
Figure pct00119
이며,
Figure pct00120
Figure pct00121
는, 각각 경사각과 방위각을 나타낸다(구 좌표계의 정의에 대해서는 아래를 더 참조). 이들 방향은 가능한한 균일하게 단위 구면 상에 분산되어야 한다(예를 들어, 특정한 방향의 계산에 관한 [2] 참조). HOA는 일반적으로
Figure pct00122
에 의존하여 방향을 정의하기 때문에, 실제로
Figure pct00123
을 의미하며, 여기서는,
Figure pct00124
가 기재된다는 점에 유의한다.
이하에서는, 모든 가상 확성기 신호들의 프레임이 다음과 같이 표기된다
Figure pct00125
여기서,
Figure pct00126
는 j번째 가상 확성기의 k번째 프레임을 나타낸다. 또한,
Figure pct00127
은 가상 방향들
Figure pct00128
에 관한 모드 행렬(mode matrix)을 나타낸다. 모드 행렬은 다음과 같이 정의된다,
Figure pct00129
여기서,
Figure pct00130
상기 식은 가상 방향
Figure pct00131
에 관한 모드 벡터를 나타낸다. 그 요소들
Figure pct00132
각각은 이하에서 정의된 실수값 구면 고조파 함수를 나타낸다(수학식 48 참조).
이 표기를 이용하여, 렌더링 프로세스는 다음과 같은 행렬 곱셈에 의해 공식화될 수 있다,
Figure pct00133
따라서, 부분적 무상관화(12)의 출력인 중간 표현
Figure pct00134
의 신호들은 다음과 같이 주어진다,
Figure pct00135
채널 할당
중간 표현
Figure pct00136
의 프레임을 계산한 후, 그 개개의 신호
Figure pct00137
,
Figure pct00138
는, 인지 인코딩을 위한 전송 신호들 ,
Figure pct00140
를 제공하기 위해 이용가능한 I개의 채널들에 할당된다(13). 할당(13)의 한 목적은, 연속된 프레임들 사이에서 선택이 변경되는 경우에 발생할 수 있는, 인지 인코딩될 신호들의 불연속성을 회피하는 것이다. 할당은 다음과 같이 표현될 수 있다,
Figure pct00141
이득 제어
전송 신호들
Figure pct00142
각각은 최종적으로 이득 제어 유닛(14)에 의해 처리되며, 여기서, 신호 이득은 인지 인코더에 적합한 값 범위를 달성하도록 매끄럽게 수정된다. 이득 수정은 연속적인 블록들 사이에서의 심각한 이득 변화를 피하기 위해 일종의 룩-어헤드(look-ahead)를 요구하며, 그에 따라, 한 프레임의 지연을 도입한다. 각각의 전송 신호 프레임
Figure pct00143
에 대해, 이득 제어 유닛(14)은 지연된 프레임
Figure pct00144
을 수신하거나 생성한다. 이득 제어 후의 수정된 신호 프레임은,
Figure pct00145
,
Figure pct00146
로 표기된다. 또한, 공간 디코더에서 이루어진 임의의 변경을 되돌릴 수 있기 위하여, 이득 제어 부가 정보가 제공된다. 이득 제어 부가 정보는 지수
Figure pct00147
및 예외 플래그
Figure pct00148
,
Figure pct00149
를 포함한다. 이득 제어의 더 상세한 설명은, 예를 들어, [9], Sect.C.5.2.5 또는 [3]에서 이용가능하다. 따라서, 절삭된 HOA 버전(19)은 이득 제어된 신호 프레임들
Figure pct00150
및 이득 제어 부가 정보
Figure pct00151
,
Figure pct00152
,
Figure pct00153
를 포함한다.
분석 필터 뱅크
전술된 바와 같이, 근사화된 HOA 표현은, 2개의 부분, 즉, 절삭된 HOA 버전(19), 및 절삭된 HOA 표현의 계수 시퀀스들로부터 예측되는 대응하는 방향들을 갖는 방향 부대역 신호들에 의해 표현되는 성분으로 구성된다. 따라서, 제2 부분의 파라메타 표현을 계산하기 위해, 원래의 HOA 표현
Figure pct00154
,
Figure pct00155
의 개개의 계수 시퀀스의 각각의 프레임은, 먼저, 개개의 부대역 신호들
Figure pct00156
의 프레임들로 분해된다. 이것은 하나 이상의 분석 필터 뱅크(15)에서 이루어진다. 각각의 부대역
Figure pct00157
,
Figure pct00158
에 대해, 개개의 HOA 계수 시퀀스들의 부대역 신호들의 프레임들은 하기의 부대역 HOA 표현으로 집합될 수 있다,
Figure pct00159
분석 필터 뱅크(15)는 방향 부대역 신호 계산을 위해 방향 추정 처리 블록(16) 및 하나 이상의 계산 블록(17)에 부대역 HOA 표현을 제공한다.
원칙적으로, 임의 유형의 필터(즉, 임의의 복소값 필터 뱅크, 예를 들어, QMF, FFT)가 분석 필터 뱅크(15)에서 이용될 수 있다. 분석 및 대응하는 합성 필터 뱅크의 연속적인 적용이 완벽한 재구성 속성으로 알려진 지연 신원(delay identity)을 제공할 것이 요구되지는 않는다. HOA 계수 시퀀스들
Figure pct00160
와는 대조적으로, 그들의 부대역 표현
Figure pct00161
은 일반적으로 복소값이라는 점에 유의한다. 또한, 부대역 신호들
Figure pct00162
은 원래의 시간 영역 신호들과 비교해 볼 때 일반적으로 시간적으로 데시메이트(decimate)된다. 결과적으로, 프레임들
Figure pct00163
내의 샘플수는 일반적으로, L인, 시간 영역 신호 프레임들
Figure pct00164
내의 샘플수보다 분명히 작다.
한 실시예에서, 인간 청각 시스템의 속성에 맞게 처리를 더 양호하게 적응시키기 위해, 2개 이상의 부대역 신호가 부대역 신호 그룹들로 결합된다. 각각의 그룹의 대역폭들은, 예를 들어, 그 부대역 신호들의 개수에 의해 널리 공지된 바크 스케일(Bark scale)로 적합화될 수 있다. 즉, 더 높은 주파수에서 특히, 2개 이상의 그룹들이 하나로 결합될 수 있다. 이 경우, 각각의 부대역 그룹은, 추출된 파라미터의 수가 단일의 부대역의 경우와 동일한 HOA 계수 시퀀스들의 세트
Figure pct00165
로 구성된다는 점에 유의한다. 한 실시예에서, 그룹화는, 분석 필터 뱅크 블록(15)에 통합될 수 있는 하나 이상의 부대역 신호 그룹화 유닛(명시 적으로 도시되지 않음)에서 수행된다.
방향 추정
방향 추정 처리 블록(16)은, 입력 HOA 표현을 분석하고 각각의 주파수 부대역
Figure pct00166
,
Figure pct00167
에 대해, 즉, 음장에 주요한 기여를 하는 부대역 일반 평면파의 방향들의 함수 세트
Figure pct00168
를 계산한다. 이 맥락에서, "주요한 기여"라는 용어는 예를 들어 다른 방향들로부터 입사하는 부대역 일반 평면파의 신호 전력보다 높은 신호 전력을 지칭한다. 이것은 또한, 인간의 인지의 측면에서의 높은 관련성을 지칭할 수도 있다. 부대역 그룹화가 이용되는 경우,
Figure pct00169
의 계산을 위해, 단일의 부대역 대신에 부대역 그룹이 이용될 수 있다는 점에 유의한다.
압축해제 동안에, 예측된 방향 부대역 신호들 내의 아티팩트는, 연속하는 프레임들 사이의 추정된 방향들과 예측 계수들의 변화로 인해 발생할 수 있다. 이러한 아티팩트를 피하기 위하여, 인코딩 동안 방향 부대역 신호들의 방향 추정 및 예측은 연결된 긴 프레임에 관해 수행된다. 연결된 긴 프레임은 현재 프레임과 그 선행물로 구성된다. 압축해제를 위해, 이들 긴 프레임들에 관해 추정된 양은 예측된 방향 부대역 신호들과의 중첩 가산 처리를 수행하는데 이용된다.
방향 추정을 위한 직접적인 접근법은 각 부대역을 별개로 처리하는 것이다. 한 실시예에서, 방향 탐색을 위해, 예를 들어, [7]에서 제안된 기술이 적용될 수 있다. 이 접근법은, 각각의 개개의 부대역에 대해, 방향 추정의 부드러운 시간적 궤적을 제공하고 급격한 방향 변화나 시작을 포착할 수 있다. 그러나, 이 공지된 접근법에는 2가지 단점이 있다.
첫 째, 각각의 부대역에서의 독립적인 방향 추정은, 전체-대역 일반 평면파의 존재시에(예를 들어, 소정 방향의 일시적인 드럼 박동), 개개의 하위 방향들에서의 추정 오류가 하나의 단일 방향으로부터의 원하는 전체-대역 버전으로 합해지지 않는 상이한 방향들로부터의 부대역 일반 평면파들로 이어질 수 있다는 바람직하지 않는 효과를 초래할 수 있다. 특히 소정 방향들로부터의 일시적인 신호들이 흐려진다.
둘 째, 낮은 비트 레이트 압축을 얻으려는 의도를 고려할 때, 부가 정보로부터 생기는 총 비트 레이트를 반드시 염두에 두어야 한다. 이하에서, 한 예는, 이러한 단순 접근 방식에 대한 비트 레이트가 다소 높다는 것을 보여줄 것이다. 예시적으로, 부대역의 개수
Figure pct00170
는 10인 것으로 가정되고 (각각의 세트
Figure pct00171
내의 요소들의 개수에 대응하는) 각각의 부대역의 방향들의 개수는 4인 것으로 가정된다. 또한, [9]에서 제안된 바와 같이, 각각의 부대역에 대해
Figure pct00172
개의 잠재적인 방향 후보들의 그리드 상에서 탐색을 수행하는 것으로 가정된다. 이것은 단일 방향의 단순 코딩을 위해
Figure pct00173
비트를 요구한다. 초당 약 50 프레임의 프레임 레이트를 가정하면, 결과적인 전체 데이터 레이트는, 방향들의 코딩된 표현에 대해서만 다음과 같다.
Figure pct00174
초당 25 프레임의 프레임 속도를 가정하더라도, 10 kbit/s의 결과적인 데이터 레이트는 여전히 다소 높다.
한 개선으로서, 한 실시예에서, 방향 추정 블록(20)에서 다음과 같은 방향 추정을 위한 방법이 이용된다. 개괄적인 사상은 도 2에 도시되어 있다.
제1 단계에서, 전체-대역 방향 추정 블록(21)은, 연결된 긴 프레임을 이용하여,
Figure pct00175
개의 테스트 방향들
Figure pct00176
,
Figure pct00177
로 구성된 방향 그리드상에서, 예비 전체-대역 방향 추정 또는 탐색을 수행한다,
Figure pct00178
여기서,
Figure pct00179
Figure pct00180
은 전체-대역의 원래의 HOA 표현의 현재 및 이전 입력 프레임들이다. 이 방향 탐색은, 세트
Figure pct00181
에 포함되는, 다수의
Figure pct00182
개의 방향 후보들
Figure pct00183
,
Figure pct00184
을 제공한다, 즉,
Figure pct00185
프레임당 방향 후보들의 최대 개수에 대한 전형적인 값은
Figure pct00186
이다. 방향 추정은, 예를 들어, 방향들의 베이지안 추론을 위한 간단한 소스 이동 모델로 입력 HOA 표현의 방향 파워 분포로부터 얻은 정보를 결합하는 사상의 [7]에서 제안된 방법에 의해 달성될 수 있다.
제2 단계에서, 방향 탐색은, 부대역(또는 부대역 그룹)마다 부대역 방향 추정 블록(22)에 의해 각각의 개개의 부대역에 대해 수행된다. 그러나, 부대역에 대한이 이러한 방향 탐색은
Figure pct00187
개의 테스트 방향들로 구성되는 초기의 전체 방향 그리드를 고려할 필요가 없고, 단지 각 부대역에 대한
Figure pct00188
개의 방향들만을 포함하는 후보 세트
Figure pct00189
만을 고려할 필요가 있다.
Figure pct00190
로 표기되는,
Figure pct00191
번째 부대역,
Figure pct00192
에 대한 방향들의 수는, 통상적으로
Figure pct00193
보다 작은,
Figure pct00194
, 예를 들어,
Figure pct00195
보다 크지 않다. 전체-대역 방향 탐색과 마찬가지로, 부대역 관련 방향 탐색은 또한, 현재 및 이전 프레임들로 구성된, 부대역 신호들의 긴 연결된 프레임들에 관해 수행된다,
Figure pct00196
원칙적으로, 전체-대역 관련 방향 탐색의 경우와 동일한 베이지안 추론 방법이 부대역 관련 방향 탐색에 적용될 수 있다.
특정한 사운드 소스의 방향은 시간에 따라 변할 수도 있다(그러나, 변할 필요는 없다). 특정한 사운드 소스의 시간적 시퀀스는 여기서는 "궤적(trajectory)"이라고 부른다. 각각의 부대역 관련 방향, 또는 궤적은, 각각, 명확한 인덱스를 가지며, 이것은 상이한 궤적들을 혼합하는 것을 방지하고 연속적인 방향 부대역 신호를 제공한다. 이것은 후술되는 방향 부대역 신호들의 예측에 중요하다. 특히, 이것은 이하에서 더 정의되는 연속적인 예측 계수 행렬들
Figure pct00197
간의 시간 의존성을 활용하는 것을 허용한다. 따라서,
Figure pct00198
번째 부대역에 대한 방향 추정은 튜플 세트
Figure pct00199
를 제공한다. 각각의 튜플은, 한편으로는, 개개의 (활성) 방향 궤적을 식별하는 인덱스
Figure pct00200
로 구성되고, 다른 한편으로는, 각각의 추정된 방향
Figure pct00201
으로 구성된다, 즉,
Figure pct00202
정의에 따르면, 부대역 방향 탐색은, 전술된 바와 같이, 현재 프레임의 방향 후보들
Figure pct00203
중에서만 수행되기 때문에, 세트
Figure pct00204
는 각각의
Figure pct00205
에 대한
Figure pct00206
의 서브세트이다. 이것은, 각각의 인덱스가
Figure pct00207
개의 후보 방향들 대신에
Figure pct00208
,
Figure pct00209
중에서 하나의 방향을 정의하기 때문에, 방향들에 관한 부가 정보의 더 효율적인 코딩을 허용한다. 인덱스 d는 궤적을 생성하기 위한 후속 프레임에서의 방향들을 추적하는데 이용된다.
도 2에 도시되고 전술된 바와 같이, 한 실시예에서 방향 추정 처리 블록(16)은 전체-대역 방향 추정 블록(21)을 갖는 방향 추정 블록(20)을 포함하고, 각각의 부대역 또는 부대역 그룹에 대해, 부대역 방향 추정 블록(22)을 포함한다. 이것은, 도 7에 도시된 바와 같이, 전술된 긴 프레임들을 방향 추정 블록(20)에 제공하는 긴 프레임 생성 블록(23)을 더 포함 할 수 있다. 긴 프레임 생성 블록(23)은, 예를 들어, 하나 이상의 메모리를 이용하여, 각각이 L개의 샘플들의 길이를 갖는 2개의 연속적인 입력 프레임들로부터 긴 프레임을 생성한다. 긴 프레임은, 여기서는 "―"와 2개의 인덱스, k-1 및 k를 가짐으로써 표시된다. 다른 실시예에서, 긴 프레임 생성 블록(23)은 도 1에 도시된 인코더에서 별개의 블록이거나, 다른 블록들에 포함될 수도 있다.
방향 부대역 신호들의 계산
도 1로 돌아와서, 분석 필터 뱅크(15)에 의해 제공된 부대역 HOA 표현 프레임들
Figure pct00210
,
Figure pct00211
은 또한 하나 이상의 방향 부대역 신호 계산 블록(17)에 입력된다. 방향 부대역 신호 계산 블록(17)에서, 모든
Figure pct00212
개의 잠재적인 방향 부대역 신호들
Figure pct00213
,
Figure pct00214
의 긴 프레임들은 행렬
Figure pct00215
에서 다음과 같이 배열된다,
Figure pct00216
또한, 비활성 방향 부대역 신호들의 프레임들, 즉 그 인덱스
Figure pct00217
가 세트
Figure pct00218
내에 포함되지 않은 긴 신호 프레임들
Figure pct00219
은 0으로 설정된다.
나머지 긴 신호 프레임들
Figure pct00220
, 즉 인덱스
Figure pct00221
를 갖는 것들은 행렬
Figure pct00222
내에 수집된다. 그 내부에 포함된 활성 방향 부대역 신호들을 계산하는 한 가능성은 그들의 HOA 표현과 원래의 입력 부대역 HOA 표현 간의 오차를 최소화하는 것이다. 그 해는 다음과 같이 주어진다
Figure pct00223
여기서,
Figure pct00224
는 Moore-Penrose 의사 역행렬을 나타내고,
Figure pct00225
는 세트
Figure pct00226
내의 방향 추정치들에 대한 모드 행렬을 나타낸다. 부대역 그룹들의 경우에, 방향 부대역 신호들의 세트
Figure pct00227
는 그룹의 모든 HOA 표현들
Figure pct00228
에 의한 한 행렬
Figure pct00229
의 곱셈으로부터 계산된다는 점에 유의한다. 긴 프레임은 전술된 것과 유사하게 하나 이상의 추가적인 긴 프레임 생성 블록에 의해 생성될 수 있다는 점에 유의한다. 유사하게, 긴 프레임은 긴 프레임 분해 블록에서 정규 길이의 프레임들로 분해될 수 있다. 한 실시예에서, 방향 부대역의 계산을 위한 블록(17)은 그 출력에서 방향 부대역 예측 블록(18)을 향한 긴 프레임들
Figure pct00230
을 제공한다.
방향 부대역 신호들의 예측
전술된 바와 같이, 근사적인 HOA 표현은 부분적으로 활성 방향 부대역 신호들에 의해 표현되지만, 통상적으로 코딩되지 않는다. 대신에, 현재 설명되는 실시예들에서, 코딩된 표현의 전송을 위한 총 데이터 레이트를 낮게 유지하기 위해 파라메타 표현이 사용된다. 파라메타 표현에서, 각각의 활성 방향 부대역 신호,
Figure pct00231
즉, 인덱스
Figure pct00232
를 갖는 것들은, 절삭된 부대역 HOA 표현
Figure pct00233
Figure pct00234
의 계수 시퀀스들의 가중 합에 의해 예측되고, 여기서,
Figure pct00235
이고, 가중치는 일반적으로 복소값이다.
따라서,
Figure pct00236
Figure pct00237
의 예측된 버전을 표현한다고 가정하면, 예측은 다음과 같은 행렬 곱셈에 의해 표현된다
Figure pct00238
여기서,
Figure pct00239
는 부대역
Figure pct00240
에 대한 모든 가중 인자들(또는, 등가적으로, 예측 계수들)을 갖는 행렬이다. 예측 행렬
Figure pct00241
의 계산은 하나 이상의 방향 부대역 예측 블록(18)에서 수행된다. 한 실시예에서, 도 1에 도시된 바와 같이, 부대역당 하나의 방향 부대역 예측 블록(18)이 이용된다. 다른 실시예에서, 단일의 방향 부대역 예측 블록(18)이 복수의 또는 모든 부대역에 대해 이용된다. 부대역 그룹의 경우, 각각의 그룹에 대해 하나의 행렬
Figure pct00242
이 계산된다; 그러나, 이것은 그룹의 각각의 HOA 표현
Figure pct00243
으로 개별적으로 곱해져, 그룹마다 행렬 세트
Figure pct00244
를 생성한다. 구성당 인덱스
Figure pct00245
를 가진 것들을 제외한
Figure pct00246
의 모든 행들이 0라는 점에 유의한다. 이것은 활성 방향 부대역 신호만이 예측된다는 것을 의미한다. 또한, 인덱스
Figure pct00247
를 가진 것들을 제외한
Figure pct00248
의 모든 열도 0이다. 이것은, 예측을 위해, HOA 압축해제 동안 예측을 위해 전송되고 이용가능한 HOA 계수 시퀀스들만이 고려된다는 것을 의미한다.
다음 양태들은 예측 행렬
Figure pct00249
의 계산을 위해 반드시 고려되어야 한다.
첫째, 원래의 절삭된 부대역 HOA 표현
Figure pct00250
은 일반적으로 HOA 압축해제에서 이용가능하지 않을 것이다. 대신에, 그 인지 디코딩된 버전
Figure pct00251
이 이용가능할 것이고 방향 부대역 신호의 예측에 사용될 것이다.
낮은 비트 레이트에서, 스펙트럼의 더 낮은 주파수와 중간 주파수가 통상적으로 코딩되는, 전형적인 오디오 코덱(AAC 또는 USAC 등)은 스펙트럼 대역 복제(SBR; spectral band replication)를 이용하는 반면, 높은 주파수 성분(예를 들어, 5kHz에서 시작)은 고주파 엔빌로프에 대한 여분의 부가 정보를 이용하여 더 낮은 주파수 및 중간 주파수로부터 복제된다.
그 때문에, 인각 디코딩 이후에 절삭된 HOA 성분
Figure pct00252
의 재구성된 부대역 계수 시퀀스의 크기는 원래의 것
Figure pct00253
과 유사하다. 그러나 이것은 위상의 경우에는 해당되지 않는다. 따라서, 고주파수 부대역들에 대해, 복소값 예측 계수들을 이용함으로써 예측에 대한 임의의 위상 관계를 활용하는 것은 의미가 없다. 대신에, 실수값 예측 계수만을 이용하는 것이 더 합리적이다. 특히,
Figure pct00254
번째 부대역이 SBR에 대한 시작 주파수를 포함하도록 인덱스
Figure pct00255
을 정의하면, 예측 계수의 타입을 다음과 같이 설정하는 것이 유리하다 :
Figure pct00256
다시 말해, 한 실시예에서, 더 낮은 부대역들에 대한 예측 계수들은 복소값인 반면, 더 높은 부대역들에 대한 예측 계수들은 실수값이다.
둘째, 한 실시예에서, 행렬
Figure pct00257
의 계산의 전략은 그 유형에 적합화된다. 특히, SBR에 의해 영향을 받지 않는 저주파 부대역들
Figure pct00258
,
Figure pct00259
에 대해,
Figure pct00260
와 그 예측된 버전
Figure pct00261
사이의 에러의 유클리드 놈(Euclidean norm)을 최소화함으로써
Figure pct00262
의 비제로 요소들을 결정하는 것이 가능하다. 인지 코더(31)는 (도시되지 않은)
Figure pct00263
을 정의하고 제공한다. 이러한 방식으로, 관련 신호들의 위상 관계가 예측을 위해 명시적으로 활용된다. 부대역 그룹들에 대해, 그룹의 모든 방향 신호들에 대한 예측 에러의 유클리드 놈은 최소화되어야한다(즉, 최소 제곱 예측 에러).
SBR에 의해 영향받는 고주파수 부대역들
Figure pct00264
,
Figure pct00265
의 경우, 절삭된 HOA 성분
Figure pct00266
의 재구성된 부대역 계수 시퀀스들의 위상들은 원래의 부대역 계수 시퀀스들의 것과 가장 기초적인 것조차 유사하다고 가정될 수 없기 때문에, 앞서 언급된 기준은 합리적이지 않다.
이 경우, 한 가지 해결책은, 예측에 대해, 위상을 무시하고, 대신에 신호 전력에만 집중하는 것이다. 예측 계수의 결정에 대한 합리적인 기준은 다음과 같은 에러를 최소화하는 것이다
Figure pct00267
여기서 연산
Figure pct00268
은 행렬에 요소별로 적용되는 것으로 가정된다. 다시 말하면, 예측 계수는, 절삭된 HOA 성분의 모든 가중 부대역 또는 부대역 그룹 계수 시퀀스들의 전력들의 합이 방향 부대역 신호들의 전력에 가장 가깝도록 선택된다. 이 경우, 이 최적화 문제를 해결하고 예측 행렬
Figure pct00269
의 예측 계수를 얻기 위해 비음수 행렬 인수분해 (Nonnegative Matrix Factorization; NMF) 기법(예를 들어, [8]을 참조)이 이용될 수 있다. 그 다음, 이들 행렬들은 인지 및 소스 인코딩 스테이지(30)에 제공된다.
인지 및 소스 인코딩
전술된 공간적 HOA 코딩 후에, (k-1)번째 프레임에 대한 결과적인 이득 조정된 전송 신호들
Figure pct00270
,
Figure pct00271
이 코딩되어 코딩된 표현
Figure pct00272
을 획득한다. 이것은 도 3에 도시된 인지 및 소스 인코딩 스테이지(30)에서 인지 코더(31)에 의해 수행된다. 또한, 세트들
Figure pct00273
,
Figure pct00274
,
Figure pct00275
에 포함된 정보, 예측 계수 행렬들
Figure pct00276
,
Figure pct00277
, 이득 제어 파라미터들
Figure pct00278
Figure pct00279
,
Figure pct00280
, 및 할당 벡터
Figure pct00281
는 효율적인 저장 또는 전송을 위한 리던던시를 제거하기 위해 소스 인코딩된다. 이것은 부가 정보 소스 코더(32)에서 수행된다. 결과적인 코딩된 표현
Figure pct00282
은 코딩된 전송 신호 표현
Figure pct00283
,
Figure pct00284
과 함께 멀티플렉서(33)에서 멀티플렉싱되어 최종 코딩된 프레임
Figure pct00285
을 제공한다.
원칙적으로, 이득 제어 파라미터들의 소스 코딩 및 할당은 [9]와 유사하게 실행될 수 있으므로, 본 설명은, 이하에서 상세히 설명되는 방향 및 예측 파라미터의 코딩에만 집중한다.
방향의 코딩
개개의 부대역 방향의 코딩을 위해, 상기 설명에 따른 부적합 감소는 선택될 개개의 부대역 방향을 제약하는데 활용될 수 있다. 이미 언급한 바와 같이, 이러한 개개의 부대역 방향은 모든 가능한 테스트 방향들
Figure pct00286
,
Figure pct00287
중에서가 아니라 전체-대역 HOA 표현의 각각의 프레임에 관해 결정된 소수의 후보 중에서 선택된다. 예시적으로, 부대역 방향들의 소스 코딩을 위한 한 가능한 방법이 이하의 알고리즘 1에 요약되어 있다.
Figure pct00288
알고리즘 1의 제1 단계에서, 실제로 부대역 방향들로서 발생하는 모든 전체-대역 방향 후보들의 세트
Figure pct00289
가 결정된다, 즉,
Figure pct00290
Figure pct00291
로 표시된 이 세트의 요소들의 개수는 방향의 코딩된 표현의 첫 번째 부분이다.
Figure pct00292
는 정의에 의해
Figure pct00293
의 서브셋이기 때문에,
Figure pct00294
Figure pct00295
비트로 코딩될 수 있다. 추가 설명을 명료화하기 위해, 세트
Figure pct00296
의 방향들은
Figure pct00297
,
Figure pct00298
로 표기된다, 즉,
Figure pct00299
제2 단계에서, 세트
Figure pct00300
의 방향들은, 여기서는 그리드라고 하는, 가능한 테스트 방향들
Figure pct00301
의 인덱스들
Figure pct00302
을 이용하여 코딩된다. 각각의 방향
Figure pct00303
,
Figure pct00304
에 대해, 각각의 그리드 인덱스는
Figure pct00305
비트의 크기를 갖는 배열 요소
Figure pct00306
로 코딩된다. 모든 코딩된 전체-대역 방향들을 나타내는 전체 배열
Figure pct00307
Figure pct00308
개의 요소들로 구성된다.
제3 단계에서, 각각의 부대역 또는 부대역 그룹
Figure pct00309
,
Figure pct00310
에 대해, d번째 방향 부대역 신호(
Figure pct00311
)가 활성인지의 여부, 즉,
Figure pct00312
인지에 대한 정보는 배열 요소
Figure pct00313
로 코딩된다. 총 배열
Figure pct00314
Figure pct00315
개의 요소들로 구성된다.
Figure pct00316
이면, 각각의 부대역 방향
Figure pct00317
은,
Figure pct00318
개의 요소들로 구성된 배열
Figure pct00319
로의 각각의 전체-대역 방향
Figure pct00320
의 인덱스
Figure pct00321
에 의해 코딩된다.
이 방향 인코딩 방법의 효율성을 보이기 위해, 상기 예에 따른 방향들의 코딩된 표현에 대한 최대 데이터 레이트가 계산된다:
Figure pct00322
개의 부대역, 부대역당
Figure pct00323
개의 방향들,
Figure pct00324
개의 잠재적 테스트 방향들, 및 초당 25프레임의 프레임 레이트가 가정된다. 종래의 코딩 방법에서, 요구되는 데이터 레이트는 10 kbit/s였다. 한 실시예에 따른 개선된 코딩 방법에서는, 전체-대역 방향의 개수가
Figure pct00325
인 것으로 가정하면, GlobalDirGridIndices
Figure pct00326
를 코딩하기 위해 프레임당
Figure pct00327
비트가,
Figure pct00328
를 코딩하기 위해
Figure pct00329
비트가, 및
Figure pct00330
를 코딩하기 위해
Figure pct00331
비트가 필요하다. 그 결과, 데이터 레이트는 240 비트/프레임*25 프레임/s= 6 kbit/s이고, 이것은 10 kbit/s보다 분명히 작다. 전체-대역 방향들의 더 큰 수의
Figure pct00332
에 대해서도, 7 kbit/s의 데이터 레이트만으로 충분하다.
예측 계수 행렬의 코딩
예측 계수 행렬의 코딩에 대해, 방향 궤적들 및 결과적으로 방향 부대역 신호의 평활성으로 인해 연속적인 프레임들의 예측 계수들 사이에는 높은 상관관계가 있다는 사실이 활용될 수 있다. 또한, 각각의 예측 계수 행렬
Figure pct00333
에 대한 프레임당
Figure pct00334
개의 잠재적 비제로-요소들의 비교적 많은 수가 존재하며, 여기서,
Figure pct00335
는 세트
Figure pct00336
내의 요소들의 개수를 나타낸다. 전체적으로, 어떠한 부대역 그룹도 이용되지 않는다면 프레임당 코딩될
Figure pct00337
개의 행렬이 존재한다. 부대역 그룹들이 이용된다면, 대응적으로, 프레임당 코딩될
Figure pct00338
보다 적은 개수의 행렬이 존재한다.
한 실시예에서, 각각의 예측 계수에 대한 비트수를 낮게 유지하기 위하여, 각각의 복소값 예측 계수는 그 크기와 각도에 의해 표현되고, 그 다음, 각도와 크기는 연속적인 프레임들간에 차분적으로 및 행렬
Figure pct00339
의 각각의 특정한 요소에 대해 독립적으로 코딩된다. 크기가 구간
Figure pct00340
내에 있다고 가정하면, 크기 차이는 구간
Figure pct00341
내에 있다. 복소수들의 각도들의 차이는 구간
Figure pct00342
내에 있다고 가정될 수 있다. 크기와 각도 차이 양쪽 모두의 양자화를 위해, 각각의 구간은, 예를 들어, 동일한 크기의
Figure pct00343
개의 부구간들로 세분될 수 있다. 직접적인 코딩은 각각의 크기 및 각도 차이에 대해
Figure pct00344
개의 비트를 필요로 한다.
또한, 연속적인 프레임들의 예측 계수들 사이의 전술된 상관관계로 인해, 개별 차이들의 발생 확률은 고도로 불균일하게 분포된다는 것이 실험적으로 밝혀졌다. 특히, 각도뿐만 아니라 크기에서의 작은 차이가 더 큰 쪽보다 훨씬 더 자주 발생한다. 따라서, 예를 들어, 허프만 코딩과 같은, 코딩될 개개의 값의 선험적 확률에 기초한 코딩 방법은, 예측 계수당 평균 비트 수를 상당히 감소시키는데 활용될 수 있다. 다시 말해서, 실수부 및 허수부 대신에, 예측 행렬
Figure pct00345
에서 값의 크기 및 위상을 차분적으로 인코딩하는 것이 대개 유리하다는 것이 발견되었다. 그러나 실수부 및 허수부의 이용이 허용되는 상황이 나타날 수 있습니다.
한 실시예에서, 특별한 액세스 프레임들은 비차분적으로 코딩된 행렬 계수들을 포함하는 소정의 구간에서(애플리케이션에 특유함, 예를 들어, 초당 1회) 전송된다. 이것은, 디코더가 이들 특별한 액세스 프레임들로부터의 차분 디코딩을 재시작하는 것을 허용하므로, 디코딩을위한 무작위 진입을 가능하게 한다.
이하에서는, 위에서 구성된 바와 같은 낮은 비트 레이트 압축된 HOA 표현의 압축해제가 설명된다. 또한 압축해제는 프레임별로 동작한다.
원칙적으로, 실시예에 따르면, 낮은 비트 레이트 HOA 디코더는, 역순으로 배열된, 전술된 낮은 비트 레이트 HOA 인코더 컴포넌트들의 대응부들을 포함한다. 특히, 낮은 비트 레이트 HOA 디코더는 도 4에 도시된 바와 같은 인지 및 소스 디코딩 부분, 및 도 6에 도시된 바와 같은 공간 HOA 디코딩 부분으로 세분될 수 있다.
인지 및 소스 디코딩
도 4는, 한 실시예에서의, 인지 및 부가 정보 소스 디코더(40)를 도시한다. 인지 및 부가 정보 소스 디코더(40)에서, 낮은 비트 레이트 압축된 HOA 비트 스트림
Figure pct00346
는 먼저 디멀티플렉싱되어(41),
Figure pct00347
개의 신호들
Figure pct00348
,
Figure pct00349
의 인지 코딩된 표현과, 그 HOA 표현을 생성하는 방법을 기술하는 부가 정보
Figure pct00350
가 된다. 후속해서,
Figure pct00351
개의 신호들의 인지 디코딩 및 부가 정보의 디코딩이 수행된다.
인지 디코더(42)는
Figure pct00352
개의 신호들
Figure pct00353
,
Figure pct00354
을 인지 디코딩된 신호들
Figure pct00355
,
Figure pct00356
로 디코딩한다.
부가 정보 소스 디코더(43)는, 코딩된 부가 정보
Figure pct00357
를, 튜플 세트
Figure pct00358
,
Figure pct00359
, 각각의 부대역 또는 부대역 그룹
Figure pct00360
)에 대한 예측 계수 행렬들
Figure pct00361
, 이득 보정 지수
Figure pct00362
및 이득 보정 예외 플래그
Figure pct00363
, 및 할당 벡터
Figure pct00364
로 디코딩한다.
알고리즘 2는 코딩된 부가 정보
Figure pct00365
로부터 튜플 세트
Figure pct00366
,
Figure pct00367
를 생성하는 방법을 예시적으로 요약한다. 부대역 방향들의 디코딩이 이하에서 상세하게 설명된다.
Figure pct00368
먼저, 코딩된 부가 정보
Figure pct00369
로부터 전체-대역 방향들의 개수
Figure pct00370
가 추출된다. 전술된 바와 같이, 이들은 또한 부대역 방향들로서 이용된다. 이것은
Figure pct00371
비트로 코딩된다.
제2 단계에서,
Figure pct00372
개의 요소들로 구성된 배열
Figure pct00373
이 추출되고 각각의 요소는
Figure pct00374
비트들로 코딩된다. 이 배열은 전체-대역 방향들
Figure pct00375
,
Figure pct00376
을 나타내는 그리드 인덱스를 포함하되,
Figure pct00377
그 다음, 각각의 부대역 또는 부대역 그룹
Figure pct00378
,
Figure pct00379
에 대해,
Figure pct00380
개의 요소들로 구성된 배열
Figure pct00381
이 추출되며, 여기서,
Figure pct00382
번째 요소
Figure pct00383
Figure pct00384
번째 부대역 방향이 활성인지의 여부를 나타낸다. 또한, 활성 부대역 방향들의 총 개수
Figure pct00385
가 계산된다.
마지막으로, 튜플 세트
Figure pct00386
가 각각의 부대역 또는 부대역 그룹
Figure pct00387
,
Figure pct00388
에 대해 계산된다. 이것은 개개의 (활성) 부대역 방향 궤적을 식별하는 인덱스들
Figure pct00389
, 및 각각의 추정된 방향들
Figure pct00390
로 구성된다.
그 다음, 각각의 부대역 또는 부대역 그룹
Figure pct00391
,
Figure pct00392
에 대한 예측 계수 행렬들
Figure pct00393
이 코딩된 프레임
Figure pct00394
으로부터 재구성된다. 한 실시예에서, 재구성은 부대역 또는 부대역 그룹
Figure pct00395
마다 다음과 같은 단계들을 포함한다 :
먼저, 각각의 행렬 계수의 각도 및 크기 차이가 엔트로피 디코딩에 의해 얻어진다. 그 다음 엔트로피 디코딩된 각도 및 크기 차이가 코딩에 사용된 비트수
Figure pct00396
에 따라 실제 값 범위로 재조정된다. 마지막으로, 현재 예측 계수 행렬
Figure pct00397
은, 재구성된 각도 및 크기 차이를 최신 계수 행렬
Figure pct00398
의 계수들, 즉, 이전 프레임의 계수 행렬에 더함으로써 생성된다.
따라서, 이전 행렬
Figure pct00399
은 현재 행렬
Figure pct00400
의 디코딩을 위해 알려져야만 한다. 한 실시예에서, 랜덤 액세스를 가능하게 하기 위해, 이들 프레임으로부터의 차분 디코딩을 재시작하기 위해 비차분적으로 코딩된 행렬 계수들을 포함하는 특별한 액세스 프레임이 소정 구간들에서 수신된다.
인지 및 부가 정보 소스 디코더(40)는, 인지 디코딩된 신호들
Figure pct00401
,
Figure pct00402
, 튜플 세트들
Figure pct00403
,
Figure pct00404
, 예측 계수 행렬들
Figure pct00405
, 이득 보정 지수들
Figure pct00406
, 이득 보정 예외 플래그들
Figure pct00407
, 및 할당 벡터
Figure pct00408
를 후속 공간 HOA 디코더(50)에 출력한다.
공간 HOA 디코딩
도 5는 한 실시예에서의 예시적인 공간 HOA 디코더(50)를 도시한다. 공간 HOA 디코더(50)는,
Figure pct00409
개의 신호들
Figure pct00410
,
Figure pct00411
및 부가 정보 디코더 (43)에 의해 제공된 전술된 부가 정보로부터 재구성된 HOA 표현을 생성한다. 공간 HOA 디코더(50) 내의 개개의 처리 유닛들이 이하에서 상세하게 설명된다.
역 이득 제어
공간적 HOA 디코더(50)에서, 인지 디코딩된 신호들
Figure pct00412
,
Figure pct00413
은, 연관된 이득 보정 지수
Figure pct00414
및 이득 보정 예외 플래그
Figure pct00415
와 함께, 하나 이상의 역 이득 제어 처리 블록(51)에 먼저 입력된다. 역 이득 제어 처리 블록들은 이득 보정된 신호 프레임들
Figure pct00416
를 제공한다. 한 실시예에서,
Figure pct00417
개의 신호들
Figure pct00418
각각은, 도 5에서와 같이, 별개의 역 이득 제어 처리 블록(51)에 공급되어,
Figure pct00419
번째 역 이득 제어 처리 블록이 이득 보정된 신호 프레임
Figure pct00420
을 제공하게 한다. 역 이득 제어에 대한 더 상세한 설명은, 예를 들어, [9], 11.4.2.1 절로부터 찾을 수 있다.
절삭된 HOA 재구성
절삭된 HOA 재구성 블록(52)에서,
Figure pct00421
개의 이득 보정된 신호 프레임들
Figure pct00422
은 할당 벡터
Figure pct00423
에 의해 제공된 정보에 따라 HOA 계수 시퀀스 행렬에 재분배(즉, 재할당)되어, 절삭된 HOA 표현
Figure pct00424
이 재구성되게 한다. 할당 벡터
Figure pct00425
Figure pct00426
개의 성분들을 포함하고, 이들 성분들은, 각각의 전송 채널에 대해, 자신이 원래의 HOA 성분의 어느 계수 시퀀스를 포함하는지를 나타낸다. 또한, 할당 벡터의 요소들은,
Figure pct00427
번째 프레임에 대한 모든 수신된 계수 시퀀스들의 원래의 HOA 성분을 참조하는 인덱스 세트
Figure pct00428
를 형성한다
Figure pct00429
절삭된 HOA 표현
Figure pct00430
의 재구성은 다음과 같은 단계들을 포함한다 :
먼저, 하기와 같은 디코딩된 중간 표현의 개개의 성분들
Figure pct00431
,
Figure pct00432
은,
Figure pct00433
할당 벡터 내의 정보에 따라, 0으로 설정되거나 이득 보정된 신호 프레임들
Figure pct00434
의 대응하는 성분에 의해 대체된다, 즉,
Figure pct00435
이것은, 앞서 언급된 바와 같이, 수학식 26에서
Figure pct00436
인, 할당 벡터의 i 번째 요소는, 디코딩된 중간 표현 행렬
Figure pct00437
의 n 번째 라인의
Figure pct00438
가 i 번째 계수
Figure pct00439
로 대체됨을 나타낸다는 것을 의미한다.
두 번째,
Figure pct00440
내의 처음
Figure pct00441
개의 신호들의 재상관은 이들에게 역 공간 변환을 적용함으로써 실행되며, 다음과 같은 프레임을 제공한다
Figure pct00442
여기서 모드 행렬
Figure pct00443
은 수학식 6에서 정의된 바와 같다. 모드 행렬은 각각의
Figure pct00444
또는
Figure pct00445
에 대해 미리정의된 주어진 방향에 의존하며, 따라서 인코더 및 디코더 양쪽 모두에서 독립적으로 구성될 수 있다. 또한
Figure pct00446
(또는
Figure pct00447
)은 규약에 의해 미리정의된다.
마지막으로, 재구성된 절삭된 HOA 표현
Figure pct00448
은, 하기 수학식에 따라 재상관된 신호들
Figure pct00449
과 중간 표현의 신호들
Figure pct00450
,
Figure pct00451
로부터 생성된다
Figure pct00452
분석 필터 뱅크
예측된 방향 부대역 신호들에 의해 표현되는 제2 HOA 성분을 더 계산하기 위해, 압축해제된 절삭된 HOA 표현
Figure pct00453
의 개개의 계수 시퀀스
Figure pct00454
의 각각의 프레임
Figure pct00455
,
Figure pct00456
은 먼저 하나 이상의 분석 필터 뱅크(53)에서 개개의 부대역 신호들
Figure pct00457
,
Figure pct00458
의 프레임들로 분해된다. 각각의 부대역
Figure pct00459
,
Figure pct00460
에 대해, 개개의 HOA 계수 시퀀스들의 부대역 신호들의 프레임들은 다음과 같은 부대역 HOA 표현
Figure pct00461
으로 집합될 수 있다.
Figure pct00462
HOA 공간 디코딩 스테이지에서 적용되는 하나 이상의 분석 필터 뱅크(53)는 HOA 공간 인코딩 스테이지에서의 하나 이상의 분석 필터 뱅크(15)와 동일하고, 부대역 그룹에 대해서는 HOA 공간 인코딩 스테이지로부터의 그룹화가 적용된다. 따라서, 한 실시예에서, 그룹화 정보가 인코딩된 신호에 포함된다. 그룹화 정보에 대한 더 많은 상세사항은 이하에서 제공된다.
한 실시예에서, HOA 압축 스테이지(상기 수학식 4 부근을 참조)에서의 절삭된 HOA 표현의 계산에 대해 최대 차수
Figure pct00463
가 고려되며, HOA 압축기 및 압축해제기의 분석 필터 뱅크(15, 53)의 적용은 인덱스들
Figure pct00464
을 갖는 HOA 계수 시퀀스들
Figure pct00465
만으로 제한된다. 그러면, 인덱스들
Figure pct00466
을 갖는 부대역 신호 프레임들
Figure pct00467
은 0으로 설정될 수 있다.
방향 부대역 HOA 표현의 합성
각각의 부대역 또는 부대역 그룹에 대해, 방향 부대역 또는 부대역 그룹 HOA 표현
Figure pct00468
은 하나 이상의 방향 부대역 합성 블록(54)에서 합성된다. 한 실시예에서, 연속적인 프레임들 간의 방향 및 예측 계수의 변화로 인한 아티팩트를 피하기 위해, 방향 부대역 HOA 표현의 계산은 중첩 가산(overlap add)의 개념에 기초한다. 따라서, 한 실시예에서,
Figure pct00469
번째 부대역,
Figure pct00470
에 관련된 활성 지향성 부대역 신호의 HOA 표현
Figure pct00471
은 페이드 아웃 된 성분 및 페이드 인 된 성분의 합으로서 계산된다:
Figure pct00472
제1 단계에서, 2개의 개개의 성분들을 계산하기 위해, 프레임들
Figure pct00473
에 대한 예측 계수 행렬들
Figure pct00474
Figure pct00475
번째 프레임에 대한 절삭된 부대역 HOA 표현
Figure pct00476
과 관련된 모든 방향 부대역 신호들
Figure pct00477
의 순간 프레임은 다음과 같이 계산된다
Figure pct00478
부대역 그룹들에 대해, 각각의 그룹
Figure pct00479
의 HOA 표현들은 고정된 행렬
Figure pct00480
에 의해 곱해져 그 그룹의 부대역 신호들
Figure pct00481
을 생성한다.
제2 단계에서, 방향
Figure pct00482
에 대한 방향 부대역 신호
Figure pct00483
의 순시적 부대역 HOA 표현
Figure pct00484
,
Figure pct00485
,
Figure pct00486
이 다음과 같이 얻어진다
Figure pct00487
여기서,
Figure pct00488
는 방향
Figure pct00489
에 관한 (수학식 7의 모드 벡터로서의) 모드 벡터를 나타낸다. 각각의 부대역 그룹에 대해, 수학식 32는 그룹의 모든 신호에 대해 수행되고, 여기서, 행렬
Figure pct00490
는 각각의 그룹에 대해 고정된다.
행렬들
Figure pct00491
,
Figure pct00492
, 및
Figure pct00493
은 그들의 샘플들로 다음과 같이 구성된다고 가정하자
Figure pct00494
Figure pct00495
Figure pct00496
활성 방향 부대역 신호들의 HOA 표현의 성분들에서 페이딩 아웃되고 페이딩 인된 샘플 값들은 결국 다음과 같이 결정된다
Figure pct00497
Figure pct00498
여기서, 하기 벡터는
Figure pct00499
중첩 가산 윈도우 함수를 나타낸다. 윈도우 함수의 예는 주기적 Hann 윈도우에 의해 주어지고, 그 요소들은 다음과 같이 정의된다
Figure pct00500
부대역 HOA 조성(composition)
각각의 부대역 또는 부대역 그룹
Figure pct00501
,
Figure pct00502
에 대해, 디코딩된 부대 역 HOA 표현
Figure pct00503
의 계수 시퀀스들
Figure pct00504
,
Figure pct00505
은, 이전에 전송된 경우에는 절삭된 HOA 표현
Figure pct00506
의 계수 시퀀스의 것으로 설정되고, 그 외의 경우에는 방향 부대역 합성 블록(54)들 중 하나에 의해 제공되는 방향 HOA 성분
Figure pct00507
의 것으로 설정된다, 즉,
Figure pct00508
이 부대역 조성은 하나 이상의 부대역 조성 블록(55)에 의해 수행된다. 실시예에서, 각각의 부대역 또는 부대역 그룹에 대해 별개의 부대역 조성 블록(55)이 이용되므로, 하나 이상의 방향 부대역 합성 블록(54)들 각각에 대해 이용된다. 한 실시예에서, 방향 부대역 합성 블록(54) 및 그 대응하는 부대역 조성 블록(55)은 단일의 블록으로 통합된다.
합성 필터 뱅크
최종 단계에서, 디코딩된 HOA 표현은 모든 디코딩 된 부대역 HOA 표현들
Figure pct00509
로부터 합성된다. 압축해제된 HOA 표현
Figure pct00510
의 개개의 시간 영역 계수 시퀀스들
Figure pct00511
은, 압축해제된 HOA 표현
Figure pct00512
을 최종적으로 출력하는 하나 이상의 합성 필터 뱅크(56)에 의해 대응하는 부대역 계수 시퀀스들
Figure pct00513
,
Figure pct00514
로부터 합성된다.
합성된 시간 영역 계수 시퀀스는 일반적으로 분석 및 합성 필터 뱅크(53, 56)의 연속적인 적용으로 인해 지연을 갖는다는 점에 유의한다.
도 8은, 예시적으로, 단일 주파수 부대역 f1에 대해, 활성 방향 후보들의 세트, 이들의 선택된 궤적들 및 대응하는 튜플 세트를 도시한다. 프레임 k에서, 4개의 방향이 주파수 부대역 f1에서 활성이다. 방향들은 각각의 궤적 T1, T2, T3 및 T5에 속한다. 이전의 프레임 k-2 및 k-1에서는, 상이한 방향들이 활성이었다, 즉, 각각 T1, T2, T6 및 T1-T4. 프레임 k에서의 활성 방향 세트 MDIR(k)는 전체 대역과 관련되며, 수 개의 활성 방향 후보들을 포함한다, 예를 들어, MDIR(k) = {Ω3, Ω8, Ω52, Ω101, Ω229, Ω446, Ω581}이다. 각각의 방향은 임의의 방식으로, 예를 들어, 2개의 각도로 또는 미리정의된 표의 인덱스로서, 표현될 수 있다. 활성 전체-대역 방향들의 세트로부터, 부대역 내에서 실제로 활성인 방향들 및 그들의 대응하는 궤적들은, 튜플 세트들 MDIR(k, fj), j = 1,...,F에서 각각의 주파수 부대역에 대해 개별적으로 수집된다. 예를 들어, 프레임 k의 제1 주파수 부대역에서, 활성 방향들은 Ω3, Ω52, Ω229 및 Ω581이고, 이들의 연관된 궤적은 각각 T3, T1, T2 및 T5이다. 제2 주파수 부대역 f2에서, 활성 방향은 전형적으로 Ω52 및 Ω229뿐이고, 그들의 연관된 궤적은 각각 T1 및 T2이다.
다음은, 예시적인 세트 IC,ACT(k) = {1,2,4,6}의 계수 시퀀스들에 대응하는, 예시적인 절삭된 HOA 표현 CT(k)의 계수 행렬의 일부이다:
Figure pct00515
IC,ACT(k)에 따라, 행 1, 2, 4 및 6의 계수들만 0으로 설정되지 않는다(그럼에도 불구하고, 이들은 신호에 따라, 0 일 수 있다). 행렬 CT(k)의 각각의 열은 샘플을 참조하고, 행렬의 각각의 행은 계수 시퀀스이다. 압축은, 모든 계수 시퀀스가 인코딩되고 전송되는 것이 아니라, 일부 선택된 계수 시퀀스, 즉, 인덱스가 각각 IC,ACT(k) 및 할당 벡터
Figure pct00516
에 포함된 계수 시퀀스만 인코딩되고 전송된다는 것을 포함한다. 디코더에서, 계수들은 압축해제되고 재구성된 절삭된 HOA 표현의 정확한 행렬 행들에 위치한다. 행들에 관한 정보는 할당 벡터
Figure pct00517
로부터 얻어지며, 이 할당 벡터는 각각의 전송된 계수 시퀀스에 이용되는 전송 채널을 추가로 제공한다. 나머지 계수 시퀀스들은 0으로 채워지고, 수신된 부가 정보에 따라 수신된 (일반적으로 0이 아닌) 계수들로부터 나중에 예측된다, 예를 들어, 부대역 또는 부대역 그룹 관련 예측 행렬들 및 방향들.
부대역 그룹화
한 실시예에서, 이용된 부대역들은 사람의 청각의 음향심리학적 특성에 적합화된 상이한 대역폭들을 가진다. 대안으로서, 분석 필터 뱅크(53)로부터의 다수의 부대역들이 결합되어 상이한 대역폭들을 갖는 부대역들을 갖춘 적합화된 필터 뱅크를 형성한다. 분석 필터 뱅크(53)로부터의 인접한 부대역들의 그룹은 동일한 파라미터들을 이용하여 처리된다. 결합된 부대역들의 그룹들이 이용된다면, 인코더 측에서 적용되는 대응하는 부대역 구성은 디코더측에 알려져야 한다. 실시예에서, 구성 정보가 전송되고 디코더에 의해 그 합성 필터 뱅크를 셋업하기 위해 이용된다. 실시예에서, 구성 정보는 복수의 미리정의된 알려진 구성들 (예를 들어, 리스트) 중 하나에 대한 식별자를 포함한다.
또 다른 실시예에서, 부대역 구성을 정의하기 위해 필요한 비트수를 감소시키는 다음과 같은 융통성있는 해결책이 이용된다. 부대역 구성의 효율적인 인코딩을 위해, 처음의, 끝에서 두 번째의, 및 마지막 부대역 그룹의 데이터는 다른 부대역 그룹들과는 상이하게 취급된다. 또한, 부대역 그룹 대역폭 차이 값들은 인코딩에서 이용된다. 원칙적으로, 부대역 그룹화 정보 코딩 방법은 오디오 신호의 하나 이상의 프레임들에 대해 유효한 부대역 그룹들에 대한 부대역 구성 데이터를 코딩하는데 적합하며, 여기서, 각각의 부대역 그룹은 하나 이상의 인접한 원래의 부대역들의 조합이고 원래의 부대역들의 수는 미리 정의되어 있다. 일 실시예에서, 후속 부대역 그룹의 대역폭은 현재 부대역 그룹의 대역폭보다 크거나 같다. 이 방법은 NSB-1을 나타내는 고정된 비트수를 갖는 다수의 NSB개의 부대역 그룹을 코딩하는 단계를 포함하고, NSB > 1이면, 제1 부대역 그룹 g1에 대해 BSB[1]-1을 나타내는 단항 코드를 갖는 대역폭 값 BSB[1]을 코딩한다. NSB=3이면, 고정된 비트수를 갖는 대역폭 차이 값
Figure pct00518
이 제2 부대역 그룹 g2에 대해 코딩된다. NSB > 3이면, 대응하는 개수의 대역폭 차이 값들
Figure pct00519
이 단항 코드를 갖는 부대역 그룹들
Figure pct00520
에 대해 코딩되고, 고정된 수의 비트를 갖는 대역폭 차이 값
Figure pct00521
이 마지막 부대역 그룹
Figure pct00522
에 대해 코딩된다. 부대역 그룹에 대한 대역폭 값은 인접한 원래의 부대역들의 수로서 표현된다. 마지막 부대역 그룹
Figure pct00523
에 대해, 어떠한 대응하는 값도 코딩된 부대역 구성 데이터에 포함될 필요가 없다.
도 9는 종래의 MPEG-H 3D 오디오 인코더의 HOA 인코딩 경로의 일반화된 블록도를 도시한다. 2가지 유형의 우세 사운드 신호가 추출된다: 방향 사운드 추출 블록 DSE에서의 방향 신호들과 VVec 사운드 추출 블록 VSE에서의 벡터-기반 신호 VVec. 벡터-기반 신호 VVec(V-벡터)에 속하는 벡터는 대응하는 벡터-기반 신호에 대한 음장의 공간 분포를 나타낸다. 또한, 환경 성분은 잔류/환경용 계산기(CRA; Calculator for Residuum/Ambience)에 인코딩됨으로써, 방향 사운드 추출 블록 DSE 및 VVec 사운드 추출 블록 VSE로부터의 출력 데이터 중 하나 또는 양쪽 모두가 이용되거나 어느 것도 이용될 수 없다. 환경 신호는 공간 해상도 감소 블록 SRR, 부분적 무상관화 PD 및 이득 제어 GCA를 거친다. 박스 내의 블록들은 사운드 장면 분석(SSA; Sound Scene Analysis)에 의해 제어된다. 범용 음성 & 오디오 인코더(USAC3D; Universal Speech &Audio encoder)에 공급되기 전에, 우세 사운드 신호는 각각의 이득 제어 블록들 GCD, GCV에 의해 처리된다. 마지막으로, USAC3D 인코더 ENCc&HEPC는 HOA 공간측 정보를 HOA 확장 페이로드로 팩킹한다.
도 10은 한 실시예에 따른 MPEG에서 이용가능한 개선된 오디오 인코더를 도시한다. 개시된 기술은 저대역폭을 위한 비트스트림이 공지된 MPEG-H 3D 오디오 포멧의 실제 수퍼셋이도록 하는 방식으로 현재의 MPEG-H 3D 오디오 시스템을 수정한다. 도 9와 비교하여, 사운드 장면 분석 SSA에서, 2개의 새로운 블록을 포함하는 경로가 추가된다. 이들은, 환경 신호에 적용되는 QMF 분석 필터 뱅크 QAC, 및 방향 부대역 신호의 파라미터의 계산을 위한 방향 부대역 계산 블록 DSCC이다. 이들 파라미터들은 전송된 환경 신호에 기초한 방향 신호들의 합성을 허용한다. 추가로, 누락된 환경 신호의 재생을 허용하는 파라미터들이 계산된다. 합성 프로세스에 대한 부가 정보 파라미터는 USAC3D 인코더 ENC&HEP로 전달되고, 여기에서, 이들은 압축된 출력 신호 HOAC,O의 HOA 확장 페이로드로 팩킹된다. 유익하게도, 압축은 도 9의 구성에 의해 달성되는 종래의 압축보다 효율적이다.
도 11은 종래의 MPEG-H 3D 오디오 디코더의 일반화된 블록도를 도시한다. 먼저, HOA 부가 정보가 압축된 입력 비트 스트림 HOAC,I 및 USAC3D로부터 추출되고 HOA 확장 페이로드 디코더 DECc&HEPC는 전송 채널 파형 신호를 재생한다. 이들은 대응하는 역 이득 제어 블록들 IGCD, IGCV, IGCA에 공급된다. 여기서, 인코더에서 적용된 정규화는 역전된다. 대응하는 전송 채널들이 부가 정보와 함께 이용되어 각각 HOA 방향 사운드 합성 블록 DSS 및/또는 VVec 사운드 합성 블록 VSS에서 우세 사운드 신호들(방향 및/또는 벡터-기반)를 합성한다. 세번째 경로에서, 역 부분적 무상관화 IPD 및 HOA 환경 합성 HAS 블록들에 의해 환경 성분이 재생된다. 후속하는 HOA 조성 블록 HCC는 우세 사운드 성분 및 환경 성분을 결합하여 디코딩된 HOA 신호를 구축한다. 이것은 HOA 렌더러 HR에 공급되어 출력 신호 HOA'D,O, 즉, 최종 확성기 피드(feed)를 생성한다.
도 12는 한 실시예에 따른 MPEG에서 이용가능한 개선된 오디오 디코더를 도시한다. 인코더에서와 같이, 경로가 추가된다. 이것은, 부대역 신호들의 계산을 위한 디코더측 QMF 분석 블록 QAD, 및 파라미터적으로 인코딩된 방향 부대역 신호들의 합성을 위한 방향 부대역 신호 합성 블록 DSCD를 포함한다. 계산된 부대역 신호들은 대응하는 전송측 정보와 함께 이용되어 방향 신호들의 HOA 표현을 합성한다. 그 후, 합성된 신호 성분은 QMF 합성 필터 뱅크 QS를 이용하여 시간 영역으로 이전된다. 그 출력 신호는 강화된 HOA 조성 블록 HC에 추가로 공급된다. 디코딩된 HOA 출력 신호 HOAD,O를 제공하기 위한 후속하는 HOA 렌더링 블록 HR은 변하지 않고 남아 있다.
이하에서는, HOA(Higher Order Ambisonics)의 일부 기본적인 피쳐들이 설명된다.
HOA(Higher Order Ambisonics)는 사운드 소스가 없는 것으로 가정되는 관심대상의 컴팩트 영역 내의 음장에 대한 설명에 기초한다. 이 경우, 관심대상 영역 내의 시간 t와 위치 x에서의 음압
Figure pct00524
의 시공간적 거동은 균질 파동 방정식에 의해 물리적으로 완전히 결정된다. 이하에서는, 도 6에 도시된 구면 좌표계를 가정한다. 이 좌표계에서, x축은 정면 위치를 가리키고 y축은 좌측을 가리키며 z축은 상부를 가리킨다. 공간에서의 위치
Figure pct00525
는, 반경 r>0(즉, 좌표 원점까지의 거리), 극축 z(!)으로부터 측정된 경사각
Figure pct00526
, 및 x축으로부터의 x-y 평면에서 반시계 방향으로 측정된 방위각
Figure pct00527
으로 나타낸다. 또한,
Figure pct00528
는 전치(transposition)를 나타낸다.
그 다음,
Figure pct00529
로 표기된 시간에 관한 음압의 푸리에 변환, 즉,
Figure pct00530
상기 수학식(여기서,
Figure pct00531
는 각주파수를 나타내고
Figure pct00532
는 허수 단위를 나타냄)은 하기 수학식에 따라 구면 고조파 급수로 확장될 수 있다는 것이 나타내어질 수 있다[11].
Figure pct00533
수학식 42에서,
Figure pct00534
는 사운드의 속도를 나타내고
Figure pct00535
Figure pct00536
에 의해 각주파수
Figure pct00537
와 관련된 각파수(angular wave number)를 나타낸다. 또한,
Figure pct00538
는 제1 종 구면 베셀 함수를 나타내고,
Figure pct00539
는, 위에서 정의된 차수
Figure pct00540
및 도수
Figure pct00541
의 실수값 구면 고조파를 나타낸다. 확장 계수
Figure pct00542
는 각파수
Figure pct00543
에만 의존한다. 음압은 공간적으로 대역-제한된다는 것이 묵시적으로 가정된다는 점에 유의한다. 따라서, 급수는, HOA 표현의 차수라고 불리는 상한
Figure pct00544
에서 차수 인덱스
Figure pct00545
에 관하여 절삭된다.
음장이 상이한 각주파수들
Figure pct00546
의 무한 개수의 고조파 평면파들의 중첩으로 표현되고 각도 튜플
Figure pct00547
에 의해 명시된 모든 가능한 방향들에서 도달하면, 각각의 평면파 복소 진폭 함수
Figure pct00548
는 다음과 같은 구면 고조파 확장에 의해 나타낼 수 있다[10]
Figure pct00549
여기서, 확장 계수들
Figure pct00550
은 확장 계수들
Figure pct00551
과 하기 수학식에 의해 관련된다
Figure pct00552
개개의 계수들
Figure pct00553
이 각주파수
Figure pct00554
의 함수인 것으로 가정하면, (
Figure pct00555
으로 표기되는) 역 푸리에 변환의 적용은 각각의 차수
Figure pct00556
및 도수
Figure pct00557
에 대해 하기의 시간 영역 함수들을 제공한다
Figure pct00558
이들 시간 영역 함수들은 여기서는 연속-시간 HOA 계수 시퀀스라 부르며, 하기의 단일의 벡터
Figure pct00559
로 집합될 수 있다
Figure pct00560
벡터
Figure pct00561
내에서의 HOA 계수 시퀀스
Figure pct00562
의 위치 인덱스는
Figure pct00563
으로 주어진다.
벡터
Figure pct00564
내의 요소들의 전체 개수는
Figure pct00565
으로 주어진다.
최종 Ambisonics 포멧은 하기의 같은 샘플링 주파수
Figure pct00566
를 이용한
Figure pct00567
의 샘플링된 버전을 제공한다
Figure pct00568
여기서,
Figure pct00569
는 샘플링 기간을 나타낸다.
Figure pct00570
의 요소들은 여기서는 이산-시간 HOA 계수 시퀀스라 부르며, 항상 실수값인 것으로 보일 수 있다. 이 속성은 또한 명백히 연속-시간 버전
Figure pct00571
에 대해서도 유효하다.
실수값 구면 고조파의 정의
실수값 구면 고조파
Figure pct00572
(SN3D 정규화 [1, Ch.3.1]을 가정)는 다음과 같이 주어진다
Figure pct00573
여기서,
Figure pct00574
연관된 르쟝드르 함수
Figure pct00575
는 르쟝드르 다항식
Figure pct00576
과 함께 다음과 같이 정의되며,
Figure pct00577
[11]에서와 달리, Condon-Shortley 위상 항
Figure pct00578
이 없다.
한 실시예에서, (복소값 필터 뱅크로부터 획득되는) HOA 신호 표현의 부대역 또는 부대역 그룹 내의 우세 방향 신호들의 방향들의 프레임별 결정 및 효율적인 인코딩을 위한 방법은,
각각의 현재 프레임 k에 대해: HOA 신호에서 전체 대역 방향 후보들의 세트 MDIR(k), 상기 세트 MDIR(k) 내의 요소들의 수 NoOfGlobalDirs 및 상기 요소들의 수를 인코딩하는데 요구되는 수 D(k)=log2(NoOfGlobalDirs)를 결정 ―각각의 전체 대역 방향 후보는, 미리정의된 전체 세트의 Q개의 가능한 방향들에 관련된 전역 지수 q(
Figure pct00579
)를 가짐― 하는 단계, 현재 프레임 k의 각각의 부대역 또는 부대역 그룹 j에 대해, 세트 MDIR(k) 내의 전체 대역 방향 후보들 중 어느 방향들이 활성 부대역 방향으로서 발생하는지를 결정하는 단계, 임의의 부대역 또는 부대역 그룹들에서 활성 부대역 방향으로서 발생하는 이용된 전체 대역 방향 후보들의 세트 MFB(k)(모두는 HOA 신호에서 전체 대역 방향 후보들의 세트 MDIR(k) 내에 포함됨) 및 이용된 전체 대역 방향 후보들의 세트 MFB(k) 내의 요소들의 수 NoOfGlobalDirs(k)를 결정하는 단계, 및 현재 프레임 k의 각각의 부대역 또는 부대역 그룹 j에 대해: 세트 MDIR(k) 내의 전체 대역 방향 후보들 중에서 d(
Figure pct00580
)개까지의 방향들 중 어느 방향들이 활성 부대역 방향인지를 결정하고, 활성 부대역 방향들 각각에 대해 궤적 및 궤적 인덱스를 결정하고, 궤적 인덱스를 각각의 활성 부대역 방향에 할당하며, 현재의 부대역 또는 부대역 그룹 j 내의 활성 부대역 방향들 각각을 D(k) 비트를 갖는 상대 인덱스에 의해 인코딩하는 단계를 포함한다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터로 하여금 우세 방향 신호들의 방향들의 프레임별 결정과 효율적인 인코딩을 위한 이 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있다.
또한, 한 실시예에서, HOA 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 디코딩을 위한 방법은, 디코딩될 HOA 신호 표현에 대한 최대 개수의 방향들 D의 인덱스들을 수신하는 단계, 디코딩될 HOA 신호 표현의 최대 개수의 방향들 D의 방향들을 재구성하는 단계, 부대역당 활성 방향 신호들의 인덱스들을 수신하는 단계, 디코딩될 HOA 신호 표현의 재구성된 방향들 D로부터 부대역당 활성 방향들을 재구성하는 단계, 및 부대역들의 방향 신호들을 예측하는 단계를 포함하며, 여기서, 부대역의 현재 프레임에서 방향 신호를 예측하는 것은, 부대역의 선행 프레임의 방향 신호를 결정하는 것을 포함하고, 여기서, 방향 신호의 인덱스가 선행 프레임에서 제로이고 현재 프레임에서 비제로이면 새로운 방향 신호가 생성되고, 방향 신호의 인덱스가 선행 프레임에서 비제로이고 현재 프레임에서 제로이면 이전 방향 신호는 취소되고, 방향 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 신호의 방향은 제1 방향으로부터 제2 방향으로 이동된다.
한 실시예에서, 도 1 및 도 3에 도시되고 상기에서 논의된 바와 같이, 주어진 개수의 계수 시퀀스 ―각각의 계수 시퀀스는 인덱스를 가짐― 를 갖는 입력 HOA 신호의 프레임들을 인코딩하기 위한 장치는, 적어도 하나의 하드웨어 프로세서 및 적어도 하나의 소프트웨어 컴포넌트를 유형적으로 구현하는 비일시적, 유형의 컴퓨터 판독가능한 저장 매체를 포함하고, 적어도 하나의 소프트웨어 컴포넌트는 적어도 하나의 하드웨어 프로세서에서 실행될 때 하드웨어 프로세서로 하여금,
감소된 개수의 비제로 계수 시퀀스들을 갖는 절삭된 HOA 표현
Figure pct00581
을 계산하고(11),
절삭된 HOA 표현에서 포함되는 활성 계수 시퀀스들 IC,ACT(k)의 인덱스들의 세트를 결정하며(11),
입력 HOA 신호로부터 제1 세트의 후보 방향들 MDIR(k)을 추정하고(16),
입력 HOA 신호를 복수의 주파수 부대역
Figure pct00582
으로 분할 ―여기서, 주파수 부대역들의 계수 시퀀스들
Figure pct00583
이 획득됨― 하며(15),
주파수 부대역들 각각에 대해 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF)을 추정 ―제2 세트의 방향들의 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향의 인덱스이며 제1 인덱스는 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 입력 HOA 신호의 제1 세트의 후보 방향들 MDIR(k)에 포함됨― 하고(16),
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF)에 따라 주파수 부대역의 계수 시퀀스들
Figure pct00584
Figure pct00585
로부터 방향 부대역 신호들
Figure pct00586
을 계산하며(17),
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 시퀀스들IC,ACT(k)의 인덱스들의 세트를 이용하여 주파수 부대역의 계수 시퀀스들
Figure pct00587
로부터 방향 부대역 신호들
Figure pct00588
을 예측하기 위해 구성된 예측 행렬 A(k,f1),...,A(k,fF) 을 계산하고(18),
제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF), 예측 행렬들 A(k,f1),...,A(k,fF) 및 절삭된 HOA 표현
Figure pct00589
을 인코딩하게 한다.
한 실시예에서, 도 4 및 도 5에 도시되고 상기에서 논의된 바와 같이, 압축된 HOA 표현을 디코딩하기 위한 장치는, 적어도 하나의 하드웨어 프로세서, 및 적어도 하나의 소프트웨어 컴포넌트를 구현하는 비일시적, 유형의, 컴퓨터 판독가능한 저장 매체를 포함하고, 적어도 하나의 소프트웨어 컴포넌트는, 적어도 하나의 하드웨어 프로세서에서 실행될 때, 하드웨어 프로세서로 하여금, 압축된 HOA 표현으로부터, 복수의 절삭된 HOA 계수 시퀀스들
Figure pct00590
, 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스를 나타내거나 포함하는 할당 벡터
Figure pct00591
, 부대역 관련 방향 정보 MDIR(k+1,f1),...,MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보
Figure pct00592
Figure pct00593
를 추출하고(41, 42, 43);
복수의 절삭된 HOA 계수 시퀀스들
Figure pct00594
, 이득 제어 부가 정보
Figure pct00595
Figure pct00596
및 할당 벡터
Figure pct00597
로부터, 절삭된 HOA 표현
Figure pct00598
을 재구성하며(51, 52),
하나 이상의 분석 필터 뱅크(53)에서, 재구성된 절삭된 HOA 표현
Figure pct00599
을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들
Figure pct00600
로 분해하고,
방향 부대역 합성 블록(54)에서, 주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현
Figure pct00601
, 부대역 관련 방향 정보 MDIR(k+1,f1),...,MDIR(k+1,fF), 및 예측 행렬들 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현
Figure pct00602
Figure pct00603
을 합성하고(54),
부대역 조성 블록(55)에서, F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터
Figure pct00604
에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현
Figure pct00605
의 계수 시퀀스들로부터 획득되거나, 그렇지 않으면 방향 부대역 합성 블록(54)들 중 하나에 의해 제공된 예측된 방향 HOA 성분
Figure pct00606
의 계수 시퀀스들로부터 획득되는 계수 시퀀스들
Figure pct00607
,
Figure pct00608
을 갖는 디코딩된 부대역 HOA 표현
Figure pct00609
을 조성하고(55), 하나 이상의 합성 필터 뱅크(56)에서, 디코딩된 HOA 표현
Figure pct00610
을 획득하기 위해 디코딩된 부대역 HOA 표현들
Figure pct00611
을 합성하게 한다.
한 실시예에서, 주어진 개수의 계수 시퀀스들 ―각각의 계수 시퀀스는 인덱스를 가짐― 을 갖는 입력 HOA 신호의 프레임들을 인코딩하기 위한 장치(10)는, 감소된 개수의 비제로 계수 시퀀스들을 갖는 절삭된 HOA 표현
Figure pct00612
을 계산하도록 구성되고, 또한 절삭된 HOA 표현에 포함된 활성 계수 시퀀스들(IC,ACT(k))의 인덱스들의 세트를 결정하도록 구성된 계산 및 결정 모듈(11);
입력 HOA 신호를 복수의 주파수 부대역
Figure pct00613
으로 분할 ―여기서, 주파수 부대역들의 계수 시퀀스들
Figure pct00614
Figure pct00615
이 획득됨― 하도록 구성된 분석 필터 뱅크 모듈(15);
입력 방향 HOA 신호로부터 제1 세트의 후보 방향들 MDIR(k)을 추정하도록 구성되고, 또한 주파수 부대역들 각각에 대해 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF)을 추정하도록 ―제2 세트의 방향들의 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 제2 인덱스는 현재 주파수 부대역에 대한 활성 방향의 인덱스이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 입력 HOA 신호의 제1 세트의 후보 방향들 MDIR(k)에 포함됨― 구성된 방향 추정 모듈(16); 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF)에 따라 주파수 부대역의 계수 시퀀스들
Figure pct00616
로부터 방향 부대역 신호들
Figure pct00617
Figure pct00618
을 계산하도록 구성된 적어도 하나의 방향 부대역 계산 모듈(17); 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 시퀀스들 IC,ACT(k)의 인덱스들의 세트를 이용하여 주파수 부대역의 계수 시퀀스들
Figure pct00619
로부터, 방향 부대역 신호들
Figure pct00620
Figure pct00621
을 예측하기 위해 구성된 예측 행렬 A(k,f1),...,A(k,fF)을 계산하도록 구성된 적어도 하나의 방향 부대역 예측 모듈(18); 및 제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF), 예측 행렬들 A(k,f1),...,A(k,fF), 및 절삭된 HOA 표현
Figure pct00622
을 인코딩하도록 구성된 인코딩 모듈(30)을 포함한다.
한 실시예에서, 이 장치는, 절삭된 HOA 채널 시퀀스들을 부분적으로 무상관화하도록 구성된 부분적 무상관화기(12); 절삭된 HOA 채널 시퀀스들 y1(k),..., yI(k)을 전송 채널들에 할당하도록 구성된 채널 할당 모듈(13); 및 전송 채널들에 관한 이득 제어를 수행 ―여기서, 각각의 전송 채널에 대한 이득 제어 부가 정보
Figure pct00623
,
Figure pct00624
가 생성됨― 하도록 구성된 적어도 하나의 이득 제어 유닛(14)을 더 포함한다.
한 실시예에서, 인코딩 모듈(30)은, 이득 제어된 절삭된 HOA 채널 시퀀스 z1(k),...,zI(k)를 인코딩하도록 구성된 인지 인코더(31);
이득 제어 부가 정보
Figure pct00625
,
Figure pct00626
, 제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF), 및 예측 행렬들 A(k,f1),...,A(k,fF)을 인코딩하도록 구성된 부가 정보 소스 코더(32); 및
인지 인코더(31) 및 부가 정보 소스 코더(32)의 출력들을 멀티플렉싱하여 인코딩된 HOA 신호 프레임
Figure pct00627
을 획득하도록 구성된 멀티플렉서(33)를 포함한다.
한 실시예에서, HOA 신호를 디코딩하기 위한 장치(50)는,
압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 장치는, 압축된 HOA 표현으로부터, 복수의 절삭된 HOA 계수 시퀀들
Figure pct00628
, 상기 절삭된 HOA 시퀀스들의 시퀀스 인덱스들을 나타내거나 포함하는 할당 벡터
Figure pct00629
, 부대역 관련 방향 정보 MDIR(k+1,f1),..., MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보
Figure pct00630
Figure pct00631
를 추출하도록 구성된 추출 모듈(40); 복수의 절삭된 HOA 계수 시퀀스
Figure pct00632
, 이득 제어 부가 정보
Figure pct00633
Figure pct00634
, 및 할당 벡터
Figure pct00635
로부터 절삭된 HOA 표현
Figure pct00636
을 재구성하도록 구성된 재구성 모듈(51, 52); 재구성된 절삭된 HOA 표현
Figure pct00637
을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들
Figure pct00638
로 분해하도록 구성된 분석 필터 뱅크 모듈(53);
주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현
Figure pct00639
, 부대역 관련 방향 정보 MDIR(k+1,f1),..., MDIR(k+1,fF), 및 예측 행렬들 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현
Figure pct00640
을 합성하도록 구성된 적어도 하나의 방향 부대역 합성 모듈(54);
F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터
Figure pct00641
에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현
Figure pct00642
의 계수 시퀀스들로부터 획득되거나, 그렇지 않으면 방향 부대역 합성 모듈(54)들 중 하나에 의해 제공된 예측된 방향 HOA 성분
Figure pct00643
의 계수 시퀀스들로부터 획득되는 계수 시퀀스들
Figure pct00644
,
Figure pct00645
을 갖는 디코딩된 부대역 HOA 표현
Figure pct00646
을 조성하도록 구성된 적어도 하나의 부대역 조성 모듈(55); 및
디코딩된 HOA 표현
Figure pct00647
을 획득하기 위해 디코딩된 부대역 HOA 표현들
Figure pct00648
을 합성하도록 구성된 합성 필터 뱅크 모듈(56)을 포함한다.
한 실시예에서, 추출 모듈(40)은, 적어도, 인코딩된 부가 정보 부분 및 인코딩된 절삭된 HOA 계수 시퀀스들
Figure pct00649
을 포함하는 인지 코딩된 부분을 획득하기 위한 디멀티플렉서(41); 인코딩된 절삭된 HOA 계수 시퀀스들
Figure pct00650
을 인지 디코딩(s42)하여 절삭된 HOA 계수 시퀀스들
Figure pct00651
을 획득하도록 구성된 인지 디코더(42); 및 인코딩된 부가 정보 부분을 디코딩(s43)하여, 부대역 관련 방향 정보 MDIR(k+1,f1),..., MDIR(k+1,fF), 및 예측 행렬들 A(k+1,f1),...,A(k+1,fF), 이득 제어 부가 정보
Figure pct00652
Figure pct00653
, 및 할당 벡터
Figure pct00654
를 획득하도록 구성된 부가 정보 소스 디코더(43)를 포함한다.
도 13은 한 실시예에서의 낮은 비트 레이트 인코딩 방법의 플로차트를 도시한다. 주어진 개수의 계수 시퀀스들 ―각각의 계수 시퀀스는 인덱스를 가짐― 을 갖는 입력 HOA 신호의 프레임들을 낮은 비트 레이트 인코딩하기 위한 방법은,
감소된 개수의 비제로 계수 시퀀스들을 갖는 절삭된 HOA 표현
Figure pct00655
을 계산하는 단계 (s110), 절삭된 HOA 표현에 포함된 활성 계수 시퀀스들 IC,ACT(k)의 인덱스들의 세트를 결정하는 단계(s111), 입력 HOA 신호로부터 제1 세트의 후보 방향들 MDIR(k)을 추정하는 단계(s16), 입력 HOA 신호를 복수의 주파수 부대역들
Figure pct00656
로 분할 ―여기서, 주파수 부대역들의 계수 시퀀스들
Figure pct00657
이 획득됨― 하는 단계(s15), 주파수 부대역들 각각에 대해 제2 세트의 방향들 MDIR(k,f1),...,MDIR(k,fF) ―제2 세트의 방향들 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향의 인덱스이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 입력 HOA 신호의 제1 세트의 후보 방향들 MDIR(k)에 포함됨― 을 추정하는 단계(s161),
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 제2 세트의 방향들 MDIR(k,f1),...,MDIR(k,fF)에 따라 주파수 부대역의 계수 시퀀스들
Figure pct00658
Figure pct00659
로부터 방향 부대역 신호들
Figure pct00660
을 계산하는 단계(17),
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 시퀀스들 IC,ACT(k)의 인덱스들의 세트를 이용하여 주파수 부대역의 계수 시퀀스들
Figure pct00661
로부터 방향 부대역 신호들
Figure pct00662
을 예측하기 위해 구성된 예측 행렬 A(k,f1),...,A(k,fF)을 계산하는 단계(s18), 및 제1 세트의 후보 방향 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF), 예측 행렬들 A(k,f1),...,A(k,fF) 및 절삭된 HOA 표현
Figure pct00663
을 인코딩하는 단계(s19)를 포함한다.
한 실시예에서, 상기 절삭된 HOA 표현
Figure pct00664
을 인코딩하는 단계는,
절삭된 HOA 채널 시퀀스들의 부분적 무상관화(s12), 절삭된 HOA 채널 시퀀스들 y1(k),..., yI(k)을 전송 채널들에 할당하기 위한 채널 할당(s13), 전송 채널들 각각에 관한 이득 제어의 수행 ―여기서, 각각의 전송 채널에 대한 이득 제어 부가 정보
Figure pct00665
,
Figure pct00666
가 생성됨―하는 단계(s14),
이득 제어된 절삭된 HOA 채널 시퀀스들 z1(k),...,zI(k)을 인지 인코더(31)에서 인코딩하는 단계(s31), 이득 제어 부가 정보
Figure pct00667
,
Figure pct00668
, 제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),...,MDIR(k,fF), 및 예측 행렬들 A(k,f1),...,A(k,fF)을 부가 정보 소스 코더(32)에서 인코딩하는 단계(s32), 및 인지 인코더(31)와 부가 정보 소스 코더(32)의 출력들을 멀티플렉싱(s33)하여 인코딩된 HOA 신호 프레임
Figure pct00669
을 획득하는 단계를 포함한다.
한 실시예에서, 주어진 개수의 계수 시퀀스들 ―각각의 계수 시퀀스는 인덱스를 가짐― 을 갖는 입력 HOA 신호의 프레임들을 인코딩하기 위한 장치는, 프로세서와, 프로세서에 의해 실행될 때 프로세서로 하여금 청구항 8의 단계들을 수행하게 하는 명령어들을 저장한 메모리를 포함한다.
도 14는 한 실시예에서의 디코딩 방법의 플로차트를 도시한다. 낮은 비트 레이트 압축된 HOA 표현을 디코딩하기 위한 이 방법은, 압축된 HOA 표현으로부터 복수의 절삭된 HOA 계수 시퀀스들
Figure pct00670
, 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내는(또는 포함하는) 할당 벡터
Figure pct00671
, 부대역 관련 방향 정보 MDIR(k+1,f1),..., MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보
Figure pct00672
를 추출하는 단계(s41, s42, s43),
복수의 절삭된 HOA 계수 시퀀스들
Figure pct00673
, 이득 제어 부가 정보
Figure pct00674
, 및 할당 벡터
Figure pct00675
로부터, 절삭된 HOA 표현
Figure pct00676
을 재구성하는 단계(s51, s52), 분석 필터 뱅크(53)에서, 재구성된 절삭된 HOA 표현
Figure pct00677
을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들
Figure pct00678
로 분해하는 단계(s53), 방향 부대역 합성 블록(54)에서, 주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현
Figure pct00679
, 부대역 관련 방향 정보 MDIR(k+1,f1),..., MDIR(k+1,fF), 및 예측 행렬들 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현
Figure pct00680
Figure pct00681
을 합성하는 단계(s54),
부대역 조성 블록(55)에서, F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터
Figure pct00682
에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현
Figure pct00683
의 계수 시퀀스들로부터 획득되거나, 그렇지 않으면 방향 부대역 합성 블록(54)들 중 하나에 의해 제공된 예측된 방향 HOA 성분
Figure pct00684
의 계수 시퀀스들로부터 획득되는 계수 시퀀스들
Figure pct00685
,
Figure pct00686
을 갖는 디코딩된 부대역 HOA 표현
Figure pct00687
을 조성하는 단계(s55), 합성 필터 뱅크(56)에서, 디코딩된 HOA 표현
Figure pct00688
을 획득하기 위해 디코딩된 부대역 HOA 표현들
Figure pct00689
을 합성하는 단계(s56)를 포함한다.
실시예에서, 추출하는 단계는, 인지 코딩된 부분과 인코딩된 부가 정보 부분을 획득하기 위해 압축된 HOA 표현을 디멀티플렉싱하는 단계(s41), 인코딩된 절삭된 HOA 계수 시퀀스들을 인지 디코딩하는 단계(s42), 및 인코딩된 부가 정보를 부가 정보 소스 디코더(43)에서 디코딩하는 단계(s43) 중 하나 이상을 포함한다. 실시예에서, 복수의 절삭된 HOA 계수 시퀀스들로부터 절삭된 HOA 표현
Figure pct00690
을 재구성하는 단계는, 역 이득 제어를 수행하는 단계(s51)와 절삭된 HOA 표현
Figure pct00691
을 재구성하는 단계(s52) 중 하나 이상을 포함한다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터로 하여금 우세 방향 신호들의 방향들을 디코딩하기 위한 상기 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있다.
한 실시예에서, 압축된 HOA 신호를 디코딩하기 위한 장치는, 프로세서와, 프로세서에 의해 실행될 때 프로세서로 하여금 청구항 1의 단계들을 수행하게 하는 명령어들을 저장한 메모리를 포함한다.
동일한 결과를 달성하기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 요소들의 모든 조합은 본 발명의 범위 내에 있고, 설명 및 (적절한 경우) 청구항들에 개시된 각각의 피쳐 및 도면들은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다는 것을 명시적으로 의도한다. 특징들은, 적절하다면, 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 접속은, 적용가능하다면, 무선 접속 또는 유선으로서 구현될 수 있고, 반드시 직접적 또는 전용 접속일 필요는 없다. 한 실시예에서, 추출 모듈, 이득 제어 유닛, 부대역 신호 그룹화 유닛, 처리 유닛 및 기타의 것들과 같은, 앞서 언급된 모듈들 또는 유닛들 각각은, 적어도 부분적으로, 적어도 하나의 실리콘 컴포넌트를 이용함으로써 하드웨어로 구현된다.
[참조문헌]
Figure pct00692

Claims (25)

  1. 압축된 HOA 표현을 디코딩하기 위한 방법으로서,
    - 상기 압축된 HOA 표현으로부터 복수의 절삭된 HOA 계수 시퀀스들(
    Figure pct00693
    ), 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내거나 포함하는 할당 벡터(
    Figure pct00694
    ), 부대역 관련 방향 정보(MDIR(k+1,f1),..., MDIR(k+1,fF)), 복수의 예측 행렬들(A(k+1,f1),...,A(k+1,fF)), 및 이득 제어 부가 정보(
    Figure pct00695
    )를 추출하는 단계(s41, s42, s43),
    - 상기 복수의 절삭된 HOA 계수 시퀀스들(
    Figure pct00696
    ), 상기 이득 제어 부가 정보(
    Figure pct00697
    ) 및 상기 할당 벡터(
    Figure pct00698
    )로부터, 절삭된 HOA 표현(
    Figure pct00699
    )을 재구성하는 단계(s51, s52),
    - 분석 필터 뱅크들(53)에서, 상기 재구성된 절삭된 HOA 표현(
    Figure pct00700
    )을 복수의 F개의 주파수 부대역들에 대한 주파수 부대역 표현들(
    Figure pct00701
    Figure pct00702
    )로 분해하는 단계(s53),
    - 방향 부대역 합성 블록들(54)에서, 상기 주파수 부대역 표현들 각각에 대해, 상기 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현(
    Figure pct00703
    ), 상기 부대역 관련 방향 정보(MDIR(k+1,f1),..., MDIR(k+1,fF)), 및 상기 예측 행렬들(A(k+1,f1),...,A(k+1,fF))로부터, 예측된 방향 HOA 표현(
    Figure pct00704
    )을 합성하는 단계(s54),
    - 부대역 조성 블록들(55)에서, 상기 F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 상기 할당 벡터(
    Figure pct00705
    )에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현(
    Figure pct00706
    )의 계수 시퀀스들로부터 획득되거나, 그렇지 않으면 방향 부대역 합성 블록들(54) 중 하나에 의해 제공된 예측된 방향 HOA 성분(
    Figure pct00707
    )의 계수 시퀀스들로부터 획득되는 계수 시퀀스들(
    Figure pct00708
    ,
    Figure pct00709
    )을 갖는 디코딩된 부대역 HOA 표현(
    Figure pct00710
    )을 조성하는 단계(s55); 및
    - 합성 필터 뱅크들(56)에서, 디코딩된 HOA 표현(
    Figure pct00711
    )을 획득하기 위해 상기 디코딩된 부대역 HOA 표현들(
    Figure pct00712
    )을 합성하는 단계(s56)
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 추출하는 단계는 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 상기 압축된 HOA 표현을 디멀티플렉싱하는 단계(s41)를 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 추출하는 단계는 인코딩된 절삭된 HOA 계수 시퀀스들(
    Figure pct00713
    )을 포함하는 인지 코딩된 부분을 획득하는 단계를 포함하고, 상기 절삭된 HOA 계수 시퀀스들(
    Figure pct00714
    )을 획득하기 위해 상기 인코딩된 절삭된 HOA 계수 시퀀스들(
    Figure pct00715
    )을 인지 디코더(42)에서 인지 디코딩하는 단계(s42)를 더 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 추출하는 단계는 인코딩된 부가 정보 부분을 획득하는 단계를 포함하고, 부대역 관련 방향 정보(MDIR(k+1,f1),..., MDIR(k+1,fF)), 예측 행렬들(A(k+1,f1),...,A(k+1,fF)), 이득 제어 부가 정보(
    Figure pct00716
    ), 및 할당 벡터(
    Figure pct00717
    )를 획득하기 위해 상기 인코딩된 부가 정보 부분을 부가 정보 소스 디코더(43)에서 디코딩하는 단계(s43)를 더 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 부대역 관련 방향 정보는, 활성 방향들의 세트(MDIR(k))와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플(tuple)들을 포함하는 튜플 세트(MDIR(k+1,f1),..., MDIR(k+1,fF))를 포함하고, 상기 제2 인덱스는 현재의 주파수 부대역에 대한 상기 활성 방향들의 세트(MDIR(k)) 내의 활성 방향의 인덱스이며, 상기 제1 인덱스는 상기 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스인, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 적어도 하나의 주파수 부대역 표현은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹을 포함하는, 방법.
  7. 제6항에 있어서, 상기 압축된 HOA 표현으로부터 부대역 그룹 구성 정보가 수신되거나 추출되고, 상기 부대역 그룹 구성 정보는 상기 합성 필터 뱅크들(56)을 셋업하는데 이용되는, 방법.
  8. 주어진 개수의 계수 시퀀스들 ―각각의 계수 시퀀스는 인덱스를 가짐― 을 갖는 입력 HOA 신호의 프레임들을 인코딩하기 위한 방법은,
    - 절삭된 HOA 표현에 포함될 활성 계수 시퀀스들(IC,ACT(k))의 인덱스들의 세트를 결정하는 단계(s111);
    - 감소된 개수의 비제로 계수 시퀀스들을 갖는 절삭된 HOA 표현(
    Figure pct00718
    )을 계산하는 단계(s110);
    - 상기 입력 HOA 신호로부터 제1 세트의 후보 방향들(MDIR(k))을 추정하는 단계(s16);
    - 상기 입력 HOA 신호를 복수의 주파수 부대역들(
    Figure pct00719
    )로 분할 ―상기 주파수 부대역들의 계수 시퀀스들(
    Figure pct00720
    )이 획득됨― 하는 단계(s15);
    - 상기 주파수 부대역들 각각에 대해 제2 세트의 방향들(MDIR(k,f1), ..., MDIR(k,fF))을 추정 ―상기 제2 세트의 방향들의 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 상기 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향의 인덱스이며, 상기 제1 인덱스는 상기 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 상기 입력 HOA 신호의 상기 제1 세트의 후보 방향들(MDIR(k))에 포함됨― 하는 단계(s161);
    - 상기 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 상기 제2 세트의 방향들(MDIR(k,f1),...,MDIR(k,fF))에 따라 상기 주파수 부대역의 계수 시퀀스들(
    Figure pct00721
    Figure pct00722
    )로부터 방향 부대역 신호들(
    Figure pct00723
    )을 계산하는 단계(s17);
    - 상기 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 시퀀스들(IC,ACT(k))의 인덱스들의 세트를 이용하여 상기 주파수 부대역의 계수 시퀀스들(
    Figure pct00724
    )로부터 방향 부대역 신호들(
    Figure pct00725
    Figure pct00726
    )을 예측하기 위해 구성된 예측 행렬(A(k,f1),..., A(k,fF))을 계산하는 단계(s18); 및
    - 상기 제1 세트의 후보 방향들(MDIR(k)), 상기 제2 세트의 방향들((MDIR(k,f1),..., MDIR(k,fF))), 상기 예측 행렬들(A(k,f1),...,A(k,fF)) 및 상기 절삭된 HOA 표현 (
    Figure pct00727
    )을 인코딩하는 단계(s19)
    를 포함하는 방법.
  9. 제8항에 있어서, 2개 이상의 부대역으로 이루어진 적어도 하나의 그룹이 생성되고, 상기 적어도 하나의 그룹은 단일 부대역 대신에 이용되고 단일 부대역과 동일한 방식으로 취급되는, 방법.
  10. 제8항 또는 제9항에 있어서, 상기 절삭된 HOA 표현(
    Figure pct00728
    )을 인코딩하는 단계는,
    - 상기 절삭된 HOA 채널 시퀀스들의 부분적 무상관화(s12);
    - 상기 절삭된 HOA 채널 시퀀스들(y1(k),..., yI(k))을 전송 채널들에 할당하기 위한 채널 할당(s13);
    - 전송 채널들 각각에 관한 이득 제어를 수행 ―각각의 전송 채널에 대한 이득 제어 부가 정보(
    Figure pct00729
    ,
    Figure pct00730
    )가 생성됨―하는 단계(s14);
    - 이득 제어된 절삭된 HOA 채널 시퀀스들(z1(k),..., zI(k))을 인지 인코더(31)에서 인코딩하는 단계(s31);
    - 상기 이득 제어 부가 정보(
    Figure pct00731
    ,
    Figure pct00732
    ), 상기 제1 세트의 후보 방향들(MDIR(k)), 상기 제2 세트의 방향들(MDIR(k,f1),..., MDIR(k,fF)) , 및 상기 예측 행렬들(A(k,f1),...,A(k,fF))을 부가 정보 소스 코더(32)에서 인코딩하는 단계(s32); 및
    - 인코딩된 HOA 신호 프레임(
    Figure pct00733
    )을 획득하기 위해 상기 인지 인코더(31)와 상기 부가 정보 소스 코더(32)의 출력들을 멀티플렉싱하는 단계(s33)
    를 포함하는 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 주파수 부대역들 각각에 대해 제2 세트의 방향들(MDIR(k,f1),..., MDIR(k,fF))을 추정하는 단계(s161)에 있어서, 주파수 부대역의 방향들은 전체 대역 HOA 신호의 방향들(MDIR(k)) 중에서만 탐색되는, 방법.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서, 활성 방향의 궤적을 결정하는 단계를 더 포함하고, 상기 활성 방향은 사운드 소스의 방향이며, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스인, 방법.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서, 절삭된 HOA 표현은 하나 이상의 계수 시퀀스들이 제로로 설정되는 HOA 신호인, 방법.
  14. HOA 신호를 디코딩하기 위한 장치(50)로서,
    - 압축된 HOA 표현으로부터 복수의 절삭된 HOA 계수 시퀀스들(
    Figure pct00734
    ), 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내거나 포함하는 할당 벡터(
    Figure pct00735
    ), 부대역 관련 방향 정보(MDIR(k+1,f1),..., MDIR(k+1,fF)), 복수의 예측 행렬들(A(k+1,f1),...,A(k+1,fF)), 및 이득 제어 부가 정보(
    Figure pct00736
    Figure pct00737
    )를 추출하도록 구성된 추출 모듈(40);
    - 상기 복수의 절삭된 HOA 계수 시퀀스들(
    Figure pct00738
    ), 상기 이득 제어 부가 정보(
    Figure pct00739
    Figure pct00740
    ), 및 상기 할당 벡터(
    Figure pct00741
    )로부터, 절삭된 HOA 표현(
    Figure pct00742
    )을 재구성하도록 구성된 재구성 모듈(51, 52);
    - 상기 재구성된 절삭된 HOA 표현(
    Figure pct00743
    )을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들(
    Figure pct00744
    )로 분해하도록 구성된 분석 필터 뱅크 모듈(53);
    - 상기 주파수 부대역 표현들 각각에 대해, 상기 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현(
    Figure pct00745
    ), 상기 부대역 관련 방향 정보(MDIR(k+1,f1),...,MDIR(k+1,fF)), 및 상기 예측 행렬들(A(k+1,f1),...,A(k+1,fF))로부터, 예측된 방향 HOA 표현(
    Figure pct00746
    )을 합성하도록 구성된 적어도 하나의 방향 부대역 합성 모듈(54);
    - 상기 F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 상기 할당 벡터(
    Figure pct00747
    )에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현(
    Figure pct00748
    )의 계수 시퀀스들로부터 획득되거나, 그렇지 않으면 방향 부대역 합성 모듈(54) 중 하나에 의해 제공된 예측된 방향 HOA 성분(
    Figure pct00749
    )의 계수 시퀀스들로부터 획득되는 계수 시퀀스들(
    Figure pct00750
    ,
    Figure pct00751
    )을 갖는 디코딩된 부대역 HOA 표현(
    Figure pct00752
    Figure pct00753
    )을 조성하도록 구성된 적어도 하나의 부대역 조성 모듈(55); 및
    - 디코딩된 HOA 표현(
    Figure pct00754
    )을 획득하기 위해 디코딩된 부대역 HOA 표현들(
    Figure pct00755
    )을 합성하도록 구성된 합성 필터 뱅크 모듈(56)
    을 포함하는 장치.
  15. 제14항에 있어서, 상기 추출 모듈(40)은, 적어도,
    - 인코딩된 부가 정보 부분 및 인코딩된 절삭된 HOA 계수 시퀀스들(
    Figure pct00756
    )을 포함하는 인지 코딩된 부분을 획득하기 위한 디멀티플렉서(41);
    - 상기 절삭된 HOA 계수 시퀀스들(
    Figure pct00757
    )을 획득하기 위해 상기 인코딩된 절삭된 HOA 계수 시퀀스들(
    Figure pct00758
    )을 인지 디코딩(s42)하도록 구성된 인지 디코더(42); 및
    - 부대역 관련 방향 정보(MDIR(k+1,f1),...,MDIR(k+1,fF)), 예측 행렬들(A(k+1,f1),...,A(k+1,fF)), 이득 제어 부가 정보(
    Figure pct00759
    Figure pct00760
    ), 및 할당 벡터(
    Figure pct00761
    )를 획득하기 위해 상기 인코딩된 부가 정보 부분을 디코딩(s43)하도록 구성된 부가 정보 소스 디코더(43)
    를 포함하는, 장치.
  16. 제14항 또는 제15항 중 어느 한 항에 있어서, 상기 추출 모듈(40)은 인코딩된 부가 정보 부분을 획득하고, 부대역 관련 방향 정보(MDIR(k+1,f1),...,MDIR(k+1,fF)), 예측 행렬들(A(k+1,f1),...,A(k+1,fF)), 이득 제어 부가 정보(
    Figure pct00762
    Figure pct00763
    ), 및 할당 벡터
    Figure pct00764
    )를 획득하기 위해 상기 인코딩된 부가 정보 부분을 디코딩하도록(s43) 구성된 부가 정보 소스 디코더(43)를 더 포함하는, 장치.
  17. 제14항 내지 제16항 중 어느 한 항에 있어서, 상기 부대역 관련 방향 정보는, 활성 방향들의 세트(MDIR(k))와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플(tuple)들을 포함하는 튜플 세트(MDIR(k+1,f1), ...,MDIR(k+1,fF))를 포함하고, 상기 제2 인덱스는 현재의 주파수 부대역에 대한 상기 활성 방향들의 세트(MDIR(k)) 내의 활성 방향의 인덱스이며, 상기 제1 인덱스는 상기 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스인, 장치.
  18. 제14항 내지 제17항 중 어느 한 항에 있어서, 적어도 하나의 주파수 부대역 표현은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹을 포함하는, 장치.
  19. 제18항에 있어서, 상기 압축된 HOA 표현으로부터 부대역 그룹 구성 정보가 수신되거나 추출되고, 상기 부대역 그룹 구성 정보는 상기 합성 필터 뱅크들(56)을 셋업하는데 이용되는, 장치.
  20. 주어진 개수의 계수 시퀀스들 ―각각의 계수 시퀀스는 인덱스를 가짐― 을 갖는 입력 HOA 신호의 프레임들을 인코딩하기 위한 장치(10)로서,
    - 감소된 개수의 비제로 계수 시퀀스들을 갖는 절삭된 HOA 표현(
    Figure pct00765
    )을 계산하도록 구성되고, 또한 상기 절삭된 HOA 표현에 포함된 활성 계수 시퀀스들(IC,ACT(k))의 인덱스들의 세트를 결정하도록 구성된 계산 및 결정 모듈(11);
    - 상기 입력 HOA 신호를 복수의 주파수 부대역들(
    Figure pct00766
    )로 분할 ―상기 주파수 부대역들의 계수 시퀀스들(
    Figure pct00767
    )이 획득됨― 하도록 구성된 분석 필터 뱅크 모듈(15);
    - 상기 입력 HOA 신호로부터 제1 세트의 후보 방향들(MDIR(k))을 추정하도록 구성되고, 또한 주파수 부대역들 각각에 대해 제2 세트의 방향들(MDIR(k,f1), ..., MDIR(k,fF))을 추정하도록 ―상기 제2 세트의 방향들의 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 상기 제2 인덱스는 현재 주파수 부대역에 대한 활성 방향의 인덱스이며, 상기 제1 인덱스는 상기 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 상기 입력 HOA 신호의 상기 제1 세트의 후보 방향들(MDIR(k))에 포함됨― 구성된 방향 추정 모듈(16);
    - 상기 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 상기 제2 세트의 방향들(MDIR(k,f1),...,MDIR(k,fF))에 따라 상기 주파수 부대역의 계수 시퀀스들(
    Figure pct00768
    )로부터 방향 부대역 신호들(
    Figure pct00769
    )을 계산하도록 구성된 적어도 하나의 방향 부대역 계산 모듈(17);
    - 상기 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 시퀀스들(IC,ACT(k))의 인덱스들의 세트를 이용하여 상기 주파수 부대역의 계수 시퀀스들(
    Figure pct00770
    )로부터, 방향 부대역 신호들(
    Figure pct00771
    )을 예측하기 위해 구성된 예측 행렬(A(k,f1),..., A(k,fF))을 계산하도록 구성된 적어도 하나의 방향 부대역 예측 모듈(18); 및
    - 상기 제1 세트의 후보 방향들(MDIR(k)), 상기 제2 세트의 방향들(MDIR(k,f1),..., MDIR(k,fF)), 상기 예측 행렬들(A(k,f1),...,A(k,fF)) 및 상기 절삭된 HOA 표현(
    Figure pct00772
    )을 인코딩하도록 구성된 인코딩 모듈(30)
    을 포함하는 장치.
  21. 제20항에 있어서, 2개 이상의 부대역으로 이루어진 적어도 하나의 그룹이 생성되고, 상기 적어도 하나의 그룹은 단일 부대역 대신에 이용되고 단일 부대역과 동일한 방식으로 취급되는, 장치.
  22. 제20항 또는 제21항에 있어서,
    - 상기 절삭된 HOA 채널 시퀀스들을 부분적으로 무상관화하도록 구성된 부분적 무상관화기(12);
    - 상기 절삭된 HOA 채널 시퀀스들(y1(k),..., yI(k))을 전송 채널들에 할당하도록 구성된 채널 할당 모듈(13); 및
    - 상기 전송 채널들에 관한 이득 제어를 수행 ―각각의 전송 채널에 대한 이득 제어 부가 정보(
    Figure pct00773
    ,
    Figure pct00774
    )가 생성됨―하도록 구성된 적어도 하나의 이득 제어 유닛(14)
    을 더 포함하고,
    상기 인코딩 모듈(30)은,
    - 상기 이득 제어된 절삭된 HOA 채널 시퀀스들(z1(k),..., zI(k))을 인코딩하도록 구성된 인지 인코더(31);
    - 상기 이득 제어 부가 정보(
    Figure pct00775
    ,
    Figure pct00776
    ), 상기 제1 세트의 후보 방향들(MDIR(k)), 상기 제2 세트의 방향들(MDIR(k,f1),..., MDIR(k,fF)), 및 상기 예측 행렬들(A(k,f1),...,A(k,fF))을 인코딩하도록 구성된 부가 정보 소스 코더(32); 및
    - 인코딩된 HOA 신호 프레임(
    Figure pct00777
    )을 획득하기 위해 상기 인지 인코더(31) 및 상기 부가 정보 소스 코더(32)의 출력들을 멀티플렉싱하도록 구성된 멀티플렉서(33)를 포함하는, 장치.
  23. 제20항 내지 제22항 중 어느 한 항에 있어서, 상기 방향 추정 모듈(16)은, 상기 주파수 부대역들 각각에 대해 상기 제2 세트의 방향들(MDIR(k,f1),...,MDIR(k,fF))을 추정할 때, 전체 대역 HOA 신호의 방향들(MDIR(k)) 중에서만 주파수 부대역의 방향들을 탐색하는, 장치.
  24. 제20항 내지 제23항 중 어느 한 항에 있어서, 활성 방향의 궤적을 결정하도록 구성된 궤적 결정 모듈을 더 포함하고, 상기 활성 방향은 사운드 소스의 방향이며, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스인, 장치.
  25. 제20항 내지 제24항 중 어느 한 항에 있어서, 절삭된 HOA 표현은 하나 이상의 계수 시퀀스들이 제로로 설정되는 HOA 신호인, 장치.
KR1020167035529A 2014-07-02 2015-07-02 압축된 hoa 표현을 디코딩하기 위한 방법 및 장치와 압축된 hoa 표현을 인코딩하기 위한 방법 및 장치 KR102296067B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14306080.4 2014-07-02
EP14306080 2014-07-02
EP14194186.4 2014-11-20
EP14194186.4A EP2963949A1 (en) 2014-07-02 2014-11-20 Method and apparatus for decoding a compressed HOA representation, and method and apparatus for encoding a compressed HOA representation
PCT/EP2015/065086 WO2016001356A1 (en) 2014-07-02 2015-07-02 Method and apparatus for decoding a compressed hoa representation, and method and apparatus for encoding a compressed hoa representation

Publications (2)

Publication Number Publication Date
KR20170024581A true KR20170024581A (ko) 2017-03-07
KR102296067B1 KR102296067B1 (ko) 2021-09-01

Family

ID=51220514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167035529A KR102296067B1 (ko) 2014-07-02 2015-07-02 압축된 hoa 표현을 디코딩하기 위한 방법 및 장치와 압축된 hoa 표현을 인코딩하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US9774975B2 (ko)
EP (2) EP2963949A1 (ko)
JP (1) JP6542269B2 (ko)
KR (1) KR102296067B1 (ko)
CN (1) CN106663432B (ko)
TW (1) TWI657434B (ko)
WO (1) WO2016001356A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893373B2 (en) 2017-05-09 2021-01-12 Dolby Laboratories Licensing Corporation Processing of a multi-channel spatial audio format input signal
CN109521731B (zh) * 2017-09-19 2021-07-30 沈阳高精数控智能技术股份有限公司 一种基于公差带的G2连续Bézier刀具轨迹平滑算法
US11322164B2 (en) 2018-01-18 2022-05-03 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals
MX2020007820A (es) * 2018-02-01 2020-09-25 Fraunhofer Ges Forschung Codificador de escena de audio, decodificador de escena de audio y metodos relacionados que utilizan el analisis espacial hibrido de codificador / decodificador.
DE112019004193T5 (de) * 2018-08-21 2021-07-15 Sony Corporation Audiowiedergabevorrichtung, audiowiedergabeverfahren und audiowiedergabeprogramm
CN117241173A (zh) 2018-11-13 2023-12-15 杜比实验室特许公司 沉浸式音频服务中的音频处理
JP7553355B2 (ja) 2018-11-13 2024-09-18 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号及び関連するメタデータによる空間オーディオの表現
CN110476960B (zh) * 2019-09-19 2021-06-15 河北省农林科学院植物保护研究所 噻虫胺薄膜缓释型种子处理悬浮剂及其制备方法与应用
CN115376527A (zh) * 2021-05-17 2022-11-22 华为技术有限公司 三维音频信号编码方法、装置和编码器
CN115376530A (zh) * 2021-05-17 2022-11-22 华为技术有限公司 三维音频信号编码方法、装置和编码器
CN115881140A (zh) * 2021-09-29 2023-03-31 华为技术有限公司 编解码方法、装置、设备、存储介质及计算机程序产品
CN115546323B (zh) * 2022-08-31 2023-06-09 广东工业大学 一种基于球坐标主成分分析的图像压缩重构方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2665208A1 (en) * 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
EP2743922A1 (en) * 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5075880A (en) * 1988-11-08 1991-12-24 Wadia Digital Corporation Method and apparatus for time domain interpolation of digital audio signals
JP3531178B2 (ja) * 1993-05-27 2004-05-24 ソニー株式会社 ディジタル信号処理装置及び方法
US6931370B1 (en) * 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
JP3995383B2 (ja) * 2000-02-15 2007-10-24 三洋電機株式会社 水素吸蔵合金電極の製造方法
JP4676140B2 (ja) * 2002-09-04 2011-04-27 マイクロソフト コーポレーション オーディオの量子化および逆量子化
ES2305852T3 (es) * 2003-10-10 2008-11-01 Agency For Science, Technology And Research Procedimiento de codificacion de una señal digital en un flujo binario escalable, procedimiento para la descodificacion de un flujo binario escalable.
US7599840B2 (en) * 2005-07-15 2009-10-06 Microsoft Corporation Selectively using multiple entropy models in adaptive coding and decoding
CN101202043B (zh) * 2007-12-28 2011-06-15 清华大学 音频信号的编码方法和装置与解码方法和装置
US8908874B2 (en) * 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
US9288603B2 (en) * 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
EP2738962A1 (en) 2012-11-29 2014-06-04 Thomson Licensing Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field
EP2800401A1 (en) 2013-04-29 2014-11-05 Thomson Licensing Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation
EP2824661A1 (en) 2013-07-11 2015-01-14 Thomson Licensing Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2665208A1 (en) * 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
EP2743922A1 (en) * 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field

Also Published As

Publication number Publication date
KR102296067B1 (ko) 2021-09-01
JP2017523451A (ja) 2017-08-17
CN106663432B (zh) 2021-02-02
TWI657434B (zh) 2019-04-21
US20170164131A1 (en) 2017-06-08
US9774975B2 (en) 2017-09-26
EP3165005A1 (en) 2017-05-10
EP2963949A1 (en) 2016-01-06
CN106663432A (zh) 2017-05-10
TW201603004A (zh) 2016-01-16
EP3165005B1 (en) 2018-11-28
JP6542269B2 (ja) 2019-07-10
WO2016001356A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
KR102296067B1 (ko) 압축된 hoa 표현을 디코딩하기 위한 방법 및 장치와 압축된 hoa 표현을 인코딩하기 위한 방법 및 장치
KR102460820B1 (ko) Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
KR102327149B1 (ko) Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
KR102433192B1 (ko) 압축된 hoa 표현을 디코딩하기 위한 방법 및 장치와 압축된 hoa 표현을 인코딩하기 위한 방법 및 장치
KR102363275B1 (ko) Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20161219

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200701

Comment text: Request for Examination of Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210526

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210825

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210826

End annual number: 3

Start annual number: 1

PG1601 Publication of registration