Nothing Special   »   [go: up one dir, main page]

KR20060122734A - 공간 정보의 전송방법을 선택할 수 있는 오디오 신호의부호화-복호화방법 - Google Patents

공간 정보의 전송방법을 선택할 수 있는 오디오 신호의부호화-복호화방법 Download PDF

Info

Publication number
KR20060122734A
KR20060122734A KR1020060046972A KR20060046972A KR20060122734A KR 20060122734 A KR20060122734 A KR 20060122734A KR 1020060046972 A KR1020060046972 A KR 1020060046972A KR 20060046972 A KR20060046972 A KR 20060046972A KR 20060122734 A KR20060122734 A KR 20060122734A
Authority
KR
South Korea
Prior art keywords
spatial information
audio signal
bitstream
information bitstream
decoding
Prior art date
Application number
KR1020060046972A
Other languages
English (en)
Inventor
오현오
김효진
김동수
정양원
임재현
방희석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2006/002020 priority Critical patent/WO2006126858A2/en
Priority to CN2006800263119A priority patent/CN101258538B/zh
Priority to US11/915,574 priority patent/US8150701B2/en
Priority to PCT/KR2006/002021 priority patent/WO2006126859A2/en
Priority to EP06747465A priority patent/EP1899959A2/en
Priority to EP06747467A priority patent/EP1899960A2/en
Priority to US11/915,562 priority patent/US8170883B2/en
Priority to JP2008513381A priority patent/JP5461835B2/ja
Priority to EP06747468A priority patent/EP1897084A2/en
Priority to CN2006800263104A priority patent/CN101253550B/zh
Priority to JP2008513380A priority patent/JP5452915B2/ja
Priority to US11/915,555 priority patent/US8214220B2/en
Priority to JP2008513382A priority patent/JP5118022B2/ja
Priority to US11/915,325 priority patent/US8090586B2/en
Priority to JP2008513379A priority patent/JP2008542816A/ja
Priority to PCT/KR2006/002019 priority patent/WO2006126857A2/en
Priority to PCT/KR2006/002018 priority patent/WO2006126856A2/en
Priority to EP06747466A priority patent/EP1905004A2/en
Priority to CN2006800263123A priority patent/CN101223579B/zh
Priority to CN200680018078XA priority patent/CN101180674B/zh
Publication of KR20060122734A publication Critical patent/KR20060122734A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K95/00—Sinkers for angling
    • A01K95/02—Devices for fixing on or removing sinkers from lines
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K91/00—Lines
    • A01K91/06—Apparatus on lines not otherwise provided for, e.g. automatic hookers

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본 발명은 멀티채널 오디오 신호의 공간 정보에 대한 부호-복호화(encoding-decoding)방법에 관한 것으로서, 더욱 상세하게는 공간 정보 비트스트림을 전송하는 방법을 선택할 수 있는 멀티채널 오디오 신호의 부호화-복호화하는 방법에 대한 것이다.
상기와 같은 공간 정보를 부호-복호화하는 방법을 제공하기 위해, 본 발명은 공간 정보 비트스트림을 다운믹스된 오디오 신호에 임베디드하여 보내거나, 공간 정보 비트스트림을 별도로 보내거나, 또는 공간 정보 비트스트림을 다운믹스 오디오 신호에 임베디드할뿐만 아니라 별도로 보내는 방법을 선택할 수 있는 부호화 방법을 제공함으로써, 다양한 종류의 전송매체에 멀티채널 오디오 신호를 전송할 수 있다. 또한, 본 발명은 공간정보 비트스트림이 다운믹스 오디오 신호에 임베디드된 경우, 별도로 보내진 경우, 또는 다운믹스 오디오 신호에 임베디드될뿐만 아니라 별로도 보내지는 경우에, 각각의 방식에 따라 제공되는 공간 정보 비트스트림을 디코딩하는 방법을 제공함으로써, 다양한 방식으로 제공되는 공간 정보 비트스트림을 이용할 수 있다.
공간 정보, 멀티채널 오디오 신호.

Description

공간 정보의 전송방법을 선택할 수 있는 오디오 신호의 부호화-복호화방법{ENCODING AND DECODING METHOD OF AUDIO SIGNAL WITH SELECTABLE TRANSMISSION METHOD OF SPATIAL BITSTREAM}
도 1은 본 발명에서의 오디오 신호에 대한 공간 정보를 인간이 인식하는 방법을 나타내는 도면.
도 2는 본 발명에 따른 공간인코더에 대한 블록도.
도 3은 본 발명에 따른 도 2의 공간인코더를 구성하는 임베드부에 대한 상세한 블록도.
도 4는 본 발명에 따른 공간 정보 비트스트림을 재정렬하는 제1 방법에 대한 도면.
도 5는 본 발명에 따른 공간 정보 비트스트림을 재정렬하는 제2 방법에 대한 도면.
도 6a는 본 발명에 따른 임베드를 위한 공간 정보 비트스트림의 구성형태에 대한 도면.
도 6b는 도 6a의 임베드를 위한 공간 정보 비트스트림의 구성형태에 대한 상세도.
도 7은 본 발명에 따른 공간디코더에 대한 블록도.
도 8은 본 발명에 따른 공간디코더를 구성하는 임베디드신호디코더에 대한 상세한 블록도.
도 9는 본 발명에 따른 오디오 신호를 일반적인 PCM디코더에서 재생하는 경우에 대한 도면.
도 10은 본 발명에 따른 다운믹스된 오디오 신호에 공간 정보 비트스트림을 임베드하는 인코딩 방법에 대한 흐름도.
도 11은 본 발명에 따른 다운믹스된 오디오 신호에 임베드된 공간 정보 비트스트림을 디코딩하는 방법에 대한 흐름도.
도 12는 본 발명에 따른 다운믹스된 오디오 신호에 임베드되는 공간 정보 비트스트림의 프레임(또는 서브프레임) 크기를 나타내는 도면.
도 13은 본 발명에 따른 다운믹스된 오디오 신호에 일정한 크기로 임베드되는 공간 정보 비트스트림을 나타내는 도면.
도 14a는 고정된 크기로 임베드되는 공간정보 비트스트림의 시간축정렬(time align) 문제를 해결하기 위한 제1 방법을 나타내는 도면.
도 14b는 고정된 크기로 임베드되는 공간정보 비트스트림의 시간축정렬(time align) 문제를 해결하기 위한 제2 방법을 나타내는 도면.
도 15는 공간 정보 비트스트림이 복호화 단계에서 적용되는 프레임 크기 단위로 다운믹스 오디오 신호와 결합하는 것을 나타내는 도면.
도 16은 본 발명에 따른 다운믹스된 오디오 신호에 다양한 크기로 임베드되는 공간 정보 비트스트림을 인코딩하는 방법에 대한 흐름도.
도 17는 본 발명에 따른 다운믹스된 오디오 신호에 일정한 크기로 임베드되는 공간 정보 비트스트림을 인코딩하는 방법에 대한 흐름도.
도 18은 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제1 방법을 나타내는 도면.
도 19는 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제2 방법을 나타내는 도면.
도 20은 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제3 방법을 나타내는 도면.
도 21은 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제4 방법을 나타내는 도면.
도 22는 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제5 방법을 나타내는 도면.
도 23은 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제6 방법을 나타내는 도면.
도 24는 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제7 방법을 나타내는 도면.
도 25는 본 발명에 따른 두 채널의 다운믹스된 오디오 신호에 임베드되는 공간 정보 비트스트림을 인코딩하는 방법에 대한 흐름도.
도 26은 본 발명에 따른 두 채널의 다운믹스된 오디오 신호에 임베드된 공간 정보 비트스트림을 디코딩하는 방법에 대한 흐름도.
도 27는 본 발명에 따른 공간 정보 비트스트림을 전송할 수 있는 방법을 선택할 수 있는 제1 공간인코더에 대한 도면.
도 28은 본 발명에 따른 공간 정보 비트스트림을 전송할 수 있는 방법을 선택할 수 있는 제2 공간인코더에 대한 도면.
도 29는 본 발명에 따른 공간 정보 비트스트림을 MPEG 비트스트림 형태로 별도로 보내는 경우에 대한 비트스트림 구성도.
도 30은 본 발명에 따른 공간 정보 비트스트림을 전송하는 방법에 대한 흐름도.
도 31은 본 발명에 따라 전송되는 공간 정보 비트스트림을 디코딩할 수 있는 제1 공간디코더에 대한 도면.
도 32는 본 발명에 따라 전송되는 공간 정보 비트스트림을 디코딩할 수 있는 제2 공간디코더에 대한 도면.
도 33은 본 발명에 따라 전송되는 공간 정보 비트스트림을 디코딩할 수 있는 제3 공간디코더에 대한 도면.
도 34는 본 발명에 따른 제1 공간디코더를 이용하여 디코딩하는 방법에 대한 흐름도.
도 35는 본 발명에 따른 제2 공간디코더를 이용하여 디코딩하는 방법에 대한 흐름도.
도 36은 본 발명에 따른 제3 공간디코더를 이용하여 디코딩하는 방법에 대한 흐름도.
*도면의 주요부분에 대한 부호의 설명
101.원거리 음원 102.직접적인 음파
104.반사된 음파 201.멀티채널 오디오 신호
202.아티스틱 다운믹스신호 203.다운믹스부
204.공간 정보 추출부 205.다운믹스된 오디오 신호
206.공간 정보 인코딩부 207.임베드부
208.임베드된 오디오 신호 303.버퍼
304.마스킹한계값 계산부 305.비트스트림 재구성부
306.인코딩부 401.공간 정보 비트스트림
402.비트플레인 405.프레임
601.헤더 602.프레임 데이터
603.싱크워드 604.k값
606.에러검출코드 또는 에러정정코드 702.임베디드신호디코더
703.공간 정보 디코더 704.멀티채널 생성부
902.싱크워드 탐색부 903.헤더 디코딩부
904.데이터 역변형부 1302.TS헤더
1303.TS(Transport Stream) 1406.TS싱크워드
1408.플래그 1409.위치값
2704.공간정보추출부 2708.전송방법선택부
2903.확장 비트스트림 2906.보조데이터 헤더
2907.보조데이터 비트스트림
본 발명은 멀티채널 오디오 신호의 공간 정보에 대한 부호-복호화(encoding-decoding)방법에 관한 것이다.
최근에 디지털 오디오 신호에 대한 다양한 코딩기술 및 방법들이 개발되고 있으며, 이와 관련된 제품들이 생산되고 있다. 또한 멀티채널 오디오 신호의 공간 정보를 이용하여 모노 또는 스테레오 오디오 신호를 디코딩 단계에서 멀티채널로 바꾸는 코딩방법들이 개발되고 있으며, 이에 대한 제품이 실용화되고 있다. 이 경우에 상기 모노 또는 스테레오 오디오 신호와 상기 공간 정보는 AAC(Advanced Audio Coding)와 같은 다양한 압축방법을 이용하여 압축되어 전송된다.
그러나 몇몇 기록매체에서는 공간 정보를 저장할 수 있는 영역이 존재하지 않는다. 따라서, 상기와 같은 경우에는 모노 또는 스테레오 오디오 신호만을 저장하거나 또는 전송함으로써 디코딩을 통해 재생되는 오디오 신호가 멀티채널이 아닌 모노 또는 스테레오 오디오 신호로 재생됨으로써 음질이 단조롭게 들리는 문제점이 있었다. 또한, 다운믹스된 오디오 신호와 함께 공간 정보를 하나의 방법으로만 전송하는 경우에는 다양한 종류의 디코더를 사용할 수 없는 문제점이 있었다.
따라서 상기와 같은 문제점을 해결하기 위해 제안된 본 발명은, 멀티채널 오 디오 신호를 코딩하는데 있어서, 공간 정보를 전송하는 방법을 선택할 수 있는 인코딩 방법을 제공하는데 그 목적이 있다. 또한, 본 발명은 상기와 같은 방식으로 인코딩되어 전송된 공간 정보를 디코딩하는 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위하여, 본 발명은 상기 멀티채널 오디오 신호를 다운믹스하고, 상기 멀티채널 오디오 신호로부터 공간 정보를 추출하는 단계와; 상기 공간 정보를 이용하여 공간 정보 비트스트림을 생성하는 단계와; 생성된 상기 공간 정보 비트스트림의 전송방법을 선택하는 단계와; 상기 선택된 방법에 따라, 상기 공간 정보 비트스트림 및 상기 다운믹스 오디오 신호를 포함하는 전체 비트스트림을 생성하는 단계;를 포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 인코딩 방법을 제공한다. 여기서, 상기 전송방법은 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호에 임베디드하여 전송하는 방법이거나, 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호와는 별도로 전송하는 방법이거나, 또는 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호에 임베디드하고, 또한 상기 다운믹스된 오디오 신호와는 별도로 전송하는 방법이 될 수 있다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 상기 멀티채널 오디오 신호를 다운믹스하고, 상기 멀티채널 오디오 신호로부터 공간 정보를 추출하는 단계와; 상기 공간 정보를 이용하여 공간 정보 비트스트림을 생성하는 단계와; 생성된 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호에 임베디드하는 단계와; 상기 공간 정보 비트스트림이 임베디드된 다운믹스 오디오 신호를 포함하도록 전체 비트스트림을 생성하되, 상기 전체 비트스트림내에 별도로 상기 공간 정보 비트스트림을 포함할 것인지를 결정하는 단계;를 포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 인코딩 방법을 제공한다. 여기서, 상기 전체 비트스트림은 별도로 상기 공간 정보 비트스트림을 포함하지 않도록 구성되거나, 또는 별도로 상기 공간 정보 비트스트림을 포함되도록 구성될 수 있다. 그리고 상기 전체 비트스트림에는 상기 전송방법에 대한 식별정보가 포함될 수 있다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를 포함하는 전체 비트스트림을 수신하는 단계와; 상기 다운믹스 오디오 신호에 임베드된 공간 정보 비트스트림을 추출하는 단계와; 상기 공간 정보 비트스트림을 디코딩하여 얻어진 공간 정보를 이용하여 상기 다운믹스 오디오 신호를 멀티채널 오디오 신호로 변환하는 단계;를 포함하는 것을 특징으로 하는 멀티채널 오디오 신호로 디코딩하는 방법을 제공한다. 여기서, 상기 전체 비트스트림으로부터 상기 공간 정보 비트스트림이 상기 다운믹스 오디오 신호에 임베드되었다는 것을 나타내는 식별정보를 추출하고, 추출된 상기 식별정보를 이용하여 공간 정보 비트스트림을 추출할 수 있다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 공간 정보 비트스트림 및 다운믹스 오디오 신호를 포함하는 전체 비트스트림을 수신하는 단계와; 상기 전체 비트스트림으로부터 상기 다운믹스 오디오 신호와 별도로 전송된 공간 정보 비트스트림을 추출하는 단계와; 상기 공간 정보 비트스트림을 디코딩하여 얻어진 공간 정보를 이용하여 상기 다운믹스 오디오 신호를 멀티채널 오디오 신호로 변환하는 단 계;를 포함하는 것을 특징으로 하는 멀티채널 오디오 신호로 디코딩하는 방법을 제공한다. 상기 공간 정보 비트스트림은 CD의 데이터 트랙에 저장되어 전송되거나, MPEG 비트스트림 중 확장 비트스트림내에 저장되어 전송되거나, 또는 MPEG 비트스트림 중 코어 코덱 비트스트림 내의 보조 데이터 영역에 저장되어 전송될 수 있다. 또한, 상기 디코딩 방법은 상기 (b)단계 이전에, 상기 전체 비트스트림으로부터 상기 공간 정보 비트스트림이 상기 다운믹스 오디오 신호와 별도로 전송되었다는 것을 나타내는 식별정보를 추출하는 것을 포함한다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호 및 별도로 전송된 공간 정보 비트스트림을 포함하는 전체 비트스트림을 수신하는 단계와; 상기 다운믹스 오디오 신호로부터 공간 정보 비트스트림을 추출하고, 추출된 상기 공간 정보 비트스트림 디코딩하거나, 또는 상기 별도로 전송된 공간 정보 비트스트림을 디코딩하는 단계와; 상기 공간 정보 비트스트림을 디코딩하여 얻어진 공간 정보를 이용하여 상기 다운믹스 오디오 신호를 멀티채널 오디오 신호로 변환하는 단계;를 포함하는 것을 특징으로 하는 멀티채널 오디오 신호로 디코딩하는 방법을 제공한다. 이때, 상기 전체 비트스트림으로부터 상기 공간 정보 비트스트림이 상기 다운믹스 오디오 신호에 임베드되어 전송되고, 또한 상기 다운믹스 오디오 신호와 별도로 전송되었다는 것을 나타내는 식별정보를 추출할 수 있다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 상기 멀티채널 오디오 신호를 다운믹스하고, 상기 멀티채널 오디오 신호로부터 공간 정보를 추출하는 단계 와; 상기 공간 정보를 이용하여 각 프레임별 공간 정보 비트스트림을 생성하는 단계와; 상기 공간 정보 비트스트림과 상기 다운믹스된 오디오 신호를 결합하여 전체 비트스트림을 구성하되, 상기 공간 정보 비트스트림의 프레임 크기(N)는 공간 정보가 복호화되어 적용되는 프레임 크기(S) 단위로 상기 다운믹스 오디오 신호와 결합되는 단계;를 포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 인코딩 방법을 제공한다. 여기서, 상기 공간 정보 비트스트림에 대한 헤더내에 상기 공간 정보 비트스트림의 적용범위에 관한 위치정보가 삽입될 수 있다. 또한, 상기 공간 정보 비트스트림에 대한 헤더내에 상기 공간 정보 비트스트림의 시작위치에 대한 싱크워드가 삽입될 수 있다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 공간 정보 비트스트림과 결합된 다운믹스된 오디오 신호를 포함하는 전체 비트스트림을 수신하는 단계와; 상기 전체 비트스트림으로부터 공간 정보를 복호화되어 적용하는 프레임 크기(S) 단위로 상기 다운믹스된 오디오 신호와 결합된 상기 공간 정보 비트스트림을 추출 및 디코딩하는 단계;를 포함하는 것을 특징으로 하는 멀티채널 오디오 신호로 디코딩하는 방법을 제공한다. 여기서, 상기 전체 비트스트림으로부터 상기 공간 정보 비트스트림을 적용할 위치정보를 독출할 수 있다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 오디오 신호가 다운믹스된 오디오 신호 및 공간 정보 비트스트림을 포함하도록 생성되고, 상기 공간 정보 비트스트림을 상기 다운믹스된 오디오 신호와 결합하여 전체 비트스트림을 구성하되, 상기 공간 정보 비트스트림을 복호화하여 적용하는 프레임 크기(S) 단위로 상기 다 운믹스 오디오 신호와 결합하도록 생성되는 것을 특징으로 하는 오디오 신호의 생성방법을 제공한다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.
도 1 은 본 발명에서의 오디오 신호에 대한 공간 정보를 인간이 인식하는 방법을 도시한다. 멀티채널 오디오 신호에 대한 코딩방법은 인간이 오디오 신호를 3차원적 공간으로 인지한다는 사실을 바탕으로, 복수의 파라미터 세트(parameter sets)를 통하여 상기 오디오 신호를 3차원적 공간 정보로 표현할 수 있다는 것을 이용한다. 멀티채널 오디오 신호의 공간 정보를 표시하기 위한 "공간 파라미터"라고 불리는 상기 파라미터에는 CLD(Channel level differences), ICC(Inter Channel Coherences) 및 CTD(Channel Time Difference)등이 있다. 상기 CLD는 두 채널간의 에너지 차이를 의미하고, 상기 ICC는 두 채널 간의 상관관계(correlation)를 의미하며, CTD는 두 채널간의 시간 차이를 의미한다.
인간이 오디오 신호를 어떻게 공간적으로 인식하며, 상기 공간 파라미터의 개념이 어떻게 생성되는지가 도 1에 도시된다. 원거리에 있는 음원(105)으로부터의 직접적인 음파(direct sound wave)(103)가 인간의 왼쪽 귀(107)에 도달하고, 또 다른 직접적인 음파(102)는 머리 주위에서 회절되어 오른쪽 귀(106)에 도달하게 된다. 상기 두 음파(102 및 103)는 도달시간 및 에너지 레벨에서 차이를 보이게 되며, 이와 같은 차이가 상기 CTD 및 CLD 파라미터를 생성하게 된다. 또한, 만일 반사된 음파(104 및 105)가 양 귀에 도달되거나, 또는 상기 음원(105)이 분산되어 있 다면, 서로 상관관계가 없는 음파가 양 귀에 도달될 것이고, 이것이 상기 ICC 파라미터를 생성하게 된다. 상기와 같이 원리로 생성된 공간 파라미터들을 이용하여 멀티채널 오디오 신호를 모노 또는 스테레오 신호로 전송한 후 다시 멀티채널로 출력할 수 있다. 본 발명은 상기 공간 정보, 즉 공간 파라미터들을 상기 모노 또는 스테레오 오디오 신호에 임베디드(embeded)하여 전송한 후, 다시 멀티채널 오디오 신호로 재생할 수 있는 방법을 제공한다.
도 2는 본 발명에 따른 공간인코더에 대한 블록도를 도시한다. 도시된 것처럼, 먼저 상기 공간인코더는 멀티채널 오디오 신호(201)를 수신한다. 여기서 N은 입력 채널의 수를 의미한다. 상기 멀티채널 오디오 신호(201)는 다운믹스(down-mix)부(203)에서 다운믹스된 오디오 신호(Lo 및 Ro, 205)로 된다. 상기 다운믹스된 오디오 신호는 PCM신호에 해당되며, 본 명세서에는 편의상 다운믹스된 오디오 신호라고 기술할 것이다. 상기 다운믹스된 오디오 신호(205)는 모노 또는 스테레오 오디오 신호를 포함할 수 있다. 본 명세서에서는 편의상 스테레오 오디오 신호를 예로 하여 기술할 것이나, 본 발명이 이에 한정되지는 않는다. 그리고 상기 멀티채널 오디오 신호의 공간 정보, 즉 공간 파라미터가 공간정보추출부(203)에서 상기 멀티채널 오디오 신호(201)로부터 추출된다. 여기서 공간 정보(spatial information)란 멀티채널(예를 들면, Left, Right, Center, Left surround, Right surround 등) 오디오 신호를 다운믹스하고, 상기 다운믹스된 오디오 신호(205)를 전송하며, 상기 전송된 다운믹스된 오디오 신호를 다시 멀티채널로 업믹스(upmix) 할 때 사용되는 오디오 신호 채널에 대한 정보를 말한다. 선택적으로, 상기 다운믹스된 오디오 신 호(205)는 외부에서 직접 제공되는 다운믹스된 오디오 신호, 예를 들면 아티스틱 다운믹스된 오디오 신호(Artistic down-mix signal, 202)를 이용하여 생성될 수 있다.
상기 공간정보추출부(203)에서 추출된 공간 정보는 공간정보인코딩부(206)에서 전송 및 저장을 위한 공간 정보 비트스트림으로 부호화되는 과정을 거친다. 상기 공간 정보 비트스트림은 적당히 변형되어 임베드부(207)에서 전송할 신호, 즉 상기 다운믹스된 오디오 신호(205)에 직접 삽입되는데, 이때, "디지털 오디오 임베드기법(Digital Audio Embeded Method)"이 사용될 수 있다. 예를 들면, 상기 다운믹스된 오디오 신호(205)가 공간 정보를 저장하기 어려운 저장매체(예를 들면, 스테레오 컴팩트디스크(stereo CD))에 저장되거나 또는 SPDIF(Sony/Philips Digital Interface)와 같은 방식으로 전송할 원(raw) PCM 오디오 신호인 경우, AAC 등의 압축 부호화되는 경우와는 다르게 공간 정보 비트스트림을 저장할 수 있는 보조데이터 영역(Ancillary Data Field)이 존재하지 않는다. 이때, 상기 "디지털 오디오 임베드기법"을 사용하면, 상기 원(raw) PCM 오디오 신호에 음질왜곡 없이 상기 공간 정보 비트스트림을 임베드할 수 있으며, 상기 공간 정보 비트스트림이 임베드된 오디오 신호는 일반적인 디코더 입장에서 원 신호와 구별되지 않는다. 즉, 공간 정보 비트스트림이 임베드되어 있는 출력신호 Lo'/Ro'(208)는 일반적인 PCM 디코더 입장에서 입력신호 Lo/Ro(205)와 동일한 신호라 볼 수 있다.
상기 "디지털 오디오 임베드기법"에는 비트치환부호화방법(Bit Replacement Coding Method) , 반향삽입방법(Echo Hiding Method), 대역확산통신법(Spread- Spectrum-based Method) 등이 있다. 상기 비트치환부호화방법은 양자화된 오디오 샘플의 최하위 비트들을 변형하여 원하는 정보를 삽입하는 방법으로, 오디오 신호에 있어서 최하위 비트의 변형은 오디오 신호의 품질에 거의 영향을 주지 않는다는 특성을 이용하는 방법이다. 상기 반향삽입방법은 사람의 귀에 들리지 않을 정도의 작은 크기의 반향을 오디오 신호에 삽입하는 방법이다. 상기 대역확산통신법은 이산코사인변환(Discrete Cosine Transform), 이산푸리에변환(Discrete Fourier Transform) 등을 통해 오디오 신호를 주파수 영역으로 변환한 후에, 이진수로 만들어진 원하는 정보를 PN(Pseudo Noise) 시퀀스로 대역 확산하여 주파수 영역으로 변환된 오디오 신호에 첨가하는 방법이다. 본 발명에서는 상기 임베드 방법 중 비트치환부호화방법을 중심으로 기술할 것이나, 본 발명이 상기 비트치환부호화방법에만 한정되는 것은 아니다.
도 3은 본 발명에 따른 도 2의 공간인코더를 구성하는 임베드부(207)에 대한 상세한 블록도이다. 비트치환부호화방법에 의해 공간 정보 비트스트림을 다운믹스된 오디오 신호에 임베드할 때, 상기 공간 정보 비트스트림을 임베드할 수 있는 삽입비트 값(이하, K값이라 한다)은 최하위 1비트만을 사용하는 것이 아니라 정해진 방법에 따라 K(K>0)비트를 사용할 수 있다. 상기 K비트는 다운믹스된 오디오 신호의 최하위 비트 값을 사용할 수 있으나, 상기 최하위 비트 값에만 한정되지는 않는다. 여기서 정해진 방법이란 예를 들면, 심리음향모델(Psychoacoustic Model)에 따른 마스킹 한계값(Masking Threshold)을 구하고, 상기 마스킹 한계값에 따라 적당한 비트를 할당하는 것을 말한다. 도시된 것처럼, 다운믹스된 오디오 신호 Lo/Ro(301)는 임베드부 내의 버퍼(303)를 거처 인코딩부(306)로 전송된다. 마스킹한계값계산부(304)는 입력된 오디오 신호를 일정한 구간(예를 들면, 블록)으로 나누고, 해당 구간에 대한 마스킹 한계값을 구한다. 또한 상기 마스킹한계값계산부(304)는 상기 마스킹 한계값에 따라 청각적인 왜곡이 발생하지 않고도 변경할 수 있는 상기 다운믹스된 오디오 신호의 삽입비트 값, 즉 K값을 구한다. 즉, 상기 공간 정보 비트스트림을 상기 다운믹스된 오디오 신호에 임베드하는데 사용할 수 있는 비트 수를 블록별로 할당하는 것이다. 본 명세서에서, 블록이란 프레임내에 존재하는 하나의 삽입비트 값(즉, K값)을 이용하여 삽입된 데이터 단위를 말한다. 하나의 프레임에는 1개 이상의 복수의 블록이 존재할 수 있으며, 따라서 프레임의 길이가 고정되어 있으면 블록의 길이는 블록의 갯수가 증가함에 따라 감소할 수 있다. 이용할 수 있는 K값이 결정되면, 상기 K값을 공간 정보 비트스트림에 포함시킬 수 있다. 즉, 비트스트림재구성부(305)는 상기 K값을 포함하도록 상기 공간 정보 비트스트림을 재구성할 수 있다. 이때, 상기 공간 정보 비트스트림에는 싱크워드(sync word), 에러검출코드 또는 에러정정코드 등이 포함될 수 있다.
재구성된 공간 정보 비트스트림은 임베드가능한 형태로 재정렬될 수 있다. 재정렬된 상기 공간 정보 비트스트림은 인코딩부(306)에서 상기 다운믹스된 오디오 신호에 임베드되어, 상기 공간 정보 비트스트림이 임베드된 오디오 신호 Lo'/Ro'(307)로 출력된다. 이때, 상기 공간 정보 비트스트림은 상기 다운믹스된 오디오 신호의 K비트내에 임베드될 수 있다. 상기 K값은 블록내에서 고정된 하나의 값을 가질 수 있거나, 또는 블록내에서 오디오 신호의 형상(예를 들면, 템포럴 쉐 이프(temporal shape))에 따라 가변적인 K값을 가질 수 있다. 어떤 경우이든 상기 K값은 상기 공간 정보 비트스트림의 재구성 과정 또는 재정렬 과정에서 부가정보로써 삽입되어 디코더로 전송되고, 디코더에서는 상기 부가정보를 이용하여 공간 정보 비트스트림 데이터를 복원할 수 있다.
전술하였듯이, 상기 공간 정보 비트스트림은 블록별로 상기 다운믹스된 오디오 신호에 결합하는 과정을 거친다. 상기 과정에는 다양한 결합방법이 이용된다. 제1 방법은 단순히 상기 다운믹스된 오디오 신호의 하위 K비트 만큼을 0으로 대체한 후, 변형된 상기 공간 정보 비트스트림 데이터를 더하는 방법이다. 예를 들면, K값이 3이고, 다운믹스된 오디오 신호의 한 샘플 데이터가 11101101이며, 임베드해야할 공간 정보 비트스트림 데이터가 111인 경우, 상기 11101101의 하위 3비트를 0으로 대체하여 11101000으로 만들고, 그 다음에 상기 공간 정보 비트스트림 데이터 111을 더하여 11101111로 만드는 것이다.
제2 방법은 디더링(dithering) 방법을 이용하는 것인데, 먼저 변형된 공간 정보 비트스트림 데이터를 상기 다운믹스된 오디오 신호로부터 뺀 뒤에, 상기 다운믹스된 오디오 신호를 상기 K값에 근거하여 재양자화하고, 재양자화된 상기 다운믹스된 오디오 신호에 대해 상기 변형된 공간 정보 비트스트림 데이터를 더하는 방법이다. 예를 들면, K값이 3이고, 다운믹스된 오디오 신호의 한 샘플 데이터가 11101101이며, 임베드해야할 공간 정보 비트스트림 데이터가 111인 경우, 상기 11101101에서 111을 빼서 11100110로 만들고, 하위 3비트 이상에 대해 재양자화하여 11101000(반올림 적용)으로 만들며, 그 다음에 상기 111을 더해서 11101111로 만드는 것이다.
상기 다운믹스된 오디오 신호에 임베드될 공간 정보 비트스트림은 임의의 비트스트림이기 때문에 백색잡음적인 특성을 갖지 못할 수 있다. 다운믹스된 오디오 신호에 백색잡음 형태의 신호가 더해지는 것이 음질 특성상 유리하기 때문에, 상기 공간 정보 비트스트림을 백색화(whitening)하는 과정을 거친 후에 상기 다운믹스된 오디오 신호에 더할 수 있다. 상기 백색화는 싱크워드를 제외한 공간 정보 비트스트림에 적용될 수 있다. 상기 백색화(whitening)란 오디오 신호의 음량이 모든 주파수 영역에서 동일하거나 거의 유사한 크기를 갖는 랜덤 신호로 만드는 것을 말한다. 또한, 상기 백색화이외에 상기 제2 방법에는 재양자화 과정에 노이즈 쉐이핑(Noise shaping) 기법을 적용하여 청각적 왜곡을 최소화할 수 있다. 상기 노이즈 쉐이핑이란 재양자화 과정에서 생성되는 양자화 노이즈의 에너지가 가청주파수 대역 이상의 고주파수 대역으로 이동되도록 노이즈 특성을 변형시키거나, 해당 오디오 신호로부터 마스킹 임계값을 구해, 상기 마스킹 임계값에 대응되는 시변(time-varing)필터를 생성하고, 상기 필터에 의해 재양자 과정에서 발생하는 노이즈의 특성을 변형시키는 과정을 말한다.
도 4는 본 발명에 따른 공간 정보 비트스트림을 재정렬하는 제1 방법을 도시한다. 상술하였듯이, 상기 공간 정보 비트스트림은 상기 K값을 이용하여 임베드가능한 형태로 재정렬될 수 있다. 이때, 상기 공간 정보 비트스트림은 다양한 방식으로 재정렬되어 상기 다운믹스된 오디오 신호에 임베드될 수 있는데, 도 4는 상기 방식 중 한 방식에 해당된다. 상기 제1 방법은 K비트 단위로 해당 블록에 대한 상 기 공간 정보 비트스트림을 분산하여 이를 순차적으로 임베드할 수 있도록 상기 공간 정보 비트스트림을 재정렬하는 것이다. 도시된 것처럼 K값이 4이고, 한 블록(405)이 N개의 샘플(403)로 구성된 경우, 상기 공간 정보 비트스트림(401)은 각 샘플의 하위 4비트에 순차적으로 임베드될 수 있도록 재정렬될 수 있다. 전술하였듯이, 본 발명은 각 샘플의 하위 4비트에만 공간 정보 비트스트림을 임베드하는 것에 한정되지는 않는다. 그리고 각 샘플의 하위 K비트 내에서는 상기 공간 정보 비트스트림이 도시된 것처럼 상위 비트부터 임베드(MSB(Most Significant Bit) first)될 수 있거나, 또는 하위 비트부터 임베드(LSB(Least Significant Bit) first))될 수 있다.
도 4에서 화살표(404)는 임베드되는 방향을 나타내고, 괄호안의 숫자는 데이터 재정렬 순서를 나타낸다. 도시된 비트플레인(402)이란 다수의 비트들로 구성되는 일정한 비트 계층을 말한다. 상기 블록(405)에 임베드가능한 비트 수보다 임베드해야할 공간 정보 비트스트림의 비트 수가 작은 경우에는, 남는 비트 수를 0으로 채우거나(406), 랜덤 신호(Random signal)를 넣거나, 또는 원래의 다운믹스된 오디오 신호로 대체할 수 있다. 예를 들면, 블록을 구성하는 샘플수(N)가 100이고 K값이 4인 경우, 상기 블록에 임베드가능한 비트 수(W)는 W=N*K=100*4=400비트가 된다. 만일 임베드해야할 공간 정보 비트스트림의 비트 수(V)가 390비트인 경우(즉, V<W인 경우), 나머지 10비트는 0으로 채우거나, 랜덤 신호를 넣거나, 원래의 다운믹스된 오디오 신호로 대체하거나, 또는 데이터 끝을 알려주는 말단비트열(tail sequence)을 넣을 수 있다. 상기 말단비트열은 해당 블록에서 공간 정보 비트스트 림의 끝을 알려주는 비트열을 말한다.
도 5는 본 발명에 따른 공간 정보 비트스트림을 재정렬하는 제2 방법을 도시한다. 상기 제2 방법은 상기 공간 정보 비트스트림(501)을 비트플레인(Bit Plane, 502) 순서로 재정렬하는 것이다. 즉, 상기 공간 정보 비트스트림을 블록별로 임베드하려는 다운믹스된 오디오 신호의 비트(즉, LSB)에 순차적으로 임베드하는 것이다. 이때, 상기 공간 정보 비트스트림을 블록별로 상기 다운믹스된 오디오 신호의 하위 비트부터 순차적으로 임베드할 수 있으나, 본 발명은 이에 한정되지 않는다. 예를 들면, 블록을 구성하는 샘플수(N)가 100이고 K값이 4인 경우, 먼저 비트플레인(502) 0을 구성하는 최하위 100비트를 먼저 채우고, 그 다음에 비트플레인(502) 1을 구성하는 100비트를 채우는 식으로 진행할 수 있다.
도 5에서 화살표(505)는 임베드되는 방향을 나타내고, 괄호안의 숫자는 데이터 재정렬 순서를 나타낸다. 상기 제2 방법은 특히 임의의 위치에서 싱크워드(Sync Word)를 추출하는데 유리할 수 있다. 상기와 같이 재정렬 및 부호화된 신호로부터 삽입된 공간 정보 비트스트림의 시작위치를 찾을 때에는, LSB만을 추출하여 검색함으로써 가능해진다. 또한, 임베드해야할 공간 정보 비트스트림의 비트 수(V)에 따라 최소의 LSB만을 사용하는 효과를 기대할 수 있다. 이때도 블록(504)에 임베드가능한 비트 수(W)가 임베드해야할 공간 정보 비트스트림의 비트 수(V)보다 크면, 남는 비트 수는 상기와 같이 0으로 채우거나(506), 랜덤 신호를 넣거나, 원래의 다운믹스된 오디오 신호로 대체하거나, 또는 데이터의 끝을 알려주는 말단비트열을 넣을 수 있는데, 특히 상기 다운믹스된 오디오 신호를 그대로 이용하는 것이 유리 하다.
도 6a는 본 발명에 따른 임베드를 위한 공간 정보 비트스트림의 구성형태를 도시한다. 전술하였듯이, 공간 정보 비트스트림(607)은 비트스트림재구성부(305)에서 상기 공간 정보 비트스트림에 대한 싱크워드(Sync Word, 603)와 K값(604)을 포함하도록 재구성되어, 상기 임베드를 위한 공간 정보 비트스트림이 될 수 있다. 또한, 재구성 과정에서, 상기 공간 정보 비트스트림(607)이 전송 및 저장 과정에서 손상되었는지 유무를 판단할 수 있는 에러검출코드(error detection code) 또는 에러정정코드(error correction code)(606, 608)가 상기 임베드를 위한 공간 정보 비트스트림에 포함될 수 있다. 상기 에러검출코드에는 CRC(Cyclic Redundancy Check)가 포함될 수 있다. 상기 에러검출코드 또는 에러정정코드는 두 단계로 나누어 포함될 수 있는데, K값들이 포함된 헤더(601)에 대한 에러검출코드1 또는 에러정정코드1(606)와 상기 공간 정보 비트스트림의 프레임 데이터(602)에 대한 에러검출코드2 또는 에러정정코드2(608)가 별도로 포함될 수 있다. 그 외에 기타정보(605)가 별도로 상기 임베드를 위한 공간 정보 비트스트림에 포함될 수 있다. 상기 기타정보(605)에는 공간 정보 비트스트림의 재정렬방법에 대한 식별정보 등이 포함될 수 있다.
도 6b는 도 6a의 임베드를 위한 공간 정보 비트스트림에 대한 상세도이다. 도시된 것처럼, 도 6b에서는 공간 정보 비트스트림(610)의 한 프레임이 2개의 블록으로 구성된 실시예를 나타내나, 본 발명은 상기 실시예에 한정되지 않는다. 도 6b에의 임베드를 위한 공간 정보 비트스트림도 싱크워드(612), K값(K1, K2, K3 및 K4)(613, 614, 615 및 616), 기타정보(617), 에러검출코드 또는 에러정정코드(618 및 623)를 포함하도록 구성될 수 있다. 상기 공간 정보 비트스트림(610)은 두 개의 블록으로 구성되어 있는데, 스테레오 오디오 신호의 경우 블록1은 왼쪽(left) 채널에 대한 블록1(619)와 오른쪽(Right) 채널에 대한 블록1(620)로 구성되며, 블록 2도 왼쪽 채널에 대한 블록2(621)와 오른쪽 채널에 대한 블록2(622)로 구성될 수 있다. 도 6b에서는 스테레오 오디오 신호에 대하여 도시되어 있지만, 본 발명은 스테레오 오디오 신호에 대해서만 한정되지 않는다. 상기 블록들에 대한 삽입비트 값(K 값)은 헤더 부분에 포함된다. K1(613)은 블록1의 왼쪽 채널에 대한 삽입비트 값이고, K2(614)는 블록1의 오른쪽 채널에 대한 삽입비트 값이며, K3(615)은 블록2의 왼쪽 채널에 대한 삽입비트 값이고, K4(616)는 블록2의 오른쪽 채널에 대한 삽입비트 값에 해당된다. 또한, 상기 에러검출코드 또는 에러정정코드는 두 단계로 나누어 포함될 수 있는데, K값들이 포함된 헤더(609)에 대한 에러검출코드1 또는 에러정정코드1(618)와 상기 공간 정보 비트스트림의 프레임 데이터(611)에 대한 에러검출코드2 또는 에러정정코드2(623)가 별도로 포함될 수 있다.
도 7은 본 발명에 따른 공간디코더에 대한 블록도이다. 도시된 것처럼, 상기 공간디코더는 공간 정보 비트스트림이 임베드된 오디오 신호 Lo'/Ro'(701)를 수신한다. 상기 공간 정보 비트스트림이 임베드된 오디오 신호는 모노 또는 스테레오 오디오 신호를 포함할 수 있으며, 편의상 본 발명에서는 스테레오 오디오 신호를 기준으로 설명하나, 이에 한정되지는 않는다. 그리고 임베디드신호디코더(702)는 상기 오디오 신호(701)로부터 공간 정보 비트스트림을 검출 및 복호화할 수 있다. 상기 임베디드신호디코더(702)에서 얻어진 임베드된 공간 정보 비트스트림은 부호화된 공간 정보 비트스트림이며, 상기 부호화된 공간 정보 비트스트림은 공간정보디코더(703)의 입력으로 들어간다. 상기 공간정보디코더(703)에서는 상기 부호화된 공간 정보 비트스트림을 복호화하여 멀티채널생성부(704)로 출력한다. 상기 멀티채널생성부(704)는 다운믹스된 오디오 신호(701) 및 복호화를 통해 얻어진 공간 정보들을 입력으로 받아 멀티채널 오디오 신호(705)를 출력할 수 있다.
도 8은 본 발명에 따른 공간디코더를 구성하는 임베디드신호디코더를 상세하게 도시한다. 상기 임베디드신호디코더에는 공간 정보가 임베드된 오디오 신호 Lo'/Ro'(801)가 입력되고, 싱크워드탐색부(802)는 입력된 상기 오디오 신호(801)로부터 싱크워드(Sync Word)를 검출한다. 헤더디코딩부(803)는 상기 싱크워드가 검출되면, 그 이후부터 헤더를 디코딩한다. 이때 백색화(Whitening) 또는 노이즈쉐이핑(Noise Shaping) 기법이 적용되어 있으면, 데이터역변형부(804)에서 이를 역처리한 후에 진행할 수 있다. 상기 헤더 디코딩을 통해 K값 등의 부가정보를 얻고, 상기 부가정보를 이용하여 재정렬된 공간 정보 비트스트림을 다시 정렬하여 본래의 공간 정보 비트스트림(805)을 얻는다. 상기 공간 정보 비트스트림(805)은 인코딩 단계에서의 변형되기 전의 공간 정보 비트스트림과 동일할 수 있다. 또한, 상기 싱크워드를 검출함으로써 다운믹스된 오디오 신호와 공간 정보 비트스트림의 프레임을 정렬할 수 있는 싱크위치(Sync Position) 정보, 즉, 프레임정렬정보(806)를 얻을 수 있다.
도 9는 본 발명에 따른 오디오 신호를 일반적인 PCM디코더에서 재생하는 경 우를 도시한다. 즉, 도 9는 공간 정보 비트스트림이 임베드된 오디오 신호 Lo'/Ro'(901)가 일반적인 PCM디코더의 입력으로 인가되는 경우를 나타낸다. 이때, 상기 일반적인 PCM디코더는 상기 공간 정보 비트스트림이 임베드된 오디오 신호 Lo'/Ro'(901)를 정상적인 스테레오 오디오 신호로 인식하여 소리를 재생하게 되며, 이는 음질관점에서 공간 정보가 임베드되기 전의 오디오 신호(902)와 구별되지 않는다. 따라서, 본 발명에 따른 공간 정보가 임베드된 오디오 신호는 일반적인 PCM디코더를 통해서는 정상적인 스테레오 오디오 신호를 재생하는 호환성을 갖고, 멀티채널로 복호화가 가능한 디코더에서는 멀티채널 오디오 신호를 제공할 수 있다.
도 10은 본 발명에 따른 다운믹스된 오디오 신호에 공간 정보 비트스트림을 임베드하는 인코딩 방법에 대한 흐름도를 나타낸다. 먼저 멀티채널 오디오 신호(1001)로부터 오디오 신호를 다운믹스(1002)한다. 상기 다운믹스된 오디오 신호는 모노 또는 스테레오 신호를 포함할 수 있다. 또한, 상기 멀티채널 오디오 신호(1001)로부터 공간 정보를 추출(1003)하고, 상기 공간 정보를 이용하여 공간 정보 비트스트림을 생성(1004)한다. 그 다음에 상기 공간 정보 비트스트림을 상기 다운믹스된 오디오 신호에 임베드(1005)하고, 상기 공간 정보 비트스트림이 임베드된 다운믹스된 오디오 신호를 포함하는 전체 비트스트림을 전송(1006)한다. 여기서, 본 발명은 상기 다운믹스된 오디오 신호를 이용하여 K값을 구하고, 상기 K비트에 공간 정보 비트스트림을 임베드하는 것을 포함할 수 있다.
도 11은 본 발명에 따른 다운믹스된 오디오 신호에 임베드된 공간 정보 비트스트림을 디코딩하는 방법에 대한 흐름도를 나타낸다. 먼저 공간 디코더는 공간정 보 비트스트림이 임베드된 다운믹스된 오디오 신호를 포함하는 비트스트림을 수신(1101)하고, 상기 비트스트림으로부터 다운믹스된 오디오 신호를 검출(1102)한다. 또한 상기 전체 비트스트림으로부터 공간 정보 비트스트림을 검출 및 디코딩(1103)한다. 상기 디코딩을 통해 공간 정보를 추출(1104)하고, 추출된 공간 정보를 이용하여 다운믹스된 오디오 신호를 디코딩(1105)한다. 상기 다운믹스된 오디오 신호는 두 채널로 디코딩되거나, 또는 멀티채널로 디코딩될 수 있다. 여기서, 본 발명은 다운믹스된 오디오 신호에 상기 공간 정보 비트스트림의 임베드방법 및 K값에 대한 정보를 독출하고, 독출된 상기 임베드방법 및 K값을 이용하여 상기 공간 정보 비트스트림을 디코딩하는 것을 포함할 수 있다.
도 12는 본 발명에 따른 다운믹스된 오디오 신호에 다양한 크기로 임베드되는 공간 정보 비트스트림의 프레임 크기를 도시한다. 본 발명에서 "프레임"이란 하나의 헤더를 갖는 일정한 길이의 독립적인 복호화가 가능한 단위를 말하며, 일반적으로 본 명세서에서 "프레임"이라 함은 다음에 오는 "삽입프레임"을 의미한다. 도시되는 것처럼, 다운믹스된 오디오 신호에 공간 정보 비트스트림을 임베드하는 단위에 해당되는 프레임 크기(N)(이하, "삽입프레임 크기"라 한다)는, 공간 정보를 복호화하여 적용하는 단위에 해당되는 공간 정보 비트스트림의 프레임 크기(S)(이하, "복호화프레임 크기"라 한다)와 같은 크기를 갖도록 하거나((a)의 경우), S의 배수가 되도록 하거나((b)의 경우), 또는 S가 N의 배수가 되도록 하는 방법((c)의 경우)이 있다. (a)에서 도시되는 것처럼 N=S인 경우에는, 상기 복호화프레임 크기(S, 1201)와 상기 삽입프레임 크기(N, 1202)가 일치하여 복호화 과정이 용이한 장점이 있다. 반면, (b)에서 도시되는 것처럼 N>S인 경우에는, 복수 개의 복호화프레임(1203)을 묶어서 하나의 삽입프레임 크기(N, 1204)로 하여 전송함으로써, 헤더나 에러검출코드(예를 들면, CRC) 등으로 인해 부가되는 비트 수를 줄일 수 있다. 이 경우 헤더 내에는 프레임의 크기 값 등이 부가정보로써 삽입될 수 있다. (c)에서 도시되는 것처럼 N<S인 경우에는, 여러 개의 삽입프레임(N, 1206)을 묶어서 하나의 복호화프레임(S, 1205)을 구성할 수 있다.
도 13은 본 발명에 따른 다운믹스된 오디오 신호에 일정한 크기로 임베드되는 공간 정보 비트스트림을 도시한다. 도 12에 도시된 (a),(b) 및 (c)의 경우는 모두 상기 삽입프레임과 상기 복호화프레임이 서로 정렬되도록 구성된다. 반면, 경우에 따라서는 고정된 크기의 비트스트림, 예를 들면 트랜스포트 스트림(Transport Stream(TS, 1303))과 같은 형태의 상위 패킷(packet)을 구성하여 전송할 수 있다. 즉, 공간 정보 비트스트림의 복호화프레임(1301) 크기와 관계없이 상기 공간 정보 비트스트림(1301)을 일정 크기의 패킷 단위로 묶어, 상기 패킷에 TS 헤더(1302) 등의 정보를 넣어 전송할 수 있다.
상기 방법은 다운믹스된 오디오 신호의 특성에 따라, 블록별로 마스킹 한계값이 다르게 나타나고, 이로 인해 상기 다운믹스된 오디오 신호의 음질 손상 없이 할당할 수 있는 최대 비트 수(K_max)가 차이가 나는 점을 고려하여, 공간 정보 비트스트림의 전송률을 가변시키기 위해 필요하다. 예를 들면, 상기 K_max가 해당 블록에서 필요로 하는 공간 정보 비트스트림을 모두 표현하기에 부족한 경우에는 K_max까지만 데이터를 전송하고, 나머지는 이후 다른 블록에서 전송할 수 있다. K_max가 남는 경우에는 다음 블록에 대한 공간 정보 비트스트림을 미리 싣는 방법으로 적용할 수 있다. 이때, 각 TS 패킷은 독립적인 헤더를 가지며, 상기 헤더 내에는 싱크워드(Sync Word), TS 패킷의 길이 및 패킷 내에서 할당된 비트 수(K) 등이 포함될 수 있다. 본 발명은 또한 부가정보(예를 들면, 공간 정보)를 압축되지 않은 형태의 PCM 오디오 신호에 임베드하되, 임베드되는 상기 부가정보의 삽입프레임 크기를 상기 부가정보를 적용하는 프레임 크기(S)에 관계없이 일정한 크기로 삽입하는 것을 포함할 수 있다. 또한, 본 발명은 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호와 결합하여 전체 비트스트림을 구성하는 것을 포함한다. 이때, 상기 결합되는 공간 정보 비트스트림의 크기(N)는 공간 정보가 복호화되어 적용되는 프레임 크기(S)에 관계없이 일정한 크기 단위로 결정될 수 있으며, 상기 복호화되어 적용되는 프레임의 위치정보를 상기 공간 정보 비트스트림내에 포함할 수 있다. 상기 위치정보는 상기 공간 정보 비트스트림이 적용될 범위에 관한 정보를 포함할 수 있다. 또한, 본 발명은 공간 정보 비트스트림이 결합된 프레임, 즉 다운믹스 오디오 신호의 프레임의 시작위치와 관계없이 공간 정보 비트스트림이 적용되어야 할 프레임의 시작위치가 결정되는 것을 포함한다. 이때, 전체 비트스트림내에 상기 공간 정보 비트스트림의 시작위치에 대한 위치정보를 삽입할 수 있다.
도 14(a)는 고정된 크기로 임베드되는 공간정보 비트스트림의 시간축정렬(time align) 문제를 해결하기 위한 제1 방법을 도시한다. 상기 고정된 크기로 공간정렬 비트스트림을 임베드하는 방법은 임베드된 공간 정보 비트스트림의 프레임 시작 위치와 다운믹스된 오디오 신호가 시간축정렬(time align)이 맞지 않는 문 제가 있다. 따라서, 상기 시간축정렬 문제를 해결할 수 있는 방법이 필요하다. 도 14에 도시된 제1 방법은 공간 정보 비트스트림(1403)에 대한 싱크워드(1402)(이하 "데이터프레임싱크워드"라 한다)를 별도로 두는 것이다. 상기 데이터프레임싱크워드(1402)는 공간 정보 비트스트림(1403)의 프레임(이하, "공간 정보 프레임"이라 한다)을 식별하는데 사용될 수 있다.
TS 패킷(1004 및 1405)으로 구성되는 경우를 예로 들면, 상기 TS 패킷 헤더(1404)내에는 현재의 패킷내에 상기 공간 정보 프레임에 대한 데이터프레임싱크워드(1402)의 존재여부를 알리는 식별정보(1408)(예를 들면, 플래그)를 둔다. 만일 상기 식별정보(1408)가 1이면(즉, 데이터프레임싱크워드(1402)가 존재하면), 상기 TS 패킷 헤더(1404)내에 상기 공간 정보 프레임이 정렬되어야할 다운믹스 샘플에 대한 위치정보(1409)(예를 들면, 지연(delay)정보)를 주도록 할 수 있다. 즉, 현재 TS 패킷(1404 및 1405)내에 새로운 공간 정보 프레임(1403)의 시작점이 존재하면, 상기 공간 정보 프레임(1403)은 상기 TS 패킷(1404 및 1405)의 시작샘플로부터 전/후 몇 번째 샘플위치에 있다는 위치정보(1409)를 줄 수 있다. 상술하였듯이, 상기 위치정보는 상기 공간 정보 비트스트림이 적용될 범위에 관한 정보를 포함할 수 있다. 만일 상기 식별정보(1411)가 0이면, TS 패킷의 헤더내에 상기 위치정보를 포함하지 않을 수 있다. 일반적으로, 공간 정보 비트스트림(1403)은 대응되는 다운믹스된 오디오 신호(1401)보다 먼저 오는 것이 바람직하므로, 상기 위치정보(1409)는 주로 지연(delay)에 대한 샘플값일 수 있다. 한편, 상기 지연이 너무 커서 샘플값을 표현하는데 필요한 정보량이 지나치게 커지는 문제를 방지하기 위해, 샘플단위 가 아닌 일정 샘플을 묶어서 표현하는 샘플군단위(예를 들면, 그래뉼(granule)단위) 등을 정의하여, 상기 샘플군단위로 상기 위치정보를 표현할 수 있다. 전술한 것처럼, 상기 TS 헤더내에는 TS 싱크워드(1406)(이하, "전송프레임싱크워드"라 한다), 삽입비트 값(1407) 및 기타정보(1410)가 포함될 수 있다.
도 14(b)는 고정된 크기로 임베드되는 공간정보 비트스트림의 시간축정렬(time align) 문제를 해결하기 위한 제2 방법을 도시한다. TS 패킷으로 구성되는 경우를 예로 들면, 상기 제2 방법은 공간 정보 프레임(1413)의 시작점과 TS 패킷의 시작점과 대응되는 다운믹스된 오디오 신호(1412)의 시작점을 일치시키는 것이다. 상기와 같이 일치되는 부분에 대해, 상기 세 가지의 시작점들이 정렬되었음을 알려주는 식별정보(1420 또는 1422)(예를 들면, 플래그)가 상기 TS 패킷의 헤더(1415)내에 포함될 수 있다. 도 15는 다운믹스된 오디오 신호의 n번째 프레임(1412)에서 상기 세 가지의 식별정보가 일치되었음을 도시한다. 이 경우에, 상기 식별정보(1422)는 1의 값을 가질 수 있다. 만일 상기 세 가지의 식별정보가 일치하는 않는 경우에는, 상기 식별정보(1420)는 0의 값을 가질 수 있다. 상기 세 가지 시작점들을 일치시키기 위해서, 이전 TS 패킷 다음의 일정부분(1417)(fill 부분)은 0으로 채우거나, 랜덤 신호를 넣거나, 원래의 다운믹스된 오디오 신호로 대체할 수 있다. 전술한 것처럼, 상기 TS 헤더(1415)내에는 TS 싱크워드(1418), 삽입비트 값(1419) 및 기타정보(1421)가 포함될 수 있다.
도 15는 본 발명에 따른 다운믹스된 오디오 신호와 공간 정보 비트스트림이 결합되도록 구성하는 방법을 도시한다. 도시된 것처럼, 상기 공간 정보 비트스트 림(1504)은 다운믹스된 오디오 신호의 프레임 크기, 즉, 삽입프레임 크기(N) 단위로 삽입될 수 있다. 예를 들면, 복호화프레임 크기(S)(1503)와 상기 삽입프레임 크기(N)(1501)가 다르면, 상기 공간 정보 비트스트림(1504)을 임의로 끊어서 상기 삽입프레임(1501)에 끼워 맞추는 것이 아니라, 상기 공간 정보 비트스트림(1504)을 분리하지 않고 하나의 삽입 프레임(1501)에 넣을 수 있다. 이때, 상기 공간 정보 비트스트림(1504)은 다운믹스 오디오 신호에 임베드되지 않고, 상기 다운믹스 오디오 신호와 결합되도록 구성될 수 있다. 예를 들면, 다운믹스 오디오 신호도 압축된 형태의 비트스트림으로 표현될 수 있으므로, 도시된 것처럼 압축된 형태의 다운믹스된 오디오 신호 비트스트림(1502)이 존재하고, 상기 다운믹스된 오디오 신호 비트스트림(1502)에 공간 정보 비트스트림(1504)을 복호화프레임 크기로 결합할 수 있다. 따라서 본 발명에서는 상기 공간 정보 비트스트림(1502)이 한꺼번에 집중적(burst)으로 전송될 수 있다. 또한, 본 발명은 상기 공간 정보 비트스트림(1504)을 압축된 형태의 TS 비트스트림(1506)으로 구성하여 상기 압축된 형태의 다운믹스된 오디오 신호 비트스트림(1502)과 결합하는 것을 포함한다. 이때, 상기 TS 비트스트림(1506)에 대한 TS 헤더(1505)가 포함될 수 있다. 상기 TS 헤더(1505)에는 TS 싱크워드(1507), 삽입비트값(1508), 식별정보(1510), 위치값(1510), 또는 기타정보(1511) 중 하나 이상이 포함될 수 있다.
도 16은 본 발명에 따른 다운믹스된 오디오 신호에 다양한 크기로 임베드되는 공간 정보 비트스트림을 인코딩하는 방법에 대한 흐름도를 나타낸다. 먼저 멀티채널 오디오 신호(1601)로부터 오디오 신호를 다운믹스(1602)한다. 상기 다운믹스 된 오디오 신호는 모노 또는 스테레오 신호를 포함할 수 있다. 또한, 상기 멀티채널 오디오 신호(1601)로부터 공간 정보를 추출(1603)하고, 상기 공간 정보를 이용하여 공간 정보 비트스트림을 생성(1604)한다. 만일 복호화프레임 크기(S)가 삽입프레임 크기(N)보다 크다면(1605), 상기 삽입프레임 크기(N)는 다수의 N을 묶어서 하나의 S와 같도록 형성(1607)한다. 만일 복호화프레임의 크기(S)가 삽입프레임 크기(N)보다 작다면(1606), 상기 삽입프레임 크기(N)는 다수의 S를 묶어서 하나의 N과 같도록 형성(1608)한다. 만일 N과 S가 같다면, 상기 삽입프레임 크기(N)는 복호화프레임 크기(S)와 같도록 형성(1609)된다. 상기와 같은 방식으로 형성된 공간 정보 비트스트림은 상기 다운믹스된 오디오 신호에 임베드(1610)되고, 그 다음에 상기 공간 정보 비트스트림이 임베드된 상기 다운믹스된 오디오 신호를 포함하는 전체 비트스트림을 전송(1611)한다. 본 발명은 상기 공간 정보 비트스트림의 삽입프레임의 크기에 대한 정보를 전체 비트스트림 내에 임베드하는 것을 포함할 수 있다. 또한, 본 발명은 상기 다운믹스된 오디오 신호를 이용하여 K값을 구하고, 상기 K비트에 상기 공간 정보 비트스트림을 임베드하는 것을 포함할 수 있다.
도 17는 본 발명에 따른 다운믹스된 오디오 신호에 일정한 크기로 임베드되는 공간 정보 비트스트림을 인코딩하는 방법에 대한 흐름도를 나타낸다. 먼저 멀티채널 오디오 신호(1701)로부터 오디오 신호를 다운믹스(1702)한다. 상기 다운믹스된 오디오 신호는 모노 또는 스테레오 신호를 포함할 수 있다. 또한, 상기 멀티채널 오디오 신호(1701)로부터 공간 정보를 추출(1703)하고, 상기 공간 정보를 이용하여 공간 정보 비트스트림을 생성(1704)한다. 상기 공간 정보 비트스트림을 일정 한 크기(패킷 단위)의 비트스트림, 예를 들면 트랜스포트 스트림(TS)으로 묶은 후(1705)에, 상기 일정한 크기의 공간 정보 비트스트림을 상기 다운믹스된 오디오 신호에 임베드(1706)한다. 그 다음에 상기 공간 정보 비트스트림이 임베드된 상기 다운믹스된 오디오 신호를 포함하는 전체 비트스트림을 전송(1707)한다. 여기서, 본 발명은 상기 다운믹스된 오디오 신호를 이용하여 K값을 구하고, 상기 K비트에 상기 공간 정보 비트스트림을 임베드하는 것을 포함할 수 있다.
도 18은 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제1 방법을 도시한다. 다운믹스된 오디오 신호가 적어도 두 채널로 구성된 경우, 상기 공간 정보 비트스트림은 상기 두 채널에 공통된 데이터라 볼 수 있다. 따라서, 상기 공간 정보 비트스트림을 적어도 두 채널에 나누어 임베드하는 방법이 필요한데, 도 18은 상기 공간 정보 비트스트림을 두 채널 이상 중에서 한 채널에만 임베드하는 방법을 나타낸다. 도시된 것처럼, 상기 공간 정보 비트스트림을 다운믹스된 오디오 신호의 K비트에 임베드하는데, 하나의 채널에만 임베드하고 다른 채널에는 임베드하지 않는다. 상기 K값은 블록별로 다를 수 있다. 전술하였듯이, 상기 K비트는 다운믹스된 오디오 신호의 하위 비트에 해당될 수 있으나, 본 발명은 이에 한정되지 않는다. 여기서, 상기 공간 정보 비트스트림은 한 채널에 LSB부터 비트플레인(Bit Plane) 순서로 넣거나, 또는 샘플순으로 넣을 수 있다.
도 19는 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제2 방법을 도시한다. 도면에서는 편의상 두 채널에 대해서만 도시하였으나, 본 발명은 이에 한정되지 않는다. 도시된 것처럼, 상기 제2 방법은 상기 공간 정보 비트스트림을 한 채널(여기서는 Left 채널)의 블록 n에 먼저 임베드하고, 다른 채널(여기서는 right 채널)의 블록 n에 임베드하며, 그 다음에 다시 상기 원래 채널(Left 채널)의 블록 n+1에 임베드하는 방식으로 진행된다. 그리고 두 채널의 신호 특성이 다르므로, 각 채널에서의 마스킹 한계값을 별도로 구해, K값을 각 채널에 다르게 할당할 수 있다. 즉, 도시된 것처럼 한 채널에는 K1을 다른 채널에는 K2를 할당할 수 있다. 또한 상기 K값은 각 블록별로 다를 수도 있다. 여기서도 또한, 상기 공간 정보 비트스트림은 각 채널에 LSB부터 비트플레인(Bit Plane) 순서로 임베드되거나, 또는 샘플순으로 임베드될 수 있다.
도 20은 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제3 방법을 도시한다. 도시된 것처럼, 상기 제3 방법은 상기 공간 정보 비트스트림을 적어도 두 채널에 나누어 임베드하되, 그 순서를 샘플 단위로 두 채널에 번갈아 가며 임베드하는 방식으로 진행된다. 그리고 두 채널의 신호 특성이 다르므로, 각 채널에서의 마스킹 한계값을 별도로 구해, K값을 각 채널에 다르게 할당할 수 있다. 즉, 도시된 것처럼 한 채널에는 K1을 다른 채널에는 K2를 할당할 수 있다. 또한 상기 K값은 블록별로 다를 수도 있다. 예를 들면, 먼저 한 채널(여기서는 left 채널)의 샘플1의 하위 K1비트에 먼저 채우고, 다른 채널(여기서는 right 채널)의 샘플1의 하위 K2비트를 채운다. 그 다음에 다시 원래 채널(left 채널)의 샘플2의 하위 K1비트를 채우고, 다른 채널(right 채널)의 샘플2의 하위 K2비트를 채운다. 도면에서 블록 내의 숫자는 공간 정보 비트스트림을 채 우는 순서를 나타낸다. 도 20은 MSB부터 채우는 것을 도시하였으나, LSB부터 채우는 것도 가능하다.
도 21은 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제4 방법을 도시한다. 도시된 것처럼, 상기 제4 방법은 상기 공간 정보 비트스트림을 적어도 두 채널에 나누어 임베드하되, 그 순서를 LSB부터 비트 단위로 두 채널에 번갈아 가며 임베드하는 방식으로 진행된다. 그리고 두 채널의 신호 특성이 다르므로, 각 채널에서의 마스킹 한계값을 별도로 구해, K(K1 및 K2)값을 각 채널에 다르게 할당할 수 있다. 즉, 도시된 것처럼 한 채널에는 K1을 다른 채널에는 K2를 할당할 수 있다. 또한 상기 K값은 각 블록별로 다를 수도 있다. 예를 들면, 먼저 한 채널(여기서는 left 채널)의 샘플1의 최하위 1비트를 먼저 채우고, 다른 채널(여기서는 right 채널)의 샘플1의 최하위 1비트를 채운다. 그 다음에 다시 원래 채널(left 채널)의 샘플2의 최하위 1비트를 채우고, 다시 다른 채널(right 채널)의 샘플2의 최하위 1비트를 채운다. 도면에서 블록 내의 숫자는 공간 정보 비트스트림을 채우는 순서를 나타낸다.
오디오 신호가 보조데이터 영역이 없는 저장매체(예를 들면, 스테레오 CD)에 저장되거나 SPDIF와 같은 방식으로 전송되는 경우, L/R채널이 샘플단위로 인터리빙(interleaving)되기 때문에, 상기 제3 방법, 제4 방법으로 저장되어 있는 것이 디코더 입장에서는 받은 순서대로 처리할 수 있어 유리하다. 또한, 상기 제4 방법은 공간 정보 비트스트림을 재정렬하는 과정에서 비트플레인 단위로 재정렬하여 저장하는 경우에 적용할 수 있다. 상술한 것처럼, 두 채널에 공간 정보 비트스트림을 나누어 임베드하는 경우에 K값을 각 채널에 다르게 할당하는 것이 가능하데, 이 경우 비트스트림 내에 각 채널별로 K값을 별도로 전송하는 것이 가능하다. 또한 상기 K값이 복수로 전송하는 경우, 상기 K값을 부호화할 때 디퍼렌셜(differential) 부호화 방법을 이용할 수 있다.
도 22는 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제5 방법을 도시한다. 도시된 것처럼, 상기 제5 방법은 상기 공간 정보 비트스트림을 적어도 두 채널에 나누어 임베드하되, 상기 적어도 두 채널에 동일한 값을 반복해서 삽입하는 방식으로 진행한다. 이때, 상기 적어도 두 채널에 동일한 부호의 값을 삽입하거나, 또는 부호를 반대로 하여 삽입할 수 있다. 예를 들면, 적어도 두 채널에 1의 값을 삽입하거나, 또는 1과 -1의 값을 교대로 삽입할 수 있다. 상기 제5 방법은 적어도 두 채널의 최하위 삽입비트(예를 들면, K비트)를 비교함으로써, 전송오류를 쉽게 확인할 수 있는 장점이 있다. 특히, 모노 오디오 신호를 CD와 같은 스테레오 매체에 전송하는 경우, 다운믹스된 오디오 신호의 L(left)채널과 R(right)채널이 동일하므로, 삽입되는 공간 정보도 동일하게 함으로써 강인성 향상 등을 도모할 수 있다. 여기서도 또한, 상기 공간 정보 비트스트림은 각 채널에 LSB부터 비트플레인(Bit Plane) 순서로 임베드되거나, 또는 샘플순으로 임베드될 수 있다.
도 23은 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제6 방법을 도시한다. 도시된 것처럼, 상기 제6 방법은 각 채널의 프레임이 복수의 블록(길이 B)으로 구성된 경우에 상기 공간 정보 비 트스트림을 적어도 두 채널에 삽입하는 방법에 관한 것이다. 도시된 것처럼, 상기 삽입비트 값(즉, K값)은 각 채널 및 블록별로 각각 다른 값을 가지거나, 또는 동일한 값을 가질 수 있다. 상기 삽입비트 값들(예를 들면, K1, K2, K3 및 K4)은 프레임 전체에 대해 한차례 전송되는 프레임 헤더내에 저장될 수 있으며, 상기 프레임 헤더는 LSB에 위치될 수 있다. 이 경우에 상기 헤더는 비트플레인 단위로 삽입될 수 있으며, 공간 정보 비트스트림 데이터의 삽입은 샘플단위로 번갈아가면서 이루어질 수 있거나, 또는 블록단위로 번갈아가면서 이루어질 수 있다. 도 23은 프레임내 블록 개수가 2인 경우를 도시하며, 따라서 상기 블록의 크기(B)는 N/2가 된다. 이 경우에 상기 프레임에 삽입된 비트수는 (K1 + K2 + K3 + K4)*B가 된다.
도 24는 본 발명에 따른 적어도 두 채널로 다운믹된 오디오 신호에 공간 정보 비트스트림을 임베드하는 제7 방법을 도시한다. 도시된 것처럼, 상기 제7 방법은 상기 공간 정보 비트스트림을 적어도 두 채널에 나누어 임베드하되, 그 순서를 LSB(또는 MSB)부터 비트단위로 적어도 두 채널에 번갈아가며 삽입하는 방법과 샘플단위로 번갈아가면 삽입하는 방법을 혼합한 방법을 이용하는 것이다. 상기 방법은 프레임 단위로 이루어지거나, 또는 도시된 것처럼 블록단위로 이루어질 수 있다. 도 24에 도시된 것처럼, 1 내지 C(빗금친 부분)는 헤더에 대응되는 부분으로서, 데이터프레임싱크워드의 탐색을 용이하게 하기 위해 LSB(또는 MSB)에 비트플레인 순서로 삽입될 수 있다. C+1이상(빗금치지 않은 부분)은 헤더 이외의 부분으로서, 데이터를 독출하기 용이하도록 샘플단위로 채널을 번갈아가며 삽입할 수 있다. 삽입비트 값들(예를 들면, K값들)은 각 채널 및 블록별로 다른 값을 가지거나, 또는 동 일한 값을 가질 수 있다. 상기 삽입비트 값들은 모두 헤더내에 포함되어 있어 읽어내야 할 데이터를 알 수 있다.
도 25는 본 발명에 따른 두 채널의 다운믹스된 오디오 신호에 임베드되는 공간 정보 비트스트림을 인코딩하는 방법에 대한 흐름도를 도시한다. 먼저 멀티채널 오디오 신호(2501)로부터 오디오 신호를 적어도 두 채널로 다운믹스(2502)한다. 또한, 상기 멀티채널 오디오 신호(2501)로부터 공간 정보를 추출(2503)하고, 상기 공간 정보를 이용하여 공간 정보 비트스트림을 생성(2504)한다. 상기 적어도 두 채널로 다운믹스된 오디오 신호에 상기 공간 정보 비트스트림을 임베드(2505)한다. 이때, 공간 정보 비트스트림을 두 채널에 임베드하는 상기 네 가지 방법 중 하나 이상의 방법이 사용될 수 있다. 그 다음에 상기 공간 정보 비트스트림이 임베드된 상기 다운믹스된 오디오 신호를 포함하는 전체 비트스트림을 전송(2506)한다. 여기서, 본 발명은 상기 다운믹스된 오디오 신호를 이용하여 K값을 구하고, 상기 K비트에 상기 공간 정보 비트스트림을 임베드하는 것을 포함할 수 있다.
도 26은 본 발명에 따른 두 채널의 다운믹스된 오디오 신호에 임베드된 공간 정보 비트스트림을 디코딩하는 방법에 대한 흐름도를 나타낸다. 먼저 공간 디코더는 공간 정보 비트스트림이 임베드된 다운믹스된 오디오 신호를 포함하는 비트스트림을 수신(2601)하고, 상기 비트스트림으로부터 다운믹스된 오디오 신호를 검출(2602)한다. 또한 상기 비트스트림으로부터 두 채널의 다운믹스된 오디오 신호에 임베드된 공간 정보 비트스트림을 추출 및 디코딩(2603)한다. 그 다음에 상기 디코딩으로부터 얻어진 공간 정보를 이용하여 상기 다운믹스된 오디오 신호를 멀티채널 로 변환(2604)한다. 본 발명은 상기 공간 정보 비트스트림이 임베드된 순서에 대한 식별정보를 추출하고, 상기 식별정보를 이용하여 상기 공간 정보비트스트림을 추출 및 디코딩하는 것을 포함할 수 있다. 또한, 본 발명은 상기 비트스트림으로부터 K값에 대한 정보를 독출하고, 상기 K값을 이용하여 상기 공간 정보 비트스트림을 디코딩하는 것을 포함할 수 있다.
도 27은 본 발명에 따른 공간 정보 비트스트림을 전송할 수 있는 방법을 선택할 수 있는 제1 공간인코더를 도시한다. 도시된 것처럼, 먼저 상기 제1 공간인코더는 멀티채널 오디오 신호(2701)를 수신한다. 여기서 n은 입력 채널의 수를 의미한다. 상기 멀티채널 오디오 신호(2701)는 다운믹스(down-mix)부(2703)에서 다운믹스되어 다운믹스된 오디오 신호(Lo 및 Ro, 2705)로 된다. 상기 다운믹스 오디오 신호(2705)는 모노 또는 스테레오 오디오 신호를 포함할 수 있다. 본 명세서에서는 편의상 스테레오 오디오 신호를 예로 하여 기술할 것이나, 본 발명이 이에 한정되지는 않는다. 상기 멀티채널 오디오 신호의 공간 정보, 즉 공간 파라미터는 공간정보추출부(2704)에서 상기 멀티채널 오디오 신호(2701)로부터 추출된다. 선택적으로, 상기 다운믹스된 오디오 신호(2705)는 외부에서 직접 제공되는 다운믹스 신호, 예를 들면 아티스틱 다운믹스 신호(Artistic down-mix signal, 2702)를 이용하여 생성될 수 있다.
상기 공간정보추출부(2704)에서 추출된 공간 정보는 공간정보인코딩부(2707)에서 공간 정보 비트스트림으로 부호화되는 과정을 거친다. 그 다음에 전송방법선택부(2708)는 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호에 임베드할 것인지, 별도의 공간 정보 비트스트림으로 전송할 것인지, 또는 두 가지 모두를 사용할 것인지를 선택할 수 있다.
만일 상기 공간 정보 비트스트림을 별도로 전송할 수 없다면, 상기 공간 정보 비트스트림은 임베드부(2706)에서 전송할 신호, 즉 상기 다운믹스 신호(2705)에 직접 삽입되는데, 이때, "디지털 오디오 임베드기법(Digital Audio Embeded Method)"이 사용될 수 있다. 이때, 상기 "디지털 오디오 임베드기법"을 사용하면, 상기 원(raw) PCM 오디오 신호에 음질왜곡 없이 상기 공간 정보 비트스트림을 임베드할 수 있으며, 상기 공간 정보 비트스트림이 임베드된 오디오 신호는 일반적인 디코더 입장에서 원 신호와 구별되지 않는다. 즉, 공간 정보 비트스트림이 임베드되어 있는 출력신호 Lo'/Ro'(2709)는 일반적인 PCM 디코더 입장에서 입력신호 Lo/Ro(2705)와 동일한 신호라 볼 수 있다.
만일 상기 공간 정보 비트스트림을 별도로 전송할 수 있다면, 상기 공간 정보 비트스트림(2710)은 상기 다운믹스 오디오 신호에 임베드되지 않고, 별도로 상기 다운믹스 오디오 신호와 함께 전송될 수 있다. 즉, 이 경우에 상기 다운믹스된 오디오 신호는 코어 코덱 비트스트림으로 인코딩되어 전송되고, 상기 공간 정보 비트스트림(2710)은 상기 코어 코덱 비트스트림과 함께 전송될 수 있다. 예를 들면, 상기 공간 정보 비트스트림을 CD의 데이터 트랙(data track)과 같은 곳에 삽입하거나, 또는 일반적인 MPEG 비트스트림 형태로 전송할 수 있다. 또한, 본 발명은 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호에 임베드하고, 이와 함께 별도로 상기 공간 정보 비트스트림을 전송하는 것을 포함한다. 즉, 공간 정보 비트스트 림을 두 부분에서 전송하는 것이다. 예를 들면, CD(Compact Disc)와 같은 저장매체의 한 계층에 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를 저장하고, 다른 계층에 상기 공간 정보 비트스트림을 별도로 저장하는 것이다. 본 발명은 상기와 같이 구성된 전체 비트스트림내에 공간 정보 비트스트림의 존재여부를 나타내는 식별정보를 포함하는 것을 포함한다. 멀티채널 오디오 신호가 이와 같이 구성되는 경우, 임베드된 공간 정보 비트스트림을 디코딩할 수 있는 디코더뿐만 아니라, 임베드된 공간 정보 비트스트림을 디코딩할 수 없는 디코더도 다운믹스된 오디오 신호를 멀티채널로 변환할 수 있는 장점을 가지게 된다.
도 28은 본 발명에 따른 공간 정보 비트스트림을 전송할 수 있는 방법을 선택할 수 있는 제2 공간인코더를 도시한다. 도시된 것처럼, 상기 제2 공간인코더는 상기 제1 공간인코더와 유사하다. 차이점은 상기 제1 공간인코더에서는 공간 정보 비트스트림을 다운믹스 오디오 신호에 임베드할 것인지를 선택할 수 있으나, 상기 제2 공간인코더에서는 공간정보인코딩부(2807)에서 생성된 공간 정보 비트스트림이 임베드부(2806)에서 다운믹스 오디오 신호에 항상 임베드된다. 상기 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호(2808)와 상기 공간정보인코딩부(2807)에서 생성된 공간 정보 비트스트림(2809)은 각각 전송방법선택부(2810)로 보내진다. 상기 전송방법선택부(2810)는 상기 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호(2808)를 포함하는 전체 비트스트림을 생성할지, 또는 상기 다운믹스 오디오 신호(2808)와 공간 정보 비트스트림(2809)을 모두 포함하는 전체 비트스트림을 생성할지 결정할 수 있다.
도 29는 본 발명에 따른 공간 정보 비트스트림을 MPEG 비트스트림형태로 별도로 보내는 경우에 대한 비트스트림 구성도이다. 도시된 것처럼, 도 29의 (a)는 코어 코덱 비트스트림(2902)과 독립된 별도의 확장 비트스트림(extension bitstream, 2903)이 존재하는 경우를 나타내며, 상기 확장 비트스트림(2903)내에 공간 정보 비트스트림을 삽입할 수 있다. 도 29의 (b)는 코어 코덱 비트스트림(2905)내에 보조데이터 헤더(2906) 및 보조데이터 비트스트림(2907)으로 구성되는 보조데이터 영역이 존재하며, 상기 보조 데이터 비트스트림(2907)내에 공간 정보 비트스트림을 삽입할 수 있다. 이때, 도 29의 (a)와 같이 구성되는 경우에, 상기 헤더(2901)내에 공간 정보 비트스트림의 존재 여부를 나타내는 식별정보가 삽입되거나, 또는 상기 확장 비트스트림(2903)내에 상기 공간 정보 비트스트림의 존재 여부를 나타내는 식별정보를 삽입할 수 있다. 도 29의 (b)와 같이 구성되는 경우에, 상기 보조데이터 영역내에 상기 공간 정보 비트스트림의 존재 여부에 대한 식별정보를 포함할 수 있다.
도 30은 본 발명에 따른 공간 정보 비트스트림을 전송하는 방법에 대한 흐름도를 나타낸다. 먼저 멀티채널 오디오 신호(3001)로부터 오디오 신호를 다운믹스(3002)한다. 상기 다운믹스된 오디오 신호는 모노 또는 스테레오 신호를 포함할 수 있다. 또한, 상기 멀티채널 오디오 신호(3001)로부터 공간 정보를 추출(3003)하고, 추출된 공간 정보를 이용하여 공간 정보 비트스트림을 생성(3004)한다. 그 다음에 상기 공간 정보 비트스트림의 전송방법을 선택(3005)한다. 상기 전송방법의 제1 모드는 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호에 임베 드(3006)하여 전송하는 것이다. 상기 전송방법의 제2 모드는 상기 공간 정보 비트스트림을 별도로 전송하는 것이다. 또한, 상기 공간 정보 비트스트림은 상기 제1 모드와 상기 제2 모드로 함께 전송될 수 있다. 그 다음에 각각의 모드로 생성된 상기 공간 정보 비트스트림과 상기 다운믹스 오디오 신호를 포함하도록 전체 비트스트림을 구성하여 전송(3007)한다.
도 31은 본 발명에 따라 전송되는 공간 정보 비트스트림을 디코딩할 수 있는 제1 공간디코더를 도시한다. 상기 제1 공간디코더는 공간 정보 비트스트림이 다운믹스 오디오 신호에 임베드된 경우에 사용가능한 디코더이다. 먼저, 상기 제1 공간인코더는 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호(3101)를 수신한다. 그 다음에 식별정보추출부(3102)는 상기 다운믹스 오디오 신호(3101)로부터 공간 정보 비트스트림이 전송된 방법에 대한 식별정보를 추출한다. 상기 식별정보는 공간 정보 비트스트림이 다운믹스 오디오 신호에 임베드되었다는 정보가 될 수 있다. 예를 들면, 상기 식별정보는 싱크워드(Syncword)가 될 수 있으며, 이 경우에 상기 다운믹스 오디오 신호의 삽입비트에 상기 싱크워드가 존재하면 공간 정보 비트스트림이 임베드된 것이고, 상기 싱크워드가 존재하지 않으면 공간 정보 비트스트림이 임베드되지 않은 것이 될 수 있다. 임베디드신호디코더(3103)는 상기 식별정보에 따라 상기 다운믹스 오디오 신호에 임베드된 공간 정보 비트스트림을 추출한다. 추출된 상기 공간 정보 비트스트림은 공간정보디코더(3104)에서 디코딩되고, 상기 디코딩을 통해 공간 정보가 추출될 수 있다. 추출된 상기 공간 정보는 멀티채널생성부(3105)에서 상기 다운믹스 오디오 신호를 멀티채널 오디오 신호(3107)로 변환하는데 이용될 수 있다. 만일 공간 정보 비트스트림이 다운믹스 오디오 신호에 임베드되지 않았다면, 상기 제1 공간디코더는 상기 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를 직접 출력(3106)할 수 있다.
도 32는 본 발명에 따라 전송되는 공간 정보 비트스트림을 디코딩할 수 있는 제2 공간디코더를 도시한다. 상기 제2 공간디코더는 공간 정보 비트스트림이 별도로 전송되는 경우에 이용될 수 있다. 먼저, 상기 제2 공간디코더는 코어 코덱 비트스트림(3201) 및 공간 정보 비트스트림(3202)를 수신한다. 그 다음에 식별정보추출부(3204)는 상기 코어 코덱 비트스트림(3201) 또는 공간 정보 비트스트림(3202)으로부터 식별정보를 추출한다. 예를 들면, 상기 식별정보는 데이터 트랙상에 공간 정보 비트스트림이 존재한다는 것을 나타내거나, 확장 비트스트림내에 공간 정보 비트스트림이 존재한다는 것을 나타내거나, 또는 보조 데이터 영역내에 공간 정보 비트스트림이 존재한다는 것을 나타내는 정보가 될 수 있다. 상기 코어 코덱 비트스트림(3201)은 코어코덱디코더(3203)에서 디코딩되고, 상기 공간 정보 비트스트림은 공간정보디코더(3205)에서 디코딩된다. 만일 상기 공간 정보 비트스트림이 데이터 트랙상에 존재한다면, 상기 코어코덱디코더(3203)가 필요하지 않을 수 있다. 상기 공간 정보 비트스트림(3202)을 디코딩하여 얻어진 공간정보는 멀티채널생성부(3206)에서 코어 코덱 비트스트림(3201)을 디코딩하여 얻어진 다운믹스 오디오 신호를 멀티채널 오디오 신호(3208)로 변환하는데 이용될 수 있다.
도 33은 본 발명에 따라 전송되는 공간 정보 비트스트림을 디코딩할 수 있는 제3 공간디코더를 도시한다. 상기 제3 공간디코더는 공간 정보 비트스트림이 다운 믹스 오디오 신호에 임베드되고 또한 별도로 전송되는 경우에 이용될 수 있다. 상기 제3 공간디코더는 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호(3301) 및 별도로 전송되는 공간 정보 비트스트림(3302)을 수신한다. 그 다음에 식별정보추출부(3303)는 상기 코어 코덱 비트스트림(3301)과 공간 정보 비트스트림(3302) 중 하나 이상으로부터 상기 공간 정보 비트스트림이 전송된 방법에 대한 식별정보를 추출한다. 상기 식별정보는 공간 정보 비트스트림이 다운믹스 오디오 신호에 임베드되었을 뿐만 아니라, 상기 다운믹스 오디오 신호(3301)와 함께 별도로 전송되었다는 것을 나타내는 정보가 될 수 있다. 또한 상기 식별정보추출부(3303)는 공간 정보 비트스트림이 임베드된 상기 다운믹스 오디오 신호와 별도로 전송된 공간 정보 비트스트림(3302) 중 하나 이상으로부터 공간 정보 비트스트림을 추출할 수 있다. 만일, 다운믹스 오디오 신호(3301)로부터 공간 정보를 추출하여 디코딩하는 것이 유리하다고 판단되면, 임베디드신호디코더(3304)에서 다운믹스 오디오 신호에 임베드된 공간 정보 비트스트림을 추출하고, 공간정보디코더(3305)에서 추출된 상기 공간 정보 비트스트림을 디코딩한다. 만일, 별도로 전송된 공간 정보 비트스트림(3302)을 디코딩하는 것이 유리하다고 판단되면, 별도로 전송된 상기 공간 정보 비트스트림(3302)을 공간디코더(3305)에서 직접 디코딩한다. 공간 정보 비트스트림을 디코딩하여 얻어진 공간 정보는 멀티채널생성부(3306)에서 상기 다운믹스 오디오 신호를 멀티채널 오디오 신호(3308)로 변환하는데 이용될 수 있다. 만일 멀티채널을 이용할 수 없는 경우라면, 상기 다운믹스 오디오 신호를 직접 출력(3307)할 수 있다.
도 34는 본 발명에 따른 제1 공간디코더를 이용하여 디코딩하는 방법에 대한 흐름도를 나타낸다. 먼저 상기 제1 공간디코더는 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를 포함하는 전체 비트스트림을 수신(3401)하고, 상기 전체 비트스트림으로부터 다운믹스 오디오 신호를 추출(3402)한다. 또한 상기 전체 비트스트림으로부터 공간 정보 비트스트림이 상기 다운믹스 오디오 신호에 임베드되었다는 것을 나타내는 식별정보를 독출(3403)한다. 상기 식별정보를 이용하여 상기 다운믹스 오디오 신호로부터 공간 정보 비트스트림을 추출(3404)하고, 추출된 상기 공간 정보 비트스트림을 디코딩(3405)한다. 그 다음에 상기 공간 정보 비트스트림을 디코딩하여 공간 정보를 추출(3406)하고, 추출된 상기 공간 정보를 이용하여 상기 다운믹스 오디오 신호를 멀티채널로 변환(3407)한다.
도 35는 본 발명에 따른 제2 공간디코더를 이용하여 디코딩하는 방법에 대한 흐름도를 나타낸다. 먼저 상기 제2 공간디코더는 다운믹스 오디오 신호에 대한 코어 코덱 비트스트림 및 공간 정보 비트스트림을 포함하는 전체 비트스트림을 수신(3501)한다. 여기서, 상기 공간 정보 비트스트림은 상기 다운믹스 오디오 신호에 임베드되지 않고, 별로로 상기 코어 코덱 비트스트림과 함께 전송된 것이다. 그 다음에 상기 전체 비트스트림으로부터 코어 코덱 비트스트림을 디코딩(3502)하여 다운믹스 오디오 신호를 추출(3504)한다. 또한, 상기 전체 비트스트림으로부터 공간 정보 비트스트림이 상기 다운믹스 오디오 신호에 임베드되지 않고, 별도로 전송되었다는 것을 나타내는 식별정보를 추출(3503)한다. 상기 식별정보를 이용하여 공간 정보 비트스트림을 디코딩(3505)하여 공간 정보를 추출(3506)한다. 그 다음에 추출 된 상기 공간 정보를 이용하여 상기 다운믹스 오디오 신호를 멀티채널로 변환(3507)한다.
도 36은 본 발명에 따른 제3 공간디코더를 이용하여 디코딩하는 방법에 대한 흐름도를 나타낸다. 먼저 상기 제3 공간디코더는 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호에 대한 코어 코덱 비트스트림 및 별도의 공간 정보 비트스트림을 포함하는 전체 비트스트림을 수신(3601)한다. 그 다음에 상기 전체 비트스트림으로부터 다운믹스 오디오 신호를 추출(3603)한다. 또한, 상기 전체 비트스트림으로부터 공간 정보 비트스트림이 상기 다운믹스 오디오 신호에 임베드되었을뿐만 아니라, 별도로 전송되었다는 것을 나타내는 식별정보를 추출(3602)한다. 그 다음에 상기 식별정보에 따라, 공간 정보 비트스트림의 디코딩 방법을 선택(3604)한다. 상기 디코딩 방법에는 다운믹스 오디오 신호에 임베드된 공간 정보 비트스트림을 디코딩하는 제1 모드와, 별도로 전송되는 공간 정보 비트스트림을 디코딩하는 제2 모드가 있다. 만일, 제1 모드로 디코딩하는 것이 유리하다고 판단되면, 상기 코어 코덱 비트스트림으로부터 공간 정보 비트스트림을 추출(3605)하고, 추출된 상기 공간 정보 비트스트림을 디코딩(3606)한다. 만일, 제2 모드가 유리하다고 판단되면, 상기 별도로 전송된 공간 정보 비트스트림을 디코딩(3606)한다. 그 다음에 상기 디코딩을 통하여 공간 정보를 추출(3602)하고, 추출된 공간 정보를 이용하여 상기 다운믹스 오디오 신호를 멀티채널로 변환(3608)한다.
지금까지 본 발명에 대하여 몇몇 실시예들을 들어 구체적으로 설명하였으나, 상기 실시예들은 본 발명을 이해하기 위한 설명을 위해 제시된 것이며, 본 발명의 범위가 상기 실시예에 제한되는 것은 아니다. 당업자라면 본 발명의 기술적 사상의 범위를 벗어나지 않고도 다양한 변형이 가능함을 이해할 수 있을 것이며, 본 발명의 범위는 첨부된 특허청구범위에 의해서 해석되어야 할 것이다.
이상에서 기술된 것과 같이, 본 발명에 따른 멀티채널 오디오 신호를 코딩하는데 있어서, 공간 정보 비트스트림을 다운믹스된 오디오 신호에 임베드하여 보내거나, 공간 정보 비트스트림을 별도로 보내거나, 또는 공간 정보 비트스트림을 다운믹스 오디오 신호에 임베드할뿐만 아니라 별도로 보내는 방법을 선택할 수 있는 부호화 방법을 제공함으로써, 공간 정보를 별도로 전송할 수 있는 매체뿐만 아니라 공간 정보를 별도로 전송할 수 없는 매체등과 같은 다양한 종류의 전송 매체에 멀티채널 오디오 신호를 전송할 수 있는 효과가 있다.
또한, 본 발명은 공간정보 비트스트림이 다운믹스 오디오 신호에 임베드된 경우, 별도로 보내진 경우, 또는 다운믹스 오디오 신호에 임베드될뿐만 아니라 별로도 보내지는 경우에, 각각의 방식에 따라 제공되는 공간 정보 비트스트림을 디코딩하는 방법을 제공함으로써, 다양한 방식으로 제공되는 공간 정보 비트스트림을 이용할 수 있는 효과가 있다.

Claims (28)

  1. 멀티채널 오디오 신호를 인코딩하는 방법에 있어서,
    (a) 상기 멀티채널 오디오 신호를 다운믹스하고, 상기 멀티채널 오디오 신호로부터 공간 정보를 추출하는 단계;
    (b) 상기 공간 정보를 이용하여 공간 정보 비트스트림을 생성하는 단계;
    (c) 생성된 상기 공간 정보 비트스트림의 전송방법을 선택하는 단계; 및
    (d) 상기 선택된 방법에 따라, 상기 공간 정보 비트스트림 및 상기 다운믹스 오디오 신호를 포함하는 전체 비트스트림을 생성하는 단계;를 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  2. 제 1 항에 있어서,
    상기 전송방법은 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호에 임베드하여 전송하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  3. 제 2 항에 있어서,
    상기 공간 정보 비트스트림은 상기 다운믹스 오디오 신호의 삽입비트 내에 임베드되는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  4. 제 3 항에 있어서,
    상기 삽입비트는 상기 다운믹스 오디오 신호의 마스킹 한계값(masking threshold)을 이용하여 구하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  5. 제 1 항에 있어서,
    상기 전송방법은 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호와는 별도로 전송하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  6. 제 1 항에 있어서,
    상기 전송방법은, 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호에 임베드하고, 또한 상기 다운믹스된 오디오 신호와는 별도로 전송하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  7. 제 1 항에 있어서,
    상기 전체 비트스트림에는 상기 전송방법에 대한 식별정보가 포함되는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  8. 멀티채널 오디오 신호를 인코딩하는 방법에 있어서,
    (a) 상기 멀티채널 오디오 신호를 다운믹스하고, 상기 멀티채널 오디오 신호로부터 공간 정보를 추출하는 단계;
    (b) 상기 공간 정보를 이용하여 공간 정보 비트스트림을 생성하는 단계;
    (c) 생성된 상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호에 임베드하는 단계; 및
    (d) 상기 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를 포함하도록 전체 비트스트림을 생성하되, 상기 전체 비트스트림내에 별도로 상기 공간 정보 비트스트림을 포함할 것인지를 결정하는 단계;를 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  9. 제 8 항에 있어서,
    상기 (c)단계는,
    상기 공간 정보 비트스트림을 상기 다운믹스 오디오 신호의 삽입비트 내에 임베드하는 단계를 더 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  10. 제 8 항에 있어서,
    상기 (d)단계는,
    상기 전체 비트스트림내에 별도로 상기 공간 정보 비트스트림이 포함되지 않도록 전체 비트스트림을 구성하는 단계를 더 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  11. 제 8 항에 있어서,
    상기 (d)단계는,
    상기 전체 비트스트림내에 별도로 상기 공간 정보 비트스트림이 포함되도록 전체 비트스트림을 구성하는 단계를 더 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  12. 제 8 항에 있어서,
    상기 전체 비트스트림에는 상기 전송방법에 대한 식별정보가 포함되는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  13. 멀티채널 오디오 신호로 디코딩하는 방법에 있어서,
    (a) 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를 포함하는 전체 비트스트림을 수신하는 단계;
    (b) 상기 다운믹스 오디오 신호에 임베드된 공간 정보 비트스트림을 추출하는 단계; 및
    (c) 상기 공간 정보 비트스트림을 디코딩하여 얻어진 공간 정보를 이용하여 상기 다운믹스 오디오 신호를 멀티채널 오디오 신호로 변환하는 단계;를 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호로 디코딩하는 방법.
  14. 제 13 항에 있어서,
    상기 디코딩 방법은,
    상기 (b)단계 이전에, 상기 전체 비트스트림으로부터 상기 공간 정보 비트스트림이 상기 다운믹스 오디오 신호에 임베드되었다는 것을 나타내는 식별정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호를 디코딩하는 방법.
  15. 멀티채널 오디오 신호로 디코딩하는 방법에 있어서,
    (a) 공간 정보 비트스트림 및 다운믹스 오디오 신호를 포함하는 전체 비트스트림을 수신하는 단계;
    (b) 상기 전체 비트스트림으로부터 상기 다운믹스 오디오 신호와 별도로 전송된 공간 정보 비트스트림을 추출하는 단계; 및
    (c) 상기 공간 정보 비트스트림을 디코딩하여 얻어진 공간 정보를 이용하여 상기 다운믹스 오디오 신호를 멀티채널 오디오 신호로 변환하는 단계;를 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호로 디코딩하는 방법.
  16. 제 15 항에 있어서,
    상기 공간 정보 비트스트림은 컴팩트 디스크의 데이터 트랙에 저장되어 전송되는 것을 특징으로 하는, 멀티채널 오디오 신호로 디코딩하는 방법.
  17. 제 15 항에 있어서,
    상기 공간 정보 비트스트림은 확장 비트스트림내에 저장되어 전송되는 것을 특징으로 하는, 멀티채널 오디오 신호로 디코딩하는 방법.
  18. 제 15 항에 있어서,
    상기 공간 정보 비트스트림은 코어 코덱 비트스트림 내의 보조 데이터 영역에 저장되어 전송되는 것을 특징으로 하는, 멀티채널 오디오 신호로 디코딩하는 방법.
  19. 제 15 항에 있어서,
    상기 디코딩 방법은,
    상기 (b)단계 이전에, 상기 전체 비트스트림으로부터 상기 공간 정보 비트스트림이 상기 다운믹스 오디오 신호와 별도로 전송되었다는 것을 나타내는 식별정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호를 디코딩하는 방법.
  20. 멀티채널 오디오 신호로 디코딩하는 방법에 있어서,
    (a) 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호 및 별도로 전송된 공간 정보 비트스트림을 포함하는 전체 비트스트림을 수신하는 단계;
    (b) 상기 다운믹스 오디오 신호로부터 공간 정보 비트스트림을 추출하고, 추출된 상기 공간 정보 비트스트림 디코딩하거나, 또는 상기 별도로 전송된 공간 정 보 비트스트림을 디코딩하는 단계; 및
    (c) 상기 공간 정보 비트스트림을 디코딩하여 얻어진 공간 정보를 이용하여 상기 다운믹스 오디오 신호를 멀티채널 오디오 신호로 변환하는 단계;를 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호로 디코딩하는 방법.
  21. 제 20 항에 있어서,
    상기 디코딩 방법은,
    상기 (b)단계 이전에, 상기 전체 비트스트림으로부터 상기 공간 정보 비트스트림이 상기 다운믹스 오디오 신호에 임베드되어 전송되고, 또한 상기 다운믹스 오디오 신호와 별도로 전송되었다는 것을 나타내는 식별정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호를 디코딩하는 방법.
  22. 멀티채널 오디오 신호를 인코딩하는 방법에 있어서,
    (a) 상기 멀티채널 오디오 신호를 다운믹스하고, 상기 멀티채널 오디오 신호로부터 공간 정보를 추출하는 단계;
    (b) 상기 공간 정보를 이용하여 각 프레임별 공간 정보 비트스트림을 생성하는 단계; 및
    (c) 상기 공간 정보 비트스트림과 상기 다운믹스된 오디오 신호를 결합하여 전체 비트스트림을 구성하되, 상기 공간 정보 비트스트림의 프레임 크기(N)는 공간 정보가 복호화되어 적용되는 프레임 크기(S) 단위로 상기 다운믹스 오디오 신호와 결합되는 단계;를 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  23. 제 22 항에 있어서,
    상기 공간 정보 비트스트림에 대한 헤더내에 상기 공간 정보 비트스트림의 적용범위에 관한 위치정보가 삽입되는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  24. 제 22 항에 있어서,
    상기 공간 정보 비트스트림에 대한 헤더내에 상기 공간 정보 비트스트림의 시작위치에 대한 싱크워드가 삽입되는 것을 특징으로 하는, 멀티채널 오디오 신호의 인코딩 방법.
  25. 멀티채널 오디오 신호로 디코딩하는 방법에 있어서,
    (a) 공간 정보 비트스트림과 결합된 다운믹스된 오디오 신호를 포함하는 전체 비트스트림을 수신하는 단계; 및
    (b) 상기 전체 비트스트림으로부터 공간 정보를 복호화되어 적용하는 프레임 크기(S) 단위로 상기 다운믹스된 오디오 신호와 결합된 상기 공간 정보 비트스트림을 추출 및 디코딩하는 단계;를 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호로 디코딩하는 방법.
  26. 제 25 항에 있어서,
    상기 (b)단계는,
    상기 공간 정보를 디코딩하여 얻어진 공간 정보를 이용하여 상기 다운믹스된 오디오 신호를 멀티채널 오디오 신호로 변환하는 단계를 더 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호로 디코딩하는 방법.
  27. 제 25 항에 있어서,
    상기 디코딩 방법은
    상기 (b)단계 이전에, 상기 전체 비트스트림으로부터 상기 공간 정보 비트스트림을 적용할 위치정보를 독출하는 단계를 더 포함하는 것을 특징으로 하는, 멀티채널 오디오 신호로 디코딩하는 방법.
  28. 오디오 신호의 생성방법에 있어서,
    상기 오디오 신호는 다운믹스된 오디오 신호 및 공간 정보 비트스트림을 포함하도록 생성되고,
    상기 공간 정보 비트스트림을 상기 다운믹스된 오디오 신호와 결합하여 전체 비트스트림을 구성하되, 상기 공간 정보 비트스트림을 복호화하여 적용하는 프레임 크기(S) 단위로 상기 다운믹스 오디오 신호와 결합하도록 생성되는 것을 특징으로 하는, 오디오 신호의 생성방법.
KR1020060046972A 2005-05-26 2006-05-25 공간 정보의 전송방법을 선택할 수 있는 오디오 신호의부호화-복호화방법 KR20060122734A (ko)

Priority Applications (20)

Application Number Priority Date Filing Date Title
PCT/KR2006/002020 WO2006126858A2 (en) 2005-05-26 2006-05-26 Method of encoding and decoding an audio signal
CN2006800263119A CN101258538B (zh) 2005-05-26 2006-05-26 将音频信号编解码的方法
US11/915,574 US8150701B2 (en) 2005-05-26 2006-05-26 Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
PCT/KR2006/002021 WO2006126859A2 (en) 2005-05-26 2006-05-26 Method of encoding and decoding an audio signal
EP06747465A EP1899959A2 (en) 2005-05-26 2006-05-26 Method of encoding and decoding an audio signal
EP06747467A EP1899960A2 (en) 2005-05-26 2006-05-26 Method of encoding and decoding an audio signal
US11/915,562 US8170883B2 (en) 2005-05-26 2006-05-26 Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
JP2008513381A JP5461835B2 (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化／復号化方法及び符号化／復号化装置
EP06747468A EP1897084A2 (en) 2005-05-26 2006-05-26 Method of encoding and decoding an audio signal
CN2006800263104A CN101253550B (zh) 2005-05-26 2006-05-26 将音频信号编解码的方法
JP2008513380A JP5452915B2 (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化／復号化方法及び符号化／復号化装置
US11/915,555 US8214220B2 (en) 2005-05-26 2006-05-26 Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
JP2008513382A JP5118022B2 (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化／復号化方法及び符号化／復号化装置
US11/915,325 US8090586B2 (en) 2005-05-26 2006-05-26 Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
JP2008513379A JP2008542816A (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化及び復号化方法
PCT/KR2006/002019 WO2006126857A2 (en) 2005-05-26 2006-05-26 Method of encoding and decoding an audio signal
PCT/KR2006/002018 WO2006126856A2 (en) 2005-05-26 2006-05-26 Method of encoding and decoding an audio signal
EP06747466A EP1905004A2 (en) 2005-05-26 2006-05-26 Method of encoding and decoding an audio signal
CN2006800263123A CN101223579B (zh) 2005-05-26 2006-05-26 用于对音频信号进行编码和解码的方法
CN200680018078XA CN101180674B (zh) 2005-05-26 2006-05-26 编码和解码音频信号的方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US68457805P 2005-05-26 2005-05-26
US60/684,578 2005-05-26
US75860806P 2006-01-13 2006-01-13
US60/758,608 2006-01-13

Publications (1)

Publication Number Publication Date
KR20060122734A true KR20060122734A (ko) 2006-11-30

Family

ID=37707978

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020060030661A KR20060122694A (ko) 2005-05-26 2006-04-04 두 채널 이상의 다운믹스 오디오 신호에 공간 정보비트스트림을 삽입하는 방법
KR1020060030658A KR20060122692A (ko) 2005-05-26 2006-04-04 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를인코딩 및 디코딩하는 방법
KR1020060030660A KR20060122693A (ko) 2005-05-26 2006-04-04 다운믹스된 오디오 신호에 공간 정보 비트스트림을삽입하는 프레임 크기 조절방법
KR1020060046972A KR20060122734A (ko) 2005-05-26 2006-05-25 공간 정보의 전송방법을 선택할 수 있는 오디오 신호의부호화-복호화방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020060030661A KR20060122694A (ko) 2005-05-26 2006-04-04 두 채널 이상의 다운믹스 오디오 신호에 공간 정보비트스트림을 삽입하는 방법
KR1020060030658A KR20060122692A (ko) 2005-05-26 2006-04-04 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를인코딩 및 디코딩하는 방법
KR1020060030660A KR20060122693A (ko) 2005-05-26 2006-04-04 다운믹스된 오디오 신호에 공간 정보 비트스트림을삽입하는 프레임 크기 조절방법

Country Status (1)

Country Link
KR (4) KR20060122694A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100881312B1 (ko) * 2007-06-28 2009-02-03 엘지전자 주식회사 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치
US7986788B2 (en) 2006-12-07 2011-07-26 Lg Electronics Inc. Method and an apparatus for decoding an audio signal

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5054034B2 (ja) * 2006-02-07 2012-10-24 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
US8611547B2 (en) * 2006-07-04 2013-12-17 Electronics And Telecommunications Research Institute Apparatus and method for restoring multi-channel audio signal using HE-AAC decoder and MPEG surround decoder
KR100942143B1 (ko) * 2007-09-07 2010-02-16 한국전자통신연구원 기존 오디오 포맷의 오디오 장면 정보를 유지하는 ｗｆｓ재생 방법 및 그 장치
KR100958110B1 (ko) 2007-12-17 2010-05-17 한국전자통신연구원 유비쿼터스 서비스 인증 게이트웨이 장치 및 그 방법
EP2154910A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for merging spatial audio streams

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7986788B2 (en) 2006-12-07 2011-07-26 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
US8005229B2 (en) 2006-12-07 2011-08-23 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
KR101128815B1 (ko) * 2006-12-07 2012-03-27 엘지전자 주식회사 오디오 처리 방법 및 장치
US8311227B2 (en) 2006-12-07 2012-11-13 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
US8340325B2 (en) 2006-12-07 2012-12-25 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
US8428267B2 (en) 2006-12-07 2013-04-23 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
US8488797B2 (en) 2006-12-07 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
KR100881312B1 (ko) * 2007-06-28 2009-02-03 엘지전자 주식회사 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치

Also Published As

Publication number Publication date
KR20060122693A (ko) 2006-11-30
KR20060122692A (ko) 2006-11-30
KR20060122694A (ko) 2006-11-30

Similar Documents

Publication Publication Date Title
JP5452915B2 (ja) オーディオ信号の符号化／復号化方法及び符号化／復号化装置
CN101258538B (zh) 将音频信号编解码的方法
US7660358B2 (en) Signal processing using pilot based coding
JP4601669B2 (ja) マルチチャネル信号またはパラメータデータセットを生成する装置および方法
US7663513B2 (en) Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
KR20070116170A (ko) 스케일 가능한 멀티-채널 오디오 코딩
US11200906B2 (en) Audio encoding method, to which BRIR/RIR parameterization is applied, and method and device for reproducing audio by using parameterized BRIR/RIR information
US20080288263A1 (en) Method and Apparatus for Encoding/Decoding
KR20060122734A (ko) 공간 정보의 전송방법을 선택할 수 있는 오디오 신호의부호화-복호화방법
KR20070003544A (ko) 아비트러리다운믹스게인을 이용한 클리핑복원
KR100891666B1 (ko) 믹스 신호의 처리 방법 및 장치
US7646319B2 (en) Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7672379B2 (en) Audio signal processing, encoding, and decoding
KR20070098726A (ko) 미디어 신호를 부호화/복호화하는 방법 및 장치