KR101784031B1

KR101784031B1 - 주변 블록의 통계로부터 추론되는 인트라 예측을 위한 필터링 모드

Info

Publication number: KR101784031B1
Application number: KR1020127030477A
Authority: KR
Inventors: 스테펜 비트만; 비르지니 드루젼; 마티아스 나로쉬케; 토마스 베디
Original assignee: 선 페이턴트 트러스트
Priority date: 2010-04-26
Filing date: 2011-04-26
Publication date: 2017-10-10
Also published as: JP2016048966A; EP3288265A1; CA2797313A1; EP3288265B1; BR112012027438B1; US10116955B2; US20180234695A1; JP2013527693A; AU2011247331B2; CN108718413B; JP5871906B2; CA2797313C; EP2564593B1; US20130101032A1; CN102948144A; US9197893B2; SG185050A1; KR20130051950A; EP2564593A1; JP6064235B2

Abstract

본 발명은 이미지 신호의 인코딩 및/또는 디코딩 동안 수행될 수 있는 인트라 예측에 관한 것이다. 특히, 본 발명은 예측 신호 및/또는 예측을 위해 이용되는 신호에 필터링이 적용되는 동안의 현재 블록의 인트라 예측에 관한 것이다. 현재 블록에 공간적으로 인접한 블록내에 포함된 이미지 신호의 특성을 기초로 한 결정에 따라 필터링이 적용된다.

Description

주변 블록의 통계로부터 추론되는 인트라 예측을 위한 필터링 모드{FILTERING MODE FOR INTRA PREDICTION INFERRED FROM STATISTICS OF SURROUNDING BLOCKS}

본 발명은 화상 코딩 방법, 장치 및 이들 방법을 소프트웨어에서 실행하기 위한 프로그램에 관한 것이다.

많은 어플리케이션에서 공간 예측이 채용되었다. 특히, 공간 예측은 이미지 및 비디오 코딩 및 처리 어플리케이션의 필수 요소를 형성한다. 하이브리드 이미지 또는 비디오 코딩 알고리즘에서, 공간 예측은 일반적으로 이미 인코드/디코드된 블록의 픽셀을 기초로 이미지 블록에 대한 예측을 결정하기 위해 채용된다. 반면에, 디코드된 이미지 또는 비디오 신호의 후처리의 일부로서 특히 에러 은닉을 위해 공간 예측이 이용될 수도 있다.

다수의 표준화된 비디오 코딩 알고리즘은 하이브리드 비디오 코딩을 기초로 한다. 하이브리드 비디오 코딩 방법은 일반적으로 소망된 압축 이득을 달성하기 위하여 수개의 상이한 무손실 및 손실 압축 방식을 결합한다. 하이브리드 비디오 코딩은 또한 ISO/IEC 표준(MPEG-1, MPEG-2, MPEG-3과 같은 MPEG-X 표준) 외에도 ITU-T 표준(H.261, H.263과 같은 H.26x 표준)에 대한 기준이다. 가장 최근의 가장 진보된 비디오 코딩 표준은 현재는 조인트 비디오 팀(JVT), ITU-T의 조인트 팀 및 ISO/IEC/ MPEG 그룹에 의한 표준화 노력의 결과인 H.264/MPEG-4 어드밴스드 비디오 코딩(AVC)으로 표시되는 표준이다. 신규 비디오 코딩 표준이 고해상도 비디오 코딩에 대한 효율 개선을 특히 겨냥한 소위 고효율 비디오 코딩(HEVC)이라는 이름 아래의 JCT-VC(Joing Collaborative Team on Video Coding)에 의해 현재 개발된다.

인코더로의 비디오 신호 입력은 프레임이라 칭하는 이미지의 순서로서, 각 프레임은 픽셀의 2차원적 매트릭스이다. 하이브리드 비디오 코딩을 기초로 한 상술한 표준 모두는 각 개별 비디오 프레임을 복수개의 픽셀로 구성된 작은 블록으로 세분하는 것을 포함한다. 일반적으로, 매크로블록(일반적으로 16×16 픽셀의 블록을 나타냄)은 기본 이미지 소자로서, 이에 대해 인코딩이 수행된다. 그러나, 서브블록 또는 간략히 블록으로 표시되고 예를 들면 8×8, 4×4, 16×8 등의 크기를 갖는 작은 이미지 소자에 대해 다양한 특별한 인코딩 단계가 수행될 수 있다. 예를 들면 HEVC에서, 그러한 블록에 대해 가능한 가장 큰 크기는 64×64 픽셀이다. 이는 LCU(Largest Coding Unit)으로 칭한다. LCU의 작은 블록으로의 세분할이 HEVC에서 가능하다. 그러한 블록은 CU(Coding Unit)으로 칭한다. CU는 기초 이미지 소자로, 이에 대해 코딩이 수행된다.

도 1은 일반적 H.264/MPEG-4 AVC 표준 부합 비디오 인코더(100)의 예이다. 감산기(105)는 먼저 입력 비디오 이미지(입력 신호)의 인코딩될 현재 블록과 인코딩될 현재 블록의 예측에 이용되는 대응하는 예측 블록 사이의 차이를 결정한다. H.264/MPEG-4 AVC에서, 예측 신호는 시간적 또는 공간적 예측에 의해 얻어진다. 예측의 유형은 프레임 당 기준, 슬라이스 기준 또는 매크로블록 기준으로 가변할 수 있다.

시간적 예측을 이용하여 예측된 매크로블록 또는 CU는 인터-인코드로 칭하며, 공간적 예측을 이용하여 예측된 매크로블록 또는 CU는 인트라-인코드로 칭한다. 비디오 프레임에 대한 예측의 유형은 가능한 높은 압축 이득을 달성하도록 사용자에 의해 설정되거나 또는 비디오 인코더에 의해 선택될 수 있다. 예측의 선택된 유형에 따르면, 인트라/인터 스위치(175)는 감산기(105)에 대응하는 예측 신호를 제공한다. 시간적 예측을 이용하는 예측 신호는 메모리(140)내에 저장되는 이전 코딩된 이미지로부터 도출된다. 공간적 예측을 이용하는 예측 신호는 이전에 인코드되고, 디코드되고, 메모리(140)내에 저장된 동일한 프레임의 이웃 블록내의 경계 픽셀의 값으로부터 도출된다. 그러므로, 메모리 유닛(140)은 인코드될 현재 신호값과 이전 신호값으로부터 생성된 예측 신호값 사이의 비교를 허용하는 지연 유닛으로서 동작한다. 메모리(140)는 복수개의 이전 인코드된 비디오 프레임을 저장할 수 있다. 예측 에러 신호 또는 잔류 신호로 표시되는 입력 신호와 예측 신호 사이의 차이는 계수로 변환되어 양자화된다(110). 엔트로피 인코더(190)는 다음으로 무손실 방식으로 데이터의 양을 더욱 감소시키기 위하여 양자화된 계수에 적용된다. 이는 코드 워드의 길이가 그 발생 확률을 기초로 선택되는 가변 길이의 코드 워드를 갖는 코드를 적용함에 의해 주로 달성된다.

인트라-인코드 이미지(I-타입 이미지 또는 I 프레임으로도 칭함)는 인트라-인코드된 매크로블록 또는 CU 단독으로 구성되어, 즉 인트라-인코드 이미지는 다른 이전에 디코드된 이미지를 참조하지 않고 디코드될 수 있다. 인트라-인코드 이미지는, 이들이 시간적 예측으로 인하여 프레임에서 프레임으로 전달될 가능성이 있는 에러로부터 비디오 시퀀스를 리프레시하므로, 인코드된 비디오 시퀀스에 대해 에러 탄성을 제공한다. 더욱이, I 프레임은 인코드된 비디오 이미지의 시퀀스내에서의 랜덤 억세스를 가능하게 한다. 인트라-프레임 예측은 소정 세트의 인트라-예측 모드를 이용한다. 인트라-예측 모드의 일부는 이미 인코드된 이웃 블록의 경계 픽셀을 이용하여 현재 블록을 예측한다. 다른 인트라-예측 모드, 예를 들면 템플릿 매칭, 는 동일한 프레임에 속하는 이미 인코드된 픽셀로 이루어진 검색 영역을 이용한다. 소정 세트의 인트라-예측 모드는 일부 방향성 공간적 인트라-예측 모드를 포함한다. 방향성 공간적 인트라-예측의 상이한 모드는 적용된 2-차원 예측의 상이한 방향을 지칭한다. 이는 다양한 에지 방향의 경우의 효율적 공간적 인트라-예측을 가능하게 한다. 그러한 인트라-예측에 의해 얻어지는 예측 신호는 상술한 것처럼 감산기(105)에 의해 입력 신호로부터 감산된다. 추가로, 예측 모드를 나타내는 공간적 인트라-예측 모드 정보가 엔트로피 인코더(190)(도 1에 도시 없음)에 제공되며, 이는 엔트로피 인코드되고, 인코드된 비디오 신호와 함께 제공된다.

H.264/MPEG-4 AVC 인트라 코딩 방식에서, 공간적 용장성을 감소하기 위하여 4×4, 8×8 또는 16×16 사이즈의 서브블록에 대해 공간 예측이 수행된다. 인트라-프레임 예측은 이미 코딩된 이웃 블록의 경계 픽셀을 이용하여 기본적으로 현재 블록을 예측하는 소정 세트의 인트라-예측 모드를 이용한다. 상이한 유형의 방향성 공간적 예측은 상이한 에지 방향 즉, 적용된 2차원 외삽법의 방향을 지칭한다. 사이즈 4×4, 8×8의 서브블록에 대한 8개의 상이한 방향성 예측 모드 및 하나의 DC 예측 모드와 16×16 픽셀의 매크로블록에 대해 3개의 상이한 방향성 예측 모드 및 하나의 DC 예측 모드가 존재한다. HEVC에서, 공간적 예측은 4×4, 8×8, 16×16 또는 32×32 사이즈의 CU에 대해 수행될 수 있다. 전체 CU 크기에 대해 34개의 상이한 방향성 예측 모드가 존재한다.

비디오 인코더(100) 내에, 디코드된 비디오 신호를 얻기 위하여 디코딩 유닛이 포함된다. 인코딩 단계에 부합하여, 디코딩 단계는 역 양자화 및 역 변환(120)을 포함한다. 디코드된 예측 에러 신호는 양자화 노이즈라고도 불리는 양자화 에러로 인한 오리지널 예측 에러 신호와는 상이하다. 재구성 신호는 다음으로 디코드된 예측 에러 신호를 예측 신호에 추가함(125)에 의해 얻어진다. 인코더측과 디코더측 사이의 호환성을 유지하기 위하여, 인코더측 및 디코더측 모두에 공지된, 인코드되고 순차적으로 디코드된 비디오 신호를 기초로 예측 신호가 얻어진다. 양자화로 인하여, 양자화 노이즈가 재구성된 비디오 신호에 중첩된다. 블록 방식 코딩으로 인하여, 중첩된 노이즈는 특히 강한 양자화에 있어서, 종종 디코드된 이미지내의 가시적 블록 경계에서 차단 특성을 가진다. 이러한 아티팩트를 감소시키기 위하여, 각 재구성된 이미지 블록에 디블록킹 필터(130)가 적용된다. 디코드되기 위해서, 인터-인코드된 이미지는 이전 인코드된 것 및 다음 디코드된(재구성된) 이미지를 필요로 한다. 시간적 예측은 단방향적으로, 즉 인코드될 현재 프레임 이전에 시간상으로 정렬된 비디오 프레임만을 이용하여 또는 쌍방향적으로 즉, 현재 프레임 이후의 비디오 프레임도 이용하여 수행될 수 있다. 단방향성 시간적 예측은 P 프레임으로 칭하는 인터-인코드된 이미지를 초래하고, 쌍방향성 시간적 예측은 B 프레임으로 칭하는 인터-인코드된 이미지를 초래한다. 일반적으로, 인터-인코드된 이미지는 P-, B-, 또는 심지어 I- 형 매크로블록 중 임의의 것을 포함할 수 있다. 인터-인코드된 매크로블록(P- 또는 B- 매크로블록) 또는 인터-인코드된 CU는 움직임 보상 예측(160)에 의해 예측된다. 먼저, 움직임 추정자(estimator; 165)에 의해 이전에 인코드된 및 디코드된 비디오 프레임 내의 현재 블록에 대해 최적-일치 블록이 발견된다. 최적-일치 블록은 다음으로 예측 신호가 되고, 현재 블록과 최적 일치 사이의 상대 변위가 인코드된 비디오 데이터를 또한 포함하는 비트스트림내의 3차원(하나의 시간적, 2개의 공간적) 움직임의 형태의 움직임 데이터로서 신호처리된다. 예측 정확성을 최적화하기 위하여, 움직임 벡터는 공간적 서브-픽셀 해상도 예를 들면 1/2 픽셀 또는 1/4 픽셀 해상도로 결정될 수 있다. 이는 보간 필터(150)에 의해 가능하다.

인트라- 및 인터- 인코딩 모드 모두에 대해, 현재 입력 신호와 예측 신호 사이의 차이는 유닛(110)에 의해 변환 및 양자화되어, 양자화된 계수가 된다. 일반적으로, 자연 비디오 이미지의 상관(correlation)을 효율적으로 감소시키므로, 2차원 이산 코사인 변환(DCT) 또는 그의 정수 버젼과 같은 직교 변환이 채용된다. 변환 이후에, 고주파수 성분 보다는 저주파수 성분이 일반적으로 이미지 품질에 대해 더 중요하므로, 고주파수 성분 보다 저주파수 성분을 코딩하기 위해 더 많은 비트가 소요될 수 있다. 엔트로피 코더에서, 양자화된 계수의 2차원 매트릭스는 1차원 어레이로 전환된다. 일반적으로, 이 전환은 소위 지그-재그 스캐닝에 의해 수행되며, 이는 2차원 어레이의 좌상 코너에서의 DC-계수로 시작하고, 소정 순서의 2차원 어레이를 스캔하여, 우하 코너의 AC 계수로서 끝난다. 에너지가 일반적으로 낮은 주파수에 대응하는 계수의 2차원 매트릭스의 좌상 부분에 집중되므로, 지그-재그 스캐닝 결과 일반적으로 최후 값이 0인 어레이가 된다. 이는 실제 엔트로피 코딩의 일부/이전으로서 런-랭쓰 코드를 이용하는 효율적 인코딩을 고려한다. H.264/MPEG-4 AVC는 양자화 파라미터(QP) 및 주문형 양자화 매트릭스(QM)의 의해 제어될 수 있는 스칼라 양자화(110)를 채용한다. 52 양자화기 중 하나가 양자화 파라미터에 의해 각각의 매크로블록에 대해 선택된다. 또한, 양자화 매트릭스는 이미지 품질의 손실을 회피하기 위하여 소스내의 특정 주파수를 유지하도록 구체적으로 설계된다. H.264/MPEG-4 AVC내의 양자화 매트릭스는 비디오 시퀀스에 적응될 수 있으며, 비디오 데이터와 함께 신호화된다.

H.264/MPEG-4 AVC는 2개의 기능층, VCL(Video Coding Layer) 및 NAL(Network Abstraction Layer)을 포함한다. VCL은 위에서 간략히 설명한 인코딩 기능성을 제공한다. NAL은 채널을 통한 전송 또는 스토리내에 저장과 같은 추가 어플리케이션에 따라 정보 엘리먼트를 NAL 유닛이라 칭하는 정규 유닛으로 캡슐화한다. 정보 엘리먼트는 예를 들면 예측의 유형, 양자화 파라미터, 움직임 벡터 등과 같은 비디오 신호의 디코딩을 위해 필요한 인코드된 예측 에러 신호 또는 다른 정보이다. 디코딩 성능을 개선하기 위하여 이용될 수 있는 추가 정보를 제공하는 전체 비디오 시퀀스 또는 SEI(Supplemental Enhancement Information)에 관한 파라미터 세트와 같은 추가 데이터를 캡슐화하는 non-VCL 유닛 뿐만 아니라 압축 비디오 데이터 및 관련 정보를 포함하는 VCL NAL 유닛이 존재한다.

이미지 품질을 개선하기 위하여, 소위 포스트 필터(280)가 디코더측(200)에 적용될 수 있다. H.264/MPEG-4 AVC 표준은 SEI 메시지를 통해 그러한 포스트 필터를 위한 포스트 필터 정보를 전송하는 것을 가능하게 한다. 포스트 필터 정보는, 지역적으로 디코드된 신호와 오리지널 입력 신호를 비교하는, 포스트 필터 디자인 유닛(180)을 이용하여 인코더 측에서 결정된다. 일반적으로, 포스트 필터 정보는 디코더가 적절한 필터를 설정하도록 하는 정보이다. 이는 필터 계수 또는 필터 설정을 가능하게 하는 다른 정보를 직접 포함할 수 있다. 포스트 필터 디자인 유닛(180)에 의해 출력되는 필터 정보는 또한 인코드되고 인코드된 신호에 삽입되기 위하여 엔트로피 코딩 유닛(190)에 공급된다. 그러한 적응 필터는 예를 들면 HEVC 표준에서의 제2 포스트 필터로서 이용될 수 있다.

도 2는 H.264/MPEG-4 AVC 비디오 코딩 표준에 부합하는 디코더(200) 예를 도시한다. 인코드된 비디오 신호(디코더로의 입력 신호) 비트스트림은 먼저 엔트로피 디코더(290)를 통과하고, 이는 양자화된 계수, 움직임 데이터, 예측 모드 등과 같은 디코딩을 위해 필요한 정보 엘리먼트, 및 포스트 필터 정보를 디코드한다. 엔트로피 디코더(290)에서, 디코드될 블록에 적용되는 공간 예측의 유형/모드를 나타내는 공간 인트라-예측 모드 정보가 비트스트림으로부터 도출된다. 도출된 정보는 공간 예측 유닛(270)(도 2에 도시 없음)에 제공된다. 양자화된 계수는 역 양자화 및 역 변환(220)에 공급되는 2차원 매트릭스를 취득하기 위하여 역으로 스캔된다. 역 양자화 및 역 변환 이후에, 디코드된(양자화된) 예측 에러 신호가 취득되고, 이는 양자화 노이즈가 도입되지 않은 경우의 인코더에 입력되는 신호로부터 예측 신호를 감산함에 의해 취득되는 차이에 대응한다.

예측 신호는 인코더에서 적용되는 예측을 신호화하는 수신된 정보 엘리먼트에 따라 스위치(275)되는 시간적 또는 공간적 예측(260 및 270) 각각으로부터 얻어진다. 디코드된 정보 엘리먼트는 인트라-예측의 경우에서의 예측 유형(공간 인트라-예측 모드 정보) 및 움직임 보상 예측의 경우에서의 움직임 데이터와 같은 예측에 필요한 정보를 더 포함한다. 움직임 벡터의 현재 값에 의존하여, 움직임 보상 예측을 수행하기 위해 픽셀 값의 보간이 필요할 수 있다. 이 보간은 보간 필터(250)에 의해 수행된다. 다음으로, 공간 도메인에서의 양자화된 예측 에러 신호는 가산기(225)을 이용하여 움직임 보상 예측(260) 또는 인트라-프레임 예측(270)으로부터 얻어진 예측 신호에 가산된다. 재구성 이미지는 디블록킹 필터(230)를 통과할 수 있고, 그 결과의 디코드된 신호가 다음 블록의 시간적 또는 공간적 예측에 적용될 메모리(240)내에 저장된다. 포스트 필터 정보는 포스트 필터(280)에 공급되고, 이에 따라 포스트 필터를 설정한다. 포스트 필터는 다음으로 이미지 품질을 더욱 개선하기 위하여 디코드된 신호에 적용된다.

방향성 인트라 예측 모드는 날카로운 에지 예측에 매우 효율적이나, 매끄러운 또는 초점외 영역을 예측하는 것에는 적합하지 않다. 레퍼런스를 저역 통과 필터로 매끄럽게하는 그러한 영역에 특히 적합하고, 코딩 효율의 측면에서 이득을 제공한다. 그러므로, 인트라 예측을 위한 참조 픽셀에 대한 저역 통과 필터를 적용하는 것은 특히 예측될 이미지의 영역이 흐릿하게 되거나 또는 초점이 맞지 않는 경우에 재구성 픽셀에 추가되는 양자화 노이즈를 제거하고 인트라 예측을 개선하기 위한 공지된 기술이다.

본 발명의 내재된 문제는 저역 통과 필터가 레퍼런스에 적용되는 경우, 날카로운 에지는 효율적으로 예측될 수 없다는 점이다.

본 발명의 목적은 이미지를 인코딩 및 디코딩하기 위한 개선되고 보다 효율적인 인트라 예측을 제공하는 것이다.

이는 독립 청구항의 특징에 의해 달성된다.

본 발명의 추가 실시예는 종속 청구항의 요지이다.

본 발명의 특별한 접근법은 저역 통과 필터가 참조 픽셀에 또는 현재 이미지 영역의 예측 신호에 인가되어야 하는지 여부를 구별하는 것이다. 이 구별은 현재 이미지 영역에 공간적으로 인접한 이미지 신호의 특징을 기초로 한다.

본 발명의 일 측면에 따르면, 복수개의 블록으로 분할된 인코드된 이미지 데이터를 블록 단위로 디코딩하기 위한 방법이 제공되며, 상기 방법은 현재 블록에 공간적으로 인접한 이전에 디코드된 데이터의 통계를 도출하는 단계; 도출된 통계를 기초로 필터링이 인트라 예측 동안 적용되는지 여부를 결정하는 단계; 및 이전에 디코드된 블록의 이미지 데이터로부터 현재 블록을 예측하는 단계를 포함한다.

본 발명의 다른 측면에 따르면, 복수개의 블록으로 분할되는 이미지 데이터를 블록 단위로 인코딩하기 위한 방법이 제공되며, 상기 방법은 현재 블록에 공간적으로 인접한 이전에 디코드된 데이터의 통계를 도출하는 단계; 상기 도출된 통계를 기초로 필터링이 인트라 예측 동안 적용되는지 여부를 결정하는 단계; 및 이전에 디코드된 블록의 이미지 데이터로부터 현재 블록을 예측하는 단계를 포함한다.

본 발명의 다른 측면에 따르면, 복수개의 블록으로 분할되는 인코드된 이미지 데이터를 블록 단위로 디코딩하기 위한 장치가 제공되며, 상기 장치는: 현재 블록에 공간적으로 인접한 이전에 디코드된 데이터의 통계를 도출하는 계산 유닛; 인트라 예측 동안 필터링이 적용되는지 여부를 도출된 통계를 기초로 결정하기 위한 판단 유닛; 및 이전에 디코드된 블록의 이미지 데이터로부터 현재 블록을 예측하기 위한 방향성 예측 유닛을 포함한다.

본 발명의 다른 측면에 따르면, 복수개의 블록으로 분할되는 이미지 데이터를 블록 단위로 인코딩하기 위한 장치가 제공되며, 상기 장치는: 상기 현재 블록에 공간적으로 인접한 이전에 디코드된 데이터의 통계를 도출하기 위한 계산 유닛; 인트라 예측 동안 필터링이 적용되는지 여부를 도출된 통계를 기초로 결정하기 위한 판단 유닛; 및 이전에 인코드되고 디코드된 블록의 이미지 데이터로부터 현재 블록을 예측하기 위한 방향성 예측 유닛을 포함한다.

본 발명의 또 다른 측면에 따르면, 구체화된 컴퓨터-판독 가능 프로그램 코드를 갖는 컴퓨터-판독가능 매체를 포함하는 컴퓨터 프로그램 제품이 제공되며, 상기 프로그램 코드는 상술한 방법을 수행하도록 적응된다.

본 발명의 상술한 및 다른 목적 및 특징은 첨부된 도면과 결부된 아래의 설명 및 양호한 실시예로부터 명백해질 것이다.

도 1은 종래 기술의 H.264/MPEG-4 AVC 비디오 인코더의 예를 도시하는 블록도.
도 2는 종래 기술의 H.264/MPEG-4 AVC 비디오 디코더의 예를 도시하는 블록도.
도 3은 본 발명의 일 실시예에 따른 인트라 예측 유닛을 도시하는 블록도.
도 4는 본 발명의 제1 실시예에 따른 에지 검출을 이용하는 인트라 예측 필터링을 위한 방법을 도시하는 흐름도.
도 5는 본 발명의 제1 실시예에 따른 분산 계산법을 이용하는 인트라 예측 필터링을 위한 방법을 도시하는 흐름도.
도 6은 특수 예측 모드를 채용하는 본 발명의 제2 실시예에 따른 인트라 예측 필터링을 위한 방법을 도시하는 흐름도.
도 7은 본 발명의 제3 실시예에 따른 필터링의 적용을 도시하는 개략도.
도 8은 본 발명의 제4 실시예에 따른 필터링의 적용을 도시하는 개략도.
도 9는 콘텐트 분배 서비스를 이행하기 위한 콘텐트 제공 시스템의 전체 구성의 개략도.
도 10은 디지털 브로드캐스트 시스템의 전체 구조의 개략도.
도 11은 텔레비젼의 구성의 예를 도시하는 블록도.
도 12는 광학 디스크인 기록 매체로부터 또는 기록매체에 판독 및 기록하는 정보 재생/기록 유닛의 구성의 예를 도시하는 블록도.
도 13은 광학 디스크인 기록 매체의 구성의 예를 도시하는 개략도.
도 14a는 휴대폰의 예를 도시하는 개략도.
도 14b는 휴대폰의 구성의 예를 도시하는 블록도.
도 15는 멀티플렉스된 데이터의 구조를 도시하는 개략도.
도 16은 스트림 각각이 멀티플렉스된 데이터로 멀티플렉스되는 방법을 개략적으로 도시하는 개략도.
도 17은 비디오 스트림이 PES 패킷의 스트림내에 저장되는 방법을 보다 상세히 설명하는 개략도.
도 18은 멀티플렉스되는 데이터내의 TS 패킷 및 소스 패킷의 구조를 도시하는 개략도.
도 19는 PMT의 데이터 구조를 도시하는 개략도.
도 20은 멀티플렉스된 데이터 정보의 내부 구조를 도시하는 개략도.
도 21은 스트림 속성 정보의 내부 구조를 도시하는 개략도.
도 22는 비디오 데이터를 식별하기 위한 단계를 도시하는 개략도.
도 23은 각 실시예에 따른 비디오 코딩 방법 및 비디오 디코딩 방법을 이행하기 위한 집적 회로의 구성의 예를 도시하는 블록도.
도 24는 구동 주파수들 사이에서 전환하는 구성을 도시하는 개략도.
도 25는 비디오 데이터를 식별하고 구동 주파수들 사이에서 전환하는 단계를 도시하는 개략도.
도 26은 비디오 데이터의 표준이 구동 주파수와 관련되는 룩업 테이블의 예를 도시하는 개략도.
도 27a는 신호 처리 유닛의 모듈을 공유하는 구조의 예를 도시하는 개략도.
도 27b는 신호 처리 유닛의 모듈을 공유하는 구조의 다른 예를 도시하는 개략도.

본 발명의 근원적 문제점은 저역 통과 필터가 참조 픽셀 또는 예측 신호에 적용되는 경우, 날카로운 에지는 효율적으로 예측될 수 없다는 관찰에 기인한다. 그러므로, 저역 통과 필터가 참조 픽셀 또는 예측 신호에 적용되어야 하는지 여부를 구별할 필요가 있다.

가능한 해결책은 각각의 블록에 대해 전송된 플래그에 의해 매끄러운지(저역 통과 필터) 여부를 신호처리하는 것이다. 그러나, 이러한 접근법은 비트 레이트를 증가시키게 되어, 전체 코딩 효율을 제한하게 된다.

본 발명에 따르면, 복수개의 블록으로 분할되는 이미지 데이터를 블록 단위로 디코딩 및/또는 인코딩하는 방법이 제공되며, 상기 방법은 이전에 디코드된 블록의 이미지 데이터로부터 현재 블록을 예측하는 단계, 에지의 존재 또는 신호의 분산과 같은 현재 블록에 인접한 이전에 디코드된 데이터의 통계를 도출하는 단계, 및 상기 도출된 통계를 기초로 인트라 예측 동안 필터링이 적용되는지 여부를 결정하는 단계를 포함한다.

본 발명의 이점 중 하나는 인트라 예측 동안 필터링의 적용은 이미지 신호의 콘텐트에 대해 적응적이어서, 높은 예측 품질이 얻어질 수 있다는 점이다.

바람직하게는, 필터링은 예측에 이용되는 픽셀에 적용된다. 그러나, 본 발명은 이에 국한되지 않는다. 다른 실시예에 따르면, 필터링은 예측 신호에 적용된다.

유리하게는, 이전에 디코드된 신호의 통계의 도출은 주변 블록의 신호의 분산을 계산함에 의해 수행된다. 다르게는, 이전에 디코드된 신호의 통계의 도출은 Sobel 연산자 또는 2D 신호로 기울기를 계산하기에 적합한 다른 매트릭스를 이용하여 기울기를 계산하는 것과 같은 에지 검출 방법을 적용하고 이들 기울기의 놈(norm)을 임계값과 비교함에 의해 수행된다. 특히, 주변 블록의 신호의 분산이 소정 임계값 아래인 경우, 필터링이 적용될 수 있으며, 주변 블록의 신호의 분산이 소정 임계값 위인 경우는 필터링이 적용되지 않을 수 있다.

다르게는, 에지가 검출되지 않는 경우 필터링이 적용될 수 있으며, 에지가 검출되는 경우 필터링이 적용되지 않을 수 있다.

본 발명의 실시예에 따르면, 필터링은 검출된 에지를 연장함에 의해 계산되는 라인에 의해 교차하지 않는 영역내에 위치한 픽셀에 대해서만 적용된다. 특히, 픽셀의 라인을 갖는 검출된 에지의 교차점으로부터 소정수의 픽셀보다 더 가까운 참조 픽셀의 라인내의 픽셀에는 필터가 적용되지 않는다. 픽셀의 라인은 픽셀의 행 및/또는 열일 수 있다.

검출된 에지를 연장함에 의해 계산된 라인과 관련된 그들 위치에 의존하여 상이한 필터들이 픽셀에 적용될 수 있다.

특히, 픽셀의 라인을 갖는 검출된 에지의 교차점으로부터 소정수의 픽셀 보다 더 가까운 참조 픽셀의 라인내의 픽셀에 제1 필터가 적용된다. 나머지 픽셀에 대해서는 제2 필터가 적용된다. 그러나, 본 발명은 이에 국한되지 않고, 연장된 검출된 에지에 대해 필터링될 참조 픽셀의 위치에 의존하여 더 상이한 필터가 적용될 수 있다. 유리하게는, 에지에 근접한 픽셀은 에지의 방향으로 필터링된다. 유리하게는, 에지에 근접하지 않은 픽셀은 저역 통과 필터를 이용하여 필터링된다.

본 발명의 장점 중 하나는 날카로운 에지 및 매끄러운 영역이 오버헤드 비트 레이트를 증가시키지 않고도 예측되고 효율적으로 인코드될 수 있다는 점이다.

본 발명의 제1 실시예에 따르면, 이웃하는 참조 픽셀을 기초로 방향성 예측을 계산하는 H.264/MPEG-4 AVC 인트라 예측 유닛 대신에 (예를 들면 에지 예측 또는 분산 계산을 수행함에 의해)이웃 신호의 통계를 분석하고 방향성 예측 계산 이후 또는 이전에 필터링을 적용하는 신규한 인트라 예측 유닛을 갖는 이미지 코딩 장치가 제공된다.

도 3은 본 발명의 제1 실시예에 따른 인트라 예측 유닛(300)의 특정 구조를 설명하는 블록도이다. 이 인트라 예측 유닛(300)은 에지가 재구성된 이웃 신호내에 존재하는지를 결정하고, 에지가 존재한다면 그 방향 및/또는 위치를 결정하기 위한 계산 유닛(이 경우 에지 검출 유닛)(310); 상기 에지 검출 유닛(310)의 출력에 의존하여 (예를 들면, 8x8 인트라 예측을 위해 H.264/MPEG-4 AVC에 적용되는 저역 통과 필터와 같은 또는 2010년 7월 21-28일 스위스 제네바의 JCT-VC 회의에서의 출력된 문서인 문서 JCTVC-B205_draft007에서의 HEVC 표준의 제1 버젼에서 정의된 것과 같은 필터를 이용하여) 방향성 예측을 위해 이용되는 참조 픽셀을 필터링하기 위한 제1 필터 유닛(320); 인코더(170) 및/또는 디코더(270)내의 H.264/MPEG-4 AVC 인트라 예측 유닛에 유사하게 또는 EP 2 081 386 A1에 기재된 것과 같은 인트라 에측에 유사하게, 하나의 주어진 방향성 예측에 따라 블록을 예측하기 위한 방향성 예측 유닛(330); 및 에지 검출 유닛(310)의 출력에 의존하여 방향성 예측 유닛(330)의 출력을 필터링하기 위한 제2 필터링 유닛(340)을 포함한다.

코딩 효율을 증가시키기 위해서, EP 2 081 386 A1은 블록의 픽셀을 예측하기 위한 예측 방향의 수가 8에 국한되지 않는 개선된 공간 예측을 제공한다. 이미 디코드된 이웃 블록내에서 에지 검출이 수행된다. 도미넌트로 결정된 에지의 방향을 기초로, 블록의 픽셀은 이웃 블록에 속하는 픽셀의 라인 내의 서브-펠(sub-pel) 위치로부터 아마도 예측된다.

다르게는, 계산 유닛(310)은 이웃 신호의 분산을 계산하기 위한 분산 계산 유닛일 수 있다. 이 경우, 2개의 필터링 유닛은 분산 계산 유닛의 출력에 의존하여 참조 픽셀 또는 방향성 예측 유닛의 출력을 필터링한다. 여기서 재구성된 이웃 신호는 현재 블록을 둘러싸는 블록내의 디코드된 픽셀(샘플)을 지칭한다.

도 4는 인트라 예측 유닛에 의해 수행될 수 있는 예시된 방법을 설명하는 흐름도이다. 이 방법을 수행하기 위하여, 이 인트라 예측 유닛은 에지가 재구성된 이웃 신호내에 존재하는지 여부를 결정할 수 있는 에지 검출 유닛(410, 430); 에지 검출 유닛내에서 에지가 검출되지 않는 경우(단계 410 및 단계 430에서 "아니오")의 방향성 예측을 위해 이용되는 참조 픽셀을 필터링하기 위한 필터링 유닛(440); 및 하나의 주어진 방향성 예측에 따라 블록을 예측하기 위한 것으로, 상술한 것과 같은 H.264/MPEG-4 AVC 방향성 인트라 예측 방법과 유사한 또는 EP 2 081 386 A1에 기재된 인트라 예측과 유사한 방향성 예측 유닛(450)을 갖는다.

도 5는 인트라 예측 유닛의 특정 구조의 다른 예 및 본 발명을 수행하기 위한 방법을 설명하는 블록도이다. 이 인트라 예측 유닛은 재구성된 이웃 신호의 분산이 소정 임계값 아래인지를 결정하기 위한 계산 유닛(분산 계산 유닛)(510, 530); 재구성된 이웃 신호의 분산이 소정 임계값 아래인 경우의 방향성 예측을 위해 이용되는 참조 픽셀을 필터링하기 위한 필터링 유닛(540); 및 하나의 주어진 방향성 예측에 따라 블록을 예측하기 위한 방향성 예측 유닛(550)을 갖는다.

상술한 것처럼, 제1 실시예는 재구성된 이웃 신호로부터 필요한 정보를 도출함에 의해 오버헤드 비트 레이트를 증가시키지 않고 날카로운 에지와 매끄러운 영역 모두를 효율적으로 인코딩하기 위한 방법 및 장치를 포함한다. 이는 인코더 및 디코더 모두에 의해 동일한 방식으로 수행될 수 있다.

도 4 및 도 5를 참조로 설명된 상술한 방법 단계들은 상술한 예와는 상이한 구조를 갖는 임의의 다른 장치에 의해 수행될 수도 있다. 특히, 흐름도의 단계들은 임의 종류의 프로세서 또는 장치에 의해 수행될 수도 있다.

전술한 실시예에서 발생할 수 있는 문제로는 이웃 신호의 특징의 분석이 선택된 방향성 인트라 예측 모드로부터 인코더(100) 및 디코더(200) 측에서의 각각의 블록에 대해 독립적으로 수행되어야 한다는 점이다. 이는 디코더 또는 최적화된 인코더에서의 인트라 예측의 복잡도를 증가시킨다. 모든 블록에 대해 이러한 분석을 수행하는 것을 방지하기 위하여, 본 발명의 제2 실시예는 EP 2 081 386 A1에 개시된 인트라 예측 방법과 같은 H.264/MPEG-4 AVC 방향성 인트라 예측 모드에 추가로 신규한 인트라 예측 모드를 도입한다. 이웃 신호에 대한 분석은 신규한 예측 모드가 선택되는 경우에만 수행된다. 도 3을 참조로 설명된 것과 같은 인트라 예측 유닛은 신규한 인트라 예측 모드가 선택되는 경우에만 이용된다. 모든 다른 모드에 대해, 인코더 및 디코더내에 H.264/MPEG-4 AVC 인트라 예측 유닛(170 및/또는 270)이 각각 이용된다.

이러한 신규한 인트라 예측 모드는 이웃 신호에서의 에지 검출에 의존한다. 에지가 검출되지 않는 경우 필터링이 적용되고, 에지가 검출되는 경우 필터링이 적용되지 않는다.

도 6은 이러한 신규한 인트라 예측 모드에 따른 예측을 계산하기 위한 프로세스를 설명하는 흐름도를 도시한다. 제1 단계는 이미 재구성된 이웃 신호에서의 에지 검출(610)을 수행하는 것이다. 에지 검출을 위한 일 가능성은 이웃 신호에서의 3×3 픽셀의 블록에 대해 Sobel 연산자를 적용하는 것이다.

,

.

2D 신호로 기울기를 계산하기에 적합한 다른 매트릭스가 이용될 수 있다. 각 블록 3×3 픽셀에 대해, 에지 벡터는 기울기 벡터에 수직인 것으로 정의될 수 있다. 메인 에지 방향을 결정하기 위하여, 최대 놈을 갖는 에지 벡터 또는 최고 큰 놈을 갖는 에지 벡터의 조합이 고려될 수 있다.

일반적으로, 이미지내의 에지는 이미지의 기울기 벡터 필드를 결정함에 의해 검출될 수 있다. 기울기 벡터는 에지 상에서 크고, 그에 대해 수직이다. 기울기 필드를 검출하기 위한 가장 대중적 접근법 중 하나는 이미지와 상기 마스크 Sx 및 Sy에 의해 주어진 Sobel 연산자와 같은 수직 및 수평 매트릭스의 컨볼루션이다.

특히, 특정 픽셀 p(x,y)에서의 수직 기울기 벡터 좌표(Gx) 및 수평 기울기 벡터 좌표(Gy)는 수직 Sx 및 수평 Sy Soble 마스크로 각각 픽셀 p(x, y)을 필터링함에 의해 얻어진다.

많은 어플리케이션은 기울기 필드를 구하기 위하여 Sobel 연산자를 채용한다. 그러나, 본 발명은 Sobel 연산자를 이용하여 기울기 필드를 검출하는 것에 국한되지 않는다. 일반적으로, 기울기 필드를 제공하는 어떠한 에지 검출 메카니즘도 채용할 수 있다. 예를 들면, Sobel 연산자 외의 2 x 2 또는 4 x 4와 같은 다른 크기를 갖는 마스크 또는 더 큰 마스크 가 이용될 수 있다. 특정 마스크의 선택은 원하는 결과에 의존한다. 큰 마스크를 채용하는 것은 에지 검출의 정확성을 강화하고 작은 로컬 에지의 검출을 억제하나, 반면에, 계산적 복잡성을 증가시킨다. 다르게는, Sobel 이외의 Scharr 연산자 또는 고계 도함수를 기초로 한 연산자가 에지 검출에 이용될 수 있다.

예측될 블록을 둘러싸는 복수개의 픽셀 블록에 대한 기울기 G의 수직 Gx 및 수평 Gy 좌표를 구한 다음에, 도미넌트 기울기가 결정될 수 있다. 그 수평 및 수직 좌표 Ex 및 Ey를 갖는 도미넌트 에지 벡터 E는 기울기 벡터 G에 수직이다. 따라서, 도미넌트 에지 벡터 E의 수평 Ex 및 수직 Ey 성분의 크기는 각각 수평 Gy 및 수직 Gx 기울기에 대응한다(예를 들면, 반시계 방향 회전에 대해 Ex=-Gy, Ey=Gx).

일반적으로, 현재 블록에 대한 도미넌트 에지는 현재 블록을 교차하는 에지 중 최대 놈(norm)을 갖는 에지로 결정된다. 그러나, 예를 들면 에지의 웨이팅 평균을 취하거나 픽셀의 주요부에 대한 에지 방향 검출과 같은 다른 방법이 또한 이용될 수 있다. 기울기의 계산은 전체 인접 블록에 대해 수행될 필요가 있는 것은 아니다. 일반적으로, 예측될 블록에 대한 경계에 인접한 픽셀의 서브-세를 선택하고 이들 픽셀에 대해서만 기울기를 계산하는 것이 유리하다. 이러한 접근법은 인접 블록과 에지 검출 마스크의 콘볼루션을 위해 필요한 연산의 수를 감소시킨다. 더욱이, 예측을 위해, 예측될 블록 내부의 에지와 유사할 것 같은 에지만이 중요하므로, 경계에 인접한 에지 검출 또한 불필요한 에지의 검출에 대한 위험을 감소시킨다.

최종 에지 벡터의 놈 또는 각 계산된 에지 벡터의 놈이 소정 임계값과 비교될 수 있다. 하나의 놈이 임계값보다 큰 경우, 에지는 검출된다. 이 경우, 에지 벡터는 에지의 방향 및 3x3 픽셀 블록의 위치를 제시하는데, 여기서 계산된 가장 강한 에지 벡터가 에지의 위치를 제시한다. 임계치보다 큰 놈이 없다면, 에지는 검출되지 않는다.

다음으로, 검출의 결과가 평가된다(630). 에지가 검출되면(단계 603에서 예), EP 2 081 386 A1에 기재된 에지의 방향에 의존하여 서브-펠 참조 픽셀의 보간(620)에 의해 예측이 수행된다. 특히, 예측 신호는 참조 픽셀의 라인과 검출된 에지의 방향를 가지고 예측될 픽셀을 통과하는 라인 사이의 교차점의 선형 외삽법에 의해 계산된다. 에지가 검출되지 않는 경우(단계 630에서 "아니오"), 다음 단계는 예측을 위해 이용되는 신호를 매끄럽게 하기 위하여 참조 픽셀에 대하여 저역 통과 필터를 적용하는 단계(640)를 포함한다. 여기서, 참조 픽셀은 최상 이웃 블록의 픽셀의 행일 수 있으며, 행은 현재 블록과의 경계에 가장 가깝다. 다르게는, 참조 픽셀은 좌측의 이웃하는 블록의 픽셀의 열일 수 있고, 열은 현재 블록과의 경계에 가장 가깝다. 또한, 참조 픽셀은 상부 행 및 좌측 열로부터의 픽셀의 세트일 수 있다. 이후 단계는 하나의 주어진 소정의 방향, 예를 들면, 최대 놈을 갖는 에지 벡터의 방향에 가장 가까운 방향, 중 하나를 선택하는 단계(650)를 포함한다. 특히, 에지 검출 단계(610) 동안 결정될 수 있는 이웃 픽셀의 일반적 방향에 대응하는 방향일 수 있다. 예측은 선택된 소정 방향에 대해 정의된 예측 방법을 이용하여 수행된다(660).

다르게는, 가장 강한 놈을 갖는 에지 벡터는 소정 방향 중 하나를 대신해서 선택될 수 있다. 이 경우, 예측 단계는 EP　2　081　386　A1에 기재된 방법을 이용할 수 있다.

본 발명의 제3 실시예에 따르면, 일부 참조 픽셀을 위해 저역 통과 필터가 적용되고, 다른 참조 픽셀에 대해서는 필터가 적용되지 않으며, 결과적으로 각 블록에 대해 픽셀 단위로 필터를 스무딩 필터(smoothing filter)의 이용을 스위칭하게 된다.

이 실시예는 도 7에 개략적으로 도시된다. 에지 검출이 이용되는 경우, 참조 픽셀의 라인을 통해 및 에지(750)에 의해 도시된 것과 같은 예측될 블록을 통해 에지를 연장하는 것이 가능하다. 이 경우, 필터링은 유리하게는 에지 둘레에 위치한 예를 들면 n이 1 또는 2인, n 픽셀에 대해 스위치 오프된다. 반면에, 필터링은 다른 픽셀에 대해 적용될 수 있다. 도 7은 현재 블록(700)의 인트라 예측을 위해 이용되는 참조 픽셀(730)의 행을 도시한다. 이 실시예에 따르면, 참조 픽셀(730)의 행 내의 및 에지(750)에 가까운 참조 픽셀은 필터링되지 않는다. 필터링되지 않을 픽셀의 수(n)가 적용된 저대역 통과 필터에 대한 것으로 정의될 수 있어서, 필터링을 위하여 이용되는 픽셀은 에지를 교차하지 않는다.

본 발명의 제4 실시예에 따르면, 에지 주위의 n 픽셀에 대해 및 플랫 영역에 속하는 다른 픽셀에 대해 상이한 종류의 필터링이 적용된다. 이 실시예는 도 8에 도시된다. 이 경우, FILTER1은 종래 기술에서의 참조 픽셀을 필터링하는데 사용되는 저역 통과 필터와 유사하다(H.264/MPEG-4 AVC standard or HEVC working draft JCTVC-B205_draft007). FILTER2는 유리하게는 에지만의 방향에서는 스무드 필터이다. FILTER2는 바람직하게는 에지에 수직인 방향에서는 스무드하지 않다. FILTER2의 효과는 에지를 날카롭게하는 것이다.

본 발명의 제5 실시예에 따르면, 디코더는 제1 실시예에서 설명된 것과 동일한 기술을 적용한다. 도 3에서 유일한 차이점은 선택된 방향성 예측 모드가 방향성 예측 유닛에 대한 입력으로서 전송된다는 점이다.

일반적으로, 디코더는 제1 내지 제4 실시예에서 설명된 것과 동일한 인트라 예측 기술을 적용할 수 있다.

이하, 각 실시예에서 설명된 비디오 코딩 방법 및 비디오 디코딩 방법 및 이를 이용한 시스템에 대한 적용이 설명된다.

도 9는 콘텐츠 분배 서비스를 이행하기 위한 콘텐츠 제공 시스템(ex100)의 전체 구성을 도시한다. 통신 서비스를 제공하기 위한 영역은 소망된 크기의 셀로 분할되고, 고정 무선국인 기지국(ex106, ex107, ex108, ex109, and ex110)이 각 셀내에 놓인다.

콘텐츠 제공 시스템(ex100)이 기지국(ex106 내지 ex110) 외에도 인터넷(ex101), 인터넷 서비스 제공자(ex102), 전화망(ex104) 각각을 통해 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대폰(ex114) 및 게임 장치(ex115)와 같은 장치에 연결된다.

그러나, 콘텐츠 제공 시스템(ex100)의 구성은 도 9에 도시된 것에 국한되지 않고, 임의의 요소들의 결합도 가능하다. 또한, 각 장치는 고정 무선국인 기지국(ex106 내지 ex110)을 통해서 보다는 전화망(ex104)에 직접 연결될 수 있다. 더욱이, 장치들은 단거리 무선 통신 등을 통해 서로 상호결선될 수 있다..

디지털 비디오 카메라와 같은 카메라(ex113)는 비디오 캡쳐가 가능하다. 디지털 비디오 카메라와 같은 카메라(ex116)는 정지 화상 및 비디오 모두를 캡쳐 가능하다. 더욱이, 휴대폰(ex114)은 GSM(Global System for Mobile Communications), CDMA(Code Division Multiple Access), W-CDMA(Wideband-Code Division Multiple Access), LTE(Long Term Evolution) 및 HSPA(High Speed Packet Access)와 같은 표준 중 하나에 부합되는 것일 수 있다. 다르게는, 휴대폰(ex114)은 PHS(Personal Handyphone System)일 수 있다.

콘텐츠 제공 시스템(ex100)에서, 스트리밍 서버(ex103)가 전화망(ex104) 및 기지국(ex104)을 통해 카메라(ex113) 등에 연결되어, 라이브 쇼 등의 배포를 가능하게 한다. 그러한 배포에서, 카메라(ex113)를 이용하여 사용자에 의해 캡쳐된 콘텐츠(예를 들면, 뮤직 라이브 쇼의 비디오)가 각 실시예에서 상술한 것처럼 코딩되고, 코딩된 콘텐츠가 스트리밍 서버(ex103)로 전송된다. 반면에, 스트리밍 서버(ex103)는 전송된 콘텐츠 데이터의 그들의 요청에 따른 클라이언트로의 스트림 배포를 수행한다. 클라이언트는 상술한 코딩된 데이터를 디코딩할 수 있는 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대폰(ex114), 및 게임 장치(ex115)를 포함한다. 배포된 데이터를 수신한 각 장치들은 코딩된 데이터를 디코드하고 이를 재생한다.

캡쳐된 데이터는 카메라(ex113) 또는 데이터를 전송하는 스트리밍 서버(ex103)에 의해 코딩될 수 있으며, 또는 코딩 공정은 카메라(ex113)와 스트리밍 서버(ex103) 사이에서 공유될 수 있다. 유사하게, 배포된 데이터는 클라이언트 또는 스트리밍 서버(ex103)에 의해 디코딩될 수 있거나 또는, 디코딩 공정은 클라이언트와 스트리밍 서버(ex103) 사이에서 공유될 수 있다. 더욱이, 카메라(ex113) 만이 아니라 카메라(ex116)에 의해 포착되는 정지 화상 및 비디오의 데이터가 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)로 전송될 수 있다. 코딩 공정은 카메라(ex116), 컴퓨터(ex111) 또는 스트리밍 서버(ex103)에 의해 수행될 수 있거나 또는 이들 사이에서 공유될 수 있다.

더욱이, 코딩 및 디코딩 공정은 일반적으로 컴퓨터(ex111) 및 장치들 각각에 포함된 LSI(ex500)에 의해 수행될 수 있다. LSI(ex500)는 단일 칩 또는 복수개의 칩으로 구성될 수 있다. 비디오를 코딩 및 디코딩하기 위한 소프트웨어는 컴퓨터(ex111) 등에 의해 일부 유형의 판독 가능한 기록 매체(CD-ROM, 플렉시블 디스크 및 하드 디스크와 같은)에 집적될 수 있으며, 코딩 및 디코딩 공정은 이 소프트웨어를 이용하여 수행될 수 있다. 더욱이, 휴대폰(ex114)이 카메라를 구비하는 경우, 카메라에 의해 얻어진 이미지 데이터가 전송될 수 있다. 비디오 데이터는 휴대폰(ex114)내에 포함된 LSI(ex500)에 의해 코딩되는 데이터이다.

더욱이, 스트리밍 서버(ex103)는 서버 및 컴퓨터로 구성될 수 있고, 데이터를 분산할 수 있고, 분산화된 데이터를 처리하여 기록하거나 또는 데이터를 배포할 수 있다.

상술한 것처럼, 클라이언트는 콘텐츠 제공 시스템(ex100)내의 코딩된 데이터를 수신 및 재생할 수 있다. 다시 말하면, 클라이언트는 사용자에 의해 전송된 정보를 수신 및 디코드할 수 있고, 콘텐츠 제공 시스템(ex100)내에서 실시간으로 디코딩된 데이터를 재생할 수 있어서, 임의의 특정 자격 및 장비를 갖지 않은 사용자도 개인 방송을 이행할 수 있다.

콘텐츠 제공 시스템(ex100)의 예 외에도, 각 실시예에서 설명된 적어도 하나의 비디오 코딩 장치 및 비디오 디코딩 장치가 도 10에 도시된 디지털 방송 시스템(ex200)에서 이행될 수 있다. 보다 구체적으로, 방송국(ex201)은 오디오 데이터 등을 비디오 데이터에 멀티플렉싱함에 의해 얻어진 멀티플렉스된 데이터를 무선파를 통해 방송 위성(ex202)과 통신 또는 전송한다. 비디오 데이터는 각 실시예에서 설명된 비디오 코딩 방법에 의해 코딩된 데이터이다. 멀티플렉스된 데이터를 수신하면, 방송 위성(ex202)은 방송을 위해 무선파를 전송한다. 다음으로, 위성 방송 수신 기능을 갖는 가정용 안테나(ex204)가 무선파를 수신한다.

다음으로, 텔레비전(수신기)(ex300) 및 셋탑 박스(STB)(ex217)은 수신된 멀티플렉스된 데이터를 디코드하고, 디코드된 데이터를 재생한다.

더욱이, 판독/기록 장치(ex218)는 (i) DVD 및 BD와 같은 기록 매체(ex215) 상에 기록된 멀티플렉스 데이터를 판독 및 디코드하거나 또는 (i) 기록 매체(ex215)내의 비디오 신호를 코딩하며, 일부 경우에, 코딩된 데이터 상의 오디오 신호를 멀티플렉싱함에 의해 얻어지는 데이터를 기록한다. 판독/기록 장치(ex218)는 각 실시예에서 도시된 비디오 디코딩 장치 또는 비디오 코딩 장치를 포함할 수 있다. 이 경우, 재생된 비디오 신호는 모티터(ex219) 상에서 디스플레이되고, 멀티플렉스된 데이터가 기록되는 기록 매체(ex215)를 이용하여 다른 장치 또는 시스템에 의해 재생될 수 있다. 비디오 신호를 텔레비전(ex300)의 모니터(ex219) 상에 디스플레이하기 위하여 케이블 텔레비전을 위한 케이블(ex203)에 또는 위성 및/또는 지상파 방송을 위한 안테나(ex204)에 연결된 셋탑박스(ex217) 내에 비디오 디코딩 장치를 구현하는 것이 또한 가능하다. 비디오 디코딩 장치는 셋탑 박스가 아니라 텔레비전(ex300)에 구현할 수 있다.

도 11은 각 실시예에서 설명된 비디오 코딩 방법 및 비디오 디코딩 방법을 사용하는 텔레비전(수신기)(ex300)를 도시한다. 텔레비전(ex300)은 오디오 데이터를 비디오 데이터에 멀티플렉싱함에 의해 얻어지는 멀티플렉스된 데이터를 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통해 얻거나 또는 제공하는 튜너(ex301); 수신된 멀티플렉스된 데이터를 변조하거나 데이터를 외부로 공급될 멀티플렉스된 데이터로 변조하는 변조/복조 유닛(ex302); 및 변조된 멀티플렉스된 데이터를 비디오 데이터 및 오디오 데이터로 디멀티플렉스하거나 또는 신호 처리 유닛(ex306)에 의해 코딩된 비디오 데이터 및 오디오 데이터를 데이터로 멀티플렉스하는 멀티플렉싱/디멀티플렉싱 유닛(ex303)을 포함한다.

텔레비전(ex300)은 각각이 오디오 데이터 및 비디오 데이터를 디코드하고 오디오 데이터 및 비디오 데이터를 코딩하는 오디오 신호 처리 유닛(ex304) 및 비디오 신호 처리 유닛(ex305)을 포함하는 신호 처리 유닛(ex306); 및 디코드된 오디오 신호를 제공하는 스피커(ex307) 및 디스플레이와 같은 디코드된 비디오 신호를 디스플레이하는 디스플레이 유닛(ex308)을 포함하는 출력 유닛(ex309)을 더 포함한다. 더욱이, 텔레비전(ex300)은 사용자 조작의 입력을 수신하는 조작 입력 유닛(ex312)을 포함하는 인터페이스 유닛(ex317)을 포함한다. 더욱이, 텔레비전(ex300)은 텔레비전(ex300)의 각각의 구성 요소 전체를 제어하는 제어 유닛(ex310) 및 각 소자에 전원을 공급하는 전원 회로 유닛(ex311)을 포함한다. 조작 입력 유닛(ex312) 외에도, 인터페이스 유닛(ex317)은 판독/기록 장치(ex218)와 같은 외부 장치에 연결된 브리지(ex313); SD 카드와 같은 기록 매체(ex216)의 부착을 가능하게 하기 위한 슬롯 유닛(ex314); 하드 디스크와 같은 외부기록 매체에 연결되는 구동기(ex315); 및 전화망에 연결되는 모뎀(ex316)을 포함할 수 있다. 여기서, 기록 매체(ex216)는 저장을 위한 휘발성/비휘발성 반도체 메모리 소자를 이용하여 정보를 전기적으로 기록할 수 있다. 텔레비전(ex300)의 구성 요소는 동기화 버스를 통해 서로 연결된다.

먼저, 텔레비전(ex300)이 안테나(ex204) 및 다른 것을 통해 외부로부터 얻어진 멀티플렉스된 데이터를 디코드하며 디코드된 데이터를 재생하는 구성이 설명될 것이다. 텔레비전(ex300)에서, 원격 제어기(ex220) 및 다른 것을 통한 사용자 동작 시, 멀티플렉싱/디멀티플렉싱 유닛(ex303)은 CPU를 포함하는 제어 유닛(e310)의 제어하에, 변조/복조 유닛(ex302)에 의해 복조되는 멀티플렉스된 데이터를 디멀티플렉스한다. 더욱이, 오디오 신호 처리 유닛(ex304)은 디멀티플렉스된 오디오 데이터를 디코드하고, 비디오 신호 처리 유닛(ex305)은 텔레비젼(ex300)에서 각 실시예에 설명된 디코딩 방법을 이용하여 디멀티플렉스된 비디오 데이터를 디코드한다. 출력 유닛(ex309)은 각각 디코드된 비디오 신호 및 오디오 신호를 외부에 제공한다. 출력 유닛(ex309)이 비디오 신호 및 오디오 신호를 제공하는 경우, 신호는 버퍼(ex318 및 ex319) 및 다른 것들에 일시적으로 저장될 수 있어서, 신호는 서로 동기화되어 재생된다. 더욱이, 텔레비전(ex300)은 방송 및 다른 것을 통하지 않고 자기 디스크, 광 디스크 및 SD 카드와 같은 기록 매체(ex215 및 ex216)로부터 멀티플렉스된 데이터를 판독할 수 있다. 다음으로, 텔레비전(ex300)이 오디오 신호 및 비디오 신호를 코딩하고, 데이터를 외부로 전송하거나 또는 기록 매체 상에 데이터를 기록하는 구성이 설명된다. 텔레비전(ex300)에서, 원격 제어기(ex220) 및 다른 것을 통한 사용자 조작시, 각 실시예에서 설명된 코딩 방법을 이용하여 오디오 신호 처리 유닛(ex304)은 오디오 신호를 코딩하고, 비디오 신호 처리 유닛(ex305)은 비디오 신호를 코딩한다. 멀티플렉싱/디멀티플렉싱 유닛(ex303)이 비디오 신호 및 오디오 신호를 멀티플렉스하는 경우, 신호는 버퍼(ex320 및 ex321) 및 다른 것에 일시적으로 저장될 수 있어서, 신호는 서로와 동기화되어 재생된다. 여기서, 버퍼(ex318, ex319, ex320 및 ex321)는 도시된 것처럼 복수개일 수 있고, 적어도 하나의 버퍼가 텔레비전(ex300)에서 공유될 수 있다. 더욱이, 데이터는 예를 들면 변조/복조 유닛(ex302)과 멀티플렉싱/디멀티플렉싱 유닛(ex303) 사이에서 시스템 오버플로우 및 언더플로우가 방지될 수 있도록 버퍼내에 저장될 수 있다.

더욱이, 텔레비전(ex300)은 방송 또는 기록 매체로부터 오디오 및 비디오 데이터를 얻기 위한 구성 보다 마이크로폰 또는 카메라로부터 AV 입력을 수신하기 위한 구성을 포함할 수 있으며, 얻어진 데이터를 코딩할 수 있다. 텔레비전(ex300)이 상세한 설명에서 데이터를 코딩, 멀티플렉스 및 외부로 제공할 수 있지만, 데이터를 코딩, 멀티플렉싱 및 외부로 제공하지 않고, 데이터를 수신, 디코딩 및 외부로 제공만 할 수도 있다.

더욱이, 판독/기록 장치(ex218)가 기록 매체로부터 또는 그 상에 멀티플렉스된 데이터를 판독 또는 기록하는 경우, 텔레비전(ex300) 및 판독/기록 장치(ex218) 중 하나는 멀티플렉스된 데이터를 디코드 또는 코드할 수 있고, 텔레비전(ex300) 및 판독/기록 장치(ex218)는 디코딩 또는 코딩을 공유할 수 있다.

예를 들면, 도 12는 데이터가 광학 디스크로부터 판독 또는 상에 기록되는 경우, 정보 재생/기록 유닛(ex400)의 구성을 도시한다. 정보 재생/기록 유닛(ex400)은 이하 설명될 구성 요소(ex401, ex402, ex403, ex404, ex405, ex406 및 ex407)을 포함한다. 광학 헤드(ex401)는 광학 디스크인 기록 매체(ex215)의 기록 표면에 레이저 스팟을 조사하여 정보를 기록하고, 기록 매체(ex215)의 기록 표면으로부터 반사된 빛을 검출하여 정보를 판독한다. 변조 기록 유닛(ex402)은 광학 헤드(ex401)내에 포함된 반도체 레이저를 전기적으로 구동하고, 기록된 데이터에 따라 레이저 광을 변조한다. 재생 복조 유닛(ex403)은 광학 헤드(ex401)내에 포함된 포토 검출기를 이용하여 기록 표면으로부터 반사된 광을 전기적으로 검출함에 의해 얻어진 재생 신호를 증폭하고, 기록 매체(ex215) 상에 기록된 신호 성분을 분리함에 의해 재생 신호를 복조하여 필요한 정보를 재생한다. 버퍼(ex404)는 기록 매체(ex215) 상에 기록될 정보 및 기록 매체(ex215)로부터 재생될 정보를 일시적으로 보유한다. 디스크 모터(ex405)는 기록 매체(ex215)를 회전시킨다. 서보 제어 유닛(ex406)은 레이저 스팟을 따르도록 하기 위하여 디스크 모터(ex405)의 회전 구동을 제어하면서 광학 헤드(ex401)를 소정 정보 트랙으로 이동시킨다. 시스템 제어 유닛(ex407)은 정보 재생/기록 유닛(ex400) 전체를 제어한다. 판독 및 기록 프로세스는 버퍼내에 저장된 다양한 정보를 이용하고 필요한 신규 정볼르 생성 및 추가하는 시스템 제어 유닛(ex407)에 의해 및 좌표 방식으로 동작 되는 동안 광학 헤드(ex401)를 통해 정보를 기록 및 재생하는 변조 기록 유닛(ex402), 재생 복조 유닛(ex403) 및 서보 제어 유닛(ex406)에 의해 이행될 수 있다. 시스템 제어 유닛(ex407)은 예를 들면 마이크로프로세서를 포함하고, 컴퓨터가 판독 및 기록을 위한 프로그램을 이행하도록 함에 의해 프로세싱을 이행한다.

광학 헤드(ex401)가 설명에서 레이저 스팟을 조사하지만, 근접장 광을 이용하여 높은 밀도 기록을 수행할 수 있다.

도 13은 광학 디스크인 기록 매체(ex215)를 도시한다. 기록 매체(ex215)의 기록 표면 상에, 가이드 홈이 나선형으로 형성되며, 정보 트랙(ex230)은 가이드 홈의 형상의 변화에 따라 디스크 상의 절대 위치를 나타내는 어드레스 정보를 먼저 기록한다. 어드레스 정보는 기록 데이터의 단위인 기록 블록(ex231)의 위치를 결정하기 위한 정보를 포함한다. 데이터를 기록 및 재생하는 장치내의 정보 트랙(ex230)을 재생하고, 어드레스 정보를 판독하는 것은 기록 블록의 위치를 결정하도록 유도할 수 있다. 더욱이, 기록 매체(ex215)는 데이터 기록 영역(ex233), 내부 원주 영역(ex232), 및 외부 원주 영역(ex234)을 포함한다. 데이터 기록 영역(ex233)은 사용자 데이터를 기록하는데 이용되는 영역이다. 데이터 기록 영역(ex233)의 내부 및 외부인 내부 원주 영역(ex232) 및 외부 원주 영역(ex234)은 각각 사용자 데이터를 기록하는 것을 제외한 특정 사용을 위한 것이다. 정보 재생/기록 유닛(400)은 기록 매체(ex215)의 데이터 기록 영역으로부터 및 상에 코딩된 오디오, 코딩된 비디오 데이터, 또는 코딩된 오디오 및 비디오 데이터를 멀티플렉싱함에 의해 얻어지는 멀티플렉스된 데이터를 판독 및 기록한다.

광학 디스크가 상세한 설명에서 예로서 설명된 DVD 및 BD와 같은 하나의 층을 가지지만, 광학 디스크는 이에 국한되지 않고, 멀티층 구조를 갖고 표면 이외의 다른 부분 상에 기록이 가능한 광학 디스크일 수 있다. 더욱이, 광학 디스크는 광학 디스크의 동일한 부분에서 상이한 파장을 갖는 색상의 광을 이용하여 정보를 기록하는 것과 같은 다중 체적 기록/재생을 위한 및 다양한 각도로부터의 상이한 층을 갖는 정보를 기록하기 위한 구조를 가질 수 있다.

더욱이, 안테나(ex205)를 갖는 차량(ex210)이 위성(ex202) 및 다른 것으로부터 데이터를 수신할 수 있으며, 차량(ex210)내의 차량 네비게이션 시스템(ex211)과 같은 디스플레이 장치상에 비디오를 재생할 수 있다. 여기서, 차량 네비게이션 시스템(ex211)의 구성은 예를 들면 도 10에 도시된 구조에서의 GPS 수신 유닛을 포함하여 구성될 수 있다. 컴퓨터(ex211), 휴대폰(ex114) 등의 구성에 대해서도 동일하게 적용될 수 있다.

도 14a는 실시예에서 설명된 비디오 코딩 방범 및 비디오 디코딩 방법을 이용하는 휴대폰(ex114)을 도시한다. 휴대폰(ex114)은 기지국(ex110)을 통해 무선파를 전송 및 수신하기 위한 안테나(ex350); 동화상 및 정지화상을 캡쳐할 수 있는 카메라 유닛(ex365); 및 카메라 유닛(ex365)에 의해 캡쳐된 또는 안테나(ex350)에 의해 수신된 것과 같은 데이터를 디스플레이하기 위한 액정 디스플레이와 같은 디스플레이 유닛(ex358)을 포함한다. 휴대폰(ex114)은 조작 키 유닛(ex366)을 포함하는 주 본체 유닛; 오디오의 출력을 위한 스피커와 같은 오디오 출력 유닛(ex357); 오디오의 입력을 위한 마이크로폰과 같은 오디오 입력 유닛(ex356); 캡쳐된 비디오 또는 정지 화상, 기록된 오디오, 수신된 비디오, 정치 화상, 이메일 등의 코딩된 또는 디코딩된 데이터를 저장하기 위한 메모리 유닛(ex367); 및 메모리 유닛(ex367)과 동일한 방식으로 데이터를 저장하는 기록 매체를 위한 인터페이스 유닛인 슬롯 유닛(ex364)을 더 포함한다.

다음으로, 휴대폰(ex114)의 구성의 예가 도 14b를 참조하여 설명된다. 휴대폰(ex114)에서, 조작 키 유닛(ex366) 외에도 디스플레이 유닛(ex358)을 포함하는 본체의 각 유닛 전체를 제어하도록 설계된 메인 제어 유닛(ex360)은 동기화 버스(ex370)를 통해 전원 공급 회로 유닛(ex361), 동작 입력 제어 유닛(ex362), 비디오 신호 처리 유닛(ex355), 카메라 인터페이스 유닛(ex363), 액정 디스플레이(LCD) 제어 유닛(ex359), 변조/복조 유닛(ex352), 멀티플렉싱/디멀티플렉싱 유닛(ex353), 오디오 신호 처리 유닛(ex354), 슬롯 유닛(ex364), 및 메모리 유닛(ex367)에 상호 연결된다.

통화 종료 키 또는 전원 키가 사용자 조작에 의해 턴 온되는 경우, 전원 회로 유닛(ex361)은 휴대폰(ex114)을 활성화하기 위하여 배트리 팩으로부터 각 유닛에 전원을 공급한다.

휴대폰(ex114)에서, 오디오 신호 처리 유닛(ex354)은 음성 변환 모드에서 오디오 입력 유닛(ex356)에 의해 수집된 오디오 신호를 CPU, ROM 및 RAM을 포함하는 주 제어 유닛(ex360)의 제어 하에 디지털 오디오 신호로 변환한다. 다음으로, 변조/복조 유닛(ex352)은 디지털 오디오 신호에 대해 스프레드 스펙트럼 처리를 수행하고, 전송 및 수신 유닛(ex351)은 데이터에 대해 디지털-아날로그 변환 및 주파수 변환을 수행하여, 최종 데이터를 안테나(ex350)를 통해 전송하도록 한다.

또한, 휴대폰(ex114)에서, 전송 및 수신 유닛(ex351)은 음성 변환 모드에서 안테나(ex350)에 의해 수신된 데이터를 증폭하고, 데이터에 대해 주파수 변환 및 아날로그-디지털 변환을 수행한다. 다음으로, 변조/복조 유닛(ex352)은 데이터에 대해 역 스프레드 스펙트럼 처리를 수행하며, 오디오 신호 처리 유닛(ex354)은 이를 아날로그 오디오 신호로 변환하여, 이를 오디오 출력 유닛(ex356)을 통해 출력한다.

더욱이, 데이터 통신 모드에서 이메일이 전송되는 경우, 본체의 조작 키 유닛(ex366) 등을 조작함에 의해 입력되는 이메일의 텍스트 데이터는 조작 입력 제어 유닛(ex362)을 통해 주 제어 유닛(ex360)에 전송된다. 주 제어 유닛(ex360)은 변조/복조 유닛(ex352)이 텍스트 데이터에 대해 스프레드 스펙트럼 처리를 수행하도록 하고, 전송 및 수신 유닛(ex351)은 최종 데이터에 대해 디지털-아날로그 변환 및 주파수 변환을 수행하여 안테나(ex350)를 통해 기지국(ex110)에 데이터를 전송한다. 이메일이 수신되는 경우, 이메일을 전송하기 위한 처리에 거의 반대인 처리가 수신된 데이터에 대해 수행되며, 최종 데이터는 디스플레이 유닛(ex358)에 제공된다.

비디오, 정지 회상 또는 데이터 통신 모드에서의 비디오 및 오디오가 전송되는 경우, 비디오 신호 처리 유닛(ex355)은 실시예 각각에 도시된 비디오 코딩 방법을 이용하여 카메라 유닛(ex365)으로부터 공급되는 비디오 신호를 압축 및 코딩하고, 코딩된 비디오 데이터를 멀티플렉싱/디멀티플렉싱 유닛(ex353)에 전송한다. 대조적으로, 카메라 유닛(ex365)이 비디오, 정지 화상 등을 캡쳐하는 동안, 오디오 처리 유닛(ex354)은 오디오 입력 유닛(ex356)에 의해 수집된 오디오 신호를 코딩하고, 코딩된 오디오 데이터를 멀티플렉싱/디멀티플렉싱 유닛(ex353)에 전송한다.

멀티플렉싱/디멀티플렉싱 유닛(ex353)은 비디오 신호 처리 유닛(ex355)으로부터 공급된 코딩된 비디오 데이터를 및 오디오 신호 처리 유닛(ex354)으로부터 공급된 코딩된 오디오 데이터를 소정 방법을 이용하여 멀티플렉스한다.

다음으로, 변조/복조 유닛(ex352)은 멀티플렉스된 데이터에 대해 스프레드 스펙트럼 처리를 수행하고, 전송 및 수신 유닛(ex351)은 안테나(ex350)를 통해 치종 데이터를 전송하도록 데이터에 대해 디지털-아날로그 변환 및 주파수 변환을 수행한다.

데이터 통신 모드에서 웹 페이지 등에 링크된 비디오 파일의 데이터를 수신하는 경우 또는 비디오 및/또는 오디오가 첨부된 이메일을 수신하는 경우, 안테나(ex350)를 통해 수신된 멀티플렉스된 데이터를 디코딩하기 위하여, 멀티플렉싱/디멀티플렉싱 유닛(ex353)은 멀티플렉스된 데이터를 비디오 데이터 비트 스트림 및 오디오 데이터 비트 스트림으로 디멀티플렉스하고, 동기화 버스(ex370)를 통해 비디오 신호 처리 유닛(ex355)에 코딩된 비디오 데이터를 오디오 신호 처리 유닛(ex354)에 코딩된 오디오 데이터를 공급한다. 비디오 신호 처리 유닛(ex355)은 각 실시예에서 도시된 코딩 방법에 대응하는 비디오 디코딩 방법을 이용하여 비디오 신호를 디코드하고, 다음으로 디스플레이 유닛(ex358)은 LCD 제어 유닛(ex359)을 통해 웹 페이지에 링크된 비디오 파일내에 포함된 예를 들면 비디오 및 정지 화상을 디스플레이한다. 더욱이, 오디오 신호 처리 유닛(ex354)은 오디오 신호를 디코드하고, 오디오 출력 유닛(ex357)은 오디오를 제공한다.

더욱이, 텔레비젼(ex300)과 유사하게, 휴대폰(ex114)과 같은 단자는 아마도 (i) 코딩 장치 및 디코딩 장치 모두를 포함하는 전송 및 수신 단자만이 아니라, (ii) 코딩 장치만을 포함하는 전송 단자 및 (iii) 디코딩 장치만을 포함하는 수신 단자를 포함하는 3가지 유형의 이행 구성을 가진다. 디지털 방송 시스템(ex200)이 상세한 설명에서 오디오 데이터를 비디오 데이터에 멀티플렉싱함에 의해 얻어진 멀티플렉스된 데이터를 수신 및 전송하지만, 멀티플렉스된 데이터는 오디오 데이터만이 아니라 관련된 문자 데이터도 비디오에 멀티플렉싱함에 의해 얻어진 데이터일 수 있으며, 멀티플렉스된 데이터가 아닌 비디오 데이터 자체일 수도 있다.

이와 같이, 각 실시예에서의 비디오 코딩 방법 및 비디오 디코딩 방법은 설명된 임의의 장치 및 시스템에서 이용될 수 있다. 그러므로, 각 실시예에서 설명된 장점이 얻어질 수 있다.

더욱이, 본 발명은 실시예에 국한되지 않고, 다양한 개조 및 개정이 본 발명의 범위로부터 벋어나지 않고 가능하다.

비디오 데이터는 (i) 각 실시예에서 도시된 비디오 코딩 방법 또는 비디오 코딩 장치와 (ii) MPEG-2, MPEG4-AVC 및 VC-1와 같은 상이한 표준에 부합하는 비디오 코딩 방법 또는 비디오 코딩 장치 사이에 필요한 경우 스위칭에 의해 생성될 수 있다.

여기서, 상이한 표준에 부합하는 복수의 비디오 데이터가 생성되고 다음으로 디코드되는 경우, 디코딩 방법은 상이한 표준에 부합하도록 선택될 필요가 있다. 그러나, 디코딩될 복수의 비디오 데이터 각각의 표준이 검출될 수 없으므로, 적절한 디코딩 방법이 선택될 수 없다는 문제가 있다.

이 문제를 해결하기 위하여, 오디오 데이터 등을 비디오 데이터에 멀티플렉싱함에 의해 얻어지는 멀티플렉스된 데이터는 비디오 데이터가 부합하는 표준을 나타내는 식별 정보를 포함하는 구조를 갖는다. 비디오 코딩 방법에서 및 비디오 코딩 장치에 의해 생성된 비디오 데이터를 포함하는 멀티플렉스된 데이터의 특정 구조는 이하 설명될 것이다. 멀티플렉스된 데이터는 MPEG2-Transport Stream 포맷의 디지털 스트림이다.

도 15는 멀티플렉스된 데이터의 구조를 도시한다. 도 15에 도시된 것처럼, 멀티플렉스된 데이터는 비디오 스트림, 오디오 스트림, PG 스트림(presentation graphics stream) 및 인트랙티브 그래픽 스트림 중 적어도 하나를 멀티플렉싱함에 의해 얻어질 수 있다. 비디오 스트림은 영화의 1차 비디오 및 2차 비디오를 나타내고, 오디오 스트림(IG)는 1차 오디오 부분과 일차 오디오 부분과 믹스될 2차 오디오 부분을 나타내며, 프리젠테이션 그래픽 스트림은 영화의 자막을 나타낸다. 여기서, 1차 비디오는 스크린에 디스플레이될 일반 비디오이고, 2차 비디오는 1차 비디오내의 작은 창에 디스플레이될 비디오이다. 더욱이, 인트랙티브 그래픽 스트림은 GUI 성분을 스크린 상에 정렬함에 의해 생성될 익트랙티브 스크린을 나타낸다. 비디오 스트림은 각 실시예에서 도시된 비디오 코딩 방법으로 또는 비디오 코딩 장치에 의해 코딩되거나 또는 MPEG-2, MPEG4-AVC 및 VC-1과 같은 통상의 표준과 부합하는 비디오 코딩 방법으로 또는 비디오 코딩 장치에 의해 코딩된다. 오디오 스트림은 Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD 및 선형 PCM과 같은 표준에 따라 코딩된다.

각 스트림은 PID에 의해 식별되는 멀티플렉스된 데이터내에 포함된다. 예를 들면, 0×1011은 영화의 비디오에 이용될 비디오 스트림에 할당되고, 0×1100 내지 0×111F는 오디오 스트림에 할당되고, 0×1200 내지 0×121F는 프리젠테이션 그래픽 스트림에 할당되며, 0×1400 내지 0141F는 1차 오디오와 믹스될 2차 비디오를 위해 이용될 오디오 스트림에 할당된다.

도 16은 데이터가 멀티플렉스되는 것을 개략적으로 도시한다. 먼저, 비디오 프레임으로 구성된 비디오 스트림(ex235) 및 오디오 프레임으로 구성된 오디오 스트림(ex238)은 PES 패킷의 스트림(ex236) 및 PES 패킷의 스트림(ex239)로 또한 TS 패킷(ex237) 및 TS 패킷(ex240)으로 각각 변환된다. 유사하게, 프리젠테이션 그래픽 스트림(ex241)의 데이터 및 인트렉티브 그래픽 스트림(ex244)의 데이터가 PES 패킷의 스트림(ex242) 및 PES 패킷의 스트림(ex245), 또한 TS 패킷(ex243) 및 TS 패킷(ex246)으로 각각 변환된다.

도 17은 비디오 스트림이 어떻게 PES 패킷의 스트림내에 저장되는지를 상세히 도시한다. 도 17의 제1 바는 비디오 스트림내의 비디오 프레임 스트림을 도시한다. 제2 바는 PES 패킷의 스트림을 도시한다. 도 17에서 화살표로 가리킨 yy1, yy2, yy3 및 yy4로 표시된 것처럼, 비디오 스트림은 각각이 비디오 표시 단위인 I 픽쳐, B 픽쳐 및 P 픽쳐의 픽쳐들로 분할되며, 픽쳐들은 PES 패킷 각각의 페이로드내에 저장된다. 각각의 PES 패킷은 PES 헤더를 가지며, PES 헤더는 픽쳐의 디스플레이 시간을 나타내는 PTS(Presentation Time-Stamp) 및 픽쳐의 디코딩 시간을 나타내는 DTS(Decoding Time-Stamp)를 저장한다.

도 18은 멀티플렉스된 데이터 상의 최종 기록될 TS 패킷의 포맷을 도시한다. 각각의 TS 패킷은 스트림을 식별하기 위하여 PID와 같은 정보를 갖는 4-바이트 TS 헤더 및 데이터를 저장하기 위한 184-바이트 TS 페이로드를 포함하는 188-바이트 고정 길이 패킷이다. PES 패킷은 분할되고, 각각이 TS 페이로드내에 저장된다. BD ROM이 이용되는 경우, 각각의 TS 패킷은 4-바이트 TP_Extra_Header가 주어지고, 따라서 결과적으로 192-바이트 소스 패킷이 된다. 소스 패킷은 멀티플렉스된 데이터 상에 기록된다. TP_Extra_Header는 Arrival_Time_Stamp(ATS)와 같은 정보를 저장한다. ATS는 각각의 TS 패킷이 PID 필터에 전송되는 전송 시작 시간을 보여준다. 소스 패킷은 도 18의 아래에 도시된 멀티플렉스된 데이터로 정렬된다. 멀티플렉스된 데이터의 헤드로부터 증가하는 숫자는 소스 패킷 번호(SPN)으로 칭한다.

멀티플렉스된 데이터내에 포함되는 각각의 TS 패킷은 오디오, 비디오, 자막 등의 스트림만이 아니라, PAT(Program Program Association Table), PMT(Program Map Table), 및 PCR(Program Clock Reference) 또한 포함한다. PAT는 멀티플렉스된 데이터에서 이용되는 PMT내의 PID가 나타내는 것을 보여주고, PAT 자체의 PID는 0으로 등록된다. PMT는 멀티플렉스된 데이터내에 포함되는 비디오, 오디오, 자막 등의 스트림의 PID 및 PID에 대응하는 스트림의 속성 정보를 저장한다. PMT는 또한 멀티플렉스된 데이터와 관련된 다양한 디스크립터를 갖는다. 디스크립터는 멀티플렉스된 데이터의 복사가 허용된지 여부를 보여주는 복사 제어 정보와 같은 정보를 갖는다. PCR은 ATS의 시간축인 ATC(Arrival Time Clock)과 PTS 및 DTS의 시간축인 STC(System Time Clock) 사이의 동기화를 이루기 위하여 언제 PCR 패킷이 디코더에 전달되는지를 나타내는 ATS에 대응하는 STC 시간 정보를 저장한다.

도 19는 PMT의 데이터 구조를 상세히 도시한다. PMT 헤더는 PMT의 상부에 배치된다. PMT 헤더는 PMT내에 포함된 데이터의 길이 등을 설명한다. 멀티플렉스된 데이터에 관련되는 복수개의 디스크립터는 PMT 헤더 이후에 배치된다. 복사 제어 정보와 같은 정보가 디스크립터내에 기술된다. 디스크립터 이후에, 멀티플렉스된 데이터내에 포함되는 스트림에 관련되는 복수개의 스트림 정보가 배치된다. 각 스트림 정보는 각각이 스트림의 압축 코덱, 스트림 PID 및 스트림 속성 정보(예를 들면, 프레임 레이트 또는 어스펙트비)를 식별하기 위한 스트림 유형과 같은 정보를 기술하는 스트림 디스크립터를 포함한다. 스트림 디스크립터는 멀티플렉스된 데이터의 스트림의 수와 동일하다.

멀티플렉스된 데이터가 기록 매체 등에 기록되는 경우, 멀티플렉스된 데이터 정보 파일과 함께 기록된다.

멀티플렉스된 데이터 정보 파일 각각은 도 20에 도시된 것과 같은 멀티플렉스된 데이터의 관리 정보이다. 멀티플렉스된 데이터 정보 파일은 멀티플렉스된 데이터와 대응하는 일대일로 일치하며, 각각의 파일은 멀티플렉스된 데이터 정보, 스트림 속성 정보 및 엔트리 맵을 포함한다.

도 20에 도시된 것처럼, 멀티플렉스된 데이터는 시스템 속도, 재생 시직 시간 및 재생 종료 시간을 포함한다. 시스템 속도는 후술하는 시스템 타겟 디코더가 멀티플렉스된 데이터를 PID 필터에 전송하는 최대 전송 속도를 나타낸다. 멀티플렉스된 데이터내에 포함되는 ATS의 간격은 시스템 속도보다 높지 않도록 설정된다. 재생 시작 시간은 멀티플렉스된 데이터의 헤드에서의 비디오 프레임내의 PTS를 나타낸다. 1 프레임의 간격이 멀티플렉스된 데이터의 끝에서 비디오 프레임내의 PTS에 추가되고, PTS는 재생 종료 시간으로 설정된다.

도 21에 도시된 것처럼, 속성 정보의 부분이 멀티플렉스된 데이터내에 포함된 각각의 스트림의 각 PID에 대해 스트림 속성 정보내에 등록된다. 속성 정보의 각 부분은 대응하는 스트림이 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽 스트림, 또는 인트렉티브 그래픽 스트림인지 여부에 의존하는 상이한 정보를 갖는다. 비디오 스트림 속성 정보 부분의 각각은 비디오 스트림을 압축하는데 어떤 종류의 압축 코덱이 이용되는지, 해상도, 어스펙트비 및 비디오 스트림내에 포함되는 픽쳐 데이터의 부분의 프레임 속도를 포함하는 정보를 보유한다. 오디오 스트림 속성 정보의 각 부분은 오디오 스트림을 압축하는데 어떤 종류의 압축 코덱이 이용되는지, 오디오 스트림에 얼마나 많은 채널이 포함되는지, 오디오 스트림의 어떤 언어를 지원하는지 및 샘플링 주파수는 얼마나 높은지 등을 포함하는 정보를 보유한다. 비디오 스트림 속성 정보 및 오디오 스트림 속성 정보는 플레이어가 정보를 재생하기 이전에 디코더의 초기화를 위하여 이용된다.

이용될 멀티플렉스된 데이터는 PMT내에 포함되는 스트림형이다. 더욱이, 멀티플렉스된 데이터가 기록 매체 상에 기록되는 경우, 멀티플렉스된 데이터 정보내에 포함되는 비디오 스트림 속성 정보가 이용된다. 보다 구체적으로, 각 실시예에 설명된 비디오 코딩 방법 또는 비디오 코딩 장치는 각 실시예에서의 비디오 코딩 방법 또는 비디오 코딩 장치에 의해 생성된 비디오 데이터를 나타내는 고유한 정보를 PMT내에 포함된 스트림 유형 또는 비디오 스트림 속성 정보에 할당하기 위한 단계 또는 유닛을 포함한다. 이러한 구성으로, 각 실시예에서 설명된 비디오 코딩 방법 또는 비디오 코딩 장치에 의해 생성된 비디오 데이터는 다른 표준에 부합하는 비디오 데이타와 구별될 수 있다.

더욱이, 도 22는 비디오 디코딩 방법의 단계를 도시한다. 단계 exS100에서, PMT에 포함된 스트림 유형 또는 비디오 스트림 속성 정보는 멀티플렉스된 데이터로부터 구해진다. 다음으로, 단계 exS101에서, 스트림 유형 또는 비디오 스트림 속성 정보가 멀티플렉스된 데이터가 각 실시예에서의 비디오 코딩 방법 또는 비디오 코딩 장치에 의해 생성된 것을 나타내는지 여부가 결정된다. 스트림 유형 또는 비디오 스트림 속성 정보가 멀티플렉스된 데이터가 각 실시예에의 비디오 코딩 방법 또는 비디오 코딩 장치에 의해 생성된 것을 나타내는 경우, 단계 exS102에서, 각 실시예에서의 비디오 디코딩 방법에 의해 디코딩이 수행된다. 더욱이, 스트림 유형 또는 비디오 스트림 속성 정보가 MPEG-2, MPEG4-AVC, 및 VC-1과 같은 통상의 표준에 부합함을 나타내는 경우, 단계 exS103에서, 디코딩은 통상 표준과 부합하는 비디오 디코딩 방법에 의해 수행된다.

이처럼, 스트림 유형 또는 비디오 스트림 속성 정보로 신규하고 고유한 값을 할당하는 것은 각 실시예에서 설명된 비디오 디코딩 방법 또는 비디오 디코딩 장치가 디코딩을 수행할 수 있는지 여부를 결정할 수 있도록 한다. 멀티플렉스된 데이터가 상이한 규격에 부합하는 경우라도, 적절한 디코딩 방법 또는 장치가 선택될 수 있다. 그러므로, 어떠한 에러 없이 정보를 디코드하는 것이 가능해진다. 더욱이, 비디오 코딩 방법 또는 장치, 또는 비디오 디코딩 방법 또는 장치는 상술한 장치 및 시스템에서 이용될 수 있다.

각 실시예에서의 비디오 코딩 방법 또는 비디오 코딩 장치, 또는 비디오 디코딩 방법 또는 비디오 디코딩 장치 각각은 일반적으로 집적 회로 또는 LSI(Large Scale Integrated) 회로의 형태로 달성된다. LSI의 예로서, 도 23은 단일 칩으로 된 LSI(ex500)의 구성을 도시한다. LSI(ex500)는 이하 설명될 소자(ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, and ex509)를 포함하며, 소자는 버스(ex510)를 통해 서로에 연결된다. 전원 공급 회로 유닛(ex505)은 전원 공급 회로 유닛(ex505)이 턴 온되는 경우 각각의 소자에 전원을 공급함에 의해 작동된다.

예를 들면, 코딩이 수행되는 경우, LSI(ex500)는 CPU(ex502), 메모리 제어기(ex503),스트림 제어기(ex504), 및 구동 주파수 제어 유닛(ex512)을 포함하는 제어 유닛(ex501)의 제어 하에 AV IO(ex509)를 통해 마이크로폰(ex117), 카메라(ex113)로부터 AV 신호를 수신한다. 수신된 AV 신호는 SDRAM과 같은 외부 메모리(ex511)내에 일시 저장된다. 제어 유닛(ex501)의 제어하에, 저장된 데이터는 신호 처리 유닛(ex507)에 전송될 처리양 및 속도에 따라 데이터 부분들로 세그먼트된다. 그러므로, 신호 처리 유닛(ex507)은 오디오 신호 및/또는 비디오 신호를 코딩한다. 여기서, 비디오 신호의 코딩은 각 실시예에서 설명된 코딩이다. 더욱이, 신호 처리 유닛(ex507)은 종종 코딩된 오디오 데이터 및 코딩된 비디오 데이터를 멀티플렉스하고, 스트림 IO(ex506)은 멀티플렉스된 데이터를 외부로 제공한다. 제공된 멀티플렉스된 데이터는 기지국(ex107)에 전송되거나 또는 기록 매체(ex215) 상에 기록된다. 데이터 셋이 멀티플렉스되는 경우, 데이터는 데이터 셋이 서로 동기화되도록 버퍼(ex508)내에 일시적으로 저장되어야 한다.

메모리(ex511)가 LSI(ex500) 외부의 소자이지만, LSI(ex500)내에 포함될 수 있다. 버퍼(ex508)는 하나의 버퍼에 국한되지 않고, 버퍼들로 구성될 수 있다. 더욱이, LSI(ex500)는 하나의 칩 또는 복수개의 칩으로 제조될 수 있다.

더욱이, 제어 유닛(ex510)은 CPU(ex502), 메모리 제어기(ex503), 스트림 제어기(ex504), 구동 주파수 제어 유닛(ex512)을 포함하지만, 제어 유닛(ex510)의 구성은 이에 국한되지 않는다. 예를 들면, 신호 처리 유닛(ex507)은 CPU를 더 포함할 수 있다. 신호 처리 유닛(ex507)내에 다른 CPU를 포함하는 것은 처리 속도를 개선할 수 있다. 더욱이, 다른 예에서, CPU(ex502)는 신호 처리 유닛(ex507)으로서 또는 그 일부로서의 역할을 할 수 있으며, 오디오 신호 처리 유닛을 포함할 수 있다. 그러한 경우, 제어 유닛(ex501)은 신호 처리 유닛(ex507) 또는 신호 처리 유닛(ex507)의 일부를 포함하는 CPU(ex502)를 포함한다.

사용된 명칭이 LSI 이지만, 집적의 정도에 따라 IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI로 칭할 수 있다.

더욱이, 집적을 달성하는 방식은 LSI에 국한되지 않고, 특수 회로 또는 범용 프로세서 등이 또한 집적을 달성할 수 있다. LSI의 제조 이후에 프로그램될 수 있는 FPGA(Field Programmable Gate Array) 또는 LSI의 연결 또는 구성을 재구성하도록 하는 재구성 프로세서가 동일한 목적으로 이용될 수 있다.

반도체 기술이 진보하는 미래에, 신규한 기술이 LSI를 대체할 수 있다. 기능적 블록이 그러한 기술을 이용하여 집적될 수 있다. 본 발명은 바이오테크놀로지에 적용될 가능성이 있다.

각 실시예에서 설명된 비디오 코딩 방법에서 또는 비디오 코딩 장치에 의해 생성된 비디오 데이터가 디코드되는 경우, MPEG-2, MPEG4-AVC, 및 VC-1과 같은 통상의 표준에 부합하는 비디오 데이터가 디코드되는 경우와 비교할 때, 처리량은 아마도 증가한다. 그러므로, LSI(ex500)는 종래 표준에 부합하는 비디오 데이터가 디코딩되는 경우에 이용될 CPU(ex502)의 것보더 더 높은 구동 주파수로 설정될 필요가 있다. 그러나, 구동 주파수가 높게 설정되는 경우, 전력 소비가 증가하는 문제가 있다.

이 문제를 해결하기 위하여, 텔레비전(ex300) 및 LSI(ex500)과 같은 비디오 디코딩 장치는 어떤 표준에 비디오 데이터가 부합하는지를 결정하고, 결정된 표준에 따라 구동 주파수들 사이에서 스위칭하도록 구성된다. 도 24는 구성(ex800)을 도시한다. 구동 주파수 스위치 유닛(ex803)은 비디오 데이터가 각 실시예에서 설명된 비디오 코딩 방법 또는 비디오 코딩 장치에 의해 생성되는 경우 구동 주파수를 더 높은 구동 주파수로 설정한다. 다음으로, 구동 주파수 스위칭 유닛(ex803)은 각 실시예에서 설명된 비디오 디코딩 방법을 이행하는 디코딩 처리 유닛(ex801)에 비디오 데이터를 디코드하라고 지시한다. 비디오 데이터가 종래의 표준에 부합하는 경우, 구동 주파수 스위칭 유닛(ex803)은 각 실시예에서 설명된 비디오 코딩 방법 또는 비디오 코딩 장치에 의해 생성되는 비디오 데이터의 것보다 더 낮은 구동 주파숭로 구동 주파수를 설정한다. 다음으로, 구동 주파수 스위칭 유닛(ex803)은 종래 표준에 부합하는 디코딩 처리 유닛(ex802)가 비디오 데이터를 디코드하라고 지시한다.

보다 구체적으로, 구동 주파수 스위칭 유닛(ex803)은 도 23의 CPU(ex502) 및 구동 주파수 제어 유닛(ex512)을 포함한다. 여기서, 각 실시예에서 설명된 비디오 디코딩 방법을 이행하는 각각의 디코딩 처리 유닛(ex801)과 종래의 표준에 부합하는 디코딩 처리 유닛(ex802)는 도 23에서 신호 처리 유닛(ex507)에 대응한다. CPU(ex502)는 어떤 표준에 비디오 데이터가 부합하는지를 결정한다. 다음으로, 구동 주파수 제어 유닛(ex512)은 CPU(ex502)로부터의 신호를 기초로 구동 주파수를 결정한다. 더욱이, 신호 처리 유닛(ex507)은 CPU(ex502)로부터의 신호를 기초로 비디오 데이터를 디코드한다. 예를 들면, 설명된 식별 정보는 아마도 비디오 데이터를 식별하기 위하여 이용된다. 식별 정보는 상술한 것에 국한되지 않고, 정보가 어떤 표준에 비디오 데이터가 부합하는지를 나타내는 한 어떠한 정보도 될 수 있다. 예를 들면, 어떤 표준에 비디오 데이타가 부합하는지가 텔레비전 또는 디스크 등을 위해 이용되는 비디오 데이터를 결정하기 위한 외부 신호를 기초로 결정될 수 있는 경우, 결정은 그러한 외부 신호를 기초로 이루어질 수 있다. 더욱이, CPU(ex502)는 예를 들면 비디오 데이터의 표준이 도 26에 도시된 것과 같은 구동 주파수와 관련되는 룩업 테이블을 기초로 구동 주파수를 선택한다. 구동 주파수는 버퍼(ex508)내에 및 LSI의 내부 메모리 내에 룩업 테이블을 저장함에 의해 및 CPU(ex502)에 의한 룩업 테이블을 참조로 선택될 수 있다.

도 25는 방법을 이행하기 위한 단계를 도시한다. 먼저, 단계 exS200에서, 신호 처리 유닛(ex507)은 멀티플렉스된 데이터로부터 식별 정보를 구한다. 다음으로, 단계 exS201에서, CPU(ex502)는 비디오 데이터가 각 실시예에서 설명된 코딩 방법 및 코딩 장치에 의해 생성되는지 여부를 식별 정보를 기초로 결정한다. 단계 exS202에서 각 실시예에 설명된 비디오 코딩 방법 및 비디오 코딩 장치에 의해 비디오 데이터가 생성되는 경우, CPU(ex502)는 구동 주파수를 높은 구동 주파수로 설정하기 위한 신호를 구동 주파수 제어 유닛(ex512)에 전송한다. 다음으로, 구동 주파수 제어 유닛(ex512)은 구동 주파수를 높은 구동 주파수로 설정한다. 반면에, 단계 exS203에서, 식별 정보가 비디오 데이타가 MPEG-2, MPEG4-AVC 및 VC-1과 같은 종래의 표준에 부합함을 나타내는 경우, CPU(ex502)는 구동 주파수를 낮은 구동 주파수로 설정하기 위한 신호를 구동 주파수 제어 유닛(ex512)에 전송한다. 다음으로, 구동 주파수 제어 유닛(ex512)은 각 실시예에서 설명된 비디오 코딩 방법 및 비디오 코딩 장치에 의해 비디오 데이터가 생성되는 경우 보다 더 낮은 구동 주파수로 구동 주파수를 설정한다.

더욱이, 구동 주파수의 스위칭을 따라, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 인가되는 전압을 변경함에 의해 전력 보존 효과가 개선될 수 있다. 예를 들면, 구동 주파수가 낮게 설정되는 경우, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 인가될 전압은 아마도 구동 주파수가 높게 설정되는 경우 보다 더 낮은 전압으로 설정된다.

더욱이, 디코딩의 처리량이 많은 경우, 구동 주파수는 높게 설정될 수 있으며, 디코딩의 처리량이 적은 경우, 구동 주파수는 구동 주파수를 설정하기 위한 방법처럼 낮게 설정될 수 있다. 그러므로, 설정 방법은 상술한 것에 국한되지 않는다. 예를 들면, MPEG4-AVC에 부합하는 비디오 데이터의 디코딩 처리량이 각 실시예에서 설명된 비디오 코딩 방법 및 비디오 코딩 장치에 의해 생성된 비디오 데이터를 디코딩하기 위한 처리량보다 큰 경우, 구동 주파수는 아마도 상술한 설정에 역의 순서로 설정된다.

더욱이, 구동 주파수를 설정하는 방법은 구동 주파수를 낮게 설정하는 방법에 국한되지 않는다. 예를 들면, 식별 정보가 각 실시예에서 설명된 비디오 코딩 방법 및 비디오 코딩 장치에 의해 비디오 데이터가 생성됨을 나타내는 경우, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 인가될 전압은 아마도 높게 설정된다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG4-AVC, 및 VC-1과 같은 종래의 표준에 부합함을 나타내는 경우, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 인가될 전압은 아마도 낮게 설정된다. 다른 예로서, 식별 정보가 비디오 데이터가 각 실시예에서 설명된 비디오 코딩 방법 및 비디오 코딩 장치에 의해 생성됨을 나타내는 경우, CPU(ex502)의 구동은 아마도 연기될 필요가 없다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG4-AVC, 및 VC-1과 같은 종래의 표준에 부합함을 나타내는 경우, CPU(ex502)의 구동은 아마도 CPU(ex502)가 부가 처리 능력을 가지므로, 주어진 시간에서 연기될 것이다. 식별 정보가 비디오 데이터가 각 실시예에서 설명된 비디오 코딩 방법 및 비디오 코딩 장치에 의해 생성됨을 나타내는 경우라도, CPU(ex502)가 부가 처리 능력을 가지는 경우에는, CPU(ex502)의 구동은 아마도 주어진 시간에서 연기될 것이다. 그러한 경우, 연기 시간은 아마도 식별 정보가 비디오 데이터가 MPEG-2, MPEG4-AVC, 및 VC-1과 같은 종래의 표준에 부합한 비디오 데이터를 나타내는 경우보다 더 짧게 설정된다.

따라서, 비디오 데이터가 부합하는 표준에 따라 구동 주파수들 사이를 스위칭함에 의해 전력 보존 효과가 개선될 수 있다. 더욱이, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치가 배터리를 이용하여 구동되는 경우, 배터리 수명은 전력 보존 효과에 따라 연장될 수 있다.

상이한 표준에 부합하는 복수개의 비디오 데이터가 텔레비전 및 휴대폰과 같은 장치 및 시스템에 제공되는 경우가 있다. 상이한 표준에 부합하는 복수개의 비디오 데이터의 디코딩을 가능하게 하기 위하여, LSI(ex500)의 신호 처리 유닛(ex507)은 상이한 표준들에 부합될 필요가 있다. 그러나, 각 표준에 부합하는 신호 처리 유닛(ex507)의 개별 이용에 따라 LSI(ex500)의 회로 스케일의 증가 및 비용의 증가의 문제가 발생한다.

이 문제를 해결하기 위하여, 각 실시예에서 설명된 비디오 디코딩 방법을 이행하기 위한 디코딩 처리 유닛 및 MPEG-2, MPEG4-AVC, 및 VC-1과 같은 종래의 표준에 부합하는 디코딩 처리 유닛이 부분적으로 공유되는 구성이 생각된다. 도 27a의 Ex 900은 이러한 구성의 예를 도시한다. 예를 들면, 각 실시예에서 설명된 비디오 디코딩 방법 및 MPEG4-AVC에 부합하는 비디오 디코딩 방법은 엔트로피 코딩, 역 양자화, 디블록킹 필터링 및 움직임 보상 예측과 같은 처리의 상세를 부분적으로 공통으로 갖는다. 아마도 공유될 처리의 상세는 MPEG4-AVC에 부합하는 디코딩 처리 유닛(ex902)의 사용을 포함한다. 대조적으로, 본 발명에 고유한 다른 처리에는 아마도 전용 디코딩 처리 유닛(ex901)이 이용될 수 있다. 본 발명이 예를 들면 공간 예측을 특징으로 하므로, 전용 디코딩 처리 유닛(ex901)이 본 발명에 따른 공간 예측에 이용된다. 다르게는, 디코딩 처리 유닛은 아마도 엔트로피 코딩, 역 변환, 역 양자화, 및 움직임 보상 예측 중 하나에 대해 또는 처리 전부에 대해 공유된다. 각 실시예에서 설명된 비디오 디코딩 방법을 이행하기 위한 디코딩 처리 유닛은 공유될 처리를 위해 공유될 수 있고, 전용의 디코딩 처리 유닛이 MPEG4-AVC에 대한 고유의 처리를 위해 이용될 수 있다.

또한, 도 27b에서의 ex1000는 처리가 부분적으로 공유되는 다른 예를 도시한다. 이 예는 본 발명에 고유한 처리를 지원하는 전용 디코딩 처리 유닛(ex1001), 다른 종래의 표준에 대해 고유한 처리를 지원하는 전용 디코딩 처리 유닛(ex1002), 및 본 발명의 비디오 디코딩 방법과 종래의 비디오 디코딩 방법 사이에서 공유될 처리를 지원하는 디코딩 처리 유닛(ex1003)를 포함하는 구성을 이용한다. 여기서, 전용 디코딩 처리 유닛(ex1001 및 ex1002)은 각각 본 발명의 처리 및 종래의 표준의 처리에 특화될 필요는 없으며, 일반적 처리를 이행할 수 있는 것일 수 있다. 더욱이, 이 구성은 LSI(ex500)에 의해 이행될 수 있다.

이와 같이, LSI의 회로의 스케일을 축소하고 비용을 감소하는 것은 본 발명의 비디오 디코딩 방법과 종래 표준에 부합하는 비디오 디코딩 방법 사이에 공유될 처리를 위한 디코딩 처리 유닛을 공유함에 의해 가능하다.

요약하면, 본 발명은 이미지 신호의 인코딩 및/또는 디코딩 동안 수행될 수 있는 인트라 예측에 관한 것이다. 특히, 본 발명은 현재 블록의 인트라 예측에 관련되며, 이 동안 예측 신호 및/또는 예측을 위해 이용되는 신호에 필터링이 적용된다. 현재 블록에 공간적으로 인접한 블록내에 포함되는 이미지 신호의 특성을 기초로한 결정에 따라 필터링이 적용된다.

Claims

복수개의 블록으로 분할된 인코드된 이미지 데이터를 블록 단위로 디코딩하는 방법으로서, 상기 방법은:
대상 블록과 공간적으로 인접한 블록으로서, 상기 대상 블록의 인트라 예측에 사용되는 복수개의 디코드 완료된 블록에 포함되는 픽셀에서의 에지 검출을 행하는 단계;
상기 에지 검출의 결과에 기초하여, 상기 복수개의 디코드 완료된 블록에 포함되는 픽셀에 대하여 제1 필터링을 적용할지 여부를 결정하는 단계;
상기 복수개의 디코드 완료된 블록의 이미지 데이터로부터 상기 대상 블록을 인트라 예측하는 단계를 포함하고,
상기 제1 필터링을 적용하는 것으로 결정한 경우, 상기 제1 필터링한 상기 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 상기 대상 블록을 인트라 예측하고,
상기 제1 필터링을 적용하지 않는 것으로 결정한 경우, 제2 필터링한 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 상기 대상 블록을 인트라 예측하는, 방법.
청구항 1에 있어서,
상기 에지 검출은, 상기 복수개의 디코드 완료된 블록의 분산을 산출하는 것에 의해 실행되는, 방법.
청구항 2에 있어서,
상기 제1 필터링은, 상기 분산이 미리 정의된 임계값보다 작은 경우에 적용되고, 상기 분산이 상기 미리 정의된 임계값보다 큰 경우에는 적용되지 않는, 방법.
청구항 1에 있어서,
상기 결정하는 단계에서는, 상기 에지 검출의 결과에 따라, 상기 제1 필터링과 상기 제2 필터링 중 어느 것을 상기 복수개의 디코드 완료된 블록에 대하여 적용할지를 결정하고,
상기 대상 블록의 예측에서는, 상기 결정하는 단계에서 결정된 필터링을 한 상기 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 인트라 예측을 행하는, 방법.
청구항 1 내지 청구항 4 중 어느 한 항에 기재된 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록된 기록매체.
복수개의 블록으로 분할된 인코드된 이미지 데이터를 블록 단위로 디코딩하는 장치로서, 상기 장치는:
대상 블록과 공간적으로 인접한 블록으로서, 상기 대상 블록의 인트라 예측에 사용되는 복수개의 디코드 완료된 블록에 포함되는 픽셀에서의 에지 검출을 행하는 에지 검출부;
상기 에지 검출의 결과에 기초하여, 상기 복수개의 디코드 완료된 블록에 포함되는 픽셀에 대하여 제1 필터링을 적용할지 여부를 결정하는 판단부;
상기 복수개의 디코드 완료된 블록의 이미지 데이터로부터 상기 대상 블록을 인트라 예측하는 인트라 예측부를 구비하고,
상기 인트라 예측부는, 상기 판단부가 상기 제1 필터링을 적용하는 것으로 결정한 경우, 상기 제1 필터링한 상기 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 상기 대상 블록을 인트라 예측하고,
상기 판단부가 상기 제1 필터링을 적용하지 않는 것으로 결정한 경우, 상기 인트라 예측부는 제2 필터링한 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 상기 대상 블록을 인트라 예측하는, 장치.
청구항 6에 있어서,
상기 에지 검출부는, 상기 복수개의 디코드 완료된 블록의 분산을 산출하는 것에 의해, 상기 에지를 검출하는, 장치.
청구항 7에 있어서,
상기 제1 필터링은, 상기 에지 검출부에 의해 산출된 상기 분산이 미리 정의된 임계값보다 작은 경우에 적용되고,
상기 분산이 상기 미리 정의된 임계값보다 큰 경우에는 적용되지 않는, 장치.
청구항 8에 있어서,
상기 판단부는, 상기 에지 검출의 결과에 따라, 상기 제1 필터링과 상기 제2 필터링 중 어느 것을 상기 복수개의 디코드 완료된 블록에 대하여 적용할지를 결정하고,
상기 인트라 예측부는, 결정된 필터링을 한 상기 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 인트라 예측을 행하는, 장치.
복수개의 블록으로 분할된 이미지 데이터를 블록 단위로 인코딩하는 방법으로서, 상기 방법은:
대상 블록과 공간적으로 인접한 블록으로서, 상기 대상 블록의 인트라 예측에 사용되는 복수개의 디코드 완료된 블록에 포함되는 픽셀에서의 에지 검출을 행하는 단계;
상기 에지 검출의 결과에 기초하여, 상기 복수개의 디코드 완료된 블록에 포함되는 픽셀에 대하여 제1 필터링을 적용할지 여부를 결정하는 단계;
상기 복수개의 디코드 완료된 블록의 이미지 데이터로부터 상기 대상 블록을 인트라 예측하는 단계를 포함하고,
상기 제1 필터링을 적용하는 것으로 결정한 경우, 상기 제1 필터링한 상기 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 상기 대상 블록을 인트라 예측하고,
상기 제1 필터링을 적용하지 않는 것으로 결정한 경우, 제2 필터링한 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 상기 대상 블록을 인트라 예측하는, 방법.
청구항 10에 있어서,
상기 에지 검출은, 상기 복수개의 디코드 완료된 블록의 분산을 산출하는 것에 의해 실행되는, 방법.
청구항 11에 있어서,
상기 제1 필터링은, 상기 분산이 미리 정의된 임계값보다 작은 경우에 적용되고, 상기 분산이 상기 미리 정의된 임계값보다 큰 경우에는 적용되지 않는, 방법.
청구항 10에 있어서,
상기 결정하는 단계에서는, 상기 에지 검출의 결과에 따라, 상기 제1 필터링과 상기 제2 필터링 중 어느 것을 상기 복수개의 디코드 완료된 블록에 대하여 적용할지를 결정하고,
상기 대상 블록의 예측에서는, 상기 결정하는 단계에서 결정된 필터링을 한 상기 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 인트라 예측을 행하는, 방법.
청구항 10 내지 청구항 13 중 어느 한 항에 기재된 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록된 기록매체.
복수개의 블록으로 분할된 이미지 데이터를 블록 단위로 인코딩하는 장치로서, 상기 장치는:
대상 블록과 공간적으로 인접한 블록으로서, 상기 대상 블록의 인트라 예측에 사용되는 복수개의 디코드 완료된 블록에 포함되는 픽셀에서의 에지 검출을 행하는 에지 검출부;
상기 에지 검출의 결과에 기초하여, 상기 복수개의 디코드 완료된 블록에 포함되는 픽셀에 대하여 제1 필터링을 적용할지 여부를 결정하는 판단부;
상기 복수개의 디코드 완료된 블록의 이미지 데이터로부터 상기 대상 블록을 인트라 예측하는 인트라 예측부를 구비하고,
상기 인트라 예측부는, 상기 판단부가 상기 제1 필터링을 적용하는 것으로 결정한 경우, 상기 제1 필터링한 상기 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 상기 대상 블록을 인트라 예측하고,
상기 판단부가 상기 제1 필터링을 적용하지 않는 것으로 결정한 경우, 상기 인트라 예측부는 제2 필터링한 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 상기 대상 블록을 인트라 예측하는, 장치.
청구항 15에 있어서,
상기 에지 검출부는, 상기 복수개의 디코드 완료된 블록의 분산을 산출하는 것에 의해, 상기 에지를 검출하는, 장치.
청구항 16에 있어서,
상기 제1 필터링은, 상기 에지 검출부에 의해 산출된 상기 분산이 미리 정의된 임계값보다 작은 경우에 적용되고,
상기 분산이 상기 미리 정의된 임계값보다 큰 경우에는 적용되지 않는, 장치.
청구항 17에 있어서,
상기 판단부는, 상기 에지 검출의 결과에 따라, 상기 제1 필터링과 상기 제2 필터링 중 어느 것을 상기 복수개의 디코드 완료된 블록에 대하여 적용할지를 결정하고,
상기 인트라 예측부는, 결정된 필터링을 한 상기 복수개의 디코드 완료된 블록의 이미지 데이터를 사용하여 인트라 예측을 행하는, 장치.
삭제
삭제
삭제