KR20050113665A - 멀티미디어 송신을 위한 사이드 정보를 인코딩 및디코딩하는 방법, 장치 및 시스템 - Google Patents
멀티미디어 송신을 위한 사이드 정보를 인코딩 및디코딩하는 방법, 장치 및 시스템 Download PDFInfo
- Publication number
- KR20050113665A KR20050113665A KR1020057017983A KR20057017983A KR20050113665A KR 20050113665 A KR20050113665 A KR 20050113665A KR 1020057017983 A KR1020057017983 A KR 1020057017983A KR 20057017983 A KR20057017983 A KR 20057017983A KR 20050113665 A KR20050113665 A KR 20050113665A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- input data
- encoding
- encoded
- channel
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/65—Purpose and implementation aspects
- H03M13/6508—Flexibility, adaptability, parametrability and configurability of the implementation
- H03M13/6513—Support of multiple code types, e.g. unified decoder for LDPC and turbo codes
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/29—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
본 발명의 일 양태에 따르면, 입력 데이터 (예를 들어, 입력 비디오 데이터) 가 제 1 코딩 표준 (예를 들어, MPEG-4, H.263) 에 따라 인코딩되어 인코딩 데이터를 생성하는 방법이 제공된다. 또한, 입력 데이터의 재구성에 기초하여 입력 데이터가 인코딩되어, 입력 데이터와 관련된 인코딩 사이드 정보를 생성한다. 인코딩 데이터는 제 1 채널을 통해 수신지 (예를 들어, 디코딩 서브시스템) 에 송신되고, 인코딩 사이드 정보는 제 2 채널을 통해 수신지에 송신된다. 인코딩 데이터 및 인코딩 사이드 정보는 수신지에서 디코딩되고 결합되어 출력 데이터를 생성한다.
Description
기술분야
본 발명은 일반적으로 데이터 프로세싱 및 데이터 통신 분야에 관한 것이고, 더 상세하게는, 멀티미디어 송신을 위한 사이드 정보를 인코딩 및 디코딩하는 방법, 장치 및 시스템에 관한 것이다.
배경
기술이 진보하고, 비디오 및 오디오 신호 프로세싱에 대한 수요가 급속도로 증가됨에 따라, 신호 프로세싱 및 데이터 송신을 위한 효과적이고 효율적인 기술이 시스템 설계 및 구현에서 더 중요해지고 있다. 비디오 신호 프로세싱을 포함하는 멀티미디어 프로세싱 및 송신에 대한 다양한 표준 또는 사양이 수 년 동안 개발되어 멀티미디어 신호 프로세싱에 관련된 다양한 코딩 방식을 표준화하고 용이하게 하였다. 더 상세하게는, 동화상 전문가 그룹 (MPEG; Moving Picture Expert Group) 으로 알려진 그룹이 설립되어, 디지털 저장 매체 상에 저장되는 동화상 및 관련 오디오의 코딩된 표현을 위한 표준 또는 사양을 개발하였다. 그 결과, 1999년 12월에 발행된 ISO/IEC 14496-2 (Part 2 - Visual) CODING OF AUDIO-VISUAL OBJECTS 로 공지된 (또한 본 명세서에서는 MPEG-4 표준 또는 MPEG-4 사양이라 하는) 표준이 개발되어, 시각적 객체 또는 비디오 신호를 위한 다양한 코딩 방식을 표준화하였다. ISO 는 국제 표준화 기구 (International Organization for Standardization) 을 나타내고, IEC 는 국제 전자기술 위원회 (International Electrotechnical Commission) 를 나타낸다. 일반적으로, MPEG 사양은 인코더를 표준화하지는 않지만, 인코더가 생성하고 MPEG 순응 비트스트림에 기록할 필요가 있는 정보의 타입을 표준화하고, 또한 디코더가 이 정보를 파싱하고, 압축해제하고, 재결합하여 인코딩된 신호를 재획득하는 방식을 표준화한다. 또 다른 코딩 표준은 예를 들어, ITU-T 권고 H.263 "저 비트레이트 통신을 위한 비디오 코딩", H.264 등을 포함한다.
비디오 인코더 (110) 및 비디오 디코더 (130) 를 포함하는 통상의 비디오 프로세싱 시스템 (100) 이 도 1 에 도시되어 있다. 이 구성에서, 비디오 인코더 (110) 및 비디오 디코더 (130) 는 확립된 표준 또는 사양에 따라 동작할 수도 있다. 예를 들어, 비디오 인코더 (110) 및 비디오 디코더 (130) 는 MPEG-4 표준에 따라 동작할 수도 있다. 따라서, 비디오 인코더 (110) 는 MPEG-4 인코더를, 비디오 디코더 (130) 는 MPEG-4 디코더를 각각 지칭하는 것일 수도 있다. 도 1 에 도시된 시스템 구성에서는, 송신단에서, 비디오 인코더 (110) 가 비디오 입력 데이터를 수신하고 비디오 입력 데이터를 인코딩하여, 채널 (120) 을 통해 비디오 디코더 (130) 로 송신되는 인코딩된 비디오 데이터를 생성하거나 형성한다. 채널 (120) 은 무선 또는 유선 채널일 수 있고, 또한 본 명세서에서는 메인 채널 또는 메인 스트림으로 지칭된다. 수신단에서, 비디오 디코더 (130) 는 인코딩된 비디오 데이터를 수신하고 인코딩된 비디오 데이터를 디코딩하여, 비디오 출력 데이터를 생성하거나 형성한다. 채널 (120) 을 통한 송신 프로세스 동안, 잡음, 신호 간섭, 페이딩, 접속 손실 등을 포함하는 다양한 요인에 기인하여 에러가 개입될 수도 있다. 이러한 에러는 비디오 디코더 (130) 의 성능에 부정적으로 영향을 미치고, 따라서 비디오 출력 데이터의 품질이 악화된다. 에러 검출 코딩, 포워드 에러 보정 (FEC; forward error correction), 또는 자동 반복/재송신 요청 (ARQ) 방식과 같은 다양한 통상의 에러 코딩 기술이 사용되어 용인할만한 레벨로 에러 레이트를 유지할 수도 있다. 그러나, 이러한 통상의 기술은, 데이터 리던던시 및/또는 더 긴 대기시간 때문에 현저한 비효율성을 야기시킬 수도 있다. 또한, 비디오 압축 표준은 송신에 의해 개입되는 에러의 악영향을 완화시키는 추가적인 메카니즘을 제공한다. 이들은 재동기화 마커 (marker), 데이터 파티션, 가역 가변 길이 코딩 (RVLC; reverible variable length coding) 등이다. 이러한 에러 허용 (resilience) 툴들은 인코더/디코더의 복잡성을 증가시키고 비디오 정보를 송신하는데 요구되는 데이터 레이트를 증가시킨다. 또한, 이러한 툴들은 CDMA 네트워크와 같은 확산 스펙트럼 통신 채널에서 통상 발견되는 버스티 에러에 대한 적절한 보호를 제공하지 못할 수도 있다.
따라서, 멀티미디어 프로세싱 시스템에서 현저한 프로세싱 비효율성을 발생시키지 않고 비디오 데이터와 같은 멀티미디어 정보의 품질을 개선시키는 방법, 장치 및 시스템에 대한 요구가 존재한다.
발명의 요약
본 발명의 일 양태에 따르면, 입력 데이터 (예를 들어, 입력 비디오 데이터) 가 제 1 코딩 표준 (예를 들어, MPEG-4, H.263) 에 따라 인코딩되어 인코딩 데이터를 생성하는 방법이 제공된다. 또한, 입력 데이터의 재구성본에 기초하여 입력 데이터가 인코딩되어, 입력 데이터와 관련된 인코딩 사이드 정보를 생성한다. 인코딩 데이터는 제 1 채널을 통해 수신지 (예를 들어, 디코딩 서브시스템) 에 송신되고, 인코딩 사이드 정보는 제 2 채널을 통해 수신지에 송신된다. 인코딩 데이터 및 인코딩 사이드 정보는 수신지에서 디코딩되고 결합되어 출력 데이터를 생성한다.
본 발명의 또 다른 양태에 따르면, 제 1 인코더 및 제 2 인코더를 포함하는 장치가 제공된다. 제 1 인코더는 입력 데이터를 수신하고 제 1 코딩 표준 (예를 들어, MPEG-4) 에 따라 입력 데이터를 인코딩하여 제 1 채널을 통한 송신을 위해 인코딩 데이터를 생성한다. 제 2 인코더는 입력 데이터, 및 제 1 인코더로부터의 입력 데이터의 재구성본을 수신하고, 입력 데이터의 재구성본에 적어도 일부 기초하여 입력 데이터를 인코딩하여, 제 2 채널을 통한 송신을 위해 인코딩 사이드 데이터를 생성한다.
본 발명의 또 다른 양태에 따르면, 제 1 디코더 및 제 2 디코더를 포함하는 장치가 제공된다. 제 1 디코더는 제 1 채널 상에서 수신된 인코딩 데이터를 디코딩하고, 제 2 디코더는 제 2 채널 상에서 수신된 인코딩 데이터를 디코딩한다. 제 1 디코더로부터 생성된 데이터 및 제 2 디코더로부터 생성된 데이터는 결합되어 출력 데이터를 생성한다.
본 발명의 또 다른 양태에 따르면, 제 1 인코더, 제 2 인코더, 제 1 디코더 및 제 2 디코더를 포함하는 시스템이 제공된다. 제 1 인코더는 입력 데이터를 수신하고 제 1 코딩 표준에 따라 입력 데이터를 인코딩하여, 제 1 채널을 통한 송신을 위해 인코딩된 데이터를 생성한다. 제 2 인코더는 입력 데이터 및 제 1 인코더로부터의 입력 데이터의 재구성본을 수신하고, 입력 데이터의 재구성본의 적어도 일부에 기초하여 입력 데이터를 인코딩하여 제 2 채널을 통한 송신을 위해 인코딩 사이드 데이터를 생성한다. 제 1 디코더는 제 1 채널 상에서 수신된 인코딩 데이터를 디코딩하고, 제 2 디코더는 제 2 채널 상에서 수신된 인코딩 사이드 데이터를 디코딩한다. 제 1 디코더로부터 생성된 데이터 및 제 2 디코더로부터 생성된 데이터는 결합되어 출력 데이터를 생성한다.
본 발명의 또 다른 양태에 따르면, 머신에 의해 실행될 때, 제 1 인코딩 표준에 따라 입력 데이터를 인코딩하여 인코딩 데이터를 생성하는 동작, 입력 데이터의 재구성본에 기초하여 입력 데이터를 인코딩하여 인코딩 사이드 데이터를 생성하는 동작, 및 제 1 채널을 통해 인코딩 데이터를 수신지에 송신하고 제 2 채널을 통해 인코딩 사이드 데이터를 수신지에 송신하는 동작을 머신이 수행하도록 하는 명령들을 포함하는 머신-판독가능 매체가 제공된다.
본 발명의 다양한 양태 및 특성이 다음의 상세한 설명에 의해 개시되고, 첨부한 도면을 참조한다.
도면의 간단한 설명
도 1 은 통상의 비디오 프로세싱 시스템을 도시하는 블록도이다.
도 2a 는 인코더 및 디코더 유닛이 사이드 정보에 액세스한 프로세싱 시스템을 도시하는 블록도이다.
도 2b 는 디코더 유닛만이 사이드 정보에 액세스한 프로세싱 시스템을 도시하는 블록도이다.
도 3 은 본 발명의 일 실시형태에 따른 예시적인 프로세싱 시스템의 블록도이다.
도 4 는 본 발명의 일 실시형태에 따른 사이드 정보 인코더의 블록도이다.
도 5 는 양자화된 코드워드 세트, 및 양자화된 코드워드 스페이스의 파티션을 도시하는 도면이다.
도 6 은 양자화된 코드워드 스페이스의 Mod-4 레이블링을 도시하는 도면이다.
도 7 은 본 발명의 일 실시형태에 따른 사이드 정보 디코더를 포함하는 디코딩 서브시스템의 블록도이다.
도 8 은 본 발명의 일 실시형태에 따른 방법의 흐름도이다.
상세한 설명
다음의 상세한 설명에서는 다양하고 구체적인 세부사항들을 설명한다. 그러나, 본 발명의 다양한 실시형태들은 이러한 구체적인 세부사항들 없이 실행될 수도 있음을 이해해야 한다. 이하 설명하는 본 발명의 다양한 실시형태들은 예시적이며, 본 발명을 한정하기 보다는 예시적인 것으로 의도되었음을 당업자는 이해해야 한다.
이하 더욱 상세히 설명하는 바와 같이, 본 발명의 일 실시형태에 따르면, 멀티미디어 비트스트림을 반송하는 메인 스트림에 추가하여 여분의 디지털 스트림을 인코딩하는 방업 및 시스템 구조가 제공된다. 또한, 여분의 디지털 스트림을 본 명세서에서는 사이드 채널 또는 힌트 채널이라고 한다. 이러한 여분의 디지털 채널은, 메인 채널을 통해 송신되는 멀티미디어 비트스트림에 에러 허용성을 제공하여, 수신단 (예를 들어, 비디오 디코더에 의해 생성되는 비디오 데이터) 에서 생성되는 멀티미디어 정보 (예를 들어, 비디오 데이터) 의 품질을 개선하는데 사용될 수 있다. 또한, 이하 더 상세히 설명하는 본 발명의 일 실시형태에 따르면, 사이드 채널을 통해 송신되는 힌트 또는 사이드 채널 정보의 양은, 채널 조건들, 사이드 채널이 제공하도록 요구되는 보호의 양 등을 포함하는 다양한 요인에 기초하여 적응되거나 동적으로 조정될 수 있다.
다음의 설명은 사이드 정보로 코딩하는 것을 이용하는 방법 및 시스템 구조에 대한 설명 및 예시를 제공한다. 사이드 정보로 코딩하는 구조는 1999년 3 월 Proceedings of the Data Compression Conference (DCC) 의 "Distributed Source Coding Using Syndromes (DISCUS): Design and Construction" 으로 명명된 기술논문에서 S.S.Pradhan 및 K.Ramchandran 에 의해 설명되었다. 도 2a 및 2b 를 참조하면, 프로세싱 시스템 (200A 및 200B) 이 각각 도시된다. 프로세싱 시스템 (200A) 은, 채널 (220A) 을 통해 디코더 (230A) 에 데이터를 송신하는 인코더 (210A) 를 포함한다. 유사하게, 프로세싱 시스템 (200B) 은, 채널 (220B) 을 통해 디코더 (230B) 에 데이터를 송신하는 인코더 (210B) 를 포함한다.
도 2a 및 2b 에 도시된 바와 같이, X 및 Y 는, 8 개가 가능한 2 진 3-투플 (tuple) 의 각각을 동등하게 취할 수 있는 3-비트 길이의 2 진 데이터인 것으로 가정한다. 그러나, X 및 Y 는 랜덤 변수로 상관된다. 이들간의 상관은, X 와 Y 간의 해밍 (Hamming) 차이가 1 이하이도록 된다. 즉, Y 값 (예를 들어, Y=[0 1 0]) 이 주어지면, X 값은 Y 값과 동일하거나 (즉, X=[0 1 0]), Y 값에 대해 1 비트만큼 다르다. 예를 들어, X 값은 최초 비트에서 다르거나 (X=[1 1 0]) 또는 중간 비트에서 다르거나 (X=[0 0 0]) 또는 최후 비트에서 다를 수 있다 (X=[0 1 1]).
다음 설명은, X 가 도 1 에서 설명한 2 개의 시나리오에서 효율적으로 인코딩되어 X 가 디코더에서 정확하게 재구성될 수 있음을 나타낼 것이다.
제 1 시나리오: 도 2a 에서 도시된 제 1 시나리오에서는, Y 가 인코더 (210A) 및 디코더 (230A) 모두에 제공된다. 이 시나리오에서는, X 가 Y 로부터 예측될 수 있다. 나머지 데이터 또는 나머지 정보, 또는 Y 에 대한 X 의 에러 패턴으로 불리는 나머지 (XY) 는 4 개의 개별 값을 가질 수 있고 따라서 2 비트로 인코딩될 수 있다. 이것을, X 를 인코딩하는데 요구되는 최소 가능 (최상) 레이트라 할 수 있다. 수신단에서, 디코더는 이 나머지를 Y 와 결합하여 X 를 얻을 수 있다. 이 경우, 이하 더 상세하게 설명하는 바와 같이, X 는, 힌트 채널을 통해 송신되도록 요구되는 현재의 멀티미디어 코딩 유닛과 유사하다. Y 는메인 채널에 기초한 현재 멀티미디어 코딩 유닛에 대한 재구성본과 유사하다. 나머지가 힌트 채널에 대해 인코딩되는 이러한 방법은 예측 코딩에 대응한다.
제 2 시나리오: 도 2b 에 도시된 바와 같은 제 2 시나리오에서는, X 에 대한 인코더 (인코더 (210B)) 가 Y 에 액세스하지 않는다. 따라서 이 시나리오의 성능은 제 1 시나리오의 성능에 의해 한정된다. 그러나, X 에 대한 인코더는 X 와 Y 간의 상관 구조를 인식하고 또한 디코더가 Y 에 액세스함을 인식한다. 이러한 일견 불량해 보이는 시나리오에서, 제 1 시나리오와 동일한 성능이 달성될 수 있음을 이하에서 알 수 있다. 즉, 제 2 시나리오에서, X 또한 2 비트로 인코딩될 수 있다.
이는 다음의 접근방식을 사용하여 이루어질 수 있다. 이 접근방식에서, X 의 코드워드 스페이스는,
([0 0 0] 및 [1 1 1]) 을 포함하는 코세트 (Coset) 1;
([0 0 1] 및 [1 1 0]) 을 포함하는 코세트 2;
([0 1 0] 및 [1 0 1]) 을 포함하는 코세트 3; 및
([1 0 0] 및 [0 1 1]) 을 포함하는 코세트 4
와 같은, 각각 2 코드워드를 포함하는 4 세트로 분할될 수 있다.
이 예에서, X 에 대한 인코더는 X 에 대한 코드워드를 포함하는 세트를 식별하여, 개별 코드워드 대신에 각 세트에 대한 인덱스를 전달할 수 있다. X 의 코드워드 스페이스에 4 세트가 존재하기 때문에, 이들은 2 비트로 인덱스될 수 있다. 코세트 인덱스의 수신시에, 디코더는 Y 를 사용하여, Y 에 가장 근접한 코드워드를 응답으로서 나타내거나 선언함으로써 그 세트로부터 정확한 X 를 명확히하거나 얻을 수 있다. 전술한 바와 같이, X 와 Y 간의 차이는 1 이하이고, 임의의 세트에서의 2 코드워드간의 차이는 3 이다. 따라서, 제 2 시나리오에서 X 의 디코딩은 코세트 인덱스 및 Y 에 기초하여 정확하게 이루어질 수 있다. 예를 들어, Y 가 [0 0 1] 이고, X 가 [0 1 1] 이면, 인코더 (210B) 는 X 에 대한 개별 코드워드를 전송하는 대신에, X 값을 포함하는 대응하는 세트에 대한 인덱스를 전송하며, 이 경우에는 코세트 4 를 전송한다. 따라서, 인코더 (210B) 로부터 이 인덱스의 수신시에, 디코더 (230B) 는 Y ([0 0 1]) 와 코세트 4 의 코드워드 중 하나인 ([1 0 0]) 간의 차이 (= 2), 및 Y ([0 0 1]) 와 다른 코드워드 ([0 1 1]) 간의 차이 (= 1) 를 계산한다. X 와 Y 간의 차이가 1 이하임을 디코더 (210B) 가 인식하고 있기 때문에, 이 예에서 X 의 정확한 값인 [0 1 1] 이 X 에 대한 관측된 코드워드로서 디코딩된다. 디코더가 상관된 사이드 정보에 액세스하는 이러한 모드의 인코딩을 사이드 정보 코딩이라 한다. 사이드 정보 시스템으로 코딩하는 것을 이용하는 시스템의 성능은, 코드 길이가 커짐에 따라, 예측 코딩에 기초한 시스템의 성능에 매칭될 수 있다. 일반적으로, X 와 Y 간의 상관은 송신 레이트를 감소시키는 것을 도울 수 있다. 전술한 설명에 기초하여, 다음의 관측을 설명한다.
- 코세트 1 은 차이 3 의 반복 채널 코드이고, 다른 세트들은 X 의 코드워드 스페이스에서의 이 코드의 코세트들이다. 이 예에서, X 의 소스 코드워드 스페이스를 분할하기 위해, X 와 Y 간의 상관 차이 (예를 들어, 잡음) 에 "매칭되는" 채널 코드를 사용하였다. 이것은, 예측 코딩 시스템과 동일하거나 필적할만한 높은 압축 성능을 제공하는 사이드 정보 인코딩 시스템을 유발시킨다.
- 실제로, 소스 코드워드 스페이스 및 그렇게 형성된 코세트의 인덱스 레이블링의 분할은 코세트 코드의 구조를 통해 계산적으로 매우 효율적인 방식으로 이루어질 수 있다. 따라서, 사이드 정보 코딩 시스템에서의 인코더는 낮은 인코딩 복잡성을 발생시킨다.
- 또한, 전술한 바와 같은 X 의 분할은 보편적이다. 즉, X 및 Y 가 상관 구조를 만족시키는 한, X 의 동일한 분할은 Y 값에 무관하게 모든 Y 에 대해 작용한다. 예를 들어, X 가 [0 1 0] 이면, X 에 대한 동일한 인코딩 (예를 들어, 코세트 3 의 인덱스) 이 모든 경우의 Y (예를 들어, [0 1 0], [1 1 0], [0 0 0] 및 [0 1 1]) 에 대해 적용가능할 것이다. 따라서, X 에 대한 인코딩과 상관된 정보 Y 의 값간에 독립성이 존재하지 않는 예측 코딩 설정과 달리, 보편성을 제공한다. 따라서, 여기서 제공된 발명은 MPEG-4, H.263, H.264 등과 같은 모든 예측 코딩 기술에 적용될 것이다.
도 3 을 참조하여, 본 발명의 일 실시형태에 따라, 사이드 정보 코딩 접근방식을 사용하는 예시적인 멀티미디어 프로세싱 시스템 (300) 을 설명한다. 도 3 에 도시된 바와 같이, 시스템 (300) 은 인코딩 서브시스템 또는 인코딩 구성요소 (310) 및 디코딩 서브시스템 또는 디코딩 구성요소 (330) 를 포함한다. 일 실시형태에서, 인코딩 서브시스템 (310) 은, MPEG-4 표준 또는 H.263 표준과 같은 확립된 표준에 따라 동작하는 인코더 (312) 를 포함한다. 또한, 인코더 (312) 를 본 명세서에서는 통상의 인코더라 한다. 인코딩 서브시스템 (310) 은, 비디오 인코더 (312) 에 결합되는 또 다른 인코더 (316) (또한 본 명세서에서는 사이드 정보 인코더 또는 힌트 정보 인코더라 한다) 를 더 포함한다. 인코더 (312) 는 입력 데이터를 수신하고 인코딩하여, 메인 채널 (320) 을 통해 디코딩 서브시스템 (330) 에 송신되는 인코딩 데이터를 생성한다. 메인 채널 (320) 은 무선 또는 유선 채널일 수 있다. 인코더 (316) 는 인코더 (312) 로부터 입력 데이터 및 입력 데이터의 재구성본을 수신하도록 결합되고, 무선 또는 유선 채널일 수 있는 개별 채널 (325) 를 통해 디코딩 서브시스템 (330) 에 송신되는 인코딩 사이드 또는 힌트 정보를 생성한다. 또한, 채널 (325) 를 본 명세서에서는 사이드 채널 또는 힌트 채널이라 한다. 일 실시형태에서, 입력 데이터와 입력 데이터의 재구성본간의 차이를, 인코더 (312) 에 의해 생성된 예측 에러 정보를 포함할 수도 있는 나머지 데이터라 한다. 이하, 인코더 (316) 의 구조 및 동작을 더 상세히 설명한다.
일 실시형태에서는, 도 3 에 도시된 바와 같이, 디코딩 서브시스템 (330) 이, MPEG-4 표준 또는 H.263 표준과 같은 확립된 표준에 따라 동작하는 디코더 (332) 를 포함한다. 디코더 (332) 를 본 명세서에서는 통상의 디코더라 한다. 디코딩 서브시스템 (330) 은 사이드 채널 (325) 을 통해 수신된 사이드 정보를 디코딩하는 디코더 (336) 를 더 포함한다. 디코더 (332) 및 디코더 (336) 에 의해 생성된 정보 또는 데이터는 결합되어 출력 데이터 (예를 들어, 출력 비디오 데이터) 를 생성한다. 이하, 디코딩 서브시스템 (330) 및 디코더 (316) 의 구조 및 동작을 더 상세히 설명한다.
도 4 는, 본 발명의 일 실시형태에 따라, 전술한 도 3 에 도시된 인코더 (316) 의 세부 블록도를 도시한다. 도 4 에 도시된 바와 같이, 인코더 (316) (또한 본 명세서에서는 사이드 정보 인코더 또는 단순히 사이드 인코더라 한다) 는 분류 유닛 (410), 베이스 스칼라 양자 유닛 (420), 신드롬 인코딩 유닛 (430), 정제 (refinement) 양자화 유닛 (440) 및 에러 검출/보호 유닛 (450) 을 포함한다. 이하, 인코더 (316) 의 이러한 다양한 유닛 또는 구성요소를 더 상세히 설명한다. 도 4 에 도시된 인코더 (316) 의 구성 또는 구조는 본 발명의 교시에 따른 일 실시형태 또는 일 구현형태일 뿐이다. 본 발명 및/또는 다양한 시스템 환경에 기초하여, 또 다른 구성, 구조 또는 변형이 구현될 수 있다. 예를 들어, 분류 및 신드롬 코드 선택이 일시적 채널 조건에 매칭될 수 있다.
사이드 (힌트) 채널 (325) 상에서 허용된 송신 레이트에 따라, 인코더 (316) 에 의해 수행되는 기능 또는 프로세스의 일부는 수정되거나 생략될 수 있다. 예를 들어, 베이스 스칼라 양자화는 사이드 정보에 대한 가용 비트 레이트 및 N 의 통계값에 따라 수정될 수 있다. 유사하게, 정제 양자화 프로세스 또는 기능은 수정되거나 생략될 수 있다. 설명 및 예시의 목적으로, X 는 인코딩될 현재의 블록, Y 는 메인 채널에서 현재 블록의 재구성본, Y = X + N 으로 설정하며, N 은 X 와 Y 간의 차이를 나타내고, 예를 들어, X 의 인코딩에서의 예측 에러, 잡음, 및/또는 인코딩 및 송신 프로세스에서 개입되는 왜곡 등에 대응할 수도 있다.
다음의 설명에서, 인코딩될 비디오 프레임은 오버랩하지 않는 픽셀의 공간적 블록 (예를 들어, 16×16, 8×8 등) 으로 분할되는 것으로 가정한다. 본 발명의 교시는 인코딩될 비디오 프레임의 임의의 특정한 분할 또는 파티션에 한정되지 않음을 당업자는 인식할 것이다. 이하, 블록별로 진행할 수 있는 인코딩 프로세스를 설명한다.
분류:
일 실시형태에서, 분류 유닛 (410) 은 다음과 같은 분류 기능 또는 프로세스를 수행한다. 채널 코드를 블록에 매칭시키기 위해, 블록은, 현재 프레임의 메인 채널 재구성본과의 상관에 기초하여 분류된다. 특정 경우에 대응하는 N 의 통계값이 적절한 분할 전략을 결정하거나 명령하는데 사용된다. 일 실시형태에서, 블록 프레임 차이 (예를 들어, 동일한 위치에서, 메인 채널 상의 현재 블록과 재구성된 블록간의 제곱평균 에러) 에서의 에너지가 큐 (cue) 로서 사용되어 현재 블록을 분류할 수 있다. 다양한 코딩 모드 또는 클래스가 상관의 상이한 정도에 대응하여 사용될 수 있다. 예를 들어, 상관이 매우 강하여 블록이 전혀 인코딩되지 않는 소위 생략 (SKIP) 모드가 하나의 극단적 예이다. 또 다른 극단적 예로, 매우 약하여 내부 코딩 (intra-coding) 이 적절하게 되는 소위 인트라 (INTRA) 모드가 있다. 따라서, 이러한 2 극단 사이에 다양한 신드롬 코딩 모드가 존재할 수 있다.
베이스 스칼라 양자화
도 4 에 도시된 바와 같이, 인코딩 유닛 (316) 은 픽셀값 상에서 양자화를 수행하는 베이스 스칼라 양자화 유닛 (420) 을 포함한다. 일 실시형태에서, 입력 데이터 (예를 들어, 픽셀값) 는 인코딩 전에 양자화될 필요가 있다. 양자화에 있어서, 스텝 사이즈의 선택은 N 의 통계값에 한정될 수 있다. 예를 들어, X 를 인코딩하는데 매우 세밀한 스텝 사이즈가 선택되면, 코드워드들이 서로 너무 "근접"하여 재구성된 정보 Y 가 정확하게 코드워드들을 명확화하지 못할 수도 있기 때문에, 디코딩 에러가 존재할 수 있다. 이것이 도 5 에 도시된 도면에 설명되어 있다. 도 5 에 도시된 바와 같이, 최상부의 선은 X 에 대한 양자화된 코드워드 세트를 도시하고, 2 개의 하부 선들은 X 에 대한 양자화된 코드워드 스페이스의 2 개의 분할을 도시한다. 직각 박스는 제 1 파티션에 놓인 관측된 코드워드를 도시한다. 이 예에서, N 의 크기가 양자화 스텝 사이즈보다 크기 때문에, 디코더는 재구성된 정보 Y 를 사용하여 부정확한 (원형의) 코드워드를 디코딩한다. 따라서, X 의 엘리먼트 각각은 N 에서의 대응 엘리먼트의 표준편차에 비례하는 스텝 사이즈로 양자화된다.
신드롬 인코딩
다시 도 4 를 참조하면, 신드롬 코딩 유닛 (430) 은 베이스 스칼라 양자화 유닛 (420) 으로부터 생성된 데이터에 따라 신드롬 인코딩을 수행한다. 이 실시형태에서, N 의 통계값을 사용하여 적절하게 생성된 양자화된 코드워드의 스페이스는 양호한 차이 특성을 가진 채널 코드 (예를 들어, 유클리드 공간 격자 채널 코드 (Euclidean space trellis channel code), 터보 코드, LDPC (Low Density Parity Check) 코드 또는 당해 분야에 공지된 다른 채널 코드 등) 를 사용하여 분할될 수 있다. 이것은, 전술한 소스 코드워드 스페이스를 분할하는데 사용되는 반복 채널 코드와 유사하다.
일 실시형태에서, 레이트-1/2 격자 코드가 이 목적으로 사용될 수 있다. 블록 길이 N 의 레이트-1/2 격자 코드는 {0, 1, 2, 3}N 의 서브스페이스이다 (예를 들어, 블록 길이 3 ([0 0 0] 및 [1 1 1]) 의 반복 채널 코드는 {0 1}3 의 서브스페이스이다). 따라서, 스페이스 {0, 1, 2, 3}N 을 분할하는데 사용될 수 있다. 이러한 이유 때문에, 양자화된 코드워드의 스페이스는 {0, 1, 2, 3}N 으로 변환될 필요가 있다. 이것은, 일 실시형태에서는, 도 6 에 도시된 바와 같이, 양자화 격자의 mod-4 레이블링을 사용함으로써 이루어질 수 있다.
일 실시형태에서, 이 경우에 발생되는 송신 레이트 또는 코세트 인덱스 레이트는 1 비트/샘플이다. 이 예에서, {0, 1, 2, 3}N 의 서브스페이스인 블록 길이 N 의 레이트-1/2 격자 코드는 사이즈 4N 의 스페이스에서 2N 코드워드를 가진다. 따라서, 이와 관련된 4N/2N = 2N 코세트가 존재하며, N 비트에 의해 인덱스될 수 있고, 따라서 1 비트/샘플의 레이트에 대응할 수 있다.
각 코드워드와 관련된 코세트 인덱스 (신드롬) 의 생성은, 양자화된 코드워드와 격자코드의 패러티 체크 매트릭스간에 단순한 콘벌루션 연산 (계수의 수에서 선형) 을 통해 계산적으로 효율적인 방식으로 달성될 수 있다.
정제 양자화:
도 4 에 도시된 바와 같이, 신드롬 인코딩 유닛 (430) 에 의해 생성된 데이터는 정제 양자화 유닛 (440) 에 의해 더 정제될 수 있다. 일반적으로, 목표 재구성 품질은 특정한 양자화 스텝 사이즈에 대응한다 (예를 들어, 더 높은 품질은 더 세밀한 양자화 스텝 사이즈에 대응하고, 더 낮은 품질은 더 거친 양자화 스텝 사이즈에 대응한다). 통상적으로, 품질은, PSNR = log10 (2552/MSE) 인 PSNR (Peak Signal-to-Noise Ratio) (dB) 에서 측정되며, 여기서 MSE 는 원 (original) 블록과 블록에서 픽셀의 수에 의해 분할된 인코딩 블록간의 제곱평균 에러 (mean square error) 를 나타낸다.
신드롬이 인코딩되는 픽셀값에 있어서, 기본 양자화 스텝 사이즈는 N 에 의해 한정된다. 이는 디코딩 에러의 확률을 최소화하기 위해 이루어진다. 따라서, 기본 양자화 간격이 높은 신뢰도로 디코더에 정확하게 이송될 수 있다고 가정하면, 목표 양자화 스텝 사이즈로 더 정제될 수 있다. 일 실시형태에서, 정제 동작은, 기본 양자화 간격을 목표 양자화 스텝 사이즈와 동일한 사이즈의 간격으로 점진적으로 서브-분할하는 만큼 단순화될 수 있다. 이 경우, 기본 간격 내의 정제 간격의 인덱스가 디코더에 송신된다.
신드롬 코딩 및 정제 양자화를 수행하는 것은, 사이드 정보로 코딩하는 이점을 구현하고 실현하는 단지 하나의 방식임을 당업자는 이해할 것이다. 전술한 바와 같이, 또 다른 구성, 변형 또는 본 명세서에서 설명한 다양한 프로세싱 단계의 조합이 본 발명의 다양한 애플리케이션에 따라 구현될 수 있다. 예를 들어, 정제 양자화 단계 또는 프로세스는, 필요없다면, 어떠한 애플리케이션 또는 시스템 환경에서는 생략될 수도 있다.
기본 양자화 및 정제 양자화 레벨은 다양한 팩에 기초하여 조정되거나 적응되어 품질과 효율성간의 적절한 균형을 유지할 수 있다. 다양한 요인은, 사이드 정보에 대한 가용 비트 레이트, 채널 조건, 및 소망하는 레벨의 품질을 달성하기 위해 사이드 채널이 제공해야 하는 보호의 양 등을 포함할 수도 있지만, 이에 한정되지는 않는다.
디코딩 에러 검출/보호:
도 4 에 도시된 바와 같이, 인코더 (316) 는 에러 검출/보호 유닛 (450) 을 포함할 수도 있다. 인코더 서브시스템에서, 사이드 정보 인코딩은 주로, 인코딩될 블록 X 와 메인 채널 프레임 메모리에서 이 블록에 대한 "최상의" 예측자 Y 간의 에러의 통계값에 따라 이루어진다. 인코딩 프로세스는 통계적이기 때문에, 검출될 필요가 있는 디코딩 에러가 존재할 수 있다. 이는, 순환 잉여 검사 (CRC) 코드와 같은 에러 보호 코드에 의해 달성될 수 있다. 이 실시형태에서, 인코더 (316) 는 사이드 정보 인코딩 계수에 대한 신드롬 및 코드워드의 양자화된 시퀀스에 대한 충분한 강도의 CRC 체크를 송신한다. 이러한 CRC 체크는 양자화된 코드워드 시퀀스의 "서명 (signature)" 으로서 제공될 수 있다. 통상의 인코딩/디코딩 패러다임과는 반대로, 본 명세서에서 설명하는 새로운 접근방식에서 모션 검색을 수행하는 것은 디코더의 작업이다. 일 실시형태에서, 디코더는 후보 예측자의 스페이스에 대해 하나씩 검색하여, 신드롬에 의해 레이블링된 세트로부터 시퀀스를 디코딩한다. 디코딩된 시퀀스가 CRC 체크와 매칭되면, 디코딩은 성공적인 것으로 선언된다. 코드워드 시퀀스에 대해 신뢰할 만한 서명으로서 작용하기 위해 CRC 는 충분히 강력할 필요가 있다.
도 7 을 참조하면, 디코딩 서브시스템 (330) 의 더 상세한 블록도가 도시된다. 도 7 에 도시된 바와 같이, 디코딩 서브시스템 (330) 은 디코더 유닛 (332), 디코더 유닛 (336), 및 추정 및 재구성 유닛 (730) 을 포함할 수도 있다. 일 실시형태에서, 디코더 (336) (또한, 본 명세서에서는 사이드 정보 디코더 또는 단순히 사이드 디코더라 한다) 는 모션 검색 유닛 (710) 및 신드롬 인코딩 유닛 (720) 을 포함할 수도 있다. 이하, 디코딩 서브시스템 (330) 에 포함된 다양한 유닛의 동작 및 기능을 더 상세히 설명한다.
모션 검색:
일 실시형태에서, 모션 검색 유닛 (710) 은 후보 예측자를 생성하기 위해 모션 검색을 수행하여, 수신된 신드롬에 의해 표시된 세트로부터 양자화된 코드워드의 시퀀스를 디코딩한다. 표준 비디오 알고리즘의 인코딩측에서 수행되는 것과 같이, 포괄적인 하프 픽셀 모션 검색이 사용되어 다양한 후보 예측자를 얻는다. 본 명세서에서 설명하는 방법 및 시스템 구조는, 다중-프레임 예측, 광학 플로우, 제어 그리드 내삽 등과 같은 임의의 또 다른 정교한 모션 추정 과정을 수용하도록 적용될 수 있다.
일 실시형태에서, 메인 채널에 에러가 없을 때, 또는 모션 벡터가 손상되지 않았을 때에는 모션 검색이 수행되지 않는다. 여기서, 모션 검색 동작은 시간 소모적이고, 계산 집약적이다. 따라서, 모션 벡터가 메인 스트림에서 에러없이 도달하면, 모션 검색 동작은 수행될 필요가 없다.
신드롬 디코딩
이러한 설명에 계속하여, 신드롬 디코딩이 신드롬 디코딩 유닛 (720) 에 의해 수행된다. 일 실시형태에서, 모션 검색 유닛 (710) 에 의해 생성되는 후보 예측자 각각은 신드롬에 의해 표시된 세트로부터의 양자화된 코드워드의 시퀀스를 디코딩하는데 사용된다. 격자 코드의 경우에, 이러한 디코딩은 비터비 (Viterbi) 알고리즘을 사용하여 달성될 수 있다. 여기서, 수신된 신드롬에 의해 레이블링된 모든 시퀀스의 세트는 격자 상에서 표현된다. 그 후, 비터비 알고리즘이, 이 세트에서 후보 예측자에 "가장 근접한" 시퀀스를 식별하는데 사용된다. 다른 코드 (예를 들어, 터보 코드) 의 경우에는, 대응하는 디코딩 알고리즘 (예를 들어, 반복적 디코딩) 이 사용될 수 있다. 이러한 디코딩된 시퀀스가 CRC 체크에 매칭되면, 디코딩은 성공적인 것으로 선언된다. 그렇지 않으면, 모션 검색 모듈을 사용하여, 다음 후보 예측자가 얻어지고 과정이 반복된다.
추정 및 재구성:
일단 양자화된 코드워드 시퀀스가 신드롬 디코딩 유닛 (720) 에 의해 복구되면, 복구된 코드워드 시퀀스는 추정 및 재구성 유닛 (730) (또한 본 명세서에서는 결합 유닛이라 한다) 에 제공된다. 메인 채널로부터 사용가능한 예측자와 함께 복구된 코드워드 시퀀스가 사용되어 소스 데이터의 최상의 재구성본을 얻는다. X, Y 및 N 이 가우스 랜덤 변수로서 모델링되었다면, 예측자 및 양자화된 코드워드로부터의 최상의 선형 추정치가 소스 재구성본을 얻는데 사용될 수 있다. 그러나, 임의의 신호 프로세싱 알고리즘 (예를 들어, 공간시간 내삽 (spatio-temporal interpolation)) 또는 후처리 메카니즘이 이 구조에서 이용될 수 있고, 프로세싱 시스템의 전반적인 성능 개선을 제공할 수도 있다.
즉, 도 7 에 도시된 바와 같이, 재구성된 메인 스트림 데이터 및 재구성된 사이드 스트림 데이터는 결합 유닛 (730) 에 의해 결합되어, 출력 데이터 (예를 들어, 비디오 출력 데이터) 를 생성한다. 출력 데이터를 생성하기 위한 다양한 기술이 재구성된 메인 스트림 데이터와 재구성된 사이드 스트림 데이터를 결합하는데 사용될 수 있다. 예를 들어, (선형 추정에 기초한) 선형 가중 또는 공지된 임의의 또 다른 비선형 결합기술이 재구성된 메인 스트림 데이터와 재구성된 사이드 스트림 데이터를 결합하는데 사용될 수 있다.
도 8 은 본 발명의 일 실시형태에 따라 정보 (예를 들어, 비디오 데이터) 를 프로세싱하는 방법의 흐름도를 도시한다. 블록 810 에서는, 입력 데이터 (예를 들어, 입력 비디오 데이터) 가 수신된다. 블록 820 에서는, 입력 비디오 데이터가 확립된 표준 (MPEG-4 또는 H.263 표준) 에 따라 인코딩되어 인코딩 데이터를 생성한다. 블록 830 에서는, 입력 데이터의 재구성본에 기초하여 입력 데이터가 인코딩되어, 인코딩 사이드 정보 (또한 힌트 정보라 한다) 를 생성한다. 블록 840 에서는, 블록 820 에서 생성된 인코딩 데이터가 제 1 채널 (또한, 메인 채널이라 한다) 을 통해 수신지 (예를 들어, 디코딩 서브시스템) 에 송신되고, 인코딩 사이드 정보가 제 2 채널 (또한, 사이드 채널 또는 힌트 채널이라 한다) 을 통해 수신지 (예를 들어, 디코딩 서브시스템) 에 송신된다. 본 명세서에서 설명한 바와 같이, 메인 채널을 통해 송신된 정보 스트림을 메인 스트림이라 하는 한편, 사이드 채널을 통해 송신된 정보 스트림을 사이드 스트림이라 한다. 블록 850 에서는, 메인 채널로부터 인코딩 데이터를 수신할 때 및 사이드 채널로부터 인코딩 사이드 정보를 수신할 때에, 수신된 인코딩 데이터 및 수신된 사이드 정보가 디코딩되어 출력 데이터 (예를 들어, 출력 비디오 데이터) 를 생성한다.
전술한 바와 같이, 본 발명의 다양한 실시형태에 따른 방법 및 시스템 구조는 다양한 시스템 구성, 애플리케이션, 및 비디오 및 오디오 데이터를 포함하는 다양한 타입의 상관된 데이터에서 적용되고 구현될 수 있다. 전술한 설명으로부터, 도 3 에서 설명된 바와 같은 사이드 정보 인코딩/디코딩을 이용하는 프로세싱 시스템에서는 디코딩 서브시스템에 의해 생성된 출력 데이터의 품질 및 시스템 성능이 통상의 시스템에서의 성능 및 품질에 비해 개선됨을 알 수 있다. 즉, 본 명세서에 개시된 사이드 정보 기반 힌트 채널 방법/솔루션은, (1) 프레임 또는 GOP 레벨에서 동작할 필요가 있어서 현저하게 증가된 대기시간을 발생시키는 FEC 솔루션과 반대로, 힌트 채널은 매크로블록 레벨에서 효율적으로 동작할 수 있는 조인트-소스-채널 코드이기 때문에, 본 발명의 사이드 정보 기반 방법/솔루션은 동일한 성능 곡선에 대해 FEC 기반 솔루션보다 훨씬 낮은 대기시간을 발생시키고; (2) 메인 채널 상에서 에러가 존재하지 않는 경우에도, 본 발명의 사이드 정보 기반 접근방식은 전술한 바와 같은 2 정보 스트림의 결합 때문에, 개선된 품질을 발생시킬 수 있는 반면, 표준 FEC 기반 솔루션은 이 경우 품질을 개선시킬 수 없는; 적어도 2 가지 면에서 통상의 FEC 기반 에러 허용 방식/솔루선에 비해 뛰어나다.
본 발명은 구체적인 실시형태들 및 특정한 예들을 참조하여 설명되었지만, 이러한 실시형태들 및 예들은 예시적인 것이며 본 발명의 범주는 이러한 실시형태들에 한정되지 않음을 당업자는 이해해야 한다. 전술한 실시형태들에 대한 다양한 변형, 수정, 추가 및 개선이 가능하다. 이러한 변형, 수정, 추가 및 개선은 다음의 청구항들에서 상세화되는 본 발명의 범주 내에 속하는 것으로 고려된다.
Claims (46)
- 인코딩 데이터를 생성하기 위해 제 1 인코딩 표준에 따라 입력 데이터를 인코딩하는 단계;인코딩 사이드 데이터를 생성하기 위해 상기 입력 데이터의 재구성본에 기초하여 상기 입력 데이터를 인코딩하는 단계; 및상기 인코딩 데이터를 제 1 채널을 통해 수신지에 송신하고, 상기 인코딩 사이드 데이터를 제 2 채널을 통해 수신지에 송신하는 단계를 포함하는, 방법.
- 제 1 항에 있어서,상기 제 1 인코딩 표준은 MPEG-4 표준과 호환가능한 표준인, 방법.
- 제 1 항에 있어서,상기 제 1 인코딩 표준은 H.263 표준과 호환가능한 표준인, 방법.
- 제 1 항에 있어서,상기 입력 데이터는 비디오 데이터를 포함하는, 방법.
- 제 4 항에 있어서,인코딩될 상기 입력 데이터 각각의 프레임은 오버랩하지 않는 픽셀의 공간적 블록으로 분할되는, 방법.
- 제 1 항에 있어서,상기 입력 데이터의 재구성본에 기초하여 상기 입력 데이터를 인코딩하는 단계는,상기 입력 데이터의 블록을 상기 입력 데이터의 현재 프레임의 재구성본과의 상관값에 기초하여 분류하는 단계를 포함하는, 방법.
- 제 6 항에 있어서,상기 블록은 동일한 위치에서 각각의 블록과 재구성된 블록간의 에너지 차이에 기초하여 분류되는, 방법.
- 제 6 항에 있어서,특정한 클래스는 상관의 특정한 정도에 대응하는, 방법.
- 제 6 항에 있어서,상기 입력 데이터에 대응하는 일 세트의 양자화된 코드워드를 생성하기 위해 상기 입력 데이터를 양자화하는 단계를 더 포함하는, 방법.
- 제 9 항에 있어서,상기 입력 데이터를 양자화하는데 사용되는 양자화 파라미터는, 상기 입력 데이터와 상기 입력 데이터의 재구성본간의 차이에 대응하는 나머지 데이터의 통계값에 기초하여 결정되는, 방법.
- 제 10 항에 있어서,상기 나머지 데이터는 상기 입력 데이터의 인코딩으로부터 생성된 예측 에러 정보를 포함하는, 방법.
- 제 9 항에 있어서,인코딩 사이드 데이터를 생성하기 위해 상기 양자화된 코드워드에 대한 신드롬 코딩 프로세스를 수행하는 단계를 더 포함하는, 방법.
- 제 12 항에 있어서,생성된 상기 인코딩 사이드 데이터는 정제 (refinement) 양자화 프로세스를 통해 더 정제되는, 방법.
- 제 12 항에 있어서,상기 인코딩 사이드 데이터에 에러 보호 코드를 추가하는 단계를 더 포함하는, 방법.
- 제 1 항에 있어서,재구성된 데이터를 생성하기 위해 상기 수신지에서 상기 인코딩 데이터를 디코딩하는 단계; 및재구성된 사이드 데이터를 생성하기 위해 상기 수신지에서 상기 인코딩 사이드 데이터를 디코딩하는 단계를 더 포함하는, 방법.
- 제 15 항에 있어서,출력 데이터를 생성하기 위해 상기 재구성된 데이터와 상기 재구성된 사이드 데이터를 결합하는 단계를 더 포함하는, 방법.
- 제 15 항에 있어서,상기 인코딩 사이드 데이터를 디코딩하는 단계는,상기 제 1 채널을 통해 수신된 모션 정보가 에러를 포함하고 있으면, 모션 검색 프로세스를 수행하는 단계를 포함하는, 방법.
- 제 15 항에 있어서,상기 인코딩 사이드 데이터를 디코딩하는 단계는,상기 제 2 채널로부터 수신된 상기 인코딩 사이드 데이터에 대응하는 양자화된 코드워드를 복구하는 신드롬 디코딩 프로세스를 수행하는 단계를 포함하는, 방법.
- 입력 데이터를 수신하고, 제 1 채널을 통한 송신을 위한 인코딩 데이터를 생성하기 위해 제 1 코딩 표준에 따라 상기 입력 데이터를 인코딩하는 제 1 인코더; 및상기 입력 데이터 및 상기 제 1 인코더로부터의 상기 입력 데이터의 재구성본을 수신하고, 제 2 채널을 통한 송신을 위한 인코딩 사이드 데이터를 생성하기 위해 상기 입력 데이터의 상기 재구성본에 적어도 일부 기초하여 상기 입력 데이터를 인코딩하는 제 2 인코더를 구비하는, 장치.
- 제 19 항에 있어서,상기 제 1 코딩 표준은 MPEG-4 표준과 호환가능한 표준인, 장치.
- 제 19 항에 있어서,상기 제 1 코딩 표준은 H.263 표준과 호환가능한 표준인, 장치.
- 제 19 항에 있어서,상기 입력 데이터는 비디오 데이터를 포함하는, 장치.
- 제 22 항에 있어서,인코딩될 상기 입력 데이터 각각의 프레임은 오버랩하지 않는 픽셀의 공간적 블록으로 분할되는, 장치.
- 제 19 항에 있어서,상기 제 2 인코더는 상기 입력 데이터의 블록을 상기 입력 데이터의 현재 프레임의 재구성본과의 상관에 기초하여 분류하는 분류 유닛을 구비하는, 장치.
- 제 24 항에 있어서,상기 입력 데이터의 블록은 동일한 위치에서 각각의 블록과 재구성된 블록간의 에너지 차이에 기초하여 분류되는, 장치.
- 제 24 항에 있어서,특정한 클래스는 상관의 특정한 정도에 대응하는, 장치.
- 제 24 항에 있어서,상기 입력 데이터에 대응하는 일 세트의 양자화된 코드워드를 생성하기 위해 상기 입력 데이터를 양자화하는 양자화 유닛을 더 구비하는, 장치.
- 제 27 항에 있어서,상기 입력 데이터를 양자화하는데 사용되는 양자화 파라미터는, 상기 입력 데이터와 상기 입력 데이터의 재구성본간의 차이에 대응하는 나머지 데이터의 통계값에 기초하여 결정되는, 장치.
- 제 28 항에 있어서,상기 나머지 데이터는 상기 입력 데이터의 인코딩으로부터 생성된 예측 에러 정보를 포함하는, 장치.
- 제 27 항에 있어서,인코딩 사이드 데이터를 생성하기 위해 상기 양자화된 코드워드에 대한 신드롬 코딩을 수행하는 신드롬 코딩 유닛을 더 구비하는, 장치.
- 제 30 항에 있어서,생성된 상기 인코딩 사이드 데이터는 정제 양자화 프로세스를 통해 더 정제되는, 장치.
- 제 30 항에 있어서,상기 인코딩 사이드 데이터에 에러 보호 코드를 추가하는 에러 보호 유닛을 더 구비하는, 장치.
- 제 1 채널을 통해서 수신되는 인코딩 데이터를 디코딩하는 제 1 디코더;제 2 채널을 통해서 수신되는 인코딩 사이드 데이터를 디코딩하는 제 2 디코더; 및출력 데이터를 생성하기 위해, 제 1 인코더로부터 생성된 데이터와 상기 제 2 디코더로부터 생성된 데이터를 결합하는 결합 유닛을 구비하는, 장치.
- 제 33 항에 있어서,상기 제 1 채널을 통해 수신된 모션 정보가 에러를 포함하고 있으면, 모션 검색 동작을 수행하는 모션 검색 유닛을 더 구비하는, 장치.
- 제 33 항에 있어서,상기 제 2 디코더는,상기 제 2 채널을 통해 수신되는 인코딩 사이드 데이터에 대응하는 양자화된 코드워드를 복구하는 신드롬 디코딩 유닛을 구비하는, 장치.
- 입력 데이터를 수신하고, 제 1 채널을 통한 송신을 위한 인코딩 데이터를 생성하기 위해 제 1 코딩 표준에 따라 상기 입력 데이터를 인코딩하는 제 1 인코더;상기 입력 데이터 및 상기 제 1 인코더로부터의 상기 입력 데이터의 재구성본을 수신하고, 제 2 채널을 통한 송신을 위한 인코딩 사이드 데이터를 생성하기 위해 상기 입력 데이터의 상기 재구성본에 적어도 일부 기초하여 상기 입력 데이터를 인코딩하는 제 2 인코더;상기 제 1 채널을 통해 수신된 인코딩 데이터를 디코딩하는 제 1 디코더; 및상기 제 2 채널을 통해 수신된 인코딩 사이드 데이터를 디코딩하는 제 2 디코더를 구비하는, 시스템.
- 제 36 항에 있어서,출력 데이터를 생성하기 위해 상기 제 1 인코더로부터 생성된 데이터와 상기 제 2 디코더로부터 생성된 데이터를 결합하는 결합 유닛을 더 구비하는, 시스템.
- 제 36 항에 있어서,상기 제 2 인코더는,상기 입력 데이터의 블록을 상기 입력 데이터의 현재 프레임의 재구성본과의 상관에 기초하여 분류하는 분류 유닛;상기 입력 데이터에 대응하는 일 세트의 양자화 코드워드를 생성하기 위해 상기 입력 데이터를 양자화하는 양자화 유닛; 및인코딩 사이드 데이터를 생성하기 위해 상기 양자화된 코드워드에 대한 신드롬 코딩을 수행하는 신드롬 코딩 유닛을 구비하는, 시스템.
- 제 36 항에 있어서,상기 제 2 디코더는 상기 제 1 채널을 통해 수신된 모션 정보가 에러를 포함하면, 모션 검색 동작을 수행하는 모션 검색 유닛을 구비하는, 시스템.
- 제 36 항에 있어서,상기 제 2 디코더는 상기 제 2 채널을 통해 수신된 상기 인코딩 사이드 데이터에 대응하는 양자화된 코드워드를 복구하는 신드롬 디코딩 유닛을 구비하는, 시스템.
- 머신에 의해 실행되는 경우,상기 머신이,인코딩 데이터를 생성하기 위해 제 1 인코딩표준에 따라 입력 데이터를 인코딩하는 단계;인코딩 사이드 데이터를 생성하기 위해 상기 입력 데이터의 재구성본에 기초하여 상기 입력 데이터를 인코딩하는 단계; 및제 1 채널을 통해 상기 인코딩 데이터를 수신지에 송신하고, 제 2 채널을 통해 상기 인코딩 사이드 데이터를 수신지에 송신하는 단계를 포함하는 동작을 수행하게 하는 명령들을 포함하는, 머신-판독가능 매체.
- 제 41 항에 있어서,상기 입력 데이터의 상기 재구성본에 기초하여 상기 입력 데이터를 디코딩하는 단계는 상기 입력 데이터를 상기 입력 데이터의 현재 프레임의 재구성본과의 상관값에 기초하여 분류하는 단계를 포함하는, 머신-판독가능 매체.
- 제 42 항에 있어서,상기 입력 데이터에 대응하는 일 세트의 양자화된 코드워드를 생성하기 위해 상기 입력 데이터를 양자화하는 단계를 더 포함하는, 머신-판독가능 매체.
- 제 43 항에 있어서,인코딩 사이드 데이터를 생성하기 위해 상기 양자화된 코드워드에 대한 신드롬 코딩 프로세스를 수행하는 단계를 더 포함하는, 머신-판독가능 매체.
- 제 40 항에 있어서,재구성된 데이터를 생성하기 위해 상기 수신지에서 상기 인코딩 데이터를 디코딩하는 단계; 및재구성된 사이드 데이터를 생성하기 위해 상기 수신지에서 상기 인코딩 사이드 데이터를 디코딩하는 단계를 더 포함하는, 머신-판독가능 매체.
- 제 45 항에 있어서,출력 데이터를 생성하기 위해 상기 재구성된 데이터와 상기 재구성된 사이드 데이터를 결합하는 단계를 더 포함하는, 머신-판독가능 매체.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/396,982 | 2003-03-24 | ||
US10/396,982 US7643558B2 (en) | 2003-03-24 | 2003-03-24 | Method, apparatus, and system for encoding and decoding side information for multimedia transmission |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20050113665A true KR20050113665A (ko) | 2005-12-02 |
KR100967322B1 KR100967322B1 (ko) | 2010-07-05 |
Family
ID=32988908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020057017983A KR100967322B1 (ko) | 2003-03-24 | 2004-03-23 | 멀티미디어 송신을 위한 사이드 정보를 인코딩 및디코딩하는 방법, 장치 및 시스템 |
Country Status (15)
Country | Link |
---|---|
US (1) | US7643558B2 (ko) |
EP (1) | EP1606953B1 (ko) |
JP (1) | JP4814081B2 (ko) |
KR (1) | KR100967322B1 (ko) |
CN (1) | CN1795679B (ko) |
AT (1) | ATE378780T1 (ko) |
AU (1) | AU2004223383A1 (ko) |
BR (1) | BRPI0408708A (ko) |
CA (1) | CA2520098A1 (ko) |
DE (1) | DE602004010081T2 (ko) |
ES (1) | ES2295895T3 (ko) |
MX (1) | MXPA05010251A (ko) |
RU (1) | RU2005132605A (ko) |
TW (1) | TW200507465A (ko) |
WO (1) | WO2004086631A2 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190019372A (ko) * | 2017-08-17 | 2019-02-27 | 삼성전자주식회사 | 무선 통신 시스템에서 주파수 격자 변조를 위한 장치 및 방법 |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7117423B2 (en) * | 2002-04-24 | 2006-10-03 | Georgia Tech Research Corp. | Methods and systems for multiple substream unequal error protection and error concealment |
US8331445B2 (en) * | 2004-06-01 | 2012-12-11 | Qualcomm Incorporated | Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques |
US7860158B2 (en) | 2004-08-27 | 2010-12-28 | Mitsubishi Electric Research Laboratories Inc. | Coding correlated images using syndrome bits |
US7653869B2 (en) * | 2005-02-18 | 2010-01-26 | Sony Corporation | System and method for error correction in high definition TV signal |
WO2006103724A1 (ja) * | 2005-03-25 | 2006-10-05 | Fujitsu Limited | パケットの配信帯域制御方法、配信装置及び映像配信システム |
US8239766B2 (en) | 2005-09-27 | 2012-08-07 | Qualcomm Incorporated | Multimedia coding techniques for transitional effects |
JP4515378B2 (ja) * | 2005-11-14 | 2010-07-28 | 日本電信電話株式会社 | 画像復号装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
US8605797B2 (en) * | 2006-02-15 | 2013-12-10 | Samsung Electronics Co., Ltd. | Method and system for partitioning and encoding of uncompressed video for transmission over wireless medium |
US20070286277A1 (en) * | 2006-06-13 | 2007-12-13 | Chen Xuemin Sherman | Method and system for video compression using an iterative encoding algorithm |
WO2008000292A1 (en) * | 2006-06-30 | 2008-01-03 | Telecom Italia S.P.A. | Method, apparatus and system for robust video transmission |
CN100466749C (zh) * | 2006-12-30 | 2009-03-04 | 清华大学 | 一种基于分布式信源编码的抗误码图像编解码方法 |
DE102007003187A1 (de) * | 2007-01-22 | 2008-10-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines zu sendenden Signals oder eines decodierten Signals |
US20080225780A1 (en) * | 2007-03-13 | 2008-09-18 | Nortel Networks Limited | Use of distributed hashtables for wireless access mobility management |
BRPI0810360A2 (pt) * | 2007-04-17 | 2019-05-14 | Nokia Technologies Oy | solução aquosa estável de aldeído e método de produção do mesmo |
US8842739B2 (en) * | 2007-07-20 | 2014-09-23 | Samsung Electronics Co., Ltd. | Method and system for communication of uncompressed video information in wireless systems |
WO2009080982A2 (fr) * | 2007-12-10 | 2009-07-02 | France Telecom | Traitement d'erreurs binaires dans une trame binaire audionumerique |
US20090310786A1 (en) * | 2008-06-11 | 2009-12-17 | Quintic Holdings | Systems for Channel Coordination of Audio and Data Transmission in a Broadcast Band |
JP5016561B2 (ja) * | 2008-06-25 | 2012-09-05 | シャープ株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法 |
US8111755B2 (en) * | 2008-06-25 | 2012-02-07 | International Business Machines Corporation | Method and system for low-complexity Slepian-Wolf rate estimation in Wyner-Ziv video encoding |
US20100111181A1 (en) * | 2008-11-06 | 2010-05-06 | Mediatek Inc. | Video processing apparatus and methods |
US20100166057A1 (en) * | 2008-12-29 | 2010-07-01 | Gregory Huchet | Differential Data Representation for Distributed Video Coding |
JP5071413B2 (ja) * | 2009-03-02 | 2012-11-14 | 沖電気工業株式会社 | 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム |
US8824571B1 (en) * | 2009-03-06 | 2014-09-02 | Comtech Ef Data Corp. | Telecommunication block code |
US9369759B2 (en) * | 2009-04-15 | 2016-06-14 | Samsung Electronics Co., Ltd. | Method and system for progressive rate adaptation for uncompressed video communication in wireless systems |
US20110052087A1 (en) * | 2009-08-27 | 2011-03-03 | Debargha Mukherjee | Method and system for coding images |
TWI575887B (zh) | 2010-04-13 | 2017-03-21 | Ge影像壓縮有限公司 | 在樣本陣列多元樹細分中之繼承技術 |
KR102355155B1 (ko) | 2010-04-13 | 2022-01-24 | 지이 비디오 컴프레션, 엘엘씨 | 평면 간 예측 |
TWI756010B (zh) | 2010-04-13 | 2022-02-21 | 美商Ge影像壓縮有限公司 | 樣本區域合併技術 |
FI3955579T3 (fi) | 2010-04-13 | 2023-08-16 | Ge Video Compression Llc | Videokoodaus käyttäen kuvien monipuurakenteen alaosioita |
EP2822618B1 (en) | 2012-03-06 | 2024-01-10 | Antares Pharma, Inc. | Prefilled syringe with breakaway force feature |
CN104247273B (zh) * | 2012-03-28 | 2017-05-17 | 英特尔公司 | 用于重构码字的设备及计算机实现的方法 |
RU2541851C2 (ru) * | 2013-05-29 | 2015-02-20 | Открытое акционерное общество "Головное системное конструкторское бюро Концерна ПВО "Алмаз-Антей" имени академика А.А. Расплетина" (ОАО "ГСКБ "Алмаз-Антей") | Устройство защиты от ошибок |
DK3066760T3 (da) | 2013-11-07 | 2020-04-20 | Ericsson Telefon Ab L M | Fremgangsmåder og indretninger til vektorsegmentering til kodning |
US9986260B2 (en) * | 2014-11-14 | 2018-05-29 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Census transform data compression methods and systems |
US10708596B2 (en) * | 2017-11-20 | 2020-07-07 | Ati Technologies Ulc | Forcing real static images |
JP6523498B1 (ja) * | 2018-01-19 | 2019-06-05 | ヤフー株式会社 | 学習装置、学習方法および学習プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4191970A (en) * | 1978-05-15 | 1980-03-04 | Bell Telephone Laboratories, Incorporated | Interframe coder for video signals |
DE69730965T2 (de) * | 1996-07-15 | 2006-02-23 | Snell & Wilcox Ltd. | Videosignalkompression |
US6078616A (en) | 1997-03-13 | 2000-06-20 | Sony Corporation | Methods and apparatus for error concealment utilizing temporal domain motion vector estimation |
US6353629B1 (en) * | 1997-05-12 | 2002-03-05 | Texas Instruments Incorporated | Poly-path time domain equalization |
GB2333656B (en) * | 1998-01-22 | 2002-08-14 | British Broadcasting Corp | Compressed signals |
US6293142B1 (en) | 1998-08-14 | 2001-09-25 | Mts Systems Corporation | Electromagnetic method of liquid level monitoring |
CN1110205C (zh) | 1998-12-15 | 2003-05-28 | 国家科学技术委员会高技术研究发展中心 | 并行解码的数字信源解码器 |
KR100327412B1 (ko) * | 1999-08-02 | 2002-03-13 | 서평원 | 에러 정정을 위한 영상 부호화 및 복호화 방법 |
TW540248B (en) * | 2000-07-19 | 2003-07-01 | Koninkl Philips Electronics Nv | Method and device for generating a multiplexed MPEG signal |
JP3664381B2 (ja) * | 2000-09-29 | 2005-06-22 | Kddi株式会社 | ビデオ分割符号化伝送装置 |
US6888888B1 (en) * | 2001-06-26 | 2005-05-03 | Microsoft Corporation | Simultaneous tuning of multiple channels using intermediate frequency sub-sampling |
-
2003
- 2003-03-24 US US10/396,982 patent/US7643558B2/en not_active Expired - Fee Related
-
2004
- 2004-03-23 MX MXPA05010251A patent/MXPA05010251A/es active IP Right Grant
- 2004-03-23 JP JP2006507516A patent/JP4814081B2/ja not_active Expired - Fee Related
- 2004-03-23 EP EP04758095A patent/EP1606953B1/en not_active Expired - Lifetime
- 2004-03-23 BR BRPI0408708-9A patent/BRPI0408708A/pt not_active Application Discontinuation
- 2004-03-23 AU AU2004223383A patent/AU2004223383A1/en not_active Abandoned
- 2004-03-23 AT AT04758095T patent/ATE378780T1/de not_active IP Right Cessation
- 2004-03-23 CN CN2004800143207A patent/CN1795679B/zh not_active Expired - Fee Related
- 2004-03-23 RU RU2005132605/09A patent/RU2005132605A/ru not_active Application Discontinuation
- 2004-03-23 ES ES04758095T patent/ES2295895T3/es not_active Expired - Lifetime
- 2004-03-23 WO PCT/US2004/008950 patent/WO2004086631A2/en active Search and Examination
- 2004-03-23 CA CA002520098A patent/CA2520098A1/en not_active Abandoned
- 2004-03-23 DE DE602004010081T patent/DE602004010081T2/de not_active Expired - Lifetime
- 2004-03-23 KR KR1020057017983A patent/KR100967322B1/ko active IP Right Grant
- 2004-03-24 TW TW093107924A patent/TW200507465A/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190019372A (ko) * | 2017-08-17 | 2019-02-27 | 삼성전자주식회사 | 무선 통신 시스템에서 주파수 격자 변조를 위한 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
CA2520098A1 (en) | 2004-10-07 |
JP2006521759A (ja) | 2006-09-21 |
DE602004010081D1 (de) | 2007-12-27 |
ES2295895T3 (es) | 2008-04-16 |
WO2004086631A3 (en) | 2005-06-23 |
US20040194008A1 (en) | 2004-09-30 |
KR100967322B1 (ko) | 2010-07-05 |
ATE378780T1 (de) | 2007-11-15 |
CN1795679B (zh) | 2010-11-24 |
EP1606953A2 (en) | 2005-12-21 |
JP4814081B2 (ja) | 2011-11-09 |
US7643558B2 (en) | 2010-01-05 |
WO2004086631A2 (en) | 2004-10-07 |
TW200507465A (en) | 2005-02-16 |
CN1795679A (zh) | 2006-06-28 |
RU2005132605A (ru) | 2006-05-10 |
MXPA05010251A (es) | 2005-12-14 |
BRPI0408708A (pt) | 2006-03-07 |
DE602004010081T2 (de) | 2008-09-11 |
AU2004223383A1 (en) | 2004-10-07 |
EP1606953B1 (en) | 2007-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100967322B1 (ko) | 멀티미디어 송신을 위한 사이드 정보를 인코딩 및디코딩하는 방법, 장치 및 시스템 | |
US7400774B2 (en) | Encoding and decoding of digital data using cues derivable at a decoder | |
CN1893666B (zh) | 视频编码和解码方法及设备 | |
US6111916A (en) | Error resilient encoding | |
CA2440154C (en) | Picture encoding method and apparatus and picture decoding method and apparatus | |
Fleming et al. | Generalized multiple description vector quantization | |
US6920179B1 (en) | Method and apparatus for video transmission over a heterogeneous network using progressive video coding | |
CA2171927C (en) | Encoding apparatus for hierarchically encoding image signal and decoding apparatus for decoding the image signal hierarchically encoded by the encoding apparatus | |
US8385406B2 (en) | Method and apparatus of coding/decoding image | |
US7289565B1 (en) | Multiple description coding communication system | |
US8594205B2 (en) | Multiple description coding communication system | |
US5600374A (en) | Image encoding/decoding apparatus | |
Majumdar et al. | Robust distributed video compression based on multilevel coset codes | |
Majumdar et al. | PRISM: an error-resilient video coding paradigm for wireless networks | |
MATSUMURA et al. | Self-synchronized syntax for error-resilient video coding | |
Chen et al. | Trellis decoding for MPEG-4 streams over wireless channels | |
Subbalakshmi et al. | Joint source-channel decoding for MPEG-4 coded video over wireless channels | |
Li et al. | Error resilient video transmission with adaptive stream-shuffling and bi-directional error concealment | |
Bernaus | Entropy coding techniques for robust video compression | |
Artigas et al. | Analysis of the coset statistics in a Distributed Video Coding Scheme | |
Fumagalli et al. | A sequence-based error-concealment algorithm for an unbalanced multiple description video coding system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130531 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20140529 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160330 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20180329 Year of fee payment: 9 |