KR20070084225A

KR20070084225A - 비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한필름 그레인 ｓｅｉ 메시지 삽입

Info

Publication number: KR20070084225A
Application number: KR1020077011000A
Authority: KR
Inventors: 호안 래치; 크리스티나 고밀라; 제프리 앨런 쿠퍼; 질 맥도날드 보이스
Original assignee: 톰슨 라이센싱
Priority date: 2004-11-16
Filing date: 2005-11-08
Publication date: 2007-08-24
Also published as: WO2006055333A2; KR20120103738A; MY138582A; US9117261B2; KR101229942B1; CA2587118C; CA2587118A1; JP4950059B2; KR101270755B1; MX2007005829A; EP1813119A2; BRPI0517828A; US20080192817A1; CN101138247B; CN101138247A; JP2008521285A; EP1813119B1; WO2006055333A3

Abstract

비디오 시스템에 있어서, 비트까지 정확한(bit-accurate) 시뮬레이션을 위한 필름 그레인 SEI 메시지 삽입의 방법 및 장치가 개시된다. 순서화된 시퀀스에서 필름 그레인을 시뮬레이션하는 방법은, 복수의 인트라 코드화된 화상에 대응하는 필름 그레인 보조 정보를 제공하는 단계(305), 및 디코딩 순서에서 연속적인 인트라 코드화(intra coded)된 화상들 사이의 인터 코드화(inter coded) 화상에 대응하는 추가적인 필름 그레인 보조 정보를 제공하는 단계(310)를 포함한다. 인터 코드화된 화상은 디스플레이 순서에 기반하여 선택된다.

비디오, 그레인, 시뮬레이션, 화상, 필름

Description

비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한 필름 그레인 ＳＥＩ 메시지 삽입{FILM GRAIN SEI MESSAGE INSERTION FOR BIT-ACCURATE SIMULATION IN A VIDEO SYSTEM}

본 출원은 2004.11.16일자로 출원되고, 명칭이 "FILM GRAIN SEI MESSAGE INSERTION FOR BIT-ACCURATE SIMULATION IN A VIDEO SYSTEM"인 미국 가출원 번호 제60/628,477호의 혜택을 주장하고, 그 전체내용이 여기 참조에 의해 병합된다.

본 발명은 일반적으로 비디오 인코더 및 비디오 디코더에 관한 것으로서, 특히 비디오 시스템에 있어서 비트까지 정확한 필름 그레인 시뮬레이션을 위한 필름 그레인 보조 향상 정보(SEI: Supplemental Enhancement Information) 메시지 삽입에 대한 것이다.

필름 그레인 관리방식 {FGM: Film Grain Management, 또한 필름 그레인 기술, 즉 FGT(Film Grain Technology)으로 명칭됨}은 비디오 디코더에 의한 사용을 위해 병렬 정보로서 전송될 파라메터화된 모델에 의해 영화 필름으로 그레인을 인코딩하는 것을 허용하는 새로운 툴로서 제시되었다. FGM을 지원하기 위해, ITU-T Rec. H.264 ｜ ISO/IEC 14496-10 ｜ MPEG-4 AVC ｜ JVT(Joint Video Team) 표준(이후 "H.264 표준"임)에 대한 FRExt(Fidelity Range Extension) 개정안은 필름 그레인 SEI(Supplemental Enhancement Information) 메시지를 정의하고 있다. 이 SEI 메시지는 크기 및 세기와 같은 속성에 관한 필름 그레인 특성을 기술하고, 비디오 디코더가 필름 그레인 룩(film grain look)을 디코딩된 화상으로 시뮬레이션하는 것을 허용한다. H.264 표준은 어떤 파라메터가 필름 그레인 SEI 메시지에 존재하는 지를 지정하고, 파라메터를 어떻게 해석하는지 및 2진수 포맷으로 SEI 메시지를 인코딩하기 위한 문법을 지정한다. 그러나, H.264 표준은 비디오 디코더에 의해 필름 그레인 SEI 메시지를 수신하는 경우, 필름 그레인을 시뮬레이션하기 위해 정확한 절차를 지정하지는 않는다. FGM은 임의의 다른 비디오 코딩 방법과 결합하여 사용될 수 있으며, 이는 FGM이 디코딩 과정에 영향을 미치지 않는 인코더로부터 전송된, 병렬 정보를 이용하기 때문임을 이해해야할 것이다.

FGM에 있어서, 인코더는 비디오 시퀀스의 필름 그레인을 모델링하고, 디코더는 수신된 정보에 따라 필름 그레인을 시뮬레이션한다. 필름 그레인을 유지하기에 어려움이 있는 경우, 인코더는 압축된 비디오의 품질을 향상시키기 위해 FGM을 사용할 수 있다. 추가적으로, 인코더는 인코딩에 앞서 필름 그레인을 제거 또는 감소시키는 것에 대한 옵션을 가지게 되므로 비트율을 감소시킬 수 있다.

필름 그레인 시뮬레이션은 원래 필름 컨텐츠의 룩(look)을 시뮬레이션하는 필름 그레인 샘플의 합성에 목적이 있다. 전체적으로 인코더에서 실행되는 필름 그레인 모델링과 달리, 필름 그레인 시뮬레이션은 디코더에서 실행된다. 필름 그레인 시뮬레이션은 디스플레이에 앞서 비디오 스트림을 디코딩한 후 이루어진다. 추가된 필름 그레인을 가지는 이미지는 디코딩 과정 내에서 사용되지 않는다. 사후-처리방식이 되므로, 디스플레이 과정을 위한 디코딩된 이미지에 관한 시뮬레이션된 필름 그레인의 합성은 H.264 표준에서 지정되지 않는다. 필름 그레인 시뮬레이션 처리과정은 위에서 언급된 H.264 표준의 FRExt(Fidelity Range Extension) 개정안에 의해 지정된 필름 그레인 SEI 메시지로 전송된 필름 그레인 보조 정보의 디코딩 과정을 포함한다.

필름 그레인 시뮬레이션에 대한 이전에 공개된 종래 기술의 접근법에 있어서, 사양서의 세트가 보통 플레이백 동안 비트까지 정확한 필름 그레인 시뮬레이션을 허용하도록 공개된다. 트릭 모드 플레이(예를 들면, 고속전진, 역 플레이백, 챕터로의 점프, 기타 등등)를 가지는 비트-정확도(bit-accuracy)를 지원하기 위해, 이러한 첫 번째 종래 기술의 접근 방식에 대한 추가사항(이후, 이 추가사항은 두 번째 종래 기술의 접근 방식으로 명칭됨)이 개발되었다. 필름 그레인 시뮬레이션에 대한 두 번째 종래 기술에 있어서, 비트-정확도는 I 프레임에만 선행하는 필름 그레인 SEI 메시지를 전송하고, 전송된 필름 그레인 SEI 메시지를 디코딩 순서로 강제 적용시킴으로써, 달성된다. 두 번째 종래 기술의 접근 방식은 필름 그레인 SEI 메시지의 전송으로 인해 비디오 비트-스트림에서 최소 오버헤드로, 트릭 모드 플레이뿐만 아니라 보통 플레이백에서의 모든 프레임에 대한 일관성있는 필름 그레인 시뮬레이션을 보장한다. 그러나, H.264 표준은 SEI 메시지가 디스플레이 순서로 인가되는 것을 지정하므로(두 번째의 종래 기술 접근방식에서 지정된 디코딩 순서와 비교됨), 두 번째의 종래 기술 접근방식에서 제안된 해결책은 H.264 표준과 순응하지 않는다. 이러한 사실이 인식된 시각적 품질에 영향을 미치지 않으면서, 이는 H.264 표준에 대한 순응성이 요구되는 이들 포럼의 두 번째 종래 기술 방식에서 공개된 사양서의 사용을 예방할 수 있을 것이다.

도 1을 참조하면, 보통 플레이백(playback)에서의 필름 그레인 시뮬레이션은 참조번호 100에 의해 일반적으로 표시된다. 특히, 도 1은 두 번째 종래 기술 접근방식에 따른 디코딩 순서(110)에서의 필름 그레인 시뮬레이션과 H.264 표준에 따른 디스플레이 순서(120)의 필름 그레인 시뮬레이션 사이의 차이점을 보여준다. 이러한 예에서, 필름 그레인 SEI 메시지는 각 I 화상을 선행하여 전송된다. 굵은 글씨체는 필름 그레인 SEI가 삽입된 화상을 나타낸다. 도 1의 디코딩 순서에서, 화상(I2)으로 전송된 필름 그레인 SEI 메시지는 화상(B10)이 도달(포함)될 때까지, 모든 다음 화상에서 사용된다. 화상 위(디코딩 순서) 또는 아래(디스플레이 순서) 수평선은 화상으로 사용된 필름 그레인 파라메터(FGn)를 나타낸다; 즉, 예를 들면, 도 1에서, 디스플레이 순서, 필름 그레인 파라메터(FG1)는 두 번째 B1 화상(포함)때까지 첫 번째 I2 화상으로부터 사용된다. 만일 SEI 메시지가 디코딩 순서에서 I 화상 이후의 모든 프레임에 적용되는 것으로 가정된다면, 두 번째 종래 기술의 접근방식으로 지정된 바와 같이, I2로 전송된 필름 그레인 SEI 메시지는 프레임(B0)과 프레임(B1)에 적용될 것이다. 그러나, 만일 SEI 메시지가 디스플레이 순서에서 I 화상 이후의 모든 프레임에 적용되는 것으로 가정된다면, H.264 표준으로 지정된 바와 같이, 프레임(B0)과 프레임(B1)은 이전 I 화상의 필름 그레인 SEI 메시지에 의해 영향을 받을 것이다.

따라서, 비트까지 정확한 방식과 H.264 표준에 순응하여, 비디오 시스템에서 필름 그레인 SEI 메시지를 삽입하는 방법을 가지는 것이 바람직하고, 매우 유리할 수 있을 것이다.

종래 기술의 이들 및 다른 단점들은 본 발명에 의해 해소되며, 본 발명은 비디오 시스템에 있어서, 비트까지 정확한 시뮬레이션을 위한 필름 그레인 특성의 SEI(Supplemental Enhancement Information) 메시지 삽입에 대한 것이다.

본 발명의 측면에 따르면, 순서화된 시퀀스에서의 필름 그레인을 시뮬레이션하기 위한 방법이 제공된다. 본 방법은 복수의 인트라 코드화된 화상에 대응하는 필름 그레인 보조 정보를 제공하는 단계, 및 디코딩 순서에서 연속적인 인트라 코드화된(intra coded) 화상 사이의 인터 코드화된(inter coded) 화상에 대응하는 추가적인 필름 그레인 보조 정보를 제공하는 단계를 포함한다. 인터 코드화된 화상은 디스플레이 순서에 기반하여 선택된다.

본 발명의 다른 측면에 따르면, 플레이 모드와 관계없이 일관성있는 필름 그레인 시뮬레이션을 제공하기 위해 디스플레이 순서에서 필름 그레인을 시뮬레이션을 하는 비트까지 정확한 방법이 제공된다. 본 방법은 I, P 및 B 화상을 선행하는 필름 그레인 SEI 메시지를 전송하는 단계를 포함한다. 하나의 필름 그레인 SEI 메시지 만이 I, P 및 B 화상 중 특정한 하나를 선행한다. 게다가, B 화상을 선행하는 필름 그레인 SEI 메시지의 하나만이, 디코딩 순서에서, B 화상을 선행하는 I 화상 또는 P 화상의 필름 그레인 SEI 메시지와 동일하다.

본 발명의 또 다른 측면에 따르면, 순서화된 시퀀스로 필름 그레인을 시뮬레이션하는 장치가 제공된다. 이 장치는, 복수의 인트라 코드화된 화상에 대응하는 필름 그레인 보조 정보를 제공하고, 디코딩 순서에서, 연속적인 인트라 코드화된 화상들 사이의 인터 코드화된 화상에 대응하는 추가적인 필름 그레인 보조 정보를 제공하는 필름 그레인 모델링기(modeler)를 포함한다. 인터 코드화된 화상은 디스플레이 순서에 기반하여 선택된다.

본 발명의 또 다른 측면에 따르면, 플레이 모드에 관계없이 일관성있는 필름 그레인 시뮬레이션을 제공하기 위해 디스플레이 순서에서 필름 그레인을 시뮬레이션하는 비트까지 정확한 장치가 제공된다. 이 장치는 I, P 및 B 화상을 선행하는 필름 그레인 SEI 메시지를 전송하기 위한 필름 그레인 모델링기를 포함한다. 하나의 필름 그레인 SEI 메시지만이 I, P 및 B 화상 중 특정한 하나를 선행한다. 게다가, B 화상을 선행하는 필름 그레인 SEI 메시지 중의 하나만이, 디코딩 순서에서, B 화상을 선행하는 I 화상 또는 P 화상의 필름 그레인 SEI 메시지와 동일하다.

본 발명의 이들 및 다른 측면, 특징 및 이점이 예시적인 실시예의 이후 상세 설명으로부터 명확해질 것이며, 이 상세한 설명은 첨부된 도면과 연결하여 파악될 것이다.

본 발명은 다음의 예시적인 도면에 따라 더 잘 이해될 수 있다.

도 1은 종래 기술에 따라 보통 플레이백에서 필름 그레인 시뮬레이션을 예시하는 도면.

도 2는 본 발명이 적용될 수 있는 필름 그레인 관리방식(FGM: Film Grain Management)의 처리과정 체인을 예시하는 블럭도.

도 3은 본 발명의 원리에 따른 비디오 시스템에서의 비트까지 정확한 시뮬레이션을 위한 필름 그레인 SEI 메시지 삽입을 위한 방법을 예시하는 흐름도.

도 4는 본 발명의 원리에 따른 보통 플레이백에서의 필름 그레인 시뮬레이션 예를 예시하는 도면.

도 5는 본 발명의 원리에 따른 트릭 모드 플레이에서의 필름 그레인 시뮬레이션 예를 예시하는 도면.

도 6은 본 발명의 원리에 따른 2배속 고속전진의 트릭모드 플레이에서의 필름 그레인 시뮬레이션 예를 도시한 도면.

도 7은 본 발명의 원리에 따른 비디오 시스템에서 비트까지 정확한 시뮬레이션에 대한 필름 그레인 SEI 메시지 삽입을 위한 또 다른 방법을 예시하는 흐름도.

도 8은 본 발명의 원리에 따른 비디오 시스템에서의 비트까지 정확한 시뮬레이션에 대한 필름 그레인 SEI 메시지 삽입을 위한 또 다른 방법을 예시하는 흐름도.

도 9는 본 발명의 원리에 따른 보통 플레이백에서 필름 그레인 시뮬레이션의 예를 예시하는 도면.

도 10은 본 발명의 원리에 따른 비디오 시스템에서의 비트까지 정확한 시뮬레이션에 대한 필름 그레인 SEI 메시지 삽입을 위한 또 다른 방법을 예시하는 흐름도.

본 발명은 비디오 시스템에서의 비트까지 정확한 시뮬레이션을 위한 필름 그레인 SEI(Supplement Enhancement Information: 보조 향상 정보) 메시지 삽입에 대한 것이다.

유리하게는, 본 발명은 H.264 표준에 순응하는 보통 플레이 및 트릭모드 플레이 동안 필름 그레인 시뮬레이션 프로세스의 비트까지 정확한 구현을 허용한다. 본 발명의 예시적인 하나의 실시예에 따르면, 필름 그레인 SEI 메시지는, 종래 기술과 같이, I 화상을 선행할 뿐만 아니라, 디코딩 순서에 있어서 연속적인 I 화상 사이에서, 최소 POC(Picture Order Count: 화상 순서 카운팅) 값을 가지는 P 또는 B 화상을 선행하여 전송되어야 한다. 또한, 본 발명에 따른 다른 발명의 명세서가 여기에 제공된다. 여기에 기술된 본 발명의 가르침이 주어진다면, 본 발명은 대역내(in-band) 또는 대역외(out-of-band)에서 필름 그레인 파라메터의 사전설정된 세트를 전달할 수 있는 능력을 가지는 임의의 다른 비디오 코딩 표준과 결합되어 적용될 수 있음을 이해해야 할 것이다.

본 설명은 본 발명의 원리를 예시한다. 그러므로, 당업자라면, 비록 여기에 명백하게 도시되거나 설명되지 않을지라도, 본 발명의 원리를 구체화하고, 본 발명 의 기술사상 및 범위 내에 포함되는 다양한 구성을 안출할 수 있다는 것이 인식될 것이다.

여기에 인용된 모든 예와 조건적 언어는, 이 분야를 촉진하도록 발명자에 의해 제공된 본 발명의 원리 및 개념을 독자가 이해함에 있어, 도움을 주기 위해 교육상 의도되며, 이러한 특별히 인용된 예 및 조건으로 제한되지 않는 것으로 해석된다.

게다가, 본 발명의 실시예 측면, 원리뿐만 아니라 본 발명의 특정예를 언급하는 본 명세서 내의 모든 진술은 본 발명의 구조적 및 기능적 등가물 둘 다를 포함하는 것을 의미한다. 추가적으로, 이러한 등가물은 장래에 개발되는 등가물뿐만 아니라 현재 잘 알려진 등가물 둘 다, 즉 구조와 관계없이 동일한 기능을 실행하는 개발된 임의의 구성요소를 포함하는 것을 의미한다.

그러므로, 예를 들면, 당업자라면 여기에 제공된 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념도를 나타내는 것임을 이해해야 할 것이다. 유사하게, 임의의 플로우 챠트, 흐름도, 상태 천이도, 의사코드, 및 기타 그 밖의 유사한 것은 컴퓨터 또는 프로세서가 명시적으로 도시되든 안되든, 컴퓨터로 읽을 수 있는 매체로 표현될 수 있으며, 컴퓨터 또는 프로세서에 실행될 수 있는 매체로 실질적으로 표현될 수 있는 다양한 프로세스를 나타낸다는 것을 이해해야 할 것이다.

도면에 도시된 다양한 구성요소의 기능은 적당한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용을 통하여 제공될 수 있다. 프로세서에 의해 제공되는 경우, 기능은 단일의 전용 프로세서에 의해, 단일의 공유 프로세서에 의해, 또는 복수의 개별적인 프로세서에 의해 제공될 수 있으며, 이중 일부는 공유될 수 있다. 더욱이, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 언급하는 것으로 이해되서는 아니 될 것이며, 제한없이, "DSP"(Digital Signal Processor) 하드웨어, 소프트웨어를 저장하기 위한 "ROM"(Read-Only-Memory), "RAM(Random Access Memory) 및 비-휘발성 저장수단을 암시적으로 포함할 수 있다.

또한, 일반적 및/또는 주문형 다른 하드웨어가 포함될 수 있다. 유사하게, 도면에 도시된 임의의 스위치는 단지 개념적이다. 이러한 기능은 프로그램 로직의 동작, 전용 로직, 프로그램제어 및 전용 로직의 상호작용을 통하여 수행될 수 있으며, 심지어는 수동적으로, 그러한 상황으로부터 더 특정하게 이해하는 구현자에 의해 특정 기술이 선택가능하다.

본 발명의 청구항에 있어서, 지정된 기능을 실행하는 수단으로 표현된 임의의 구성요소는, 예를 들면 a) 그 기능을 실행하는 회로 구성요소 간의 결합 또는 b) 이 기능을 실행하기 위해 그 소프트웨어를 실행하는 적당한 회로류와 결합한, 펌웨어, 마이크로코드(microcode) 또는 그와 같은 것을 포함하는 임의 형태의 소프트웨어를 포함하는 그 기능을 실행하기 위한 임의의 방법을 포함하는 것을 의미한다. 이러한 청구항에 의해 한정된 본 발명은, 다양한 인용 수단에 의해 제공된 기능성이 청구항이 청구하는 방식으로 조합 및 결합된다는 사실에 있다. 그러므로, 이들 기능성을 제공할 수 있는 임의의 수단은 여기에 도시된 기능성과 동등한 것으로 여겨진다.

도 2를 참조하면, 본 발명이 적용될 수 있는 필름 그레인 관리방식(FGM: Film Grain Management) 프로세싱 체인(chain)은 일반적으로 참조번호 200에 의해 표시된다. 이 FGM 프로세싱 체인은 송신기(210) 및 수신기(250)를 포함한다. 송신기는 필름 그레인 제거기(212), 비디오 인코더(214), 및 필름 그레인 모델링기(modeler)(216)를 포함한다. 이 수신기는 비디오 디코더(252), 필름 그레인 시뮬레이터(254), 및 결합기(256)를 포함한다.

송신기(210)에 대한 입력은 필름 그레인 제거기(212)의 입력 및 필름 그레인 모델링기(216)의 첫 번째 입력과 신호 통신해서 연결된다. 필름 그레인 제거기(212)의 출력은 비디오 인코더(214)의 입력 및 필름 그레인 모델링기(216)의 두 번째 출력과 신호 통신해서 연결된다. 비디오 인코더(214)의 출력은 송신기(210)의 첫 번째 출력으로서 이용가능하다. 필름 그레인 모델링기(216)의 출력은 송신기(210)의 두 번째 출력으로서 이용가능하다. 송신기(210)의 첫 번째 출력은 수신기(250)의 첫 번째 입력과 신호 통신해서 연결된다. 송신기(210)의 두 번째 출력은 수신기(250)의 두 번째 입력과 신호 통신해서 연결된다. 수신기(250)의 첫 번째 입력은 비디오 디코더(252)의 입력과 통신 신호로 연결된다. 수신기(250)의 두 번째 입력은 필름 그레인 시뮬레이터(254)의 첫 번째 입력과 신호 통신해서 연결된다. 비디오 디코더(252)의 첫 번째 출력은 필름 그레인 시뮬레이터(254)의 두 번째 입력과 통신 신호로 연결된다. 비디오 디코더(252)의 두 번째 출력은 결합기(256)의 첫 번째 입력과 통신 신호로 연결된다. 필름 그레인 시뮬레이터의 출력은 결합기(256)의 두 번째 입력과 통신 신호로 연결된다. 결합기(256)의 출력은 수신 기(250)의 출력으로서 이용가능하다.

이제, 비디오 시스템에서의 비트까지 정확한 시뮬레이션을 위한 필름 그레인 SEI(Supplement Enhancement Information: 보조 향상 정보) 메시지 삽입에 관해 본 발명의 원리에 따른 제 1 예시적 실시예에 관해 도 3에 대해 설명이 주어지게 될 것이다. 도 3의 방법은, 비트-정확성(bit-accuracy) 및 H.264 표준과의 순응성을 제공하는 추가적인 설명으로, SEI 메시지 삽입에 관해 첫 번째 및 두 번째 종래 기술에 대하여 위에 기술된 설명을 확장한다.

도 3을 참조하면, 비디오 시스템에서의 비트까지 정확한 시뮬레이션에 대한 필름 그레인 SEI 메시지 삽입에 대한 방법은 참조번호 300에 의해 일반적으로 표시된다. 이 방법은 기능 블럭(305)에 제어권을 넘겨주는 시작 블럭(302)을 포함한다. 기능 블럭(305)은 필름 그레인 SEI 메시지가 I 화상에 선행하여 전송된다는 것을 지정하고, 하나의 필름 그레인 SEI 메시지만이 특정 I 화상을 선행한다는 것을 추가로 지정하고, 이후 제어권을 기능 블럭(310)에 넘겨준다. 또한, 이 기능 블럭(310)은 최소 POC 값을 가지는 P 또는 B화상을 선행하여, 디코딩 순서에서, 2개의 연속적인 I 화상 사이에 전송되도록 지정하고, 하나의 필름 그레인 SEI 메시지가 특정 P 또는 B 화상을 선행하도록 추가로 지정하고, 이후 제어권을 기능 블럭(315)에 넘겨준다. 이 기능 블럭(315)은, P 또는 B 화상을 선행하는 필름 그레인 SEI 메시지가 디코딩 순서에서 P 또는 B 화상을 선행하는 최근접 I 화상의 필름 그레인 SEI 메시지와 동일하도록 지정하고, 이후 제어권을 종료 블럭(320)에 넘겨준다.

도 3에 도시되고 기술된 설명에 따라, 필름 그레인 시뮬레이션은 디스플레이 순서 및 디코딩 순서 양쪽에서 비트-정확성으로 실행될 수 있다. 더욱이, 비트-정확성은 보통 플레이백과 트릭 모드 플레이 사이에 또한 달성된다.

도 4를 참조하면, 도 3의 방법(300)에 따른 보통 플레이백에서의 필름 그레인 시뮬레이션의 예가 참조번호 400에 의해 일반적으로 표시된다. 특히, 도 4는 본 발명에 따라, 디코딩 순서(410)에서의 보통 플레이백에서 필름 그레인 시뮬레이션 및 디스플레이 순서(420)에서의 보통 플레이백에서 필름 그레인 시뮬레이션 양쪽 사이의 차이를 보여주는데, 양자는 본 발명의 원리를 따른다. 도 3의 방법(300)에 따라, 필름 그레인 SEI는 12 화상(디코딩 순서에서 첫 번째) 및 B0 화상(디스플레이 순서에서 첫 번째)을 선행하여 삽입된다. B0 및 B1은 필름 그레인 시뮬레이션 순서에 관계없이 동일한 필름 그레인 특성을 가지는 점을 주목해야한다.

도 3의 방법(300)은 디코딩 순서에서의 필름 그레인 시뮬레이션 및 디스플레이 순서에서의 필름 그레인 시뮬레이션 사이의 비트-정확성을 보장하여, 하드웨어/소프트웨어 설계자들에게 구현 선택권을 제공하게 됨을 이해해야할 것이다. 도 3의 방법(300)에 의해 획득된 결과는 표준 H.264와 순응한다. 이는 필름 그레인 SEI 메시지의 삽입으로 인해, 코드화된 비디오-스트림에서의 최소 오버헤드로 달성된다. 도 3의 방법(300)은 트릭 모드 플레이뿐만 아니라 보통 플레이 사이의 비트-정확성을 보장하는 것을 추가로 이해해야할 것이다.

도 5를 참조하면, 도 3의 방법에 따라 트릭 모드 플레이에서의 필름 그레인 시뮬레이션의 예가 참조번호 500에 의해 일반적으로 표시된다. 특히, 도 5는 본 발 명의 원리에 따른, 디코딩 순서(510)에서 트릭 모드 플레이의 필름 그레인 시뮬레이션 및 디스플레이 순서(520)에서 트릭 모드 플레이의 필름 그레인 시뮬레이션 양쪽 사이의 차이를 보여준다. 추가로, 예(500)는 필름 그레인 SEI 메시지가 B0 화상을 선행하여 삽입되는 주어진 비트-정확성으로 달성되는 트릭 모드 플레이에서 B0로의 점프에 관계된다.

이제, 비디오 시스템에서의 비트까지 정확한 시뮬레이션을 위한 필름 그레인 SEI(Supplement Enhancement Information) 메시지 삽입에 관한 본 발명의 원리에 따른 두 번째 예시적 실시예에 관해 도 7에 대하여 설명이 주어지게 될 것이다.

도 7을 참조하면, 비디오 시스템에서의 비트까지 정확한 시뮬레이션을 위한 필름 그레인 SEI 메시지 삽입의 방법이 일반적으로 참조번호 700에 의해 표시된다. 도 7의 방법(700)은 2개의 연속적인 화상사이에서 I 또는 P 화상 이후의 모든 B 화상 및 모든 P 화상에 동일한 필름 그레인 SEI의 삽입을 강제함으로써, 도 3의 방법(300)으로부터 도출된다.

방법(700)은 기능 블럭(705)에 제어권을 넘겨주는 시작 블럭(702)을 포함한다. 기능 블럭(705)은 필름 그레인 SEI 메시지가 I 화상을 선행하여 전송되도록 지정하고, 하나의 필름 그레인 SEI 메시지만이 특정 I 화상을 선행하도록 추가로 지정하고, 기능 블럭(710)에 제어권을 넘겨준다. 기능 블럭(710)은, 필름 그레인 메시지가 I 또는 P 화상 이후의 모든 P 화상 또는 모든 B 화상을 선행하여, 디코딩 순서에서, 2개의 연속적인 I 화상 사이에 또한 전송되도록 지정하고, 하나의 필름 그레인 SEI 메시지만이 특정 P 또는 B 화상을 선행하도록 추가로 지정하고, 이후 기능 블럭(715)에 제어권을 넘겨준다. P 또는 B 화상을 선행하는 필름 그레인 SEI 메시지가 디코딩 순서에서, P 또는 B 화상을 선행하여 최근접 I 화상의 필름 그레인 SEI 메시지와 동일하도록 지정하고, 이후 종료 블럭(720)에 제어권을 넘겨준다.

도 7의 방법(700)은 비트-스트림에서의 필름 그레인 SEI 메시지의 존재로 인하여 오버헤드를 증가시키게 됨을 이해해야한다. 그러나, 이는 도 6에 예시된 예(600)에서 처럼, 트릭 모드 플레이를 위한 디스플레이 순서에서의 SEI 메시지에 대한 액세스에 도움을 준다. 도 6을 참조하면, 도 7의 방법(700)에 따른 2배속 고속전진 트릭 모드 플레이에서 필름 그레인 시뮬레이션의 예가 참조번호 600에 의해 일반적으로 표시된다. 특히, 도 6은 본 발명의 원리에 따라, 디코딩 순서(610)에서의 2배속 고속전진 트릭 모드의 필름 그레인 시뮬레이션 및 디스플레이 순서(620)에서의 2배속 고속전진 트릭 모드의 필름 그레인 시뮬레이션 양쪽 사이의 차이를 보여준다. 도 6의 예(600)에서, 디코더는 B0에서 필름 그레인 SEI 메시지를 디코딩하지 않을 것이다. 그러나, 두 번째 종래 기술의 접근방식에서, I2 및 B0에서의 SEI 메시지가 동일하도록 강제되므로, I2 화상을 선행하여 전송된 필름 그레인 SEI 메시지가 B1에 적용됨을 가정하는 것은 옳다.

이제, 비디오 시스템에서의 비트까지 정확한 시뮬레이션을 위한 필름 그레인 SEI(Supplement Enhancement Information) 메시지 삽입에 관한 본 발명의 원리에 따른 세 번째 예시적 실시예에 관해 도 8에 대하여 설명이 주어지게 될 것이다. 2개의 연속적인 I 화상 사이에서 필름 그레인 변동을 허용하기 위해, 도 8의 방법은 다음과 같이 도 3의 방법(3)의 설명 세트를 확장한다.

도 8을 참조하면, 비디오 시스템에서의 비트까지 정확한 시뮬레이션을 위한 필름 그레인 SEI 메시지 삽입의 방법은 일반적으로 참조번호 800에 의해 표시된다. 도 8의 방법(800)은 도 3의 방법(300)에 대한 기능 블럭을 포함는 것이 이해될 것이다.

이 방법은 기능 블럭(305)에 제어권을 넘겨주는 시작 블럭(802)을 포함한다. 기능 블럭(305)은 필름 그레인 SEI 메시지가 I 화상에 선행하여 전송되도록 지정하고, 하나의 필름 그레인 메시지만이 특정 I 화상을 선행하도록 추가로 지정하고, 이후 기능 블럭(310)에 제어권을 넘겨준다. 기능 블럭(310)은 필름 그레인 SEI 메시지가 또한 최소 POC 값을 가진 P 또는 B 화상을 선행하여, 디코딩 순서에서, 2개의 연속적인 I 화상 사이에 전송되도록 지정하고, 하나의 필름 그레인 SEI 메시지만이 특정 P 또는 B 화상을 선행하도록 추가로 지정하고, 이후 기능 블럭(315)에 제어권을 넘겨준다. 이 기능 블럭(315)은 P 또는 B 화상을 선행하는 필름 그레인 SEI 메시지가 디코딩 순서에서, 화상 P 또는 B 화상을 선행하는 최근접 I 화상의 필름 그레인 SEI 메시지와 동일하도록 지정하고, 기능 블럭(820)에 제어권을 넘겨준다. 기능 블럭(820)은 필름 그레인 SEI 메시지가 P 화상을 선행하여 전송되도록 지정하고, 하나의 필름 그레인 SEI 메시지 만이 특정 P 화상을 선행하도록 추가로 지정하고, 이후 기능 블럭(825)에 제어권을 넘겨준다.

기능 블럭(825)은 필름 그레인 SEI 메시지가 또한 최소 POC 값을 가진 B 화상을 선행하여, 디코딩 순서에서, 2개의 연속적인 P 화상 사이에 전송되도록 지정하고, 하나의 필름 그레인 SEI 메시지만이 특정 B 화상을 선행하도록 추가로 지정 하고, 이후 종료 블럭(830)에 제어권을 넘겨준다.

도 8의 방법(800)의 설명에 따라, 필름 그레인 시뮬레이션은 디스플레이 순서 및 디코딩 순서 양쪽에서 비트-정확성으로 실행될 수 있다. 더욱이, 비트-정확성은 또한 보통 플레이백과 트릭 모드 플레이 사이에서 성취된다.

이제, 비디오 시스템에서의 비트까지 정확한 시뮬레이션을 위한 필름 그레인 SEI(Supplement Enhancement Information) 메시지 삽입에 관한 본 발명의 원리에 따른 네 번째 예시적 실시예에 관해 도 10에 대하여 설명이 주어지게 될 것이다.

도 10을 참조하면, 비디오 시스템에서의 비트까지 정확한 시뮬레이션을 위한 필름 그레인 SEI 메시지 삽입의 방법은 일반적으로 참조번호 1000에 의해 표시된다. 도 10의 방법(1000)은 필름 그레인 SEI를 모든 화상에 강제삽입함으로써, 도 8의 방법(800)으로부터 도출된다.

방법(1000)은 기능 블럭(1005)에 제어권을 넘겨주는 시작 블럭(1002)을 포함한다. 기능 블럭(1005)은 필름 그레인 SEI 메시지가 I, P 및 B 화상에 선행하여 전송되도록 지정하고, 하나의 필름 그레인 SEI 메시지만이 특정 화상을 선행하도록 지정하고, 이후 기능 블럭(1010)에 제어권을 넘겨준다.

기능 블럭(1010)은 B 화상을 선행하는 필름 그레인 SEI 메시지가 디코딩 순서에서, 자신의 선행하는 I 또는 P 화상의 필름 그레인 SEI 메시지와 동일하도록 지정하고, 종료 블럭(1016)에 제어권을 넘겨준다.

도 9를 참조하면, 도 10의 방법(1000)에 따른 보통 플레이백의 예가 참조번호 900에 의해 일반적으로 표시된다. 특히, 도 9는, 디코딩 순서(910)에서의 보통 플레이백의 필름 그레인 시뮬레이션과 디스플레이 순서(920)에서의 보통 플레이백의 필름 그레인 시뮬레이션 사이의 차이를 보여주는데, 양자는 본 발명의 원리에 따른다.

본 발명의 이들 및 다른 특징은 본 명세서 내의 가르침에 기반한 이 분야의 당업자에 의해 용이하게 확인될 수 있다. 본 발명의 요지는 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특수용도 프로세서, 또는 이를 이용한 조합으로 구현될 수 있음을 이해해야할 것이다.

가장 바람직하게는, 본 발명의 가르침은 하드웨어 및 소프트웨어의 결합으로서 구현된다. 게다가, 바람직하게는, 소프트웨어는 프로그램 저장 유닛상에 명확하게 구현된 응용 프로그램으로서 구현된다. 응용 프로그램은 임의의 적합한 아키텍처를 포함하는 머신으로 업로드되고, 이 머신에 의해 실행될 수 있다. 바람직하게는, 이 머신은 가령 하나 이상의 CPU(Central Processing Unit), RAM(Random Access Memory), 및 I/O(Input/Output) 인터페이스와 같은 하드웨어를 가지는 컴퓨터 플랫폼 상에서 구현된다. 또한, 컴퓨터 플랫폼은 오퍼레이팅 시스템 및 마이크로 명령어 코드를 포함할 수 있다. 여기에 기술된 다양한 프로세스 및 기능은 응용 프로그램의 일부 또는 마이크로 명령어 코드의 일부, 또는 이를 이용한 임의의 조합일 수 있으며, 이 조합은 CPU에 의해 실행될 수 있다. 덧붙여, 추가적인 데이터 저장 유닛 및 프린팅 유닛과 같은 다양한 다른 주변 유닛이 컴퓨터 플랫폼에 연결될 수 있다.

바람직하게는, 첨부된 도면에서 기술된 방법 및 구조적인 시스템 구성요소의 일부가 소프트웨어로 구현되기 때문에, 시스템 구성요소 또는 프로세스 기능 블럭 사이의 실제 연결은 본 발명이 프로그래밍되는 방식에 의존하여 다를 수 있음을 더 이해해야 할 것이다. 본 명세서 내의 가르침이 주어지는 경우, 이 분야의 당업자라면 본 발명의 이러한 및 유사한 구성 또는 구현을 고려할 수 있을 것이다.

비록 예시적인 실시예가 첨부된 도면을 참조하여 여기에 기술되었을 지라도, 본 발명은 이들의 정확한 실시예에 국한되지 않고, 다양한 변형 및 변경이 본 발명의 범위 또는 기술 사상을 벗어나지 않으면서 이 분야의 당업자에 의해 성취될 수 있음을 이해해야 할 것이다. 이러한 모든 변형 및 변경은 첨부된 청구항에서 기술된 바와 같은 본 발명의 범위 내에 포함됨을 의미한다.

전술한 바와 같이, 본 발명은 일반적으로 비디오 인코더 및 비디오 디코더에 관한 것으로서, 특히 비디오 시스템에 있어서 비트까지 정확한 필름 그레인 시뮬레이션을 위해 필름 그레인 보조 향상 정보(SEI: Supplemental Enhancement Information) 메시지 삽입에 이용 가능하다.

Claims

순서화된 시퀀스에서 필름 그레인을 시뮬레이션하는 방법으로서,

복수의 인트라 코드화된 화상에 대응하는 필름 그레인 보조 정보를 제공하는 단계(305); 및

디코딩 순서에서 연속적인 인트라 코드화(intra coded)된 화상들 사이의 인터 코드화(inter coded) 화상에 대응하는 추가적인 필름 그레인 보조 정보를 제공하는 단계(310)로서, 상기 인터 코드화된 화상은 디스플레이 순서에 기반하여 선택되는, 추가적인 필름 그레인 보조 정보를 제공하는 단계

를 포함하는, 필름 그레인을 시뮬레이션하는 방법.
제 1 항에 있어서,

인터 코드화된 화상의 디스플레이 순서는 화상 순서 카운팅(POC: Picture Order Count) 값에 기반하여 결정되는, 필름 그레인을 시뮬레이션하는 방법.
제 1 항에 있어서,

POC값은 최소 POC값인(310), 필름 그레인을 시뮬레이션하는 방법.
제 1 항에 있어서,

필름 그레인 보조 정보와 추가적인 필름 그레인 보조 정보가 필름 그레인 보 조 SEI(Supplemental Enhancement Information: 보조 향상 정보) 메시지 내에 포함되는, 필름 그레인을 시뮬레이션하는 방법.
제 4 항에 있어서,

필름 그레인 SEI 메시지 중 하나만이 최소 POC값을 가진 특정 인터 코드화된 화상에 대응하는, 필름 그레인을 시뮬레이션하는 방법.
제 5 항에 있어서,

상기 특정 인터 코드화된 화상에 대응하는 필름 그레인 SEI 메시지 중 하나만이, 디코딩 순서에서, 특정 인터 코드화된 화상을 선행하는 인트라 코드화된 화상의 필름 그레인 SEI 메시지와 동일한(315), 필름 그레인을 시뮬레이션하는 방법.
제 1 항에 있어서,

필름 그레인의 시뮬레이션은 비트까지 정확한, 필름 그레인을 시뮬레이션하는 방법.
제 7 항에 있어서,

필름 그레인의 시뮬레이션은 사용된 플레이 모드에 관계없이 비트까지 정확한, 필름 그레인을 시뮬레이션하는 방법.
제 8 항에 있어서,

사용된 플레이 모드는 보통 모드인, 필름 그레인을 시뮬레이션하는 방법.
제 8 항에 있어서,

사용된 플레이 모드는 트릭 모드인, 필름 그레인을 시뮬레이션하는 방법.
제 1 항에 있어서,

순서화된 시퀀스는 디스플레이 순서인, 필름 그레인을 시뮬레이션하는 방법.
플레이 모드와 관계없이 일관성있는 필름 그레인 시뮬레이션을 제공하기 위해 디스플레이 순서에서 필름 그레인을 시뮬레이션하는 비트까지 정확한 방법으로서,

I,P 및 B 화상 보다 선행하는 필름 그레인 SEI 메시지를 전송하는 단계(1005)를 포함하고,

하나의 필름 그레인 SEI 메시지만이 I, P 및 B 화상 중의 특정한 하나 보다 선행하고(1005),

B 화상 보다 선행하는 필름 그레인 SEI 메시지 중의 하나만이, 디코딩 순서에서, B 화상 보다 선행하는 I 화상 또는 P 화상의 필름 그레인 SEI 메시지와 동일한(1010), 필름 그레인을 시뮬레이션하는 비트까지 정확한 방법.
순서화된 시퀀스에서 필름 그레인을 시뮬레이션하기 위한 장치로서,

복수의 인트라 코드화된 화상에 대응하는 필름 그레인 보조 정보를 제공하고, 디코딩 순서에서, 연속적인 인트라 코드화된 화상들 사이의 인터 코드화된 화상에 대응하는 추가적인 필름 그레인 보조 정보를 제공하는 필름 그레인 모델링기(216)를 포함하되, 상기 인터 코드화된 화상은 디스플레이 순서에 기반하여 선택되는, 필름 그레인을 시뮬레이션하기 위한 장치.
제 13 항에 있어서,

인터 코드화된 화상의 디스플레이 순서는 POC(Picture Order Count: 화상 순서 카운팅)값에 기반하여 결정되는, 필름 그레인을 시뮬레이션하기 위한 장치.
제 14 항에 있어서,

POC 값은 최소 POC 값인, 필름 그레인을 시뮬레이션하기 위한 장치.
제 14 항에 있어서,

필름 그레인 보조 정보 및 추가적인 필름 그레인 보조 정보는 필름 그레인 SEI(Supplemental Enhancement Information: 보조 향상 정보) 메시지내에 포함되는, 필름 그레인을 시뮬레이션하기 위한 장치.
제 16 항에 있어서,

필름 그레인 SEI 메시지 중 하나만이 최소 POC값을 가진 특정 인터 코드화된 화상에 대응하는, 필름 그레인을 시뮬레이션하는 장치.
제 17 항에 있어서,

상기 특정 인터 코드화된 화상에 대응하는 필름 그레인 SEI 메시지 중 하나만이, 디코딩 순서에서, 특정 인터 코드화된 화상 보다 선행하는 인트라 코드화된 화상의 필름 그레인 SEI 메시지에 대응하는, 필름 그레인을 시뮬레이션하는 장치.
제 13 항에 있어서,

필름 그레인의 시뮬레이션은 비트까지 정확한, 필름 그레인을 시뮬레이션하는 장치.
제 13 항에 있어서,

필름 그레인의 시뮬레이션은 사용된 플레이 모드에 관계없이 비트까지 정확한, 필름 그레인을 시뮬레이션하는 장치.
제 20 항에 있어서,

사용된 플레이 모드는 보통 모드인, 필름 그레인을 시뮬레이션하는 장치.
제 20 항에 있어서,

사용된 플레이 모드는 트릭 모드인, 필름 그레인을 시뮬레이션하는 장치.
제 13 항에 있어서,

순서화된 시퀀스는 디스플레이 순서인, 필름 그레인을 시뮬레이션하는 장치.
플레이 모드와 관계없이 일관성있는 필름 그레인 시뮬레이션을 제공하기 위해 디스플레이 순서에서 필름 그레인을 시뮬레이션하는 비트까지 정확한 장치로서,

I, P 및 B 화상 보다 선행하는 필름 그레인 SEI 메시지를 전송하는 필름 그레인 모델링기(216)를 포함하고,

필름 그레인 SEI 메시지 중 오직 하나만이 I, P 및 B 화상 중의 특정한 하나 보다 선행하고,

B 화상 보다 선행하는 필름 그레인 SEI 메시지 중의 오직 하나만이, 디코딩 순서에서, B 화상 보다 선행하는 I 화상 또는 P 화상의 필름 그레인 SEI 메시지와 동일한, 필름 그레인을 시뮬레이션하는 비트까지 정확한 장치.
순서화된 시퀀스에서 필름 그레인을 시뮬레이션하기 위한 장치로서,

복수의 인트라 코드화된 화상에 대응하는 필름 그레인 보조 정보를 제공하는 수단(216); 및

디코딩 순서에서, 연속적인 인트라 코드화된 화상들 사이의 인터 코드화된 화상에 대응하는 추가적인 필름 그레인 보조 정보를 제공하는 수단(216)을 포함하 고, 상기 인터 코드화된 화상은 디스플레이 순서에 기반하여 선택되는, 필름 그레인을 시뮬레이션하기 위한 장치.
제 25 항에 있어서,

인터 코드화된 화상의 디스플레이 순서는 POC(Picture Order Count: 화상 순서 카운팅) 값에 기반하여 결정되는, 필름 그레인을 시뮬레이션하기 위한 장치.
제 26 항에 있어서,

POC 값은 최소 POC 값인, 필름 그레인을 시뮬레이션하기 위한 장치.
제 25 항에 있어서,

필름 그레인 보조 정보 및 추가적인 필름 그레인 보조 정보는 필름 그레인 SEI(Supplemental Enhancement Information: 보조 향상 정보) 메시지내에 포함되는, 필름 그레인을 시뮬레이션하기 위한 장치.
제 28 항에 있어서,

필름 그레인 SEI 메시지 중 하나만이 최소 POC값을 가진 특정 인터 코드화된 화상에 대응하는, 필름 그레인을 시뮬레이션하는 장치.
제 29 항에 있어서,

상기 특정 인터 코드화된 화상에 대응하는 필름 그레인 SEI 메시지 중의 하나만이 디코딩 순서에서, 특정 인터 코드화된 화상 보다 선행하는 인트라 코드화된 화상의 필름 그레인 SEI 메시지와 동일한, 필름 그레인을 시뮬레이션하는 장치.
제 25 항에 있어서,

필름 그레인의 시뮬레이션은 비트까지 정확한, 필름 그레인을 시뮬레이션하는 장치.
제 25 항에 있어서,

필름 그레인의 시뮬레이션은 사용된 플레이 모드에 관계없이 비트까지 정확한, 필름 그레인을 시뮬레이션하는 장치.
제 32 항에 있어서,

사용된 플레이 모드는 보통 모드인, 필름 그레인을 시뮬레이션하는 장치.
제 32 항에 있어서,

사용된 플레이 모드는 트릭 모드인, 필름 그레인을 시뮬레이션하는 장치.
제 25 항에 있어서,

순서화된 시퀀스는 디스플레이 순서인, 필름 그레인을 시뮬레이션하는 장치.
플레이 모드와 관계없이 일관성있는 필름 그레인 시뮬레이션을 제공하기 위해 디스플레이 순서에서 필름 그레인을 시뮬레이션하는 비트까지 정확한 장치로서,

I, P 및 B 화상 보다 선행하는 필름 그레인 SEI 메시지를 전송하는 수단(216)을 포함하고,

필름 그레인 SEI 메시지 중 하나만이 I, P 및 B 화상 중의 특정한 하나 보다 선행하고,

B 화상 보다 선행하는 필름 그레인 SEI 메시지 중의 하나만이, 디코딩 순서에서, B 화상 보다 선행하는 I 화상 또는 P 화상의 필름 그레인 SEI 메시지와 동일한, 필름 그레인을 시뮬레이션하는 비트까지 정확한 장치.