KR102670822B1

KR102670822B1 - 볼류메트릭 비디오 전송을 위한 방법들 및 장치

Info

Publication number: KR102670822B1
Application number: KR1020217004035A
Authority: KR
Inventors: 줄리앙 플뢰로; 르노 도르; 샤를르 살몽-르갸뇌르; 르미 우다이
Original assignee: 인터디지털 브이씨 홀딩스 인코포레이티드
Priority date: 2018-07-12
Filing date: 2019-06-21
Publication date: 2024-05-31
Also published as: EP3821610A1; CN112425177A; EP3821610B1; KR20210027482A; EP3595319A1; US20210274147A1; US11483536B2; WO2020013975A1; CN112425177B

Abstract

본 방법 및 디바이스는 볼류메트릭 비디오 콘텐츠들의 세트로 표현되는 3D 장면에서 시점을 나타내는 정보를 전송하는 것; 세트의 제1 볼류메트릭 비디오 콘텐츠를 수신하는 것을 제공하며, 제1 볼류메트릭 비디오 콘텐츠는 시점을 포함하는 시점들의 범위에 따르고, 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 제1 패치 각각은 제1 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 3D 부분에서의 제1 포인트 그룹의 2D 파라미터화에 대응하고, 적어도 하나의 제1 패치는 볼류메트릭 비디오 콘텐츠들의 세트의 제2 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 다른 3D 부분에서의 제2 포인트 그룹의 2D 파라미터화에 대응하는 제2 패치의 영역을 참조한다.

Description

볼류메트릭 비디오 전송을 위한 방법들 및 장치

본 문서는 3차원(3D) 장면 및 볼류메트릭 비디오 콘텐츠(volumetric video content)의 분야에 관한 것이다. 본 문서는 또한, 예를 들어, 모바일 디바이스들 또는 머리 장착 디스플레이들과 같은 최종 사용자 디바이스들 상에서 볼류메트릭 콘텐츠를 렌더링하기 위해, 3D 장면의 깊이를 나타내는 데이터의 인코딩 및/또는 포맷팅의 맥락에서 이해된다.

이 섹션은 이하에 설명되고/되거나 이하에 청구되는 다양한 양태들과 관련될 수 있는 관련 기술의 다양한 양태들을 독자에게 소개하기 위해 의도된 것이다. 본 논의는 독자에게 본 설명의 보다 나은 이해를 용이하게 하는 배경 정보를 제공하는데 도움이 될 것으로 믿어진다. 따라서, 이러한 진술들은 종래 기술의 인정이 아니라 이런 관점에서 읽혀져야 한다.

이용가능한 넓은 시야 콘텐츠(최대 360°)의 성장이 최근에 있었다. 이러한 콘텐츠는 머리 장착 디스플레이들, 스마트 안경들, PC 스크린들, 태블릿들, 스마트폰들 등과 같은 몰입형 디스플레이 디바이스들 상의 콘텐츠를 시청하고 있는 사용자에게 완전하게 보이지 않을 가능성이 있다. 이것은 주어진 순간에 사용자가 콘텐츠의 일부만 보고 있을 수 있다는 것을 의미한다. 그러나, 사용자는 일반적으로 머리 움직임, 마우스 움직임, 터치 스크린, 음성 등과 같은 다양한 수단에 의해 콘텐츠 내에서 탐색할 수 있다. 일반적으로 이러한 콘텐츠를 인코딩하고 디코딩하는 것이 바람직하다.

360° 플랫 비디오(flat video)라고도 하는 몰입형 비디오는 사용자가 그 머리를 정지 시점(still point of view)을 중심으로 회전하여 자신을 사방으로 볼 수 있게 한다. 회전들은 3 자유도(3 Degrees of Freedom)(3DoF) 경험만 가능하게 한다. 예를 들어 머리 장착 디스플레이 디바이스(HMD)를 이용하여 제1 전방향 비디오 경험을 하는데는 3DoF 비디오가 충분할지라도, 예를 들어 시차를 경험함으로써 더 많은 자유를 기대하는 시청자는 3DoF 비디오에 금방 좌절할 수 있다. 또한, 3DoF는 사용자가 그 머리를 회전할 뿐만 아니라 그 머리를 세 방향으로 평행이동시키기 때문에 현기증을 또한 유발할 수 있고, 그 평행이동들은 3DoF 비디오 경험들에서 재현되지 않는다.

(6 자유도(6DoF) 비디오라고도 알려진) 볼류메트릭 비디오는 3DoF 비디오의 대안이다. 6DoF 비디오를 시청하고 있을 때, 사용자는 회전들 외에도 시청된 콘텐츠 내에서 그 머리와 심지어 그 몸을 또한 평행이동시킬 수 있고, 시차와 심지어 볼륨들을 경험할 수 있다. 이러한 비디오들은 몰입감 및 장면 깊이의 인식을 상당히 높여주며, 머리의 평행이동들 중에 일관된 시각적 피드백을 제공함으로써 현기증을 방지한다. 콘텐츠는 전용 센서들에 의해 생성되어 관심 장면의 컬러와 깊이의 동시적인 기록을 가능하게 한다. 사진 측량 기술들과 결합된 컬러 카메라들의 리그를 이용하는 것이 이러한 기록을 수행하는 일반적인 방식이다.

이러한 볼류메트릭 비디오 콘텐츠의 데이터의 양은 중요하며, 큰 저장 용량들을 필요로 하며, 이러한 데이터를 전송하기 위해서는 높은 비트 레이트가 필요하다.

본 명세서에서 "일 실시예", "실시예", "예시적인 실시예", "특정 실시예"에 대한 언급들은, 설명된 실시예가 특정 특징, 구조 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 이러한 특정 특징, 구조 또는 특성을 포함하는 것은 아닐 수 있음을 나타낸다. 더욱이, 이러한 문구들은 반드시 동일한 실시예를 말하는 것은 아니다. 또한, 특정 특징, 구조 또는 특성이 실시예와 관련하여 설명될 때, 명시적으로 설명되거나 설명되지 않더라도, 다른 실시예들과 관련하여 이러한 특징, 구조 또는 특성에 영향을 미치는 것은 관련 기술분야의 통상의 기술자의 지식 범위 내에 있다는 것을 제기한다.

일 실시예에 따르면, 방법은,

3D 장면에서 시점을 나타내는 정보를 수신하는 단계 - 3D 장면은 볼류메트릭 비디오 콘텐츠들의 세트로 표현됨 -;

세트의 제1 볼류메트릭 비디오 콘텐츠를 전송하는 단계 - 제1 볼류메트릭 비디오 콘텐츠는 시점을 포함하는 시점들의 범위에 따르고, 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 세트의 각각의 제1 패치는 제1 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 대응하고, 세트의 적어도 제1 패치는 볼류메트릭 비디오 콘텐츠들의 세트의 제2 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 다른 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 대응하는 적어도 제2 패치의 적어도 영역을 참조(refer)함 -

를 포함한다.

다른 실시예에 따르면, 디바이스는,

3D 장면에서 시점을 나타내는 정보를 수신하고 - 3D 장면은 볼류메트릭 비디오 콘텐츠들의 세트로 표현됨 -;

세트의 제1 볼류메트릭 비디오 콘텐츠를 전송하도록 구성되며,

제1 볼류메트릭 비디오 콘텐츠는 시점을 포함하는 시점들의 범위에 따르고, 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 세트의 각각의 제1 패치는 제1 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 대응하고, 세트의 적어도 제1 패치는 볼류메트릭 비디오 콘텐츠들의 세트의 제2 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 다른 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 대응하는 적어도 제2 패치의 적어도 영역을 참조한다.

추가 실시예에 따르면, 방법은,

3D 장면에서 시점을 나타내는 정보를 전송하는 단계 - 3D 장면은 볼류메트릭 비디오 콘텐츠들의 세트로 표현됨 -;

세트의 제1 볼류메트릭 비디오 콘텐츠를 수신하는 단계 - 제1 볼류메트릭 비디오 콘텐츠는 시점을 포함하는 시점들의 범위에 따르고, 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 세트의 각각의 제1 패치는 제1 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 대응하고, 세트의 적어도 제1 패치는 볼류메트릭 비디오 콘텐츠들의 세트의 제2 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 다른 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 대응하는 적어도 제2 패치의 적어도 영역을 참조함 -

를 포함한다.

다른 실시예에 따르면, 디바이스는,

3D 장면에서 시점을 나타내는 정보를 전송하고 - 3D 장면은 볼류메트릭 비디오 콘텐츠들의 세트로 표현됨 -;

세트의 제1 볼류메트릭 비디오 콘텐츠를 수신하도록 구성되며,

추가 실시예에 따르면, 컴퓨터 프로그램 제품은, 이 프로그램이 컴퓨터 상에서 실행될 때, 방법(들)의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함한다.

다른 실시예에 따르면, (예컨대, 비일시적) 프로세서 판독가능한 매체는 프로세서로 하여금 방법(들)의 단계들을 수행하게 하는 명령어들을 저장하고 있다.

이하의 설명을 읽으면, 본 명세서가 더 잘 이해될 것이고, 다른 구체적인 특징들 및 이점들이 드러날 것이고, 이러한 설명은 첨부된 도면들을 참조한다.
도 1은 비제한적인 실시예에 따른, 3차원(3D) 장면을 나타내는 이미지를 도시한다.
도 2는 비제한적인 실시예에 따른, 도 1의 3D 장면의 물체의 3차원(3D) 모델 및 3D 모델에 대응하는 포인트 클라우드의 포인트들을 도시한다.
도 3은 비제한적인 실시예에 따른, 도 1의 3D 장면의 포인트들의 텍스처 정보를 포함하는 픽처를 도시한다.
도 4는 비제한적인 실시예에 따른, 도 1의 3D 장면의 포인트들의 깊이 정보를 포함하는 픽처를 도시한다.
도 5는 비제한적인 실시예에 따른, 도 1의 3D 장면의 적어도 일부의 2D 파라미터화를 도시한다.
도 6은 비제한적인 실시예에 따른, 3D 장면을 나타내는 데이터의 인코딩, 전송, 수신 및 디코딩의 예를 도시한다.
도 7 및 도 8은 비제한적인 실시예에 따른, 볼류메트릭 콘텐츠의 6DoF 렌더링을 위한 도 1의 3D 장면에 대응하는 볼류메트릭 비디오 콘텐츠의 저장 및 스트리밍을 도시한다.
도 9 및 도 10은 볼류메트릭 콘텐츠의 6DoF 렌더링을 위한 도 1의 3D 장면에 대응하는 볼류메트릭 콘텐츠의 저장 및 스트리밍의 추가의 비제한적인 실시예를 도시한다.
도 11은 비제한적인 실시예에 따른, 도 7 또는 도 9의 볼류메트릭 비디오 콘텐츠의 적어도 일부를 나타내는 데이터를 운반하는 비트스트림의 신택스의 예를 도시한다.
도 12는 비제한적인 실시예에 따른, 도 7, 도 8, 도 9, 도 10, 도 13 및/또는 도 14와 관련하여 설명된 방법 또는 프로세스를 구현하도록 구성될 수 있는 디바이스의 예시적인 아키텍처를 도시한다.
도 13은 비제한적인 실시예에 따른, 예를 들어 도 12의 디바이스에서 구현되는, 도 1의 3D 장면의 적어도 일부를 나타내는 볼류메트릭 비디오 콘텐츠를 나타내는 데이터를 전송하기 위한 방법의 예를 도시한다.
도 14는 비제한적인 실시예에 따른, 예를 들어 도 12의 디바이스에서 구현되는, 도 1의 3D 장면의 적어도 일부를 나타내는 볼류메트릭 비디오 콘텐츠를 나타내는 데이터를 수신하기 위한 방법의 예를 도시한다.

이제, 도면들을 참조하여 본 주제를 설명하며, 유사한 참조 부호들은 전반에 걸쳐 유사한 요소들을 지칭하는데 이용된다. 다음의 설명에서, 설명의 목적들로, 주제에 대한 철저한 이해를 제공하기 위해 많은 특정 상세들이 개시된다. 그러나, 본 주제의 실시예들은 이러한 특정 상세들 없이도 실시될 수 있다는 것이 명백할 수 있다.

비제한적인 실시예들에 따르면, 볼류메트릭 비디오 콘텐츠의 데이터를 전송 및/또는 수신하는 방법들 및 디바이스들이 개시된다. 관련 기술분야의 통상의 기술자가 후술하는 실시예들로부터 다양한 배열들을 안출할 수 있을 것임을 잘 알 것이다.

3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠들의 세트의 제1 볼류메트릭 비디오 콘텐츠를 전송하기 위한 방법(및 이를 전송하도록 구성된 장치)의 하나 이상의 실시예가 설명된다. 3D 장면에서 주어진 시점을 나타내는 정보가 수신된다. 주어진 시점을 나타내는 정보의 수신에 응답하여, 제1 볼류메트릭 비디오 콘텐츠가 전송되고, 제1 볼류메트릭 콘텐츠는 시점들의 범위에 따르며(즉, 제1 볼류메트릭 비디오 콘텐츠는 시점들의 범위로부터 보이는 3D 장면의 3D 부분을 나타냄), 시점들의 범위는 주어진 시점을 포함한다. 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 세트의 각각의 제1 패치는 제1 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 대응한다. 세트의 적어도 제1 패치는 볼류메트릭 비디오 콘텐츠들의 세트의 제2 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 다른 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 대응하는 적어도 제2 패치의 적어도 영역을 참조한다.

3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠들의 세트의 제1 볼류메트릭 비디오 콘텐츠를 수신하기 위한 방법(및 이를 수신하도록 구성된 장치)의 하나 이상의 실시예들이 설명된다. 3D 장면에서 주어진 시점을 나타내는 정보가 전송된다. 주어진 시점을 나타내는 정보의 전송에 응답하여, 제1 볼류메트릭 비디오 콘텐츠가 수신되고, 제1 볼류메트릭 콘텐츠는 시점들의 범위에 따르며(즉, 제1 볼류메트릭 비디오 콘텐츠는 시점들의 범위로부터 보이는 3D 장면의 3D 부분을 나타냄), 시점들의 범위는 주어진 시점을 포함한다. 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 세트의 각각의 제1 패치는 제1 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 대응한다. 세트의 적어도 제1 패치는 볼류메트릭 비디오 콘텐츠들의 세트의 제2 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 다른 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 대응하는 적어도 제2 패치의 적어도 영역을 참조한다.

도 1은 여러 물체들의 표면 표현을 포함하는 3차원(3D) 장면(10)을 나타내는 이미지를 도시한다. 장면은 임의의 적절한 기술을 이용하여 획득되었을 수 있다. 예를 들어, 이것은 컴퓨터 그래픽 인터페이스(CGI) 도구들을 이용하여 생성되었을 수 있다. 이것은 컬러 및 깊이 이미지 획득 디바이스들에 의해 획득되었을 수 있다. 이러한 경우에, 획득 디바이스들(예를 들어, 카메라들)로부터 보이지 않는 물체들의 하나 이상의 부분이 도 1과 관련하여 설명된 바와 같이 장면에 표현되지 않을 수 있는 것이 가능하다. 3D 장면의 요소들(예를 들어, 포인트들)과 연관된 데이터가 획득되고, 데이터는 장면의 요소들과 연관된 속성들, 즉 텍스처(컬러) 속성들 및/또는 기하 구조 속성들에 대응한다. 예를 들어, 시간적으로 연속적인 이미지들의 시퀀스가 획득될 수 있다. 텍스처 속성들은 하나 이상의 광센서로 획득될 수 있고, 기하 구조 속성들은 예를 들면 하나 이상의 깊이 센서로 획득될 수 있다. 변형예에 따르면, 3D 장면은 CGI(Computer-generated imagery) 기술로 획득된다. 3D 장면의 적어도 일부는 복수의 시점에 따라, 예를 들어 제1 중심 시점을 포함하는 시점들의 범위에 따라 보인다. 변형예에 따르면, 3D 장면은 CGI를 통해 획득되지도 생성되지도 않지만 클라우드, 볼류메트릭 콘텐츠들의 라이브러리 또는 임의의 저장 유닛 또는 장치로부터 검색된다. 도 1에 도시된 예시적인 장면은 방 안의 캐릭터들 및 물체들을 포함한다. 3D 장면(10)은 도 1에서의 결정된 시점에 따라 표현된다. 이러한 시점은 예를 들어 사용자가 3D 장면을 관찰할 수 있는 뷰 공간의 일부일 수 있다. 변형예에 따르면, 이용가능한 3D 장면의 콘텐츠(깊이 및/또는 텍스처 정보)는 도 1의 결정된 시점으로부터 보이는 장면의 요소들(예를 들어, 포인트들)에만 대응한다.

도 2는 물체(20)의 3차원(3D) 모델 및 3D 모델(20)에 대응하는 포인트 클라우드(21)의 포인트들을 도시한다. 3D 모델(20) 및 포인트 클라우드(21)는 예를 들어 3D 장면(10)의 물체, 예를 들어 캐릭터의 머리의 가능한 3D 표현에 대응할 수 있다. 모델(20)은 3D 메시 표현일 수 있고, 포인트 클라우드(21)의 포인트들은 메시의 정점들일 수 있다. 포인트 클라우드(21)의 포인트들은 또한 메시의 면들의 표면 상에 확산된 포인트들일 수 있다. 모델(20)은 또한 포인트 클라우드(21)의 스플랫된(splatted) 버전으로서 표현될 수 있고, 모델(20)의 표면은 포인트 클라우드(21)의 포인트들을 스플랫시킴으로써 생성된다. 모델(20)은 복셀들 또는 스플라인들과 같은 많은 상이한 표현들에 의해 표현될 수 있다. 도 2는 포인트 클라우드가 3D 물체의 표면 표현으로 정의될 수 있고, 3D 물체의 표면 표현이 클라우드의 포인트로부터 생성될 수 있다는 사실을 도시한다. 본 명세서에서 이용되는 바와 같이, (3D 장면의 확장 포인트들에 의해) 3D 물체의 포인트들을 이미지 상에 투영하는 것은 이 3D 물체의 임의의 이미지 표현을 투영하여 물체를 생성하는 것과 동등하다.

포인트 클라우드는 벡터 기반 구조로 보일 수 있으며, 여기서 각각의 포인트는 그 좌표들(예를 들어, 3차원 좌표 XYZ, 또는 주어진 시점으로부터의 깊이/거리) 및 성분이라고도 하는 하나 이상의 속성을 갖는다. 성분의 예는 상이한 컬러 공간들에서 표현될 수 있는 컬러 성분, 예를 들어 RGB(Red, Green 및 Blue) 또는 YUV(Y는 루마(luma) 성분이고, UV는 2개의 색차(chrominance) 성분임)이다. 포인트 클라우드는 주어진 시점 또는 시점들의 범위로부터 보이는 물체의 표현이다. 포인트 클라우드는 많은 방식들, 예를 들어,

깊이 활성 감지 디바이스에 의해 임의적으로 보완되는 카메라들의 리그에 의해 촬영된 실제 물체의 캡처로부터;

모델링 도구에서 가상 카메라들의 리그에 의해 촬영된 가상/합성 물체의 캡처로부터;

실제 물체와 가상 물체 둘 다의 혼합으로부터

획득될 수 있다.

3D 장면의 볼류메트릭 부분들은 예를 들어 포인트 클라우드(21)와 같은 하나 또는 여러 포인트 클라우드로 표현될 수 있다.

도 3은 비제한적인 실시예에 따른, 3D 장면(10)의 일부, 예를 들어 뷰 공간(연속적인 시점들의 범위에 대응함)으로부터 보이는 3D 장면의 부분의 포인트들의 텍스처 정보(예를 들어, RGB 데이터 또는 YUV 데이터)를 포함하는 픽처(30)의 예를 도시한다.

픽처(30)는 제1 시점으로부터 보이는 3D 장면의 부분의 요소들(포인트들)의 텍스처 정보를 포함하는 제1 부분(301) 및 하나 이상의 제2 부분(302)을 포함한다. 제1 부분(301)의 텍스처 정보는 예를 들어 정방형 투영 매핑에 따라 획득될 수 있고, 정방형 투영 매핑은 구형 투영 매핑의 예 및 3D 장면의 부분의 2차원(2D) 파라미터화의 예이다. 도 3의 예에서, 제2 부분들은 제1 부분(301)의 좌측 및 우측 경계들에 배열되지만, 제2 부분들은 상이하게 배열될 수 있다. 제2 부분들(302)은 제1 시점으로부터 보이는 부분에 상보적인 3D 장면의 부분들의 텍스처 정보를 포함한다(이는 뷰 공간의 다른 시점들에 따라, 그러나 제1 시점에 따라 보이는 3D 장면의 부분들에 대응할 수 있다). 제2 부분들은 제1 시점으로부터 보이는 포인트들(그 텍스처가 제1 부분에 저장되어 있음)을 3D 장면으로부터 제거하고 동일한 제1 시점에 따라 나머지 포인트들을 투영함으로써 획득될 수 있다. 후자의 프로세스는 3D 장면의 숨겨진 부분들을 매번 획득하기 위해 반복적으로 되풀이될 수 있다. 변형예에 따르면, 제2 부분들은 제1 시점으로부터 보이는 포인트들(그 텍스처가 제1 부분에 저장되어 있음)을 3D 장면으로부터 제거하고 제1 시점과 상이한 시점에 따라, 예를 들어 제1 시점에 중심을 둔 뷰의 공간의 하나 이상의 제2 시점으로부터 나머지 포인트들을 투영함으로써 획득될 수 있다. 각각의 제2 부분은 제2 부분에 대응하는 장면의 부분의 2D 파라미터화에 의해 획득된 패치로서 보여질 수 있다.

제1 부분(301)은 (3D 장면의 제1 부분에 대응하는) 제1의 큰 텍스처 패치로서 보여질 수 있고, 제2 부분들(302)은 (제1 부분에 상보적인 3D 장면의 제2 부분들에 대응하는) 더 작은 텍스처 패치들의 세트를 포함하는 것으로 보여질 수 있다.

픽처(30)는 뷰 공간으로부터 보이는 3D 장면(10)의 부분과 연관된 볼류메트릭 비디오 콘텐츠의 텍스처 정보/데이터에 대응할 수 있다. 연속적인 시점들의 범위(예를 들어, 제1 시점을 중심으로 함)에 대응할 수 있는 뷰 공간은 이 볼류메트릭 비디오 콘텐츠와 연관된다.

도 4는 비제한적인 실시예에 따른, 3D 장면(10)의 일부의 포인트들의 깊이 정보를 포함하는 픽처(40)의 예를 도시한다. 픽처(40)는 텍스처 픽처(30)에 대응하는 깊이 픽처로서 보여질 수 있다.

픽처(40)는 제1 시점으로부터 보이는 3D 장면의 요소들(포인트들)의 깊이 정보를 포함하는 제1 부분(401) 및 하나 이상의 제2 부분(402)을 포함한다. 픽처(40)는 픽처(30)와 동일한 방식으로 획득될 수 있지만, 픽처(30)에서와 같은 텍스처 정보 대신에 3D 장면의 포인트들과 연관된 깊이 정보를 포함한다.

제1 부분(401)은 (3D 장면의 제1 부분에 대응하는) 제1의 큰 깊이 패치로서 보여질 수 있고, 제2 부분들(402)은 (제1 부분에 상보적인 3D 장면의 제2 부분들에 대응하는) 더 작은 텍스처 패치들을 포함한다.

3D 장면의 부분의 3DoF 렌더링을 위해, 하나의 시점, 예를 들어 제1 시점만이 고려된다. 사용자는 3D 장면의 다양한 부분들을 보기 위해 제1 시점을 중심으로 그 머리를 3 자유도로 회전시킬 수 있지만, 사용자는 제1 시점을 이동시킬 수는 없다. 인코딩될 장면의 포인트들은 이 제1 시점으로부터 보이는 포인트들이고, 텍스처 정보만이 3DoF 렌더링을 위해 인코딩/디코딩될 필요가 있다. 이러한 제1 시점으로부터 보이지 않는 장면의 포인트들을 인코딩할 필요가 없으며, 그 이유는 사용자가 제1 시점을 이동시킴으로써 이들에 액세스할 수 없기 때문이다.

3DoF+ 렌더링과 관련하여, 사용자는 시점을 중심으로, 예를 들어 제1 시점을 중심으로 제한된 공간 내에서 시점을 이동시킬 수 있고, 시점 중심의 제한된 공간은 픽처들(30 및 40)과 연관된 뷰 공간에 대응한다. 예를 들어, 사용자는 제1 시점에 중심을 둔 결정된 뷰 공간 내에서 그 시점을 이동시킬 수 있다. 이것은 시차를 경험하는 것을 가능하게 한다. 뷰 공간의 임의의 포인트로부터 보이는 장면의 부분을 나타내는 데이터는 제1 시점에 따라 보이는 3D 장면(즉, 제1 부분들(301 및 401))을 나타내는 데이터를 포함하는 스트림으로 인코딩될 것이다. 뷰 공간의 크기 및 형상은 예를 들어 인코딩 단계에서 결정되고 비트스트림에서 인코딩될 수 있다. 디코더는 비트스트림으로부터 이 정보를 획득할 수 있고, 렌더러는 뷰 공간을 획득된 정보에 의해 결정된 공간으로 제한한다. 다른 예에 따르면, 렌더러는 예를 들어 사용자의 움직임들을 검출하는 센서(들)의 능력들과 관련하여 하드웨어 제약들에 따라 뷰 공간을 결정한다. 이러한 경우에, 인코딩 단계에서 렌더러의 뷰 공간 내의 포인트로부터 보이는 포인트가 비트스트림에서 인코딩되지 않았다면, 이 포인트는 렌더링되지 않을 것이다. 추가 예에 따르면, 3D 장면의 모든 포인트를 나타내는 데이터(예를 들어, 텍스처 및/또는 기하 구조)는 렌더링 뷰 공간을 고려하지 않고 스트림에서 인코딩된다. 스트림의 크기를 최적화하기 위해, 장면의 포인트들의 서브세트만, 예를 들어, 렌더링 뷰 공간에 따라 보일 수 있는 포인트들의 서브세트만이 인코딩될 수 있다.

6DoF 렌더링과 관련하여, 사용자는 장면 내의 모든 곳에서(즉, (요, 피치 및 롤 축 중심의) 3개의 회전 및 (요, 피치 및 롤 축을 따른) 3개의 평행이동에 따라) 시점을 이동시킬 수 있다. 6DoF 렌더링의 경우, 장면의 모든 포인트(깊이 및 텍스처)는 모든 포인트가 자신의 시점을 이동시킬 수 있는 사용자에 의해 잠재적으로 액세스될 수 있으므로 비트스트림에서 인코딩되어야 한다. 인코딩 단계에서, 사용자가 어느 시점으로부터 3D 장면(10)을 관찰할 것인지를 선험적으로 아는 수단이 없다.

도 5는 비제한적인 실시예에 따라, 하나 이상의 패치 아틀라스(54, 55) 상에 또는 픽처들(30 및 40) 상에 패킹될 수 있는 3D 장면의 부분(예를 들어, 3D 장면(10)의 캐릭터 중 하나)의 패치들의 획득을 도시한다. 3D 장면의 부분은 주어진 뷰 공간으로부터 보여진다. 3D 물체(5)를 표현하는 포인트 클라우드는 복수의 3D 부분, 예를 들어 5, 10, 50, 100, 1000개 또는 그 이상의 3D 부분으로 분할되고, 이들 중 3개, 즉 3D 부분들(52, 53 및 54)이 도 5에 도시되며, 3D 부분(54)은 사람의 머리 부분을 표현하는 포인트 클라우드의 포인트들을 포함하고, 3D 부분(52)은 사람의 겨드랑이를 표현하는 포인트 클라우드의 포인트들을 포함하며, 3D 부분(53)은 사람의 손을 표현하는 포인트 클라우드의 포인트들을 포함한다. 각각의 3D 부분 또는 3D 부분들의 일부의 하나 이상의 패치가 각각의 3D 부분을 2차원으로, 즉 2D 파라미터화에 따라 표현하기 위해 생성된다. 예를 들어, 2D 파라미터화(501)가 3D 부분(51)에 대해 획득되고, 2D 파라미터화(502)가 3D 부분(52)에 대해 획득되며, 2개의 상이한 2D 파라미터화(503 및 504)가 3D 부분(53)에 대해 획득될 수 있다. 2D 파라미터화는 3D 부분마다 다를 수 있다. 예를 들어, 3D 부분(51)과 연관된 2D 파라미터화(501)는 선형 투시 투영인 반면, 3D 부분(52)과 연관된 2D 파라미터화(502)는 LLE이고, 3D 부분(53)과 연관된 2D 파라미터화들(503 및 504)은 둘 다 상이한 시점들에 따른 정사 투영들이다. 변형예에 따르면, 모든 3D 부분들과 연관된 모든 2D 파라미터화들은 동일한 유형, 예를 들어 선형 투시 투영 또는 정사 투영이다. 변형예에 따르면, 상이한 2D 파라미터화들이 동일한 3D 부분에 대해 이용될 수 있다.

포인트 클라우드의 하나의 주어진 3D 부분과 연관된 2D 파라미터화는 포인트 클라우드의 주어진 3D 부분을 2차원으로 브라우징하여 주어진 3D 부분을 샘플링할 수 있게 하는 것, 즉 (제1 이미지의 픽셀들에 대응할 수 있는) 복수의 샘플들을 포함하는 이러한 주어진 3D 부분의 콘텐츠(즉, 포인트(들))의 2D 표현에 대응하고, 그 수는 적용되는 샘플링 단계에 의존한다. 2D 파라미터화는 다양한 방식으로, 예를 들어, 다음의 방법들 중 임의의 방법을 구현하는 것에 의해 획득될 수 있다:

- 시점과 연관된 평면 상으로의 포인트 클라우드의 3D 부분의 포인트들의 선형 투시 투영 - 선형 투시 투영을 나타내는 파라미터들은 가상 카메라의 위치, 공간 샘플링 단계 및 2차원 시야를 포함함 -;

- 표면 상으로의 포인트 클라우드의 3D 부분의 포인트들의 정사 투영 - 정사 투영을 나타내는 파라미터들은 투영 표면의 기하 구조(형상, 크기 및 배향) 및 공간 샘플링 단계를 포함함 -;

- 여기서 3D로부터 2D로의 전환/변환에 적용되는, 차원 축소의 수학적 연산에 대응하는 LLE(Locally-Linear Embedding) - LLE를 나타내는 파라미터들은 변환 계수들을 포함함 -.

각각의 패치는 패치 아틀라스(54, 55) 상의 패킹 프로세스를 용이하게 하기 위해 유리하게는 직사각형 형상을 갖는다. 패치 아틀라스(54)는 기하 구조 패치 아틀라스, 즉 (예를 들어, 픽셀들의 어레이들로서 보여질 수 있는) 상이한 패치들(541, 542, 543 및 544)을 포함하는 픽셀들의 픽처일 수 있고, 연관된 3D 부분의 포인트들의 투영/2D 파라미터화에 의해 획득된 기하 구조 정보는 각각의 픽셀과 연관된다. 기하 구조 정보는 깊이 정보 또는 메시 요소의 정점들의 위치에 관한 정보에 대응할 수 있다. 3D 부분들과 연관된 텍스처 정보를 포함하는 대응하는 텍스처 패치 아틀라스(55)는 동일한 방식으로 획득될 수 있다.

각각의 2D 파라미터화를 기하 구조 패치 아틀라스 및 텍스처 패치 아틀라스에서의 그 연관된 패치와 연결시키는 매핑 정보가 생성될 수 있다. 매핑 정보는 2D 파라미터화와 기하 구조 패치 아틀라스 및 텍스처 패치 아틀라스 각각에서의 연관된 기하 구조 패치 및 텍스처 패치 사이의 연결을 유지하도록 생성될 수 있다. 매핑 정보는 예를 들어 다음과 같은 형태일 수 있다:

{2D 파라미터화의 파라미터들; 기하 구조 패치 ID; 텍스처 패치 ID}

여기서 기하 구조 패치 ID는 기하 구조 패치가 기하 구조 패치 아틀라스의 패치들의 행렬에 속하는 열 인덱스(U) 및 행 인덱스(V)를 포함하는 값들의 쌍 또는 정수 값일 수 있고; 텍스처 패치 ID는 텍스처 패치가 텍스처 패치 아틀라스의 패치들의 행렬에 속하는 열 인덱스(U') 및 행 인덱스(V')를 포함하는 값들의 쌍 또는 정수 값일 수 있다.

기하 구조 패치들 및 텍스처 패치들이 기하 구조 패치 아틀라스 및 텍스처 패치 아틀라스에서 동일한 배열에 따라 배열될 때, 기하 구조 패치 ID 및 텍스처 패치 ID는 동일하고, 매핑 정보는 예를 들어 다음과 같은 형태일 수 있다:

{2D 파라미터화의 파라미터들; 기하 구조 및 텍스처 패치 ID}

여기서 '기하 구조 및 텍스처 패치 ID'는 기하 구조 패치 아틀라스에서의 기하 구조 패치 및 텍스처 패치 아틀라스에서의 텍스처 패치 둘 다를, 기하 구조 패치 및 텍스처 패치 둘 다와 연관된 동일한 정수 값을 통해 또는 기하 구조 패치 및 텍스처 패치들이 제각기 기하 구조 패치 아틀라스 및 텍스처 패치 아틀라스에 속하는 열 인덱스(U) 및 행 인덱스(V)의 값들의 쌍을 통해 식별한다.

각각의 2D 파라미터화 및 연관된 기하 구조 패치 및 텍스처 패치에 대해 동일한 매핑 정보가 생성된다. 이러한 매핑 정보는 2D 파라미터화와 대응하는 기하 구조 패치 및 텍스처 패치의 연관을 확립함으로써 3D 장면의 대응하는 부분들을 재구성할 수 있게 한다. 2D 파라미터화가 투영이면, 3D 장면의 대응하는 부분은 연관된 기하 구조 패치에 포함된 기하 구조 정보 및 연관된 텍스처 패치에서의 텍스처 정보를 역투영(de-project)함으로써(역투영을 수행함으로써) 재구성될 수 있다. 이어서, 매핑 정보는 매핑 정보의 리스트에 대응한다:

{2D 파라미터화의 파라미터들; 기하 구조 및 텍스처 패치 ID}_i,

i = 1 내지 n의 경우, n은 2D 파라미터화들의 수이다.

패치 아틀라스(54, 55)에 포함된 정보는 3D 장면의 부분과 연관된 주어진 뷰 공간으로부터 보이는 장면의 3D 부분의 3DoF+ 렌더링을 가능하게 하며, 즉, 패치 아틀라스로부터 렌더링된 3D 장면의 부분을 보는 사용자는 뷰 공간에 포함된 다양한 시점들에 따라 장면 내로 브라우징할 수 있다.

도 7은 비제한적인 실시예에 따른, 볼류메트릭 비디오 콘텐츠들(70, 71, 72 및 73)의 세트를 도시한다.

각각의 볼류메트릭 비디오 콘텐츠(70 내지 73)는 주어진 시점들의 범위에 따른 3D 장면의 3D 부분을 표현하며, 각각의 볼류메트릭 비디오 콘텐츠(70 내지 73)는 각각의 볼류메트릭 비디오 콘텐츠로 표현된 3D 장면의 부분의 3DoF+ 렌더링을 가능하게 한다. 볼류메트릭 비디오 콘텐츠들(70 내지 73)의 세트는, 예를 들어, 3D 장면의 완전한 표현을 가능하게 하고 사용자가 전체 3D 장면으로 브라우징할 수 있게 한다. 변형예에 따르면, 3D 장면의 부분만이 볼류메트릭 비디오 콘텐츠들의 세트로 표현된다. 예를 들어, 3D 경로가 장면 내에서 결정될 수 있고, 볼류메트릭 비디오 콘텐츠들의 세트는 사용자가 이 3D 경로를 따라 3D 장면으로 브라우징할 수 있게 한다.

3D 장면의 3D 공간은 복수의 결정된 시점들(예를 들어, 도 7에 예시된 3D 경로의 시점들 X=0, X=1, X=2 및 X=3)로 샘플링될 수 있고, 3D 장면의 전체 표현을 획득하기 위해, 결정된 시점들 각각으로부터 볼류메트릭 비디오 콘텐츠가 생성된다. 뷰 공간 또는 시점들의 범위는 각각의 볼류메트릭 비디오 콘텐츠와 연관되며, 주어진 볼류메트릭 비디오 콘텐츠의 뷰 공간은 예를 들어 볼류메트릭 비디오 콘텐츠가 생성되는 시점을 중심으로 한다. 최종 사용자에게 매끄러운 브라우징을 보장하기 위해 2개의 이웃하는 볼류메트릭 비디오 콘텐츠 간에 콘텐츠가 중첩된다. 예를 들어, 볼류메트릭 비디오 콘텐츠들(70 및 71)은 부분적으로 중첩될 수 있고, 볼류메트릭 비디오 콘텐츠들(71 및 72)은 부분적으로 중첩될 수 있으며, 볼류메트릭 비디오 콘텐츠들(72 및 73)은 부분적으로 중첩될 수 있다. 2개의 볼류메트릭 비디오 콘텐츠의 콘텐츠 중첩은 2개의 이웃하는 볼류메트릭 비디오 콘텐츠와 연관된 뷰 공간들에 포함된 일부 시점들이 2개의 뷰 공간에 공통임을 의미한다.

각각의 볼류메트릭 비디오 콘텐츠(70 내지 73)는 텍스처 및 기하 구조 정보를 포함하는 패치들(700, 701, 702 및 703)의 세트로 표현된다. 패치들의 세트는 도 3, 도 4 및/또는 도 5와 관련하여 설명된 바와 같이 픽처들 또는 패치 아틀라스 내에 배열될 수 있다.

도 8은 비제한적인 실시예에 따른, 도 7의 볼류메트릭 비디오 콘텐츠들의 세트(18)로부터의 3D 장면 또는 그 부분의 6DoF 렌더링을 위한 프로세스를 도시한다.

도 8의 실시예에 따르면, 최종 사용자는 3D 장면의 비디오 표현으로 브라우징하기 위해 몰입형 렌더링 디바이스(80)(예를 들어, HMD)를 착용하고 있다. 최종 사용자의 위치는, 예를 들어 HMD의 IMU(Inertial Measurement Unit)를 이용하여 3D 장면 내에서(즉, 3D 장면의 공간에서) 결정된다. HMD는 하나 이상의 디스플레이 스크린(예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light-Emitting Diode) 또는 LCOS(Liquid Crystal On Silicon)) 및 실세계의 1개, 2개 또는 3개의 축(피치, 요 및/또는 롤 축)에 따라, HMD의 위치의 변화(들)를 측정하도록 구성되는 센서(들), 예를 들어 자이로스코프들 또는 IMU를 포함할 수 있다. HMD의 측정된 위치에 대응하는 볼류메트릭 콘텐츠의 부분은, 실세계에서의 HMD와 연관된 시점과 볼류메트릭 콘텐츠와 연관된 가상 카메라의 시점 사이의 관계를 확립하는 특정 함수로 결정될 수 있다. HMD의 측정된 위치에 따라 HMD의 디스플레이 스크린(들) 상에 표시될 볼류메트릭 콘텐츠의 부분을 제어하는 것은 HMD를 착용한 사용자가 HMD의 디스플레이 스크린(들)과 연관된 시야보다 큰 볼류메트릭 콘텐츠(및 3D 장면)으로 브라우징하는 것을 가능하게 한다. 변형예에 따르면, 몰입형 렌더링 디바이스(80)는 촉각 디스플레이 스크린을 구비한 태블릿이며, 사용자는 촉각 디스플레이 스크린 상에 슬라이딩하는 하나 이상의 손가락으로 콘텐츠를 스크롤함으로써 콘텐츠 내로 브라우징한다. 다른 변형예에 따르면, 몰입형 렌더링 유닛(80)은 HMD 또는 태블릿과 같은 디스플레이 디바이스와 연관된 제어 유닛이다.

최종 사용자의 현재 시점을 나타내는 정보가, 예를 들어, 서버 또는 원격 저장 디바이스에 전송된다. 시점을 나타내는 정보는 예를 들어 실세계에서의 몰입형 렌더링 디바이스의 위치 또는 3D 장면의 공간에서의 몰입형 렌더링 디바이스의 시점에 대응한다.

현재 시점을 나타내는 수신된 정보에 기반하여, 볼류메트릭 비디오 콘텐츠(71)가 서버 또는 원격 저장 디바이스에 저장된 볼류메트릭 비디오 콘텐츠들(70 내지 73)의 세트(8) 중에서 선택된다. 볼류메트릭 비디오 콘텐츠(71)는 예를 들어 수신된 현재 시점을 세트(8)의 각각의 볼류메트릭 비디오 콘텐츠와 연관된 뷰 공간들(또는 시점들의 범위들)과 비교함으로써 선택된다. 수신된 현재 시점은, 예를 들어, 볼류메트릭 비디오 콘텐츠들의 뷰 공간들 각각의 참조 시점(예를 들어, 중심 시점)과 비교될 수 있고, 수신된 현재 시점으로부터 공간적으로 가장 가까운 참조 시점이, 대응하는 볼류메트릭 비디오 콘텐츠(예를 들어, 도 7 및 도 8의 실시예에 따른 볼류메트릭 비디오 콘텐츠(71) 및 연관된 참조 시점 X=1)와 함께 선택된다.

선택된 볼류메트릭 비디오 콘텐츠(71)는 몰입형 렌더링 디바이스(80)에 전송된다. 볼류메트릭 비디오 콘텐츠(71)를 나타내는 데이터(텍스처 및 기하 구조)는 예를 들어 패치 아틀라스의 픽처들에 배열된 패치들(701)의 세트의 형태로 인코딩된다. 몰입형 렌더링 디바이스에 의해 전송 및 수신된 데이터는 디코더(802)에 의해 디코딩된다. 현재 시점에 대응하는 3D 장면의 뷰는 (패치들을 역투영함으로써) 디코딩된 데이터로부터 예를 들어 합성기(803)에 의해 합성되어 최종 사용자 뷰포트에서 렌더링된다. 합성된 뷰는 그 후 표시를 위해 몰입형 렌더링 디바이스의 디스플레이 스크린(또는 몰입형 렌더링 디바이스에 접속된 디스플레이 스크린)에 전송된다.

최종 사용자의 시점의 변화가 발생할 때, 새로운 시점을 나타내는 정보가 전송되고, 대응하는 볼류메트릭 비디오 콘텐츠(예를 들어, 볼류메트릭 비디오 콘텐츠(70))가 선택된다. 볼류메트릭 비디오 콘텐츠(70)를 표현하는데 이용되는 패치들(700)의 세트는 디코딩(802), 뷰 합성(803) 및 표시를 위해 몰입형 렌더링 디바이스에 전송된다.

몰입형 렌더링 디바이스에 의해 서버로부터 수신된 주어진 볼류메트릭 비디오 콘텐츠의 렌더링은 주어진 볼류메트릭 비디오 콘텐츠와 연관된 장면의 부분의 3DoF+ 렌더링에 대응한다. 세트(8)의 여러 볼류메트릭 비디오 콘텐츠들의 연속 렌더링은 6DoF 렌더링을 위해 볼류메트릭 비디오 콘텐츠를 나타내는 데이터를 스트리밍하는데 필요한 비트레이트를 제한하면서 3D 장면(또는 그 부분)의 6DoF 렌더링을 가능하게 한다(전체 3D 장면이 아니라 3D 장면의 부분을 표현하는 하나의 볼류메트릭 비디오 콘텐츠만이 한 번에 스트리밍될 필요가 있다).

도 9는 추가의 비제한적인 실시예에 따른 볼류메트릭 비디오 콘텐츠들(70, 91, 92 및 73)의 세트를 도시한다.

각각의 볼류메트릭 비디오 콘텐츠(70, 91, 92 및 73)는 주어진 시점들의 범위에 따른 3D 장면의 3D 부분을 표현하며, 각각의 볼류메트릭 비디오 콘텐츠(70, 91, 92 및 73)는 각각의 볼류메트릭 비디오 콘텐츠(70, 91, 92 및 73)로 표현된 3D 장면의 부분의 3DoF+ 렌더링을 가능하게 한다. 볼류메트릭 비디오 콘텐츠들(70, 91, 92 및 73)의 세트는, 예를 들어, 3D 장면의 완전한 표현을 가능하게 하고 사용자가 전체 3D 장면으로 브라우징할 수 있게 한다. 변형예에 따르면, 3D 장면의 부분만이 볼류메트릭 비디오 콘텐츠들의 세트로 표현된다. 예를 들어, 3D 경로가 장면 내에서 결정될 수 있고, 볼류메트릭 비디오 콘텐츠들의 세트는 사용자가 이 3D 경로를 따라 3D 장면으로 브라우징할 수 있게 한다.

3D 장면의 3D 공간은 복수의 결정된 시점들(예를 들어, 도 9에 예시된 3D 경로의 시점들 X=0, X=1, X=2 및 X=3)로 샘플링될 수 있고, 3D 장면의 전체 표현을 획득하기 위해, 결정된 시점들 각각으로부터 볼류메트릭 비디오 콘텐츠가 생성된다. 뷰 공간 또는 시점들의 범위는 각각의 볼류메트릭 비디오 콘텐츠(70, 91, 92 및 73)와 연관되며, 주어진 볼류메트릭 비디오 콘텐츠의 뷰 공간은 예를 들어 볼류메트릭 비디오 콘텐츠가 생성되는 시점(X=0, X=1, X=2 및 X=3)을 중심으로 한다. 최종 사용자에게 매끄러운 브라우징을 보장하기 위해 2개의 이웃하는 볼류메트릭 비디오 콘텐츠 간에 콘텐츠가 중첩된다. 예를 들어, 볼류메트릭 비디오 콘텐츠들(70 및 91)은 부분적으로 중첩될 수 있고, 볼류메트릭 비디오 콘텐츠들(91 및 92)은 부분적으로 중첩될 수 있으며, 볼류메트릭 비디오 콘텐츠들(92 및 73)은 부분적으로 중첩될 수 있다. 2개의 볼류메트릭 비디오 콘텐츠의 콘텐츠 중첩은 2개의 이웃하는 볼류메트릭 비디오 콘텐츠와 연관된 뷰 공간들에 포함된 일부 시점들이 2개의 뷰 공간에 공통임을 의미한다.

각각의 볼류메트릭 비디오 콘텐츠(70, 91, 92 및 73)는 텍스처 및 기하 구조 정보를 포함하는 패치들의 세트로 표현된다. 패치들의 세트는 도 3, 도 4 및/또는 도 5와 관련하여 설명된 바와 같이 픽처들 또는 패치 아틀라스 내에 배열될 수 있다.

다양한 볼류메트릭 비디오 콘텐츠들(70, 91, 92 및 73)을 저장하기 위한 메모리 요건들을 감소시키기 위해, 주어진 볼류메트릭 비디오 콘텐츠의 세트의 패치들은 다른 볼류메트릭 비디오 콘텐츠들의 패치들과 비교되는데, 예를 들어 세트(901)의 패치들은 패치들 사이의 콘텐츠 중복성을 검출하기 위해 각각 볼류메트릭 비디오 콘텐츠들(70, 92 및 73)의 세트들(700, 902 및 703)의 패치들과 비교된다. 실제로, 볼류메트릭 비디오 콘텐츠들(70, 91, 92 및 73)이 부분적으로 중첩함에 따라, 볼류메트릭 비디오 콘텐츠들의 일부 패치들은 적어도 부분적으로 동일한 콘텐츠를 가질 수 있다. 변형예에 따르면, 세트(901)의 패치들은 다른 볼류메트릭 비디오 콘텐츠들의 부분과만, 예를 들어 볼류메트릭 비디오 콘텐츠들(70 및 73) 각각의 세트들(700 및 703)과만 비교된다. 이 변형예에 따르면, 볼류메트릭 비디오 콘텐츠들 중 일부는 기준들로서 결정될 수 있으며, 즉, 다른 볼류메트릭 비디오 콘텐츠의 패치들은 참조 볼류메트릭 비디오 콘텐츠들의 패치들을 참조할 수 있지만, 참조 볼류메트릭 비디오 콘텐츠들의 패치들은 다른 볼류메트릭 비디오 콘텐츠들의 어떠한 패치들도 참조하지 않는다. 도 9의 특정 실시예에 따르면, 볼류메트릭 비디오 콘텐츠들(70 및 73)은 참조 볼류메트릭 비디오 콘텐츠인 것으로 고려될 수 있는 반면, 다른 볼류메트릭 비디오 콘텐츠들(91 및 92)은 그렇지 않다(볼류메트릭 비디오 콘텐츠들(91 및 92) 각각은 참조 볼류메트릭 비디오 콘텐츠들(70 및 73)의 하나 이상의 패치를 참조하는 패치를 적어도 포함한다).

메모리 설치 면적을 감소시키기 위해, 다른 볼류메트릭 비디오 콘텐츠의 패치와 동일한 콘텐츠(텍스처 및/또는 기하 구조)를 포함하는 것으로 식별된 패치들은 텍스처 및/또는 기하 구조 정보를 포함하지 않고 단지 동일한 콘텐츠(텍스처 및/또는 기하 구조)를 포함하는 다른 패치를 식별하는 정보를 포함한다. 예를 들어, 세트(902)의 패치(9021)는 세트(700)의 패치(7001)와 동일한 콘텐츠를 포함하는 것으로 식별되었다. 세트(902)의 패치(9022)는 세트(703)의 패치(7032)와 동일한 콘텐츠를 포함하는 것으로 식별되었다. 패치(9021)는 (표현하는 3D 장면의 부분의 속성들, 텍스처 또는 기하 구조를 나타내는 데이터 대신에) 그 참조하는 패치(7001)를 식별하는 정보를 포함하며, 이러한 정보는 몇 비트로만 코딩되는 반면 속성들을 나타내는 데이터를 코딩하는 것은 훨씬 더 많은 수의 비트들을 필요로 할 것이다. 동일한 방식으로, 패치(9022)는 그 참조하는 패치(7032)를 식별하는 정보를 포함한다.

변형 실시예에 따르면, 패치(9021 및/또는 9022)는, 패치(7001 및/또는 7032)의 영역만이 패치(9021 및/또는 9022)의 콘텐츠를 포함할 때, 각각 패치(7001 및/또는 7032)의 영역(하위 부분)만을 참조할 수 있다. 이 변형 실시예에 따르면, 패치(9021)는 패치(9021)와 동일한 콘텐츠를 포함하는 패치(7001)의 특정 영역을 식별하는 정보와 함께 그 참조하는 패치(7001)를 식별하는 정보를 포함한다. 특정 영역은 예를 들어, 높이 및 폭(예를 들어, 각각이 다수의 픽셀로 표현됨)을 갖는 패치(7001) 내의 참조 픽셀의 좌표들(예를 들어, 행 및 열 번호들)로 식별될 수 있다.

추가 실시예에 따르면, 다른 패치를 참조하는 패치는 그것이 참조하는 패치를 식별하는 정보를 포함하지 않는다. 이 추가 실시예에 따르면, 패치들 간의 매핑을 확립하는 리스트는 각각의 볼류메트릭 비디오 콘텐츠와 연관되고, 이 리스트는 패치가 다른 패치를 참조하는지(예를 들어, 1 비트 플래그의 경우, 이 플래그는 패치가 다른 패치를 참조하지 않을 때는 값 '0'을 취하고, 패치가 다른 패치를 참조할 때는 값 '1'을 취하거나, 또는 그 반대로 함)를 나타내는 정보를 추가로 포함한다. 이 리스트는, 예를 들어, LUT(Look-Up-table)의 형태를 취할 수 있다:

도 10은 비제한적인 실시예에 따른, 도 9의 볼류메트릭 비디오 콘텐츠들의 세트(10)로부터의 3D 장면 또는 그 부분의 6DoF 렌더링을 위한 프로세스를 도시한다.

도 10의 실시예에 따르면, 최종 사용자는 3D 장면의 비디오 표현으로 브라우징하기 위해 몰입형 렌더링 디바이스(100)(예를 들어, HMD)를 착용하고 있다. 최종 사용자의 위치는, 예를 들어 HMD의 IMU를 이용하여 3D 장면 내에서(즉, 3D 장면의 공간에서) 결정된다. HMD는 하나 이상의 디스플레이 스크린(예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light-Emitting Diode) 또는 LCOS(Liquid Crystal On Silicon)) 및 실세계의 1개, 2개 또는 3개의 축(피치, 요 및/또는 롤 축)에 따라, HMD의 위치의 변화(들)를 측정하도록 구성되는 센서(들), 예를 들어 자이로스코프들 또는 IMU를 포함할 수 있다. HMD의 측정된 위치에 대응하는 볼류메트릭 콘텐츠의 부분은, 실세계에서의 HMD와 연관된 시점과 볼류메트릭 콘텐츠와 연관된 가상 카메라의 시점 사이의 관계를 확립하는 특정 함수로 결정될 수 있다. HMD의 측정된 위치에 따라 HMD의 디스플레이 스크린(들) 상에 표시될 볼류메트릭 콘텐츠의 부분을 제어하는 것은 HMD를 착용한 사용자가 HMD의 디스플레이 스크린(들)과 연관된 시야보다 큰 볼류메트릭 콘텐츠(및 3D 장면)으로 브라우징하는 것을 가능하게 한다. 변형예에 따르면, 몰입형 렌더링 디바이스(100)는 촉각 디스플레이 스크린을 구비한 태블릿이며, 사용자는 촉각 디스플레이 스크린 상에 슬라이딩하는 하나 이상의 손가락으로 콘텐츠를 스크롤함으로써 콘텐츠 내로 브라우징한다. 다른 변형예에 따르면, 몰입형 렌더링 유닛(100)은 HMD 또는 태블릿과 같은 디스플레이 디바이스와 연관된 제어 유닛이다.

현재 시점을 나타내는 수신된 정보에 기반하여, 서버 또는 원격 저장 디바이스 상에 저장된 볼류메트릭 비디오 콘텐츠들(70, 91, 92 및 73)의 세트(10) 중에서 제1 볼류메트릭 비디오 콘텐츠(92)가 선택된다. 제1 볼류메트릭 비디오 콘텐츠(92)는, 예를 들어, 수신된 현재 시점을 세트(10)의 각각의 볼류메트릭 비디오 콘텐츠와 연관된 뷰 공간들(또는 시점들의 범위들)과 비교함으로써 결정된다. 수신된 현재 시점은, 예를 들어, 볼류메트릭 비디오 콘텐츠들의 뷰 공간들 각각의 참조 시점(예컨대, 중심 시점)과 비교될 수 있고, 수신된 현재 시점으로부터 공간적으로 가장 가까운 참조 시점이, 대응하는 볼류메트릭 비디오 콘텐츠(예컨대, 도 9 및 도 10의 실시예에 따른 볼류메트릭 비디오 콘텐츠(92) 및 연관된 참조 시점 X=2)와 함께 선택된다.

제1 볼류메트릭 비디오 콘텐츠(92)는 몰입형 렌더링 디바이스(100)에 전송된다. 제1 볼류메트릭 비디오 콘텐츠(92)를 나타내는 데이터(텍스처 및 기하 구조)는 예를 들어 패치 아틀라스의 픽처들에 배열된 제1 패치들(92)의 세트의 형태로 인코딩된다. 적어도 제1 패치(9021, 9022)는 제2 볼류메트릭 비디오 콘텐츠(70, 73)의 제2 패치(7001, 7032)를 참조한다. 몰입형 렌더링 디바이스에 의해 전송 및 수신된 데이터는 디코더(102)에 의해 디코딩된다. 데이터는 패치들의 세트(902)의 제1 패치들에 포함된 정보를 디코딩함으로써 획득된다. 세트(902)의 제1 패치들 중 일부는 제1 볼류메트릭 비디오 콘텐츠(92)로 표현된 3D 장면의 3D 부분의 포인트들과 연관된 속성들을 포함한다. 세트(902)의 하나 이상의 제1 패치(9021, 9022)는 속성들을 포함하지 않고 단지 제1 패치들(9021, 9022)이 제2 패치들(7001, 7032) 중 어느 제2 패치들 또는 그 특정 영역을 참조하는지를 나타내는 정보를 포함한다.

제2 볼류메트릭 비디오 콘텐츠들(70 및 73)은 제2 패치들(7001, 7032)을 포함하고, 제1 패치들(9021, 9022)은 제1 볼류메트릭 비디오 콘텐츠(92)와 함께 전송될 수 있다. 변형예에 따르면, 세트(10)의 볼류메트릭 비디오 콘텐츠들이 타일들(프레임의 하위 영역에 대응하고 예를 들어 HEVC(High Efficiency Video Coding) 표준에서 또는 상이한 약어(들)를 갖는 구글의 VP9 또는 AV1에서 정의되는 타일)로 세분될 때, 제2 패치(7001 및 7032)를 포함하는 타일들의 제2 패치들만이 전송되고, 3D 장면의 부분은 각각의 타일과 연관된다.

변형예에 따르면, 제2 볼류메트릭 비디오 콘텐츠들(70 및 73)(또는 제1 패치가 참조하는 제2 패치들을 포함하는 타일들)은 제2 패치들 또는 연관된 제2 볼류메트릭 비디오 콘텐츠들(70, 73)의 전송을 요청하는 요청의 (몰입형 렌더링 디바이스에 의한) 전송 후에 몰입형 렌더링 디바이스(100)에 전송된다.

추가 변형예에 따르면, 제2 볼류메트릭 비디오 콘텐츠들(70, 73)의 제2 패치들을 참조하는 제1 패치들은 서버에 의해 몰입형 렌더링 디바이스(100)에 전송되지 않는다. 이 변형예에 따르면, 서버는 제1 볼류메트릭 비디오 콘텐츠(92)가 (제2 볼류메트릭 비디오 콘텐츠(들)로 불리는) 다른 볼류메트릭 비디오 콘텐츠(들)의 제2 패치(들)를 참조하는 제1 패치(들)를 포함하는지를 검출하기 위해 (예를 들어, 표 1로서) 제1 볼류메트릭 비디오 콘텐츠(92) 또는 연관된 매핑 리스트를 파싱할 수 있다. 제1 볼류메트릭 비디오 콘텐츠(92)가 하나 이상의 제2 패치(들)를 참조하는 하나 이상의 제1 패치(들)를 포함하는 것으로 결정될 때, 서버는 몰입형 렌더링 디바이스(100)에 대한 제1 볼류메트릭 비디오 콘텐츠(92)(또는 제1 볼류메트릭 비디오 콘텐츠(92)의 타일(들)) 및 제2 볼류메트릭 비디오 콘텐츠들(70, 73)(또는 제2 볼류메트릭 비디오 콘텐츠들(70, 73)의 타일(들))의 전송을 자동으로 스케줄링할 수 있다.

추가 변형예에 따르면, 제2 볼류메트릭 비디오 콘텐츠가 몰입형 렌더링 디바이스에 의해 이미 수신되었을 때(예를 들어, 제2 볼류메트릭 비디오 콘텐츠들(70, 73)의 시점들에 대응하는 장면의 이전 뷰들을 합성할 때), 제2 볼류메트릭 비디오 콘텐츠들은 다시 전송되지 않으며, 몰입형 렌더링 디바이스(100)는 제1 볼류메트릭 비디오 콘텐츠(92)의 제1 패치들이 참조하는 제2 패치들로부터 데이터를 검색할 수 있다.

다른 변형예에 따르면, 레이턴시 문제들 및 뷰들의 합성에서의 지연을 피하기 위해, 현재 시점에 후속하는 장래의 시점은 (예를 들어, 3D 장면 내의 시점들의 변위 궤적을 결정함으로써 이전 시점들로부터) 볼류메트릭 비디오 콘텐츠들의 세트를 포함하는 몰입형 렌더링 디바이스(100) 또는 서버에 의해 결정될 수 있다. 제1 및 잠재적인 제2 볼류메트릭 비디오 콘텐츠들은 최종 사용자의 시점이 미리 결정된 것에 실제로 대응하는 경우에 뷰를 합성하기로 결정할 수 있는 몰입형 렌더링 디바이스에 미리 자동으로 전송될 수 있다.

현재 시점에 대응하는 3D 장면의 뷰는 예를 들어 합성기(103)에 의해 (패치들을 역투영함으로써 또는 2D 파라미터화를 획득하기 위해 행해진 동작에 역으로 동작을 적용함으로써) 제1 및 제2 패치들로부터 획득된 디코딩된 데이터로부터 합성되고 최종 사용자 뷰포트에서 렌더링된다. 합성된 뷰는 표시를 위해 몰입형 렌더링 디바이스의 디스플레이 스크린(또는 몰입형 렌더링 디바이스에 접속된 디스플레이 스크린)에 전송된다.

최종 사용자의 시점의 변경이 발생하는 경우, 새로운 시점을 나타내는 정보가 전송되고, 전술한 동작들이 반복된다.

몰입형 렌더링 디바이스에 의해 서버로부터 수신된 주어진 볼류메트릭 비디오 콘텐츠의 렌더링은 주어진 볼류메트릭 비디오 콘텐츠와 연관된 장면의 부분의 3DoF+ 렌더링에 대응한다. 세트(8)의 몇몇 볼류메트릭 비디오 콘텐츠들의 연속 렌더링은 6DoF 렌더링을 위해 볼류메트릭 비디오 콘텐츠를 나타내는 데이터를 스트리밍하는데 필요한 비트레이트를 제한하면서 3D 장면(또는 그 부분)의 6DoF 렌더링을 가능하게 한다(전체 3D 장면이 아니라 3D 장면의 부분을 나타내는 하나의 볼류메트릭 비디오 콘텐츠만이 한 번에 스트리밍될 필요가 있다).

도 6은 3D 장면을 나타내는 데이터를 3DoF, 3DoF+ 및 6DoF 렌더링과 동시에 호환가능할 수 있는 포맷으로 인코딩, 전송, 디코딩 및 렌더링하는 비제한적인 예를 도시한다.

3D 장면(60)의 픽처 또는 패치 아틀라스(또는 3D 장면의 픽처 시퀀스)는 인코더(61)에 의해 스트림(62)에서 인코딩된다. 스트림(62)은 3DoF 렌더링을 위한 3D 장면을 나타내는 데이터(예를 들어, 픽처(30)의 제1 부분의 데이터)를 운반하는 신택스의 제1 요소 및 3DoF+ 렌더링을 위한 3D 장면을 나타내는 데이터(예를 들어, 픽처(30) 및 픽처(40) 또는 패치 아틀라스(54, 55)의 제2 부분들의 데이터)를 운반하는 신택스의 적어도 제2 요소를 포함한다. 인코더는 (각각이 도 7 내지 도 10과 관련하여 설명된 볼류메트릭 비디오 콘텐츠에 대응하는) 장면의 다양한 시점들(및 연관된 뷰 공간)에 대응하는 몇몇 픽처들 또는 패치 아틀라스를 인코딩할 수 있다.

인코더(61)는 예를 들어 다음과 같은 인코더를 따른다:

JPEG, 사양 ISO/CEI 10918-1 UIT-T 권고 T.81, https://www.itu.int/rec/T-REC-T.81/en;

AVC, 또한 MPEG-4 AVC 또는 h264로 명명된다. UIT-T H.264 및 ISO/CEI MPEG-4 Part 10(ISO/CEI 14496-10), http://www.itu. int/rec/T-REC-H.264/en,HEVC 둘 다에서 명시됨(그 사양은 ITU 웹사이트, T 권고, H 시리즈, h265, http://www.itu.int/rec/T-REC-H.265-201612-I/en에서 발견됨);

3D-HEVC(그 사양이 ITU 웹사이트, T 권고, H 시리즈, h265, http://www.itu.int/rec/T-REC-H.265-201612-l/en 부록 G 및 I에서 발견되는 HEVC의 확장);

구글에 의해 개발된 VP9; 또는

Alliance for Open Media에 의해 개발된 AV1(AOMedia Video 1).

디코더(63)는 소스로부터 스트림(62)을 획득한다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:

- 로컬 메모리, 예를 들어, 비디오 메모리 또는 RAM(또는 Random Access Memory), 플래시 메모리, ROM(또는 Read Only Memory), 하드 디스크;

- 저장 인터페이스, 예를 들어 대용량 저장소, RAM, 플래시 메모리, ROM, 광학 디스크 또는 자기 지원부와의 인터페이스;

- 통신 인터페이스, 예를 들어, 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어, IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스); 및

- 사용자가 데이터를 입력하는 것을 가능하게 하는 그래픽 사용자 인터페이스와 같은 사용자 인터페이스.

디코더(63)는 3DoF 렌더링(64)을 위해 스트림(62)의 신택스의 제1 요소를 디코딩한다. 3DoF+ 렌더링(65)의 경우, 디코더는 스트림(62)의 신택스의 제1 요소와 신택스의 제2 요소 모두를 디코딩한다. 6DoF 렌더링을 위해, 디코더는 몇몇 볼류메트릭 비디오 콘텐츠들에 대응하는 신택스의 제1 요소 및 신택스의 제2 요소를 디코딩한다.

디코더(63)는 인코더(61)를 따르며, 예를 들어 다음과 같은 디코더를 따른다:

JPEG;

AVC;

HEVC;

3D-HEVC(HEVC의 확장);

VP9; 또는

AV1.

도 11은 데이터가 패킷 기반 전송 프로토콜을 통해 전송될 때 3D 장면을 나타내는 데이터를 운반하는 스트림의 신택스의 실시예의 비제한적인 예를 도시한다. 도 11은 비디오 스트림의 예시적인 구조(11)를 도시한다. 이러한 구조는 독립적 신택스 요소들로 스트림을 조직화하는 컨테이너로 구성된다. 이러한 구조는 스트림의 모든 신택스 요소들에 공통인 데이터의 세트인 헤더 부분(111)을 포함할 수 있다. 예를 들어, 헤더 부분은 신택스 요소들에 관한 메타데이터를 포함하며 각각의 신택스 요소의 본질과 역할을 설명한다. 헤더 부분은 또한 픽처(30, 40)(또는 패치 아틀라스(54, 55))의 인코딩에 이용되는 시점의 좌표들 및 픽처의 크기 및 해상도에 관한 정보를 포함할 수 있다. 구조는 신택스의 제1 요소(112) 및 신택스의 적어도 하나의 제2 요소(113)를 포함하는 페이로드를 포함한다. 제1 신택스 요소(112)는 제1 볼류메트릭 비디오 콘텐츠를 나타내는 데이터를 포함할 수 있고, 하나 이상의 제2 신택스 요소(113)는 하나 이상의 제2 볼류메트릭 비디오 콘텐츠를 나타내는 데이터를 포함할 수 있다.

예시 목적을 위해, ISOBMFF 파일 포맷 표준의 맥락에서, 텍스처 패치들, 기하 구조 패치들 및 메타데이터는 전형적으로 유형 moov의 박스 내의 ISOBMFF 트랙들에서 참조될 것이며, 여기서 텍스처 데이터 및 기하 구조 데이터 자체는 유형 mdat의 미디어 데이터 박스에 내장된다.

도 12는 다양한 양태들 및 실시예들이 구현되는 시스템 예의 블록도를 도시한다. 시스템(1200)은 이하에서 설명되는 다양한 구성요소들을 포함하는 디바이스로서 구현될 수 있고, 본 출원에 설명된 양태들 중 하나 이상을 수행하도록 구성된다. 이러한 디바이스들의 예들은 개인용 컴퓨터들, 랩톱 컴퓨터들, 스마트폰들, 태블릿 컴퓨터들, 디지털 멀티미디어 셋톱 박스들, 디지털 텔레비전 수신기들, 개인 비디오 기록 시스템들, 접속된 가전 기기들, 및 서버들과 같은 다양한 전자 디바이스들을 포함하지만 이에 제한되지는 않는다. 시스템(1200)의 요소들은, 단독으로 또는 조합하여, 단일 집적 회로, 다중 IC들, 및/또는 개별 구성요소들로 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(1200)의 처리 및 인코더/디코더 요소들은 다중 IC들 및/또는 개별 구성요소들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(1200)은, 예를 들어, 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해 다른 유사한 시스템들, 또는 다른 전자 디바이스들에 통신가능하게 결합된다. 다양한 실시예들에서, 시스템(1200)은 본 문서에서 설명된 양태들 중 하나 이상을 구현하도록 구성된다.

시스템(1200)은, 예를 들어, 본 문서에 설명된 다양한 양태들을 구현하기 위해, 그 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(1210)를 포함한다. 프로세서(1210)는 내장된 메모리, 입력 출력 인터페이스, 및 관련 기술분야에 알려진 다양한 다른 회로들을 포함할 수 있다. 시스템(1200)은 적어도 하나의 메모리(1220)(예를 들어, 휘발성 메모리 디바이스 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(1200)은 EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브, 및/또는 광학 디스크 드라이브를 포함하지만 이에 제한되지는 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는 저장 디바이스(1240)를 포함한다. 저장 디바이스(1240)는 비제한적인 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스, 및/또는 네트워크 액세스가능 저장 디바이스를 포함할 수 있다.

시스템(1200)은, 예를 들어, 인코딩된 비디오 또는 디코딩된 비디오를 제공하기 위해 데이터를 처리하도록 구성된 인코더/디코더 모듈(1230)을 포함하고, 인코더/디코더 모듈(1230)은 그 자신의 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(1230)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 둘 모두를 포함할 수 있다. 또한, 인코더/디코더 모듈(1230)은 시스템(1200)의 별도의 요소로서 구현될 수 있거나, 또는 관련 기술분야의 통상의 기술자에게 알려진 바와 같이 하드웨어 및 소프트웨어의 조합으로서 프로세서(1210) 내에 통합될 수 있다.

본 문서에서 설명된 다양한 양태들을 수행하기 위해 프로세서(1210) 또는 인코더/디코더(1230)상으로 로딩될 프로그램 코드는 저장 디바이스(1240)에 저장될 수 있고, 후속하여 프로세서(1210)에 의한 실행을 위해 메모리(1220) 상에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(1210), 메모리(1220), 저장 디바이스(1240), 및 인코더/디코더 모듈(1230) 중 하나 이상은 본 문서에서 설명된 프로세스들의 수행 동안 다양한 항목들 중 하나 이상을 저장할 수 있다. 이러한 저장된 항목들은 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 부분들, 비트스트림, 행렬들, 변수들, 및 수학식들, 공식들, 연산들 및 연산 로직의 처리로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이에 제한되지는 않는다.

몇몇 실시예들에서, 프로세서(1210) 및/또는 인코더/디코더 모듈(1230)의 내부에 있는 메모리는 명령어들을 저장하고 인코딩 또는 디코딩 동안 필요한 처리를 위한 작업 메모리를 제공하는데 이용된다.

그러나, 다른 실시예들에서, 처리 디바이스(예를 들어, 처리 디바이스는 프로세서(1210) 또는 인코더/디코더 모듈(1230) 중 하나일 수 있음) 외부의 메모리가 이러한 기능들 중 하나 이상에 이용된다. 외부 메모리는 메모리(1220) 및/또는 저장 디바이스(1240), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 몇몇 실시예들에서, 외부 비휘발성 플래시 메모리는 텔레비전의 운영 체제를 저장하는데 이용된다. 적어도 하나의 실시예에서, RAM과 같은 고속 외부 동적 휘발성 메모리는 MPEG-2, HEVC, 또는 VVC(Versatile Video Coding)와 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로서 이용된다.

시스템(1200)의 요소들에의 입력은 블록(1130)에 나타낸 바와 같이 다양한 입력 디바이스들을 통해 제공될 수 있다. 이러한 입력 디바이스들은 (i) 예를 들어, 브로드캐스터에 의해 무선으로 전송되는 RF 신호를 수신하는 RF 부분, (ii) 복합 입력 단자, (iii) USB 입력 단자, 및/또는 (iv) HDMI 입력 단자를 포함하지만, 이에 제한되지는 않는다.

다양한 실시예들에서, 블록(1130)의 입력 디바이스들은 관련 기술분야에 알려진 바와 같은 연관된 각각의 입력 처리 요소들을 갖는다. 예를 들어, RF 부분은 (i) 원하는 주파수를 선택하는 것(또한 신호를 선택하는 것, 또는 주파수들의 대역으로 신호를 대역 제한하는 것으로 지칭됨), (ii) 선택된 신호를 하향 변환하는 것, (iii) 주파수들의 더 좁은 대역으로 다시 대역 제한하여 특정 실시예들에서 채널로 지칭될 수 있는 (예를 들어) 단일 주파수 대역을 선택하는 것, (iv) 하향 변환되고 대역 제한된 신호를 복조하는 것, (v) 에러 정정을 수행하는 것, 및 (vi) 원하는 데이터 패킷들의 스트림을 선택하기 위해 역다중화하는 것에 필요한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소, 예를 들어, 주파수 선택기들, 신호 선택기들, 대역 제한기들, 채널 선택기들, 필터들, 다운컨버터들, 복조기들, 에러 정정기들, 및 디멀티플렉서들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근 기저대역 주파수) 또는 기저대역으로 하향 변환하는 것을 포함하여, 이러한 다양한 기능들을 수행하는 튜너를 포함할 수 있다.

하나의 셋톱 박스 실시예에서, RF 부분 및 그 연관된 입력 처리 요소는 유선(예를 들어, 케이블) 매체를 통해 전송되는 RF 신호를 수신하고, 필터링, 하향 변환, 및 원하는 주파수 대역으로 다시 필터링하는 것에 의해 주파수 선택을 수행한다.

다양한 실시예들은 전술한(및 다른) 요소들의 순서를 재배열하고, 이 요소들 중 일부를 제거하고/하거나 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다.

요소들을 추가하는 것은, 예를 들어, 증폭기들과 아날로그-디지털 변환기를 삽입하는 것과 같이 기존 요소들 사이 내에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.

또한, USB 및/또는 HDMI 단말들은 USB 및/또는 HDMI 접속들을 통해 다른 전자 디바이스들에 시스템(1200)을 접속하기 위한 각각의 인터페이스 프로세서들을 포함할 수 있다. 입력 처리의 다양한 양태들, 예를 들어, 리드-솔로몬(Reed-Solomon) 에러 정정이, 예를 들어, 별도의 입력 처리 IC 내에서 또는 필요에 따라 프로세서(1210) 내에서 구현될 수 있다는 것을 이해해야 한다. 유사하게, USB 또는 HDMI 인터페이스 처리의 양태들은 필요에 따라 별도의 인터페이스 IC들 내에서 또는 프로세서(1210) 내에서 구현될 수 있다. 복조되고, 에러 정정되고, 역다중화된 스트림은, 예를 들어, 출력 디바이스 상의 제시를 위해 필요한 대로 데이터 스트림을 처리하기 위해 메모리 및 저장 요소들과 조합하여 동작하는 인코더/디코더(1230) 및 프로세서(1210)를 포함하는 다양한 처리 요소들에 제공된다.

시스템(1200)의 다양한 요소들은 통합된 하우징 내에 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소들은 적절한 접속 배열, 예를 들어, I2C 버스, 배선 및 인쇄 회로 보드들을 포함하는 관련 기술분야에 알려진 내부 버스를 이용하여 상호접속되고 그 사이에서 데이터를 전송할 수 있다.

시스템(1200)은 통신 채널(1260)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(1250)를 포함한다. 통신 인터페이스(1250)는 통신 채널(1260)을 통해 데이터를 전송하고 수신하도록 구성된 트랜시버를 포함할 수 있지만, 이에 제한되는 것은 아니다. 통신 인터페이스(1250)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이에 제한되지는 않고, 통신 채널(1260)은 예를 들어, 유선 및/또는 무선 매체 내에서 구현될 수 있다.

데이터는, 다양한 실시예들에서, IEEE 802.11과 같은 Wi-Fi 네트워크를 이용하여 시스템(1200)에 스트리밍된다. 이러한 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들을 위해 적응되는 통신 인터페이스(1250) 및 통신 채널(1260)을 통해 수신된다. 이러한 실시예들의 통신 채널(1260)은 스트리밍 애플리케이션들 및 다른 OTT(over-the-top) 통신들을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 전형적으로 접속된다.

다른 실시예들은 입력 블록(1130)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 이용하여, 스트리밍된 데이터를 시스템(1200)에 제공한다.

또 다른 실시예들은 입력 블록(1130)의 RF 접속을 이용하여, 스트리밍된 데이터를 시스템(1200)에 제공한다.

시스템(1200)은 디스플레이(1100), 스피커들(1110), 및 다른 주변 디바이스들(1120)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다른 주변 디바이스들(1120)은, 실시예들의 다양한 예들에서, 독립형 DVR, 디스크 플레이어, 스테레오 시스템, 조명 시스템, 및 시스템(1200)의 출력에 기반하는 기능을 제공하는 다른 디바이스들 중 하나 이상을 포함한다.

다양한 실시예들에서, 제어 신호들은 AV.Link, CEC, 또는 사용자 개입이 있거나 없는 디바이스간 제어를 가능하게 하는 다른 통신 프로토콜들과 같은 시그널링을 이용하여 시스템(1200)과 디스플레이(1100), 스피커들(1110), 또는 다른 주변 디바이스들(1120) 사이에서 통신된다.

출력 디바이스들은 각각의 인터페이스들(1270, 1280, 및 1290)을 통한 전용 접속들을 통해 시스템(1200)에 통신가능하게 결합될 수 있다.

대안적으로, 출력 디바이스들은 통신 인터페이스(1250)를 통해 통신 채널(1260)을 이용하여 시스템(1200)에 접속될 수 있다. 디스플레이(1100) 및 스피커들(1110)은, 예를 들어, 텔레비전과 같은 전자 디바이스에서 시스템(1200)의 다른 구성요소들과 함께 단일 유닛에 통합될 수 있다.

다양한 실시예들에서, 디스플레이 인터페이스(1270)는, 예를 들어, 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.

디스플레이(1100) 및 스피커(1110)는 대안적으로, 예를 들어, 입력(1130)의 RF 부분이 별도의 셋톱 박스의 일부인 경우, 다른 구성요소들 중 하나 이상으로부터 분리될 수 있다. 디스플레이(1100) 및 스피커들(1110)이 외부 구성요소들인 다양한 실시예들에서, 출력 신호는 예를 들어, HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.

도 13은 비제한적인 실시예에 따라, 3D 장면, 예를 들어 3D 장면(10)을 나타내는 데이터를 전송하기 위한 방법을 도시한다. 이 방법은 예를 들어 인코더(61) 및/또는 디바이스(1200)에서 구현될 수 있다. 디바이스(1200)의 상이한 파라미터들이 업데이트될 수 있다. 3D 장면은 예를 들어 소스로부터 획득될 수 있고, 하나 이상의 시점이 3D 장면의 공간에서 결정될 수 있고, 투영 매핑(들)과 연관된 파라미터들이 초기화될 수 있다.

제1 동작(131)에서, 3D 장면에서의 시점을 나타내는 정보가 수신된다. 3D 장면은 볼류메트릭 비디오 콘텐츠들의 세트로 표현되고, 뷰 공간 또는 시점들의 범위는 각각의 볼류메트릭 비디오 콘텐츠와 연관된다.

제2 동작(132)에서, 볼류메트릭 비디오 콘텐츠들의 세트의 제1 볼류메트릭 비디오 콘텐츠를 나타내는 데이터가 전송된다. 제1 볼류메트릭 비디오 콘텐츠는 시점을 포함하는 시점들의 범위에 따른다. 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 세트의 각각의 제1 패치는 제1 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 대응한다. 제1 패치들의 세트의 적어도 제1 패치는 제2 패치(또는 제2 패치의 영역)를 참조하며, 제2 패치는 볼류메트릭 비디오 콘텐츠들의 세트의 제2 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 다른 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 대응한다. 제2 볼류메트릭 비디오 콘텐츠는 제1 볼류메트릭 비디오 콘텐츠와 상이하고, 제1 볼류메트릭 비디오 콘텐츠의 시점들의 범위는 이들이 서로 부분적으로 중첩될 수 있더라도 제2 볼류메트릭 비디오 콘텐츠의 시점들의 범위와 상이하다.

특정 실시예에 따르면, 하나 이상의 제1 패치가 참조하는 제2 패치(들)는 제1 패치와 함께 전송된다. 변형 실시예에 따르면, 제2 패치들은 이전 동작에서 이미 전송되었고 디바이스(1200)의 메모리에 저장되었다.

추가의 특정 실시예에 따르면, 제2 패치(들)는 제2 패치(들)의 전송을 요청하는 요청의 수신 시에 전송된다.

다른 특정 실시예에 따르면, 적어도 제2 패치를 참조하는 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들(예를 들어, 텍스처 및/또는 기하 구조/깊이)이 적어도 제2 패치에 포함된다. 적어도 제1 패치는 적어도 제2 패치(또는 적어도 제2 패치의 영역)를 식별하는 정보를 포함한다.

추가 실시예에 따르면, 적어도 제2 패치를 참조하는 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들은 적어도 제2 패치에 포함된다. 적어도 제2 패치에 대한 적어도 제1 패치의 참조를 나타내는 매핑 정보는 제1 볼류메트릭 비디오 콘텐츠와 연관된다. 매핑 정보는, 예를 들어, 제1 볼류메트릭 콘텐츠와 연관된 표에 포함될 수 있다.

도 14는 비제한적인 실시예에 따라, 3D 장면, 예를 들어 3D 장면(10)을 나타내는 데이터를 수신하기 위한 방법을 도시한다. 이 방법은 예를 들어 디코더(63) 및/또는 몰입형 렌더링 디바이스(100) 및/또는 디바이스(1200)에서 구현될 수 있다. 디바이스(1200)의 상이한 파라미터들이 업데이트될 수 있다. 데이터는 예를 들어 소스, 예컨대 비트스트림의 메모리로부터 획득될 수 있다.

제1 동작(141)에서, 3D 장면에서의 시점을 나타내는 정보가 전송된다. 3D 장면은 볼류메트릭 비디오 콘텐츠들의 세트로 표현되고, 뷰 공간 또는 시점들의 범위는 각각의 볼류메트릭 비디오 콘텐츠와 연관된다.

제2 동작(142)에서, 볼류메트릭 비디오 콘텐츠들의 세트의 제1 볼류메트릭 비디오 콘텐츠를 나타내는 데이터가, 예를 들어, 비트스트림 또는 로컬 메모리 또는 원격 메모리 디바이스로부터 수신된다. 제1 볼류메트릭 비디오 콘텐츠는 시점을 포함하는 시점들의 범위에 따른다. 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 세트의 각각의 제1 패치는 제1 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 대응한다. 제1 패치들의 세트의 적어도 제1 패치는 제2 패치(또는 제2 패치의 영역)를 참조하며, 제2 패치는 볼류메트릭 비디오 콘텐츠들의 세트의 제2 볼류메트릭 비디오 콘텐츠와 연관된 3D 장면의 다른 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 대응한다. 제2 볼류메트릭 비디오 콘텐츠는 제1 볼류메트릭 비디오 콘텐츠와 상이하고, 제1 볼류메트릭 비디오 콘텐츠의 시점들의 범위는 이들이 서로 부분적으로 중첩될 수 있더라도 제2 볼류메트릭 비디오 콘텐츠의 시점들의 범위와 상이하다.

특정 실시예에 따르면, 하나 이상의 제1 패치가 참조하는 제2 패치(들)는 제1 패치들과 함께 수신된다. 변형 실시예에 따르면, 제2 패치들은 이전 동작에서 이미 수신되었고 저장 유닛(예를 들어, 디바이스(1200)의 메모리)으로부터 검색된다.

추가의 특정 실시예에 따르면, 제2 패치(들)의 전송을 요청하는 요청이 전송된다.

추가 실시예에 따르면, 적어도 제2 패치를 참조하는 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들이 적어도 제2 패치에 포함된다. 적어도 제2 패치에 대한 적어도 제1 패치의 참조를 나타내는 매핑 정보는 제1 볼류메트릭 비디오 콘텐츠와 연관된다. 매핑 정보는, 예를 들어, 제1 볼류메트릭 콘텐츠와 연관된 표에 포함될 수 있다.

임의적인 실시예에 따르면, 장면의 하나 이상의 뷰는 수신된 데이터로부터 렌더링된다. 렌더링된 뷰(들)는 표시를 위해 전송될 수 있다.

당연히, 본 문서는 앞에서 설명된 실시예들에 제한되지 않는다.

특히, 본 문서는 3D 장면을 나타내는 데이터를 전송/수신하기 위한 방법 및 디바이스로 제한되지 않고, 데이터를 인코딩/디코딩하기 위한 방법 및/또는 인코딩된 데이터를 포함하는 비트스트림을 생성하기 위한 방법 및 이 방법을 구현하는 임의의 디바이스 및 특히 적어도 하나의 CPU 및/또는 적어도 하나의 GPU를 포함하는 임의의 디바이스들로 확장된다.

본 문서는 또한 비트스트림의 디코딩된 데이터로부터 렌더링된 이미지들을 표시하기 위한 방법(및 이를 위해 구성된 디바이스)에 관한 것이다.

본 문서는 또한 비트스트림을 전송 및/또는 수신하기 위한 방법(및 이를 위해 구성된 디바이스)에 관한 것이다.

본 명세서에서 설명된 구현예들은, 예를 들어 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현예의 면에서만 논의되었지만(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 특징들의 구현예는 다른 형태들(예를 들어, 프로그램)로 또한 구현될 수 있다. 장치는, 예를 들어 적합한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 본 방법들은, 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래머블 로직 디바이스를 포함하고 일반적으로 처리 디바이스들을 지칭하는, 예를 들어 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한, 예를 들어 스마트폰들, 태블릿들, 컴퓨터들, 모바일 폰들, 휴대용/개인용 정보 단말기들("PDA들") 및 최종 사용자들 간의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

본 명세서에 설명된 다양한 프로세스들 및 특징들의 구현예들은 다양하고 상이한 장비 또는 애플리케이션들, 특히 예를 들어, 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 처리, 및 이미지들 및 관련된 텍스처 정보 및/또는 깊이 정보의 다른 처리와 연관된 장비 또는 애플리케이션들에서 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 사후 프로세서, 인코더에 입력을 제공하는 사전 프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA 및 다른 통신 디바이스들을 포함한다. 명백한 바와 같이, 이러한 장비는 이동식일 수 있으며, 심지어 이동식 차량에 설치될 수 있다.

추가적으로, 본 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들(및/또는 구현예에 의해 생성된 데이터 값들)은, 예를 들어 집적 회로, 소프트웨어 캐리어, 또는 예를 들어 하드 디스크, 콤팩트 디스켓("CD"), 광학 디스크(예를 들면, 흔히 디지털 다기능 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD), 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서 판독가능한 매체 상에 저장될 수 있다. 명령어들은 프로세서 판독가능한 매체 상에 유형적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합 내에 존재할 수 있다. 명령어들은, 예를 들어, 운영 체제, 별도의 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는, 예를 들어, 프로세스를 실행하도록 구성되는 디바이스, 및 프로세스를 실행하기 위한 명령어들을 가지는 프로세서 판독가능한 매체를 포함하는 디바이스(예를 들어, 저장 디바이스) 모두로서 특성화될 수 있다. 또한, 프로세서 판독가능한 매체는, 명령어들에 더하여 또는 명령어들 대신에, 구현예에 의해 생성되는 데이터 값들을 저장할 수 있다.

관련 기술분야의 통상의 기술자에게 명백한 바와 같이, 구현예들은 예를 들어 저장되거나 전송될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 이 정보는 예를 들어 방법을 수행하기 위한 명령어들 또는 설명된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 신택스를 기입 또는 판독하기 위한 규칙들을 데이터로서 운반하거나 또는 설명된 실시예에 의해 기입된 실제 신택스 값들을 데이터로서 운반하도록 포맷팅될 수 있다. 이러한 신호는, 예를 들어 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 이용함) 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는 예를 들어 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 바와 같이 다양하고 상이한 유선 또는 무선 연결들을 통해 전송될 수 있다. 신호는 프로세서 판독가능한 매체 상에 저장될 수 있다.

다수의 구현예들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있음이 이해될 것이다. 예를 들어, 상이한 구현예들의 요소들은 결합, 보충, 수정, 또는 제거되어 다른 구현예들을 생성할 수 있다. 게다가, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 것들에 대체될 수 있고, 그 결과의 구현예들이 적어도 실질적으로 개시된 구현예들과 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 기능(들)을 적어도 실질적으로 동일한 방식(들)으로 수행할 것이라는 점을 이해할 것이다. 따라서, 이들 및 다른 구현예들이 본 출원에 의해 고려된다.

Claims

방법으로서,
3D 장면에서 제1 시점(viewpoint)을 나타내는 정보를 수신하는 단계 - 상기 3D 장면은 볼류메트릭 비디오 콘텐츠(volumetric video content)들의 세트로 표현됨 -;
상기 제1 시점에 따라 선택된 상기 세트의 제1 볼류메트릭 비디오 콘텐츠를 전송하는 단계 - 상기 제1 볼류메트릭 비디오 콘텐츠는 상기 시점을 포함하는 시점들의 범위에 따라 결정되고, 상기 제1 볼류메트릭 비디오 콘텐츠는 제1 패치(patch)들의 세트로 표현되고, 상기 세트의 제1 패치는 상기 제1 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 의해 획득됨 -
를 포함하는, 방법.
제1항에 있어서,
상기 제1 시점과 상이한 제2 시점의 수신 시에 제2 볼류메트릭 비디오 콘텐츠가 전송되고, 상기 제2 볼류메트릭 비디오 콘텐츠는 상기 제2 시점을 포함하는 시점들의 범위에 따라 결정되고, 상기 제2 볼류메트릭 비디오 콘텐츠는 제2 패치들의 세트로 표현되고, 상기 제2 패치들의 세트의 각각의 제2 패치는 상기 제2 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 의해 획득되는, 방법.
제2항에 있어서,
상기 제1 볼류메트릭 비디오 콘텐츠와 연관된 시점들의 범위 및 상기 제2 볼류메트릭 비디오 콘텐츠와 연관된 시점들의 범위는 부분적으로 중첩되는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 패치들의 세트의 적어도 제1 패치는 상기 볼류메트릭 비디오 콘텐츠들의 세트의 제3 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 다른 3D 부분에 포함된 제3 포인트 그룹의 2차원 파라미터화에 의해 획득되는 적어도 제3 패치의 적어도 영역을 참조(refer)하는, 방법.
제4항에 있어서,
상기 적어도 제3 패치의 적어도 영역을 참조하는 상기 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들은 상기 적어도 제3 패치의 상기 적어도 영역에 포함되고, 상기 적어도 제1 패치는 상기 적어도 제3 패치의 상기 적어도 영역을 식별하는 정보를 포함하는, 방법.
제4항에 있어서,
상기 적어도 제3 패치의 적어도 영역을 참조하는 상기 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들은 상기 적어도 제3 패치에 포함되고, 상기 적어도 제3 패치의 상기 적어도 영역에 대한 상기 적어도 제1 패치의 참조를 나타내는 매핑 정보는 상기 제1 볼류메트릭 비디오 콘텐츠와 연관되는, 방법.
디바이스로서,
3D 장면에서 제1 시점을 나타내는 정보를 수신하도록 구성된 수신기 - 상기 3D 장면은 볼류메트릭 비디오 콘텐츠들의 세트로 표현됨 -;
상기 제1 시점에 따라 선택된 상기 세트의 제1 볼류메트릭 비디오 콘텐츠를 전송하도록 구성된 전송기 - 상기 제1 볼류메트릭 비디오 콘텐츠는 상기 시점을 포함하는 시점들의 범위에 따라 결정되고, 상기 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 상기 세트의 제1 패치는 상기 제1 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 의해 획득됨 -
를 포함하는, 디바이스.
제7항에 있어서,
상기 제1 시점과 상이한 제2 시점의 수신 시에 제2 볼류메트릭 비디오 콘텐츠가 전송되고, 상기 제2 볼류메트릭 비디오 콘텐츠는 상기 제2 시점을 포함하는 시점들의 범위에 따라 결정되고, 상기 제2 볼류메트릭 비디오 콘텐츠는 제2 패치들의 세트로 표현되고, 상기 제2 패치들의 세트의 각각의 제2 패치는 상기 제2 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 의해 획득되는, 디바이스.
제8항에 있어서,
상기 제1 볼류메트릭 비디오 콘텐츠와 연관된 시점들의 범위 및 상기 제2 볼류메트릭 비디오 콘텐츠와 연관된 시점들의 범위는 부분적으로 중첩되는, 디바이스.
제7항 내지 제9항 중 어느 한 항에 있어서,
상기 제1 패치들의 세트의 적어도 제1 패치는 상기 볼류메트릭 비디오 콘텐츠들의 세트의 제3 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 다른 3D 부분에 포함된 제3 포인트 그룹의 2차원 파라미터화에 의해 획득되는 적어도 제3 패치의 적어도 영역을 참조하는, 디바이스.
제10항에 있어서,
상기 적어도 제3 패치의 적어도 영역을 참조하는 상기 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들은 상기 적어도 제3 패치의 상기 적어도 영역에 포함되고, 상기 적어도 제1 패치는 상기 적어도 제3 패치의 상기 적어도 영역을 식별하는 정보를 포함하는, 디바이스.
제10항에 있어서,
상기 적어도 제3 패치의 적어도 영역을 참조하는 상기 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들은 상기 적어도 제3 패치에 포함되고, 상기 적어도 제3 패치의 상기 적어도 영역에 대한 상기 적어도 제1 패치의 참조를 나타내는 매핑 정보는 상기 제1 볼류메트릭 비디오 콘텐츠와 연관되는, 디바이스.
방법으로서,
3D 장면에서 제1 시점을 나타내는 정보를 전송하는 단계 - 상기 3D 장면은 볼류메트릭 비디오 콘텐츠들의 세트로 표현됨 -;
상기 제1 시점에 따라 선택된 상기 세트의 제1 볼류메트릭 비디오 콘텐츠를 수신하는 단계 - 상기 제1 볼류메트릭 비디오 콘텐츠는 상기 제1 시점을 포함하는 시점들의 범위에 따르고, 상기 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 상기 세트의 제1 패치는 상기 제1 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 의해 획득됨 -
를 포함하는, 방법.
제13항에 있어서,
상기 제1 시점과 상이한 제2 시점의 전송 후에 제2 볼류메트릭 비디오 콘텐츠가 수신되고, 상기 제2 볼류메트릭 비디오 콘텐츠는 상기 제2 시점을 포함하는 시점들의 범위에 따라 결정되고, 상기 제2 볼류메트릭 비디오 콘텐츠는 제2 패치들의 세트로 표현되고, 상기 세트의 제2 패치는 상기 제2 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 의해 획득되는, 방법.
제13항에 있어서,
상기 제1 패치들의 세트의 적어도 제1 패치는 상기 볼류메트릭 비디오 콘텐츠들의 세트의 제3 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 다른 3D 부분에 포함된 제3 포인트 그룹의 2차원 파라미터화에 의해 획득되는 적어도 제3 패치의 적어도 영역을 참조하는, 방법.
제15항에 있어서,
상기 적어도 제3 패치의 적어도 영역을 참조하는 상기 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들은 상기 적어도 제3 패치의 상기 적어도 영역에 포함되고, 상기 적어도 제1 패치는 상기 적어도 제3 패치의 상기 적어도 영역을 식별하는 정보를 포함하는, 방법.
제15항에 있어서,
상기 적어도 제3 패치의 적어도 영역을 참조하는 상기 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들은 상기 적어도 제3 패치에 포함되고, 상기 적어도 제3 패치의 상기 적어도 영역에 대한 상기 적어도 제1 패치의 참조를 나타내는 매핑 정보는 상기 제1 볼류메트릭 비디오 콘텐츠와 연관되는, 방법.
디바이스로서,
3D 장면에서 제1 시점을 나타내는 정보를 전송하도록 구성된 전송기 - 상기 3D 장면은 볼류메트릭 비디오 콘텐츠들의 세트로 표현됨 -;
상기 제1 시점에 따라 선택된 상기 세트의 제1 볼류메트릭 비디오 콘텐츠를 수신하도록 구성된 수신기 - 상기 제1 볼류메트릭 비디오 콘텐츠는 상기 제1 시점을 포함하는 시점들의 범위에 따르고, 상기 제1 볼류메트릭 비디오 콘텐츠는 제1 패치들의 세트로 표현되고, 상기 세트의 제1 패치는 상기 제1 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 3D 부분에 포함된 제1 포인트 그룹의 2차원 파라미터화에 의해 획득됨 -
를 포함하는, 디바이스.
제18항에 있어서,
상기 제1 시점과 상이한 제2 시점의 전송 후에 제2 볼류메트릭 비디오 콘텐츠가 수신되고, 상기 제2 볼류메트릭 비디오 콘텐츠는 상기 제2 시점을 포함하는 시점들의 범위에 따라 결정되고, 상기 제2 볼류메트릭 비디오 콘텐츠는 제2 패치들의 세트로 표현되고, 상기 세트의 제2 패치는 상기 제2 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 3D 부분에 포함된 제2 포인트 그룹의 2차원 파라미터화에 의해 획득되는, 디바이스.
제18항에 있어서,
상기 제1 패치들의 세트의 적어도 제1 패치는 상기 볼류메트릭 비디오 콘텐츠들의 세트의 제3 볼류메트릭 비디오 콘텐츠와 연관된 상기 3D 장면의 다른 3D 부분에 포함된 제3 포인트 그룹의 2차원 파라미터화에 의해 획득되는 적어도 제3 패치의 적어도 영역을 참조하는, 디바이스.
제20항에 있어서,
상기 적어도 제3 패치의 적어도 영역을 참조하는 상기 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들은 상기 적어도 제3 패치의 상기 적어도 영역에 포함되고, 상기 적어도 제1 패치는 상기 적어도 제3 패치의 상기 적어도 영역을 식별하는 정보를 포함하는, 디바이스.
제20항에 있어서,
상기 적어도 제3 패치의 적어도 영역을 참조하는 상기 적어도 제1 패치와 연관된 적어도 제1 포인트 그룹의 포인트들과 연관된 속성들은 상기 적어도 제3 패치에 포함되고, 상기 적어도 제3 패치의 상기 적어도 영역에 대한 상기 적어도 제1 패치의 참조를 나타내는 매핑 정보는 상기 제1 볼류메트릭 비디오 콘텐츠와 연관되는, 디바이스.
삭제
삭제