KR20220126225A - 포인트 클라우드 압축을 이용하는 메시 압축 방법 및 장치 - Google Patents
포인트 클라우드 압축을 이용하는 메시 압축 방법 및 장치 Download PDFInfo
- Publication number
- KR20220126225A KR20220126225A KR1020220027875A KR20220027875A KR20220126225A KR 20220126225 A KR20220126225 A KR 20220126225A KR 1020220027875 A KR1020220027875 A KR 1020220027875A KR 20220027875 A KR20220027875 A KR 20220027875A KR 20220126225 A KR20220126225 A KR 20220126225A
- Authority
- KR
- South Korea
- Prior art keywords
- bitstream
- mesh
- image
- decoding
- point cloud
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 195
- 238000007906 compression Methods 0.000 title claims abstract description 59
- 230000006835 compression Effects 0.000 title claims abstract description 59
- 230000002194 synthesizing effect Effects 0.000 claims description 35
- 238000013507 mapping Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 23
- 238000013144 data compression Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 16
- 238000012856 packing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
포인트 클라우드 압축을 이용하는 메시 압축 방법 및 장치에 관한 개시로서, 본 실시예는, 3차원 메시에 대한 부호화 효율을 향상시키기 위해, 3차원 메시를 포인트 클라우드로 변환한 후, 포인트 클라우드 압축 방법을 이용하여 3차원 메시를 압축/복원하는 부호화/복호화 장치 및 방법을 제공한다.
Description
본 개시는 포인트 클라우드 압축을 이용하는 메시 압축 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
3차원 메시(mesh) 정보는 3차원 모델링, 내비게이션(navigation), 게임 등 다양한 분야에서 널리 사용되고 있는 데이터의 한 종류이다. 일반적으로 메시 데이터는 ASCII 코드로 표현되어 있는 정점(vertex)의 3차원 좌표, 텍스처(texture) 정점의 2차원 좌표, 정점의 3차원 법선 벡터(normal vector), 다수의 정점들로 구성된 다각형(polygon)의 연결성을 표현하는 에지(edge) 정보 등을 포함한다. 추가적으로, 메시 데이터는 별도의 PNG, JPEG, JPEG2000과 같은 이미지 코덱을 이용하여 압축된 텍스처맵(texture map)를 포함할 수 있다. 여기서, 텍스처 정점들은, 정점들이 2차원 uv 도메인(domain)으로 정사영된(orthogonally projected) 정점들을 나타낸다. 따라서, 텍스처맵은 uv 도메인으로 사영된 정점들의 속성 값들을 패킹한 이미지를 나타낸다. 이때, uv 도메인으로서 구형, 원통형 등 다양한 사영 공간 (projective space)이 이용될 수 있다. 또한, 정점들의 속성 값들을 정의하는 속성 정보는, 정점에서의 색상 정보, 질감 정보, 투명도(transparency) 등을 포함할 수 있다.
도 1a 내지 도 1c의 예시는 3차원 메시가 포함하고 있는 데이터를 나타낸다. 도 1a의 예시에서는, 메시가 사면체의 객체를 3차원 공간에 표현하되, 메시가 총 4 개의 정점들을 포함한다. 또한, 사면체를 표현하기 위해 메시의 각 정점들을 연결하는 에지 정보는 선으로 표현된다. 도 1b와 도 1c의 예시는, 도 1a에 예시된 메시를 표현함에 있어서, 일반적으로 사용되는 방식을 나타낸다. 도 1b의 예시는, 2차원 uv 공간에 표현된 3차원 메시의 텍스처 정점들, 및 이들 간의 연결성을 표현하는 에지 정보를 나타낸다. 도 1c의 예시는, ASCII 코드를 이용하여 표현된 정점들의 위치, 텍스처 정점들의 위치, 정점들과 텍스처 정점들 간의 연결성 등을 나타낸다.
3차원 메시는 점점 사용 영역이 확대되고 있는데, 향후 자율주행, 모바일 등의 분야에도 널리 사용될 것으로 예상된다. 따라서, 전송 및 저장 측면에서 메시를 효율적으로 압축하는 방법 및 장치가 고려되어야 한다.
본 개시는, 3차원 메시에 대한 부호화 효율을 향상시키기 위해, 3차원 메시를 포인트 클라우드로 변환한 후, 포인트 클라우드 압축 방법을 이용하여 3차원 메시를 압축/복원하는 부호화/복호화 장치 및 방법을 제공하는 데 목적이 있다.
본 개시의 실시예에 따르면, 메시 복호화 장치가 수행하는, 3차원 메시(mesh)를 복호화하는 복호화 방법에 있어서, 비트스트림을 제1 비트스트림과 제2 비트스트림으로 분리하는 단계, 여기서, 상기 제1 비트스트림은 상기 메시를 표현한 포인트 클라우드(point cloud)가 부호화된 비트스트림이고, 상기 제2 비트스트림은 상기 메시의 에지 데이터가 부호화된 비트스트림임; 상기 제1 비트스트림으로부터 상기 포인트 클라우드를 복호화하는 단계; 상기 제2 비트스트림으로부터 상기 에지 데이터를 복호화하는 단계; 및 상기 에지 데이터를 이용하여 다각형들(polygons)의 평면들을 생성하고, 상기 평면들에 가장 근접한, 상기 포인트 클라우드의 속성 값들을 이용하여 상기 평면들의 텍스처(texture)를 생성함으로써, 상기 메시를 합성하는 단계를 포함하는 것을 특징으로 하는, 복호화 방법을 제공한다.
본 개시의 다른 실시예에 따르면, 3차원 메시를 복호화하는 메시 복호화 장치에 있어서, 비트스트림을 제1 비트스트림과 제2 비트스트림으로 분리하는 비트스트림 분리부, 여기서, 상기 제1 비트스트림은 상기 메시를 표현한 포인트 클라우드가 부호화된 비트스트림이고, 상기 제2 비트스트림은 상기 메시의 에지 데이터가 부호화된 비트스트림임; 상기 제1 비트스트림으로부터 상기 포인트 클라우드를 복호화하는 포인트 클라우드 복호화부; 상기 제2 비트스트림으로부터 상기 에지 데이터를 복호화하는 에지 복호화부; 및 상기 에지 데이터를 이용하여 다각형들의 평면들을 생성하고, 상기 평면들에 가장 근접한, 상기 포인트 클라우드의 속성 값들을 이용하여 상기 평면들의 텍스처를 생성함으로써, 상기 메시를 합성하는 메시 합성부를 포함하는 것을 특징으로 하는, 메시 복호화 장치를 제공한다.
본 개시의 다른 실시예에 따르면, 메시 부호화 장치가 수행하는, 3차원 메시(mesh)를 부호화하는 복호화 방법에 있어서, 상기 메시를 획득하는 단계; 상기 메시로부터 다각형들(polygons)의 에지(edge) 데이터를 추출하는 단계; 상기 메시로부터 정점들(vertices)을 추출하고 텍스처맵(texture map)을 생성한 후, 상기 정점들, 상기 에지 데이터 및 상기 텍스처맵을 이용하여 상기 메시를 포인트 클라우드(point cloud)로 변환하는 단계; 상기 포인트 클라우드를 부호화하여 제1 비트스트림을 생성하는 단계; 상기 에지 데이터를 부호화하여 제2 비트스트림을 생성하는 단계; 및 상기 제1 비트스트림 및 상기 제2 비트스트림을 합성하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 따르면, 3차원 메시를 포인트 클라우드로 변환한 후, 포인트 클라우드 압축 방법을 이용하여 3차원 메시를 압축/복원하는 부호화/복호화 장치 및 방법을 제공함으로써, 3차원 메시에 대한 부호화 효율을 향상시키는 것이 가능해지는 효과가 있다.
도 1a 내지 도 1c는 3차원 메시가 포함하고 있는 데이터를 나타내는 예시도이다.
도 2a 및 도 2b는 메시 부호화 장치 및 메시 복호화 장치를 개념적으로 나타내는 블록도이다.
도 3a 및 도 3b는 본 개시의 일 실시예에 따른 메시 부호화 장치 및 메시 복호화 장치를 개념적으로 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 포인트 클라우드 변환부를 개념적으로 나타내는 블록도이다.
도 5는 본 개시의 일 실시예에 따른 포인트 클라우드의 기하 정보 생성을 나타내는 예시도이다.
도 6은 본 개시의 일 실시예에 따른 포인트 클라우드 부호화부를 개념적으로 나타내는 블록도이다.
도 7은 본 개시의 일 실시예에 따른 포인트 클라우드 복호화부를 개념적으로 나타내는 블록도이다.
도 8a 및 도 8b는 본 개시의 다른 실시예에 따른 메시 부호화 장치 및 메시 복호화 장치를 개념적으로 나타내는 블록도이다.
도 9는 본 개시의 다른 실시예에 따른 포인트 클라우드 부호화부를 개념적으로 나타내는 블록도이다.
도 10은 본 개시의 다른 실시예에 따른 포인트 클라우드 복호화부를 개념적으로 나타내는 블록도이다.
도 11은 본 개시의 또다른 실시예에 따른, 복원 정점 정보를 이용하는 메시 부호화 장치를 개념적으로 나타내는 블록도이다.
도 12a 및 도 12b는 본 개시의 일 실시예에 따른 메시 부호화 방법을 나타내는 순서도이다.
도 13은 본 개시의 일 실시예에 따른 메시 복호화 방법을 나타내는 순서도이다.
도 14는 본 개시의 다른 실시예에 따른 메시 부호화 방법을 나타내는 순서도이다.
도 15는 본 개시의 다른 실시예에 따른 메시 복호화 방법을 나타내는 순서도이다.
도 16은 본 개시의 또다른 실시예에 따른 메시 부호화 방법을 나타내는 순서도이다.
도 17은 본 개시의 또다른 실시예에 따른 메시 복호화 방법을 나타내는 순서도이다.
도 2a 및 도 2b는 메시 부호화 장치 및 메시 복호화 장치를 개념적으로 나타내는 블록도이다.
도 3a 및 도 3b는 본 개시의 일 실시예에 따른 메시 부호화 장치 및 메시 복호화 장치를 개념적으로 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 포인트 클라우드 변환부를 개념적으로 나타내는 블록도이다.
도 5는 본 개시의 일 실시예에 따른 포인트 클라우드의 기하 정보 생성을 나타내는 예시도이다.
도 6은 본 개시의 일 실시예에 따른 포인트 클라우드 부호화부를 개념적으로 나타내는 블록도이다.
도 7은 본 개시의 일 실시예에 따른 포인트 클라우드 복호화부를 개념적으로 나타내는 블록도이다.
도 8a 및 도 8b는 본 개시의 다른 실시예에 따른 메시 부호화 장치 및 메시 복호화 장치를 개념적으로 나타내는 블록도이다.
도 9는 본 개시의 다른 실시예에 따른 포인트 클라우드 부호화부를 개념적으로 나타내는 블록도이다.
도 10은 본 개시의 다른 실시예에 따른 포인트 클라우드 복호화부를 개념적으로 나타내는 블록도이다.
도 11은 본 개시의 또다른 실시예에 따른, 복원 정점 정보를 이용하는 메시 부호화 장치를 개념적으로 나타내는 블록도이다.
도 12a 및 도 12b는 본 개시의 일 실시예에 따른 메시 부호화 방법을 나타내는 순서도이다.
도 13은 본 개시의 일 실시예에 따른 메시 복호화 방법을 나타내는 순서도이다.
도 14는 본 개시의 다른 실시예에 따른 메시 부호화 방법을 나타내는 순서도이다.
도 15는 본 개시의 다른 실시예에 따른 메시 복호화 방법을 나타내는 순서도이다.
도 16은 본 개시의 또다른 실시예에 따른 메시 부호화 방법을 나타내는 순서도이다.
도 17은 본 개시의 또다른 실시예에 따른 메시 복호화 방법을 나타내는 순서도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 실시예는 포인트 클라우드 압축을 이용하는 메시 압축 방법 및 장치에 관한 내용을 개시한다. 보다 자세하게는, 3차원 메시에 대한 부호화 효율을 향상시키기 위해, 3차원 메시를 포인트 클라우드로 변환한 후, 포인트 클라우드 압축 방법을 이용하여 3차원 메시를 압축/복원하는 메시 부호화/복호화 장치 및 방법을 제공한다.
이하의 설명에서, 메시 정보와 메시 데이터는 호환적으로 이용된다. 또한, 정점 정보와 정점 데이터, 에지 정보와 에지 데이터, 텍스처맵 정보와 텍스처맵 데이터, 및 패치 정보와 패치 데이터도 호환적으로 이용될 수 있다.
먼저, 도 2a 및 도 2b의 도시를 이용하여, 메시를 정점 정보, 텍스처맵 및 에지 정보로 분할하여 메시를 부호화/복호화하는 장치를 기술한다.
도 2a 및 도 2b는 메시 부호화 장치 및 메시 복호화 장치를 개념적으로 나타내는 블록도이다.
도 2a에 예시된 바와 같이, 메시 부호화 장치는 메시를 정점 정보, 텍스처맵 및 에지 정보로 분할한 후, 이들을 부호화하여 비트스트림을 생성할 수 있다. 메시 부호화 장치는 생성된 비트스트림을 저장하거나 메시 복호화 장치로 전송할 수 있다. 메시 부호화 장치는 정점 추출부(202), 정점 부호화부(204), 에지 추출부(206), 에지 부호화부(208), 텍스처맵 생성부(210), 영상 부호화부(212) 및 비트스트림 합성부(214)의 전부 또는 일부를 포함한다.
정점 추출부(202)는 원본 메시 정보로부터 ASCII로 표현된 정점들의 좌표 값, 정점들의 법선 벡터, 텍스처 정점들의 좌표 값 등의 데이터를 추출한다. 추출된 정점 데이터는 정점 부호화부(204) 및 에지 부호화부(208)로 전달될 수 있다. 정점 부호화부(204)는 전달된 정점 데이터를 압축하여 비트스트림을 생성할 수 있다. 여기서, 정점 데이터를 압축하기 위해, 기존의 일반적인 무손실 데이터 압축 방법이 이용될 수 있다. 예를 들어, 정점 부호화부(204)는 gzip와 같은 오픈 소스를 사용하여, 기존의 데이터보다 작은 용량의 데이터로 압축하여 비트스트림을 생성할 수 있다. 다른 실시예로서, 정점 부호화부(204)는 정점 데이터를 압축하지 않은 채로 바이트 단위로 패킹하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다.
에지 추출부(206)는 원본 메시 정보로부터 다각형들의 에지 데이터를 추출하여 ASCII로 표현된 데이터로 나타낼 수 있다. 추출된 에지 데이터는 에지 부호화부(208)로 전달될 수 있다. 에지 부호화부(208)는 에지 데이터를 압축하여 비트스트림을 생성할 수 있다. 또한, 에지 부호화부(208)는 에지 데이터를 부호화할 때, 정점 추출부(202)에 의해 생성된 정점들의 데이터를 이용할 수 있다. 에지 부호화부(208)는 일반적인 데이터 압축 방법을 이용하여 에지 데이터를 부호화할 수 있다. 또는, 에지 부호화부(208)는 에지 데이터를 압축하지 않은 채로 바이트 단위로 패킹하여 비트스트림을 생성할 수 있다.
에지 부호화부(208)는, 다른 실시예로서, 일반적인 무손실 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 예를 들면, 일반적인 다각형 연결성 압축 방법인 에지브레이커(edgebreaker)가 이용될 수 있다. 즉, 에지 부호화부(208)는, 에지브레이커를 이용하여 연결성을 다수의 심볼로 나타낸 후, 이러한 심볼들을 부호화하여 비트스트림을 생성할 수 있다. 또는, 에지 부호화부(208)는 선택적으로 일부 에지 데이터에 대해 일반적인 데이터 압축 방법을 적용하고, 나머지 에지 데이터에 대해 에지브레이커를 적용하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)에 전달될 수 있다.
텍스처맵 생성부(210)는 원본 메시의 3차원 객체의 면의 텍스처를 2차원 uv 도메인으로 정사영하여 2차원 텍스처맵을 생성할 수 있다. 또는, 원본 메시의 텍스처 정보가 JPEG(Joint Photographic coding Experts Group), JPEG2000, PNG(Portable Network Graphics), HEIF(High Efficiency Image File Format)등과 같은 이미지 압축에 따라 생성된 비트스트림의 형태인 경우, 텍스처맵 생성부(210)는 압축된 이미지를 복호화하여 복원된 텍스처맵을 생성할 수 있다. 생성된 텍스처맵은 영상 부호화부(212)로 전달될 수 있다. 영상 부호화부(212)는 입력된 텍스처맵을 압축하여 비트스트림을 생성할 수 있다. 이때, 영상 부호화부(212)에서는 이미지 압축 방법인 JPEG, JPEG2000, PNG, HEIF 등과 같은 다양한 기술들이 사용될 수 있다. 또는 H.264/AVC(Advanced Video Coding), H.265/HEVC(Advanced Video Coding), H.266/VVC(Versatile Video Coding) 등과 같은 비디오 압축 기술들이 사용될 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다.
비트스트림 합성부(214)는 입력된 모든 비트스트림들을 결합하여 하나의 비트스트림을 생성할 수 있다. 메시 부호화 장치는 생성된 비트스트림을 메시 복호화 장치로 전달할 수 있다.
한편, 도 2b에 예시된 바와 같이, 메시 복호화 장치는 전달된 비트스트림을 복호화하여, 정점 정보, 텍스처맵 및 에지 정보를 복원한다. 메시 복호화 장치는 복원된 데이터를 합성하여 원본 메시를 복원할 수 있다. 메시 복호화 장치는 비트스트림 분리부(222), 정점 복호화부(224), 에지 복호화부(228), 영상 복호화부(232) 및 메시 합성부(234)의 전부 또는 일부를 포함할 수 있다.
비트스트림 분리부(222)는 전달된 비트스트림을 정점 관련 비트스트림, 에지 관련 비트스트림, 텍스처맵 관련 비트스트림으로 분리하여 각각 정점 복호화부(224), 에지 복호화부(228) 및 영상 복호화부(232)로 전달할 수 있다.
정점 복호화부(224)는 전달된 정점 관련 비트스트림을 복호화하여 정점 데이터를 복원할 수 있다. 전술한 바와 같이, 정점 데이터는 정점들의 좌표 값, 정점들의 법선 벡터, 텍스처 정점들의 좌표 값 등을 포함한다. 복원된 정점 데이터는 메시 합성부(234)로 전달될 수 있다.
에지 복호화부(228)는 전달된 에지 관련 비트스트림을 복호화하여 에지 데이터를 복원한다. 이때, 에지 데이터 복원 방법으로서, 메시 부호화 장치 내 에지 부호화부(208)에서 사용된 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다. 복원된 에지 데이터는 메시 합성부(234)로 전달될 수 있다.
영상 복호화부(232)는 전달된 텍스처맵 관련 비트스트림을 복호화하여 복원텍스처맵을 복원할 수 있다. 이때, 텍스처맵 복원 방법으로서, 에지 부호화 장치 내 영상 부호화부(212)에서 사용된 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다. 복원된 텍스처맵은 메시 합성부(234)로 전달될 수 있다.
메시 합성부(234)는 입력된 정점 정보, 에지 정보, 및 텍스처맵을 이용하여 3차원 메시를 합성함으로써, 원본 메시를 복원할 수 있다.
이하, 도 3a 및 도 3b의 도시를 이용하여, 메시 부호화/복호화 장치의 일 예로서, 포인트 클라우드 코딩을 이용하는 방법을 기술한다.
도 3a 및 도 3b는 본 개시의 일 실시예에 따른 메시 부호화 장치 및 메시 복호화 장치를 개념적으로 나타내는 블록도이다.
일 실시예로서, 도 3a에 예시된 바와 같이, 메시 부호화 장치는 메시 정보를 포인트 클라우드로 변환한 후, 포인트 클라우드 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 메시 부호화 장치는 생성된 비트스트림을 저장하거나 메시 복호화 장치로 전송할 수 있다. 메시 부호화 장치는 에지 추출부(206), 포인트 클라우드 변환부(302), 포인트 클라우드 부호화부(304), 에지 부호화부(208) 및 비트스트림 합성부(214)의 전부 또는 일부를 포함할 수 있다.
에지 추출부(206)는 원본 메시 정보로부터 다각형의 에지 정보를 추출하여 ASCII로 표현된 데이터로 나타낼 수 있다. 추출된 에지 데이터는 에지 부호화부(208) 및 포인트 클라우드 변환부(302)로 전달될 수 있다.
포인트 클라우드 변환부(302)는 입력된 원본 메시를 포인트 클라우드로 변환할 수 있다. 포인트 클라우드는 포인트 클라우드 부호화부(304)와 에지 부호화부(208)로 전달될 수 있다. 포인트 클라우드 부호화부(304)는 전달된 포인트 클라우드를 부호화하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다. 포인트 클라우드 변환부(302) 및 포인트 클라우드 부호화부(304)에 대한 자세한 구성은 추후 기술된다.
에지 부호화부(208)는 입력된 에지 데이터를 부호화하여 비트스트림을 생성할 수 있다. 에지 부호화부(208)는 에지 데이터를 부호화할 때, 포인트 클라우드 변환부(302)에 의해 제공된 정점들의 데이터를 이용할 수 있다. 에지 부호화부(208)는 일반적인 데이터 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 또는, 에지 부호화부(208)는 일반적인 무손실 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다.
비트스트림 합성부(214)는 전달된 비트스트림들을 연결하여 하나의 비트스트림을 생성할 수 있다. 메시 부호화 장치는 생성된 비트스트림을 저장하거나 메시 복호화 장치로 전달할 수 있다.
한편, 도 3b에 예시된 바와 같이, 메시 복호화 장치는, 전달된 비트스트림으로부터 포인트 클라우드를 복호화한 후, 메시 정보를 복원할 수 있다. 메시 복호화 장치는 비트스트림 분리부(222), 포인트 클라우드 복호화부(324), 에지 복호화부(228) 및 메시 합성부(234)의 전부 또는 일부를 포함할 수 있다.
비트스트림 분리부(222)는 전달된 비트스트림을 포인트 클라우드 관련 비트스트림과 에지 관련 비트스트림으로 분리할 수 있다. 분리된 비트스트림 각각은 포인트 클라우드 복호화부(324) 및 에지 복호화부(228)로 전달될 수 있다.
포인트 클라우드 복호화부(324)는 입력된 포인트 클라우드 관련 비트스트림으로부터 포인트 클라우드를 복원한다. 복원된 포인트 클라우드는 메시 합성부(234)로 전달될 수 있다. 포인트 클라우드 복호화부(324)에 대한 자세한 구성은 추후 기술한다.
에지 복호화부(228)는 입력된 에지 관련 비트스트림을 복호화하여 에지 데이터를 복원할 수 있다. 이때, 에지 데이터 복원 방법으로서, 메시 부호화 장치에서 사용된 에지 데이터 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다. 복원된 에지 데이터는 메시 합성부(234)로 전달될 수 있다.
메시 합성부(234)는 전달된 포인트 클라우드와 에지 데이터를 이용하여 3차원 메시를 합성함으로써, 원본 메시를 복원할 수 있다. 메시 합성부(234)는 에지 데이터를 이용하여 다각형들의 평면들을 생성하고, 그 평면들에 가장 근접한 포인트 클라우드의 속성 값들을 이용하여 다각형들의 평면들의 텍스처를 생성할 수 있다.
이하, 도 4 내지 도 7의 도시를 이용하여, 도 3a에 제시된 포인트 클라우드 변환부(302)와 포인트 클라우드 부호화부(304)의 구조 및 동작을 기술한다.
도 4는 본 개시의 일 실시예에 따른 포인트 클라우드 변환부를 개념적으로 나타내는 블록도이다.
포인트 클라우드 변환부(302)는 정점 추출부(202), 기하 샘플링부(402), 텍스처맵 생성부(210) 및 속성 매핑부(404)의 전부 또는 일부를 포함할 수 있다.
정점 추출부(202)는 원본 메시로부터 정점들을 추출한다. 추출된 정점들은 기하 샘플링부(402) 및 에지 부호화부(208)로 전달될 수 있다.
기하 샘플링부(402)는 전달된 정점들과 에지들을 이용하여 다각형들의 평면을 생성한 후, 평면 상의 점들의 위치를 샘플링하여 포인트 클라우드의 기하 정보를 생성할 수 있다. 도 5에 예시된 바와 같이, 기하 샘플링부(402)는 입력된 정점들과 에지 데이터를 이용하여 3차원 공간 상의 평면을 생성할 수 있다. 기하 샘플링부(402)는 생성된 평면을 균일한 분포로 샘플링하여 해당 위치에서 포인트들을 생성할 수 있다. 각 포인트들의 기하 정보는 평면을 이루는 3 개의 정점들의 3차원 좌표에 기초하여 계산될 수 있다. 또는, 평면에 가장 가까운 정수형의 좌표에 기초하여 포인트들이 생성될 수도 있다.
기하 샘플링부(402)는 생성된 기하 정보를 속성 매핑부(404)로 전달한다.
텍스처맵 생성부(210)는 원본 메시의 텍스처 정보를 uv 도메인으로 정사영하여 텍스처맵을 생성한다. 또는, 원본 메시의 텍스처 정보가 JPEG, JPEG2000, PNG, HEIF등과 같은 이미지 압축에 따라 생성된 비트스트림의 형태인 경우, 텍스처맵 생성부(210)는 압축된 이미지를 복호화하여 복원된 텍스처맵을 생성할 수 있다. 텍스처맵 생성부(210)는 생성된 텍스처맵, 정사영에 사용된 정보 등을 포함하는 텍스처맵 데이터를 속성 매핑부(404)로 전달한다.
속성 매핑부(404)는 전달된 포인트 클라우드의 기하 정보와 텍스처맵 데이터를 이용하여 포인트 클라우드의 속성 정보를 생성할 수 있다. 생성된 포인트 클라우드, 즉 기하 정보와 속성 정보로 표현되는 포인트 클라우드는 포인트 클라우드 부호화부(304)로 전달될 수 있다.
도 6은 본 개시의 일 실시예에 따른 포인트 클라우드 부호화부를 개념적으로 나타내는 블록도이다.
포인트 클라우드 부호화부(304)는 패치 생성부(602), 패치 패킹부(604), 기하 이미지 생성부(606), 기하 이미지 전처리부(608), 기하 이미지 부호화부(610), 텍스처 이미지 생성부(616), 텍스처 이미지 전처리부(618), 텍스처 이미지 부호화부(620), 점유(occupation) 이미지 생성부(626), 점유 이미지 전처리부(628), 점유 이미지 부호화부(630) 및 패치 정보 부호화부(640)의 전부 또는 일부를 포함할 수 있다.
패치 생성부(602)는 3차원 데이터인 포인트 클라우드를 분석하여 하나 또는 다수의 그룹으로 분류한다. 이때, 분류된 하나의 그룹은 패치(patch)로 명칭된다. 하나의 패치에 포함된 포인트들은 유사한 법선 벡터를 갖는데, 하나의 포인트와 주변 포인트들에 의해 구현되는 평면의 법선 벡터가 해당 포인트의 법선 벡터로 정의된다. 생성된 패치들은 패치 패킹부(604)로 전달될 수 있다.
패치 패킹부(604)는 전달된 다수의 3차원 공간 상의 패치들을 이동 및 회전시켜 2차원 도메인의 위치로 매핑함으로써, 패치들을 패킹한다. 이때, 패치들 각각은 3차원에서 2차원으로 변환 시 사용된 파라미터를 패치 정보로서 소유할 수 있다. 또한, 패치들 각각의 패치 정보는 2차원으로 매핑된 위치, 패치의 2차원 도메인에서 크기 등을 추가적으로 포함할 수 있다. 패치 정보는 패치 정보 부호화부(640)로 전달될 수 있다. 패킹된 패치들은 기하 이미지 생성부(606), 텍스처 이미지 생성부(616) 및 점유 이미지 생성부(626)로 전달될 수 있다.
기하 이미지 생성부(606)는 전달된 패킹된 패치들을 이용하여 두 개의 기하 이미지를 생성한다. 여기서, 기하 이미지는, 패치들의 포인트가 사영된 평면 상의 위치에 포인트와 사영 평면 간 거리 값이 매핑된 이미지이다. 즉, 기하 이미지는 3차원 공간을 2차원 평면으로 사영하였을 때, 포인트들과 평면 간의 깊이(depth)에 대한 맵(map)이라고 할 수 있다. 이때, 2차원 평면은 x-y 평면, y-z 평면 및 x-z 평면 중의 하나일 수 있다.
한편, 3차원 패치가 3차원 공간 상의 볼륨을 가지고 있는 경우, 하나의 2차원 위치에 두 개의 포인트가 사영될 수 있다. 이러한 경우 두 개의 깊이가 존재할 수 있으므로, 기하 이미지 생성부(606)는 앞쪽 및 뒤쪽에 대한 깊이 정보(depth information)에 대해 각각의 기하 이미지를 생성할 수 있다. 생성된 기하 이미지들은 기하 이미지 전처리부(608)로 전달될 수 있다.
기하 이미지 전처리부(608)는, 영상 부호화를 수행하기 전에, 전달된 기하 이미지들을 전처리할 수 있다. 기하 이미지들은 패치들의 포인트들이 사영되지 않은 빈 공간을 포함하고 있으며, 해당 공간에는 깊이 정보가 정의되어 있지 않다. 깊이 정보가 존재하는 위치와 없는 위치가 연속적으로 존재하는 경우, 데이터의 연속성이 감소하여 영상 부호화 시 예측 성능이 저하될 수 있다. 이를 방지하기 위하여, 기하 이미지 전처리부(608)는 주변의 깊이 정보가 존재하는 위치의 값을 이용하여 깊이 정보가 존재하지 않는 위치에 패딩을 적용할 수 있다. 기하 이미지 전처리부(608)는 패딩된 기하 이미지들을 기하 이미지 부호화부(610)로 전달할 수 있다.
기하 이미지 부호화부(610)는 전달된 두 개의 기하 이미지들을 비디오 압축 기술을 이용하여 부호화함으로써, 비트스트림을 생성할 수 있다. 이때, H.264/AVC, H.265/HEVC, H.266/VVC 등과 같은 비디오 압축 기술들이 사용될 수 있다. 한편, 메시 또는 포인트 클라우드는 시간에 따라 연속적으로 메시 부호화 장치로 입력될 수 있다. 따라서, 이러한 경우에 대해, 인트라 예측만 사용하는 이미지 코딩이 아닌 인터 예측이 사용되는 기존 비디오와 동일하게, 기하 이미지가 효율적으로 압축될 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다.
텍스처 이미지 생성부(616)는 입력된 패킹된 패치들을 이용하여 텍스처 이미지를 생성할 수 있다. 여기서, 텍스처 이미지는, 패치 내 포인트들을 2차원 평면으로 정사영하였을 때, 평면 상에서 포인트들이 사영된 위치에 포인트들의 속성 값이 매핑된 이미지이다. 생성된 텍스처 이미지는 텍스처 이미지 전처리부(618)로 전달될 수 있다.
텍스처 이미지 전처리부(618)는, 2차원 텍스처 이미지 상에서 포인트들이 점유하지 못한 부분에 패딩을 적용하여, 패딩된 이미지를 생성한다. 텍스처 이미지 전처리부(618)는 필터를 사용하거나 푸시풀 패딩(push-pull padding) 방법을 이용하여 텍스처 이미지에 패딩을 적용할 수 있다. 패딩된 텍스처 이미지는 텍스처 이미지 부호화부(620)로 전달될 수 있다.
한편, 푸시풀 패딩 방법은, 이미지를 다운샘플링한 후, 업샘플링함으로써, 이미지 내 빈 공간의 경계(boundary) 부분을 패딩하는 방법이다.
텍스처 이미지 부호화부(620)는 전달된 텍스처 이미지를 비디오 압축 기술을 이용하여 부호화함으로써, 비트스트림을 생성할 수 있다. 이때, H.264/AVC, H.265/HEVC, H.266/VVC 등과 같은 비디오 압축 기술들이 사용될 수 있다. 또는, 텍스처 이미지 부호화부(620)는 일반적인 이미지 코덱을 이용하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다.
점유 이미지 생성부(626)는 전달된 패킹된 패치들을 이용하여 점유 이미지를 생성할 수 있다. 여기서, 점유 이미지는, 3차원의 패치를 2차원 평면에 정사영하였을 때, 2차원 평면 상의 영역에서 포인트들의 점유 여부를 표현하는 이진맵(binary map)이다. 생성된 점유 이미지는 점유 이미지 전처리부(628)로 전달될 수 있다.
점유 이미지 전처리부(628)는 입력된 점유 이미지에 다운샘플링, 축소 및 팽창과 같은 전처리 과정을 적용할 수 있다. 전처리된 점유 이미지는 점유 이미지 부호화부(630)로 전달될 수 있다.
점유 이미지 부호화부(630)는 전달된 점유 이미지를 부호화함으로써 비트스트림을 생성할 수 있다. 이때, 점유 이미지의 비트스트림을 생성하기 위한 방법으로서, 일반적인 비디오 코덱이 사용될 수 있다. 또는, 이진 산술 코딩(binary arithmetic coding)이 사용될 수 있다. 또는, 일반 데이터 압축 방법인 gzip이 사용될 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다.
패치 정보 부호화부(640)는 전달된 패치 데이터를 엔트로피(entropy) 코딩하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 생성부(214)로 전달될 수 있다.
비트스트림 생성부(214)는 전달된 모든 비트스트림을 연결하여 포인트 클라우드를 압축한 하나의 비트스트림을 생성할 수 있다.
이하, 도 7의 도시를 이용하여, 도 3b에 제시된 포인트 클라우드 복호화부(324)의 구조 및 동작을 기술한다.
도 7은 본 개시의 일 실시예에 따른 포인트 클라우드 복호화부를 개념적으로 나타내는 블록도이다.
포인트 클라우드 복호화부(324)는 비트스트림 분리부(222), 기하 이미지 복호화부(702), 텍스처 이미지 복호화부(704), 점유 이미지 복호화부(706), 패치정보 복호화부(708), 기하 복원부(710), 속성 복원부(712) 및 패치 합성부(714)의 전부 또는 일부 포함할 수 있다.
비트스트림 분리부(222)는, 포인트 클라우드가 압축된 비트스트림을 획득한 후, 해당 비트스트림을 기하 이미지 관련 비트스트림, 텍스처 이미지 관련 비트스트림, 점유 이미지 관련 비트스트림, 및 패치 정보 관련 비트스트림으로 분리한다. 비트스트림 분리부(222)는 분리된 비트스트림 각각을 기하 이미지 복호화부(702), 텍스처 이미지 복호화부(704), 점유 이미지 복호화부(706), 패치정보 복호화부(708)로 전달할 수 있다.
기하 이미지 복호화부(702)는 전달된 기하 이미지 관련 비트스트림을 복호화하여 기하 이미지를 복원할 수 있다. 기하 이미지 복호화를 위한 방법으로서, 기하 이미지 부호화부(610)에서 사용된 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다. 복원된 기하 이미지는 기하 복원부(710)로 전달될 수 있다.
텍스처 이미지 복호화부(704)는 전달된 텍스처 이미지 비트스트림을 복호화하여 텍스처 이미지를 복원할 수 있다. 텍스처 이미지 복호화를 위한 방법으로서, 텍스처 이미지 부호화부(620)에서 사용된 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다. 복원된 텍스처 이미지는 속성 복원부(712)으로 전달될 수 있다.
점유 이미지 복호화부(706)는 전달된 점유 이미지 비트스트림을 복호화하여 점유 이미지를 생성할 수 있다. 이때, 점유 이미지 복호화 시 비디오 복호화 방법을 사용하는 경우, 점유 이미지 복호화부(706)는 이미지의 비트 깊이를 1로 변환하는 과정을 추가적으로 수행할 수 있다. 또는, 일반적인 압축 방법을 사용하는 경우, 점유 이미지 복호화부(706)는 이진맵을 생성한다. 복원된 점유 이미지는 기하 복원부(710) 및 속성 복원부(712)로 전달될 수 있다.
패치정보 복호화부(708)는 전달된 패치 정보 비트스트림을 엔트로피 디코딩하여 패치 정보를 복원할 수 있다. 복원된 패치 정보는 패치 합성부(714)로 전달될 수 있다.
기하 복원부(710)는 전달된 기하 이미지와 점유 이미지를 이용하여 패치의 3차원 기하 정보를 복원할 수 있다. 예컨대, 기하 복원부(710)는 점유 이미지를 이용하여 깊이 정보가 존재하는 원래 위치를 파악한 후, 해당되는 위치에서 깊이 정보를 이용하여 기하 정보를 추출함으로써, 기하 정보를 복원할 수 있다. 복원된 기하 정보는 패치 합성부(714)로 전달될 수 있다.
속성 복원부(712)는 전달된 텍스처 이미지와 점유 이미지를 이용하여 패치의 속성(텍스처) 정보를 복원할 수 있다. 복원된 속성 정보는 패치 합성부(714)로 전달될 수 있다.
패치 합성부(714)는 전달된 패치의 기하 정보, 패치의 속성 정보 및 패치 정보를 종합하여 3차원 패치를 합성함으로써, 포인트 클라우드를 복원할 수 있다.
이하, 도 8a 및 도 8b의 도시를 이용하여, 포인트 클라우드 코딩을 이용하는 메시 부호화/복호화 장치의 다른 실시예를 기술한다.
도 8a 및 도 8b는 본 개시의 다른 실시예에 따른 메시 부호화 장치 및 메시 복호화 장치를 개념적으로 나타내는 블록도이다.
다른 실시예로서, 도 8a에 예시된 바와 같이, 메시 부호화 장치는 메시의 정점 정보 및 텍스처맵에 기초하여 포인트 클라우드 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 메시 부호화 장치는 생성된 비트스트림을 저장하거나 메시 복호화 장치로 전송할 수 있다. 메시 부호화 장치는 정점 추출부(202), 텍스처맵 생성부(210), 포인트 클라우드 부호화부(304), 에지 추출부(206), 에지 부호화부(208) 및 비트스트림 합성부(214)의 전부 또는 일부를 포함할 수 있다.
정점 추출부(202)는 원본 메시 정보로부터 ASCII로 표현된 정점들, 텍스처 정점들, 정점들의 법선 벡터 등의 데이터를 추출한다. 추출된 정점 데이터는 포인트 클라우드 부호화부(304) 및 에지 부호화부(208)로 전달될 수 있다.
텍스처맵 생성부(210)는 원본 메시의 3차원 객체의 면의 텍스처를 uv 도메인으로 정사영하여 2차원 텍스처맵을 생성할 수 있다. 또는, 원본 메시의 텍스처 정보가 JPEG, JPEG2000, PNG, HEIF등과 같은 이미지 압축에 따라 생성된 비트스트림의 형태인 경우, 텍스처맵 생성부(210)는 압축된 이미지를 복호화하여 복원된 텍스처맵을 생성할 수 있다. 생성된 텍스처맵은 포인트 클라우드 부호화부(304)로 전달될 수 있다.
포인트 클라우드 부호화부(304)는 입력된 정점 데이터와 텍스처맵을 포인트 클라우드로 간주하고, 포인트 클라우드 압축 방법을 이용하여 이들을 부호화함으로써, 비트스트림을 생성한다. 생성된 비트스트림은 비트스트림 합성부(214)에 전달될 수 있다. 포인트 클라우드 부호화부(304)에 대한 자세한 구성은 추후 기술된다.
에지 추출부(206)는 원본 메시 정보로부터 다각형의 에지 데이터를 추출하여 에지 부호화부(208)로 전달할 수 있다. 에지 부호화부(208)는 전달받은 에지 데이터를 압축하여 비트스트림을 생성할 수 있다. 또한, 에지 부호화부(208)는 에지 데이터를 부호화할 때, 정점 추출부(202)에 의해 생성된 정점들의 데이터를 이용할 수 있다. 에지 부호화부(208)는 일반적인 데이터 압축 방법을 이용하여 에지 데이터를 부호화할 수 있다. 또는, 에지 데이터를 압축하지 않은 채로 바이트 단위로 패킹하여 비트스트림을 생성할 수 있다.
에지 부호화부(208)는, 다른 실시예로서, 일반적인 무손실 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 예를 들면, 일반적인 다각형 연결성 압축 방법인 에지브레이커가 이용될 수 있다. 또는, 에지 부호화부(208)는 선택적으로 일부 에지 데이터에 대해 일반적인 데이터 압축 방법을 적용하고, 나머지 에지 데이터에 대해 에지브레이커를 적용하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)에 전달될 수 있다.
비트스트림 합성부(214)는 입력된 모든 비트스트림들을 연결하여 하나의 비트스트림을 생성할 수 있다. 메시 부호화 장치는 생성된 비트스트림을 메시 복호화 장치로 전달할 수 있다.
한편, 도 8b에 예시된 바와 같이, 메시 복호화 장치는, 전달된 비트스트림으로부터 포인트 클라우드를 복호화한 후, 메시 정보를 복원할 수 있다. 메시 복호화 장치는 비트스트림 분리부(222), 포인트 클라우드 복호화부(324), 에지 복호화부(228) 및 메시 합성부(234)의 전부 또는 일부를 포함할 수 있다.
비트스트림 분리부(222)는 전달된 비트스트림을 포인트 클라우드 관련 비트스트림, 에지 관련 비트스트림으로 분리하여 각각 포인트 클라우드 복호화부(324) 및 에지 복호화부(228)로 전달할 수 있다. 포인트 클라우드 복호화부(324)는 전달된 비트스트림을 복호화하여 정점 데이터와 텍스처맵을 복원할 수 있다. 복원된 정점 데이터와 텍스처맵은 메시 합성부(234)로 전달될 수 있다. 포인트 클라우드 복호화부(324)에 대한 자세한 구성은 추후 기술된다.
에지 복호화부(228)는 전달된 에지 관련 비트스트림을 복호화하여 에지 데이터를 복원할 수 있다. 복원된 에지 정보는 메시 합성부(234)로 전달될 수 있다. 여기서, 에지 데이터 복호화를 위한 방법으로서, 메시 부호화 장치 내 에지 부호화부(208)에서 사용된 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
메시 합성부(214)는 입력된 정점 데이터, 에지 데이터 및 텍스처맵을 이용하여 3차원 메시를 합성함으로써, 원본 메시를 복원할 수 있다.
이하, 도 9의 도시를 이용하여, 도 8a에 제시된 포인트 클라우드 부호화부(304)의 구조 및 동작을 기술한다.
도 9는 본 개시의 다른 실시예에 따른 포인트 클라우드 부호화부를 개념적으로 나타내는 블록도이다.
포인트 클라우드 부호화부(304)는 패치 생성부(602), 패치 패킹부(604), 기하 이미지 생성부(606), 기하 이미지 전처리부(608), 기하 이미지 부호화부(610), 점유 이미지 생성부(626), 점유 이미지 전처리부(628), 점유 이미지 부호화부(630), 패치 정보 부호화부(640), 텍스처 이미지 전처리부(618), 텍스처 이미지 부호화부(620) 및 비트스트림 합성부(214)의 전부 또는 일부를 포함할 수 있다.
패치 생성부(602)는, 정점 데이터 즉, 정점들을 포인트 클라우드로 간주하고, 이들을 분석하여 하나 또는 다수의 그룹, 즉 패치들로 분류한다. 분류된 패치들은 패치 패킹부(604)로 전달될 수 있다.
패치 패킹부(604)는 전달된 다수의 3차원 공간 상의 패치들을 이동 및 회전시켜 2차원 도메인의 위치로 매핑함으로써, 패치들을 패킹한다. 이때, 패치들 각각은 3차원에서 2차원으로 변환 시 사용된 파라미터를 패치 정보로서 소유할 수 있다. 또한, 패치들 각각의 패치 정보는 2차원으로 매핑된 위치, 패치의 2차원 도메인에서 크기 등을 추가적으로 포함할 수 있다. 패치 정보는 패치 정보 부호화부(640)로 전달될 수 있다. 패킹된 패치들은 기하 이미지 생성부(606) 및 점유 이미지 생성부(626)로 전달될 수 있다.
패치들 각각은 3차원에서 2차원으로 변환 시 사용된 파라미터를 패치 정보로서 소유할 수 있다. 또한, 패치들 각각의 패치 정보는 2차원으로 매핑된 위치, 패치의 2차원 도메인에서 크기 등을 추가적으로 포함할 수 있다.
기하 이미지 생성부(606)는 전달된 패킹된 패치들을 이용하여 두 개의 기하 이미지를 생성한다. 전술한 바와 같이, 기하 이미지는, 패치들의 포인트가 사영된 평면 상의 위치에 포인트와 사영 평면 간 거리 값인 깊이가 매핑된 이미지이다. 또한, 3차원 패치가 3차원 공간 상의 볼륨을 가지고 있는 경우, 전술한 바와 같이, 두 개의 깊이가 존재할 수 있으므로, 기하 이미지 생성부(606)는 앞쪽 및 뒤쪽에 대한 깊이 정보에 대해 각각의 기하 이미지를 생성할 수 있다. 생성된 기하 이미지들은 기하 이미지 전처리부(608)로 전달될 수 있다.
기하 이미지 전처리부(608)는, 영상 부호화를 수행하기 전에, 전달된 기하 이미지들을 전처리할 수 있다. 전술한 바와 같이, 기하 이미지 전처리부(608)는 주변의 깊이 정보가 존재하는 위치의 값을 이용하여 깊이 정보가 존재하지 않는 위치에 패딩을 적용할 수 있다. 기하 이미지 전처리부(608)는 패딩된 기하 이미지들을 기하 이미지 부호화부(610)로 전달할 수 있다.
기하 이미지 부호화부(610)는 전달된 두 개의 기하 이미지들을 비디오 압축 기술을 이용하여 부호화함으로써, 비트스트림을 생성할 수 있다. 이때, H.264/AVC, H.265/HEVC, H.266/VVC 등과 같은 비디오 압축 기술들이 사용될 수 있다. 한편, 메시 또는 포인트 클라우드는 시간에 따라 연속적으로 메시 부호화 장치로 입력될 수 있으므로, 전술한 바와 같이, 기존 비디오와 동일하게, 기하 이미지가 효율적으로 압축될 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다.
점유 이미지 생성부(626)는 전달된 패킹된 패치들을 이용하여 점유 이미지를 생성할 수 있다. 전술한 바와 같이, 점유 이미지는 3차원의 패치를 특정 평면에 정사영하였을 때, 2차원 평면 상의 영역에서 포인트들의 점유 여부를 표현하는 이진맵이다. 생성된 점유 이미지는 점유 이미지 전처리부(628)로 전달될 수 있다.
점유 이미지 전처리부(628)는 입력된 점유 이미지에 다운샘플링, 축소 및 팽창과 같은 전처리 과정을 적용할 수 있다. 전처리된 점유 이미지는 점유 이미지 부호화부(630)로 전달될 수 있다.
점유 이미지 부호화부(630)는 전달된 점유 이미지를 부호화함으로써 비트스트림을 생성할 수 있다. 이때, 점유 이미지의 비트스트림을 생성하기 위한 방법으로서, 일반적인 비디오 코덱, 이진 산술 코딩, 또는 일반 데이터 압축 방법인 gzip이 사용될 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다
패치 정보 부호화부(640)는 전달된 패치 데이터를 엔트로피 코딩하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 생성부(214)로 전달될 수 있다.
텍스처 이미지 전처리부(618)는, 주변 텍스처를 이용하여 2차원 텍스처 이미지(즉, 텍스처 맵) 상에서 텍스처가 없는 부분을 패딩할 수 있다. 텍스처 이미지 전처리부(618)는 필터를 사용하거나 푸시풀 패딩 방법을 이용하여 텍스처 이미지에 패딩을 적용할 수 있다. 패딩된 텍스처 이미지는 텍스처 이미지 부호화부(620)로 전달될 수 있다.
텍스처 이미지 부호화부(620)는 전달된 텍스처 이미지를 비디오 코덱을 이용하여 부호화함으로써, 비트스트림을 생성할 수 있다. 또는, 텍스처 이미지 부호화부(620)는 일반적인 이미지 코덱을 이용하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다.
비트스트림 생성부(214)는 전달된 모든 비트스트림을 연결하여 정점들 및 텍스처맵으로 구현된 포인트 클라우들를 압축한 하나의 비트스트림을 생성할 수 있다.
이하, 도 10의 도시를 이용하여, 도 8b에 제시된 포인트 클라우드 복호화부(324)의 구조 및 동작을 기술한다.
도 10은 본 개시의 다른 실시예에 따른 포인트 클라우드 복호화부를 개념적으로 나타내는 블록도이다.
포인트 클라우드 복호화부(324)는 비트스트림 분리부(222), 기하 이미지 복호화부(702), 점유 이미지 복호화부(706), 기하 복원부(710), 패치정보 복호화부(708), 패치 합성부(714) 및 텍스처 이미지 복호화부(704)의 전부 또는 일부를 포함할 수 있다.
비트스트림 분리부(222)는, 포인트 클라우드가 압축된 비트스트림을 획득한 후, 해당 비트스트림을 기하 이미지 관련 비트스트림, 점유 이미지 관련 비트스트림, 패치 정보 관련 비트스트림, 및 텍스처 이미지 관련 비트스트림으로 분리한다. 비트스트림 분리부(222)는 분리된 비트스트림 각각을 기하 이미지 복호화부(702), 점유 이미지 복호화부(706), 패치정보 복호화부(708) 및 텍스처 이미지 복호화부(704)로 전달할 수 있다.
기하 이미지 복호화부(702)는 전달된 기하 이미지 관련 비트스트림을 복호화 하여 기하 이미지를 복원할 수 있다. 기하 이미지 복호화를 위한 방법으로서, 기하 이미지 부호화부(610)에서 사용된 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다. 복원된 기하 이미지는 기하 복원부(710)로 전달될 수 있다.
점유 이미지 복호화부(706)는 전달된 점유 이미지 비트스트림을 복호화하여 점유 이미지를 생성할 수 있다. 이때, 점유 이미지 복호화 시 비디오 복호화 방법을 사용하는 경우, 점유 이미지 복호화부(706)는 이미지의 비트 깊이를 1로 변환하는 과정을 추가적으로 수행할 수 있다. 또는, 일반적인 압축 방법을 사용하는 경우, 점유 이미지 복호화부(706)는 이진맵을 생성한다. 복원된 점유 이미지는 기하 복원부(710)로 전달될 수 있다.
패치정보 복호화부(708)는 전달된 패치 정보 비트스트림을 엔트로피 디코딩하여 패치 정보를 복원할 수 있다. 복원된 패치 정보는 패치 합성부(714)로 전달될 수 있다.
텍스처 이미지 복호화부(704)는 전달된 텍스처 이미지 비트스트림을 복호화하여 텍스처 이미지를 복원할 수 있다. 텍스처 이미지 복호화를 위한 방법으로서, 텍스처 이미지 부호화부(620)에서 사용된 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
기하 복원부(710)는 전달된 기하 이미지와 점유 이미지를 이용하여 패치의 포인트들의 3차원 기하 정보를 복원할 수 있다. 복원된 기하 정보는 패치 합성부(714)로 전달될 수 있다.
패치 합성부(714)는 전달된 패치의 기하 정보 및 패치 정보를 이용하여 3차원 공간 상의 패치를 생성할 수 있다. 이때, 패치들의 포인트들은 정점들을 의미할 수 있다.
이하, 도 11의 도시를 이용하여, 복원 정점 정보를 이용하는 메시 부호화 장치를 기술한다. 도 11에 예시된 메시 부호화 장치에 대응하는 복원 장치로서, 도 2b에 예시된 메시 복호화 장치가 이용될 수 있다.
도 11은 본 개시의 또다른 실시예에 따른, 복원 정점 정보를 이용하는 메시 부호화 장치를 개념적으로 나타내는 블록도이다.
다른 실시예로서, 도 11에 예시된 바와 같이, 메시 부호화 장치는 메시를 정점 정보, 텍스처맵 및 에지 정보로 분할한 후, 복원 정점 정보를 이용하여 이들을 부호화하여 비트스트림을 생성할 수 있다. 메시 부호화 장치는 생성된 비트스트림을 저장하거나 메시 복호화 장치로 전송할 수 있다. 메시 부호화 장치는 정점 추출부(202), 정점 부호화부(204), 정점 복호화부(1102), 에지 추출부(206), 에지 보정부(1102), 에지 부호화부(208), 텍스처맵 생성부(210), 영상 부호화부(212) 및 비트스트림 합성부(214)의 전부 또는 일부를 포함할 수 있다.
정점 추출부(202)는 원본 메시 정보로부터 ASCII로 표현된 정점들의 좌표 값, 정점들의 법선 벡터, 텍스처 정점들의 좌표 값 등의 데이터를 추출한다. 추출된 데이터는 정점 부호화부(204)로 전달될 수 있다. 정점 부호화부(204)는 입력된 메시의 정점 데이터를 압축하여 비트스트림을 생성할 수 있다. 전술한 바와 같이, 정점 부호화부(204)는 정점 정보들을 압축하기 위하여 기존의 일반적인 무손실 데이터 압축 방법을 이용할 수 있다. 다른 실시예로서, 정점 부호화부(204)는 정점 데이터를 압축하지 않은 채로 바이트 단위로 패킹하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 합성부(214) 및 정점 복호화부(1102)로 전달될 수 있다.
정점 복호화부(1102)는 정점 부호화부(204)에 의해 생성된 정점 관련 비트스트림을 복호화하여 정점 데이터 및 텍스처 정점 데이터를 복원할 수 있다. 복원된 정점 데이터는 텍스처맵 생성부(210), 에지 보정부(1102) 및 에지 부호화부(208)로 전달될 수 있다.
텍스처맵 생성부(210)는, 원본 메시와 복원 정점 데이터를 이용하여, 3차원 객체의 면의 텍스처를 uv 도메인으로 정사영하여 2차원 텍스처맵을 생성할 수 있다. 또는, 원본 메시의 텍스처 정보가 JPEG, JPEG2000, PNG, HEIF 등과 같은 이미지 압축에 따라 생성된 비트스트림의 형태인 경우, 텍스처맵 생성부(210)는 압축된 이미지를 복호화하여 복원된 텍스처맵을 생성할 수 있다. 생성된 텍스처맵은 영상 부호화부(212)로 전달될 수 있다. 영상 부호화부(212)는 입력된 텍스처맵을 압축하여 비트스트림을 생성할 수 있다. 이때, 영상 부호화부(212)에서는, 전술한 바와 같은, 이미지 압축 방법들 또는 비디오 압축 기술들이 사용될 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)로 전달될 수 있다.
에지 추출부(206)는 원본 메시 정보로부터 다각형의 에지 데이터를 추출하여, 에지 보정부(1102)로 전달한다. 에지 보정부(1102)는 전달된 복원된 정점 데이터를 이용하여 추출된 에지 데이터를 보정한다. 보정된 에지 데이터는 에지 부호화부(208)로 전달될 수 있다. 에지 부호화부(208)는 에지 데이터를 압축하여 비트스트림을 생성할 수 있다. 또한, 에지 부호화부(208)는 에지 데이터를 부호화할 때, 정점 복호화부(1102)에 의해 생성된 복원 정점 데이터를 이용할 수 있다. 또는, 에지 부호화부(208)는 에지 데이터를 압축하지 않은 채로 바이트 단위로 패킹하여 비트스트림을 생성할 수 있다.
전술한 바와 같이, 에지 부호화부(208)는, 다른 실시예로서, 일반적인 무손실 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 예를 들면, 일반적인 다각형 연결성 압축 방법인 에지브레이커(edgebreaker)가 이용될 수 있다. 또는, 에지 부호화부(208)는 선택적으로 일부 에지 데이터에 대해 일반적인 데이터 압축 방법을 적용하고, 나머지 에지 데이터에 대해 에지브레이커를 적용하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 비트스트림 합성부(214)에 전달될 수 있다.
비트스트림 합성부(214)는 입력된 모든 비트스트림들을 연결하여 하나의 비트스트림을 생성할 수 있다. 메시 부호화 장치는 생성된 비트스트림을 메시 복호화 장치로 전달할 수 있다.
이하, 도 3a 및 도 3b에 예시된, 포인트 클라우드 코딩을 이용하는 메시 부호화/복호화 장치가 수행하는 부호화/복호화 방법을 기술한다.
도 12a 및 도 12b는 본 개시의 일 실시예에 따른 메시 부호화 방법을 나타내는 순서도이다.
메시 부호화 장치는 메시를 획득한다(S1200).
메시 부호화 장치는 메시로부터 다각형들의 에지 데이터를 추출한다(S1202). 에지 데이터는 ASCII로 표현된 데이터일 수 있다.
메시 부호화 장치는 메시로부터 정점들을 추출하고 텍스처맵을 생성한 후, 정점들, 에지 데이터 및 텍스처맵을 이용하여 메시를 포인트 클라우드로 변환한다(S1204). 이때, 포인트 클라우드 내 포인트들은 기하 정보와 속성 정보로 표현될 수 있다.
이하, 메시 부호화 장치가 메시를 포인트 클라우드로 변환하는 단계(S1204)를 자세히 기술한다.
메시 부호화 장치는 메시로부터 정점들을 추출한다(S1220).
메시 부호화 장치는 정점들과 에지 데이터를 이용하여 포인트 클라우드의 기하 정보를 생성한다(S1222). 메시 부호화 장치는 정점들과 에지 데이터를 이용하여 다각형들의 평면들을 생성한 후, 평면들 상의 점들의 위치를 샘플링하여, 포인트 클라우드의 기하 정보를 생성할 수 있다.
메시 부호화 장치는 메시의 텍스처 데이터를 2차원 도메인으로 정사영하여 텍스처맵을 생성하고, 텍스처맵 및 정사영에 이용된 정보를 포함하는 텍스처맵 데이터를 생성한다(S1224).
메시 부호화 장치는 기하 정보와 텍스처맵 데이터를 이용하여 포인트 클라우드의 속성 정보를 생성한다(S1226).
메시 부호화 장치는 포인트 클라우드를 부호화하여 제1 비트스트림을 생성한다(S1206).
이하, 메시 부호화 장치가 포인트 클라우드를 부호화하는 단계(S1206)을 자세히 기술한다.
메시 부호화 장치는 포인트 클라우드를 다수의 그룹으로 분류하여 패치들을 생성한다(S1230).
메시 부호화 장치는 패치들을 이동 및 회전시켜 2차원 도메인으로 매핑하고, 패치 정보를 생성한다(S1232). 여기서, 패치 정보는, 패치들을 2차원 도메인으로 매핑하기 위한 파라미터, 패치들이 매핑된 위치, 및 2차원 도메인에서의 각 패치의 크기를 포함한다.
메시 부호화 장치는 패치들을 이용하여 기하 이미지들을 생성한다(S1234). 여기서, 기하 이미지들은, 패치들을 2차원 평면으로 정사영하였을 때, 패치들 내 포인트들과 2차원 평면 간의 깊이를 나타내는 맵이다. 이때, 2차원 평면은 x-y 평면, y-z 평면 및 x-z 평면 중의 하나일 수 있다.
메시 부호화 장치는 기하 이미지들에서 깊이가 정의되지 않은 빈 공간에 패딩을 적용한다(S1236). 메시 부호화 장치는 주변의 깊이 정보가 존재하는 위치의 값을 이용하여 깊이 정보가 존재하지 않는 위치에 패딩을 적용할 수 있다.
메시 부호화 장치는 기하 이미지들을 비디오 압축 기술을 기반으로 부호화하여, 제3 비트스트림을 생성한다(S1238). 이때, H.264/AVC, H.265/HEVC, H.266/VVC 등과 같은 비디오 압축 기술들이 사용될 수 있다.
메시 부호화 장치는 패치들을 이용하여 텍스처 이미지를 생성한다(S1240). 여기서, 텍스처 이미지는, 패치들 내 포인트들을 2차원 평면으로 정사영하였을 때, 평면 상에서 포인트들이 사영된 위치에 포인트들의 속성 값이 매핑된 이미지이다.
메시 부호화 장치는 텍스처 이미지 상에서 포인트들이 점유하지 못한 부분에 패딩을 적용한다(S1242). 메시 부호화 장치는 필터를 사용하거나 푸시풀 패딩 방법을 이용하여 텍스처 이미지에 패딩을 적용할 수 있다.
메시 부호화 장치는 텍스처 이미지를 비디오 압축 기술을 기반으로 부호화하여, 제4 비트스트림을 생성한다(S1244). 이때, H.264/AVC, H.265/HEVC, H.266/VVC 등과 같은 비디오 압축 기술들이 사용될 수 있다. 또는, 메시 부호화 장치는 일반적인 이미지 코덱을 이용하여 비트스트림을 생성할 수 있다.
메시 부호화 장치는 패치들을 이용하여 점유 이미지를 생성한다(S1246). 여기서, 점유 이미지는, 패치들을 특정 평면에 정사영하였을 때, 평면 상의 영역에서 패치들 내 포인트들의 점유 여부를 표현하는 이진맵이다.
메시 부호화 장치는 점유 이미지에 전처리과정을 적용한다(S1248). 여기서, 전처리과정은 점유 이미지를 다운샘플링, 축소 또는 팽창하는 과정이다.
메시 부호화 장치는 점유 이미지를 부호화하여, 제5 비트스트림을 생성한다(S1250). 이때, 점유 이미지의 비트스트림을 생성하기 위한 방법으로서, 일반적인 비디오 코덱이 사용될 수 있다. 또는, 일반 데이터 압축 방법이 사용될 수 있다.
메시 부호화 장치는 패치 정보를 엔트로피 코딩하여, 제6 비트스트림을 생성한다(S1252).
메시 부호화 장치는 제3 비트스트림, 제4 비트스트림, 제5 비트스트림 및 제6 비트스트림을 결합하여 제1 비트스트림을 생성한다(S1254).
메시 부호화 장치는 에지 데이터를 부호화하여 제2 비트스트림을 생성한다(S1208). 메시 부호화 장치는 에지 데이터를 부호화할 때, 정점들을 이용할 수 있다. 메시 부호화 장치는 일반적인 데이터 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 메시 부호화 장치는 일반적인 무손실 압축 방법을 이용하여 비트스트림을 생성할 수 있다.
메시 부호화 장치는 제1 비트스트림 및 제2 비트스트림을 합성하여 비트스트림을 생성한다(S1210). 메시 부호화 장치는 생성된 비트스트림을 저장하거나 메시 복호화 장치로 전달할 수 있다.
도 13은 본 개시의 일 실시예에 따른 메시 복호화 방법을 나타내는 순서도이다.
메시 복호화 장치는 전달된 비트스트림을 제1 비트스트림과 제2 비트스트림으로 분리한다(S1300). 여기서, 제1 비트스트림은 메시를 표현한 포인트 클라우드가 부호화된 비트스트림이고, 제2 비트스트림은 메시의 에지 데이터가 부호화된 비트스트림이다.
메시 복호화 장치는 제1 비트스트림으로부터 포인트 클라우드를 복호화한다(S1302).
이하, 메시 복호화 장치가 포인트 클라우드를 복호화하는 단계(S1302)를 자세히 기술한다.
메시 복호화 장치는 제1 비트스트림을 제3 비트스트림, 제4 비트스트림, 제5 비트스트림 및 제6 비트스트림으로 분리한다(S1320).
메시 복호화 장치는 제3 비트스트림으로부터 기하 이미지를 복호화한다 (S1322). 기하 이미지 복호화를 위한 방법으로서, 메시 부호화 장치에서 사용된 기하 이미지 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
메시 복호화 장치는 제4 비트스트림으로부터 텍스처 이미지를 복호화한다(S1324). 텍스처 이미지 복호화를 위한 방법으로서, 메시 부호화 장치에서 사용된 텍스처 이미지 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
메시 복호화 장치는 제5 비트스트림으로부터 점유 이미지를 복호화한다(S1326). 일반적인 압축 방법을 사용하는 경우, 메시 복호화 장치는 이진맵을 생성할 수 있다.
메시 복호화 장치는 제6 비트스트림을 엔트로피 디코딩하여 패치 정보를 복원한다(S1328).
메시 복호화 장치는 기하 이미지와 점유 이미지를 이용하여 패치들의 3차원 기하 정보를 복원한다(S1330). 예컨대, 메시 복호화 장치는 점유 이미지를 이용하여 깊이 정보가 존재하는 원래 위치를 파악한 후, 해당되는 위치에서 깊이 정보를 이용하여 기하 정보를 추출함으로써, 기하 정보를 복원할 수 있다.
메시 복호화 장치는 점유 이미지와 텍스처 이미지를 이용하여 패치들의 속성 정보를 복원한다(S1332).
메시 복호화 장치는 기하 정보, 속성 정보 및 패치 정보를 이용하여 패치들을 합성함으로써, 포인트 클라우드를 복원한다(S1334).
메시 복호화 장치는 제2 비트스트림으로부터 에지 데이터를 복호화한다(S1304). 이때, 에지 데이터 복원 방법으로서, 메시 부호화 장치에서 사용된 에지 데이터 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
메시 복호화 장치는 포인트 클라우드와 에지 데이터를 이용하여 3차원 메시를 합성한다(S1306). 메시 복호화 장치는 에지 데이터를 이용하여 다각형들의 평면들을 생성하고, 평면들에 가장 근접한, 포인트 클라우드의 속성 값들을 이용하여 평면들의 텍스처를 생성함으로써, 메시를 복원할 수 있다.
이하, 도 8a 및 도 8b에 예시된, 포인트 클라우드 코딩을 이용하는, 다른 메시 부호화/복호화 장치가 수행하는 부호화/복호화 방법을 기술한다.
도 14는 본 개시의 다른 실시예에 따른 메시 부호화 방법을 나타내는 순서도이다.
메시 부호화 장치는 메시를 획득한다(S1400).
메시 부호화 장치는 메시로부터 정점 데이터를 추출한다(S1402). 메시 부호화 장치는 메시 정보로부터 ASCII로 표현된 정점들, 텍스처 정점들, 정점들의 법선 벡터 등의 데이터를 추출할 수 있다.
메시 부호화 장치는 메시의 텍스처 데이터를 2차원 도메인으로 정사영하여 텍스처맵을 생성한다(S1404).
이때, 정점 데이터와 텍스처맵은 포인트 클라우드로 간주될 수 있다.
메시 부호화 장치는 정점 데이터와 텍스처맵을 부호화하여 제1 비트스트림을 생성한다(S1406).
이하, 메시 부호화 장치가 하는 포인트 클라우드를 부호화하는 단계(S1406)를 자세히 기술한다.
메시 부호화 장치는, 정점 데이터 즉, 정점들을 포인트 클라우드로 간주하고, 정점들을 다수의 그룹으로 분류하여 패치들을 생성한다(S1420).
메시 부호화 장치는 패치들을 이동 및 회전시켜 2차원 도메인으로 매핑하고, 패치 정보를 생성한다(S1422). 여기서, 패치 정보는, 패치들을 2차원 도메인으로 매핑하기 위한 파라미터, 패치들이 매핑된 위치, 및 2차원 도메인에서의 각 패치의 크기를 포함한다.
메시 부호화 장치는 패치들을 이용하여 기하 이미지들을 생성한다(S1424). 여기서, 기하 이미지들은, 패치들을 2차원 평면으로 정사영하였을 때, 패치들 내 포인트들과 2차원 평면 간의 깊이를 나타내는 맵이다.
메시 부호화 장치는 기하 이미지들에서 깊이가 정의되지 않은 빈 공간에 패딩을 적용한다(S1426). 메시 부호화 장치는 주변의 깊이 정보가 존재하는 위치의 값을 이용하여 깊이 정보가 존재하지 않는 위치에 패딩을 적용할 수 있다.
메시 부호화 장치는 기하 이미지들을 비디오 압축 기술을 기반으로 부호화하여, 제3 비트스트림을 생성한다(S1428). 이때, H.264/AVC, H.265/HEVC, H.266/VVC 등과 같은 비디오 압축 기술들이 사용될 수 있다.
메시 부호화 장치는 패치들을 이용하여 점유 이미지를 생성한다(S1430). 여기서, 점유 이미지는, 패치들을 특정 평면에 정사영하였을 때, 평면 상의 영역에서 패치들 내 포인트들의 점유 여부를 표현하는 이진맵이다.
메시 부호화 장치는 점유 이미지에 전처리과정을 적용한다(S1432). 여기서, 전처리과정은 점유 이미지를 다운샘플링, 축소 또는 팽창하는 과정이다.
메시 부호화 장치는 점유 이미지를 부호화하여, 제5 비트스트림을 생성한다(S1434). 이때, 점유 이미지의 비트스트림을 생성하기 위한 방법으로서, 일반적인 비디오 코덱이 사용될 수 있다. 또는, 일반 데이터 압축 방법이 사용될 수 있다.
메시 부호화 장치는 패치 정보를 엔트로피 코딩하여, 제6 비트스트림을 생성한다(S1436).
메시 부호화 장치는, 텍스처 이미지(즉, 텍스처 맵) 상에서 텍스처가 없는 부분에 패딩을 적용한다(S1438). 메시 부호화 장치는 필터를 사용하거나 푸시풀 패딩 방법을 이용하여 텍스처 이미지에 패딩을 적용할 수 있다.
메시 부호화 장치는 텍스처 이미지를 비디오 압축 기술을 기반으로 부호화하여, 제4 비트스트림을 생성한다(S1440). 이때, H.264/AVC, H.265/HEVC, H.266/VVC 등과 같은 비디오 압축 기술들이 사용될 수 있다. 또는, 메시 부호화 장치는 일반적인 이미지 코덱을 이용하여 비트스트림을 생성할 수 있다.
메시 부호화 장치는 제3 비트스트림, 제4 비트스트림, 제5 비트스트림 및 제6 비트스트림을 결합하여 제1 비트스트림을 생성한다(S1442).
메시 부호화 장치는 메시로부터 다각형들의 에지 데이터를 추출한다(S1408). 에지 데이터는 ASCII로 표현된 데이터일 수 있다.
메시 부호화 장치는 에지 데이터를 부호화하여 제2 비트스트림을 생성한다(S1410). 메시 부호화 장치는 에지 데이터를 부호화할 때, 정점 데이터를 이용할 수 있다. 메시 부호화 장치는 일반적인 데이터 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 메시 부호화 장치는 일반적인 무손실 압축 방법을 이용하여 비트스트림을 생성할 수 있다.
메시 부호화 장치는 제1 비트스트림 및 제2 비트스트림을 합성하여 비트스트림을 생성한다(S1412). 메시 부호화 장치는 생성된 비트스트림을 저장하거나 메시 복호화 장치로 전송할 수 있다.
도 15는 본 개시의 다른 실시예에 따른 메시 복호화 방법을 나타내는 순서도이다.
메시 복호화 장치는 전달된 비트스트림을 제1 비트스트림과 제2 비트스트림으로 분리한다(S1500). 여기서, 제1 비트스트림은 메시의 정점 데이터와 텍스처맵으로 구성된 포인트 클라우드가 부호화된 비트스트림이고, 제2 비트스트림은 메시의 에지 데이터가 부호화된 비트스트림이다.
메시 복호화 장치는 제1 비트스트림으로부터 정점 데이터와 텍스처맵을 복호화한다(S1502).
이하, 메시 복호화 장치가 정점 데이터와 텍스처맵을 복호화하는 단계(S1502)를 자세히 기술한다.
메시 복호화 장치는 제1 비트스트림을 제3 비트스트림, 제4 비트스트림, 제5 비트스트림 및 제6 비트스트림으로 분리한다(S1520).
메시 복호화 장치는 제3 비트스트림으로부터 기하 이미지를 복호화한다 (S1522). 기하 이미지 복호화를 위한 방법으로서, 메시 부호화 장치에서 사용된 기하 이미지 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
메시 복호화 장치는 제5 비트스트림으로부터 점유 이미지를 복호화한다(S1524). 일반적인 압축 방법을 사용하는 경우, 메시 복호화 장치는 이진맵을 생성할 수 있다.
메시 복호화 장치는 제6 비트스트림을 엔트로피 디코딩하여 패치 정보를 복원한다(S1526).
메시 복호화 장치는 제4 비트스트림으로부터 텍스처 이미지를 복호화한다(S1528). 텍스처 이미지(즉, 텍스처맵) 복호화를 위한 방법으로서, 메시 부호화 장치에서 사용된 텍스처 이미지 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
메시 복호화 장치는 기하 이미지와 점유 이미지를 이용하여 패치들의 3차원 기하 정보를 복원한다(S1530).
메시 복호화 장치는 기하 정보 및 패치 정보를 이용하여 패치들을 생성한다(S1532). 이때, 패치들의 포인트들은 정점들, 즉 정정 데이터를 의미할 수 있다.
메시 복호화 장치는 제2 비트스트림으로부터 에지 데이터를 복호화한다(S1504). 이때, 에지 데이터 복원 방법으로서, 메시 부호화 장치에서 사용된 에지 데이터 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
메시 복호화 장치는 정점 데이터, 에지 데이터 및 텍스처맵을 이용하여 3차원 메시를 합성한다(S1506).
이하, 도 11에 예시된, 복원 정점 정보를 이용하는 메시 부호화 장치가 수행하는 부호화 방법을 기술한다.
도 16은 본 개시의 또다른 실시예에 따른 메시 부호화 방법을 나타내는 순서도이다.
메시 부호화 장치는 메시를 획득한다(S1600).
메시 부호화 장치는 메시로부터 정점 데이터를 추출한다(S1602). 메시 부호화 장치는 메시 정보로부터 ASCII로 표현된 정점들, 텍스처 정점들, 정점들의 법선 벡터 등의 데이터를 추출할 수 있다.
메시 부호화 장치는 정점 데이터를 부호화하여, 제1 비트스트림을 생성한다(S1604). 전술한 바와 같이, 메시 부호화 장치는 정점 정보들을 부호화하기 위하여 기존의 일반적인 무손실 데이터 압축 방법을 이용할 수 있다.
메시 부호화 장치는 제1 비트스트림으로부터 정점 데이터를 복원한다(S1606).
메시 부호화 장치는 메시로부터 다각형들의 에지 데이터를 추출한 후(S1608), 복원 정점 데이터를 이용하여 추출된 에지 데이터를 보정한다(S1610). 에지 데이터는 ASCII로 표현된 데이터일 수 있다.
메시 부호화 장치는 보정된 에지 데이터를 부호화하여, 제2 비트스트림을 생성한다(S1612). 메시 부호화 장치는 에지 데이터를 부호화할 때, 복원 정점 데이터를 이용할 수 있다. 메시 부호화 장치는 일반적인 데이터 압축 방법을 이용하여 비트스트림을 생성할 수 있다. 또는, 메시 부호화 장치는 일반적인 무손실 압축 방법을 이용하여 비트스트림을 생성할 수 있다.
메시 부호화 장치는 메시 및 복원 정점 데이터를 이용하여 텍스처맵을 생성한다(S1614). 메시 부호화 장치는 원본 메시와 복원 정점 데이터를 이용하여, 3차원 객체의 면의 텍스처를 uv 도메인으로 정사영하여 2차원 텍스처맵을 생성할 수 있다.
메시 부호화 장치는 텍스처맵을 부호화하여, 제3 비트스트림을 생성한다(S1616). 메시 부호화 장치는, 전술한 바와 같은, 이미지 압축 방법들 또는 비디오 압축 기술들을 이용하여 텍스터맵을 부호화할 수 있다.
메시 부호화 장치는 제1 비트스트림, 제2 비트스트림 및 제3 비트스트림을 결합하여 비트스트림을 생성한다(S1618). 메시 부호화 장치는 생성된 비트스트림을 저장하거나 메시 복호화 장치로 전송할 수 있다.
전술한 바와 같이, 도 11에 예시된 메시 부호화 장치에 대응하는 복원 장치로서, 도 2b에 예시된 메시 복호화 장치가 이용될 수 있다. 이하, 도 2b에 예시된 메시 복호화 장치가 수행하는 메시 복호화 방법을 기술한다.
도 17은 본 개시의 또다른 실시예에 따른 메시 복호화 방법을 나타내는 순서도이다.
메시 복호화 장치는 비트스트림을 제1 비트스트림, 제2 비트스트림 및 제3 비트스트림으로 분리한다(S1700).
메시 복호화 장치는 제1 비트스트림으로부터 정정 데이터를 복호화한다(S1702).
메시 복호화 장치는 제2 비트스트림으로부터 에지 데이터를 복호화한다(S1704). 이때, 에지 데이터 복원 방법으로서, 메시 부호화 장치에서 사용된 에지 데이터 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
메시 복호화 장치는 제3 비트스트림으로부터 텍스처맵을 복호화한다(S1706). 이때, 텍스처맵 복원 방법으로서, 에지 부호화 장치에서 사용된 텍스처맵 부호화 방법에 대응하는 복호화 방법이 사용될 수 있다.
메시 복호화 장치는 정점 데이터, 에지 데이터 및 텍스처맵을 이용하여 메시를 합성한다(S1708).
본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명에서 예시적인 실시예들은 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 하나 이상의 예시들에서 설명된 기능들 혹은 방법들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 "...부(unit)" 로 라벨링되었음을 이해해야 한다.
한편, 본 실시예에서 설명된 다양한 기능들 혹은 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
206: 에지 추출부
208: 에지 부호화부
228: 에지 복호화부
234: 메시 합성부
302: 포인트 클라우드 변환부
304: 포인트 클라우드 부호화부
324: 포인트 클라우드 복호화부
208: 에지 부호화부
228: 에지 복호화부
234: 메시 합성부
302: 포인트 클라우드 변환부
304: 포인트 클라우드 부호화부
324: 포인트 클라우드 복호화부
Claims (19)
- 메시 복호화 장치가 수행하는, 3차원 메시(mesh)를 복호화하는 복호화 방법에 있어서,
비트스트림을 제1 비트스트림과 제2 비트스트림으로 분리하는 단계, 여기서, 상기 제1 비트스트림은 상기 메시를 표현한 포인트 클라우드(point cloud)가 부호화된 비트스트림이고, 상기 제2 비트스트림은 상기 메시의 에지 데이터가 부호화된 비트스트림임;
상기 제1 비트스트림으로부터 상기 포인트 클라우드를 복호화하는 단계;
상기 제2 비트스트림으로부터 상기 에지 데이터를 복호화하는 단계; 및
상기 에지 데이터를 이용하여 다각형들(polygons)의 평면들을 생성하고, 상기 평면들에 가장 근접한, 상기 포인트 클라우드의 속성 값들을 이용하여 상기 평면들의 텍스처(texture)를 생성함으로써, 상기 메시를 합성하는 단계
를 포함하는 것을 특징으로 하는, 복호화 방법. - 제1항에 있어서,
상기 분리하는 단계는,
상기 제1 비트스트림을 제3 비트스트림, 제4 비트스트림, 제5 비트스트림 및 제6 비트스트림으로 분리하는 것을 특징으로 하는, 복호화 방법. - 제2항에 있어서,
상기 포인트 클라우드를 복호화하는 단계는,
상기 제3 비트스트림으로부터 기하 이미지를 복호화하는 단계;
상기 제4 비트스트림으로부터 텍스처 이미지를 복호화하는 단계;
상기 제5 비트스트림으로부터 점유(occupation) 이미지를 복호화하는 단계; 및
상기 제6 비트스트림을 엔트로피(entropy) 복호화하여 패치 정보를 복원하는 단계
를 더 포함하는 것을 특징으로 하는, 복호화 방법. - 제3항에 있어서,
상기 포인트 클라우드를 복호화하는 단계는,
상기 기하 이미지와 상기 점유 이미지를 이용하여 패치들의 3차원 기하 정보를 복원하는 단계; 및
상기 점유 이미지와 상기 텍스처 이미지를 이용하여 상기 패치들의 속성 정보를 복원하는 단계
를 더 포함하는 것을 특징으로 하는, 복호화 방법. - 제4항에 있어서,
상기 포인트 클라우드를 복호화하는 단계는,
상기 기하 정보, 상기 속성 정보 및 상기 패치 정보를 이용하여 상기 패치들을 합성함으로써, 상기 포인트 클라우드를 복원하는 단계를 더 포함하는 것을 특징으로 하는, 복호화 방법. - 3차원 메시를 복호화하는 메시 복호화 장치에 있어서,
비트스트림을 제1 비트스트림과 제2 비트스트림으로 분리하는 비트스트림 분리부, 여기서, 상기 제1 비트스트림은 상기 메시를 표현한 포인트 클라우드가 부호화된 비트스트림이고, 상기 제2 비트스트림은 상기 메시의 에지 데이터가 부호화된 비트스트림임;
상기 제1 비트스트림으로부터 상기 포인트 클라우드를 복호화하는 포인트 클라우드 복호화부;
상기 제2 비트스트림으로부터 상기 에지 데이터를 복호화하는 에지 복호화부; 및
상기 에지 데이터를 이용하여 다각형들의 평면들을 생성하고, 상기 평면들에 가장 근접한, 상기 포인트 클라우드의 속성 값들을 이용하여 상기 평면들의 텍스처를 생성함으로써, 상기 메시를 합성하는 메시 합성부
를 포함하는 것을 특징으로 하는, 메시 복호화 장치. - 제6항에 있어서,
상기 비트스트림 분리부는,
상기 제1 비트스트림을 제3 비트스트림, 제4 비트스트림, 제5 비트스트림 및 제6 비트스트림으로 분리하되,
인 것을 특징으로 하는, 메시 복호화 장치. - 제7항에 있어서,
상기 포인트 클라우드 복호화부는,
상기 제3 비트스트림으로부터 기하 이미지를 복원하는 기하 이미지 복호화부;
상기 제4 비트스트림으로부터 텍스처 이미지를 복호화하는 텍스처 이미지 복호화부;
상기 제5 비트스트림으로부터 점유 이미지를 복호화하는 점유 이미지 복호화부; 및
상기 제6 비트스트림을 엔트로피(entropy) 복호화하여 패치 정보를 복원하는 패치정보 복호화부
를 포함하는 것을 특징으로 하는, 복호화 장치. - 제8항에 있어서,
상기 포인트 클라우드 복호화부는,
상기 기하 이미지와 상기 점유 이미지를 이용하여 패치들의 3차원 기하 정보를 복원하는 기하 복원부; 및
상기 점유 이미지와 상기 텍스처 이미지를 이용하여 상기 패치들의 속성 정보를 복원하는 속성 복원부
를 더 포함하는 것을 특징으로 하는, 복호화 장치. - 제9항에 있어서,
상기 포인트 클라우드 복호화부는,
상기 기하 정보, 상기 속성 정보 및 상기 패치 정보를 이용하여 상기 패치들을 합성함으로써, 상기 포인트 클라우드를 복원하는 패치 합성부
를 더 포함하는 것을 특징으로 하는, 복호화 장치. - 메시 부호화 장치가 수행하는, 3차원 메시(mesh)를 부호화하는 복호화 방법에 있어서,
상기 메시를 획득하는 단계;
상기 메시로부터 다각형들(polygons)의 에지(edge) 데이터를 추출하는 단계;
상기 메시로부터 정점들(vertices)을 추출하고 텍스처맵(texture map)을 생성한 후, 상기 정점들, 상기 에지 데이터 및 상기 텍스처맵을 이용하여 상기 메시를 포인트 클라우드(point cloud)로 변환하는 단계;
상기 포인트 클라우드를 부호화하여 제1 비트스트림을 생성하는 단계;
상기 에지 데이터를 부호화하여 제2 비트스트림을 생성하는 단계; 및
상기 제1 비트스트림 및 상기 제2 비트스트림을 합성하여 비트스트림을 생성하는 단계
를 포함하는 것을 특징으로 하는, 부호화 방법. - 제11항에 있어서,
상기 포인트 클라우드로 변환하는 단계는
상기 메시로부터 정점들을 추출하는 단계;
상기 정점들과 상기 에지 데이터를 이용하여 상기 다각형들의 평면들을 생성한 후, 상기 평면들 상의 점들의 위치를 샘플링하여, 상기 포인트 클라우드의 기하 정보를 생성하는 단계
를 포함하는 것을 특징으로 하는, 부호화 방법. - 제11항에 있어서,
상기 포인트 클라우드로 변환하는 단계는
상기 메시의 텍스처(texture) 정보를 2차원 도메인으로 정사영(projection)하여 텍스처맵을 생성하고, 상기 텍스처맵 및 상기 정사영에 이용된 정보를 포함하는 텍스처맵 데이터를 생성하는 단계; 및
상기 기하 정보와 상기 텍스처맵 데이터를 이용하여 상기 포인트 클라우드의 속성 정보를 생성하는 단계
를 더 포함하는 것을 특징으로 하는, 부호화 방법. - 제11항에 있어서,
상기 제1 비트스트림을 생성하는 단계는,
상기 포인트 클라우드를 다수의 그룹으로 분류하여 패치들(patches)을 생성하는 단계; 및
상기 패치들을 이동 및 회전시켜 2차원 도메인으로 매핑하고, 패치 정보를 생성하는 단계를 포함하되,
상기 패치 정보는, 상기 패치들을 상기 2차원 도메인으로 매핑하기 위한 파라미터, 상기 패치들이 매핑된 위치, 및 상기 2차원 도메인에서의 상기 패치들 각각의 크기를 포함하는 것을 특징으로 하는, 부호화 방법. - 제14항에 있어서,
상기 제1 비트스트림을 생성하는 단계는,
상기 패치들을 이용하여 기하 이미지들을 생성하는 단계, 여기서, 상기 기하 이미지들은, 상기 패치들을 2차원 평면으로 정사영하였을 때, 상기 패치들 내 포인트들과 상기 2차원 평면 간의 깊이(depth)를 나타내는 맵(map)임;
상기 기하 이미지들에서 상기 깊이가 정의되지 않은 빈 공간에 패딩을 적용하는 단계; 및
상기 기하 이미지들을 비디오 압축 기술을 기반으로 부호화하여, 제3 비트스트림을 생성하는 단계
를 더 포함하는 것을 특징으로 하는, 부호화 방법. - 제15항에 있어서,
상기 제1 비트스트림을 생성하는 단계는,
상기 패치들을 이용하여 텍스처 이미지를 생성하는 단계, 여기서, 상기 텍스처 이미지는, 상기 패치들 내 포인트들을 평면으로 정사영하였을 때, 상기 평면 상에서 상기 포인트들이 사영된 위치에 상기 포인트들의 속성 값이 매핑된 이미지임;
상기 텍스처 이미지 상에서 상기 포인트들이 점유하지 못한 부분에 패딩을 적용하는 단계; 및
상기 텍스처 이미지를 비디오 압축 기술을 기반으로 부호화하여, 제4 비트스트림을 생성하는 단계
를 더 포함하는 것을 특징으로 하는, 부호화 방법. - 제16항에 있어서,
상기 제1 비트스트림을 생성하는 단계는,
상기 패치들을 이용하여 점유(occupation) 이미지를 생성하는 단계, 여기서, 상기 점유 이미지는, 상기 패치들을 평면에 정사영하였을 때, 상기 평면 상의 영역에서 상기 패치들 내 포인트들의 점유 여부를 표현하는 이진맵임; 및
상기 점유 이미지를 부호화하여, 제5 비트스트림을 생성하는 단계
를 더 포함하는 것을 특징으로 하는, 부호화 방법. - 제17항에 있어서,
상기 제1 비트스트림을 생성하는 단계는,
상기 패치 정보를 엔트로피(entropy) 부호화하여, 제6 비트스트림을 생성하는 단계
를 더 포함하는 것을 특징으로 하는, 부호화 방법. - 제18항에 있어서,
상기 제1 비트스트림을 생성하는 단계는,
상기 제3 비트스트림, 상기 제4 비트스트림, 상기 제5 비트스트림 및 상기 제6 비트스트림을 결합하여 상기 제1 비트스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 부호화 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2022/003191 WO2022191543A1 (ko) | 2021-03-08 | 2022-03-07 | 포인트 클라우드 압축을 이용하는 메시 압축 방법 및 장치 |
| CN202280019799.1A CN116965034A (zh) | 2021-03-08 | 2022-03-07 | 利用点云压缩的网格压缩方法和装置 |
| US18/242,391 US20230410374A1 (en) | 2021-03-08 | 2023-09-05 | Method and apparatus for mesh compression using point cloud coding |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210030286 | 2021-03-08 | ||
| KR1020210030286 | 2021-03-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220126225A true KR20220126225A (ko) | 2022-09-15 |
Family
ID=83281505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220027875A KR20220126225A (ko) | 2021-03-08 | 2022-03-04 | 포인트 클라우드 압축을 이용하는 메시 압축 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220126225A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024085654A1 (en) * | 2022-10-19 | 2024-04-25 | Samsung Electronics Co., Ltd. | Packing of displacements data in video frames for dynamic mesh coding |
| WO2024185940A1 (ko) * | 2023-03-08 | 2024-09-12 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2024219901A1 (ko) * | 2023-04-20 | 2024-10-24 | 엘지전자 주식회사 | 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법 |
| WO2024242429A1 (ko) * | 2023-05-19 | 2024-11-28 | 인텔렉추얼디스커버리 주식회사 | 메시 복호화/부호화 방법 및 장치 |
| WO2025005646A1 (ko) * | 2023-06-26 | 2025-01-02 | 엘지전자 주식회사 | 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법 |
| WO2025009868A1 (ko) * | 2023-07-03 | 2025-01-09 | 엘지전자 주식회사 | 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법 |
-
2022
- 2022-03-04 KR KR1020220027875A patent/KR20220126225A/ko active Search and Examination
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024085654A1 (en) * | 2022-10-19 | 2024-04-25 | Samsung Electronics Co., Ltd. | Packing of displacements data in video frames for dynamic mesh coding |
| WO2024185940A1 (ko) * | 2023-03-08 | 2024-09-12 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2024219901A1 (ko) * | 2023-04-20 | 2024-10-24 | 엘지전자 주식회사 | 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법 |
| WO2024242429A1 (ko) * | 2023-05-19 | 2024-11-28 | 인텔렉추얼디스커버리 주식회사 | 메시 복호화/부호화 방법 및 장치 |
| WO2025005646A1 (ko) * | 2023-06-26 | 2025-01-02 | 엘지전자 주식회사 | 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법 |
| WO2025009868A1 (ko) * | 2023-07-03 | 2025-01-09 | 엘지전자 주식회사 | 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220126225A (ko) | 포인트 클라우드 압축을 이용하는 메시 압축 방법 및 장치 | |
| US12069316B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| CN114503586B (zh) | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 | |
| CN115428459A (zh) | 基于视频的网格压缩 | |
| KR20230155019A (ko) | 화상 처리 장치 및 방법 | |
| JP2016511457A (ja) | 深度マップ上への再投影を使用するサーフェスコーデック | |
| US11711535B2 (en) | Video-based point cloud compression model to world signaling information | |
| CN114641802A (zh) | 用于对体积视频进行编码、传输和解码的方法和装置 | |
| KR20240024069A (ko) | 정보 처리 장치 및 방법 | |
| JP2023541271A (ja) | 高密度メッシュ圧縮 | |
| JP2023515602A (ja) | 点群コーディングのための方法および装置 | |
| KR20220077097A (ko) | 매핑 함수를 이용하는 포인트 클라우드 코딩 장치 및 방법 | |
| US20100266217A1 (en) | 3d contents data encoding/decoding apparatus and method | |
| KR20200007733A (ko) | Pcc 데이터의 효과적인 압축을 위한 부호화/복호화 방법 및 장치 | |
| CN118103731A (zh) | 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法 | |
| US20230377203A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| CN116965034A (zh) | 利用点云压缩的网格压缩方法和装置 | |
| KR20240164507A (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 | |
| KR20200144401A (ko) | 3차원 데이터를 압축하는 방법 및 장치 및 3차원 데이터를 재구성하는 방법 및 장치 | |
| US20240020885A1 (en) | Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device | |
| US20230410374A1 (en) | Method and apparatus for mesh compression using point cloud coding | |
| US20230334719A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| KR20230137234A (ko) | 옥트리 기반 삼각형 코딩을 이용하는 메시 압축 방법 및 장치 | |
| CN113228050B (zh) | 使用视频点云编解码对视频流进行编码的方法和装置 | |
| CN116648904B (zh) | 视频编码的方法、视频解码的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20220304 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20250123 Comment text: Request for Examination of Application |