JP2023507879A

JP2023507879A - ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法

Info

Publication number: JP2023507879A
Application number: JP2022525017A
Authority: JP
Inventors: ユソンパク; ソチンオ; へチョンホ
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2019-12-26
Filing date: 2020-08-24
Publication date: 2023-02-28
Also published as: EP4083922A4; US20220383553A1; EP4083922A1; WO2021132834A1; CN114667542A

Abstract

【課題】ポイントクラウドデータを効率的に処理するための装置及び方法を提供する。【解決手段】実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階、及びポイントクラウドデータを含むビットストリームを送信する段階を含む。実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信する段階、及びポイントクラウドデータを復号する段階を含む。【選択図】図１

Description

実施例はポイントクラウドコンテンツ(ｐｏｉｎｔＣｌｏｕｄＣｏｎｔｅｎｔ)を処理する方法及び装置に関する。

ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(ＶｉｒｔｕａｌＲｅａｌｉｔｙ、仮想現実)、ＡＲ(ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、拡張現実)、ＭＲ(ＭｉｘｅｄＲｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。

実施例はポイントクラウドデータを効率的に処理するための装置及び方法を提供する。実施例は遅延(ｌａｔｅｎｃｙ)及び符号化／復号複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。

但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。

技術的解決方法として、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階、及びポイントクラウドデータを含むビットストリームを送信する段階を含む。

また実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信する段階、及びポイントクラウドデータを復号する段階を含む。

実施例による装置及び方法は、高効率でポイントクラウドデータを処理することができる。

実施例による装置及び方法は、良質のポイントクラウドサービスを提供することができる。

実施例による装置及び方法は、ＶＲサービス、自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。

添付図面は実施例の理解を助けるためのものであり、実施例に関連する説明と共に実施例を示す。後述する様々な実施例に対するより適切な理解のために、添付図面において類似する参照番号に対応する部分を含む次の図面に関連して以下の実施例の説明を必ず参照すべきである。

実施例によるポイントクラウドコンテンツ提供システムの一例を示す。実施例によるポイントクラウドコンテンツ提供動作を示すブロック図である。実施例によるポイントクラウドビデオキャプチャー過程の一例を示す。実施例によるポイントクラウドエンコーダ(ＰｏｉｎｔＣｌｏｕｄＥｎｃｏｄｅｒ)の一例を示す。実施例によるボクセルの一例を示す。実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙｃｏｄｅ)の一例を示す。実施例による隣接ノードパターンの一例を示す。実施例によるＬＯＤごとのポイント構成の一例を示す。実施例によるＬＯＤごとのポイント構成の一例を示す。実施例によるポイントクラウドデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)の一例を示す。実施例によるポイントクラウドデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)の一例を示す。実施例による送信装置の一例を示す。実施例による受信装置の一例を示す。実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。実施例によるモールトンコード生成方法を示す。実施例によるモールトンコード生成方法を示す。実施例によるモールトンコード生成方法を示す。実施例によるモールトンコード生成順序のしきい値を示す。実施例によるモールトンコード生成器を示す。実施例によるポイントクラウドビットストリームの構成を示す。実施例によるＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ、ＴＰＳ)を示す。実施例によるＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ、ＧＰＳ)を示す。実施例によるＡＰＳ(ａｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ、ＡＰＳ)を示す。実施例によるジオメトリスライスヘッダ(ＧｅｏｍｅｔｒｙｓｌｉｃｅＨｅａｄｅｒ、ＧＳＨ)を示す。実施例によるポイントクラウドデータ送信方法を示す。実施例によるポイントクラウドデータ受信方法を示す。

添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。

実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。

図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。

図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。

実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅｔｒａｎｓｃｅｉｖｅｒｓｙｓｔｅｍ)、ネットワーク、ＡＩ(ＡｒｉｔｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５ＧＮＲ(ＮｅｗＲＡＴ)、ＬＴＥ(ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(ＰｏｉｎｔＣｌｏｕｄＶｉｄｅｏＡｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(ＰｏｉｎｔＣｌｏｕｄＶｉｄｅｏＥｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。

実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。

実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(ＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(ＶｉｄｅｏｂａｓｅｄＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。

実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また送信装置１００００はオン・デマンド(ＯｎＤｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。

実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５ＧＮＲ(ＮｅｗＲＡＴ)、ＬＴＥ(ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。

ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。

レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。

図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。

実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(ＦｉｅｌｄＯｆＶｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(ＧａｚｅＡｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。

実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。

実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用することができる。

図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。

図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。

図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。

実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(ＰｏｌｙｇｏｎＦｉｌｅｆｏｒｍａｔｏｒｔｈｅＳｔａｎｆｏｒｄＴｒｉａｎｇｌｅｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。

実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナリング情報をさらに含む。

実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化することができる。

ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。

図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。

図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。

ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。

図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。

図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。

図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌｈｏｌｅ)がある場合、それを埋める動作を行うことができる。

またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。

図４は実施例によるポイントクラウドエンコーダ(ＰｏｉｎｔＣｌｏｕｄＥｎｃｏｄｅｒ)の一例を示す図である。

図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。

図１及び図２に示したように、ポイントクラウドエンコーダはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。

実施例によるポイントクラウドエンコーダは、座標系変換部(ＴｒａｎｓｆｏｒｍａｔｉｏｎＣｏｏｒｄｉｎａｔｅｓ)４００００、量子化部(ＱｕａｎｔｉｚｅａｎｄＲｅｍｏｖｅＰｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ))４０００１、八分木分析部(ＡｎａｌｙｚｅＯｃｔｒｅｅ)４０００２、表面近似分析部(ＡｎａｌｙｚｅＳｕｒｆａｃｅＡｐｐｒｏｘｉｍａｔｉｏｎ)４０００３、演算エンコーダ(ＡｒｉｔｈｍｅｔｉｃＥｎｃｏｄｅ)４０００４、ジオメトリ再構成部(ＲｅｃｏｎｓｔｒｕｃｔＧｅｏｍｅｔｒｙ)４０００５、色変換部(ＴｒａｎｓｆｏｒｍＣｏｌｏｒｓ)４０００６、特質変換部(ＴｒａｎｓｆｅｒＡｔｔｒｉｂｕｔｅｓ)４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部(ＧｅｎｅｒａｔｅｄＬＯＤ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ)４００１０、係数量子化部(ＱｕａｎｔｉｚｅＣｏｅｆｆｉｃｉｅｎｔｓ)４００１１及び／又は演算エンコーダ(ＡｒｉｔｈｍｅｔｉｃＥｎｃｏｄｅ)４００１２を含む。

座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐｇｅｏｍｅｔｒｙｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。

図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。

実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。

実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。

実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。

実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。

色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、各要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(ＲｅｇｉｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉａｌＴｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒｐｒｅｄｉｃｔｉｏｎ－ＰｒｅｄｉｃｔｉｏｎＴｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒｐｒｅｄｉｃｔｉｏｎｗｉｔｈａｎｕｐｄａｔｅ／ｌｉｆｔｉｎｇｓｔｅｐ（ＬｉｆｔｉｎｇＴｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。

実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。

実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。

実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。

特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。

特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙｓｅａｒｃｈｔｒｅｅ)で迅速に最短隣接点探索(ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒＳｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。

図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。

実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。

実施例によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ(ＬｅｖｅｌｏｆＤｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことが示されている。ポイントをＬＯＤによって分類できる。

実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。

実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。

実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。

図４のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅｍｅｍｏｒｙｄｅｖｉｃｅｓ)など)を含む。

図５は実施例によるボクセルの一例を示す図である。

図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２^d、２^d、２^d)により定義される境界ボックス(ｃｕｂｉｃａｌａｘｉｓ－ａｌｉｇｎｅｄｂｏｕｎｄｉｎｇｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。

図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙｃｏｄｅ)の一例を示す図である。

図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドエンコーダ(例えば、八分木分析部４０００２)は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。

図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２^d、２^d、２^d)により定義される境界ボックス(ｃｕｂｉｃａｌａｘｉｓ－ａｌｉｇｎｅｄｂｏｕｎｄｉｎｇｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、(ｘ^int _n、ｙ^int _n、ｚ^int _n)は量子化されたポイントの位置(又は位置値)を示す。

図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆｎｏｄｅ)がボクセルになるまで適用される。

図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。

実施例によるポイントクラウドエンコーダ(例えば、図４のポイントクラウドエンコーダ、又は八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。

従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(ＤｉｒｅｃｔＣｏｄｉｎｇＭｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドエンコーダは、表面モデル(ｓｕｒｆａｃｅｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐｇｅｏｍｅｔｒｙｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。

ダイレクトコーディング(Ｄｉｒｅｃｔｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ(又は演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。

実施例によるポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。

一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅａｖｅｒａｇｅｐｏｓｉｔｉｏｎａｌｏｎｇｔｈｅｅｄｇｅｏｆａｌｌｖｏｘｅｌｓ)。

バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ(例えば、ジオメトリ再構成部４０００５)は三角形再構成(ｔｒｉａｎｇｌｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができる。

ブロックのエッジに位置するバーテックスはブロックを通過する表面を決定する。実施例による表面は非平面多角形である。三角形再構成の過程ではエッジの開始点、エッジの方向ベクトルとバーテックスの位置値に基づいて三角形で示される表面を再構成する。三角形再構成の過程は以下の通りである。（１）各バーテックスの中心(ｃｅｎｔｒｏｉｄ)値を計算し、（２）各バーテックスの値から中心値を引いた値に（３）自乗を行って、その値を全て併せた値を得る。

加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。

表２－１．Ｔｒｉａｎｇｌｅｓｆｏｒｍｅｄｆｒｏｍｖｅｒｔｉｃｅｓｏｒｄｅｒｅｄ１，…，ｎ
ｎｔｒｉａｎｇｌｅｓ
3 (1,2,3)
4 (1,2,3), (3,4,1)
5 (1,2,3), (3,4,5), (5,1,3)
6 (1,2,3), (3,4,5), (5,6,1), (1,3,5)
7 (1,2,3), (3,4,5), (5,6,7), (7,1,3), (3,5,7)
8 (1,2,3), (3,4,5), (5,6,7), (7,8,1), (1,3,5), (5,7,1)
9 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,1,3), (3,5,7), (7,9,3)
10 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,1), (1,3,5), (5,7,9), (9,1,5)
11 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,1,3), (3,5,7), (7,9,11), (11,3,7)
12 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,12,1), (1,3,5), (5,7,9), (9,11,1), (1,5,9)

アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。

図７は実施例による隣接ノードパターンの一例を示す図である。

ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔａｄａｐｔｉｖｅａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。

図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又は演算エンコーダ４０００４)は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。

図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。

図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。

図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。

図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。

ポイントクラウドエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類する(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。

図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。

図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(ＥｕｃｌｉｄｅａｎＤｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダだけではなく、ポイントクラウドデコーダでも行われる。

図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤｂａｓｅｄｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。

図４で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。

実施例によるポイントクラウドエンコーダは、ポイントに対する予測機(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。実施例による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。

実施例による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は、各ポイントの特質(特質値)から予測特質(特質値)を引いた残余値(ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅｑｕａｎｔｉｚａｔｉｏｎ)することができる。量子化過程は以下の表の通りである。

表．Ａｔｔｒｉｂｕｔｅｐｒｅｄｉｃｔｉｏｎｒｅｓｉｄｕａｌｓｑｕａｎｔｉｚａｔｉｏｎｐｓｅｕｄｏｃｏｄｅ
ｉｎｔＰＣＣＱｕａｎｔｉｚａｔｉｏｎ(ｉｎＴｖａｌｕｅ, ｉｎＴｑｕａｎｔＳｔｅｐ) {
ｉｆ( ｖａｌｕｅ >=０) {
ｒｅｔｕｒｎｆｌｏｏｒ(ｖａｌｕｅ / ｑｕａｎｔＳｔｅｐ + １．０ / ３．０);
} ｅｌｓｅ {
ｒｅｔｕｒｎ -ｆｌｏｏｒ(-ｖａｌｕｅ / ｑｕａｎｔＳｔｅｐ + １．０ / ３．０);
｝
｝

ＡｔｔｒｉｂｕｔｅｐｒｅｄｉｃｔｉｏｎｒｅｓｉｄｕａｌｓｉｎｖｅｒｓｅｑｕａｎｔｉｚａｔｉｏｎｐｓｅｕｄｏＣｏｄｅ
ｉｎＴＰＣＣＩｎｖｅｒｓｅＱｕａｎｔｉｚａｔｉｏｎ(ｉｎＴｖａｌｕｅ, ｉｎＴｑｕａｎｔＳｔｅｐ) {
ｉｆ( ｑｕａｎｔＳｔｅｐ ==０) {
ｒｅｔｕｒｎｖａｌｕｅ;
} ｅｌｓｅ {
ｒｅｔｕｒｎｖａｌｕｅ＊ｑｕａｎｔＳｔｅｐ;
｝
｝

実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。

実施例によるポイントクラウドエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。

１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。

２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。

３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。

４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。

５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。

６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。

実施例によるポイントクラウドエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドエンコーダは、ボクセルから全体領域にスキャンし、各ステップもぽてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。

図１０は実施例によるポイントクラウドデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)の一例を示す図である。

図１０に示したポイントクラウドデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダは一つ又はそれ以上のビットストリーム(ｂｉｔｓｔｒｅａｍ)に含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質(ｄｅｃｏｄｅｄＡｔｔｒｉｂｕｔｅs)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄｐｏｉｎｔｃｌｏｕｄ)するために使用される。

図１１は実施例によるポイントクラウドデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)の一例を示す図である。

図１１に示したポイントクラウドデコーダは図１０で説明したポイントクラウドデコーダの一例であり、図１ないし図９で説明したポイントクラウドエンコーダの符号化動作の逆過程である復号動作を行う。

図１及び図１０で説明したように、ポイントクラウドデコーダはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。

実施例によるポイントクラウドデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃｄｅｃｏｄｅ)１１０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅｏｃｔｒｅｅ)１１００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅｓｕｒｆａｃｅａｐｐｒｏｘｉｍａｔｉｏｎ)１１００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔｇｅｏｍｅｔｒｙ)１１００３、座標系逆変換部(ｉｎｖｅｒｓｅｔｒａｎｓｆｏｒｍｃｏｏｒｄｉｎａｔｅｓ)１１００４、演算デコーダ(ａｒｉｔｈｍｅｔｉｃｄｅｃｏｄｅ)１１００５、逆量子化部(ｉｎｖｅｒｓｅｑｕａｎｔｉｚｅ)１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ｇｅｎｅｒａｔｅＬＯＤ)１１００８、逆リフト部(Ｉｎｖｅｒｓｅｌｉｆｔｉｎｇ)１１００９及び／又は色逆変換部(ｉｎｖｅｒｓｅｔｒａｎｓｆｏｒｍｃｏｌｏｒｓ)１１０１０を含む。

演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクトコーディング(ｄｉｒｅｃｔｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐｇｅｏｍｅｔｒｙｄｅｃｏｄｉｎｇ)を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。

実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。

実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。

実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。

実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。

実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。

演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(ＲｅｇｉｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉａｌＴｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒｐｒｅｄｉｃｔｉｏｎ－ＰｒｅｄｉｃｔｉｏｎＴｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒｐｒｅｄｉｃｔｉｏｎｗｉｔｈａｎｕｐｄａｔｅ／ｌｉｆｔｉｎｇｓｔｅｐ (ＬｉｆｔｉｎｇＴｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。

実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。

実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコーダの特質符号化に基づいて選択的に適用される。

実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選択的に行う。

実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。

図１１のポイントクラウドデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。

図１２は実施例による送信装置の一例を示す。

図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。

実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。

データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。

実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。

実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。

実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。

実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。

色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。

実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。

実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。

実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(ＡｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ０^０)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ０^０、Ａｔｔｒ１^０)を含む。

スライス(ｓｌｉｃｅ)とは、コーディングされたポイントクラウドフレームの全体又は一部を示すシンタックスエレメントのシリーズをいう。

実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。

図１３は実施例による受信装置の一例を示す。

図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。

実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。

実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。

実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。

演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。

実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。

実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。

実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。

演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。

実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。

実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。

図１４は実施例によるポイントクラウドデータの送受信方法／装置に連動可能な構造の一例を示す図である。

図１４の構造はサーバー１４６０、ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のうちのいずれかがクラウドネットワーク１４１０に連結された構成を示している。ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０又は家電１４５０などは装置とも呼ばれる。またＸＲ装置１４３０は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。

クラウドネットワーク１４００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１４００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。

サーバー１４６０はロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のいずれかにクラウドネットワーク１４００により連結され、連結された装置１４１０～１４７０のプロセシングの少なくとも一部を助けることができる。

ＨＭＤ(Ｈｅａｄ－ＭｏｕｎｔＤｉｓｐｌａｙ)１４７０は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパーワ供給ユニットなどを含む。

以下、上記技術が適用される装置１４１０～１４５０の様々な実施例について説明する。ここで、図１４に示した装置１４１０～１４５０は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。

＜ＰＣＣ＋ＸＲ＞

ＸＲ／ＰＣＣ装置１４３０はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－ＭｏｕｎｔＤｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－ＵｐＤｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。

ＸＲ／ＰＣＣ装置１４３０は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１４３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。

＜ＰＣＣ＋自立走行＋ＸＲ＞

自律走行車両１４２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。

ＸＲ／ＰＣＣ技術が適用された自律走行車両１４２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１４２０はＸＲ装置１４３０とは区分されて互いに連動されることができる。

ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１４２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１４２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。

この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。

実施例によるＶＲ(ＶｉｒｔｕａｌＲｅａｌｉｔｙ)技術、ＡＲ(ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ)技術、ＭＲ(ＭｉｘｅｄＲｅａｌｉｔｙ)技術及び／又はＰＣＣ(ＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。

即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。

但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄＲｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。

実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。

自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。

実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。

実施例によるＰＣＣデータ符号化器は、符号化器、エンコーダ、ポイントクラウド送信装置、ポイントクラウドデータエンコーダなどに対応する。

実施例によるＰＣＣデータ復号器は、復号器、デコーダ、ポイントクラウド受信装置、ポイントクラウドデータデコーダなどに対応する。

実施例によって幾何情報はジオメトリ情報、ジオメトリデータなどとも称され、属性情報は特質情報、特質データなどとも称される。

実施例による方法／装置は、実施例によるポイントクラウドデータ送受信方法／装置を意味する。

図１５は実施例によるモールトンコード生成方法を示す。

図１５の実施例によるモールトンコード生成は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、受信装置１０００４、ポイントクラウドビデオデコーダ１０００６、図２の符号化２０００１、復号２０００３、図４のＰＣＣ符号化器(エンコーダ)、図１０及び図１１のＰＣＣ復号器(デコーダ)、図１２のポイントクラウドデータ送信装置、図１３のポイントクラウドデータ受信装置、図１４のＸＲデバイス１７３０、スマートフォン１４４０、及び図１９のモールトンコード生成器１９０００などにより行われる。実施例によるモールトンコード生成に関連する動作を行う装置及びその方法を実施例による方法／装置と簡単に称する。実施例による装置の各構成要素はハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせに対応する。

実施例はポイントクラウド圧縮をシーケンス及び／又はスライスごとの軸変換を用いて効率的な圧縮及び／又は復号性能向上を支援するための方案に関する。ポイントクラウド圧縮時、属性値が最も近接するように軸変換により点間類似度を上げて、ビットストリームのサイズを縮め、原本対比復号されたポイントクラウドの質が増加する効果がある。

実施例によるポイントクラウドデータ送受信方法／装置は符号化／復号性能を増加させるモールトンコード生成方案を提供する。

実施例は３次元ポイントクラウドデータ(オブジェクトに関するポイントの位置及び属性に関するデータ)を圧縮するために、空間上の座標探索方法であるモールトンコード生成を用いる。

また実施例による方法／装置は実施例によるモールトンコード生成方法を軸の属性に基づいて適応的に行うことができる。実施例によるポイントクラウドはｘｙｚ順にジオメトリ圧縮され、ｘｙｚ順によるモールトンコードのアドレス値が生成される。属性値の予測もジオメトリのｘｙｚ順により順序が決定される。

実施例による方法／装置はこのようなｘｙｚ順のみに限られず、ポイントクラウドの３次元空間上の位置に適用した属性値のモールトンコードをより補完することができる。実施例によるモールトンコードは、空間上Ｚ順序探索としてポイントクラウドデータのジオメトリ値と属性値を連結する役割をする。このとき、空間上の探索としてジオメトリ値を整列するが、実際ジオメトリ値の距離をモールトンコードが反映できないという短所がある。従って、実施例による方法／装置ではさらに、軸変換を用いた適応型モールトンコードを生成する方案を提案する。

実施例によるポイントクラウド圧縮は３次元空間上の距離を基準として近い点を隣接ノードとして探し、隣接ノードを基準として一番近い１つの値或いは３つの平均値を復号するためにインデックスを伝達する。実施例による復号器は、伝達されたインデックスから現在ポイントに一番近い隣接ノードの位置を確認し、加重値計算により現在ポイントの属性値から隣接ノードの属性値を予測する。従って、符号化器と復号器では属性が類似しながら空間上距離が近い隣接ノードを選択することにより、圧縮、符号化、復号などの効率を上げることができる。

実施例によって、空間上隣接ノードを探す方法として適応型モールトンコード方法を利用することができる。

実施例によるモールトンコードは、実施例による送信装置、エンコーダ、モールトンコード生成器などにより生成される。実施例によるモールトンコード生成方法では、加重値基盤のモールトンコードを生成する。例えば、１)軸基盤の適応型モールトンコード生成方法、２)ビット割り当て型モールトンコード生成方法、３)値分布によるモールトンコード生成方法などがある。

実施例による軸基盤の適応型モールトンコード生成方法に関連して、実施例による方法／装置は軸基盤の適応型モールトンコード生成方案を行う。実施例による方法／装置はポイントクラウドの境界ボックスを計算し、軸の長さに基づいてビットインターリービング単位を調節する。実施例によるモールトンコード演算方式はポイントに対するｘｙｚ軸に対する座標値の２進ビット値があるとき、ｚｙｘｚｙｘｚｙｘ…の順に基づいてビットインターリービングしてモールトンコードを生成する。実施例による方法／装置はｘ、ｙ、ｚ軸の長さをそれぞれの最大エッジ(ｍａｘｅｄｇｅ)、中間エッジ(ｍｉｄｅｄｇｅ)、最小エッジ(ｍｉｎｅｄｇｅ)で割り当て、最も長い軸を確認する。最も小さい軸を基準として長い軸と中間軸の長さを分け、分けた値にｌｏｇ２をつける。ここで、計算された値を切り上げた数値がカウントＹ(ｃｏｕｎｔｙ)とカウントＺ(ｃｏｕｎｔｚ)になる。各カウント値はビットを何回繰り返すかに関する回数を示す。例えば、ｘ軸の長さが１０、ｙ軸の長さが４０、ｚ軸の長さが２０であると、カウントｙが２であり、カウントｚが１になる。またモールトンコードのビット順序はｚｚｙｙｘｚｙｙｘｚｙｘｚｙｘ..のようである。即ち、ｚは１回繰り返され、ｙは２回繰り返されて、モールトンコードが軸の長さに基づいて生成される。

実施例による方法／装置では境界ボックス内の全ての点に対して上記の過程を行う。各点はモールトンコードに一対一マッピングされる。マッピングされたモールトンコードを昇順整列すると、八分木(ｏｃｔｒｅｅ)上で深い優先の探索順で点を探索することができる。

実施例によるビット割り当て型のモールトンコード生成方法に関連して、実施例による方法／装置は、ポイントクラウドのデータとは関係なく、任意のｘ、ｙ、ｚのうちの一つに対して加重値を適用してモールトンコードをビットインターリービングする。実施例によって、データの特性に関連する境界ボックスを計算しなくても、実施例による方法／装置はポイントクラウドデータの獲得過程で幅(ｗｉｄｔｈ)、高さ(ｈｅｉｇｈｔ)、深さ(ｄｅｐｔｈ)に基づいて、特定の軸は短く或いは長くデータを得ることができる。即ち、特に境界ボックスの情報がなくても、モールトンコードを生成することができる。

例えば、ポイントクラウドデータが空間上ｘ軸とｚ軸に広く分散しているが、ｙ軸に点が集まっている分布度を有することができる。また、ライダーデータの場合、差の左右と前後にはデータが広がっている場合が多いが、上下のデータは重要度が落ちる。

従って、かかるデータシーケンスの場合は、ｘ、ｚ軸にモールトンコード生成のためのビットをもっと割り当ててモールトンコードを生成することができる。

実施例による値分布によるモールトンコード生成方法に関連して、実施例による方法／装置は値分布によるモールトンコードを生成する。実施例による方法／装置はポイントクラウドのデータｘ、ｙ、ｚ値の全てをスキャンして得た分布度に基づいてモールトンコードをビットインターリービングしてモールトンコードを生成する。値分布によるモールトンコード生成方案と軸基盤のモールトンコード生成方案との差は、値のない部分に対して加重値を計算しなくてもよいということである。例えば、ｙ軸の境界ボックスは０～１００の値を有するが、境界ボックス内で１０～５０の区間は実際に点が分布していないこともある。点がない部分まで考慮して値分布によるモールトンコードを生成することができる。

実施例による適応型モールトンコード方法に加えて、ポイントクラウドの境界ボックスを拡張して適応型モールトンコードの演算方法を具体化して多様化することができ、適応型モールトンコード方法を使用したとき、性能向上の効果が得られる。

実施例は空間上ユークリッド距離が同一であっても、モールトンコード上では差がある問題を解決することができる。軸によるｘｙｚ軸の順序を様々に変更し、コンテンツ単位、タイル単位、スライス単位、ジオメトリ値単位、属性値単位などに基づいて適用可能な様々な条件を提示する。また実施例はしきい値によって軸変換の変更有無を定義する。従って、実施例はコンテンツ、タイル、スライス、範囲、属性値単位で適応型空間探索を行い、近い隣接ノードの探索のための適応型モールトンコードのマッピング条件を提案する。実施例によるポイントクラウド符号化及び復号動作は、一つのモールトンコードタイプのみを利用することではなく、ポイントクラウドデータの様々なデータ特性に合わせてモールトンコードを変形できる効果を提供する。

実施例はポイントクラウドデータのモールトンコード生成過程で発生する実際座標系とモールトンコード距離の差を反映できない問題を改善するための適応型モールトンコード生成方案を提供する。即ち、実施例による方法はコンテンツごと、タイルごと、スライスごと、範囲、属性値、ジオメトリ値単位で軸ごとの適応型モールトンコードを異なるように生成できるという効果がある。また実施例によるしきい値の設定方式により、軸ごと／密度ごとなどのオプションを異なるようにして、コンテンツごと、タイルこと、スライスごと、属性値、ジオメトリ値に適用するか否かを異なるように設定することができる。

例えば、実施例による軸順序変更動作は、実施例による送信装置又はエンコーダでジオメトリ符号化(エンコーディング)前に行われる。また実施例による軸順序変更動作は、ジオメトリ符号化後の属性符号化時、軸の順序を変更する過程で行われる。さらに軸ごとの変更時、しきい値がある場合としきい値がない場合がいずれも可能である。しきい値の有無に関連する動作はジオメトリ符号化前に行われるか、又はジオメトリ符号化後の属性符号化時に行われる。

実施例は上述した軸基盤の適応型モールトンコード生成方法、ビット割り当て型モールトンコード生成方法と値分布によるモールトンコード生成方法などに結合して行われる。

実施例による方法／装置は、実施例による方法(軸基盤の適応型モールトンコード生成方法、ビット割り当て型モールトンコード生成方法と値分布によるモールトンコード生成方法)などに基づいてモールトンコードを生成し、軸／密度／しきい値による条件などに基づいてモールトンコードの生成順序をさらに変更することができる。実施例による条件などに基づいてモールトンアドレスを変更して、範囲によるモールトンコードを異なるように生成することができる。

図１５を参照すると、実施例によるモールトンコード生成方法を示す。

実施例によるモールトンコード生成順序は２つの方法を含む。軸長さによるモールトンコード生成順序、密度によるモールトンコード生成順序がある。

ポイントはジオメトリデータの位置値であるＸＹＺ座標値１５０００を有する。各軸のＸ、Ｙ、Ｚ座標値はビット１５０１０で表される。各軸の座標値がＮ個のビットを有すると、各軸をスキャンしながら各軸のビットを用いて一つのビットストリームで整列して１５０２０、モールトンコードを生成することができる１５０３０。例えば、ビットを整列する順序がＸＹＺ順であり、Ｘ軸のＮ番目のビット、Ｙ軸のＮ番目のビット、Ｚ軸のＮ番目のビット、… 、Ｘ軸の２番目のビット、Ｙ軸の２番目のビット、Ｚ軸の２番目のビット、… 、Ｘ軸の１番目のビット、Ｙ軸の１番目のビット、Ｚ軸の１番目のビットの順にモールトンコードを生成することができる。

実施例によるモールトンコード生成は、図４のＰＣＣエンコーダ内、図４のＰＣＣエンコーダ内のジオメトリ符号化及び特質符号化の間、図４の特質変換器４００７、図１１のＰＣＣデコーダ、図１１のＰＣＣデコーダのジオメトリ復号及び特質復号の間、及び／又は図４及び図１１に対応するエンコーダ／デコーダなどにより行われる。

実施例によるポイントクラウドデータのポイントを表現する座標系はＸＹＺ軸であってもよく、他のタイプの座標系をさらに含んでもよい。実施例によるモールトンコード生成方式を様々な座標系によるポイントの位置値にも適用できる。以下では、例えば、ＸＹＺでポイントを表す。ＸＹＺは座標系タイプによって他の因子に置き換えられて解釈されることができる。例えば、更なる座標系は円筒座標系、或いは球面座標系、以下、ｘｙｚからポイントクラウドを表現するための変換された座標系をさらに含む。

図１６は実施例によるモールトンコード生成方法を示す。

図１６は図１５で説明したモールトンコード生成方法と結合可能な実施例による一つ又はそれ以上のモールトンコード生成動作を示す。図１６の各動作は図１５で説明した実施例による方法／装置などによって行われることができる。

実施例による方法／装置は軸によるモールトンコードを生成する(Ｓ１６０００)。実施例による方法／装置は軸によるモールトンコードを生成する(Ｓ１６０１０)。実施例による方法／装置は軸によるモールトンコードを生成する(Ｓ１６０２０)。実施例による方法／装置は軸基盤方式(Ｓ１６０００)、密度基盤の方式(Ｓ１６０１０)及びしきい値基盤(Ｓ１６０２０)のうちのいずれかを使用するか、又は少なくとも一つの方式を互いに結合して使用することができる。以下、各方式について説明する。各方式の説明順序は実施例の意味を制限しない。

例えば、実施例によるモールトンコード生成方法は、ただ軸によるモールトンコード生成、ただ密度によるモールトンコード生成、軸及び密度の全てによるモールトンコード生成、軸によるモールトンコード生成及びしきい値適用の全てを用いる方法、密度によるモールトンコード生成及びしきい値適用の全てを用いる方法、軸及び密度の全てによるモールトンコード生成、及びしきい値適用の全てを用いる方法などを含む。

Ｓ１６０００軸によるモールトンコード生成

実施例によるポイントクラウドデータは一つ又はそれ以上のフレームを含む。一つのフレームはｘ、ｙ、ｚ軸上に存在するポイントを含む。空間上分布している点を含む単位を境界ボックスという。境界ボックスはｘ、ｙ、ｚ値のｍａｘからｘ、ｙ、ｚ値のｍｉｎを含む空間により定義される。シーケンスによって境界ボックスの長さ／サイズが変わる。各軸の長さ(Ｘ軸の長さ、Ｙ軸の長さ、Ｚ軸の長さ)は点の分布がどのくらい長く或いは短く分布しているかを示す。ｘｙｚの３つの軸を昇順及び／又は降順に整列して３つの軸の順序を変えることができる。実施例による軸の順序をシーケンスごと、タイルごと、スライスごと或いはジオメトリ単位、属性単位、ジオメトリと属性単位などに基づいて決定することができる。

実施例によって、各軸ごとに同一のモールトンコードを生成することができる。実施例によって、各軸ごとに異なるモールトンコードを生成することができる。実施例による境界ボックスは幅(ｗｉｄｔｈ)、深さ(ｄｅｐｔｈ)、高さ(ｈｅｉｇｈｔ)を有する。境界ボックスが位置する各軸に基づいて、軸の長さを確認することができる。例えば、ｙ軸、ｚ軸、ｘ軸の順序が一番長い軸から降順に短い軸の順序である。３つの軸からモールトンコードを生成するとき、モールトンコードを構成するビットを１番目にはｙ軸のｎ番目のビット、ｚ軸のｎ番目のビット、ｘ軸のｎ番目のビットの順に生成することができる。３つの軸の長さの昇順及び／又は降順にモールトンコードのビット順序を混ぜる動作である。即ち、各軸のビットを実施例による方式と基準に基づいてビットインターリービングしてモールトンコードを生成することができる。

従って、実施例による方法／装置は境界ボックスの各軸の長さを比較して、長さ特性に基づいて様々なビットインターリービングを行うことができる。かかるモールトンコードのビットインターリービングは、実際データの特性及びデータの分布度を反映するモールトンコードの変化を提供し、結果としてポイントクラウドの効率的圧縮及び復元に対する効果を提供する。

実施例による軸基盤のモールトンコード生成動作に関連して、

(ｘ_ｉ,ｙ_ｉ,ｚ_ｉ)が現在ポイントＩの位置であると、全ての３つの軸内の境界ボックスの長さはｌｅｎｇｔｈ_ｘ、ｌｅｎｇｔｈ_ｙ、ｌｅｎｇｔｈ_ｚのように計算される。一番長い軸の方向を考慮するとき、より関連する特質隣接候補を探すことができる。対応する隣接サーチのための一番長い軸を考慮することができる。特に、カテゴリ３データの場合、Ｘ軸又はＹ軸内の密度分布度がもっと密である。Ｚ軸よりＸ軸及びＹ軸をサーチすれば、最も近い隣接をより速く探すことができる。

得られたｌｅｎｇｔｈ_ｘ、ｌｅｎｇｔｈ_ｙ、ｌｅｎｇｔｈ_ｚは昇順に格納される。各軸の長さはＳｏｒｔｅｄＡｘｉｓＯｒｄｅｒ[０]、ＳｏｒｔｅｄＡｘｉｓＯｒｄｅｒ[１]、ＳｏｒｔｅｄＡｘｉｓＯｒｄｅｒ[２]にそれぞれ対応する。分類(Ｓｏｒｔｉｎｇ)されたオーダーはモールトンコードＸ、Ｙ、Ｚ座標系順の入力(ｉｎｐｕｔ)になる。

実施例による分類されたオーダーは、ビットインターリービングの順になる。現在ｚ、ｙ、ｘ順は整列されたａｘｉｓＳｏｒｔｅｄＡｘｉｓＯｒｄｅｒ[２]、ＳｏｒｔｅｄＡｘｉｓＯｒｄｅｒ[１]、ＳｏｒｔｅｄＡｘｉｓＯｒｄｅｒ[０]により変更可能である。同一のモールトンコード実装(ｉｍｐｌｅｍｅｎｔａｔｉｏｎ)を有するように順序を生成することができる。整列された軸は空間検索順序に対応するＭＣ_ｉの順に適応的に変更可能である。最も近い隣接の重量予測(ｗｅｉｇｈｔｐｒｅｄｉｃｔｉｏｎ)の１番目の候補のために、一番長い軸方向の影響が考慮される。実施例による方法／装置はｙｘｚビットインターリービング順の変更された空間順序を提供することができる。

実施例は動的モールトンコードによる空間を検索する順序を設定する。

最も近い隣接の候補は変更された適応的モールトンコードによって変更される。

一番長い軸方向に隣接候補がもっと近い。従って、適応的モールトンコード予測が空間存在の側面でより効果的である。

実施例によるモールトンコード生成動作は、モールトンアドレス生成を変更することにより、効率的に適応的モールトンコードを提供できるという長所がある。

実施例はモールトンアドレス順を変更するために、スライスの最小／最大長さ比率のしきい値をさらに適用することができる。

実施例によるモールトンコードを使用すると、時間複雑度が低く、符号化／復号の時間効率が増加する効果がある。

Ｓ１６０１０密度によるモールトンコード生成

ポイントクラウドデータを構成するポイントが分布した空間の各軸に対する密度が存在する。実施例による方法／装置は、実施例による軸基盤の適応型モールトンコード生成方法、ビット割り当て型モールトンコード生成方法、及び値分布によるモールトンコード生成方法などに基づいて各軸に対するポイントの密度を生成することができる。

各軸ごとに密度が異なってもよい。例えば、軸の長さが短いほど密度値は大きくなる。

実施例によって、密度が高い順に各軸に対する座標値のビットを整列(ビットインターリービング)することができる。実施例によって、密度が低い順に各軸に対する座標値のビットを整列(ビットインターリービング)することができる。密度が高い順にビット整列する場合、実施例によって、ｘ、ｙ、ｚ軸の順にデータが表現されたポイントを再度密度によって整列することができる。例えば、ｘ軸の密度が１０であり、ｙ軸の密度が５であり、ｚ軸の密度が８であれば、密度の昇順にビットインターリービングしてモールトンコード生成時、ｙ、ｚ、ｘの順にモールトンコードを生成することができる。

ポイントの変更位置はジオメトリ単位、属性単位、ジオメトリ及び属性単位などにより変えることができる。またシーケンス単位、タイル単位、スライス単位で軸順序の単位を変えることができる。

実施例によるｘｙｚ順をモールトンコードをそのまま使用する方式(図１６)からさらに進んで、様々な基準に基づいてｘｙｚ順を変更してモールトンコードを生成する。かかるモールトンコードを使用してポイントクラウドデータを圧縮して復元する。ポイント位置が変更されることにより、一番長い軸及び／又は短い軸に対して、関連するジオメトリ値及び／又は属性値の隣接するノードを容易に探すことができる。即ち、軸又は密度などの実際ポイントクラウドデータのポイントの特性に合わせてビットインターリービングされたモールトンコードによって、隣接ノードを容易に探せるように分布される効果がある。

即ち、実施例による符号化器及び／又は復号器に入力されたポイントクラウドのｘｙｚデータの順序のみを変えることにより、符号化／復号の効率を高めることができる。軸順を変更する動作の遅延(ｌａｔｅｎｃｙ)が問題にならず、効率的に符号化／復号の効率が増加する。

特に、カテゴリ３に該当するポイントクラウドデータ、例えば、自律走行データなどの低密度データであって隣接データ間の連関性が低いか、又はカテゴリ１のような静的なデータであって高密度を有して隣接データ間の連関性の高いデータなどがあり得る。かかるデータの反射度情報は特定の軸が短い特性がある。長い軸を１の位(モールトンコード構成時、順序上１の位、ビットストリーム上最も右の１番目のビット)に先に整列するほど、長い軸の探索を先に行うことができる。特定の軸で先に探索すると、探索範囲内により多い隣接ノードを有することができるので、属性値予測に効率的な効果を提供することができる。さらに長い軸を先に探索することにより、圧縮効率が増加する。従って、実施例による方法／装置はポイントクラウドデータの速い圧縮及び復元のために、軸、密度、その他の特性などに基づいて範囲内のより多い隣接ノードを探索できるモールトンコード整列方法を用いる。

図１７に実施例による条件によってモールトンコードを生成する方法についてもっと説明する。

実施例による密度基盤のモールトンコード生成動作は、空間上、特定の平面にｘｏｙ／ｙｏｚ／ｘｏｚに基づいてプロジェクションを行って比率(ｒａｔｉｏ)を生成する。この時、比率(ｒａｔｉｏ)は全体ポイントの数でポイントの数を割って生成される。ここに、密度基盤のモールトンコード変換に対するしきい値を、例えば、２０％に設定する。

実施例による条件によってモールトンコードに関する設定情報をエンコーダで生成し、デコーダにビットストリームのシグナリング情報として伝達する。

Ｓ１６０２０モールトンコード生成順序のしきい値

例えば、境界ボックスの形態はポイントの分布、即ち、データ特性によって様々である。境界ボックスが立方体に近い形態であれば、モールトンコードのビットインターリービングを行わなくてもよい。従って、かかる様々なシナリオをカバーするために、実施例によるしきい値により、境界ボックスが立方体に近いか否かを判断する方案をさらに提供する。

実施例によるポイントクラウドデータの特性に関連して、境界ボックスの一軸が長いか又は短い直方体形態を有する境界ボックスがあり得る。

かかる直方体の境界ボックスのポイントの圧縮及び復元効率は、直方体ではない境界ボックスのポイントの圧縮及び復元効率より高い。

実施例によるポイントクラウドデータはカテゴリ１のようなデータ特性を有し得る。かかるポイントの境界ボックスは立方体のタイプを有することができる。即ち、静的なオブジェクトを３Ｄスキャンして得たデータ、高密度及び高連関性のデータなどは立方体のシーケンスを有し得る。ポイントクラウドデータを分割(ｐａｒｔｉｔｉｏｎｉｎｇ)すると、スライスが立方体を有するデータなどがあり得る。かかるデータ特性により、データの圧縮及び復元の効率を増加させることが難しい。

従って、実施例による軸／密度基盤の昇順／降順方式などを決定した後、データの形態を判断することができる。例えば、境界ボックスの一番長い軸対比一番短い軸の比率が特定のしきい値より小さいか又は大きいと、モールトンコード生成順序を変更しないことができる。実施例による軸基盤(Ｓ１６０００)及び／又は密度基盤(Ｓ１６０１０)に加えて、さらにしきい値基盤の追加判断オプションがあってもよい。図１８を参照しながら、実施例によるしきい値基盤の判断方法について説明する。

実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを符号化するエンコーダ；及びポイントクラウドデータを含むビットストリームを送信する送信機；を含む。

実施例によるエンコーダはポイントクラウドデータに対するモールトンコードを生成する。

実施例によるエンコーダはポイントクラウドデータのジオメトリデータに対する各軸に基づいてモールトンコードの順序を生成する。

ジオメトリデータは各軸に対する座標値を含み、モールトンコードは各軸に対する座標値の２進ビットに基づいて生成され、モールトンコードの２進ビットは各軸の長さに基づいて整列される。

実施例によるエンコーダはポイントクラウドデータのジオメトリデータに対する密度に基づいてモールトンコードの順序を生成する。

ジオメトリデータは各軸に対する座標値を含み、モールトンコードは座標値の２進ビットに基づいて生成され、モールトンコードの２進ビットは各軸に対する一つ又はそれ以上のポイントの密度の大きさに基づいて整列される。

実施例によるエンコーダのモールトンコード生成動作は、ポイントクラウドデータの一つ又はそれ以上のポイントの分布に関連するしきい値に基づいて行われる。

実施例によるポイントクラウドデータを含むビットストリームを受信する受信機又は受信インターフェース；及びポイントクラウドデータを復号するデコーダ；を含む。

実施例によるデコーダはポイントクラウドデータに対するモールトンコードを生成する。

図１７は実施例によるモールトンコード生成方法を示す。

図１７は図１６の軸によるモールトンコード生成(Ｓ１６０００)及び密度によるモールトンコード生成(Ｓ１６０１０)の具現を示す。実施例による方法／装置はモールトンコードを軸によって生成し、密度によってモールトンコードを生成し、及び／又は軸＋密度によってモールトンコードを生成する。

実施例によるエンコーダ及びデコーダのためのポイントクラウドデータのポイントは位置値を有する。この位置値はビットで表された値を有する１７０００。空間上の全ての点はｘ,ｙ,ｚのジオメトリ座標値を有する１７０００。座標値は２進ビットを有する１７０００。

実施例による方法／装置は２進ビットで表されたｘ,ｙ,ｚ１７０００を軸(Ｓ１６０００)の昇順、降順、密度の昇順、降順(Ｓ１６０１０)、又は軸＋密度組み合わせ基盤のうち、整列方式のタイプを定めることができる。定められた順序に基づいて各軸の位置値を再整列する１７０１０。

例えば、上記特定の基準によってｘ、ｙ、ｚの順からｚ,ｙ,ｘの順に整列されたｘｙｚビットを生成する１７０２０。

また実施例によって、特定の基準なしにすぐ(ユーザがｚｘｙの順に符号化することを入力)入力がエンコーダに入力されると、分類(ｓｏｒｔｉｎｇ)を省略することができる。シグナリングのみで分類なしにすぐモールトンコードを生成することもできる。

変更された順にビットインターリービングを行った後１７０２０、一つの２進ビットを有する座標値に対するモールトンアドレスを生成する１７０３０。ｚ、ｘ、ｙの順に１つのビットずつ整列して３つの軸に対する一つのビットストリームであるモールトンコード１７０３０を生成する。

実施例による方法／装置は変更されたモールトンアドレスに基づいてポイントを符号化し、復号する。

変更されたモールトンアドレスによって、一番長い軸の点を先に検索することができる。効率的な検索のためのモールトンアドレスの生成のために、実施例による方法／装置はポイントを含む境界ボックスに関連する情報(軸長さ、密度値)を用いる。

実施例による方法／装置は各軸ごとに密度を計算する。密度は軸の長さが短いほど高くなる。軸ごとにポイントの数が異なることではなく、一定の空間又は境界ボックスに含まれるポイントの数が同一であるためである。密度を考慮してモールトンコードのビットをインターリービングすることができる。また実施例によって、モールトンコードのビットインターリービング時、しきい値を適用することができる(Ｓ１６０２０)。

実施例によって、長さが短い軸は隣接ノードを探索しなくてもよい。従って、長い軸を中心として隣接ノードを探索することがより効率的である。かかる隣接ノード探索の効率性のために、モールトンコードをビットインターリービングする。

図１８は実施例によるモールトンコード生成順序のしきい値を示す。

図１８は図１６のモールトンコード生成順序のしきい値に関連する動作(Ｓ１６０２０)を示す。

一例として、しきい値を入力する過程を疑似コード(ｐｓｅｕｄｏ－ｃｏｄｅ)で示すと以下の通りである。

ｉｎｌｉｎｅｖｏｉｄ
ｃｏｍｐｕｔｅＡｘｉｓＯｒｄｅｒ()
{
ａｕｔｏｂｂｏｘ = ｐｏｉｎｔＣｌｏｕｄ.ｃｏｍｐｕｔｅＢｏｕｎｄｉｎｇＢｏｘ();
ｆｏｒ(ｉｎｔｉ = 0; ｉ＜3; ｉ＋＋) {
ａｘｉｓＩｎｆｏ[i].ｌｅｎｇｔｈ = ｂｂｏｘ.ｍａｘ[i] - ｂｂｏｘ.ｍｉｎ[i];
ａｘｉｓＩｎｆｏ[i].ｏｒｄｅｒ = ｉ;
}
ｓｏｒｔ(ａｘｉｓＩｎｆｏ.ｂｅｇｉｎ(), ａｘｉｓＩｎｆｏ.ｅｎｄ());
ｄｏｕｂｌｅｍｉｎＭａｘＡｘｉｓＲａｔｉｏ = ｄｏｕｂｌｅ(ａｘｉｓＩｎｆｏ[2].ｌｅｎｇｔｈ) / ｄｏｕｂｌｅ(ａｘｉｓＩｎｆｏ[0].ｌｅｎｇｔｈ);
ｉｆ(ｍｉｎＭａｘＡｘｉｓＲａｔｉｏ＜ 5.0) {
ａｘｉｓＩｎｆｏ[0].ｏｒｄｅｒ = 0;
ａｘｉｓＩｎｆｏ[1].ｏｒｄｅｒ = 1;
ａｘｉｓＩｎｆｏ[2].ｏｒｄｅｒ = 2;
}
}

実施例による各軸に対する長さ(ａｘｉｓＩｎｆｏ[ｉ].ｌｅｎｇｔｈ)は境界ボックスの長い軸(ｂｂｏｘ.ｍａｘ[ｉ])及び境界ボックスの短い軸(ｂｂｏｘ.ｍｉｎ[ｉ])の間の差に基づいて得られる。

各軸ごと(ｆｏｒ(ｉｎｔｉ＝０；ｉ＜３；ｉ＋＋))に各軸に対する長さ及び各軸の順序(ａｘｉｓＩｎｆｏ[ｉ].ｏｒｄｅｒ)を確認することができる。

実施例による最小最大軸比率(ｍｉｎＭａｘＡｘｉｓＲａｔｉｏ)はしきい値を示す。実施例によるしきい値は、長い軸対比中間軸の比率である。また実施例によって、しきい値はさらに中間軸対比短い軸の比率、長い軸対比短い軸の比率などを含む。軸の長さに対する様々な比率値が実施例によるしきい値として適用される。

実施例によって、２つの軸間の比率を計算する(ｄｏｕｂｌｅｍｉｎＭａｘＡｘｉｓＲａｔｉｏ＝ｄｏｕｂｌｅ(ａｘｉｓＩｎｆｏ[２].ｌｅｎｇｔｈ)／ｄｏｕｂｌｅ(ａｘｉｓＩｎｆｏ[０].ｌｅｎｇｔｈ))。

しきい値(ｍｉｎＭａｘＡｘｉｓＲａｔｉｏ)を比較する動作は、例えば、５.０を基準として最小最大軸比率が５.０より小さいか否かを確認する。最小最大軸比率が一定値より小さい場合(５.０値以外に他の値を利用できる)、軸の順序をａｘｉｓＩｎｆｏ[０].ｏｒｄｅｒ＝０；ａｘｉｓＩｎｆｏ[１].ｏｒｄｅｒ＝１；ａｘｉｓＩｎｆｏ[２].ｏｒｄｅｒ＝２；のように決定する。例えば、境界ボックスが立方体形態に近い場合、モールトンコード順序を変更しなくてもよい。境界ボックスが直方体形態に近い場合には、モールトンコード順序を変更することができる。

実施例によって、モールトンコード生成順序(Ｓ１６０００及び／又はＳ１６０１０)及びモールトンコード生成順序のしきい値(Ｓ１６０２０)は共に使われてもよい。また各動作(Ｓ１６０００、Ｓ１６０１０、Ｓ１６０２０)はジオメトリごと、属性ごと、ジオメトリと属性ごとに個々に異なるように適用される。

図１９は実施例によるモールトンコード生成器を示す。

図１９は図１５ないし図１８などに説明した動作を行う実施例によるモールトンコード生成器１９０００を示す。

図１９のモールトンコード生成器は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、受信装置１０００４、ポイントクラウドビデオデコーダ１０００６、図２の符号化２０００１、復号２０００３、図４のＰＣＣ符号化器(エンコーダ)、図１０及び図１１のＰＣＣ復号器(デコーダ)、図１２のポイントクラウドデータ送信装置、図１３のポイントクラウドデータ受信装置、及び図１４のＸＲデバイス１７３０、スマートフォン１４４０などに対応するか、又は含まれる。

図１９は図１６などの関連動作を行う実施例によるＰＣＣ符号化器及び復号器の構成要素を示す。

モールトンコード生成器１９０００は、実施例による条件によるモールトンコード生成動作及びしきい値の確認後、ジオメトリ／属性ごとのモールトンコードを生成する動作を行う。

モールトンコード生成器１９０００は実施例によるＰＣＣ符号化器内に含まれる。モールトンコード生成器１９０００はＰＣＣ符号化器内のジオメトリコーディング部及び特質コーディング部の間でモールトンコードを生成する。実施例による方法／装置は実施例によって生成されたモールトンコードに基づいて、ＬＯＤ生成などの動作を行う。

実施例によるモールトンコード生成器１９０００は、軸ごと／密度ごとの条件に基づいてモールトンコードを生成する。実施例による軸ごと／密度ごとの条件はシステムの設定値であるか、又はユーザから入力された値である。また実施例による送信方法／装置は、軸ごと／密度ごとの条件に関連してパラメータ情報(図２１ないし図２４を参照)をビットストリーム(図２０を参照)に含ませて受信方法／装置に伝達する。

実施例によるモールトンコード生成器１９０００はモールトンコード生成部などとも称される。

実施例によるモールトンコード生成器１９０００は、ジオメトリ符号化前に(例えば、図４のジオメトリ符号化パート)行われ、ジオメトリ符号化後(例えば、図４のジオメトリ符号化パート及び特質符号化パートの間)に行われる。例えば、実施例によるモールトンコード生成部は実施例によるジオメトリエンコーダに連結される。実施例によって、モールトンコード生成部／ジオメトリエンコーダ及び／又はジオメトリエンコーダ／モールトンコード生成部などの構成がある。また送信側に対応する受信側に対して実施例によるモールトンコード処理部はジオメトリデコーダに連結され、実施例によってモールトンコード処理部／ジオメトリデコーダ及び／又はジオメトリデコーダ／モールトンコード処理部などの構成がある。

実施例による受信方法／装置はモールトンコード生成器１９０００の逆過程に基づいてポイントクラウドデータを復号する。

実施例による送信方法／装置は以下のようなパラメータ(シグナリング情報又はメタデータなどとも称される)に基づいてポイントクラウドデータを符号化する。

実施例による方法／装置は実施例による符号化動作を行い、符号化動作に関連する以下のようなパラメータを生成し、ビットストリーム(図２０ないし図２４を参照)に含ませて、実施例による受信方法／装置に伝達する。

実施例による送信方法／装置は軸ごと／密度ごとの条件(ａｘｉｓ_ｃｏｎｄｉｔｉｏｎ_ｓｅｌｅｃｔｉｏｎ)を定める。所定の条件でモールトンコード生成部１９０００でモールトンコードのビットインターリービングを行う。

実施例による送信方法／装置はビットインターリービング順序を昇順／降順(ａｓｃｅｎｄｉｎｇ_ｏｒｄｅｒ_ｆｌａｇ)に基づいて定義する。ビットインターリービング順序はビットストリーム(図２０ないし図２４を参照)により符号化器から復号器に伝達される。例えば、昇順オーダーフラグ(ａｓｃｅｎｄｉｎｇ_ｏｒｄｅｒ_ｆｌａｇ)が０であると昇順を示し、昇順オーダーフラグ(ａｓｃｅｎｄｉｎｇ_ｏｒｄｅｒ_ｆｌａｇ)が１であると降順を示す。各整数値は様々に変更可能である。

実施例による方法／装置はデータ特性によって所定のしきい値(ａｘｉｓ_ｏｒｄｅｒｉｎｇ_ｔｈｒｅｓｈｏｌｄ)に基づいてモールトン生成の有無を決定する。

シーケンスごと／タイルごと／スライスごとにモールトンコード生成条件及びしきい値適用有無を異なるように適用することができる。このとき、使用された値はそれぞれシグナリング情報として(図２０ないし図２４を参照)定義できる。

実施例による符号化器に対応する復号器は符号化器の一連の過程を全て同一に行う。

条件によるモールトンコード生成部１９０００としきい値による順序変更有無１９０００はジオメトリコーディング前、ジオメトリコーディング後にそれぞれ或いは両方に適用される。

図２０は実施例によるポイントクラウドビットストリームの構成を示す。

実施例による方法／装置は、図２０のようなポイントクラウドビットストリームを生成して得られる。例えば、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、受信装置１０００４、ポイントクラウドビデオデコーダ１０００６、図２の符号化２０００１、復号２０００３、図４の符号化過程、図１１の復号過程、図１２の送信装置、図１３の受信装置、図１４のＸＲデバイス１４３０、図１９のモールトンコード生成器１９０００、図２５及び図２６の実施例による方法などにより、ジオメトリ情報、特質情報及び／又はそのためのメタデータを含むパラメータを含むポイントクラウドビットストリームがそれぞれ生成(符号化)され、受信(復号)される。

実施例のための情報をシグナリングすることができる。

各略語の意味は以下の通りである。ＳＰＳ：シーケンスパラメータセット(ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ)、ＧＰＳ：ジオメトリパラメータセット(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)、ＡＰＳ：特質パラメータセット(ＡｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ)、ＴＰＳ：タイルパラメータセット(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)、Ｇｅｏｍ：ジオメトリビットストリーム(Ｇｅｏｍｅｔｒｙｂｉｔｓｔｒｅａｍ)＝ジオメトリスライスヘッダ(Ｇｅｏｍｅｔｒｙｓｌｉｃｅｈｅａｄｅｒ)＋ジオメトリスライスデータ(Ｇｅｏｍｅｔｒｙｓｌｉｃｅｄａｔａ)、Ａｔｔｒ：特質ビットストリーム(Ａｔｔｒｉｂｕｔｅｂｉｔｓｔｒｅａｍ)＝特質ブリックヘッダ(Ａｔｔｒｉｂｕｔｅｂｒｉｃｋｈｅａｄｅｒ)＋特質ブリックデータ(Ａｔｔｒｉｂｕｔｅｂｒｉｃｋｄａｔａ)。ここで、ブリックはブロック、スライスなどの用語とも称される。

実施例によるポイントクラウドデータは、図２０のようなビットストリームの形態を有する。ポイントクラウドデータは実施例によるシグナリング情報などを含むＳＰＳ(ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ)、ＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)、ＡＰＳ(ＡｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ)、ＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)を含む。ポイントクラウドデータは一つ又はそれ以上のジオメトリ及び／又は特質を含む。ポイントクラウドデータのジオメトリ及び／又は特質は一つ又はそれ以上のスライス単位(又はブリック／ブロック単位)で区分される。ジオメトリはジオメトリスライスヘッダ及びジオメトリスライスデータの構造を有する。例えば、シグナリング情報を含むＴＰＳはＴｉｌｅ(０)。Ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０、Ｔｉｌｅ(０)_Ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｗｈｄなどを含む。ジオメトリはＧｅｏｍ_Ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ、Ｇｅｏｍ_Ｔｉｌｅ_ｉｄ、Ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ、ＧｅｏｍＢｏｘＯｒｉｇｉｎ、Ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ、Ｇｅｏｍ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２、Ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｔｓなどを含む。

実施例によるシグナリング情報はＳＰＳ、ＧＰＳ、ＡＰＳ、ＴＰＳなどに追加されてシグナリングされる。

実施例によって、シグナリング情報はＴＰＳ又は各スライスごとのジオメトリ(Ｇｅｏｍ)又はスライスごとの特質(Ａｔｔｒ)に追加されてシグナリングされる。

実施例によるポイントクラウドデータの構造はシグナリング情報を含むパラメータセット、ジオメトリ、特質を符号化／復号／データアクセスの観点で効率的な効果を提供する。

実施例によるポイントクラウドデータ送信／受信装置に関連するポイントクラウドデータは、シーケンスパラメータ、ジオメトリパラメータ、特質パラメータ、タイルパラメータ、ジオメトリビットストリーム及び特質ビットストリームのうちのいずれかを含む。

以下、図面を参照しながら、具体的なシグナリング情報のシンタックスについて説明する。参考として、実施例によるシグナリング情報の名称はシグナリング情報が意図する意味／機能範囲内で変形／拡張して理解することができる。シグナリング情報のフィールドは第１シグナリング情報、第２シグナリング情報などに区別して呼ばれる。

上述したように、ポイントクラウドデータ送信装置(例えば、図１、図１１、図１４及び図１で説明したポイントクラウドデータ送信装置)は、符号化されたポイントクラウドデータをビットストリーム形態で送信する。実施例によるビットストリームは一つ又はそれ以上のサブビットストリームを含む。

ポイントクラウドデータ送信装置(例えば、図１、図４、図１２及び図１９などで説明したポイントクラウドデータ送信装置)は、送信チャネルのエラーを考慮して、ポイントクラウドデータの映像を一つ又はそれ以上のパケットに分けてネットワークを介して送信する。実施例によるビットストリームは一つ又はそれ以上のパケット(例えば、ＮＡＬ(ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ)ユニット)を含む。従って、劣悪なネットワーク環境で一部パケットが損失されてもポイントクラウドデータ受信装置は残りのパケットを用いて該当映像を復元することができる。ポイントクラウドデータを一つ又はそれ以上のスライス又は一つ又はそれ以上のタイルに分割して処理することができる。実施例によるタイル及びスライスはポイントクラウドデータのピクチャを分割(ｐａｒｔｉｔｉｏｎｉｎｇ)してポイントクラウド圧縮符号化処理するための領域である。ポイントクラウドデータ送信装置はポイントクラウドデータの分けられた領域ごとの重要度によって各領域に対応するデータを処理して高品質のポイントクラウドコンテンツを提供する。即ち、実施例によるポイントクラウドデータ送信装置は、ユーザに重要な領域に対応するデータをより良好な圧縮効率と適切な遅延(ｌａｔｅｎｃｙ)を有してポイントクラウド圧縮符号化処理することができる。

実施例によるポイントクラウドコンテンツの映像(又はピクチャ)は、ポイントクラウド圧縮符号化のための基本プロセシングユニット単位に分割される。実施例によるポイントクラウド圧縮符号化のための基本プロセシングユニットは、ＣＴＵ(ＣｏｄｉｎｇＴｒｅｅｕｎｉｔ)、ブリック(ｂｒｉｃｋ＝スライス)などを含み、この例示に限られない。

実施例によるスライスは、一つ又はそれ以上の整数個のポイントクラウド圧縮符号化のための基本プロセシングユニットを含む領域であり、直方体形態ではない。実施例によるスライスは、パケットにより送信されるデータを含む。実施例によるタイルは、映像内に矩形状形態に分割された領域であり、一つ又はそれ以上のポイントクラウド圧縮符号化のための基本プロセシングユニットを含む。実施例による一つのスライスは、一つ又はそれ以上のタイルに含まれる。また実施例による一つのタイルは一つ又はそれ以上のスライスに含まれる。

実施例によるビットストリームは、シーケンスレベルのシグナリングのためのＳＰＳ(ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(ＡｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ)、及びタイルレベルのシグナリングのためのＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)を含むシグナリング情報及び一つ又はそれ以上のスライスを含む。

実施例によるＳＰＳはプロファイル、レベルなどのシーケンス全体に関する符号化情報であって、ピクチャ解像度、ビデオフォーマットなどのファイル全体に関する包括的な情報を含む。

実施例による一つのスライス(例えば、ｓｌｉｃｅ０)は、スライスヘッダ及びスライスデータを含む。スライスデータは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。ジオメトリビットストリームはヘッダ(例えば、ジオメトリスライスヘッダ)及びペイロード(例えば、ジオメトリスライスデータ)を含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)、ジオメトリボックスの原点情報(ｇｅｏｍＢｏｘＯｒｉｇｉｎ)、ジオメトリボックススケール(ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ)、ジオメトリノードマックスサイズ(ｇｅｏｍ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２)、ジオメトリポイント数(ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｓ)及びペイロードに含まれたデータに関する情報などを含む。特質ビットストリームはヘッダ(例えば、特質スライスヘッダ又は特質ブリックヘッダ)及びペイロード(例えば、特質スライスデータ又は特質ブリックデータ)を含む。

実施例に関連するパラメータ情報は、シーケンス、ジオメトリ、特質、タイル、スライスなどの様々な領域(ユニット)に伝達され、実施例による受信方法／装置は静的／動的にポイントクラウドデータをアクセスできる効果がある。

実施例を行うために関連情報をシグナリングすることができる。実施例によるシグナリング情報は送信端又は受信端などで使用される。

ジオメトリデータ(Ｇｅｏｍ)：ジオメトリビットストリーム(Ｇｅｏｍｅｔｒｙｂｉｔｓｔｒｅａｍ)＝ジオメトリスライスヘッダ(Ｇｅｏｍｅｔｒｙｓｌｉｃｅｈｅａｄｅｒ)＋ジオメトリスライスデータ(Ｇｅｏｍｅｔｒｙｓｌｉｃｅｄａｔａ)

特質データ(Ａｔｔｒ)：特質ビットストリーム(Ａｔｔｒｉｂｕｔｅｂｉｔｓｔｒｅａｍ)＝特質スライスヘッダ＋特質スライスデータ(Ａｔｔｒｉｂｕｔｅｂｒｉｃｋｄａｔａ)

実施例による方法／装置はポイントクラウドを領域ごとに分けて処理できるように、タイル又はスライスを提供する。領域ごとに分けるとき、それぞれの領域は互いに異なる重要度を有する。

その重要度によって他のフィルタ、他のフィルタユニットを適用できるように提供することにより、複雑度(ｃｏｍｐｌｅｘｉｔｙ)は高いが、結果品質(ｑｕａｌｉｔｙ)が良好なフィルタリング方法を重要な領域に使用できる方案を提供することができる。

領域ごとにポイントクラウドデータを分けるとき、それぞれの領域ごとに異なる隣接ポイント集合生成オプションを設定して、複雑度(ｃｏｍｐｌｅｘｉｔｙ)は低いが結果の信頼度は多少落ちるか、又は逆に複雑度は高いが信頼度が高い選択方案を提供することができる。受信機の処理能力(ｃａｐａｃｉｔｙ)によって異なるように設定できる。

受信機の処理能力(ｃａｐａｃｉｔｙ)によってポイントクラウド全体に複雑なフィルタリング方法を使用する代わりに、領域ごとに(タイルに分けるか、又はスライスに分けられた領域)互いに異なるフィルタリングを適用することによりユーザに重要な領域により良好な画質とシステム上適切な遅延(ｌａｔｅｎｃｙ)を保障することができる。

実施例による方法／装置がポイントクラウドデータをタイルに分ける場合、各タイルごとに異なるフィルタ、異なるフィルタユニットを適用することができる。

実施例による方法／装置がポイントクラウドデータをスライスに分ける場合、各スライスごとに異なるフィルタ、異なるフィルタユニットを適用することができる。

ポイントクラウドがタイルに分けられる場合、各タイルごとにシグナリング情報を伝達することができる。ポイントクラウドがスライスに分けられる場合、各スライスごとにシグナリング情報を伝達することができる。

実施例によるシグナリング情報は様々な位置に選択的又は重複的に含まれる。

実施例によるシーケンスは複数のタイルを有し、タイルは複数のスライスを有し、一つのスライスは一つの八分木を含む。ＳＰＳはシーケンスレベルであり、ＡＰＳもシーケンスレベルである。ＳＰＳはより全般的な(ｇｅｎｅｒａｌ)な情報を含む。ＡＳＰはＡｔｔｒｉｂｕｔｅにもっと固有の(ｓｐｅｃｉｆｉｃ)情報を含む。ＴＰＳはシーケンスをタイルに分けるとき、タイルごとに異なる技法を適用する。ＡＰＳに設定された情報があり、ＴＰＳに設定された情報があれば、ＡＰＳはデフォルト(ｄｅｆａｕｌｔ)することができる。ＴＰＳに設定情報がなければ、デフォルト(ｄｅｆａｕｌｔ)を使用し、ＴＰＳに設定情報があれば、ＴＰＳ情報を実施例による受信方法／装置が用いることができる。特質スライスヘッダ(ＡｔｔｒｉｂｕｔｅＳｌｉｃｅｈｅａｄｅｒ)は各タイルをスライスに分けることができる。即ち、各スライスに関する設定情報である。

図２１ないし２４は図２０のポイントクラウドデータのビットストリームに含まれるシグナリング情報の詳細シンタックスを示す。実施例による送受信装置は実施例による動作を支援するために、以下のようにシグナリング方案を提供する。シグナリング情報の名称はシグナリング情報の意味及び機能の範囲内で理解できる。

実施例によるモールトンコード生成順序の基準及びしきい値情報に関するシグナリング情報をビットストリームにより伝達することができる。モールトンコード生成順序の基準及びしきい値関連動作を行うために、生成基準としきい値に関連するパラメータ情報をシグナリングすることができる。

以下の実施例によるパラメータ情報に基づいて、モールトンコード生成順序による符号化／復号器のシグナリング情報を説明する。

モールトンコード生成基準のしきい値によって符号化／復号器にシグナリング動作を追加することができる。

図２１は実施例によるＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ、ＴＰＳ)を示す。

図２１は図２０に含まれたＴＰＳを示す。

実施例による送信方法／装置はモールトンコード生成関連情報をＴＰＳに追加して送信することができ、実施例による受信方法／装置はＴＰＳに基づいてモールトンコード生成関連情報を得ることができる。

軸条件選択(ａｘｉｓ_ｃｏｎｄｉｔｉｏｎ_ｓｅｌｅｃｔｉｏｎ)：モールトンコード生成のための軸条件選択方法を示す。軸ごと／密度ごと／その他の条件などを示す。例えば、０は軸による順序整列(Ｓ１６０００)、１は密度による順序整列(Ｓ１６０１０)、２はその他の方法の使用を示す。各整数値は様々に変更可能である。

昇順順序フラグ(ａｓｃｅｎｄｉｎｇ_ｏｒｄｅｒ_ｆｌａｇ)：軸条件選択(ａｘｉｓ_ｃｏｎｄｉｔｉｏｎ_ｓｅｌｅｃｔｉｏｎ)で指示された条件による順序が昇順であるか又は降順であるか、整列の順序に関する情報を示す。例えば、０は昇順整列を行うこと、１は降順整列を行うことを示す。各整数値は様々に変更可能である。

軸オーダリングしきい値(ａｘｉｓ_ｏｒｄｅｒｉｎｇ_ｔｈｒｅｓｈｏｌｄ)：モールトンコードに関連して所定の条件によるしきい値を適用して、条件によるモールトンインターリービングを行うか否かに関連する情報を示す。

タイル数(ｎｕｍ_ｔｉｌｅs)：ビットストリームのためにシグナリングされるタイルの数を示す。存在しない場合、この値は０に推論される(ｎｕｍ_ｔｉｌｅｓｓｐｅｃｉｆｉｅｓｔｈｅｎｕｍｂｅｒｏｆｔｉｌｅｓｓｉｇｎａｌｌｅｄｆｏｒｔｈｅｂｉｔｓｔｒｅａｍ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｎｕｍ_ｔｉｌｅｓｉｓｉｎｆｅｒｒｅｄｔｏｂｅ０)。

タイル数のよって、タイル数ごとに以下のタイル関連パラメータ情報がＴＰＳに含まれる。

タイル境界ボックスオフセットＸ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[ｉ])：座標系内のｉ番目のタイルのＸオフセットを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[０]はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘに推論される(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[ｉ] ｉｎｄｉｃａｔｅｓｔｈｅｘｏｆｆｓｅｔｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅｃａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ)。

タイル境界ボックスオフセットＹ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[ｉ])：座標系内のｉ番目のタイルのＹオフセットを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[０]はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙに推論される(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[ｉ] ｉｎｄｉｃａｔｅｓｉｎｄｉｃａｔｅｓｔｈｅｙｏｆｆｓｅｔｏｆｔｈe ｉ－ｔｈｔｉｌｅｉｎｔｈｅｃａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ)。

タイル境界ボックスオフセットＺ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[ｉ])：座標系内のｉ番目のタイルのＺオフセットを示す。存在しない場合、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚに推論される(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[０]の値は(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[ｉ] ｉｎｄｉｃａｔｅｓｉｎｄｉｃａｔｅｓｔｈｅｚｏｆｆｓｅｔｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ)。

タイル境界ボックス倍率(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ[ｉ])：座標系内のｉ番目のタイルの倍率を示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒに推論される(ｉｎｄｉｃａｔｅｓｔｈｅｓｃａｌｅｆａｃｔｏｒｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ)。

タイル境界ボックスサイズ幅(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[ｉ])：座標系内のｉ番目のタイルの幅を示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈに推論される(ｉｎｄｉｃａｔｅｓｔｈｅｗｉｄｔｈｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ)。

タイル境界ボックスサイズ高さ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[ｉ])：座標系内のｉ番目のタイルの高さを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔに推論される(ｉｎｄｉｃａｔｅｓｔｈｅｈｅｉｇｈｔｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ)。

タイル境界ボックスサイズ深さ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[ｉ])：座標系内のｉ番目のタイルの深さを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈに推論される(ｉｎｄｉｃａｔｅｓｔｈｅｄｅｐｔｈｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ)。

図２２は実施例によるＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ、ＧＰＳ)を示す。

図２２は図２０に含まれたＧＰＳを示す。

実施例による送信方法／装置はモールトンコード生成関連情報をＧＰＳに追加して送信し、実施例による受信方法／装置はＧＰＳに基づいてモールトンコード生成関連情報を得られる。

ＧＰＳジオメトリパラメータセットＩＤ(ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：他のシンタックスエレメントによる参照のためのＧＰＳの識別子を提供する。ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は０ないし１５(含み)の範囲を有する(ｐｒｏｖｉｄｅｓａｎｉｄｅｎｔｉｆｉｅｒｆｏｒｔｈｅＧＰＳｆｏｒｒｅｆｅｒｅｎｃｅｂｙｏｔｈｅｒｓｙｎｔａｘｅｌｅｍｅｎｔｓ. Ｔｈｅｖａｌｕｅｏｆｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏ１５、ｉｎｃｌｕｓｉｖｅ)。

ＧＰＳシーケンスパラメータセットＩＤ(ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティグＳＰＳのためのｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は０ないし１５(含み)の範囲を有する(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｌｕｅｏｆｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｆｏｒｔｈｅａｃｔｉｖｅＳＰＳ. Ｔｈｅｖａｌｕｅｏｆｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏ１５、ｉｎｃｌｕｓｉｖｅ)。

ジオメトリコーディングタイプ(ｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅ)：ジオメトリのためのコーディングタイプを示す。ジオメトリコーディングタイプは０又は１である。０は八分木、１はｔｒｉａｎｇｌｅｓｏｕｐ(ｔｒｉｓｏｕｐ)を示す。ジオメトリコーディングタイプの他の値が今後の使用のために予約されることができる(ｉｎｄｉｃａｔｅｓｔｈａｔｔｈｅｃｏｄｉｎｇｔｙｐｅｆｏｒｔｈｅｇｅｏｍｅｔｒｙｉｎＴａｂｌｅ７１Ｔａｂｌｅ７１ｆｏｒｔｈｅｇｉｖｅｎｖａｌｕｅｏｆｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅ. Ｔｈｅｖａｌｕｅｏｆｇｅｏｍｅｔｒｙ _ｃｏｄｉｎｇ_ｔｙｐｅｓｈａｌｌｂｅｅｑｕａｌｔｏ０ｏｒ１ｉｎｂｉｔｓｔｒｅａｍｓｃｏｎｆｏｒｍｉｎｇｔｏｔｈｉｓｖｅｒｓｉｏｎｏｆｔｈｉｓＳｐｅｃｉｆｉｃａｔｉｏｎ. ｏｔｈｅｒｖａｌｕｅｓｏｆｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅａｒｅｒｅｓｅｒｖｅｄｆｏｒｆｕｔｕｒｅｕｓｅｂｙＩＳＯ／ＩＥＣ. ＤｅｃｏｄｅｒｓｃｏｎｆｏｒｍｉｎｇｔｏｔｈｉｓｖｅｒｓｉｏｎｏｆｔｈｉｓＳｐｅｃｉｆｉｃａｔｉｏｎｓｈａｌｌｉｇｎｏｒｅｒｅｓｅｒｖｅｄｖａｌｕｅｓｏｆＧｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅ. ０＝Ｏｃｔｒｅｅ、１＝ＴｒｉａｎｇｌｅＳｏｕｐ(Ｔｒｉｓｏｕｐ))。

ＧＰＳボックス存在フラグ(ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：現在ＧＰＳを参照する、追加境界ボックス情報がジオメトリヘッダ内に提供されることを示す。ｇｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇが０であると、ジオメトリヘッダ内の追加境界ボックス情報がシグナリングされないことを示す(ｅｑｕａｌｔｏ１ｓｐｅｃｉｆｉｅｓａｎａｄｄｉｔｉｏｎａｌｂｏｕｎｄｉｎｇｂｏｘｉｎｆｏｒｍａｔｉｏｎｉｓｐｒｏｖｉｄｅｄｉｎａｇｅｏｍｅｔｒｙｈｅａｄｅｒｔｈａｔｒｅｆｅｒｅｎｃｅｓｔｈｅｃｕｒｒｅｎｔＧＰＳ. ｇｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇｅｑｕａｌｔｏ０ｓｐｅｃｉｆｉｅｓｔｈａｔａｄｄｉｔｉｏｎａｌｂｏｕｎｄｉｎｇｂｏｘｉｎｆｏｒｍａｔｉｏｎｉｓｎｏｔｓｉｇｎａｌｌｅｄｉｎｔｈｅｇｅｏｍｅｔｒｙｈｅａｄｅｒ)。

ユニークジオメトリポイントフラグ(ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇ)：この値が１であると、全ての出力ポイントがユニークなポジションを有することを示す。この値が０であると、出力ポイントが同じ位置を有することを示す(ｅｑｕａｌｔｏ１ｉｎｄｉｃａｔｅｓｔｈａｔａｌｌｏｕｔｐｕｔｐｏｉｎｔＳｈａｖｅｕｎｉｑｕｅｐｏｓｉｔｉｏｎｓ. ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇｅｑｕａｌｔｏ０ｉｎｄｉｃａｔｅｓｔｈａｔｔｈｅｏｕｔｐｕｔｐｏｉｎｔｓｍａｙｈａｖｅｓａｍｅｐｏｓｉｔｉｏｎｓ)。

隣接コンテキスト制限フラグ(ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇ)：この値が０であると、八分木占有コーディングが６つの隣接親ノード(ｐａｒｅｎｔｎｏｄｅ)から決定されたコンテキストを使用することを示す。この値が１であると、八分木コーディングがただ兄弟ノード(ｓｉｂｌｉｎｇｎｏｄｅ)から決定されたコンテキストを使用することを示す(ｅｑｕａｌｔｏ０ｉｎｄｉｃａｔｅｓｔｈａｔｏｃｔｒｅｅｏｃｃｕｐａｎｃｙｃｏｄｉｎｇｕｓｅｓｃｏｎｔｅｘｔｓｄｅｔｅｒｍｉｎｅｄｆｒｏｍｓｉｘｎｅｉｇｈｂｏｕｒｉｎｇｐａｒｅｎｔｎｏｄｅｓ. ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇｅｑｕａｌｔｏ１ｉｎｄｉｃａｔｅｓｔｈａｔｏｃｔｒｅｅｃｏｄｉｎｇｕｓｅｓｃｏｎｔｅｘｔｓｄｅｔｅｒｍｉｎｅｄｆｒｏｍｓｉｂｌｉｎｇｎｏｄｅｓｏｎｌｙ)。

ダイレクトコーディングモード使用可能フラグ(ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が０であると、八分木コーディングが推論されたダイレクトコーディングモードを使用することを示す。この値が１であると、八分木コーディングが隣接兄弟ノードから決定された多重コンテキストを使用することを示す(ｅｑｕａｌｔｏ０ｉｎｄｉｃａｔｅｓｔｈｅｏｃｔｒｅｅｃｏｄｉｎｇｕｓｅｓｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ. ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇｅｑｕａｌｔｏ１ｉｎｄｉｃａｔｅｓｔｈｅｏｃｔｒｅｅｃｏｄｉｎｇｕｓｅｓｍｕｌｔｉｐｌｅｃｏｎｔｅｘｔｄｅｔｅｒｍｉｎｅｄｆｒｏｍｓｉｂｌｉｎｇｎｅｉｇｈｂｏｕｒｉｎｇｎｏｄｅｓ)。

ビット単位占有コーディングフラグ(ｂｉｔｗｉｓｅ_ｏｃｃｕｐａｎｃｙ_ｃｏｄｉｎｇ_ｆｌａｇ)：占有コーディングの存在有無を示す。この値が１であると、ジオメトリノード占有が占有マップのビット単位のコンテキストを使用して符号化されることを示す。この値が０であると、辞書符号化された占有バイトを使用して符号化されることを示す(ｅｑｕａｌｔｏ１ｉｎｄｉｃａｔｅｓｔｈａｔｇｅｏｍｅｔｒｙｎｏｄｅｏｃｃｕｐａｎｃｙｉｓｅｎｃｏｄｅｄｕｓｉｎｇｂｉｔ－ｗｉｓｅｃｏｎｔｅｘｔｕａｌｉｓａｔｉｏｎｏｆｔｈｅｓｙｎｔａｘｅｌｅｍｅｎｔｏｃｕｐａｎｃｙ_ｍａｐ. ｂｉｔｗｉｓｅ_ｏｃｃｕｐａｎｃｙ_ｃｏｄｉｎｇ_ｆｌａｇｅｑｕａｌｔｏ０ｉｎｄｉｃａｔｅｓｔｈａｔｇｅｏｍｅｔｒｙｎｏｄｅｏｃｃｕｐａｎｃｙｉｓｅｎｃｏｄｅｄｕｓｉｎｇｔｈｅｄｉｃｔｉｏｎａｒｙｅｎｃｏｄｅｄｓｙｎｔａｘｅｌｅｍｅｎｔｏｃｃｙｐａｎｃｙ_ｂｙｔｅ)。

子隣接使用可能フラグ(ｃｈｉｌｄ_ｎｅｉｇｈｂｏｕｒｓ_ｅｎａｂｌｅｄ_ｆｌａｇ)：隣接子ノードが使用可能であるか否かを示す。

隣接子コンテキスト化使用可能フラグ(ａｄｊａｃｅｎｔ_ｃｈｉｌｄ_ｃｏｎｔｅｘｔｕａｌｉｓａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、隣接八分木ノードの子がビット単位の占有コンテキスト化のために使用されることを示す。この値が０であると、隣接八分木ノードの子が占有コンテキスト化のために使用されないことを示す(ｅｑｕａｌｔｏ１ｉｎｄｉｃａｔｅｓｔｈａｔｔｈｅａｄｊａｃｅｎｔｃｈｉｌｄｒｅｎｏｆｎｅｉｇｈｂｏｕｒｉｎｇｏｃｔｒｅｅｎｏｄｅｓａｒｅｕｓｅｄｆｏｒｂｉｔ－ｗｉｓｅｏｃｃｕｐａｎｃｙｃｏｎｔｅｘｔｕａｌｉｚａｔｉｏｎ. Ａｄｊａｃｅｎｔ_ｃｈｉｌｄ_ｃｏｎｔｅｘｔｕａｌｉｚａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇｅｑｕａl ｔｏ０ｉｎｄｉｃａｔｅｓｔｈａｔｔｈｅｃｈｉｌｄｒｅｎｏｆｎｅｉｇｈｂｏｕｒｉｎｇｏｃｔｒｅｅｎｏｄｅｓａｒｅｉｓｎｏｔｕｓｅｄｆｏｒｔｈｅｏｃｃｕｐａｎｃｙｃｏｎｔｅｘｔｕａｌｉｚａｔｉｏｎ)。

ジオメトリ占有ｃｔｘ減衰因子(ｇｅｏｍ_ｏｃｃｕｐａｎｃｙ_ｃｔｘ_ｒｅｄｕｃｔｉｏｎ_ｆａｃｔｏｒ)：占有に対する減衰因子(ｒｅｄｕｃｔｉｏｎｆａｃｔｏｒ)を示す。

隣接境界(ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙ)：復号プロセスに使用される変数ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙの値を示す。変数ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙは２ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙと同一であってもよい(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｌｕｅｏｆｔｈｅｖａｒｉａｂｌｅＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙｔｈａｔｉｓｕｓｅｄｉｎｔｈｅｄｅｃｏｄｉｎｇｐｒｏｃｅｓｓａｓｆｏｌｌｏｗｓ：ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙ＝２ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙ)。

隣接コンテキスト制限フラグ(ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇ)が１であると、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋ（ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙ)は１３にセットされる。ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇが０であると、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋ(ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙ)は(１＜＜ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙ)にセットされる(Ｗｈｅｎｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇｉｓｅｑｕａｌｔｏ１、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋｉｓｓｅｔｅｑｕａｌｔｏ１３. Ｏｔｈｅｒｗｉｓｅ、ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇｅｑｕａｌｔｏ０、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋｉｓｓｅｔｅｑｕａｌｔｏ (１ << ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙ))。

イントラ予測最大ノードサイズ(ｌｏｇ２_ｉｎｔｒａ_ｐｒｅｄ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ)：占有イントラ予測のための八分木ノードサイズを示す。

ｔｒｉｓｏｕｐノードサイズ(ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ)：三角ノードのサイズのような変数ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅを示す。ｔｒｉｓｏｕｐノードサイズは２ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅと同一であってもよい(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｒｉａｂｌｅＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅａｓｔｈｅｓｉｚｅｏｆｔｈｅｔｒｉａｎｇｌｅｎｏｄｅｓａｓｆｏｌｌｏｗｓ. ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅ＝２ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ)。ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅの値は０より大きいか又は等しい。ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅが０であると、ジオメトリビットストリームは八分木コーディングシンタックスのみを含む(Ｔｈｅｖａｌｕｅｏｆｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅｓｈａｌｌｂｅｅｑｕａｌｔｏｏｒｇｒｅａｔｅｒｔｈａｎ０. Ｗｈｅｎｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅｉｓｅｑｕａｌｔｏ０、ｔｈｅＧｅｏｍｅｔｒｙｂｉｔｓｔｒｅａｍｉｎｃｌｕｄｅｓｏｎｌｙｔｈｅｏｃｔｒｅｅｃｏｄｉｎｇｓｙｎｔａｘ)。

ｔｒｉｓｏｕｐ深さ(ｔｒｉｓｏｕｐ_ｄｅｐｔｈ)：ポイント座標の各コンポーネントを示すために使用されるビット数を示す。ｔｒｉｓｏｕｐ_ｄｅｐｔｈの値は２ないし２１の範囲を有する(Ｓｐｅｃｉｆｉｅｓｔｈｅｎｕｍｂｅｒｏｆｂｉｔｓｕｓｅｄｔｏｒｅｐｒｅｓｅｎｔｅａｃｈｃｏｍｐｏｎｅｎｔｏｆａｐｏｉｎｔｃｏｏｒｄｉｎａｔｅ. Ｔｈｅｖａｌｕｅｏｆｔｒｉｓｏｕｐ_ｄｅｐｔｈｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ２ｔｏ２１. [Ｅｄ(ｄｆ)：２１ｓｈｏｕｌｄｐｅｒｈａｐｓｂｅａｌｅｖｅｌｌｉｍｉｔ])。

ｔｒｉｓｏｕｐ三角レベル(ｔｒｉｓｏｕｐ_ｔｒｉａｎｇｌｅ_ｌｅｖｅｌ)：八分木が枝打ちされるレベルを示す。ｔｒｉｓｏｕｐ_ｔｒｉａｎｇｌｅ_ｌｅｖｅｌは１ないしｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１の範囲を有する(Ｓｐｅｃｉｆｉｅｓｔｈｅｌｅｖｅｌａｔｗｈｉｃｈｔｈｅｏｃｔｒｅｅｉｓｐｒｕｎｅｄ. Ｔｈｅｖａｌｕｅｏｆｔｒｉｓｏｕｐ_ｔｒｉａｎｇｌｅ_ｌｅｖｅｌｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ１ｔｏｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１)。

ＧＰＳ拡張存在フラグ(ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、ＧＰＳシンタックス構造内のｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が存在することを示す。この値が０であると、このシンタックス構造が存在しないことを示す。存在しない場合、ｇｐｓ_ ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇの値は０に推論される(ｅｑｕａｌｔｏ１ｓｐｅｃｉｆｉｅｓｔｈａｔｔｈｅｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａｓｙｎｔａｘｓｔｒｕｃｔｕｒｅｉｓｐｒｅｓｅｎｔｉｎｔｈｅＧＰＳＲＢＳＰｓｙｎｔａｘｓｔｒｕｃｔｕｒｅ. ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇｅｑｕａｌｔｏ０ｓｐｅｃｉｆｉｅｓｔｈａｔｔｈｉｓｓｙｎｔａｘｓｔｒｕｃｔｕｒｅｉｓｎｏｔｐｒｅｓｅｎｔ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｇｐｓ_ ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇｉｓｉｎｆｅｒｒｅｄｔｏｂｅｅｑｕａｌｔｏ０)。

ＧＳＰ拡張データフラグ(ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ)：拡張データの存在有無を示す(ｍａｙｈａｖｅａｎｙｖａｌｕｅ. ＩｔｓｐｒｅｓｅｎｃｅａｎｄｖａｌｕｅｄｏｎｏｔａｆｆｅｃｔｄｅｃｏｄｅｒｃｏｎｆｏｒｍａｎｃｅｔｏｐｒｏｆｉｌｅｓｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ. ＤｅｃｏｄｅｒｓｃｏｎｆｏｒｍｉｎｇｔｏａｐｒｏｆｉｌｅｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ)。

図２３は実施例によるＡＰＳ(ＡｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ、ＡＰＳ)を示す。

図２３は図２０に含まれたＡＰＳを示す。

実施例による送信方法／装置はモールトンコード生成関連情報をＡＰＳに追加して送信することができ、実施例による受信方法／装置はＡＰＳに基づいてモールトンコード生成関連情報を得ることができる。

ＡＰＳ特質パラメータセットＩＤ(ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：他のシンタックスエレメントによる参照に対するＡＰＳに関する識別子を示す。ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは０ないし１５の値を有する(ｐｒｏｖｉｄｅｓａｎｉｄｅｎｔｉｆｉｅｒｆｏｒｔｈｅＡＰＳｆｏｒｒｅｆｅｒｅｎｃｅｂｙｏｔｈｅｒｓｙｎｔａｘｅｌｅｍｅｎｔｓ. Ｔｈｅｖａｌｕｅｏｆａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏ１５、ｉｎｃｌｕｓｉｖｅ)。

ＡＰＳシーケンスパラメータセットＩＤ(ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティグＳＰＳ(ａｃｔｉｖｅＳＰＳ)に対するＳＰＳシーケンスパラメータセットＩＤ(ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)の値を示す。ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは０ないし１５(含み)の範囲を有する(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｌｕｅｏｆｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｆｏｒｔｈｅａｃｔｉｖｅＳＰＳ. Ｔｈｅｖａｌｕｅｏｆａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏ１５、ｉｎｃｌｕｓｉｖｅ)。

特質コーディングタイプ(ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅ)：特質コーディングタイプを示す。特質コーディングタイプは０、１、２などである。０は予測ウエートリフティング、１は領域適応階層的変換(ＲｅｇｉｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉｃａｌＴｒａｎｓｆｅｒｍ(ＲＡＨＴ))、２は固定ウエートリフティングを示す。各整数値は様々に変更可能である(ｉｎｄｉｃａｔｅｓｔｈａｔｔｈｅｃｏｄｉｎｇｔｙｐｅｆｏｒｔｈｅＡｔｔｒｉｂｕｔｅｉｎＴａｂｌｅ７２Ｔａｂｌｅ７２ｆｏｒｔｈｅｇｉｖｅｎｖａｌｕｅｏｆＡｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅ. ＴｈｅｖａｌｕｅｏｆＡｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅｓｈａｌｌｂｅｅｑｕａｌｔｏ０、１、ｏｒ２ｉｎｂｉｔｓｔｒｅａｍｓｃｏｎｆｏｒｍｉｎｇｔｏｔｈｉｓｖｅｒｓｉｏｎｏｆｔｈｉｓＳｐｅｃｉｆｉｃａｔｉｏｎ. ＯｔｈｅｒｖａｌｕｅｓｏｆＡｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅａｒｅｒｅｓｅｒｖｅｄｆｏｒｆｕｔｕｒｅｕｓｅｂｙＩＳＯ／ＩＥＣ. ＤｅｃｏｄｅｒｓｃｏｎｆｏｒｍｉｎｇｔｏｔｈｉｓｖｅｒｓｉｏｎｏｆｔｈｉｓＳｐｅｃｉｆｉｃａｔｉｏｎｓｈａｌｌｉｇｎｏｒｅｒｅｓｅｒｖｅｄｖａｌｕｅＳｏｆＡｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅ. ０＝Ｐｒｅｄｉｃｔｉｎｇｗｅｉｇｈｔｌｉｆｔｉｎｇ、１＝ＲｅｇｉｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉｃａｌＴｒａｎｓｆｅｒｍ(ＲＡＨＴ)、２＝Ｆｉｘｅｄｗｅｉｇｈｔｌｉｆｔｉｎｇ)。

最隣接の予測数(ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓ)：予測のために使用される最隣接の最大個数を示す。ｎｕｍｂｅｒＯｆＮｅａｒｅｓｔＮｅｉｇｈｂｏｕｒｓＩｎＰｒｅｄｉｃｔｉｏｎの値は１ないしｘｘの範囲を有する(Ｓｐｅｃｉｆｉｅｓｔｈｅｍａｘｉｍｕｍｎｕｍｂｅｒｏｆｎｅａｒｅｓｔｎｅｉｇｈｂｏｕｒｓｔｏｂｅｕｓｅｄｆｏｒｐｒｅｄｉｃｔｉｏｎ. ＴｈｅｖａｌｕｅｏｆｎｕｍｂｅｒＯｆＮｅａｒｅｓｔＮｅｉｇｈｂｏｕｒｓＩｎＰｒｅｄｉｃｔｉｏｎｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ１ｔｏｘｘ)。

ダイレクト予測機の最大個数(ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓ)：ダイレクト予測のために使用される予測機の最大個数を示す。ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓの値は０ないしｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓの範囲を有する。変数ＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓは以下のように復号プロセス内で使用される。ＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓはｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｏｔｓ＋１である(Ｓｐｅｃｉｆｉｅｓｔｈｅｍａｘｉｍｕｍｎｕｍｂｅｒｏｆｐｒｅｄｉｃｔｏｒｔｏｂｅｕｓｅｄｆｏｒｄｉｒｅｃｔｐｒｅｄｉｃｔｉｏｎ. Ｔｈｅｖａｌｕｅｏｆｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓｓｈａｌｌｂｅｒａｎｇｅｏｆ０ｔｏｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓ. ＴｈｅｖａｌｕｅｏｆｔｈｅｖａｒｉａｂｌｅＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓｔｈａｔｉｓｕｓｅｄｉｎｔｈｅｄｅｃｏｄｉｎｇｐｒｏｃｅｓｓａｓｆｏｌｌｏｗｓ：ＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓ＝ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｏｔｓ＋１)。

リフト探索範囲(ｌｉｆｔｉｎｇ_ｓｅａｒｃｈ_ｒａｎｇｅ)：リフトのための探索範囲を示す(Ｓｐｅｃｉｆｉｅｓｓｅａｒｃｈｒａｎｇｅｆｏｒｔｈｅｌｉｆｔｉｎｇ)。

リフト量子化ステップサイズ(ｌｉｆｔｉｎｇ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅ)：特質の１^stコンポーネントの量子化ステップサイズを示す。ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅの値は１ないしｘｘの範囲を有する(Ｓｐｅｃｉｆｉｅｓｔｈｅｑｕａｎｔｉｚａｔｉｏｎｓｔｅｐｓｉｚｅｆｏｒｔｈｅ１ｓｔｃｏｍｐｏｎｅｎｔｏｆｔｈｅＡｔｔｒｉｂｕｔｅ. Ｔｈｅｖａｌｕｅｏｆｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ１ｔｏｘｘ)。

リフト量子化ステップサイズクロマ(ｌｉｆｔｉｎｇ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅ_ｃｈｒｏｍａ)：特質がカラーであるとき、特質のクロマコンポーネントのための量子化ステップサイズを示す。ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅ_ｃｈｒｏｍａの値は１ないしｘｘの範囲を有する(ＳｐｅｃｉｆｉｅｓｔｈｅｑｕａｎｔｉｚａｔｉｏｎｓｔｅｐｓｉｚｅｆｏｒｔｈｅｃｈｒｏｍａｃｏｍｐｏｎｅｎｔｏｆｔｈｅＡｔｔｒｉｂｕｔｅｗｈｅｎｔｈｅＡｔｔｒｉｂｕｔｅｉｓｃｏｌｏｕｒ. Ｔｈｅｖａｌｕｅｏｆｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅ_ｃｈｒｏｍａｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ１ｔｏｘｘ)。

ＬＯＤ２分木有効フラグ(ｌｏｄ_ｂｉｎａｒｙ_ｔｒｅｅ_ｅｎａｂｌｅｄ_ｆｌａｇ)：ログ生成に対する２分木が有効であるか否かを示す(Ｓｐｅｃｉｆｉｅｓｗｈｅｔｈｅｒｂｉｎａｒｙｔｒｅｅｉｓｅｎａｂｌｅｏｒｎｏｔｆｏｒｔｈｅｌｏｇｇｅｎｅｒａｔｉｏｎ)。

ＬＯＤ数(ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１)：特質コーディングのためのＬＯＤの数を示す。ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１の値は０ないしｘｘの範囲を有する(ＳｐｅｃｉｆｉｅｓｔｈｅｎｕｍｂｅｒｏｆｌｅｖｅｌＳｏｆｄｅｔａｉｌｆｏｒｔｈｅＡｔｔｒｉｂｕｔｅｃｏｄｉｎｇ. Ｔｈｅｖａｌｕｅｏｆｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１ｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏｘｘ)。

サンプリング距離二乗[インデックス](ｓａｍｐｌｉｎｇ_ｄｉｓｔａｎｃｅ_ｓｑｕａｒｅｄ[ｉｄｘ])：インデックス(ｉｄｘ)に対するサンプリング距離の二乗を示す。ｓａｍｐｌｉｎｇ_ｄｉｓｔａｎｃｅ_ｓｑｕａｒｅｄ[]の値は０ないしｘｘのは範囲を有する(Ｓｐｅｃｉｆｉｅｓｔｈｅｓｑｕａｒｅｏｆｔｈｅｓａｍｐｌｉｎｇｄｉｓｔａｎｃｅｆｏｒｉｄｘ. Ｔｈｅｖａｌｕｅｏｆｓａｍｐｌｉｎｇ_ｄｉｓｔａｎｃｅ_ｓｑｕａｒｅｄ[] ｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏｘｘ)。

適応予測しきい値(ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄ)：予測のしきい値を示す(Ｓｐｅｃｉｆｉｅｓｔｈｅｔｈｒｅｓｈｏｌｄｏｆｐｒｅｄｉｃｔｉｏｎ).

ＲＡＨＴ深さ(ｒａｈｔ_ｄｅｐｔｈ)：ＲＡＨＴのためのＬＯＤの数を示す。ｄｅｐｔｈＲＡＨＴの値は１ないしｘｘの範囲を有する(ＳｐｅｃｉｆｉｅｓｔｈｅｎｕｍｂｅｒｏｆｌｅｖｅｌＳｏｆｄｅｔａｉｌｆｏｒＲＡＨＴ. ＴｈｅｖａｌｕｅｏｆｄｅｐｔｈＲＡＨＴｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ１ｔｏｘｘ)。

ＲＡＨＴバイナリレベルしきい値(ｒａｈｔ_ｂｉｎａｒｙｌｅｖｅｌ_ｔｈｒｅｓｈｏｌｄ)：ＲＡＨＴ係数を切り出すためのＬＯＤを示す。ｂｉｎａｒｙＬｅｖｅｌＴｈｒｅｓｈｏｌｄＲＡＨＴの値は０ないしｘｘの範囲を有する(ＳｐｅｃｉｆｉｅｓｔｈｅｌｅｖｅｌＳｏｆｄｅｔａｉｌｔｏｃｕｔｏｕｔｔｈｅＲＡＨＴｃｏｅｆｆｉｃｉｅｎｔ. ＴｈｅｖａｌｕｅｏｆｂｉｎａｒｙＬｅｖｅｌＴｈｒｅｓｈｏｌｄＲＡＨＴｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏｘｘ)。

ＲＡＨＴ量子化ステップサイズ(ｒａｈｔ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅ)：特質の１^stコンポーネントのための量子化ステップサイズを示す。ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅの値は１ないしｘｘの範囲を有する(Ｓｐｅｃｉｆｉｅｓｔｈｅｑｕａｎｔｉｚａｔｉｏｎｓｔｅｐｓｉｚｅｆｏｒｔｈｅ１ｓｔｃｏｍｐｏｎｅｎｔｏｆｔｈｅＡｔｔｒｉｂｕｔｅ. Ｔｈｅｖａｌｕｅｏｆｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ１ｔｏｘｘ)。

ＡＰＳ拡張存在フラグ(ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、ＡＰＳシンタックス構造内のａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が存在することを示す。この値が０であると、このシンタックス構造が存在しないことを示す。存在しない場合、ａｐｓ_ ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇの値は０に推論される(ｅｑｕａｌｔｏ１ｓｐｅｃｉｆｉｅＳｔｈａｔｔｈｅａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａｓｙｎｔａｘｓｔｒｕｃｔｕｒｅｉｓｐｒｅｓｅｎｔｉｎｔｈｅＡＰＳＲＢＳＰｓｙｎｔａｘｓｔｒｕｃｔｕｒｅ. ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇｅｑｕａｌｔｏ０ｓｐｅｃｉｆｉｅｓｔｈａｔｔｈｉｓｓｙｎｔａｘｓｔｒｕｃｔｕｒｅｉｓｎｏｔｐｒｅｓｅｎｔ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆａｐｓ_ ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇｉｓｉｎｆｅｒｒｅｄｔｏｂｅｅｑｕａｌｔｏ０)。

ＡＰＳ拡張データフラグ(ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ)：ＡＰＳ拡張データの存在有無を示す(ｍａｙｈａｖｅａｎｙｖａｌｕｅ. ＩｔｓｐｒｅｓｅｎｃｅａｎｄｖａｌｕｅｄｏｎｏｔａｆｆｅｃｔｄｅｃｏｄｅｒｃｏｎｆｏｒｍａｎｃｅｔｏｐｒｏｆｉｌｅｓｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ. ＤｅｃｏｄｅｒｓｃｏｎｆｏｒｍｉｎｇｔｏａｐｒｏｆｉｌｅｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ)。

図２４は実施例によるジオメトリスライスヘッダ(ＧｅｏｍｅｔｒｙＳｌｉｃｅｈｅａｄｅｒ、ＧＳＨ)を示す。

実施例による送信方法／装置はモールトンコード生成関連情報をＧＳＨに追加して送信することができ、実施例による受信方法／装置はＧＳＨに基づいてモールトンコード生成関連情報を得ることができる。

昇順順序フラグ(ａｓｃｅｎｄｉｎｇ_ｏｒｄｅｒ_ｆｌａｇ)：軸条件選択(ａｘｉｓ_ｃｏｎｄｉｔｉｏｎ_ｓｅｌｅｃｔｉｏｎ)で指示された条件による順序が昇順であるか又は降順であるか、整列順序に関する情報を示す。例えば、０は昇順整列を行うこと、１は降順整列を行うことを示す。各整数値は様々に変更可能である。

軸オーダリングしきい値(ａｘｉｓ_ｏｒｄｅｒｉｎｇ_ｔｈｒｅｓｈｏｌｄ)：モールトンコード関連して所定の条件によるしきい値を適用して、条件によるモールトンインターリービングを行うか否かに関連する情報を示す。

ＧＳＨジオメトリパラメータセットＩＤ(ｇｓｈ_Ｇｅｏｍｅｔｒｙ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティグＧＰＳのｇｐｓ_Ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。

ＧＳＨタイルＩＤ(ｇｓｈ_Ｔｉｌｅ_ｉｄ)：タイルのＩＤを示す。

ＧＳＨスライスＩＤ(ｇｓｈ_ｓｌｉｃｅ_ｉｄ)：スライスのＩＤを示す。

ＧＰＳボックス存在フラグ(ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇ)の値によって、ＧＳＨ内のボックスに関連する以下のパラメータがジオメトリスライスヘッダ内に含まれる。

ＧＳＨボックスログスケール(ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ)：スケール値を示す。スライス境界ボックスのオリジンの倍率を示す。存在しない場合、ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅはｇｐｓ_ｇｓ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅに推論される。

ＧＳＨボックスオリジンＸ(ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｘ)：座標系内のソース境界ボックスのｘ値を示す。

ＧＳＨボックスオリジンＹ(ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｙ)：座標系内のソース境界ボックスのｙ値を示す。

ＧＳＨボックスオリジンＺ(ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｚ)：座標系内のソース境界ボックスのｚ値を示す。

ＧＳＨログノード最大サイズ(ｇｓｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅ)：復号プレオセスで使用される変数ＭａｘＮｏｄｅＳｉｚｅの値を示す。最大のノードサイズ(ＭａｘＮｏｄｅＳｉｚｅ)は２(ｇｂｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅ)と同一であってもよい。

ＧＳＨポイントの数(ｇｂｈ_ｐｏｉｎｔｓ_ｎｕｍｂｅｒ)：スライス内の符号化されたポイントの数を示す。

図２５は実施例によるポイントクラウドデータ送信方法を示す。

Ｓ２５０００、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階を含む。実施例による符号化動作は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、図２の獲得２００００、符号化２０００１、図４のポジションからジオメトリビットストリーム符号化、特質から特質ビットストリーム符号化、図１２の送信装置のポイントの位置値及び／又はポイントの属性値の符号化、図１４のＸＲデバイス１４３０、図１５ないし図１９によるモールトンコード生成及びモールトンコードに基づくポイントクラウドデータの符号化、図２０ないし図２４のビットストリームの生成などの動作を含む。

Ｓ２５０１０、実施例によるポイントクラウドデータ送信方法はさらに、ポイントクラウドデータを含むビットストリームを送信する段階を含む。実施例による送信動作は、図１の送信機１０００３、図２の送信２０００２、図１２の送信処理部１２０１２、図１４のＸＲデバイス１４３０、図２０ないし図２４のビットストリームの送信などの動作を含む。

図２６は実施例によるポイントクラウドデータ受信方法を示す。

Ｓ２６０００、実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信する段階を含む。実施例による受信動作は、図１の受信装置１０００４、図２の送信２０００２による受信、図１３の受信部１３０００及び受信処理部１３００１、図１４のＸＲデバイス１４３０の受信、図２０ないし図２４のビットストリームの受信などの動作を含む。

Ｓ２６０１０、実施例によるポイントクラウドデータ受信方法はさらに、ポイントクラウドデータを復号する段階を含む。実施例による復号動作は、図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１０及び図１１のジオメトリビットストリーム及び／又は特質ビットストリームから位置(ｐｏｓｉｔｉｏｎ)及び／又は特質の復号、図１３の受信装置のジオメトリビットストリーム及び特質ビットストリームの復号及びポイントクラウドデータのレンダリング、図１４のＸＲデバイス１４３０の復号、図１５ないし図１９によるモールトンコード生成及びモールトンコードに基づくポイントクラウドデータの復号、図２０ないし図２４のビットストリームのパース／復号などの動作を含む。

実施例による方法／装置は、適応型モールトンコード生成方法及びモールトンコード順序を変更できる基準及びそれに対するしきい値に関連する動作を提供する。条件によるモールトンコード生成を異なるようにする動作において、実施例による条件は軸ごと／密度ごとによる昇順／降順などの条件を含む。コンテンツの特性、シーケンス／スライス／タイルごと、ジオメトリ、属性、ジオメトリと属性によって条件を異なるように適用する。

実施例による方法／装置は、距離基盤／属性基盤の隣接ノードの探索時、ビットストリームのサイズを減らして画質を向上させる効果を提供する。またこれに関連するシグナリングにより符号化／復号の過程で同じ条件による順序としきい値によりモールトンコードを生成する。モールトンコードに基づいて、エンコーダ／送信装置はポイントクラウドデータを効率的に圧縮する。モールトンコードに基づいて、デコーダ／受信装置はポイントクラウドデータを効率的に復元してレンダリングする。

実施例によるポイントクラウドデータ送／受信方法／装置及び／又はＰＣＣ符号化器／復号器は、空間上においてポイントクラウドデータのポイント間のユークリッド距離が同一であても、モールトンコード上では差がある問題を解決する。

また、軸によるｘｙｚ軸の順序を異なるようにしてコンテンツ単位、タイル単位、スライス単位、ジオメトリ値単位、属性値単位で符号化及び復号を行える効果を提供する。さらに、しきい値によって軸変換の変更有無を提供することができる。従って、実施例はコンテンツ、タイル、スライス、範囲、属性値単位で適応型空間を探索し、近い隣接ノードの探索のための適応型モールトンコードのマッピング条件を提供することができる。

ポイントクラウドデータのタイプ及びＰＣＣデータ符号化プロセス、例えば、モールトンコード生成処理などによるポイントクラウド圧縮の所要時間及び複雑度を下げすことができる。また、圧縮性能を向上させるポイントクラウド送／受信方法／装置を提供することができる。

実施例による動作は隣接ノード探索の遅延を下げ、正確度を増加させる。また、ポイントクラウドデータを含むビットストリームのサイズの負担を減らすことができる。

実施例による方法／装置は様々なポイントクラウドデータの特性を反映して、モールトンコードのビットインターリービングの順序を変更することができる。

この明細においてＡ／ＢはＡ及び／又はＢと解釈できる。

実施例は方法及び／又は装置の観点で説明しており、方法の説明及び装置の説明は互いに補完して適用できる。

説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。

実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。

この明細書において、“／”と“,”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。

第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。

実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「~である場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。

また、この明細で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細で説明した様々な動作を制御する。プロセッサはコントローラなどとも称される。実施例の動作はファームウェア、ソフトウェア及び／又はこれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はこれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
〔発明を実施するための形態〕

上述したように、実施例を実施するための最善の形態について関連内容を説明する。

上述したように、実施例はポイントクラウドデータ送受信装置及びシステムに全体又は部分的に適用することができる。

当業者であれば、実施例の範囲内で実施例を様々に変更及び変形することができる。

実施例は変更／変形を含み、変更／変形は請求項及びそれと同一のものの範囲内である。

Claims

ポイントクラウドデータを符号化する段階と、
前記ポイントクラウドデータを含むビットストリームを送信する段階と、を含む、ポイントクラウドデータ送信方法。
前記符号化する段階は、
前記ポイントクラウドデータに対するモールトンコードを生成する段階を含む、請求項１に記載のポイントクラウドデータ送信方法。
前記モールトンコードを生成する段階は、
前記ポイントクラウドデータのジオメトリデータに対する各軸に基づいてモールトンコードの順序を生成する段階を含む、請求項２に記載のポイントクラウドデータ送信方法。
前記ジオメトリデータは各軸に対する座標値を含み、
前記モールトンコードは各軸に対する座標値の２進ビットに基づいて生成され、
前記モールトンコードの前記２進ビットは各軸の長さに基づいて整列される、請求項３に記載のポイントクラウドデータ送信方法。
前記モールトンコードを生成する段階は、
前記ポイントクラウドデータのジオメトリデータに対する密度に基づいてモールトンコードの順序を生成する段階を含む、請求項２に記載のポイントクラウドデータ送信方法。
前記ジオメトリデータは各軸に対する座標値を含み、
前記モールトンコードは前記座標値の２進ビットに基づいて生成され、
前記モールトンコードの前記２進ビットは前記各軸に対する一つ又はそれ以上のポイントの密度の大きさに基づいて整列される、請求項５に記載のポイントクラウドデータ送信方法。
前記モールトンコードを生成する段階は、
前記ポイントクラウドデータの一つ又はそれ以上のポイントの分布に関連するしきい値に基づいて行われる、請求項２に記載のポイントクラウドデータ送信方法。
前記ビットストリームは前記ポイントクラウドデータをシグナリングするための一つ又はそれ以上のパラメータを含む、請求項１に記載のポイントクラウドデータ送信方法。
ポイントクラウドデータを符号化するエンコーダと、
前記ポイントクラウドデータを含むビットストリームを送信する送信機と、を含む、ポイントクラウドデータ送信装置。
前記エンコーダは、
前記ポイントクラウドデータに対するモールトンコードを生成する、請求項９に記載のポイントクラウドデータ送信装置。
前記エンコーダは、
前記ポイントクラウドデータのジオメトリデータに対する各軸に基づいてモールトンコードの順序を生成する、請求項１０に記載のポイントクラウドデータ送信装置。
前記ジオメトリデータは各軸に対する座標値を含み、
前記モールトンコードは各軸に対する座標値の２進ビットに基づいて生成され、
前記モールトンコードの前記２進ビットは各軸の長さに基づいて整列される、請求項１１に記載のポイントクラウドデータ送信装置。
前記エンコーダは、
前記ポイントクラウドデータのジオメトリデータに対する密度に基づいてモールトンコードの順序を生成する、請求項１０に記載のポイントクラウドデータ送信装置。
前記ジオメトリデータは各軸に対する座標値を含み、
前記モールトンコードは前記座標値の２進ビットに基づいて生成され、
前記モールトンコードの前記２進ビットは前記各軸に対する一つ又はそれ以上のポイントの密度の大きさに基づいて整列される、請求項１３に記載のポイントクラウドデータ送信装置。
前記エンコーダのモールトンコード生成動作は、
前記ポイントクラウドデータの一つ又はそれ以上のポイントの分布に関連するしきい値に基づいて行われる、請求項１０に記載のポイントクラウドデータ送信装置。
前記ビットストリームは前記ポイントクラウドデータをシグナリングするための一つ又はそれ以上のパラメータを含む、請求項９に記載のポイントクラウドデータ送信装置。
ポイントクラウドデータを含むビットストリームを受信する段階と、
前記ポイントクラウドデータを復号する段階と、を含む、ポイントクラウドデータ受信方法。
前記復号する段階は、
前記ポイントクラウドデータに対するモールトンコードを生成する段階を含む、請求項１７に記載のポイントクラウドデータ受信方法。
ポイントクラウドデータを含むビットストリームを受信する受信機と、
前記ポイントクラウドデータを復号するデコーダと、を含む、ポイントクラウドデータ受信装置。
前記デコーダは、
前記ポイントクラウドデータに対するモールトンコードを生成する、請求項１９に記載のポイントクラウドデータ受信装置。