JP6237547B2 - Transmitting apparatus, transmitting method, receiving apparatus, and receiving method - Google Patents
Transmitting apparatus, transmitting method, receiving apparatus, and receiving method Download PDFInfo
- Publication number
- JP6237547B2 JP6237547B2 JP2014186977A JP2014186977A JP6237547B2 JP 6237547 B2 JP6237547 B2 JP 6237547B2 JP 2014186977 A JP2014186977 A JP 2014186977A JP 2014186977 A JP2014186977 A JP 2014186977A JP 6237547 B2 JP6237547 B2 JP 6237547B2
- Authority
- JP
- Japan
- Prior art keywords
- transmission
- time
- payload
- packet
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000005540 biological transmission Effects 0.000 claims description 334
- 238000012545 processing Methods 0.000 claims description 30
- 238000003780 insertion Methods 0.000 claims description 27
- 230000037431 insertion Effects 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 16
- 230000001360 synchronised effect Effects 0.000 claims description 10
- UXDMWYANCHMSJX-UHFFFAOYSA-N (benzyltrisulfanyl)methylbenzene Chemical compound C=1C=CC=CC=1CSSSCC1=CC=CC=C1 UXDMWYANCHMSJX-UHFFFAOYSA-N 0.000 description 30
- 239000012634 fragment Substances 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 11
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 239000000203 mixture Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000012464 large buffer Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ビデオ、オーディオなどの伝送メディアをRF通信路や通信ネットワーク通信路を通じて送信する送信装置等に関する。 The present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly to a transmission device that transmits transmission media such as video and audio through an RF communication channel or a communication network communication channel.
従来、例えば、特許文献1に記載されるように、放送向けのトランスポート構造としてMPEG2−TSが使用されている。
Conventionally, as described in
近年、次世代放送向けのトランスポート構造としてMMT(MPEG Media Transport)構造が脚光を浴びつつある。このMMT構造は、IPネットワークとの共存が主な特徴である。 In recent years, an MMT (MPEG Media Transport) structure has been spotlighted as a transport structure for next-generation broadcasting. This MMT structure is mainly characterized by coexistence with an IP network.
本技術の目的は、次世代放送向けのトランスポート構造において、デコード時刻および/または表示時刻を取得するための時刻情報を受信側に良好に伝送可能とすることにある。 An object of the present technology is to enable transmission of time information for obtaining a decoding time and / or a display time to a receiving side in a transport structure for next-generation broadcasting.
本技術の概念は、
ペイロードに伝送メディアを含む第1の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信部と、
上記第1の伝送パケットまたは上記第2の伝送パケットに、上記受信側でデコード時刻および/または表示時刻を取得するための時刻情報を挿入する時刻情報挿入部とを備える
送信装置にある。
The concept of this technology is
A transmission stream generation unit that generates a transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload are multiplexed in a time division manner;
A transmission stream transmitter that transmits the transmission stream to a receiver through a predetermined transmission path;
A transmission apparatus includes a time information insertion unit that inserts time information for obtaining a decoding time and / or a display time on the reception side into the first transmission packet or the second transmission packet.
本技術において、伝送ストリーム生成部により、伝送ストリームが生成される。この伝送ストリームは、ペイロードに伝送メディアを含む第1の伝送パケットと、ペイロードに伝送メディアに関する情報を含む第2の伝送パケットとが時分割的に多重化されたものである。例えば、第1の伝送パケットおよび第2の伝送パケットはMMTパケットである、ようにされてもよい。伝送ストリーム送信部により、伝送ストリームは、所定の伝送路を通じて、受信側に送信される。例えば、所定の伝送路は、RF伝送路または通信ネットワーク伝送路である、ようにされてもよい。 In the present technology, a transmission stream is generated by the transmission stream generation unit. In this transmission stream, a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload are multiplexed in a time division manner. For example, the first transmission packet and the second transmission packet may be MMT packets. The transmission stream is transmitted to the reception side by the transmission stream transmission unit through a predetermined transmission path. For example, the predetermined transmission line may be an RF transmission line or a communication network transmission line.
時刻情報挿入部により、第1の伝送パケットまたは第2の伝送パケットに、受信側でデコード時刻および/または表示時刻を取得するための時刻情報が挿入される。例えば、第1の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、時刻情報挿入部で挿入される時刻情報は、一つ以上のアクセスユニットにそれぞれ対応したデコード時刻および/または表示時刻を取得するための情報である、ようにされてもよい。 The time information insertion unit inserts time information for acquiring the decoding time and / or the display time on the receiving side into the first transmission packet or the second transmission packet. For example, the transmission medium included in the first transmission packet is composed of one or more access units, and the time information inserted by the time information insertion unit is a decoding time and / or corresponding to each of the one or more access units. The information may be information for acquiring the display time.
この場合、時刻情報挿入部で挿入される時刻情報は、一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値とを有する、ようにされてもよい。このようにオフセット値を用いることで、時刻情報の伝送を効率よく行うことが可能となる。また、この場合、時刻情報挿入部で挿入される時刻情報は、一つ以上のアクセスユニットのそれぞれに対応した表示時刻、あるいは表示時刻およびデコード時刻である、ようにされてもよい。このように表示時刻、あるいは表示時刻およびデコード時刻そのものを伝送することで、受信側における処理負荷の軽減が可能となる。 In this case, the time information inserted by the time information insertion unit includes the display time from the decode time or display time value corresponding to the first access unit of one or more access units and the decode time corresponding to each access unit. Up to an offset value. By using the offset value in this way, time information can be transmitted efficiently. In this case, the time information inserted by the time information insertion unit may be a display time corresponding to each of one or more access units, or a display time and a decode time. By transmitting the display time or the display time and the decode time itself in this way, the processing load on the receiving side can be reduced.
そして、この場合、オフセット値は、絶対オフセット値に対応した相対オフセット値であり、時刻情報挿入部で挿入される時刻情報には、相対オフセット値を絶対オフセット値に変換するための変換情報が付加される、ようにされてもよい。このように相対オフセット値を用いることで、オフセット値を受信側に効率よく伝送することが可能となる。例えば、時刻情報挿入部は、相対オフセット値を可変長符号化した後に挿入する、ようにされてもよい。このように可変長符号化を利用することで、時刻情報の伝送容量の低減を図ることが可能となる。 In this case, the offset value is a relative offset value corresponding to the absolute offset value, and conversion information for converting the relative offset value to the absolute offset value is added to the time information inserted by the time information insertion unit. It may be done. By using the relative offset value in this way, the offset value can be efficiently transmitted to the receiving side. For example, the time information insertion unit may be inserted after the variable offset encoding of the relative offset value. By using variable length coding in this way, it is possible to reduce the transmission capacity of time information.
例えば、第1の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、時刻情報挿入部は、ペイロードヘッダ部に、時刻情報を挿入する、ようにされてもよい。また、例えば、第1の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、ペイロード本体部には、伝送メディアがフラグメント化された一つ以上のアクセスユニットをそれぞれ含むフラグメントペイロードがフラグメントヘッダを伴って配置され、時刻情報挿入部は、フラグメントヘッダあるいはフラグメントペイロードに、対応するアクセスユニットの時刻情報を挿入する、ようにされてもよい。また、例えば、第2の伝送パケットのペイロード部は、ペイロードヘッダ部とペイロード本体部とからなり、時刻情報挿入部は、ペイロード本体部に、時刻情報を挿入する、ようにされてもよい。 For example, the payload of the first transmission packet may include a payload header part and a payload body part, and the time information insertion part may insert time information into the payload header part. Also, for example, the payload of the first transmission packet is composed of a payload header part and a payload body part, and the payload body part is fragmented with fragment payloads each including one or more access units obtained by fragmenting transmission media. It may be arranged with a header, and the time information insertion unit may insert the time information of the corresponding access unit into the fragment header or the fragment payload. Further, for example, the payload portion of the second transmission packet may be composed of a payload header portion and a payload body portion, and the time information insertion portion may insert time information into the payload body portion.
このように本技術においては、第1の伝送パケットまたは第2の伝送パケットに、受信側でデコード時刻および表示時刻を取得するための時刻情報が挿入されるものであり、次世代放送向けのトランスポート構造において、デコード時刻および/または表示時刻を取得するための時刻情報を受信側に良好に伝送可能となる。 As described above, in the present technology, time information for acquiring the decoding time and the display time on the receiving side is inserted into the first transmission packet or the second transmission packet, and the transformer for next-generation broadcasting is used. In the port structure, time information for obtaining the decoding time and / or the display time can be transmitted to the receiving side satisfactorily.
また、本技術の他の概念は、
ペイロードに伝送メディアを含む第1の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、送信側から所定の伝送路を通じて受信する伝送ストリーム受信部を備え、
上記第1の伝送パケットまたは上記第2の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、
上記伝送ストリームから取り出された上記伝送メディアを、上記時刻情報に基づいて取得された上記デコード時刻および/または上記表示時刻を用いて処理する伝送メディア処理部をさらに備える
受信装置にある。
Other concepts of this technology are
A transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload is time-division multiplexed is received from a transmission side through a predetermined transmission path. A transmission stream receiver
Time information for obtaining a decoding time and / or a display time is inserted into the first transmission packet or the second transmission packet,
The reception apparatus further includes a transmission media processing unit that processes the transmission medium extracted from the transmission stream using the decoding time and / or the display time acquired based on the time information.
本技術において、伝送ストリーム受信部により、所定の伝送路を通じて、送信側から伝送ストリームが受信される。この伝送ストリームは、ペイロードに伝送メディアを含む第1の伝送パケットと、ペイロードに伝送メディアに関する情報を含む第2の伝送パケットとが時分割的に多重化されたものである。第1の伝送パケットまたは第2の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されている。伝送メディア処理部により、伝送ストリームから取り出された伝送メディアが、時刻情報に基づいて取得されたデコード時刻および/または表示時刻を用いて処理される。 In the present technology, a transmission stream is received from a transmission side by a transmission stream receiving unit through a predetermined transmission path. In this transmission stream, a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload are multiplexed in a time division manner. Time information for obtaining a decoding time and / or a display time is inserted into the first transmission packet or the second transmission packet. The transmission media processing unit processes the transmission media extracted from the transmission stream using the decode time and / or display time acquired based on the time information.
例えば、第1の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、時刻情報は、一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までの絶対オフセット値に対応した相対オフセット値であり、この相対オフセット値を絶対オフセット値に変換するオフセット値変換部をさらに備える、ようにされてもよい。 For example, the transmission medium included in the first transmission packet is composed of one or more access units, and the time information includes a decoding time or display time value corresponding to the first access unit of the one or more access units, It is a relative offset value corresponding to the absolute offset value from the decoding time to the display time corresponding to each access unit, and further includes an offset value conversion unit that converts this relative offset value into an absolute offset value. Good.
このように、第1の伝送パケットまたは第2の伝送パケットにデコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、この時刻情報に基づいてデコード時刻および/または表示時刻を取得し、伝送ストリームから取り出された伝送メディアの処理を良好に行うことができる。 In this way, time information for obtaining the decoding time and / or display time is inserted into the first transmission packet or the second transmission packet, and the decoding time and / or display time is determined based on this time information. The transmission media obtained and extracted from the transmission stream can be processed satisfactorily.
本技術によれば、次世代放送向けのトランスポート構造において、デコード時刻および/または表示時刻を取得するための時刻情報を受信側に良好に伝送できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。 According to the present technology, in the transport structure for next-generation broadcasting, time information for obtaining the decoding time and / or the display time can be satisfactorily transmitted to the receiving side. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, modes for carrying out the invention (hereinafter referred to as “embodiments”) will be described. The description will be given in the following order.
1.
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信ステム10は、トランスポートパケット送信装置100と、トランスポートパケット受信装置200により構成されている。
<1. Embodiment>
[Configuration example of transmission / reception system]
FIG. 1 shows a configuration example of a transmission /
送信装置100は、MMT構造(ISO/IEC CD 23008-1参照)のトランスポートパケット、つまりMMTパケットが含まれる伝送ストリームを生成し、この伝送ストリームをRF伝送路あるいは通信ネットワーク伝送路を通じて、受信側に送信する。この伝送ストリームには、ペイロードにビデオやオーディオの伝送メディアを含む第1のMMTパケットと、ペイロードに伝送メディアに関する情報を含む第2のMMTパケットが、少なくともフラグメントされたパケットの大きさで時分割的に多重化されている。本実施の形態において、第1のMMTパケットまたは第2のMMTパケットに、受信側でデコード時刻および表示時刻を取得するための時刻情報が挿入される。
The
受信装置200は、送信側から、RF伝送路あるいは通信ネットワーク伝送路を通じて、上述の伝送ストリームを受信する。受信装置200は、伝送ストリームから取り出した伝送メディアを、時刻情報に基づいて取得されたデコード時刻および/または表示時刻を用いて処理し、画像を表示すると共に音声を出力する。
The receiving
図2は、MMTペイロード(MMT payload)の構成を概略的に示している。図2において、MMTパッケージ(MMT Package)は、MMTの論理的な概念であり、伝送素材を意味している。このMMTパッケージには、メディアであるアセット(Asset)、アセットの伝送特性(Asset Delivery Characteristics)、パッケージに付随するメッセージ群(Package Access)、MMTパケット・テーブルに関する情報(MPT Packet Table)、コンポジション・インフォメーション(Composition Information)などが入っている。コンポジション・インフォメーションは、メディアの表示制御をつかさどる情報である。この例では、アセット1(Asset1)がビデオ1(Video1)データであり、アセット2(Asset2)がオーディオ1(Audio1)データであり、アセット3(Asset3)がビデオ2(Video2)データである。 FIG. 2 schematically shows a configuration of an MMT payload. In FIG. 2, an MMT package (MMT Package) is a logical concept of MMT and means a transmission material. This MMT package includes assets that are media (Asset), asset delivery characteristics (Asset Delivery Characteristics), messages associated with the package (Package Access), information about the MMT packet table (MPT Packet Table), composition Contains information (Composition Information). The composition information is information for controlling display of the media. In this example, asset 1 (Asset 1) is video 1 (Video 1) data, asset 2 (Asset 2) is audio 1 (Audio 1) data, and asset 3 (Asset 3) is video 2 (Video 2) data.
図2には、MMTパッケージが実際にMMTファイル(MMT File)になっている場合のファイル構成の一例を示している。このファイル構成は、基本的には、MP4のファイル構成とほぼ同等である。最初に“styp”のボックス(Box)がある。続いて、セグメントインフォメーションとしての“sidx”のボックスがある。続いて、MMT独自の“mmpu”のボックスがある。続いて、ファイル全体のメタデータとしての“moov”のボックスがある。また、続いて、”moof”および“mdat”のボックスがある。この“mdat”のボックスには、ビデオ(Video)、オーディオ(Audio)、字幕などの実際のデータが入っている。なお、“Mdat”がフラグメントされる場合、フラグメントごとに”moof”のボックスがある。 FIG. 2 shows an example of a file configuration when the MMT package is actually an MMT file (MMT File). This file structure is basically the same as the MP4 file structure. First, there is a “styp” box. Next, there is a “sidx” box as segment information. Next, there is a box “mmpu” unique to MMT. Next, there is a “moov” box as metadata for the entire file. Next, there are “moof” and “mdat” boxes. This “mdat” box contains actual data such as video, audio, and subtitles. When “Mdat” is fragmented, there is a “moof” box for each fragment.
MMTパッケージが伝送(Delivery)される場合、図2に示すように、MPU(Media Processing Unit)を単位として伝送される。このMPUは、ランダムアクセスポイント(RAP:Random Access Pint)から始まるものであり、一つまたは複数のアクセスユニット(AU:Access Unit)を含むものである。具体的には、例えば、一つのGOP(Group Of Picture)のピクチャが、一つのMPUの構成となることがある。このMPUは、アセット別に定義されるものとなっている。したがって、ビデオのアセットからはビデオデータのみを含むビデオのMPUが作成され、オーディオのアセットからはオーディオデータのみを含むオーディオのMPUが作成される。 When the MMT package is transmitted (Delivery), it is transmitted in units of MPU (Media Processing Unit) as shown in FIG. This MPU starts from a random access point (RAP) and includes one or a plurality of access units (AU). Specifically, for example, one GOP (Group Of Picture) picture may constitute one MPU. This MPU is defined for each asset. Therefore, a video MPU including only video data is created from the video asset, and an audio MPU including only audio data is created from the audio asset.
図2に示すように、MPUは、メッセージ(Message)と共に、MMTペイロードを構成するものとなる。メッセージ(Message)には、上述したコンポジション・インフォメーションなどの情報がふくまれる。MFU(MMT Fragment Unit)は、MPUが細分化、すなわちフラグメント(Fragment)化されたものである。例えば、ビデオの場合、このMFUを一つのNALユニットに相当するように設定できる。また、例えば、通信ネットワーク伝送路で送る場合、このMFUを一つまたは複数のMTUサイズ(MTU size)で構成することもできる。 As shown in FIG. 2, the MPU constitutes an MMT payload together with a message. The message includes information such as the composition information described above. An MFU (MMT Fragment Unit) is an MPU that is subdivided, that is, fragmented. For example, in the case of video, this MFU can be set to correspond to one NAL unit. Further, for example, when sending via a communication network transmission path, this MFU can be configured with one or a plurality of MTU sizes (MTU sizes).
図2に示すように、MMTペイロードは、MMTパケットにより伝送される。このMMTパケットは、MMTパケットヘッダ(MMT packet header)と、MMTパケットペイロード(MMT packet payload)により構成される。そして、このMMTパケットペイロードは、MMTペイロードヘッダ(MMT payload header)と、MMTペイロードデータ(MMT payload data)により構成される。このMMTペイロードデータに、MPUやメッセージ(Message)が挿入される。 As shown in FIG. 2, the MMT payload is transmitted by an MMT packet. This MMT packet includes an MMT packet header and an MMT packet payload. The MMT packet payload includes an MMT payload header and MMT payload data. An MPU and a message are inserted into this MMT payload data.
各アセットのMPUをフラグメント化して得られたMFUは、図2に示すように、時分割的に多重される。MPUとしては、例えば15フレーム分、あるいは30フレーム分というある程度長い時間単位のものである。各MPUをフラグメント化して時分割的に多重しない場合には、ビデオデータを送っているある程度長い間、オーディオデータを送れなくなる。そのため、時間合わせのために大きなバッファ容量が必要となると共に、画像、音声の出力までの遅延が大きくなる。各MPUをフラグメント化して時分割的に多重することで、そのような問題を解決できる。 The MFU obtained by fragmenting the MPU of each asset is multiplexed in a time division manner as shown in FIG. For example, the MPU is a unit having a relatively long time unit such as 15 frames or 30 frames. If each MPU is fragmented and not multiplexed in a time division manner, audio data cannot be sent for a long time while video data is being sent. For this reason, a large buffer capacity is required for time adjustment, and the delay until the output of images and sounds is increased. Such a problem can be solved by fragmenting each MPU and multiplexing in a time division manner.
図3、図4、図5は、MMTファイルと、実際に伝送されるMMTパケットとの対応関係の一例を示している。MMTファイルは、上述したように、“styp”,“sidx”,“mmpu”,“moov”,”moof”,“mdat”などのボックスを有している。 3, FIG. 4, and FIG. 5 show an example of the correspondence between the MMT file and the actually transmitted MMT packet. As described above, the MMT file has boxes such as “styp”, “sidx”, “mmpu”, “moov”, “moof”, and “mdat”.
MMTパケットは、MMTパケットヘッダ(MMT Hdr)と、MMTペイロード(MMT Payload)とから構成される。MMTヘッダには、パケットID(packet_id)、パケット・シーケンス・ナンバー(packet_sequence_number)、トランスミッション・タイムスタンプ(transmission_timestamp)、トランスミッション・プライオリティ(transmission_priority)、プライベート・ユーザデータ(private_user_data)などが含まれる。 The MMT packet includes an MMT packet header (MMT Hdr) and an MMT payload (MMT Payload). The MMT header includes a packet ID (packet_id), a packet sequence number (packet_sequence_number), a transmission time stamp (transmission_timestamp), a transmission priority (transmission_priority), private user data (private_user_data), and the like.
パケットIDは、ビデオ、オーディオのアセット(Asset)や、コントロール(Control)系であるメッセージを識別するための識別子である。パケット・シーケンス・ナンバーは、パケット順を示す番号である。トランスミッション・タイムスタンプは、伝送のためのタイプスタンプ、すなわちMMTパケットが送信側から出ていくときの時刻である。 The packet ID is an identifier for identifying a video or audio asset (Asset) or a message that is a control system. The packet sequence number is a number indicating the packet order. The transmission time stamp is a time stamp when a type stamp for transmission, that is, an MMT packet leaves the transmission side.
トランスミッション・プライオリティは、伝送路の帯域が狭くなった場合にどのMMTパケットを優先して通すかを判断するための指標となる優先度である。プライベート・ユーザデータは、ユーザが何等かの放送応用で私的に挿入し得るデータである。MMTペイロード(MMT Payload)は、MMTペイロードヘッダ(MMT Pl_hdr)と、MMTペイロードデータとから構成される。MMTペイロードヘッダには、ペイロード・ヘッダ・エクステンション(payload header extension)を含めることができる。 The transmission priority is a priority that serves as an index for determining which MMT packet is preferentially passed when the bandwidth of the transmission path is narrowed. Private user data is data that the user can privately insert in some broadcast applications. The MMT payload (MMT Payload) includes an MMT payload header (MMT Pl_hdr) and MMT payload data. The MMT payload header can include a payload header extension.
MMTペイロードヘッダには、ペイロード・レングス(payload length)、ペイロード・タイプ(payload type)、フラグメント・タイプ(fragmentation_indicator)、フラグメント・カウント(fragment_count)、アグリゲーション・インフォ・フラグ(aggregation_info_flag)、RAPフラグ(random_access_point_flag)などが含まれる。 The MMT payload header includes payload length (payload length), payload type (payload type), fragment type (fragmentation_indicator), fragment count (fragment_count), aggregation info flag (aggregation_info_flag), and RAP flag (random_access_point_flag) Etc. are included.
また、MMTペイロードヘッダには、データ・オフセット(data_offset)、データユニット・ナンバー(numDU)、データユニット・オフセット(DU_offset)、ペイロード・シーケンス・ナンバー(payload_sequence_number)、ヘッダ・エクステンション・フィールド・フラグ(header_extension_field_flag)などが含まれる。 The MMT payload header includes a data offset (data_offset), a data unit number (numDU), a data unit offset (DU_offset), a payload sequence number (payload_sequence_number), and a header extension field flag (header_extension_field_flag). Etc. are included.
ペイロード・レングスは、ペイロード全体のサイズ情報である。ペイロード・タイプは、ペイロードがMPUであるか、コントロール系(メッセージ)であるかを示す情報である。一つのペイロードには、最大で64kbyteのデータを入れることができる。フラグメント・タイプは、一つのペイロードの中でMPUが完結するか否かを示す情報である。 The payload length is size information of the entire payload. The payload type is information indicating whether the payload is an MPU or a control system (message). One payload can contain a maximum of 64 kbytes of data. The fragment type is information indicating whether the MPU is completed in one payload.
例えば、MPUが完結する場合は“0”が挿入され、完結しない場合、つまり所定数のMFUに細分化されている場合は、“1”、“2”、“3”のいずれかとなる。“1”はこのMMTパケットには最初のフラグメントが存在することを示す。“2”はこのMMTパケットには最初、最後のいずれでもなく、中間のフラグメントが存在することを示す。“3”はこのMMTパケットには最後のフラグメントが存在することを示す。 For example, when the MPU is completed, “0” is inserted. When the MPU is not completed, that is, when the MPU is subdivided into a predetermined number of MFUs, “1”, “2”, or “3” is set. “1” indicates that the first fragment exists in this MMT packet. “2” indicates that there is an intermediate fragment in this MMT packet, neither the first nor the last. “3” indicates that the last fragment exists in this MMT packet.
フラグメント・カウントは、MFUのカウント情報である。アグリゲーション・インフォ・フラグは、ペイロードに複数のMPUが入っているか否かを示すフラグ情報である。“0”は、ペイロードに一つのMPUのみが含まれることを示す。“1”は、ペイロードに複数のMPUが含まれることを示す。RAPフラグは、このMMTパケットにランダムアクセスポイント、つまりGOPの先頭ピクチャに相当するアクセスユニットが存在するか否かを示す情報である。 The fragment count is MFU count information. The aggregation info flag is flag information indicating whether or not a plurality of MPUs are included in the payload. “0” indicates that only one MPU is included in the payload. “1” indicates that the payload includes a plurality of MPUs. The RAP flag is information indicating whether or not a random access point, that is, an access unit corresponding to the first picture of the GOP exists in this MMT packet.
データ・オフセットは、ペイロード先頭位置からのペイロードデータの最初の位置までのサイズ、つまりペイロードヘッダの大きさを示す情報である。データユニット・ナンバーは、ペイロード内に存在するMPUデータユニットの個数を示す。データユニット・オフセットは、各データユニットのペイロードデータの先頭位置からのオフセット情報である。ペイロード・シーケンス・ナンバーは、このMMTパケットのペイロード・シーケンス・ナンバーである。ヘッダ・エクステンション・フィールド・フラグは、ペイロード・ヘッダ・エクステンションが存在するか否かを示すフラグ情報である。 The data offset is information indicating the size from the payload head position to the first position of the payload data, that is, the size of the payload header. The data unit number indicates the number of MPU data units present in the payload. The data unit offset is offset information from the head position of the payload data of each data unit. The payload sequence number is the payload sequence number of this MMT packet. The header extension field flag is flag information indicating whether or not a payload header extension exists.
図3は、MMTパケット化の一例を示している。MMTペイロードの一つのMPUデータユニットにMMTファイルの“styp”,“sidx”,“mmpu”,“moov”,“moof”の各ボックスのメタデータが挿入されて、MMTパケットが生成される。この場合、MMTペイロードヘッダにおいて、「fragmentation_indicator」は“0”、「fragment_count」は“0”、「aggregation_info_flag」は“0”、「RAP flag」は“1”とされる。 FIG. 3 shows an example of MMT packetization. The metadata of each box of “styp”, “sidx”, “mmpu”, “moov”, “moof” of the MMT file is inserted into one MPU data unit of the MMT payload to generate an MMT packet. In this case, in the MMT payload header, “fragmentation_indicator” is “0”, “fragment_count” is “0”, “aggregation_info_flag” is “0”, and “RAP flag” is “1”.
また、この場合、MMTペイロードの一つのMPUデータユニットにMMTファイルの“mdat”に存在する一つのMPUが挿入されて、MMTパケットが生成される。この場合、MMTペイロードヘッダにおいて、「fragmentation_indicator」は“0”、「fragment_count」は“0”、「aggregation_info_flag」は“0”、「RAP_flag」は“1”とされる。 In this case, one MPU existing in “mdat” of the MMT file is inserted into one MPU data unit of the MMT payload to generate an MMT packet. In this case, in the MMT payload header, “fragmentation_indicator” is “0”, “fragment_count” is “0”, “aggregation_info_flag” is “0”, and “RAP_flag” is “1”.
図4は、MMTパケット化の他の一例を示している。この場合、図3の例と同様に、MMTペイロードの一つのMPUデータユニットにMMTファイルの“styp”,“sidx”,“mmpu”,“moov”の各ボックスのメタデータが挿入されて、MMTパケットが生成される。また、この場合、MMTペイロードの複数、この例では三つのMPUデータユニットにMMTファイルの“mdat”に存在する三つのMPUが挿入されて、MMTパケットが生成される。この場合、MMTペイロードヘッダにおいて、「fragmentation_indicator」は“0”、「fragment_count」は“0”、「aggregation_info_flag」は“1”、「RAP_flag」は“1”、「numDU」は“3”とされ、「DU offset」が三つ存在する。 FIG. 4 shows another example of MMT packetization. In this case, as in the example of FIG. 3, the metadata of each box of “styp”, “sidx”, “mmpu”, “moov” of the MMT file is inserted into one MPU data unit of the MMT payload, and the MMT A packet is generated. In this case, the MMT packet is generated by inserting three MPUs existing in “mdat” of the MMT file into a plurality of MMT payloads, in this example, three MPU data units. In this case, in the MMT payload header, “fragmentation_indicator” is “0”, “fragment_count” is “0”, “aggregation_info_flag” is “1”, “RAP_flag” is “1”, “numDU” is “3”, There are three “DU offset”.
図5は、MMTパケット化のさらに他の一例を示している。この場合。この場合、図3の例と同様に、MMTペイロードの一つのMPUデータユニットにMMTファイルの“styp”,“sidx”,“mmpu”,“moov”,“moof”の各ボックスのメタデータが挿入あるいは所定の情報の変換がなされて、MMTパケットが生成される。 FIG. 5 shows still another example of MMT packetization. in this case. In this case, as in the example of FIG. 3, the metadata of the “styp”, “sidx”, “mmpu”, “moov”, and “moof” boxes of the MMT file is inserted into one MPU data unit of the MMT payload. Alternatively, predetermined information is converted and an MMT packet is generated.
また、この場合、MMTペイロードの一つのMPUデータユニットにMMTファイルの“mdat”に存在する一つのアクセスユニット(AU)が、MFUヘッダ(MFU Hdr)と共に挿入されてMMTパケットが生成される。この場合、MMTペイロードヘッダにおいて、「fragmentation_indicator」は“1”、「fragment_count」はMFUのカウント値である“N”、「aggregation_info_flag」は含まれるMFUに応じて“1”〜“3”のいずれか、「RAP_flag」は“1”あるいは“0”とされる。なお、MFUヘッダには、MFUのシーケンス・ナンバー(sequence_number)などの情報が含まれる。 Further, in this case, one access unit (AU) existing in “mdat” of the MMT file is inserted into one MPU data unit of the MMT payload together with the MFU header (MFU Hdr) to generate an MMT packet. In this case, in the MMT payload header, “fragmentation_indicator” is “1”, “fragment_count” is the count value of MFU “N”, and “aggregation_info_flag” is any one of “1” to “3” depending on the included MFU. “RAP_flag” is set to “1” or “0”. The MFU header includes information such as the MFU sequence number (sequence_number).
図6、図8は、フラグメント化されたMFUを含むMMTパケットを伝送パケットとする場合であって、そのMMTパケットがランダムアクセス(Random Access)の先頭(GOPの先頭)のパケットである場合を示している。この場合、このMMTパケットは、MMTファイルの“styp”,“sidx”,“mmpu”,“moov”,“moof”の各ボックスのメタデータが挿入あるいは所定の情報の変換がなされたMMTパケットと共に伝送される。 6 and 8 show a case where an MMT packet including a fragmented MFU is used as a transmission packet, and the MMT packet is a packet at the head of random access (Random Access) (head of GOP). ing. In this case, this MMT packet is combined with the MMT packet in which the metadata of each box of “styp”, “sidx”, “mmpu”, “moov”, “moof” of the MMT file is inserted or predetermined information is converted. Is transmitted.
例えば、“mmpu”の領域には、MFUのデータがリアルタイム系データか否かを識別する情報が含まれているが、受信側では、ランダムアクセス(Random Access)の先頭で、例えば、この識別情報によりMFUのデータがリアルタイム系データか否かの識別が可能となる。 For example, the “mmpu” area includes information for identifying whether or not the MFU data is real-time data. On the receiving side, for example, this identification information is used at the beginning of random access. This makes it possible to identify whether the MFU data is real-time data.
図7は、フラグメント化されたMFUを含むMMTパケットを伝送パケットとする場合であって、そのMMTパケットがランダムアクセス(Random Access)の非先頭のパケットである場合を示している。この場合、このMMTパケットは、上述の先頭パケットとは異なり、最小構成のMMTパケットで伝送される。 FIG. 7 shows a case where an MMT packet including a fragmented MFU is used as a transmission packet, and the MMT packet is a non-leading packet for random access. In this case, the MMT packet is transmitted as an MMT packet having a minimum configuration, unlike the above-described head packet.
図9は、MMTパケットの構成をツリー形式で示したものである。MMTパケットは、上述したように、MMTパケットヘッダ(MMT Packet Header)と、MMTペイロードヘッダ(MMT Payload Header)と、MMTペイロード(MMT Payload)により構成される。MMTペイロードには、メッセージ(Message)、MPU(Media Processing Unit)、FEC修正シンボル(FEC Repair Symbol)などが含まれ、これらのシグナリングはMMTペイロードヘッダに含まれるペイロードタイプ(payload_type)により行われる。 FIG. 9 shows the structure of the MMT packet in a tree format. As described above, the MMT packet includes an MMT packet header (MMT Packet Header), an MMT payload header (MMT Payload Header), and an MMT payload (MMT Payload). The MMT payload includes a message (Message), an MPU (Media Processing Unit), an FEC repair symbol (FEC Repair Symbol), and the like, and the signaling is performed by a payload type (payload_type) included in the MMT payload header.
なお、メッセージには、各種のメッセージ内容がテーブル形式で挿入される。また、MPUは、フラグメント化されて、MFU(MMT Fragment Unit)に細分化されることもある。その場合、各MFUの先頭には、MFUヘッダ(MFU Header)が付加される。MMTペイロードには、ビデオやオーディオのメディアデータに係るMPU、さらには、メタデータに係るMPUが存在する。各MPUを含むMMTパケットは、MMTパケットヘッダに存在するパケットID(Packet_ID)で識別可能とされる。 Various message contents are inserted into the message in a table format. The MPU may be fragmented and subdivided into MFUs (MMT Fragment Units). In that case, an MFU header (MFU Header) is added to the head of each MFU. The MMT payload includes an MPU related to media data such as video and audio, and an MPU related to metadata. The MMT packet including each MPU can be identified by a packet ID (Packet_ID) present in the MMT packet header.
[送信装置、受信装置の概念]
図10は、トランスポートパケット送信装置100およびトランスポートパケット受信装置200の概念図を示している。送信装置100は、アセット発生部101と、エンコーダ102と、トランスポートパケット化部103と、クロック発生部104と、IP送信部105と、RF送信部106を有している。
[Concept of transmitter and receiver]
FIG. 10 shows a conceptual diagram of the transport
アセット発生部101は、メディアデータとしてのビデオやオーディオのデータを発生する。このアセット発生部101は、HDD(Hard Disk Drive)や半導体メモリなどからなるデータストレージ、あるいはビデオカメラ、マイクロホンなどである。エンコーダ102は、アセット発生部101で発生されるビデオやオーディオのデータに対して符号化処理を行って送信データを生成する。
The
トランスポートパケット化部103は、エンコーダ102で生成される送信データをMPU単位、あるいはそれを細分化したMFU単位でペイロードに挿入した、メディアデータを含むMMTパケットを生成する他、上述したメタデータを含むMMTパケットやメッセージを含むMMTパケットを生成する。トランスポートパケット化部103は、MMTパケットを生成するとき、受信側でデコード時刻(Decode_Timestamp)および表示時刻(Display_Timestamp)を取得するための時刻情報を、そのMMTパケットに挿入する。このMMTパケットへの時刻情報挿入の詳細については、後述する。
The
IP送信部105は、通信ネットワーク伝送路を使用する場合、トランスポートパケット化部103から順次出力されるMMTパケットからなる伝送ストリームをIPパケット化し、通信ネットワーク伝送路を通じて受信側に送る。RF送信部106は、RF伝送路を使用する場合、トランスポートパケット化部103から順次出力されるMMTパケットからなる伝送ストリームを適切なアダプテーションレイヤを介するなどしてRF変調し、RF伝送路を通じて受信側に送る。ここで、送信装置100は、クロック発生部104から出力されるシステム・タイム・クロックSTCに基づいて、送信データに送信タイムスタンプを付加する。
When the communication network transmission path is used, the
受信装置200は、RF受信部201と、IP受信部202と、クロック再生部203と、トランスポートアンパケット化部204と、デコード・出力処理部205を有している。
The receiving
RF受信部201は、送信側からRF伝送路を通じて送信されるMMTパケットの連続からなる伝送ストリームをアダプテーションレイヤの解析を経て受信し、トランスポートアンパケット化部204に出力する。また、IP受信部202は、送信側から通信ネットワーク伝送路を通じて送信されるMMTパケットの連続からなる伝送ストリームを受信し、トランスポートアンパケット化部204に出力する。
The
クロック発生部203は、システム・タイム・クロックSTCを発生し、トランスポートアンパケット化部204などに供給する。クロック発生部203は、送信データに付加されている送信タイムスタンプ値(NTP値)に基づいてクロックセットを行う。あるいは、NTPパケットで供給されるタイムスタンプ値(NTP値)に基づいてクロックセットを行う。この場合、クロック発生部203は、発生するシステム・タイム・クロックSTCとタイプスタンプ値(NTP値)との差がある範囲に収まるように、発生するシステム・タイム・クロックSTCの補正を行う。
The
NTPがMMTパケットヘッダの送信時タイムスタンプでなく、NTPサーバなどから取得されるNTPパケットにより供給される場合、NTPのフォーマットは、図11に示すような「NTP shortフォーマット」に限定されない。図示は省略するが、64ビットの「NTP Timestamp Format(秒の整数部分32bits+秒の小数部分32bits)」で供給されることもある(IETF RFC 5905 参照)。その場合、受信機内では、受信したNTPの値で受信機のデコーダクロックをセットし、メディアのタイムスタンプ値と比較される。この場合、メディアの表示あるいはデコードのタイムスタンプと受信機クロックとの間の精度の違いは、比較を行う際に受信機側で考慮される。 In the case where NTP is supplied by an NTP packet acquired from an NTP server or the like instead of a transmission time stamp of the MMT packet header, the NTP format is not limited to the “NTP short format” as shown in FIG. Although not shown, it may be supplied in a 64-bit "NTP Timestamp Format (32 bits integer part + 32 bits second fraction part)" (see IETF RFC 5905). In that case, in the receiver, the decoder clock of the receiver is set with the received NTP value and compared with the time stamp value of the media. In this case, the difference in accuracy between the media display or decoding time stamp and the receiver clock is taken into account on the receiver side when making the comparison.
トランスポートアンパケット化部204は、RF受信部201あるいはIP受信部202から順次供給されるMMTパケットのアンパケット化を行って、メディアデータとしての受信データを得る他、メタデータやメッセージを得る。デコード・出力処理部205は、トランスポートアンパケット化部204で得られる受信データの復号化を行ってビデオやオーディオのデータを取得し、メタデータやメッセージに基づいて、ビデオ表示やオーディオ出力を行う。
The
この場合、デコード・出力処理部205は、トランスポートアンパケット化部204で抽出される時刻情報に基づいて、アクセスユニット毎のデコード時刻(Decode_Timestamp)および/または表示時刻(Display_Timestamp)を取得し、デコードタイミングおよび表示タイミングを制御し、ビデオおよびオーディオの同期再生を実現する。このビデオおよびオーディオの同期再生の詳細については、後述する。
In this case, the decoding /
図10に示す送信装置100および受信装置200の動作を簡単に説明する。最初に送信装置100の動作を説明する。アセット発生部101で発生されるビデオやオーディオのデータはエンコーダ102に供給される。そして、このエンコーダ102では、ビデオやオーディオのデータに対して符号化処理が行われて送信データ(符号化データ)が生成される。
Operations of the
エンコーダ102で生成された送信データは、トランスポートパケット化部103に供給される。そして、このトランスポートパケット化部103では、送信データをMPU単位、あるいはそれを細分化したMFU単位でペイロードに挿入した、メディアデータを含むMMTパケットが生成される他、上述したメタデータを含むMMTパケットやメッセージを含むMMTパケットが生成される。
The transmission data generated by the
トランスポートパケット化部103で順次生成されるMMTパケットからなる伝送ストリームは、IP送信部105あるいはRF送信部106に供給される。IP送信部105では、通信ネットワーク伝送路を使用する場合、伝送ストリームがIPパケット化され、通信ネットワーク伝送路を通じて受信側に送られる。また、RF送信部106では、RF伝送路を使用する場合、伝送ストリームがRF変調され、RF伝送路を通じて受信側に送られる。この際、クロック発生部104から出力されるシステム・タイム・クロックSTCに基づいて、送信データに送信タイムスタンプが付加される。
A transport stream composed of MMT packets sequentially generated by the
次に、受信装置200の動作を説明する。送信側から送られてくる伝送ストリームは、RF受信部201あるいはIP受信部202で受信され、MMTパケットが連続して含まれる伝送ストリームが取得される。この伝送ストリームは、トランスポートアンパケット化部204に供給される。このトランスポートアンパケット化部204では、MMTパケットのアンパケット化が行われ、メディアデータとしての受信データが得られる他、メタデータやメッセージ、さらには時刻情報などが得られる。これらのデータや情報は、デコード・出力処理部205に供給される。
Next, the operation of receiving
デコード・出力処理部205では、トランスポートアンパケット化部204で得られる受信データの復号化が行われてビデオやオーディオのデータが取得され、メタデータやメッセージに基づいて、ビデオ表示やオーディオ出力が行われる。この場合、デコード・出力処理部205には、トランスポートアンパケット化部204でMMTパケットから抽出される時刻情報が供給される。そして、デコード・出力処理部205では、時刻情報に基づいて、アクセスユニット毎のデコード時刻(Decode_Timestamp)および/または表示時刻(Display_Timestamp)が取得され、デコードタイミングおよび出力タイミングが制御され、ビデオおよびオーディオの同期再生が実現される。
In the decoding /
[MMTパケットに挿入する時刻情報]
次に、MMTパケットに挿入される時刻情報について説明する。この時刻情報は、上述したように、受信側でデコード時刻(Decode_Timestamp)および/または表示時刻(Display_Timestamp)を取得するための情報である。MMTパケットに含まれるメディアデータは一つ以上のアクセスユニットで構成されている。MMTパケットに挿入される時刻情報は、この一つ以上のアクセスユニットにそれぞれ対応した時刻情報および/または表示時刻を取得するための情報である。
[Time information to be inserted into the MMT packet]
Next, time information inserted into the MMT packet will be described. As described above, this time information is information for obtaining the decoding time (Decode_Timestamp) and / or the display time (Display_Timestamp) on the receiving side. Media data included in the MMT packet is composed of one or more access units. The time information inserted into the MMT packet is information for acquiring time information and / or display time corresponding to each of the one or more access units.
例えば、第1の手法では、MMTパケットに挿入される時刻情報には、初期値、すなわち一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値が含まれる。また、この時刻情報には、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値が含まれる。また、例えば、第2の手法では、MMTパケットに挿入される時刻情報には、表示時刻、あるいは表示時刻およびデコード時刻そのものが含まれる。 For example, in the first method, the time information inserted into the MMT packet includes an initial value, that is, a decode time or display time value corresponding to the first access unit of one or more access units. The time information includes an offset value from the decoding time to the display time corresponding to each access unit. For example, in the second method, the time information inserted into the MMT packet includes the display time or the display time and the decode time itself.
第1の手法について説明する。オフセット値は、絶対オフセット値に対応した相対オフセット値とされる。そのため、時刻情報には、相対オフセット値を絶対オフセット値に変換するための変換情報が付加される。この変換情報には、「timestamp_type」、「time tick」、「au_rate_scale」および「division_factor」などが含まれる。 The first method will be described. The offset value is a relative offset value corresponding to the absolute offset value. Therefore, conversion information for converting a relative offset value into an absolute offset value is added to the time information. This conversion information includes “timestamp_type”, “time tick”, “au_rate_scale”, “division_factor”, and the like.
「timestamp_type」は、初期値がデコード時刻の初期値であるか表示時刻の初期値であるかを示す情報である。「time tick」は、いかなるクロックで制御するかを示す情報である。この情報により、例えば、90kHzのクロックで全てを制御することなどを示す。「au_rate_scale」は、ビデオやオーディオのアクセスユニットのレートを求めるためのスケール情報である。なお、変換情報として、さらに、メディアデータがビデオなのかオーディオなのかを示すフラグ情報「Asset_type」も含まれる。 “Timestamp_type” is information indicating whether the initial value is the initial value of the decoding time or the initial value of the display time. “Time tick” is information indicating which clock is used for control. This information indicates, for example, that everything is controlled with a 90 kHz clock. “Au_rate_scale” is scale information for obtaining the rate of a video or audio access unit. The conversion information further includes flag information “Asset_type” indicating whether the media data is video or audio.
例えば、ビデオの場合、上述の「time_tick」が90kHzを示すとき、「au_rate_scale」は、1500、1800、3000、3600などの値となる。それぞれ、90kHzをその値で割ることで、60Hz、50Hz、30Hz、25Hzなどのビデオレートを算出できる。 For example, in the case of video, when “time_tick” described above indicates 90 kHz, “au_rate_scale” takes a value such as 1500, 1800, 3000, 3600, and the like. By dividing 90 kHz by that value, video rates such as 60 Hz, 50 Hz, 30 Hz, and 25 Hz can be calculated.
また、「division_factor」は、レートを微調整するための要素である。例えば、NTSC系のビデオにおいて、30Hzか29.94Hzかを調整するための値であり、「1」あるいは「1.001」である。 “Division_factor” is an element for finely adjusting the rate. For example, it is a value for adjusting 30 Hz or 29.94 Hz in NTSC video, and is “1” or “1.001”.
ここで、メディアデータがビデオであり、初期値がデコード時刻である場合について説明する。図12は、0番目から6番目までのアクセスユニット(AU)に対応した、デコード時刻「DTS(n)」、オフセット値「DLT(n)」、表示時刻「PTS(n)」の対応関係の一例を示している。この例では、デコード時刻の初期値からの表示時刻の初期値までのオフセット値(dlt_time)は「1」とされ、相対オフセット値とされている。 Here, a case where the media data is video and the initial value is the decoding time will be described. FIG. 12 shows the correspondence relationship between the decoding time “DTS (n)”, the offset value “DLT (n)”, and the display time “PTS (n)” corresponding to the 0th to 6th access units (AU). An example is shown. In this example, the offset value (dlt_time) from the initial value of the decoding time to the initial value of the display time is “1”, which is a relative offset value.
ここで、0番目のアクセスユニットはIピクチャ、1番目のアクセスユニットはPピクチャ、2番目のアクセスユニットはBピクチャ、3番目のアクセスユニットはBピクチャ、4番目のアクセスユニットはPピクチャ、5番目のアクセスユニットはBピクチャ、6番目のアクセスユニットはBピクチャである。そのため、デコード時刻に対して、表示時刻はリオーダー(Reorder)されたものとなる。 Here, the 0th access unit is the I picture, the 1st access unit is the P picture, the 2nd access unit is the B picture, the 3rd access unit is the B picture, the 4th access unit is the P picture, the 5th The access unit is a B picture, and the sixth access unit is a B picture. Therefore, the display time is reordered with respect to the decoding time.
この場合、MMTパケットに挿入されて送信される時刻情報は、デコード時刻の初期値であるTS0(ここでは、TS0=0)と、相対オフセット値DLT(n)とされる。なお、図12において、「Time」はアクセスユニット毎の時刻を相対値で示している。 In this case, the time information inserted and transmitted in the MMT packet is the initial value of decoding time TS0 (here, TS0 = 0) and the relative offset value DLT (n). In FIG. 12, “Time” indicates the time for each access unit as a relative value.
このような時刻情報が受信側に送信される場合、受信側では、以下のように、各アクセスユニットのデコード時刻および表示時刻を、変換情報を用いて、算出できる。この場合、初期値TS0は、最初のアクセスユニットのデコード時刻DTS(0)である。この初期値TS0からのオフセット時間(dlt_time)は、以下の数式(1)で求められる。例えば、典型例として、au_rate_scale =1500で、division_factor =1.001である場合、dlt_time =1500*1.001となる。
dlt_time = au_rate_scale * division_factor ・・・(1)
When such time information is transmitted to the receiving side, the receiving side can calculate the decoding time and the display time of each access unit using the conversion information as follows. In this case, the initial value TS0 is the decoding time DTS (0) of the first access unit. The offset time (dlt_time) from the initial value TS0 is obtained by the following mathematical formula (1). For example, as a typical example, when au_rate_scale = 1500 and division_factor = 1.001, dlt_time = 1500 * 1.001.
dlt_time = au_rate_scale * division_factor (1)
その後のアクセスユニットのデコード時刻DTS(n)は、以下の数式(2)に示すように、オフセット時間(dlt_time)を「time_tick」で割った値を、直前のデコード時刻DTS(n-1)に加算することで求められる。ただし、DTS(0)=TS0である。
DTS(n) = dlt_time / time_tick + DTS(n-1) ・・・(2)
The decoding time DTS (n) of the subsequent access unit is obtained by dividing the offset time (dlt_time) by “time_tick” as the immediately preceding decoding time DTS (n−1) as shown in the following equation (2). It is obtained by adding. However, DTS (0) = TS0.
DTS (n) = dlt_time / time_tick + DTS (n-1) (2)
また、各アクセスユニットの表示時刻PTS(n)は、以下の数式(3)に示すように、オフセット値DLT(n)に「dlt_time / time_tick」を掛けた値を、デコード時刻DTS(n)に加算することで求められる。
PTS(n) = DLT(n) * (dlt_time / time_tick) + DTS(n) ・・・(3)
The display time PTS (n) of each access unit is obtained by multiplying the offset value DLT (n) by “dlt_time / time_tick” to the decode time DTS (n) as shown in the following equation (3). It is obtained by adding.
PTS (n) = DLT (n) * (dlt_time / time_tick) + DTS (n) (3)
次に、メディアデータがビデオであり、初期値が表示時刻である場合について説明する。図13は、図12と同様の、0番目から6番目までのアクセスユニット(AU)に対応した、デコード時刻「DTS(n)」、オフセット値「DLT(n)」、表示時刻「PTS(n)」の対応関係の一例を示している。この例では、デコード時刻の初期値からの表示時刻の初期値までのオフセット値(dlt_time)は「1」とされている。この場合も、デコード時刻に対して、表示時刻はリオーダー(Reorder)されたものとなる。 Next, a case where the media data is video and the initial value is the display time will be described. FIG. 13 shows a decoding time “DTS (n)”, an offset value “DLT (n)”, and a display time “PTS (n) corresponding to the 0th to 6th access units (AU) as in FIG. ) "Is shown as an example. In this example, the offset value (dlt_time) from the initial value of the decoding time to the initial value of the display time is “1”. Also in this case, the display time is reordered with respect to the decoding time.
この場合、MMTパケットに挿入されて送信される時刻情報は、表示時刻の初期値であるTS0(ここでは、TS0=1)と、相対オフセット値DLT(n)とされる。なお、図13において、「Time」はアクセスユニット毎の時刻を相対値で示している。 In this case, the time information inserted and transmitted in the MMT packet is the initial value of the display time TS0 (here, TS0 = 1) and the relative offset value DLT (n). In FIG. 13, “Time” indicates the time for each access unit as a relative value.
このような時刻情報が受信側に送信される場合、受信側では、以下のように、各アクセスユニットのデコード時刻および表示時刻を、変換情報を用いて、算出できる。この場合、初期値TS0は、最初のアクセスユニットの表示時刻PTS(0)である。そのため、最初のアクセスユニットのデコード時刻DTS(0)は、以下の数式(4)に示すように、PTS(0)から、オフセット時間分、すなわちを「dlt_time」を「time_tick」で割った値にオフセット値DLT(n)を乗じた値を、減算することで求められる。
DTS(0) = PTS(0) − (dlt_time / time_tick) * DLT(n) ・・・(4)
When such time information is transmitted to the receiving side, the receiving side can calculate the decoding time and the display time of each access unit using the conversion information as follows. In this case, the initial value TS0 is the display time PTS (0) of the first access unit. Therefore, the decoding time DTS (0) of the first access unit is set to the offset time, that is, “dlt_time” divided by “time_tick” from PTS (0) as shown in the following equation (4). The value obtained by multiplying the offset value DLT (n) is obtained by subtraction.
DTS (0) = PTS (0)-(dlt_time / time_tick) * DLT (n) (4)
ここで、「dlt_time」は、以下の数式(5)に示すように、「au_rate_scale」に「division_factor」を掛けることで求められる。
dlt_time = au_rate_scale * division_factor ・・・(5)
Here, “dlt_time” is obtained by multiplying “au_rate_scale” by “division_factor” as shown in the following formula (5).
dlt_time = au_rate_scale * division_factor (5)
その後のアクセスユニットのデコード時刻DTS(n)は、以下の数式(6)に示すように、オフセット時間(dlt_time)を「time_tick」で割った値を、直前のデコード時刻DTS(n-1)に加算することで求められる。
DTS(n) = dlt_time / time tick + DTS(n-1) ・・・(6)
The decoding time DTS (n) of the subsequent access unit is obtained by dividing a value obtained by dividing the offset time (dlt_time) by “time_tick” into the immediately preceding decoding time DTS (n−1) as shown in the following formula (6). It is obtained by adding.
DTS (n) = dlt_time / time tick + DTS (n-1) (6)
また、各アクセスユニットの表示時刻PTS(n)は、以下の数式(7)に示すように、オフセット値DLT(n)に「dlt_time / time_tick」を掛けた値を、デコード時刻DTS(n)に加算することで求められる。
PTS(n) = DLT(n) * (dlt_time / time_tick) + DTS(n) ・・・(7)
The display time PTS (n) of each access unit is obtained by multiplying the offset value DLT (n) by “dlt_time / time_tick” to the decode time DTS (n) as shown in the following equation (7). It is obtained by adding.
PTS (n) = DLT (n) * (dlt_time / time_tick) + DTS (n) (7)
次に、メディアデータがオーディオであり、初期値がデコード時刻である場合について説明する。図14は、0番目から6番目までのアクセスユニット(AU)に対応した、デコード時刻「DTS(n)」、オフセット値「DLT(n)」、オーディオ出力時刻「PTS(n)」の対応関係の一例を示している。この例では、「dlt_time / time_tick」は「1」とされている。 Next, the case where the media data is audio and the initial value is the decoding time will be described. FIG. 14 shows the correspondence between the decode time “DTS (n)”, the offset value “DLT (n)”, and the audio output time “PTS (n)” corresponding to the 0th to 6th access units (AU). An example is shown. In this example, “dlt_time / time_tick” is set to “1”.
なお、オーディオアクセスユニットは、複数のオーディオサンプルの集合体である。ここで、「dlt_time」は、以下の数式(8)に示すように、「au_rate_scale」に「division_factor」を掛けることで求められる。例えば、典型例として、オーディオサンプリング周波数が44.1KHzで、オーディオ符号化方式が1024サンプルを1つのオーディオアクセスユニットとする場合には、au_rate_scale =2089.8で、division_factor =1であり、dlt_time =2089.8*1となる。
dlt_time = au_rate_scale * division_factor ・・・(8)
The audio access unit is an aggregate of a plurality of audio samples. Here, “dlt_time” is obtained by multiplying “au_rate_scale” by “division_factor” as shown in the following formula (8). For example, as a typical example, when the audio sampling frequency is 44.1 KHz and the audio encoding method is 1024 samples as one audio access unit, au_rate_scale = 2089.8, division_factor = 1, and dlt_time = 2089 8 * 1.
dlt_time = au_rate_scale * division_factor (8)
この場合、MMTパケットに挿入されて送信される時刻情報は、オーディオ出力時刻(表示時刻)の初期値であるTS0(ここでは、TS0=0)と、相対オフセット値DLT(n)とされる。なお、図14において、「Time」はアクセスユニット毎の時刻を相対値で示している。通常の場合、リオーダー(Reorder)はなく、デコードした後は、そのまま出力バッファに転送されるので、デコード時刻DTS(n)とオーディオ出力時刻PTS(n)との差分を示すDLT(n)は「0」となる。 In this case, the time information inserted and transmitted in the MMT packet is TS0 (here, TS0 = 0) that is the initial value of the audio output time (display time) and the relative offset value DLT (n). In FIG. 14, “Time” indicates the time for each access unit as a relative value. Normally, there is no reorder, and after decoding, the data is transferred to the output buffer as it is. Therefore, DLT (n) indicating the difference between the decoding time DTS (n) and the audio output time PTS (n) is “0”.
このような時刻情報が受信側に送信される場合、受信側では、以下のように、各アクセスユニットのデコード時刻およびオーディオ出力時刻を、変換情報を用いて、算出できる。この場合、初期値TS0は、最初のアクセスユニットのオーディオ出力時刻PTS(0)であるが、そのまま、最初のアクセスユニットのデコード時刻DTS(0)ともなる。 When such time information is transmitted to the receiving side, the decoding side and the audio output time of each access unit can be calculated using the conversion information on the receiving side as follows. In this case, the initial value TS0 is the audio output time PTS (0) of the first access unit, but is also the decoding time DTS (0) of the first access unit as it is.
その後のアクセスユニットのデコード時刻DTS(n)およびオーディオ出力時刻PTS(n)は、以下の数式(9)に示すように、オフセット時間(dlt_time)を「time_tick」で割った値を、直前のオーディオ出力時刻PTS(n-1)に加算することで求められる。ただし、PTS(0)=TS0である。
PTS(n) = DTS(n) = (dlt_time / time_tick) + PTS(n-1) ・・・(9)
The decoding time DTS (n) and audio output time PTS (n) of the subsequent access unit are obtained by dividing the offset time (dlt_time) by “time_tick” as shown in the following formula (9). It is obtained by adding to the output time PTS (n-1). However, PTS (0) = TS0.
PTS (n) = DTS (n) = (dlt_time / time_tick) + PTS (n-1) (9)
[受信装置のデコード・出力処理部の構成例]
受信装置200のデコード・出力処理部205についてさらに説明する。図15は、デコード・出力処理部205の構成例を示している。このデコード・出力処理部205は、デマルチプレクサ301と、ビデオデコーダ302と、ビデオ表示部303と、オーディオデコーダ304と、オーディオ出力部305と、制御部306を有している。
[Configuration example of decoding / output processing unit of receiving device]
The decoding /
デマルチプレクサ301は、トランスポートアンパケット化部204の出力から種々の情報あるいはデータを抽出する。すなわち、デマルチプレクサ301は、ビデオのアクセスユニット毎の符号化ビデオデータを抽出すると共に、オーディオのアクセスユニット毎の符号化オーディオデータを抽出する。
The
また、デマルチプレクサ301は、ビデオ、オーディオの各アクセスユニットのデコード時刻DTS(n)および表示時刻(オーディオ出力時刻)PTS(n)を取得するための時刻情報を抽出する。この時刻情報には、上述したように初期値TS0と、相対オフセット値DLT(n)が含まれている。
The
また、デマルチプレクサ301は、相対オフセット値DLT(n)を絶対オフセット値に変換するための種々の情報(変換情報)を抽出する。この変換情報には、上述したように、「timestamp_type」、「time_tick」、「au_rate_scale」および「division_factor」などが含まれている。
Further, the
ビデオデコーダ302は、デマルチプレクサ301で抽出されるビデオの各アクセスユニットの符号化ビデオデータに対してデコード処理を行って各アクセスユニットの復号化されたビデオデータを得る。ビデオ表示部303は、ビデオデコーダ302で得られた各アクセスユニットの復号化ビデオデータに基づいてビデオ表示(画像表示)を行う。
The
オーディオデコーダ304は、デマルチプレクサ301で抽出されるオーディオの各アクセスユニットの符号化オーディオデータに対してデコード処理を行って各アクセスユニットの復号化されたオーディオデータを得る。オーディオ出力部305は、オーディオデコーダ304で得られた各アクセスユニットの復号化オーディオデータに基づいてオーディオ出力(音声出力)を行う。
The
制御部306は、デマルチプレクサ301で抽出される時刻情報および変換情報に基づいて、ビデオ、オーディオの各アクセスユニットのデコード時刻DTS(n)および表示時刻(オーディオ出力時刻)PTS(n)を求める。そして、制御部306は、以下のように、オーディオ、ビデオの同期再生制御を行う。
Based on the time information and conversion information extracted by the
すなわち、制御部306は、ビデオの各アクセスユニットのデコード時刻DTS(n)および表示時刻PTS(n)に基づいて、各アクセスユニットのデコードタイミングおよび表示タイミングを制御する。この場合、各アクセスユニットのデコードを、クロック発生部203(図7参照)で発生されるシステム・クロックSTCがデコード時刻DTS(n)となるタイミングで開始するように、ビデオデコーダ302を制御する。また、各アクセスユニットによるビデオ表示を、このシステム・クロックSTCが表示時刻PTS(n)となるタイミングで開始するように、ビデオ表示部303を制御する。
That is, the
また、制御部306は、オーディオの各アクセスユニットのデコード時刻DTS(n)およびオーディオ出力時刻PTS(n)に基づいて、各アクセスユニットのデコードタイミングおよび表示タイミングを制御する。この場合、各アクセスユニットのデコードを、システム・クロックSTCがデコード時刻DTS(n)となるタイミングで開始するようにオーディオデコーダ304を制御する。また、各アクセスユニットによるオーディオ出力を、このシステム・クロックSTCがオーディオ出力時刻PTS(n)となるタイミングで開始するように、オーディオ出力部305を制御する。
The
図15に示すデコード・出力制御部205の動作を簡単に説明する。トランスポートアンパケット化部204の出力は、デマルチプレクサ301に供給される。このデマルチプレクサ301では、ビデオのアクセスユニット毎の符号化ビデオデータが抽出され、ビデオデコーダ302に供給される。
The operation of the decoding /
ビデオデコーダ302では、ビデオの各アクセスユニットの符号化ビデオデータに対してデコード処理が行われ、各アクセスユニットの復号化されたビデオデータが得られる。このように復号化された各アクセスユニットのビデオデータは、ビデオ表示部303に供給される。ビデオ表示部303では、各アクセスユニットのビデオデータに基づいてビデオ表示(画像表示)が行われる。
The
また、デマルチプレクサ301では、オーディオのアクセスユニット毎の符号化オーディオデータが抽出され、オーディオデコーダ304に供給される。オーディオデコーダ304では、オーディオの各アクセスユニットの符号化オーディオデータに対してデコード処理が行われ、各アクセスユニットの復号化されたオーディオデータが得られる。このように復号化された各アクセスユニットのオーディオデータは、オーディオ出力部305に供給される。オーディオ出力部305では、各アクセスユニットのオーディオデータに基づいてオーディオ出力(音声出力)が行われる。
The
また、デマルチプレクサ301では、ビデオ、オーディオの各アクセスユニットのデコード時刻DTS(n)および表示時刻(オーディオ出力時刻)PTS(n)を取得するための時刻情報(初期値TS0、相対オフセット値DLT(n))が抽出される。さらに、デマルチプレクサ301では、相対オフセット値DLT(n)を絶対オフセット値に変換するための種々の変換情報が抽出される。これらの時刻情報および変換情報は、制御部306に供給される。
The
制御部306では、時刻情報および変換情報に基づいて、ビデオ、オーディオの各アクセスユニットのデコード時刻DTS(n)および表示時刻(オーディオ出力時刻)PTS(n)が算出される。そして、制御部306では、このデコード時刻DTS(n)および表示時刻(オーディオ出力時刻)PTS(n)に基づいて、オーディオ、ビデオの同期再生制御が行われる。
The
この場合、制御部306では、ビデオの各アクセスユニットのデコード時刻DTS(n)および表示時刻PTS(n)に基づいて、ビデオの各アクセスユニットのデコードタイミングおよび表示タイミングが制御される。また、制御部306では、オーディオの各アクセスユニットのデコード時刻DTS(n)およびオーディオ出力時刻PTS(n)に基づいて、オーディオの各アクセスユニットのデコードタイミングおよび出力タイミングが制御される。
In this case, the
なお、上述の説明では、MMTパケットに挿入される時刻情報が第1の手法による場合、つまり時刻情報が、デコード時刻あるいは表示時刻の初期値と、各アクセスユニットに対応したオフセット値である場合を説明した。詳細説明は省略するが、MMTパケットに挿入される時刻情報が第2の手法による場合、つまり時刻情報が、各アクセスユニットの表示時刻、あるいは表示時時刻およびデコード時刻そのものである場合も考えられる。その場合、制御部306では、それらの時刻がそのまま用いられる。
In the above description, the time information inserted into the MMT packet is based on the first method, that is, the time information is the initial value of the decoding time or the display time and the offset value corresponding to each access unit. explained. Although detailed description is omitted, it is conceivable that the time information inserted into the MMT packet is based on the second method, that is, the time information is the display time of each access unit, or the display time and the decoding time itself. In that case, the
図16は、制御部306におけるAV同期再生制御の一例を示すタイミングチャートである。図16(a)は、クロック発生部203で発生されるシステム・クロックSTCを示している。このシステム・クロックSTCは、上述したように、送信側から送られてくる送信タイムスタンプ(NTP値)あるいは、NTPパケットで供給されるタイムスタンプ値(NTP値)によりクロックセットが行われる。
FIG. 16 is a timing chart showing an example of AV synchronized playback control in the
図16(b)に示すように、システム・クロックSTCがビデオの各アクセスユニットのデコード時刻DTS(n)となる毎に、ビデオの各アクセスユニットのデコードが開始される。そして、図16(c)に示すように、システム・タイム・クロックSTCがビデオの各アクセスユニットの表示時刻PTS(n)となる毎に、ビデオの各アクセスユニットのビデオ表示(画像表示)が開始される。 As shown in FIG. 16B, every time the system clock STC reaches the decoding time DTS (n) of each video access unit, decoding of each video access unit is started. Then, as shown in FIG. 16C, every time the system time clock STC reaches the display time PTS (n) of each video access unit, video display (image display) of each video access unit starts. Is done.
図16(d)に示すように、システム・クロックSTCがオーディオの各アクセスユニットのデコード時刻DTS(n)となる毎に、オーディオの各アクセスユニットのデコードが開始されると共に、オーディオ出力(音声出力)が開始される。図16(e)は、オーディオサンプル出力を示している。 As shown in FIG. 16D, every time the system clock STC reaches the decoding time DTS (n) of each audio access unit, the decoding of each audio access unit is started and the audio output (audio output) ) Is started. FIG. 16E shows an audio sample output.
なお、MFUにフラグメント化されているパケットが、伝送上でドロップされた場合、あるいは、受信装置200内で表示に使わないと判断された場合、受信側で再生されるタイムスタンプ・テーブルのアクセスユニットのカウントと、実際に受信するアクセスユニットと関係は、図17に示すようになる。MFUヘッダのシーケンス・ナンバー(sequence_number)によって整順されたMFUデータとして受信するアクセスユニット(AU)をタイムスタンプ・テーブル上で検査し、圧縮バッファからはDTS(n)のタイミングでデコーダに転送する。また、デコードバッファからPTS(n)のタイミングで表示用プロセスへ転送する。このようにして、受信しないアクセスユニットあるいは、表示させないと判断したアクセスユニットに対しての、タイムスタンプ(Timestamp)を参照するか、しないかを判断する。
When a packet fragmented in MFU is dropped on transmission, or when it is determined not to be used for display in the receiving
[ファイルから伝送パケットに変換する際の時刻情報の生成方法]
ファイルの状態から伝送パケットへ変換する際、MMTファイルから以下のように取得された情報に基づいて、MMTパケットに挿入すべき時刻情報(受信側でデコード時刻および/または表示時刻を取得するための時刻情報)が生成される。ファイル内の情報から、MMTパケットに挿入する時刻情報の生成は、トランスポートパケット化部103で行われる。
[Method for generating time information when converting from file to transmission packet]
When converting from a file state to a transmission packet, based on the information acquired from the MMT file as follows, time information to be inserted into the MMT packet (for obtaining the decoding time and / or display time on the receiving side) Time information) is generated. Generation of time information to be inserted into the MMT packet from information in the file is performed by the
最初に、ファイル全体に対して「moov」情報を用いる場合について説明する。この場合、“Moov”ボックスの配下の‘stts’, ‘ctts’のボックスで、ファイル内に含まれる全サンプルのデコード時刻、表示時刻が供給される。この際、‘stts’(decoding time to sample)のボックスにより、デコード時刻が与えられる。また、‘ctts’(composition time to sample)のボックスによりデコード時刻と表示時刻の差分が与えられる。また、‘stss’(sync sample table )のボックスでは、ランダムアクセスのサンプル位置が示される。 First, the case where “moov” information is used for the entire file will be described. In this case, the decoding time and display time of all the samples included in the file are supplied in the “stts” and “ctts” boxes under the “Moov” box. At this time, a decoding time is given by a box of 'stts' (decoding time to sample). Further, the difference between the decoding time and the display time is given by a box of 'ctts' (composition time to sample). In addition, in the 'stss' (sync sample table) box, a random access sample position is indicated.
次に、フラグメントごとに「moof」情報を用いる場合について説明する。この場合、“Moof”ボックスの配下の、‘trun’, ‘tfra’のボックスでフラグメントごとのサンプルのデコード時刻、表示時刻が供給される。この際、‘trun’(track fragment run)のボックスにより、フラグメントの先頭位置からのオフセット位置と、サンプルのデコード時刻、表示時刻とのオフセット(ビデオの場合はフレーム数、オーディオの場合はオーディオサンプル数)が供給される。また、‘tfra’ (track fragment random access)のボックスにより、ランダムアクセス位置と、そのサンプルのデコード時刻が供給され、また、サンプルごとのデコード時刻と表示時刻との差分値から、表示時刻も分かる。 Next, a case where “moof” information is used for each fragment will be described. In this case, the decode time and display time of the sample for each fragment are supplied in the 'trun' and 'tfra' boxes under the "Moof" box. At this time, use the 'trun' (track fragment run) box to set the offset between the fragment start position and the sample decoding time and display time (number of frames for video, number of audio samples for audio). ) Is supplied. Also, a box of 'tfra' (track fragment random access) supplies the random access position and the decode time of the sample, and the display time can also be known from the difference value between the decode time and the display time for each sample.
[時刻情報の挿入位置]
次に、時刻情報の挿入方法について説明する。図18は、MMTパケットに時刻情報を挿入する方法を概略的に示している。図18(a)は、MPUペイロードヘッダ(MPU payload header)の中で時刻情報を送る場合を示している。この場合、MPUのペイロードが複数のアクセスユニット(AU)を含むときは、ペイロード・ヘッダ・エクステンション(payload header extension)に、その複数のアクセスユニット分の時刻情報を挿入する。一方、MPUペイロードに一つのアクセスユニットを持つような構成では、ペイロード・ヘッダ・エクステンションに、個々のアクセスユニットに対して時刻情報を挿入する。
[Time information insertion position]
Next, a method for inserting time information will be described. FIG. 18 schematically shows a method for inserting time information into an MMT packet. FIG. 18A shows a case where time information is sent in an MPU payload header. In this case, when the payload of the MPU includes a plurality of access units (AU), time information for the plurality of access units is inserted into the payload header extension. On the other hand, in a configuration having one access unit in the MPU payload, time information is inserted into the payload, header, and extension for each access unit.
図18(b)は、MPUペイロードの中でフラグメント化されたアクセスユニット(AU)毎に時刻情報を送る場合を示している。この場合、MFUに一つのアクセスユニットを持つような構成として、MFU・ヘッダ・エクステンション(MFU header extension)に、個々のアクセスユニットに対して時刻情報を挿入する。あるいは、MFUペイロード(MFU payload)に、個々のアクセスユニットに対して時刻情報を挿入する。また、図18(c)は、メッセージ(Message)で時刻情報を送る場合を示している。この場合、少なくとも、RAP(ランダムアクセスポイント)単位で、対象のパケットID(packet_id)で関連付けするメディアに対しての時刻情報を持つメッセージを伝送する。 FIG. 18B shows a case where time information is sent for each access unit (AU) fragmented in the MPU payload. In this case, as a configuration in which one access unit is included in the MFU, time information is inserted into each MFU header extension (MFU header extension). Alternatively, time information is inserted into each MFU payload in the MFU payload. FIG. 18C shows a case where time information is sent as a message. In this case, at least a message having time information for the medium associated with the target packet ID (packet_id) is transmitted in RAP (random access point) units.
図19は、送受信遅延を低くするために、各アクセスユニットに対応して時刻情報(受信側でデコード時刻および/または表示時刻を取得するための時刻情報)を挿入する場合のパケット構成の一例を示している。図19(a)は、MMTペイロードヘッダに時刻情報を挿入する場合のパケット構成例である。図19(b)は、MFU内に時刻情報を挿入する場合のパケット構成例である。さらに、図19(c)は、MMTメッセージに時刻情報を挿入する場合のパケット構成例である。 FIG. 19 shows an example of a packet configuration when time information (time information for obtaining a decoding time and / or a display time on the receiving side) is inserted corresponding to each access unit in order to reduce transmission / reception delay. Show. FIG. 19A is an example of a packet configuration when time information is inserted into the MMT payload header. FIG. 19B is an example of a packet configuration when time information is inserted into the MFU. Further, FIG. 19C shows an example of a packet configuration when time information is inserted into the MMT message.
なお、各パケット構成例において、対象のアクセスユニットを持つMMTパケットがランダムアクセスの先頭パケット、つまりランダムアクセスポイントのパケットである場合には、MMTファイルの“styp”,“sidx”,“mmpu”,“moov”の各ボックスのメタデータが挿入されたMMTパケットと共に伝送される。一方、このMMTパケットがランダムアクセスの非先頭パケット、つまり非ランダムアクセスポイントのパケットである場合には、上述のメタデータが挿入されたMMTパケットは伝送されない In each packet configuration example, when the MMT packet having the target access unit is a random access head packet, that is, a packet of a random access point, “styp”, “sidx”, “mmpu”, The metadata of each box of “moov” is transmitted together with the inserted MMT packet. On the other hand, if this MMT packet is a random access non-leading packet, that is, a packet of a non-random access point, the MMT packet in which the above-mentioned metadata is inserted is not transmitted.
MPUペイロードヘッダ(MPU payload header)の中で時刻情報を送る場合についてさらに説明する。図20は、MMTパケットの全体の構造例(Syntax)を示している。MMTパケット(mmt packet())には、MMTパケットヘッダ(mmtp_header())と、MMTペイロード(mmtp_payload())が含まれている。さらに、MMTペイロードには、MMTペイロードヘッダ(mmtp_payload_header())と、MMTペイロードデータ(mmtp_payload_data())が含まれている。 The case where time information is sent in the MPU payload header will be further described. FIG. 20 shows an example of the overall structure (Syntax) of an MMT packet. The MMT packet (mmt packet ()) includes an MMT packet header (mmtp_header ()) and an MMT payload (mmtp_payload ()). Further, the MMT payload includes an MMT payload header (mmtp_payload_header ()) and MMT payload data (mmtp_payload_data ()).
図21は、MMTパケットヘッダ(mmtp_header())の構造例(Syntax)を示している。詳細説明は省略するが、このMMTパケットヘッダには、上述したように、パケットID(packet_id)、パケット・シーケンス・ナンバー(packet_sequence_number)、トランスミッション・タイムスタンプ(transmission_timestamp)、トランスミッション・プライオリティ(transmission Priority)、プライベート・ユーザデータ(private user_data)などが含まれている。 FIG. 21 illustrates a structure example (Syntax) of the MMT packet header (mmtp_header ()). Although detailed description is omitted, in the MMT packet header, as described above, the packet ID (packet_id), the packet sequence number (packet_sequence_number), the transmission time stamp (transmission_timestamp), the transmission priority (transmission Priority), Includes private user data (private user_data).
図22は、MMTペイロードヘッダ(mmtp_payload_header())の構造例(Syntax)を示している。詳細説明は省略するが、このMMTペイロードヘッダには、上述したように、ペイロード・レングス(payload_length)、ペイロード・タイプ(payload_type)、フラグメント・タイプ(fragment_type)、フラグメント・カウント(fragment_count)、アグリゲーション・インフォ・フラグ(aggregation_info_flag)、RAPフラグ(random_access_point_flag)、データ・オフセット(data_offset)、データユニット・ナンバー(numDU)、データユニット・オフセット(DU_offset)、ペイロード・シーケンス・ナンバー(payload_seq_number)、ヘッダ・エクステンション・フィールド・フラグ(header_extension_field_flag)などが含まれている。 FIG. 22 shows a structural example (Syntax) of the MMT payload header (mmtp_payload_header ()). Although detailed description is omitted, as described above, the MMT payload header includes the payload length (payload_length), the payload type (payload_type), the fragment type (fragment_type), the fragment count (fragment_count), and the aggregation info. Flag (aggregation_info_flag), RAP flag (random_access_point_flag), data offset (data_offset), data unit number (numDU), data unit offset (DU_offset), payload sequence number (payload_seq_number), header extension field A flag (header_extension_field_flag) and the like are included.
そして、ヘッダ・エクステンション・フィールド・フラグが“1”であるとき、このMMTペイロードヘッダには、MMTペイロード・ヘッダ・エクステンション(mmtp_payload_header_extension())がさらに含まれる。 When the header extension field flag is “1”, the MMT payload header further includes an MMT payload header extension (mmtp_payload_header_extension ()).
図23は、MMTペイロード・ヘッダ・エクステンション(mmtp_payload_header_extension())の構造例(Syntax)を示している。この構造例は、MPUペイロードヘッダ(MPU payload header)の中で時刻情報を送る場合に対応している。図24は、この構造例の主要な情報の内容(Semantics)を示している。 FIG. 23 illustrates a structure example (Syntax) of the MMT payload header extension (mmtp_payload_header_extension ()). This structural example corresponds to a case where time information is sent in an MPU payload header. FIG. 24 shows the contents (Semantics) of main information of this structural example.
「payload_header_extension_type」の16ビットフィールドは、MMTペイロード・ヘッダ・エクステンションのタイプを示す。例えば、“0x0001”は、処理のための時刻情報(タイプスタンプ)を提供することを示す。「payload_header_extension_length」の16ビットフィールドは、MMTペイロード・ヘッダ・エクステンションのサイズを示す。「asset_type」2ビットフィールドは、アセットタイプを示す。例えば、“01”はビデオを示し、“10”はオーディオを示す。 The 16-bit field of “payload_header_extension_type” indicates the type of the MMT payload header extension. For example, “0x0001” indicates that time information (type stamp) for processing is provided. The 16-bit field of “payload_header_extension_length” indicates the size of the MMT payload header extension. The “asset_type” 2-bit field indicates the asset type. For example, “01” indicates video and “10” indicates audio.
「time_tick」の2ビットフィールドは、いかなるクロックで制御するかを示す。“01”は90kHzの精度のクロックの値を示す。“10”は「NTP short time」であることを示す。「au_rate_scale」の3ビットフィールドは、ビデオやオーディオのアクセスユニットのレートを求めるためのスケール情報である。 A 2-bit field of “time_tick” indicates which clock is used for control. “01” indicates a clock value with an accuracy of 90 kHz. “10” indicates “NTP short time”. A 3-bit field of “au_rate_scale” is scale information for obtaining a rate of a video or audio access unit.
アセットタイプがビデオの場合、“000”は3750の値を示し、この値によりレートとして24Hzを求めることができる。また、“001”は3600の値を示し、この値によりレートとして25Hzを求めることができる。また、“010”は3000の値を示し、この値によりレートとして30Hzを求めることができる。 When the asset type is video, “000” indicates a value of 3750, and a rate of 24 Hz can be obtained from this value. “001” indicates a value of 3600, and 25 Hz can be obtained as a rate based on this value. “010” indicates a value of 3000, and 30 Hz can be obtained as a rate based on this value.
また、“011”は1800の値を示し、この値によりレートとして50Hzを求めることができる。また、“100”は1500の値を示し、この値によりレートとして60Hzを求めることができる。また、“101”は900の値を示し、この値によりレートとして100Hzを求めることができる。また、“110”は750の値を示し、この値によりレートとして120Hzを求めることができる。なお、“111”はリザーブとされる。 Further, “011” indicates a value of 1800, and 50 Hz can be obtained as a rate based on this value. “100” indicates a value of 1500, and 60 Hz can be obtained as a rate based on this value. “101” indicates a value of 900, and 100 Hz can be obtained as a rate based on this value. “110” indicates a value of 750, and 120 Hz can be obtained as a rate based on this value. Note that “111” is reserved.
一方、アセットタイプがオーディオの場合、“000”は1920の値を示し、この値によりレートとして48KHz*1024を求めることができる。また、“001”は2089.8の値を示し、この値によりレートとして44.1KHz*1024を求めることができる。また、“010”は2880の値を示し、この値によりレートとして32KHz*1024を求めることができる。なお、その他はリザーブとされる。 On the other hand, when the asset type is audio, “000” indicates a value of 1920, and 48 KHz * 1024 can be obtained as a rate based on this value. Further, “001” indicates a value of 2089.8, and 44.1 KHz * 1024 can be obtained as a rate based on this value. “010” indicates a value of 2880, and 32 KHz * 1024 can be obtained as a rate based on this value. Others are reserved.
「division_factor」の2ビットフィールドは、レートを微調整するための要素である。アセットタイプがビデオの場合、“00”は1を示し、“01”は1.001を示す。また、アセットタイプがオーディオの場合、“00”は1を示し、“01”は2を示す。 A 2-bit field of “division_factor” is an element for finely adjusting the rate. When the asset type is video, “00” indicates 1 and “01” indicates 1.001. When the asset type is audio, “00” indicates 1 and “01” indicates 2.
「timestamp_type」の1ビットフィールドは、初期値がデコード時刻の初期値であるか表示時刻の初期値であるかを示す情報である。“1”はデコード時刻(decode_timestamp)であることを示し、“0”は表示時刻(display_timestamp)であることを示す。 The 1-bit field of “timestamp_type” is information indicating whether the initial value is the initial value of the decoding time or the initial value of the display time. “1” indicates a decoding time (decode_timestamp), and “0” indicates a display time (display_timestamp).
「timestamp_for_processing」の32ビットフィールドは、初期値を示す。この場合、「time_tick」が“01”であるときは、90KHz精度のものとなる。また、「time_tick」が“10”であるときは、RFC5059で規定される「NTP short timestamp」となる。 A 32-bit field of “timestamp_for_processing” indicates an initial value. In this case, when “time_tick” is “01”, the accuracy is 90 kHz. When “time_tick” is “10”, it is “NTP short timestamp” defined by RFC5059.
「au_count_in_mpu」の10ビットフィールドは、MPUに含まれるアクセスユニット(AU)の個数を示す。「delta_sequence_type」の1ビットフィールドは、オフセット値が可変長符号であるか、8ビット固定長であるかを示す。“1”は可変長符号であることを示し、“0”は8ビット固定長であることを示す。なお、オフセット値の可変長符号化については後述する。 A 10-bit field of “au_count_in_mpu” indicates the number of access units (AU) included in the MPU. A 1-bit field of “delta_sequence_type” indicates whether the offset value is a variable-length code or an 8-bit fixed length. “1” indicates a variable-length code, and “0” indicates an 8-bit fixed length. The variable length coding of the offset value will be described later.
「delta_fixed_length_code」の8ビットフィールドは、8ビット固定長のオフセット値を挿入する領域である。「delta_variable_length_code」の可変長領域は、可変長符号としてのオフセット値を挿入する領域である。なお、「tralling_filler()」は、MMTペイロード・ヘッダ・エクステンション(mmtp_payload_header_extension())のサイズがバイトアラインされるように、「delta_variable_length_code」の累積に対し、適宜、1〜7ビットの連続する“0”を挿入するものである。 The 8-bit field of “delta_fixed_length_code” is an area into which an offset value having an 8-bit fixed length is inserted. The variable length area of “delta_variable_length_code” is an area into which an offset value as a variable length code is inserted. Note that “tralling_filler ()” is a continuous “0” of 1 to 7 bits as appropriate for the accumulation of “delta_variable_length_code” so that the size of the MMT payload header extension (mmtp_payload_header_extension ()) is byte aligned. Is to be inserted.
なお、図24の内容(Semantics)に追加することで、ビデオの場合、time_tick=60Hz、au_rate_scale=1を割り当て、オーディオの場合、time_tick=44.1KHz、au_rate_scale=1を割り当てることもできる。 24, it is possible to assign time_tick = 60 Hz and au_rate_scale = 1 in the case of video, and time_tick = 44.1 KHz and au_rate_scale = 1 in the case of audio.
なお、上述では、MMTペイロード・ヘッダ・エクステンションに、デコード時刻あるいは表示時刻と、オフセット値を挿入する、第1の手法に対応した構造例を示した。このMMTペイロード・ヘッダ・エクステンションに表示時刻、あるいは表示時刻およびデコード時刻を挿入する、第2の手法に対応した構造例も考えられる。 In the above description, the structure example corresponding to the first method in which the decoding time or display time and the offset value are inserted into the MMT payload header extension has been shown. A structure example corresponding to the second method of inserting the display time or the display time and the decode time into the MMT payload header extension is also conceivable.
図25は、その場合におけるMMTペイロード・ヘッダ・エクステンション(mmtp_payload_header_extension())の構造例(Syntax)を示している。この構造例も、MPUペイロードヘッダ(MPU payload header)の中で時刻情報を送る場合に対応している。図26は、この構造例の主要な情報の内容(Semantics)を示している。 FIG. 25 shows a structural example (Syntax) of the MMT payload header extension (mmtp_payload_header_extension ()) in that case. This structural example also corresponds to the case where time information is sent in the MPU payload header. FIG. 26 shows contents (Semantics) of main information of this structural example.
「payload_header_extension_type」の16ビットフィールドは、MMTペイロード・ヘッダ・エクステンションのタイプを示す。例えば、“0x01”は、NTP short time フォーマットの表示タイムスタンプ(表示時刻)を供給することを示す。“0x02”は、NTP short time フォーマットの表示タイムスタンプと、デコードタイムスタンプ(デコード時刻)とを供給することを示す。“0x03”は、90KHz精度での表示タイムスタンプを供給することを示す。“0x04”は、90KHz精度での表示タイムスタンプと、デコードタイムスタンプとを供給することを示す。 The 16-bit field of “payload_header_extension_type” indicates the type of the MMT payload header extension. For example, “0x01” indicates that a display time stamp (display time) in the NTP short time format is supplied. “0x02” indicates that a display time stamp in the NTP short time format and a decode time stamp (decode time) are supplied. “0x03” indicates that a display time stamp with 90 KHz accuracy is supplied. “0x04” indicates that a display time stamp with a precision of 90 KHz and a decode time stamp are supplied.
「payload_header_extension_length」の16ビットフィールドは、MMTペイロード・ヘッダ・エクステンションのサイズを示す。「presentation_timestamp」の32ビットフィールドは、表示タイムスタンプ(表示時刻)の値を示す。「decoding_timestamp」の32ビットフィールドは、デコードタイムスタンプ(デコード時刻)の値を示す。 The 16-bit field of “payload_header_extension_length” indicates the size of the MMT payload header extension. A 32-bit field of “presentation_timestamp” indicates a value of a display time stamp (display time). A 32-bit field of “decoding_timestamp” indicates a value of a decoding time stamp (decoding time).
次に、MPUペイロードの中でフラグメント化されたアクセスユニット(AU)毎に時刻情報を送る場合についてさらに説明する。この場合、例えば、図27に示すように、アクセスユニット(AU)毎に、表示時刻(表示タイムスタンプ)PTSと、オフセット値DLTを、MFUヘッダ・エクステンション(mfu_header_extension)の領域に挿入して伝送する。なお、図示しないが、表示時刻(表示タイムスタンプ)PTSの代わりに、デコード時刻(デコードタイムスタンプ)DTSを伝送することも可能である。 Next, a case where time information is sent for each access unit (AU) fragmented in the MPU payload will be further described. In this case, for example, as shown in FIG. 27, for each access unit (AU), the display time (display time stamp) PTS and the offset value DLT are inserted into the MFU header extension (mfu_header_extension) area and transmitted. . Although not shown, it is also possible to transmit a decode time (decode time stamp) DTS instead of the display time (display time stamp) PTS.
図28は、MFUの構造例(Syntax)を示している。MFUには、MFUヘッダ(mfu_header())と、MFUメディアデータ(mfu_media_data())が含まれている。図29、図30は、MFUヘッダ(mfu_header())の構造例(Syntax)を示している。図31は、この構造例の主要な情報の内容(Semantics)を示している。 FIG. 28 shows a structural example (Syntax) of the MFU. The MFU includes an MFU header (mfu_header ()) and MFU media data (mfu_media_data ()). FIGS. 29 and 30 show a structural example (Syntax) of the MFU header (mfu_header ()). FIG. 31 shows the contents (Semantics) of main information of this structural example.
「sequence_number」の32ビットフィールドは、MPU内のMFUのシーケンス番号である。「trackref_index」の8ビットフィールドは、メディアトラックの番号である。「sample_number」の32ビットフィールドは、当MFUが属するサンプル(アクセスユニット)の moof ボックス内の順番を示す。「priority」の8ビットフィールドは、MPU内の当MFUの優先度を示す。「dependency_counter」の8ビットフィールドは、当MFUにデコードが依存しているMFUの数を示す。 The 32-bit field of “sequence_number” is the sequence number of the MFU in the MPU. The 8-bit field of “trackref_index” is the number of the media track. The 32-bit field of “sample_number” indicates the order in the moof box of the sample (access unit) to which the MFU belongs. An 8-bit field of “priority” indicates the priority of the MFU in the MPU. The 8-bit field of “dependency_counter” indicates the number of MFUs whose decoding depends on the MFU.
「offset」の16ビットフィールドは、mdat ボックスからのオフセットを示す。「length」の32ビットフィールドは、MFUの大きさを示す。「multiLayer_flag」の1ビットフィールドは、マルチレイヤ情報の有無を示す。「mfu_header_extension_flag」の1ビットフィールドは、MFUエクステンション(mfu_extension)の有無を示す。 A 16-bit field of “offset” indicates an offset from the mdat box. A 32-bit field of “length” indicates the size of the MFU. A 1-bit field of “multiLayer_flag” indicates the presence / absence of multi-layer information. A 1-bit field of “mfu_header_extension_flag” indicates whether or not there is an MFU extension (mfu_extension).
「dependency_id」、「depth_flag」、「temporal_id」、「quality_id」、「priority_id」、「view_id」、「layer_id」は、MFU同士の種々の依存関係を示すID群である。「Item_ID」は、ファイルのIDを示す。MFUヘッダ・エクステンション・フラグ(mfu_header_extension_flag)が“1”であるとき、MFUヘッダ・エクステンション(mfu_header_extension())が存在する。 “Dependency_id”, “depth_flag”, “temporal_id”, “quality_id”, “priority_id”, “view_id”, and “layer_id” are ID groups indicating various dependencies between MFUs. “Item_ID” indicates the ID of the file. When the MFU header extension flag (mfu_header_extension_flag) is “1”, the MFU header extension (mfu_header_extension ()) exists.
図32は、MFUヘッダ・エクステンション(mfu_header_extension())の構造例(Syntax)を示している。図33は、この構造例の主要な情報の内容(Semantics)を示している。「asset_type」2ビットフィールドは、アセットタイプを示す。例えば、“01”はビデオを示し、“10”はオーディオを示す。 FIG. 32 shows a structural example (Syntax) of the MFU header extension (mfu_header_extension ()). FIG. 33 shows the contents (Semantics) of main information of this structural example. The “asset_type” 2-bit field indicates the asset type. For example, “01” indicates video and “10” indicates audio.
「time_tick」の2ビットフィールドは、いかなるクロックで制御するかを示す。“01”は90kHzの精度のクロックで全てを制御することを示す。“10”は「NTP short time」であることを示す。「au_rate_scale」の10ビットフィールドは、ビデオやオーディオのアクセスユニットのレートを求めるためのスケール情報である。 A 2-bit field of “time_tick” indicates which clock is used for control. “01” indicates that everything is controlled by a clock having an accuracy of 90 kHz. “10” indicates “NTP short time”. A 10-bit field of “au_rate_scale” is scale information for obtaining a rate of a video or audio access unit.
アセットタイプがビデオの場合、“000”は3750の値を示し、この値によりレートとして24Hzを求めることができる。また、“001”は3600の値を示し、この値によりレートとして25Hzを求めることができる。また、“010”は3000の値を示し、この値によりレートとして30Hzを求めることができる。 When the asset type is video, “000” indicates a value of 3750, and a rate of 24 Hz can be obtained from this value. “001” indicates a value of 3600, and 25 Hz can be obtained as a rate based on this value. “010” indicates a value of 3000, and 30 Hz can be obtained as a rate based on this value.
また、“011”は1800の値を示し、この値によりレートとして50Hzを求めることができる。また、“100”は1500の値を示し、この値によりレートとして60Hzを求めることができる。また、“101”は900の値を示し、この値によりレートとして100Hzを求めることができる。また、“110”は750の値を示し、この値によりレートとして120Hzを求めることができる。なお、“111”はリザーブとされる。 Further, “011” indicates a value of 1800, and 50 Hz can be obtained as a rate based on this value. “100” indicates a value of 1500, and 60 Hz can be obtained as a rate based on this value. “101” indicates a value of 900, and 100 Hz can be obtained as a rate based on this value. “110” indicates a value of 750, and 120 Hz can be obtained as a rate based on this value. Note that “111” is reserved.
一方、アセットタイプがオーディオの場合、“000”は1920の値を示し、この値によりレートとして48KHz*1024を求めることができる。また、“001”は2089.8の値を示し、この値によりレートとして44.1KHz*1024を求めることができる。また、“010”は2880の値を示し、この値によりレートとして32KHz*1024を求めることができる。なお、その他はリザーブとされる。 On the other hand, when the asset type is audio, “000” indicates a value of 1920, and 48 KHz * 1024 can be obtained as a rate based on this value. Further, “001” indicates a value of 2089.8, and 44.1 KHz * 1024 can be obtained as a rate based on this value. “010” indicates a value of 2880, and 32 KHz * 1024 can be obtained as a rate based on this value. Others are reserved.
「division_factor」の2ビットフィールドは、レートを微調整するための要素である。アセットタイプがビデオの場合、“00”は1を示し、“01”は1.001を示す。また、アセットタイプがオーディオの場合、“00”は1を示し、“01”は2を示す。 A 2-bit field of “division_factor” is an element for finely adjusting the rate. When the asset type is video, “00” indicates 1 and “01” indicates 1.001. When the asset type is audio, “00” indicates 1 and “01” indicates 2.
「timestamp_for_processing」の32ビットフィールドは、対応するアクセスユニットの時刻を示す。この場合、「time_tick」が“01”であるときは、90KHz精度のものとなる。また、「time_tick」が“10”であるときは、RFC5059で規定される「NTP short timestamp」となる。 A 32-bit field of “timestamp_for_processing” indicates the time of the corresponding access unit. In this case, when “time_tick” is “01”, the accuracy is 90 kHz. When “time_tick” is “10”, it is “NTP short timestamp” defined by RFC5059.
「timestamp_type」の1ビットフィールドは、上述の「timestamp_for_processing」で示される時刻がデコード時刻であるか表示時刻であるかを示す。“1”はデコード時刻(decode_timestamp)であることを示し、“0”は表示時刻(display_timestamp)であることを示す。「delta_fixed_length_code」の8ビットフィールドは、8ビット固定長のオフセット値を挿入する領域である。 The 1-bit field of “timestamp_type” indicates whether the time indicated by the above “timestamp_for_processing” is a decoding time or a display time. “1” indicates a decoding time (decode_timestamp), and “0” indicates a display time (display_timestamp). The 8-bit field of “delta_fixed_length_code” is an area into which an offset value having an 8-bit fixed length is inserted.
なお、上述では、MFUヘッダ・エクステンションに、時刻情報(例えば、表示時刻PTSあるいはデコード時刻DTSと、オフセット値DLT)を挿入する構造例を示した。MFUペイロードに時刻情報を挿入する構造例も考えられる。図34、図35は、その場合におけるMFUヘッダ(mfu_header())の構造例(Syntax)を示している。図36は、この構造例の主要な情報の内容(Semantics)を示している。 In the above description, the structure example in which the time information (for example, the display time PTS or the decode time DTS and the offset value DLT) is inserted into the MFU header extension is shown. A structural example in which time information is inserted into the MFU payload is also conceivable. FIG. 34 and FIG. 35 show a structural example (Syntax) of the MFU header (mfu_header ()) in that case. FIG. 36 shows the contents (Semantics) of main information of this structural example.
「timestamp_type」の2ビットフィールドは、MPUペイロードの先頭にタイムスタンプが供給されるかどうかを示す。“00”は、タイムスタンプは供給されないことを示す。この場合、MPUペイロードの最初のバイト(1st バイト)がフラグメントされたMPUペイロードの先頭バイトと一致する。“01”は、MPUペイロードの先頭に表示タイムスタンプが供給されることを示す。この場合、表示タイムスタンプの直後にフラグメントされたMPUペイロードの先頭バイトが供給される。“10”は、MFUペイロードの先頭にデコードタイムスタンプと表示タイムスタンプの双方が供給されることを示す。この場合、タイムスタンプの直後にフラグメントされたMPUペイロードの先頭バイトが供給される。 A 2-bit field of “timestamp_type” indicates whether a time stamp is supplied to the head of the MPU payload. “00” indicates that no time stamp is supplied. In this case, the first byte (1st byte) of the MPU payload matches the first byte of the fragmented MPU payload. “01” indicates that a display time stamp is supplied to the head of the MPU payload. In this case, the first byte of the MPU payload fragmented immediately after the display time stamp is supplied. “10” indicates that both the decode time stamp and the display time stamp are supplied to the head of the MFU payload. In this case, the first byte of the MPU payload fragmented immediately after the time stamp is supplied.
「time_tick」の1ビットフィールドは、タイムスタンプの値の精度を示す。“0”は、90000Hz精度であることを示す。“1”は、NTP short time フォーマットであることを示す。 A 1-bit field of “time_tick” indicates the accuracy of the time stamp value. “0” indicates that the accuracy is 90000 Hz. “1” indicates an NTP short time format.
図37は、MFUペイロード(mfu_payload())の構造例(Syntax)およびその主要な情報の内容(Semantics)を示している。「presentation_timestamp」の32ビットフィールドは、表示タイムスタンプ(表示時刻)の値を示す。「decoding_timestamp」の32ビットフィールドは、デコードタイムスタンプ(デコード時刻)の値を示す。MFUヘッダにおける「timestamp_type 」が“01”であるとき、ペイロードデータ(payload_data)の直前に「presentation_timestamp」の32ビットフィールドが存在する。また、MFUヘッダにおける「timestamp_type 」が“10”であるとき、ペイロードデータ(payload_data)の直前に「presentation_timestamp」の32ビットフィールドおよび「decoding_timestamp」の32ビットフィールドが存在する。 FIG. 37 shows a structural example (Syntax) of the MFU payload (mfu_payload ()) and contents (Semantics) of main information thereof. A 32-bit field of “presentation_timestamp” indicates a value of a display time stamp (display time). A 32-bit field of “decoding_timestamp” indicates a value of a decoding time stamp (decoding time). When “timestamp_type” in the MFU header is “01”, a 32-bit field of “presentation_timestamp” exists immediately before payload data (payload_data). When “timestamp_type” in the MFU header is “10”, a 32-bit field of “presentation_timestamp” and a 32-bit field of “decoding_timestamp” exist immediately before payload data (payload_data).
図38、図39は、MFUペイロードに時刻情報を挿入する場合における、MFUヘッダ(mfu_header())の他の構造例(Syntax)を示している。図40は、この構造例の主要な情報の内容(Semantics)を示している。「payload_header_flag」の1ビットフラグ情報は、MFUペイロードの先頭に、MFUペイロードヘッダが存在するかどうかを示す。“0”は、MFUペイロードヘッダは存在しないことを示す。この場合、MFUペイロードの最初のバイト(1st バイト)はフラグメントされたMPUペイロードの先頭バイトと一致する。“1”は、MFUペイロードヘッダが存在することを示す。この場合、MFUペイロードヘッダの直後にフラグメントされたMPUペイロードの先頭バイトが供給される。 FIG. 38 and FIG. 39 show another structural example (Syntax) of the MFU header (mfu_header ()) when time information is inserted into the MFU payload. FIG. 40 shows the contents (Semantics) of main information of this structural example. The 1-bit flag information of “payload_header_flag” indicates whether or not an MFU payload header exists at the head of the MFU payload. “0” indicates that there is no MFU payload header. In this case, the first byte (1st byte) of the MFU payload matches the first byte of the fragmented MPU payload. “1” indicates that an MFU payload header exists. In this case, the first byte of the MPU payload fragmented immediately after the MFU payload header is supplied.
図41は、MFUペイロード(mfu_payload())の構造例(Syntax)を示している。図42は、この構造例の主要な情報の内容(Semantics)を示している。「mfu_payload_header_type」の8ビットフィールドは、MFUペイロードヘッダのタイプを示す。例えば、“0x01”は、NTP short time フォーマットの表示タイムスタンプ(表示時刻)を供給することを示す。“0x02”は、NTP short time フォーマットの表示タイムスタンプと、デコードタイムスタンプ(デコード時刻)とを供給することを示す。“0x03”は、90KHz精度での表示タイムスタンプを供給することを示す。“0x04”は、90KHz精度での表示タイムスタンプと、デコードタイムスタンプとを供給することを示す。 FIG. 41 shows a structural example (Syntax) of the MFU payload (mfu_payload ()). FIG. 42 shows the contents (Semantics) of main information of this structural example. The 8-bit field of “mfu_payload_header_type” indicates the type of the MFU payload header. For example, “0x01” indicates that a display time stamp (display time) in the NTP short time format is supplied. “0x02” indicates that a display time stamp in the NTP short time format and a decode time stamp (decode time) are supplied. “0x03” indicates that a display time stamp with 90 KHz accuracy is supplied. “0x04” indicates that a display time stamp with a precision of 90 KHz and a decode time stamp are supplied.
「mfu_payload_header_length」の8ビットフィールドは、本エレメント以後のMFUペイロードヘッダのサイズをバイト数で示す。「presentation_timestamp」の32ビットフィールドは、表示タイムスタンプ(表示時刻)の値を示す。「decoding_timestamp」の32ビットフィールドは、デコードタイムスタンプ(デコード時刻)の値を示す。 The 8-bit field of “mfu_payload_header_length” indicates the size of the MFU payload header after this element in bytes. A 32-bit field of “presentation_timestamp” indicates a value of a display time stamp (display time). A 32-bit field of “decoding_timestamp” indicates a value of a decoding time stamp (decoding time).
次に、メッセージ(Message)で時刻情報を送る場合についてさらに説明する。図43は、タイムスタンプ・メッセージ(Timestamp Message)の構造例(Syntax)を示している。このタイムスタンプ・メッセージは、MPUに含まれる各アクセスユニット(AU)のデコード時刻(decode_timestamp)、表示時刻(display_timestamp)を受信側で取得するために、受信側の時刻情報を供給するためのメッセージである。 Next, the case where time information is sent by a message will be further described. FIG. 43 shows a structural example (Syntax) of a time stamp message (Timestamp Message). This time stamp message is a message for supplying time information on the receiving side in order to obtain the decoding time (decode_timestamp) and display time (display_timestamp) of each access unit (AU) included in the MPU on the receiving side. is there.
このタイムスタンプ・メッセージには、メッセージ内容が配置されるタイムスタンプ・テーブル(timestamp_table())が含まれる。図44は、このタイムスタンプ・テーブル(timestamp_table())の構造例(Syntax)を示している。詳細説明は省略するが、このタイムスタンプ・テーブルには、上述したMMTペイロード・ヘッダ・エクステンション(mmtp_payload_header_extension())(図23、図24参照)と同様の情報(時刻情報、変換情報)が含まれる。 This time stamp message includes a time stamp table (timestamp_table ()) in which message contents are arranged. FIG. 44 shows a structural example (Syntax) of this time stamp table (timestamp_table ()). Although detailed description is omitted, this time stamp table includes information (time information and conversion information) similar to the above-described MMT payload header extension (mmtp_payload_header_extension ()) (see FIGS. 23 and 24). .
このタイムスタンプ・メッセージには、パケットID(acket_ID)が含まれ、アセット(asset)レベルでの関連付が行われる。その他、このタイムスタンプ・メッセージには、従来のテーブル(table)構成に従い、テーブルID(table_id)、バージョン(version)、レングス(length)などの情報が追加されている。ここで、テーブルIDやバージョンは、システムでユニークに割り当てられるものである。また、レングスは、当テーブル全体のサイズを示す。 This time stamp message includes a packet ID (acket_ID) and is associated at the asset level. In addition, information such as a table ID (table_id), a version (version), and a length (length) is added to the time stamp message in accordance with a conventional table configuration. Here, the table ID and version are uniquely assigned by the system. The length indicates the size of the entire table.
このタイムスタンプ・テーブル(timestamp_table)は、メッセージ(message)群を束ねるメッセージである。パッケージ・アクセス・メッセージ(Package Access message)の中のメッセージペイロード(message payload())で伝送することも可能である。図45は、パッケージ・アクセス・メッセージ(Package Access message)の構造例(Syntax)を示している。 This timestamp table (timestamp_table) is a message that bundles a group of messages. It is also possible to transmit with a message payload (message payload ()) in a package access message. FIG. 45 shows a structural example (Syntax) of a package access message.
その場合、パッケージ・アクセス・メッセージとしては、図示のように、ヘッダ部分にパッケージ・アクセス・メッセージを示す「message_id」から始まり、「version」、「length」が続く。そして、「number_of_tables」でテーブル(table)の数が示された後、そのテーブルの数だけループ(loop)があり、各ループの中は、「table_id」から始まり、「table_version」、「table_length」が続く。「table_id」は、タイムスタンプ・テーブル(timestamp_table)の中の「table_id」と一致する。「table_length」は、「timestamp_table」を含み、他の「table」を含んだサイズを示す。その後、「message_payload」の中に、「timestamp_table」がそのまま供給される。 In this case, as shown in the figure, the package access message starts with “message_id” indicating the package access message in the header portion, followed by “version” and “length”. After “number_of_tables” indicates the number of tables, there are as many loops as the number of tables. Each loop starts with “table_id” and “table_version” and “table_length” Continue. “Table_id” matches “table_id” in the timestamp table (timestamp_table). “Table_length” includes “timestamp_table” and indicates a size including other “table”. Thereafter, “timestamp_table” is supplied as it is in “message_payload”.
[オフセット値の可変長符号化]
次に、オフセット値DLT(n)の可変長符号化について説明する。上述したように、アクセスユニット(AU)毎のデコード時刻および表示時刻を受信側で再現するために、各アクセスユニットのオフセット値を時系列的に伝送することが行われる。このオフセット値は、配信順(=デコード順)の系列を表示順に整列する際に有効となるものであり、主にビデオに関するピクチャ・リオーダー(picture reorder)を正しく行い、かつ同期表示を確保する目的で参照される。
[Variable length coding of offset value]
Next, variable length coding of the offset value DLT (n) will be described. As described above, in order to reproduce the decoding time and display time for each access unit (AU) on the reception side, the offset value of each access unit is transmitted in time series. This offset value is effective when arranging the sequence in the distribution order (= decoding order) in the display order. Mainly, the picture reorder for the video is correctly performed and the synchronous display is ensured. Referenced for purposes.
図46は、アクセスユニットAU(n)のデコード時刻D(n)と、表示時刻R(n)の対応関係の一例を示している。この例の場合、リオーダー距離M=3であり、以下の値をアクセスユニットの数だけ符号化することになる。
D(0)→R(0)のオフセット値DLT=+1
D(1)→R(1)のオフセット値DLT=+3
D(2)→R(2)のオフセット値DLT=0
D(3)→R(3)のオフセット値DLT=0
FIG. 46 shows an example of the correspondence relationship between the decode time D (n) of the access unit AU (n) and the display time R (n). In this example, the reorder distance M = 3, and the following values are encoded by the number of access units.
D (0) → R (0) offset value DLT = + 1
D (1) → R (1) offset value DLT = + 3
Offset value DLT of D (2) → R (2) = 0
D (3) → R (3) offset value DLT = 0
よって、オフセット値DLTの時系列表現は、+1,+3,0,0,+3,0,0,3,・・・となる。これは、リオーダー距離Mに依存するものであり、リオーダー距離Mが大きくなれば、”0”を入れる割合が増大する。本実施の形態では、このことを利用して、0発生確率に応じて有効な符号サイズを確保して、伝送容量に合わせる目的で可変長符号化を行う。 Therefore, the time series representation of the offset value DLT is +1, +3, 0, 0, +3, 0, 0, 3,. This depends on the reorder distance M. As the reorder distance M increases, the rate of inserting “0” increases. In this embodiment, using this, variable length coding is performed for the purpose of ensuring an effective code size according to the probability of occurrence of 0 and matching the transmission capacity.
図47は、時系列のオフセット値を可変長符号化するための可変長符号テーブルの一例を示している。高確率で発生する“0”に対してショートワード(short word)が割り当てられ、リオーダー距離Mの単位で発生する値には、ロングワード(long word)が割り当てられる。このような可変長符号化により、時系列のオフセット値の伝送容量を効率よく低減できる。 FIG. 47 shows an example of a variable-length code table for variable-length encoding time-series offset values. A short word is assigned to “0” generated with high probability, and a long word is assigned to a value generated in units of the reorder distance M. By such variable length coding, the transmission capacity of time-series offset values can be efficiently reduced.
なお、リオーダー距離Mが大きくなるほどBピクチャの割合が大きくなるので、このような可変長符号化による伝送容量の低減効率は大きくなっていく。図48は、このことを示している。例えば、リオーダー距離Mが3の場合、「IPBB」の4個のアクセスユニットのオフセット値の伝送容量は10ビットとなり、平均すると、10/4ビットとなる。これに対して、例えば、リオーダー距離Mが6の場合、「IPBBBBB」の7個のアクセスユニットのオフセット値の伝送容量は13ビットとなり、平均すると、13/7ビットとなる。 Since the proportion of B pictures increases as the reorder distance M increases, the transmission capacity reduction efficiency by such variable length encoding increases. FIG. 48 illustrates this. For example, when the reorder distance M is 3, the transmission capacity of the offset value of the four access units “IPBB” is 10 bits, and the average is 10/4 bits. On the other hand, for example, when the reorder distance M is 6, the transmission capacity of the offset value of seven access units of “IPBBBBBB” is 13 bits, and on average, it is 13/7 bits.
上述したように、図1に示す送受信システム10においては、送信装置100から受信装置200に送られるMMTパケットに、受信側で各アクセスユニットのデコード時刻および/または表示時刻を取得するための時刻情報が挿入されるものである。したがって、例えば、受信側でデコード時刻および/または表示時刻を取得するための時刻情報の伝送を良好に行うことができる。
As described above, in the transmission /
また、図1に示す送受信システム10においては、時刻情報は、例えば、一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値(初期値)と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値とされるものでる。また、このオフセット値は絶対オフセット値ではなく、相対オフセット値とされる。したがって、時刻情報の伝送を効率よく行うことができる。
In the transmission /
また、図1に示す送受信システム10においては、時系列のオフセットを可変長符号化して伝送するものである。したがって、時刻情報の伝送容量の低減を図ることができる。
In the transmission /
<2.変形例>
なお、上述実施の形態においては、ファイル内の時刻情報をMMTパケットに反映する方法を記述したが、“moov”内、あるいは“moof”内の時刻情報をそのままMMTペイロードヘッダあるいはMFU内の領域、またはメッセージにて供給することとしても類似の効果が得られる。
<2. Modification>
In the above embodiment, the method for reflecting the time information in the file to the MMT packet is described. However, the time information in “moov” or “moof” is used as it is in the MMT payload header or MFU area, Alternatively, a similar effect can be obtained by supplying a message.
また、上述実施の形態においては、本技術を、MMT構造のトランスポートパケット、つまりMMTパケットが含まれる伝送ストリームをRF伝送路あるいは通信ネットワーク伝送路を通じて伝送する送受信システム10に適用したものである。本技術は、同様の伝送ストリームをRF伝送路あるいは通信ネットワーク伝送路を通じて伝送する送受信システムにも同様に適用できることは勿論である。
In the above-described embodiment, the present technology is applied to the transmission /
また、本技術は、以下のような構成を取ることもできる。
(1)ペイロードに伝送メディアを含む第1の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信部と、
上記第1の伝送パケットまたは上記第2の伝送パケットに、上記受信側でデコード時刻および/または表示時刻を取得するための時刻情報を挿入する時刻情報挿入部とを備える
送信装置。
(2)上記第1の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
上記時刻情報挿入部で挿入される時刻情報は、上記一つ以上のアクセスユニットにそれぞれ対応したデコード時刻および/または表示時刻を取得するための情報である
前記(1)に記載の送信装置。
(3)上記時刻情報挿入部で挿入される時刻情報は、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値とを有する
前記(2)に記載の送信装置。
(4)上記オフセット値は、絶対オフセット値に対応した相対オフセット値であり、
上記時刻情報挿入部で挿入される時刻情報には、上記相対オフセット値を上記絶対オフセット値に変換するための変換情報が付加される
前記(3)に記載の送信装置。
(5)上記時刻情報挿入部は、上記相対オフセット値を可変長符号化した後に挿入する
前記(4)に記載の送信装置。
(6)上記時刻情報挿入部で挿入される時刻情報は、上記一つ以上のアクセスユニットのそれぞれに対応した表示時刻、あるいは表示時刻およびデコード時刻である
前記(2)に記載の送信装置。
(7)上記第1の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、
上記時刻情報挿入部は、上記ペイロードヘッダ部に、上記時刻情報を挿入する
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記第1の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、
上記ペイロード本体部には、上記伝送メディアがフラグメント化された一つ以上のアクセスユニットをそれぞれ含むフラグメントペイロードがフラグメントヘッダを伴って配置され、
上記時刻情報挿入部は、上記フラグメントヘッダに、対応するアクセスユニットの時刻情報を挿入する
前記(1)から(6)のいずれかに記載の送信装置。
(9)上記第1の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、
上記ペイロード本体部には、上記伝送メディアがフラグメント化された一つ以上のアクセスユニットをそれぞれ含むフラグメントペイロードがフラグメントヘッダを伴って配置され、
上記時刻情報挿入部は、上記フラグメントペイロードに、対応するアクセスユニットの時刻情報を挿入する
前記(1)から(6)のいずれかに記載の送信装置。
(10)上記第2の伝送パケットのペイロード部は、ペイロードヘッダ部とペイロード本体部とからなり、
上記時刻情報挿入部は、上記ペイロード本体部に、上記時刻情報を挿入する
前記(1)から(6)のいずれかに記載の送信装置。
(11)上記所定の伝送路は、RF伝送路または通信ネットワーク伝送路である
前記(1)から(10)のいずれかに記載の送信装置。
(12)上記第1の伝送パケットおよび上記第2の伝送パケットは、MMTパケットである
前記(1)から(11)のいずれかに記載の送信装置。
(13)ペイロードに伝送メディアを含む第1の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成ステップと、
上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信ステップと、
上記第1の伝送パケットまたは上記第2の伝送パケットに、上記受信側でデコード時刻および/または表示時刻を取得するための時刻情報を挿入する時刻情報挿入ステップとを備える
送信方法。
(14)ペイロードに伝送メディアを含む第1の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、送信側から所定の伝送路を通じて受信する伝送ストリーム受信部を備え、
上記第1の伝送パケットまたは上記第2の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、
上記伝送ストリームから取り出された上記伝送メディアを、上記時刻情報に基づいて取得された上記デコード時刻および/または上記表示時刻を用いて処理する伝送メディア処理部をさらに備える
受信装置。
(15)上記第1の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
上記時刻情報は、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までの絶対オフセット値に対応した相対オフセット値であり、
上記相対オフセット値を上記絶対オフセット値に変換するオフセット値変換部をさらに備える
前記(14)に記載の受信装置。
(16)ペイロードに伝送メディアを含む第1の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、送信側から所定の伝送路を通じて受信する伝送ストリーム受信ステップを備え、
上記第1の伝送パケットまたは上記第2の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、
上記伝送ストリームから取り出された上記伝送メディアを、上記時刻情報に基づいて取得された上記デコード時刻および/または記表示時刻を用いて処理する伝送メディア処理ステップをさらに備える
受信方法。
Moreover, this technique can also take the following structures.
(1) a transmission stream generation unit that generates a transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload are time-division multiplexed; ,
A transmission stream transmitter that transmits the transmission stream to a receiver through a predetermined transmission path;
A transmission apparatus comprising: a time information insertion unit that inserts time information for obtaining a decoding time and / or a display time on the reception side into the first transmission packet or the second transmission packet.
(2) The transmission medium included in the first transmission packet is composed of one or more access units,
The transmission device according to (1), wherein the time information inserted by the time information insertion unit is information for acquiring a decoding time and / or a display time corresponding to each of the one or more access units.
(3) The time information inserted by the time information insertion unit is based on the decode time or display time value corresponding to the first access unit of the one or more access units and the decode time corresponding to each access unit. The transmission device according to (2), further including an offset value up to a display time.
(4) The offset value is a relative offset value corresponding to the absolute offset value.
The transmission apparatus according to (3), wherein conversion information for converting the relative offset value into the absolute offset value is added to the time information inserted by the time information insertion unit.
(5) The transmission device according to (4), wherein the time information insertion unit inserts the relative offset value after variable-length coding.
(6) The transmission device according to (2), wherein the time information inserted by the time information insertion unit is a display time or a display time and a decode time corresponding to each of the one or more access units.
(7) The payload of the first transmission packet includes a payload header part and a payload body part,
The transmission device according to any one of (1) to (6), wherein the time information insertion unit inserts the time information into the payload header portion.
(8) The payload of the first transmission packet includes a payload header part and a payload body part,
In the payload main body portion, a fragment payload including one or more access units obtained by fragmenting the transmission medium is arranged with a fragment header,
The transmission device according to any one of (1) to (6), wherein the time information insertion unit inserts time information of a corresponding access unit into the fragment header.
(9) The payload of the first transmission packet includes a payload header portion and a payload body portion,
In the payload main body portion, a fragment payload including one or more access units obtained by fragmenting the transmission medium is arranged with a fragment header,
The transmission device according to any one of (1) to (6), wherein the time information insertion unit inserts time information of a corresponding access unit into the fragment payload.
(10) The payload portion of the second transmission packet includes a payload header portion and a payload body portion,
The transmission device according to any one of (1) to (6), wherein the time information insertion unit inserts the time information into the payload main body.
(11) The transmission device according to any one of (1) to (10), wherein the predetermined transmission path is an RF transmission path or a communication network transmission path.
(12) The transmission device according to any one of (1) to (11), wherein the first transmission packet and the second transmission packet are MMT packets.
(13) A transmission stream generation step of generating a transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload are time-division multiplexed. ,
A transmission stream transmission step of transmitting the transmission stream to a reception side through a predetermined transmission path;
A time information inserting step of inserting time information for obtaining a decoding time and / or a display time on the receiving side into the first transmission packet or the second transmission packet.
(14) A transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload are multiplexed in a time-division manner from a transmission side. A transmission stream receiving unit for receiving through a path;
Time information for obtaining a decoding time and / or a display time is inserted into the first transmission packet or the second transmission packet,
A receiving apparatus, further comprising: a transmission media processing unit that processes the transmission medium extracted from the transmission stream using the decoding time and / or the display time acquired based on the time information.
(15) The transmission medium included in the first transmission packet includes one or more access units,
The time information includes a value of a decoding time or display time corresponding to the first access unit of the one or more access units, and a relative value corresponding to an absolute offset value from the decoding time corresponding to each access unit to the display time. Offset value,
The receiving device according to (14), further including an offset value conversion unit that converts the relative offset value into the absolute offset value.
(16) A transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload are multiplexed in a time-division manner from a transmission side. A transmission stream receiving step for receiving through the path;
Time information for obtaining a decoding time and / or a display time is inserted into the first transmission packet or the second transmission packet,
A reception method further comprising: a transmission media processing step of processing the transmission media extracted from the transmission stream using the decoding time and / or display time acquired based on the time information.
本技術の主な特徴は、MMTパケットに、複数のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までの相対オフセット値とを挿入することで、時刻情報の伝送を効率よく行い得るようにしたことである(図15、図18参照)。 The main feature of the present technology is that an MMT packet includes a decode time or display time value corresponding to the first access unit of a plurality of access units, and a relative offset value from the decode time to the display time corresponding to each access unit. The time information can be efficiently transmitted by inserting (see FIGS. 15 and 18).
10・・・送受信システム
100・・・トランスポートパケット送信装置
101・・・アセット発生部
102・・・エンコーダ
103・・・トランスポートパケット化部
104・・・クロック発生部
105・・・IP送信部
106・・・RF送信部
200・・・トランスポートパケット受信装置
201・・・RF受信部
202・・・IP受信部
203・・・クロック発生部
204・・・トランスポートアンパケット化部
205・・・デコード・出力処理部
301・・・デマルチプレクサ
302・・・ビデオデコーダ
303・・・ビデオ表示部
304・・・オーディオデコーダ
305・・・オーディオ出力部
306・・・制御部
DESCRIPTION OF
Claims (11)
上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信部を備え、
上記第1の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
上記第2の伝送パケットに、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応した表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値を挿入する時刻情報挿入部をさらに備える
送信装置。 A transmission stream generation unit that generates a transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload are multiplexed in a time division manner;
A transmission stream transmitting unit that transmits the transmission stream to a receiving side through a predetermined transmission path ;
The transmission medium included in the first transmission packet is composed of one or more access units,
Time information for inserting a display time value corresponding to the first access unit of the one or more access units and an offset value from the decode time to the display time corresponding to each access unit into the second transmission packet. A transmission device further comprising an insertion unit .
上記時刻情報挿入部は、上記相対オフセット値を上記絶対オフセット値に変換するための変換情報を挿入する
請求項1に記載の送信装置。 The offset value is a relative offset value corresponding to the absolute offset value,
The transmission device according to claim 1 , wherein the time information insertion unit inserts conversion information for converting the relative offset value into the absolute offset value.
請求項2に記載の送信装置。 The transmission apparatus according to claim 2 , wherein the time information insertion unit inserts the relative offset value after variable-length coding.
上記時刻情報挿入部は、上記ペイロード本体部に、上記表示時刻の値を挿入する
請求項1に記載の送信装置。 The payload portion of the second transmission packet includes a payload header portion and a payload body portion,
The transmission device according to claim 1, wherein the time information insertion unit inserts the value of the display time into the payload main body.
請求項1に記載の送信装置。 The transmission device according to claim 1, wherein the predetermined transmission path is an RF transmission path or a communication network transmission path.
請求項1に記載の送信装置。 The transmission apparatus according to claim 1, wherein the first transmission packet and the second transmission packet are MMT packets.
請求項1に記載の送信装置。 The transmission device according to claim 1, wherein the information regarding the transmission medium included in the second transmission packet is control information regarding the transmission medium.
上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信ステップを有し、
上記第1の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
上記第2の伝送パケットに、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応した表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値を挿入する時刻情報挿入ステップをさらに備える
送信方法。 A transmission stream generating step of generating a transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information on the transmission medium in a payload are time-division multiplexed;
A transmission stream transmission step of transmitting the transmission stream to a reception side through a predetermined transmission path ;
The transmission medium included in the first transmission packet is composed of one or more access units,
Time information for inserting a display time value corresponding to the first access unit of the one or more access units and an offset value from the decode time to the display time corresponding to each access unit into the second transmission packet. further comprising transmitting method insertion steps.
上記第1の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
上記第2の伝送パケットには、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応した表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値が挿入されており、
上記伝送ストリームから取り出された上記伝送メディアを、上記表示時刻の値および上記オフセット値に基づいて上記伝送メディアの同期再生を行う伝送メディア処理部をさらに備える
受信装置。 A transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload is time-division multiplexed is received from a transmission side through a predetermined transmission path. A transmission stream receiver
The transmission medium included in the first transmission packet is composed of one or more access units,
In the second transmission packet, a display time value corresponding to the first access unit of the one or more access units and an offset value from the decode time to the display time corresponding to each access unit are inserted. And
A receiving apparatus, further comprising: a transmission media processing unit that performs synchronous playback of the transmission media on the basis of the display time value and the offset value for the transmission media extracted from the transmission stream.
上記伝送メディア処理部は、上記相対オフセット値を上記絶対オフセット値に変換して用いるThe transmission media processing unit converts the relative offset value into the absolute offset value and uses it.
請求項9に記載の受信装置。The receiving device according to claim 9.
上記第1の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
上記第2の伝送パケットには、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応した表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値が挿入されており、
上記伝送ストリームから取り出された上記伝送メディアを、上記表示時刻の値および上記オフセット値に基づいて上記伝送メディアの同期再生を行う伝送メディア処理ステップをさらに有する
受信方法。 A transmission stream in which a first transmission packet including a transmission medium in a payload and a second transmission packet including information related to the transmission medium in a payload is time-division multiplexed is received from a transmission side through a predetermined transmission path. A transmission stream receiving step,
The transmission medium included in the first transmission packet is composed of one or more access units,
In the second transmission packet, a display time value corresponding to the first access unit of the one or more access units and an offset value from the decode time to the display time corresponding to each access unit are inserted. And
A receiving method further comprising a transmission media processing step of performing synchronous playback of the transmission media on the basis of the display time value and the offset value for the transmission media extracted from the transmission stream.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014186977A JP6237547B2 (en) | 2013-03-14 | 2014-09-12 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013052559 | 2013-03-14 | ||
JP2013052559 | 2013-03-14 | ||
JP2014186977A JP6237547B2 (en) | 2013-03-14 | 2014-09-12 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013100774A Division JP5641090B2 (en) | 2013-03-14 | 2013-05-10 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015027091A JP2015027091A (en) | 2015-02-05 |
JP6237547B2 true JP6237547B2 (en) | 2017-11-29 |
Family
ID=52437122
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014186977A Expired - Fee Related JP6237547B2 (en) | 2013-03-14 | 2014-09-12 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
JP2014189469A Active JP5672406B2 (en) | 2013-03-14 | 2014-09-17 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
JP2014189478A Active JP5672407B2 (en) | 2013-03-14 | 2014-09-17 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014189469A Active JP5672406B2 (en) | 2013-03-14 | 2014-09-17 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
JP2014189478A Active JP5672407B2 (en) | 2013-03-14 | 2014-09-17 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6237547B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109889888B (en) * | 2013-06-05 | 2022-04-01 | 太阳专利托管公司 | Reproduction method, reproduction apparatus, generation method, and generation apparatus |
US10305617B2 (en) | 2015-02-10 | 2019-05-28 | Sony Corporation | Transmission apparatus, transmission method, reception apparatus, and reception method |
JP2017017382A (en) | 2015-06-26 | 2017-01-19 | ソニー株式会社 | Data processing device, data processing method, and program |
JP2017028463A (en) | 2015-07-21 | 2017-02-02 | ソニー株式会社 | Transmitter, transmission method, receiver, receive method, and program |
US10652608B2 (en) | 2015-09-15 | 2020-05-12 | Sony Corporation | Receiving apparatus and method, and transmitting apparatus and method |
KR102393158B1 (en) | 2015-10-13 | 2022-05-02 | 삼성전자주식회사 | A method and apparatus for service provisioning using a bitstream including metadata |
JP2020145682A (en) * | 2020-04-15 | 2020-09-10 | 松野 桂子 | Signal processing device |
CN113453053B (en) * | 2021-06-25 | 2022-05-06 | 杭州海康威视数字技术股份有限公司 | Distributed video synchronous display system, video synchronous display method and storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4237129B2 (en) * | 2004-10-29 | 2009-03-11 | 三菱電機株式会社 | Network compatible video equipment and network compatible video system |
AU2006248710B2 (en) * | 2005-05-19 | 2011-01-20 | Nokia Corporation | System and method for providing unequal error protection to priority labeled datagrams in a DVB-H transmission system |
JP2011061828A (en) * | 2010-10-25 | 2011-03-24 | Sony Corp | Mpeg type transport stream transmitting/receiving system |
JP6018799B2 (en) * | 2011-05-20 | 2016-11-02 | 日本放送協会 | Broadcast communication system |
-
2014
- 2014-09-12 JP JP2014186977A patent/JP6237547B2/en not_active Expired - Fee Related
- 2014-09-17 JP JP2014189469A patent/JP5672406B2/en active Active
- 2014-09-17 JP JP2014189478A patent/JP5672407B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015015759A (en) | 2015-01-22 |
JP2015027091A (en) | 2015-02-05 |
JP5672407B2 (en) | 2015-02-18 |
JP2015015758A (en) | 2015-01-22 |
JP5672406B2 (en) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5641090B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP6237547B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP7279767B2 (en) | Transmission method and transmission device | |
US9942292B2 (en) | Transmission apparatus, transmitting method, reception apparatus, and reception method | |
JP7074178B2 (en) | Transmitter, transmit method, receiver and receive method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171016 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6237547 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |